Étude de cassponsoredyt
Chaque commandite, à portée de recherche.
sponsoredyt est un pipeline et un site qui captent les segments commandités des chaînes YouTube suivies et les rendent interrogeables par commanditaire, par chaîne et par vidéo.
- Statut
- En ligne sur sponsoredyt.com.
- Rôle
- Le pipeline, le site public et les outils d'administration.
- Construit avec
- Next.js
- TypeScript
- PostgreSQL
- Redis
- BullMQ
- Ollama
- SponsorBlock
Le problème
Les commandites sont enfouies dans les vidéos et les descriptions, chaque fois dans un format différent. sponsoredyt transforme chacune en fiche : marque, produit, catégorie, code promo et, pour les commandites dites à voix haute, les secondes où elle commence et se termine.
Ce qui a été construit
- Un site public pour parcourir et chercher les vidéos, les commanditaires et les chaînes, avec des graphiques et un fil RSS par commanditaire.
- Un formulaire pour proposer une nouvelle chaîne, protégé par Cloudflare Turnstile et une limite de débit.
- Des outils d'administration pour ajouter des chaînes, retraiter des vidéos et fusionner les commanditaires en double.
Comment ça marche
- Les nouvelles vidéos arrivent par WebSub depuis le fil YouTube de chaque chaîne, vérifiées par une signature propre à la chaîne.
- Un processus de traitement BullMQ sur Redis récupère les métadonnées et la transcription auprès de transcriptyt, ainsi que les segments SponsorBlock de la communauté.
- Pour chaque segment commandité, les lignes de transcription qu'il contient, avec une marge de 5 secondes de chaque côté, sont envoyées à un modèle de langage local par Ollama, qui renvoie une commandite structurée avec un indice de confiance. Une seconde passe lit la description.
- Les réponses brutes sont conservées : l'extraction peut être relancée sans rien télécharger de nouveau.
- PostgreSQL avec des migrations SQL simples et la recherche plein texte ; Next.js pour le site.