Étude de cassponsoredyt

Chaque commandite, à portée de recherche.

sponsoredyt est un pipeline et un site qui captent les segments commandités des chaînes YouTube suivies et les rendent interrogeables par commanditaire, par chaîne et par vidéo.

Statut
En ligne sur sponsoredyt.com.
Rôle
Le pipeline, le site public et les outils d'administration.
Construit avec
  • Next.js
  • TypeScript
  • PostgreSQL
  • Redis
  • BullMQ
  • Ollama
  • SponsorBlock

Le problème

Les commandites sont enfouies dans les vidéos et les descriptions, chaque fois dans un format différent. sponsoredyt transforme chacune en fiche : marque, produit, catégorie, code promo et, pour les commandites dites à voix haute, les secondes où elle commence et se termine.

Ce qui a été construit

  • Un site public pour parcourir et chercher les vidéos, les commanditaires et les chaînes, avec des graphiques et un fil RSS par commanditaire.
  • Un formulaire pour proposer une nouvelle chaîne, protégé par Cloudflare Turnstile et une limite de débit.
  • Des outils d'administration pour ajouter des chaînes, retraiter des vidéos et fusionner les commanditaires en double.

Comment ça marche

  • Les nouvelles vidéos arrivent par WebSub depuis le fil YouTube de chaque chaîne, vérifiées par une signature propre à la chaîne.
  • Un processus de traitement BullMQ sur Redis récupère les métadonnées et la transcription auprès de transcriptyt, ainsi que les segments SponsorBlock de la communauté.
  • Pour chaque segment commandité, les lignes de transcription qu'il contient, avec une marge de 5 secondes de chaque côté, sont envoyées à un modèle de langage local par Ollama, qui renvoie une commandite structurée avec un indice de confiance. Une seconde passe lit la description.
  • Les réponses brutes sont conservées : l'extraction peut être relancée sans rien télécharger de nouveau.
  • PostgreSQL avec des migrations SQL simples et la recherche plein texte ; Next.js pour le site.