Programmatique : mais bon sang, c’est quoi les robots.txt ? 🤖
Pour répondre à cette question, il faut voyager dans le temps :
🕚 Revenons en 1994 🕚
Cette année-là :
🦁 Le Roi Lion rugit au cinéma
🕺 Tout le monde danse sur Le MIA d'IAM
🌐 Et Internet en est à ses balbutiements...
🛜 Les vitesses de connexion sont très lentes (pas de fibre optique, d’ADSL ou de 4G), mais l’usage se démocratise.
🔎 Les portails internet créent des moteurs de recherche — basés sur des robots crawlers — pour indexer les contenus des sites web.
Mais ces crawlers posent quelques problèmes :
🥵 ils surchargent les connexions déjà pas très rapides
🔓 des pages privées peuvent être rendues publiques
⬇️ des sites entiers peuvent être téléchargés
💡 Un ingénieur néerlandais a alors une idée : placer à la racine du site un fichier texte nommé robots.txt, lisible par les robots, qui leur indique quelles parties du site ils peuvent ou non visiter.
Lorsqu’un robot arrive sur un site, il commence par consulter la page robots.txt et lit les règles :
👤 User-agent : précise à quel robot la règle s’applique
⛔ Disallow : liste les chemins interdits
✅ Allow : liste les exceptions
Vous aussi, vous pouvez consulter ces fichiers qui sont accessibles à tous (ex. : lefigaro.fr/robots.txt).
⚠️ C’est un protocole basé sur le volontariat : rien n’empêche un robot malveillant de l’ignorer.
🏛️ Mais d’un point de vue juridique, son non-respect peut avoir des conséquences (nous y reviendrons).
⏩ 30 ans plus tard, le robots.txt prend une nouvelle dimension stratégique pour les éditeurs… à cause des LLM.
Pour construire leurs modèles — aussi impressionnants soient-ils — OpenAI & Cie ont allègrement pompé les contenus des éditeurs (cf. tous les procès en cours). Désormais, plus besoin d’aller sur les sites, puisque l’IA vous donne directement la réponse 🗣️
Et la tendance devrait encore s’accentuer :
- GPT est déjà le 4ᵉ site en France, gagne des utilisateurs et du temps passé chaque mois, et se lance dans les navigateurs avec Atlas
- Google réplique en incorporant AI Overviews dans ses résultats de recherche et en poussant Gemini dans l’écosystème Android
🏛️ Mais maintenant qu’ils sont sous le feu des projecteurs, les LLM s’imposent de respecter les robots.txt des éditeurs pour limiter leurs risques juridiques.
🔀 Les éditeurs doivent donc choisir entre autoriser (et espérer obtenir du trafic) ou bloquer les crawlers LLM (pour négocier une rémunération).
Maintenant qu’on s’est dit tout ça : chez GreyFox Ads, notre spécialité, ce n’est pas vraiment les robots 😅
C’est plutôt de proposer aux Media Traders des Curated Deals optimisés à l’efficacité réelle pour leurs campagnes programmatiques 💪
Vous voulez travailler avec un partenaire de qualité ?
Contactez GreyFox Ads pour échanger sur vos problématiques programmatiques.
Lien Post Original : https://lnkd.in/ezajB-bx