llms.txt, le robots.txt pour IA !

Depuis 2020, nous assistons à l’avènement des grands modèles de langage (LLM) tels que GPT-4, Gemini, Claude et d’autres. Ces LLM ont ouvert des perspectives intéressantes au niveau de la proposition de contenu.

Cependant, ils soulèvent également des questions quant à l’utilisation du contenu web et à la manière de le produire.

Alors que le fichier `robots.txt` est depuis longtemps le standard pour indiquer aux robots d’exploration traditionnels comment interagir avec un site, nous voyons un nouveau concept émerger : le llms.txt.

Ce fichier pourrait devenir essentiel pour contrôler la manière dont les intelligences artificielles génératives accèdent, utilisent et attribuent votre contenu.

Je vous propose que nous explorions ce sujet. Nous verrons également son intérêt potentiel pour le référencement (SEO).

Courte définition d’un LLM

Avant de parler du `llms.txt`, rappelons brièvement ce qu’est un LLM. Il s’agit d’un type d’intelligence artificielle entraîné sur d’immenses volumes de données textuelles (et parfois d’images ou de code) pour comprendre, générer, résumer, traduire et interagir en langage naturel.

Pour leur apprentissage et leur fonctionnement, ces grands modèles de langage lisent et traitent une quantité phénoménale de contenu disponible sur le web.

Rappel sur me robots.txt

Pour bien comprendre l’idée derrière le llms.txt, il est indispensable de comprendre le fonctionnement du `robots.txt`. Les deux fichiers seront assez similaires dans leur fonctionnement.

Définition et Rôle

Le robots.txt est un fichier texte placé à la racine d’un site web (ex : www.votresite.com/robots.txt).

Son objectif principal est de donner des directives aux robots d’exploration web (appelés « crawlers » ou « spiders »), comme Googlebot ou Bingbot, sur les sections du site qu’ils sont autorisés ou non à explorer et indexer.

Comme le souligne Google dans sa documentation officielle :

Un fichier robots.txt indique aux robots d’exploration des moteurs de recherche les URL auxquelles ils peuvent accéder sur votre site. (Source : Google Search Central).

Syntaxe de Base

La syntaxe est relativement simple et repose sur des directives basiques. Voyons cela ci dessous.

User-agent: spécifie le robot concerné par les règles qui suivent (par exemple, User-agent: Googlebot). Un User-agent: * s’applique à tous les robots.
Disallow: stipule les URLs ou répertoires que le robot ne doit pas explorer (ex : Disallow: */images-privees).
Allow: indique les URLs ou répertoires autorisés même s’ils sont dans un chemin Disallow (ex :`Allow: */images-privees/logo.jpg`).
Sitemap: est utilisé pour indiquer l’emplacement du fichier sitemap XML. C’est toujours intéressant de le mettre en complément la déclaration de votre sitemap dans cotre Google Search Console.

Un exemple de structuration d’un fichier robots.txt

# ex fichier robots

Sitemap: https://www.monsite/page-sitemap.xml

# les permisions
User-agent: *

Disallow: /wp-admin
Disallow: /wp-includes
Disallow: */trackback
Disallow: /cgi-bin
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.gz
Disallow: /*.cgi

Robots.txt, super important en SEO !

Le robots.txt` est un pilier du SEO technique. En effet, il permet d’éviter l’exploration de contenu dupliqué, de pages sans intérêt pour l’utilisateur (comme des pages de résultats de recherche interne), de sections privées.

Il a aussi pour objectif de préserver votre budget crawl (le quota de pages qu’un moteur comme Google explore sur votre site lors d’une visite).

Pourquoi le robots.txt n’est pas suffisant pour les IA ?

Si le robots.txt gère l’exploration pour l’indexation dans les moteurs de recherche traditionnels, les LLMs posent des défis différents :

1. Nature de l’utilisation :

Les LLMs n’explorent pas seulement pour indexer et afficher des liens. Ils utilisent le contenu pour leur entraînement, c’est la base du machine learning. Ils intègrent l’information dans leur base de connaissances qui sert ensuite à formule une réponse à une requête utilisateur.
Ensuite les LLMS utilisent les données pour une meilleure compréhension sémantique et contextuelle. En somme, c’est comprendre les nuances de votre contenu d’une manière plus complexe qu’un simple crawler. Ce qui sous-entend le décryptage des expressions connexes pour mieux comprendre le sens du contenu dans le contexte.

2. Identification des agents :

Les « user-agents » des LLMs ne sont pas encore aussi standardisés ou universellement déclarés que ceux des crawlers classiques. Certains LLMs peuvent utiliser des crawlers génériques ou ceux des moteurs de recherche qui les intègrent (comme Google pour Gemini ou Bing pour les modèles OpenAI).

3. Granularité du contrôle :

Le robots.txt est binaire (autoriser ou interdire). Or, vous pourriez vouloir autoriser l’exploration pour l’indexation par un moteur de recherche intégrant un LLM mais interdire l’utilisation de son contenu pour l’entraînement de ce même LLM ou pour la génération de réponses sans attribution spécifique.

Il ressemble à quoi le llms.txt ?

Face à ces nouveaux enjeux, l’idée d’un fichier llms.txt (parfois aussi évoqué sous le nom de ai.txt ou d’autres variantes) commence à faire son chemin.

Pour l’instant le fichier ressemble plus à un ensemble descriptif pour préciser l’identité de votre site qu’autre chose.

# Informations générales du site

Nom du site: BMPixart

URL du site: https://www.bmpixart.com

Description du site: [gardez une cohérence avec vos autres profils GMB, LinkedIn…]

Mots-clés principaux: [Ajoutez 4-5 mots qui caractérisent votre secteur d’activité]

# Services principaux

[lister vos services par ordre d’importance]
Service 1: SEO  – Optimisation pour améliorer la visibilité de votre site dans les résultats des moteurs de recherche.

Service 2: Audit SEO – Analyse technique et de contenu de votre site pour identifier les opportunités d’amélioration en SEO…

# Détails additionnels pour l’IA

[ajouter des détails qui vous semblent important]

# Appel à l’action principal

[optez pour un CTA incitatif et engageant]

# Informations de contact (facultatif)

[Courriel, téléphone, adresse]

Par la suite, il s’agirait d’un fichier texte placé à la racine du site et dédié spécifiquement aux directives pour les grands modèles de langage.

La syntaxe pourrait s’inspirer du robots.txt mais avec des directives plus spécifiques. On pourrait imaginer :

# Exemple hypothétique de fichier llms.txt
User-agent: * s’applique à tous les LLMs par défaut

# Interdire l’utilisation pour l’entraînement de tous les modèles
Disallow-training: */

# Autoriser l’entraînement pour un LLM spécifique sur une section spécifique
User-agent: specific-LLM-Bot
Allow-training: */blog/public-research/
Disallow-training: */

# Bloque le reste pour Specific-LLM-Bot

User-agent: Generic-AI-Crawler
# Autoriser l’utilisation pour la génération de réponses avec attribution obligatoire
Allow-generation: */
Attribution-required: true
Citation-style: « Source: [URL] »

# Interdire l’utilisation de contenu spécifique pour la génération
Disallow-generation: /private-reports/
Disallow-generation: /user-data/
« `
Ces directives sont purement illustratives car aucun standard n’existe encore.

Quels intérêts en SEO ?

l’IA redessine les règles du jeu, maîtriser la façon dont les grands modèles de langage (LLM) interagissent avec votre contenu n’est plus une option, c’est une nécessité stratégique. Le fichier llms.txt émerge comme un outil offrant des avantages SEO multiformes.

Imaginez votre contenu comme unique. Le llms.txt agit comme un bouclier qui empêche la copie sauvage et incontrôlée par les IA.

C’est garantir l’unicité de vos créations à forte valeur ajoutée, vous protégez votre propriété intellectuelle mais vous renforcez également un pilier du SEO : l’originalité. Un contenu unique, c’est un contenu qui se démarque et qui plaît aux moteurs de recherche.

Réinventez votre acquisition de trafic

Le llms.txt ouvre la porte à une nouvelle ère d’attribution.

En incitant ou en contraignant les LLM à citer correctement vos sources via des liens, vous transformez chaque mention en une source potentielle de trafic qualifié et de signaux de qualité.

De plus, avec des directives claires, vous prenez les rênes de la manière dont votre contenu est digéré et présenté dans les réponses génératives des IA et les AI Overviews de Google.

C’est l’opportunité pour votre visibilité future !

Maîtrisez votre e-réputation

Votre image de marque est votre actif le plus précieux.

Le llms.txt vous donne la possibilité de prémunir des interprétations erronées, des déformations ou des utilisations hors contexte de votre contenu par les IA.

Protéger votre contenu, c’est protéger votre réputation numérique et garantir que votre message reste fidèle à votre intention.

Donnez 1 Signal de confiance

Un site qui implémente un llms.txt envoie un message clair : « Nous gérons notre contenu avec intelligence et responsabilité. »

Cette démarche proactive est perçue comme un gage de confiance et de qualité par les moteurs de recherche et les utilisateurs. C’est un signal discret qui distingue les leaders des suiveurs dans l’écosystème numérique en constante évolution.

Les défis…

Le concept de llms.txt est encore à ses balbutiements et demande d’être normé. 

Une absence de standardisation

Il n’y a pas encore de consensus sur le nom du fichier, sa syntaxe ou les directives qu’il devrait contenir.

Pour qu’il soit efficace, les développeurs de LLMs doivent s’engager à respecter ces directives. Contrairement au robots.txt où les grands moteurs de recherche ont joué le jeu, l’écosystème des LLMs est plus fragmenté.

Cependant, des initiatives voient le jour. Par exemple, OpenAI a annoncé que son robot GPTBot respecterait les directives du robots.txt. Il permettrait d’interdire spécifiquement GPTBot (Source : OpenAI Blog).

Il faudra faire attention à la complexité technique. En effet, définir des règles granulaires pourrait devenir complexe pour les webmasters.

Des discussions sont en cours au sein de la communauté technique et SEO. Certains proposent d’étendre le robots.txt existant avec de nouvelles directives plutôt que de créer un fichier séparé.

Par exemple, le W3C (World Wide Web Consortium), organisme de standardisation du web, pourrait jouer un rôle dans la définition de telles normes.

Retenons que :

Bien que le llms.txt ne soit pas encore une obligation, l’idée qu’il représente – celle de donner aux propriétaires de sites web un contrôle sur la manière dont les IA interagissent avec leur contenu – est intéressante.

L’analogie avec le `robots.txt` nous rappelle l’importance d’établir des « règles claires » pour les agents automatisés qui parcourent le web.

Pour les professionnels du SEO et les propriétaires de sites, il est temps de :

• Suivre activement les discussions sur ce sujet.
• Réfléchir à votre politique concernant l’utilisation de votre contenu par les IA.
• Commencer à identifier le contenu sensible ou stratégique qui nécessiterait des directives spécifiques.

Le llms.txt représente une évolution logique face à la montée en puissance des IA génératives. Il s’agira d’un outil de plus pour les webmasters soucieux de protéger leur travail et de maîtriser leur présence en ligne.

Tout comme le robots.txt est un petit fichier texte avec un grand impact, le llms.txt pourrait bien en être de même pour l’ère de l’intelligence artificielle.