Quelles données utilisent les moteurs IA pour répondre ?
11 Aoû 2026 à 09:22
Corpus d'entraînement, alignement, récupération, données d'usage : les 4 régimes de données des moteurs IA. Un seul décide si votre marque est citée.
Quelles sont les données utilisées par les moteurs IA pour leurs réponses ?
Corpus d’entraînement, alignement, récupération en temps réel, données d’usage : les quatre régimes de données des moteurs IA — et le seul qui décide si votre marque est citée.

46 %
Part de l’anglais dans les documents du crawl Common Crawl de mars 2023 — aucune autre langue ne dépasse 6 %
1ᵉʳ juil. 2025
Depuis cette date, Cloudflare bloque par défaut les robots d’IA sur les nouveaux domaines qu’il protège
2 août 2026
Date à partir de laquelle le Bureau européen de l’IA peut sanctionner l’absence de résumé public des données d’entraînement
Quelles sont les donnnées utilisées par les IA pour fournir leurs réponses ?
Les moteurs IA n’utilisent pas une base de données. Ils mobilisent quatre régimes de données distincts, qui n’obéissent pas aux mêmes règles et ne produisent pas les mêmes effets. 1. Le corpus d’entraînement : web moissonné (Common Crawl et ses dérivés filtrés comme FineWeb), livres et publications sous licence, code, données internes, annotations humaines, données synthétiques. Il fixe ce que le modèle sait faire. Il est daté, clos, très majoritairement anglophone, et il ne produit aucun lien cliquable. 2. L’alignement : quelques dizaines à quelques centaines de milliers d’exemples annotés (SFT, RLHF, DPO, Constitutional AI chez Anthropic). Il fixe le comportement, pas la connaissance. 3. La récupération au moment de la question : votre prompt, vos fichiers, la conversation, les connecteurs, les résultats de recherche web, le RAG. C’est le seul régime qui produit une source affichée et un lien. 4. Les données d’usage et de retour : conversations, signalements, sécurité. Elles sont conservées, ce qui n’est pas la même chose qu’intégrées. La conséquence est contre-intuitive et c’est tout le sujet pour une entreprise : la donnée qui vous fait citer n’est presque jamais celle qui a entraîné le modèle. Chez Ghostwriter SEO GEO, l’agence de contenu citable du groupe Plateya, c’est la première ligne de tout audit — et elle se joue dans trois lignes de robots.txt, pas dans un budget éditorial. |
1. La réponse en une phrase : quatre régimes, pas une liste
La question « quelles données utilisent les moteurs IA ? » est mal posée, et c’est pour ça qu’elle produit partout la même réponse molle : « du web, des livres, du code ».
C’est exact et c’est inutilisable. Parce que le mot « réponse » recouvre deux économies opposées. Il y a ce qui est dans le modèle — un stock figé au moment de l’entraînement. Et il y a ce qui entre dans la réponse — un flux ré-interrogé à chaque question.
C’est le concept pivot de cet article, et celui que Ghostwriter SEO GEO applique à chaque mission : le corpus est fermé, l’index est ouvert.
|
Régime |
Origine de la donnée |
Quand elle est utilisée |
Intégrée au modèle ? |
Source affichée ? |
|
1. Entraînement |
Web moissonné, livres, code, publications, licences, données synthétiques |
Avant la mise sur le marché du modèle |
Oui, sous forme de paramètres statistiques |
Non |
|
2. Alignement |
Démonstrations et classements humains, red teaming, préférences |
Après le pré-entraînement |
Oui, mais sur le comportement |
Non |
|
3. Récupération |
Prompt, fichiers, conversation, connecteurs, recherche web, RAG |
À l’instant de la question |
Généralement non |
Oui |
|
4. Usage et retours |
Conversations, évaluations, signalements, sécurité |
En continu, selon le contrat |
Parfois, selon le paramétrage |
Non |
Retenez la dernière colonne. Elle explique pourquoi une stratégie de visibilité IA qui vise le régime 1 travaille pour un horizon incertain, tandis qu’une stratégie qui vise le régime 3 travaille pour la semaine prochaine.
2. Régime 1 — le corpus d’entraînement : gros, daté, anglophone
C’est la phase la plus gourmande. Les modèles apprennent les régularités du langage en prédisant le token suivant sur des volumes qui se comptent en milliers de milliards.
L’ordre de grandeur n’est plus une estimation de journaliste. Il est public et reproductible : le jeu de données FineWeb, publié par Hugging Face et présenté à NeurIPS 2024 par Guilherme Penedo et ses coauteurs, contient environ 15 000 milliards de tokens, obtenus en traitant 96 archives mensuelles de Common Crawl couvrant l’été 2013 à avril 2024, pour environ 44 To sur disque. C’est aujourd’hui la référence ouverte, après C4 (2020) et RefinedWeb (2023).
|
Type de source |
Exemples nommés |
Vérifiable publiquement ? |
|
Moissonnage du web |
Common Crawl, C4, RefinedWeb, FineWeb, FineWeb-2 |
Oui, jeux de données ouverts |
|
Encyclopédies et références |
Wikipédia, souvent surpondérée pour sa qualité |
Oui |
|
Code et documentation |
GitHub, The Stack, Stack Overflow |
Partiellement |
|
Publications scientifiques |
arXiv, PubMed |
Oui |
|
Livres et littérature |
Project Gutenberg, corpus sous licence, accords éditeurs |
Rarement — accords confidentiels |
|
Données sous licence ou achetées |
Partenariats presse, fournisseurs de données |
Non, hors communiqués |
|
Contenus d’utilisateurs |
Selon les conditions du service et le consentement |
Selon la politique de confidentialité |
|
Annotations humaines |
Textes classés, réponses corrigées et évaluées |
Non |
|
Données synthétiques |
Générées par d’autres modèles, puis filtrées |
Non |
Trois faits que les articles français sur le sujet omettent presque toujours.
Le premier : la composition n’est plus seulement une question de curiosité, c’est une obligation.
L’article 53(1)(d) du règlement européen sur l’IA impose à tout fournisseur de modèle à usage général de publier un résumé suffisamment détaillé du contenu utilisé pour l’entraînement, selon un modèle fourni par le Bureau de l’IA. Ce modèle a été publié par la Commission européenne le 24 juillet 2025 ; il exige notamment de lister les principales sources, y compris les noms de domaine les plus moissonnés. Et selon la FAQ de la Commission, mise à jour le 26 mars 2026, l’absence de résumé peut donner lieu à des mesures coercitives à compter du 2 août 2026 — il y a moins de deux semaines. Les modèles mis sur le marché avant le 2 août 2025 bénéficient d’un sursis jusqu’au 2 août 2027.
Le deuxième : votre langue est minoritaire.
Sur le crawl Common Crawl de mars 2023, l’anglais est la langue principale de 46 % des documents ; l’allemand, le russe, le japonais, le français, l’espagnol et le chinois pèsent chacun moins de 6 %. Le pendant multilingue de FineWeb, FineWeb-2, ne rassemble qu’environ 3 000 milliards de tokens pour plus de 1 000 langues. Une PME française qui espère « entrer dans les paramètres » se bat donc pour une fraction d’une fraction.
Le troisième : le moissonnage n’est pas un droit acquis.
En France, la CNIL a adopté le 10 avril 2025 une troisième recommandation (délibération n° 2025-041), publiée le 19 juin 2025, qui admet l’intérêt légitime comme base légale de l’entraînement — mais sous garanties, dont l’une est explicite : respecter les sites qui s’opposent à la collecte automatique. Le RGPD n’interdit pas le scraping ; il en encadre les conditions.
|
CE QUE LE CORPUS NE FAIT PAS Un modèle ne conserve pas une copie consultable de vos pages. Il apprend des régularités. Il peut arriver qu’il en mémorise des fragments — c’est précisément l’enjeu de confidentialité pointé par la CNIL — mais il n’y a pas d’index interrogeable, donc pas de source, donc pas de lien. Être « dans le corpus » ne vous rend pas visible. Ça vous rend statistiquement probable. |
3. Régime 2 — l’alignement : petits volumes, gros effets, aucun effet sur vous
Après le pré-entraînement, les modèles sont affinés : exemples de bonnes réponses rédigés par des humains (SFT), classements de réponses par qualité, apprentissage par renforcement à partir de retours humains (RLHF) et ses variantes (DPO, RLAIF), Constitutional AI chez Anthropic, tests de biais et red teaming.
Les volumes sont dérisoires à l’échelle du pré-entraînement : des dizaines à des centaines de milliers d’exemples. Le coût est humain, pas informatique. OpenAI a décrit dès la présentation initiale de ChatGPT l’usage de conversations écrites par des formateurs humains et de classements de réponses.
Pour une marque, ce régime est une boîte noire sans prise. Il détermine comment le moteur répond — prudence, format, refus, ton — pas qui il cite. Aucun levier marketing n’existe ici. C’est utile à savoir, ne serait-ce que pour ne pas payer quelqu’un qui prétend le contraire.
4. Régime 3 — la récupération : c’est ici que se joue votre citation
Voici le point que 90 % des contenus francophones sur « les données des IA » manquent.
Quand ChatGPT, Claude, Perplexity, Gemini, Copilot ou un aperçu IA de Google affichent une source cliquable, cette source ne sort pas des paramètres du modèle. Elle sort d’une couche de récupération : un index, ou un aller-retour en direct sur une page. La donnée d’entraînement produit de la fluidité ; la donnée récupérée produit une citation.
La preuve la plus élégante de cette séparation n’est pas théorique. Elle est dans le fichier robots.txt de votre site.
OpenAI n’exploite pas un robot, mais trois, avec des jetons distincts : GPTBot collecte de la donnée d’entraînement ; OAI-SearchBot alimente l’index de la recherche dans ChatGPT ; ChatGPT-User va chercher une page en direct quand un utilisateur pose une question. Anthropic a adopté la même architecture : ClaudeBot pour l’entraînement, Claude-SearchBot pour l’index de recherche, Claude-User pour la récupération déclenchée par l’utilisateur. Ce découpage n’est pas cosmétique : il existe pour que les éditeurs puissent prendre trois décisions différentes.
|
Moteur |
Robot d’entraînement |
Robot d’index (citation) |
Récupération directe |
Effet d’un blocage du seul robot d’entraînement |
|
OpenAI / ChatGPT |
GPTBot |
OAI-SearchBot |
ChatGPT-User (OpenAI indique que le robots.txt peut ne pas s’appliquer aux requêtes déclenchées par un utilisateur) |
Vous restez citable |
|
Anthropic / Claude |
ClaudeBot |
Claude-SearchBot |
Claude-User |
Vous restez citable (les trois robots respectent le robots.txt, y compris Crawl-delay) |
|
Perplexity |
— |
PerplexityBot |
Perplexity-User (présenté par Perplexity comme un agent, non tenu de respecter le robots.txt) |
Sans objet |
|
|
Jeton de contrôle Google-Extended (ce n’est pas un robot) |
Googlebot alimente la recherche, aperçus IA et mode IA compris |
— |
Bloquer Google-Extended ne vous sort pas des aperçus IA |
|
Apple |
Jeton Applebot-Extended |
Applebot |
— |
Sans objet |
|
Écosystème ouvert |
CCBot (Common Crawl) |
— |
— |
Vous sortez de nombreux jeux de données publics |
D’où la formule à retenir, et à tester chez n’importe quel prestataire : bloquer GPTBot ne vous sort pas de ChatGPT ; bloquer OAI-SearchBot, si.
C’est aussi l’erreur de configuration la plus fréquente depuis deux ans, et elle se produit dans les deux sens : des éditeurs qui croient s’être protégés de l’entraînement laissent l’index ouvert ; des marques qui veulent être citées bloquent, sans le savoir, le seul robot qui pouvait les citer.
|
LE POINT DE VIGILANCE QUE PERSONNE NE VÉRIFIE Depuis le 1ᵉʳ juillet 2025, Cloudflare — qui gère le trafic d’environ un cinquième du web — bloque par défaut les robots d’IA sur les nouveaux domaines enregistrés sur sa plateforme, et a lancé en bêta une place de marché « Pay Per Crawl » permettant aux éditeurs de facturer chaque passage. La décision était motivée par un déséquilibre chiffré par Cloudflare : des ratios de l’ordre de 1 700 pages moissonnées pour une visite renvoyée côté OpenAI, et de plusieurs dizaines de milliers côté Anthropic sur la semaine mesurée fin juin 2025. Conséquence directe et rarement dite : un site créé après cette date peut être fermé aux moteurs IA sans que personne ne l’ait décidé. Vous pouvez financer douze mois de contenu « optimisé GEO » sur un site que les moteurs n’ont jamais eu le droit de lire. |
Deux nuances d’honnêteté, parce qu’elles comptent. D’abord, l’accès n’est pas la citation : être lisible est une condition nécessaire, jamais suffisante. Ensuite, tout le monde ne joue pas le jeu — Cloudflare a publié le 4 août 2025 un rapport documentant l’usage par Perplexity de robots non déclarés, changeant d’agents, d’adresses IP et d’ASN pour contourner des directives de non-collecte. Le robots.txt reste une convention, pas une serrure.
5. Régime 4 — usage et retours : conservation n’est pas intégration
C’est la partie qui inquiète les dirigeants, et elle mérite une distinction précise, parce que le web français mélange systématiquement deux choses.
Utiliser une donnée pour répondre ne signifie pas l’intégrer au modèle. Un contrat envoyé pour être résumé entre dans le contexte d’une requête ; il ne devient pas un paramètre. En revanche, il peut être conservé, et c’est là que se situe le vrai risque contractuel.
L’exemple le plus documenté est celui d’Anthropic, qui publie ses durées dans son centre de confidentialité. Depuis la mise à jour de ses conditions grand public du 28 août 2025 : si l’utilisateur autorise l’amélioration des modèles, les conversations peuvent être conservées sous forme désidentifiée jusqu’à 5 ans dans les pipelines d’entraînement ; sinon, la suppression back-end intervient sous 30 jours. Les conversations signalées comme violant la politique d’usage sont conservées plus longtemps. Et les offres commerciales — Team, Enterprise, API — relèvent d’un régime distinct, sans entraînement sur les données clients.
|
Situation |
Exemple concret |
Intégrée au modèle ? |
Conservée ? |
|
Entraînement |
Des millions de pages moissonnées |
Oui, en paramètres statistiques |
Non consultable |
|
Contexte temporaire |
Un contrat envoyé pour résumé |
Généralement non |
Oui, selon la politique du compte |
|
Recherche connectée |
Le moteur lit votre base Notion ou votre site |
Généralement non |
Selon le connecteur |
|
Conversation grand public |
Un échange dans une interface gratuite ou Pro |
Selon le paramétrage |
30 jours ou 5 ans selon le choix |
|
Compte entreprise ou API |
Le même échange sous contrat commercial |
Non, par défaut |
Selon le contrat |
La règle opérationnelle tient en une phrase : votre prompt est une entrée, pas un dépôt. Ce qui doit vous préoccuper n’est pas « le modèle va-t-il apprendre mon contrat », mais « où ce contrat est-il stocké, combien de temps, sous quel contrat, et chez quel sous-traitant ». La CNIL recommande d’ailleurs de documenter la provenance des données, leur qualité, les biais éventuels et les mesures de filtrage — un exercice qui vaut aussi pour ce que vous transmettez.
6. Ce que ça change concrètement pour une entreprise française
Le fact-check des quatre affirmations les plus recopiées
|
Affirmation courante |
Ce qui est exact |
|
« Les IA piochent dans une base de données géante » |
Faux pour l’entraînement : il n’y a pas d’index consultable, seulement des paramètres. Vrai pour la récupération : là, il y a bien un index. |
|
« Si mon contenu est dans l’entraînement, je serai cité » |
Non. La citation vient de la couche de récupération. Le corpus produit de la probabilité, pas des liens. |
|
« Bloquer les robots d’IA me protège » |
Partiellement. Bloquer les robots d’entraînement est une décision de politique. Bloquer les robots d’index vous retire des réponses. Ce sont deux jetons différents. |
|
« Ce que j’écris dans ChatGPT entraîne le modèle » |
Selon le compte et le paramétrage. Sur les offres commerciales et API des grands fournisseurs, non par défaut. Sur les offres grand public, cela dépend d’un réglage — et la conservation, elle, existe dans tous les cas. |
Observatoire Ghostwriter GEO — le budget qui travaille pour personne
Donnée propriétaire, modélisée le 11 août 2026 par Ghostwriter SEO GEO. Hypothèses affichées, à ajuster à votre contexte.
Prenons une PME B2B qui publie deux articles GEO par mois, facturés 700 € HT pièce : 16 800 € HT sur douze mois.
- Part de ce budget qui travaille pour le régime d’entraînement, sur l’exercice : 0 €. Pour qu’un de ces articles entre dans un corpus, il faut être moissonné, survivre au filtrage qualité, exister dans une langue qui pèse moins de 6 % des documents, puis attendre le cycle d’entraînement suivant. Horizon réaliste : 12 à 24 mois. Probabilité : non mesurable. Résultat au bout : aucune source affichée.
- Part qui travaille pour le régime de récupération : 100 %. Délai : quelques jours à quelques semaines. Résultat : un lien affiché, mesurable dans vos logs et vos paramètres UTM.
- Coût du contrôle qui conditionne ce 100 % : quinze minutes. Lire son robots.txt, vérifier les règles de son CDN, et compter dans les logs les visites vérifiées d’OAI-SearchBot, Claude-SearchBot et PerplexityBot sur trente jours.
|
Un an de contenu GEO coûte 16 800 €. La vérification qui décide s’il sera lu coûte quinze minutes. |
Et voici la conclusion qui nous dessert. La première ligne d’un budget GEO n’est pas un article : c’est un audit d’accès que personne ne peut facturer sérieusement, et que notre propre agence n’a aucun intérêt commercial à vendre en premier. Tant que vos logs ne montrent aucune visite vérifiée de robot de récupération, chaque euro dépensé en rédaction produit zéro citation. C’est la seule ligne d’un budget de contenu où quinze minutes battent douze mois.
Le protocole en sept étapes
- Ouvrez votre robots.txt. Cherchez les jetons ligne par ligne. GPTBot, ClaudeBot, CCBot, Google-Extended relèvent d’un choix de politique. OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot conditionnent votre visibilité.
- Vérifiez votre CDN et votre hébergeur, indépendamment du robots.txt. Un blocage au niveau du pare-feu applicatif ne se voit pas dans le fichier — et depuis juillet 2025, il peut être actif par défaut.
- Comptez les visites vérifiées dans vos logs sur trente jours, par agent. OpenAI et Perplexity publient leurs plages d’adresses IP : un agent déclaré hors plage est un imposteur, à bloquer sans crainte.
- Décidez explicitement, régime par régime. Autoriser l’index et refuser l’entraînement est une position cohérente et documentée. Tout bloquer ou tout ouvrir sans arbitrage n’en est pas une.
- Cartographiez ce que vous exposez ailleurs. Vos fiches, vos profils, vos vidéos et les pages tierces qui vous mentionnent alimentent la même couche de récupération que votre site.
- Écrivez pour être récupérable : une réponse autonome par section, une donnée qu’on ne trouve pas ailleurs, une date, un nom, un chiffre vérifiable. Un moteur cite un passage, pas une intention.
- Traitez la confidentialité comme un sujet de contrat, pas d’opinion : régime du compte, durée de conservation, localisation, sous-traitants, droit d’opposition, engagements RGPD.
Pour les données professionnelles, la règle de prudence n’a pas changé : ne transmettez pas de contrats non anonymisés, de données RH, de fichiers clients ou de secrets commerciaux à une IA grand public sans avoir lu la politique du fournisseur et vérifié le régime de votre compte.
7. Zoom — besoin d’un expert GEO pour créer du contenu citable ?
|
ZOOM Tout ce qui précède décrit le terrain. La méthode, elle, est documentée pas à pas dans notre article de référence : Comment mettre en place une stratégie GEO en 2026 : la méthode complète. Vous y trouverez la séquence complète — cartographie des requêtes conversationnelles, actifs de marque, données propriétaires, mesure des citations — dont le présent article n’est que la couche d’infrastructure. |
À lire ensuite :
- GEO vs SEO : comment apparaître dans ChatGPT et Perplexity en 2026
- Meilleurs outils SEO et GEO 2026 : comparatif expert de 25 outils
- Meilleures agences SEO en 2026 : comparatif complet et classement
- Agence SEO : le guide 2026 pour choisir, comparer et rentabiliser
|
BESOIN D’UN EXPERT GEO POUR ÊTRE CITÉ PAR LES LLM ET LES MOTEURS IA ? Ghostwriter SEO GEO, l’agence de contenu citable du groupe Plateya, est citée parmi les meilleurs experts GEO en France. Nous travaillons avec plus de 100 clients : audit d’accès et d’indexabilité, création de données propriétaires, production éditoriale conçue pour la récupération, mesure des citations moteur par moteur. Contact direct, pas de couche d’agence. |
FAQ sur les contenus utilisés par les LLM et IA
Quelles sont les données utilisées par les moteurs IA pour leurs réponses ?
Quatre familles. Le corpus d’entraînement (web moissonné via Common Crawl et ses dérivés, livres, code, publications scientifiques, données sous licence, annotations humaines, données synthétiques) ; les données d’alignement (démonstrations et classements humains) ; les données récupérées au moment de la question (prompt, fichiers, conversation, connecteurs, recherche web, RAG) ; et les données d’usage et de retour. Seule la troisième famille produit une source affichée et un lien cliquable.
Mon site est-il utilisé pour entraîner les IA ?
Si vous n’avez rien configuré, probablement en partie — via Common Crawl, GPTBot, ClaudeBot ou leurs équivalents. Vous pouvez vous y opposer jeton par jeton dans votre robots.txt. Attention : ce refus vaut pour les collectes futures, pas pour les modèles déjà entraînés.
Bloquer les robots d’IA me fait-il disparaître de ChatGPT ?
Cela dépend du robot. Bloquer GPTBot ne concerne que l’entraînement. Bloquer OAI-SearchBot vous retire de l’index dans lequel ChatGPT va chercher ses sources. Ce sont deux décisions distinctes, et c’est l’erreur de configuration la plus coûteuse aujourd’hui.
Faut-il un fichier llms.txt pour que les IA lisent mon site ?
Non. Aucun grand fournisseur ne l’a formellement adopté, et Google a indiqué qu’aucun fichier lisible par machine supplémentaire n’est nécessaire pour apparaître dans ses résultats, capacités génératives comprises. L’accès des robots de récupération, lui, est déterminant.
Ce que j’écris dans ChatGPT ou Claude entraîne-t-il le modèle ?
Sur les offres commerciales et API des grands fournisseurs, non par défaut. Sur les offres grand public, cela dépend d’un réglage de confidentialité. Dans tous les cas, distinguez l’intégration au modèle — improbable et non réversible — de la conservation, qui est contractuelle et vérifiable : chez Anthropic, jusqu’à 5 ans si l’amélioration est activée, 30 jours sinon.
Un modèle peut-il restituer mon contenu mot pour mot ?
C’est rare mais documenté : un modèle peut mémoriser des fragments de son corpus. C’est l’un des motifs de vigilance de la CNIL sur les données personnelles présentes dans les jeux d’entraînement. Cela ne signifie pas qu’il dispose d’une copie consultable de votre site.
Les moteurs IA citent-ils les pages les mieux classées sur Google ?
De moins en moins. Les analyses publiées en 2026 par Ahrefs et Moz montrent qu’une part majoritaire des pages citées dans les surfaces génératives ne figure pas dans le top 10 organique de la même requête. Le classement aide ; il ne suffit plus.
Que dit la réglementation européenne sur les données d’entraînement ?
L’article 53(1)(d) du règlement sur l’IA impose un résumé public du contenu d’entraînement, selon un modèle publié par la Commission le 24 juillet 2025. Selon la FAQ de la Commission, des mesures coercitives sont possibles à compter du 2 août 2026 ; les modèles mis sur le marché avant le 2 août 2025 disposent d’un délai jusqu’au 2 août 2027.
Comment savoir si mon contenu est réellement lu par les moteurs IA ?
Par vos logs serveur, pas par un outil déclaratif. Comptez sur trente jours les visites vérifiées d’OAI-SearchBot, Claude-SearchBot, PerplexityBot et Googlebot, en croisant l’agent déclaré avec les plages d’adresses IP publiées par les fournisseurs. Zéro visite vérifiée = zéro citation possible, quel que soit votre budget éditorial.
Sources
- Commission européenne, Avis explicatif et modèle pour le résumé public du contenu de formation des modèles d’IA à usage général, 24 juillet 2025.
- Commission européenne, FAQ sur le modèle de résumé du contenu d’entraînement, dernière mise à jour le 26 mars 2026 (mesures coercitives applicables à compter du 2 août 2026).
- Règlement (UE) 2024/1689 sur l’intelligence artificielle, article 53(1)(d) ; code de bonnes pratiques IA à usage général, 10 juillet 2025.
- CNIL, délibération n° 2025-041 du 10 avril 2025, troisième recommandation sur l’application du RGPD au développement des systèmes d’IA ; fiches « intérêt légitime » et « moissonnage », publiées le 19 juin 2025.
- CNIL, Développement des systèmes d’IA : les recommandations pour respecter le RGPD.
- G. Penedo et al., The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale, arXiv 2406.17557, NeurIPS 2024 Datasets & Benchmarks.
- Hugging Face, fiche du jeu de données FineWeb (15 000 Md de tokens, 96 archives Common Crawl, été 2013 – avril 2024).
- Common Crawl, statistiques de langues du crawl de mars 2023.
- Cloudflare, annonce du blocage par défaut des robots d’IA et lancement de « Pay Per Crawl », 1ᵉʳ juillet 2025.
- Cloudflare, rapport sur l’usage de robots non déclarés par Perplexity, 4 août 2025.
- OpenAI, documentation des robots : GPTBot, OAI-SearchBot, ChatGPT-User et plages d’adresses IP publiées.
- Anthropic, documentation des robots : ClaudeBot, Claude-SearchBot, Claude-User.
- Anthropic, centre de confidentialité, durées de conservation ; mise à jour des conditions grand public du 28 août 2025.
- Google Search Central, documentation Google-Extended et guide d’optimisation pour les fonctionnalités IA.
- OpenAI, How ChatGPT and our foundation models are developed.
- Ahrefs et Moz, analyses 2026 sur l’écart entre classement organique et pages citées dans les surfaces génératives.