L’article le plus important sur l’IA en 2024 ne portait pas sur les benchmarks de raisonnement ni sur les fenêtres de contexte. Il portait sur les théories du complot. Et il a remporté le plus ancien prix scientifique d’Amérique.
En septembre 2024, Thomas Costello (alors à Carnegie Mellon, maintenant à American University), Gordon Pennycook (Cornell) et David Rand (MIT Sloan) ont publié dans Science une étude qui aurait dû changer la façon dont tout le monde pense l’IA. Elle testait si un chatbot pouvait réduire la croyance aux théories du complot. Pas inciter. Pas recadrer. Réduire réellement, de manière mesurable, avec un effet durable.
C’était possible. Sur plus de 2 000 participants et 15 théories du complot différentes — de l’alunissage truqué aux armes biologiques COVID — une seule conversation avec un chatbot IA a produit une réduction moyenne de 20 % de la force de la croyance conspirationniste. Un quart des participants sont passés de « convaincus » à « incertains ». L’effet tenait encore au suivi à deux mois.
L’article a remporté le Newcomb Cleveland Prize — la plus haute distinction de l’AAAS pour un article exceptionnel publié dans Science, décernée depuis 1923. Ce n’est pas un préprint sur un blog. C’est l’établissement scientifique qui dit : c’est important.
Voici la partie qui compte le plus, et que presque chaque résumé déforme.
L’approche qui a fonctionné n’était pas l’empathie. Ce n’était pas la construction du lien. Ce n’était pas « rencontrer les gens là où ils sont » ni « valider leurs préoccupations avant de les rediriger doucement. » Chaque technique inspirée de la thérapie, de l’entretien motivationnel, qui domine la littérature sur la désinformation — rien de tout cela n’est ce que le DebunkBot a fait.
Ce qui a fonctionné, c’est la preuve. Des preuves spécifiques, personnalisées, ciblées, répondant aux affirmations exactes que chaque participant croyait réellement. Pas des fact-checks génériques. Pas de « les experts disent le contraire. » Le chatbot identifiait ce que la personne pensait spécifiquement être vrai, trouvait les preuves spécifiques contre cette affirmation spécifique, et les présentait clairement.
Cela contredit l’hypothèse dominante dans la recherche sur la désinformation : que les adeptes des théories du complot sont imperméables aux preuves, que le problème est émotionnel plutôt qu’informationnel, qu’il faut bâtir la confiance avant d’introduire les faits. Costello, Pennycook et Rand ont montré le contraire. Le problème n’a jamais été que les gens ne peuvent pas traiter les preuves. Le problème était que personne ne leur donnait des preuves correspondant à ce qu’ils croyaient réellement.
C’est un problème de personnalisation. Et la personnalisation à grande échelle est exactement ce pour quoi les grands modèles de langage sont conçus.
Les résultats se sont répliqués. Plusieurs fois, dans des conditions plus difficiles.
Une étude de suivi a testé GPT-4 expliquant le racisme structurel à des républicains. Cela a fonctionné de manière comparable. Une étude soutenue par l’ADL a utilisé Claude 3.5 Sonnet sur les théories du complot antisémites — environ 50 % de la baisse de croyance était encore évidente après un mois. Un préprint a testé l’approche sur les théories du complot autour de la tentative d’assassinat de Trump — également efficace.
Les chercheurs ont créé debunkbot.com pour que tout le monde puisse l’essayer. Au moment où j’écris, environ 65 000 personnes l’ont utilisé. Non pas comme instrument de recherche. Comme outil. Les gens soumettent volontairement leurs croyances conspirationnistes à une IA et s’engagent avec les preuves qu’elle présente.
Laissez cela pénétrer un instant. Soixante-cinq mille personnes ont choisi de faire contester leurs croyances par une machine. L’opinion conventionnelle dit que les gens ne veulent pas être corrigés. Les données disent que si — à condition que la correction soit assez spécifique pour valoir la peine de s’y engager.
J’écris ceci parce que la découverte du DebunkBot est structurellement identique à la thèse d’antping.ai.
Le manifeste anti-fausse-affirmation soutient que les systèmes d’IA échouent non pas parce qu’ils sont stupides mais parce qu’ils sont structurellement incités à produire des affirmations assurées plutôt que des affirmations vérifiées. Le remède n’est pas de meilleurs modèles. C’est la vérification structurelle — rendre possible la vérification de ce que l’IA a dit.
Le DebunkBot est le même constat, appliqué à un domaine différent. Le fact-checking générique échoue pour la même raison que la production générique de l’IA échoue : il ne répond pas à ce dont la personne a spécifiquement besoin. Un fact-check qui dit « les experts ne sont pas d’accord » est aussi inutile qu’une IA qui dit « je vais m’en occuper » puis fabrique une réponse assurée. Les deux sont techniquement réactifs. Aucun des deux n’est réellement réactif.
Ce que le DebunkBot a prouvé, c’est que lorsque vous rendez la réponse spécifique — quand l’IA identifie exactement ce que la personne croit et rassemble exactement les preuves contre cette croyance — les gens s’engagent. Ils mettent à jour. Ils changent d’avis. Pas tous, pas complètement, mais assez pour être statistiquement significatif et durable.
The Economist ne convainc pas ses lecteurs par l’empathie. Il convainc par la spécificité. Le DebunkBot a prouvé que la spécificité passe à l’échelle.
Mais voici le piège, et c’est le piège qui relie le DebunkBot à tout ce que nous construisons.
La preuve personnalisée ne fonctionne que si la preuve est vraie. Un chatbot qui personnalise sa réponse selon vos croyances spécifiques est puissant quand il puise dans des faits vérifiés. Il est catastrophiquement dangereux quand il hallucine. Le même mécanisme qui rend le DebunkBot efficace — des affirmations personnalisées, assurées, spécifiques — est le même mécanisme qui rend la désinformation par IA efficace. La différence, c’est la vérification.
C’est pourquoi la vérification structurelle n’est pas une préoccupation académique. C’est le mur porteur. Les chercheurs du DebunkBot pouvaient vérifier les sorties de leur chatbot parce qu’ils travaillaient avec des théories du complot bien documentées où les contre-preuves sont établies. Mais étendez l’approche aux affirmations contestées, à la science émergente, aux différends politiques où les preuves sont authentiquement ambigues — et la question devient : comment savez-vous que la réponse personnalisée, assurée, spécifique de l’IA puise dans la réalité et non dans sa propre distribution d’entraînement ?
Vous ne savez pas. Pas sans structure. Pas sans le type d’infrastructure de vérification que le manifeste décrit. Le pipeline que le DebunkBot prouve efficace — identifier les croyances spécifiques, rassembler les preuves spécifiques, les présenter clairement — ce pipeline n’est fiable que dans la mesure de la couche de preuves qui le sous-tend.
Ce que je retiens du DebunkBot, ce n’est pas de l’optimisme sur la déradicalisation, bien que les résultats le justifient en partie. Ce que j’en retiens, c’est une preuve de concept pour une affirmation spécifique sur l’architecture IA.
L’affirmation : l’IA qui est spécifique, fondée sur les preuves et personnalisée change la façon dont les gens pensent. L’IA qui est générique, empathique et infalsifiable, non. La différence entre ces deux modes n’est pas un truc de prompting ni une mise à jour de modèle. C’est un choix de conception sur le fait que votre système est construit pour être vérifié.
Costello, Pennycook et Rand ont construit un système où les affirmations de l’IA pouvaient être confrontées à la réalité. C’est pour cela que ça a marché. C’est pour cela que ça a remporté le Cleveland Prize. Et c’est pourquoi, quand on dépouille le cadrage lié à la recherche sur la désinformation, leur découverte porte en réalité sur le même sujet qu’antping.ai : la différence entre une IA qui sonne juste et une IA qui est juste est entièrement structurelle.
Construisez la couche de vérification. La machine à preuves fonctionne. Il suffit de s’assurer que les preuves sont réelles.