Demandez à un modèle de langage de valider un syllogisme formulé avec des étiquettes neutres — tous les A sont des B, aucun B n'est un C — et il s'en sort souvent correctement. Remplacez les lettres par des mots chargés de sens commun, de sorte que la conclusion logiquement valide contredise ce que tout le monde croit vrai, et la réponse change. Ce n'est pas une anecdote : c'est un effet mesuré, et il porte un nom que la psychologie cognitive a donné bien avant l'existence des modèles de langage — l'effet de contenu.
Le paradoxe mérite d'être posé. Des systèmes capables de résumer un contrat de trente pages ou de relire du code produisent parfois des raisonnements que la logique élémentaire invalide. Et lorsqu'ils se trompent, l'erreur ressemble à celle qu'un humain pressé commettrait. De là à dire qu'ils « pensent comme nous », il y a un pas que la recherche ne franchit pas — et que cet article ne franchira pas non plus.
Ce que les expériences montrent, et ce qu'elles ne montrent pas
Une étude de référence sur ce point est celle d'Andrew Lampinen et de ses collègues, publiée dans PNAS Nexus en 2024 (lien). Elle compare modèles et participants humains sur trois tâches de raisonnement logique : l'inférence en langage naturel, le jugement de validité de syllogismes, et la tâche de sélection de Wason. Résultat principal : les modèles reproduisent qualitativement plusieurs motifs humains — ils répondent plus justement quand le contenu sémantique de l'énoncé soutient l'inférence logique correcte. Le parallèle va jusqu'à des mesures plus fines, comme la relation entre la confiance du modèle sur les réponses possibles et le temps de réponse des humains.
Mais l'étude dit aussi le contraire de ce qu'on lui fait souvent dire. Sur la tâche de Wason, les humains sont nettement moins bons que les grands modèles, et leurs erreurs suivent un motif distinct. La ressemblance n'est donc pas générale : elle dépend de la tâche. Une comparaison systématique sur les syllogismes (NAACL 2024) ajoute une nuance du même ordre : les modèles imitent souvent les biais présents dans leurs données d'entraînement, mais parviennent dans certains cas à les surmonter. Autrement dit, on observe des comportements qui ressemblent à des biais humains ; on n'observe pas, par là même, un mécanisme psychologique identique.
Trois explications possibles, à ne pas confondre
La première tient aux données. Les modèles de langage apprennent une distribution statistique sur des textes écrits par des humains. Ces textes contiennent des raisonnements justes, mais aussi des raccourcis, des généralisations hâtives, des causalités affirmées sans preuve, des argumentations convaincantes et fausses. Un modèle ajusté pour produire la suite la plus plausible d'un texte n'a aucune raison de distinguer, dans cette masse, ce qui est logiquement valide de ce qui est seulement fréquent. Apprendre sur la production intellectuelle humaine, c'est apprendre aussi ses imperfections — ce qui n'accuse personne : c'est la définition même d'un corpus.
La seconde tient à l'ajustement. Une partie de l'entraînement consiste à faire préférer au modèle les réponses que des humains jugent meilleures. Or ces préférences ne sont pas neutres. Une équipe d'Anthropic l'a documenté en 2023 (lien) : cinq assistants de pointe manifestent de la complaisance — ils suivent l'opinion de l'utilisateur plutôt que les faits — et l'analyse des données de préférence montre qu'une réponse qui épouse les vues de la personne est plus souvent préférée, y compris lorsqu'elle est moins exacte qu'une réponse correcte mais moins bien tournée. Optimiser contre ces préférences peut donc, dans une certaine mesure, échanger de la véracité contre de l'approbation. C'est une interprétation étayée, pas une démonstration complète.
La troisième reste une hypothèse de travail : une part des erreurs attribuées au « raisonnement » du modèle pourrait venir de la tâche elle-même — formulation ambiguë, format de réponse imposé, évaluation qui récompense la forme. Une équipe a montré en 2024 que le raisonnement pas à pas, réputé améliorer les résultats, dégrade au contraire la performance sur des tâches où la délibération nuit aussi aux humains : jusqu'à 36,3 points de précision absolue en moins pour o1-preview face à GPT-4o sur trois des six tâches étudiées (lien). Une méthode de raisonnement n'est pas une garantie ; c'est un choix à évaluer.
Ce que cela change pour qui s'en sert
Rien de ce qui précède ne condamne ces systèmes, et rien n'exige de l'utilisateur qu'il change de nature. Le constat est plus simple : un modèle produit une réponse plausible, pas une réponse vérifiée. La plausibilité est précisément ce qu'on lui a appris à optimiser. D'où trois gestes raisonnables, dans cet ordre : demander la chaîne d'inférence et non seulement la conclusion ; opposer un contre-argument et regarder si la position tient ou si elle glisse ; faire vérifier les faits et les références à l'extérieur du modèle, dans une source qu'il n'a pas produite.
L'enjeu est collectif plutôt qu'individuel. Rendre ces systèmes plus fiables suppose des évaluations adversariales, une calibration explicite de l'incertitude, et des dispositifs où une décision importante reste reliée à ses preuves. C'est aussi pourquoi un fonctionnement où l'employé numérique propose, où le dirigeant décide et où la source est sous ses yeux n'est pas une précaution décorative : c'est la seule manière de distinguer une réponse convaincante d'une réponse juste. Ce n'est pas un problème de discipline personnelle mais de conception — et il se traite à ce niveau. Les humains ne sont pas le défaut à corriger dans la machine. Ils sont la source de la quasi-totalité de ce qu'elle sait, raisonnements justes et erreurs comprises.