Un jour, un outil d'IA générative

Focus

Quand aucun capteur ne répond

Focus de la lettre 53

Parmi les outils testés sur le site, deux fabriquent des objets. Avec Confetti, une instruction donne un projet matériel complet : un modèle CAO, des fichiers pour impression, une liste de pièces, des instructions de montage, le tout exportable. Mes deux tests, un pot de fleurs connecté et une console de jeux portable, ont donné en une dizaine de minutes les plans, la liste du matériel et la notice de montage. Avec Schematik, on obtient du code, un schéma de câblage et un pas à pas de montage, sur le site avec un capteur d’humidité du sol, une console de jeux et une station météo.

Pour les tests, je me suis arrêté là, aux fichiers générés, parce que le site teste des applications, il n’a pas pour but de fabriquer des objets. Je n’ai ni branché de carte ni imprimé de pièce. Cette limite est peut-être la plus instructive de l’exercice. Les fichiers ont l’air complets, la liste de pièces est cohérente, les instructions se lisent bien. Rien ne nous dit qu’ils contiennent des erreurs, et rien ne nous dit qu’ils sont prêts pour la production. Nous ne savons pas si le capteur répondrait, ni si la pièce entrerait dans son logement. Ce qui tranche pour un objet, c’est le réel, et il tranche sans appel : cela fonctionne ou non, sans que personne ait besoin de juger.

Pour un texte ou une décision, ce verdict n’existe pas. L’affaire Orélien, dont on parle depuis des semaines, en est un bon exemple et elle aura au moins ouvert la discussion. Un détecteur lit le texte fini, pas la manière dont il a été produit, et il ne dit donc presque rien de ce qui compte. Dans les lectures de la semaine, Mathieu Hétu répond en déplaçant la question : plutôt que de chercher si l’IA a servi, il distingue six niveaux d’usage et rappelle que le niveau acceptable dépend de ce que le lecteur est en droit d’attendre. Christiane Caneva rappelle que l’absence d’IA ne se prouve pas, et place l’auteur dans les choix qu’il peut justifier. Dans les deux cas, on ne demande plus au texte de prouver son origine. On demande à son auteur de répondre de ce qu’il publie.

L’étude d’Anthropic auprès de cinquante analystes aidés d’un agent pose la même question pour la décision. À leur insu, l’agent de chaque analyste penchait pour l’une des deux options raisonnables, désignée par un tirage à pile ou face, et plaidait pour elle, avec une insistance que les auteurs ont volontairement renforcée. Sur les quatre choix d’analyse, les analystes ont suivi l’option défendue par l’agent dans 86 % des cas. Interrogés ensuite, 77 % ont repris un argument de l’agent, parfois mot pour mot, et 15 % seulement l’ont crédité. Leur confiance dans la recommandation n’a presque pas varié, qu’ils aient suivi l’agent ou non. Quand aucune réponse n’est correcte d’avance, le travail paraît solide quelle que soit l’option choisie, et rien ne permet de repérer que le choix venait de l’agent.

Il y a là une asymétrie qui s’accentue. Produire des contenus est de plus en plus facile, quelques secondes pour un fichier, un texte ou une analyse. Vérifier coûte toujours autant, et il faut un capteur ou un lecteur qui s’y colle. L’objet fonctionne ou pas. Pour le texte et la décision, la vérification ne s’impose à personne, et c’est souvent elle qu’on laisse de côté.

Nous fabriquons donc de plus en plus vite des objets, des textes et des décisions qui ont l’air finis. Pour l’objet, un capteur qui fonctionne permet de trancher. Pour le texte et la décision, qu’est-ce qui joue ce rôle, et qui l’assure ?

En écho :