Pourquoi les histoires IA ignorent vos corrections, et ce qui fait tenir un correctif

Le problème des deux tours plus tard

Tous ceux qui ont joué une longue histoire IA connaissent cette boucle. Ce n'est pas le modèle qui s'entête, et ce n'est pas un bug au sens habituel. C'est ce qui arrive quand une correction n'est que du texte en plus.

Pourquoi une correction est en minorité

Dans la plupart des systèmes d'histoires IA, l'histoire est sa propre mémoire. Le modèle lit ce qui précède, parfois avec un résumé par-dessus, et en déduit ce qui est vrai. Votre correction rejoint ce tas comme une ligne de plus.

Le problème, c'est tout le reste du tas. Le détail faux est toujours écrit dans les chapitres d'avant votre correction. Il est peut-être figé dans un résumé écrit avant elle. Il est peut-être dans des notes données au modèle, qui se disputent son attention avec tout le reste. Quand le modèle concilie tout cela, la version la plus souvent écrite a tendance à l'emporter.

Une correction qui doit gagner un débat à chaque tour finira par en perdre un.

C'est aussi pour cela qu'une fenêtre de contexte plus grande ne règle rien. Une fenêtre plus large garde aussi plus de la mauvaise version sous les yeux.

Ce que font les joueurs aujourd'hui

Les joueurs ne subissent pas sans rien faire. Dans une lecture de messages publics de communautés d'histoires IA que nous avons menée cet été, environ un tiers des personnes qui décrivaient ce problème décrivaient aussi un contournement qu'elles avaient inventé. Les mêmes reviennent sans cesse :

• Régénérer jusqu'à ce que ça passe. Redemander le passage jusqu'à ce que le détail sorte juste. Cela répare un tour, et coûte souvent un tour ou un crédit.
• Éditer la sortie à la main. Précis, mais le modèle relira son erreur au tour suivant, partout où elle est encore écrite.
• Tenir un fichier de notes. Écrire ce qui doit rester vrai et le recoller. Ça marche, et cela fait de vous l'archiviste de votre histoire.
• Répéter le fait. Mentionner les yeux verts tous les quelques tours pour que le modèle les voie encore. Ça marche, et cela plie votre écriture autour de l'outil.

À chaque fois, c'est un joueur qui fait un travail que l'histoire devrait faire.

Ce qu'il faut pour qu'une correction tienne

Le principe se dit simplement et se construit difficilement. Un fait a besoin d'un endroit où il est vrai. Une correction doit remplacer le fait à cet endroit, plutôt qu'ajouter une ligne qui le contredit. L'histoire doit lire cet endroit avant d'écrire, pour que le chapitre suivant parte du monde corrigé au lieu de le redeviner à partir de la prose. Et corriger doit être gratuit, sinon les joueurs arrêtent de le faire.

C'est toute l'idée d'un registre plutôt que d'une transcription, dont nous parlons dans pourquoi les histoires IA oublient.

Sur Nostyss

Voici ce qui est vrai sur Nostyss aujourd'hui, et rien de plus. Réessayer, annuler et modifier ne décomptent jamais de tours. L'histoire tient un registre de ce qui s'est passé, et un fait que vous posez dans l'histoire est écrit dans ce registre, pas seulement dans la prose. Vous voyez ce que l'histoire retient dans son panneau Mémoire.

Qu'une correction tienne ensuite pour de bon, c'est exactement ce que mesurent nos propres tests, et elle ne tient pas à chaque fois. Pour le mesurer sur n'importe quelle application, la nôtre comprise, prenez le test de la correction, le troisième de nos cinq tests de mémoire.

Ce qui casse encore

• Les faits profonds. Un détail tissé dans beaucoup de scènes est plus difficile à corriger qu'un détail mentionné une fois.
• Ce que l'histoire en a déduit. Quand l'histoire a tiré une conclusion de la mauvaise version, corriger le fait ne corrige pas toujours la conclusion.
• Votre attention. Même quand corriger est gratuit, repérer l'erreur reste votre travail. Nous aimerions que ce ne soit plus le cas.

Vérifiez si le monde se souvient vraiment

Dix mondes que vous pouvez lancer sans compte. Jouez quelques chapitres, contredisez quelque chose que vous aviez établi plus tôt, et regardez ce que le monde en fait. C'est la façon honnête de juger tout cela.

À lire ensuite