Comment savoir si une histoire IA se souvient vraiment : cinq tests

Pourquoi il faut un test, pas une promesse

La mémoire est la chose la plus facile à promettre et la plus difficile à vérifier de l'extérieur. Une histoire peut se lire très bien et se tromper discrètement sur qui est vivant, qui doit quoi à qui, ou ce que vous avez juré au chapitre deux. On s'en aperçoit quand cela compte, trente tours plus tard en général, et à ce moment-là on se dispute avec sa propre mémoire.

Les tests ci-dessous sont ceux que nous utilisons sur notre propre moteur. Ils marchent sur n'importe quelle application, ne coûtent qu'une soirée, et donnent des chiffres dans la seule unité qui compte ici : les tours.

Avant de commencer

• Jouez une seule histoire, assez longue pour que cela compte : quarante tours ou plus.
• Notez le numéro du tour chaque fois que vous plantez ou vérifiez quelque chose. Oui, c'est le fichier de notes dont nous aimerions vous dispenser. Pour une soirée, c'est le mètre ruban.
• Ne demandez jamais à l'histoire ce dont elle se souvient. « Comment s'appelait-elle ? » teste autre chose : un modèle retrouve souvent un nom quand on le lui demande, et oublie quand même de s'en servir. Mettez l'histoire dans une situation où le fait devrait compter, et regardez ce qu'elle en fait.

Test 1 · Le nom planté

Vers le tour 3, présentez un personnage secondaire au nom arbitraire, avec un détail étrange : un passeur nommé Osric qui compte chaque pièce deux fois. Ne faites rien de lui. Vers le tour 30, retournez à la rivière.

C'est réussi si Osric est toujours Osric, et compte toujours, sans que vous ayez rappelé quoi que ce soit. C'est raté s'il revient avec un autre nom, une autre manie, ou comme un inconnu.

Test 2 · Les morts restent morts

Provoquez quelque chose d'irréversible : un personnage meurt, un pont brûle, une lettre part au feu. Vingt tours plus tard, amenez un moment où cette personne ou cette chose serait bien pratique.

C'est réussi si l'histoire fait avec la perte. C'est raté si les morts parlent, si le pont est revenu, ou si la lettre réapparaît dans un tiroir.

Test 3 · La correction

C'est le test qui sépare les applications. Quand l'histoire se trompe sur un détail, ou quand vous en plantez un qu'elle risque de rater (votre personnage est gaucher), corrigez-le une fois, comme l'application le permet : une modification, une note, un message. Puis continuez à jouer, et comptez.

Notez deux choses : combien de tours avant le retour de la mauvaise version, et ce que la correction vous a coûté : une régénération, un crédit, un message pris sur votre quota, une ligne dans un champ de notes, ou votre attention.

Une correction qu'il faut refaire n'était pas une correction. Une correction qu'on paie, c'est un coût que l'application vous renvoie.

Test 4 · L'inconnu

Observez ce que savent les personnages. Confiez un secret à quelqu'un sans témoin, puis parlez à quelqu'un d'autre. Ou rencontrez simplement un inconnu, et voyez s'il connaît déjà votre nom. Pourquoi c'est plus difficile qu'il n'y paraît : la théorie de l'esprit.

C'est réussi si le savoir ne circule que par les chemins possibles dans l'histoire. C'est raté si un personnage sait ce qu'il n'a jamais appris.

Test 5 · La promesse

Préparez quelque chose pour plus tard : un rendez-vous à l'aube, une dette due au troisième jour, la tempête annoncée par un pêcheur. Puis allez faire autre chose.

C'est réussi si l'échéance arrive, ou si quelqu'un se souvient qu'elle n'est pas arrivée. C'est raté si elle s'évapore sans bruit.

Une grille à recopier

Comment lire vos résultats

Un échec n'est pas un verdict : toute histoire IA dérape parfois, la nôtre comprise. Un motif, si. Si les noms dérivent, si les corrections reviennent, si les inconnus connaissent vos secrets, vous avez appris quelque chose qu'aucune page de fonctionnalités ne vous dira.

Faites les cinq mêmes tests sur chaque application que vous envisagez. Celle qui mérite vos soirées n'est pas celle qui ne dérape jamais. C'est celle où un dérapage se corrige à peu de frais, et reste corrigé.

Faites-les aussi sur Nostyss

Nous avons construit ces tests pour juger notre propre moteur, et il ne les réussit pas tous à chaque fois. Nous écrivons sur ce qui casse encore, à commencer par pourquoi les histoires IA oublient. La façon honnête d'en juger reste de jouer.

Vérifiez si le monde se souvient vraiment

Dix mondes que vous pouvez lancer sans compte. Jouez quelques chapitres, contredisez quelque chose que vous aviez établi plus tôt, et regardez ce que le monde en fait. C'est la façon honnête de juger tout cela.

À lire ensuite