StateBench : les LLM perdent le fil des longs documents

Retrouver une information dans un long document ne suffit pas : encore faut-il savoir ce qu'elle est devenue. C'est la question que pose StateBench, un benchmark publié le 3 novembre par Ai2 (Allen Institute for AI). Il mesure le suivi d'état dans les longs contextes, c'est-à-dire la capacité d'un modèle de langage à garder la trace d'informations qui changent au fil du texte. Ses premiers résultats montrent que même les modèles les plus avancés décrochent dès que les mises à jour se compliquent.

Quatre niveaux de difficulté

Le principe est simple : suivre la valeur de variables à travers une longue suite d'affectations. Les cas vont de la réaffectation de variables dans du code au suivi des objets que possèdent les personnages d'une histoire. Ai2 définit quatre niveaux, fondés sur la théorie de Krohn-Rhodes :

• r-trivial : la valeur est affectée une fois et ne change plus, il suffit de la retrouver ;
• apériodique : la valeur est réaffectée, il faut trouver la plus récente ;
• soluble : les mises à jour dépendent de la valeur courante, du type « x = x + 5 » ;
• fini général : les affectations se font par référence, échanges compris, ce qui correspond au problème de suivi d'état le plus difficile (dit S₅).

Les quatre niveaux sont dérivés d'une même suite d'affectations, avec le même nombre de variables et de valeurs, aux mêmes positions. Seul le type d'opération change, ce qui permet de comparer les niveaux entre eux. Les séquences de test montent jusqu'à 64 000 affectations, soit 250 fois la longueur maximale utilisée à l'entraînement.

Les modèles de pointe calent sur les cas durs

Ai2 a soumis le test à quatre modèles commerciaux : Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol et GPT-6 Luna (voir notre article sur l'arrivée de GPT-6 dans ChatGPT). Tous s'en sortent bien sur les deux premiers niveaux. Sur les problèmes solubles et finis généraux, en revanche, leur précision chute, jusqu'à 13 % ou moins sur les plus longs problèmes de niveau fini général.

Les modèles ouverts d'Ai2 font moins bien. Olmo 3 (7 milliards de paramètres, architecture transformer) et Olmo Hybrid (7 milliards, avec des couches Gated DeltaNet) réussissent presque tous les cas r-trivial, perdent en précision sur les cas apériodiques à mesure que les entrées s'allongent et restent au niveau du hasard sur le niveau fini général.

Ai2 note aussi un effet de présentation. De petits modèles hybrides et Gated DeltaNet de 275 millions de paramètres atteignent presque le score maximal sur des problèmes r-trivial posés à la manière du test RULER, mais retombent au niveau du hasard quand le même problème est présenté comme une série de modifications dans un tableur.

L'architecture compte

Dernière série d'essais : des modèles de 275 millions de paramètres entraînés directement sur la tâche. Les modèles Gated DeltaNet et hybrides généralisent presque parfaitement sur les trois premiers niveaux, jusqu'à des dizaines de milliers d'affectations. Les transformers apprennent les niveaux faciles mais se dégradent sur les longues séquences et n'apprennent jamais le niveau fini général. Une variante Gated DeltaNet à mise à jour mémoire plus souple reste proche du sans-faute sur ce niveau, jusqu'à environ dix fois sa longueur d'entraînement.

Pour les équipes qui confient de longs documents à un LLM (contrats révisés, historiques de tickets, journaux), la leçon est concrète : un modèle qui retrouve un passage ne sait pas forcément quelle version est la bonne. Le code de StateBench est publié sous licence Apache 2.0 sur GitHub, et les données sont disponibles sur Hugging Face, avec un rapport technique.