StateBench: Testing how language models track state changes over long documents

AI 要約

StateBenchは、言語モデルが長文書にわたって状態変化を追跡する能力を評価するためのベンチマークである。複雑なドキュメント内でオブジェクトや変数の状態がどのように変化するかを正確に把握する能力は、コード実行・法律文書・物語理解など多くの実用場面で重要となる。このベンチマークは、LLMの長文コンテキスト処理における弱点を明らかにするもので、AIモデルの開発者や研究者、実務でLLMを活用する企業に影響を与える。