同じLLMを使っているのに成功率が全然違う — AIコーディングツールの差は「ハーネス」だった

AI 要約

同一LLM（Gemini gemini-3.5-flash-lite）を使った複数のAIコーディングツールを同一タスクで比較したところ、成功率に大きな差が生じることが判明した。差の原因はモデル自体ではなく、ツール側の「ハーネス」（プロンプト設計・コンテキスト管理・エラー処理などの仕組み）にあることが繰り返しの計測で明らかになった。これはAIツールを選定する開発者や企業にとって重要な示唆であり、モデルのスペックだけでなくツールの実装品質を評価基準に加える必要があることを意味する。