Replit（レプリット）、長期的なソフトウェア開発能力を測定するベンチマーク「ViBench 2.0」を発表

Replit（レプリット）は2026年10月28日、AIエージェントによる長期的なソフトウェア開発能力を評価する新たなベンチマーク「ViBench 2.0」を公開した。この指標は、オープンウェイトモデルの推論および学習パートナーであるFireworksが提供するSpecialized Intelligence Index（SII）に組み込まれる。既存のコードベースに単一のタスクを追加する従来のベンチマークとは異なり、ViBench 2.0ではエージェントが空のプロジェクトから開始し、UberやGitHubなどのサービスをモデルとした製品を一度に1機能ずつ（最大18機能）構築する能力を測定する。

本ベンチマークは17の製品（うち8つはGitHubで公開、9つは非公開）、241の機能要件、544のテストプランで構成されている。テストでは、クリーンなデプロイメント、既存データの処理、不変条件の維持、古い状態の扱い、同時実行制御といった複雑な課題への対応力が評価される。採点には、テスト対象モデルの中で最もミスが少なかったOpus 5.5がグレーディングエージェントとして採用されている。

公式テストの結果、全てのテストプランに合格する割合（Pass@1）のトップはGPT-6.1 Solの65パーセント（ビルド当たりのコスト約12米ドル）であり、次いでGPT-6 Astraが60パーセント（同約90米ドル）、Opus 5.5が49パーセントであった。これら上位3モデルはいずれも90パーセント以上のテストプランを通過しているが、機能同士が交差する部分での実装エラーが主な失敗要因となっている。また、DeepSeek V4.1 Flashなどのオープンウェイトモデルは完全なビルドを達成していないものの、ビルドあたり約2.50米ドルで77パーセントのテストプランを通過するなど、高い費用対効果を示している。

出典：Replit

この製品の詳細については、Replit製品ページをご覧ください。