GitHubは2026年10月5日、AIコードレビューを評価するためのReviewBenchを紹介した。これは発表から数日後に、その評価方法を読み解く記事だ。プルリクエスト（PR）を調べるAIには、問題を見つけてほしい。一方で、役に立たない指摘が増えれば、開発者は確認に時間を取られる。では、レビュアーの質を何で判断すればよいのか。
ReviewBenchから学べるのは、発見数だけを数えても、この問いには答えられないということだ。GitHubが示した対象、正解の作り方、四つの指標を順に見ると、評価結果から読み取れることと、まだ読み取れないことが分かる。
何を評価するベンチマークなのか
コードレビューAIは、PRの変更を調べ、注意すべき点を指摘する。ReviewBenchは、そうしたレビュアーの出力を評価するために、公開PRを題材にする。GitHubによると、対象は19言語にまたがる219件の公開PRだ。GitHub全体の分布に合わせつつ、レビューする意味のある事例を残したと説明している。ただし、どの言語や変更の種類が何件含まれるかは、今回提供された抜粋からは分からない。
レビュアーが多くの指摘を出した場合、問題をよく見つけた可能性も、余分なコメントを増やした可能性もある。逆にコメントが少ない場合も、的を絞ったのか、問題を見逃したのかは件数だけでは決まらない。ReviewBenchが扱うのは、この二つを分けて考えるための評価だ。読者にとっては、単に『何件見つけたか』ではなく、『何を拾い、どれほどノイズを出したか』を問える点に意味がある。
正解の作り方が結果を左右する
ベンチマークでは、何を正しい指摘と認めるかが重要になる。GitHubはReviewBenchについて、複数の情報源から正解を組み立て、指摘に適用する明示的な判定基準を公開し、情報源が違っても同じ基準でラベル付けすると説明している。これらはGitHubによる設計の説明であり、今回の抜粋だけで個々のラベルの妥当性を独立に検証したものではない。
この設計が必要になる理由も考えられる。既知の問題だけを正解とすると、AIが見つけた新しい有効な指摘をどう扱うかが難しくなる。反対に、新しい指摘を無条件に認めれば評価が甘くなる。ReviewBenchは既知の問題と新たに発見された問題の両方を測ると説明しており、共通の判定基準は、その扱いをそろえるための仕組みと読める。これは評価設計からの解釈であり、具体的な審査手順は提供資料にない。
GitHubが列挙する指標は、Grounded precision、Grounded recall、Augmented precision、Augmented recallの四つだ。一般にprecisionは出した指摘の妥当性、recallは対象となる問題をどれだけ拾えたかを考える言葉である。この二つを併せて見る発想は、ノイズと見逃しの両方を意識する助けになる。ただし、ReviewBench固有の各指標の算式や、GroundedとAugmentedの厳密な判定対象は、今回の抜粋だけでは確定できない。名称から数値の意味を細かく決めつけるべきではない。
GitHubは結果をどう使っているのか
GitHubは、Copilot code reviewの複数回の改良をReviewBenchで評価し、進歩の測定、後退の発見、有望な変更の優先付けに使ってきたと述べている。また、オフラインのベンチマークで見られた改善や後退は、オンライン実験にも現れる傾向があるという。これは提供されたGitHubの自己報告で、傾向の強さを示す数値や実験条件は抜粋にない。
ここから分かる役割は明確だ。ReviewBenchは、製品変更を実際の利用環境で試す前に、比較の材料を与える。GitHub自身も、利用者への影響を最終的に測るのはオンライン実験だと位置付けている。したがって、ベンチマークで良くなったという説明を、そのまま全ての開発現場での改善保証として読むことはできない。
結果を見るとき、何を確かめるか
ReviewBenchについて今回確認できる特徴は、公開PRを使うこと、複数の情報源を正解作成に用いること、共通の判定基準を置くこと、四指標を掲げること、そしてGitHubが実運用の実験との関係を確認していることだ。これらは、評価の仕組みを理解する手掛かりになる。一方、他のベンチマークや他社レビュアーの資料は提供されていないため、ReviewBenchだけがこの方法を採る、あるいは特定の代替手段より優れているとは比較できない。
今後スコアを見る機会があれば、順位だけでなく、対象PRが自分の関心に近いか、余分な指摘と見逃しをどう扱うかを確かめたい。たとえば重大な問題の発見を重視する読者には、重大度別の評価があるかも大切だが、今回の抜粋にその内訳はない。ReviewBenchの価値は、AIレビュアーの『よく見つける』と『余計なことを言わない』を、同じ評価の中で問い直せる点にある。個別の製品選びには、指標の定義と実際の結果まで確認する必要がある。
出典：参照した一次発表（確認日：2026-10-11）。