kimi.com を KomoriBench で測る

KomoriBench は日本株リサーチ専用のベンチマークで、有価証券報告書の原文から手作業で抜き出した検証済みの事実群を採点基準に使う。対象は ダイキン工業 や 丸紅 のような、公開ウェブに材料が最も多い有名銘柄を意図的に選んである。ウェブ調査側に有利な土俵を用意したうえで測る、という設計だ。

事実は一件ずつ、出典の提出書類に一字一句存在することを機械的に検証済みである。合成データではない。採点は「その事実が回答に本当に含まれているか」の合否判定で、リコール（取りこぼし）を測る。

今回の候補文は、kimi.com のウェブ調査を有効にした状態で 1 社 1 レポート。既存エントリーと同じ指示文・同じセクション構成を使い、生成物はそのまま採点に回した。文面には一切手を入れていない。

比較の公正さは一点に集約される。候補文は二系統あるが、採点者は一つしかない。Komori リサーチ・エンジンの出力も、ウェブAIのレポートも、同じ事実リストに対して同じ採点者が合否を付ける。採点者の癖があるなら、それは全エントリーに等しくかかる。

全社単位で採点している点も揃えてある。ウェブAIは 1 社につき 1 本のレポートを返すので、Komori 側もその会社の該当セクションを通しで見る。片方だけを提出書類 1 通に限定すれば不利になるが、そういう非対称は入れていない。

kimi.com の加重総合は 31%。claude.ai の 30% とはほぼ差がなく、ChatGPT の 34% をわずかに下回る。三社の web 調査ツールは、日本企業の事実想起という一点においては同じ帯に固まっている。

総合順位より読むべきは内訳のほうだ。kimi.com は外部エクスポージャーで 43%と、ChatGPT（40%）も claude.ai（31%）も上回る。三社中で最も高い。ところがサプライチェーンは 26%で、こちらは三社中で最も低い（ChatGPT 33%、claude.ai 37%）。得意と不得意が、他の二社と逆向きに振れている。

この二つのセクションは要求している事実の性質が違う。外部エクスポージャーはマクロな risk 記述、為替感応度、市況依存といった、報道や解説記事に載る種類の情報を多く含む。対してサプライチェーンで問われるのは、名指しの仕入先、顧客集中度のパーセンテージ、工場の所在地といった固有名詞と数字である。前者は公開ウェブで拾えるが、後者は提出書類の中にしか書かれていない。

もう一つ、三社が揃って落ちるセクションがある。ケイパビリティ構築は kimi.com が 4%、ChatGPT が 6%、claude.ai が 2%。人材育成、提携、能力獲得型の買収といった話題は、そもそも公開ウェブにほとんど存在しない。ここはウェブ調査という手法そのものの天井であって、モデルの優劣ではない。

測っているのはリコールだけで、精度は測っていない。事実でないことを書いた場合の減点が入っていないため、広く曖昧に書くほうが有利になる余地が残る。過剰主張への減点は今後の課題である。

採点者は LLM であり、言い換えを許容する。この性質は、流暢な散文を返すウェブAI側にむしろ有利に働く。それでもこの差が出ている、という読み方が妥当だ。

対象は有名企業に偏らせてある。実際、今回もっとも情報の薄い 日本コークス工業 では、kimi.com のレポートは他社の 4 分の 1 の分量にとどまり、複数のセクションが「該当なし」で埋まった。公開ウェブが薄くなる銘柄ほど、この手法は成立しなくなる。中小型株に広げれば差は開く方向にしか動かない。

結果は KomoriBench の公開アリーナに追記した。新しいモデルは今後も同じ条件で走らせ、このページ群に積み上げていく。