グラッドキューブが運営するINSIGHT CUBEは、LLMOAが計測した21サービス・25,281回の回答データを基にした最新調査レポートを公開した。記事の中で、AIの回答が毎回変わることや自社名が毎回出る質問の割合が3%程度とされます。
グラッドキューブが運営するマーケティングメディアINSIGHT CUBEにて、同社のLLMOA(エルモア)による検証データを用いた調査レポートが公開された。レポート名は『AI の回答は毎回変わる|自社名が毎回出る質問は3%【 LLMOA 2.5万回の実測レポート】』で、21サービス・25,281回の回答データが対象とされます。
調査の背景として、生成系AIの普及によりゼロクリック検索が拡大していることが挙げられ、AI時代の正確な再現性を持つ効果測定やモニタリング手法の重要性が指摘されています。本文では、データのずれ(誤差)を定量的に解明することを目的とした分析の説明が行われています。
調査の結果として、AI回答には一貫性のない局面があり、特定の自社情報が引用・言及される割合は3%程度にとどまるとされます。本文には、調査対象のサービス名や集計方法の詳細は記事本文で確認できるとされます。