AIは自分を改良する能力を高める一方、次の研究方向を選ぶtasteの課題がRSIの文脈で重要性を増しているとされます。AnthropicのTASTE研究の発表と関連論考を伝え、AIと人間の判断の違いが問われていると報じられています。
AI研究の自動化が進む中、研究提案の優劣を判断できるAIの能力としてtasteが注目されているとされます。米Anthropicは8月28日、研究提案の適切な評価を測るTASTEを公表しました。
対象となったのは92組の研究提案で、最も成績の良かったAIモデルFable 5の正答率は60%で、人間の研究者同士の判断一致率は推定77%となり、17ポイントの差が指摘されています。
論文はtasteを学習可能な能力として示す一方、研究案の将来性や重要性の判断には限界があり、AIが研究の方向を選ぶ際にも同様の課題が生じ得ると説明しています。
OpenAIの味覚（taste）の学習法やRLHFの考え方、The AI Scientistによる研究の自動化事例などが紹介され、taste獲得がRSIの進展にどう影響するかが議論されています。