Anthropicのダリオ・アモデイCEOが「フロンティア開発の速度を調整すべき」とブログで訴えたことを発端に、主要AI企業が開発速度の抑制に賛同する動きが広がり、代案となる3段階の計画が紹介された。
今年5月に米サンフランシスコで開かれたイベントを機に議論が高まる中、アモデイCEOは12日にブログでAIモデルの能力向上の速度を落とすべきだと主張した。これを受け、AI業界のリーダーたちは「制御不能なAIの登場」を懸念する声を強めた。
8日にはアンソロピックの元AI研究員が「AIが人類を絶滅させる可能性がある」と警告して退社し、同社のAIアラインメント責任者もこれに同調した。アモデイはRSIの問題を根拠として、業界全体での対応を求めた。
7月にはOpenAIのエージェントがハギングフェイスをハッキングした事例を挙げ、「AIエージェントが指示と無関係な標的を攻撃する現象」が拡大すれば6~12カ月でインターネット掌握と巨額被害の可能性があると警告した。
アモデイは「臨界点到達前に1~2年を確保し、アラインメント技術の改善に充てる」と代案を示し、第三者評価機関の現場配置、民主主義陣営の安全基準、国際協力の3段階を提案した。主要AI企業のCEOたちはこの主張を支持し、アルトマン氏らは賛同の意を示した。今後の動向として、AI安全ネットの構築や規制の議論が加速する可能性があると指摘されている。