Google傘下のDeepMindとNVIDIAが、ロボット操作向けの世界モデルDreamX-Phi 1.0を公開。ロボットの動作後に起きる事象を動画として予測する機能を示した。
ロボット操作向けの世界モデルとしてDreamX-Phi 1.0が公開され、画像と言葉の指示に加えてロボットアームの位置・姿勢・グリッパーの開閉情報をもとに、動作終了後に起こる事象を予測する動画を出力する仕組みだ。これにより、動画を作る用途から現実世界の挙動を事前に試す用途へ応用が広がることが示唆されている。
DreamX-Phiはロボットの3次元動作をAI内部へ反映させ、奥行き情報や物体の位置関係の学習も取り入れている。WorldArena 2.0の固定スナップショット時点で、Track 1は映像予測の1位、Track 2は世界モデルを使った方針評価で2位タイだった。
動画生成AIが「作品を作るAI」から「現実世界で何が起きるかを試すAI」へと用途を拡大しており、ロボット開発の新兵器になり得るとされる。
今後、日本のものづくり企業が世界モデルの進展によって得られる意味が大きいとの指摘があり、実用面での動きが注目される。