パナソニックHDと UCLA の研究者らが、モバイル端末の業務を AI が先読みして支援する世界モデルを開発。約140万件の学習データとベンチマークを作成し、AIエージェントの操作成功率を向上させた。EMNLP 2026での発表が予定されている。
パナソニック ホールディングスとパナソニックR&Dカンパニー・オブ・アメリカは、カリフォルニア大学ロサンゼルス校の研究者らと共同で、スマートフォンなどのモバイル端末上の業務を AI が先を予測して支援する世界モデルを開発しました。
本技術は操作後の画面を画像として再現する従来手法と異なり、操作に関わる変化を自然言語で予測する方式を用いて、複数の操作候補を評価して目標達成につながる操作を選択します。データセット MobileWorld は操作内容や前後画面、変化の説明、次状態の質問回答などを収録し、約94.2万件の画面変化データと約54.3万件の質問回答データを含みます。
MobileWorldを用いた追加学習済みの Qwen3-VL-8B-Instruct を MobileWorldBench で評価した結果、既存手法と比較して高い予測性能を示し、AndroidWorld での評価ではタスクの成功率がベースラインの46.9%から54.3%へ向上しました。
本技術は設備管理・部品在庫・作業記録など複数アプリケーションでの業務支援を想定し、スマホだけでなくWebサイトやPCアプリケーションへの適用可能性も検証する予定です。論文情報として MobileWorldBench のタイトルと arXiv 号が併記され、著者には Konstaninos Kallidromitis、加藤祐介、小塚 和紀、Shufan Li らが含まれます。