リコー、MoE型マルチモーダル大規模言語モデル「リコーLMM_35B-A3B」を開発

リコーは、日本語の文書や図表を高精度に理解し高速・省リソースで動作するMoE構造のマルチモーダル大規模言語モデル「リコーLMM_35B-A3B」を開発した。総パラメータ数は約350億だが、推論時には約30億パラメータのみを活用する構造を採用している。

本モデルはベースにAlibaba CloudのQwen3.6-35B-A3Bを用い、リコー独自の強化学習とカリキュラム学習で日本語のリーズニング性能を向上させた。JDocQA Reasoning Benchmarkなどで、同規模のMoE型オープンモデルを上回る性能を示している。

日本語AIエージェント機能にも対応し、業務システムやツールを活用して自動的にタスクを遂行する能力を評価指標で改善。さらにループ回答を抑制する報酬設計を強化し、出力品質を保ちながら応答時間の安定化を図っている。

NVFP4量子化版を開発し、NVIDIAのBlackwell世代以降のGPUで動作する小型サーバー「NVIDIA DGX Spark」1台で実用レベルの生成AI処理を実現。BF16版と比較して1問あたりの応答時間を大幅に短縮する。

11月から順次「RICOH オンプレLLMスターターキット」に搭載され、リコージャパンを通じて提供予定。既存の高精度Dense型モデルと軽量モデルを含むラインアップに本モデルを加え、顧客の要件に応じた最適な選択を可能とする。