World Model

📋 要約（TL;DR） # Neural Operatorは係数場・初期場・境界条件からPDEの解場を近似する技術であり、生成World Modelは履歴・状態・行動から観測の次の展開を生成する技術である。両者は学習型シミュレータでも、出力と保証の対象が異なる。 起点論文のOmniDreamsは、Cosmosを基盤に、world-scenario map、テキスト、過去フレーム、行動を条件とする因果的動画生成モデルを構成し、AlpaSimの閉ループ環境に接続した。査読前研究である。 論文は、単一カメラで8フレームを118 ms、4カメラで16フレームを151 msで生成したと報告する。ただし、前者は1基、後者は16基のGB300上の測定であり、KVキャッシュ更新を総時間から除外するなど、実装条件に依存する。 20秒ロールアウトでは、長い文脈を使った教師によるSelf Forcingで最終区間のFVD差分が299.9から172.9へ低下した。これは長期映像の安定性を示す指標であって、質量保存、エネルギー保存、流体方程式の残差を保証する指標ではない。 航空宇宙・CAEでは、Neural Operatorを温度・圧力・速度などの物理場サロゲートに、生成World Modelをセンサ生成や長尾シナリオの閉ループ試験に割り当てるハイブリッド構成が合理的である。認証根拠や材料損傷の判定を映像生成モデルだけに委ねるべきではない。 学習型シミュレーションは、数値解析を一つのニューラルネットワークで置き換える単純な話ではない。PDEの解場を近似するNeural Operatorと、センサ観測の未来を生成するWorld Modelは、どちらも高速な反復評価を目指すが、入力、出力、誤差の意味、失敗時の対処が異なる。起点となるNVIDIA OmniDreamsは、自律走行の閉ループ評価に生成動画モデルを組み込んだ査読前研究であり、CAEで議論されてきた解作用素学習と比較する材料を提供する。本稿では、二つの系譜を同じ「サロゲート」として一括りにせず、PDEベースの物理場計算、観測生成、制御評価の三層に分けて、どの計算をどのモデルへ委ねられるかを整理する。 1. 解作用素とWorld Modelは同じ学習型シミュレータではない # PDEの時間発展を概念的に、u(t+Δt)=Sθ,B,Ω(u(t))と書く。uは温度、速度、圧力、濃度などの場、θは物性や無次元数、Bは境界条件、Ωは領域である。Neural Operatorは、初期場や係数場などの関数を、別の関数である解場へ写像するSを学習する。Fourier Neural Operatorのような構成は、異なる離散化に同じパラメータを使うことを狙うため、設計点の反復評価に向く。一方、World Modelは観測と状態の確率的な遷移を、p(o(t+1:t+k)|o(≤t),s(t),a(t))の形で近似する。oは画像やセンサ観測、sはシミュレータ状態、aは行動である。出力は物理場そのものではなく、ポリシーが次に受け取る観測である。|計算層|主な入力|主な出力|最初に検証すべき量| |—|—|—|—| |高忠実度数値解析|方程式、物性、初期・境界条件、形状、離散化|物理場と時系列|残差、保存則、収束、実験との整合| |Neural Operator|場、係数、境界条件、形状表現|温度・圧力・速度などの場|場の誤差、フラックス、工学指標、外挿挙動| |生成World Model|履歴、状態、行動、テキスト、センサ条件|画像・動画・センサ観測|視覚品質、時系列整合、行動条件整合、閉ループ指標|OmniDreamsはこの表の第三層に位置する。論文は、アクション条件付きの因果的動画生成を閉ループシミュレータへ接続したが、Navier–Stokesや熱伝導方程式の解作用素を学習したとは述べていない。この区別を曖昧にすると、映像が物理的にもっともらしいことを、応力、熱流束、損傷、空力係数が正しいことと取り違える。