共有重みの反復はなぜ不安定になるのか――DeepLoopが示す深さと計算量の再設計

Sat, 18 Jul 2026 04:24:36 +0900

📋 要約（TL;DR）
#

ループ型Transformerは少数の物理ブロックをR回再利用し、保存パラメータを増やさずに実効深さN=KRを増やす。ただし逐次計算量は増える。
共有重みでは、同じパラメータへの勾配が複数回分蓄積され、その更新が同じ訪問列から再び読まれる。通常の非共有深さ向け安定化則をそのまま適用できない。
DeepLoopは訪問間の勾配・感度の整列度をκ_Rで表し、非相関ならp=1/4、保守的な完全整列ならp=1/2という残差スケーリングの境界を導く。
提案則はα=(2N)^(1/2)、β=(8N)^(-1/2)。GPT-2 small／mediumの単一シード実験では、Rが3以上の条件で検証損失と下流平均精度をベースラインより改善した。
改善は無料ではない。論文の実験ではループ数に応じて壁時計時間とGPU時間がほぼ線形に増え、結果の再現性も複数シード・大規模モデル・別タスクで追加検証が必要である。

深層学習モデルの深さは、パラメータ数と常に同じものではない。少数のブロックを反復利用すれば、保存する重みを増やさずに逐次的な計算段数だけを増やせる。この設計は、テスト時計算量を増やして推論や反復的な表現更新を行うモデル、さらに将来の科学計算向けニューラル演算子にも関係する。

しかし、共有重みの反復は、単に同じ層を何度も呼び出すだけではない。学習時には各訪問で生じた勾配が同じパラメータへ加算され、更新後のパラメータは次の順伝播で再び同じ訪問列に使われる。重みの書き込みと読み出しがともに反復回数へ依存するため、非共有の深いTransformerを前提にした安定化則では、共有構造の不安定性を捉えきれない可能性がある。

候補となったDeepLoopは、この問題を訪問整列係数κ_Rで定式化し、Post-LN型ループTransformerの残差スケーリングを再設計する研究である。対象論文は2026年7月15日にarXivへ提出されたv1で、査読前研究である。以下では、提案の数学的な意味、GPT-2規模での比較、計算コスト、材料・航空宇宙・CAE・科学計算へ応用する場合の追加検証条件を分けて整理する。

1. 反復で深さとパラメータ数を分離する
#

通常の深さNのTransformerでは、各ブロックが固有の注意機構とフィードフォワード層を持つ。層を増やすと表現力と逐次計算量が増える一方、保存すべきパラメータも増える。

ループ型では、K個の物理ブロックをR回繰り返す。実効深さはN=KRであり、各ブロックの重みは一度だけ保存される。各ブロックが注意層とFFN層の二つの残差サブレイヤーを持つなら、残差サブレイヤーの訪問数はM=2Nになる。例えばK=2、R=3なら、物理ブロックは2個のままだが、展開された計算グラフでは6ブロック相当、12回の残差サブレイヤー訪問となる。

この構造は、保存メモリと逐次計算量の交換を明確にする。Rを増やしても物理重みの数は増えないが、順伝播と逆伝播で同じブロックを多くの時点から評価するため、計算時間は増える。反復回数は層数の代用品ではなく、共有された遷移を何回適用するかという別の設計変数である。

モデル安定化 on Daily Signal

共有重みの反復はなぜ不安定になるのか――DeepLoopが示す深さと計算量の再設計

📋 要約（TL;DR） #

1. 反復で深さとパラメータ数を分離する #

📋 要約（TL;DR）
#

1. 反復で深さとパラメータ数を分離する
#