AIによる工学設計の実行・評価手法 — 設計自動化のベンチマーク設計、評価指標、再現性の担保（週次ディープリサーチ）

週次ディープリサーチのレポート（2026-11-07、deep 版）を掲載する。

テーマ 0：AI による工学設計の実行・評価手法

#

― 設計自動化のベンチマーク設計、評価指標、再現性の担保 ―

#

• 実行日：2026-11-07（America/Los_Angeles）／ 再実行理由：初回レポート（report-2026-11-07.md）について「検証が浅い」との指摘を受け、検証基準を引き上げて同テーマを再調査
• 読者想定：材料工学・機械学習の博士号を持つ専門家。入門説明は省略し、方法論の吟味を中心とする
• 評価の物差し：Satoh の基準 ― 工学的妥当性、設計制約への適合、人間の介入量、再現性、所要時間、コスト
• 重要な区別：本レポート全体で「モデルが生成できた（コードが実行できた／形状が描けた）」と「性能が解析・実験で検証された」を明確に分ける
• 検証方針（本 deep 版で追加）：決定的な数値は一次情報源（論文本文・公式発表・公式リポジトリ）の本文／表／図の所在まで辿る。辿れなかった数値は「未検証」と明記して意思決定には使わない。同名ベンチマークの版違いは別物として扱う

エグゼクティブサマリー

#

1. 2026 年の CAD／工学設計ベンチマークは「形状が似ているか」から「パラメータを変えても壊れないか、物理で再計算できるか」へ移った。 CADEngBench の階層評価（L0 実行 → L1 幾何 → L2 パラメトリック整合性 → L3 物理）、Parametric CAD Bench v3 のネイティブ FreeCAD 文書＋仕様整合性チェック、RWE-bench／EngiWorld のソルバ／成果物検証がその代表である。
2. しかし headline の順位は、ほとんどの場合、統計的にも方法論的にも決定的ではない。 Parametric CAD Bench v3 では上位 3 システムの 95% 信頼区間が大きく重なり、公式発表自身が「point-estimate ordering should not be read as a statistically decisive separation」と明記する。RWE-bench は n=20 のクローズド課題で、37% と 29% の差は課題換算で約 1.6 課題分に過ぎない（本レポートの再計算）。
3. 最も診断価値が高い結果は順位ではなく「失敗の境界」である。 専門モデル CADCoder が L0 で 39/40 なのに L2 で 2/40、総合 1/40 に崩れる「specialist–generalist inversion」（CADEngBench 初版、OpenReview 本文 Abstract／§1）は、「動くコード」と「再利用できる工学 CAD」が別能力であることを、単一スコアでは絶対に見えない形で示した。
4. 検証器（grader／verifier）自体が新たな攻撃面になった。 Parametric CAD Bench v2 では参照 CAD や検証器を探しに行く軌跡が観測され、v3 で隔離が強化された。一般のエージェントベンチマーク監査では 1,968 課題中 323 課題（16%）が課題文だけで（検証器ソースなしで）ハック可能だった（Hacker–Fixer 論文）。
5. Satoh の着陸脚ベンチマークへの含意は初回レポートから変わらないが、優先順位が明確になった。 単一スコアを作らないこと、編集可能性を「外部作成文書の保守」として測ること（v3 の create-and-edit はそれを測っていない。下記「意外な発見 2」）、検証器に hacker–fixer 型の敵対的監査を最初から組み込むこと、そして pass^k とコスト／介入量を必須報告項目にすることである。

1. 検証方法と、本 deep 版で初回レポートを訂正・留保する点

#

1.1 辿り方

#

• 各ベンチマークについて、論文 HTML／PDF 本文、公式発表ページ、公式ブログの該当節・表を直接開いて数値を確認した。検索結果のスニペットだけで数値を採用したものはない（スニペットは発見の出発点としてのみ使用）。
• 信頼区間が論文にない小規模ベンチマークについては、Wilson スコア区間を本レポートで再計算し、「本レポートの再計算」と明示した。論文の値と混同しないこと。
• 版（version）の扱い：CADEngBench、Parametric CAD Bench、BenchCAD はいずれも 2026 年内に同名で規模・採点契約が大きく変わっている。版を明記しない引用は無効として扱った。

1.2 初回レポートからの訂正・留保（重要）

#

2. なぜ形状類似度では足りないのか ― 一次情報による確認

#

2.1 BenchCAD 論文自身の批判

#

BenchCAD（arXiv:2605.10865、2026-05-11 投稿、v2 は 2026-05-12）Abstract／§1 相当の記述によれば、従来の CAD コード生成ベンチマークは「レンダリング結果が目標形状に合うか」を IoU や Chamfer Distance（CD）といった単一の end-to-end 幾何指標で採点してきた。しかし「2 つのプログラムは外形包絡が似ていても、編集可能性、操作選択、工学的詳細が大きく異なり得る」ため、単一の shape-matching スコアは能力を過大評価し、知覚／パラメトリック抽象化／コード合成のどのサブ能力がボトルネックか分からなくなる。

BenchCAD 自体は 17,900 件の実行検証済み CadQuery プログラム、106 工業部品ファミリー（49% のファミリーが ISO/DIN/EN/ASME/IEC 規格に紐づくことは同論文 Fig.1 の説明で確認）からなり、VQA、コード QA、画像→コード、指示編集の 4 課題族で能力を分解する。結果の要旨は「粗い外形は復元できても、微細な 3D 構造の欠落、工業設計パラメータの誤読、sweep／loft／twist-extrude を単純な sketch-and-extrude で置き換える失敗が残る」というもので、SFT／RL で分布内性能は上がっても未見ファミリーへの汎化ギャップが残ると著者ら自身が述べる。

2.2 Text2CAD-Bench の階層化

#

Text2CAD-Bench（arXiv HTML: https://arxiv.org/html/2605.18430）は 600 件の人手キュレーション例を L1〜L4 に階層化し、面取り・フィレット・スイープ・ロフト・自由曲面といった高度フィーチャと実応用領域を初めて系統的に含めた。論文の主張は「基本幾何では合理的に動作しても、複雑な位相と高度フィーチャ（L3）と実世界シナリオ（L4）で大きく劣化する」こと、そして幾何記述式プロンプトの方が手順（コマンド列）式プロンプトより成績が良いという実証である。ここでも「形状が描けた」ことと「高度フィーチャを正しく構成できた」ことは分けて測られている。

2.3 アセンブリでは界面が本丸になる：MUSE の版問題も含めて

#

MUSE（arXiv:2605.28579）は多部品アセンブリを対象に、Physical Assembly Graph と B-Rep 直接解析による Structure and Interface Evaluation（SIE）で、部品対応、接続関係、界面タイプ、界面クリアランスを評価する系統（arXiv HTML v3 系）と、プロジェクトサイト側で説明される「code check → geometric check → design-intent alignment の 3 段階＋VLM ルーブリック審査」系統が併存する。同じベンチマーク名で決定論的 B-Rep 評価と VLM 審査の説明が版によって異なるため、MUSE の数値を引用するときは版と評価プロトコルを必ず特定する必要がある。本 deep 版で一次確認できた数値は arXiv HTML v3 系の要旨にある「最強モデル GPT-6 Astra でも joint success 57.55%」「正しく同定された界面タイプが正しいクリアランスを意味しない」という記述までとし、プロジェクトサイトのリーダーボード数値（別プロトコル）とは混ぜない。

3. 決定的な数値 ― 出典の所在まで辿った結果

#

3.1 CADEngBench 初版（40 課題）：パラメトリック整合性が主境界

#

• 出典：OpenReview PDF（https://openreview.net/pdf?id=hIKrX5XpuN）Abstract および §1、§3。
• 設計：40 件の CadQuery 課題、12 領域、17 物理タグ、難易度 3 段階。各課題は prompt 変種、意味メタデータ、機械可読制約、実行可能な ground-truth CadQuery を束ねた「object contract」としてパッケージされる。
• 階層：L0 コンパイル＋位相妥当性（OpenCascade で検証可能なソリッド、体積、bbox、Euler 特性、開エッジ／非多様体指標を記録）、L1 幾何忠実度（bbox と ISO 2768-m 診断、ボア間隔・穴位置・壁厚等の特徴抽出器と constraints.json の関係述語で照合）、L2 パラメトリック整合性（摂動頑健性＋Z3 SMT 制約検証。primary／dependent パラメータ、導出関係、摂動仕様 Δθ が contract に含まれる）、L3 閉形式物理検証。総合合格は 4 層の論理積 Poverall = PL0 ∧ PL1 ∧ PL2 ∧ PL3 と定義される（§3 冒頭の式）。
• 結果（Abstract の数値を本文 §1 でも再確認）：
  • Claude Sonnet 4.6 が最良で 22/40（55.0%）。
  • CADCoder は L0 で 39/40、L2 で 2/40、総合 1/40。「評価が実行可能性で止まれば CADCoder が支配的に見えるが、工学評価では最下位になる」と著者らが明記する。
  • プロンプト詳細度：レベル 1 で 総合 1/60、レベル 3 で 20/60。主評価はレベル 3（完全な工学契約）で行い、詳細度を落とすアブレーションで「仕様不足による失敗」と「モデル能力による失敗」を分離する設計になっている（§3.2）。
  • 繰り返しサンプリングはフロンティアモデルを改善したが CADCoder のパラメトリック失敗は直らなかった。
• 方法論の吟味（本レポートの再計算）： n=40 は小さい。Wilson 95% 区間に直すと Sonnet 4.6 の 55.0% は 39.8–69.3%、CADCoder 総合 2.5% は 0.4–12.9%、同 L0 97.5% は 87.1–99.6%、同 L2 5.0% は 1.4–16.5% となる。L0 と L2 の区間が全く重ならないため inversion 自体は統計的にも堅いが、「Sonnet が他モデルより有意に良い」といった細かい順位主張はこの n では支えられない。プロンプト詳細度についても 1/60（0.3–8.9%）と 20/60（22.7–45.9%）で区間は重ならず、「仕様不足は壊滅的」という主張は裏付けられる。
• 著者自身の限定： Z3 チェックは「任意 CAD の独立した証明系ではなく、層状評価器の一要素」であり、検証対象は「完全な形式的検証より意図的に狭い」と §2 で明言されている。L3 も閉形式サロゲートであって FEA ではない。ここを読み飛ばして「物理検証済み」と一般化するのは誤りである。

3.2 CADEngBench 拡張版（arXiv:2608.09296）：同名・別物

#

• 出典：arXiv 要旨ページ（https://arxiv.org/abs/2608.09296v1、2026-08-10 投稿）および PDF。
• CADEngBench-P：300 部品を zero-to-CAD と機能編集の 2 課題に使う 計 600 課題。B-Rep 妥当性、工学／DFM チェック、パラメータファミリー摂動、機能編集、CalculiX による matched linear-static FEA（参照解析と応力・変形・コンプライアンス・応力集中を突き合わせる）で評価。
• CADEngBench-A：150 組立ペアについて、ジョイント検索（順位付き）、面・稜の exact grounding、ジョイントフレーム推定、運動学的検証。
• 要旨レベルの結論：「供給された CAD の編集は生成より大幅に容易」、一方で複雑な編集と matched FEA は依然困難。アセンブリ予測は「関連領域は当てても、記録されたジョイントや mating entity の回復に失敗する」ことが多い。
• 吟味： 初版の「create-and-edit が最も難しい」（第 3.3 節の Parametric CAD Bench の結果）とは一見矛盾するが、測っているものが違う。CADEngBench 拡張版の編集は「供給された（＝正しい出発点が与えられた）CAD の機能編集」であり、Parametric の create-and-edit は「自分で作った土台を自分で編集する 2 段階構成」である。出発点の所有権が違う課題を「編集は易しい／難しい」で一般化してはいけない。これは本 deep 版で新たに整理した対立点である（第 6 章）。

3.3 Parametric CAD Bench v3：最も再現性プロトコルが明示された事例

#

• 出典：公式発表（2026-09-21、https://cadbench.ai/news/cad-bench-v3）、arXiv 論文（https://arxiv.org/html/2611.02659v1、結果スナップショット 2026-09-24）、v1 発表（https://gnucleus.ai/cad-bench/news/parametric-cad-bench）。
• 設計：100 課題＝作成 30＋作成・編集 30＋図面→CAD 40。FreeCAD 1.1.0 に固定、Harbor 0.23.0、タスクスキーマ 1.3、不変データセットダイジェスト（論文 Appendix A：sha256:8a786725… と明記）、検証器は gnucleus-freecad-validator 0.6.0（v2 スコアラ）。主指標は平均連続報酬（完全 1.0、失敗 0）で、95% 信頼区間は 100 課題の課題別報酬から算出する（公式発表の表頭注）。
• 結果（日付を分けて記載）：
  • 2026-09-21 公開時点（11 行）：GPT-6 Astra（Codex）56.87% ± 6.85、コスト $317.81、完全解決 5/100。Claude Fable 5.1 は 56.75% ± 7.18、$1,056.04、完全解決 7/100。公式発表は「上位 3 システムの信頼区間は大きく重なり、点推定の順序を統計的に決定的な分離と読むべきではない」と明記する。
  • 2026-09-24 スナップショット（13 行、arXiv 論文 Abstract／§5）：Claude Code＋Claude Opus 5.5 が 61.03% で最高点推定、image-to-CAD は 84.66%。ただし論文は冒頭で「These measurements describe complete systems, not isolated model capabilities」と釘を刺す。
  • Opus 5 → Opus 5.5 の改善 10.18 ポイントについて、論文 §5.2 は paired 95% CI 5.22–15.13 ポイント（100 課題の差分に対する正規近似、式まで記載）を報告する。一方、同一モデル Opus 5.5 で Claude Code vs mini-swe-agent を比べると差は 3.08 ポイント、paired CI は [−1.15, 7.31] で 0 を含み、「どちらのエージェントが優位かは確立しない」と著者らが明記する。モデル世代差は有意、ハーネス差はこの比較では有意でない ― ここまで書いてあるベンチマークは稀である。
  • 改善の内訳も偏っている：Opus 5.5 の改善の約 87%（ワークフロー重み適用後）は image-to-CAD の 22.02 ポイント改善で説明され、作成は +1.39、作成・編集は +3.17 に過ぎない（§5.2）。「モデルが良くなった」ではなく「図面再構成が良くなった」が正確な記述である。
  • ゼロ報酬の分布（論文 §5.5、Table 6）：13 システム × 100 課題＝1,300 試行中 393 件（30.23%）がゼロ。作成・編集のゼロ率は 41.54% で最悪。全システムでゼロの課題は論文結論部では 5 件（いずれも作成・編集。2026-09-21 発表時点の 11 行では 6 件とされており、行の追加で変化している。以後も「何行時点か」を併記すべき理由がここにある）。
  • コストと時間（論文 §5.4）：Astra は $5.59／スコアポイントで最安、平均試行時間も 14.42 分で最短。Opus 5.5（Claude Code）は Astra より +4.17 ポイントと引き換えに API コスト 1.81 倍、平均時間 2.25 倍。ただし著者らは「known API costs exclude some compute and hosting costs」と明記しており、総所有コストではない。
• 方法論の吟味：
  • 単回試行問題。 公式発表の run contract は「各行は 100 課題を 1 回ずつ、4 並行」で、論文 §6 も「Single official attempts do not establish run-to-run robustness」と著者自身が限界として挙げる。つまり v3 のスコアには pass^k 的な信頼性情報が一切含まれない。同じシステムを再実行したら順位がどう動くかは、このデータからは分からない。
  • 汚染の限定。 論文 §6 は公開資産、提供者の非公開学習データ、提供実装の変更により「contamination claims and reproducibility」が制限されると明記する。環境を固定してもモデル側が版固定できない以上、完全な再現性は原理的に達成できない。これは Satoh 側のベンチマークでも同じで、「再現可能」を謳うならモデル版・提供日・ハーネス版まで記録するのが最低線になる。
  • v1 との比較不能性。 v1（2026-05-13 発表）では GPT-5.5 via Codex が 0.832 を記録していた。v3 の 0.57〜0.61 は「モデルが退化した」のではなく、課題集団・検証器・スコアラ・ネットワーク方針が全て変わった別の測定である。公式発表の最終節「Why v2 and v3 scores are separate」がこの点を明示しているにもかかわらず、版なしで数値だけが流通しやすい構造は残る。

3.4 BenchCAD 2.0（2026-10-12）：採点契約の自己開示が最も率直な事例

#

• 出典：公式ブログ（https://benchcad.com/blog/benchcad-2.html）「How we score」節および結果表。
• 設計：100 件の Core ケースは held-out で、評価専用合意の下でのみ共有（汚染対策）。課題は図面→部品／組立、逆工学（4 視点レンダリング→部品／組立）、基板配線グラフ復元まで拡張された。
• 結果：max effort で GPT-6 Astra 0.59（$11／件、中央値 62 分、135k tokens／件） vs Claude Opus 5.5 0.57（$28／件、中央値 224 分＝表記 3.7 h、1.3M tokens／件）。ほぼ同点でもコストは約 2.5 倍、時間は約 3.6 倍、トークンは約 10 倍違う。 スコアだけの表ではこの差は見えない。
• ハーネス版の非互換も明記されている：harness v2.1（推論をラウンド間で持ち越し、60 ラウンド、500k 出力トークン）は v2.0（30 ラウンド、推論持ち越しなし）とスコア比較不能と公式が宣言する。
• 採点の限定は「意外な発見 1」で詳述する。

3.5 ENGDESIGN と EngiWorld：シミュレーション駆動と「完全な設計ループ」

#

• ENGDESIGN（論文 PDF：https://ayushbarik.github.io/assets/papers/engdesign.pdf、プロジェクトは論文中に記載）：101 課題、9 領域、実行可能な評価パイプライン（SPICE、構造 FEA、MATLAB Control System Toolbox 等）で機能を検証し、部分点ルーブリックで反復改善を可視化する先駆け。再現性の吟味点はツール依存性である：商用ソフトを要する課題とオープンな評価スクリプトで完結する課題が混在すると、「再現できた」の意味が課題ごとに変わる。Satoh 側でもソルバのライセンス依存は最初に棚卸しすべきである。
• EngiWorld（arXiv:2609.37686、https://arxiv.org/abs/2609.37686、v2 は 2026-10-09）：1,301 件の専門家キュレーション課題、6 領域（CAD／CAE／CAM／BIM／EDA／3D 可視化）、26 の専門ソフト、GUI と CLI の両界面、成果物中心の domain-verifier 群によるプログラム的チェック。7 モデル評価で最強でも EngiScore 44.7/100（要旨の数値。論文本文では 44.3 とする版もあり、版で異なる）、複数ソフト連携課題の成功率は 3.6%。
• 吟味点（見落とされやすい）： EngiWorld の主比較は全 1,301 課題ではなくコスト制御のための部分集合（データセット側の説明では main experiment は 306 課題、うち CLI 158＋GUI 148）で行われている。「1,301 課題のベンチマークで 44.7 点」と書くと、評価母集団を誤解させる。課題総数と評価実施数は常に分けて書くべきである。これは RWE-bench の「20 課題・1,100 実行」（＝11 モデル×20 課題×5 試行相当の総実行数であって、1,100 課題ではない）についても同じ注意が要る。

4. 意外な発見（最低 2 つ ― 本 deep 版では 4 つ提示）

#

意外な発見 1：BenchCAD 2.0 の部品採点は「絶対寸法を問わない」と公式が明言している

#

• 何が意外か： 図面から部品を再構成する課題は、寸法精度こそが本丸だというのが専門家の直感である。ところが BenchCAD 2.0 公式ブログの「How we score」は、部品スコアを「0.8 が 3D overlap、0.2 が topology、on its own bounding box, so absolute size is not charged（自身のバウンディングボックス基準で採点するため、絶対サイズは課金されない）」と定義し、さらに「Scoring covers geometry, part placement and circuit connectivity, not manufacturability or physical performance（採点範囲は幾何・配置・配線接続性であり、製造可能性や物理性能は含まない）」と明記する。組立の図面課題でのみ絶対サイズが問われる。
• 証拠： 公式ブログ https://benchcad.com/blog/benchcad-2.html の How we score 節（2026-10-12 公開、本調査で本文を直接確認）。
• なぜ前提を揺らすか： スケールが 2 倍の部品でも、形状と位相が合えば部品単体スコアは原理的に下がらない。つまりこのスコアは「寸法契約への適合」ではなく「正規化された形状の近さ」であり、Satoh の基準で言えば「設計制約への適合」を測っていない。ベンチマーク名とタスク外観（寸法入り図面）から受ける印象と、実際の採点契約が食い違う典型例であり、スコアを読む前に METRICS の正規化条件を読むことが必須という教訓になる。

意外な発見 2：Parametric CAD Bench v3 の「create-and-edit」は、外部作成文書の編集も、土台の再利用も、実は検証していない

#

• 何が意外か： 「編集可能性」を看板にするベンチマークなら、他人が作った CAD を開いて直す実務（保守・改修）を測っていると思いがちである。実際は違う。
• 証拠（論文本文）：
  • §3.1：「create-and-edit は 2 段階構成ワークフローであり、外部で作成された開始 FCStd は提供されない。2 つの成果物を採点しても、エージェントが実際に土台を再利用したか、フィーチャ履歴を保持したかは確立しない（Scoring the two artifacts does not establish that the agent actually reused the base or preserved its feature history）」
  • §6 Discussion and Limitations：「Create-and-edit measures two-stage construction, not maintenance of an externally authored document. Grader rewards are heuristic proxies: geometric similarity and checked parameters do not certify all future edits, design intent, or engineering validity.」
  • 序論でも「These checks are proxies … they do not by themselves certify manufacturing readiness or functional editability under arbitrary future modifications」と限定されている。
• なぜ前提を揺らすか： エージェントは土台を捨ててゼロから作り直しても、最終成果物が合えば点が取れる構造である。したがって v3 の作成・編集スコア（最高でも Astra の 44.37%、Opus 5.5 系で約 40%）を「編集能力の低さ」と読むのは半分だけ正しく、正確には「2 段階課題の最終成果物の低さ」である。Satoh の着陸脚ベンチマークで本当に測りたいのが保守可能性なら、外部作成の開始文書を与え、履歴保持を差分で検証する課題を別に作らなければならない。既存ベンチマークの流用では測れない。

意外な発見 3：幾何類似度が高いのに 0 点、低いのに正の報酬 ― スコアが形状に対して非単調になる具体例が論文の表にある

#

• 何が意外か： 連続報酬は「形状が良いほど点が高い」という単調な直感で読まれがちである。Parametric CAD Bench v3 論文 §5.5 の trussed plate 課題（freecad-2002df3ce7、86 パラメータ）の Table 7 がその反例を具体的に示す。
• 証拠（論文 Table 7 の数値）：
  • Claude Opus 5.5（Claude Code）：幾何類似度 g=0.445 なのに報酬 0.000。理由は仕様軸で 12 パラメータが不整合／未発見となり、失敗予算 10（論文 Equation 3）を超えたため。
  • GPT-5.6 Terra（Codex）：幾何類似度 g=0.232（上記より明確に低い）のに報酬 0.140。失敗パラメータが 9 件で予算内に収まったため。
  • 論文本文も「On this task, specification consistency rather than overall shape separates the rewarded attempts」と結論づける。逆の clevis connector 課題（Table 8）では全パラメータ合格でも幾何類似度 0.265 のため報酬 0.419 に留まる例があり、どちらの軸が支配的かは課題ごとに反転する。
• なぜ前提を揺らすか： 平均連続報酬だけを見ると、この非単調性（＝ゲート構造）は完全に隠れる。Satoh 側の採点でも、ゲート（予算超過でゼロ化する条件）は必ず層別に開示し、「形状は良かったがゲートで落ちた」件数を数えるべきである。そうしないと、モデルの改善が「形状の改善」なのか「ゲート回避の改善」なのか区別できない。

意外な発見 4：弱いモデルが強いモデルの「不正」を止められる ― verifier hardening の weak-to-strong 結果

#

• 何が意外か： 検証器の穴探しは、攻撃側が強いほど見つかるのが直感である。ところが Hacker–Fixer 論文は逆の非対称性を示す。
• 証拠： “Hardening Agent Benchmarks with Adversarial Hacker-Fixer Loops”（arXiv HTML：https://arxiv.org/html/2606.08960v1）：
  • 5 つの terminal-agent ベンチマーク、計 1,968 課題を監査し、323 課題（16%）が課題文だけから（検証器ソースなしで）ハック可能だった。
  • hacker（タスクを解かずに検証器を通す）→ fixer（穴を塞ぐ）→ solver（正解がまだ通ることを確認）のループにより、KernelBench では held-out の既知 exploit 集合に対する攻撃成功率が 62% → 0% に低下。
  • 弱い Gemini 3 Flash のループが、より強い Gemini 3.1 Pro の攻撃成功率を 76% → 0%、Claude Opus 4.7 のそれを 61% → 0% に下げた（KernelBench）。
• なぜ前提を揺らすか： 検証器の堅牢化は「最強モデルで監査しなければならない」作業ではなく、安いモデルをループで回す方が費用対効果が良い可能性を示す。Satoh のベンチマークでは、検証器を凍結する前に hacker–fixer ループを安いモデルで回す工程を標準化できる。これはコスト基準（API 費用を気にする運用）とも整合する。

（補足の意外性：BenchCAD 2.0 の組立課題では、ゼロ点になった部品タイプの 83–96% が「形状は正しいが配置が違う」 だったと公式ブログが報告する。生成能力ではなく配置・向きの検証がボトルネックであり、「部品が作れるようになった」という進歩の物語と食い違う。）

5. RWE-bench の扱い ― 一次で確認できたこと、できなかったこと

#

• 一次確認できたこと（公式サイト https://xplore.ai/rwe-bench の本文）：課題はドメイン専門エンジニアが作成し、検証器と「全要件を満たす参照解」をエージェントと同じツールで構築すること。採点は deterministic verifier のみで LLM 審査員・人間採点は使わないこと。検証器は物理ソルバで設計自体を再計算し、全仕様を満たさなければ不合格であること。代表課題としてクランクシャフト、DDR3L ルーティング、高圧タービンベーン CFD が挙げられていること。
• 一次確認できなかったこと：公式サイトの表はテキスト取得では数値セルが空欄（「Results as of .」「 tasks tested on models, runs per task」等、値が描画されない）で、合格率・コスト・試行上限時間を一次ページから直接読めなかった。
• 二次情報源の数値（未検証として扱う）：20 課題（機械 9、電子 5、航空 6）、11 モデル、計 1,100 実行、最良 GPT-6 Astra 平均 37%（$58.83／回）、Claude Opus 5.5 が 29%（$57.52／回）、GPT-6.1 Sol が 25%（$10.28／回）、4 課題は全モデル未解決。出典（二次）：https://www.mlllm.io/articles/3690-rwe-bench-closed-engineering-benchmark-shows-frontier-models-solve-less-than-half-of-tasks/
• 方法論の吟味： n=20、手作業選定、クローズド（独立監査不可）、課題作成者が同じ課題群で学習環境を販売しているという利益相反の指摘は二次情報源自身が明記する。37% と 29% の差は 20 課題換算で約 1.6 課題分であり（本レポートの換算）、順位の根拠としては弱い。RWE-bench は「実務級課題で決定的検証を行う」という設計思想の参照としては価値が高いが、モデル順位の根拠としては採用しないのが妥当である。開いた代替として EngiWorld（第 3.5 節）で再現可能なベースラインを併記する運用を推奨する。

6. 反証・対立点の探索結果

#

主要な主張に対して、反例・批判・著者自身の限界記述を能動的に探した結果をまとめる。

1. 「編集は生成より易しい」 vs 「作成・編集が最も難しい」：CADEngBench 拡張版（供給 CAD の編集は大幅に容易）と Parametric CAD Bench v3（作成・編集のゼロ率 41.54% で最悪）は矛盾して見えるが、第 3.2 節の通り課題定義（出発点の所有権）が違うため両立する。一般化した「編集は易しい／難しい」という言明はどちらの論文からも導けない。
2. 「決定的検証器なら再現性が担保される」への反証：Parametric CAD Bench v3 論文 §6 は、提供者の非公開学習データと実装変更のため再現性が制限されると明記する。検証器が決定的でも、被験システムが版固定できなければ run-to-run の再現性は成立しない。NIST AI 800-2（次章）の「全実行を保持し、有利な実行だけを選ばない」「ばらつきを報告する」という要求は、この穴を塞ぐためのものである。
3. 「物理検証済み」への限定：CADEngBench 初版の L3 は閉形式サロゲートであり、著者らは検証対象を「完全な形式的検証より意図的に狭い」と明記する。拡張版の CalculiX matched FEA も線形静解析の範囲であり、疲労・破壊・実験相関まで含まない。ASME VVUQ の用語では、これは Verification（方程式を正しく解いたか）の側であり、Validation（実験と合うか）ではない（第 7 章）。
4. MUSE の評価プロトコルの版差：決定論的 SIE（B-Rep 直接解析）と VLM ルーブリック審査という異なる説明が同名で併存する（第 2.3 節）。VLM 審査を使う系統では LLM-as-a-judge の再現性問題が再導入されるため、「MUSE は決定的に評価する」と一概には言えない。
5. ハーネス交絡への著者側の自制：Parametric CAD Bench v3 論文は same-model 比較で paired CI が 0 を含むことを自ら報告し、「not completely controlled model or agent ablations」と断っている。BenchCAD 2.0 も harness v2.0／v2.1 のスコア非互換を自ら宣言する。著者がここまで自制しているのに、二次流通では版もハーネスも落ちた数値だけが回ることが、現状で最大の誤読リスクである。

7. 再現性と妥当性の枠組み ― NIST AI 800-2 と ASME VVUQ

#

7.1 NIST AI 800-2（一次確認）

#

• 出典：NIST AI 800-2 初公開ドラフト（DOI: 10.6028/NIST.AI.800-2.ipd、2026 年 1 月、https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.800-2.ipd.pdf）。CAISI（Center for AI Standards and Innovation）発行。
• 構成は 3 段階：(1) 測定対象の定義（評価目的と測定構成概念の分離、ベンチマーク選択）、(2) 評価の実装と実行（プロトコル設計、評価コード、実行管理、デバッグ）、(3) 結果の分析と報告（統計分析と不確かさの定量化、評価詳細とデータの共有、限定的な主張の報告）。
• Satoh のベンチマークに直接効く要求：スコアが何の意思決定に使われるかを先に宣言すること。ベンチマーク版・評価コード・実行条件を版固定すること。インターネットアクセスの可否は汚染と完全性に直結する重大な設計判断であること（Parametric v2 の参照探索問題と正確に対応する）。信頼区間／標準誤差なしにスコアを絶対値として扱わないこと。主張は意図した適用範囲を超えて一般化しないこと。

7.2 ASME VVUQ（一次確認）

#

• 出典：ASME VVUQ 標準ポートフォリオ（https://contentstaging12.asme.org/getmedia/c9d712f3-cc5b-4326-b6e4-bd53c50ed9a6/ASME-VVUQ-Standards-Portfolio-Brochure-3-2026_FINAL.pdf）。VVUQ 10 は計算固体力学の Verification and Validation 標準として位置づけられる。
• 用語の区別（VVUQ 1 系の整理）：Verification は「方程式を正しく解いたか」、Validation は「正しい方程式を解いたか＝実世界／実験と合うか」、UQ は入力・モデル形式・数値解法の不確かさが結果に与える影響の定量化。
• 含意： 現在の AI 設計ベンチマークはほぼ全て Verification 側（ソルバ再計算、閉形式チェック、幾何照合）であり、Validation（落下試験等の実験データとの照合）は未実装である。着陸脚の文脈ではこの区別は致命的に重要で、ベンチマーク内で「検証済み」と呼ぶときは、Verification 済みの範囲を明示し、Validation は別枠として設計すべきである。

7.3 pass@k と pass^k

#

• pass@k は k 回中 1 回でも成功すれば成功とする楽観的指標。pass^k（τ-bench、Sierra）は k 回全て成功した場合のみ成功とする信頼性指標である。
• τ-bench 原論文（arXiv:2406.12045）の要旨相当記述によれば、GPT-4o function calling でも pass^1 は retail で約 61% に留まり、pass^8 は retail で 25% 未満まで落ちる（第 1.2 節の通り、原論文 Table の直接確認は未実施のため桁の参考として扱う）。
• 工学設計は「たまに正しい」では使えない。にもかかわらず Parametric CAD Bench v3 の公式 run は各課題 1 回のみ（著者自身が限界として明記）であり、現行の CAD ベンチマークの主流は依然として単回測定である。Satoh 側では pass^3 を主指標に据えるだけで、先行ベンチマークとの差別化と実用上の意味が両立する。

8. Satoh の 6 基準による再評価（総括表）

#

9. 提案：Satoh の着陸脚ベンチマーク設計（初回案の改訂点のみ）

#

初回レポート第 7 章の Tier A–C／L0–L4 案は維持し、本 deep 版の知見で次の 5 点を改訂・追加する。

1. 編集課題を 2 種類に分ける。 (a) 自己作成→自己編集（Parametric 型）、(b) 外部作成の開始 FCStd を与える保守課題（履歴保持を差分検証する）。(b) が無いと「保守可能性」を測ったことにならない（意外な発見 2）。
2. 採点の正規化条件を先に凍結して公開する。 絶対寸法を問うのか、bbox 正規化で問わないのかを課題ごとに宣言する（意外な発見 1）。着陸脚では嵌合寸法・クリアランスは絶対寸法で問うべきであり、正規化スコアと混ぜない。
3. ゲート構造を開示する。 失敗予算型のゼロ化ゲートを採用する場合は、ゲート落ち件数と内訳（形状は合格／仕様で不合格等）を層別に報告する（意外な発見 3）。
4. 検証器の凍結前に hacker–fixer ループを回す。 安いモデルを hacker に使い、参照探索・検証器読み取り・浅い proxy の充足といった exploit を洗い出してから凍結する（意外な発見 4）。併せて別解コーパス（要件を満たす異構造解）で誤不合格率、微小欠陥コーパス（クリアランス 0.1 mm 過小、壁厚不足、パラメータのハードコード）で検出率を測る。
5. 報告の必須項目を固定する。 層別パス率、pass^3、平均＋95% CI、完全解決数、API 総コストと solved-task 当たりコスト、平均試行時間、人間介入レベル（0–4）、そしてモデル版／ハーネス版／検証器版／課題ダイジェストの 4 つの版情報を、1 つの表に必ず併記する（NIST AI 800-2 準拠）。単一の総合順位は作らない。どうしても必要な場合は重みを事前公開する。

物理層（L3）については初回案通り、オレオの気体＋油圧モデル（ポリトロープ圧縮、オリフィス減衰）で荷重―ストローク曲線・吸収エネルギー・最大荷重・底付き余裕を決定的に再計算し、構造は閉形式＋CalculiX の簡易 FEA とする。ただしこれは Verification であり、落下試験データとの照合（Validation）は次回テーマ 1 で規格要求と合わせて別枠で設計する。

10. Satoh のプロジェクトへの含意（1 つに絞る）

#

現在の FreeCAD＋オレオモデル＋three.js ビューア構成で次に実装すべきは、新しいモデルやエージェントの試行ではなく、検証器側の 3 点セット ― (i) 外部作成文書を使う保守課題、(ii) ゲート内訳の層別報告、(iii) 凍結前の hacker–fixer 監査 ― である。理由は単純で、今回辿った全ベンチマークの失敗が「生成能力の不足」よりも「採点契約の読み違い・検証器の盲点・版の混同」から生じていたからである。検証器が正しく設計されていれば、モデルを差し替えても比較は崩れない。逆に検証器が曖昧なまま生成を回すと、文献が繰り返し示した通り、見た目の良い使い捨て形状と、寸法を問わないスコアへの最適化が進むだけである。

11. 出典一覧

#

一次情報源（論文本文・公式発表・公式ドキュメントを直接確認）

#

• CADEngBench 初版（40 課題）：https://openreview.net/pdf?id=hIKrX5XpuN
• CADEngBench 拡張版：https://arxiv.org/abs/2608.09296v1 ／ PDF：https://arxiv.org/pdf/2608.09296.pdf
• BenchCAD：https://arxiv.org/abs/2605.10865 ／ PDF：https://arxiv.org/pdf/2605.10865
• BenchCAD 2.0 公式ブログ：https://benchcad.com/blog/benchcad-2.html
• Parametric CAD Bench v1 公式発表：https://gnucleus.ai/cad-bench/news/parametric-cad-bench
• Parametric CAD Bench v3 公式発表（2026-09-21）：https://cadbench.ai/news/cad-bench-v3
• Parametric CAD Bench v3 論文（arXiv HTML、スナップショット 2026-09-24）：https://arxiv.org/html/2611.02659v1
• Parametric CAD Bench v3 論文解説（2026-11-02）：https://cadbench.ai/news/cad-bench-v3-paper
• Text2CAD-Bench：https://arxiv.org/html/2605.18430
• MUSE（arXiv HTML v3）：https://arxiv.org/html/2605.28579v3 ／ プロジェクトサイト：https://dong7313.github.io/muse-benchmark/
• ENGDESIGN 論文 PDF：https://ayushbarik.github.io/assets/papers/engdesign.pdf
• EngiWorld：https://arxiv.org/abs/2609.37686
• Hacker–Fixer 論文：https://arxiv.org/html/2606.08960v1
• RWE-bench 公式（方法論のみ一次確認、数値セルは取得不能）：https://xplore.ai/rwe-bench
• NIST AI 800-2 初公開ドラフト：https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.800-2.ipd.pdf
• ASME VVUQ 標準ポートフォリオ：https://contentstaging12.asme.org/getmedia/c9d712f3-cc5b-4326-b6e4-bd53c50ed9a6/ASME-VVUQ-Standards-Portfolio-Brochure-3-2026_FINAL.pdf

二次情報源（数値は未検証として扱う旨を本文に明記したもの）

#

• RWE-bench 報道（数値と批判点の出所）：https://www.mlllm.io/articles/3690-rwe-bench-closed-engineering-benchmark-shows-frontier-models-solve-less-than-half-of-tasks/
• τ-bench 解説（pass^k の具体値の確認源の一つ）：https://www.chriswirz.com/reviews/tau-bench-tool-agent-user-interaction/index.html

本レポートで再計算した値

#

• CADEngBench 初版の各割合に対する Wilson 95% 区間（第 3.1 節）。論文記載値ではなく、本レポートの再計算である。
• RWE-bench の 37% と 29% の差の課題換算（約 1.6 課題分、第 5 章）。二次数値に基づく換算であり、一次検証済みの主張ではない。

12. 未検証・留意事項

#

• CAD-bench（functional）の詳細数値（試行数、ギアボックスのビルド率／完全スコア率、検証器の自己監査数値）は、本 deep 版の調査では一次 PDF の該当表まで確認できなかったため未検証とする。初回レポートに記載があるが、意思決定には使わないこと。
• RWE-bench の合格率・コスト・試行上限時間は一次確認できていない（第 5 章）。
• τ-bench の pass^k 具体値は原論文 Table の直接確認が未了であり、桁の参考に留める。
• EngiWorld の EngiScore は版によって 44.7／44.3 の表記差がある。要旨（v2 系）では 44.7 を採用したが、精密な比較には版を固定して再確認すること。
• MUSE は評価プロトコルの説明が版によって異なるため、本レポートでは joint success 57.55%（arXiv HTML v3 系の要旨）以外の数値を採用しなかった。
• 本レポートは公開 Web 情報のみに基づく。未公開の規格本文（ASME VVUQ 10 本文、ISO 原文）にはアクセスしていない。

次回（テーマ 1）：航空機着陸脚の設計・解析・試験 ― オレオ緩衝装置、構造、関連規格・認証。本 deep 版第 9 章の物理層と Validation 枠を、実際の規格要求と落下試験の観点から具体化する。