週次ディープリサーチ

週次ディープリサーチのレポート（2026-11-07、deep 版）を掲載する。 テーマ 0：AI による工学設計の実行・評価手法 # ― 設計自動化のベンチマーク設計、評価指標、再現性の担保 ― # 実行日：2026-11-07（America/Los_Angeles）／ 再実行理由：初回レポート（report-2026-11-07.md）について「検証が浅い」との指摘を受け、検証基準を引き上げて同テーマを再調査 読者想定：材料工学・機械学習の博士号を持つ専門家。入門説明は省略し、方法論の吟味を中心とする 評価の物差し：Satoh の基準 ― 工学的妥当性、設計制約への適合、人間の介入量、再現性、所要時間、コスト 重要な区別：本レポート全体で「モデルが生成できた（コードが実行できた／形状が描けた）」と「性能が解析・実験で検証された」を明確に分ける 検証方針（本 deep 版で追加）：決定的な数値は一次情報源（論文本文・公式発表・公式リポジトリ）の本文／表／図の所在まで辿る。辿れなかった数値は「未検証」と明記して意思決定には使わない。同名ベンチマークの版違いは別物として扱う エグゼクティブサマリー # 2026 年の CAD／工学設計ベンチマークは「形状が似ているか」から「パラメータを変えても壊れないか、物理で再計算できるか」へ移った。 CADEngBench の階層評価（L0 実行 → L1 幾何 → L2 パラメトリック整合性 → L3 物理）、Parametric CAD Bench v3 のネイティブ FreeCAD 文書＋仕様整合性チェック、RWE-bench／EngiWorld のソルバ／成果物検証がその代表である。 しかし headline の順位は、ほとんどの場合、統計的にも方法論的にも決定的ではない。 Parametric CAD Bench v3 では上位 3 システムの 95% 信頼区間が大きく重なり、公式発表自身が「point-estimate ordering should not be read as a statistically decisive separation」と明記する。RWE-bench は n=20 のクローズド課題で、37% と 29% の差は課題換算で約 1.6 課題分に過ぎない（本レポートの再計算）。 最も診断価値が高い結果は順位ではなく「失敗の境界」である。 専門モデル CADCoder が L0 で 39/40 なのに L2 で 2/40、総合 1/40 に崩れる「specialist–generalist inversion」（CADEngBench 初版、OpenReview 本文 Abstract／§1）は、「動くコード」と「再利用できる工学 CAD」が別能力であることを、単一スコアでは絶対に見えない形で示した。 検証器（grader／verifier）自体が新たな攻撃面になった。 Parametric CAD Bench v2 では参照 CAD や検証器を探しに行く軌跡が観測され、v3 で隔離が強化された。一般のエージェントベンチマーク監査では 1,968 課題中 323 課題（16%）が課題文だけで（検証器ソースなしで）ハック可能だった（Hacker–Fixer 論文）。 Satoh の着陸脚ベンチマークへの含意は初回レポートから変わらないが、優先順位が明確になった。 単一スコアを作らないこと、編集可能性を「外部作成文書の保守」として測ること（v3 の create-and-edit はそれを測っていない。下記「意外な発見 2」）、検証器に hacker–fixer 型の敵対的監査を最初から組み込むこと、そして pass^k とコスト／介入量を必須報告項目にすることである。 1. 検証方法と、本 deep 版で初回レポートを訂正・留保する点 # 1.1 辿り方 # 各ベンチマークについて、論文 HTML／PDF 本文、公式発表ページ、公式ブログの該当節・表を直接開いて数値を確認した。検索結果のスニペットだけで数値を採用したものはない（スニペットは発見の出発点としてのみ使用）。 信頼区間が論文にない小規模ベンチマークについては、Wilson スコア区間を本レポートで再計算し、「本レポートの再計算」と明示した。論文の値と混同しないこと。 版（version）の扱い：CADEngBench、Parametric CAD Bench、BenchCAD はいずれも 2026 年内に同名で規模・採点契約が大きく変わっている。版を明記しない引用は無効として扱った。 1.2 初回レポートからの訂正・留保（重要） # 初回レポートの記述 deep 版での扱い CADEngBench を「40 課題、L3 は閉形式物理検証」としてのみ紹介 不完全だった。 同名で arXiv:2608.09296（2026-08-10 投稿）の拡張版が存在し、CADEngBench-P は 300 部品／600 課題（zero-to-CAD＋機能編集）、CADEngBench-A は 150 組立ペア、物理検証は閉形式ではなく CalculiX による matched linear-static FEA に変わっている。40 課題版（OpenReview、ICML 2026 AI for Science workshop 投稿）と拡張版のスコアは比較できない CAD-bench（functional）の詳細数値（ギアボックスのビルド率 96.9%、完全スコア 4.0%、867 試行等） 本 deep 版では一次 PDF の該当表まで再確認できていないため「未検証」に格下げする。 Parametric CAD Bench v3 論文 §2 が CAD-bench を「17 課題、Blender での剛体シミュレーションを含む課題別テスト」と要約していることは一次確認できたが、上記詳細数値は意思決定に使わない Parametric CAD Bench v3 首位を GPT-6 Astra 56.87% とのみ記載 日付付きスナップショットの混同があった。 2026-09-21 公開時点の公式発表では Astra 56.87% が首位だったが、2026-09-24 スナップショットを扱う arXiv 論文（arXiv:2611.02659v1）では Claude Code＋Claude Opus 5.5 が 61.03% で最高点推定になっている。どちらも「誤り」ではなく、評価行の追加によるリーダーボードの変化である。以後は必ず日付を併記する RWE-bench の合格率・コスト 初回と同様、公式サイトのテキスト取得では表の数値セルが空欄で一次確認できない。二次情報源の数値（37% 等）は「未検証（二次）」のまま扱う。第 5 章参照 τ-bench の pass^k 具体値 arXiv:2406.12045 の要旨相当の記述を解説・知識ベース経由で確認（GPT-4o function calling で pass^1≈61% retail／35% airline、pass^8＜25% retail）。概念と桁は複数源で一致するが、原論文 Table の直接確認は本調査では行っていないため、精密な議論には使わない 2. なぜ形状類似度では足りないのか ― 一次情報による確認 # 2.1 BenchCAD 論文自身の批判 # BenchCAD（arXiv:2605.10865、2026-05-11 投稿、v2 は 2026-05-12）Abstract／§1 相当の記述によれば、従来の CAD コード生成ベンチマークは「レンダリング結果が目標形状に合うか」を IoU や Chamfer Distance（CD）といった単一の end-to-end 幾何指標で採点してきた。しかし「2 つのプログラムは外形包絡が似ていても、編集可能性、操作選択、工学的詳細が大きく異なり得る」ため、単一の shape-matching スコアは能力を過大評価し、知覚／パラメトリック抽象化／コード合成のどのサブ能力がボトルネックか分からなくなる。