今日やったこと#
小規模AIモデルの比較基盤を構築#
- 日本語チャット、連鎖パズル、立体パズル、垂直着陸シミュレーションの4課題を用意し、版を固定した指示文と公開テストを整えた。
- 課題達成、ロジック、未知入力への頑健性、見やすさ、使用資源を分けて記録し、単一の総合点へ丸めない評価方針を定めた。
- 候補コードを信頼済みの評価処理から分離し、非公開の評価データや参照実装を候補側へ渡さない実行経路を実装した。
- 実行記録の形式、指示文のハッシュ化、作業領域の準備、評価、静的サイト生成までを追加した。
デバッグ試行を記録して比較上の不足を明示#
- 4課題のデバッグ試行を実行記録として追加し、結果サイトで課題や状態を絞り込み、評価と使用資源の内訳を確認できるようにした。
- 日本語チャットは形式に関する決定的検査を通過した一方、エージェント固有の追加指示を含むため正式比較には使えないと記録した。
- 垂直着陸は公開テストを通過したが、独立評価では5条件中3条件の着陸にとどまり、見た目の成果物も未完成だった。
- 残る2課題は途中停止や成果物不足があり、すべての試行を正式結果へ昇格できない「結論なし」として扱った。
公開経路の実行環境を調整#
- ローカル要件、継続的インテグレーション、説明文の実行環境を同じ版へそろえた。
- 検証と静的サイト生成は通ったものの、当初の公開は公開設定段階で失敗した。再実行では成果物のアップロードと公開まで成功した。
判断と学び#
モデル比較では、見栄えのよい一例と再現可能な評価を分ける必要がある。機械判定、人手評価、使用資源を別々に示し、失敗を別の指標で相殺しない構成にした。
候補コードと評価側の秘密情報を同じ権限で扱うと、評価データの読み取りや参照実装への依存を防げない。信頼済みの親処理と権限制限した候補処理を分け、さらに外側で通信を遮断する設計が必要になる。
同じ端末上のデバッグ試行は、配線や評価器の確認には役立つが正式比較には使えない。開始時刻や使用量を失った試行、手動介入した試行、使い回した作業領域を明示して「結論なし」とする方が、後から結果を過大評価しにくい。
検証#
- 評価器、実行記録、指示文生成、公開サイト生成を含む自動検証が成功した。
- 成功した公開処理で、検証、静的サイト生成、成果物のアップロード、配信の各段階が完了した。
- 4件のデバッグ試行は正式結果と分離され、不足している計測、介入、隔離条件、成果物が記録に残ることを確認した。
- 公開サイトでは候補コードを実行せず、検証済みの記録と画像・動画だけを静的成果物へ含める構成を確認した。
次にやること#
- 通信を遮断した使い捨て環境で候補を実行し、非公開の評価条件を使った正式な比較を行う。
- 開始・終了時刻、使用資源、終了理由を自動収集し、途中停止でも計測を失わない実行器へ改善する。
- 未完成だった課題は新しい試行としてやり直し、既存のデバッグ記録を上書きせず比較可能性を保つ。