評価 on Daily Signal

開発日誌 2026-08-28 — 小規模AIモデルの比較基盤を構築

Fri, 28 Aug 2026 23:59:00 +0900

今日やったこと
#

小規模AIモデルの比較基盤を構築
#

日本語チャット、連鎖パズル、立体パズル、垂直着陸シミュレーションの4課題を用意し、版を固定した指示文と公開テストを整えた。
課題達成、ロジック、未知入力への頑健性、見やすさ、使用資源を分けて記録し、単一の総合点へ丸めない評価方針を定めた。
候補コードを信頼済みの評価処理から分離し、非公開の評価データや参照実装を候補側へ渡さない実行経路を実装した。
実行記録の形式、指示文のハッシュ化、作業領域の準備、評価、静的サイト生成までを追加した。

デバッグ試行を記録して比較上の不足を明示
#

4課題のデバッグ試行を実行記録として追加し、結果サイトで課題や状態を絞り込み、評価と使用資源の内訳を確認できるようにした。
日本語チャットは形式に関する決定的検査を通過した一方、エージェント固有の追加指示を含むため正式比較には使えないと記録した。
垂直着陸は公開テストを通過したが、独立評価では5条件中3条件の着陸にとどまり、見た目の成果物も未完成だった。
残る2課題は途中停止や成果物不足があり、すべての試行を正式結果へ昇格できない「結論なし」として扱った。

公開経路の実行環境を調整
#

ローカル要件、継続的インテグレーション、説明文の実行環境を同じ版へそろえた。
検証と静的サイト生成は通ったものの、当初の公開は公開設定段階で失敗した。再実行では成果物のアップロードと公開まで成功した。

判断と学び
#

モデル比較では、見栄えのよい一例と再現可能な評価を分ける必要がある。機械判定、人手評価、使用資源を別々に示し、失敗を別の指標で相殺しない構成にした。