メインコンテンツへスキップ

ベンチマーク

開発日誌 2026-08-30 — AIモデル比較基盤と文章校正モデルを改善

今日やったこと # AIモデル比較基盤を実演可能な形へ拡張 # 日本語対話、連鎖パズル、立体パズル、制御シミュレーションの各課題について、指示文、公開テスト、独立評価、実行記録の扱いを見直した。 候補の実行環境を一時的な認証領域へ分離し、評価基盤や外部の追加指示が候補へ漏れた場合は比較不能として記録するようにした。 連鎖パズルは完成盤面を渡す方式から、空の盤面から合法手順で組み立てる方式へ変更した。制御課題の一つはロボットアームの仕分けへ差し替え、運動学、速度制限、衝突、把持を検査対象にした。 モデル別ページで各課題の最新実行を表示し、検証済みの候補作品をブラウザ上で再演できるようにした。スマートフォンで実演領域が隠れる問題と、更新後のスタイルが残るキャッシュ問題も修正した。 小規模モデルによる一連のデバッグ実行を公開した。結果は実演と基盤確認のためのもので、正式比較にはまだ昇格していない。 文章スタイルモデルを実例と負例から校正 # 過去の長文と短文を材料に、話題の選び方、判断の進め方、文のリズム、代筆時に創作してはいけない事実の境界を整理した。 最初の生成例は、見出しや段落が均等で、機能を順番に巡回し、最後に再要約する構成になった。語彙より構成が整いすぎていることを負例としてモデルへ反映した。 網羅性を既定にせず、一つの問いに必要な事実だけを残す方針へ変更した。比較や留保を帳尻合わせで足さず、冒頭の主張を末尾で言い換えるだけの結論も避けるようにした。 生成と校正を別の工程に分け、別コンテキストの編集で事実を増やさず削る内部テストを行った。機能カタログ化を抑える効果は確認できたが、本人承認はまだ得ていない。 判断と学び # 比較サイトでは、候補作品が動いて見えることと、正式な比較条件を満たすことを分けて示す必要がある。実演は理解を助けるが、隔離、計測、未知入力での検査が不足した実行を正式結果として扱う根拠にはならない。

開発日誌 2026-08-28 — 小規模AIモデルの比較基盤を構築

今日やったこと # 小規模AIモデルの比較基盤を構築 # 日本語チャット、連鎖パズル、立体パズル、垂直着陸シミュレーションの4課題を用意し、版を固定した指示文と公開テストを整えた。 課題達成、ロジック、未知入力への頑健性、見やすさ、使用資源を分けて記録し、単一の総合点へ丸めない評価方針を定めた。 候補コードを信頼済みの評価処理から分離し、非公開の評価データや参照実装を候補側へ渡さない実行経路を実装した。 実行記録の形式、指示文のハッシュ化、作業領域の準備、評価、静的サイト生成までを追加した。 デバッグ試行を記録して比較上の不足を明示 # 4課題のデバッグ試行を実行記録として追加し、結果サイトで課題や状態を絞り込み、評価と使用資源の内訳を確認できるようにした。 日本語チャットは形式に関する決定的検査を通過した一方、エージェント固有の追加指示を含むため正式比較には使えないと記録した。 垂直着陸は公開テストを通過したが、独立評価では5条件中3条件の着陸にとどまり、見た目の成果物も未完成だった。 残る2課題は途中停止や成果物不足があり、すべての試行を正式結果へ昇格できない「結論なし」として扱った。 公開経路の実行環境を調整 # ローカル要件、継続的インテグレーション、説明文の実行環境を同じ版へそろえた。 検証と静的サイト生成は通ったものの、当初の公開は公開設定段階で失敗した。再実行では成果物のアップロードと公開まで成功した。 判断と学び # モデル比較では、見栄えのよい一例と再現可能な評価を分ける必要がある。機械判定、人手評価、使用資源を別々に示し、失敗を別の指標で相殺しない構成にした。

Gemini 3.1 Proが抽象推論で77.1%達成!前世代から2.5倍の衝撃的進化

📋 要約(TL;DR) # 🔑 ポイント1: Google DeepMindが「Gemini 3.1 Pro」をリリース — Gemini 3 Proの改良版 🔑 ポイント2: ARC-AGI-2(抽象推論テスト)で77.1%達成 — 前世代の31.1%から2.5倍のジャンプ! 🔑 ポイント3: 1Mトークンコンテキスト、64K出力、ネイティブマルチモーダル対応 💡 読みどころ: 「推論能力」でGPT-5.2やClaude Opus 4.6を圧倒してる箇所が超注目! 🤯 みんな、これガチでヤバいから! # 2026年2月19日、Google DeepMindが「Gemini 3.1 Pro」のモデルカードを公開したんだけど、これがね…数字がとんでもないことになってるの。