Harness²|再学習せずAIエージェントを改善するGoogle論文の実験コード
Harness²は、モデルを再学習せずにAIエージェントを改善する手法を示した、Google Research論文の実験コードです。周辺ファイルの編集案を同じタスクで試し、良い編集だけを残します。
ポイント
- Google Researchの論文の実験コードで、一般向けのツールではない
- 再学習せず、周辺ファイルの編集と比較だけでエージェントを改善する
- 公式の結果では、WorkBuddy-Benchのスコアが最大11.5ポイント向上
概要・解決する課題
先に結論を書くと、これは一般の開発者がそのまま使うツールではなく、Google Researchの論文(arXiv:2610.14224)の実験コードです。今回のリリースが対象とするのはJobBench・LAB・WorkBuddy-Benchの3ベンチマークで、自前のタスクやエージェントに適用する手順はREADMEにもdocsにもありません。価値はコードより、示された手法と結果のほうにあります。
その手法は、エージェントの周辺ファイル(ハーネス)を編集した候補を同じタスクで走らせ、実行の違いを比べて良い編集だけを統合する(Propose–Probe–Compose)というものです。正解データは使わず、タスクごとの教訓を蓄積して次のタスクに持ち越します。手作業で CLAUDE.md やスキルを育てる作業を、自動化して効果を測ったものと言えます。
ベンチマークを動かすにはVertex AIの環境とAPI料金が必要で、Codexはサンドボックス無効で動きます(後述)。
なぜ注目されているか
ファインチューニングなしで、周辺ファイルの調整だけで業務系ベンチマークのスコアが上がることを示した点です。公式の結果では、GLM-5とGemini 3.5 Flashで1ステップの改善をかけ、WorkBuddy-Benchで最大11.5ポイント、JobBenchで4.5ポイント、LABの部分合格率で11.8ポイント伸びています。
主なユースケース
リポジトリを動かしてできることは、次の3つです。
- 論文の結果を追試する: LAB(法律業務)、JobBench(専門業務)、WorkBuddy-Bench(オフィス・Web・コード)でハーネスを自動修正し、ベースからの改善幅を自分の環境で確かめる。
--mode parallelで候補を横に広げるか、--mode sequentialで1つを深く磨くかも比べられる。 - 仕組みを無料で眺める:
harness2-demoは認証なしで、決め打ちの編集役を使って2つの探索モードが回る流れを確認できる(実際の改善効果は出ない)。 - 独自タスクの研究基盤にする:
BenchmarkAdapterを実装し、CLIをフォークすれば自前のタスクで手法を回せる(詳しくは後述)。
一般の開発者にとっての活用は、コードを動かすことより手法を自分のエージェント設定に持ち込むことです。以下はリポジトリの機能ではなく、READMEに書かれた手法を手作業に応用する、この記事からの提案です。
- 8分類を見直しのチェックリストにする: README はハーネスを、システムプロンプト・ガードレール・メモリ・ツールガイド・サブエージェント・スキル・スクリプト・プラグインの8つに分けています。自分の
CLAUDE.mdやAGENTS.mdに、どの分類が抜けているかを点検する枠として使えます。- 例:
CLAUDE.mdにコーディング規約(システムプロンプト)は書いてあるが、「本番DBには触らない」(ガードレール)や「テストはpnpm testで走らせる」(ツールガイド)が無い、と気づける。
- 例:
- 2つの版を同じタスクで比べてから残す: 設定を1か所変えたら、変更前と変更後で同じタスクを走らせ、結果の良し悪しだけでなく途中の挙動の違いを見てから採用する。Harness²が自動でやっている比較を、手で小さく回すやり方です。
- 例: 「コミット前にlintを通す」の1行を足す前と後で、同じ修正依頼を2回投げる。lintを実行したか、何回やり直したかをログで比べ、変わらなければその1行は消す。
- 汎用ルールと分野別ルールを分けて育てる: Harness²は編集案を「どのタスクにも効く汎用の編集」と「分野に特化した編集」に分けて試します。設定ファイルも同じように分けておくと、効いた理由を追いやすくなります。
- 例: 「変更したらテストを走らせる」はどの作業にも効くので
CLAUDE.mdに置く。「記事の数値はREADMEと照合する」はブログ記事の作業だけなので、記事校正のスキル側に置く。
- 例: 「変更したらテストを走らせる」はどの作業にも効くので
- 効いた理由をメモに残して持ち越す: タスクごとに「何を変えて、なぜ効いたか」を残し、次の改善の出発点にする。Harness²がタスクをまたいで教訓を蓄積するのと同じ発想です。
- 例: 「依存を足す前に既存のユーティリティを探す」の1行で重複実装が減ったなら、そのことをメモに残す。別のリポジトリで設定を書くとき、最初からその1行を入れられる。
動作環境
- Linux OS、Python 3.12、uvパッケージマネージャー
- Node.js 20+、Google Cloud CLI(モデルバックのベンチマーク実行時)
- Docker(WorkBuddy-Bench実行時)、PandocおよびPoppler(LAB実行時)
始め方(クイックスタート)
ローカルデモはモデル認証なしで実行できます。
uv venv --python 3.12 .venv && source .venv/bin/activate && uv pip install -e '.[render]' && harness2-demo --output runs/demo --k 2
モデルを使用したベンチマーク実行には.envの設定とgcloud認証が必要です。詳細は公式リポジトリを参照してください。
コードを読んで確認したこと
実験は回していません。導入前に気になる点を、リポジトリのコードとdocsで確かめました(2026年10月13日のコミット時点)。
- ファイルの置き場所: 依存物は
dependencies/、ハーネスの組み立ては一時ディレクトリ、結果はruns/に置かれます。ホームディレクトリの設定を書き換える処理は見当たりませんでした。Codexは専用のCODEX_HOME(dependencies/codex/home)で動くので、手元のCodex設定とは分かれます。一方OpenCodeは設定の分離が指定されていないため、手元にグローバル設定があると読み込まれる可能性があります。気になるなら別ユーザーかコンテナで動かすのが無難です。 - Codexは隔離した環境で: Codexはサンドボックス無効・ネットワーク無制限で動きます。公式ドキュメントには、検証中のCodexが指示されていないのにJobBenchの採点基準(
RUBRICS.json)をダウンロードした例が書かれています。公式の対策は、評価前にHugging FaceやGitHubへの接続をブロックすることです。ただ、手元のファイルにも触れられる状態なので、VMやコンテナでの実行をおすすめします。 - 自分のタスクで使うには: ベンチマークごとの処理は
BenchmarkAdapter(タスク一覧・実行・成果物の取り出し・初期ハーネスなど)にまとまっていて、これを実装すれば手法自体は回る設計です。ただしCLIで選べるベンチマークはjb/wb/labに固定されているため、CLIもフォークして手を入れる必要があります。 - Claude Codeとの関係: タスクを実行するエージェントはOpenCodeとCodexだけで、Claude Codeでは実行できません(改善役のモデルにはVertex AI経由のClaudeを使えます)。ただし出力されるハーネスは
AGENTS.mdやスキル(SKILL.md)、スクリプトといった普通のファイルです。runs/に残る採用ハーネスの差分を見て、自分の環境に手で取り込むことはできます。
こんな人におすすめ
- 重みを変えずにハーネス側でエージェント性能を上げる手法を、論文の実装で追試したい研究者・エンジニア
CLAUDE.mdやスキルの改善を勘ではなく、比較で進める方法を知りたい開発者
関連リソース [PR]
※ Amazon アソシエイト・リンクを含みます。リンク経由の購入で当サイトが収益を得る場合があります。
本記事は GitHub Trending を元に自動生成しています。最新情報は公式リポジトリをご確認ください。