The Engineering of Intent 第6章:自律オーケストレーションフレームワーク
本記事は、私の著書The Engineering of Intent(英語版)を1章ずつ読み解くシリーズの第6回です。前回の記事では、エディタ──あなたがループの中にいる状態で、一度にひとつのエージェントを動かすもの──を見てきました。この章は、その上の段階についての章です。それぞれが専門の役割を持つ多数のエージェントを動かすオーケストレーションフレームワークと、その規模が実際に報われるタスクを扱います。
エージェントひとつでは足りないとき
エディタは、ヒューマン・イン・ザ・ループの仕事には最適です。けれども、人間がループに関わる度合いが少ないほうがうまくいく仕事もあります──長時間にわたるリファクタリング、何百ものファイルにまたがる移行、エンジニアがひたすら受け入れボタンを押し続けるだけになってしまう探索的な実験。こうした仕事では、オーケストレーションフレームワークが主役になります。第6章ではこのカテゴリー──Roo Code、Cline、Kilo Code──と、それらすべてに共通するパターンを扱います。
タスクに特化したパーソナリティ
すべてのタスクが同じエージェントに値するわけではありません。コードレビュアーとコードを書く者とでは、重んじるものが違います。レビュアーは懐疑的で、細かく、なかなか褒めないものであるべきです。書き手は野心的で、楽観的で、ものを壊すことをいとわないものであるべきです。両者を同じシステムプロンプトで動かすと、どちらも凡庸なものになります。
現代のオーケストレーションフレームワークでは、複数のパーソナリティ──モードやロール──を定義できます。それぞれが独自のプロンプト、独自のツール許可リスト、独自の関与のルールを持ちます。レビュアーはコードに対しては読み取り専用のアクセス権を持ち、書き込めるのはコメントだけです。書き手は広い書き込み権限を持ちますが、マージはできません。アーキテクトはコンテキストドキュメントを変更できますが、コードは変更できません。
メモリーバンク:コンテキストウィンドウを越えて生き残るコンテキスト
エージェントのコンテキストウィンドウは有限です。何日も何週間もかかるタスク──移行、大規模なリファクタリング、段階的な機能のロールアウト──では、ウィンドウに履歴のすべてを収めることはできません。メモリーバンクがこれを解決します。エージェントが学んだことを永続的かつ構造的にまとめたもので、各セッションの開始時に読み込まれ、終了時に更新されます。
その構造は、優れたコードベースのドキュメントをなぞったものです──アーキテクチャ、下された決定、未解決の問い、失敗した実験、既知のクセ。メモリーバンクにはひとつ微妙な問題があり、この章ではそれを丁寧に扱っています。出典です。エージェントが「先週の火曜日に、MySQLではなくPostgresを使うと決めました」と主張したとき、それは実際の決定記録に基づいているのでしょうか。それとも、隣接する議論からエージェントがハルシネーションで作り出したものなのでしょうか。良いメモリーバンクには、元のドキュメントへのポインターが含まれています。優れたメモリーバンクは、そのポインターをバージョン管理して、古くなった参照を検出できるようにしています。
オーケストレーションは明確さを増幅します。明確さがすでにある場所にだけ適用してください。
私が見てきた中でもっとも価値の高い使い方は、機械的で大量のリファクタリングです。一緒に仕事をしたあるチームは、週末のあいだに1,200個のReactのクラスコンポーネントを、フックを使った関数コンポーネントに移行しました。オーケストレーターは作業をファイル単位のチャンクに分け、ファイルごとのリファクタリングを並列に実行し、チャンクごとにテストスイートを走らせ、テストを壊したチャンクはすべて元に戻しました。人間が関わったのは、変換ルールを定義すること、無作為に選んだ10個のチャンクを抜き取りで確認すること、そして最終的なマージを承認することでした。
「オーケストレーションは魅惑的だ。規模を手にしたように感じられる。けれども、歯止めのないオーケストレーションは、4万行の週末を生み出すもっとも速い方法だ──しかも構造があるという錯覚つきで。探索的な仕事をオーケストレーションしてはいけない。仕様がまだ形になりつつある段階でオーケストレーションしてはいけない。結果をどう検証するかを事前に言葉にできないところで、オーケストレーションしてはいけない。」
あるタスクがオーケストレーション可能かどうかを判断する私の経験則はこうです。変換をパターンマッチのルールの集合として書けるなら、それは機械的です。「最善の判断で」と言わなければならないなら、そうではありません。オーケストレーションは、創造的な仕事にはまったく向いていません。新しいAPIを設計したり、UIのフローを構想し直したり、ビジネスの仕組みを発明したりする種類の思考は、機械的なステップに分解することができません。オーケストレーターは、委員会が出すような凡庸な解決策を生み出すでしょう。創造的な仕事は、人間が立ち止まることで生まれる摩擦から恩恵を受けます。摩擦こそが肝心な場所で、摩擦を取り除いてはいけません。
テスト作成のケーススタディ
この章を代表するエピソードのひとつです。ある中規模の企業では、8万行のコードに対してカバレッジが20%で、それを70%まで引き上げたいと考えていました。彼らはオーケストレーションの実験を行いました。オーケストレーターがコードベースを巡回し、モジュールごとにテストを生成するサブエージェントを起動します。2つ目のエージェントがテストの品質をレビューし、実装を探るのではなく単に実装をなぞっているだけのテストを差し戻します。人間は毎週10%を抜き取りで確認し、定期的にプロンプトを調整しました。
8週間で、1万4,000件のテストが生成され、9,400件が採用されました。カバレッジは20%から63%に上がりました。コストは、プロンプトを調整する2人のエンジニアと、およそ1万5,000ドルの推論費用です。同じことを人間がやれば、10人のエンジニアで6か月かかっていたはずです。
決定的に重要なのは、どこで止めたかです。彼らは63%で止めました。それを超えると、オーケストレーターが書くテストは次第に役に立たなくなっていったからです。機械的なフロンティアに到達したのです。残りの7%には、オーケストレーターには提供できない、テストシナリオの創造的な設計が必要でした。機械的なフロンティアがどこにあるかを知ることも、スキルの一部です。
無視できない経済性
マルチエージェントのパイプラインを動かすのはタダではありません。エージェントを1回余計に呼び出すたびに、トークンのコストがかかります。すべての差分を読むレビュアーエージェントは、推論費用を倍にします。小さなチームにとってはささいなことですが、大きなチームにとっては重要です。
この章の価格に見合う実践的な最適化があります。定型的なタスクには、より小さく安価なモデルを使い、フラッグシップモデルはそれを必要とするタスクのために取っておくことです。多くのオーケストレーションフレームワークは、ロールごとのモデルのルーティングをサポートしています。明らかなバグをチェックするレビュアーは、小さく高速なモデルで構いません。重大な設計上の決定を下すアーキテクトには、手の届く限り最大のモデルを使うべきです。
長時間のオーケストレーションのためのヒント
- 早めに、こまめに状況を確認する。8時間の無監督の実行は、誰にも読まれない長編小説です。30〜60分ごとにチェックポイントを設けてください。
- リトライの予算を強制する。エージェントはループにはまります。サブタスクごとのリトライ回数に上限を設け、上限に達したら人間に知らせてください。
- オーケストレーターのレベルですべてをログに残す。事後の調査は避けられません。初日からその能力を計画しておいてください。
- 支出の予算を決める。たったひとつの設定ミスのループで、何万ドルも失ったチームがあります。厳格な上限を設定し、上限に近づいたら一時停止してください。
次回 ── 第7章「GenDD実行ループ」 人間、エージェント、コードベースのインフラがそろったところで、本書の第III部:生成駆動開発(GenDD)では、それらすべてを結びつける方法論──生成駆動開発(GenDD)──を導入します。第7章では、ひとつの意図を「Xをつくりたい」から「本番で動いている」へと運ぶ、5つのステップからなるループを順に見ていきます。
📖 さらに詳しく知りたい方へ
この章では、書き手/レビュアー/アーキテクトへのロールの分解、メモリーバンクの出典パターン、テスト作成のオーケストレーションの全容(8週間で1万4,000件のテスト)、マルチエージェントのパイプラインの経済性、モデルのルーティング戦略、長時間のオーケストレーションのための4つのヒント、そして人間を実際に関与させ続けるためのダッシュボードとレポートの設計を解説しています。
下田 昌平
開発に関するインプットをアウトプットしています。カテゴリー
タグ
検索ログ
開発・技術相談
システム開発や技術検証、要件定義の作成、アーキテクチャ設計、 テスト設計、運用設計まで、一気通貫で支援しています。 企画段階の「まず相談したい」レベルから、実装・運用まで 幅広く対応できますので、お気軽にお問い合わせください。
お問い合わせ