The Forward Deployed Engineer 第5章:AIとエージェンティックの最前線
本記事は、私の著書The Forward Deployed Engineer(英語版)を1章ずつ読み解くシリーズの第5回です。前回の記事では、技術的な水準を定めました。今回はその上にAI固有のレイヤーを重ねます──2026年のシニアのフォワード・デプロイド・エンジニア(FDE)と、3年前のシニアFDEとを分けるスキルです。
LLM展開の第一波は、おおよそ2022年末から2024年まで続き、チャットボットに支配されていました。モデルはインターフェースの裏側に座り、質問を受け取り、答えを返す。形は単純で、失敗パターンはたいてい目に見えるもので、展開に必要な運用上の規律も、チームがすでに知っていることの延長で十分に扱えるものでした。2026年の波は別物です。システムが計画し、検索し、ツールを呼び出し、エスカレーションし、オペレーションの内側で行動します。キーワードはエージェンティックであり、チャットボットとエージェントのあいだのアーキテクチャ上の線は、聞こえる以上にはっきりしています。2023年には「あれば望ましい」程度だったスキルのほとんどが、いまでは欠かせないものになっています。追いついていないFDEは、実質的に2世代前のプロダクトにとどまっているのです。
顧客固有のデータにエージェントを接地させるための支配的なパターンは、いまも何らかの形のRAG(Retrieval-Augmented Generation、検索を組み合わせた生成)です。その理由と、どこで壊れるのかを正確に押さえておく価値があります。RAGが機能するのは、ファインチューニングの問題を回避できるからです。推論時に関連する部分を検索して取り出せるなら、顧客のデータでモデルを再学習する必要はありません。しかし検索スタックには固有の失敗パターンがあり、それこそが、ローンチ時のデモからずっと後になって展開を静かに劣化させるものです。デザインパートナーでうまくいったチャンキング戦略は、文書が長くなると機能しなくなります。2月にうまくいっていた鮮度のルールは、6月にはいつの間にか古びています。検索ポイズニング──意図的であれ偶発的であれ──は、ほとんど誰もテストしていない攻撃経路です。私が関わってきた展開のほとんどで、展開が実際に依存していたのはモデルではなく検索スタックでした。
マルチエージェントのオーケストレーションとevalの規律
ここ2年で最大のアーキテクチャの変化は、単一モデルの展開からマルチエージェントシステムへの移行です──プランナーとエグゼキューターのペア、スーパーバイザーとワーカーの集団、ピアレビューのループ、そしてより攻めた展開の一部がいま実際に動かしているエージェントの群れ。どのパターンにもそれぞれの強みと固有の障害面があり、成熟したチームが学んだのは、それらを機能させるのはオーケストレーションの規律だということです。タイムアウト、予算、決着がつかないときの裁定ルール、エスカレーション経路。これらがなければ、マルチエージェントシステムはいつ暴走ループに陥ってもおかしくありません。そしてひとたびそうなれば、呼び出しあたりのコスト計算はたちまち悲惨なことになります。
新しい規律のなかで、2026年のシニアFDEを2023年のシニアFDEから最も際立たせるのはevalです。モデルはその週に誰かが出荷したものです。何かが本当に改善したのかを教えてくれるのはevalです。本書のこの章では、evalをテストの成果物ではなくプロダクトの一面として扱っています。それが正しい運用上の構えだからです──evalスイートは機能を作るように作り、サービスを保守するように保守し、コードを出荷するように出荷します。失敗パターンは見ればわかるものです。evalへの過剰適合では、システムはスイートを通過するのに本番では失敗します。evalの負債では、ワークフローが変わったあと誰も更新しなかったために、スイートが顧客の実際のワークフローを反映しなくなります。そして「うちのevalは好調です」の罠では、evalがもはや正しいものを測っていないために、横ばいのevalの曲線が、下降する本番の曲線を覆い隠してしまいます。第7章「顧客ディスカバリーと乱雑な現実」で扱うeval-customer splitは、ここで築く土台の上に成り立っています。
レイテンシ、コスト、そしてその下にあるモデル
この章は、エージェンティックなアーキテクチャがあらわにする運用上のエコノミクスで締めくくられます。プロトタイプで成り立っていた呼び出しあたりのコスト計算は、規模が大きくなると破綻します。ユーザーの操作1回につきモデルを3回呼ぶシステムは、ユーザー100人なら安く済みますが、1万人になれば破滅的です。プロトタイプで成り立っていたレイテンシの予算は、クリティカルパスの上では破綻します。1.2秒の応答はチャットUIなら問題ありませんが、リアルタイムのコパイロットでは使い物になりません。そしてモデル非依存な展開の規律──システムを作り直さずに下のモデルを差し替えられるように作ること──は、2023年よりも2026年のほうがはるかに重要です。2026年には下のモデルが四半期ごとに変わり、それを想定していなかった展開こそが、いま解体され、作り直されているからです。次回は、ソフトスタックです。ここまでの技術的な流暢さのすべてが、その上に乗っているスキルセットの一部です。
📖 さらに詳しく知りたい方へ
AIとエージェンティックの完全な解説──RAGのパターン、マルチエージェントのアーキテクチャ、規律としてのeval、敵対的テスト、そしてモデル非依存な展開──を1冊にまとめています。
下田 昌平
開発に関するインプットをアウトプットしています。カテゴリー
タグ
検索ログ
開発・技術相談
システム開発や技術検証、要件定義の作成、アーキテクチャ設計、 テスト設計、運用設計まで、一気通貫で支援しています。 企画段階の「まず相談したい」レベルから、実装・運用まで 幅広く対応できますので、お気軽にお問い合わせください。
お問い合わせ