The Engineering of Intent 第10章:Five-Layer Quality Gate Stack──5層の品質ゲート
本記事は、私の著書The Engineering of Intent(英語版)を1章ずつ読み解くシリーズの第10回です。前回の記事では、コンテキストエンジニアリング──各セッションの冒頭でエージェントが読むものを形づくること──を扱いました。本書の第IV部:品質、セキュリティ、インテリジェントなデバッグでは、多層防御、つまり避けられないミスを本番到達前に捕まえる仕組みへと話題が移ります。
AIが生成したすべての変更は、人間の目に触れる前に5つのゲートを通過しなければならない
AIが生成したすべての変更は、人間が目にするより前に、自動チェックのスタックを通過しなければなりません。スタックは5つの層から成ります。どれひとつとして省略はできません。
第10章では、各層を順に解説し、厳しさのダイヤルを調整し、まさにこのスタックによってサイクルタイムを2時間から22分に短縮し、本番インシデントを3分の1に減らしたフィンテック企業のケーススタディを詳しく見ていきます。
5つの層を手短に
- 静的リンティング。 ハルシネーションによる存在しないimport、未使用の変数、明らかなバグを捕まえます。現代のリンターは、体感できる遅延なしに、あらゆる変更に対して実行できます。AIネイティブなプロジェクトで最も価値のあるリントルールは「未知のimport」ルールです──エージェントはときどき、ライブラリをでっち上げたり、存在しないAPIを参照したりするからです。
- 厳格な型チェック。 型は、実行可能なドキュメントとして最も速い形式です。エージェントが関数シグネチャを変更すると、厳格な型チェッカーは、更新が必要な呼び出し元をすべて即座に特定します。可能な限りどこでも厳格に。TypeScriptのstrict、Pyrightのstrict、Sorbetのstrictシジル。
- SASTとセキュリティスキャン。 AIが生成したコードには特有の脆弱性があります。文字列連結で組み立てたSQL、デバッグログに出力される機密データ、「一時的に」無効化されたCSRF対策。Semgrep、Snyk、CodeQL。組織固有のアンチパターンに対応するカスタムルールセットを維持してください。
- 自動テスト合成。 エージェントが書くテストはハッピーパスをカバーします。敵対的なテストには人間の判断が必要です。両方を必須にしてください。組み合わせることで、どちらか単独よりも広い範囲をカバーできます。
- エージェント型エンドツーエンドテスト。 自律的なブラウザエージェントが、ユーザーと同じようにアプリケーションを操作します。コミットごとのチェックではなく、マージ前の最終ゲートとして使ってください。範囲は小さく保つこと。
ゲートを静かに殺すアンチパターン
- 警告のみのモードのまま永遠に存在し続けるお飾りゲート(aspirational gate)。削除するか、直すかのどちらかです。
- すべてをひとつの遅い直列ジョブにまとめてしまう十徳ナイフゲート(swiss army gate)。並列化してください。
- バイパスボタンが毎週使われるオーバーライド文化(override culture)。オーバーライドを計測してください。健全なチームなら、月に1回未満が目安です。
「ゲートの厳しさはスイッチではなく、ダイヤルです。毎月ゲートレビューを行ってください。すべての発火を真陽性か偽陽性かに分類し、偽陽性が10パーセントを超えるルールはすべて調整します。たった1件のインシデントに反応して新しいルールを追加してはいけません──そのクラスの問題が実在することを証明する、2回目の発生を待つのです。」
レビュアーエージェント・パターン(Reviewer Agent Pattern)
作成者エージェントとは独立して実行されるレビュアーエージェントが、差分を読んでコメントを出します。可能であれば別のモデルを使ってください──失敗モードが異なることで、従来のペアレビューに近い効果が得られます。レビュアーエージェントは、大きな差分全体にわたる一貫性の違反や、コンテキストパックとの矛盾を捕まえます。プロダクトのセンスに関しては、人間の代わりにはなりません。
次回 ── 第11章「エージェント型デバッグの技法」 ゲートは構造的な問題を捕まえます。しかし、AIネイティブなシステムで興味深いバグとは、ゲートをすり抜け、しかもローカルでは再現しないものです。同章では、自己修正ループ、高速な開発ペースの下での二分探索、基盤としてのオブザーバビリティ、そしてAIネイティブなスループットにも耐えるインシデントデバッグの実践を扱います。
📖 さらに詳しく知りたい方へ
本書の第10章では、各層を具体的なツールの推奨と設定スニペットつきで掘り下げます。さらに、フレークの多いパイプラインのケーススタディ(フレーク率30%から5%未満へ)、規制の厳しいフィンテック企業で四半期をかけて行った導入とその月ごとの進め方、アンチパターンの完全なカタログ、そして単一のモデルでは見逃すバグを捕まえるモデル多様性の設定を含むレビュアーエージェント・パターンを解説しています。
下田 昌平
開発に関するインプットをアウトプットしています。カテゴリー
タグ
検索ログ
開発・技術相談
システム開発や技術検証、要件定義の作成、アーキテクチャ設計、 テスト設計、運用設計まで、一気通貫で支援しています。 企画段階の「まず相談したい」レベルから、実装・運用まで 幅広く対応できますので、お気軽にお問い合わせください。
お問い合わせ