The Engineering of Intent 第31章:データとMLのVibe Coding
本記事は、私の著書The Engineering of Intent(英語版)を1章ずつ読み解くシリーズの第31回です。前回の記事では、フロントエンドの仕事を取り上げました。第31章ではデータエンジニアリングと応用MLに目を向けます──AIネイティブの実践が、統計的思考、再現性、そして遅いフィードバックループと出会う領域です。
そのまま移せる実践もあれば、調整が必要な実践もあり、まったく移せない実践もある
データとMLは、プロトタイプと本番の間のギャップが最も大きい領域です──そして、エージェントが最も役に立ち、同時に最も人を誤らせる領域でもあります。第31章では、どの実践を残し、どれを調整し、どれを引退させるかを整理します。
3つのサブ領域
- ETLパイプライン。 AIネイティブのスピードの恩恵を受ける領域です。ただし、必ず小さなサンプルで実行し、次に中規模、最後に全量で実行してください。エージェントは、サンプルでは正しく見えるのに、規模が大きくなると破綻するパイプラインを作ります。すべてのジョブファイルに、SLA、冪等性モード、リプレイポリシーを宣言します──この3つの宣言が、運用上よくある3大惨事を防ぎます。
- 特徴量エンジニアリング。 エージェントは、ひとつのテーマのバリエーションを生み出すのが得意です。ただし、注意点は残酷です。エージェントには訓練/テスト分割という概念がありません──規律を強制しなければ、目的変数の情報がリークする特徴量を平気で作ります。すべての特徴量は、ソース、時間的セマンティクス、リークがないことの保証を宣言した仕様とともに出荷します。
- モデル評価。 エージェントは、評価スイートの生成、敵対的サンプルの合成、報告された指標の妥当性チェックに使います。モデルの準備ができているかどうかの最終判断者としては使わないでください。キャリブレーションプロット、公平性の監査、ドメインの専門家との対話は、引き続き人間の責任です。
解約予測パイプラインのケーススタディ
「MLにおけるAIネイティブのスピードは本物ですが、評価とシャドーテストがボトルネックになり、そこはほとんど圧縮できません。パイプラインの部分は1か月ではなく8日で済むかもしれません。検証の部分は依然として数週間かかります。それを前提に計画してください。」
私がアドバイスしていたあるサブスクリプション企業は、解約予測モデルを必要としていました。従来型の見積もりでは、最初のバージョンを出荷するまでに1か月。実際の経過は次のとおりです。
- 1日目: プロダクトに関する会話から特徴量の仕様を抽出。エージェントが生成したPM向けアンケートをもとに特徴量の意図をまとめたドキュメントを合成し、データサイエンティストが2つを削って3つを追加。最終的に24個の特徴量に。
- 2〜4日目: 特徴量パイプラインを実装。リーク監査で2件の問題を発見。
- 5日目: ベースラインとしてロジスティック回帰。
- 6〜7日目: 勾配ブースティングモデル。キャリブレーションには事後補正が必要だった。特徴量重要度のレビューで「重要すぎる」特徴量が見つかり──調べるとリークしていたため、削除。
- 8日目: シャドーデプロイ(予測はログに記録するだけで、実際の施策には使わない)。
- 2〜3週目: シャドーデータで安定性を検証。シャドー期間を含めて、9週目に出荷。
次回 ── 第32章「プラットフォームとインフラのVibe Coding」 プラットフォームの仕事は本質的にゆっくりと進み、そのユーザーは社内のエンジニアです──プロダクトのコードとは異なる制約の組み合わせです。第32章では、Infrastructure as Code、CIの進化、そしてデプロイ時間を40分から12分に短縮したデプロイツールの再構築を見ていきます。
📖 さらに詳しく知りたい方へ
本章では、3つのサブ領域それぞれについての具体的な規約、不正検知の特徴量でのリークのケーススタディ、解約予測パイプラインのタイムラインの全容、そしてスピードに背中を押されて早く出荷したくなるときにもデータの仕事を誠実に保つための評価の実践を解説しています。
下田 昌平
開発に関するインプットをアウトプットしています。カテゴリー
タグ
検索ログ
開発・技術相談
システム開発や技術検証、要件定義の作成、アーキテクチャ設計、 テスト設計、運用設計まで、一気通貫で支援しています。 企画段階の「まず相談したい」レベルから、実装・運用まで 幅広く対応できますので、お気軽にお問い合わせください。
お問い合わせ