The Engineering of Intent 第31章:データとMLのVibe Coding

本記事は、私の著書The Engineering of Intent(英語版)を1章ずつ読み解くシリーズの第31回です。前回の記事では、フロントエンドの仕事を取り上げました。第31章ではデータエンジニアリングと応用MLに目を向けます──AIネイティブの実践が、統計的思考、再現性、そして遅いフィードバックループと出会う領域です。


そのまま移せる実践もあれば、調整が必要な実践もあり、まったく移せない実践もある

データとMLは、プロトタイプと本番の間のギャップが最も大きい領域です──そして、エージェントが最も役に立ち、同時に最も人を誤らせる領域でもあります。第31章では、どの実践を残し、どれを調整し、どれを引退させるかを整理します。


3つのサブ領域

  1. ETLパイプライン。 AIネイティブのスピードの恩恵を受ける領域です。ただし、必ず小さなサンプルで実行し、次に中規模、最後に全量で実行してください。エージェントは、サンプルでは正しく見えるのに、規模が大きくなると破綻するパイプラインを作ります。すべてのジョブファイルに、SLA、冪等性モード、リプレイポリシーを宣言します──この3つの宣言が、運用上よくある3大惨事を防ぎます。
  2. 特徴量エンジニアリング。 エージェントは、ひとつのテーマのバリエーションを生み出すのが得意です。ただし、注意点は残酷です。エージェントには訓練/テスト分割という概念がありません──規律を強制しなければ、目的変数の情報がリークする特徴量を平気で作ります。すべての特徴量は、ソース、時間的セマンティクス、リークがないことの保証を宣言した仕様とともに出荷します。
  3. モデル評価。 エージェントは、評価スイートの生成、敵対的サンプルの合成、報告された指標の妥当性チェックに使います。モデルの準備ができているかどうかの最終判断者としては使わないでください。キャリブレーションプロット、公平性の監査、ドメインの専門家との対話は、引き続き人間の責任です。
💡 リークを捕まえた例: エージェントが生成した不正検知の特徴量に、「今後24時間の平均取引金額」が含まれていました──取引後のデータを含むデータセットから引いてきたものです。特徴量仕様の規約で時間的セマンティクスの宣言が必須になっていて、その宣言と特徴量の実際の振る舞いが一致しなかったために発見できました。この規約がなければ、特徴量はそのまま出荷され、モデルは本番で人知れず壊れていたでしょう。

解約予測パイプラインのケーススタディ

「MLにおけるAIネイティブのスピードは本物ですが、評価とシャドーテストがボトルネックになり、そこはほとんど圧縮できません。パイプラインの部分は1か月ではなく8日で済むかもしれません。検証の部分は依然として数週間かかります。それを前提に計画してください。」

私がアドバイスしていたあるサブスクリプション企業は、解約予測モデルを必要としていました。従来型の見積もりでは、最初のバージョンを出荷するまでに1か月。実際の経過は次のとおりです。

  • 1日目: プロダクトに関する会話から特徴量の仕様を抽出。エージェントが生成したPM向けアンケートをもとに特徴量の意図をまとめたドキュメントを合成し、データサイエンティストが2つを削って3つを追加。最終的に24個の特徴量に。
  • 2〜4日目: 特徴量パイプラインを実装。リーク監査で2件の問題を発見。
  • 5日目: ベースラインとしてロジスティック回帰。
  • 6〜7日目: 勾配ブースティングモデル。キャリブレーションには事後補正が必要だった。特徴量重要度のレビューで「重要すぎる」特徴量が見つかり──調べるとリークしていたため、削除。
  • 8日目: シャドーデプロイ(予測はログに記録するだけで、実際の施策には使わない)。
  • 2〜3週目: シャドーデータで安定性を検証。シャドー期間を含めて、9週目に出荷。
⚠ 身につけるべきパターン: パイプラインの部分は劇的に圧縮できます。検証の部分はできません。経営陣に「AIネイティブなら2週間でモデルができます」と約束するチームは、2週間で壊れたモデルを出荷します。「パイプラインは1週間、検証済みのロールアウトは9週目まで」と約束するチームは、ちゃんと動くモデルを出荷します。最初に正しいことを言ってください。

次回 ── 第32章「プラットフォームとインフラのVibe Coding」 プラットフォームの仕事は本質的にゆっくりと進み、そのユーザーは社内のエンジニアです──プロダクトのコードとは異なる制約の組み合わせです。第32章では、Infrastructure as Code、CIの進化、そしてデプロイ時間を40分から12分に短縮したデプロイツールの再構築を見ていきます。


📖 さらに詳しく知りたい方へ

本章では、3つのサブ領域それぞれについての具体的な規約、不正検知の特徴量でのリークのケーススタディ、解約予測パイプラインのタイムラインの全容、そしてスピードに背中を押されて早く出荷したくなるときにもデータの仕事を誠実に保つための評価の実践を解説しています。

The Engineering of Intent をAmazonで購入する →(英語版)

2026-05-17

下田 昌平

開発に関するインプットをアウトプットしています。