Claude実践大全 第1章:大規模言語モデルの進化──「なぜ動くのか」を知れば使い方が変わる

本記事は、『Claude実践大全:Chat・Cowork・Codeで「動くAI」を仕事に組み込む技術』を1章ずつ紹介するシリーズの第1回です。各記事では1つの章のエッセンスをダイジェストでお届けします。

「プロンプトのコツ」を集めた記事は世の中にあふれています。でも、なぜそのコツが効くのかまで説明してくれるものは多くありません。第1章は、まさにそこから始めます。Claudeが内部で実際に何をしているのかを理解できれば、小手先のテクニックではなく、原理に根ざした使い方が身につくからです。

難しい数式に溺れる必要はありません。実務で効く範囲で、モデルの「仕組み」を一緒に押さえていきましょう。

テキスト予測の15年──マルコフ連鎖からTransformerまで

言語モデルの歴史は、意外なほど古くからあります。1950年代、Claude Shannonが英語の統計的構造を実験し、文字やバイグラムの頻度からそれっぽいテキストを生成しようとしました。結果はでたらめでしたが、「言語には確率でモデル化できる構造がある」という核心を示していました。

1980年代のnグラムモデルは「直前の数単語」しか見られず、長距離の依存関係に弱いという致命的な限界を抱えていました。その壁を打ち破ったのが、2017年の論文「Attention Is All You Need」で提案されたTransformerです。アテンション機構によって、入力系列のどこからでも関連する文脈を同時に考慮できるようになりました。私たちが長い文を読むとき、代名詞の指す先を文中のどこからでも探すのと、よく似た働きです。

スケーリングの物語と、その頭打ち

Transformer以降、研究者の前に明快なパターンが現れました。「モデルは大きいほど良い」。GPT-1の1億1700万パラメータから、GPT-3の1750億、推定1兆のGPT-4へ。規模が一定を超えると、明示的に訓練していない能力――創発的能力――が立ち現れます。次トークン予測だけで訓練したモデルが、なぜか数学的推論やコードのデバッグを学んでしまうのです。

ところが本書は、ここで立ち止まります。2025年初頭の今、爆発的なスケーリングの時代は頭打ちを迎えつつあります。高品質な訓練データの枯渇、収穫逓減、超線形に膨らむ訓練コスト。では、次の改善はどこから来るのか?その答えこそが、本章後半の山場です。

ハルシネーションの正体──エントロピーで読み解く

モデルが間違えるのは、プログラムが「バグっている」からではありません。与えられた文脈で最も確率の高い次トークンが、たまたま現実とずれた方向へ続いてしまうからです。エントロピーやパープレキシティといった尺度を使うと、この「不確かさ」を定量的に捉えられます。分布が尖っていればモデルは自信を持ち、平坦なら不確か。高エントロピー領域では、自信たっぷりに誤情報を生成してしまう――本書はこのメカニズムを丁寧に解きほぐします。

頭打ちの先にあるもの──コンテキストエンジニアリング

スケーリングが頭打ちなら、改善はどこから?その有力な答えがコンテキストエンジニアリングです。初期GPT-3の2,048トークンから、現代のClaudeは10万トークン超のコンテキストウィンドウへ。コードベース全体やAPI仕様書をまるごと渡してから作業を頼める時代です。さらに、思考の連鎖(Chain of Thought)や拡張思考をどう使い分けるか。深部の実践は、ぜひ本書で確かめてください。

この章で得られること

第1章を読み終える頃には、次のことが腑に落ちているはずです。

• 言語モデルが「確率分布の生成器」であるという根本理解
• ハルシネーションがなぜ起きるのか、その確率論的な説明
• スケーリングの限界と、コンテキストエンジニアリングが重要になった理由
• 思考の連鎖・拡張思考をいつ使い、いつ使わないかの判断軸

原理を押さえた人ほど、この先の章で語られる実践テクニックの「効く理由」がすっと入ってきます。

次回:第2章「Claudeを支える3つの柱」。Chat・Cowork・Code――目的に応じてどれを選ぶべきか、その判断基準を解説します。