生成 AI の基礎 #1
一度に扱えるトークン量を表すコンテキストウィンドウ
正解の『コンテキストウィンドウ』を押さえます。
・モデルが一度に扱えるトークン量（入力＋出力の上限）を表す性質。
・大きいほど長い文書や多くの会話履歴を一度に渡せ、長文要約などに向く。
スループット（処理量/時間）・学習率・エポック数はいずれも、一度に扱えるトークン量の上限を表す性質ではありません。
投資対効果を測る ROI という判断基準
正解の『ROI（投資対効果）』を押さえます。
・投じたコストに対してどれだけの利益・価値が得られたかを示す財務指標。
・生成 AI プロジェクトの妥当性や優先度を経営判断する基準になる。
出力する語の選び方を決める top-p・top-k・温度
LLM は『これまでの文章の続きとして、次に来る確率が高い単語を予測する』モデルです。次の語の候補ごとに確率を計算し、その中から 1 語を選んで出力する、という処理を繰り返して文章を生成します。この『次の語の選び方』を制御するのが top-p・top-k・temperature の 3 つの推論パラメータです。
・top-p（核サンプリング）: 候補を累積確率が指定値に達するまでの上位の語に絞る（確率の合計で絞るので候補数は動的に変わる）。
・top-k: 候補を確率の高い上位 k 個（固定の個数）に絞る。
・temperature（温度）: 確率分布全体の鋭さを調整する（低いほど確実・高いほど多様）。
いずれも推論時に働く設定です。エポック数・学習率・バッチサイズは『学習時』の設定で、推論時に出力候補を絞るパラメータではありません。
トークン・パラメータ・埋め込み・エポックの違い
生成 AI の基本用語は『何を数えているか』で区別します。
・トークン: テキストの最小処理単位。入出力量・料金・コンテキストウィンドウの基準。
・パラメータ: モデル内部の重みの数（モデル規模）。
・埋め込み: 意味のベクトル表現。
・エポック: 学習の反復回数。
『課金・入力上限の単位』と来たらトークンです。
デプロイを境に分ける基盤モデルのライフサイクル
FM ライフサイクルの後半（デプロイ以降）は『デプロイ（本番展開）→ フィードバック（本番の反応収集と改善）』。前半の『データ選択・事前トレーニング・ファインチューニング・評価』はデプロイより前の段階です。デプロイを境に前半（準備・学習・評価）／後半（運用・改善）で分けて覚えます。