出力する語の選び方を決める top-p・top-k・温度

LLM は『これまでの文章の続きとして、次に来る確率が高い単語を予測する』モデルです。次の語の候補ごとに確率を計算し、その中から 1 語を選んで出力する、という処理を繰り返して文章を生成します。この『次の語の選び方』を制御するのが top-p・top-k・temperature の 3 つの推論パラメータです。
・top-p（核サンプリング）: 候補を累積確率が指定値に達するまでの上位の語に絞る（確率の合計で絞るので候補数は動的に変わる）。
・top-k: 候補を確率の高い上位 k 個（固定の個数）に絞る。
・temperature（温度）: 確率分布全体の鋭さを調整する（低いほど確実・高いほど多様）。
いずれも推論時に働く設定です。エポック数・学習率・バッチサイズは『学習時』の設定で、推論時に出力候補を絞るパラメータではありません。