A不正解
top-k
top-k は、候補を確率の高い上位 k 個（個数）に絞るパラメータです。
累積確率（割合）で絞る方式は top-p であり、絞り方の基準が異なるため不正解です。
ある開発者が、top-k との違いを意識しながら、出力の多様性を細かく制御する推論パラメータを比較しています。出力候補を「累積確率が一定値に達するまでの上位の語」に絞ることで多様性を制御する設定を何と呼びますか。
1 / 1
回答を選択してください
正解B
解説
出力候補を累積確率で絞る推論パラメータを選ぶ問題。
- 1「累積確率が一定値に達するまでの上位の語」確率上位に 候補を絞る
- 2「に絞ることで多様性を制御」推論パラメータ＝top-p（核サンプリング）
B正解
top-p
正解。top-p（核サンプリング、Nucleus Sampling）は、次の語の候補を確率の高い順に並べ、累積確率が指定値 p に達するまでの上位の語だけに絞る推論パラメータです。例えば p=0.9 なら、確率を上位から足していって合計 90% に達するまでの語が候補となり、それ以下の低確率の語は除外されます。p を小さくするほど確実な語に絞られて出力は安定し、大きくするほど候補が広がって多様な表現になります。個数を固定する top-k と違い、確率分布の形に応じて候補数が動的に変わるのが特徴です。
C不正解
温度
温度は、確率分布の鋭さ全体を調整するパラメータです。
候補を絞り込む方式ではないため不正解です。
D不正解
最大トークン数
最大トークン数は、出力の長さの上限を決めるパラメータです。
候補語の絞り込みではないため不正解です。
ポイント
LLM は『これまでの文章の続きとして、次に来る確率が高い単語を予測する』モデルです。次の語の候補ごとに確率を計算し、その中から 1 語を選んで出力する、という処理を繰り返して文章を生成します。この『次の語の選び方』を制御するのが top-p・top-k・temperature の 3 つの推論パラメータです。
・top-p（核サンプリング）: 候補を累積確率が指定値に達するまでの上位の語に絞る（確率の合計で絞るので候補数は動的に変わる）。
・top-k: 候補を確率の高い上位 k 個（固定の個数）に絞る。
・temperature（温度）: 確率分布全体の鋭さを調整する（低いほど確実・高いほど多様）。
いずれも推論時に働く設定です。エポック数・学習率・バッチサイズは『学習時』の設定で、推論時に出力候補を絞るパラメータではありません。