A不正解
温度
温度は確率分布全体の鋭さ（ランダム性）を調整するパラメータで、高くするほど出力のランダム性が上がり、低くするほど決定的（無難）になります。候補の個数を上位 K 個に限定するものではありません。
候補数を固定する制御ではないため不正解です。
ある AI プラクティショナーが、次のトークンの候補を「確率が高い上位いくつかだけ」に限定してから選ばせ、極端に外れた語が出るのを抑えたいと考えています。この制御を行う推論パラメータはどれですか。
1 / 1
回答を選択してください
正解B
解説
候補を確率上位 K 個に限定する推論パラメータを選ぶ問題。
- 1「確率が高い上位いくつかだけ」候補を 個数で絞る 制御＝Top-K
- 2「極端に外れた語が出るのを抑えたい」低確率の候補を 候補から外す ＝Top-K を小さく
B正解
Top-K
正解。Top-K は、次のトークンの候補を確率が高い上位 K 個に限定してから、その中で選ばせるパラメータです。K を小さくすると外れた語が出にくくなり、出力の暴走を抑えられます。
C不正解
最大トークン数
最大トークン数は、出力の長さの上限を決めるパラメータです。
候補語を上位 K 個に絞る制御ではないため不正解です。
D不正解
コンテキストウィンドウ
コンテキストウィンドウは、一度に渡せる入力量の上限に関わる要素です。
候補語を上位 K 個に絞る制御ではないため不正解です。
ポイント
正解の『Top-K』が効く仕組みを押さえます。
・Top-K は、確率の高い上位 K 個の候補だけを残してから選ばせる。
・K を小さくするほど候補が絞られ、外れた語が出にくくなる。
・Top-P は『累積確率が一定割合に達するまで』で候補を絞る（個数ではなく確率の合計）。
温度は分布全体の鋭さ、最大トークン数は長さで、いずれも候補の絞り込みとは別です。