A正解
生成時に出力のランダム性・長さ・多様性などを制御する
正解。推論パラメータは、モデルの重みを変えずに、生成(推論)時の振る舞いを調整する設定です。出力のランダム性(温度)、候補の絞り方(Top-P/Top-K)、長さ(最大トークン数)などが該当します。
ある研修で、生成 AI の挙動を調整する方法を学んでいます。推論パラメータ(温度・Top-P・最大トークン数など)が生成 AI の応答に対して果たす役割の説明として、最も適切なものはどれですか。
推論パラメータが果たす役割の正確な説明を選ぶ問題。
生成時に出力のランダム性・長さ・多様性などを制御する
正解。推論パラメータは、モデルの重みを変えずに、生成(推論)時の振る舞いを調整する設定です。出力のランダム性(温度)、候補の絞り方(Top-P/Top-K)、長さ(最大トークン数)などが該当します。
モデルの重みを再学習して性能を更新する
モデルの重みを再学習するのはファインチューニングや学習のプロセスです。
推論パラメータは重みを変えずに生成時の振る舞いを調整するもので、再学習ではないため不正解です。
学習用のデータセットを自動的に増やす
学習データを増やすのは、データ拡張や収集といった学習側の作業です。
推論パラメータは生成時の振る舞いの調整であり、データを増やすものではないため不正解です。
モデルのアーキテクチャ(層の構造)を変更する
アーキテクチャの変更は、モデルの設計・開発にあたる作業です。
推論パラメータは構造を変えずに生成時の出力を調整するもので、構造変更ではないため不正解です。
正解の理解は『推論パラメータ=重みを変えずに生成時の出力を制御する設定』。
・温度=ランダム性、Top-P/Top-K=候補の絞り方、最大トークン数=長さ、停止シーケンス=打ち切り。
・いずれも再学習なしで出力の性質を変えられる。
重みの再学習(ファインチューニング)・データ追加・アーキテクチャ変更は学習/設計側の話で、推論パラメータとは別です。