A不正解
モデルの語彙サイズ
語彙サイズは、モデルが扱える一意な語（トークン種類）の数です。
一度に渡せる入力の長さを決めるのはコンテキストウィンドウであり、語彙サイズは入力容量とは別物のため不正解です。
ある調査チームが、数十ページに及ぶ複数の研究論文をまとめて 1 回のリクエストで要約させたいと考えています。文書を分割せず、長い入力を一度に渡せるかどうかを左右する、モデルの最も重要な要素はどれですか。
1 / 1
回答を選択してください
正解C
解説
長い入力を一度に渡せるかを左右するモデルの要素を選ぶ問題。
- 1「複数の研究論文をまとめて 1 回のリクエストで」長い入力が 一度の処理上限 に収まる必要がある
- 2「長い入力を一度に渡せるか」入力量の上限＝コンテキストウィンドウ が決め手
B不正解
温度
温度は出力のランダム性を調整する推論パラメータです。
本問は一度に渡せる入力の長さが論点であり、出力の多様性ではないため不正解です。
C正解
コンテキストウィンドウ
正解。コンテキストウィンドウは、モデルが一度に処理できる入力（＋出力）のトークン量の上限です。複数論文をまとめて 1 回で要約するには、入力がこの上限に収まる必要があり、ウィンドウが大きいモデルほど長文を一括で扱えます。
D不正解
レイテンシー
レイテンシーは応答が返るまでの速さの指標です。
本問は長い入力を一度に渡せるかが論点であり、応答速度ではないため不正解です。
ポイント
正解の『コンテキストウィンドウ』が効く仕組みを押さえます。
・モデルは 一度に処理できる入力＋出力のトークン量に上限 がある。
・入力全体がこの上限に収まらないと一括では扱えない。
・だから長文を 1 回で処理したいならウィンドウの大きいモデルを選ぶ。
よく混同する語彙サイズは『扱える語の種類数』で、入力容量とは別物です。