ある開発チームが、Amazon Bedrock のオンデマンド利用のコストを見積もっています。料金表には入力と出力の量に応じた単価が記載されており、モデルが一度に受け付けられる入力量の上限(コンテキストウィンドウ)も同じ単位で表されています。この単位に当たる用語はどれですか。

1 / 1
回答を選択してください
正解B

解説

LLM の課金と入力上限を数える単位を選ぶ問題。

  • 1入力と出力の量に応じた単価オンデマンド課金は トークン数 が基準
  • 2同じ単位で表されていますコンテキストウィンドウの上限も トークン で数える
A不正解

埋め込み

埋め込みは、トークンや文の意味を数値ベクトルに変換した表現です。

意味検索や類似度比較に使うもので、入出力の量や料金を数える単位ではないため不正解です。

B正解

トークン

正解。LLM は入力テキストをトークンと呼ばれる最小単位(単語や部分文字列など)に分割して処理します。Bedrock のオンデマンド料金は入力・出力のトークン数で課金され、コンテキストウィンドウの上限もトークン数で表されます。

C不正解

パラメータ

パラメータは、モデルが学習で獲得した内部の重みの数で、モデルの規模を表す指標です。入力から出力を計算する際にニューロン同士の結合の強さ(重み)として使われ、学習を通じて少しずつ調整されることで、文章の生成や予測の精度が決まります。一般にパラメータ数が多いほど表現力は高くなりますが、その分メモリや計算コストも増えます(例: 「70 億パラメータのモデル」のように規模を示す)。

『数を表す用語』なので課金単位と混同しやすいのですが、数えているのはモデル側の重みであり、入出力の量や料金の単位ではないため不正解です。

D不正解

エポック

エポックは、学習時にデータセット全体を何回繰り返して学習したかを表すトレーニングの回数です。

学習時の指標であり、推論時の入出力量や課金の単位ではないため不正解です。

ポイント

生成 AI の基本用語は『何を数えているか』で区別します。
トークン: テキストの最小処理単位。入出力量・料金・コンテキストウィンドウの基準。
パラメータ: モデル内部の重みの数(モデル規模)。
埋め込み: 意味のベクトル表現。
エポック: 学習の反復回数。
『課金・入力上限の単位』と来たらトークンです。