A不正解
モデルサイズ
モデルサイズ（パラメータ数）は精度や必要リソースの目安です。一般に大きいほど高精度ですが応答は遅くなりがちで、即応性とはむしろ逆方向に働くことがあります。
本問の決定条件は応答の速さであり、サイズそのものではないため不正解です。
あるカスタマーサポートのチャット画面に生成 AI を組み込みます。利用者を待たせないよう、入力するとすぐに応答が返り始めることが重要です。モデル選定で最も重視すべき基準はどれですか。
1 / 1
回答を選択してください
正解D
解説
即応性が重要なチャットで重視すべきモデルの選択基準を選ぶ問題。
- 1「利用者を待たせないよう」即応性（リアルタイム性） が体験の決め手になる
- 2「すぐに応答が返り始める」応答が返るまでの速さ＝低レイテンシー を最優先する
B不正解
多言語対応
多言語対応は扱える言語の幅を表す基準で、複数言語のユーザーに同一モデルで対応したいときに重視します。
本問の論点は応答の速さであり、言語数ではないため不正解です。
C不正解
カスタマイズ性
カスタマイズ性は、ファインチューニングなどで自社向けに調整しやすいかを表す基準で、独自の挙動や文体を作り込みたいときに重視します。
本問は応答の速さが論点であり、調整のしやすさではないため不正解です。
D正解
レイテンシー
正解。レイテンシーはリクエストから応答が返るまでの速さを表す基準です。チャットのように即応性が求められる場面では、レイテンシーの小さいモデルを選ぶことが体験に直結します。
ポイント
正解の『レイテンシー重視』が効く仕組みを押さえます。
・チャットの体感速度は最初のトークンが返るまでの時間（レイテンシー）で決まる。
・モデルが大きいほど生成は重くなり、応答が遅れて体験が損なわれやすい。
・だから即応要件では低レイテンシーのモデルを優先する（精度↔速度はトレードオフ）。
『すぐ応答・リアルタイム・待たせない』が出たらレイテンシーです。