A不正解
リアルタイム推論
リアルタイム推論は、低レイテンシで同期的に即時応答する方式で、処理時間は短時間（数十秒程度まで）が前提です。チャットボットの即時応答などが代表例です。
処理に数分かかる大きな入力には向かないため不正解です。
ある企業が、1 件あたり数百 MB の大きな入力（高解像度の動画など）を推論させたいと考えています。処理に数分かかってもよく、即座の同期応答は必要ありません。リクエストはキューに入れて順次処理する想定です。最も適した推論方式はどれですか。
1 / 1
回答を選択してください
正解B
解説
大入力で即時応答不要な推論方式を選ぶ問題。
- 1「数百 MB の大きな入力」大きなペイロード を扱える方式が要る
- 2「即座の同期応答は必要ありません」キューで処理し後から取得＝非同期推論
B正解
非同期推論
正解。非同期推論は、大きなペイロードをキューに入れて処理し、結果を後から受け取る方式です。処理に時間がかかってもよく、即時の同期応答が不要な大入力の推論に適しています。長尺音声の文字起こしなどが代表例です。
C不正解
サーバーレス推論
サーバーレス推論は、断続的なトラフィックにコスト効率よく対応する方式ですが、大きなペイロードや長い処理時間を前提とした方式ではありません。不定期に届く問い合わせ処理などが代表例です。
数分かかる大入力には非同期推論の方が適するため不正解です。
D不正解
エッジ推論
エッジ推論は、端末やエッジデバイス上でモデルを動かす方式で、オフラインや低遅延の現場処理に使われます。工場ラインのカメラ検査などが代表例です。
大きな入力をキューで処理する本問の要件とは異なるため不正解です。
ポイント
正解の『非同期推論』の特徴を押さえます。
・大きなペイロードをキューに入れて処理し、結果を後から受け取る。
・処理に時間がかかってよく、即時の同期応答が不要な大入力に向く。
リアルタイム推論（短時間・同期）では扱いにくい大きさ・処理時間に対応します。サーバーレス推論（断続トラフィック）・エッジ推論（端末側）とは用途が別です。