A不正解
Amazon Bedrock ガードレール
ガードレールは、運用時に有害な入出力をフィルタする機能です。
毒性『を防ぐ』機能であり、モデルの品質を測定・比較する機能ではないため不正解です。
ある企業が、採用する基盤モデルを決める前に客観的な比較を行いたいと考えています。複数の基盤モデルについて、正解率・堅牢性・毒性などの観点で品質を測定し比較できる Amazon Bedrock の機能はどれですか。
モデルの品質を測定・比較する Bedrock 機能を選ぶ問題。
Amazon Bedrock ガードレール
ガードレールは、運用時に有害な入出力をフィルタする機能です。
毒性『を防ぐ』機能であり、モデルの品質を測定・比較する機能ではないため不正解です。
Amazon Bedrock プレイグラウンド
Bedrock プレイグラウンドは、コンソール上でモデルにプロンプトを入力して応答を手軽に試せる機能です。
出力を目視で確認できますが、正解率・堅牢性・毒性などの指標で体系的に測定・比較する機能ではないため不正解です。
Amazon Bedrock のモデル評価
正解。Bedrock モデル評価は、基盤モデルの正解率・堅牢性・毒性などを測定・比較し、用途に最適なモデルを選ぶのに使える機能です。
Amazon Bedrock ナレッジベース
ナレッジベースは、文書を検索して根拠に使う(RAG)機能です。
モデルの品質測定ではないため不正解です。
正解の『Amazon Bedrock モデル評価(Model Evaluation)』を押さえます。
・基盤モデルの正解率・堅牢性・毒性などの観点で品質を測定・比較する機能。
・自動指標や人間による評価を使い、用途に最適なモデルを選ぶ判断材料を得られる。