A不正解
基盤モデルが改定前の規程を含むデータでトレーニングされており、その知識で回答している。
基盤モデル (FM) は、トレーニングに使用したデータから一般的な知識を身に付けています。社内の情報を何も渡さずに質問すれば、その知識だけで回答します。
しかしこのアシスタントは、取り込んだ規程の文書を検索し、取り出した内容を根拠に回答する仕組みです。社内の規程の金額は、検索で取り出した文書から来ています。改定前の金額が返り続けるのは、検索対象の文書が改定前のままだからです。
QUESTION
ある企業は、社内規程に関する従業員の質問に回答する生成 AI (GenAI) アシスタントを運用しています。このアシスタントは、事前に取り込んだ規程の文書を検索し、取得した内容に基づいて回答を生成します。同社は出張旅費の規程を改定し、改定後の文書を社内ポータルに掲載しました。しかし、アシスタントは出張旅費に関する質問に改定前の金額で回答し続けており、他の規程に関する回答には問題がありません。 アシスタントが改定前の金額で回答し続けている原因として、最も可能性が高いものはどれですか。
1 / 1
回答を選択してください
正解B
解説
社内規程のアシスタントが改定前の内容で回答し続ける原因を特定する
- 1「事前に取り込んだ規程の文書を検索し、取得した内容に基づいて」回答の根拠は取り込んだ時点の文書です。回答の正確さは検索対象のデータの鮮度に左右されます。
- 2「改定後の文書を社内ポータルに掲載しました」ポータルに掲載しただけでは、検索対象のデータには反映されません。
- 3「他の規程に関する回答には問題がありません」アシスタント全体の仕組みや処理できる量の問題ではなく、改定した文書だけに起きている問題です。
B正解
検索対象のデータが更新されておらず、改定前の規程の文書を取得して回答している。
このアシスタントは、検索して取り出した文書を根拠に回答します。改定後の文書をポータルに掲載しても、検索の対象となるデータが更新・同期されていなければ、取り出されるのは改定前の内容のままです。改定前の金額で答え続けているのはこのためです。対処は、検索対象のデータを改定後の文書で更新し、文書を追加・変更・削除するたびに同期する運用を決めることです。
C不正解
質問の表現が規程の文書と異なり、検索で出張旅費の規程の該当箇所を取得できていない。
質問と文書の表現が違うと、検索で目的の箇所を取り出せないことがあります。その場合、アシスタントは根拠が見つからないと答えたり、関係のない内容で答えたりします。
この企業のアシスタントは、出張旅費の質問に改定前の具体的な金額で答えています。出張旅費の規程の箇所は取り出せており、取り出した内容が改定前のままだと考えるのが自然です。
D不正解
取り込んだ文書の量がコンテキストウィンドウを超え、一部の内容が回答に使用されていない。
モデルが一度に処理できる量 (コンテキストウィンドウ) を超えると、超えた部分は回答に反映されません。長い文書をまとめて渡している場合には、まず疑うべき点です。
このアシスタントは、文書を検索して関連する箇所だけを回答に使う仕組みです。また、ほかの規程に関する回答には問題がなく、起きているのは改定した出張旅費の規程だけです。処理できる量の上限では、この現れ方を説明できません。
ポイント
文書を検索して回答する生成 AI では、検索対象のデータの鮮度が回答の正確さを左右します。
・改定前・古い内容で回答する → 検索対象を更新し、文書の追加・変更・削除のたびに同期します。
・内容は最新だが、文体・形式が業務に合わない → プロンプトの工夫を試し、それでも要件を満たせなければファインチューニングを検討します。
根拠のデータが古いままでは、モデルを調整しても、変わった値だけをプロンプトに書き足しても、ほかの箇所や次の改定で同じ問題が起きます。