ファインチューニング: ラベル付きの入力と出力の例を使い、FM のパラメーターを調整して特定のタスクの性能を高める。
ファインチューニングは、ラベル付きの入力と出力の例で FM のパラメーターを調整し、特定のタスクの性能や文体を高める手法です。
しかし、このチャットボットは FM のパラメーターを固定のまま使っているので、この仕組みではありません。
ある企業の社内ヘルプデスクのチャットボットは、利用者が質問するたびに社内規程の文書群から関連する箇所を探し出し、その内容を質問に付け足して基盤モデル (FM) に渡して回答を作らせています。FM のパラメーターは固定のままです。 このチャットボットが回答の精度を高めるために使っている仕組みはどれですか。
質問のたびに文書を検索してプロンプトに付け足す仕組みが何に当たるかを選ぶ
ファインチューニング: ラベル付きの入力と出力の例を使い、FM のパラメーターを調整して特定のタスクの性能を高める。
ファインチューニングは、ラベル付きの入力と出力の例で FM のパラメーターを調整し、特定のタスクの性能や文体を高める手法です。
しかし、このチャットボットは FM のパラメーターを固定のまま使っているので、この仕組みではありません。
継続事前学習: ラベルのないテキストで FM の事前学習を続け、特定の領域の言葉への理解を深める。
継続事前学習は、ラベルのない新しいテキストのデータでモデルをさらに学習させ、特定の領域の言葉への適応を高める手法です。
しかし、このチャットボットは FM のパラメーターを固定のまま使っているので、この仕組みではありません。
RAG: 回答を生成する前に、FM の学習データの外にある知識源を参照させて出力を最適化する。
RAG は、回答を生成する前に、FM の学習データの外にある知識源を参照させて出力を最適化する手法です。
このチャットボットは、質問のたびに社内規程の文書群から関連する箇所を検索して取得し、質問に付け足して FM に渡しています。FM のパラメーターは変わりません。
フューショット: 期待する入力と出力の例を数件プロンプトに含め、出力の形式や書き方を FM に示す。
プロンプトに例を含めるフューショットは、出力の形式や書き方を FM に示す、プロンプトエンジニアリングの手法です。
例は書いたまま渡すもので、質問のたびに文書群から関連する箇所を探し出す動作はないので、この場面の仕組みではありません。
FM を自社の業務に合わせる方法は、何を変えるかで見分けます。
・外部の知識源を検索してプロンプトに加える → RAG (FM は更新しない)
・ラベル付きの例でパラメーターを調整する → ファインチューニング
・ラベルなしのテキストで追加の学習を続ける → 継続事前学習
・プロンプトに例を含めて出力の形式を示す → フューショット
「質問のたびに探し出して付け足す」「FM は固定のまま」という場面は RAG を示します。