A正解
生成 AI のラベルからサンプルを抽出し、人間の判断と比較して誤りの傾向を確認する。
生成 AI などのモデルが付けたラベルにも誤りが含まれることがあります。使い始める前に一部を抜き出して人の判断と照合すれば、どの区分でどの程度誤るかという傾向と限界が分かります。照合は一部で済むため、費用を抑えたまま品質を確かめられ、その結果を見てから使う範囲や次の対応を決められます。
QUESTION
ある企業は、e コマースサイトの製品レビューを不満の種類ごとに分類するモデルを開発しています。ラベル付けの費用を抑えるため、生成 AI (GenAI) でトレーニングデータのラベルを付ける方法を試し、大量のレビューにラベルを付け終えました。しかし、このラベルがどの程度正しいかは、まだ確認していません。 ラベルをトレーニングに使用する前に品質を把握するには、最初にどのステップを実施すべきですか。
1 / 1
回答を選択してください
正解A
解説
生成 AI が付けたラベルをトレーニングに使用する前に、品質を把握するために最初に行うステップを選ぶ
- 1「ラベル付けの費用を抑えるため」全件を人が付け直すような費用のかかる対応は、目的に反します。
- 2「生成 AI (GenAI) でトレーニングデータのラベルを付ける」モデルが付けたラベルにも誤りが含まれることがあります。
- 3「このラベルがどの程度正しいかは、まだ確認していません」まだ品質を確かめていない段階です。最初は照合で誤りの傾向を知ることから始めます。
B不正解
別の生成 AI にも同じレビューのラベルを付けさせ、一致したラベルだけを使用する。
2 つのモデルのラベルを比べ、一致したものだけを使う手順です。照合で、一致したラベルの誤りが少ないとすでに分かっている場合に有効です。
この企業は、生成 AI のラベルがどの程度正しいかをまだ確かめていません。生成 AI どうしは同じように誤ることがあり、一致したラベルが正しいとは限りません。
C不正解
プロンプトに分類の定義と例を追加し、生成 AI にすべてのレビューのラベルを付け直させる。
ラベル付けの指示に定義と例を加えて全件を付け直させる手順は、照合で区分の定義の取り違えによる誤りが多いと分かった場合に有効です。
この段階では、どこでどのように誤っているかをまだ確かめていません。原因が分からないまま付け直しても改善するかは判断できず、付け直したラベルの品質も分かりません。
D不正解
生成 AI のラベルをすべて破棄し、外部の作業者に全件のラベル付けを依頼する。
外部の作業者に全件のラベル付けを依頼する方法は、照合で生成 AI のラベルの誤りが多い、または誤りの影響が大きいと分かった場合の対応です。
この企業は、まだラベルの品質を確かめていません。確かめる前に全件を破棄して依頼し直すのは極端な対応で、ラベル付けの費用を抑えるという目的にも反します。
ポイント
生成 AI に学習用のラベルを付けさせたら、使う前にまず一部を人の判断と照合します。
・照合で誤りが少なく、影響も小さい → 分かった限界 (誤りやすい区分など) を記録したうえで使います。
・誤りが多い・誤りの影響が大きい → 人によるラベル付けと、その品質管理に切り替えます。
照合せずに学習へ進み、評価用のラベルも同じ生成 AI で付けていると、評価でも同じ誤りが正解として扱われます。そのため、評価の段階では問題に気付けません。