QUESTION

ある AI プラクティショナーは、不正取引の検知モデルを評価しています。不正取引は全取引のごく一部で、評価用データでの正解率は非常に高い値でした。 このモデルの評価について、正しく説明しているのは次のうちどれですか。

1 / 1
回答を選択してください
正解A

解説

不均衡データで正解率が高く出る理由と、正解率だけで検知力を判断しない必要性を問う。

  • 1「評価用データでの正解率は非常に高い値でした」陽性がごく一部の不均衡データでは、全件正常の予測でも高く出る値
A正解

不均衡データでは正解率が高く出やすいので、正解率の高さだけで検知力を判断しない。

不正が全取引のごく一部しかないデータでは、不正を 1 件も見つけずに正常と答え続けても正解率は高くなります。正解率の高さだけでは不正を見つけられているかは分からず、実際の不正のうち見つけられた割合 (再現率) などの指標で別に確かめる必要があります。

B不正解

正解率が非常に高いので、このモデルは本番の不正検知に導入してよい。

それは正解率の数字だけで導入を決める誤りです。正解率は全件のうち一致した割合で、不均衡なデータでは見かけの値が高くなるため、不正を検知できているかは示しません。

C不正解

正解率は偽陽性と偽陰性を区別して数えるので、誤検知の多さは正解率から読み取れる。

それは正解率の性質を取り違えた文です。正解率は偽陽性 (陽性と予測したが実際は陰性) と偽陰性 (陰性と予測したが実際は陽性) を分けずに、正しく分類できた件数を全件で割った値なので、誤検知の数は読み取れません。

D不正解

正解率と適合率は分母が同じなので、正解率が高ければ適合率も高くなる。

それは正解率と適合率の分母を取り違えた文です。正解率は全件を分母にし、適合率は陽性と予測したものを分母にするため、正解率が高くても適合率が高いとは限りません。

ポイント

正解率は、陽性 (不正) が少ないデータでは高く出やすく、見逃しを表しません。
・陽性が少ないとき → 再現率・適合率・F1 スコアで確かめる
・陽性と陰性が同じ程度のとき → 正解率も参考になる