不均衡データでは正解率が高く出やすいので、正解率の高さだけで検知力を判断しない。
不正が全取引のごく一部しかないデータでは、不正を 1 件も見つけずに正常と答え続けても正解率は高くなります。正解率の高さだけでは不正を見つけられているかは分からず、実際の不正のうち見つけられた割合 (再現率) などの指標で別に確かめる必要があります。
ある AI プラクティショナーは、不正取引の検知モデルを評価しています。不正取引は全取引のごく一部で、評価用データでの正解率は非常に高い値でした。 このモデルの評価について、正しく説明しているのは次のうちどれですか。
不均衡データで正解率が高く出る理由と、正解率だけで検知力を判断しない必要性を問う。
不均衡データでは正解率が高く出やすいので、正解率の高さだけで検知力を判断しない。
不正が全取引のごく一部しかないデータでは、不正を 1 件も見つけずに正常と答え続けても正解率は高くなります。正解率の高さだけでは不正を見つけられているかは分からず、実際の不正のうち見つけられた割合 (再現率) などの指標で別に確かめる必要があります。
正解率が非常に高いので、このモデルは本番の不正検知に導入してよい。
それは正解率の数字だけで導入を決める誤りです。正解率は全件のうち一致した割合で、不均衡なデータでは見かけの値が高くなるため、不正を検知できているかは示しません。
正解率は偽陽性と偽陰性を区別して数えるので、誤検知の多さは正解率から読み取れる。
それは正解率の性質を取り違えた文です。正解率は偽陽性 (陽性と予測したが実際は陰性) と偽陰性 (陰性と予測したが実際は陽性) を分けずに、正しく分類できた件数を全件で割った値なので、誤検知の数は読み取れません。
正解率と適合率は分母が同じなので、正解率が高ければ適合率も高くなる。
それは正解率と適合率の分母を取り違えた文です。正解率は全件を分母にし、適合率は陽性と予測したものを分母にするため、正解率が高くても適合率が高いとは限りません。
正解率は、陽性 (不正) が少ないデータでは高く出やすく、見逃しを表しません。
・陽性が少ないとき → 再現率・適合率・F1 スコアで確かめる
・陽性と陰性が同じ程度のとき → 正解率も参考になる