A不正解
k 分割交差検証
交差検証は、データを複数の fold(グループ)に分割し、毎回 1 つを検証用・残りを学習用に交代させながら学習と評価を繰り返して、汎化性能を見積もる評価手法です。
検証する fold は入れ替えますが、これはモデル全体の性能を安定して測るための手法であり、年齢層・性別などの属性ごとの性能差(公平性)を調べる分析ではないため不正解です。
ある企業が、与信モデルの公平性レビューの手順を定めています。モデルの公平性を確認するために、年齢層・性別・地域などの集団ごとに分けて精度や誤り率に差がないかを調べる分析を何と呼びますか。
集団ごとの性能差を調べる分析を選ぶ問題。
k 分割交差検証
交差検証は、データを複数の fold(グループ)に分割し、毎回 1 つを検証用・残りを学習用に交代させながら学習と評価を繰り返して、汎化性能を見積もる評価手法です。
検証する fold は入れ替えますが、これはモデル全体の性能を安定して測るための手法であり、年齢層・性別などの属性ごとの性能差(公平性)を調べる分析ではないため不正解です。
外れ値分析
外れ値分析は、大多数から大きく離れたデータ点を見つける分析です。
個々の異常データの検出であり、属性の集団ごとの精度差を調べる分析ではないため不正解です。
サブグループ分析
正解。サブグループ分析は、集団ごとに分けて精度や誤り率に差がないかを調べる分析です。特定の集団への不公平を検出できます。
相関分析
相関分析は、変数どうしの関係の強さを調べる統計手法です。
変数間の関係の話であり、集団ごとの精度や誤り率の差を比べる分析ではないため不正解です。
正解の『サブグループ分析』を押さえます。
・年齢層・性別・地域などの集団ごとに分けて、精度や誤り率に差がないかを調べる分析。
・全体では良く見えても特定の集団で性能が低い、といった不公平を検出できる(公平性の確認に重要)。