ある ML チームが、判定しきい値をまだ決めていない段階でモデル同士を比較したいと考えています。二値分類で、しきい値に依存せずに識別性能を 1 つの値で表す、ROC 曲線の下の面積を表す指標を何と呼びますか。
しきい値非依存の二値分類の性能指標を選ぶ問題。
AUC
正解。ROC 曲線は、判定しきい値を動かしながら真陽性率（縦軸）と偽陽性率（横軸）の変化を描いた曲線です。真陽性率（TPR）は、実際に陽性のデータのうち正しく陽性と判定できた割合、偽陽性率（FPR）は、実際は陰性なのに誤って陽性と判定してしまった割合です。AUC（Area Under the Curve）はその ROC 曲線の下の面積で、判定のしきい値に依存せずにモデルの識別性能を 1 つの値で表します。1.0 に近いほど高性能、0.5 はランダムな分類と同等を意味し、しきい値を決める前のモデル同士の比較に使えます。
F1 スコア
F1 スコアは、適合率と再現率の調和平均で、特定のしきい値での予測結果から計算します。
しきい値に依存する指標のため、本問の条件に合わず不正解です（しきい値とは何か・AUC との関係はポイントを参照）。
正解率（accuracy）
正解率も、しきい値を決めた後の予測結果から計算する指標です。
しきい値に依存するため、本問の条件に合わず不正解です（しきい値とは何か・AUC との関係はポイントを参照）。
再現率（recall）
再現率も、しきい値で決まる予測結果から計算する指標です。
しきい値に依存するため不正解です（しきい値とは何か・AUC との関係はポイントを参照）。
まず『しきい値』とは、モデルが出す確率スコアを陽性／陰性に分ける判定の境界です（例: スコア 0.5 以上を陽性とする）。
例えば病気のスクリーニング検査で、モデルが患者ごとに『病気である確率スコア』を出すとします。しきい値を 0.3 に下げる と、少しでも疑わしい人を広く陽性にするので見逃し（病気の人を陰性と判定）は減りますが、健康な人を誤って陽性にする誤検知が増えます（真陽性率↑だが偽陽性率も↑）。逆に 0.8 に上げる と、確信の高い人だけ陽性にするので誤検知は減りますが、見逃しが増えます。このように、しきい値を動かすと真陽性率と偽陽性率はトレードオフで変化します。
・ROC 曲線: しきい値を 0〜1 まで動かしたときの、真陽性率（縦軸）と偽陽性率（横軸）の軌跡。
・AUC（ROC 曲線下面積）: その曲線の下の面積。しきい値に依存せず識別性能を 1 つの値で表し、1 に近いほど高性能・0.5 はランダムと同等。
・分析と決め方: まず AUC でモデル自体の良さを比較し、運用では ROC 曲線上で目的（偽陽性を抑えたい等）に合うしきい値を選ぶ。F1・正解率・再現率は特定のしきい値ありきの指標で、決める前の比較には向きません。