A正解
モデルの複雑さに罰則を与える正則化を強める
正解。正則化は、モデルの複雑さ(重みの大きさ)に罰則を与える手法です。重みが大きいほどモデルは学習データの細かな違いまで無理に合わせようとし、過剰適合が起きます。罰則を加えると、学習はその罰則も小さくしようとして重みをできるだけ小さく保つため、学習データの細部に振り回されにくくなります。結果として未知データへの汎化性能が改善します。
ある ML チームが、過学習を起こしたモデルの改善策をレビューしています。学習の進め方やデータの扱いを見直すにあたり、オーバーフィッティングを軽減する対策として有効なものを 2 つ選んでください。
オーバーフィッティングの軽減策を 2 つ選ぶ問題。
モデルの複雑さに罰則を与える正則化を強める
正解。正則化は、モデルの複雑さ(重みの大きさ)に罰則を与える手法です。重みが大きいほどモデルは学習データの細かな違いまで無理に合わせようとし、過剰適合が起きます。罰則を加えると、学習はその罰則も小さくしようとして重みをできるだけ小さく保つため、学習データの細部に振り回されにくくなります。結果として未知データへの汎化性能が改善します。
データ拡張も含めて学習データを増やす
正解。学習データを増やすと、モデルが特定のサンプルの細部に過剰適合しにくくなり、汎化性能が改善します。データ拡張で水増しするのも有効です。
より複雑で大きなモデルに切り替える
モデルを複雑にすると表現力は上がりますが、学習データへの過剰適合はさらに進みます。
過学習の軽減とは逆方向の変更のため不正解です。
学習データを意図的に減らす
学習データを減らすと、過剰適合しやすくなり過学習が悪化します。
軽減策とは逆のため不正解です。
エポック数を大幅に増やして学習を続ける
学習を長く続けるほど、学習データへの過剰適合が進みます。
検証精度を見ながらむしろ早期終了を検討すべき場面であり、不正解です。
オーバーフィッティングの軽減策には『正則化を強める(モデルの複雑さに罰則を与える)』『学習データを増やす(データ拡張を含む)』が有効です(ほかに早期終了・ドロップアウト・特徴量削減など)。一方『複雑さを増やし続ける』『データを減らす』は過学習を悪化させます。