A不正解
再学習の日程を決めておけば、データの変化を個別に確かめる作業は省ける。
日程を決めて再学習しても、データの変化を確かめないままでは実際のドリフトを捉えられません。ML Lens は、実際のデータドリフトを考慮せず固定の日程で再学習することをアンチパターンに挙げており (MLPERF06-BP03)、正確な説明ではありません。
QUESTION
ある企業は、本番で稼働するモデルをデータの変化に合わせて更新し続けたいと考えています。 再学習の契機について正確に説明しているのは、次のうちどれですか。(2 つ選択)
1 / 1
複数選択してください
正解B, D
解説
再学習の契機として正しい 2 つを選ばせる。
- 1「本番で稼働するモデルをデータの変化に合わせて更新し続けたいと考えています」再学習の契機 (イベント駆動やスケジュール型など) を選ぶ必要がある
B正解
監視で入力データや予測の品質が閾値を超えたら、再学習を起動する。
監視で入力データや予測の品質を見て、閾値を超えたときに再学習を起動するのがイベント駆動の再学習です。実際のドリフトを起点に判断するため、データの変化に合わせた更新に向きます。
C不正解
再学習で得たモデルは、品質を評価せず、学習が終わったら自動で本番へ置き換える。
再学習で得たモデルは、評価で品質を確かめてから本番へ配るのが MLOps の考え方です。評価を飛ばして学習の直後に置き換えると、性能の落ちたモデルが本番に出るおそれがあるため、誤りです。
D正解
事業が定めた間隔で評価を行い、必要と判断したら再学習を起動する。
時刻を起点に評価を行い、再学習の要否をドリフトの指標で判断するのがスケジュール型の再学習です。固定の日程だけで再学習を回すと、ドリフトを確かめないまま学習し直すことになり、ML Lens のアンチパターン (MLPERF06-BP03) に当たるため、評価を伴わせます。
E不正解
トレーニングデータは再学習のたびに本番の推論結果で置き換え、過去のデータは残さない。
トレーニングデータを過去のものも含めてバージョンごとに残すと、どのデータで作られたモデルかを追跡し、結果を再現できます。過去のデータを消す方法は、MLOps がデータのバージョン管理を求める考え方と逆になるため、正確ではありません。
ポイント
代表的な再学習の契機はイベント駆動 と スケジュール型の 2 つです。
・監視で品質低下を検知したら起動 → イベント駆動
・事業が定めた間隔で評価し、必要なら再学習 → スケジュール型
・固定の日程だけで決め、ドリフトを見ない → アンチパターン