勾配消失問題
正式名称
Vanishing Gradient Problem
一言でいうと
深いニューラルネットワークで学習の情報が届きにくくなる問題
初心者向け説明
ニューラルネットワークでは、誤差逆伝播法によって出力側から入力側へ学習情報を伝えます。
しかしネットワークが深くなると、
出力側
↓
勾配
↓
どんどん小さくなる
↓
入力側まで十分に届かない
ことがあります。
これが勾配消失問題です。
ポイント
- 深いニューラルネットワークで発生することがある
- 勾配が小さくなる
- 誤差逆伝播法と関係する
関連用語
関連記事
- AI（人工知能）とは？機械学習・ディープラーニング・生成AIまで応用情報向けに理解しよう
🍯 はちみつメモ
勾配消失問題 = 学習情報が途中で小さくなりすぎる問題