В чем преимущества и недостатки метода Xavier при инициализации весов в нейронных сетях?

Преимущества метода Xavier при инициализации весов в нейронных сетях:

• Предотвращение проблем с затуханием или взрывом градиентов. kartaslov.ru Инициализация Xavier позволяет обучать глубокие полносвязные сети с десятками слоёв без катастрофических ошибок. vc.ru
• Обеспечение плавного хода обучения. blogs.novita.ai Это ускоряет обучение и повышает точность. blogs.novita.ai
• Оптимальность для симметричных активаций и неглубоких сетей. vc.ru Метод подходит, например, в автоэнкодерах, рекуррентных архитектурах и классических multilayer perceptrons. vc.ru

Недостатки метода Xavier:

• Неэффективность при использовании функции активации ReLU. vc.ru www.mql5.com Это связано с тем, что ReLU отбрасывает все отрицательные значения, в результате половина нейронов становится неактивной, и среднее значение выходов перестаёт быть нулевым, нарушая баланс дисперсии. vc.ru
• Неподходящий подход для сетей с ReLU. vc.ru Если применить Xavier к сети с ReLU, то часть сигналов будет теряться, и обучение станет неустойчивым. vc.ru