В чём заключается проблема переобучения нейронных сетей?

Проблема переобучения нейронных сетей заключается в излишне точном соответствии модели конкретному набору обучающих примеров, из-за чего сеть теряет способность к обобщению. intuit.ru

Суть проблемы: модель хорошо объясняет только примеры из обучающей выборки, адаптируясь к ним, вместо того чтобы учиться классифицировать примеры, не участвовавшие в обучении. na-journal.ru

Некоторые причины переобучения:

• слишком долгое обучение; intuit.ru
• недостаточное число обучающих примеров; intuit.ru
• переусложнённая структура нейронной сети. intuit.ru

Признаки переобучения: высокая точность данных обучения, но значительно более низкая точность данных валидации или тестирования, производительность модели улучшается на обучающем наборе, но стагнирует или ухудшается на наборе проверки. www.geeksforgeeks.org

Чтобы избежать переобучения, можно использовать, например, применение тестового множества, где проверка модели происходит на примерах, не вызывающих корректировку весов сети. wiki.loginom.ru Также помогает использование перекрёстной проверки и выбор конфигурации нейронной сети, где количество параметров модели должно быть в 2–3 раза меньше числа примеров обучающего множества. wiki.loginom.ru