В чем основные отличия между L1 и L2 регуляризациями в машинном обучении?

Основные отличия между L1 и L2 регуляризациями в машинном обучении:

1. L1 регуляризация добавляет к функции потерь модели штраф, равный сумме абсолютных значений коэффициентов (весов) модели. habr.com Этот подход направлен на минимизацию не только ошибки прогнозирования, но и сложности самой модели. habr.com L1 регуляризация создаёт разреженные модели, где только небольшое количество признаков имеет ненулевые веса. habr.com
2. L2 регуляризация добавляет к функции потерь штраф, пропорциональный квадрату величины весов модели. habr.com Это заставляет модель не только минимизировать ошибку на обучающих данных, но и сохранять веса как можно меньшими. habr.com В отличие от L1 регуляризации, L2 не склонна обнулять веса. habr.com Вместо этого она уменьшает веса постепенно, делая модель более «гладкой» и менее подверженной влиянию шума в данных. habr.com

Выбор между L1 и L2 регуляризациями зависит от конкретной задачи и методов обучения. python-school.ru