Какие существуют подходы к оценке качества работы классификатора?

Некоторые подходы к оценке качества работы классификатора:

• Правильность. nuancesprog.ru Это количество правильных предсказаний, разделённое на общее количество предсказаний. nuancesprog.ru Оценка правильности даёт значение от 0 до 1, где 1 — идеальная модель. nuancesprog.ru Этот показатель редко используют отдельно, поскольку на материале несбалансированных данных, где один класс значительно превосходит другой, правильность может быть обманчивой. nuancesprog.ru
• Матрица ошибок. nuancesprog.ru Это инструмент, который позволяет определить, в чём модель ошибается. nuancesprog.ru Матрица сравнивает количество правильных и неправильных предсказаний для каждого класса. nuancesprog.ru
• Точность. nuancesprog.ru Позволяет выяснить, насколько хороша модель в правильном определении положительного класса. nuancesprog.ru Другими словами, точность показывает, сколько из всех предсказаний для положительного класса были верны. nuancesprog.ru
• Отклик модели. nuancesprog.ru Эта метрика показывает, насколько хорошо модель правильно предсказывает все положительные образцы в наборе данных. nuancesprog.ru Отклик модели не включает информацию о ложных срабатываниях. nuancesprog.ru
• Каппа. nuancesprog.ru Каппа-статистика сравнивает наблюдаемую правильность с ожидаемой правильностью или правильностью, ожидаемой от вероятностного случая. nuancesprog.ru Каппа даёт представление о том, как работает модель по сравнению с моделью, которая рандомно классифицирует наблюдаемые образцы в соответствии с частотой встречаемости каждого класса. nuancesprog.ru
• Специфичность и чувствительность. vestnik.adygnet.ru Для оценки эффективности классификатора по разным классам используют эти метрики. vestnik.adygnet.ru Специфичность — это процент примеров негативного класса, которые были корректно распознаны, а чувствительность — часть корректно классифицированных позитивных примеров. vestnik.adygnet.ru
• Кросс-валидация. swsys.ru Это объективный способ оценки качества классификатора. swsys.ru Суть его в том, что всё множество разбивается на k частей, каждая из них по очереди выступает как тестовая. swsys.ru