В мире машинного обучения одной из ключевых задач является классификация, при которой модель предсказывает, к каким классам может принадлежать данный объект. Кроме того, важно не только определить классовую принадлежность, но и оценить вероятность принадлежности к каждому из классов. Эту возможность предоставляют некоторые алгоритмы классификации.
Алгоритмы, предоставляющие вероятностные предсказания
Логистическая регрессия
Логистическая регрессия используется для прогнозирования вероятности бинарной зависимости, основываясь на одном или нескольких предикторах. Она предоставляет вероятностные оценки, так как результатом является вероятность принадлежности к одному из двух классов.
Метод опорных векторов (SVM)
С расширениями, такими как метод Platt Scaling, SVM может быть адаптирован для предоставления вероятностных оценок, хотя он изначально не выдаёт вероятности.
Деревья решений
Деревья решений могут быть использованы для классификации на основе вероятностных оценок. Нормализуя частоту примеров различных классов в листе, мы можем получить вероятности.
Наивный Байес
Это алгоритм классификации, основанный на применении теоремы Байеса. Он естественно работает с вероятностями, поэтому его предсказания всегда прокомментированы вероятностными оценками.
Модели ансамблей
Ансамблевые методы, такие как случайные леса и бустинг, могут быть использованы для получения вероятностей посредством объединения вероятностей от отдельных моделей.
Как алгоритмы оценивают вероятности?
Алгоритмы используют различные методы для оценки вероятности принадлежности объекта к определённому классу. Рассмотрим некоторые из них подробней:
- Логистическая функция в логистической регрессии: эта функция ограничивает выходные данные между 0 и 1, интерпретируя их как вероятность.
$$P(y=1|x) = \frac{1}{1 + e^{-z}},$$ где (z) есть линейная комбинация входных переменных.
- Методы калибровки: такие как изотоническая регрессия или Platt Scaling адаптируют оценки шансов к вероятностям на основе калибровки с использованием валидационного набора данных.
Преимущества использования вероятностных оценок
Вероятностные предсказания расширяют возможности моделей, предоставляя важную информацию, которая может быть использована для принятия более обоснованных решений. Например, они позволяют настраивать порог классификации, чтобы оптимизировать соотношение между точностью и полнотой, а также учитывать шкалу важности в случае неправильной классификации.
Категория: Машинное обучение
Теги: классификация, вероятностное прогнозирование, алгоритмы