Понятие отступа в метрических алгоритмах
В метрических алгоритмах классификации отступ, или margin, характеризует степень, с которой пример правильно классифицирован. Отступ можно рассматривать как разницу между расстоянием до ближайшего объекта своего класса и расстоянием до ближайшего объекта другого класса. Формально отступ для элемента $x_i$ определяется как:
$$ ext{margin}(x_i) = \min{x_j \in C{k(i)}} d(x_i, x_j) - \min{x_l
otin C{k(i)}} d(x_i, x_l),$$
где $d(x, y)$ — метрика расстояния между объектами $x$ и $y$, $C_{k(i)}$ — класс, которому принадлежит элемент $x_i$.
Отступ позволяет оценить надёжность классификации примеров; чем больше положительный отступ, тем с большей уверенностью пример принадлежит определённому классу. Нулевой или отрицательный отступ указывает на потенциальные ошибки классификации.
Одной из основных задач оптимизации в таких алгоритмах является максимизация отступа, что способствует повышению обобщающей способности модели.
Метрические алгоритмы, такие как метод ближайших соседей (k-NN), используют отступ для определения классовых границ и улучшения качества классификации. Выбор метрики расстояния, например, Евклидово расстояние или манхэттенское, влияет на вычисление отступа и, следовательно, на работу классификатора.
Категория: Математика
Теги: машинное обучение, метрические алгоритмы, классификация