Frontières par distance

Deux classifieurs qui ne cherchent aucune équation : ils mesurent des distances, et la frontière apparaît toute seule là où le verdict bascule. Pendant de Régression par descente de gradient, côté classification.

Le premier panneau montre les k plus proches voisins : aucun apprentissage, le modèle ce sont les données elles-mêmes. Le second résume chaque classe par son point moyen, et la frontière devient forcément une droite.

Ce que la distance ne dit pas

Les deux méthodes reposent entièrement sur une notion de distance, et donc sur l’échelle des axes. Si un axe est en euros (0 à 50 000) et l’autre en années (0 à 40), la distance euclidienne est écrasée par les euros et la seconde variable ne compte quasiment plus — d’où la normalisation systématique. Le curseur d’échelle du premier graphique reproduit exactement ce déséquilibre.

En grande dimension, un second problème s’ajoute : toutes les distances entre points tendent à se ressembler, le « plus proche voisin » n’est plus significativement plus proche que les autres, et la méthode se dégrade. C’est le fléau de la dimension.

La limite propre au centroïde

Le centroïde traite les deux classes comme si elles avaient la même forme. Si A est un nuage très étiré en diagonale et B une boule compacte, la médiatrice coupe au mauvais endroit.

L’extension naturelle est l’analyse discriminante linéaire, qui remplace la distance euclidienne par la distance de Mahalanobis : elle tient compte de la matrice de covariance, ce qui revient à normaliser l’espace avant de mesurer. La frontière reste une droite, mais elle n’est plus forcément perpendiculaire au segment.