Régression par descente de gradient

Une droite ŷ = a·x + b, une erreur à minimiser, et un algorithme qui ne sait faire qu’une chose : regarder la pente du terrain sous ses pieds et faire un pas vers le bas. Pendant de Frontières par distance, côté régression.

Le laboratoire ci-dessous est manipulable. Le premier panneau vous laisse chercher la droite à la main, les carrés d’erreur montrant ce qu’on additionne. Le second confie le travail à l’algorithme et montre, côte à côte, la droite qu’il propose et le relief qu’il descend.

Ce que l’algorithme sait, et ce qu’il ignore

La descente de gradient n’a aucune vue d’ensemble du paysage. À chaque pas elle connaît seulement la pente locale — deux nombres — et fait confiance à la direction opposée. Le paysage complet affiché ici est un luxe pédagogique : en pratique on ne le calcule jamais, il faudrait évaluer le coût en chaque point de l’espace des paramètres, et ils sont des millions dans un réseau de neurones.

Ce qui rend l’ensemble fiable pour la régression linéaire, c’est la forme du coût : J est une fonction convexe de (a, b), une cuvette unique sans minimum local. Où qu’on démarre, avec un pas assez petit, on finit au même fond.

Cette garantie tombe dès que le modèle n’est plus linéaire en ses paramètres. Le paysage se remplit alors de creux, de plateaux et de cols, et le point de départ comme le hasard de l’ordre des données se mettent à compter.

Pour une régression linéaire simple, la descente de gradient est en réalité inutile : on sait résoudre exactement. Elle sert ici de terrain d’essai pour une méthode qui, elle, marche quand aucune formule n’existe.