L’étonnant parcours de l’apprentissage profond

En 2019, le « Nobel de l’informatique », le prix Turing, était remis à trois pionniers de l’apprentissage profond, dont le Montréalais Yoshua Bengio. Or cette technologie a connu un parcours en dents-de-scie marqué par plusieurs « hivers » : un premier au milieu des années 1960, un deuxième au milieu de la décennie 1970, puis un troisième au début des années 2000. D’autres événements, plus porteurs, lui ont toutefois permis de devenir cette technologie omniprésente et prometteuse qu’elle est aujourd’hui. Voyons de plus près les moments charnières de cette étonnante trajectoire.

Les moments charnières

1951. Marvin Minsky et Dean Edmonds, deux doctorants en mathématiques construisent à Harvard le simulateur de réseau neuronal, le SNARC (pour stochastic neural analog reinforcement calculator), mettant en application la règle de Hebb, qui stipule que lorsque deux neurones sont activés en même temps leur synapse (contact fonctionnel) est renforcée. Malgré qu’il ait consacré sa thèse à son invention, Minsky n’a pas jugé celle-ci prometteuse.

1957. Le psychologue et ingénieur de projet américain Frank Rosenblatt invente le perceptron, premier algorithme d’apprentissage machine et forme de réseau de neurones artificiels la plus simple. Bien que Rosenblatt décrit sa machine comme étant « la première capable d’avoir une idée originale », dans les faits, le perceptron agit comme un classificateur linéaire et binaire permettant de faire des classements de données. Il s’agit néanmoins du premier modèle pour lequel un processus d’apprentissage peut être défini, une innovation capitale pour le développement de l’apprentissage machine.

Décennies 1970-1980. Kunihiko Fukushima, Yann LeCun, et les Canadiens Geoffrey Hinton et Yoshua Bengio apportent tous leur contribution à la création des réseaux de neurones artificiels numériques à couches multiples. Inspirés du cortex visuel des mammifères, ces réseaux permettent à l’ordinateur d’apprendre des tâches plus complexes. C’est la naissance de l’apprentissage profond. Cette technologie est toutefois délaissée durant plusieurs années, la puissance de calcul et la masse de données étant insuffisantes.

2010. Les étoiles sont alignées pour que l’apprentissage profond reprenne son élan : des processeurs graphiques plus abordables et dotés d’une grande puissance de calcul entrent sur le marché, alors que l’explosion d’Internet permet l’essor des mégadonnées, essentielles pour entraîner les ordinateurs à « apprendre » — puisque pour finir par « reconnaître », par exemple, une image d’arbre, une IA doit être « nourrie » de dizaines de milliers d’images d’arbres. Notons que pour apprendre à exécuter des tâches plus complexes, c’est plutôt de centaines de millions d’images qui sont nécessaires à une IA.

2011-2012. Ces deux années signent un tournant pour l’apprentissage profond, alors que cinq événements décisifs se produisent.

1. Les processeurs graphiques pouvant réaliser plus de mille milliards d’opérations par seconde deviennent disponibles pour moins de 2000 $ la carte. Conçus au départ pour le rendu graphique des jeux vidéo, ils se révèlent hautement performants pour les calculs des réseaux neuronaux.

2. Des expériences menées par Microsoft, Google et IBM, en collaboration avec le laboratoire de Geoffrey Hinton, démontrent que les réseaux profonds permettent de réduire de moitié les taux d’erreurs des systèmes de reconnaissance de la parole.

3. L’IA apprend à « reconnaître » une image de chat parmi 10 millions d’images numériques provenant de YouTube dans le cadre du projet de recherche Google Brain.

4. Google améliore ses outils de reconnaissance de la parole en recourant aux réseaux de neurones artificiels.

5. Des réseaux de neurones convolutifs — inspirés du cortex visuel des mammifères — pulvérisent des records en reconnaissance d’image en réduisant notablement le taux d’erreurs. La victoire de Geoffrey Hinton et son équipe de Toronto à la prestigieuse compétition de reconnaissance d’objets « ImageNet » confirme le potentiel de l’apprentissage profond. Cette victoire, à l’origine du bouillonnement que l’on connaît aujourd’hui autour de l’IA, ouvre la porte à des investissements massifs du secteur privé dans les années suivantes et incite les chercheurs en reconnaissance de la parole et de la vision à se tourner vers l’apprentissage profond.

2010. Le programme AlphaGo de Google DeepMind bat au jeu de go l’un des meilleurs joueurs au monde, le Sud-Coréen Lee Sedol. Le programme informatique remporte une seconde victoire significative au même jeu l’année d’après, contre le Chinois Ke Jie, champion mondial en titre. C’est aussi en 2016 que paraît l’ouvrage phare Deep Learning cosigné par Yoshua Bengio. Cet ouvrage est d’ailleurs, trois ans plus tard, le premier au monde à être traduit par une IA : 12 heures de travail lui ont été nécessaires pour traduire dans la langue de Molière les 800 pages, dont seulement 15 % ont dû être reformulés par l’intelligence humaine…

2019-2020. Les trois pionniers de l’apprentissage profond Yann LeCun, Geoffrey Hinton et Yoshua Bengio reçoivent en 2019 le prix Turing, considéré comme le « Nobel de l’informatique ». Notons que le Montréalais Yoshua Bengio, qui est l’un des trois plus grands experts mondiaux de l’IA, a choisi de poursuivre ses activités de chercheur, de professeur, d’homme d’affaires et de citoyen engagé dans la métropole québécoise. On lui doit en partie le rayonnement et l’attraction de Montréal comme « carrefour en intelligence profonde », la ville comptant aujourd’hui la plus vaste communauté universitaire en IA sur la planète (voir Intelligence artificielle : Montréal, la ville de l’heure).