Apprentissage profond des réseaux de neurones artificiels de point de vue dynamique : obstacles et perspectives


Alexei Tsygvintsev, ENS Lyon. 11 avril 2019 14:00 geo
Abstract:

Le problème d'apprentissage par renforcement (deep learning) des réseaux de neurones artificiels multicouches a suscité beaucoup d'intérêt ces derniers temps d'un point de vue mathématique et expérimental. La méthode de rétropropagation du gradient (backpropagation), peut être interprétée ici comme la solution numérique d'un système différentiel défini par le champs de gradient d'une fonction analytique réelle. Nous discutons des avantages et inconvénients de cette approche. Ensuite, grâce à l'extension de l'espace des configurations, nous serons amener à étudier un système différentiel nouveau, admettant des intégrales premières simples et une déformation dissipative qui possède un attracteur global. La discrétisation de ce nouveau système sur des exemples, montrent que nous parvenons à une méthode plus efficace pour l'apprentissage de certain types de réseaux, par rapport à la méthode de rétropropagation conventionnelle. A. Tsygvintsev, ``On the overfly algorithm in deep learning of neural networks'', Applied Mathematics and Computation 349 (2019) 348–358