Optimisation 2

De nombreuses modélisations de problèmes de d'apprentissage machine mènent à des problèmes d'optimisation d'une fonction pénalisée pour promouvoir des caractéristiques telles que la parcimonie, le faible rang d'une matrice. Ce type de problème est typiquement non différentiable mais souvent convexe. Le but du cours est de passer en revue les principales méthodes utilisées en pratique en insistant sur leur convergence, complexité et sur leurs implantations efficaces. Ces méthodes seront mises à l'épreuve dans le cadre de TP sous Julia ou des problèmes de traitement d'images seront considérés. Une autre application concernera la construction d'un système de recommandation en utilisant le logiciel SPARK.

1) Le machine learning dans l'intelligence artificielle

2) Les méthodes au premier ordre dans le cas différentiable: gradient stochastique, mini-batch, ADAM

3) Calcul d'un sous-gradient. Méthodes de sous-gradient et méthodes proximales

4) Modélisation de la parcimonie par relaxation convexe (pratique)

5) Analyse de complexité

6) Développement d'un système de recommandation de film sous-spark

Algèbre linéaire numérique, méthodes numérique pour l'optimisation non convexe