Optimisation 2

Objectifs

De nombreuses modélisations de problèmes de d'apprentissage machine mènent à des problèmes d'optimisation d'une fonction pénalisée pour promouvoir des caractéristiques telles que la parcimonie, le faible rang d'une matrice. Ce type de problème est typiquement non différentiable mais souvent convexe. Le but du cours est de passer en revue les principales méthodes utilisées en pratique en insistant sur leur convergence, complexité et sur leurs implantations efficaces. Ces méthodes seront mises à l'épreuve dans le cadre de TP sous Julia ou des problèmes de traitement d'images seront considérés. Une autre application concernera la construction d'un système de recommandation en utilisant le logiciel SPARK.

Description

1) Le machine learning dans l'intelligence artificielle

2) Les méthodes au premier ordre dans le cas différentiable: gradient stochastique, mini-batch, ADAM

3) Calcul d'un sous-gradient. Méthodes de sous-gradient et méthodes proximales

4) Modélisation de la parcimonie par relaxation convexe (pratique)

5) Analyse de complexité

6) Développement d'un système de recommandation de film sous-spark

Compétences visées

Connaître les différentes de méthodes du premier ordre pour l'optimisation

Savoir calculer la complexité d'un algorithme d'optimisation

Savoir calculer le sous-différentiel d'un fonction convexe, et le cas échéant un sous-gradient

Savoir utiliser Julia et Jupiter Notebook

Savoir mettre au point un système de recommandation basé sur Spark

Bibliographie

First order methods in optimization, Amir Beck

Convex Optimization: Algorithms and Complexity, Sebastian Bubeck

Pré-requis nécessaires

Algèbre linéaire numérique, méthodes numérique pour l'optimisation non convexe

Session 1 ou session unique - Contrôle des connaissances

Session 2 - Contrôle des connaissances