CONFERENCE
Learning and Optimization in Luminy (LOL 22)
Apprentissage et Optimisation
3 – 7 October 2022
Scientific Committee
Comité scientifique
Francis Bach (INRIA Paris & ENS)
Joan Bruna Estrach (New York University)
Jérôme Malick (CNRS, Université Grenoble-Aples)
Rebecca Willett (University of Chicago)
Organizing Committee
Comité d’organisation
Alexandre d’Aspremont (CNRS, ENS Paris)
Claire Boyer (Sorbonne Université)
Aymeric Dieuleveut (Ecole Polytechnique)
Thomas Moreau (INRIA Saclay)
Soledad Villar (Johns Hopkins University)
Artificial intelligence is now at the heart of society. While the empirical performance of the most recent machine learning techniques, such as deep neural networks, is undeniable, real theoretical questions are emerging and resonating in different mathematical communities. The aim of this conference is to bring together researchers from various specialties such as machine learning, statistical learning, but also optimization, computer science and statistical physics.
Three main themes have been identified:
(i) Stochastic optimization and collaborative learning. Stochastic optimization has become key to cope with the data deluge, and has undeniably deployed the power of neural networks. Stochastic optimization -of neural networks- has raised real theoretical questions, which put non-convex optimization to the test. On the other hand, collaborative learning consists in performing optimization tasks in a decentralized manner. Standard statistical techniques are no longer applicable as such, and must adapt to distributed or heterogeneous databases, with communication constraints between machines.
(ii) High-dimensional statistics. Sparse regressions, matrix completion or dictionary learning are instances of inverse problems, which have recently been challenged by the predictive capabilities of neural networks. This competition opens new avenues of reflection, and the reconstruction optimality of these two types of methods remains to be formalized and studied, especially in terms of stability and robustness.
(iii) Recent developments in machine learning: from theory to practice. If non-smooth or non-convex optimization still has several challenges to meet, it seems to us essential to bring together its best theorists as well as its best practitioners from the statistical and optimization sides.
The most influential and internationally recognized researchers in the different fields mentioned above will be invited to present their most innovative work. Finally, time slots will be specially dedicated to encourage the setting up of working groups.
L’intelligence artificielle est désormais au cœur de la société. Si les performances empiriques des plus récentes techniques d’apprentissage machine, telles que les réseaux de neurones profonds, sont indéniables, de véritables questions théoriques émergent, et résonnent dans différentes communautés mathématiques. Le but de cette conférence est de réunir des chercheurs de spécialités diverses telles que l’apprentissage automatique, l’apprentissage statistique, mais aussi la science de l’optimisation, l’informatique et la physique statistique.
Trois thématiques maîtresses ont été identifiées :
(i) l’optimisation stochastique et l’apprentissage collaboratif. L’optimisation stochastique est devenue clé pour faire face au déluge des données, et a incontestablement déployé la puissance des réseaux de neurones. L’optimisation stochastique -des réseaux de neurones- a soulevé de véritables questions théoriques, qui mettent à l’épreuve l’optimisation non-convexe. D’autre part, l’apprentissage collaboratif consiste en l’accomplissement de tâches, d’optimisation, de manière décentralisée. Les techniques statistiques standard ne sont plus applicables telles quelles, et doivent s’adapter à des bases de données distribuées ou encore hétérogènes, avec des contraintes de communication entre machines.
(ii) la statistique en grande dimension. Les régressions parcimonieuses, la complétion de matrice ou encore l’apprentissage de dictionnaire sont des instances de problèmes inverses, qui ont été récemment défiées par les capacités prédictives des réseaux de neurones. Cette compétition ouvre des axes de réflexion, et l’optimalité des reconstructions de ces deux types de méthodes reste à être formalisée et étudiée, notamment en terme de stabilité et robustesse.
(iii) développements récents en optimisation : de la théorie à la pratique. Si l’optimisation non-lisse ou non-convexe a encore plusieurs défis à relever, il nous paraît primordial de réunir ses meilleurs théoriciens ainsi que ses meilleurs praticiens.
Les chercheurs les plus influents et mondialement reconnus dans les différents domaines sus-mentionnés seront invités à présenter leurs travaux les plus innovants. Cette diffusion scientifique interdisciplinaires pourra également bénéficier les jeunes chercheurs, car doctorants et post-doctorants seront également invités. Enfin, des plages horaires seront spécialement dédiées pour favoriser la mise en place de groupes de travail.
SPEAKERS
Pierre Ablin (Apple Paris) A framework for bilevel optimization that enables stochastic and global variance reduction algorithms
Michael Arbel (INRIA Grenoble Rhone Alpes) Bilevel Optimization in Machine Learning: Beyond Strong Convexity
Francis Bach (Centre Inria de Paris) Sum-of-Squares Relaxations for Information Theory and Variational Inference
Mikhail Belkin (University of California, San Diego) Neural networks, wide and deep, singular kernels and Bayes optimality
Aurélien Bellet (INRIA Lille) Better Privacy Guarantees for Decentralized Optimization
Raphaël Berthier (EPFL, Lausanne) Incremental Learning in Diagonal Linear Networks
Jérôme Bolte (Université Toulouse 1 Capitole) A Glance at Nonsmooth Automatic differentiation
Etienne Boursier (EPFL, Lausanne) Gradient flow dynamics of shallow ReLU networks for square loss and orthogonal inputs
Hugo Cui (EPFL, Lausanne) Error rates for kernel methods under source and capacity conditions
Adeline Fermanian (Mines Paris-PSL) Scaling ResNets in the Large-depth Regime
Gersende Fort (CNRS, Institut de Mathématiques de Toulouse) Stochastic Variable Metric Proximal Gradient with variance reduction for nonconvex composite optimization
Baptiste Goujaud (Ecole Polytechnique, Cachan) PEPit: a computer assistant to study first order optimization
Florentin Goyens (Université Paris Dauphine PSL) Nonlinear matrix completion, denoising and registration
Robert Gower (Flatiron Institute New York) Cutting Some Slack for SGD with Adaptive Polyak Stepsizes
Cristóbal Guzmán (Pontifical Catholic University of Chile) Non-Euclidean Differentially Private Stochastic Convex Optimization
Anders Hansen (University of Cambridge) Generalised hardness of approximation: On the extended Smale’s 9th problem and the maths of “why things don’t work”
Hadrien Hendrikx (EPFL, Lausanne) Beyond spectral gap: The role of the topology in decentralized learning
Mikael Johansson (KTH – Royal Institute of Technology) A Fast and Accurate Splitting Method for Optimal Transport: Analysis and Implementation
Pierre Laforgue (University of Milan) Multitask Online Mirror Descent
Mathurin Massias (INRIA, Ens de Lyon) Iterative regularization for low complexity regularizers
Arthur Mensch (Deepmind) Improving the efficiency of large language model training
Jelani Nelson (UC Berkeley) Private Frequency Estimation via Projective Geometry
Edouard Pauwels (Université de Toulouse 3) Curiosities and counter examples in smooth convex optimization
Vianney Perchet (ENSAE Paris) An algorithmic solution to the Blotto game using multi-marginal couplings
Scott Pesme (EPFL, Lausanne) Implicit Bias of SGD for Diagonal Linear Networks: a Provable Benefit of Stochasticity
Joseph Salmon (Université de Montpellier) Stochastic smoothing of the top-K calibrated hinge loss for deep imbalanced classification
Kevin Scaman (INRIA Paris) Non-convex SGD and Lojasiewicz-type conditions for deep learning
Andrea Simonetto (ENSTA Paris) Personalized Time-Varying Optimization
Gabriele Steidl (TU Berlin) Stochastic Normalizing Flows and the Power of Patches in Inverse Problems
Irène Waldspurger (CNRS, Université Paris-Dauphine) Sketching semidefinite programs for super-resolution problems