Organizing Committee
Comité d’organisation
Rémi Gribonval (ENS Lyon)
Benjamin Guedj (INRIA & University College London)
IMPORTANT WARNING: Scam / Phishing / SMiShing ! Note that ill-intentioned people may be trying to contact some of participants by email or phone to get money and personal details, by pretending to be part of the staff of our conference center (CIRM). CIRM and the organizers will NEVER contact you by phone on this issue and will NEVER ask you to pay for accommodation/ board / possible registration fee in advance. Any due payment will be taken onsite at CIRM during your stay.
Deep learning is becoming a prominent tool to address a wide range of problems and tasks in many areas of scientific computing, much beyond its initial emergence in computer vision (CV) and natural language processing (NLP). Its ability to solve complex problems with remarkable accuracy has made it the cornerstone of modern AI research and applications. Yet, while most research effort has focused on enhancing performance, this has also lead to a substantial increase of the size and resource requirements of deep learning models. The major challenge of the SHARP project of the PEPR IA (2023-2028) is to achieve a leap forward in frugality by designing, analyzing and deploying intrinsically efficient models (neural or not) able to achieve the versatility and performance of the best models while requiring only a vanishing fraction of the resources currently needed.
This workshop, which is intended to be held annually, will primarily gather members of the SHARP project (researchers, students, postdocs) to present advances, stimulate collaborations, and generate new research ideas. Its overall objective is to lead to the design of a principled theoretical and algorithmic framework to leverage prior knowledge and the modern avatars of the notion of sparsity of predictors and/or algorithms, and to establish a new paradigm of computational representation learning bypassing the current mathematical and computing bottlenecks.
Besides a few tutorial presentations on selected topics, the workshop will rely on a few agile working groups. Each group will work on new ideas at the interface of the expertise of the involved research groups, that range from the mathematical and computational foundations of machine learning to state of the art CV and NLP. We notably plan to cover mathematical topics spanning statistics, largescale optimization, approximation theory, complexity theory, and information theory. The most pressing problems from CV and NLP will serve as a guideline in identifying the main bottlenecks to achieve frugal, efficient and sustainable deep learning models.
L’apprentissage profond devient un outil de premier plan pour traiter une large gamme de problèmes et de tâches dans de nombreux domaines du calcul scientifique, bien au-delà de la la vision artificielle (computer vision, CV) et du traitement automatique du langage naturel (natural language processing, NLP) où il s’est d’abord développé. Sa capacité à résoudre des problèmes complexes avec une précision remarquable en a fait la pierre angulaire de la recherche en IA et de ses applications modernes. Cependant, la plupart des efforts de recherche s’étant concentrés sur l’amélioration des performances, ils ont également conduit à une augmentation substantielle de la taille et des besoins en ressources des modèles d’apprentissage profond. Le défi majeur du projet SHARP du PEPR IA (2023-2028) est de réaliser un bond en avant en frugalité en concevant, analysant et déployant des modèles intrinsèquement efficaces (neuronaux ou non) capables d’atteindre la polyvalence et la performance des meilleurs modèles tout en ne nécessitant qu’une fraction des ressources actuellement nécessaires.
Cet atelier, qui a vocation à se tenir annuellement, réunira principalement les membres du projet SHARP (chercheurs, étudiants, post-doctorants) pour présenter les avancées, stimuler les collaborations et générer de nouvelles idées de recherche. Son objectif global est de conduire à la conception d’un cadre théorique et algorithmique fondé sur des principes solides pour exploiter à la fois des connaissances a priori et les avatars modernes de la notion de parcimonie des prédicteurs et/ou des algorithmes. Il s’agit d’établir un nouveau paradigme computationnel pour l’apprentissage de représentations en contournant les goulets d’étranglement actuels qu’ils soient en termes de compréhension mathématiques ou d’efficacité des calculs.
En complément de présentations de synthèse sur des sujets choisis, l’atelier sera organisé en plusieurs petits groupes de travail évolutifs. Chaque groupe s’attellera à faire émerger de nouvelles idées à l’interface de l’expertise des groupes de recherche impliqués – qui vont des fondements mathématiques et informatiques de l’apprentissage automatique à l’état de l’art en matière de CV et de NLP. Nous prévoyons notamment de nous intéresser à des sujets mathématiques couvrant les statistiques, l’optimisation à grande échelle, la théorie de l’approximation, la théorie de la complexité et la théorie de l’information. Les problèmes les plus pressants issus de CV et NLP serviront de fils rouges pour identifier les principaux goulets d’étranglement afin d’obtenir des modèles d’apprentissage profond frugaux, efficaces et durables.
SPEAKERS
to be announced
SPONSOR
SHARP -Ttheoretical and Algorithmic Principles for frugal ML
A research Project funded by the French PEPR in Artificial Intelligence