CIRM - HOME (EN)
CIRM - ACCUEIL (FR)
Design of Experiments: New Challenges
Plans d’expériences : nouveaux défis
April 30 – May 4, 2018
Design of Experiments (DoE) constitutes an essential statistical methodology in all circumstances where one has to organise experimentation in order to gain information about an object or phenomenon of interest. Applications are thus very diverse, if not universal, as they may concern situations where experiments are performed to develop a new theory, construct more accurate predictive models, improve the quality of processes and services, etc. For example, experiments are continually carried out to investigate and improve manufacturing processes, understand climate changes, provide better utilisation of large-scale primary care services, evaluate environmental damages, develop more effective drugs for patients. . . More recent fields of application include education testing, cryptology, material sciences or fMRI analysis of brain data. In several domains, the rapidly rising costs in experimentation forces researchers to use more efficient designs that save costs without sacrificing the quality of ensuing statistical inferences. In toxicology, for example, in addition to saving labour, time and material cost, researchers are increasingly under pressure to use the fewest possible animals in laboratory research. At the same time, there is a growing tendency in many industrial sectors to replace real physical experiments by simulations based on sophisticated mathematical models. Such simulated experimentations, which often require heavy and lengthy calculations (with frequent use of HPC) but prove less onerous than their physical counterparts, have motivated the emergence of a new area in DoE: the design of computer experiments.

There have been many exciting new developments in DoE in the last two decades, which we separate into three areas. (i) Concerning physical experiments, researchers have made advances in both theory and applications of optimal designs for mixed effects models, longitudinal models and nonlinear models, including more efficient designs in health care studies and experiments for processes with time or space dynamics.
(ii) The statistical models used in computer experiments are much different: they are often semi-parametric or non-parametric, generally without random observations errors since repeating the same simulation twice gives the same result. New criteria have thus been proposed to quantify properties of designs that necessarily have totally different characteristics from those traditionally used for parametric models with random errors.
(iii) Whereas optimal designs can be constructed analytically for relatively simple regression models or models with a very special structure, this is no longer possible for the models considered in (i) and (ii) above, which has revived interest for the algorithmic aspects of DoE. In addition to that, although the information extracted from data is strongly determined by how
they were collected, a theory of design of experiments for Big Data collection has not been developed so far (iv). The workshop will also aim at stimulating such an investigation discussing current proposals and the particular challenges in this field, with a specific focus on Bayesian experimental design for signal acquisition optimisation (compressive sensing), reproducible and responsible data collection from online social networks and imaging techniques.

The workshop will gather researchers who have been involved in the methodological progress made in the aspects (i-iv) above (DoE for nonlinear and mixed-effects models, computer experiments, algorithmic developments, Big Data collection) with others more directly involved in challenging application sectors (health care, environment, safety and risk management in industry. . . ). It will promote state-of-the-art research in DoE and discuss the future developments of our field. Many world experts will exchange ideas, discuss challenging issues and interact with young researchers in the area: the workshop will have at least a dozen doctoral students and postdoctoral fellows, and organisers will help build collaborations between junior and senior researchers by pairing them based on their common research interest. We are thus targeting something close in spirit to the workshops organised at the INI in Cambridge (see https://www.newton.ac.uk/science/programmes/past) in 2008 and 2011, where several members of the organizing committee had been invited. We plan for several invited talks by senior researchers, short talks by junior researchers and time for sharing of information, identification of open problems and discussion of future directions and challenges. Session organisers will be encouraged to stimulate such discussions.
​
La planication d’expériences (Design of Experiments, DoE), forme une méthodologie statistique essentielle dans chaque situation où l’on doit organiser une expérimentation en vue de la collecte d’information sur un objet ou phénomène d’intérêt. Les applications sont donc très diverses, pour ne pas dire universelles, et peuvent concerner la mise en oeuvre d’expériences pour le développement ou la validation d’une nouvelle théorie, la construction de modèles de prédiction plus précis, l’amélioration de la qualité de produits ou services, etc. Par exemple, des expériences sont régulièrement réalisées an d’améliorer des procédés de fabrication, de mieux comprendre le phénomène de changement climatique, de fournir un meilleur accès aux services de santé d’urgence, d’évaluer l’impact de dommages environnementaux, de développer des médicaments plus efficaces. . . Des applications récentes concernent l’évaluation automatique d’un niveau de connaissance, la cryptologie, la science des matériaux, l’analyse de données d’IRM fonctionnelle. Dans plusieurs domaines, l’inflation rapide des coûts d’expérimentation pousse les chercheurs à utiliser des plans d’expériences (designs) économiquement intéressants et ne dégradant pas la qualité de l’inférence statistique post-expérimentation. En toxicologie par exemple, en sus d’impératifs d’économie en temps et matériel, les chercheurs sont soumis à une pression croissante an d’utiliser de moins en moins d’animaux de laboratoire. Dans un même temps, on observe dans de nombreux secteurs industriels une tendance croissante à remplacer les expériences physiques par des simulations de modèles mathématiques complexes. La mise en oeuvre de telles expériences de simulation, qui nécessitent souvent de lourds calculs numériques (et le recours fréquent au calcul haute performance, HPC) mais sont moins onéreuses que leurs contreparties physiques, a motivé l’émergence d’un nouveau champ d’investigation : la planication d’expériences numériques (design of computer experiments ).

Les vingt dernières années ont connu des développements passionnants en planication d’expériences, notamment dans les trois directions suivantes.
(i) Pour ce qui concerne les expériences physiques, des avancées signicatives ont été réalisées tant sur le versant théorique qu’applicatif : plans optimaux pour modèles à effets mixtes, pour modèles à données longitudinales et modèles non-linéaires, construction d’expérimentations plus efficaces dans le domaine médical (essais cliniques) et construction de plans d’expériences pour processus à dynamique spatio-temporelle. (ii) Les modèles statistiques utilisés pour l’expérimentation numérique sont très différents : ils sont souvent semi-paramétriques, ou non-paramétriques, généralement sans erreur d’observation puisque la répétition de deux simulations pour un même jeu de variables d’entrée conduit au même résultat. De nouveaux critères ont donc été proposés afin de quantifier les propriétés de plans d’expériences dont les caractéristiques sont par force totalement différentes de celles des plans classiques pour modèles paramétriques avec erreurs stochastiques. ( iii) Alors que des plans optimaux peuvent être construits de façon explicite pour certains modèles de régression susamment simples, ou des modèles de structure très particulière, cela n’est pas possible pour les modèles évoqués aux points (i) et (ii), ce qui a ravivé l’intérêt pour les aspect algorithmiques de la construction de plans optimaux.
En complément de tout ceci, bien que l’information que l’on peut extraire d’un ensemble de données dépende fortement de la façon dont celles-ci ont été recueillies, une théorie des plans d’expériences pour données massives est encore à naître (iv).

Ce colloque vise également à stimuler un tel développement, autour des quelques idées déjà proposées et des dés particuliers du domaine, concernant notamment la planification d’expériences optimales dans un cadre bayésien pour l’optimisation d’acquisition de signaux (échantillonnage sparse), ou de données issues de réseaux sociaux ou de techniques d’imagerie.
Ce colloque rassemblera des chercheurs impliqués dans les développements méthodologiques réalisés sur les points (i-iv) ci-dessus (plans d’expériences pour modèles non-linéaires et modèles à effets mixtes, plans d’expériences numériques, développements algorithmiques, données massives) ainsi que d’autres davantage impliqués dans les versants applicatifs (santé, environnement, sûreté et management du risque industriel. . . ). Tout en faisant le point sur l’état de l’art des recherches en planication d’expériences, cette rencontre permettra de discuter des développements à venir dans le domaine.

De nombreux experts internationaux échangeront leurs idées, discuteront des verrous à surmonter et dés à relever avec de jeunes chercheurs du domaine : nous prévoyons la participation d’au moins une douzaine de doctorants ou étudiants post-doctoraux, et les organisateurs vont tâcher de favoriser la mise en place de collaborations entre chercheurs juniors et seniors partageant le même domaine d’intérêt. Nous visons donc une rencontre se déroulant dans le même état d’esprit que les colloques organisés au Newton Institute à Cambridge en 2008 et 2011 (voir https://www.newton.ac.uk/science/programmes/past), auxquels plusieurs membres du comité d’organisation avaient été invités. Nous prévoyons plusieurs exposés invités de la part de seniors, des exposés plus courts pour des juniors, tout en laissant suffisamment de temps pour les échanges, la formulation de problèmes ouverts et les discussions autour des futures directions de recherche. Les organisateurs des diérentes sessions seront encouragés à stimuler de telles discussions.
​