Estimating composite functions by model selection

Abstract

We consider the problem of estimating a function $s$ on $[-1,1]^{k}$ for large values of $k$ by looking for some best approximation of $s$ by composite functions of the form $g\circ u$. Our solution is based on model selection and leads to a very general approach to solve this problem with respect to many different types of functions $g,u$ and statistical frameworks. In particular, we handle the problems of approximating $s$ by additive functions, single and multiple index models, artificial neural networks, mixtures of Gaussian densities (when $s$ is a density) among other examples. We also investigate the situation where $s=g\circ u$ for functions $g$ and $u$ belonging to possibly anisotropic smoothness classes. In this case, our approach leads to a completely adaptive estimator with respect to the regularities of $g$ and $u$.

Cet article traite du problème de l’estimation d’une fonction $s$ définie sur $[-1,1]^{k}$ lorsque $k$ est grand en utilisant des approximations de $s$ par des fonctions composées de la forme $g\circ u$. Notre solution est fondée sur la sélection de modèle et conduit, pour résoudre ce problème, à une approche très générale tant sur les possibilités de choix des fonctions $g$ et $u$ que sur les cadres statistiques d’application. En particulier, et entre autres exemples, nous considérons l’approximation de $s$ par des fonctions additives, des modèles de type “single” ou “multiple index”, des réseaux de neurones, ou des mélanges de densités gaussiennes lorsque $s$ est elle-même une densité. Nous étudions également le cas où $s$ est exactement de la forme $g\circ u$ pour des fonctions $g$ et $u$ appartenant à des classes de régularités qui peuvent être anisotropes. Dans ce cas, notre approche conduit à un estimateur complètement adaptatif par rapport aux régularités de $g$ et $u$.