Penalized maximum likelihood estimation and effective dimension

Abstract

This paper extends some prominent statistical results including Fisher Theorem and Wilks phenomenon to the penalized maximum likelihood estimation with a quadratic penalization. It appears that sharp expansions for the penalized MLE $\widetilde{\boldsymbol{\theta}}_{G}$ and for the penalized maximum likelihood can be obtained without involving any asymptotic arguments, the results only rely on smoothness and regularity properties of the of the considered log-likelihood function. The error of estimation is specified in terms of the effective dimension $\mathtt{p}_{G}$ of the parameter set which can be much smaller than the true parameter dimension and even allows an infinite dimensional functional parameter. In the i.i.d. case, the Fisher expansion for the penalized MLE can be established under the constraint “$\mathtt{p}_{G}^{2}/n$ is small” while the remainder in the Wilks result is of order $\sqrt{\mathtt{p}_{G}^{3}/n}$.

Cet article généralise certains résultats statistiques importants dont le Théorème de Fisher et le phénomène de Wilks à l’estimation du maximum de vraisemblance pénalisée de façon quadratique. Il apparaît que des développements précis pour l’EMV pénalisée $\widetilde{\boldsymbol{\theta}}_{G}$ et le maximum de vraisemblance pénalisé peuvent être obtenus sans arguments asymptotiques, les résultats reposent alors seulement sur la régularité et les propriétés de la fonction de log-vraisemblance. L’erreur d’estimation est spécifiée en fonction de la dimension effective $\mathtt{p}_{G}$ de l’ensemble des paramètres qui peut être beaucoup plus petite que la véritable dimension et permet ainsi de considérer un cas infini dimensionnel. Dans le cas i.i.d., le développement de Fisher pour l’EMV pénalisée peut être établi sous la contrainte « $\mathtt{p}_{G}^{2}/n$ est petit » tandis que le reste dans le résultat de Wilks est d’ordre $\sqrt{\mathtt{p}_{G}^{3}/n}$.