Robust subgaussian estimation with VC-dimension

Abstract

Median-of-means (MOM) based procedures provide non-asymptotic and strong deviation bounds even when data are heavy tailed and/or corrupted. This work proposes a new general and systematic way to bound the excess risk for MOM estimators. The core technique is the use of the VC-dimension (instead of Rademacher complexity) to measure the statistical complexity. In particular, this allows one to give the first robust estimators for sparse estimation which achieves the so-called subgaussian rate, only assuming a finite second moment for the uncorrupted data.

By comparison, previous works using Rademacher complexities required a number of finite moments that grows logarithmically with the dimension. With this technique, we derive new robust subgaussian bounds for mean estimation in any norm.

Les procédures basées sur la médiane des moyennes (MOM) fournissent des bornes non asymptotiques et fortes, même lorsque les données ont des queues de distribution lourdes et/ou sont corrompues. Ce travail propose une nouvelle méthode générale et systématique pour limiter le risque des estimateurs MOM. La technique de base est l’utilisation de la dimension VC (au lieu de la complexité de Rademacher) pour mesurer la complexité statistique. Cela permet en particulier de trouver des estimateurs robustes pour l’estimation sparse qui atteignent le taux dit sous-gaussien en supposant seulement un second moment fini pour les données non corrompues.

En comparaison, les travaux précédents utilisant les complexités de Rademacher nécessitaient un nombre de moments finis de l’ordre du logarithme de la dimension, donc dépendant de la dimension. Grâce à cette technique, nous proposons de nouvelles bornes sous-gaussiennes robustes pour l’estimation de la moyenne dans n’importe quelle norme.