Afrika Statistika

Adjusting the Penalized Term for the Regularized Regression Models

Magda M. M. Haggag

Full-text: Access denied (no subscription detected)

We're sorry, but we are unable to provide you with the full text of this article because we are not able to identify you as a subscriber. If you have a personal subscription to this journal, then please login. If you are already logged in, then you may need to update your profile to register your subscription. Read more about accessing full-text

Abstract

More attention has been given to regularization methods in the last two decades as a result of exiting high-dimensional ill-posed data. This paper proposes a new method of introducing the penalized term in regularized regression. The proposed penalty is based on using the least squares estimator's variances of the regression parameters. The proposed method is applied to some penalized estimators like ridge, lasso, and elastic net, which are used to overcome both the multicollinearity problem and selecting variables. Good results are obtained using the average mean squared error criterion (AMSE) for simulated data, also real data are shown best results in the form of less average prediction errors (APE) of the resulting estimators.

Résumé

Une plus grande attention est accordée, de plus en plus, aux méthodes de régularisation au cours des deux dernières décennies à la suite de la la survenance de données de haute dimension. Cet article propose une nouvelle méthode d'introduction du terme pénalisé dans la régression régularisée. La pénalité proposée est basée sur l'utilisation des variances des estimateurs des moindres carrés des paramètres de régression. La méthode proposée est appliquée à certains estimateurs pénalisés comme la méthode ridge, le lasso et le filet élastique, qui sont utilisés pour surmonter à la fois le problème de la multicolinéarité et la sélection des variables. De bons résultats obtenus en utilisant la le critère de l'erreur quadratique moyenne (AMSE) pour les données simulées et également sur des données réelles sont présentés. Les meilleurs résultats sont obtenus avec le critère des erreurs de prédiction moyennes (APE) sur les estimateurs concernés.

Article information

Source
Afr. Stat., Volume 13, Number 2 (2018), 1609-1630.

Dates
First available in Project Euclid: 7 June 2018

Permanent link to this document
https://projecteuclid.org/euclid.as/1528336823

Digital Object Identifier
doi:10.16929/as/1609.124

Mathematical Reviews number (MathSciNet)
MR3811760

Zentralblatt MATH identifier
06885663

Subjects
Primary: 62J05: Linear regression 62J07: Ridge regression; shrinkage estimators

Keywords
Elastic-Net Lasso Penalized regression Regularization Ridge regression Shrinkage Variable selection

Citation

Haggag, Magda M. M. Adjusting the Penalized Term for the Regularized Regression Models. Afr. Stat. 13 (2018), no. 2, 1609--1630. doi:10.16929/as/1609.124. https://projecteuclid.org/euclid.as/1528336823


Export citation