Bayesian method for solving the problem of multicollinearity in regression

Abstract

The popular method of estimation in regression, Ordinary Least Squares (OLS) often displays inefficiency especially with large variances and wide confidence intervals thereby making precise estimate difficult when there is strong multicollinearity. Bayesian method of estimation is expected to improve the efficiency of estimated regression model when there is relevant prior information and belief of situation being modelled is available. This study however provided an alternative approach to OLS when there is almost perfect multicollinearity while its performance were compared with the aid of simulation approach to OLS estimator. Results of the simulation study indicate that with respect to Mean Squared Error (MSE) criterion and other criteria, the proposed method perform better than OLS.

La méthode d'estimation par régression populaire, la méthode des moindres carrés ordinaires (MCO), est souvent peu efficace, en particulier lorsque les variances sont grandes et que les intervalles de confiance sont larges, ce qui rend difficile une estimation précise lorsque la multicolinéarité est forte. La méthode d'estimation bayésienne devrait améliorer l'efficacité du modèle de régression estimé lorsqu'il existe des informations préalables pertinentes et lorsque l'on est convaincu de la situation à modéliser. Cette étude a toutefois fourni une approche alternative à la méthode des moindres carrés ordinaires lorsqu'il y a une multicolinéarité presque parfaite, tandis que ses performances ont été comparées à l'aide de l'approche de simulation de l'estimateur MCO. Les résultats de l'étude de simulation indiquent qu'en ce qui concerne le critère d'erreur quadratique moyenne (MSE) et d'autres critères, la méthode proposée donne de meilleurs résultats que la méthode MCO.