Métodos de Selección de Variables y Multicolinealidad en Regresión Lineal

Métodos de construcción de modelos de regresión

I. Introducción

Se genera un solo modelo de regresión que incluye, a la vez, a todas las variables pronosticadoras. No se exige que las variables cumplan ninguna condición específica a la hora de formar parte del modelo. En este método, no es posible determinar cuál es el conjunto de variables que ofrece una explicación adecuada con el menor número de elementos.

II. Selección hacia delante (Forward Selection)

Implica la posibilidad de obtener diversos modelos de regresión si las variables pronosticadoras cumplen ciertas condiciones de entrada:

• En el primer modelo, solo se introduce la variable que presente la mayor correlación con la variable criterio.
• En un segundo modelo, se incluye, junto a la primera, aquella otra variable que produzca el mayor aumento significativo de R².

III. Selección hacia atrás (Backward Elimination)

En este método también existen varios modelos de regresión, pero el proceso es inverso al anterior:

Se comienza con todas las variables pronosticadoras en el modelo y se elimina la variable que produzca el menor cambio de R². Se dejan de eliminar variables cuando, al quitar del modelo cualquiera de ellas, se produzca un cambio significativo de R².

IV. Selección paso a paso (Stepwise Regression)

Este es el método más habitual de construcción de modelos en la regresión. Se eliminan las variables cuya importancia decrece al incorporar nuevas variables pronosticadoras.

Multicolinealidad

Cuando dos variables pronosticadoras presentan una alta correlación mutua, se dice que son colineales.

• Colinealidad: Es la correlación entre dos variables pronosticadoras.
• Multicolinealidad: Se refiere a la correlación entre tres o más variables pronosticadoras.

Impacto y evaluación

El impacto de la multicolinealidad es reducir el poder predictivo de cualquier variable pronosticadora en la medida en que está asociada a otras. A medida que aumenta la colinealidad, una parte del valor predictivo es “compartido”, por lo que decrece el poder predictivo del conjunto de variables.

Para valorar la correlación entre las variables, hay que examinar la matriz de correlaciones entre todas las variables incluidas en el modelo. Cuanto mayor es la tolerancia de una variable, más independiente es respecto de las otras variables pronosticadoras; por tanto, puede aportar una mayor explicación de la variable criterio no explicada por las demás.