Conceptos Fundamentales de Regresión Lineal

Modelo de Regresión Lineal

El objeto de un análisis de regresión es investigar, a partir de cierta muestra, la relación estadística o matemática que existe entre una variable dependiente (Y) y ciertas variables independientes (X₁, X₂,..., Xₚ). Para poder realizar esta investigación, se debe postular (o suponer) una relación funcional f entre Y y las variables X: Y=f(X). En principio, no hay restricciones sobre la forma de la función f, sin embargo, es deseable que esta sea lo más sencilla posible, pero sacrificando lo menos posible la calidad de los resultados.

¿Qué hace que un modelo de regresión sea lineal?

Cabe destacar que lo que hace que un modelo de regresión sea lineal no es la relación entre las variables independientes sino la relación entre los parámetros del modelo. Si en algún caso se recurre a una transformación del modelo, los resultados del mismo deben ser expresados en términos de las variables originales.

Modelo de Regresión Lineal

El modelo general de regresión lineal viene dado por la siguiente expresión:

Cuando p=1, este método recibe el nombre de regresión lineal simple, y cuando p>1, se le llama regresión lineal múltiple. No obstante, el tratamiento de ambos casos es exactamente igual, pero en la literatura se suelen distinguir por razones pedagógicas. Supongamos p=1: Los valores de β₀ y β₁ (el corte y la pendiente) se deben seleccionar de una manera tal que la recta de regresión pase lo más cerca posible de los puntos (en promedio). Matemáticamente, esto se logra minimizando la suma de los errores al cuadrado (eᵢ²; i=1,…,n):

Estimación de los Parámetros

El modelo de regresión lineal puede ser expresado matricialmente mediante la siguiente expresión:

X recibe el nombre de matriz X aumentada, debido a la columna de 1s que se le ha agregado (primera columna). Las columnas restantes corresponden a la matriz X original. Luego, el vector de parámetros, β, se obtiene a través del siguiente estimador:

Puede demostrarse que esta estimación (obtenida por el método de los mínimos cuadrados) es insesgada y de mínima varianza.

Supuestos del Modelo

Para cada uno de los n individuos de la muestra se cumple lo siguiente:

El único supuesto de este modelo es que los residuos (eᵢ) provienen de una distribución N(0, σ²), y son independientes entre sí, es decir, eᵢ es independiente de eⱼ para todo i≠j.

Interpretación de los Parámetros del Modelo

La interpretación de un parámetro βᵢ depende del tipo de variable (Xᵢ) a la cual está asociado. Si Xᵢ es una variable cuantitativa, βᵢ es igual a la medida en la que aumenta Y cuando Xᵢ aumenta una unidad (manteniendo fijos los demás factores). Otra forma de verlo es: βᵢ = ∂Y/∂Xᵢ, la razón de cambio de Y con respecto a Xᵢ. Mientras mayor sea el valor de βᵢ, más influencia tiene Xᵢ sobre Y, aunque esto también depende de la magnitud y del rango de Xᵢ (como ocurre con las Funciones Discriminantes).

Si Xᵢ es una variable dicotómica, βᵢ representa la medida en la que aumenta Y cuando se está ante la presencia de Xᵢ, o equivalentemente, cuando Xᵢ está en su valor alto.