Fundamentos de Regresión Lineal y Algoritmo de Descenso del Gradiente

Regresión Lineal y Descenso del Gradiente (Algoritmo LMS)

La regresión lineal es una técnica de aprendizaje supervisado utilizada para modelar la relación entre una o más variables independientes (atributos) y una variable dependiente continua (objetivo). El propósito fundamental es encontrar una función lineal que aproxime dicha relación y permita realizar predicciones precisas sobre nuevos datos.

Modelo Lineal

El modelo matemático se define mediante la siguiente expresión:

Donde:

• x₀ es el término de sesgo (bias o intercepto).
• θ es el vector de parámetros a ajustar.
• xᵢ representa cada atributo del vector de entrada.

Este modelo se interpreta geométricamente como un hiperplano en el espacio de los atributos, donde el objetivo es encontrar la configuración que mejor se ajuste a la distribución de los datos.

Función de Coste

La calidad del ajuste se evalúa mediante la función de coste de error cuadrático medio (ECM):

Este coste mide el promedio de las diferencias al cuadrado entre las predicciones del modelo y los valores reales. El factor 1/2 se incluye por conveniencia matemática, ya que simplifica el cálculo de la derivada.

Algoritmo LMS (Least Mean Squares)

Para minimizar la función de coste y encontrar los parámetros óptimos, se emplea el algoritmo de descenso del gradiente:

La derivada parcial de J(θ) con respecto a cada parámetro θⱼ se define como:

Donde α representa la tasa de aprendizaje (learning rate). El algoritmo consiste en actualizar los parámetros de forma iterativa hasta alcanzar un mínimo (idealmente global).

Implementación del Algoritmo

Para su ejecución, se deben inicializar los parámetros con valores pequeños o ceros y repetir el proceso hasta la convergencia:

• Calcular la predicción para cada ejemplo.
• Actualizar cada parámetro θⱼ utilizando la regla de descenso del gradiente.

Ventajas y Consideraciones

• Eficiencia: Es altamente eficiente para conjuntos de datos de gran escala.
• Flexibilidad: Puede implementarse en línea (actualización ejemplo a ejemplo).
• Normalización: Es sensible a la escala de los atributos, por lo que se recomienda normalizar los datos previamente.
• Convexidad: Aunque puede quedar atrapado en mínimos locales en funciones no convexas, en la regresión lineal la función de coste es convexa, garantizando la convergencia.

Relación con Mínimos Cuadrados

La solución analítica, conocida como ecuaciones normales, también puede utilizarse:

Sin embargo, el método LMS es preferido cuando la matriz X es de gran tamaño o resulta computacionalmente costosa de invertir.