Regresión Lineal: Optimización de Parámetros con Descenso de Gradiente y Algoritmo LMS

Fundamentos de la Regresión Lineal y Optimización de Modelos

La Regresión Lineal es una técnica utilizada para predecir una variable dependiente (llamada y) a partir de una o más variables independientes (llamadas x).

Se asume que existe una relación lineal entre y e x, donde θ es un vector de pesos o parámetros que se ajustan para minimizar el error entre los valores predichos y los valores reales.

La Función de Hipótesis $h(x)$

La función de hipótesis se define como la relación lineal que permite realizar predicciones sobre nuevos valores de x. El objetivo es encontrar el conjunto óptimo de parámetros θ que minimicen el error entre los valores predichos y los valores reales.

La Función de Costo $J(\theta)$: Error Cuadrático Medio (MSE)

Para entrenar el modelo de regresión lineal, se utiliza una función de costo, denotada como J(θ), que mide el error entre los valores predichos y los valores reales.

Esta función se define como el promedio de las diferencias al cuadrado entre los valores predichos y reales, también conocido como el Error Cuadrático Medio (MSE).

Se utiliza un modelo de regresión lineal para predecir los valores de y a partir de los valores de x. El objetivo es minimizar esta función de costo para mejorar la precisión del modelo.

Aprendizaje de Parámetros

Para aprender los parámetros θ del modelo, se trata de hacer que h(x) sea lo más cercano posible a y para los ejemplos de entrenamiento. Esto se formaliza mediante la definición de una función que mide, para cada valor de los θ, lo cerca que están los h(x) de los y correspondientes.

Esta función es diferenciable y se puede minimizar mediante el uso de un algoritmo de optimización como el Descenso de Gradiente, que actualiza iterativamente los valores de θ en la dirección que minimiza la función de costo.

Uso del Modelo para Predicción

Una vez que se han encontrado los valores óptimos de θ, el modelo de regresión lineal se puede usar para hacer predicciones sobre nuevos datos. Esto se logra conectando los valores de x y los valores aprendidos de θ en la función de hipótesis h(x). El valor pronosticado h(x) será una estimación del valor y correspondiente para una x dada.

El Descenso de Gradiente: Algoritmo de Optimización

El Descenso del Gradiente es un método utilizado para minimizar una función de costo en un modelo de aprendizaje automático. Este algoritmo funciona iterativamente, actualizando los parámetros del modelo para minimizar la función de costo. Cada iteración se conoce como un "paso del gradiente".

Fundamento Teórico

Para entender cómo funciona el descenso del gradiente, podemos utilizar el Teorema de Taylor de orden 1, que establece que para valores de f(z) cuando z está cerca de a, se pueden aproximar utilizando la derivada.

Si decimos que z es una dirección modificada por un pequeño aumento (Δ) en un vector unitario u, esto nos permite calcular el cambio en la función de costo al realizar un pequeño cambio en la dirección de u.

El algoritmo de descenso del gradiente funciona iterativamente realizando pequeños cambios en la dirección de u en la dirección que minimiza la función de costo, hasta alcanzar un mínimo local o global.

Algoritmo LMS (Least Mean Squares)

El Algoritmo LMS (Least Mean Squares) es un tipo de algoritmo de descenso de gradiente que se utiliza específicamente para encontrar los valores óptimos de los parámetros θ en un modelo de regresión lineal.

Mecanismo de Actualización de Parámetros

El LMS funciona comenzando con una estimación inicial de θ y actualizando repetidamente los valores de θ en la dirección que minimiza la función de costo J(θ).

La magnitud de la actualización es proporcional al término de error. Por lo tanto:

• Si encontramos un ejemplo de entrenamiento en el que nuestra predicción coincide casi con el valor real de y(i), hay poca necesidad de cambiar los parámetros.
• En cambio, se realizará un cambio más grande en los parámetros si nuestra predicción tiene un error grande.

El algoritmo LMS se puede modificar para usarlo con un conjunto de entrenamiento de más de un ejemplo reemplazando la regla de actualización y añadiendo un sumatorio. Esta regla de actualización se aplica a todos los valores de j y para todos los ejemplos de entrenamiento del conjunto.