Conceptos Esenciales de Regresión Lineal: Parámetros, SCR y Optimización por Mínimos Cuadrados

1. Determinación de una Recta en el Plano

Una recta en el plano está determinada por dos parámetros: su ordenada en el origen (𝜶) y su pendiente (𝜷). Existe una relación biunívoca entre el conjunto de rectas en el plano y el conjunto de parejas de valores (𝜶,𝜷) ∈ 𝑹². Verdadero.

La ecuación general de una recta en el plano es 𝑌 = 𝛼 + 𝛽𝑋, donde 𝛽 es la pendiente y 𝛼 es su ordenada en el origen. Dados dos valores específicos de 𝛼 y 𝛽, podemos obtener una única recta en el plano que cumple con dichos parámetros. Y dada una recta en el plano, podemos obtener de forma única los valores específicos de 𝛼 y 𝛽. Por lo tanto, podemos afirmar que existe una relación biunívoca entre el conjunto de rectas y el conjunto de parejas de valores (𝛼, 𝛽).

2. La Función de Suma de Cuadrados de los Residuos (SCR)

La función ∑ (𝒀𝒊 − 𝜶 − 𝜷𝑿𝒊 )² 𝑵 𝒊=𝟏 es un índice que evalúa la distancia de una recta cualquiera del plano, de ecuación 𝒀 = 𝜶 + 𝜷𝑿, a los puntos de dicho plano cuyas coordenadas corresponden a los valores que toman los individuos en las variables 𝑿 e 𝒀, respectivamente. Se trata de una función de dos variables: 𝜶 y 𝜷. Verdadero.

La SCR (Suma de Cuadrados de los Residuos) es una medida de dispersión o de la discrepancia entre la recta de regresión y los puntos de un conjunto de datos.

3. Identificación de Incógnitas en la SCR

En la función ∑ (𝒀𝒊 − 𝜶 − 𝜷𝑿𝒊 )² 𝑵 𝒊=𝟏, los valores de 𝜶 y 𝜷 son los únicos conocidos. Las incógnitas son, como es habitual, 𝑿 e 𝒀. Falso.

En la SCR, los valores conocidos son los de las variables 𝑋 e 𝑌. Los coeficientes de la regresión lineal, es decir, 𝛼 y 𝛽, son desconocidos. Estos coeficientes se determinan a partir de datos observados de las variables 𝑋 e 𝑌, utilizando el método de mínimos cuadrados.

4. Justificación del Cuadrado en la SCR

Elevar al cuadrado en la función ∑ (𝒀𝒊 − 𝜶 − 𝜷𝑿𝒊 )² 𝑵 𝒊=𝟏 es más un capricho injustificado que fruto de una decisión razonada. Podríamos sustituir el cuadrado por el valor absoluto sin ninguna consecuencia negativa. Falso.

La elección de elevar al cuadrado la SCR tiene una razón técnica bien justificada. Elevar al cuadrado tiene dos ventajas importantes sobre el valor absoluto en la función SCR. En primer lugar, elevar al cuadrado penaliza más los errores más grandes. En segundo lugar, elevar al cuadrado garantiza que la función SCR sea una función convexa, lo que facilita su optimización numérica. Por otra parte, si se utiliza el valor absoluto en la SCR, la función no es derivable en todo el dominio.

5. Derivabilidad de Funciones: 𝒚 = 𝒙² vs. 𝒚 = |𝒙|

La función 𝒚 = 𝒙² es derivable mientras que la función 𝒚 = |𝒙| no lo es: su no derivabilidad se encuentra en el valor 𝒙 = 𝟎, donde la derivada no existe. Verdadero.

La función 𝑦 = 𝑥² es derivable en todo su dominio, mientras que la función 𝑦 = |𝑥| no lo es en 𝑥=0. La derivada es igual a 1 para 𝑥>0 y -1 para 𝑥<0. En 𝑥=0, la derivada no existe ya que la función no tiene una pendiente definida en ese punto. La derivada de |𝑥| es 𝑥/|𝑥|.

6. Optimización de la SCR y Mínimos Cuadrados

Derivar la función ∑ (𝒀𝒊 − 𝜶 − 𝜷𝑿𝒊 )² 𝑵 𝒊=𝟏 respecto a 𝜶 y 𝜷 e igualar los valores de dichas derivadas a 0, garantiza encontrar un mínimo absoluto para la función y, en consecuencia, determinar la recta de mínimos cuadrados. Falso.

Derivar la función SCR respecto a 𝛼 y 𝛽 e igualar las derivadas a cero garantiza encontrar un extremo relativo, es decir, un mínimo o máximo relativo. Para garantizar que es un mínimo, debemos verificar que la matriz Hessiana es semidefinida positiva. Además, para asegurar que es un mínimo absoluto, es fundamental que la función sea convexa.