Técnicas de Suavizado Estadístico y Modelos de Regresión No Paramétrica

Introducción a la Estimación No Paramétrica

Explica la diferencia entre un modelo paramétrico y uno no paramétrico en términos de la complejidad del modelo: En el paramétrico la complejidad está acotada por el número finito de parámetros. En el no paramétrico, la distribución pertenece a un conjunto no acotado (dimensión infinita) y la información crece con el número de datos.

La regresión no paramétrica surge como alternativa a los modelos paramétricos, que a veces son demasiado rígidos. Si usamos un polinomio de grado muy alto, el ajuste puede mejorar, pero el modelo se vuelve poco parsimonioso, muy variable y poco robusto. La idea no paramétrica es estimar la función de regresión m(x) = E(Y | X = x) de forma local, usando sobre todo las observaciones cercanas al punto donde queremos estimar la curva.

Estimación Núcleo de la Densidad (KDE)

Fundamentos y el Estimador de Rosenblatt-Parzen

El estimador núcleo de la densidad, también conocido como estimador de Rosenblatt-Parzen, es un método no paramétrico para estimar la función de densidad de una variable sin asumir una forma concreta, como la normalidad. A diferencia del histograma, que agrupa los datos en intervalos, el estimador núcleo coloca una función suave alrededor de cada observación y suma todas esas contribuciones, obteniendo así una estimación continua de la densidad.

Construcción del estimador núcleo y papel de h: El estimador núcleo de la densidad parte de una muestra X1,...,Xn y estima f(x) colocando un kernel K alrededor de cada observación. Su expresión general es:

f_hat_K,n(x) = (1 / (n h_n)) * Σ K((x - X_i) / h_n)

Donde K es la función núcleo (normalmente simétrica e integrable con integral 1) y h_n es el parámetro de suavizado o ancho de ventana. El parámetro más importante es h_n, porque regula el compromiso entre sesgo y varianza. Si h_n es pequeño, la estimación tiene poca suavidad, mucha variabilidad y puede mostrar picos artificiales. Si h_n es grande, la estimación es más suave, pero puede ocultar rasgos importantes de la densidad, aumentando el sesgo.

Comparativa con Métodos Tradicionales

• Diferencia entre el Histograma y el Estimador Naive: El histograma depende de un origen x0 fijo y una partición previa del dominio. El estimador naive elimina la dependencia del origen al centrar un entorno local en cada punto x donde se desea estimar la densidad.
• Ventaja del estimador Naive sobre el Histograma: El Naive elimina la dependencia del origen (x0) al centrar el entorno local en cada punto x donde se quiere estimar, en lugar de usar cajas fijas.
• Mejoras del núcleo sobre el histograma: El estimador núcleo mejora al histograma porque no depende del origen de los intervalos y produce una estimación continua y suave de la densidad. El histograma es escalonado y depende tanto del ancho de clase como del punto inicial, lo que puede cambiar bastante su forma.

Propiedades del Kernel y Curvatura

¿Qué significa que el estimador núcleo "hereda" las propiedades del kernel K? Si el kernel elegido es continuo y diferenciable (como el Gaussiano), la curva de densidad estimada resultante también será continua y suave en todo su dominio. Otros ejemplos son el núcleo Epanechnikov, triangular, biweight o uniforme. En la práctica, la elección del ancho de ventana suele ser más relevante que la elección del núcleo.

En el contexto del AMISE, ¿qué efecto tiene una curvatura elevada (f′′(x) alta) en la calidad de la estimación? Cuanto mayor es la curvatura, mayor es el sesgo asintótico, lo que hace que sea más difícil obtener una estimación precisa en picos o valles. El comportamiento del sesgo según la curvatura indica que el estimador tiende a infraestimar la curva en zonas cóncavas (picos/modas) y a sobreestimar en zonas convexas (valles).

Regresión Polinómica Local

Nadaraya-Watson vs. Lineal Local

La regresión polinómica local aproxima m(t) cerca de x mediante un polinomio de grado p y estima sus coeficientes minimizando una suma de cuadrados ponderada por un kernel.

• Diferencia entre el estimador de Nadaraya-Watson (p=0) y el Lineal Local (p=1): Debes explicar que el Lineal Local corrige de forma natural el efecto frontera que sufre el de Nadaraya-Watson en los extremos del dominio. Además, el sesgo del Lineal Local es más sencillo y no depende de la derivada de la densidad de la variable regresora.
• Sesgo Asintótico: El sesgo del Lineal Local solo depende de la segunda derivada de la regresión (m′′(x)), mientras que el de Nadaraya-Watson depende también de la derivada de la densidad de la variable explicativa (f′(x)/f(x)).
• Grados de libertad: Si tuvieras que elegir entre un ajuste local con un polinomio de grado par (p=0,2) o uno de grado impar (p=1,3), se prefieren los grados impares. Un ajuste de grado impar tiene un sesgo del mismo orden que el grado par inferior (p−1), pero su fórmula de sesgo es más simple y no depende de la densidad de los datos.

El Suavizador Lineal y la Matriz Suavizadora

¿Qué es un "suavizador lineal" y por qué los estimadores de Nadaraya-Watson y Local Lineal entran en esta categoría? Se refiere a que la estimación Y_hat se puede expresar como una combinación lineal de las respuestas observadas Y mediante una matriz suavizadora Sh (Y_hat = ShY). Es el análogo no paramétrico de la "matriz sombrero" (hat matrix) de la regresión lineal.

Los Grados de libertad efectivos (νh) se definen como la traza de la matriz suavizadora Sh. Indican cuántos parámetros equivalentes está consumiendo el modelo. Cuanto menor es la ventana h, más flexible es el modelo y más grados de libertad consume.

Splines y Regresión Penalizada

Tipos de Splines

• Diferencia entre Regresión por Splines y Splines de Suavizado: En la regresión por splines el usuario elige el número y posición de los nodos (típicamente entre 3 y 7). En los splines de suavizado, se coloca automáticamente un nodo en cada observación y la suavidad se controla mediante un parámetro de penalización λ.
• ¿Por qué se prefieren los B-splines? Porque son bases numéricamente más estables y eficientes computacionalmente que las bases de potencias truncadas.
• ¿Qué es un Spline Cúbico Natural? Es un spline de grado 3 que se fuerza a ser lineal en los extremos (antes del primer nodo y después del último) para reducir la variabilidad errática en las fronteras.

Splines de Suavizado (Smoothing Splines)

Define la función objetivo que minimizan los Splines de Suavizado: Es una suma de residuos al cuadrado más una penalización por rugosidad multiplicada por λ:

min Σ(Yi − m(Xi))^2 + λ ∫(m′′(u))^2 du

El parámetro λ penaliza la "rugosidad" (la integral de la segunda derivada al cuadrado). Si λ = 0, la curva interpola los datos. Si λ → ∞, el ajuste se convierte en la recta de regresión lineal por mínimos cuadrados. La solución es única y es un spline cúbico natural con nodos exactamente en cada una de las observaciones Xi.

Selección del Parámetro de Suavizado (h y λ)

El Dilema Sesgo-Varianza

El dilema Sesgo-Varianza controlado por h: Si h es muy pequeño (infrasuavizado), hay poco sesgo pero mucha varianza (curva muy ruidosa). Si h es muy grande (sobresuavizado), hay mucho sesgo pero poca varianza (se pierden detalles como las modas). Asintóticamente, el sesgo es del orden de h^2 y la varianza del orden de 1 / (n h).

Criterios de Selección Automática

• Regla del dedo (Rule of Thumb): Calcula h con una fórmula rápida basada en una aproximación normal, usando la dispersión y n^(-1/5). Utiliza el IQR (rango intercuartílico) porque el estimador de la desviación típica es sensible a atípicos; el IQR es más robusto.
• Validación Cruzada (PRESS): Minimiza la suma de residuos al cuadrado quitando un dato cada vez (LOOCV).
• GCV (Validación Cruzada Generalizada): Una versión que promedia los elementos de la diagonal de la matriz para ser más estable frente a datos con mucho peso (leverage).
• Métodos Plug-in: Como Sheather-Jones, estiman la curvatura de la densidad y la sustituyen en la fórmula teórica de h óptima; suelen ser más fiables.

Evaluación Global y Errores

Criterios ISE, MISE y AMISE

• ISE (Integrated Squared Error): Mide el error total para una muestra concreta. Es una variable aleatoria.
• MISE (Mean ISE): Es el valor esperado del ISE. Mide el error promedio global. Por el teorema de Fubini, el MISE es igual al IMSE (error cuadrático medio integrado): MISE(f^n) = ∫MSE(f^n(x))dx.
• AMISE (Asymptotic MISE): Aproximación del MISE para muestras grandes, útil para elegir la ventana óptima h_AMISE.

El Efecto Frontera y su Corrección

El efecto frontera aparece cuando la variable tiene soporte limitado (ej. X >= 0). El estimador kernel falla cerca de los límites porque parte del kernel queda fuera del dominio, infraestimando la densidad.

Método de Transformación de datos: Se aplica una función monótona (como el logaritmo), se estima en la escala transformada y se vuelve a la escala original usando la regla de la cadena. Otras técnicas incluyen kernels asimétricos o reflexión de datos.

Extensiones y Métodos Avanzados

Estimadores Adaptativos y Multivariantes

• k-vecinos próximos (k-NN): La ventana se ensancha en zonas de baja densidad para encontrar k vecinos. Produce colas pesadas porque la ventana d_k(x) crece mucho donde hay pocos datos.
• Estimador de ventana variable: Asigna una ventana distinta a cada observación según la zona, reduciendo el sesgo.
• Estimador núcleo multivariante: Utiliza una matriz ventana H. Al aumentar el número de variables, surge la "maldición de la dimensión": los entornos locales se quedan vacíos de datos, haciendo que los métodos pierdan precisión rápidamente.

Robustez y Diagnóstico

• LOWESS y LOESS: Métodos de regresión local robusta. Ajustan una curva y recalculan pesos para que los outliers tengan menos influencia. El span indica la proporción de datos usados.
• Banda de variabilidad: Zona alrededor de la curva que refleja la incertidumbre del ajuste basada en la varianza estimada.
• Test de normalidad con NISE: Mide la distancia integrada entre la densidad estimada y la normal ajustada, usando simulación Monte Carlo para el p-valor.
• Razón de fallo (λ(x)): Funcional de la distribución estimado mediante la fórmula λ(x) = f(x) / (1 − F(x)).

En resumen, estas técnicas permiten estimar relaciones flexibles sin imponer una forma global rígida, adaptando el suavizado según la cantidad de datos o la complejidad de la función real.