Fundamentos de Estimación Estadística: BLUE, ML, LS y Límites de Varianza

Relación entre Estimadores BLUE y ML

El estimador BLUE (Best Linear Unbiased Estimator) es equivalente al estimador ML (Maximum Likelihood) cuando no hay ruido o cuando el ruido es AWGN (ruido blanco gaussiano aditivo). Al ser variables independientes, la matriz de correlación es σ²I, lo que provoca que ambos términos se cancelen, resultando en que el estimador BLUE sea igual al ML.

Transformación de parámetros y eficiencia

Si se trata de un estimador ML, al poseer la propiedad de invarianza, la transformación es eficiente. La estimación de α será eficiente si la transformación es lineal; de lo contrario, será asintóticamente eficiente.

Propiedad de Invarianza

Esta propiedad permite realizar una transformación de parámetros. Si deseamos estimar θ pero no disponemos de su estimador, podemos calcular el estimador de α, conociendo la relación α = g(θ), para luego deshacer la transformación.

Clasificación de Estimadores

1. Máxima Verosimilitud (ML)

Se utiliza cuando solo disponemos de la función de densidad de probabilidad (p.d.f.). Es asintóticamente eficiente. Se resuelve mediante la condición:

∂/∂θ ln(f(x;θ)) = 0

2. BLUE (Best Linear Unbiased Estimator)

Se aplica cuando conocemos la matriz de covarianza Cw y la señal s(n), y el modelo es lineal. Es un estimador subóptimo, pero cuando el modelo es lineal, las muestras son independientes y el ruido es AWGN, se vuelve óptimo. Su fórmula es:

(Hᴴ Cw⁻¹ H)⁻¹ Hᴴ Cw⁻¹ x

3. Mínimos Cuadrados (LS)

Se emplea en modelos lineales cuando no tenemos información de la p.d.f. ni del ruido, solo conocemos la señal. Es subóptimo, aunque en ocasiones puede ser óptimo. Su fórmula es:

(Hᴴ H)⁻¹ Hᴴ x

Métodos Numéricos y Límites Teóricos

Algoritmo de Newton-Raphson

Es una alternativa numérica cuando no es posible resolver analíticamente el logaritmo de la función de verosimilitud. Este algoritmo encuentra los ceros de una función mediante una aproximación lineal inicial y derivadas sucesivas para hallar con exactitud el valor real de la raíz.

Cota de Cramer-Rao (CRB)

Representa el límite físico del estimador, es decir, la varianza mínima posible. Se aplica solo a estimadores insesgados:

• Primera derivada: Indica si hay un máximo/mínimo o si la cifra crece/decrece.
• Segunda derivada: Su signo indica si la función es cóncava o convexa, lo cual se relaciona con la varianza y la p.d.f.

Definiciones adicionales

• Eficiente: Cuando el estimador MVU (Minimum Variance Unbiased) cumple que var = CRB.
• Consistente: Cuando el estimador es insesgado (unbiased).

¿Cuándo la varianza es menor que la CRB?

La CRB establece un límite para la varianza trabajando con estimadores insesgados y un número infinito de muestras. Por lo tanto, si el estimador está sesgado o se trabaja con un número finito de muestras, la varianza podría ser menor que la CRB.