Fundamentos Esenciales de Estadística, Probabilidad e Inferencia Aplicada

Conceptos Fundamentales en Estadística

Varianza y Desviación Típica

• Varianza ($\sigma^2$): Es la esperanza del cuadrado de la diferencia entre la variable aleatoria y su media poblacional, $E[(X-\mu)^2]$.
• Desviación Típica ($\sigma$): Es la raíz cuadrada de la varianza.
• Varianza Muestral ($s^2$): Se calcula como $\frac{\sum x_i^2}{n} - \bar{x}^2$.
• Cuasivarianza Muestral (Varianza Muestral Corregida, $\hat{s}^2$): Es un estimador insesgado de la varianza poblacional, calculado como $\frac{1}{n-1} \sum (x_i - \bar{x})^2$.

Conceptos de Probabilidad

• Probabilidad de un Evento A ($P(A)$): Se define como el número de casos favorables a A dividido por el número total de casos posibles.

Modelos de Distribución de Probabilidad

Modelos Discretos

• Bernoulli: Describe un experimento con dos resultados posibles: éxito o fracaso.
• Binomial: Describe el número de éxitos en n repeticiones independientes de un experimento de Bernoulli. Se denota como $B(n, p)$, donde n es el número de repeticiones y p es la probabilidad de éxito. La probabilidad de fracaso es $q = 1 - p$. La función de masa de probabilidad es $f(a) = \binom{n}{a} p^a q^{n-a}$, donde $\binom{n}{a} = \frac{n!}{a!(n-a)!}$.
• Poisson: Modela la probabilidad de que un evento ocurra un número determinado de veces (a) en un intervalo fijo de tiempo o espacio, con una frecuencia promedio ($\mu$). Se denota como $P(\lambda)$, donde $\lambda = \mu \cdot t$ (frecuencia por unidad de tiempo multiplicada por la duración del intervalo). La función de masa de probabilidad es $f(a) = \frac{e^{-\lambda} \lambda^a}{a!}$.

Modelos Continuos

• Normal: Se denota como $N(\mu, \sigma)$, donde $\mu$ es la media y $\sigma$ es la desviación estándar. Su función de densidad de probabilidad es $f(x) = \frac{1}{\sigma \sqrt{2\pi}} e^{-\frac{(x-\mu)^2}{2\sigma^2}}$. La probabilidad de que una variable $X$ tome un valor entre a y b es $P(a < X < b) = \int_a^b f(x) dx$.
• Chi-Cuadrado ($\\chi^2$): Se utiliza en pruebas de hipótesis y construcción de intervalos de confianza para varianzas. Si los grados de libertad $n > 30$, la distribución $\chi^2$ se aproxima a una distribución Normal $N(\mu, \sigma)$.
• T de Student: Se utiliza para inferencia sobre la media de poblaciones pequeñas o cuando la desviación estándar poblacional es desconocida. Si los grados de libertad $n > 30$, la distribución T de Student se aproxima a una distribución Normal $N(\mu, \sigma)$.

Inferencia Estadística

Principios Fundamentales

• Para la media muestral, $\bar{X}$, si la población es Normal o el tamaño de muestra es grande (por el Teorema Central del Límite), $\bar{X} \sim N(\mu, \sigma/\sqrt{n})$. Para disminuir el error estándar y aumentar la precisión de la estimación, se incrementa el tamaño de la muestra.
• La expresión $\frac{nS^2}{\sigma^2}$ sigue una distribución Chi-Cuadrado con $n-1$ grados de libertad ($\chi^2_{n-1}$).
• El estadístico $T = \frac{\bar{X} - \mu}{\hat{s}/\sqrt{n}}$ sigue una distribución T de Student con $n-1$ grados de libertad ($t_{n-1}$).
• La cuasivarianza (varianza muestral corregida) se define como $\hat{s}^2 = \frac{n}{n-1} s^2$.

Estimación Puntual

• Normal: El estimador puntual de la media poblacional ($\mu$) es la media muestral ($\bar{x}$). El estimador puntual de la desviación estándar poblacional ($\sigma$) es la desviación estándar muestral ($s$).
• Poisson: El estimador puntual del parámetro $\lambda$ es la media muestral ($\bar{x}$).
• Binomial: El estimador puntual de la probabilidad de éxito ($p$) es la proporción muestral ($\hat{p} = \bar{x}$).

Estimación por Intervalos de Confianza

Un intervalo de confianza (IC) para un parámetro se construye con un nivel de confianza del $(1-\alpha)\%$.

• IC para la media ($\mu$) con $\sigma$ conocida: $IC_{\alpha} = \bar{x} \pm z_{\alpha/2} \frac{\sigma}{\sqrt{n}}$.
• IC para la media ($\mu$) con $\sigma$ desconocida:
  • Si $n$ es grande, se puede usar $IC_{\alpha} = \bar{x} \pm z_{\alpha/2} \frac{s}{\sqrt{n}}$.
  • Si $n$ es pequeño, se usa $IC_{\alpha} = \bar{x} \pm t_{\alpha/2, n-1} \frac{\hat{s}}{\sqrt{n}}$.
• IC para la varianza ($\sigma^2$) con $\hat{s}^2$ conocida: $IC_{\alpha} = \left( \frac{(n-1)\hat{s}^2}{\chi^2_{\alpha/2, n-1}}, \frac{(n-1)\hat{s}^2}{\chi^2_{1-\alpha/2, n-1}} \right)$. Para la desviación estándar ($\sigma$), se toman las raíces cuadradas de los límites del intervalo.
• IC para la proporción ($p$): $IC_{\alpha} = \hat{p} \pm z_{\alpha/2} \sqrt{\frac{\hat{p}(1-\hat{p})}{n}}$.

Contraste de Hipótesis

En un contraste de hipótesis, si el valor de la media poblacional ($\mu$) bajo la hipótesis nula ($H_0$) no pertenece al intervalo de confianza calculado, entonces se rechaza $H_0$. Si pertenece, no hay evidencia suficiente para rechazar $H_0$.

Aplicaciones Prácticas y Métodos Computacionales

Estadística Descriptiva y Visualización

• Medidas Características:
  • Medidas de Tendencia Central: Media, Mediana.
  • Medidas de Dispersión: Desviación Típica ($s$), Rango Intercuartílico (Q3 - Q1, es decir, 75% - 25%).
• Gráficas:
  • Histogramas: Permiten visualizar la distribución de los datos y la moda.
  • Diagramas de Cajas (Box Plots): Útiles para identificar la simetría, dispersión y valores atípicos.
• Interpretación: Los valores numéricos (media, mediana) indican la simetría de la distribución. Una pequeña diferencia entre media y mediana, junto con una desviación típica moderada, sugiere una distribución simétrica. Un histograma con clases bien definidas, simétrico y sin "roturas" (huecos), y la ausencia de valores atípicos en el diagrama de cajas, corroboran estas observaciones.
• Comandos sugeridos (ejemplo R): summary(), hist(), boxplot().

Cálculo de Intervalos de Confianza y P-valores

• IC para la media ($\mu$) con $\sigma$ desconocida:
  • Fórmula: $\bar{x} \pm t_{\alpha/2, n-1} \frac{\hat{s}}{\sqrt{n}}$.
  • Estadístico Pivote: $t = \frac{\bar{x} - \mu}{\hat{s}/\sqrt{n}}$.
  • Cálculo del P-valor (ejemplo R): t.test(x, mu = ..., alternative = "..."). Si el P-valor es mayor que el nivel de significancia ($\alpha$), no se rechaza la hipótesis nula.
• IC para la media ($\mu$) con $\sigma$ conocida:
  • Fórmula: $\bar{x} \pm z_{\alpha/2} \frac{\sigma}{\sqrt{n}}$.
  • Estadístico Pivote: $z = \frac{\bar{x} - \mu}{\sigma/\sqrt{n}}$.
• IC para la varianza ($\sigma^2$):
  • Fórmula: $\left( \frac{(n-1)\hat{s}^2}{\chi^2_{\alpha/2, n-1}}, \frac{(n-1)\hat{s}^2}{\chi^2_{1-\alpha/2, n-1}} \right)$.
  • Para obtener el IC de la desviación estándar ($\sigma$), se calcula la raíz cuadrada de los límites del intervalo de la varianza.

Pruebas de Normalidad y Ajuste de Distribuciones

• Test de Shapiro-Wilk (SW): (Ejemplo R: shapiro.test()). Adecuado para muestras pequeñas.
• Test de Kolmogorov-Smirnov (KS): (Ejemplo R: ks.test(nombre_conjunto$variable, "pnorm", media, sd)). Se puede usar para probar la normalidad o para otras distribuciones (ej. pexp para exponencial con parámetro lambda).
• Test Chi-Cuadrado ($\chi^2$) de Bondad de Ajuste: Más complejo de implementar manualmente, adecuado para muestras grandes.

Cálculo de Probabilidades y Optimización de Parámetros

Para calcular el porcentaje de valores aceptables, se utiliza la función de probabilidad de la distribución y se expresa el resultado en porcentaje. Es útil visualizar esto graficando la distribución con su media ($\mu$) y desviación estándar ($\sigma$).

• Optimización de la Desviación Típica para un Nivel de Aceptación: Para determinar qué desviación típica ($\sigma$) se requiere para que un porcentaje de aceptación (ej. 95%) se cumpla, se tipifica la variable ($Z = (X-\mu)/\sigma$). Sabiendo que el 95% de los valores de una distribución Normal Estándar $N(0,1)$ se encuentran entre -1.96 y 1.96, se iguala la expresión tipificada a estos valores y se despeja $\sigma$.

Ejemplos de Aplicación de Distribuciones

• Probabilidad de Defectos en un Lote (Binomial): Si se revisan lotes de 25 piezas y se conoce la distribución de piezas válidas (ej. 84.6% válidas, 15.4% no válidas), la probabilidad de tener más de 4 piezas no válidas en un lote se calcula usando la distribución Binomial $B(25, 0.154)$ y sumando las probabilidades acumuladas.
• Aproximación de Distribuciones Discretas por Continuas: Para determinar el tamaño de lote (n) necesario para que una distribución discreta (como la Binomial) pueda ser aproximada por una distribución continua (como la Normal), se verifica la condición $np(1-p) > 5$, donde p es la probabilidad de éxito (piezas aceptadas). Se despeja n.

Análisis de Varianza (ANOVA)

El Análisis de Varianza (ANOVA) se utiliza para comparar las medias de tres o más grupos.

• Tabla ANOVA: (Ejemplo R: aov(), summary.aov()). Para realizar un ANOVA de un factor, es necesario asegurarse de que la variable categórica (factor) esté correctamente definida. Si no está activa, se debe convertir la variable correspondiente en un factor (ej. en R: as.factor()).
• Interpretación: Se compara el p-valor obtenido con el nivel de significancia ($\alpha$). Si el p-valor es menor que $\alpha$, se rechaza la hipótesis nula de igualdad de medias; si es mayor, no se rechaza.

Comparación Múltiple de Medias (Post-Hoc)

Después de un ANOVA significativo, se pueden realizar comparaciones de medias dos a dos (pruebas post-hoc) para identificar qué grupos difieren.

• Visualización: Los intervalos de confianza para la diferencia de medias ($\mu_1 - \mu_2$) son útiles. Si el intervalo incluye el cero, no hay evidencia de una diferencia significativa entre esas dos medias.
• Ejemplo de Interpretación: Si los grupos 1, 2 y 3 tienen intervalos de confianza que incluyen el cero entre ellos, se podría concluir que sus medias son similares. Si el grupo 4 tiene un intervalo de confianza con el grupo 1 que incluye el cero, pero con los grupos 2 y 3 no, entonces el grupo 4 podría ser similar al 1, pero diferente al 2 y 3.

Diagnóstico de Modelos Estadísticos

• Hipótesis Básicas del Modelo (ANOVA):
  • Los errores ($\epsilon_{ij}$) son independientes.
  • Los errores siguen una distribución Normal con media cero y varianza constante ($\epsilon_{ij} \sim N(0, \sigma^2)$). Esto implica normalidad y homocedasticidad (varianzas iguales).
• Gráficos de Diagnóstico:
  • Residuos vs. Valores Ajustados: Permite observar la homocedasticidad (dispersión constante de los residuos).
  • Gráfico Q-Q (Quantile-Quantile): Permite evaluar la normalidad de los residuos; los puntos deben ajustarse a una línea recta.
  • La independencia de los errores generalmente se asume por el diseño experimental, pero puede verificarse con gráficos de residuos en función del orden de recolección de datos.
• Pruebas Formales:
  • Homocedasticidad: Test de Bartlett (Ejemplo R: bartlett.test()). Se examina el p-valor.
  • Normalidad: Se crean las variables de residuos y se aplica el test de Shapiro-Wilk (Ejemplo R: shapiro.test(residuals(modelo))).
• Análisis de Relación entre Variables (X e Y):
  • Gráfico de Dispersión (XY): Si los puntos están dispersos sin un patrón claro, no hay indicios de relación. Si los puntos se agrupan en una zona o muestran una tendencia no lineal, se pueden considerar transformaciones (ej. logaritmo) para linealizar la relación. (Ejemplo R: plot(x, y)).

Análisis de Regresión Lineal

• Visualización Inicial:
  • Gráfico de Dispersión (XY): Se identifica la variable explicativa (X) y la variable explicada (Y). Se evalúa visualmente la homocedasticidad y la presencia de puntos atípicos.
  • (Ejemplo R): plot(x, y), identify() para puntos atípicos, abline(lm(y~x)) para la línea de mínimos cuadrados.
  • Transformaciones: Si la relación no es lineal o no hay homocedasticidad, se pueden aplicar transformaciones (ej. logaritmo) a las variables (ej. log(x), log(y)) para linealizar la relación y estabilizar la varianza. Es crucial renombrar las nuevas variables transformadas.
• Estimación de Parámetros:
  • (Ejemplo R): lm(log(y) ~ log(x)). Los resultados mostrarán los coeficientes para el intercepto y la variable explicativa transformada.
  • Ecuación del Modelo: La ecuación resultante podría ser, por ejemplo, $\log(\text{VariableY}) = \text{Estimado Intercepto} + \text{Estimado Coeficiente Log(VariableX)} \cdot \log(\text{VariableX})$.
• Interpretación de Resultados:
  • P-valores: P-valores pequeños para los coeficientes indican que son estadísticamente significativos.
  • Desviación Típica de los Residuos (Residual Standard Error): Mide la dispersión de los residuos alrededor de la línea de regresión.
  • Coeficiente de Determinación ($R^2$): El $R^2$ ajustado (Adjusted R-squared) indica el porcentaje de la variabilidad de la variable explicada que es explicada por el modelo. Un valor alto (ej. 92%) sugiere un buen ajuste del modelo.
• Diagnóstico del Modelo:
  • Se deben verificar las hipótesis del modelo de regresión (linealidad, independencia, normalidad de los residuos, homocedasticidad).
  • (Ejemplo R): plot(modelo_lm) genera gráficos de diagnóstico (Residuos vs. Valores Ajustados, Q-Q Plot) para evaluar estas hipótesis.

Errores en el Contraste de Hipótesis

• Error Tipo I ($\alpha$): Se produce cuando se rechaza la hipótesis nula ($H_0$) siendo esta verdadera.
• Error Tipo II ($\beta$): Se produce cuando se acepta la hipótesis nula ($H_0$) siendo esta falsa.

Pruebas de Bondad de Ajuste

• Kolmogorov-Smirnov: Compara la función de distribución acumulada empírica con una función de distribución teórica. Adecuado para muestras pequeñas.
• Shapiro-Wilk: Compara la distancia de los datos de la muestra a la recta obtenida mediante un gráfico de probabilidad normal. Especialmente útil para probar la normalidad en muestras pequeñas.
• Chi-Cuadrado ($\chi^2$): Compara las frecuencias observadas con las frecuencias esperadas de una distribución teórica. Adecuado para muestras grandes.