Modelo de regresión lineal con variable dicotomica independiente

REGRESIÓN MÚLTIPLE (Regresión mínimo cuadrática):

TIPOS Modelos de regresión

-Si la ecuación de ajuste es una recta (regresión lineal)
O no (regresión no lineal - logit)

-Si trabajamos con dos variables:
simple (1 dependiente + 1 independiente)
/ múltiple (1 dependiente y varias independientes)

Proceso de decisión

1.Formulación del Modelo General (Análisis bivariante - gráficos de dispersión y correlaciones bivariadas)

2.Estimación de los Parámetros  (Método de Mínimos Cuadrados y coeficientes De regresión estandarizados)

3.Inferencia (test de significación) (significación del modelo en general – anova / y de los Coeficientes de regresión – tstudent)

4.Determinación de la Fortaleza y Construcción del Modelo (Índice R2 y Técnicas de construcción de modelos

5.Predicción (Examen de los Residuos)  (Exactitud de la Predicción Adecuación del Modelo

Formulación del modelo general

se utilizan paradescribir la relación que existe entre una Variable dependiente y varias independientes

objetivoencontrar una ecuación de regresión para una Variable dependiente en función de un conjunto de variables independientes

Modelo General: Y (v. Dependiente. Criterio a explicar) = B0+B1X1+B2X2…
(b=constante-cambio Esperado en la dependiente/x= v.Independientes)

Estimación de los parámetros

El  objetivo Es encontrar las estimaciones de los valores de β1, β2, … que “mejor” describen La relación real entre la v. Dependiente y las  Variables independientes.

Método de Estimación por Mínimos Cuadradospuede extenderse a modelos con más de una v. Independiente.

Ecuación Deseada: Y^=B^0+B`1X1+…

aquella que minimiza el cuadrado de la desviación total entre los datos Reales y los valores estimados por el modelo de regresión.Yˆ= el valor De la variable dependiente estimada para un conjunto de valores de las Variables independientes

Se utiliza para encontrar la ecuación de la línea Que produce la recta de mejor ajuste (representación de la realidad), sin Existir otra que esté más próxima a los puntos (única).

1.Aunque la línea no pase Por ningún punto, es la que más se acerca

2.La distancia entre los Puntos y la línea = desviación/errores del modelo(residuos)

3.Queremos la línea que Minimice los residuos

Coeficientes De Regresión Estandarizados: La tipificación es el Proceso en donde las variables originales son transformadas en nuevas que se Caracterizan por tener media 0 y varianza 1. (Z= (X-Ẍ)/s)

Cuando las variables son estandarizadas y  la constante 0, se anula. Los coeficientes Beta se denominan coeficientes de regresión estandarizados. El coeficiente de regresión estandarizado coincide con el coeficiente de Correlación simple entre X e Y (r-Pearson)

Inferencia: TEST DE SIGNIFICACIÓN

Una que vez  tenemos la  Regresión, queremos saber si la relación entre Las variables es “significativa*”.

Significación O validez general del modelo

se testa la significación del modelo como ecuación De Regresión general. La hipótesis nula:

Ho: B1=B2=…=0

Si El p-valor es < 0,05 (nivel de significación), la hipótesis nula se rechaza, Ya que hay coeficientes de regresión valor distinto de 0.

Los Resultados:

modelo es significativo cuando H0 es rechazada (<0,5) - al menos uno de los coeficientes de la regresión no es nulo

El Test F : la cantidad de varianza en la v. Dependiente es Significativamente mayor que la cantidad que no explica

TEST para Los coeficientes individuales (tstudent)

para determinar que coeficientes son nulos (variables útiles para predecir el valor de la variable dependiente) Ho: B1=0 / Ho: B1≠O)
(Si el p-valor es <0,05, el nivel de significación de la hipótesis Nula se rechaza)

Si eliminamos una variable “el modelo cambia”. Hay Que volver a ejecutar el análisis y obtener un nuevo modelo. (Eliminar las Variables con valores de p-valor<0.05 : el  Modelo cambia pero el valor de R2 no varía, o, el R2 disminuye pero los Coeficientes del modelo permanecen más o menos igual) Técnicas: model-building Techniques, que tratan de encontrar el “mejor modelo” a partir de un conjunto De variables de entrada. Mejor es aquel que menor número de variables que es Capaz de explicar la mayor proporción de la varianza de la Variable dependiente.

Fortaleza de la Relación entre variables

La fuerza de la relación entre Y y el conjunto de Variables X se mide a través del coeficiente de determinación múltiple, R2 . Varía Entre 0 y 1 y es una medida que indica el porcentaje de la varianza de la variable Dependiente, E explicado por el conjunto completo de variables independientes, X1, X2, …

Carácterísticas Del R2:

Cuántas más variables, el R2 incrementa, pero no Quiere decir que el modelo sea mejor. A +  variables +  complejidad. A mayor variable + el número de Maneras que pueden interactuar las unas con las otras. Todo esto resulta en Modelos inestables.

- r2 será mayor cuando las correlaciones Entre las variables independientes sean bajas.

- R2 ajustado.
Después de las primeras Variables introducidas en el modelo, las variables independientes adicionales No aportan mucho al modelo, tienen una baja contribución. Por esta razón, el R2 Es a justado por el número de variables independientes y el tamaño muestral: AjusteR2= r2 – [(k (1-r2))/(n-k-1)]   

N: Tamaño muestral

K: Nº variables indep.

Puede disminuir a medida que añadimos variables al Modelo, ya que estas variables no realizan ninguna contribución al modelo Explicando parte de la varianza de la variable dependiente.

Model building Techniques

Métodos utilizados para identificar el mejor Modelo De Regresión Múltiple seleccionando, de entre un gran número de variables Independientes, un pequeño subconjunto de variables que recojan la mayor parte De la varianza de la variable dependiente. En este proceso, las variables Independientes entran o salen de la ecuación de regresión de una en una. Entre Estas técnicas se encuentran:

Forward Inclusión. Se construye el modelo añadiendo (entered) Variables de una en una, hasta que la incorporación de variables no consigue Mejorar el modelo.

Backward Elimination.Todas las variables están incluidas de inicio y son eliminadas (removed) De una en una hasta que el modelo comienza a deteriorarse.

Stepwise solution.Es Una combinación de los dos métodos anteriores. Forward inclusión se combina con La eliminación de las variables independientes que no verifican el criterio Específico* establecido en cada etapa.

Predicciones:

Una vez que tenemos La ecuación de regresión, podemos utilizarla para predecir los valores de la Variable dependiente, Y, a partir de los distintos valores del conjunto de Variables independientes X.

Dos tipos de predicciones:

valores de Y dentro Del rango de valores de X, interpolación

valores de Y fuera Del rango de valores observados de X, extrapolación.

ResiduosUna medida cuantitativa de la correspondencia entre la línea ajustada y Los datos reales se obtiene estudiando las diferencias entre los valores Observados y estimados de Y para cada valor de X. (e=yi-y^i)

Precisión De la predicción. Standard Error of Estimate (SEE)Es una medida de cuánto varían los datos alrededor de la línea de Regresión. Este estadístico es la desviación típica de los residuos. La Precisión de la predicción viene dada por la variación media de los datos Alrededor de la línea de regresión. (SEE= )

Adecuación del modelo

Un modelo puede Darnos buenas predicciones y tener un alto valor de R2 y aún no ser un buen Modelo de Regresión Múltiple.

Análisis De los residuos (ruido blanco)

Supuestos básicos Sobre los residuos (término de error): Y=Bo+B1X1+…+e

• Media cero.

• Varianza Constante.

• Incorrelados; independientes Entre sí.

• Distribución Normal.

Los Gráficos de dispersiónde los residuos nos proporcionan información útil para examinar la Idoneidad de los supuestos subyacentes y el ajuste del modelo de regresión.

• El supuesto de varianza constante de los Errores pude ser examinado dibujando los residuos contra los valores estimados de La variable dependiente.

·Un Gráfico de los residuos a lo largo del tiempo, o la secuencia de observaciones, Nos ayudará a examinar el supuesto de incorrelación de los residuos. Debe Observarse un patrón aleatorio para que este supuesto sea cierto.

(Abierto... Línea recta):
Gráfico de los residuos que nos indica que la varianza no constante.

(Recto – diagonal):
Gráfico que nos indica una relación lineal entre los residuos a lo largo del Tiempo.

• Graficar los residuos contra las variables Independientes* nos dará evidencias de lo apropiado o no de utilizar un modelo Lineal. El gráfico debería mostrar un patrón de comportamiento aleatorio. Los Residuos deben estar distribuidos aleatoriamente alrededor de cero.

Para decidir si el supuesto sobre si los residuos Presentan una distribución normal es cierto, podemos utilizar el gráfico de Probabilidad normal o un histograma, exactamente igual que se hace en el Análisis de Regresión Simple. Si el examen de los residuos indica que los Supuestos subyacentes de la Regresión Lineal no se cumplen, el investigador Puede transformar las variables en un intento por satisfacer dichos supuestos. Logs, raíces cuadradas, o reciprocas, pueden estabilizar la varianza, hacer que La distribución sea normal, o la relación lineal.

Multicolinealidad surge cuando las intercorrelaciones entre las variables “independientes” Es muy alta. Las variables en el conjunto de variables independientes están Correlacionadas entre si. Cuando esto sucede, puede dar lugar a varios Problemas:

• Las magnitudes así Como los signos de los coeficientes de regresión pueden cambiar de forma Muestra tras muestra, presentando valores ilógicos.

• Se hace difícil Evaluar la importancia relativa de las variables independientes para explicar La varianza de la variable dependiente.

• Las variables Independientes pueden ser incorrectamente incluidas o eliminadas en la Regresión por etapas (stepwise regression)

• Los coeficientes de Regresión no se pueden estimar con precisión, sus desviaciones típicas (standard errors) tienden a ser altos.

Cuando los coeficientes tiene un elevada desviación Típica y, por tanto, presentan un pequeño valor del estadístico t, es posible Que el modelo pueda ser significativo en su conjunto, pero que ningún Coeficiente individual sea significativamente distinto de cero. Esto es una Contradicción y una indicación de que algo va mal!!

La Toleranciaes Uno de los indicadores más útiles para detectar la existencia de Multicolinealidad. Definido para cada variable independiente, como el tanto por Uno de su varianza no explicada por el resto de variables. Siendo R2i el Coeficiente de determinación múltiple cuando la i-ésima variable independiente Es considerada como variable dependiente y se calcula la ecuación de regresión Entre ella y el resto de variables independientes. Un alto valor de R2i Indicaría que la variable independiente i es casi una combinación lineal de las Otras variables independientes. La proporción de varianza no explicada por las Otras variables sería: (1-r2)=tolerancia

Soluciones:

- Un sencillo método para detectar la Multicolinealidad es calcular las correlaciones entre cada par de variables Independientes y ver si existen valores altos cerca de 1 o -1. Si parece que Algunas variables están altamente correlacionadas entre sí, entonces el Analista puede concentrarse en modelos que no incluyan ambas variables, Utilizando solamente una de ellas.

- Alternativamente, el conjunto de variables Independientes puede ser transformado en un nuevo conjunto de variables Predictoras que sean totalmente independientes entre sí utilizando la técnica Del Análisis de Componentes Principales.

- En algunas ocasiones existe un problema con el Tamaño de la muestra y necesitamos obtener más observaciones o casos.

Importancia relativa de Las variables independientesCuando la Multicolinealidad aparece, debemos tener Especial cuidado a la hora de evaluar la importancia relativa de las variables Independientes.

1. Significación estadística. Si los coeficientes de Regresión no son significativos, esa variable se considera de poca o nula Importancia.

2. Incremento en el R2. SI el R2 se incrementa Cuando introducimos una variable en la ecuación de regresión que ya contiene el Resto de variables independientes, esa variable es importante ya que contribuye A explicar la variable dependiente.

3. Medidas basadas en los coeficientes Estandarizados o betas. Las medidas más utilizadas son el valor absoluto de los Betas, o sus valores al cuadrado.

4. Regresión por etapas (stepwise regression). El Orden en el cual las variables predictoras entran o salen de la ecuación de la Regresión puede ser utilizado para deducir su importancia relativa.

Validación cruzadaAdemás De la Multicolinealidad la “sobreestimación” del modelo puede ser un problema Importante. Esta situación ocurre cuando el enfoque “más es mejor” se adopta Para la modelización. Si se agregan suficientes variables al modelo podemos Conseguir un ajuste casi perfecto para el conjunto de variables de entrada que Estamos utilizando. El problema es que el ajuste perfecto es sólo para ese Conjunto particular de datos. Si varía el conjunto de datos entonces el modelo También variará tremendamente, lo que le hace casi inútil para el análisis “what if” y la gestión de escenarios. Un método para evaluar el modelo de éste Y otros problemas es la validación cruzada* utilizada en la Investigación Comercial de la siguiente manera:

1 .El Modelo de Regresión se estima utilizando el Conjunto completo de datos.

2. Los datos disponibles de dividen en 2 partes, la muestra de estimación (50-90% de la muestra total) y la muestra de validación.

3. Calculamos el Modelo de Regresión utilizando sólo los datos de la “muestra de estimación”. Comparamos este modelo con el modelo estimado sobre la Muestra completa para determinar la correspondencia de los signos y magnitudes De los coeficientes de regresión.

4.
El modelo obtenido se aplica a los datos de la “muestra de validación” Para predecir los valores de la variable dependiente, a partir de las Observaciones de contenidas en esta muestra.

5. Los valores observados y estimados en la “muestra de validación” se Correlacionan entre sí para calcular su coeficiente de correlación simple al Cuadrado (simple r2). Esta medida, se compara con el R2 para la “muestra total” Y el R2 de la “muestra de estimación” para evaluar el grado de contracción.

Análisis de Regresión Con Variables DummyLas variables No-métricas (nominales o categóricas) Pueden ser utilizadas como variables independientes si las codificamos como Variables dummy. Y=B0+B1D1+…