Evaluación de Impacto en Proyectos Educativos: Conceptos y Diseños Metodológicos

Aedo cap 1.

Aspectos Introductorios

¿Cuál es el propósito de la evaluación de impacto?

• Determinar si el proyecto produjo los efectos deseados.
• Obtener una estimación cuantitativa de estos beneficios y evaluar si son o no atribuibles a la intervención del proyecto.
• Comprende tanto el estudio de la eficacia de los programas como el de su eficiencia.
• Debe identificar si existen o no relaciones de causa-efecto entre el programa y los resultados.
• Debe construir, a través de métodos estadísticos, un escenario contrafactual.
• La estimación del impacto de un programa sobre un participante intenta establecer la diferencia entre la situación o el cambio que presenta después de haber participado en el programa frente a la situación en que se encontraría si no hubiese sido beneficiario.
• Su análisis se centra en los beneficios de mediano y largo plazo obtenidos por la población beneficiaria del programa (es decir: los beneficios que persisten aunque se deje de participar en el programa).

Cuatro Dimensiones de las Estimaciones de Impacto

• Tipo de variable: ¿Cualitativa o Cuantitativa?
• La muestra.
• Indicador de impacto: pre-post, corte transversal, diferencias en diferencias y marginal.
• Método de estimación.
• Costo... ¿voluntad política y financiera?

Conceptos Relevantes

Eficacia, Eficiencia y Equidad

• La eficacia: Grado en que se alcanzan los objetivos. Tiene en cuenta la calidad y la oportunidad, pero no los costos.
• La efectividad: Relaciona los resultados con los recursos para su realización.
• La equidad: Igualdad, cumplimiento de derechos, justicia.

Teoría de Sen

Mide el bienestar de las personas a través de lo que pueden alcanzar (funcionamiento), y por la libertad que tienen para alcanzar esos funcionamientos (capacidades).

Teoría de Rawls

Evalúa el bienestar social por los medios para alcanzar la libertad. Se basa en dos principios de justicia.

Formas de Igualdad o Equidad

• Igualdad de oportunidades.
• Igualdad de acceso o cobertura.
• Igualdad de insumos.
• Igualdad de efectos o impactos.
• Igualdad de capacidades.

Diseños de Investigación para la Evaluación de Impacto

Diseño Experimental

• El investigador manipula una variable (la intervención), luego se comparan las variables de resultado en los sujetos clasificados de acuerdo con la intervención para obtener la inferencia causal.
• Se utilizan dos grupos de estudio.
• Asignación al azar de los sujetos en cada grupo.
• Contar con estimaciones de la variable de resultado antes y después de un programa.

La aleatorización puede ser difícil por aspectos políticos o éticos, y es difícil mantener el doble ciego.

Diseño Cuasi Experimental

• Crea grupos de beneficiarios y de comparación similares al grupo de tratamiento en características observadas pre-programa usando métodos de emparejamiento o de matching.
• Los grupos de tratamiento y de comparación no se seleccionan al azar, sino que se aplican técnicas de matching para que los grupos sean lo más similares posible.