Evaluación de Impacto: Metodologías y Diseños para Medir la Causalidad

Evaluación de Impacto: Metodologías y Diseños para Medir la Causalidad

El Problema de la Causalidad en la Evaluación del Impacto

Nos enfrentamos a un problema fundamental en la evaluación del impacto: la causalidad. Cabe preguntarse hasta qué punto los resultados obtenidos son atribuibles a la reforma o intervención llevada a cabo y no a otros factores externos.

Para abordar esta cuestión, se comparan los datos reales obtenidos por la intervención con los de una alternativa de referencia. Es decir, comparamos la situación actual con otra, que puede ser:

• Fáctica: Si se compara con algo real. Por ejemplo, con otra ciudad que no haya implementado la reforma.
• Contrafáctica: Si se compara con la misma situación pero antes de realizar la reforma. Este es el enfoque contrafáctico aplicado a la reforma.

Principales Diseños para la Valoración del Impacto

I. El Experimento Clásico Puro

Este es el criterio más exigente para la valoración del impacto. Se emplean dos grupos aleatorios:

• Un grupo experimental, al que se aplica el tratamiento o intervención.
• Un grupo de control, al que no se le aplica nada, tan solo se observa su comportamiento.

Lo ideal sería poder conseguir el “Efecto conejillo de indias”, que ocurre cuando el sujeto del experimento es consciente de la evaluación y, por lo tanto, cambia su comportamiento. Por ejemplo, si se difunde un rumor, esto puede llevar a lo que se conoce como “profecías autocumplidas”.

Opciones para Atenuar el Efecto Conejillo de Indias:

• Secretismo: No informar sobre el experimento, es decir, no se dice nada sobre si se está aplicando la política o no.
• Efecto placebo: Consiste en distraer la atención del sujeto para que este piense que el experimento es otro. Por ejemplo, se dice al grupo experimental que el objeto del experimento es distinto al real.
• Diseño de 4 grupos de Salomón: Se escogen cuatro grupos. En los dos primeros, se informa de que se va a realizar el experimento y se escoge de forma aleatoria un grupo experimental y uno de control. En los otros dos, no se informa de que se va a realizar el experimento, e igualmente se establece un grupo experimental y otro de control.

II. Cuasiexperimentos o Controles Equiparados

En este tipo de diseño, es fundamental una buena teoría de la intervención, ya que nos permite determinar las características que buscamos en los sujetos y, por tanto, asegurar que los grupos sean equivalentes. Suelen escogerse métodos más flexibles.

III. Controles Genéricos y Controles Estadísticos (Dos Grupos)

• Controles Genéricos: En un colectivo (generalmente una ciudad) se aplica una determinada política (cobertura parcial) y se comparan los resultados con un territorio o población mayor (por ejemplo, una región o un país) donde no se está aplicando la política. Es decir, es un grupo de control que no es aleatorio ni equiparado.
• Controles Estadísticos: Se utilizan en los programas de cobertura total, es decir, aquellos que se aplican a nivel regional o nacional, pero se segmenta la población según una variable relevante (sexo, raza, edad, etc.) y se comparan los resultados de los dos subgrupos.

IV. Controles Reflexivos y Controles a la Sombra (Un Grupo)

• Controles Reflexivos: Solo se utiliza un grupo, por lo que el grupo de estudio es el grupo de control, y no hay un grupo de referencia externo. La comparación se hace entre la situación anterior y posterior a la puesta en marcha de la política.
  • Diseño de series temporales interrumpidas.
  • Diseño de un grupo antes y después.
• Control a la Sombra: Se basa en el juicio de individuos expertos o gestores de la política, quienes informan sobre cuál es la senda o tendencia que se ha seguido tras la reforma y cuál sería si no se hubiera aplicado la política.

  Problema: Este método es menos riguroso, ya que depende del acierto del evaluador.