Evaluación de Programas: Eficacia, Impacto y Criterios Metodológicos

Evaluación de Programas: Eficacia, Impacto y Cuestiones Previas

T6. Las evaluaciones de “cierre” del ciclo se centran en las consecuencias y la utilidad de los programas. Abordaremos las nociones de eficacia e impacto de los programas desde una perspectiva positivista, prestando especial atención a la evaluación del impacto por su carácter más ambicioso.

Eficacia

Se presta especial atención a:

• Grado de consecución de los objetivos del programa.
• Identificación de los factores responsables del desajuste entre objetivos esperados y objetivos alcanzados.
• Utilidad del programa a la vista de su eficacia.

La evaluación de la eficacia es útil para adoptar decisiones relacionadas con la continuidad y el diseño del programa. Su metodología es cuantitativa, basada en la construcción y explotación de sistemas de indicadores que traducen operativamente los objetivos. A medida que la evaluación de eficacia, centrada en objetivos, va “alzando el vuelo”, empieza a parecerse a la evaluación del impacto.

Impacto

Se presta especial atención a:

• Cambios observados en el problema.
• Identificación de las causas del cambio en el problema.
• Efectos del programa sobre las poblaciones.
• Utilidad del programa a la vista de su impacto.

La evaluación del impacto es útil para adoptar decisiones relacionadas con la continuidad y el diseño del programa. Su metodología (en clave positivista) es cuantitativa, con diseños de evaluación preferentemente experimentales. El diseño importa.

No hay un concepto unívoco de impacto. Cohen lo define como la diferencia existente entre un conjunto de características iniciales y las características finales observadas en la ejecución de un programa o proyecto. Esta situación inicial versus situación final se operacionaliza a través de la fijación en un sistema referencial de una línea base y una línea de comparación (LB - LC).

La evaluación de impacto busca acercarse a los efectos o consecuencias observables que un determinado proyecto transfiere a su población objetivo, y medir o cuantificar los resultados obtenidos sobre un grupo social cualquiera que es expuesto a una variable experimental.

Conceptos Clave en Evaluación

La metodología de la evaluación supone que existen relaciones causales.

Condiciones de Causalidad:

• Cuando cambia la causa, cambia el efecto.
• Relación entre causa y efecto irreversible.
• Pueden existir otras causas que influyan.
• Inexistencia de explicaciones alternativas.
• Comportamiento lógico de las variables.

Para tener legitimidad, la evaluación debe cumplir ciertos requisitos metodológicos, en especial relativos a la validez y la fiabilidad de sus mediciones.

Validez

Hay validez cuando se ha medido lo que se pretende medir, por lo cual los datos recopilados pueden utilizarse para el propósito con que fueron recogidos.

Validez Interna

Se relaciona con el mínimo de casos que se necesitan para interpretar un experimento.

Validez Externa

Tiene que ver con la generalización del resultado obtenido.

Fiabilidad

La fiabilidad es la estabilidad y la exactitud de la medición. Una medición es fiable si un instrumento aplicado repetidamente sobre el mismo objeto de análisis entrega los mismos o similares resultados.

Los errores de medición pueden ser aleatorios o sesgados. Si la distribución del error es aleatoria, ellos tenderán a compensarse en una serie de mediciones suficientemente grande. Si existe un sesgo sistemático en los resultados obtenidos, el instrumento utilizado no es fiable.

La fiabilidad es una condición necesaria para la validez.