Cómo plantear objetivos y técnicas de evaluación

Cómo plantear los objetivos

Criterios de validación, ver si objetivo Especifica un resultado o Describe sólo. Concreta cd se logrará el resultado Señala k y cd se hará Es realista y alcanzable Se relaciona con algún principio d organización Es medible Se puede poner x escrito Obj deben ser SMART (Specific, Measurable, Achievable, Realistic, Timescaled) Otras dimensiones a considerar: Naturaleza y contenido de los obj. Orden-nivel: abstracción de los obj, priorizar obj, Multiplicidad de objetivos Plazo en que se prevén sus efectos, Magnitud d efectos, Estabilidad, efectos no esperados d objetivos. Imp ir de > a objetivos: 1. Recoger inf sistemática y “científica”, 2.Emitir juicio de valor 3Algo “funciona” 4Toma de decisiones ante éxito/fracaso, 5Rendir cuentas, 6Utilizar eva xa actuar 7Análisis prospectivo, futuro, planificar 8mejorar, 9Aumentar conocimiento 10Relaciones públicas, 11Identificar necesidades, 12Asegurar eficacia, 13Conocer efectos esperados y “no esperados”, 14Compartir ideas (Feedback), 15Aportar aspectos prácticos 16 autocrítica 17. Dar poder participantes 18. Aumentar calidad

Ejemplo de objetivos

Ejemplo de objetivos Objetivos genéricos (xa adquirir competencias transversales): se destacan 10 del Libro Blanco.Capacidad de análisis y síntesis organización y planificación Conocimiento de informática relativa a nuestro estudio Capacidad de gestión y actualización de la inf, de trabajo en equipo Razonamiento auto-crítico Capacidad xa comunicación oral y escrita Aprendizaje autónomo Motivación por calidad Capacidad xa relacionar conocimientos Objetivos concretos (xa alcanzar competencias específicas). Las competencias son:Conocimientos disciplinares (“saber”) y competencias personales “saber estar”. Competencias profesionales (“saber hacer”) Adquirir aptitudes para planear-diseñar (fase a fase) y desarrollar una investigación Ser capaz de buscar y contrastar información secundaria en diferentes fuentes Producir e interpretar información cuantitativa y cualitativa Saber elegir las técnicas de investigación social (cuanti y cualit)funciones: técnica (recoger inf y transmitir si es pertinente )de control (si es eficaz, eficiente, igualitario) INSTRUMENTAL (si asegura éxito y aumenta calidad)de mejora (si va a suponer calidad)conceptual (si aumenta conocimiento, identifica necesidades y comparte ideas)comunicativa (rendir cuentas, poder a participantes)preventiva (análisis prospectivo, conocer efectos)crítica(recoger inf, emitir juicios de valor)democrática(rendir cuentas, mejorar, poder a participantes).NO conviene evaluar: Si obj no claros Cd no dudas sobre programa: va a continuar o no indep d eva, Cd programa refleja “sospechas” en obj,Cd no hay recursos

Investigación vs evaluación

Investigación vs evaluación: I explicar comprender E énfasis en evaluar, I fases clásicas E fases dependen tipo I raíces profundas s.XVII, E historia + reciente. I enfoque macro E concreto. I dif enfoques sociológicos clásicos, contemporáneos y recientes E distinto autores a los clásicos en sociología pero basados en ellos. I evaluativa o no E se sirve de investigación. I proceso + largo E + breve. I destinada academias E destinado a instituciones privadas y publicas. I xa aumentar conocimiento E xa tomar decisiones. I investigador conoce el sector antes de eva E investigador conoce durante. I informe se publica E no siempre. Relación Análisis – Eva - Inv:Basado en Ballart:investigación social básica no relevancia xa un programa específico, ni a nivel político y social. La eva de políticas públicas tiene imp a nivel social y político, al = q análisis de políticas; tb tiene relevancia xa un programa específico, al = q eva d programas. Auditoria: Aplicación d principios d contabilidad xa examinar una insttitución o depto “Examen completo y constructivo d estructura organizativa d sus métodos de control y empleo de rrhh. Mide el éxito de un sistema y se establece alternativas al igual que la eva. Observatorios: No evalua, objetivo: caracterizar y analizar la realidad social, mediante recopilación, procesamiento, análisis y difusión de datos, para apoyar diseño de políticas sociales. Ej Observatorio de = de Inmigración Seguimiento: monitorización es Interna, permanente-continua y periódica. No implica “enjuiciamiento”. La eva va + allá del seguimiento, + global y profunda. Compromisoytransparencia: rankings de transparencia de partidos, fundaciones, univ, autoridades. injuve.es actividades q fomentan acción de los jóvenes, erasmus, programas y servicios fundacionlealtad promueven donaciones a ONG, transparencia y buenas prácticas de estas. revistaprimasocial relacionada con las ccss y su investigación inmujer.gob desde el Instituto de Mujer y la perspectiva feminista, temas relacionados con la eva de las políticas públicas.

En investigación las fases

son siempre =, en eva no, 2 tipos: 1.eva tradicional: Identificación de necesidades, Planificación, diseño Puesta en marcha, eva. 2 eva actual (adaptado de Alvira) Eva necesidades (esta es previa), Eva d conceptualización, intervención, Eva de implementacion, cobertura, proceso, resultados, impacto, Eva final. Esquema de Fdz Ballesteros con fases d eva: Demanda del cliente-negociación, Familiarizaron con el objeto y el cntx (entrevistas abiertas), Decisión sobre la viabilidad, det aspectos básicos Diseño y elaboración del proyecto de eva, Trabajo de campo, Procesamiento, análisis e interpretación, Elaborar un informe final y presentarlo, Divulgación y uso de resultados y recomendaciones, meta-eva, no son consecutivas hay k hacer 3: antes, durante (trabajo de campo) y después. Malos usos eva: Ev´r no tenían claro tipo, xa qué, Organización no tiene depto eva, Forma distribución de resultados y recomendaciones, Personalidad-forma de ser de las partes y relación entre ellos, Falta presupuesto xa aplicar resultados, Intereses en “ocultar” resultados, Confusión entre producir y utilizar Eva no es práctica ni útil por: incompetencia e’rs, métodos inapropiados, presentación incomprensible, Falta “cultura evaluativa” Cómo mejorar eva: 1. mejores informes, producción, estrategia dirigida a usuario, trabajando a un nivel + individual, al nivel de programas, de intervención concreta Monnier: Considerar dif elementos organización y programa. Ser claro en difusión informes, en criterios de juicio, info de varias fuentes, habilidades y credibilidad de e’rs, cumplir plazos, flexibilidad metodológica,… Para que eva sea práctica y útil proceso eva será: flexible, creativo continuo, participativo, planificado, capacidad de respuesta a problemas del programa.

Cuestiones éticas: códigos deontológicos

Procurar cumplir el protocolo, principios, estándares o normas básicas.Implicar a todos los participantes que parezca pertinente Negociaciones varias: con los implicados, especialmente con los más vulnerables, los trabajos y aportaciones de participantes, los resultados de diferentes puntos de vista. Consentimiento o permiso voluntario de información: Obtener autorización antes de observar, Para examinar documentos privados, Para citar transcripciones, Poder informar de eva. Privacidad en mantener inf: Cuidar confidencialidad, Anonimato, Privacidad en caso de realizar reuniones Cuidado respeto sobre todo en grupos vulnerables Contar el procedimiento transparencia Crear “comités de ética” por grupos/áreas, para co-evaluar, evaluación por pares anónimos. Estándares xa evaluación de programas: cumplir 4 caract: utilidad: eva servirá xa responder a necesidades de inf de usuarios. viabilidad: asegurar q eva sea realista, prudente, diplomática. Asegurar q eva sea legal y ético, respetando el bienestar d implicados.precision:asegurar q eva revelará y divulgará inf técnicamente adecuada sobre rasgos q det mérito del programa evaluado

Rol del sociólogo: rol del usuario/rol del evaluador/estilo dominante ev´r/objetivo:

financiadores, juez, autoritario,independencia, otorgar valor a un programa/ miembros de staff, independiente, meticuloso, rendir cuentas, obediencia/académicos, investigador, conocedor, experto metodológico, generar conocimiento/ staff del programa y administradores, mejorar el programa, interactuar, empatizar, buscar la mejora/ implicados, facilitar eva, disponibilidad, habilidades de grupo, facilitar juicios/ equipo diseñador, evalúa, participativo, liderazgo analítico, desarrollo del programa/ staff-plantilla del programa investigan, participantes en programa búsqueda de agenda política, camaradas ideológicos se encargan de la justicia social y los planificadores juzgan calidad de eva. situaciones eva y habilidades necesarias: ante controversia, negociación y diálogo/ programa poco conocido, hacerlo público/ cntx volátil, capacidad rápida de respuesta, flexible/ problemas multiculturales, sensibilidad, incorporar perspectivas/ poca eficacia, identificar habilidades indiv/ eva criticada, centrar aspectos clave/ corrupto interesado, honestidad, ética, integridad. Brown: “El rol del e’r: textos para un debate” E’r a veces “atrapado” entre contradicciones y roles diferentes según quien exija Nuevos roles de los e’rs: científico, académico, relaciones públicos, animador, consejero o asistente técnico... Ferguson: propone evaluación de “insiders” y otra de “outsiders”, formar para autoevaluación después del e’r.

Técnicas de eva:cuantitativas

Técnicas cualitativas:1. Técnicas de conversación y narración: entrevistas en profundidad, grupos de discusión, historias de vida y autobiografías. 2. Técnicas de observación y participación: observación no participan, OP, investgacion-accion participativa. 3. Técnicas de lectura y documentación: análisis de contenido y de fuentes secundarias. Método Delphi. Los distintos métodos se pueden: complementar, combinar o converger.Las técnicas + aplicadas en evaluación de necesidades: encuesta, informes clave, indicadores, GD; evaluabilidad: análisis de documentos, entrevistas a profesionales, observacion, GD; implementación: observación sistemática y participante, encuesta, datos internos; resultados: experimentos, encuestas; impacto: indicadores ss, GD, encuesta… eficiencia, costo-beneficio: técnicas económicas, indicadores socioeconómicos. La eva cuanti también puede ser participativa, la cuali puede ser más o menos participativa y la eva participtiva tiene técnicas cuali y cuanti(+esta)

TYLER:

Pionero en eva educativa. Carct eva: Comparación resultados con objetivos previos. Antes de Tyler eva se centraba en estudiante y sus logros Ahora: en programa y sus objetivos . Principales interesados en eva: Directivos, ejecutores. Rol evaluador: Técnico, metodólogo, descriptivo. Criterios xa evaluar:basarse en coincidencia resultados-objetivos. Métodos y técnicas cuanti (tests, estadísticas…) Inversión + tiempo en instrumentos, en trabajo de campo+ que en participación. Etapas q propone: 1Establecer objetivos, 2Ordenarlos 3Definirlos 4establecer situaciones 5Explicar estrategia de los obj 6desarrollar medidas y técnicas apropiadas, Recopilar datos de trabajo, Comparar datos con objetivos de comportamiento. pros: Aporta info y datos objetivos Eficiencia metodológica Puede ser guía de aprendizaje. contras: Olvido de resultados no esperados. Obj no claramente definidos Solo eva al final, No considera otras actividades. STAKE Cofundador del instituto CIRCE. Trabaja en varios proyectos p.e. evaluación de la Academia de Profesores de Ciencias y Matemáticas d Chicago. Fue uno d los 1º defensores d métodos cuali en eva Además, afirma q ccss no se encargarán nunca de encontrar causalidades, Según este autor, la eva debe emerger d observación del programa y debe orientarse a identificación d intereses y necesidades de receptores del programa. Ventajas: facilita cambios en programa al iniciar su análisis desde el comienzo del mismo, devuelve el control a nivel local. Desv: no siempre se puede analizar el programa desde el mismo, el control local no siempre es positivo.Stake va a proponer el estudio de caso: posibilidad d introducirse completamente en la realidad. Esta metodologia necesita mucho tiempo xa observación del programa y es necesario tener una comunicación continua con interesados.

Tyler vs Stake:

Evaluación preordenada Tyler: objetivo es hallar hasta q punto alcanzados objetivos, frente a evaluación respondente de Stake fin es ayudar a clientes. Tyler lleva la evaluación hasta donde se había acordado, Stake alcance + amplio. T los contratos entre partes deben ser formales, específicos amplios obligatorios, S acuerdos dbn ser flexibles, generales, sin límites. T recoger datos xa ver si objetivos cumplidos, S conocer actividades y problems del programa. T se planifica por adelantado S planificación abierta. T método experimental cuanti, S método naturalista cuali T uso test, experimentos, estadísticas, muestreo, S uso de estudio de casos, observación, muestreo. T comunicaciones entre evaluador y cliente formales e infrecuentes S informales y continuas.T prioridad es producir informes objetivos y rigurosos T prioridad k informes sean útiles xa quienes intervienen. T uso de procedimientos objetivos y perspectivas índep xa evitar sesgos S reproduce y define términos subjetivos.

Modelo CIPP.

Modelo propuesto en los ‘60 por Stufflebeam q se opone al modelo tyleriano. Defiende q la eva proporciona inf útil para toma de decisiones y solucionar problemas, se basa en 4 siglas: Contexto, Input, Proceso y Producto, en base a la estrategia que se deba llevar.Eva del contexto (designación de metas) Eva de los inputs (dar forma a las propuestas) Eva del proceso (guía para la realización de propuestas)Eva del producto (guía xa toma de decisiones: continuar o no) Es una eva dirigida al perfeccionamiento, a emitir juicios y descripciones xa toma de decisiones y la comprensión d fenómenos. Proporciona inf continua y sistemática que ayudará a los directivos y al personal enc

argada de la evaluación, aportando inf sobre necesidades, recursos, resultados, eficacia…Eva pluralista. rechaza la eva ‘imparcial’ y ‘objetiva’. Evaluaciones ‘sensibles’ a los intereses de actores q participan en la eva. Rol del evaluador: valora las necesidades de inf de la pluralidad de participantes en programa. Eva participativa. El modelo de evaluación se forma gradualmente mediant colaboración d todos los actores implicados y su participación activa en el proceso de eva. Así, este enfoque incrementa % de q los resultados alcanzados x la eva sean utilizados xa mejorar la actuación pública. Ejemplos: UNESCO. Eva orientada a utilización. respuesta al fracaso de eva experimental. Liderada x Patton,El principio básico: obtención de inf q permita tomar decisiones que sean de utilidad xa eva. Análisis de evaluabilidad Saber si se contribuirá a mejorar el programa. Identificar características e indicadores del programa. Evaluación Libre de Metas: Scriven El evaluador evita la inf relacionada a las metas. Tampoco tiene metas preconcebidas para no fijar el foco de atención. Se tiene un contacto mínimo con miembros del programa. Sin dicha inf, el evaluador puede anticipar los efectos del programa. la eva libre de metas se enfoca en los efectos

6. Tipos de eva: 1. Según tiempo: previa o exante, pre facto, intermedia, post facto. 2. Tipo de participacion: externa, mixta o interna o participativa. Evaluador interno Contratado x organización q evalúa Trabajo continuado, “informal” Forma parte d org que evalúa Pueden ser: sociólogos, psicólogos, abogados, economistas Roles: comunicador, apoyo, decisiones, planificador pros: -Integradora, motivadora, acogedora, menos amenazante, Más flexible con necesidades y tiempos…, Especial interés en hacer un eva con éxito Conoce la dinámica de la organización, más económica, rápida, control y uso de la eva, Favorece reflexión y autoaprendizaje, autoeva. contras:  Puede ser manipulado para que ofrezca unos resultados +. Puede ser “cualquiera” al que encarguen eva sin saber evaluador externo Generalmente bajo contrato x los sponsors Trabajo puntual, “formal” No es parte d organización a evaluar. Puede derivar de distintos org(unis, privado, independiente) Suele tener formación y experiencia en eva Roles: técnico, experto, intermediario.contras: No es integradora. Intimida + alguien de fuera. Más formal, tareas estructurada x tiempos. Ningún interés (en principio) en que eva tenga resultados Más difícil conocer dinámica y características org - Más cara lenta, desplazamientos, esfuerzos… Se controla menos eva y situación Puede favorecer reflexión y autoeva o no pros:  Más difícil que sea manipulado, + independiente El evaluador contratado es el responsable, Suele tomar parte de las decisiones Supuesta objetividad, > credibilidad? Se “lleva” el conocimiento para analizarlo externamente.

6.eva de resultados:meta-evaluacion: Algunos consideran fase previa a eva. Enfoques-tipos: 1. Eva d otra eva  2. Análisis de resultados de varias eva, crítica de informes eva, resumen de resultados de eva 3. Repetir una eva acabada reanalizando datos... 4. Revisiones externas de eva internas 5. Eva de funciones de eva en una organización 6. Meta-eva sumativa/formativa, meta-eva para comparar diseño, para contrastar impacto, etc. Objetivo: realizar una meta-evaluación es evaluar un informe evaluativo que otros evaluadores han realizado.  Ventajas: Ahorro de tiempo Coste reducido, Nula reactividad (técnica más “natural” junto a la “observación”) Supuesta “objetividad” pues no se puede/debe modificar apenas la info obtenida Ofrece gran Q  de inf de diferentes autores, periodos, estudios, métodos, etc. En países anglosajones + meta eva porque tiene + eva, obviamente. Más difícil en España. Considera distintas perspectivas y la calidad de distintos programas, contrasta. Fácil accesibilidad a info Probar calidad y mejorar uso de la eva. Aumenta credibilidad al área evaluativa. limitaciones: Muestra limitada a la existencia de estudios e investigaciones. Hay muy pocasDifícil comparabilidad por las disparidades (método, técnicas, muestras...) de los estudios a contrastar. Diferentes métodos, tipo de info emplaada, dif perspectiva política... dficultan la comparación. Nula participación de sujetos investigados Dificultad elaboración indicadores e índices para contraste. Distanciamiento objeto-investigador: falta implicación.