Avaluació de Programes en Educació Social: Guia Completa

1. Finalitat de l'Avaluació

En aquest apartat analitzarem les diferents intencionalitats que pot tenir una avaluació i com aquestes determinen el procés avaluatiu i condicionen les diferents passes a seguir.

Hi pot haver moltes intencionalitats a l’hora d’avaluar un programa d’educació social. Per exemple, pot ser part d’una activitat de seguiment de la institució o organització que el dissenya, planifica o desenvolupa per saber si el programa és eficaç o no, i si no ho és, introduir modificacions substancials. Una altra finalitat pot ser identificar punts febles d’un programa que s’ha desenvolupat per tal de millorar el disseny d’un futur programa o per decidir entre dues alternatives d’acció.

Una finalitat o intencionalitat de l’avaluació que està en auge és la demanda d’informació sobre els programes socials i educatius; aquest moviment ha contribuït de manera decisiva a l’expansió de l’avaluació educativa (Tiara, 2009). En aquest sentit, la rendició de comptes (accountability) s’origina per tal de conèixer els beneficis aconseguits amb els recursos socials invertits en educació o en programes socials. Els programes han de respondre a les demandes de les autoritats i dels ciutadans i s’ha de proporcionar la informació necessària sobre el seu funcionament i els seus resultats.

El moviment de rendició de comptes es basa en:

• ...

Per tant, l’avaluació pot utilitzar-se com un instrument de rendició de comptes o com un instrument per optimitzar o perfeccionar la intervenció educativa i social. La intencionalitat de l’avaluació no és una qüestió intranscendent, ja que incideix en tot el procés avaluatiu, és a dir, determinarà els diferents elements del disseny o de la planificació avaluativa. Per exemple, quins instruments són els més adients per recollir la informació, quina utilització es farà dels resultats, quines persones intervindran en l’avaluació, quines seran les fonts d’informació, etc.

L’avaluació formativa ajuda a totes les persones que intervenen, tant les que dirigeixen, planifiquen o actuen, a millorar la seva acció. L’avaluació formativa es pot aplicar a qualsevol fase d’una intervenció amb la finalitat de perfeccionar-la, abans de ser “un producte acabat”.

La participació de les persones afectades per l’avaluació és important perquè el procés comporti reflexió i millora sobre l’objecte avaluat. La participació dels grups d’interès en el procés avaluatiu i en la determinació dels aspectes a avaluar, en la selecció dels criteris a utilitzar, en l’ús que es farà dels resultats, en l’elecció de les tècniques i fonts de recollida d’informació, en l’anàlisi de la informació, etc., serà cabdal perquè l’avaluació sigui un instrument de reflexió i de canvi.

De la mateixa manera, l’objecte de l’avaluació sumativa o de control pot ser qualsevol component del cicle formatiu però, a diferència de l’avaluació formativa, és un procés que, molt sovint, es manté extern al programa.

B. Stake va exemplificar la diferència entre l’avaluació formativa i la sumativa en comparar les funcions d’un cuiner, que va tastar la sopa que va preparar abans de servir-la als comensals del seu restaurant —avaluació formativa— i dels comensals quan la tasten —avaluació de caràcter sumatiu.

A la pràctica, l’avaluació se situa en un punt al llarg d’un continu, on a un extrem es troba una avaluació totalment sumativa i a l’altre una avaluació purament formativa. És a dir, a la pràctica una avaluació tindrà una tendència més cap a la dreta o cap a l’esquerra, però en molt poques ocasions serà totalment formativa o totalment sumativa. Una avaluació tindrà un percentatge de càrrega sumativa i un altre de formativa (Cabrera, 2003).

En el quadre adjunt el lector pot veure de manera gràfica una escala per seleccionar la naturalesa de l’avaluació; el quadre no és igual però és una adaptació del de Cabrera, 2003, pàg. 30.

L’avaluació formativa contesta a qüestions del tipus: com es pot millorar el programa?, quines activitats són les millors per assolir els objectius previstos?, com solucionar els punts febles del programa?, etc. Mentre que les qüestions de l’avaluació sumativa són del tipus: quin programa és el més eficient?, quins resultats s’han obtingut?, quin programa ha estat el més eficaç?, etc.

L’avaluació sumativa i formativa són complementàries i, a la pràctica, el més freqüent és que l’avaluació se situï al llarg d’aquest continu. En el fons, el control generalment duu a la millora de la qualitat de l’objecte avaluat. Ara bé, si volem canviar actituds, formes de fer, el control és insuficient i és necessari apostar per una avaluació més participativa, de responsabilitat compartida per totes les persones que tenen interessos legítims en les accions avaluades. D’aquesta manera, l’avaluació s’entén com una activitat democràtica i pluralista en la mesura que els diferents actors poden donar lloc a diferents valors, opinions i criteris de valoració (Cabrera, 2003).

2. Avaluació Integrada en la Intervenció Social

Tradicionalment s’ha concebut l’avaluació com l’últim pas de la tasca d’intervenció, com una valoració de la feina realitzada. Actualment, però, l’avaluació es concep de manera integrada en el procés complet d’intervenció, des de la detecció i avaluació de necessitats, la planificació o l’impacte del programa. Aquesta concepció té una implicació addicional, que consisteix que l’avaluació no s’aplica solament sobre els resultats, sinó sobre totes les fases d’aquesta (Alvira, 1991).

Als seus orígens, el procés d’avaluació era relativament senzill, però amb el temps ha passat a ser una activitat complexa i un instrument poderós que vetlla per la qualitat de l’educació i que contribueix al desenvolupament professional de les persones implicades.

Actualment, l’avaluació està totalment integrada i interrelacionada amb el procés d’intervenció. S’ha superat la creença tradicional de lligar-la únicament a l’etapa final del cicle educatiu, a la valoració dels resultats finals. A l’avaluació tradicional no s’avaluava el disseny o el procés, sinó únicament els resultats, i si el programa educatiu no funcionava, només ho sabíem quan ja havia finalitzat.

Com hem argumentat, l’avaluació està present en totes les fases del procés d’intervenció: avaluació de necessitats i de context, avaluació del disseny, avaluació de la implementació o de procés i avaluació de resultats. Vegeu el quadre adjunt que representa gràficament la interrelació entre les diferents fases de la intervenció i el procés avaluatiu.

3. Investigació Social i Avaluació: Diferències

En aquest apartat sintetitzarem les principals diferències i semblances entre la investigació social i l’avaluació.

Les dues activitats es guien pels cànons científics, però l’avaluació ha de resultar útil per a la presa de decisions. L’activitat avaluativa està condicionada pels problemes que interessen a les audiències o grups d’interès i té un caire clarament contextualitzat.

L’avaluador està compromès amb el coneixement social, igual que l’investigador, però també ho està amb l’aplicació del coneixement. L’investigador convencional defensa l’objectivitat com un valor imprescindible, evitant realitzar una funció valorativa. El seu objectiu és descriure i explicar com són les coses, no com haurien de ser. D'altra banda, l’avaluador rebutja la idea de ciència lliure de valors, i el seu principal objectiu és emetre judicis de valor sense perdre la qualitat científica dels seus resultats. D’aquesta manera, el contacte de l’avaluador amb la realitat és major i compagina els factors polítics i ideològics amb la qualitat científica dels seus resultats. D’altra banda, els avaluadors empren un ampli ventall de teories i mètodes d’investigació per tal de donar resposta a les qüestions avaluatives.

Una altra diferència és el tipus d’audiència: mentre que la de l’investigador són bàsicament les persones del seu camp d’especialització i la literatura científica, la de l’avaluador és el destinatari del seu treball avaluatiu i la seva valoració es fa a partir del grau de contribució a la solució dels problemes socials (Rebolloso, 2008).

4. Fases del Procés d'Avaluació

De manera simplificada, es podria equiparar l’avaluació amb un procediment d’investigació convencional (objectius, disseny, recollida i anàlisi de la informació, etc.). Una diferència rellevant és que les qüestions avaluatives, molt sovint, no s’originen només en l’investigador, sinó en les audiències a les quals serveix. Tot procés avaluatiu s’ha d’organitzar segons la seva intencionalitat i a partir de les necessitats dels grups interessats. L’avaluador es preocupa per donar resposta als interrogants plantejats i per trobar i presentar la informació de manera que arribi a les diferents audiències.

Les fases del procés d’avaluació són les diferents etapes que s’han de seguir per portar a terme correctament una avaluació formal o sistemàtica. És a dir, les diferents passes que hem de seguir per dur a terme, a la pràctica, una avaluació.

La informació recollida durant el procés avaluatiu ha de tenir en compte alguns criteris fonamentals. Els criteris estaran condicionats pel paradigma i el model en què s’insereix, i en conseqüència per la metodologia que fan servir.

En el cas d’estudis avaluatius quantitatius, la validesa, la fiabilitat, la significació o la representativitat seran alguns dels principals criteris. En el cas d’estudis de tipus qualitatiu, els criteris s’orienten més aviat cap a la validesa externa, la credibilitat, etc.

Més enllà de la dicotomia paradigmàtica, segons Ernst House, en tota avaluació hi ha tres criteris fonamentals: veracitat, credibilitat i correcció.

La veracitat fa referència a la dimensió de la veritat; les avaluacions han de prestar atenció als seus destinataris i grups d’interès i donar resposta a les seves demandes. Per aquest motiu, la negociació ocupa un lloc en el procés avaluatiu. Des d’aquest punt de vista, l’avaluador ha de mantenir una postura d’imparcialitat.

Credibilitat: el criteri fa referència a què l’avaluació ha d'aconseguir ser creïble, és a dir, digne de confiança per als seus destinataris; aquesta augmentarà si l'avaluació és coherent, equilibrada i persuasiva, o sigui, que té la capacitat de convèncer.

La correcció fa referència a la dimensió de la justícia; cal tenir en compte les implicacions i conseqüències socials de l’avaluació. L’avaluació ha de ser democràtica, equitativa i estar basada en els valors morals (imparcialitat, equitat, etc.).

Per tal d’operativitzar el camí a seguir per realitzar una avaluació, dividirem el procés avaluatiu en quatre fases, que van des del moment en què l’avaluador rep la demanda d’avaluació fins que presenta l’informe final.

4.1. Fase A: Origen de l'Avaluació

El procés d’avaluació s’inicia amb l’encàrrec de l’avaluació. A vegades es proposa una avaluació a un determinat avaluador per la seva experiència i competència reconeguda dins el camp, i a vegades es demana la mateixa avaluació a diversos equips per tal que facin l’avaluació sobre un mateix programa, per obtenir estudis complementaris que poden proporcionar diferents enfocaments.

Què hem de fer una vegada que rebem l’encàrrec o la proposta d’avaluació?

1) Familiaritzar-nos amb el programa, l’organització o l’objecte d’avaluació

Una vegada rebut l’encàrrec de l’avaluació, és molt important familiaritzar-nos amb el programa o objecte d’avaluació. Una bona pràctica pot ser recollir informació (web, tríptics...) sobre l’organització que ens demana l’avaluació i sobre el programa o aspecte a avaluar.

2) Interacció amb el client i/o les audiències, negociar i concretar la demanda

La relació amb el client és el més important d’aquesta primera fase (A). L’avaluador ha de tenir l’oportunitat d’entrevistar-se amb ell i de formular-li unes preguntes i qüestions. La informació recollida a l’entrevista serà la base per dissenyar o planificar tot el procés d’avaluació.

Quines qüestions hem de formular?

1) Qui demana que es faci l’avaluació? (el demandant pot ser: l’administració educativa, el director, els usuaris o beneficiaris del programa, els professors o monitors, el personal que hi treballa, etc.).

2) Per què i per a què es vol avaluar el programa? Per poder fer el disseny d’avaluació (fase B) adequadament, hem de saber quines són les conseqüències últimes que l’avaluació pot tenir, quina és la intencionalitat de l’avaluació. Aquest aspecte és molt important, ja que condiciona totalment els diferents elements del nostre disseny (qüestions avaluatives, avaluadors, metodologia, fonts d’informació, tipus d’informe, etc.).

3) Quin tipus d’informació necessita el nostre client i els grups d’interès o audiències? (Per exemple, tal vegada sigui informació molt concreta per conèixer els punts febles i forts d'un determinat centre on s’imparteix un programa, informació general del que passa en tots els llocs on el programa s’està implementant, etc.)

4) Quin és el grau d’acceptació de l’avaluació entre els implicats? (És a dir, en quin grau els interessats s’implicaran i participaran en el procés d’avaluació).

4) Quina informació tindrem al nostre abast durant el procés d’avaluació? (Hem de saber si podem comptar o no amb els arxius, els documents, l’accés a les bases de dades, l’accés al centre...).

5) Quan cal tenir acabat l’informe d’avaluació? Abans d’iniciar el nostre disseny, hem de conèixer amb exactitud quan hem de lliurar l’informe final d’avaluació; aquest aspecte condicionarà el nostre quefer.

6) Amb quins recursos comptem? L’avaluador necessita conèixer aquest aspecte, ja que segons quins siguin els recursos econòmics a la seva disposició, planificarà una metodologia o una altra de recollida d’informació.

3) Avaluar l’avaluabilitat

Una vegada que l’entrevista amb el client o amb els grups d’interès ha conclòs i que hem concretat la demanda i les seves necessitats, arriba l’hora de valorar la viabilitat de l’avaluació.

Abans de decidir si acceptar o no un encàrrec d’avaluació determinat, l’avaluador ha d’avaluar la seva avaluabilitat. Això vol dir que prèviament a iniciar el disseny o la planificació, hem de valorar la viabilitat de l’avaluació, és a dir, determinar en quina mesura es donen una sèrie de condicions que possibiliten realitzar-la amb facilitat o no.

Quin és el concepte d’avaluació de l’avaluabilitat?

L'avaluació de l’avaluabilitat és un intent sistemàtic per descriure el que es pretén avaluar, analitzar la plausibilitat i susceptibilitat de ser avaluat i identificar les barreres i les limitacions que poden sorgir en l’avaluació (Cabrera, 2003).

La valoració de l’avaluabilitat la va descriure Wholey (1979) per primera vegada, intentant donar resposta als problemes, tècnics o polítics, que es presentaven en moltes avaluacions on, una vegada iniciades, es posava de manifest la inutilitat, les dificultats o, fins i tot, la impossibilitat de dur-les a terme.

Quina utilitat té avaluar l’avaluabilitat?

Valorar l’avaluabilitat ajuda l’avaluador a: determinar si es donen les condicions necessàries per realitzar l’avaluació, identificar potencials dificultats o barreres que pot trobar durant el treball de camp, prendre la decisió de si acceptar o no dur a terme una avaluació, dissenyar el procés avaluatiu amb garanties d’èxit, etc.

Com es fa a la pràctica l’avaluació de l’avaluabilitat?

Abans d’iniciar l’avaluació, doncs, l’avaluador ha de reflexionar sobre si és possible i factible dur-la a terme. Alguns elements de reflexió són els següents:

• Nivell d’acceptació de l’avaluació (és acceptada l’avaluació entre les persones afectades?)
• Utilitat de l’avaluació (existeix voluntat d’utilitzar els resultats de l’avaluació?)
• Rellevància de l’objecte d’avaluació (és rellevant o important el que es desitja avaluar per justificar l’avaluació?)
• Viabilitat conceptual i metodològica (l’objecte a avaluar està suficientment definit i estructurat?)
• Oportunitat dels resultats de l’avaluació (es poden obtenir els resultats o concloure el procés quan calgui?)
• Preparació dels avaluadors (tenen els avaluadors la preparació tècnica i humana per fer front al projecte?)
• Viabilitat financera (existeixen els mitjans econòmics i materials per fer front a l’avaluació?)

A continuació es presenta un quadre que exposa un llistat de qüestions, no exhaustives, sobre les quals l’avaluador ha de reflexionar i respondre per avaluar l’avaluabilitat d’una proposta.

Quadre d'avaluació de l’avaluabilitat

4.2. Fase B: Planificar o Dissenyar l'Avaluació

Un cop recollida tota la informació de la fase anterior, ja estem en disposició de fer el disseny de l’avaluació. En aquesta fase, l’avaluador planificarà i dissenyarà l’avaluació, tenint en compte els resultats de l’avaluació de l’avaluabilitat realitzada. Per exemple, si hi ha limitacions financeres o de temps, no podrà planificar un procés de recollida d’informació molt costós o molt llarg. De la mateixa manera, ha de tenir present el grau de col·laboració o d’acceptació previsible, els arxius o documents que pot emprar, etc.

Alguns condicionants que hem de tenir en compte abans d’iniciar el nostre disseny són els següents:

• Per a qui és la informació?, quines són les audiències (gent interessada) de l’avaluació? La resposta ens ajudarà a centrar la informació que necessitarem recollir.
• Quina informació és la més convenient? Una vegada considerades les audiències o els grups d’interès, ens preguntarem quina informació els interessa a cadascuna, cosa que no és tan fàcil com sembla a simple vista. En ocasions ens haurem d’entrevistar i demanar als grups d’interès quines són les seves necessitats abans d’iniciar el nostre disseny.
• Quan cal tenir l’informe d’avaluació? De quins recursos humans i materials disposem? El temps és un factor important per a l’avaluador. Hem de complir els terminis, per tant haurem de dissenyar una planificació factible que puguem portar a terme de manera realista. De la mateixa manera, els recursos a la nostra disposició condicionaran totalment el disseny avaluatiu.

Què ha de fer el lector per planificar la seva avaluació?

1) Definir els següents aspectes:

• Objecte, motiu i finalitat de l’avaluació
  • Què avaluem? Descripció de l’objecte d’avaluació.
  • Per què? Explicitar el motiu.
  • Per a què? Enunciar la intencionalitat dels resultats de l’avaluació.
• Naturalesa de l’avaluació
  • Interna o externa?
  • Avaluació de necessitats, de disseny, de procés o de resultats?
  • Èmfasi metodològic: quantitatiu, qualitatiu o mixt?
  • Se seguirà un model d’avaluació concret o no? Quin?
• Especificar els objectius i les qüestions específiques a les quals l’avaluació ha de donar resposta
  • Quins són els objectius generals?
  • Quins són els criteris que s’empraran per respondre a les qüestions avaluatives?
  • Quines són les qüestions avaluatives específiques a les quals l’avaluació vol donar resposta?
• Establir el pla de recollida d’informació de cada qüestió avaluativa i el pla global
  • Fonts d’informació.
  • Tècniques de recollida d’informació.
  • Temporalització i pressupost previst.
  • Qui recollirà la informació?
• Definir quin tractament farem de la informació una vegada recollida
  • Quin anàlisi estadístic realitzarem?
  • Com s’analitzarà la informació quantitativa?
  • Com s’analitzarà la informació qualitativa?
• Dissenyar com interpretarem la informació recollida.
• Planificar el procés d’elaboració de l’informe d’avaluació.

2) Dissenyar els instruments o les eines de recollida d’informació

• Cada instrument i cada tècnica de recollida d’informació serveix per assolir objectius diferents, de tal manera que haurem d’escollir i dissenyar l’instrument o eina de recollida d’informació més adient. Per exemple si volem avaluar aspectes com:
  • La inteligència: es pot mesurar mitjançant proves estanderitzades (test de Thorndike u Otis) o proves no estanderitzades (tipo piagetià)
  • El Coneixement: igualmente es pot valora de forma estendaritzada (inclou les proves o test de rendiment, ortogràfiques, de lectura. Esccritura, etc.), o de forma no estendaritzada (controlar la comprensió o destreses mitjançant tests criterials elaborats a partir d’una taxonomia.
  • La personalitat: mitjançant qüestionaris de tipo Liker o de vertader o fals (exemple: escala d’ansietat de Taylor)
  • Les dimensions socials del grup: tests sociomètrics, tests de relacions socials, qüestionaris de percepción... ens proporcionen referències sobre el grau d’aceptació dels individus  en el grup, les relacions que es donen entre ells y el descubriment de l’estructura del grup.
  • Les actituds: jocs de simulación, roll placer, debats, escales d’actituds, ect
  • L’entorn, situacions i processos d’intervenció: mitjançant l’observació, el qüestionari i la entrevista
  • Etc,

•  Tots els instruments  de recollida d’informació ha de ser vàlids i fiables per garantitzar la credibilitat dels resultats.

• ¿Quins instruments de recollida de dades podem emprar?

Podem emprear diferents tipus d’instruments, des de els menys estructurats fins els totalmente estructurats. Les estrateguies de recollida d’informació poden ser de tipus experimental (precocupades per demostra la relació causa afectes i molt preocupades pel control i la rigurositat) també poden ser no experimentals però amb un clar enfoc estadísitc o de caire no experimentals però amb un enfoc qualitatiu.

Per altre part una mateixa tècnica de recollida d’informació, per exemple ens l’observació pot ser empreada a les tres extràtegies citades: experimenta, no experimental estadística, y no experimental cualitativa. Per exemple l’observació ser no sistemàtica o ocasional i tenir una carie de tripus qualitatiu i naturalista (té una finalitat exploratòria, es a dir, no hi ha una idea de qué ni cóm observar i s’utilitza per generar hipótesis) i a l’altre extrem pododriem situar l’observació sistemàtica o controlada, formal (on l’investigador elabora una guia d’observació en la que s’incllou tots els aspectes que es volen observar).

Quadre compartiu entre les diferents mètodes

Com hem dit existeix una amplia gama de tècniques avaluatives a disposició del procés d’avaluació, unes són més quantitatives, altres més qualitatives i altres mixtes.

Com sabrem quina o quines triar?

Totes les tècniques tenen les seves avantatges i limtacions, però unes són més adequades que les altres segons la informació que volguem recollir i la finalitat de l’avaluació. En abstracte no n’hi ha una milor que l’altra.

Un element important a considerar a l’hora de’escollir.les es refereix als esforços humans i econòmics que s’assignen a l’avaluació, unes tècniques són més costoses que les altres.

Altres criteris que orientaran l’elecció d’una u altre tècnica són la seva utilitat i la seva contextualització. La utilitat quan serveixin per obtenir la informació que necessit. La contextualitzció fa referència a que les tècniques necessiten austar-se a les limitacions i condicions del contexte i als recursos. Les tècniques d’avaluació es poden classificar de diferents maneres (per a més informació llegiu la bibliografia citada anteriorment).

4.3. Fase C: Recollida, análisis i interpretació de la información recollida

Aquesta fase es centra en el treball de camp és a dir, en realitzar les  tasques planificades a la fase anterior.

1) Aplicació dels instruments de recollida d’informació

S’ha de vellat per la validesa i fiabilitat dels procediments de mesura utilitzats en la recollida d’informació, tant perl que fa referència als instruments emprats com per la forma en que són aplicats. Les garanties de qualitat tècnica s’han d’assegurar en la selecció de la mostra, en el cas de que l’obtenció de la informació no es faci amb tota la població) i en l’elaboració i aplicació dels instruments d’avaluació. S’han de procurar unes condicions òptimes en la aplicació de les tècniques pel que fa a  l’oportunitat del moment i a la preparació de les persones.

2) Anàlisi de la informació recollida

En aquest moment s’analitza la informació quantitativa i qualitativa recollida. Molt sovint, les dades quantitatives es someten bàsicament a anàlisi descriptius senzills (gràfics, percentatges, mesures de tendència central, etc.) o estudis de relacions entre ells mitajançant diversos tipus de tècniques. La informació qualitativa es somet fonamental ment a procesos d’anàlisi de continguts amb la finalitat de sistematitzar-la i inteerpretar-la, elaboració de mapes i taules conceptuals.

3) Interpretació de la informació recollida

Les dades quantitatives una vegada resumides en gràfics i estadístics o les dades qualitatives sintetitzades en taules interpretatives han de ser objecte d’interpetació per part de l’avaluador.

En aquest moment s’empra el patró comparatiu que s’utilitzarà per emetre el judici de valor, recordeu que l’emisio del judici de valor és inherent a la pràctica avaluativa. El tipus d’estandar o de patró comparatiu que s’utilitzi determinarà si l’avaluació és absoluta, relativa o de progrés. En poques paraules l’avaluador ha de fixar “un llistó” per sobre o per baix del qual s’emetrà un judici positiu o negatiu. Quins són els nivells d’excel.lència que han de presentar les dades recollides per emetre un judici positiu sobre el que s’avalua? A partir de quina diferència amb l’estandard consideraré aquell aspecte negatiu o positiu.

Abans de definir els conceptes d’avaluació absoluta, relativa i de progrés farem una important puntualització. És important que l’avaluador o equip avaluador contrasti les seves interpretacions de les dades recollides amb les audiències o grups d’interès, amb la finalidad d’assegurar una adequada interpretació i prendre en consideració les potencials interpretacions diferents.

4.4. Fase D: Elaboració de l’informe final i difusió dels resultats

En aquesta fase hem de tenir en compte que la funció de l’informe final i la difusió dels resultats és de tipus comunicatiu, així doncs els objectius de l’informe i el tipus d’audiencia al que se dirigeix determinaran les seves característiques . Aquesta fase cada vegada guanya major importancia. Com connectar amb les diferents audiències de l’avaluació? Com aconseguir que el treball sigui accesible a les persones interessades?

L’informe final és per a l’avaluador l’element en què es concreta la transacció que ha establert amb el client. L’informe és un canal de comunicació amb les audiències del programa, per tant, molt sovint no és un producte acabat i estàtic, sinò que té una naturalesa dinàmica, segons com se’l dóna a conèixer, es produeix al seu voltant una discussió que pot tenir gran importancia per a l’avaluador.

• els objectius de l’informe. A l’hora de redactar l’informe hem de tenir en compte la finalitat o intencionalitat de l’avaluació, si és de tipus formatiu (millorar el que s’avalua) o sumativa (un control sobre el què s’està fent o els resultats obtinguts)..
• Tipus d’audiència al que va dirigit. És important determinar quins són els que han de rebre informació sobre els resultats de l’avaluació i quin és el millor canal per fer  arribar aquesta informació (informe escrit, presentació oral, etc.)  lL’informe que es lliuri a les diferents audiències o grups d’interès ha de respondre a les qüestions avaluatives que són dels seu interès (les diverses audiències poden tenir necessitats d’informació diferents en aquest cas l’informe avaluatiu no té que ser únic, es poden elaborar tants d’informes com audiències. A més s’ha d’adaptar el contingut, els aspectes formals, el llenguatge, l’extensió, el canal de comunicacio,… per tal que satisfagui les necessitats del interessats

Quines aspectes o epígrafs pot tenir un informe d’avaluació? Com hem dit abans l’informe s’ha d’adaptar a les audiències a les que va dirigit. De manera general alguns apartats poden ser els següents:

• Portada (títol, lloc i date, nom de l’avaluado o equip d’avaluació, perìode cobert per l’informe, nom de la persona o entitat a la que s’adreça l’informe, etc.)
• Introducció (orígen de la demanda d’avaluació, procés de negociació, finalitat o intencionalitat de l’avaluació, contexte n el que s’ha portat a terme el procés avaluatiu, limitacions dificultats que s’han detectat al llarg del procés, canvis que s’han fet respecte al disseny o la planificació inicial de l’avaluació, sumari o contingut de l’informe, agraïments, síntesi dels resultats obtinguts o de les accions a emprendre, etc.)
• Descripció de l’objecte d’avaluació  i del procés avaluatiu seguit (què s’avalua, per què, per a què, com s’ha dut a terme el procés, fonts emprades, tècniques de recollida d’informació utilitzades, temporalització, recursos emprats, etc.)
• Presentació i anàlisi de la informació recollida ( informació qualitativa i/o quantitativa, gràfics, mapes conceptuals, descriptors estadístics, interpretació dels resultats, …)
• Conclusions i recomanacions d’actuació (en aquest apartat s’ha de respondre a totes les qüestions avaluatives plantejades, judici de valor de la informació recollida, propostes d’actuació, ..)
• Annexes (instruments emprat, dades brutes, mostres d’observació, …)

5. PAUTES PER DISSENYAR I EMPRAR ALGUNS INSTRUMENTS O EINES DE RECOLLIDA D’INFORMACIÓ

En aquesta apartat parlarem resumidament del procés d’elaboració i d’anàlisis de  les següents tènciques: les proves d’aprenentatge, els qüestionaris d’opinió , les escales d’actitud, l’observació, els grups de discussió i l’anàlisi de contingut.

5.1. ELABORACIÓ DE PROVES D’APRENENTATGE

Les proves d’assig, les proves objectives i les proves d’execcuió o situacionals serveixen per avaluar, entre altres aspectes, els resultats d’aprenetatge, sper recollir la informació necessaria per avaluar si s’han assolit els objectius. El punt de partida és delimitar i especificar els objectius que han de ser objecte d’avaluació .

Les proves objectives tenen un format d’estructura tancada la persona únicament ha de reconèixer quina és la resposta correcte entre les possibilitats que se li ofereixen o escriure una paraula o una frase.

5.1.1. Les proves objectives.

Quines passes hem de seguir per elaborar una prova objectiva?

Distingim tres moments decissius:

a) Planificar.

• Determinar la finalitat de la prova (diagnóstica, formativa o sumativa? Què es farà amb els resultats?)
• Delimitar els objectius i continguts d’aprenentatge que han de ser objecte d’avaluació. Hem de tenir en compte que només podem avaluar els objectius que és adequat valorar amb una prova objectiva. També considerarem la imporgtancia que s’ha prestat a l’objectiu durant l’aprenentatge

b) Elaborar la prova

• Determinar la importancia relativa dels objectius i continguts en el conjunt de la prova.
• Deterninar el número de preguntes i elaborar.les, Ës important determinar la seva seqüència. L’edat de les persones, la seva experiencia amb el llenguatge escrit, .. condicionaran les preguntes. També ens haurem de plantejar el nivell de dificultats de les preguntes.

Podem optar per realitzar tota la prova amb el mateix tipus de pregunta (per exemple d’elecció múltiple) o  utilitzar preguntes de diversa tipologia (pot resultar més motivador per l’alumne i oferir més possibilitats per valorar aprenentatges diferents

Elaborar el quadernet i escriure les instruccions d’Aplicació i correcció

c) Analitzar la dificultat de la prova i de les preguntes. Una vegada aplicades i corrregides convé analitzar la dificultat de les preguntes, identificar les millors, les que són excesivament dificultoses, les que no s’entenen, …Alguns aspectos a precisar:

• Índex de dificultat
• Index de discriminació
• Suggeriments de millora de la prova

5.1.2. Les proves de respostes obertes

En aquest tipus de proves les preguntes són obertes i l’alumne estructura i elabora la seva resposta amb llibertat. Es interessant utilitzar-les quan volem valorar la capacitat per  seleccionar i organitzar la informació, aurgumentar i valorar situacions complexes, etc. Podem fer preguntes que exigeixin diferent amplitut de la resposta.

5.1.3. Elaboració de proves d’excecucció o situacionals

Aquest tipus de proves es caracgeritza per intentar simular una situació real que una ersona ha d’afrontar, Es tracta de situacions que normalment posan en joc més d’una capacitat de la persona, per exemple: elaborar un informe, resoldre un cas, elaborar una peça, etc. Un dels aspectes que s’avalua és l’actuació de la persona durant la seva realització. Els procediments d’observació són els més adequats per valorar  i registrar els processos d’actuació, l’anàlisi de contingut per la valoració del producte.

5.2. LES TÈCNIQUES D’OBSERVACIÓ

Els procediments d’observació comprenen tècniques molt diverses que tenen en comú descriure i obtenir informació mitjanánt el registre del comportament que manifesta més o menys espontaneament una persona.

Segons el nivell de sistematització del procés podem diferenciar:

• Observació no sistemàtica u ocasional. L’observació és oberta i l’observador aten a toes les direccions i a tots els comportaments. El registre de les dades es de tipus narratiu (diaris, anotacions, anècdotes, …)
• Observació sistemática. Es caracteritza  per que estan definides i especificades les conductes que són objecte d’observació, El registre de les dades pot ser narratiu a a llistes o escales en quest darrer cas sóm més facilment quantificables
• O

Segons la font de les dades podem distingir entre observació directa i observació indirecta ( en aquest cas la informació sobre els comportaments s’obté a traavés de lo que el subjecte diu de sí mateix o del que els altres informen sobre ell.

Atenent al paper que adopta l’observador, diferenciman entre observació participant i no participant.

Quines són les passes a seguir per planificar l’observació?

Segons quinas sigui la modalitat d’avaluació que realitzem i pot haver algunes diferències. De manera general citarem les etapes:

• Establir la finalitat i els objectius de l’observació
• Determinar els comportaments que s’observaren
• Seleccionar el sistema de registre d’observacions
• Definir l’objecte de l’observació
• Temporalitzar l’observació
• Definir les condicions de l’observació
• Formar a l’observador
• Analitzar i interpretar les dades recollides.

5.3. LES ESCALES D’ACTITUDS

Existeixen moltes definicions del concepte “actitud” totes coincideixen en considerar l’actitud com una predisposició de la persona a reaccionar  o respondre d’una determinada manera davant fets, fenòments o altres persones . És una disposició, una tendència, una manera de veure les coses que té una persona. L’actitud no es varia fàcilment però és modificable.

Els procediments per recollir informació sobre les actituds de les persones mitjançant: l’observacio directa, les entrevistes, el joc de simulació i les escales d’actituds. Les escales formulen preguntes o qüestions i les persones es situen dins d’un continuum  de major a menor grau de favorabilitat respecte a l’objecte d’interès..

Existeixen diferents tècniques per elaborar escales d’actituds, per exemple:

Escala tipus Likert. L’escala està formada per una serie de frases que expressen judicis positius i negatius . Per cada judici la persona ha d’expresar el seu nivell d’acord amb el contingut de la frase, utilizant una escala de punts

Escala de diferencial semàtic d’Osgood. L’escala es basa en la idea de que les persones utilitzen adjectius per expresar les seves valoracions. El procediment consisteix en elaborar escales bipolars d’adjectius antònims en els que la persona senyala la seva posició  situant´se més prop d’un extrem o d’un altra.

5.4. EL QÜESTIONARI

Consisteix en un conjunt de preguntes que de forma sistemàtica i ordenada permet recollir informació sobre les percepcions, opinions , actituds i característiques de les persones. Es pot aplicar de manera individual o grupal i realitzar-se per escrit, per mail, per telèfon, etc.

Quin és el procés que hem de seguir per elaborar un qüestionari?

• La primera fase es la de preparació, haurem de delimitar el contingut del qüestionari, la població objecte i els recursos humans, tecnològics i econòmics disponibles.
• A continuació elaborarem el qüestionari plilot
  • Elegir les preguntes
  • Redactar-les
  • Ordenar-les i seqüenciar-les
  • Redactar un texte introductori al qüestionari que expressi l’objectiu.
• Aplicació del qüestionari pilot
  • Preparació d’entrevistadors
  • Aplicació a un grup reduit
  • Valoració de l’aplicació
• Aplicació del qüestionari
• Anàlisi de dades, del contingut en el cas de preguntes obertes i anàlisi estadístic.
• Conclusions i elaboració de l’informe
  • Interpretar els resultats. Elaborar quadres o taules
  • Obtenir les conclusions i les recomanacions
  • Redactar l’informe

5.5. EL GRUP DE DISCUSIÓ

Consisteix en un grup de persones que dialoguen juntes sobre un tema aportant les seves percepcions i punts de vista. Posteriorment s’analitzen les aportacions per obtenir informació. Els grups estan formats entre 4 a 12 persones i es recull informació de tipus qualitativa sobre les percepcions les actituds i les opinions. Aquesta informació s’ha de sistematitzar i interpretar. Es molt important el paper del moderador.

Quin camí heu de seguir per planificar un grup de discussió?

• Preparació. Es important formular amb claretat els objectius. Posteriorment es seleccionarà a les persones que hi han de participar i es farà un guió
• Desenvolupament. Seguirem les següents orientacions:
  • Rompre el gel
  • Presentar el tema i les normes de funcionament del grup
  • Formular les preguntes
  • Animar a la participació
  • Prendre notes
• Anàlisi del contingut de les ades registrades i, interpretació i elaboració de conclusions-

5.6. L’ANÀLISI DE CONTINGUT I DE DOCUMENTS

Aquesta tècnica s’utlitza per analitzar de forma vàlida, sistemàtica i objectiva el contigut de qualsevol comunicació (oral, escrita, gràfica, etc.) Per ser vàlida haurà de ser útil als propòists i objectius de l’avaluació, es sistemàtica quan es fa de manera planificada i ordenada, i es objectiva quan es replicable.

Quines són les fases que hem de seguir?

• Planificació de l’anàlisi. Principals tasques a fer:
  • Selecció i identificació dels documents a analitzar
  • Definicó dels objectius de l’anàlisi
  • Establir un pla de categorització i de codificació
• Estudi pilot del sistema de categorització
  • Comprovar la validesa del sistema de categorització
  • Comprovar consistencia entre els resultats obtinguts per diferents analistes
• Explotació del material. La finalitat d’aquesta fase es portar a terme el pla danàlisi establert, es pot fer de forma manual o informàticament. Es dur a terme l’anàlisi propiament dit.
  • Execucció del pla d’anàlisi
  • Anàlisi del document o material
• Anàlisi i interpretació dels resultats
  • Nivell d’ànalisi del contigut del texte
    • Contingut latent
    • Contingut manifest o literal
  • Recomptar les dades obtingudes, poden utilitzaar estadístics senzills o complexes i elaborar quadres o representacions gràfiques.

7.1. PARADIGMES AVALUATIUS

La història de l’avaluació és plena de debats entre els partidarids de dues visions diferents:

• • Un enfocament quantitatiu (també anomenat científic, experimental o positivista)
  • Un enfocament qualitatiu (o etnografic, naturalista , hermenèutic o interpretatiu)

Aquestes han estat les dues posicions paradigmàtiques tradicionalment identificades en relació amb la investigació social i educativa, i en conseqüència amb l’avaluació. D’acord amb aquesta dicotomia l’avaluador , a l’igual que l’investigador, s’inscriu en una d’aquestes dues visions del món, cosa que determina l’enfocament dels prob lemes que ha de tractar i l’elecció d’eines per afrontar-los.

La caracterització dels dos paradigmes és la següent:

• • El paradigma quantitatiu té una concepció global positivista, hipotetico-deductiva, objectiva, orientada al resultat i pròpia de les ciències naturals
  • El paradigma qualitatiu, té una concepció global fenomenològica, inductiva, subjectiva, orientada al procés i pròpia de l’antropologia social.

Aquesta dicotomia representa els dos extrems d’un continu. Actualment és parla d’un paradigma mixt  és a dir, d’una posició integradora.

“Los evaluadores han de sentirse libres de cambiar su postura paradigmática cuando sea preciso.No hay razón para ceñirse en todo momento a una mezcla de atributos. Por el contrario, al pasar de un programa al siguiente o de un estudio a otro (…) lo problable es que cambie la posición paradigmática que resulte más apropiada en la investigación. En consecuencia, la perspectiva paradigmática del investigador ha de ser flexible y capaz de adaptaciones”

Metodos cualitativos y cuantitativos en investigación evaluativa, T. D. Cook; Ch. S. Reichard (1986, pàgs. 40-41) En Avaluació de programes, centres i professorat de A. Tiara (2009).

Actualment tots dos paradigmes conetinuen sent diferenciables, encara que són, cada vegada més, els avaluadors que adopten una posició pragmática i flexible a l’hora de desenvolupar la seva tasca avaluativa.  Es pot fer servir un o altra paradigma conjuntament o alternativament, d’acord amb el plantejament i els objectius de cada estudi avaluatiu.

Cook i Reichard (1986) parlen dels avantatges i dels inconvenients dels mètodes propis del paradigma quantitatiu i del qualitatiu. Consideren que l’avaluació pot tenir propósits múltiples que poden ser atesos mitjançant mètodes diferents i que els dos tipus de métodoes poden complementar-se mútuament i permetre, així percepcions que  que no serien possibles fent-los dervir per separat.

El cert és que en l’actualitat hi ha una tendència a remercar la complementarietat metodològica en contra de l’oposició. Com es pot entendre aquesta complementarietat a la pràctica? Per exemple, podem fer una aproximació qualitativa a un objecte d’avaluacio malgrat facem un estudi quantitatiu. Un altre exemple pot fer referència a l’origen i al tractament de les dades recollides, recollir dades qualitatives i quantificar-les de cara a la seva explotació i anàlisi.

7.3. ETAPES HISTORIQUES DE L’AVALUACIÓ DE PROGRAMES

L’avaluació de programes educatius i socials va començar a desenvolupar-se com una activitat intencional aproximadament en 1920.  L’objecte d’avaluació durant el període 1920-1940 es limitava principalment a l’avaluació del rendiment dels estudiants. L’avaluació de programes com a tal apareix en torn a 1940 de la mà de Ralph Tyler, considerat el « pare » de l’avaluació

Alguns autors distingeixen cinc períodes successius en la història de l’avaluació de programes:

• Període pretylerià (anterior al 1930). L’avaluació de programes educatius i socials va començar a desenvolupar-se com una activitat intencional aproximadament en 1920.  L’objecte d’avaluació durant aquest període es limità principalment a l’avaluació del rendiment dels estudiants.
• Època tyleriana. S’inicia cap als anys trenta, quan Ralph tyler va encunyar el terme avaluació educativa i va començar a treballar en aquest camp. El més distintiu d’aquest període és la concepció de l’avaluació com l’estudi del grau de compliment dels objectius del programa. Va ser una primera sistematització de l’avaluacio i va marcar força temps el món avaluatiu
• Època de la innocència. Abasta les dècades dels quaranta i els cinquanta, durant les quals no es produeixen avaços significatius en l’elaboració de l’avaluació educativa. El model tylerià continua sent el més influent, i es van produir pocs avenços teòrics i metodològics
• Època del realisme. A finals dels anys cinquanta i al llarg dels seixanta es produeix una important expansió de l’avaluació educativa, centrada sobretot en l’anàlisi  dels currículums i els programes posats en marxa el període anterior. L’avaluació es fa a gran escala i es converteix en una tasca important . S’accepta, en general, els mètodes científics per a resoldre problemes socials
• Època del professionalisme. S’inicia a partir dels anys setanta. L’avaluació educativa es concreta, apareixen iniciatives avaluadores a diferents àmbits i es configura com un camp professional diferenciat i en plena expansió.

Ernst House considera que les principals transformacions en aquesta etapa es situen en diferents àmbits conceptual, estructural metodològic i canvis en l’ús de l’avaluació. Segons ell els fenòmens més destacables han estat:

• l’aparició de concepcions pluralistes i l’acceptació gradual de la multiplicitat de mètodes, criteris perspectives, audiències i interessos.
• Es reconeix la importància de que els valors de l’avaluador tenen un paper important en la seva feina professional
• Reconeixement de la multidisciplinarietat de l’avaluació
• Canvis metodològics acceptació progressiva dels mètodes qualitatius i dels mètodes mixtes (quantitatius i qualitatius)

SÍNTESI DEL RECORREGUT HISTÒRIC DE L’AVALUACIÓ

L’avaluació de programes educatius i socials començà a desenvolupar-se com una activitat intencional al voltant dels anys vint.

Entre els anys vint i quaranta l’avaluació es basà en conèixer el rendiment escolar dels estudiants en matèries curriculars. L’avaluació de programes apareix com a tal  al voltant del 1940 de la mà de Ralph Tyler.

Entre els anys quaranta i setanta, predominen els models d’avaluació quantitatius, entenen l’avaluació com una investigació empírica positivista, utilitzen procediments estandaritzats de recollida d’nformació i està orientada a la presa de decisions. Avaluen bàsicament el producte

A partir de 1970 apareixen diferents models centrats en el paradigma qualitatiu Els models es centren en els participants en el programa. Utilitzen metodologies de tipus naturalista, etnogràfic i cualitativa. Apareix una nova orientació de l’avaluació, es vol que oferixi informació i comprensió dels  programes. S’emfaatiza l’avaluació de procés.

A partir de finals de la dècada dels 80 coexisteixen multitud de models d’avaluació i es superen els dos paradigmas quantitatiu i qualitatiu. L’avaluació és concep com una eina de millora, d’optimització, d’aprenentatge i de millota de la qualitat. Apareix el model crític d’avalució (Colàs,  ) que s’ha entes com un enfocament avaluatiu diferen

7.4. MODELS AVALUATIUS:

Els diferents models avaluatius s’agrupen tradicionalment en quantitatius i qualitatius. Alguns autors parlen de models crítics o mixtes.

Els models quantitatius conceben l’avaluació de programes des d’una perspectiva tècnica  afirmen que l’avaluació és la determinació del valor o mèrit d’un programa. Aquest models es centren en la presa de decisions per part de les autoritat polítiques o acadèmiques sobre el futur del programa. En aquest model l’avaluador desenvolupa un rol tècnic i és el responsable de l’avaluació i de donar informació rellevant sobre el programa. Dins aquest model hi podem trobar els següents autors:

7.4.1 Avaluació basada en objectius (TYLER)

Tyler fou el primer en desenvolupar un mètode sistemàtic d’avaluació educativa a principis dels anys quaranta. Comença a concentrar l’objectiu de l’avaluació no només amb el rendiment de l’alumne sinó també amb els programes curriculars i recursos que es disposen.  Enten l’avaluació com el procés de determinarl la congruencia entre els objectius del programa i el que s’aconsegueix, en definitiva es tracta de determiar si els objectius s’han assolit o no.

Aquest model està basat en la presa de decisions. I es concep l’avaluació com un procés terminal, és a dir només serveix per tenir infomració un cop ha acabat el programa, per tant no permet millorar durant el procés avaluatiu. El naixement d’aquest  model coincideix amb l’exaltació del positivisme i de la metodologia quantitativa d’investigació en educació. Això fa que el model tingui un caràcter bàsicament objectivista i quantitatiu.

7.4.2. El plantejament de E. Suchman, l’enfoc científic

Suchman (1967) profunditza en la convicció de que l’avaluació ha de basar-se en dades objectives  que siguin analitzades  amb metodologia científica matisant que la investigació científica és preferentment teòrica  i en canvi la investigació avaluativa és sempre aplicada.

El seu principal propòsit  és descobrir l’efectivitat, èxit o fracàs d’un programa en comparar-lo amb els objectius proposats, i així traçar les línies  de la seva possible redefinició.

Suchman, a més, defèn la utilització d’avaluadors externs per evitat  tot tipus de tergiversació. Aquest model representa un plantejament tecnològic i  comporta que l’avaluació de programes ha de fer-se en la lògica del mètode científic. Considera que l’avaluador ha de ser un investigador.

7.4.3. La planificació avaluativa Cronbach

Aquest model apareix a finals dels anys quaranta, fruit de l’interès de Cronbach per diferents aspectes de l’avaluació de programes socials. Considera que la perspectiva clau de l’avaluació és la funció política, segons ell en la majoria dels casos la informació que es recull correspon a motivacions polítiques.

Segons aquest model l’avaluació ha de ser canviant i s’ha d’adaptar tant als resultats obtinguts com als interessos de la comunitat política. Una consciència política, una mentalitat oberta i la bona comunicació establerta per l’avaluador són la clan de l’exit. L’avaluació està dissenyada per accelerar el procés d’aprenentatge per mitjà de la comunicació entre l’avaluador i les institucions polítiques.

També cal destacar que l’autor dona molta importància al treball en equip, segons ell la responsabilitat de l’eduació ha de ser compartida per un equip.

El model de Cronbach és una evolució del model de Tyler. Cronbach parla de l’avaluació del producte i de  l’avaluació dels processos d’implantació del programa. És l’autor del model UTO , considera que els elements bàsics pel disseny i realització de l’avaluació són:

• Unitats: Individus o classe.
• Tractaments: Programa o lo que el denomina tractament regularitzat.
• Operacions d’observació: totes aquelles operacions que l’avaluador ha de començar per avaluar un programa (recollida de dades, anàlisi de dades, etc.)

Per Cronbach l’avaluació ha de ser quantitativa i estructurada però apunta la possibilitat d’emprar mètodes més qualitatius.

            7.4.4. El Model C.I.P.P. (STUFFLEBEAM)

Apareix a finals dels anys seixanta quan Stufflebeam proposa una nova definició d’avaluació alternativa a la de Tyler. Segons ell, l’avaluació és un procés mitjançant el qual es proporciona informació útil per prendre decisions. L’acceptació pública d’aquesta afirmació feu que l’autor treballés amb el que seria el model CIPP (context, input, process, product).

Aquest model entén que l’avaluació és el procés d’identificar, obtenir i proporcionar informació útil i descriptiva sobre el valor del mèrit de les metes i l’impacte d’un objecte determinat amb la finalitat de servir de quia per prendre decisions, solucionar problemes de responsabilitat i promoure la comprensió dels fenòmens implicats.

Així l’avaluador ha de complir dues funcions:

• Proporcionar informació útil
• Ajudar a prendre decisions racionals i obertes.

La gran aportació d’aquest autor es centra en la qüestió dels continguts de l’avaluació; ja que els estudis anteriors s’han centrat en el producte i molts pocs en el procés. Aquest autor amplia el contingut de l’avaluació contemplant quatre dimensions:

• Avaluació del context
• Avaluació d’entrada/disseny/planificació
• Avaluació del producte
• Avaluació del procés.

            7.4..5. El Model sense referència a objectius (SCRIVEN)

En els textos sobre avaluació no existeix unanimitat alhora de classificar aquest model dins el paradigma quantitatiu o qualitatiu. Nosaltres l’associarem al primer seguint a Mª Pilar Colàs, 1996.

Scriven té un gran prestigi i ha tingut una important influencia posterior, es consderat com l’autor del “millor model” d’avaluació a nivell teòric, però no a nivell pràctic. Ha desenvolupat les seves idees al llarg dels anys i és difícil identificar quins aspectos mantén i quins no.

            El seu model sorgeix com una forta oposició al model basat en objectius. Scriven propasa que ’avaluador desconeixi els objectius del programa. Ja que el seu coneixement pot obstaculitzar l’avaluació de diferents aspectes. Centrar-se en els objectius  identificats en el programa limita l’avaluació i la informació recollida serà incompleta i errònea. En ocasions els resultats no prevists d’un programa poden ser mes importants que els identificats anteriorment.

Agafa com a punt de referència als receptors dels programes educatius més que a les autoritats polítiques. L’anàlisi de les necessitats del client és pimordial i passa a un segon pla els objectius i intencions del programa. L’avaluador té un rol extern.

Els models subjecivistes o qualitatius comencen a desenvolupar-se a la dècada dels setanta coincidint amb el sorgiment del paradigma interpretatiu en investigació educativa.

Des d’aquesta perspectiva l’avaluació es concep com la comprensió i valoració dels processos i resultats de un programa educatiu. La gran diferència respecte a la perspectiva anterior és la seva concepció de la realitat i la seva forma d’entendre el coneixement.  La finalitat de l’avaluació deixa de ser prescriure o constatar, tal i com era en els models anteriors, la intencionalitat de l’avaluació és descriure, comprendre i conèixer. Els continguts de l’avaluació són majoritariament els processos d’implantació del programai volen proporcionar informació per millorar la pràctica educativa.

Des d’aquesta perspectiva l’avaluador assumeix el rol de cooperació amb els participants del programa. Proporciona informació al propi client per prendre consciència del procés viscut i així ampliar el seu coneixement sobre el mateix. Alguns autors de models qualitatius són els següents:

2.2.1. L’Avaluació responent (STAKE) 

Stake desenvolupa al llarg de la seva vida dos models diferents. A la seva joventut desenvolupa el primer d’ells, de tipus quantitatiu, seguint  els principis de Tyler. Més andavant desenvoluaprà el model d’avaluació responent, en el que s’oposa frontalment a Tyler i al paradigma quantitatiu.

A finals dels anys seixanta, l’autor desenvolupa el “model de la figura” basat, com hem dit abans, en la concepció tyleriana. Es comparen els resultats desitjats i els observats. Malgrat aquesta consideració el model a més dels resultats inclou l’estudi del procés. Per sistematitzar i estructurar la informació recollida elabora dos tipus de matrius de dades. Per comprendre aquest model és fonamental conèixer els conceptes dels antecedents. Fan referència a les condicions prèvies per la implantació del programa, els avaluadors han de conèixer i tenir en compte les condicions personals, institucionals del context en que s’aplica el programa.

El seu segon model d’avaluació d’Stake es desenvolupa a principis dels anys setanta. Stake, presenta ”l’avaluació responent”, producte de l’evolució i desenvolupament del seu model anterior. Aquesta alternativa romp amb al tradició tyleriana basada en la mesura  i comprovació de resultats. Aquí la finalitat de l’avaluació és respondre als problemes i qüestions reals que es plantegen els alumnes i professors quan desenvolupen un programa educatiu. El propòsit fonamental és fomentar la comunicació i debat al voltant de les intencions inicials d’avaluació i com aquestes han pogut canviar.

Un dels propòsits bàsics del model es el canvi d’actituds, opinions i creences dels implicats en l’avaluació i per això, es proposa una comunicació contínua i fluida entre l’avaluador i els avaluats amb la finalitat de descobrir, investigar i solucionar les problemes que es poden produir durant el procés.

Stake és el creador d’una nova escola d’avaluació que exigeix un mètode pluralista, flexible, interactiu i orientat al client. Les interpretacions són imprescindibles pel desenvolupament de l’avaluació. Així, l’avaluador negocia i col·labora amb els participants del programa. La finalitat última d’aquesta avaluació  és descobrir i oferir un relat complet sobre el programa educatiu.

2.2.2. L’Avaluació il·luminativa (PARLETT I HAMILTON)

A mitjans de la dècada dels setanta  aquests autors proposen un model d’avaluació que implica l’estudi intensiu d’un programa educatiu com un tot. El propòsit del model és il·luminar els problemes, les qüestions i lescaracterístiques principals del programa.  Està basat en l’antropologia social  i està totalment en desacord amb el paradigma experimental  dominant en avaluació.

 L’avaluació proposta per aquests dos autors està relacionada amb la descripció i la interpretació i no amb la mediació i control dels models objectivistes. La seva finalitat no es manipular i controlar sinó descriure i comprendre el complexa context educatiu. La tasca de l’avaluador és de cooperació i ha de facilitar una comprensió global de la complexa realitat en la qual es desenvolupa el programa.

Des d’aquesta avaluació s’espera que les informacions donades per l’avaluador serveixin a diferents grups per prendre decisions difícils. L’avaluador aquí no ha de emetre judicis de valor, sinó descobrir i generar debats al voltant de lo que implica el programa, per tant l’avaluador ha de posar de manifest els judicis de valor dels participants del programa.

Aquest és un model qualitatiu i les seves característiques bàsiques són:

• Els mètodes principals per recollir dades són la observació i l’entrevista.
• Les estratègies metodològiques són elaborades situacionalment com a conseqüència  del contacte amb els participants.
• El disseny d’investigació canvia en el transcurs de la pròpia investigació en funció del coneixement que es va generant de la realitat.

2.2.3. L’Avaluació democràtica (McDONALD)

El model apareix com a fruit de la classificació política que fa McDonald de l’avaluació. Els avaluadors no només estàn dins el món  de la política educativa, sinó que influeixen en les canviats relacions de poder. L’avaluació dona informació que serveix a interessos i valors personals.

L’ autor identificà tres tipus d’avaluacions:

• Avaluació burocràtica: s’entén com un servei incondicional a les autoritats polítiques que controlen els recursos educatius. Aquí l’avaluador accepta el funcionament jeràrquic que imposa el sistema burocràtic i  dona informació que ajuda als objectius de la política. Els conceptes claus són: servei, utilitat i eficàcia.
• Avaluació autocràtica: ofereix un servei als responsables en política educativa però aquest no te caràcter incondicional. L’avaluador ofereix una validació externa de la seva política a canvi del reconeixement públic de la seva tasca. Els conceptes claus són: normes i objectivitat.
• Avaluació democràtica: és un servei d’informació a la comunitat sobre les característiques del programa educatiu. L’avaluador reconeix la pluralitat de valors. El valor bàsic és una col·lectivitat de ciutadans informats. L’avaluador intercanvia informació entre els diferents grups participants en el programa. Aquesta avaluació estudia la realitat des d’una perspectiva naturalista i la condició indispensable per conèixer la realitat és entrar dins ella. Els conceptes claus són: confidencialitat, negociació i accessibilitat.

L’avaluació democràtica de MacDonald vol facilitar el canvi i  una transformació real mitjançant la modificació de concepcions, creences i modes d’interpretar. L’avaluació aquí és un model d’anàlisi i valoració.

            2.3. Model crític d’avaluació

Alguns autors, entre ells Colàs i Rebollo identifiquen el model crític que concep que concep l’avaluació de forma diferent als models quantitatius i qualitatius que hem explicat. Des d’aquesta perspectiva s’entén l’avaluació com un procés de recollida d’informació que fomenta la reflexió crítica de processos i condueix a la presa de decisions pertinents a cada situació específica.

La finalitat del model és la transformació dels destinataris del programa. L’avaluació es centra en l’anàlisi critica de les circumstàncies personals, socials, polítiques i econòmiques que envolten la pròpia acció.  Pretén el canvi institucional i comunitari, ja que considera que els canvis individuals dels participants del programa seràn la base per canvis més globals.

L’avaluador té un paper d’implicació i ha d’ajudar a que es manifestin les necessitats de les audiències, i es converteix en fonamental en la dinamització de la propia intervenció.

El ritme de l’avaluació serà lent, obert, flexible i extramadament participatiu

• • Anàlisi cost-benifici: Procediment analític per determinar l’eficiència econòmica d’un programa, expressat com la relació de costs i resultats, mesurats ambdós en termes econòmics.
  • Anàlisi cost-efectivitat: Estudi que relaciona l’eficiència d’un programa a aconseguir determinats objectius amb el valor monetari dels costs de la seva implementació o execució.
  • Anàlisi ex-ante: Anàlisi empresos abans de la implementació del programa, generalment com a part de la planificació del programa.
  • Anàlisi ex-post: Anàlisi empresos al finalitzar el programa, establint a posteriori els nivells del tractament i els grups de comparació.
• Audiències: És un concepte pròxim a l’anterior, que intenta identificar a tots els grups de persones que se constitueixen en usuaris potencials de l’avaluació i destinataris de la informació avaluativa.  
• Avaluació de context: Fase inicial del procés d’intervenció-avaluació en la que se descriuen i valoren les condicions socials àmplies que emmarquen el problema social i la pròpia intervenció. Entre altres, inclou les tradicionals activitats d’avaluació de necessitats i avaluacions diagnòstiques.
• • Avaluació de l’avaluabilitat: Conjunt de procediment per a la planificació d’avaluacions de manera que, amb la fi de maximitzar la utilitat de l’avaluació, es tinguin en compte els interessos de les persones que donen suport al programa.
• Avaluació de necessitats: Activitat avaluativa que el seu objectiu és descriure i valorar o prioritzar les necessitats d’un grup.
• • Avaluació de procés: Activitats d’avaluació relacionades amb la identificació de poblacions de referència, valoració de la conformitat d’un projecte al seu disseny i millora continua de les activitats de la implementació.
  • Avaluació de resultats: Valoració dels efectes apareguts com a conseqüència del programa, incloent efectes de tot tipus, perseguits o no, positius o negatius, directes o indirectes, etc.
  • Avaluació democràtica: L’avaluació és una ocasió per a confrontar als grups implicats en el programa i aproximar les seves perspectives mitjançant el diàleg i la deliberació, afavorint en darrer terme actituds i pràctiques democràtiques.
  • Avaluació formativa: S’usa incorrectament com sinònim d’avaluació de procés. La funció formativa es aquella  que ofereix informació avaluativa per identificar, corregir i millorar la planificació i les actuacions del programa.
  • Avaluació qualitativa: Un conjunt de models d’avaluació que utilitzen de forma genèrica mètodes narratius, hermenéuticos i respondents, que persegueixen reconstruir el discurs o la perspectiva dels participants en la investigació, amb el suport nul o feble en càlculs matemàtics.
  • Barreres d’avaluació: Dificultats d’ordre sistèmic, polític o actitudinal pel desenvolupament de l’avaluació, que han de ser previstes i afrontades amb estratègies específiques.
  • Beneficis: Resultats nets d’un programa, generalment convertits a diners. Els beneficis poder incloure tant efectes directes com indirectes.
  • Cobertura: Grau en que un programa assoleix a la població de referència desitjada.
  • Compromís ètic:  La pràctica professional de l’avaluació està subjecta a un imperatiu ètic, en front als seus clients i a la societat en general, que assegura la credibilitat i la continuïtat del treball avaluador.
  • Costos: Entrades, tant directes com indirectes, requerides per dur a terme una determinada intervenció.
  • Credibilitat: La credibilitat es refereix al comportament de l’avaluador tant com a la qualitat tècnica del procés avaluatiu, i és necessària per a defensar la seva legitimitat i objectivitat. La credibilitat requereix un difícil compromís entre l’honestedat i el joc d’interessos característics del context polític de les avaluacions.
  • Criteris de valor: Com a un concepte ampli, els valors dels grups implicats en la intervenció s’utilitzen com a refent per determinar el seu mèrit o valia.
• Disseny d’avaluació: La planificació de l’avaluació exigeix, entre altres qüestions, entendre qui són les persones interessades en la mateixa, quines són les preguntes d’investigació, que mètodes s’empraran, quins utilitzaran els resultats i de quina manera.
• Disseny de programa: La planificació del programa exigeix  dissenyar les activitats que seran realitzades (el servei) i el sistema de dispensa, pel qual se necessita, entre altres qüestions, decidir quines són els objectius operatius del programa, quins són els destinataris, com s’accedirà als mateixos, com se realitzaran les activitats i com se distribuiran els recursos.
• Efectivitat, eficàcia i eficiència: Són tres conceptes estretament relacionats que poden ser utilitzats com criteris de valor per a l’emissió de judicis. Un programa és efectiu quan aconsegueix resultats, eficaç quan aconsegueix els resultats esperats i eficient quan ho aconsegueix amb un cost raonable.
• • Efectivitat: Assoliment concret de les finalitats, objectius i metes desitjades dels projectes.
  • Eficàcia: Grau en que s’assoleixen els objectius d’un projecte en la població objectiu en un període determinat, independentment dels costos que allò implica.
  • Eficiència: Relació existent entre costos d’un projecte o programa i els productes implicats en la seva execució.
  • Enquesta: Tècnica de recollida de informació massiva en la que el total de les persones seleccionades per a l’estudi responen per escrit a un conjunt de qüestions prèviament elaborades pels investigadors en funció dels interessos de la investigació.
  • Entrevista: Tècnica de recollida d’informació basada en el diàleg directe entre el investigador i cada una de les persones seleccionades per a l’estudi, utilitzant un guió més o menys estructurat en funció dels objectius de la investigació.
  • Implementació: L’acció global i sistemàtica de posar en pràctica les activitats del programa, que involucra tant la mobilització de recursos humans, materials i financers, com l’esforç per localitzar i implicar als usuaris potencials del programa.
• Implementació: Posada en pràctica de les activitats d’un programa. Exigeix una planificació específica prèvia en relació amb la previsió i distribució dels recursos necessaris per al desenvolupament de les activitats.
• Informants clau: Els membres d’un grup que, per la seva posició o la seva experiència, disposen de informació exhaustiva i veraç sobre la resta de membres, les necessitats, valors, dinàmiques i altres qüestions del grup rellevant per a l’avaluació.
• Intervenció social: Esforç sistemàtic i racional per modificar  les condicions socials o el comportament de les persones amb l’objectiu prioritari de la millora social.
• • Metavaluació: Avaluació de l’avaluació, o l’activitat resultats d’aplicar els principis i mètodes de l’avaluació sobre la pròpia pràctica de l’avaluador, amb l’objectiu de conèixer els seus defectes, demostrar els seus assoliments i augmentar el coneixement sobre la pràctica.
• Necessitat: És el judici de valor que resulta de la comparació entre la situació actual d’un grup i una situació ideal que se desitja aconseguir.
• • Negociació: La negociació persegueix aproximar les perspectives de valor dels múltiples implicats en un procés d’avaluació. El avaluador ajuda a clarificar les posicions de cada grup afavoreix el coneixement mutu i ajuda a proposar solucions que siguin acceptables per a tots.
  • Normes professionals: Conjunt de prescripcions elaborades pel Joint Committee on standards for Educational Evaluation des de l’any 1981, amb l’objectiu de identificar els valors i comportaments que ha de seguir un servei professional d’avaluació.
• Objecte d’avaluació: L’avaluació és una activitat que se pot aplicar a la valoració d’objectes molt diferents sense que variï la manera general de procedir. De manera general se poden avaluar programes, polítiques, organitzacions, productes i persones.
• Població objectiu: Sector o grup de la població a la que està dirigit el programa i que són considerats usuaris potencials del mateix.
• Problema social: Els problemes socials són aquells que estan sent percebuts o viscuts com problema per un grup important de la població, i són definits mitjançant un procés de construcció social entre els diferents actors i grups implicats o relacionats amb la situació en que apareix.
• Procés d’intervenció-avaluació: La intervenció i l’avaluació són dues activitats inseparables que se complementen dins del procés general de la intervenció social. L’avaluació no és qualque cosa que se realitzi únicament al final de la intervenció, sinó un conjunt d’activitats planificades que presten suport informatiu a la pressa de decisions en múltiples moments de la intervenció.  
• Programes: En molt de casos és sinònim d’intervenció social, encara que comprèn tot un conjunt d’activitats planificades i implementades de forma racional per aconseguir algun propòsit específic (intervenció social, programa educatiu, procés de treball, etc.).
• • Rol de l’avaluador: No hi ha una sola forma de ser avaluador, com no hi ha un sol model de avaluació. Els distints rols possibles (jutge, educador, consultor, mediador) determinen maneres diferents de relacionar-se amb els seus clients.
  • Seguiment: Activitats avaluatives dissenyades per analitzar el curs de la implementació amb vistes a informar i corregir les deficiències i necessitats que puguin sorgir, especialment les relacionades amb els problemes de la cobertura i el biaix.
• Stakeholders: Literalment significa “aquells que tenen un interès dipositat”, és a dir, aquelles persones o grups que tenen qualque cosa que guanyar o que perdre amb el èxit dels programa.
• Ús de l’avaluació: La utilitat  dels resultats avaluatius està determinada per la capacitat de les persones o grups implicats en el programa per extreure conseqüències, planificar millores i, en general, fer ús de les conclusions de l’avaluació. Hi ha diferents tipus possibles d’ús i és important  ser conscients de que ha d’haver un esforç intencionat per aconseguir la utilització.
• • Valoració de l’eficiència: Estudi avaluatiu que respon a qüestions sobre els costos dels programa ja en comparació amb el valor monetari dels beneficis o de la seva efectivitat en terminis dels canvis que causen en les condicions socials que enfronten.
• Valoració i judicis de valor: Avaluar consisteix en emetre judicis de valor sobre la qualitat d’algun objecte (programa, procés, element, organització, persona, etc.) El judici de valor requereix de l’existència de criteris de valor que puguin ser contrastats amb les dades empíriques sobre el funcionament i els resultats del programa.