Avaluació dels patis oberts a Barcelona: agents, mètodes i indicadors (2017-18)

1. Avaluació interna o externa?

a. Externa: Es desenvolupa per persones que no participen en la implementació o a la gestió del projecte o servei. L'Institut d'Infància i Adolescència de Barcelona rep l'encàrrec de l'Institut Municipal d'Educació de Barcelona. L'avaluació externa (AE) serveix principalment per comprovar el compliment de normes, estàndards de qualitat i objectius, així com per retre comptes i justificar l'ús dels recursos públics.

b. Interna: La fan els mateixos professionals del projecte o servei. Té una funció sobretot formativa i de millora, ja que permet analitzar la pràctica, detectar punts forts i febles i afavorir l'aprenentatge i el desenvolupament organitzatiu.

2. Tres grans finalitats (Chelimsky)

Les tres grans finalitats que proposa Chelimsky són:

• Retre comptes (RC): mesurar l'eficàcia i l'eficiència, si s'han assolit els objectius i justificar els recursos invertits, especialment davant finançadors o òrgans de supervisió.
• Desenvolupament i aprenentatge organitzatiu (DO): detectar què funciona i què no, i millorar els projectes, els serveis i la pràctica professional.
• Obtenir coneixement científic / Comprensió (CC): identificar causes, factors i arrels per fer servir l'avaluació per comprendre i millorar un problema social a nivell general.

En aquest cas seria la finalitat de desenvolupament i aprenentatge organitzatiu, perquè proposa avaluar mancances i febleses per fer propostes de millora. Això li serà d'ús a les pròpies entitats que s'encarreguen dels patis oberts.

3. Agents de l'avaluació

Agents implicats:

• Experts en patis oberts.
• Tècniques de l'Institut Municipal d'Educació de Barcelona (IMEB).
• Diversos tècnics de l'empresa concessionària responsable del programa.
• Tècnics de districte de l'Ajuntament de Barcelona.
• Tècnics del Consorci d'Educació de Barcelona.

4. Dimensions: disseny, funcionament i resultats

Les dimensions considerades són disseny, funcionament i resultats:

• D (Disseny): Avalua si el projecte està ben dissenyat, és coherent i viable. Es comprova si els objectius són clars i mesurables, si les activitats i recursos són adequats, si el projecte és factible amb els recursos disponibles i si està adaptat al col·lectiu destinatari.
• F (Funcionament): Analitza com s'executa el projecte i si s'està aplicant tal com s'havia planificat. S'avalua si arriba al públic previst, si es respecten activitats i terminis, la flexibilitat davant canvis, la coordinació i gestió de l'equip i la influència del context.
• R (Resultats): Avalua què s'ha aconseguit amb el projecte. Es mesura l'eficàcia, l'eficiència, la pertinència, la satisfacció dels participants i l'impacte a curt i llarg termini, incloent resultats no previstos.

5. Funció sumativa?

La funció és sumativa: s'han recollit dades de tot el curs i finalment s'han extret dades i conclusions. Es va fent aquesta recollida i, a final de curs 2017, es fa l'avaluació. L'avaluació sumativa normalment té a veure amb un tipus determinat de decisions (per exemple, la continuïtat del projecte). Aquí no es diu específicament la continuïtat, però la idea és continuar per seguir millorant.

S'esposen millores pel curs següent. Es vol comprovar si s'han assolit els objectius del projecte. L'avaluació es fa al final del procés (encara que es reculli informació al principi i al final del projecte, el procès d'avaluació es formalitza al final). Aquesta avaluació vol aportar informació per prendre decisions sobre la continuïtat del projecte.

6. Audiències

Qui són les audiències principals?

• Els monitors que fan la dinamització dels patis oberts.
• L'Ajuntament a través de l'IMEB.
• Les famílies dels nens i nenes que poden ser usuaris d'aquests patis oberts.
• L'AMPA i altres representants escolars.
• Empreses que gestionen els patis.

Com fer-los arribar la informació i per què? L'escola i l'Ajuntament s'haurien de fer presentar un informe més formal o una reunió. A les famílies i nens/es se'ls pot fer arribar la informació mitjançant xerrades obertes a les escoles i comunicacions adaptades al públic destinatari.

7. Fonts d'informació

Les fonts identificades són tant personals com documentals. S'esmenten:

• Experts en patis oberts.
• Tècniques de l'Institut Municipal d'Educació de Barcelona.
• Diferents tècnics de l'empresa concessionària responsable del programa.
• Tècnics de districte de l'Ajuntament de Barcelona.
• Tècnics del Consorci d'Educació de Barcelona.
• Observadors/es que van als patis oberts.

Són fonts personals i primàries. Les fonts fan referència a d'on s'obté la informació (persones, documents o bases de dades):

• Documentals: documents existents com memòries, projectes, registres, expedients o actes de reunions.
• Personals: persones o grups que aporten informació de manera individual o col·lectiva.
• Fonts primàries: dades recollides directament (entrevistes, qüestionaris, observació).
• Fonts secundàries: dades ja existents (padró, IDESCAT, altres bases de dades).

8. Instruments i tipus de disseny

Instruments o estratègies de recollida d'informació: observació directa (no participant) amb unes fitxes d'observació i entrevistes.

Tipus de disseny:

• Preordenat: L'avaluació està totalment planificada abans de començar. Es defineixen prèviament totes les fases, instruments i passos a seguir.
• Progressiu: Hi ha una planificació inicial, però el procés d'avaluació es va ajustant i consensuant a mesura que avança. Les passes es defineixen progressivament amb els agents implicats.
• Emergent: L'avaluació es construeix durant el procés. No hi ha una planificació prèvia tancada, sinó que el disseny es negocia i va sorgint segons les necessitats.

9. Preguntes d'avaluació i tipus

Exemples de preguntes i comentaris sobre la seva idoneïtat:

1. a. Quants infants i joves van participar en els patis oberts a cada districte durant el curs 2017-18? — No ho és, ja que parla de percentatge i és un indicador.
2. b. Les escoles i els tècnics municipals s'han coordinat de forma adequada per tal d'oferir un horari d'obertura dels patis ajustat a les necessitats del barri? — Sí, fa referència al tema de la coordinació; és una pregunta que porta al funcionament del projecte.
3. c. Els joves i infants han pogut participar suficientment en la proposta i planificació de les activitats que s'ofereixen? — Sí, fa referència també al funcionament.
4. d. Quin percentatge d'activitats ofertes en els patis han incorporat la participació de les famílies? — No ho és, ja que parla de percentatge i és indicador.

Pregunta d'avaluació: Hi ha hagut una bona participació per part dels infants participants en els patis oberts?

Una altra pregunta: Hi ha hagut una participació suficient o adequada en els patis oberts per part de les famílies i els nens/es? Dades, indicadors o evidències. Percentatge d'infants que han participat?

Indicador: Quants infants han participat en les activitats durant els patis oberts?

Indicador: Percentatge o nombre d'infants que han participat en els patis oberts i al barri.

Valor de referència: Més d'un 50% dels infants han participat de manera més continuada en els patis oberts.

Teoria del canvi i procés d'avaluació

La teoria del canvi és una eina que ajuda a definir quin canvi es vol aconseguir amb un projecte i com s'espera que aquest canvi es produeixi. Entén el projecte com una hipòtesi: es plantegen accions i recursos per transformar una problemàtica i després es comprova si realment funciona.

Procés d'avaluació - cinc fases:

1. Definir el marc d'avaluació.
2. Dissenyar el pla d'avaluació.
3. Desenvolupar-lo.
4. Analitzar i interpretar la informació.
5. Redactar els informes d'avaluació.

Parts clau:

• Finalitat: millorar i optimitzar la pràctica socioeducativa, tenint en compte el context social, cultural i polític.
• Procés: procediment ordenat que combina metodologia, recollida de dades i presa de decisions mitjançant eines d'investigació. L'avaluació és un procés estructurat orientat a la millora de la intervenció socioeducativa.

1. Model tecnològic

Se centra a mesurar resultats per facilitar la presa de decisions als responsables i finançadors. Utilitza sobretot mètodes quantitatius i avalua l'eficàcia, l'eficiència i l'impacte. El disseny és preordenat, decidit per persones expertes, i l'avaluació és externa. Serveix principalment per retre comptes i justificar el finançament.

2. Model cultural interpretatiu

Busca entendre com funciona el projecte i com el viuen les persones implicades. Combina mètodes qualitatius i quantitatius, donant importància als significats i punts de vista. El disseny és progressiu i consensuat amb els participants. Serveix sobretot per millorar la pràctica professional.

3. Model crític o sociocrític

Entén l'avaluació com una eina de transformació social. La participació és central i el disseny és emergent. L'avaluador acompanya el procés, i els criteris són democràtics i col·lectius. Té com a objectiu l'apoderament i el canvi social.