Cómo realizar una revisión sistemática y un meta-análisis

Cómo realizar una revisión sistemática y un meta-análisis

Introducción

Hasta hace relativamente poco tiempo, la revisión de la literatura científica sobre un tópico en el ámbito de las ciencias sociales y de la salud era un proceso que descansaba en la subjetividad del revisor y en el que no existían unas normas que garantizaran su objetividad. Esta práctica llevó a la conclusión de que en las ciencias sociales y de la salud el conocimiento científico se acumulaba muy pobremente, resultando difícil alcanzar conclusiones sólidas sobre las evidencias científicas obtenidas en las investigaciones (Rosenthal, 1991). Las dificultades de las revisiones subjetivas se acrecentaron conforme se produjo un incremento exponencial del volumen de estudios empíricos que se publican sobre cualquier ámbito. Esta explosión de la literatura científica que se produjo a partir de la década de 1970 hizo prácticamente imposible la tarea de revisar la literatura científica sobre un tópico si no es con la ayuda de estrategias objetivas y sistemáticas.

Fases de un meta-análisis

La realización de un meta-análisis o de una revisión sistemática pasa necesariamente por las mismas fases que las que se requieren para llevar a cabo un estudio empírico. No obstante, dado que la unidad de análisis en un meta-análisis es el estudio empírico, mientras que en los estudios empíricos la unidad de análisis suelen ser los participantes seleccionados a partir de una o varias poblaciones, las fases de un meta-análisis presentan ciertas peculiaridades que es preciso clarificar. En términos generales, podemos plantear la realización de un meta-análisis siguiendo estas seis etapas:

1. Formulación del problema

Como en cualquier investigación empírica la primera fase consiste en plantear el problema que se pretende investigar. Un meta-análisis no es distinto de los demás tipos de investigación a este respecto. En primer lugar, debe formularse de forma clara la pregunta que se pretende responder, así como definir los constructos y conceptos implicados en la misma. De la formulación de la pregunta surgen a continuación los objetivos que se pretenden alcanzar con el meta-análisis y, en su caso, las hipótesis que se quieren contrastar (Cooper,2010).

2. Búsqueda de los estudios

Una vez planteados los objetivos del meta-análisis, el siguiente paso consiste en localizar los estudios empíricos que hayan abordado la pregunta objeto de investigación. Esta fase pasa necesariamente por la definición de los criterios de inclusión y exclusión de los estudios. Estos criterios dependen del objetivo del meta-análisis, pero nunca pueden faltar los siguientes: (a) identificar los diseños de los estudios admisibles para el meta-análisis (e.g., ¿sólo se aceptarán estudios experimentales con asignación aleatoria o también se admitirán estudios cuasi-experimentales?); (b) definir los tipos de programas, tratamientos o intervenciones que se pretenden investigar; (c) definir las características de los participantes en los estudios (e.g., ¿sólo se admitirán estudios que han trabajado con muestras de niños y adolescentes, o con adultos, o con pacientes que tienen un determinado trastorno médico o educativo?); (d) determinar los datos estadísticos que deben aportar los estudios para poder calcular los tamaños del efecto (e.g., medias, desviaciones típicas, proporciones, pruebas t, pruebas F de ANOVA, etc.) y (e) identificar cómo han de venir medidas las variables de resultado (e.g., escalas psicológicas, pruebas de rendimiento debidamente baremadas, medidas de autoinforme, etc.). Finalmente, otros dos criterios de inclusión que no pueden faltar son el idioma en el que tiene que estar escrito el estudio y el rango temporal que se pretende examinar.

3. Codificación de los estudios

Una vez seleccionados los estudios que cumplen con los criterios establecidos en el meta-análisis, el paso siguiente es elaborar un Manual de Codificación en el que se hagan explícitos los criterios mediante los cuales se van a codificar las características de los estudios. La razón de examinar dichas características no es otra que comprobar qué características de los estudios pueden estar moderando o afectando a los resultados. La codificación de las características de los estudios es, pues, una tarea imprescindible si queremos explicar por qué los estudios sobre un mismo tema alcanzan resultados diferentes, e incluso en ocasiones contradictorios (Lipsey y Wilson,2001).

4. Cálculo del tamaño del efecto

Al mismo tiempo que se codifican las características de los estudios, se hace preciso calcular un índice estadístico que sea capaz de reflejar la magnitud del efecto obtenido en cada estudio. Ese índice estadístico tiene que ser tal que pueda calcularse de forma homogénea en todos los estudios, de forma que sea capaz de poner en la misma métrica los resultados de los estudios. Esta homogeneización de la unidad de medida de los resultados es necesaria porque los estudios analizan sus resultados de formas muy diversas, tales como a través de medias y desviaciones típicas, proporciones de éxito (o de fracaso), mediante la aplicación de pruebas estadísticas diferentes, tales como pruebas t de diferencias entre medias, pruebas F de ANOVA, pruebas Chi-cuadrado de Pearson, etc.

5. Análisis estadístico e interpretación

Una vez codificadas las características de los estudios y calculados los tamaños del efecto, toda esta información se informatiza creando una base de datos en la que las filas son los estudios y las columnas son las variables potencialmente moderadoras de los resultados de los estudios, así como el tamaño del efecto obtenido en cada estudio. Un paso previo en el análisis estadístico consiste en describir las características de los estudios que se han codificado, con objeto de obtener una imagen prototípica de los estudios. Una vez hecho esto, el análisis estadístico típico de un meta-análisis pasa por tres fases (Lipsey y Wilson, 2001; Marín-Martínez, Sánchez-Meca y López-López, 2009): (1) cálculo del tamaño del efecto medio con su intervalo de confianza y valoración de su significación estadística; (2) análisis de la heterogeneidad de los tamaños del efecto, y (3) si los tamaños del efecto son heterogéneos, búsqueda de variables moderadoras de tal variabilidad.

6. Publicación

La última etapa en la realización de un meta-análisis, como la de cualquier otra investigación, es su publicación. Al tratarse de una investigación empírica, las secciones que debe incluir el informe escrito del meta-análisis son las típicas de un estudio empírico: introducción, método, resultados y discusión y conclusiones (Botella y Gambara, 2006; Clarke, 2009; Sánchez-Meca y Botella, 2010).

Reflexiones finales

No cabe duda que las revisiones sistemáticas y los meta-análisis están ejerciendo un importante papel en la acumulación del conocimiento científico y, en consecuencia, se han convertido en un potente instrumento para ayudar en la toma de decisiones que los profesionales de cualquier ámbito profesional de las ciencias sociales y de la salud tienen que tomar continuamente para optimizar su práctica profesional. Es por ello que las revisiones sistemáticas y los meta-análisis se han imbricado profundamente en el enfoque de la Práctica Basada en la Evidencia como una herramienta metodológica imprescindible para desvelar cuáles son las mejores evidencias, o pruebas científicas, acerca de cualquier problema o pregunta social, educativa, clínica, etc. Al mismo tiempo, la evaluación de la calidad metodológica de los estudios primarios, y de la investigación en general, es una cuestión fundamental que trasciende al meta-análisis y se imbrica en las propias raíces del método científico.