Proceso de Evaluación Científica: Calidad, Recuento y Promoción Académica

Evaluación de Científicos: Calidad, Recuento y Promoción

Calidad de los Trabajos Científicos

Evaluación por Pares

Si el trabajo no está publicado, se asume que quienes pueden juzgarlo son los mismos investigadores del área (pares). En el pasado, un editor de una revista científica revisaba personalmente todos los trabajos que se publicaban en la misma; el editor es normalmente investigador del área. La especialización cada vez más creciente hizo a los editores incapaces de evaluar la calidad de las contribuciones. Por ello, tuvieron y tienen que solicitar ayuda externa. Crearon primero Comités Editoriales para repartirse el trabajo y después recurrieron a expertos (revisores) seleccionados generalmente entre los científicos del área (pares iguales).

Los revisores:

• Evalúan aconsejando rechazo, aceptación, o aceptación condicionada de los trabajos presentados en la revista.
• Formulan críticas o sugerencias de mejora.

Son muchos los problemas del sistema de referees, entre ellos:

• La falta de atención debido al gran número de trabajos a revisar.
• Sesgo: hacia lo positivo y significativo; en contra de la replicación; y favoritismo y conflicto de interés.

Un intento de resolver estos problemas es el sistema de doble ciego, donde ni los autores conocen quiénes son los revisores ni los revisores quiénes son los autores de los trabajos revisados. Aunque lo normal es que los revisores conozcan a los autores, pero no al contrario.

Contribuciones en Revistas Científicas

Los manuscritos u originales enviados a una revista científica para publicar son evaluados mediante este mecanismo.

Cuando se le pide a un revisor de una revista que evalúe un manuscrito, se le facilita una plantilla y se le solicita que valore la originalidad, la precisión, la completitud, la claridad, la aportación al campo, la metodología, los resultados, la bibliografía, las ilustraciones, etc., y que haga sugerencias sobre ampliación o reducción de las explicaciones.

El resultado final que aporta el revisor es una sugerencia de: aceptación, aceptación con cambios menores, aceptación con cambios mayores o rechazo.

El revisor debe justificar sus valoraciones con una serie de comentarios y sugerencias. Hay dos tipos de comentarios: los dirigidos a los autores, especificando los cambios que se sugieren, y los dirigidos al editor, que no son enviados a los autores.

En la actualidad, este proceso se realiza de manera ágil mediante plataformas web diseñadas a tal efecto. En el pasado, se enviaban en papel, y el editor hacía una fotocopia y recortaba las partes correspondientes a la identificación del revisor y de los comentarios dirigidos a los autores.

No es habitual aceptar un trabajo directamente; se suelen sugerir cambios. En el caso de cambios menores, estos son muy concretos y los puede revisar directamente el editor. Si son cambios mayores, el trabajo revisado, junto con una lista de cambios y respuestas a los revisores, vuelve a ser enviado a los revisores. Este ciclo puede suponer que un trabajo se tenga que enviar varias veces a la revista, aunque no suele ser necesario mandarlo más de tres veces.

Contribuciones en Congresos

La evaluación de estas contribuciones es bastante similar a la de las contribuciones a revistas.

Los ingresos económicos en los congresos provienen del cobro de las inscripciones a los asistentes. Se suele exigir al menos una inscripción por contribución aceptada. Existe un conflicto de intereses: un gran número de contribuciones aceptadas supone el éxito económico del congreso. Hay congresos organizados por empresas cuyo único objetivo es el económico. La clave para su éxito radica en darles una apariencia científica, aceptar la mayor parte de las comunicaciones enviadas y realizarlos en un lugar atractivo para los científicos.

Los congresos también tienen una fecha fija, lo que implica que no pueda realizarse una segunda revisión. A veces, incluso, son solo los resúmenes los que son evaluados. A partir de los resúmenes, el comité decide si puede ser una comunicación oral o si solo puede ser un póster.

La evaluación suele limitarse a la recomendación de aceptación o no, en algunos casos a indicar el tipo de contribución y a dar una serie de sugerencias científicas. A diferencia de las contribuciones a revistas, no se suele comprobar el seguimiento de las sugerencias de los revisores.

Algunos congresos llegan a acuerdos con revistas para enviar una selección de comunicaciones, de las cuales se realiza una versión ampliada que se publica en las mismas.

Proyectos de Investigación

En las convocatorias competitivas de financiación para proyectos de investigación, se presentan propuestas que son evaluadas. De acuerdo con la evaluación, se ordenan, y según ese orden se concede o no la financiación.

A veces, en las convocatorias se marcan unas líneas prioritarias, lo que puede dar lugar a que el proyecto tenga dos evaluaciones: una científica, realizada por expertos en el área (pares), y otra más administrativa, de adaptación a las líneas prioritarias.

En las memorias de las solicitudes de proyectos de investigación se suele incluir una introducción revisando la bibliografía y planteando el problema que el proyecto va a tratar de resolver. Se suelen especificar los objetivos y el interés del mismo. Se debe describir la metodología, un plan de trabajo detallado, así como un plan de transferencia de resultados. A ello se suma el currículum de todos los miembros del equipo investigador.

El informe de evaluación científica tiene una serie de epígrafes establecidos junto con sus pesos relativos en la convocatoria. Tiene una parte descriptiva (se describe la propuesta presentada) y otra parte valorativa (puede ser por epígrafes) donde se emite un juicio razonado sobre la calidad del mismo. A veces, se pide al evaluador que señale los puntos débiles y fuertes. Además de la parte textual, el informe tiene una puntuación cuantitativa que debe ser coherente con la textual.

Al Investigador Principal (IP) se le suele evaluar tanto la producción científica como la participación y dirección de otros proyectos en convocatorias competitivas. Del resto del equipo investigador se suele evaluar su producción científica y su adecuación a las tareas planteadas.

Se evalúa la viabilidad y calidad del proyecto presentado, el equipo investigador y los beneficios que se pueden obtener del mismo.

En España, la ANEP (Agencia Nacional de Evaluación y Prospectiva) tiene asignada la función de realizar una evaluación científico-objetiva e independiente de las unidades, equipos humanos y las propuestas de investigación para participar en los programas y proyectos del Plan Nacional, así como el seguimiento de los resultados. La ANEP comprende 26 áreas temáticas. Al frente de cada una de ellas está un equipo de coordinación de entre 4 y 8 miembros, formado por científicos de prestigio. En cada proceso que llevan a cabo, seleccionan evaluadores externos (pares).

Recuento y Atribución de Crédito en Publicaciones

La comunidad científica ha aceptado que la colaboración científica conduce a un aumento de la visibilidad y el impacto de los resultados que se generan. La colaboración científica no es algo aislado, sino que en la ciencia moderna es más bien la norma, e incluso es incentivada.

Los beneficios en impacto dependen de los diferentes tipos de colaboración:

• Interna: todos los autores son de la misma institución.
• Nacional: todos los autores son de un mismo país, aunque de más de una institución.
• Internacional: autores de más de un país.

Aunque la colaboración nacional conduce a una mayor visibilidad (citación) que la colaboración interna, la colaboración internacional aumenta significativamente las tasas de citación con respecto a la nacional.

A nivel individual, la ganancia no es siempre igual. No es lo mismo tener un socio que suele tener altas tasas de citación que lo contrario. Esto puede llevar a que algunos investigadores, países, etc., que tienen habitualmente socios con altas tasas de citación, obtengan una citación muy superior a sus capacidades científicas auténticas.

Los autores de un trabajo se diferencian en el orden en que aparecen y en que hay uno que es el autor de correspondencia. En cuanto al orden, no hay nada definido y se suelen utilizar prácticas diferentes en cada disciplina. En algunas disciplinas es común que los autores se coloquen por orden alfabético. En un trabajo se relaciona la posición en la firma con el tipo de contrato de los investigadores en nuestra universidad.

El autor de correspondencia es quien debe responder al editor, a los revisores y a los lectores. Está aceptado que son los encargados de formar el equipo y obtener la financiación, quienes dan la aprobación final y, por tanto, los máximos responsables y garantes del trabajo.

En la Cienciometría se han utilizado distintos métodos para atribuir el crédito de un trabajo:

• Whole Counting: crédito completo para cada participante. Si se contabilizan instituciones o países, también.
• Complete Counting: crédito completo para cada investigador. Si se contabilizan instituciones o países, se les asignan tantos créditos como investigadores pertenecientes al mismo firman el trabajo.
• Fractional Counting: el crédito es repartido a partes iguales entre todos los autores. Si se contabilizan instituciones o países, se les asignan tantas fracciones como investigadores pertenecientes al mismo firman el trabajo.
• Straight Counting: un crédito para el autor más prominente, el resto nada.
• First Author: asigna el crédito al primer autor.
• Research Guarantor: asigna el crédito al autor de correspondencia.

En la actualidad, no se utiliza un método aislado. Si se utiliza el conteo fraccionado, se perjudica la colaboración que se incentiva por otro lado. De modo que hoy se impone utilizar el Whole Counting para hacerse una idea de la producción global, y el Research Guarantor para conocer la producción liderada por el autor, grupo, institución, región, país, etc.

Evaluación para Incentivos y Promociones

Sexenios de Investigación

La Ley de Ciencia de 1986 supuso un cambio de tendencia en la producción científica española. Una de sus medidas estrella fue el establecimiento de un complemento conocido como sexenio de investigación. Se trataba de un pequeño complemento retributivo acumulable de poco más de una centena de euros al mes. Decimos "se trataba" porque en la actualidad es algo más. Actualmente, es requisito indispensable para participar en muchas actividades, además de para categorizar a los propios científicos en función de las evaluaciones positivas que han superado.

Durante este tiempo, se ha constatado que este sistema de evaluación ha supuesto un importante avance de la ciencia española tanto en cantidad como en calidad. La gran experiencia evaluadora de la CNEAI (Comisión Nacional Evaluadora de la Actividad Investigadora) ha hecho que sea referente en la evaluación científica.

Cada año, a finales, la CNEAI lanza una convocatoria para solicitar la evaluación de un tramo de seis años de trabajo como investigador. El resultado es positivo o negativo, lo que supone la obtención o no del correspondiente complemento retributivo.

La CNEAI crea para cada anualidad una serie de Comités Asesores (14) a los que pide asesoramiento, formados por miembros de la comunidad científica (sexenios), de acuerdo con los 12 campos científicos que existen; algunos de ellos son: Química, Ciencias de la Naturaleza, Ciencias Biomédicas, etc.

La evaluación se realiza en base a las cinco aportaciones que indica el investigador. La CNEAI considera dos tipos de aportaciones:

• Ordinarias: los libros, prólogos, introducciones, artículos de variada científica, etc. En algunos campos lo son desarrollos tecnológicos, creaciones artísticas o las contribuciones a congresos de relevancia.
• Extraordinarias (tienen un carácter complementario): los informes y los trabajos técnicos, catalogaciones, comunicaciones a congresos, así como la dirección de tesis doctorales de mérito excepcional.

Todas las aportaciones deben ser innovadoras y no divulgativas, por lo que quedan excluidos manuales y publicaciones docentes.

Cada aportación irá acompañada de un breve resumen que contenga los objetivos y resultados más sobresalientes de la investigación. Si se trata de una obra colectiva, se debe especificar en este resumen el alcance de la contribución del solicitante. El solicitante deberá acompañar los indicios de calidad de la investigación, que podrán consistir en:

• Referencias que otros autores realicen, en trabajos publicados, a la obra del solicitante, que sean indicativas de la importancia de la aportación o de su impacto en el área.
• Relevancia científica del medio de difusión en el que se haya publicado cada aportación. En las disciplinas en las que existan criterios internacionales de calidad de las publicaciones, estos serán referencia inexcusable.
• Datos sobre la explotación de patentes o modelos de utilidad.
• Reseñas en revistas especializadas.
• Apreciación del propio interesado sobre la contribución de su obra al progreso del conocimiento, así como del interés y creatividad de la aportación.