Sesgo en los tests: funcionamiento diferencial de los ítems (DIF) y formas de interpretar las puntuaciones

El sesgo de los tests

Un instrumento de medición debe dar cuenta de la variabilidad de los sujetos con respecto al atributo de interés; no debe estar afectado por las características del objeto de medida. Ha de garantizar resultados idénticos en sujetos que tienen el mismo nivel en el atributo medido, sea cual sea su grupo de pertenencia. Un foco principal reside en la detección de ítems o tests que se comportan diferencialmente para grupos que difieren en lengua, género o cultura.

Función diferencial del ítem

Cuando sujetos con idéntico nivel en la característica medida (comparables) tengan distintas probabilidades de éxito ante un determinado ítem, dependiendo del grupo al que pertenezcan.

Primer trabajo

650 ítems de 8 tests de inteligencia.

Objetivo: detectar aquellos ítems que, por su familiaridad para ciertos grupos socioeconómicos, bien en el aspecto formal o de contenido, pudieran estar reflejando las oportunidades para aprender de estos grupos antes que la variable que se pretende medir.

Impacto de un ítem

Cuando las diferencias observadas entre los grupos distintos de la población en la ejecución del ítem en cuestión obedezcan a diferencias reales entre los grupos en la característica medida por el test.

Tipos de DIF

1. DIF uniforme: cuando no existe interacción entre el nivel en el atributo medido y la pertenencia a un determinado grupo; es decir, cuando la probabilidad de responder correctamente al ítem sea mayor para un grupo que para el otro uniformemente a lo largo de todos los niveles del atributo.

2. DIF no uniforme: cuando sí existe interacción; es decir, la probabilidad de responder correctamente al ítem en los dos grupos no sea la misma a lo largo de todos los niveles del atributo.

Factores

En la traducción de escalas y cuestionarios (diferencias culturales, las malas traducciones que pueden provocar DIF y las diferencias lingüísticas).

Tipos de ítems

Dicotómicos y politómicos.

Tipo de método

No paramétricos y paramétricos.

Tipo de variable de equiparación

Observada y latente.

Medida del tamaño del efecto

Indica tanto la cuantía como la dirección de las diferencias de funcionamiento encontradas.

Valores alpha (α)

Se encuentran entre cero e infinito.

1. Valores mayores de 1 favorecen al grupo de referencia.
2. Valores menores de 1 favorecen al grupo focal.

Si valen 1, no hay funcionamiento diferencial.

Valores delta (Δ)

Escala simétrica; el valor de cero significa ausencia de DIF.

1. Valores negativos favorecen al grupo de referencia (-1).
2. Valor positivo favorece al grupo focal (+1).

Índice de estandarización (IE)

Varía entre -1 y +1. Cuantifica las diferencias entre las proporciones de aciertos de los grupos de referencia y focal para cada uno de los niveles en los que se ha dividido la puntuación en el test.

Criterios

• a) Entre -0,05 y 0,05: no existe DIF.
• b) Entre -0,05 y -0,10, o entre 0,05 y 0,10: conviene especificar el ítem (funcionamiento diferencial moderado).
• c) Valores mayores de 0,10 y menores de -0,10: presentan DIF (funcionamiento diferencial alto).

En el IE, "p": varía entre -1 y +1. Valor positivo: el ítem favorece al grupo focal. Valor negativo: el ítem favorece al grupo de referencia.

Formas de interpretar

1. Referidas a un criterio

Puntos de corte y dividiendo la puntuación en el test por el máximo que se puede obtener.

2. Referidas a la norma

Referente al grupo al que pertenece el sujeto, conociendo su posición en el grupo.

Tipos de normas

1. Transformaciones lineales

• a) Puntuaciones tipificadas.
• b) Puntuaciones tipificadas derivadas.

2. Transformaciones no lineales

• a) Percentiles.
• b) Puntuaciones tipificadas normalizadas.

Percentiles

Se define como el porcentaje de sujetos en un grupo normativo que obtiene valores en el rasgo psicológico menores o iguales a un valor particular de ese rasgo.

1. Aplicar el test a una muestra aleatoria y representativa de la población a la que irá destinado.
2. Obtener las puntuaciones en el test para cada uno de los sujetos.
3. Elaborar una tabla de frecuencias, de menor a mayor puntuación.

Limitaciones

• No es una escala de unidad constante.
• No discrimina entre individuos que se sitúan en el centro de la distribución de frecuencias.

Puntuaciones tipificadas normalizadas

(Transformación no lineal): una característica esencial es que no mantienen la distribución original de las puntuaciones; es decir, la transformación de puntuaciones observadas en puntuaciones tipificadas normalizadas supone el cambio de la distribución original a una distribución normal tipificada con μ=0 y σ=1.

1. Calcular los percentiles para cada puntuación directa.
2. Dividir entre 100 para obtener las proporciones.
3. Buscar dicha proporción como área en las tablas de la curva normal.
4. Identificar la puntuación tipificada normal que le corresponde.

Puntuaciones tipificadas derivadas

Son transformaciones lineales del tipo Zy = α + βZx, donde α y β son constantes arbitrarias, y Zx es la puntuación tipificada correspondiente.

Fórmula de referencia

• FA: frecuencia acumulada hasta la puntuación para la que se quiere calcular el percentil.
• FR: frecuencia absoluta para esa puntuación.
• N: tamaño muestral.

Eneatipos

Son puntuaciones derivadas de un solo dígito que varían entre 1 y 9. La media de esta escala derivada es 5 y su desviación típica es 2.

Eneatipo: se define sobre un intervalo de puntuación que encierra entre sus límites un porcentaje exacto de casos. Los eneatipos informan, de forma breve y concisa, del intervalo en el que se encuentra la puntuación normalizada de una persona en un test.

Las normas de edad mental y sus limitaciones

1. Ya que no existe una relación perfecta entre puntuación en el test y edad.
2. Las diferencias a nivel cognitivo entre sujetos de la misma edad mental pueden ser tan importantes como para que sus puntuaciones difieran significativamente.
3. Un año de edad mental es mucho más importante en los primeros años del niño que en los siguientes.
4. Las escalas de edad mental solo sirven para evaluar aquellos rasgos que evolucionan con la edad o el aprendizaje.
5. Las puntuaciones obtenidas en los tests de desarrollo no son comparables de una edad cronológica a otra, dependen de la media y desviación típica de las distribuciones correspondientes a esas edades.