Optimización de la Calidad en Encuestas: Errores, Fiabilidad y Validez Metodológica

Calidad en la Realización de Encuestas

En la realización de una encuesta convergen distintas fases a cargo de personas concretas. Estas pueden adoptar, intencionadamente o no, actuaciones erróneas que no solo afectan a su desempeño, sino también a las fases posteriores en el curso de la investigación, deteriorando su calidad.

1. Errores de No Observación

No se ha recogido toda la variedad de unidades que componen la población de estudio.

• Error de No Cobertura: Se refiere a quienes de la población de estudio han sido excluidos en la selección de la muestra.
• Error de No Respuesta: Relacionado con la composición de la muestra final y su correspondencia con la población de interés.
• Error de Muestreo: La mayoría de los errores se originan en el cuestionario, afectando su:
  • Extensión.
  • Orden de las preguntas.
  • Formato (abierto o cerrado).
  • Uso de palabras ambiguas o de difícil comprensión.
  Este error se mide en la ficha técnica. El tamaño global de la muestra se determina para un Error de Muestreo (EM) con unos márgenes de confianza y heterogeneidad específicos. Es importante señalar que la Ficha Técnica (FT) no siempre recoge el Error de Cobertura y el Error de No Respuesta.

2. Errores de Medición

Estos errores afectan la correspondencia de los datos de la encuesta con la realidad. Pueden surgir por diversos factores:

• Método de encuesta.
• Diseño del cuestionario.
• Intervención del entrevistador.
• Actitud del entrevistado.
• Tratamiento de la información.

Pequeños cambios en las preguntas provocarán grandes diferencias en las respuestas. Pueden aparecer “sesgos de contagio” en la intervención de los entrevistadores durante el proceso de recogida de la información.

Fuentes Originarias del Error del Entrevistador

Existen tres fuentes principales de error relacionadas con el entrevistador:

1. Características Sociodemográficas

   Factores como el género, la edad o la etnia afectan cuando están relacionados con el tema de la encuesta. No obstante, estos efectos suelen anularse con la experiencia del entrevistador.

2. Factores Psicológicos

   • Confianza que el entrevistador tenga en sí mismo: Mayor confianza se traduce en una mayor cooperación de los encuestados y una mayor tasa de respuesta.
   • Expectativas sobre los encuestados.

   Otros factores relacionados con los errores humanos del entrevistador incluyen: su formación o preparación, interés y motivación, tiempo disponible, cantidad de trabajo y compatibilidad con otras ocupaciones.

3. Actuación Inadecuada en la Realización de la Encuesta, Procesamiento y Análisis de Datos

   Estos errores pueden paliarse con la creciente automatización de la encuesta. Son difíciles de percibir y pueden dar lugar a errores sistemáticos, que son mucho más nocivos.

Errores Humanos del Entrevistado

Los errores por parte del entrevistado pueden deberse a:

• Voluntad de dar respuestas veraces: Afectada por la autoestima o la imagen pública.
• Incapacidad para dar información correcta:
  • Mala redacción de la pregunta.
  • Desconocimiento del tema.
  • Precipitación en la respuesta.
  • Fallos en su memoria.

Es crucial incluir los errores humanos, junto a los errores de muestreo, en la estimación del error global de la encuesta.

Fiabilidad y Validez en la Investigación

Criterios de Validez (V)

La validez se evalúa a través de varios criterios:

• Validez Interna.
• Validez Externa.
• Validez de Conclusión Estadística.
• Validez de Constructo.

El cumplimiento de la validez garantiza la fiabilidad, pero no a la inversa.

Criterios de Fiabilidad (F)

La fiabilidad se basa en la estabilidad y consistencia de los datos. Esto se verifica mediante la aplicación reiterada de un mismo cuestionario, en distintos momentos, para observar si se alcanzan los mismos resultados.

La validez implica considerar las diversas fuentes de error que pueden determinar la fiabilidad de la encuesta. Un coeficiente de fiabilidad elevado se logra con la observación de muestras amplias y heterogéneas.

Factores que Afectan la Fiabilidad y Validez

• Errores de No Observación.
• Errores de Medición.
• Operacionalización múltiple.
• Eliminación de indicadores no relevantes (aumenta el coeficiente alfa).
• Aumento de la varianza de las variables.
• Estandarización del proceso de recogida de información.

Emplear un número mayor de entrevistadores aumenta la calidad de la encuesta, ya que el trabajo está mínimamente contaminado por inconsistencias de instrumentos humanos.

Mejoras en el Cuestionario para Evitar Errores de Medición

Las mejoras en el cuestionario deben ir encaminadas a evitar la presencia de errores de medición que se deban a:

• La desigual interpretación de los términos de la pregunta.
• La redacción de la pregunta, su introducción y formulación concretas.
• Las opciones de respuesta.
• El orden y contexto de la pregunta.
• El tema de la pregunta.

Sesgos Comunes

Un sesgo importante es la Deseabilidad Social: la tendencia a dar la respuesta que se considera socialmente deseable. Las personas con mayor nivel educativo suelen percibir más la intencionalidad de la pregunta. Los jóvenes, en general, suelen estar menos afectados por este sesgo.

Recomendación Final: Es fundamental NO realizar la encuesta si se carece de recursos para llevar a cabo una prueba piloto del cuestionario (Pretest).