1. ntroducción

En este capítulo explicaremos la tercera y cuarta etapa de la modelación con Dinámica de Sistemas:
prueba e implementación, ejemplificando el problema iniciado en temas anteriores.

Prueba

En esta etapa se distinguen tres pasos que permiten probar el modelo generado en la anterior etapa mediante la simulación por computadora.

 °Simular el modelo y probar las hipótesis dinámicas

Probar las suposiciones del modelo (Validación del modelo)

Probar el comportamiento del modelo y su sensibilidad a perturbaciones

Simular el modelo y probar las hipótesis dinámicas

La construcción del modelo culmina una descripción racional del proceso que se está estudiando y es el resultado de la etapa de formulación. A partir de este modelo se genera su comportamiento. La simulación por computadora del modelo permite determinar las trayectorias que genera.

Si el modelo es correcto, el comportamiento representado deberá reproducir, con cierto grado de precisión que se considere aceptable, el de la descripción empírica del sistema modelado (modo de referencia de la etapa de conceptualización).

Si ocurre el caso de que se careciera del modo de referencia, debido a que se diera un tipo de situación en el que confluyen una serie de factores que previamente no se hubieran dado; la evaluación del modelo se haría por expertos, en tanto se considere que incorpora todas las hipótesis que razonablemente se pudiesen hacer con relación a esa situación.

Probar las suposiciones del modelo (Validación del modelo)

El objetivo principal de la validación de modelo de dinámica de sistemas es establecer la validez de la estructura del modelo. En este paso se somete el modelo a una serie de ensayos y análisis para evaluar su validez y calidad. Estos análisis son muy variados y comprenden desde la comprobación de la consistencia lógica de las hipótesis que incorpora hasta el estudio del ajuste entre las trayectorias generadas por el modelo y las registradas en la realidad.

El orden lógico que se sigue en el proceso de validación es el siguiente:

Pruebas de estructura directa.

Pruebas de comportamiento orientadas a estructura.

Pruebas de la precisión del modelo (patrones de comportamiento).

Pruebas de estructura directa

Se trata de pruebas cuyo objetivo es valorar la validez de la estructura del modelo, mediante una comparación directa con lo que se conoce acerca del sistema real.
Esta comparación requiere tomar cada ecuación matemática o relación lógica individualmente y compararlas con las que se conocen del sistema real. Pero, esto no requiere simulación alguna.

 Las pruebas de estructura directa se pueden clasificar como:

Empíricas, implican una comparación de la estructura del modelo con información cuantitativa o cualitativa obtenida directamente del sistema real que estamos modelando.

Teóricas, implican una comparación de la estructura del modelo con lo que se conoce por la literatura acerca de estos sistemas.

5.2.2.1.1 Pruebas de confirmación de la estructura

Son quizás las más difíciles de formalizar y cuantificar, en la medida en que pretenden comparar directamente las ecuaciones del modelo con las relaciones que existen en el sistema real. La información necesaria para este tipo de comparación es por naturaleza altamente cualitativa y no se puede reflejar con un conjunto de datos numéricos. Sin embargo, hay algunas herramientas semiformales para llevar a cabo estas pruebas de estructura directa (inspecciones formales, revisiones, análisis de flujo de datos, etc.).

Pruebas de confirmación de parámetros

Consistente en evaluar los parámetros constantes frente a los que se conocen del sistema real, tanto conceptual como numéricamente. La confirmación conceptual consiste en identificar los elementos del sistema real que se corresponden con los parámetros del modelo. La confirmación numérica consiste en estimar el valor numérico del parámetro con suficiente precisión. Las pruebas de confirmación de parámetros se deben aplicar tanto en las pruebas empíricas como en las teóricas.

Prueba en condiciones extremas

Que implica evaluar la validez de las ecuaciones del modelo bajo condiciones extremas, evaluando la credibilidad de los valores resultantes frente a lo que ocurriría bajo las mismas condiciones en la vida real. A diferencia de lo que ocurre en condiciones normales de funcionamiento, en condiciones extremas es relativamente fácil predecir el valor de las variables del sistema real, por ejemplo si la población es cero no puede haber ni nacimientos, ni trabajadores, ni consumo, etc. Por lo tanto, cada ecuación del modelo se puede probar asignando valores extremos a las variables de entrada y comparando el valor de la variable de salida con lo que lógicamente ocurriría en el sistema real bajo las mismas condiciones extremas (las pruebas en condiciones extremas no implican una simulación).

Pruebas de consistencia dimensional

Han de probar que las dimensiones a ambos lados de la ecuación tienen que ser las mismas. Para ser significativo, la prueba requiere que el modelo no tenga falsos parámetros de escala, que no tienen significado en la vida real.

Pruebas de comportamiento orientadas a estructura

Se trata de un conjunto de pruebas cuyo objetivo es validar la estructura del modelo, pero indirectamente; mediante una serie de pruebas de comportamiento que se aplican a patrones de comportamiento generados en el modelo.

Estas son pruebas potentes, en el sentido de que pueden ayudar al modelador a descubrir defectos estructurales.

Test en condiciones extremas

Consiste en asignar valores extremos del parámetro seleccionado, y comparar el comportamiento generado por el modelo con el observado en el sistema real bajo estas mismas condiciones extremas (a estas pruebas también se les llama stress testing).

Test de sensibilidad de comportamiento

Consiste en determinar aquellos parámetros para los cuáles el modelo es muy sensible, y comprobar si el sistema real es igualmente sensible con respecto a estos mismos parámetros.

Predicción de la modificación del comportamiento

Esta prueba se puede realizar en el caso en que sea posible encontrar datos acerca de una versión modificada en el sistema real. El modelo supera esta prueba, si es capaz de generar un comportamiento modificado similar cuando la simulación se lleva a cabo con las modificaciones estructurales que reflejan la estructura del sistema real modificado.

Test de relación de fase

Este tipo de pruebas hacen uso de la relación de fase entre parejas de variables en el modelo, obtenidas como resultado de la simulación. Si alguna relación de fase obtenida del modelo, es contraria a la que se observa o se espera del sistema real, quiere decir que hay un fallo estructural en el modelo.

Análisis de las carácterísticas cualitativas

La prueba consiste en especificar las principales carácterísticas cualitativas del comportamiento esperado, bajo unas condiciones de prueba dadas, y luego compararlas con los resultados de la simulación actual.

Turing Test

En esta prueba, a los expertos se les presenta un conjunto de patrones de comportamiento de salida simulados y reales y se les pregunta si pueden diferenciar entre estos dos tipos de patrones. Si las pruebas demuestran que los dos tipos de patrones de comportamiento son estadísticamente indistinguibles, entonces se dice que ha pasado la prueba particular de Turing, sin embargo si los expertos detectan diferencias significativas, entonces son entrevistados con el propósito de descubrir fallos estructurales en el modelo, que pudieran ser los causantes de tales diferencias.Después de estudiar cada una de estas pruebas podemos observar que las pruebas de comportamiento orientadas a estructura son bastante sólidas ya que proporcionan información acerca de fallos estructurales que puedan existir en potencia. La ventaja más importante que presenta estos test frente a los de estructura directa es que los primeros son mucho más adecuados para formalizar y cuantificar. Las pruebas de estructura directa, aunque más potentes en concepto, tienen el inconveniente de que son en esencia demasiado cualitativas e informales.

Pruebas de la precisión del modelo (patrón de comportamiento)

Una vez que se ha obtenido la suficiente confianza en la validez de la estructura del modelo, se puede comenzar a realizar ciertas pruebas diseñadas para medir la  certeza con que el modelo, puede reproducir los principales patrones de comportamiento mostrados por el sistema real.

Es crucial notar que la importancia reside más en la predicción del patrón (período, frecuencia, retrasos de fase, amplitudes, etc.) que en la predicción del evento en concreto. Esto es un resultado lógico de la orientación a largo plazo de los modelos de dinámica de sistemas.

 No debería dar la impresión errónea de que la validación total del modelo consta de un único proceso secuencial; empezando por el modelo inicial y terminando con las pruebas de comportamiento. En realidad, dependiendo de los resultados de las pruebas específicas puede haber numerosos bucles y revisiones del modelo a lo largo del proceso.

Una vez que el modelo ha superado todas las pruebas estructurales podemos comenzar a evaluar su capacidad de predicción, llevando a cabo una serie de pruebas de comportamiento.

Si el modelo pasa todas las pruebas de estructura directa y de comportamiento orientadas a estructura, pero sin embargo falla las pruebas de patrones de comportamiento, entonces se deben de considerar nuevos parámetros y funciones de entrada, en cuyo caso podemos prescindir de las pruebas de estructura y aplicar únicamente las pruebas de patrones de comportamiento.

Una vez se supone que la estructura del modelo es adecuada, se llevarán a cabo las pruebas de predicción de patrones de comportamiento. Esta parte es importante debido principalmente a dos razones:

 °Las pruebas estadísticas convencionales no son aplicables a los modelos de predicción del tipo de Dinámica de Sistemas

°Una de las críticas más frecuentes realizadas sobre la metodología de Dinámica de Sistemas es la ausencia de unas pruebas de capacidad predictiva que sean formales y cuantitativas.

Las pruebas de patrones de comportamiento son insuficientes puesto que no proporcionan ninguna información sobre la validez de la estructura del modelo.

°Existen dos tipos distintos de patrones de comportamiento que requieren dos tipos de prueba:

Si el problema implica un transitorio (comportamiento altamente no estacionario), entonces es imposible aplicar ninguna medida estadística estándar, puesto que el problema no es de naturaleza estadística. La mejor aproximación es comparar medidas gráficas / visuales de las carácterísticas más típicas de patrones de comportamiento, tales como: amplitud, tiempo entre dos máximos, pendiente, valor mínimo, número de puntos de inflexión, tiempo de establecimiento, etc. Aún siendo el problema de naturaleza no estadística, es posible diseñar fórmulas de situaciones específicas que pueden estimar éstas y algunas otras carácterísticas de patrones de comportamiento.

°Si el problema implica una simulación permanente a largo plazo es posible aplicar ciertas pruebas estadísticas estándar. Si un modelo no pasa las pruebas de patrón de comportamiento, volvemos de nuevo a las revisiones del modelo. Pero en este caso, puesto que la confianza en la estructura del modelo debe haber sido establecida anteriormente, dichas revisiones implican únicamente cambios de funciones de entrada y / o parámetros más que revisiones estructurales.

Pruebas de predicción de patrones de comportamiento

Las pruebas de predicción de patrones de comportamiento básicamente consisten en comparar el comportamiento generado por el modelo con el comportamiento observado en el sistema real que tratamos de modelar. Este tipo de comparación es difícil y problemático para modelos de Dinámica de Sistemas debido a varias razones.

Por un lado, los parámetros de ruido de modelos de Dinámica de Sistemas no son necesariamente independientes y/o con un distribución normal. Los patrones de comportamiento generados por modelos de dinámica de Sistemas típicos son altamente no correlacionados, generalmente son no estacionarios en cuanto a su valor medio y a veces tampoco lo son en su varianza. Estas carácterísticas de los modelos de Dinámica de Sistemas violan las tres suposiciones fundamentales en que se apoyan las pruebas estadísticas convencionales; estas son: distribución normal, independencia y estacionariedad.

De este modo, las pruebas estándar como el t-test, F-test, o el c2-test, no se pueden aplicar directamente a la validación de modelos de Dinámica de Sistemas. Teniendo en mente estos problemas, una aproximación sería la de eliminar carácterísticas no deseables, como la autocorrelación o la no estacionariedad de los datos, y entonces aplicar los tests estándar a los datos ya transformados.

Sin embargo, esta aproximación no nos sirve tampoco para la validación del comportamiento de los modelos de Dinámica de Sistemas, ya que estas carácterísticas no deseables para nuestra estadística, que acabamos de mencionar son importantes componentes del temporales del patrón que el modelo de Dinámica de Sistemas trata de reproducir.En lugar de eliminarlas, el analista debe responsabilizarse de demostrar que el modelo es capaz de generar autocorrelaciones y no estacionariedades (como pueden ser ciclos, tendencias de crecimiento, etc.) similares a las que se observan en el comportamiento del sistema real.

 Está suficientemente demostrado que, por su naturaleza, los modelos de Dinámica de Sistemas, no predicen valores específicos individuales de variables de salida (predicción puntual), sino que predicen patrones de tiempo globales, del sistema completo (predicción de patrón).

Como consecuencia de que las pruebas estadísticas estándar resultan inapropiadas, los expertos en Dinámica de Sistemas, han adoptado procedimientos relativamente cualitativos para la validación de la predicción de patrones de comportamiento. La Dinámica de Sistemas ha sido frecuentemente criticada por su falta de herramientas de evaluación formales y cuantitativas. Los expertos en Dinámica de Sistemas han respondido a este tipo de críticas afirmando que la validación de modelos es inherentemente relativa e incluso ampliamente informal y cualitativa por su propia naturaleza.Debe entenderse que la utilización completa de herramientas formales - cuantitativas para evaluar el comportamiento de un modelo de Dinámica de Sistemas, no es incompatible con la filosofía relativista / holistica de la validación de modelos.

El empleo de pruebas estadísticas

A pesar de que la generación de números pseudoaleatorios y variables aleatorias no es muy importante en dinámica de sistemas, estos elementos pueden ser introducidos en los modelos.

Los lenguajes de dinámica de sistemas proporcionan funciones que dan soporte a estas carácterísticas. Por ejemplo en VENSIM la función RANDOM_0_1() genera un número aleatorio entre 0 y 1. El comportamiento probabilístico puede introducirse a través de variables de flujo o de información.

Cuando un modelo tiene carácter aleatorio produce como resultados variables aleatorias que deben interpretarse mediante técnicas estadísticas. Sin embargo estas pruebas presentan una serie de problemas que se enumeran a continuación. Las pruebas de significancia estadística consisten en plantear una hipótesis provisional (null hypothesis) y evaluar si las implicaciones derivadas de ella discrepan significativamente en términos estadísticos con respecto a los datos obtenidos del sistema real. Para medir la discrepancia se calcula un estadístico que combina los datos empíricos y la hipótesis provisional, y se divide su rango de valores de salida en dos intervalos, denominando regíón crítica a aquel que corresponde con la decisión de rechazar la hipótesis bajo prueba. Para hacer esta división del rango de salida del estadístico hay que elegir un nivel de discrepancia por encima del cual se considera la hipótesis como falsa. Pero al aproximar las variables aleatorias observables de sistema real por muestras estadísticas existe una cierta probabilidad de equivocarse, en el caso de que el conjunto de datos recogido no aproximen adecuadamente la función distribución de probabilidad.

Hay dos tipos de errores que son: rechazar la hipótesis provisional cuando en realidad es cierta (error tipo I), y aceptar la hipótesis como válida cuando es falsa (error tipo II).

A la probabilidad de cometer el error tipo I se le denomina nivel se significancia del test, y a la probabilidad no cometer el error tipo II, o sea la probabilidad de aceptar la hipótesis sólo cuando esta es cierta, se le llama potencia del test. Así, una prueba con un nivel de significancia de 0.05 descartará hipótesis válidas sólo el 5% de las ocasiones.El uso de pruebas estadísticas de significancia como herramientas para validar modelos es un tema controvertido. En dinámica de sistemas este tipo de test ha sido poco utilizado, a pesar de que es una herramienta habitual para validar modelos en las ciencias sociales y económicas, lo que le ha acarreado algunas críticas.

Emplear pruebas de significancia estadística para evaluar modelos de dinámica de sistemas y, por extensión, otros modelos socioeconómicos, tiene problemas tanto técnicos como filosóficos. Los primera de las cuestiones técnicas que desaconsejan el uso de dichas pruebas es que la mayoría de ellas necesitan al menos que los datos empíricos empleados sean no autocorrelacionados (los valores de una misma variable sean independientes entre sí), no posean correlación entre sí las diferentes variables observadas, y dichas variables sigan una distribución gaussiana.Las dos primeras exigencias casi nunca se satisfacen en un modelo de dinámica de sistemas debido al carácter social de los sistemas reales a modelar. En los sistemas sociales las interdependencias entre variables son abundantes y en ocasiones difícilmente identificables. Por eso asegurar que no existen dependencias en la muestra de datos es casi imposible. En estas condiciones de datos correlacionados la complejidad de las pruebas aumenta mucho.

Otra dificultad técnica en la aplicación de pruebas de significancia estadística es la adquisición de datos del sistema real sin falsearlos, lo que produciría resultados incorrectos de las pruebas

La última dificultad técnica estriba en que los modelos no suelen tener una única  variable de salida, sino que existen varias importantes para el propósito perseguido. Por tanto el test a realizar debería evaluar la significancia estadística conjunta de múltiples hipótesis al mismo tiempo. Estos test son complejos y poco generales, sobre todo si, como se ha comentado antes, los datos de entrada están correlacionados.

Respecto a los problemas filosóficos que surgen de comprobar hipótesis estadísticamente, el primero surge a la hora de fijar el nivel de significancia con que se va a aplicar una prueba. En la bibliografía se encuentra a menudo la recomendación de colocarlo entre 0.10 y 0.05.

Sin embargo no suelen considerarse con la suficiente atención los efectos de esta elección. Si eligiéramos un nivel de significancia pequeño, esto es, una baja probabilidad de rechazar una hipótesis verdadera, tendríamos inevitablemente una alta probabilidad de aceptar hipótesis falsas (error tipo II).

Cada uno de los dos tipos de error en que podemos caer tiene un coste y por ello al decidir cuál debe ser el nivel de significancia debemos intentar minimizar el coste conjunto que ambos errores nos acarrearán en término medio. Esto ya es complicado en otras situaciones, pero en validación de modelos es incluso difícil de definir: cómo vamos a medir el coste de rechazar un modelo válido o el de aceptar uno falso.Debido a esta incertidumbre, tradicionalmente se ha escogido un nivel de significancia arbitrario, aunque rechazar o aceptar modelos en base a un criterio injustificado vacía a la prueba de objetividad y, por lo tanto, de utilidad.

Una alternativa para resolver esto es restarle importancia al test, calculando el estadístico pero sin usarlo como elemento discriminante de validez, solamente como un indicador más de su aptitud. Además esta actitud está en línea con el  planteamiento filosófico que juzgamos como más adecuado para la dinámica de sistemas en un apartado anterior.

Desde esa perspectiva filosófica la validación ha de ser un proceso continuo y progresivo, y ponderar tanto la validez como la utilidad que nos da el modelo. Por eso es mejor permitir que sea el modelador o usuario del modelo quien emplee estos  estadísticos del modo informal/cualitativo que mejor le parezca en el proceso de validación. Al final el usuario considerará el modelo como válido si piensa que le es más útil usarlo que no hacerlo. Esto es un claro ejemplo de la combinación de técnicas formales/cuantitativas con informales/cualitativas que emplea la dinámica de sistemas al evaluar la confianza en un modelo.

Validación del modelo ejemplo

La validación es la demostración de que el modelo, dentro de su campo de aplicación, representa a la realidad con un grado de exactitud adecuado para la aplicación deseada. Juzgar la validez de un modelo fundamentalmente implica juzgar también la validez de su propósito. Utilizaremos para la cuantificación de la contrastación la técnica de error porcentual medio absoluto (EPMA):

Wr

W o*100 £e

W o

Donde:

Wr = Valor histórico

W o = Valor simulado

e= error

Implementación

Esta última etapa consta de dos pasos:

Probar la respuesta del modelo a diferentes políticas o entornos

Traducir las conclusiones del estudio a una forma accesible a la gente común.

Probar la respuesta del modelo a diferentes políticas o entornos (Explotación del modelo)

Este paso del modelo se emplea para analizar políticas alternativas que pueden aplicarse al sistema que se está estudiando. Estas políticas alternativas se definen normalmente mediante escenarios que representan las situaciones a las que debe enfrentarse el usuario del modelo.

En el ejemplo se pueden considerar los siguientes escenarios:

Escenario 1

Para la generación de un primer escenario estratégico de toma de decisión, se considera la hipótesis de simulación “que pasa si…”, considerando que el SEDES consiga duplicar su presupuesto asignado con el cual podría contratar el doble de personal médico, duplicar su infraestructura hospitalaria, incrementar el acceso gratuito a medicamentos y ejecutar una campaña de concientización para asistir a los centros de salud, lo que incidirá en mejorar la tasa de tratamiento de la enfermedad.

Resumen

Para las pruebas se distinguen tres pasos: simular, probar las suposiciones, probar el comportamiento y su sensibilidad a perturbaciones del modelo.

La simulación por computadora del modelo permite determinar las trayectorias que genera el modelo

En la validación lo que se pretende es establecer la validez de la estructura del modelo, esto mediante pruebas de estructura directa, pruebas de comportamiento orientadas a estructura y pruebas para la precisión del modelo (patrones de comportamiento).

La etapa de implementación consta de dos pasos: Probar la respuesta del modelo a diferentes políticas o entornos y traducir las conclusiones del estudio a una forma accesible a la gente común.

Términos y conceptos clave

Prueba, simulación, hipótesis dinámica, validación, comportamiento, estructura.