Conceptos Esenciales en Data Warehousing, Agrupamiento y Modelos Predictivos

Conceptos Clave en Data Warehousing y Modelado de Datos

Data Warehouse: Almacén de Datos Centralizado

Un Data Warehouse es un almacén de datos compuesto por data marts. Su implementación puede seguir dos enfoques principales:

Enfoque Bottom-Up

Consiste en un modelo de datos normalizado con control de datos absoluto. Se compone de varios niveles de áreas de interés y data marts dependientes, ofreciendo alta seguridad.

Enfoque Top-Down

Este enfoque utiliza un modelo dimensional de data marts con un esquema en estrella. Inicia con el desarrollo de data marts para cada unidad de negocio, los cuales son agrupados posteriormente en el Data Warehouse.

Técnicas de Agrupamiento (Clustering)

Las técnicas de partición o agrupamiento buscan organizar los datos en grupos o clústeres.

K-medias (K-Means)

Pertenece a la partición rígida, donde cada elemento se asigna a un único grupo. Asigna un grupo con el centroide más cercano a cada elemento, utilizando la distancia euclidiana. El proceso iterativo es el siguiente:

1. Define los centroides iniciales y el número de conglomerados (k).
2. Asigna cada elemento al centroide más cercano.
3. Reasigna los grupos a cada elemento basándose en los nuevos centroides (calculados como la media de los elementos de cada grupo).
4. Repite los pasos 2 y 3 hasta que ningún elemento cambie de grupo.

C-medias (Fuzzy C-Means)

Es una técnica de partición difusa, lo que significa que un elemento puede pertenecer a más de un grupo. No asigna a un solo grupo, sino que asigna una probabilidad de pertenencia a cada uno. Busca la combinación óptima de grados de pertenencia de cada individuo.

Agrupamiento en Dos Fases (Two-Step Clustering)

Este método es eficiente en bases de datos muy grandes. Puede clasificar utilizando variables categóricas y continuas, y define el número ideal de clústeres. Es crucial que las variables sean independientes; para comprobarlo, se buscan correlaciones o se utilizan tablas de contingencia. Las variables continuas deben seguir una ley normal, lo cual se puede verificar con pruebas como la de Kolmogorov-Smirnov.

Modelos Predictivos y de Clasificación

Estos modelos buscan predecir resultados o clasificar elementos en categorías.

Modelos de Propensión de Compra

Son modelos de predicción que determinan si se realizará o no una compra, buscando medir la probabilidad de que esta ocurra.

Análisis Discriminante

Es un análisis multivariante que busca diferencias significativas entre grupos de datos respecto a un conjunto determinado de variables. Si existen diferencias, el análisis explica su sentido. Se considera como un análisis de regresión donde la variable dependiente es categórica. Es imprescindible contar con al menos dos grupos para aplicarlo.

Regresión Logística

Es un modelo de predicción no lineal. La variable observada es de carácter binario (sucede o no sucede), y a partir de las variables explicativas, se puede determinar la probabilidad de que ocurra.

Clasificadores Bayesianos

Están basados en el Teorema de Bayes. Permiten combinar datos con conocimiento a priori, lo que facilita la obtención de probabilidades de pertenencia. Son particularmente útiles para solucionar problemas de toma de decisiones en contextos con información limitada acerca de distintas variables.

Árboles de Decisión

Son modelos de predicción que, dado un conjunto de datos, construyen un mapa con posibles resultados a partir de una serie de decisiones. Sirven principalmente para que un individuo evalúe y compare diferentes acciones que conducen a caminos distintos, lo cual ayuda en la toma de decisiones. Contienen los siguientes elementos:

• Nodos: Representan el momento de tomar una decisión.
• Vectores: Indican la solución final de cada período.
• Flechas: Unen los nodos, mostrando las posibles transiciones.
• Etiquetas: Dan nombre a cada acción o resultado.

Son de utilidad cuando los caminos de acción están bien definidos, la incertidumbre puede ser cuantificada y los objetivos son claros.

Modelos de Clasificación

Sirven para explicar y predecir la pertenencia de los individuos a una clase (segmentar).

Modelos de Regresión

Predicen la asignación de individuos a grupos predefinidos en función de variables predictoras. Son modelos diseñados para una variable cuantitativa.

Redes Neuronales

Son modelos artificiales que solucionan problemas complejos mediante técnicas algorítmicas. Se organizan en capas: una de entrada, una o varias capas ocultas y una capa de salida. Estas capas se conectan con pesos de conexión variables.

Evaluación del Desempeño de Modelos

Métricas de Desempeño y Matriz de Confusión

Para conocer el desempeño de los métodos predictivos, especialmente en clasificación, se utiliza la matriz de confusión, que permite calcular diversas métricas de desempeño.