Conceptos esenciales de Machine Learning: k-NN, SVM, redes neuronales y clustering

Conceptos fundamentales de aprendizaje automático

Definiciones y términos clave

• Validación: El conjunto de validación sirve para ajustar hiperparámetros y seleccionar el modelo durante el entrenamiento.
• Matriz de confusión: Es una tabla que permite ver los aciertos y errores del modelo.
• k-NN: (k-Nearest Neighbors) es un algoritmo de aprendizaje supervisado que, para predecir un dato, mira los k datos más cercanos.
• Estandarización: Es una técnica que centra los valores con media cero y desviación estándar uno para que los valores grandes no dominen el modelo.
• Importancia de escalar variables: Para modelos como k-NN o SVM es importante que la distancia entre cada dato tenga el mismo peso; de lo contrario, los valores grandes dominarán el modelo.
• Hiperparámetro: Es un valor que elige el programador antes de entrenar, como la k en el modelo k-NN.
• Modelo baseline: Es un modelo que se usa para comprobar si modelos más complejos aportan una mejora real.
• Groupby: Agrupar datos para aplicar funciones de agregación como mean, sum, count, etc.
• Scikit-learn: Ofrece herramientas para clasificación, regresión y clustering.
• Multiply: Duplicar un conjunto de datos para aplicar múltiples operaciones en paralelo.
• RapidMiner Studio: Un entorno visual para minería y análisis de datos con componentes conectables.
• NumPy: Está especializada en álgebra lineal y arrays multidimensionales.
• SVM: Modelo supervisado que se usa para clasificación y regresión; el objetivo es buscar un hiperplano que separe las clases con el mayor margen posible.
• Margen: Es la distancia desde el hiperplano hasta el dato más cercano de cada clase (vectores soporte). Maximizar el margen suele reducir el overfitting.
• Kernel: Se encarga de elevar la dimensión del espacio de características para separar mejor los datos cuando no son linealmente separables en el espacio original.
• ANOVA: Compara la media de dos o más grupos con el fin de saber si hay diferencias significativas entre ellos.
• MSE (Error cuadrático medio): Es la diferencia entre el valor real y el valor predicho al cuadrado; penaliza los errores más grandes.
• Función de activación: Decide si una neurona se activa o no; introduce no linealidad para aprender relaciones complejas. Tipos comunes:
  • Sigmoide: devuelve un valor entre 0 y 1.
  • ReLU (Rectified Linear Unit): si el número es negativo la neurona se apaga (salida 0) y si es positivo pasa la entrada.
  • Softmax: devuelve una distribución de probabilidad entre varias opciones (normaliza salidas para clasificación multiclase).
• Ventajas de las redes neuronales: alta precisión, robustez al ruido, permiten salidas numéricas y categóricas, entre otras. Desventajas: entrenamiento costoso, difícil interpretación y alto coste computacional.
• Backpropagation: Algoritmo usado para entrenar redes neuronales; consiste en calcular el error cometido por el modelo y propagarlo hacia atrás ajustando los pesos para minimizar el error.
• Gradiente descendente: Método de optimización que ajusta los pesos iterativamente para minimizar la función de pérdida (error).
• Clustering: Técnica que divide los datos en varios clusters o grupos parecidos entre sí; busca que la distancia entre clusters sea grande y, dentro de cada cluster, pequeña.
• K-means: Divide el dataset en k clusters especificados por el usuario.
• DBSCAN: Algoritmo de clustering basado en densidad. No requiere especificar k; detecta clusters según densidad y puede identificar outliers (puntos ruidosos) que quedan fuera de los clusters densos.

Notas prácticas

Escalado: Antes de usar modelos sensibles a la distancia (por ejemplo, k-NN o SVM) se recomienda aplicar estandarización o normalización para que todas las características contribuyan de forma equilibrada.

Selección de hiperparámetros: Use el conjunto de validación o métodos como validación cruzada (cross-validation) para seleccionar hiperparámetros de forma robusta.

Evaluación: Además de la matriz de confusión, utilice métricas adecuadas (precisión, recall, F1, AUC, MSE, etc.) según el problema.