Conceptos Fundamentales de Machine Learning: Modelos, Riesgo y Generalización

1. Define con tus propias palabras qué entiendes por un “modelo” de Machine Learning y cómo se relaciona con la “realidad”.
Un modelo de Machine Learning es una representación matemática simplificada de un fenómeno real, que se construye a partir de datos históricos. Su objetivo es capturar patrones o relaciones subyacentes en los datos para hacer predicciones o decisiones sobre nuevos datos. La relación con la realidad radica en que el modelo intenta aproximarse al comportamiento real del sistema o proceso que se está estudiando, aunque siempre con cierto margen de error debido a simplificaciones o limitaciones en los datos.

¿Cuál es el objetivo principal de un modelo de Machine Learning al recibir una nueva entrada (xnew​)?

El objetivo es generar una respuesta (y^) que sea lo más cercana posible al valor real (y) asociado a xnew. Se busca minimizar el error entre la predicción y el valor verdadero.

Explica la diferencia entre “identificar al supervisor” e “imitar al supervisor”. |Identificar al supervisor

Entender las reglas o mecanismos que el supervisor (fuente de los datos) utiliza para generar las etiquetas.

Imitar al supervisor

Aprender directamente a replicar las etiquetas sin necesariamente entender las reglas subyacentes.El enfoque preferido es "imitar al supervisor", ya que en muchos casos las reglas son complejas o desconocidas, y el objetivo es replicar el comportamiento 4.Describe brevemente el proceso que sigue una maquina al observar un conjunto de entrenamiento {(xi, yi)}. ¿Qué distribución se asume para esta muestra y que busca la maquina en términos de hipótesis?  
La máquina asume que los datos provienen de una distribución desconocida P(x,y) y busca una hipótesis h  dentro de un espacio de hipótesis H  que minimice el error en los datos de entrenamiento, con el objetivo de generalizar bien a nuevos datos. 

¿Qué se entiende por “espacio de hipótesis” (H) en Machine Learning?

Es el conjunto de todas las funciones posibles que el modelo puede considerar para mapear las entradas (x) a las salidas (y^​). Una función dentro de este espacio se define mediante parámetros ajustables (e.G., coeficientes en regresión lineal). 

¿Que es una “función de perdida” (ℓ(y, ˆ y))?

Es una medida que cuantifica el error entre la predicción (y^) y el valor real (y). Cuando la aproximación es perfecta (y^=y), la función de pérdida debe ser cero  7. Explica la diferencia entre el “riesgo funcional”  Y riesgo empírico Riesgo funcional: Error esperado sobre toda la distribución de datos.

Riesgo empírico

Error promedio sobre el conjunto de entrenamiento. El riesgo empírico se introduce porque el riesgo funcional es desconocido (no se tiene acceso a toda la distribución).

¿Qué problema busca abordar la introducción del “riesgo empírico regularizado”

Busca evitar el sobreajuste (overfitting) añadiendo un término de penalización (λΩ(θ)) a los parámetros del modelo. 

Menciona y explica al menos dos tipos de errores en Machine Learning.Error de sesgo (bias)

Ocurre cuando el modelo es demasiado simple y no captura patrones en los datos.

Error de varianza (variance)

Ocurre cuando el modelo es demasiado complejo y se ajusta al ruido en los datos.

Describe dos ventajas principales de los modelos de Machine Learning.Automatización

Pueden procesar grandes volúMenes de datos y realizar tareas complejas sin intervención humana.

Generalización

Pueden identificar patrones ocultos y hacer predicciones en datos no vistos.