YARN (Yet Another Resource Negotiator) - Sistema de asignación de recursos para aplicaciones

YARN (Yet Another Resource Negotiator)

Sistema responsable de asignar recursos de cómputo para la ejecución de aplicaciones. Compuesto por tres componentes:

• Gestor de recursos (Resource Manager):

  • Responsable de hacer un inventario de los recursos disponibles.
  • Ejecuta servicios críticos.
  • Elemento principal que arbitra el reparto de los recursos disponibles.

• ApplicationMaster:

  • Responsables de negociar con el Gestor de Recursos y de trabajar con los Gestores de Nodo para iniciar los contenedores de las aplicaciones.

• Gestor de nodos (NodeManager):

  • Reciben instrucciones del Gestor de recursos y manejan los recursos disponibles en su nodo.
  • Cada gestor de nodo monitoriza los recursos de cómputo disponibles en su nodo local e informa periódicamente al Gestor de recursos.
  • Los recursos disponibles en un clúster Hadoop se consumen usando contenedores. Un contenedor es una colección de recursos necesarios para ejecutar una aplicación: cores de CPU, memoria, ancho de banda de red y almacenamiento en disco.

MapReduce

Modelo de programación para el ecosistema Hadoop.

Utiliza YARN para planificar y ejecutar procesamiento paralelo sobre HDFS.

Elimina la complejidad de la programación concurrente usando solo dos funciones:

• Map: aplica una operación a todos los elementos.
• Reduce: sumariza las operaciones realizadas sobre los elementos.

Etapas:

1. Map
   1. Recibe como entrada pares del tipo (clave, valor) y los devuelve como salida de uno o varios pares (clave i, valor i)
2. Mezcla y ordenación
   1. Para los pares (clave n, valor k) de entrada se devuelven (clave n, lista_valores k)
3. Reduce
   1. Recibe (clave n, [lista_valores]) y devuelve un único par (clave, valor)