Hadoop en Windows Azure (III)

Como ya comentaba en los post anteriores, a través de https://www.hadooponazure.com/ y bajo invitación es posible acceder al servicio que Microsoft ofrece Hadoop sobre Windows Azure, lo que posibilita al usuario tener un cluster de Hadoop en cuestión de pocos minutos.

06-HadoopOnAzure

Una dentro del servicio el primer paso es aprovisionar el cluster de Hadoop; hay que indicar un nombre único, las características y las credenciales de acceso al mismo. En pocos minutos tendrás tu cluster!

07-HadoopOnAzure

08-HadoopOnAzure

Una vez el cluster está creado tendremos acceso a toda la funcionalidad que el servicio ofrece:

  • Crear jobs (MapReduce)
  • Consola intereactiva para trabajar con Javascript o Hive.
  • Acceso por RDP al cluster.
  • Configurar los puertos para permitir acceso por ODBC y FTP.
  • Realizar labores de administración.
  • etc….

Uno de los puntos interesantes en este momento es la sección de ejemplos, la cuál nos va a permitir empezar poco a poco a conocer cómo funciona Hadoop.

09-HadoopOnAzure

10-HadoopOnAzure

 

En este post, a modo de ejemplo, estoy usando “10GB GraySort”, el cuál carga información en Hadoop y posteriormente lanza una serie de tareas para el procesamiento. A continuación os pongo paso a paso cómo es posible ejecutar el ejemplo y ver lo que hace, aunque claro está, lo suyo es ir entendiendo realmente lo que hace y por qué lo hace. Poco a poco :-)

11-HadoopOnAzure

Crear el job.

12-HadoopOnAzure

Estado del job.

13-HadoopOnAzure

 

Una vez ejecutado, podemos ver el histórico del mismo.

 

14-HadoopOnAzure

 

Podemos acceder por RDP directamente al cluster de Hadoop.

 

15-RemoteDesktop

Published 12/4/2012 11:57 por Ibon Landa
Comparte este post:
http://geeks.ms/blogs/ilanda/archive/2012/04/12/hadoop-en-windows-azure-iii.aspx