Yo sólo pasaba por aquí pero ya que estoy.... : Hadoop

Big Data Spain

Ibon Landa — Thu, 18 Oct 2012 20:39:37 GMT

El próximo 16 noviembre se celebrará en Madrid la primera conferencia de Big Data Spain; Hadoop, Cassandra, MongoDB, BigQuery, Azure….

Se trata de un evento sobre Big Data en cual colabora múltiples comunidades de desarrolladores hispanos, entre ellas grupos como Artalde.NET o Mad.NUG.

El evento tendrá numerosos ponentes internaciones y otros tantos nacionales. Algunas sesiones serán en inglés, aunque existirá traducción simultánea.

En la web del evento (http://www.bigdataspain.org) podéis ver todas las sesiones en detalle, los ponentes y si así lo consideráis, comprar una entrada para el evento.

En la parte personal participaré junto con Pablo Doval en una sesión; “Construir un sistema Hadoop-OLAP heterogéneo con microsoft BI Stack”

Espero veros por el evento!

Big Data Spain: Call for sessions

Ibon Landa — Tue, 03 Jul 2012 10:56:13 GMT

El próximo 16 noviembre se celebrará en Madrid la primera conferencia de Big Data Spain.

Se trata de un evento sobre Big Data en cual colabora múltiples comunidades de desarrolladores hispanos, entre ellas grupos como Artalde.NET o Mad.NUG.

Si estáis interesados en tener más información o proponer algún sesión aquí podéis ver la información.

En breve estará online la web del evento. De momento podéis seguir el evento a través de la cuenta de Twitter ; @BigDataSpain.

Introducción a BI con tecnologías Microsoft

Ibon Landa — Tue, 12 Jun 2012 10:44:12 GMT

El otro día mi compañero Pablo Doval dio un WebCast con la gente de ITPro.es dónde dieroon un buen repaso a las diferentes tecnologías Microsoft en el área de BI.

Aquí os dejo el video por si os interesa:

Registro abierto para el SQL Server Tour Madrid

Ibon Landa — Tue, 12 Jun 2012 10:33:16 GMT

Como ya os comenté anteriormente desde Plain Concepts estamos realizando una serie de eventos gratuitos sobre SQL Server 2012, principalmente centrado de temas de escalabilidad, bussiness intelligence y Big Data.

Toda la información, agenda y registro la podéis encontrar aquí; http://www.plainconcepts.com/SQLServerTour/

Para la sesión de Madrid tuvimos que cerrar el registro porque nos quedamos sin aforo, pero finalmente tendremos una sala más grande…incluso de más :-)

Eso sí, el evento es mañana miércoles, día 13 de junio.

Si estás interesado, estás a tiempo de venir. https://msevents.microsoft.com/CUI/EventDetail.aspx?EventID=1032513290&Culture=es-ES

Agenda:

09:30 - 10:15 Novedades SQL Server 2012

10:15 - 11:00 Escalabilidad y disponibilidad: Always On

11:00 - 11:15 Café

11:15 - 12:00 Gestión de la Calidad y Versionado de Datos: DQS y MDS

12:00 - 13:00 Optimización de Cargas Masivas de Datos

13:00 - 14:00 Comida

14:00 - 15:30 BISM y PowerView

15:30 - 17:00 Big Data: Apache Hadoop, Hadoop on Azure y SQL Server 2012

Y sino siempre nos puede seguir por Twitter; #SQLTour

Plain Concepts SQL Server Tour

Ibon Landa — Tue, 08 May 2012 10:05:34 GMT

Desde Plain Concepts vamos a realizar una serie de eventos gratuitos sobre SQL Server 2012, principalmente centrado de temas de escalabilidad, bussiness intelligence y Big Data.

Los eventos serán en Bilbao (29 de mayo), Barcelona (11 de junio) y Madrid (13 de junio).

Toda la información, agenda y registro la podéis encontrar aquí; http://www.plainconcepts.com/SQLServerTour/

Agenda:

09:30 - 10:15 Novedades SQL Server 2012

10:15 - 11:00 Escalabilidad y disponibilidad: Always On

11:00 - 11:15 Café

11:15 - 12:00 Gestión de la Calidad y Versionado de Datos: DQS y MDS

12:00 - 13:00 Optimización de Cargas Masivas de Datos

13:00 - 14:00 Comida

14:00 - 15:30 BISM y PowerView

15:30 - 17:00 Big Data: Apache Hadoop, Hadoop on Azure y SQL Server 2012

Si os interesa, espero veros en los eventos!

Power View Report to Hadoop on Azure

Ibon Landa — Tue, 24 Apr 2012 07:55:00 GMT

Hadoop en Windows Azure (VII): Hive

Ibon Landa — Mon, 23 Apr 2012 07:51:00 GMT

Como ya hemos comentado en algún post anterior Hive es una infraestructura de data warehouse sobre Hadoop diseñada inicialmente para ser capaces de entender toda la información de Facebook. Ofrece una interface SQL (HiveQL) para ser capaz de manejar la información almacenada por Hadoop.

También en un post anterior vimos el add-in de Hive que ha desarrollado Microsoft y que permite conectarse a las tablas de Hive desde Excel, PowerPivot o PowerView.

En este post veremos un ejemplo muy sencillo de cómo crear una tabla de Hive y cómo usar HiveQL para consultar la información.

En este caso cargaré un weblog, que no es más que un fichero de texto. Para cargarlo, como ya vimos anteriormente, podemos hacerlo desde la consola de JavaScript con fs.put o por FTP.

Una vez cargado podemos usar la consola interactiva de Hive para lanzar comandos de HiveQL, el primero para crear la tabla asociada al fichero recién cargado: (El comando show tables nos permite ver las tablas existentes)

CREATE EXTERNAL TABLE weblog_sample (
evtdate STRING,
evttime STRING,
svrsitename STRING,
svrip STRING,
csmethod STRING,
csuristem STRING,
csuriquery STRING,
svrport INT,
csusername STRING,
cip STRING,
UserAgent STRING,
Referer STRING,
scstatus STRING,
scsubstatus STRING,
scwin32status STRING,
scbytes STRING,
csbytes STRING,
timetaken STRING
)
COMMENT 'This is a web log sample'
ROW FORMAT DELIMITED FIELDS TERMINATED by '32'
STORED AS TEXTFILE
LOCATION '/user/ibonilm/weblog/'; (ruta del fichero)

Una vez creada tabla podemos lanzar consultas usando HiveQL, por ejemplo: (Tutorial de Hive)

select * from weblog_sample limit 10;

Y claro está, usando los add-ins que comentábamos en post anteriores, por ejemplo el de Excel.

Hadoop en Windows Azure (VI): Sqoop

Ibon Landa — Thu, 19 Apr 2012 07:06:00 GMT

Como ya hemos comentado en un post anterior, Sqoop es un framework open source que permite exportar e importar datos desde cualquier RDBMS y HDFS, y como no, el origen puede ser SQL Server o SQL Azure.

Estas acciones se puede realizar desde línea de comandos, conectándose directamente a la máquina de Hadoop por RDP.

Una vez conectados podemos abrir la consola de Hadoop para lanzar los comandos necesarios para importar datos desde una base de datos de SQL Azure.

Se establece la variable HIVE_HOME y se lanzan los comandos que queramos, ya está!

Importar desde SQL Azure a HDFS

bin\sqoop.cmd import --connect "jdbc:sqlserver://<servername>.database.windows.net:1433;database=<dbname>;user=<username>@<servername>;password=<password>" --table <from_table> --target-dir <to_hdfs_folder> --split-by <from_table_column>

Exportar desde HDFS a SQL Azure

bin\sqoop.cmd export --connect "jdbc:sqlserver://<servername>.database.windows.net:1433;database=<dbname>;user=<username>@<servername>;password=<password>" --table <to_table> --export-dir <from_hdfs_folder> --input-fields-terminated-by "<delimiter>"

Hadoop en Windows Azure (V)

Ibon Landa — Mon, 16 Apr 2012 15:02:00 GMT

Siguiendo con los post de Hadoop en Windows Azure, en este ejemplo veremos un ejemplo de cómo contar el número de ocurrencias de las palabras dentro de un fichero de texto. Éste es uno de los ejemplos que se pueden encontrar dentro del servicio y que nos ayudan a empezar a entender poco a poco cómo funciona el servicio y Hadoop.

A través de la consola interactiva que ofrece el portal web y usando JavaScript, podemos realizar todas las labores que se realizan durante este ejemplo.

El primer paso a realizar será subir el fichero que queremos analizar, sobre el cuál contaremos el número de palabras que contiene.

En este caso lo hacemos desde JavaScript (fs.put() ), pero podríamos haber utilizado otros medios, como FTP.

Una vez tenemos el fichero cargado tenemos que crear un job de mapReduce para realizar la tarea que queremos. En este caso lo haremos todo desde la consola de JavaScript, pero recordad que hay otras opciones, por ejemplo desde Java o desde C#.

El siguiente paso será subir el fichero javascript que contiene nuestra rutina de mapReduce. En el siguiente pantallazo podéis ver el contenido del fichero WordCount.js.

Y una vez tenemos disponible el fichero podemos usar una sentencia de Pig para decirle que queremos lanzar el job de mapReduce contra el fichero que hemos subido anteriormente y que el resultado lo deje en el fichero DaVinciTop10Words. Como podéis ver, sólo se obtienen 10 resultados, lo que más ocurrencias tienen.

> pig.from("/example/data/davinci.txt").mapReduce("WordCount.js", "word, count:long").orderBy("count DESC").take(10).to("DaVinciTop10Words")

Esta operación tardará unos minutos (podemos ver un log del proceso). Una vez haya terminado, podremos leer el fichero de resultados y mostrarlo, por ejemplo, en formato de gráfica.

Hadoop en Windows Azure (IV)

Ibon Landa — Fri, 13 Apr 2012 10:12:00 GMT

Siguiendo con la temática de los últimos post en este comentaré cómo es posible consumir la información de Hive desde Excel y PowerPivot gracias a que Microsoft ha desarrollado un add-in para Hive.

El primer paso es instalarse todo lo necesario para poder trabajar desde Excel y disponer del drive ODBC que nos de acceso a los datos. Para ello, dentro del portal de Hadoop tenemos una sección “Downloads” dónde podremos descargarnos el componente que necesitamos en nuestro equipo.

El siguiente paso será habilitar los puertos de Hadoop para permitir conexiones ODBC.

Una vez realizados estos dos pasos, si abrimos Excel, podemos ver el add-in de Hive.

Para poder realizar una conexión, primeramente es necesario crear un Data Source desde el panel de control, ODBC Data Source Administrator.

Hay que añadir un Data Source de tipo “HIVE” e incluir los datos del cluster al que queremos conectarnos.

Una vez hemos creado el Data Source, seleccionando el botón de “Hive”, podemos ver un panel en la parte derecha de nuestra hoja excel que permitirá selecciona el Data Source y realizar las consultas que queremos; seleccionar los objetos, la información que queremos ver etc…Ya está, ya estamos consumiendo información desde nuestro cluster de Hadoop.

Y desde PowerPivot algo muy parecido.

Si accedemos a PowerPivot se puede añadir (seleccionar from other sources) un Data Source OLEDB/ODBC, dónde básicamente tendremos que indicar los datos de conexión al cluster de Hadoop.

Hadoop en Windows Azure (III)

Ibon Landa — Thu, 12 Apr 2012 09:57:00 GMT

Como ya comentaba en los post anteriores, a través de https://www.hadooponazure.com/ y bajo invitación es posible acceder al servicio que Microsoft ofrece Hadoop sobre Windows Azure, lo que posibilita al usuario tener un cluster de Hadoop en cuestión de pocos minutos.

Una dentro del servicio el primer paso es aprovisionar el cluster de Hadoop; hay que indicar un nombre único, las características y las credenciales de acceso al mismo. En pocos minutos tendrás tu cluster!

Una vez el cluster está creado tendremos acceso a toda la funcionalidad que el servicio ofrece:

Crear jobs (MapReduce)
Consola intereactiva para trabajar con Javascript o Hive.
Acceso por RDP al cluster.
Configurar los puertos para permitir acceso por ODBC y FTP.
Realizar labores de administración.
etc….

Uno de los puntos interesantes en este momento es la sección de ejemplos, la cuál nos va a permitir empezar poco a poco a conocer cómo funciona Hadoop.

En este post, a modo de ejemplo, estoy usando “10GB GraySort”, el cuál carga información en Hadoop y posteriormente lanza una serie de tareas para el procesamiento. A continuación os pongo paso a paso cómo es posible ejecutar el ejemplo y ver lo que hace, aunque claro está, lo suyo es ir entendiendo realmente lo que hace y por qué lo hace. Poco a poco :-)

Crear el job.

Estado del job.

Una vez ejecutado, podemos ver el histórico del mismo.

Podemos acceder por RDP directamente al cluster de Hadoop.

Big Data, Hadoop y Windows Azure (II)

Ibon Landa — Wed, 11 Apr 2012 10:44:00 GMT

Siguiendo con el post anterior dónde hacía una introducción a Big Data y Hadoop, en este post intentaré entrar ya un poco más en detalle en la oferta de Microsoft, en qué ofrece y cómo funciona.

Como ya os comentaba Microsoft contribuye con este proyecto open source y entre otras cosas, ha incluido dos nuevas distribuciones, una para Windows Server 2008 y otra para Windows Azure. Yo principalmente hablaré de esta última, la cuál se encuentra en CTP, y que permite disponer un cluster de Hadoop en pocos minutos. Por si algunos os suena, el code-name de la distribución de Hadoop para Windows Server se llama Isotope.

La idea es Microsoft es aprovechar todo lo bueno que tiene Hadoop, pero siendo capaz de ofrecerle un enfoque empresarial y corporativo, tratando a Hadoop como a cualquiera de los productos que tiene en la actualidad, por ejemplo, ofreciendo el mismo soporte.

Los mayores esfuerzos que está haciendo Microsoft es la integración de Hadoop con sus productos, para llegar a conseguir que se puede llegar a trabajar con Hadoop, pero desde las herramientas a las que están acostumbrados sus clientes…Herramientas de BI, Excel, PowerView, SharePoint…

Por ejemplo, está desarrollando conectores para cargar datos desde el marketplace de Azure, adaptadores para SQL Server para traer información desde y hacia Haddop, add-in para Excel y PowerPivot, integración con Active Directory, System Center etc…

Incluso también ofrece la posibilidad de trabajar con Visual Studio y C#, por ejemplo para hacer los scripts de MapReduce.

Otra contribución interesante que también han ofrecido, los primeros, es el soporte a JavaScript.

En los próximos post iré viendo cómo funciona Hadoop en Windows Azure, servicio que se encuentra disponible en https://www.hadooponazure.com/ y que a día de hoy sólo se puede entrar bajo invitación.

Aprovecharé también para ir entrando en algo más de detalle sobre cómo funciona Hadooop.

Y claro está, intentaré mostraros la integración con los productos de Microsoft, como el add-in de Hive para Excel.

Big Data, Hadoop y Windows Azure (I)

Ibon Landa — Tue, 10 Apr 2012 07:03:00 GMT

Si analizáramos el tipo y la cantidad de información que se puede llegar a generar a diario veríamos que cada día se generar muchísima información, mucha más de la que se generaba hace unos años, y que cada vez ésta es de diferente tipo. Por ejemplo, basta con hablar de toda la información que se genera a diario en las redes sociales como Twitter y Facebook para darse cuenta del volumen diario que puede generarse cada día. Pero no sólo pensad en redes sociales, pensad en cualquier otra empresa, como podría ser una empresa eléctrica o de energía, la cantidad de información diaria que podría coger de todos los dispositivos de medición y monitorización de los que disponen. A toda esta información es a lo que se conoce como Big Data.

En los sistemas tradicionales sólo parte de esta información se trata y muchas veces hay muchísima de esta información que se deja de procesar, ya que por ejemplo, su almacenamiento sería carísimo, difícil de procesar e incluso en muchos casos difícil de entender el cómo se debe analizar y tratar. En estos sistemas tradicionales raramente la información pasa de varios terabytes, cuando en Big Data estamos hablando de volúmenes de información de petabytes y hexabytes.

Básicamente la información tiene tres que factores que lo hacen complicado de manejar; El volumen de información que se hoy en día en altísimo y cada día se genera mucha más. El tipo de información es muy diverso, teniendo que manejar en muchos cosos información estructura y desestructurada. Por último, la velocidad, cada vez esta información aparece más rápidamente.

Es para este tipo de escenarios, para el tratamiento de esta información que se conoce como Big Data, dónde encaja Apache Hadoop.

Hadoop es un framework open source para el procesado, almacenamiento y análisis de cantidades enormes de información, información de diversos orígenes (estructurados, desestructurados…). Inicialmente fue Yahoo! el creador de Hadoop basándose en MapReduce, un sistema desarrollado por Google sobre el año 2000 creado para indexación de la Web. Fue diseñado para ser capaz de analizar petabytes y hexabytes de información de forma distribuida con la capacidad de procesado paralelo de toda la información almacenada.

¿Quién lo usa? Amazon, Facebook, Google, IBM, Intel Research, Yahoo!…

Microsoft ha contribuido a este proyecto con dos distribuciones de Hadoop para Windows, claro está también open source, que pueden funcionar sobre un entorno Windows on-premise o sobre Windows Azure.

El sistema que hay por debajo a grandes rasgos puede “resultar sencillo”, pero muy efectivo.

Hadoop es capaz de recibir información de diversos orígenes, tanto estructurada como desestructurada, para almacenarla en sus propio sistema de almacenamiento, conocido como Hadoop Distributed File System (HDFS). Cuando recibe la información la divide en múltiples partes (chunks) y lo almacena en los diferentes nodos que forman parte del cluster de Hadoop. La información se replica entre diferentes nodos para que si un nodo falla la información no se pierda.

Una cosa muy interesante del sistema es que está diseñado para poder funcionar en cualquier tipo de hardware, lo que provoca que realmente cualquier tipo de máquina podría formar parte del cluster de Hadoop, lo que hace que la solución pueda ser más económica.

El análisis de la información se realiza con una técnica conocida como MapReduce.

Una vez almacenada la información los usuarios puede crear un “Map” job para que Hadoop realice las acciones que quiere el usuario. Éstas acciones no son más que un programada desarrollado por el usuario en Java (veremos otras opciones). Hadoop es capaz de localizar la información en los diferentes nodos, procesarla de forma paralela en cada nodo para realizar la acción solicitada por el usuario.

Una vez el procesado se encuentra finalizado en cuando se inicia la tarea de “Reduce” que recoge los diversos resultados generados en cada nodo y los unifica para poder ofrecérselos al usuario.

Una cosa interesante es que alrededor de Hadoop existen múltiples proyectos open source que aumentan enormemente las capacidades de este sistema y que lo hacen aún más interesante.

Hive, es una infraestructura de data warehouse sobre Hadoop diseñada inicialmente para ser capaces de entender toda la información de Facebook. Ofrece una interface SQL (HiveQL) para ser capaz de manejar la información almacenada por Hadoop. Microsoft ha desarrollado un add-in de Hive para analizar y visualizar los datos de Hadoop desde Excel o PowerPivot.

Pig, es otro lenguaje desarrollador por Yahoo! para la consulta y análisis de la información.

Sqoop es un framework open source que permite conectar cualquier RDBMS con HDFS.

Como he comentado anteriormente, Microsoft también está contribuyendo a este proyecto con sus propios aportes, en este caso con dos nuevas distribuciones, una para entornos Windows Server y otro para Windows Azure. Claro está, todas las contribuciones realizadas por Microsoft vuelven a la comunidad como proyectos open source.

En los próximos post espero poder profundizar en la oferta de Microsoft para Hadoop, que aportes ha realizado, que nueva funcionalidad incluye y por supuesto, cómo funciona.