-
Una vez que ya conocemos los conceptos y componentes principales de Hadoop según vimos en los posts anteriores: Hadoop HiveQL Hive desde Excel, Power Pivot y Power View Sqoop I Sqoop II Continuaremos probando más funcionalidad de y para Hadoop on Azure. En esta ocasíón Mahout...
-
En el capítulo anterior de Sqoop , veíamos como llevar a cabo una importación y exportación de datos desde SQL Azure hacia y desde Hadoop, concretamente desde y hacia su sistema de ficheros HDFS. Pues bien, en esta ocasión, veremos como conseguir esta importación...
-
En esta ocasión veremos como Hadoop además de trabajar con datos no estructurados, también puede hacerlo con datos relacionales, para ello, Hadoop cuenta con otro componente, SQOOP , es decir, SQL To Hadoop . Lo que nos va a permitir Scoop exactamente, es el traspaso de datos entre...
-
El próximo 16 noviembre se celebrará en Madrid la primera conferencia de Big Data Spain ; Hadoop, Cassandra, MongoDB, BigQuery, Azure…. Se trata de un evento sobre Big Data en cual colabora múltiples comunidades de desarrolladores hispanos, entre ellas grupos como Artalde.NET o Mad.NUG. El evento tendrá...
-
Muy buenas, Continuado con Hadoop on Windows Azure y tras los dos post anteriores: “ Understanding, Diving And Solving issues ” y “Understanding, Diving and Solving Issues II (HiveQL)”, seguiremos con el ejemplo a partir de la Tabla “iislog” creada en HiveQL. Una vez...
-
Muy buenas, Siguiendo con Hadoop, veamos que es HiveQL y cómo utilizarlo. Big Data y, como decíamos, “ Hadoop On Azure ”, contiene muchos componentes, en el post anterior , comentamos y trabajamos sobre uno de ellos, concretamente sobre “ C# Streaming ”. En este caso, otro de estos es Hive QL:...
-
Muy buenas, Esta semana he estado “pegándome” un poco con Hadoop, ¡se acercan bonitos tiempos! y, aunque aún tengo pendiente un par de post sobre HPC, tendrán que esperar por el momento. Cuando hablamos de Hadoop, también hablamos de Big Data, (¡si, efectivamente, muchos datos y muy grandes !), ambos...
-
-
Como ya hemos comentado en algún post anterior Hive es una infraestructura de data warehouse sobre Hadoop diseñada inicialmente para ser capaces de entender toda la información de Facebook. Ofrece una interface SQL ( HiveQL ) para ser capaz de manejar la información almacenada por Hadoop. También en...
-
Como ya hemos comentado en un post anterior, Sqoop es un framework open source que permite exportar e importar datos desde cualquier RDBMS y HDFS, y como no, el origen puede ser SQL Server o SQL Azure. Estas acciones se puede realizar desde línea de comandos, conectándose directamente a la máquina de...
-
Siguiendo con los post de Hadoop en Windows Azure, en este ejemplo veremos un ejemplo de cómo contar el número de ocurrencias de las palabras dentro de un fichero de texto. Éste es uno de los ejemplos que se pueden encontrar dentro del servicio y que nos ayudan a empezar a entender poco a poco cómo funciona...
-
Siguiendo con la temática de los últimos post en este comentaré cómo es posible consumir la información de Hive desde Excel y PowerPivot gracias a que Microsoft ha desarrollado un add-in para Hive. El primer paso es instalarse todo lo necesario para poder trabajar desde Excel y disponer del drive ODBC...
-
Como ya comentaba en los post anteriores, a través de https://www.hadooponazure.com/ y bajo invitación es posible acceder al servicio que Microsoft ofrece Hadoop sobre Windows Azure, lo que posibilita al usuario tener un cluster de Hadoop en cuestión de pocos minutos. Una dentro del servicio el primer...
-
Siguiendo con el post anterior dónde hacía una introducción a Big Data y Hadoop, en este post intentaré entrar ya un poco más en detalle en la oferta de Microsoft, en qué ofrece y cómo funciona. Como ya os comentaba Microsoft contribuye con este proyecto open source y entre otras cosas, ha incluido dos...
-
Si analizáramos el tipo y la cantidad de información que se puede llegar a generar a diario veríamos que cada día se generar muchísima información, mucha más de la que se generaba hace unos años, y que cada vez ésta es de diferente tipo. Por ejemplo, basta con hablar de toda la información que se genera...