Juanlu, elGuerre : Windows Azure

Java + Eclipse & Apache Tomcat en Windows Azure. ¡Buceando de principio a fin…!

Juanlu,ElGuerre — Tue, 18 Dec 2012 21:27:00 GMT

Muy buenas,

Cada día son más los clientes que me preguntan sobre cómo llevar sus aplicaciones Java a la Nube y, aunque conozco la teoría, me he querido enfrentar directamente al problema indagando en todo detalle para evitar así imprevistos de los que suelen surgir en el último momento. Además, creo que puede ayudarnos a estimar mejor y más claramente nuestro esfuerzo a la hora de comenzar una migración o un nuevo desarrollo en Windows Azure. De esta manera, el cliente, tendrá mucho más claro a que se enfrenta y cómo abordar este primer paso.

El tema no es para nada complicado, si bien es cierto, para los que pertenecemos al mundo Microsoft, puede resultar algo más “engorroso” de a lo que estamos acostumbrados. Es más, podemos llegar a desentendernos del tema por no tratarse de .NET y dejar al cliente sin su solución, sin embargo, se sigue tratando de una solución a un problema que Windows Azure si puede resolver y con bastante facilidad. ¡No debemos perder de vista este objetivo!

Aunque el IDE de Visual Studio .NET, proporciona grandes avances e infinidad de facilidades con respecto a cualquier otro IDE, para Java, Eclipse, está cogiendo carrera en esa misma dirección y, llega a hacer tan fácil la labor de desarrollo y despliegue en Windows Azure que no le tiene nada que envidiar.

¡Si aún no lo has intentado, esta es tu oportunidad y también el momento!

Veamos los pasos a seguir partiendo totalmente desde cero:

REQUISITOS PREVIOS Y PREPARACIÓN DEL ENTORNO DE DESARROLLO

1) Instalamos el SDK de Java desde aquí:

2) Instalamos Eclipse desde aquí u optamos directamente por “Eclipse IDE for Java EE Developers”.

3) Una vez instado Eclipse, instalamos el plugin para Windows Azure siguiendo los siguientes pasos e incluyendo este enlace: http://dl.msopentech.com/eclipse, en el campo “Work with:”

4) Una vez instalado el Plug-In chequeamos las actualizaciones para estar seguro de que tenemos la última:

5) A continuación instalamos “Apache Tomcat” desde aquí: http://tomcat.apache.org/download-70.cgi.

Importante: El instalable (.exe) para Windows no funciona. Después de tanto probar y Googlear en distintos foros Java, a este instalable le falta algo. En el último momento durante la ejecución siempre se produce el error: “Windows cannot find ‘startup.bat’. Make sure you typed the name correctly, and then try again”.

Así que, descargamos el (.ZIP) de 32bit o 64bits y lo descomprimimos por ejemplo en “C:\Program Files\Tomcat7\”

6) Establecemos y actualizamos las siguientes variables de entorno para asegurar que nuestro entorno Java funciona todo correctamente.

Creamos estas dos:
- JAVA_HOME=C:\Program Files\Java\jdk1.7.0_09
- CATALINA_HOME=C:\Program Files\Tomcat 7.0
Actualizamos esta otra (PATH), añadiendo los valores de acuerdo a las variables anteriores:
- PATH=<…>;%JAVA_HOME%\bin;%CATALINA_HOME%\bin

DESARROLLO

7) Desde Eclipse, creamos un proyecto “File > New > “Dinamic Web Project” con el nombre “MyJavaApp1” y pulsamos “Finish”

8) Añadimos un fichero JSP de prueba, “index.jsp” (a partir de la plantilla html), dentro de la carpeta “WebContent”:

9) Añadimos a este fichero, a modo de ejemplo, en el tag <body> la instrucción “<b><% out.println("My first Java application to run on Azure!"); %></b>”.

10) Probamos que nuestra aplicación funciona correctamente, pulsando sobre el icono de “play” () y siguiendo los siguientes pasos:

11) Creamos el proyecto de despliegue en Windows Azure. Aunque podemos hacerlos desde la opción de menú: “File > New > Windows Azure Deployment Project”, lo haremos más rápido haciendo “click derecho” sobre el proyecto Java “MyJavaApp1” y ”Windows Azure > Package for Windows Azure….” e introduciendo el nombre “MyJavaApp1Azure”. Seguidamente indicamos la información de nuestro JDK de Java y Servidor Tomcat y “Finish”.

12) Una vez tenemos nuestro desarrollo listo, aseguramos que nuestro servidor de Tomcat se ejecuta correctamente ejecutando nuestro proyecto web:

Nota: Si se produce el error: “Server Tomcat v7.0 Server at localhost was unable to start within 45 seconds. If the server requires more time, try increasing the timeout in the server editor.”, revisaremos que los puertos 8080 y 8009, no están siendo usados. Para ello podemos ejecutar el comando “netstat -n -f -a -o” desde la línea de comandos y obtener el PID del proceso que esté usando dicho puerto y a continuación actuar en consecuencia. Para esta prueba, “maté” el proceso que lo utilizaba sin más.

EJECUCIÓN EN EL EMULADOR LOCAL

13) Al fin, ejecutamos Eclipse. En este punto es necesario, sin duda, tener instalado el Emulador de Windows Azure que podemos descargar desde la página de descargas de Windows Azure (SDK Only), o directamente desde aquí.

DESPLIEGUE Y EJECUCIÓN EN WINDOWS AZURE

14) Desplegamos/Publicamos el proyecto directamente en Azure:

En la barra de tareas de Azure seleccionamos: “Publish to Windows Azure Cloud”.
“Download…”. Descargamos el fichero “.publishsettings” con la información de nuestra subscripción de Azure.”
“Import…” Importamos el fichero descargado.
“Next >”. Configuramos la venta de “Remote Desktop Settings”.
“Publish” Esperamos a que finalice el despliegue. Recordemos que ANT, es la herramienta de empaquetado, configuración y preparación del entorno de despliegue, tanto en el Emulador como en el propio Azure.

Nota: ¡Aunque he dejado el password del certificado por defecto, Password1, las credenciales de conexión remota las he modificado a mi antojo!.

Tengamos en cuenta también, que la configuración anterior, puede ser modificada en cualquier momento, haciendo uso de las propiedades del proyecto de Azure (“MyJavaApp1Azure”):

Durante el despliegue puede ocurrir que no se llegue a realizar. ¿Por qué? Pues muy buena pregunta, porque al menos yo no he encontrado ningún fichero de log en el que mirar.

Si el error persiste, hacemos el despliegue manual (a partir de los ficheros “.cspkg” y “.cscfg” generados desde la opción “Build Cloud Package for Windows Azure”) desde el portal de Windows Azure, bien desde local o bien desde el storage, donde previamente habremos realizado la subida, por ejemplo con “Azure Storage Explorer”.

15) Esperamos a que finalice el proceso de subida de los ficheros al Storage de Azure y el despliegue, y tras ello, al acceder a la url “http://juanluelguerre.cloudapp.net/”, podremos ver como el Servidor Apache Tomcat ha sido instalado. Si a la misma añadimos la ruta de nuestra aplicación, “http://juanluelguerre.cloudapp.net/MyJavaApp1/index.jsp”, Voilá, tenemos nuestra aplicación Java ejecutándose en Azure !!!

16) Si accedemos al portal, podremos ver nuestras instancias en ejecución. Y, además, podremos conectarnos vía terminal server con cada una de ellas.

Por último, ¿Qué ocurre si el servidor Web en lugar de ser Tomcat es otro, ej.: Jetty, etc….? Aunque el automatismo no es exactamente igual, las posibilidades son las mismas. Aquí os dejo por el momento algunos enlaces relacionados con Jetty:

Espero una vez más, haber despertado el interés y, por supuesto, que el post haya sido y sea de utilidad.

Saludos and Happy Azure from Java. FELIZ NAVIDAD A TOD@S
Juanlu

Hadoop On Azure Mahout: Algoritmos de recomendación, Clasificaciones y Agrupaciones (Clustering)

Juanlu,ElGuerre — Wed, 07 Nov 2012 18:52:00 GMT

Una vez que ya conocemos los conceptos y componentes principales de Hadoop según vimos en los posts anteriores:

Hadoop

HiveQL

Hive desde Excel, Power Pivot y Power View

Sqoop I

Sqoop II

Continuaremos probando más funcionalidad de y para Hadoop on Azure. En esta ocasíón Mahout.

“La verdad es que cuando la semana pasada me disponía a indagar sobre el tema de mahout, no me imaginaba que la Intenligencia Artifical estuviera tan cerca, durante la carrera pensaba que este tipo de algoritmos sólo eran teoría y estarían lejos de acercarse a una realidad, pero sinceramente, creo que me equivoqué”

¿Que es Mahout?

Mahout proviene del Hindi, mahaut, “montador de elefantes”, de ahí el logotipo. La labor de un Mahout es permanecer desde joven vinculado a un elefante también joven a fin de que tanto jinete como elefante se conozcan mutuamente a lo largo de toda la vida. ¡Se podría sacar de aquí una peli, seguro,jeje…! Técnicamente hablando, Apache Mahout,es una máquina de aprendizaje cuyo objetivo consiste en construir bibliotecas escalables de aprendizaje automático.

Los sistemas de recomendación son alguna de las aplicaciones de aprendizaje más conocida hoy día. Su objetivo es tratar de presentar al usuario items de información: películas, música, libros, noticias, páginas web, etc, sobre las que el usuario está interesado. Todo ello basado en su comportamiento previo. Estos algoritmos proporcionan una funcionalidad importante para muchos sitios de redes sociales , compras on-line, streaming, y otros sitios de Internet. Mahout ofrece un motor de recomendación out-of-the-box que es fácil de usar, tiene muchas características útiles, y es escalable en Hadoop. Algunas de las aplicaciones más conocidas que utilizan estos algoritmos, son Pandora Radio o Netflix o incluso la propia web de Amazon que ofrece/recomienda a sus clientes productos a partir de los ya comprados por otros.

A continuación veremos las técnicas que A continuación veremos las técnicas que por ahora nos ofrece Hadoop On Azure, es decir, Clasificación y Agrupación (Clustering).

1) Clasificación

Partamos del propio ejemplo que nos presenta Hadoop o directamente desde aquí. Este ejemplo esta basado 100% en el ejemplo del website de Mahout el cual consiste en:

“The 20 Newsgroups data set is a collection of approximately 20,000 newsgroup documents, partitioned (nearly) evenly across 20 different newsgroups. The 20 newsgroups collection has become a popular data set for experiments in text applications of machine learning techniques, such as text classification and text clustering. We will use Mahout Bayes Classifier to create a model that would classify a new document into one of the 20 newsgroup.”

Para ello tal y como nos dice el tutorial y desde el Head Node al que accedemos remotamente:

1) Descargamos del fichero de datos en la ruta ““C:\apps\dist\mahout-0.5\examples\bin\work”

2) Descomprimimos el fichero “.tar.gz” en la capeta: “C:\apps\dist\mahout-0.5\examples\bin\work\20news-bydate”

3) Ejecutamos el “.cmd” c:\apps\dist\mahout-0.5\examples\bin\build-20news-bayes.cmd”

Nota: Aunque esperamos que funcione, resulta que no es así, parece que se trata de algún error de configuración en los scripts de “Mahout” para Azure on Hadoop o, incluso de alguna incompatibilidad de versiones entre los comandos Mahout y Hadoop.

Para solucionar el problema modificamos el script “build-20news-bayes.cmd” sustituyendo la llamada al comando Mahout por la llamada directa a hadoop (realmente es lo que hace internamente el comando Mahout), es decir,

Sustituimos esto:

call mahout.cmd org.apache.mahout.classifier.bayes.preparetwentynewsgroups ^
-p %work_path%\20news-bydate-train ^
-o %work_path%\bayes-train-input ^
-a org.apache.mahout.vectorizer.defaultanalyzer ^
-c utf-8

call mahout.cmd org.apache.mahout.classifier.bayes.preparetwentynewsgroups ^
-p %work_path%\20news-bydate-test ^
-o %work_path%\bayes-test-input ^
-a org.apache.mahout.vectorizer.defaultanalyzer ^
-c utf-8

por esto otro:

call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar ^
org.apache.mahout.driver.MahoutDriver ^
org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups ^
-p %WORK_PATH%20news-bydate-train ^
-o %WORK_PATH%bayes-train-input ^
-a org.apache.mahout.vectorizer.DefaultAnalyzer ^
-c UTF-8

call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar ^
org.apache.mahout.driver.MahoutDriver ^
org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups ^
-p %WORK_PATH%20news-bydate-test ^
-o %WORK_PATH%bayes-test-input ^
-a org.apache.mahout.vectorizer.DefaultAnalyzer ^
-c UTF-8

De todas formas, os dejo el contenido completo del fichero “build-20news-bayes.cmd” con el problema solucionado.

@echo off

@rem

@rem Licensed to the Apache Software Foundation (ASF) under one or more

@rem contributor license agreements.  See the NOTICE file distributed with

@rem this work for additional information regarding copyright ownership.

@rem The ASF licenses this file to You under the Apache License, Version 2.0

@rem (the "License"); you may not use this file except in compliance with

@rem the License.  You may obtain a copy of the License at

@rem

@rem     http://www.apache.org/licenses/LICENSE-2.0

@rem

@rem Unless required by applicable law or agreed to in writing, software

@rem distributed under the License is distributed on an "AS IS" BASIS,

@rem WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.

@rem See the License for the specific language governing permissions and

@rem limitations under the License.

@rem

@rem

@rem Downloads the 20newsgroups dataset, trains and tests a bayes classifier. 

@rem

@rem To run:  change into the mahout directory and type:

@rem  examples/bin/build-20news.sh

setlocal enabledelayedexpansion

set SCRIPT_PATH=%~dp0

set MAHOUT_BIN_PATH=%SCRIPT_PATH%..\..\bin\

set WORK_PATH=%SCRIPT_PATH%work\20news-bydate\

set HDFS_WORK_PATH=examples/bin/work/20news-bydate/

if not exist %WORK_PATH% (

    mkdir %WORK_PATH%

)

if not exist %WORK_PATH%20news-bydate-train (

     goto :ErrorMessage

)

if not exist %WORK_PATH%20news-bydate-test (

     goto :ErrorMessage

)

pushd %MAHOUT_BIN_PATH%

REM call mahout.cmd org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups ^

  REM -p %WORK_PATH%\20news-bydate-train ^

  REM -o %WORK_PATH%\bayes-train-input ^

  REM -a org.apache.mahout.vectorizer.DefaultAnalyzer ^

  REM -c UTF-8

REM call mahout.cmd org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups ^

  REM -p %WORK_PATH%\20news-bydate-test ^

  REM -o %WORK_PATH%\bayes-test-input ^

  REM -a org.apache.mahout.vectorizer.DefaultAnalyzer ^

  REM -c UTF-8 

call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar ^

org.apache.mahout.driver.MahoutDriver ^

org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups ^

-p %WORK_PATH%20news-bydate-train ^

-o %WORK_PATH%bayes-train-input ^

-a org.apache.mahout.vectorizer.DefaultAnalyzer ^

-c UTF-8

call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar ^

org.apache.mahout.driver.MahoutDriver ^

org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups ^

  -p %WORK_PATH%20news-bydate-test ^

  -o %WORK_PATH%bayes-test-input ^

  -a org.apache.mahout.vectorizer.DefaultAnalyzer ^

  -c UTF-8 

@rem mapreduce test method used on hadoop

set TEST_METHOD="mapreduce"

call hadoop.cmd dfs -rmr ^

      %HDFS_WORK_PATH%bayes-train-input 

call hadoop.cmd dfs -rmr ^

      %HDFS_WORK_PATH%bayes-test-input

call hadoop.cmd dfs -put ^

      %WORK_PATH%\bayes-train-input ^

      %HDFS_WORK_PATH%bayes-train-input 

call hadoop.cmd dfs -put ^

      %WORK_PATH%\bayes-test-input ^

      %HDFS_WORK_PATH%bayes-test-input

REM call mahout.cmd trainclassifier ^

  REM -i %HDFS_WORK_PATH%bayes-train-input ^

  REM -o %HDFS_WORK_PATH%bayes-model ^

  REM -type bayes ^

  REM -ng 1 ^

  REM -source hdfs

REM call mahout.cmd testclassifier ^

  REM -m %HDFS_WORK_PATH%bayes-model ^

  REM -d %HDFS_WORK_PATH%bayes-test-input ^

  REM -type bayes ^

  REM -ng 1 ^

  REM -source hdfs ^

  REM -method %TEST_METHOD%

call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar ^

org.apache.mahout.driver.MahoutDriver ^

trainclassifier ^

  -i %HDFS_WORK_PATH%bayes-train-input ^

  -o %HDFS_WORK_PATH%bayes-model ^

  -type bayes ^

  -ng 1 ^

  -source hdfs

call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar ^

org.apache.mahout.driver.MahoutDriver ^

testclassifier ^

  -m %HDFS_WORK_PATH%bayes-model ^

  -d %HDFS_WORK_PATH%bayes-test-input ^

  -type bayes ^

  -ng 1 ^

  -source hdfs ^

  -method %TEST_METHOD%

popd

goto :eof

:ErrorMessage

echo Please download 20news-bydate.tar.gz from:

echo http://people.csail.mit.edu/jrennie/20Newsgroups/20news-bydate.tar.gz

echo and extract it under:

echo %WORK_PATH%

4) Solucionado el problema ahora si, el resultado esperado es la siguiente “Confusion Matrix”. Esta misma matriz puede verse en el ejemplo de partida de Apache Mohout que indicábamos antes.

En este ejemplo, puede verse como funciona una “Confusion Matrix” y un poco de teoría.

Adicionalmente, aquí tenemos otro ejemplo de clasificación (en este caso más concretamente, un ejemplo de algoritmo de recomendación).

2) Agrupación(Clustering)

Partimos nuevamente del propio ejemplo que nos presenta Hadoop o directamente desde aquí. Este ejemplo esta basado 100% en el ejemplo del website de Mahout el cual consiste en:

“The example will demonstrate clustering of control charts which exhibits a time series. Control charts are tools used to determine whether or not a manufacturing or business process is in a state of statistical control. Such control charts are generated / simulated over equal time interval and available for use in UCI machine learning database. The data is described here .”

Para ello y como nos dice el tutorial:

1) Descargamos el fichero “http://archive.ics.uci.edu/ml/databases/synthetic_control/synthetic_control.data” y lo situamos en la carpeta “C:\apps\dist\mahout-0.5\examples\bin\work\clustering\”

2) Ejecutamos “C:\apps\dist\mahout-0.5\examples\bin\build-cluster-syntheticcontrol.cmd” y elegimos el tipo de “clustering”:

3) De la misma manera que para el ejemplo anterior, volvemos a tener problemas así que tenemos que hacer algunos ajustes:

Creamos un directorio “testdata” en HDFS desde la consola interactiva de Javascript ejecutando el comando ”#mkdir testdata”

Modificamos el script (.cmd) “build-cluster-syntheticcontrol.cmd” siguiendo las misma pautas que para el ejemplo de clasificación,

Sustituyendo esto:

call mahout hadoop fs -rmr %HDFS_WORK_PATH%
call mahout hadoop fs -mkdir %HDFS_WORK_PATH%
call mahout hadoop fs -put %WORK_PATH%\synthetic_control.data %HDFS_WORK_PATH%
call mahout org.apache.mahout.clustering.syntheticcontrol.%_clustertype%.Job

Por esto otro:

call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar org.apache.mahout.driver.MahoutDriver ^
   hadoop fs -rmr %HDFS_WORK_PATH%
call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar org.apache.mahout.driver.MahoutDriver ^
   hadoop fs -mkdir %HDFS_WORK_PATH%
call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar org.apache.mahout.driver.MahoutDriver ^
   hadoop fs -put %WORK_PATH%\synthetic_control.data %HDFS_WORK_PATH%
call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar org.apache.mahout.driver.MahoutDriver ^
   org.apache.mahout.clustering.syntheticcontrol.%_clustertype%.Job

Nuevamente, aquí dejo el fichero “build-cluster-syntheticcontrol.cmd” con el problema ya solucionado.

@echo off

@rem

@rem Licensed to the Apache Software Foundation (ASF) under one or more

@rem contributor license agreements.  See the NOTICE file distributed with

@rem this work for additional information regarding copyright ownership.

@rem The ASF licenses this file to You under the Apache License, Version 2.0

@rem (the "License"); you may not use this file except in compliance with

@rem the License.  You may obtain a copy of the License at

@rem

@rem     http://www.apache.org/licenses/LICENSE-2.0

@rem

@rem Unless required by applicable law or agreed to in writing, software

@rem distributed under the License is distributed on an "AS IS" BASIS,

@rem WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.

@rem See the License for the specific language governing permissions and

@rem limitations under the License.

@rem

@rem

@rem Downloads the Synthetic control dataset and prepares it for clustering

@rem

@rem To run:  change into the mahout directory and type:

@rem  examples/bin/cluster-syntheticcontrol.sh

setlocal enabledelayedexpansion

set SCRIPT_PATH=%~dp0

set MAHOUT_BIN_PATH=%SCRIPT_PATH%..\..\bin\

set WORK_PATH=%SCRIPT_PATH%work\clustering\

set HDFS_WORK_PATH=testdata

if not exist %WORK_PATH% (

    mkdir %WORK_PATH%

)

if not exist %WORK_PATH%synthetic_control.data (

    echo Please downloading Synthetic control data from:

    echo http://archive.ics.uci.edu/ml/databases/synthetic_control/synthetic_control.data

    echo and put it under:

    echo %WORK_PATH%synthetic_control.data

    goto :end

)

:main

echo "Please select a number to choose the corresponding clustering algorithm"

echo "1. canopy clustering"

echo "2. kmeans clustering"

echo "3. fuzzykmeans clustering"

echo "4. dirichlet clustering"

echo "5. meanshift clustering"

set /p _choice="Enter your choice:"

@rem set _algorithms=canopy kmeans fuzzykmeans dirichlet meanshift

if [%_choice%] == [1] (

    set _clustertype=canopy

) else (

    if [%_choice%] == [2] (

        set _clustertype=kmeans

    ) else (

        if [%_choice%] == [3] (

            set _clustertype=fuzzykmeans

        ) else (

            if [%_choice%] == [4] (

                set _clustertype=dirichlet

            ) else (

                if [%_choice%] == [5] (

                    set _clustertype=meanshift

                ) else (

                    echo "Invalid choice %_choice%. Please try again"

                    goto :end

)))))

echo "ok. You chose %_choice% and we'll use %_clustertype% Clustering"

pushd %MAHOUT_BIN_PATH%

echo "DFS is healthy... "

echo "Uploading Synthetic control data to HDFS"

@REM call mahout hadoop fs -rmr %HDFS_WORK_PATH%

@REM call mahout hadoop fs -mkdir %HDFS_WORK_PATH%

@REM call mahout hadoop fs -put %WORK_PATH%\synthetic_control.data %HDFS_WORK_PATH%

call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar org.apache.mahout.driver.MahoutDriver ^

hadoop fs -rmr %HDFS_WORK_PATH%

call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar org.apache.mahout.driver.MahoutDriver ^

hadoop fs -mkdir %HDFS_WORK_PATH%

call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar org.apache.mahout.driver.MahoutDriver ^

hadoop fs -put %WORK_PATH%\synthetic_control.data %HDFS_WORK_PATH%

echo "Successfully Uploaded Synthetic control data to HDFS "

@REM call mahout org.apache.mahout.clustering.syntheticcontrol.%_clustertype%.Job

call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar org.apache.mahout.driver.MahoutDriver ^

org.apache.mahout.clustering.syntheticcontrol.%_clustertype%.Job

:end

popd

4) Una vez que hemos lanzado este script, ejecutamos los dos siguientes para la comprobación y obtención de resultados:

Para verificar que el resultado se encuentra en HDFS, ejecutamos:

“hadoop fs -lsr output”, o,
“#ls output”, desde la consola interactiva de Java Script.

Para descargar el resultado desde HDFS en un directorio local del Head Node del cluster de Hadoop:

“hadoop fs -get output C:\apps\dist\mahout-0.5\examples\bin\work\clustering”
Veremos que la ruta “C:\Apps\dist\mahout-0.5\examples\bin\work\clustering” contiene la carpeta “output” como resultado del comando anterior.

5) A continuación, analizaremos los datos obtenidos utilizando el parámetro de Mahout “clusterdump”.

Creamos un nuevo script:

@echo off

setlocal enabledelayedexpansion

set SCRIPT_PATH=%~dp0

set MAHOUT_BIN_PATH=%SCRIPT_PATH%..\..\bin\

set MAHOUT_HOME=%MAHOUT_BIN_PATH%..\

pushd %MAHOUT_BIN_PATH%

call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar ^

   org.apache.mahout.driver.MahoutDriver ^

   clusterdump ^

   --seqFileDir output/clusters-0 ^

   --pointsDir output/clusteredPoints ^

   --output clusteranalyze.txt

popd

Nota: En vista de que el resultado esperado para este ejemplo no es satisfactorio, puesto que no obtendremos resultados, en este enlace podemos ver un análisis de los resultados de manera genérica así como el contenido del fichero de salida, “clusteranalyze.txt”. Este fichero lo encontraremos en la carpeta “C:\apps\dist\mahout-0.5\bin\” una vez hayamos ejecutado este último script.

Adicionalmente, de las 5 opciones que presenta este último ejemplo sólo la primera y las dos últimas funcionan, el resto producen errores y como ya hemos comentado, es posible que sea debido a las incompatibilidades para las versiones actuales entre Hadoop y Mahout. Siempre que ocurran estos problemas podemos intentar solucionarlo descargando y actualizando sus nuevas versiones: Hadoop y Mahout.

Importante: Si optamos por actualizar las versiones, tengamos en cuenta lo siguiente:

Es posible que las nuevas versiones no contengan los mismo ejemplos.
Los script (.cmd) adaptados a Windows, tendremos que generarlos manualmente a partir de los “.sh” de Linux/unix que se distribuyen con la versión original de apache. Por ejemplo, para mahout descargaremos la nueva versión, mahot-distribution-0.7, y la renombraremos por “mahout-0.7” ubicándola en “C:\apps\dist\” al mismo nivel que “mahout-0.5”, así podremos intentar reutilizar los script (.cmd) de la versión anteriores.
A partir de aquí, toca probar y cruzar los dedos, por eso, no recomiendo esto a menos que los cambios a realizar fueran mínimos. Esperemos a que Microsft vaya realizando y adaptando las versiones adecuadamente.

Aunque estos algoritmos y ejemplos están cambiando constantemente y Hadoop aun está en “Preview”, espero haber aclarado incógnitas sobre este nuevo mundo de la Inteligencia Artificial con Mahout… !

Saludos y feliz “cacharreo” con Mahout…
Juanlu,ElGuerre

Windows Azure Hadoop. Understanding, Diving & Solving issues IV. SQL To Hadoop (Sqoop) II

Juanlu,ElGuerre — Tue, 23 Oct 2012 10:21:00 GMT

En el capítulo anterior de Sqoop, veíamos como llevar a cabo una importación y exportación de datos desde SQL Azure hacia y desde Hadoop, concretamente desde y hacia su sistema de ficheros HDFS. Pues bien, en esta ocasión, veremos como conseguir esta importación directamente hacia Hive.

1) Importación de datos desde SQL Azure hacia Hive:

1) Creamos una vez más el alias para que Sqoop entienda la tabla, sin embargo, en este caso, no puede tener ningún “punto”, en cuyo caso Sqoop no será capaz de crear la tabla en Hive.
CREATE SYNONYM [hivecustomer] FOR SalesLT.Customer
2) Ejecutamos la siguiente instrucción:
sqoop import
--connect "jdbc:sqlserver://<SQLZAURE-SERVERNAME>.database.windows.net;database=AdventureWorksLTAZ2008R2"
--username  jlguerrero@<SQLZAURE-SERVERNAME>
-P
--table hivecustomer
--hive-import
--hive-overwrite
-m 1
Donde:

-–hive-import, permite la importación directamente hacia Hive. En caso de que la tabla “hivecustomer” no exista esta será creada.

--hive-overwrite, sobreescribe la tabla “hivecustomer” si ya existe en Hive.

3) Desde la consola de Hive podremos comprobar que se ha creado la tabla “hivecustomer” y se han cargado todo los datos: “select * from hivecustomer;

Nota: Para más detalle sobre Sqoop, siempre podemos consultar la guía de usuario, http://sqoop.apache.org/docs/1.4.0-incubating/SqoopUserGuide.html, donde podremos profundizar todo cuanto queramos.

En el post anterior comentaba que este nuevo capítulo íbamos a ver la exportación desde Hive hacia SQL Azure, no obstante, rectifico, puesto que en dicho sentido la exportación, a día de hoy aún no es posible. Perdonad, actualizo el post debidamente.

Hasta aquí y tras unos cuantos posts, ya tenemos toda la información que necesitamos en Hive. Obtenida desde SQL Azure, de Azure Storage según comentamos en este post (HiveQL), y desde HDFS, sólo nos queda comenzar a explotar la misma como si de un único repositorio se tratara. Eso sí, esto será en un nuevo capítulo, por el momento continuaremos conociendo otros componentes de Hadoop On Azure.

Aunque este post ha sido algo más corto que de costumbre, espero que no menos interesante.

Saludos
Juan Luis Guerrero

Windows Azure Hadoop. Understanding, Diving & Solving issues IV. SQL To Hadoop (Sqoop) I

Juanlu,ElGuerre — Sun, 21 Oct 2012 18:52:00 GMT

En esta ocasión veremos como Hadoop además de trabajar con datos no estructurados, también puede hacerlo con datos relacionales, para ello, Hadoop cuenta con otro componente, SQOOP, es decir, SQL To Hadoop.

Lo que nos va a permitir Scoop exactamente, es el traspaso de datos entre SQL Azure y Hadoop (HDFS y Hive) en ambos sentidos.

Aunque como siempre, contamos con un tutorial de Microsoft, iremos un poco más allá, concretamente resolveremos algunos problemas encontrados tanto en el tutorial de Microsoft como en otros que podemos encontrar en internet.

1) Como ya disponemos de este tutorial, resumamos como importar una tabla desde SQL Azure hacia Hadoop, hacia HDFS (Hadoop File System):

1) Desde SQL Server Management Studio, y para cada tabla (ej.: AdventureWorksLTAZ2008R2) de SQL Azure con la que vayamos a trabajar, establecemos un alias o sinónimo. Esto es necesario para que sqoop pueda identificar el nombre de la tabla:
CREATE SYNONYM [SalesLT.Customer] FOR SalesLT.Customer
2) Accedemos mediante terminal server al cluster de Hadoop como ya hemos comentado entre otras cosas en este post.

3) Desde la consola de comandos de Hadoop (Hadoop Command Shell) navegamos hasta la ruta concreta “c:\Apps\dist\sqoop\bin” y ejecutamos la siguiente instrucción para realizar la importación de la tabla SalesLT.Customer al sistema de ficheros de Hadoop (HDFS) concretamente a la ruta /data/customer.
sqoop import
--connect "jdbc:sqlserver://<SQLAZURE-SERVERNAME>.database.windows.net;database=AdventureWorksLTAZ2008R2"
--username jlguerrero@<SQLAZURE-SERVERNAME>
-P
--table SalesLT.Customer
--target-dir /data/Customer
-m 1
Donde: El Parámetro “-P” va a permitirnos introducir por consola el password de conexión a SQL Azure

Importante: La cadena de conexión no esperar recibir el usuario y password, estos se pasan a través de otros parámetros derivados eso sí, de la conexión.

Nota: La instrucción se encuentra dividida en varias líneas pero recordemos que tendrá que encontrase todo en una misma.

4) Desde la consola interactiva de Javascript del portal de Hadoop ejeutamos:

“#lsr /data” para verificar que existe una carpeta “Customer” y donde encontraremos nuestro fichero de datos “part-m-00000”.

“#tail /data/Customer/part-m-00000” para corroborar que se han cargado datos. Tail nos permitirá visualizar el primer KB del fichero sin necesidad de cargarlo por completo, en cuso caso, podríamos optar por #cat en su lugar.

Nota: La importación desde una tabla de SQL Server (“OnPremisse”) aún no es posible puesto que las VMs del Cluster de Hadoop además de no tener habilitado los permisos de visibilidad con máquinas On-Premisse, tienen restringidos los permisos para habilitar los mismos, así que por el momento sólo podremos importar datos desde SQL Azure.

2) Veamos a continuación como exportar desde Hadoop (HDFS) hacia SQL Azure:

1) Creamos una nueva tabla “[SalesLT].[CustomerFromHadoop]” en SQL Azure
USE [AdventureWorksLTAZ2008R2]
GO

CREATE TABLE [SalesLT].[CustomerFromHadoop](
    [CustomerID] [int]  NOT NULL,
    [NameStyle] [varchar] (5),
    [Title] [varchar](25) NULL,
    [FirstName] [varchar](50) NOT NULL,
    [MiddleName] [varchar](50) NULL,
    [LastName] [varchar](50) NOT NULL,
    [Suffix] [varchar](25) NULL,
    [CompanyName] [varchar](150) NULL,
    [SalesPerson] [varchar](260) NULL,
    [EmailAddress] [varchar](50) NULL,
    [Phone] [varchar](50) NULL,
    [PasswordHash] [varchar](150) NOT NULL,
    [PasswordSalt] [varchar](50) NOT NULL,
    [rowguid] [varchar] (50) NOT NULL,
    [ModifiedDate] [varchar](50) NOT NULL    
 CONSTRAINT [PK_CustomerHadoop_CustomerID] PRIMARY KEY CLUSTERED  ([CustomerID] ASC
))

GO
2) Establecemos su alias para que pueda ser reconocida desde Sqoop.
CREATE SYNONYM [SalesLT.CustomerFromHadoop] FOR SalesLT.CustomerFromHadoop
3) Desde la consola de comandos de Hadoop (Hadoop Command Shell) navegamos hasta la ruta concreta “c:\Apps\dist\sqoop\bin” y ejecutamos la siguiente instrucción:
sqoop export
--connect "jdbc:sqlserver://<SQLAZURE-SERVERNAME>.database.windows.net;database=AdventureWorksLTAZ2008R2"
--username jlguerrero@<SQLAZURE-SERVERNAME>
-P
--table SalesLT.CustomerFromHadoop
--export-dir /data/Customer
--input-fields-terminated-by "," 
4) Si consultamos nuestra nueva tabla de SQL Azure, “SELECT * FROM[SalesLT].[CustomerFromHadoop]”, podremos comprobar como se ha cargado correctamente con todos sus datos.

Nota: En este caso de exportación desde Hadoop, el proceso podría complicarse si pretendemos hacer transformaciones de campos, en tal caso, el camino será más fácil si estas transformaciones las llevamos a cabo en SQL directamente una vez realizada la exportación.

Espero haber aclarado un poco más el camino hacia y desde Hadoop HDFS hacia SQL Azure. En el próximo capitulo de Sqoop, veremos como importar datos directamente hacia Hive.

Saludos @Home
Juanlu,ElGuerre

Windows Azure Hadoop. Understanding, Diving & Solving issues III (Consumiendo Hive desde Excel, Power Pivot y Power View)

Juanlu,ElGuerre — Wed, 17 Oct 2012 19:11:00 GMT

Muy buenas,

Continuado con Hadoop on Windows Azure y tras los dos post anteriores: “Understanding, Diving And Solving issues” y “Understanding, Diving and Solving Issues II (HiveQL)”, seguiremos con el ejemplo a partir de la Tabla “iislog” creada en HiveQL.

Una vez creada y cargada la tabla con la información del fichero de texto almacenado previamente, veremos como podemos tratar la información desde Excel, Power Pivot y/o Power View, donde para ello seguiremos los siguientes pasos:

1) Habilitamos la comunicación desde Hadoop para poder conectarnos vía ODBC desde Excel.

2)Descargamos el “.msi” de instalación del ODBC desde el portal de hadoop y lo instalamos.

3) Configuramos la conexión del ODBC de Hive con Hadoop.

4) Abrimos Excel 2010 o 2013 Preview y revisamos que nuestro nuevo Add-In se encuentra habilitado al igual que el de Power View. Para el caso de Excel 2010, descargaremos “Power Pivot” desde aquí. Para 2013 Preview, no es necesario, bastará simplemente con habilitarlo.

5) Accedemos al menú DATA y, concretamente, al ribbon “Hive Pane” el cual nos mostrará el Tool Box “Hive Query” y donde seleccionaremos la conexión creada en el paso 3.

6) Seleccionamos la tabla “iislog”

7) Navegamos a POWER PIVOT  - “Manage” y a continuación elegimos “Existing Connections…”

7.a) En este punto obtendremos un error del tipo, “SQL_ERROR Query preparation failed. Username/password is invalid: <jlguerrero>/<>”. Donde por algún motivo el passord no se incluye en la conexión ni tampoco hay posibilidad para ello.

7.b) Optamos por “From Other Sources… – Others (OLEDB\ODBC)” e introducimos el siguiente “Connection String”:

“Provider=MSDASQL.1;Dsn=My First Hadoop;uid=jlguerrero;password=xxxxxx”

8) Seguimos los pasos de Wizard y en esta ocasión todo es correcto. ¡Esperemos que se trate de bug del Hive para Excel o incluso de Office 2013 Preview, como es mi caso!

8) A partir de aquí, Power Pivot hará el resto del trabajo. Para obtener el siguiente gráfico, en poco más de 1minuto, echemos un vistazo a este vídeo.

Aunque la información con la que hemos estado trabajando en el ejemplo, no es “mucha”, ni “grande”, es suficiente a modo de ejemplo para demostrar como trabajar con Hive.  Si extrapolamos todo este proceso para un conjunto mayor de información, para información de los más variopinta y de distintos repositorios/fuentes y las juntamos todas en Hive, estaremos visualizando hasta donde puede llegar Hadoop.

Power Pivot, también permite la conexión directa con SQL Azure  y otras muchas fuentes, así que con Hive lo haremos sólo cuando sea realmente necesario. ¡No todo tiene que ser ahora Hadoop!

Os dejo también un enlace bastante interesante relacionado con el tema: Processing Azure Storage analytics logs with Hadoop on Azure.

Saludos y nos vemos en el siguiente capitulo de Hadoop
Juanlu, ElGuerre

Windows Azure Hadoop. Understanding, Diving and Solving issues II (HiveQL)

Juanlu,ElGuerre — Wed, 10 Oct 2012 19:14:47 GMT

Muy buenas,

Siguiendo con Hadoop, veamos que es HiveQL y cómo utilizarlo.

Big Data y, como decíamos, “Hadoop On Azure”, contiene muchos componentes, en el post anterior, comentamos y trabajamos sobre uno de ellos, concretamente sobre “C# Streaming”. En este caso, otro de estos es Hive QL:

¿Que nos dice Wikipedia?

Apache Hive es un data warehouse construida en la base de Hadoop a fin de proporcionar resumenes de datos, consultas y análisis. Aunque inicialmente desarrollado por Facebook, Apache Hive está utilizado y desarrollado por otras empresas como Netflix. Hive también se incluye en “Amazon Elastic MapReduce” en Amazon Web Services.

Aunque está basado en SQL, HiveQL no sigue estrictamente el estandar SQL-92. HiveQL ofrece extensiones que no están en SQL, incluyendo:

Inserciones multitable y “create table” como “select”

Sólo ofrece soporte básico para índices.

Carece de soporte para transacciones y “vistas materializadas”, y sólo soporta un conjuto limitado limitado queries.

Internamente, un compilador traduce las instrucciones HiveQL en un gráfico acíclico dirigido de jobs MapReduce, que son enviados a Hadoop para su ejecución.

Entendido que es HiveQL y partiendo del ejemplo del post anterior, nuestra intención, en este caso/ejemplo, es poder utilizar estas consultas SQL para explotar toda la información a nuestro antojo. Para ello, y como ya tenemos configurado Hadoop para trabajar con el Storage de Azure:

1) Accedemos a la consola de HiveQL a través del portal de Hadoop:

2) Introducimos la siguiente “query” que nos va a permitir crear una tabla y cargar en ella el contenido de nuestro fichero.
CREATE EXTERNAL TABLE iislog (num INT,  url STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED by ‘32’ 
STORED AS TEXTFILE
LOCATION 'asv://fivetopuriresults/results.txt/part-00000';
donde: ‘32’ es el carácter ASCII correspondiente al espacio. Indicando esto que el fichero de texto se cargará en la tabla separando los campos por este carácter.

3) Comprobamos que nuestra tabla se ha creado correctamente; bien desde la consola de Hive o, bien usando la query “show tables;”:

4) Comprobamos que los datos se han cargado correctamente usando la query “select * from iislog;”

5) Con la tabla ya cargada, sólo nos queda comenzar a realizar las queries, por ejemplo:
SELECT url FROM iislog
WHERE num = '8';
Algunas otras instrucciones son:

drop iislog; para borrar

--, para comentarios

Nota: Es muy importante que la ruta del fichero de Azure Storae (“asv://” ) sea correcta puesto que en caso contrario la creación de la tabla no provocará un error. Debemos te tener en cuenta también que tanto esta ruta como cualquier otra (HDFS://) es “key sensitive”.

Para más información sobre queries en HiveQL podemos ver este tutorial.

En el siguiente post, veremos como consumir estos datos de una forma mucho más amigable, Excel, Power Pivot y Power View, nos ayudarán en esta labor.

Saludos and happy HiveQL !!
Juanlu, ElGuerre

Windows Azure Hadoop. Understanding, Diving and Solving issues

Juanlu,ElGuerre — Sun, 07 Oct 2012 19:58:39 GMT

Muy buenas,

Esta semana he estado “pegándome” un poco con Hadoop, ¡se acercan bonitos tiempos! y, aunque aún tengo pendiente un par de post sobre HPC, tendrán que esperar por el momento.

Cuando hablamos de Hadoop, también hablamos de Big Data, (¡si, efectivamente, muchos datos y muy grandes !), ambos términos están relacionados. Concretamente, Big data, se refiere a conjuntos de datos que crecen tan enormemente que son difíciles de capturar, almacenar, gestionar, analizar, visualizar y compartir con las herramientas de bases de datos más comunes de hoy día. Teniendo en cuenta esto, existe tres características que definen a Big Data muy bien:

Volumen: Terabytes y Petabytes de información
Velocidad: Clusters dedicados a la ejecución de tareas/jobs y, un algoritmo: MapReduce, también muy utilizado en HPC.
Variedad: Texto, BBDD, redes sociales, etc

Por otro lado, Wikepedia nos dice:

Apache Hadoop es un framework de software que soporta aplicaciones distribuidas bajo una licencia libre. Permite a las aplicaciones trabajar con miles de nodos y petabytes de datos. Hadoop se inspiró en los documentos Google para MapReduce y Google File System (GFS).

Hadoop es un proyecto de alto nivel Apache que está siendo construido y usado por una comunidad global de contribuidores,mediante el lenguaje de programación Java. Yahoo! ha sido el mayor contribuidor al proyecto,y usa Hadoop extensivamente en su negocio.

Y si queremos un poco más de detalle antes de ponernos manos a la obra, nuestro compañero Ibon Landa, nos cuenta más en este post (Big Data, Hadoop y Windwos Azure).

Para comenzar, una vez más contamos con los tutoriales de Microsoft y que por supuesto, no vamos a pasar por alto, si no que los aprovecharemos para profundizar, en concreto, pariremos de este (Hadoop on Windows Azure - Working With Data), donde veremos como procesar un fichero de log de IIS pudiendo explotar toda la información del mismo muy fácilmente, utilizando además, el Storage de Azure. Para ello:

Podemos optar bien por crear un WebRole como nos dice el ejemplo para navegar y obtener el log o, simplemente partir de un fichero de logs IIS cualquiera ya existente.
Creamos un programa de Consola en C#, que será la función “MAP” del algoritmo y cuya finalidad es:
- Obtener las urls (que comiencen por “http://” o terminen por “.aspx” o “.html”).
Creamos un programa de Consola en C#, función “REDUCE” y cuya finalidad será:
- A partir de la información proporcionada por el MAP, obtener el número de veces que aparece cada url.
- Ordenar la lista descendentemente

Importante: Cuando trabajamos con Hadoop On Azure con C# (Streaming), siempre tenemos que incluir la siguiente línea de código al comienzo de nuestra aplicación consola MAP y REDUCE:

if (args.Length > 0)
{
    Console.SetIn(new StreamReader(args[0]));
}

Una vez tengamos nuestros ficheros “Map.exe” y “Reduce.exe” y un fichero de logs de IIS cualquiera procedemos a cargar los datos en Hadoop:

1) Desde la consola Interactiva de Javascript subimos los ficheros a HDFS (Hadoop File System).

js> fs.put()

Donde en, Destination, introduciremos el valor “/example/apps/map.exe”. Es importante tener en cuenta el comienzo de este valor, puesto que no es lo mismo “/example/…” que “./example/…”. En este último caso, al acceder al fichero tendremos que indicar la ruta completa desde el root, es decir, “/users/juanluelguerre/examples/apps/map.exe”.

De la misma manera lo haremos para Reduce.exe.

2) Utilizando “Azure Storage Explorer”, conectamos con el Storage de Azure y subir el fichero de log de IIS a un container denominado “fivetopuri”. Adicionlamente crear otro container para los resultados, denominado “fivetopuriresults”

3) Configurar Hadoop para que pueda trabajar con el Storage de Azure.

4) Creamos un Job con la siguiente información:

JAR File.
- Descargar el “.jar” para Streaming (hadoop-streaming.jar). La release es la “v1.0.3”, aunque la “v2.0.1-alpha”, al menos para este ejemplo también funciona perfectamente.
Parámetros
- Parametro 1: -files "hdfs:///example/apps/map.exe,hdfs:///example/apps/reduce.exe"
- Parametro 2: -input "asv://fivetopuri/iislog.txt" -output "asv://fivetopuriresults/results.txt"
- Parametro 3: -mapper "map.exe" -reducer "reduce.exe"
El comando final queda como sigue:

Hadoop jar hadoop-streaming-1.0.3.jar -files "hdfs:///example/apps/map.exe,hdfs:///example/apps/reduce.exe" -input "asv://fivetopuri/iislog.txt" -output "asv://fivetopuriresults/results.txt" -mapper "map.exe" -reducer "reduce.exe"

Nota: ASV: indica una ruta del Storage de Azure.

5) Ejecutamos el Job y esperamos.

Si hemos seguido el ejemplo tal cual, probablemente encontraremos algunos errores:

Error “Failed Map Tasks exceed allowed limit. Failed Count: 1”
o incluso que el Job tarde en responder (que se haya quedado “colgado”), en cuyo caso es posible que queramos “matarlo”. Para ello:

1) En primer lugar identificaremos el JobId, que se encontrará “…in progress” o “RUNNING”:

Una vez hemos el “JobId”, nos conectamos al cluster mediante Remote Desktop y abrimos la consola de Hadoop (“Hadoop command Shell”):

Ejecutamos la siguiente línea de comando, obteniendo un resultado indicando que el Job ha sido eliminado.
c:\apps\dist>hadoop job -kill job_201210061842_0019
Killed job job_201210061842_0019

Después de muchos intentos continuaremos el problema hasta que lo resolvamos. En nuestro ejemplo tendremos que hacer una modificación, es decir, cambiar el caracter “\t” por cualquier otro, por ejemplo “-”, de manera que la función “Map” queda así:

private const char SEPARATOR = '-';

Console.WriteLine(string.Format("{0}{1}{2}", uri, SEPARATOR, counters[uri]));

Y la función “Reduce” así:

private const char SEPARATOR = '-';
...

string line;
while ((line = Console.ReadLine()) != null)
{
    // parse the uri and the number of request
    var values = line.Split(SEPARATOR);
    string uri = values[0];
    int numOfRequests = int.Parse(values[1]);

    // save the max number of requests for each uri in UriCounters
    if (!UriCounters.ContainsKey(uri))
        UriCounters.Add(uri, numOfRequests);
    else if (UriCounters[uri] < numOfRequests)
        UriCounters[uri] = numOfRequests;
}

6) Volvemos al punto 1) y eliminamos el contenido del container “fivetopuriresult” del storage de Azure.

7) Ejecutamos nuevamente el Job. Y ahora sí:

12/10/07 17:16:18 INFO mapred.FileInputFormat: Total input paths to process : 1
12/10/07 17:16:19 INFO streaming.StreamJob: getLocalDirs(): [/hdfs/mapred/local]
12/10/07 17:16:19 INFO streaming.StreamJob: Running job: job_201210071446_0030
12/10/07 17:16:19 INFO streaming.StreamJob: To kill this job, run:
12/10/07 17:16:19 INFO streaming.StreamJob: c:\Apps\dist/bin/hadoop job -Dmapred.job.tracker=10.26.110.33:9010 -kill job_201210071446_0030
12/10/07 17:16:19 INFO streaming.StreamJob: Tracking URL: http://10.26.110.33:50030/jobdetails.jsp?jobid=job_201210071446_0030
12/10/07 17:16:20 INFO streaming.StreamJob: map 0% reduce 0%
12/10/07 17:16:47 INFO streaming.StreamJob: map 50% reduce 0%
12/10/07 17:16:50 INFO streaming.StreamJob: map 100% reduce 0%
12/10/07 17:16:56 INFO streaming.StreamJob: map 100% reduce 33%
12/10/07 17:17:08 INFO streaming.StreamJob: map 100% reduce 100%
12/10/07 17:17:21 INFO streaming.StreamJob: Job complete: job_201210071446_0030
12/10/07 17:17:21 INFO streaming.StreamJob: Output: asv://fivetopuriresults/results.txt

A partir de aquí sólo nos queda complicar las funciones “Map” y “Reduce” tanto como queramos para explotar mucha más información.

En los siguientes post veremos como manejar toda esta información con “Hive” (Datawarehouse de Hadoop) y “Exel”.

Saludos @WorkingRoom
Juanlu, ElGuerre

Windows Azure MEDIA SERVICES. In action !!!

Juanlu,ElGuerre — Sun, 30 Sep 2012 14:10:03 GMT

De la misma manera que el el post anterior exprimíamos Windows Azure MOBILE SERVICES, en este caso le toca el turno a Windows Azure MEDIA SERVICES.

Pues bien, estos recientes servicios (PaaS), aun en Preview, tienen como finalidad, facilitar, crear y entregar contenido multimedia a los diferentes dispositivos: HTML5, Silverlight, Flash, Windows (Windows 8, etc.), Windows Phone, Xbox, MacOS, iPhone/iPad y Android, aportando gracias a Windows Azure, flexibilidad, escalabilidad y fiabilidad en la nube y, todo ello basado en “Microsoft Media Platform”.

Me gustaría hacer referencia a este enlace, donde Scott Guthrie, comenta brevemente el uso de estos servicios en las olimpiadas de Londres 2012, donde se estos han soportado unas 2.300h de vídeos en directo y contenido VOD (Video On demand)HD.

Y como siempre, Microsoft pone a nuestra disposición unos mágnificos tutoriales, donde poder seguir nuestros primeros pasos. Nosotros iremos un poco más allá hasta completar un ejemplo completo y funcional además de aclarar dudas y seguir algunas recomendaciones.

MEDIA SERVICES soporta los siguientes escenarios:

Building end-to-end workflows: Todo la aplicación en el Cloud.
Building hybrid workflows: Integración de aplicaciones y procesos. Pudiendo codificar por ejemplo, contenido en “On-Premisse” subiendo el mismo a Media Services para su transcodificación y transformación en distintos formatos.
Providing cloud support for media players: Crear, gestionar y distribuir/entregar contenido media a diferentes dispositivos y plataformas: iOS, Android, and Windows Devices.

Una vez ya conocemos las aspectos generales, veamos a continuación lo que necesitamos para llevar a cabo nuestro ejemplo: “MyFirstMedia Services”

1. Activamos el servicio para usarlo con nuestra subscripción.

2. Creamos un servicio desde la consola de administración (Portal):

3. Aseguramos la sincronización de “key” con nuestro storage:

4. Creamos, desde Visual Studio un proyecto de tipo Consola

5. Añadimos las siguientes referencias.

C:\Program Files\Microsoft SDKs\Windows Azure\.NET SDK\2012-06\bin\Microsoft.WindowsAzure.StorageClient.dll
C:\Program Files (x86)\Microsoft WCF Data Services\5.0\bin\.NETFramework\

Microsoft.Data.Edm.dll
Microsoft.Data.OData.dll
Microsoft.Data.Services.dll
Microsoft.Data.Services.Client.dll
System.Spatial.dll

C:\Program Files (x86)\Microsoft SDKs\Windows Azure Media Services\Services\v1.0\Microsoft.WindowsAzure.MediaServices.Client.dll

6. Conectamos con Media Services obteniendo un Contexto. En este punto podemos obtener el siguiente error: ”Error 400 Bad Request when using CloudMediaContext with Azure Media Services” si no se introducen correctamente estos parámetros:

        1: this._context = new CloudMediaContext(accountName, accountKey);

Donde:

accountName es el nombre del servicio, introducido al crear el mismo y según hemos señalado como “Account Name”.
accountKey es el “SECONDARY MEDIA SERVICE ACCESS KEY”.

7. Creamos y encriptamos nuestro activo y lo subimos al Storage de Windows Azure, obteniendo una referencia al container de dichos ficheros. Si el valor de encriptación es “None”, podremos ver el contenido de dichos ficheros una vez realizado el “Upload” utilizando por ejemplo, “Azure Storage Explorer”.

       1: private IAsset UpLoadFiles(string[] files)

       2: {

       3:     // (2) Creamos un asset y añadimos los activos/ficheros para hacer el Upload del asset.            

       4:     return this._context.Assets.Create(files, AssetCreationOptions.StorageEncrypted);

       5: }

En este punto podremos obtener el error: “Could not load file or assembly 'Microsoft.WindowsAzure.StorageClient, Version=1.1.0.0, Culture=neutral, PublicKeyToken=31bf3856ad364e35' or one of its dependencies. The located assembly's manifest definition does not match the assembly reference. (Exception from HRESULT: 0x80131040)” que podemos resolver (gracias al cable de John) incluyendo en nuestro “.config” el siguiente código:

       1: <?xml version="1.0" encoding="utf-8" ?>

       2: <configuration>

       3:   <runtime>

       4:      <assemblyBinding xmlns="urn:schemas-microsoft-com:asm.v1">

       5:        <dependentAssembly>

       6:          <assemblyIdentity name="Microsoft.WindowsAzure.StorageClient"

       7:                            publicKeyToken="31bf3856ad364e35"

       8:                            culture="neutral" />

       9:          <bindingRedirect oldVersion="1.1.0.0"

      10:                           newVersion="1.7.0.0"/>

      11:        </dependentAssembly>

      12:        <dependentAssembly>

      13:          <assemblyIdentity name="Microsoft.WindowsAzure.StorageClient"

      14:                            publicKeyToken="31bf3856ad364e35"

      15:                            culture="neutral" />

      16:          <publisherPolicy apply="no" />

      17:        </dependentAssembly>

      18:  

      19:      </assemblyBinding>

      20:    </runtime>  

      21: </configuration>

Una vez todo ya podemos hacer el Upload de nuestro asset, ahora ya estos listo para lanzar el Job con el Encoding adecuado:

       1: public IJob CreateEncodingJob(IAsset asset, EnumMediaProcessor enumProcesor)

       2: {

       3:     // Declarar un nuevo Job.

       4:     IJob job = this._context.Jobs.Create("My encoding job");          

       5:  

       6:     string configuration = GetConfiguration(enumProcesor);

       7:     IMediaProcessor processor = this.GetMediaProcessor(enumProcesor);

       8:  

       9:  

    // Crea un tarea con el detalle de codificacion(enconding) utilizando un string preestablecido.

    // Strings preestablecidos para Windows Azure Media Encoder: http://msdn.microsoft.com/en-us/library/jj129582.aspx

    ITask task = job.Tasks.AddNew("My encoding task",

        processor,

        configuration,

        TaskCreationOptions.None);

  

    // Especificar el Asset a codificar

    task.InputMediaAssets.Add(asset);

  

    

    // Añade un asset de salida que contiene el resultado del job.

    // Este asset no es encriptado "AssetCreationOption.None"

    task.OutputMediaAssets.AddNew("Output asset",

        true,

        AssetCreationOptions.None);

  

    // Ejecutar el Job. 

    job.Submit();

  

    return job;

}

En este punto, tenemos que tener claras varias cosas:

El Tipo de “Media Processor” a utilizar dependerá de lo que queramos hacer. Se trata de un string como puede verse en el siguiente snippet y, para conocer todos estos tipos preestablecidos accederemos a este enlace: “Task Preset Strings for Windows Azure Media Encoder”.
Cada uno de estos “Media Processor” trata un tipo de ficheros/asset determinado y de la misma manera genera una salida diferente. Por tanto si estamos lanzado un Job para:
- una conversión de .MP4 a Smooth Streaming tendremos utilizar como “Media Processor”, “MP4 to Smooth Streams Task”, que genera un asset de salida: .ism, .isma, .ismc, .ismv, necesarios para los visores de smooth streaming.
- una conversión “Windows Azure Media Encoder” se genera una salida: .mp4, y “_metadata.xml”.
- Etc. En este enlace, podemos ver todos los tipos de archivos soportados por Media Services.
Cada Job, además de trabajar con un “Media Processor” espera una configuración para el mismo, de manera que por ejemplo, para:
- Windows Azure Media Encoder su configuración es: “H.264 256k DSL CBR”
- Para una conversión de MP4 a Smooth Streams: http://msdn.microsoft.com/en-us/library/hh973635.aspx
- Para una generación de un “Thumbnails” a partir de un vídeo: http://msdn.microsoft.com/en-us/library/hh973624.aspx

       1: // http://www.windowsazure.com/en-us/develop/net/how-to-guides/media-services/

       2: // Windows Azure Media Encoder:  Media Encoder. 

       3: // PlayReady Protection Task:   PlayReady Protection. 

       4: // MP4 to Smooth Streams Task:  Conversión de  .mp4 a formato smooth streaming. 

       5: // Smooth Streams to HLS Task:  Conversión de smooth streaming a formato Apple HTTP Live Streaming (HLS). 

       6: // Storage Decryption:          Desencripta los assets que has sindo encriptados usando Storage Encription. 

       7: private IMediaProcessor GetMediaProcessor(EnumMediaProcessor mediaProcessor)

       8: {

       9:     var theProcessor =

      10:         from p in this._context.MediaProcessors

      11:         where p.Name == mediaProcessor.GetStringValue()

      12:         select p;

      13:  

      14:     IMediaProcessor processor = theProcessor.First();

      15:  

      16:     if (processor == null)

      17:     {

      18:         throw new ArgumentException(string.Format(System.Globalization.CultureInfo.CurrentCulture,

      19:             "Unknown processor",

      20:             mediaProcessor));

      21:     }

      22:     return processor;

      23: }

Si el Job ha terminado correctamente nuestra aplicación cliente podría acceder al asset y descargarlo. No obstante se puede producir erres durante la la codificación, donde para ello, haremos un chequeo del Job para corroborar su estado:

       1: private static ReadOnlyCollection<ErrorDetail> CheckJobProgress(string jobId)

       2: {

       3:     bool jobCompleted = false;

       4:     ReadOnlyCollection<ErrorDetail> jobErrors = null;

       5:  

       6:     while (!jobCompleted && (null == jobErrors))

       7:     {

       8:         IJob theJob = _manager.GetJob(jobId);

       9:         switch (theJob.State)

      10:         {

      11:             case JobState.Finished:

      12:                 jobCompleted = true;

      13:                 break;

      14:             case JobState.Queued:

      15:             case JobState.Scheduled:

      16:             case JobState.Processing:

      17:                 Thread.Sleep(5000);

      18:                 Console.Write(".");

      19:                 break;

      20:             case JobState.Error:

      21:                 jobErrors = theJob.Tasks[0].ErrorDetails;

      22:                 break;

      23:             default:

      24:                 Console.WriteLine("Unknown job state: {0}", theJob.State.ToString());

      25:                 break;

      26:         }

      27:     }

      28:     return jobErrors;

      29: }

A pesar de tener en cuenta las recomendaciones anteriores, se pueden producir algunos errores durante el “Upload” o el “Endonding del Job”

“Cannot import a zero-lenght file”: Se trata de error al subir un fichero de tipo imagen e intentar realizar su enconding distinto a “Storage Decryption”.
“One or more errors occurred” : Generalmente este se produce si intentamos subir ficheros a través de una conexión débil como por ejemplo desde una 3G con poca cobertura. El detalle de estos puede verse a continuación:

InnerException: System.Data.Services.Client.DataServiceClientException
            HResult=-2146233079
            Message=<?xml version="1.0" encoding="utf-8" standalone="yes"?><error xmlns="http://schemas.microsoft.com/ado/2007/08/dataservices/metadata"><code></code><message xml:lang="en-US">Asset has no files uploaded.</message></error>
            Source=Microsoft.Data.Services.Client
            StatusCode=400
            StackTrace:
                 at System.Data.Services.Client.QueryResult.ExecuteQuery(DataServiceContext context)
                 at System.Data.Services.Client.DataServiceRequest.Execute[TElement](DataServiceContext context, QueryComponents queryComponents)

Donde Fiddler nos proporcional la siguiente información:

500: <?xml version="1.0" encoding="utf-8"?><Error><Code>OperationTimedOut</Code><Message>Operation could not be completed within the specified time.
RequestId:fc8be06f-1801-4724-a549-14a5d327d48f
Time:2012-09-23T13:33:32.3638228Z</Message></Error>

504:ReadResponse() failed: The server did not return a response for this request.

502: The socket connection to mediasvc5s9w447krcczl.blob.core.windows.net failed. <br />ErrorCode: 10060. <br />A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond 168.63.0.14:80

DNS Lookup for "mediasvc5s9w447krcczl.blob.core.windows.net" failed. No such host is known.

Otros recomendaciones que deberíamos conocer son:

En la preview actual, no es posible eliminar los “Assets” subidos de ninguna manera desde la consola. Mediante código sería de la siguiente manera, teniendo en cuenta que antes de poder borrar un Asset, tenemos que revocar (“Revoke”) su Locator. No obstante y a pesar de todo, en mis pruebas no lo he conseguido. Supongo que es debido a la versión “Preview”:

       1: foreach (var a in this._context.Assets)

       2: {

       3:     foreach (var l in a.Locators)

       4:         this._context.Locators.Revoke(l);               

       5:  

       6:         this._context.Assets.Delete(a); 

       7: }

Incluyo a continuación un par de snippets que nos facilitarán los progresos de carga y descarga para así no desesperarnos:

Progreso de carga (“Upload”) de ficheros/assets:

         1: ...

         2:        _manager.Assets.OnUploadProgress += Assets_OnUploadProgress;

         3: ..

         4: rivate static void Assets_OnUploadProgress(object sender, UploadProgressEventArgs e)

         5:  

         6:    try

         7:    {

         8:        Console.WriteLine("Assets_OnUploadProgress: {0:0.00} %, {1}/{2}, {3:0.00} MB/{4:0.00} MB",

         9:        e.Progress, e.CurrentFile, e.TotalFiles, e.BytesSent / 1024 ^ 2, e.TotalBytes / 1024 ^ 2);

        10:    }

        11:    catch (Exception ex)

        12:    {

        13:        Console.WriteLine("OnUploadProgress event error: {0}{1}{2}", ex.Message, Environment.NewLine, ex.StackTrace.ToString());

        14:    }

Progreso de descarga (“Download”):

         1: private static void DownloadAssetToLocal(IAsset outputAsset, string outputFolder)

         2: {

         3:     Console.WriteLine();

         4:     Console.WriteLine("Files are downloading...please wait.");

         5:     Console.WriteLine();

         6:  

         7:     foreach (IFileInfo outputFile in outputAsset.Files)

         8:     {

         9:         outputFile.OnDownloadProgress += outputFile_OnDownloadProgress;

        10:  

        11:         string localDownloadPath = Path.GetFullPath(outputFolder + @"\" + outputFile.Name);

        12:         Console.WriteLine("File is downloading to:  " + localDownloadPath);

        13:         outputFile.DownloadToFile(Path.GetFullPath(outputFolder + @"\" + outputFile.Name));

        14:         Console.WriteLine();

        15:     }

        16: }

        17:  

        18: static void outputFile_OnDownloadProgress(object sender, DownloadProgressEventArgs e)

        19: {

        20:     Console.WriteLine("    Bytes downloaded: " + e.BytesDownloaded);

        21:     Console.WriteLine("    Download progress %:  " + e.Progress);

        22: }

Espero haber conseguido con este recorrido a través de Media Services acercarnos un poco más al mundo Cloud con Windows Azure.

Saludos @Home
Juanlu, ElGuerre

Windows Azure MOBILE SERVICES & Windows 8

Juanlu,ElGuerre — Sun, 09 Sep 2012 14:28:00 GMT

Muy buenas,

Hoy, me disponía a ver el funcionamiento de la reciente nueva característica de Windows Azure (“MOBILE SERVICES”) y sinceramente, ha sido bastante fácil e intuitivo entender todo lo que a ello respecta. ¡La verdad es que los tutoriales que ha preparado Microsoft son geniales además de sencillos!. Podemos encontralos aquí, en “Get Started With Mobile Services”.

Scott Guthrie también ha escrito un post al respecto, así, que la intención de este post será profundizar un poco más e indagar en algunos otros detalles.

Veamos a continuación como funciona todo esto:

1. Habilitar esta característica. Para ello seguiremos estos pasos.

2. Accedemos al nuevo portal de Windows Azure.

3. Seguimos los pasos del tutorial de Microsoft: “Get Started With Mobile Services” donde:

El primer paso es Instalar el SDK para Mobile Services además de tener instalado Visual Studio
El segundo es Crear una aplicación nueva o conectarse a una ya existente.

4. Finalizado el tutorial y, sin esfuerzo alguno, tendremos una aplicación Windows 8 conectada a Windows Azure.

Nota: Pero, ¿Cómo funciona todo por “debajo”? Pues bien, veamos los dos aspectos más importantes:

a. Conexión con el servicio. En la clase “App.xaml.cs”, encontraremos como crear dicha conexión con Mobile Services:

public static MobileServiceClient MobileService = new MobileServiceClient(

    "https://myfirstmobileservice.azure-mobile.net/",

    "rbLHUGEnPzdeaXvftueqBnJyMXRuiD76"

);

Donde:

La línea 2 es la dirección (URL) bajo la que se encuentra alojado el servicio en Windows Azure y que coincide, con el nombre que hemos introducido al crear nuestro nuevo Mobile Services “myfirstmobileservice”. El sufijo, “.azure-mobile.net” será el mismo para todos nuestros mobile services.

La linea 3, es nuestra “Application Key”, es decir, la clave que necesitamos para poder establecer la conexión con el servicio. La podemos obtener o cambiar siguiendo estos dos simples pasos:

Nota: En caso de que esta key no se corresponda la que hemos indicado en el código , obtendremos un error: “Unauthorized (401 Unauthorized - Details: {"code":401,"error":"Unauthorized"})”.

b. Conexión con la BBDD: En el ejemplo y concretamente en el paso 2 del tutorial, podemos crear una tabla de ejemplo (“Create TodoItem Table”). Sin embargo, para profundizar más, veamos como cambiar la misma y añadir un par de campos nuevos: “StartDate” y “DueDate” para así poner en calendario nuestras tareas.

Lo primero es modificar la tabla “TodoItem”. Pero para esta acción, necesitaremos acceder a la misma, (a SQL Azure), a través del portal de SQL Azure, o bien, a través de la conexión desde Management Studio, o mejor aún, a través del Server Explorer de Visual Studio 2012, que ahora permite la edición de las tablas de SQL Azure en modo diseño:

En mi caso, y para este ejemplo, opté por crear la tabla “TodoItem” en mi BBDD “Northwind” que ya tengo creada en SQL Azure.

A continuación, lo siguiente es cambiar nuestro “Model” C#, para incluir estas dos nuevas propiedades. Para el ejemplo en cuestión, nuestro modelo se encuentra en la clase “MainPage.xaml.cs”:
   1: public class TodoItem
   2: {
   3:     public int Id { get; set; }
   4:  
   5:     [DataMember(Name = "text")]
   6:     public string Text { get; set; }
   7:  
   8:     [DataMember(Name = "complete")]
   9:     public bool Complete { get; set; }
  10:  
  11:     [DataMember(Name ="StartDate")]
  12:     public DateTime StartDate {get; set;}
  13:         
  14:     [DataMember(Name = "DueDate")]
  15:     public DateTime DueDate {get; set;}
  16: }
Nota: Recordemos que los nombres de los campos de la tabla deben coincidir con estas propiedades o con los indicados en la propiedad Name de “DataMember”. Recordad tambien que estos valores son “key sensitive”.

Por ultimo, sólo tenemos que añadir la introducción de estos dos nuevos valores en el código, al hacer el guardado. Podríamos haber incluido dos “DatePicker” para ambas fechas, pero para el ejemplo, bastará con verlo en el código:
   1: private void ButtonSave_Click(object sender, RoutedEventArgs e)
   2: {
   3:     var todoItem = new TodoItem { Text = TextInput.Text, StartDate = DateTime.Now,  DueDate = DateTime.Now.AddDays(1) };
   4:     InsertTodoItem(todoItem);
   5: }
Como vemos, simplemente se trata de pasar estos dos nuevos parámetros al insertar la nueva tarea. Ahora incluimos en la vista dos nuevos TextBlock en el “DataTemplate” del “ListView” y listo:
   1: <ListView Name="ListItems" Margin="62,10,0,0" Grid.Row="1">
   2:     <ListView.ItemTemplate>
   3:         <DataTemplate>
   4:             <StackPanel Orientation="Horizontal">
   5:                 <CheckBox Name="CheckBoxComplete" IsChecked="{Binding Complete, Mode=TwoWay}" Checked="CheckBoxComplete_Checked" Content="{Binding Text}" Margin="10,5" VerticalAlignment="Center"/>
   6:                 <TextBlock Name="StartDate" Text="{Binding StartDate}" Margin="10,5" />                                                                    
   7:                 <TextBlock Name="DueDate" Text="{Binding DueDate}" Margin="10,5" />
   8:             </StackPanel>
   9:         </DataTemplate>
  10:     </ListView.ItemTemplate>
  11: </ListView>

Ejecutamos y ya tenemos nuestra aplicación Windows 8 conectada a Azure y con nuestros cambios realizados en la base de datos (BBDD) SQL Azure.

c. Adicionalmente existen otros dos puntos a tener en cuenta y que también son incluidos en los tutoriales:

Authenticación: Para lo que tendremos que descargarnos el SDK de Live para Windows.

Notificaciones Push: Permitirá a nuestra aplicación Windows 8 recibir notificaciones. En el caso del ejemplo, tras cada inserción. Para llevar a cabo esta tarea necesitaremos la actualización de los scripts (JavaScript) de nuestros servicios. Esto podremos hacerlo accediendo a la pestaña “Data” y, a continuación, y tras seleccionar una tabla, “TodoItem” para nuestro ejemplo, seleccionando la pestaña “Script”. Para más detalle de estos scripts podemos echar un vistazo a: Mobile Services scripting. Adicionalmente y gracias a “Mobile Services Scripting”, podremos realizar validaciones en servidor.

Espero haber aclarado un poco más lo fácil que es disponer de una aplicación Windows 8 conectada con Windows Azure gracias a “MOBILE SERVICES”. Y, ahora que todos estamos tan contentos haciendo nuestros pinitos con Windows 8, no hay impedimentos para no tener nuestros datos en la nube, .

Este es el primer paso desde “Mobile Services” para hacernos tan fácil nuestro trabajo, pero, hay más por venir: Integración con Windows Azure Storage, Servicios Rest, etc. En este punto surgen algunas dudas como, ¿Tendremos integración de Mobile Services para iPone/iPad, Android, etc? ¡Habrá que esperar!

Saludos @Home
Juanlu, ElGuerre (@JuanluElGuerre)

How to: Windows Azure HPC Scheduler: Getting started & “Parametric Sweep” model

Juanlu,ElGuerre — Wed, 08 Aug 2012 20:46:00 GMT

Muy buenas,

Después de unos cuantos días con este post el borrador, no quiero irme de vacaciones sin completarlo.

Una de las ventajas que ofrece el Cloud Computing es el alto procesamiento/rendimento, es decir, aprovechar la elasticidad que este nos ofrece para sacarle gran partido. Ya he comentado ciertos de estos aspectos en posts anteriores: Autoscalado, Caching I y Caching II, sin embargo, en este caso hablaremos de HPC (High Performance Computing). Microsoft ya dispone de esta tecnología en On-Premisse (Windows HPC Server 2008 R2) desde hace ya bastante tiempo, para Azure (a partir del SP1. La versión más reciente es la SP3), relativamente poco, y menos aún, si hablamos de tener todo en la nube, incluso el “Head Node”. La diferencia entre ambos, radica principalmente en el despliegue.

Antes de comenzar a trabajar con Windows Azure HPC, es necesario tener claros los conceptos en los que este se apoya (y que puede profundizar aquí):

1) La ventaja de utilizar HPC sobre Windows Azure nos permite pagar sólamente por lo que usamos (“Pay as you go”) y Elasticidad.

2) Windows Azure HPC Scheduler: Cluster HPC completamente en Azure y cuya arquitectura es:

Head Node: Gestión y scheduling de Jobs para el cluster HPC. Proporciona “Failover”, control y acceso a los recursos del Cluster. Compute Node: Realiza las tareas asignadas por el “Job Scheduler”.
Job Scheduler: Colas de Jobs y tareas asociadas. Asigna recursos a estos Jobs, inicializa las tareas en los “Compute Nodes” y monitoriza el estado de los Jobs, tareas y “Compute Nodes”.
Broker Node: Actúa como intermediario entre la aplicación y los servicios. Balancea la carga de peticiones a servicios y finalmente retorna los resultados a la aplicación.

3) Modelos de aplicación: Sabiendo que Windows HPC SP3 soporta Jobs que permiten la integración de diferentes escenarios, y donde cada Job tiene sus propiedades, herramientas y APIs (con sus modelos de desarrollo y despliegue), los modelos de aplicación soportados son:

Parametric sweep:> Tareas independientes y sin interacción entre ellas. No se hace uso del “Broker Node”. Basicamente, reciben datos de entrada, los procesa y retorna el resultado almacenándolo en un “storage” accesible por los clientes. (Ej.: Windows Azure Storage o SQL Azure).
MS-MPI (Microsoft Message Passing Interface): Intercambio de mensajes usado en aplicaciones paralelas (ejecutables que corren en multiples cores o nodos y que tienen dependencia entre ellos y necesitan comunicarse). Usado principalmente para el intercambio de resultados intermedios.
SOA Applications. Orientación a servicios basada en WCF. Aplicaciones candidatas para el escalado en un cluster. La obtención de resultados puede producirse de manera:
- “Interactiva”: Intercambio de mensages request/response.
- “Durable”: Para una petición asíncrona, los resultados puedan ser consultados en cualquier momento incluso después de haber estado desconectado. Para ello, el “Broker” hace uso de colas MSMQ.
Microsoft Excel Offloading.
- UDF’s: (XLL)
- WCF Services Call: (VSTO)

4) Prerrequisitos

Para poder trabajar con Windows Azure HPC Scheduler son necesarios algunos prerrequisitos:

Windows Azure SDK (v1.7)
Windows Azure HPC Scheduler SDK (v1.7)
HPC Pack 2008 R2 Client Utilities Redistributable Package with Service Pack 4. Necesario para interactuar con el “Job Scheduler”
[Opcional] HPC Pack 2008 R2 MS-MPI Redistributable Package with Service Pack 4 Ejecución de aplicaciones MPI sin tener que crear un cluster HPC.

IMPORTANTE: Me gustaría aclarar en este punto, que Windows Azure HPC no dispone de un portal propio para la adminstración del cluster HPC. Sin embargo, este se genera automáticamente durante el despliegue de la aplicación. Será necesario incluir un “Web Role” e insertar la instrucción “<VirtualApplication name=”Portal”… dentro de nuestro fichero “ServiceDefinition.csdef” tal y como indico a continuación:

<WebRole name="FrontEnd" vmsize="Small">

    <Sites>

      <Site name="Web">

        <VirtualApplication name="Portal" physicalDirectory="C:\Program Files\Windows Azure HPC Scheduler SDK\v1.7\hpcportal" />

        <Bindings>

          <Binding name="HPCWebServiceHttps" endpointName="Microsoft.Hpc.Azure.Endpoint.HPCWebServiceHttps" />

        </Bindings>

      </Site>

    </Sites>

Se trata simplememente de levantar el portal HPC que incluye el SDK HPC.

5) Configuración y Deploy en Azure PARAMETRIC SWEEP

5.1) En primper lugar, y partiendo del ejemplo Parametric Sweep, necesitaremos realizar algunos cambios para adaptarlo a las últimas versiones (“v1.7” tanto de “Windows Azure SDK” como de “Windows Azure HPC Scheduler SDK”):

ServiceDefinition.csdef: Cambiar la versión “v1.6” por “v1.7”: <VirtualApplication name="Portal" physicalDirectory="C:\Program Files\Windows Azure HPC Scheduler SDK\v1.7\hpcportal" />
AzureSampleService: BuildEvents – Pre-Build Event: Cambiar la ruta del “cspack” para que pase a ser esta: "C:\Program Files\Microsoft SDKs\Windows Azure\.NET SDK\2012-06\bin\cspack.exe…"
AppConfigure – BuildEvents – Post-Build Event: Cambiar la versión v1.6 por v1.7: "HKLM\Software\Microsoft\Windows Azure HPC Scheduler\v1.7 …”.
AppConfigure.CreateCscfgFile(cs). Comentar la línea “config.EnableL2H();”. Al ser un elemento beta es posible que haya sido eliminado en la v1.7, como puede verse aquí.

5.2) El deploy de un entorno HPC requiere varios pasos y tener claros ciertos aspectos de preparación y configuración. Todos ellos podemos encontrarlos identificados aquí. Debido a todos estos pasos, como veremos en los ejemplos, no optaremos por la publicación estandar que ofrece Visual Studio.

Para este ejemplo, o cualquier otro, los pasos a seguir para la configuración y despliegue del HPC en Azure son siempre los mismos. Es más, cada una de nuestras nuevas aplicaciones que hagan uso de Windows Azure HPC podrían contener siempre un solution Folder llamado “Deployment” con los proyectos “AppConfigure” y “CertificateGenerator” encargados de la configuración y despliegue. Adicionalmente, también contaremos con un “Web Role” destinado al Portal según he comentado anteriormente.

Los pasos son los siguientes:

Abrir el el proyecto desde Visual Studio 2010 ó 2012 RC

Compilar la solución.

Haber generado un “Hosted Service” desdel el portal de azure. Para este ejemplo “elguerrehpc”.

Ejecutar del Proyecto “AppConfigure” e introducir los parámetros de configuración para la subscripción de Azure a utilizar

Configurar (“Configure”) y cuando esta haya finalizado, Publicar (“Publish”). Esta acción creará un Storage y una BBDD SQL Azure, ambos con el mismo nombre del host, “elguerrehpc” en nuestro caso.

5.3) Durante la publicación, entre los mensajes asociados al “progress bar”, aparecerá, “Coping HPC package to blog storage...”, que nos hará esperar unos cuantos minutos y, tras el, veremos este otro, “Creating Azure Deployment…”, lo que significa, que si vamos al portal de Azure veremos el progreso de creación de los tres nodos configurados: Head Node, Compute Node y Frontend.

5.4) Tras varios minutos, tendremos nuestro despliegue listo para que comience automáticamente la creación de los nodos y configuración del HPC en Azure.

Finalizado el despligue, podremos acceder a la url: https://elguerrehpc.cloudapp.net, donde accederemos a una pagina de bienvenida(nuestro Web Role) desde donde podremos realizar la conexión remota con el Head Node o acceder al portal de HPC Scheduler. Importante, siempre con HTTPS.

Para este enlace al portal, en la página “Default.aspx” de nuestro “Web Role” se ha incluido una instrucción similar a la siguiente y que se corresponde con la configuración indicada anteriormente en el punto (4):

<a href="~/portal" runat="server" ID="PortalButton1" >

De la misma manera, el link “remote desktop connection” habrá que generarlo explícitamente en la página “Default.aspx” aunque requiere de un poco más código que veremos en alguno de los ejemplos. No obstante, y como siempre, podremos acceder a través de Portal de Azure.

5.5) Mediante esta conexión remota podremos acceder directamente a la VM donde comprobaremos:

Herramientas de HPC instaladas y Dlls y ejecutables desplegados según cada nodo/role.

En el “Head Node”, adicionalmente, podremos comprobar la ubicación física del Portal de HPC.

Variables de entorno relacionadas con HPC y posiblemente necesarias para algunas de nuestras aplicaciones/procesos.

HPC Job Manager:

6) Ejecución de un Job

Mediante el link https://elguerrehpc.cloudapp.net/portal, tendremos acceso directo al cluster que hemos configurado y desplegado sin tener que acceder a alguna de las maquinas virtuales en particular.

A partir de aquí, seguiremos los siguientes pasos:

Importante: Recuerda incluir un “*” en el paso 2, en “Commmand Line”.

6.1) Submission Pages

6.2) New Job

7) Resultado de la ejecución del Job

Una vez hemos realizado el “Submit” según el paso anterior, si accedemos al listado de “My Jobs” y seleccionamos “CPUSpinner” veremos que:

Se han ejecutado las 1000 tareas correctamente en 18 minutos.

Si ahora dejamos sólo una instancia de Azure para el “Compute Node” la duración de ejecución del Job será del doble (30min para ser exactos, es decir 12min más), y a la inversa, es decir si subimos el número de instancias, el tiempo será menor. De esta manera y extrapolando estos resultados a aplicaciones/procesos en el mundo reaal y con altos requerimientos en cuanto a los tiempos de ejecución, obtendríamos una ganancia que de otra forma sería casi imposible.

Aunque esto podemos conseguirlo con HPC en un datacenter en “On-Premise”, si el numero de máquinas necesarias fuera elevado, podríamos no disponer del hardware adecuado o incluso no disponer de espacio para más máquinas virtuales en un entorno Virtual, teniendo en cuenta además, la configuración necesaria que ello conlleva. Por tanto, la escalabilidad se complicaría teniendo que esperar hasta recibir físicamente la(s) nueva(s) máquina(s)/servidor(es). Es aquí, donde Windows Azure una vez más aquiere gran importancia. Con Windows Azure este problema dejaría de existir y, si este Job se lanzara en determinados momentos (una vez al día, o a la semana, o al més), sólo pagaríamos por el tiempo de uso, así que el ahorro de costes podría llegar a ser enorme.

Finalmente se ha alargado un poco el Post, pero creo que la situación lo ha requerido y ha merecido la pena. En posts sucesivos iremos viendo cada uno de los restantes modelos de aplicación que soporta Windows Azure HPC Scheduler.

Saludos @Home & Happy HPC Coding !
Juanlu, ElGuerre

“PINGing…” desde “On-Premisse” hacia máquinas virtuales de Windows Azure

Juanlu,ElGuerre — Wed, 01 Aug 2012 11:35:00 GMT

Muy buenas,

Seguro que en más de una ocasión has intentado hacer un ping desde tu PC, o desde una máquina “On-Premisse” hacia una máquina concreta en Windows Azure. Para ello, y, aunque no es una buena practica en situaciones normales, es necesario habiltar una de las reglas de Firewall. Como puedes imaginar, ahora con las nuevas carácteríscias de Azure y, concretamente, gracias a la persistencia de VM’s, bastará con hacerlo de manera manual. Claro está, esto será válido siempre que estés trabajando en un tipo de Cloud “IaaS”.

Para hacerlo en un modelo de Cloud “PaaS”, seguiremos los siguientes pasos:

Crearemos nuestro proyecto de tipo “Clolud” desde Visual Studio 2010 ó 2012.

Haremos uso de las “Startup Tasks” tal y como ya comentaba en este post anterior, con la diferencia en este caso, de que nuestro fichero “Startup.cmd” tendrá el siguiente contenido y que no necesitaremos ningún otro instalable adicional:
   1: Echo Enable ICMP
   2: netsh advfirewall firewall add rule name="ICMPv6" dir=in action=allow enable=yes protocol=icmpv6
   3: exit /b 0
Configurar “Windows Azure Connect” (“Virtual Network”).

Listo. A partir de ahora, ya tendrás visibilidad directa con tu máquina virtual de Azure. No sólo para hacer un Ping, si no para acceder a ella directamente, recueda, ¡ahora tienes una “VPN” !

IMPORTANTE: La gran ventaja de hacer esta labor como “Startup Task” es el automatismo ante posibles reciclados de las máquina de Azure.

Y, adicionalmente como siempre, puedes encontrar más detalle aquí.

Saludos y a seguir esperando las vacaciones…
Juanlu

Windows Azure Connect: Problemas de instalación en Windows 8 y Windows Server 2012

Juanlu,ElGuerre — Mon, 23 Jul 2012 20:50:17 GMT

Muy buenas,

Hoy me disponía a preparar una pequeña demo de Windows Azure Connect con objeto de tenerlo todo listo para mañana pero me encuentro con este error:

Error: "Windows azure connect installation cannot continue”. ¡Si es que Murphy, siempre está entre nosotros! jeje…

Este error se debe a que “Windows Azure Connect” aún no está disponible para Windows 8 ni para Windows Server 2012, por tanto, para solucionar el problema seguiremos los siguientes pasos:

Guardamos el fichero de instalación en local en lugar de ejecutarlo directamente

Cambiamos las propiedades de dicho fichero/instalable para que mantenga compatibilidad con “Windows 7”

Finalmente, si volvemos a lanzar la instalación conseguiremos instalarlo sin ningún otro problema

Actualizamos nuestro Enpoint Group desde el portal de Windows Azure y ya tenemos nuestro PC conectado a “Windows Azure Connet” para poder acceder desde cualquiera de las máquinas pertenecienes a esta red virtual.

Gracias a esta referencia, ha sido todo más fácil. Espero, al menos, haber resfrescado o aportado un granito de arena en nuestro día a día con Azure!

Saludos @"Yo Azure" Demo
Juanlu

Windows Azure Caching (Preview) II: Caché dedicada o distribuida y su “Capacity Planning”

Juanlu,ElGuerre — Wed, 04 Jul 2012 17:57:00 GMT

Hace unos días veímamos en este artículo: “Windows Azure Caching (Preview) I: Introducción y análisis de la caché “Co-Located”, una distinción entre los distintos tipos de caché que presenta Windows Azure Caching (Preview) además de las diferencias con “Windows Azure Shared Caching”. En el ejemplo desarrollado vimos como hacer uso de la misma y como realizar su despliegue en la nube.

Nuevamente, hablaremos de la caché, pero en este caso, concretamente de la caché dedicada o distribuida con Windows Azure.

Veamos cuales son los pasos y camino a seguir para tener una caché altamente escalable:

Desde Visual Studio 2012 RC, creamos un proyecto de tipo “Windows Azure Cloud Service” con el nombre ““WindowsAzureDedicatedCache” al que añadimos dos Roles, uno de tipo “ASP.NET MVC 4 Web Role” y otro, de tipo “Cache Worker Role”.

Seguiremos los mismos pasos que el el post anterior:

Añadiremos las referencias al proyecto MVC con Nuget.
Crearemos el nuevo Controller y las vistas para mostrarr el uso de esta nueva caché junto con el mísmo código.

Para el Role de tipo ASP.NET MVC, al contrario que en el ejemplo anterior, desabilitamos el uso de Caching.

Ahora habilitamos la caché para el Role de tipo “Cache Worker Role”:

De la misma manera que en ejemplo del post anterior, realizamos el despliegue habilitando la conexión remota:

Finalizado el despliegue nuesta aplicación funcionará exactamente igual. La diferencia es que en este caso, se trata de una caché Dedicada o distribuida, con lo que si para el Role Web (ASP.NET MVC), además de un reciclado de su Application Pool, o un “IISReset” o un reinicio del servicio “World Wide Web Publishing Service”, reiniciamos el Role de Azure, los valores almacenados en la caché permanecen, sin duda, puesto que se encuentra en otro Role.

Si ahora, nos conectamos remotamente a la VM correspondiente al “Cache Worker Role”, podremos observar en este caso, que el tamaño usado por el servicio “CacheServie.exe” asciende a 1GB aproximadamente.

¿Por qué esto valor? Pues bien, este valor o consumo de memoria, está relacionado directamente con las capacidades que ofrece Windows Azure de acuerdo a los tamaños de las VM’s y según puede verse en la siguiente tabla:

De ahí, que en nuestro ejemplo, como estamos haciendo uso de una instancia “Small” este valor sea de 1GB.

En base a estos tamaños, es recomendable que antes de comenzar un proyecto tengamos claro cual será el tamaño de nuestra caché. Pare ello, Microsoft proporciona una hoja Exel (“Capacity Planning Guide spreadsheet”),donde podemos realizar los cálculos necesarios para la estimación oportuna y así, poder escalar Horizontalmente o Verticalmente en función a dicha necesidad.

En esta hoja, también se realizan las estimaciones para el uso de caché “Co-Located” donde en lugar de estos tamaños se obtienen porcentajes (”%”), puesto que se trata de compartir la memoria de un Role en concreto con el uso de cache. En el ejemplo del post anterior este valor se correspondía con un 30%, que es valor establecido por defecto para una instancia pequeña (“Small”) pero que dependerá igualmente según el tamaño de la instancia.,

Una vez más, espero que haya sido de utilidad.

Saludos @Home
Juanlu, ElGuerre

Windows Azure Caching (Preview) I: Introducción y análisis de la caché “Co-located”

Juanlu,ElGuerre — Thu, 28 Jun 2012 00:33:00 GMT

Desde hace ya un tiempo Windows Azure cuenta con un sistema de Cache (o Caching) denominado “Windows Shared Azure Cache”, sin embargo junto a las nuevas carácterísticas, ahora es posible conseguir hacer uso de Caché en nuestras arquitecturas de una manera mucho más fácil e intuitiva. Eso si, antes de continuar, es conveniente saber que, “Windows Azure Caching (Preview)” no esta soportado aún en entornos de Producción, no obstante, lo estará en breve !

Windows Azure Caching puede reducir el coste e incrementar la escalabilidad de otros almacenes tales como SQL Azure o Azure Storage.

Pero, ¿Cúal es la diferecia entre Windows Shared Azure Cache y Windows Azure Caching (Preview)? Pues bien, la diferencia principal radique en que el primero se trata de un Servicio de Cloud dedicado mientras que el segundo, es configurado dentro de una máquina específica (asignando un porcentaje de recursos de la misma) o configurado dedicando una máquina virtual explicitamente para este propósito. A estos dos tipos se le denomintan Cache “Co-located” y “Dedicated” respectivamente.

Para el primer tipo (Windows Shared Azure Cache) existen laboriatorios On-Line que ejemplifican claramente su uso:

Vemos ahora un poco más en detalle, cuales son los dos tipos de topologías de Azure Caching Preview y las diferencias entre ellas:

Modo Co-located. La caché comparte los recursos de la VM de Azure: CPU, Memoria, y ancho de banda junto a la aplicación hosteada.
- Caché basada en Memoria.
- No soporta Notificaciones. Eventos asíncronos producidos por operaciones que ocurren en el cluster de caché.
- No permite evitar la política de desalojo o “Eviction” en caso de “llenado” de la caché, y por tanto, siempre tendrá el valor LRU: “Least recently used”
Modo Dedicado. Instancias de un role dedicado explicitamente para caché.
- Orientado a Caché Distribuido y basado en Microsoft AppFabric 1.1
- Soporta Notificaciones
- Permite deshabilitar la política de “Eviction”
- Alta disponibilidad
- Soporta Regiones (subgrupos de items de cache) y Tags (anotaciones descriptivas sobre los items de cache), muy utilies para búsquedas dentro de una region.

En este enlace podemos encontrar más detalle sobre las diferencias en cuanto al uso del API de Caching (Co-located Caching VS Role-based Caching (Preview)).

A continuación, como configurar el tipo de Caché “Co-Located”:

Creamos un proyecto de tipo “Windows Azure Cloud Service” desde Visual Studio con el nombre “WindowsAzureSharedCache” y elegimos un Role de tipo “Asp.Net MVC 4 Web Role” (Razor) manteniendo el nombre, “MvcWebRole1”:

Creamos un Controller y las vistas adecuadas para el tratamiento de la Caché además de incluir una nueva opción de menú “Caching” en “_Layout.cshtml”

Incluimos en el controller el siguiente código:
   1: [HttpPost]
   2: public ActionResult Save(CacheModels model, string returnUrl)
   3: {
   4:     if (ModelState.IsValid)
   5:     {
   6:         DataCacheFactory cacheFactory = new DataCacheFactory();
   7:         DataCache cache = cacheFactory.GetDefaultCache();
   8:  
   9:         // Save data in Azure Caching
  10:         cache.Put(cacheKey1, model.DataToCache);
  11:  
  12:         if (Url.IsLocalUrl(returnUrl))                
  13:             return Redirect(returnUrl);                
  14:         else                
  15:             return RedirectToAction("Load", "Caching");                
  16:     }            
  17:     return View(model);
  18: }
  19:  
  20: public ActionResult Load()
  21: {
  22:     DataCacheFactory cacheFactory = new DataCacheFactory();
  23:     DataCache cache = cacheFactory.GetDefaultCache();
  24:  
  25:     var result = cache.Get(cacheKey1) as string;
  26:  
  27:     ViewBag.CacheValue = result;
  28:  
  29:     return View();
  30: }
Configuramos las opciones de caché desde las propiedades del proyecto :

Para el proyecto ASP.NET MVC, añadir las referencias a “Windows Azure Caching Preview” usando “Manager NuGet Packages…”.

El paso anterior, nos facilitará el camino evitanto tener que añadir manualmente las referencias siguiente:

Además de la siguiente configuración del “web.config”:
   1: <configSections>
   2:    <section name="dataCacheClients" type="Microsoft.ApplicationServer.Caching.DataCacheClientsSection, Microsoft.ApplicationServer.Caching.Core" allowLocation="true" allowDefinition="Everywhere" />   
   3:  </configSections>
   4:  <connectionStrings>
   5:  
   6: <dataCacheClients>
   7:    <tracing sinkType="DiagnosticSink" traceLevel="Error" />
   8:    <dataCacheClient name="default">
   9:      <autoDiscover isEnabled="true" identifier="MvcNewAzureStore" />     
  10:      
  11:    </dataCacheClient>
  12:  </dataCacheClients>
Llegado este punto, unicamente es nesario tener en cuenta el parámetro “identifier” de la sección <autoDiscover> anterior, que coincidirá con el nombre del Role de Azure (“MvcWebRole1” según nuestro ejemplo):

Para comprobar que estamos haciendo uso de Cache de tipo “Co-located”, hacemos un deploy en Azure habilitando la conexión remota.

Una vez hemos realizado el despligue en Azure, podemos observar que el tiempo de despligue es un poco superior, puesto que se lanzan una serie de tareas “Startp tasks”. Puede observarse este mensaje en el ya, “casi” antiguo portal: “System startup tasks are runing…”

Realizado el despligue, navegamos a la opción de menu “Caching” que ofrece dos páginas: “Save” y “Load”. En la primera, se almacena el dato en cache y en la segunda, se obtiene el dato almacenado se muestra:

Como hemos habilitado la conexión remota durante el despliegue, accedemos mediante terminal server a la instancia de nuestro role “MvcWebRole1” y desde allí: Realizamos un restart del site, o un reciclado del pool, o un “IISReset” o, incluso, un reinicio del servicio “World Wide Web Publishing Service”. Tras esta acción, el valor de cache permanece y si navegamos a la página “Load” podemos comprobar que el valor permanece.

Adcicionalmente, podemos comprobar la memoria dedicada a la Caché Co-located, cuyo valor ronda los 530MB iniciales aproximadamente, valor indicado por el proceso “CacheService.exe” y que se corresponde con el 30% establecido en las propiedades del proyecto de tipo Cloud.

Hasta aquí el uso de Caché “Co-Located” con Windows Azure Caching (Preview). Veremos más adelante, en posts sucesivos el uso de la Caché Dedicada, diferentes opciones y configuración con Azure Caching Preview, uso de cache para Session y Output Cache, capacity planning y tamaños de cache según tamaños de VMs y mucho más.

Otras referencias:

http://blogs.msdn.com/b/avkashchauhan/archive/2012/06/18/difference-between-windows-azure-cache-preview-and-windows-azure-share-cache.aspx

¡Ahora no hay motivos para no sacarle partido a nuestra/s instancia/s de Azure. Haz lo mismo con mejor performance y menor coste!

Saludos "and, happy Azure Caching"
Juanlu

Tip: ¡ Actualiza “Azure Storage Explorer 5 Preview” !

Juanlu,ElGuerre — Wed, 20 Jun 2012 19:44:59 GMT

Ya tenemos disponible la actualización de “Azure Storage Explorer 5 Preview”,

Con las novedades:

Nueva interfaz de usuario, similar a la del nuevo portal HTML 5 de Windows Azure

Soporte para configuración y visualización logging

Soporte para configuración y visualización de monitoring

Uso de las dlls de “Windows Azure SDK 1.7”

Solución de fixes

Saludos noticieros
Juanlu

Windows Azure Web Sites: Integración continua con TFS Preview

Juanlu,ElGuerre — Wed, 13 Jun 2012 19:49:00 GMT

En esta ocasión, y continuando el post anterior, veamos como tener el código del “Azure Web Site” en “TFS Service” y poder acceder desde Visual Studio 2012 RC y lo mejor, veamos como funciona la integración continua tras cada “Check In” de código.

Una vez creado nuestro “Azure Web Site”, realizado o no el despligue desde Visual Studio:

Accede al nuevo portal de Azure y haz clic en la opción “Set Up TFS publishing” de la sección “quick glance”

Introduce el nombre del TFS “Service Preview”. Nota: Para crear tu “TFS Service”, sigue estos pasos.

Acepta la petición de permisos

Selecciona el proyecto de TFS a asociar al “Azure Web Site”

Valida la operación y, todo listo.

Lanza el Visual Studio dese la opción “VISUAL STUDIO” de la barra de comandos, conectando así directamente el VS con el TFS Service.
Si lo prefieres, abre el Visual Studio y conectate al TFS normalmente intruduciendo como servidor: “<myTFSService>.tfspreview.com”.
Ahora que estas conectado, añade la solucion a TFS como lo haces normalmente.

Realiza el despliegue según comenté en el post anterior si aún no lo has hecho, para que “Azure Web Site” vincule el proyecto Web.
Haz el Check-In correspondiente.
Ahora, cada vez que hagas un cambio en el código y realizes el nuevo “Check-In”, se realizará el despliegue automático.

La “Integración Continua” está lista.

Hasta aquí, una vez más, Windows Azure haciéndonos más fácil el desarrollo en la nube.

Por el momento tenemos uso gratuito de “TFS Service Preview”, ¡Aprovechemos para sacarle jugo y hacer pruebas!

Saludos
Juanlu, ElGuerre

Windows Azure Web Sites: “Web Deploy” en unos cuantos clicks !!!

Juanlu,ElGuerre — Mon, 11 Jun 2012 20:36:00 GMT

Windows Azure incluye muchas nuevas características como ya comenté en un post anterior. Una de ellas es el “Web Sites”, objeto de este post. Con ella, es posible, con varios click de ratón, desplegar en Azure cualquiera de nuestras aplicaciones web, tanto nuevas como ya existentes. ¡Esto abre un nuevo camino a la migración de aplicaciones hacia la nube!.

Con esos pocos click conseguiremos:

Alta escalabilidad en entornos cloud.
Despliegue instántaneo, y muy sencillo
Integración continua con “TFS Service Preview”

Y todo ello, desde Visual Studio 2012 RC.

Veamos un step by step práctico:

- Crear un nuevo “Web Site” directamente desde el portal de Azure accediendo a la url “https://manage.windowsazure.com”
- Click en “+ NEW”
- Introducir la url que va a tener la nueva aplicación web, “MyAzureWebSite”.
- Click en “CREATE WEB SITE” y …

- Tras unos pocos segudos el “Web Site” de Azure ha sido creado.
- Al clicar sobre el, accederemos al detalle del mismo con las siguientes opciones:
  - “DASHBOARD”. Además de como su propio nombre indica, tambien nos permite hacer algunas operaciones tals como, obtener información para el despliegue, configuración de TFS, etc.
  - “MONITOR”: Aquí no voy a dar detalle, ella misma habla por si sóla.
  - CONFIGURE: Configuración del framework (v2.0 ó v4.0), diagnosticos, claves de “app settings”, “connections strings”, y “default documents”.
  - SCALE: Esta es la opción más importante, donde podremos optar a hacer que nuestro Web Site sea “Shared” o “Reservado” (Multitenant o no), de manera que nuestro site compartirá recursos con otros o no respectivamente. Al cambiar esta opción, tenemos que tener cuidado de no sobrepasar los límites de nuestra subscripción, principalmente si estamos probando y no queremos pagar más de lo necesario. En cualquier caso, siempe serémos avisados con el pertinente mensaje “SPENDING LIMIT WARNING”. Al sobrepasar dicho límite podremos optar por dotar a nuestra aplicación de un escalado vertical (“Scale UP”) y en cualquier caso, tanto sobrepasando este límite como si no, siempre podremos optar, adiconalmente, por un escalado horizontal (“Scale Out”) hasta un máximo de tres instancias. ¡Parecen pocas por el momento, supongo que tendremos la opción de poder incrementar más este número en un futúro no muy lejano!

- - LINKED RESOURDES: Conexión y uso de un SQL Azure. En un futuro optaremos a una conexión con Azure Storage.

Hasta aquí, simplemente hemos creado y configurado nuestro “Web Site”, ahora vemos como hacer el despliegue:

- Acceder a la opción “DASHBOARD” antes comentada y, concretamente a la opción “Download publish profile” de la sección “quick glace”. Al hacer click obtendremos un fichero de configuración que descargaremos nuestro disco duro. ¡Lo dejamos ahí, por el momento!
- Crear un proyecto Web (ASP.NET, MVC 3, MVC 4, et ) desde visual studio.
- Click con el botón derecho del raton sobre el proyecto y “Publish…”
- En la pestaña de “Profile”, seleccionar el fichero antes descargado y seguidamente obtendremos una ventana con la configuración necesaria para nuestro despliegue:

“Next >”, “Next >” y, en la pestaña de “Preview” podremos ver que es lo que se va a desplegar exactamente:

“Publish” y todo listo. Tras un par de minutos nuestra aplicación estar ejectuandose en Azure.

Para no hacer más largo el post, lo dejo aquí y, en un siguiente post veremos como integrar este desarrollo con “TFS Service Preview” en pocos clicks y con la misma sencilled que este depliegue despliegue.

Saludos
Juanlu, ElGuerre

El camino de Windows Azure continua. Integración con Visual Studio 2012 RC y Windows 8 Release, Nuevo portal y más “features”

Juanlu,ElGuerre — Sun, 10 Jun 2012 21:01:09 GMT

Después de unos cuantos días con problemas con el PC, al final he podido conseguir tener todo listo, Windows 8 Release Preview, Visual Studio 2012 RC y Windows Azure Tools June 2012. Todo parece que está muy estable y funciona bastante bien y rápido. El equeipo de Azure se ha dado prisa en con las Tools adecuadas para VS2012, pero creo que el equipo de Windows Phone no ha podido llegar a tiempo, ¡ahora que quería comenzar a pegarme con Windows Phone en el nuevo entorno!, En fin, cómo VS2010 y VS2012 pueden convivir, habrá que esperar a esas Tools para tener un único entorno de trabajo. Existen algunas otras imcompatibilidad que pueden verse aquí.

Por cierto, si alguien intenta instalar Windows 8 Release Preview, que lo haga desde cero. La “actualización”/instalación desde la versión Preview, puede causar algún problema con el reconocimiento de Drivers !!!

Veamos ahora que nos trae de nuevo Windows Azure. Y lo mejor, como comentaba antes, al fin incluido en Visual Studio 2012 RC:

Nuevo proyecto, para .NET Framework 3.5 y .NET Framework 4.0.

Nuevos tipos de roles: “Cache Worker Role” y “Worker Role with Service Bus Queue”

Actualización/conversión de un proyecto existente

Configuración para “Windows Azure Caching”

Requerimiento de certificado “.pfx” en la carpeta “certificates” de cada “Hosted Services”. ¡Aquí ha habido un cambio, creo que debido al nuevo portal basado en HTML 5! Eso sí, bastante más intuitivo, aunque en el día a día, prueba tras prueba puede suponer un poco más trabajo.

Nuevo portal basado en HTML 5. Ahora la administración desde el Portal de Windows Azure no es un impedimiento para algunos. Ahora es posible desde IPad, Windows Phone, etc.

Despliegue directo desde Visual Studio 2012 RC para aplicaciones web con “Web Deploy” sin necesidad de hacer despligues típicos de Windows Azure. ¡Ahora no es necesario conocer nada de Windows Azure para hacer este tipo de despliegues Web y además en tan solo varios clicks !
Integración continua con Azure TFS Preview.

Hasta aquí unas cuantas pinceladas de lo que tenemos encima de la mesa, a partir de aquí, a profundizar en sucesivos posts.

Saludos @Nuvedosos
Juanlu, ElGuerre

Sencillez de autoescalado en Windows Azure con “WASABi”

Juanlu,ElGuerre — Sun, 03 Jun 2012 20:21:32 GMT

Muy buenas,

Desde hace algún tiempo quería realizar algunas pruebas en profundidad con “WASABi” (MICROSOFT ENTERPRISE LIBRARY 5.0 INTEGRATION PACK FOR WINDOWS AZURE AUTOSCALING APPLICATION BLOC).

La semana pasada, nuestro compañero, Luis Panzano indico en en este post los pasos más importantes para llevar a cabo una prueba/demo muy fácil y rápida, así que aprovecho la misma para profundizar y resolver algunas dudas que se plantean por los foros de Azure.

Antes de nada, me gustaría aclarar, que para el autoscalado, se utilizará un WorkerRole, quien será el encargado de analizar en todo momento la configuración y reglas de escalado a partir de ficheros de los configuración.

Detalle de los pasos para trabajar con WASABi:

Acceder y descargar los prerrequisitos necesarios desde aquí.
Role o nodo a escalar (ej.: Aplicación web):
- Indicar en los ficheros de configuración de los proyectos “ServiceDefinitios.csdef” y “ServiceConfiguration.*.cscfg”, el AccountName y AccountKey del “Azure Storage Account”.
- Añadir una nueva cadena de conexión (“ConfigurationSettings”) en esta demo, para hacer uso de una cola de Azure, que será monitorizada por el “AutoScaler” en función de su número de elementos de la misma. Si no se utilizará el número de elemento de la cola, no sería necesario.
- Desplegar la aplicación en Azure.
Worker Role, AutoScaler (El autoescalador):
- Indicar en los ficheros de configuración de los proyectos “ServiceDefinitios.csdef” y “ServiceConfiguration.*.cscfg”, el AccountName y AccountKey del “Azure Storage Account”.
- Incluir el thumbprint de un certificado en los fichero “*.cscfg” en la sección <certificates>, teniendo como “Store Location”, LocalMachine o CurrentUser independientemente.
- Configurar el “app.config” con la información necesaria para WASABi. Puede hacerse desde la consola de EntLib que permite la configuración del autoscalado mas gráficamente:

Rules-store.xml: Es el nombre del fichero donde se configuran las reglas de autoescalado. Aquí puede obtenerse más detalle sobre todos sus atributos. Una de las cosas curiosas de este fichero es que el valor del “timespan” del operando “queueLength” no puede ser inferior a “00:05:00”, en cuyo caso se producirán las excepciones:
- A first chance exception of type 'System.ArgumentOutOfRangeException' occurred in Microsoft.Practices.EnterpriseLibrary.WindowsAzure.Autoscaling.dll
- A first chance exception of type 'System.InvalidOperationException' occurred in Microsoft.Practices.EnterpriseLibrary.WindowsAzure.Autoscaling.dll

     <operands>

        <queueLength alias="QueueLengthAvg" queue="cola-wasabi" aggregate="Last" timespan="00:05:00"/>

    </operands>

Services-information-store.xml: Es el nombre del fichero donde se indica toda la información necesaria para que el AutoScaler pueda acceder a la subscripción de Azure y poder realizar el incremento o disminución de instancias: SubscriptionId, información del certificado local y subido a Azure, y muy importante, para cada servicio, el “DNS Prefix” y el nombre del Role.
Al ejecutar el AutoScaler desde el Emulador de Azure, se podrán producir errores, que pueden verse en en el output:
- A first chance exception of type 'Microsoft.Practices.EnterpriseLibrary.WindowsAzure.Autoscaling.Security.CertificateException' occurred in Microsoft.Practices.EnterpriseLibrary.WindowsAzure.Autoscaling.dll
- A first chance exception of type 'Microsoft.Practices.EnterpriseLibrary.WindowsAzure.Autoscaling.Security.CertificateException' occurred in Microsoft.Practices.EnterpriseLibrary.WindowsAzure.Autoscaling.dll
- A first chance exception of type 'Microsoft.Practices.EnterpriseLibrary.WindowsAzure.Autoscaling.ServiceManagement.ServiceManagementClientException' occurred in Microsoft.Practices.EnterpriseLibrary.WindowsAzure.Autoscaling.dll
Indicar el valor “CurrentUser” para el attributo “certificateStoreLocation” además de corroborar en la consola de certificados que este existe y se corresponde con el valor del “certificateThumbprint”. Esto es debido en muchos de los casos a Windows 8, que como ya he comentado alguna vez, es bastante más exhaustivo con los permisos
Ambos ficheros de configuración (XML) tienen sus esquemas “AutoscalingRules.xsd” y “AutoscalingServiceModel.xsd” que se encuentran junto a la descarga de WASABi y que será recomendable incluir en el proyecto “AutoScaler” a fin de que la edición de la configuración sea más sencilla.
WasabiStorageAccount: Es el nombre del Connection String referente al “Storage Account de Azure” donde se encuentran los ficheros antes indicados. Es decir, los ficheros anteriores deberán almacenarse en dicha cuenta bajo el container “autoscaling” que deberá generarse manualmente y que tendrá que coincidir con el valor de atributo “Blob Container Name” (según puede verse indicado por la flecha en la figura anterior).
Si no se quiere hacer uso del Storage de Azure para almacenar los ficheros de recursos, bien, porque se está trabajando en una solución híbrida, bien porque se está probando en local, etc, puede optarse por cambiar el “Rules Store” y el “Service Information Store”, e indicar una ruta física. Adicionalmente siempre puede establecerse un almacenamiento “Custom”.

Finalizada la fase de configuración, y sin necesidad de desplegar en Azure, el AutoScaler esta listo. Siguiendo con la Demo, cuando la cola tiene tres elementos, y una vez hayan transcurridos 5 minutos desde la inserción del último elementos, la nueva instancia comenzará a ponerse en marcha:

IMPORTANTE: Si el “AutoScaler”, necesita ser ejecutado en más de una instancia, debido al la gran carga de reglas de autoescalado o al alto número de roles que pueda tener la aplicación, es posible, que más de una de estas instancies evalué las reglas de autoescalado, lo que implicaría “un doble autoscalado” no deseado. Para evitar esto, el “AutoScaling Application Block” permite indicar un valor “true”, para la propiedad “Use Blob Execution Lease” como puede verse en la siguiene figura. No obstante, si este no es el caso, es recomendable dejar este valor a “false” para evitar “overhead”.

El “Service Management Request Tracker”, permitirá habilitar mensajes de log durante el escalado, tanto de éxito como de fallo. Para ello, el “AutoScaling Application Block” utiliza automáticamente una cola de Windows Azure “requesttracker” donde recoge dichos mensajes.

Es importante conocer, que el “AutoScaling Application Block”, utiliza el valor “utcOffset” para convertir información de configuración de tiempo al formato UTC que es el que utiliza utiliza Windows Azure. “Michael S. Collier” comenta este tema y otros más en su blog.

Y por último comentar que tras algunos intentos, y tras el error “'Microsoft.Practices.EnterpriseLibrary.WindowsAzure.Autoscaling.DataPointsCollection.DataPointsCollectionException' occurred in Microsoft.Practices.EnterpriseLibrary.WindowsAzure.Autoscaling.dll”, el AutoScalado de una aplicación en local parece que por el momento no es posible, así que tendremos que “hilar fino” con las reglas.

Y, como dirían en mi pueblo, ¡que ustedes lo escalen bien!
Juanlu, ElGuerre

Si necesitas más detalle, siempre puedes echar un vistazo al “How to”.

Windows 8 Preview & Azure Emulator Problems. Hosted Web Core(HWC) es una solución !

Juanlu,ElGuerre — Sat, 26 May 2012 12:58:07 GMT

A partir de la versión 1.3 del SDK de Windows Azure, el hosting de los Web Roles se hace sobre una cuenta con permisos limitados, y si a esto le sumas que “Windows 8 Comsumer Preview” es bastante más restrictivo con ellos, es posible que te encuentres con esta problemática.

Si has instalado Visual Studio 11, este, no soportada la integración con proyectos de tipo “Windows Azure Project”, así que por el momento, Visual Studio 2010 sigue siendo necesario para este tipo de desarrollos.

Reproducción del error:

Antes de nada será necesario lanzar el Visual Studio como Administrador (Run as Administrator) para que el emulador pueda funcionar. ¡Curioso, pero al menos, por ahora es necesario!

Error: “There was an error attaching the debugger to the IIS worker process for ULR 'http://127.255.0.0:82/' for role instance 'deployment16(70).<application_name>_IN_0'. Unable to start debugging on the web server. The underlying connection wass closed: An unexpected error occurred on a receive”.

Si accedemos a la url http://127.0.0.82 o ejecutamos con “Ctrl + F5”:

HTTP Error 500.19 - Internal Server Error

El detalle del error en el “Event View” es este:

An unhandled win32 exception occurred in w3wp.exe [2624]. Just-In-Time debugging this exception failed with the following error: The operation attempted is not supported. Check the documentation index for 'Just-in-time debugging, errors' for more information.

Adicionalmente, también se producen errores en el AppPool (generado dinámicamente):

Application pool '03c09aa3-4317-4b51-bb1e-818250488df5' is being automatically disabled due to a series of failures in the process(es) serving that application pool.

y un warning:

A process serving application pool '03c09aa3-4317-4b51-bb1e-818250488df5' suffered a fatal communication error with the Windows Process Activation Service. The process id was '2624'. The data field contains the error number.

Solución:

Después de muchas vueltas, la solución es cambar la identidad del pool de “Networkservices” a “LocalSystem”. El inconveniente de esta solución es que cada vez se ejecute el emulador tendremos que realizar esta modificación, lo que no resulta ”nada” productivo.

Una de las soluciones pasa por seguir los pasos que comenta Wade Wegner en este post, donde se incluye código en el “OnStart()” de cada Role, a fin de otorgar permisos al pool. Esta acción es propia para un entorno de producción, pero no para el emulador, donde, de hecho, no funciona.

Así que la solución, finalmente se reduce a, comentar las Sección “<Sites>” del fichero de configuración “ServiceDefinition.csdef” . En cuyo caso, no se hace uso de IIS, sino del “Hosted Web Core” (HWC) donde el proceso pasa a ser “WaIISHost.exe” en lugar del “w3wp.exe”.
   1: <?xml version="1.0" encoding="utf-8"?>
   2: <ServiceDefinition name="WindowsAzureProject1" xmlns="http://schemas.microsoft.com/ServiceHosting/2008/10/ServiceDefinition">
   3:   <WebRole name="WebRole1" vmsize="Small">
   4:     
  11:     <Endpoints>
  12:       <InputEndpoint name="Endpoint1" protocol="http" port="80" />
  13:     </Endpoints>
  14:     <Imports>
  15:     </Imports>
  16:   </WebRole>
  17: </ServiceDefinition>

Si ya conoces Full IIS, te habrás dado cuenta, que estas capacidades no son soportadas por la solución aceptada, no obstante, espero haber evitado algún dolor de cabeza y conseguir continuación con una feliz depuración en el Emulador de Windows Azure.

Otras referencias:

Características y capacidades del “Full IIS” frente a las de “Hosted Web Core” echa un vistazo a este post.
http://blogs.msdn.com/b/rickandy/archive/2011/11/23/debugging-http-500-internal-server-error-with-windows-azure-sdk.aspx
http://sachinsancheti.wordpress.com/2012/05/16/windows-azure-moving-from-1-4-to-1-6-sdk-the-application-invalid-apppoolid/

Saludos @home
Juanlu, elGuerre