Cómo escribir información adicional de salida en nuestros tests de xUnit

Introducción

Es posible que a la hora de ejecutar nuestros tests con xUnit, necesitemos mostrar información adicional sobre el mismo test.

Pero antes de continuar, no perdamos la perspectiva de lo que son los tests y el motivo de esta entrada, así que dejemos esto suficientemente claro.

Una cosa es el flujo normal y natural del test, el cual nos permitirá saber si la pieza de código que queremos analizar y probar se comporta de la forma esperada en la que queremos que lo haga.
Y otra cosa adicional pero diferente y no estrictamente necesaria ni obligatoria, es que independientemente de esa acción, deseemos obtener información adicional y cómo abordar este proceso, algo que voy a tratar en esta entrada.

 

Depurando nuestro test

Lo habitual cuando hay un error en nuestros tests es depurarlos.

Esto nos permitirá para conocer ciertos detalles del test y saber porqué falla o qué está sucediendo con él. Lo que solemos hacer muchas veces, es depurarlo sin más avanzando paso a paso.
Otra técnica muy empleada también, es poner un punto de interrupción en una parte del código del test en la que sabemos que está el problema, para luego en depuración, analizar ciertos detalles previos del mismo y el test en sí.
Podemos igualmente, utilizar Debug.WriteLine para escribir alguna información en la consola de depuración, pero es bastante volátil y debemos controlar bien los pasos que damos con sus puntos de interrupción para no perder esa información.

Pero esto se complica aún más, cuando la ejecución de nuestros tests se produce en sistemas remotos sin acceso al depurador.

 

Obtener información adicional dentro de nuestro test

Aunque el sistema de traceo automático de xUnit nos da de por sí cierta información sobre el fallo de un test, a veces necesitamos conocer no el fallo en sí, sino ciertos valores previos a la ejecución de una parte del test.

Si ejecutamos los tests en nuestro entorno local, no tenemos problema en poner puntos de interrupción, pero la cosa se complica cuando trabajamos en sistemas remotos.

Para facilitarnos la vida, dentro de xUnit tenemos la posibilidad de agregar una captura de información de salida.

Dicho de otro modo y más directo, tenemos la posibilidad de escribir cierta información que consideramos relevante en la ejecución de un test y que queremos tener la posibilidad de consultar en un momento dado.

 

¿Cómo hacer esto en xUnit?

Dentro de nuestra clase de test, deberemos inyectar en el constructor de la misma la interfaz ITestOutputHelper.

En realidad tenemos varias interfaces, pero aquí he querido trabajar con esta que es básica para lo que quiero demostrar (IDataDiscover, ITestCaseOrderer, ITestCollectionOrderer, ITestFrameworkTypeDiscoverer, ITraitDiscoverer, IXunitTestCaseDiscoverer, IXunitTestCollectionFactory).

La parte principal del constructor de nuestra clase de test, quedaría de la siguiente forma:

Por un lado, deberemos agregar un using.

using Xunit.Abstractions;

Por otro lado, el constructor de nuestra clase y la resolución de la dependencia en el constructor.

private readonly ITestOutputHelper _output;

public MyTests(ITestOutputHelper output)
{
    _output = output;
}

Dentro de nuestro test, podremos ejecutar algo como:

var year = 2020;
_output.WriteLine($"Year: {year}");

Nuestro tests en ejecución quedaría de la siguiente forma:

Y si hacemos clic en la opción Open additional ouput for this result, abriremos una ventana sobre el test en cuestión con la información que hemos escrito por consola:

Y exactamente sucederá si el test tiene algún tipo de problema (aquí forzando un error), pero con información de traza y más detalles del error:

 

¿Y cómo llevarnos este comportamiento y funcionamiento de xUnit a Azure DevOps?

Como hemos visto anteriormente, tanto si el test nos da error como sino, somos capaces de obtener la información de salida anexada al proceso.

Ahora bien, imaginemos ahora que tenemos nuestro sistema de integración e implementación continua en un entorno como por ejemplo Azure DevOps.

¿Cómo nos ayuda esta aproximación de xUnit?.

En primer lugar debo indicar algo importante que ingenieros y personal de Microsoft ha afirmado (por ejemplo aquí), en el que comentan que sólo es posible obtener este tipo de información en los tests que dan problemas.

Pero esto, no es así.

Es posible que en algún momento Azure DevOps haya cambiado o que simplemente, había que bucear un poco, pero la realidad es que hay forma de encontrar esa información de salida anexada a un proceso dentro del Pipeline de Azure DevOps para tests que salen en verde, aunque sí debo afirmar que está un poco oculta.

Si encontramos problemas o errores en algunos de nuestros tests que tengan preparado este sistema de devolución de información, sí podremos ver esa información adicional de forma rápida.

Para muestra, un botón en la ejecución de nuestros tests dentro del Pipeline de Azure DevOps:

Decía antes, que si los tests van bien, esta información se puede localizar aunque de forma rebuscada.

Y realmente es así. De hecho está bastante oculto y mucha gente cree que no aparece porque no es visible de forma directa.

La forma directa y normal de encontrar esta información, debería ser yendo a los resultados de los tests:

Haciendo doble clic sobre el test en concreto de la sección Test results, accederemos a su información detallada.

Dentro de Attachments esperaríamos encontrar la información que buscamos, sin embargo, no hay nada relevante:

Aquí es donde muchos desarrolladores piesan (no sin razón) que esa información no se está guardando, pero no es cierto, y voy a demostrar a continuación como encontrar esa información.

La forma rebuscada de encontrar esta información es haciendo clic en el paso de nuestro Pipeline para ejecutar las pruebas unitarias, y dentro del detalle del paso, buscar el enlace del detalle de la ejecución de los tests (algo parecido a lo anterior realmente):

Dentro del detalle, podremos descargar los resultados de ejecución del test, dentro del cuál encontraremos la información de salida anexada al proceso.

Abriendo el fichero con un editor de textos como Notepad por ejemplo, podremos ver la información de salida de nuestros tests en verde.

Lo cierto es que Microsoft lo tiene realmente sencillo para implementar esta información de la forma general, pero mientras no lo hagan así, esta es una forma válida de obtener esta información aunque nuestros tests estén en verde y hayan pasado correctamente.

Espero que todo esto te haya resultado útil.

Happy Coding!