Reducimos el tiempo de ejecuci贸n de las pruebas un 99% para Venca
1. Situaci贸n
Venca es una compa帽铆a de moda l铆der en ecommerce en Espa帽a y Portugal. Cuenta con 3 equipos de desarrollo formado por unas 5 personas cada uno.
Se llevan a cabo releases aproximadamente cada 3 semanas de manera programada.
2. Problema
Se realizaban pruebas de regresi贸n manuales consistentes en 130 tests en 6 entornos diferentes (desktop tablet y m贸vil, en Espa帽a y Portugal). Todo en un 煤nico dispositivo.
Nunca se lleg贸 a ejecutar una regresi贸n completa. Si se hubiera hecho, el tiempo aproximado ser铆a de 16 horas.
Dispon铆an de unas bater铆as de pruebas en desuso programadas en SpecFlow. Estaban basadas en pruebas con literales, entornos hardcodeados, necesidad de acceso a BBDD, etc. No se usaban patrones como pageobject ni integraci贸n continua.
En esta situaci贸n, el coste en recursos para poder realizar pruebas fiables de regresi贸n en cada release era extremadamente alto. Las releases presentaban defectos que finalmente eran encontrados por los clientes finales en producci贸n, empeorando sensiblemente la experiencia de usuario.
3. Soluci贸n
Se automatizan las pruebas con WebdriverIO,, cubriendo web, tablet y m贸vil. Las ejecuciones se paralelizan para aumentar la velocidad de ejecuci贸n.
Todo el sistema de pruebas se orquesta desde el servidor CI/CD que adem谩s es gestionado 铆ntegramente por Redsauce, descargando de esa tarea al cliente.
Se emplea una granja de dispositivos para ejecutar las pruebas en diferentes navegadores, m贸viles y versiones de sistema operativo.
Las pruebas se ejecutan a demanda con la posibilidad de vincularlas a un trigger asociado al repositorio.
4. Resultado
Se ha reducido el tiempo de ejecuci贸n de las pruebas de 16 horas a 45 minutos.
Disponemos de un informe autom谩tico inmediato de los resultados de todas las pruebas.
La luz verde de las pruebas autom谩ticas se consideran garant铆a para subir a producci贸n. Este requisito ha aumentado la confianza del equipo de producto en la solidez de toda release que haya pasado con 茅xito las pruebas autom谩ticas.
Ha disminuido considerablemente la cantidad de defectos encontrados en Producci贸n, mejorando la experiencia del usuario.