1. Situação
O cliente é líder em comércio eletrônico de moda em Espanha e Portugal, com 3 equipes de desenvolvimento de aproximadamente 5 membros cada.
Eles realizam lançamentos programados aproximadamente a cada 3 semanas.
De volta às histórias de sucesso
Automação
Reduzimos o tempo de execução de testes em 99% para um líder de comércio eletrônico de moda
Automação de regressão para plataformas web, tablets e dispositivos móveis para acelerar lançamentos e reduzir defeitos de produção.
2. Problema
O teste de regressão manual consistiu em 130 testes em 6 ambientes (desktop, tablet e celular, para Espanha e Portugal) em um único dispositivo.
Uma regressão completa nunca foi realizada, pois levaria aproximadamente 16 horas.
O cliente tinha suítes de testes desatualizadas construídas com SpecFlow, que não foram usadas. Esses testes foram baseados em literais codificados, ambientes específicos e dependências como acesso ao banco de dados. Nenhum padrão moderno, como objetos de página ou integração contínua, foi usado.
O custo dos recursos necessários para realizar testes de regressão confiáveis para cada versão era muito alto. Isso resultou na descoberta de defeitos pelos usuários finais na produção, impactando significativamente a experiência do usuário.
3. Solução
Os testes foram automatizados usando WebdriverIO, abrangendo plataformas web, tablets e dispositivos móveis. A execução foi paralelizada para aumentar a velocidade.
Todo o sistema de testes é orquestrado através de um servidor CI/CD, gerenciado inteiramente pela nossa equipe, liberando o cliente dessa tarefa.
Um conjunto de dispositivos foi utilizado para executar testes em diferentes navegadores, dispositivos móveis e versões de sistema operacional.
Os testes podem ser executados sob demanda ou vinculados a um gatilho associado ao repositório.
4. Resultado
O tempo de execução do teste foi reduzido de 16 horas para 45 minutos.
Um relatório automático imediato de todos os resultados dos testes está agora disponível.
A luz verde dos testes automatizados é agora considerada uma garantia para a implantação da produção. Esse requisito aumentou a confiança da equipe do produto na robustez de cada versão que passa nos testes automatizados.
O número de defeitos detectados na produção diminuiu drasticamente, melhorando a experiência do usuário.