Pre lídra v oblasti módneho elektronického obchodu sme skrátili čas vykonania testu o 99 %.

1. Situácia

Klient je lídrom v oblasti módneho elektronického obchodu v Španielsku a Portugalsku s 3 vývojovými tímami, z ktorých každý má približne 5 členov.

Vykonávajú plánované vydania približne každé 3 týždne.

2. Problém

Manuálne regresné testovanie pozostávalo zo 130 testov v 6 prostrediach (stolný počítač, tablet a mobil, pre Španielsko a Portugalsko) na jednom zariadení.

Úplná regresia sa nikdy neuskutočnila, pretože by trvala približne 16 hodín.

Klient mal zastarané testovacie súpravy vytvorené pomocou SpecFlow, ktoré neboli použité. Tieto testy boli založené na pevne zakódovaných literáloch, špecifických prostrediach a závislostiach, ako je prístup k databáze. Neboli použité žiadne moderné vzory, ako sú objekty stránok alebo nepretržitá integrácia.

Náklady na zdroje potrebné na vykonanie spoľahlivého regresného testovania pre každé vydanie boli veľmi vysoké. To viedlo k tomu, že koncoví používatelia objavili chyby vo výrobe, čo výrazne ovplyvnilo používateľskú skúsenosť.

3. Riešenie

Testy boli automatizované pomocou WebdriverIO, ktoré pokrývali web, tablety a mobilné platformy. Vykonávanie bolo paralelné, aby sa zvýšila rýchlosť.

Celý testovací systém je riadený cez CI/CD server, ktorý je plne riadený naším tímom, čím klienta oslobodzuje od tejto úlohy.

Farma zariadení sa použila na vykonanie testov v rôznych prehliadačoch, mobilných zariadeniach a verziách operačného systému.

Testy môžu byť vykonávané na požiadanie alebo prepojené so spúšťačom spojeným s úložiskom.

4. Výsledok

Čas vykonania testu sa skrátil zo 16 hodín na 45 minút.

Teraz je k dispozícii okamžitá automatická správa všetkých výsledkov testov.

Zelená z automatizovaných testov sa dnes považuje za záruku nasadenia do produkcie. Táto požiadavka zvýšila dôveru produktového tímu v robustnosť každého vydania, ktoré prešlo automatickým testovaním.

Počet chýb zistených vo výrobe sa drasticky znížil, čím sa zlepšil používateľský zážitok.