System działu inżynierii jakości (QA)

Przed każdym wydaniem budowana jest karta „Plan”, określająca zakres testów: nowe funkcje, obszary najbardziej ryzykowne oraz pokrywane urządzenia i przeglądarki. Gdy gotowa jest wersja kandydująca, przechodzi do „Wykonanie”, gdzie testerzy przechodzą scenariusze i zapisują wynik każdego przypadku. Każdy wykryty defekt rodzi kartę „Zgłoszenie” z opisem kroków reprodukcji, wyniku oczekiwanego i faktycznego oraz stopnia wagi — przejmuje go programista i naprawia. Naprawione zgłoszenie wraca do „Weryfikacja”, by przetestował je tester inny niż jego autor i upewnił się, że poprawka niczego innego nie zepsuła. Gdy krytyczne zgłoszenia wyzerują się, karta macierzysta przechodzi do „Uruchomienie” z oficjalną rekomendacją, a liczby przenoszone są do „Raport”: ile przypadków wykonano, ile zgłoszeń znaleziono i w których obszarach koncentrują się defekty.

Czat to centrum operacyjne w trakcie testów: krytyczne zgłoszenie zatrzymujące wydanie ogłaszane jest tam natychmiast, a pytanie, czy zachowanie jest zamierzone, czy błędem, rozstrzygane jest z programistą w minutę zamiast odrzuconą kartą. Zasada jest jednak rygorystyczna: to, co rozstrzygnięto na czacie z decyzji, zapisywane jest na samej karcie zgłoszenia — tablica jest rejestrem, nie pamięć.

Kierownik jakości pisze „Plan”, rozdziela wykonanie i jest właścicielem decyzji o rekomendacji uruchomienia — to on zatrzymuje wydanie, jeśli pozostały krytyczne zgłoszenia. Testerzy wykonują i piszą zgłoszenia według jednolitego standardu, a programiści przyjmują zgłoszenia, naprawiają i odsyłają do „Weryfikacja”. Zasada systemu: tester nie weryfikuje poprawki zgłoszenia, które sam napisał, a uruchomienie jest decyzją udokumentowaną liczbami, nie ogólnym poczuciem, że sytuacja wygląda dobrze.