Jak zmierzyć efekt automatyzacji po wdrożeniu

Efekt automatyzacji mierzy się tą samą miarą, którą przed zmianą policzono koszt ręcznej pracy: ile spraw w miesiącu, ile minut na jedną, ile kosztuje godzina. Zanim jednak policzysz minuty, sprawdź, ile spraw w ogóle idzie nową drogą. Narzędzie, którego nikt nie używa, daje zero, nawet jeśli działa dobrze. Mierz co miesiąc, a uczciwą ocenę zrób po trzecim miesiącu, nie po pierwszym tygodniu.

Pierwsza liczba: ile spraw idzie nową drogą

„Kupiliśmy narzędzie i nikt go nie używa.” Po wdrożeniu łatwo patrzeć tylko na to, jak dobrze działa system: czy dobrze czyta, czy się myli. Pierwsze pytanie jest prostsze. Ze wszystkich faktur, zamówień czy zgłoszeń w tym miesiącu ile przeszło nową drogą, a ile ktoś nadal zrobił po staremu?

Ta liczba decyduje o całym rachunku. Weźmy przykład ze spotkania w Lewiatanie Łódź 17 września, na którym Leaware, partner wdrożeniowy Akademii, pokazał, ile kosztuje ręczna praca. To przykład do podstawienia własnych liczb, nie wynik wdrożenia. Firma ma 500 dokumentów miesięcznie. Ręcznie każdy zajmuje 20 minut, czyli razem około 167 godzin. Gdy system przygotowuje dokument, a człowiek tylko sprawdza i zatwierdza, schodzi to do 2 minut, czyli około 17 godzin.

Teraz dopiszmy coś, czego na slajdzie nie było. Załóżmy, że nową drogą idzie tylko połowa dokumentów, a reszta jest dalej przepisywana. 250 dokumentów po 20 minut i 250 po 2 minuty daje razem około 92 godzin. Różnica w stosunku do pełnego użycia to 75 godzin miesięcznie, które zostają na stole. A jeśli narzędzia nie używa nikt, wynik wraca do 167 godzin, czyli do stanu sprzed zmiany.

500 dokumentów miesięcznie: ile zależy od tego, czy ludzie używają narzędzia

• Nikt nie używa nowej drogi500 dokumentów po 20 minut167 h
• Połowa dokumentów idzie nową drogą250 po 20 minut i 250 po 2 minuty92 h
• Wszystkie dokumenty idą nową drogą500 dokumentów po 2 minuty17 h

Przy połowie użycia 75 godzin miesięcznie zostaje na stole

Ta liczba nie służy do oceniania ludzi. Pokazuje, gdzie szukać przyczyny. Sprawy robione po staremu warto przejrzeć i przy każdej zapisać, dlaczego tak się stało. Może system nie obsługuje jakiegoś rodzaju dokumentów. Może pierwsze wyniki miały błędy i ludzie przestali mu ufać. Może stara droga jest nadal otwarta i z przyzwyczajenia szybsza. A może nikt nie powiedział wprost, że teraz pracujemy inaczej.

Na spotkaniu 17 września padła przestroga: nie kupuj narzędzia bez właściciela procesu. W pomiarze widać ją najlepiej. Ktoś, kto odpowiada za proces na co dzień, musi co miesiąc patrzeć na tę liczbę i pytać o sprawy, które ominęły nową drogę.

Potem ta sama miara co przed zmianą

Jeśli przed wdrożeniem policzyliście cenę ręcznej pracy, macie punkt odniesienia (jak policzyć, ile kosztuje ręczna praca). Po zmianie liczycie to samo i tak samo: te same sprawy, ten sam sposób mierzenia minut, na przykład przy dziesięciu kolejnych sprawach. Inaczej porównujecie wrażenie z liczbą.

Zmienia się tylko to, z czego składają się minuty. Przed zmianą był to czas przepisywania. Po zmianie to czas sprawdzania, poprawiania i zajmowania się wyjątkami. Te trzy rzeczy trzeba liczyć razem, bo system, który przygotowuje sprawę szybko, ale wymaga długich poprawek, nie oszczędza czasu.

Obok minut warto liczyć jeszcze jedno: w ilu sprawach człowiek musiał coś poprawić. To ta statystyka decyduje później, ile kontroli zostaje przy człowieku. Na start człowiek zatwierdza każdy wynik, dopóki liczby nie pokażą, że można poluzować. Bez tej liczby decyzja o poluzowaniu jest zgadywaniem.

Tak wygląda metoda atom AI, czyli zmiana jednego procesu najmniejszym skutecznym krokiem, z efektem, który da się zmierzyć. Bez liczby przed i po nie wiadomo, czy krok był skuteczny, i nie wiadomo, co robić dalej.

Kiedy oceniać: nie po tygodniu

Na tym samym spotkaniu padło porównanie: AI uczy się jak nowy pracownik. Robi zadanie, człowiek sprawdza i poprawia, a przy kolejnym razie system umie więcej. Nowego pracownika ocenia się po trzecim miesiącu, nie po pierwszym dniu. Warto być gotowym na dwie albo trzy rundy poprawek i oczekiwać mierzalnego efektu w kwartał, a nie cudu w tydzień.

Dlatego pomiar ma sens co miesiąc, a ocena po trzech miesiącach. Pojedynczy miesiąc mówi niewiele. Ważny jest kierunek: czy rośnie liczba spraw idących nową drogą, czy spada liczba poprawek, czy maleją minuty na sprawę.

Jeśli po kwartale nic z tego się nie rusza, to też jest wynik. Mała zmiana ma tę zaletę, że gdy nie zadziała, firma traci niewiele i wie dlaczego. Gorzej, gdy nikt niczego nie mierzył i po roku zostaje tylko wrażenie, że „chyba nie bardzo”.

Odzyskany czas musi być gdzieś widać

Mniej minut na sprawę to dopiero połowa efektu. Odzyskany czas może pójść na więcej klientów przy tym samym zespole, na szybszą realizację albo na pracę, za którą klient płaci. Co firma z nim zrobi, to decyzja zarządu. Warto ją podjąć i zapisać, bo inaczej odzyskane godziny rozejdą się po dniu i nie będzie ich widać w żadnej liczbie.

Jeśli zarząd zdecyduje, że czas ma pójść na szybszą obsługę, mierzcie właśnie to: na przykład czas od wpłynięcia sprawy do jej zamknięcia. To ta sama zasada: liczba przed zmianą, ta sama liczba po zmianie.

Przykład z praktyki: co mierzyć, gdy dokument nie jest już przepisywany

U dystrybutora spożywczego księgowość przepisywała do systemu dane z około 800 dokumentów kosztowych miesięcznie: faktur, not, delegacji i potwierdzeń transakcji. Dziś system odczytuje dokument, rozpoznaje, czym jest, i wypełnia pola, a człowiek widzi oryginał obok odczytanych danych, poprawia i zatwierdza (cała historia). Jak podsumowano w tej historii: dokument nie jest przepisywany, tylko sprawdzany.

Ta historia dobrze pokazuje, że średnia potrafi ukryć to, co ważne. Najtrudniejsze okazały się faktury zbiorcze, na przykład za telefony, prąd, paliwo czy leasing: jedna faktura i załącznik na dziesiątki pozycji, z których każda idzie na inny dział. Dwunastu stałych dostawców dostało własne reguły odczytu, bo każdy układa załącznik inaczej. Gdyby liczyć tylko średnią dla wszystkich dokumentów, łatwo przeoczyć, że kłopot siedzi w jednym rodzaju. Dlatego poprawki i minuty warto liczyć osobno dla rodzajów dokumentów, a przy dużych dostawcach nawet dla każdego z nich.

Efekt w liczbach jest w tej firmie jeszcze mierzony, dlatego go tu nie podajemy. To nie unik. Liczba podana przed końcem pomiaru byłaby wrażeniem, a nie wynikiem.

Jest za to inny sygnał, że narzędzie żyje. W tej samej firmie każdy kolejny krok wchodził dopiero wtedy, gdy poprzedni działał i ludzie go używali. Z jednego kroku zrobiło się 8, a po roku pracy użytkownicy sami zgłosili 24 usprawnienia (od odczytu faktur do całego obiegu). Nikt nie zgłasza poprawek do narzędzia, którego nie używa.

Pomiar służy też decyzjom o kontroli. W dwóch innych firmach, które zaczynały tak samo, zapadły odwrotne decyzje: jedna po kilku tygodniach zdjęła krok zatwierdzania, druga po trzech miesiącach poprosiła o jego przywrócenie (dwie firmy, dwie odwrotne decyzje). Obie decyzje były możliwe, bo było na co patrzeć.

Co zrobić w poniedziałek

1. Znajdź liczbę sprzed zmiany. Ile spraw w miesiącu, ile minut na jedną, ile kosztuje godzina. Jeśli jej nie ma, ustal ją z osobą, która robiła to ręcznie, i zapisz jako szacunek.
2. Policz sprawy z ostatniego miesiąca w dwóch kolumnach: nową drogą i po staremu. Przy każdej sprawie po staremu zapisz, dlaczego.
3. Zmierz minuty przy dziesięciu kolejnych sprawach idących nową drogą, razem ze sprawdzaniem, poprawkami i wyjątkami.
4. Policz sprawy z poprawką, osobno dla każdego rodzaju dokumentu.
5. Wpisz do kalendarza ocenę po trzecim miesiącu i wskaż osobę, która przyniesie na nią liczby.

Pytania i odpowiedzi

Nie zmierzyliśmy niczego przed wdrożeniem. Czy jest już za późno? Nie. Ustal szacunek z ludźmi, którzy robili to ręcznie, i nazwij go szacunkiem. Od teraz mierz co miesiąc. Kierunek zmian powie dużo nawet bez dokładnego punktu startu.

Po pierwszym miesiącu wyniki są słabe. Wyłączyć narzędzie? Najpierw sprawdź, czy to problem systemu, czy użycia. Jeśli ludzie omijają nową drogę, poprawki w systemie nic nie dadzą. Jeśli używają, a system się myli, to normalny etap: oceniaj po trzecim miesiącu.

Kiedy można przestać sprawdzać każdy wynik? Wtedy, gdy liczba spraw z poprawką pokaże, że to bezpieczne. Decyduje firma i może zmienić zdanie w obie strony.

Czy efekt to zawsze mniej godzin? Nie zawsze. Może to być szybsza obsługa albo więcej klientów przy tym samym zespole. Ważne, żeby przed zmianą ustalić, co ma się poprawić, i mierzyć właśnie to.

Dalej

Jak porównać odzyskany czas z kosztem zmiany, opisujemy w tekście Czy automatyzacja opłaca się przy naszej skali?. Jeśli chcesz ustalić, co i jak mierzyć w jednym procesie we własnej firmie, umów przegląd potrzeb.