Kiedy AI nie ma czego u Ciebie szukać

„Musimy coś zrobić z AI” to objaw

Zdanie „musimy coś zrobić z AI” prawie nigdy nie jest briefem. Ktoś w niedzielę przeczytał raport. Ktoś inny wrócił z targów, gdzie konkurencja opowiadała o swoim asystencie. Zarząd zapytał na spotkaniu, co firma z tym robi, i na następne spotkanie trzeba mieć odpowiedź.

Ta presja jest zrozumiała. Zanim ktokolwiek wyda pieniądze, zamień ją w brief.

Brief brzmi tak: księgowa otwiera skan faktury od dostawcy, przepisuje z niego cztery liczby do drugiego okna, sprawdza, czy zgadzają się z zamówieniem, i robi to sto kilkadziesiąt razy w miesiącu. Albo tak: dwie osoby z obsługi odpowiadają codziennie na to samo pytanie o status przesyłki, bo klient nie znajduje tej informacji w sklepie. W obu zdaniach jest proces, wolumen i koszt pomyłki. Wszystkie trzy da się policzyć, zanim ktokolwiek wybierze technologię.

Jeśli w firmie nikt nie potrafi dokończyć zdania „chcemy, żeby AI robiło…”, na razie masz temat na spotkanie. Lepiej wiedzieć o tym wcześnie, bo temat na spotkanie kosztuje godzinę, a wdrożenie bez procesu kosztuje kwartał.

Trzy warunki i jeden if biją model, który ma rację prawie zawsze

badania zapisane na platformie psychometrycznej

1324

wystawionych certyfikatów na platformie szkoleniowej

899

Model językowy jest probabilistyczny. Zadaj mu to samo pytanie dwa razy, a możesz dostać dwie różne odpowiedzi, obie brzmiące sensownie. Tak został zaprojektowany i nie da się tego z niego wyprać dopłatą.

Zwykłe oprogramowanie psuje się głośno. Leci wyjątek, w logu zostaje ślad, ktoś dostaje alert o trzeciej w nocy. Model psuje się cicho i uprzejmie: wpisuje 12400 tam, gdzie na fakturze było 124,00, z dokładnie taką samą pewnością siebie, z jaką wpisał sto poprzednich kwot poprawnie, i nic w systemie nie zapala się na czerwono. Awarię widać dopiero wtedy, gdy ktoś porównuje saldo.

Tam, gdzie wynik ma być identyczny za każdym razem, piszę regułę.

Zbudowałem platformę psychometryczną, na której zapisano do tej pory 1324 badania. Pięć cech, część pozycji punktowana odwrotnie, surowe sumy przeliczane na centyle wobec normy konkretnej firmy, a na końcu rekomendacja przy konkretnym stanowisku. Ten wynik wpływa na to, czy ktoś dostanie pracę. Nikt przytomny nie chce, żeby liczyło go coś, co ma rację w większości przypadków. Ma to być arytmetyka, którą da się pokazać kandydatowi, prawnikowi i audytowi, i która dla tych samych odpowiedzi daje ten sam wynik w badaniu pierwszym i tysiąc trzysta dwudziestym czwartym. Podobnie z certyfikatami na platformie szkoleniowej, którą prowadzę dla kancelarii: 899 wystawionych dokumentów, każdy weryfikowalny podczas audytu w dziale HR.

Prowadzę klientom kampanie Google Ads i na każdym koncie obowiązuje zasada, o którą pytają najczęściej: dziennego limitu wydatku pilnuje osobny kontroler obok modelu i sprawdza go przed każdą zmianą. Automat może wstrzymać kampanię albo obniżyć stawkę. Podniesienie limitu to decyzja człowieka i zostaje odnotowana. Pieniądze wychodzące z konta mają być powtarzalne i sprawdzalne co do grosza, niezależnie od tego, jakie narzędzie je wydaje. Ta sama zasada obowiązuje przy fakturach, stanach magazynowych, wystawianiu dokumentów i wszystkim, co ktoś kiedyś będzie musiał obronić przed kimś innym.

Stąd pytanie, które zadaję przy każdym pomyśle na wdrożenie: czy tę decyzję da się zapisać jako trzy warunki? Jeśli tak, zapisz ją jako trzy warunki. Będzie tańsza, szybsza, testowalna i nikt jej nie zepsuje w poniedziałek rano zmianą wersji po drugiej stronie internetu.

Gdzie wdrożenie AI zarabia na siebie

Model ma sens tam, gdzie wejście jest bałaganem, a poprawnych odpowiedzi jest więcej niż jedna. Trzy rodzaje pracy, przy których się broni.

Pierwszy: wejściem jest ludzki tekst albo dokument bez stałego układu. Faktura od dostawcy trafia do skrzynki jako skan, a każdy dostawca ma własny układ dokumentu, własne nazwy pól i własny pomysł na to, gdzie postawić numer zamówienia. Napisanie reguł na wszystkie warianty wychodzi drożej niż model, który czyta pola. Zwróć jednak uwagę, gdzie w tym przepływie kończy się jego rola: system odczytuje pola, porównuje je z zamówieniem, aktualizuje CRM i przekazuje niezgodności człowiekowi do akceptacji. Model dostaje samo odczytywanie, bo to jedyny krok, w którym wariantów jest nieskończenie wiele. Porównanie z zamówieniem robi zwykły kod.

Drugi: wynikiem jest szkic, który i tak ktoś poprawi. Warianty tekstów reklamowych, pierwsza wersja odpowiedzi na maila, opis produktu do przejrzenia przed publikacją. Pomyłka kosztuje tu tyle, co skasowanie akapitu.

Trzeci: dopasowanie po znaczeniu. Dla kancelarii dotlaw zbudowałem wyszukiwarkę po jej własnym magazynie, opartą na indeksie wektorowym w Postgresie, która odpowiada wyłącznie z materiałów opublikowanych przez tę kancelarię. Pytanie zadane językiem klienta trafia do artykułu napisanego językiem prawniczym. Wyszukiwanie po słowach kluczowych tego nie zrobi, bo klient nie zna słów, których szuka.

Najczystszy podział mam we własnym produkcie. ShieldWave sprawdza osiem obszarów strony i w około półtorej minuty składa z tego raport. Same testy są zwykłym, deterministycznym kodem: nagłówek albo jest, albo go nie ma. Model wchodzi na końcu, tam gdzie z listy znalezisk trzeba zrobić zdania zrozumiałe dla właściciela firmy bez tłumacza. Ten produkt należy do mnie, więc za każdą decyzję w nim płacę z własnej kieszeni.

Najdroższy błąd zdarza się, zanim cokolwiek kupisz

Zdarza się zwykle kwartał przed zakupem, w chwili, gdy ktoś zgadza się zautomatyzować proces, którego nikt nie przeczytał od początku do końca.

Automatyzacja kopiuje proces w takim stanie, w jakim go zastała, razem z jego dziwactwami.

Wyjątek, który pani z księgowości zawsze załatwiała jednym telefonem, staje się gałęzią, której nikt nie zaprogramował, więc wraca jako błąd raz w tygodniu. Krok istniejący wyłącznie dlatego, że ktoś, kto odszedł w 2019 roku, lubił mieć własną kopię zestawienia, dostaje teraz budżet utrzymaniowy i opiekuna. Pole przepisywane ręcznie między dwoma systemami jest przepisywane dalej, tylko szybciej i za abonament.

Gorsze jest to, co dzieje się później. Zautomatyzowany proces jest trudniejszy do zmiany niż ten sam proces robiony ręcznie, bo zależą od niego integracja, prompt, dwa raporty i czyjaś prezentacja dla zarządu, w której to był sukces. Podważenie go kosztuje od tej pory także kapitał polityczny.

Niektóre kroki lepiej skasować

Zanim zautomatyzujesz krok, sprawdź, czy ktokolwiek go potrzebuje.

Raport wysyłany w każdy poniedziałek, którego nikt nie otwiera. Sprawdź w statystykach, kto otworzył go w ostatnim kwartale. Akceptacja, której nikt nigdy nie odmówił, w praktyce jest opóźnieniem z podpisem. Podwójne wprowadzanie tych samych danych do sklepu i do magazynu jest problemem integracyjnym: w jednym ze sklepów, które prowadzę, katalog i stany chodzą przez BaseLinker i żadna inteligencja nie była do tego potrzebna.

Skasowany krok od tej chwili nic nie kosztuje. Zautomatyzowany przynosi rachunek co miesiąc i potrzebuje kogoś, kto będzie go rozumiał jeszcze za dwa lata.

Jak wygląda audyt AI i dlaczego jest tańszy od pilota

Wdrożenie prowadzę zawsze w tej samej kolejności.

1. Wybieram jeden proces z wyraźną stawką: czas, wolumen, koszt błędu albo doświadczenie klienta.
2. Rozrysowuję dane, narzędzia, decyzje i wyjątki, zanim wybiorę model.
3. Buduję mały przepływ produkcyjny: wejście, kontekst, akcja, człowiek w pętli i miara jakości.
4. Testuję na prawdziwych przykładach i rozszerzam dopiero wtedy, gdy podstawa działa.

Najważniejszy jest punkt drugi i słowo „prawdziwych” w czwartym. Prawdziwe przykłady to Twoje dokumenty z zeszłego miesiąca, ze skanem przekrzywionym o cztery stopnie, z literówką w nazwie firmy i z tą jedną fakturą, która przyszła w obcej walucie. Demo dostawcy powstaje na czystych danych, dobranych tak, żeby dobrze wyglądało.

Audyt może też skończyć się tak: tutaj model nie jest potrzebny, wystarczy integracja i usunięcie dwóch kroków. Jeśli u jakiegoś dostawcy każdy audyt kończy się modelem do kupienia, zapytaj, co zmierzył.

Zaczynanie od modelu jest przyjemniejsze niż rozmowa o tym, dlaczego ktoś od trzech lat przepisuje cztery liczby ręcznie. Ta rozmowa kosztuje mniej i od niej zależy, czy projekt się uda.

Pięć pytań, które psują złą ofertę wdrożenia AI

Co się dzieje, kiedy model się pomyli, i kto zobaczy to jako pierwszy? Jeśli w odpowiedzi pada, że model się nie myli, spotkanie można kończyć.

Na jakich przykładach mierzyliście jakość i czy mogę zobaczyć te, na których nie zadziałało? Dostawca, który mierzył, ma listę porażek pod ręką.

Która część tego rozwiązania mogłaby być zwykłym warunkiem w kodzie? Dobry dostawca sam wskaże dwa albo trzy miejsca.

Ile to kosztuje przy dziesięć razy większym wolumenie? Model rozlicza się od wywołania. Pilot na stu dokumentach miesięcznie wygląda inaczej niż ten sam przepływ puszczony na całym ruchu firmy.

Co się stanie w poniedziałek, gdy dostawca modelu zmieni wersję albo API nie odpowie? Odpowiedź „przełączymy się na inny” jest dobra tylko wtedy, gdy ktoś już raz to przećwiczył.

Od czego zacząć wdrożenie AI w firmie

Weź jeden proces, ten, o którym wszyscy w firmie mówią, że jest do bani, i opisz go krok po kroku, z liczbami: ile razy w miesiącu, ile minut, kto poprawia po kim i co się dzieje, kiedy dane nie pasują. Ta kartka jest więcej warta niż strategia AI i powstaje w jedno popołudnie.

Potem policz, ile kroków z tej kartki wymaga myślenia. Zwykle wychodzi jeden, czasem dwa. Reszta to przenoszenie danych z miejsca w miejsce, a tym zajmie się integracja.

W zależności od tego, co wyszło na kartce, zrób jedno z dwojga.

Masz jeden proces i wiesz który. Opisz go w briefie liczbami z kartki: ile razy, ile minut, kto poprawia po kim.

Nie masz pewności, czy w ogóle jest co automatyzować. Napisz tak samo, przez ten sam brief albo przez kontakt. Ze wszystkich pytań w tym tekście na to najtaniej odpowiedzieć. Jak wygląda audyt i wdrożenie AI krok po kroku, opisałem na stronie o wdrożeniu AI w firmie.

Najczęściej zadawane pytania