Wdrożenie AI w firmie: jak sprawdzić, co ta AI naprawdę zrobiła, zanim wyślesz to klientowi

Zanim przewiniesz dalej

Wdrożenie AI w firmie psuje się zwykle nie na pisaniu, tylko na tym, że nikt nie sprawdza, co maszyna wypuściła, zanim to trafi do klienta. Kontrola ma trzy warstwy: skrypt z listą rzeczy zakazanych, który przelatuje każdy tekst w sekundę, drugi model, który porównuje treść z danymi, jakie naprawdę masz o tym kliencie, i Twoje oczy na pierwszych 10-20 sztukach plus wysyłka testowa do siebie na telefon. Skrypt łapie słowa, model łapie zmyślone fakty, a Ty łapiesz zdanie, które jest poprawne i nic nie znaczy.

Czytasz całość od góry i dlatego niczego nie widzisz

No i wygląda to zwykle tak, że ktoś podpina model pod odpowiedzi na zapytania albo pod oferty, przez pierwsze dwa dni czyta wszystko, co wychodzi, a trzeciego dnia już tylko zerka, bo teksty są ładne, gramatycznie czyste i brzmią rozsądnie. A po dwóch tygodniach dzwoni klient i pyta, skąd w ofercie termin, którego nikt mu nie obiecywał, albo dlaczego w powitaniu stoi nazwa zupełnie innej firmy.

Tylko że to nie jest błąd, który dało się zobaczyć przy czytaniu „czy ładnie brzmi”. Model pisze płynnie zawsze, także wtedy, kiedy dopowiada coś od siebie, więc tekst z dziurą w środku czyta się dokładnie tak samo gładko jak tekst bez dziury. Czyli czytanie całości od góry do dołu sprawdza styl, a styl jest akurat tą jedną rzeczą, której modelowi poprawiać nie trzeba.

I jest jeszcze druga rzecz, o której pisałem przy AI w małej firmie. Jeżeli nie przeszedłeś danej czynności ręcznie, to nie wiesz, co w niej jest błędem, a skoro nie wiesz, czego szukasz, to czytając, szukasz wszystkiego naraz i nie znajdujesz niczego.

Wdrożenie AI w firmie zaczyna się od listy rzeczy, których nie wolno

Pierwsza warstwa to zwykły skrypt, bez żadnej sztucznej inteligencji w środku. Spisujesz rzeczy, które w tekście do klienta nie mogą się pojawić nigdy, a skrypt przelatuje każdy wygenerowany tekst i mówi „czysto” albo pokazuje, co znalazł i w której linijce.

U mnie taka bramka stoi przed każdą treścią, która wychodzi na zewnątrz, i trzyma listę w osobnym pliku, czyli zmieniam zakaz w jednym miejscu, a nie w dziesięciu promptach. Co na tej liście ląduje? Zwroty, po których klient od razu rozpoznaje maszynę, słowa, których moja marka nie używa, i znaki, których w moich tekstach nie ma. U Ciebie lista będzie inna, ale typy pozycji są podobne:

każda liczba ze „zł” albo z „%”, której nie wstawił Twój cennik, bo skrypt znajdzie ją po samym znaku,
słowa w rodzaju „gwarantujemy” albo „do piątku”, bo obietnicę też da się złapać po samym słowie,
nazwy innych klientów, bo model, który dostaje w kontekście kilka kart naraz, potrafi je pomieszać,
zwroty, których Ty nigdy nie użyłbyś w mailu, i tak dalej.

Natomiast siła tej warstwy nie bierze się z tego, że jest mądra, tylko z tego, że jest głupia i powtarzalna. Model raz sprawdzi, raz przepuści, a skrypt przepuści albo zatrzyma to samo zdanie za każdym razem, bez względu na to, czy to pierwszy tekst tego dnia, czy trzysetny.

Drugi model sprawdza fakty, nie styl

Druga warstwa to dopiero model, i to inny niż ten, który pisał, albo przynajmniej odpalony osobno, z innym poleceniem. Dostaje dwie rzeczy: gotowy tekst i dane, które masz o kliencie, czyli kartę z CRM, notatkę z rozmowy albo odpowiedzi z formularza. I ma odpowiedzieć na jedno pytanie: czy każde zdanie o kliencie w tym tekście da się wskazać w tych danych.

Jeżeli w ofercie stoi „jak rozmawialiśmy, zależy Panu na starcie przed sezonem”, a w notatce z rozmowy nie ma słowa o sezonie, to model ma to zgłosić. On nie ocenia, czy zdanie jest dobre, tylko czy ma pokrycie. To jest zupełnie inna robota niż pisanie, więc idzie mu dużo pewniej.

A dlaczego nie ten sam model w tej samej rozmowie? Bo ten, który napisał, broni tego, co napisał. Na pytanie „czy wszystko się zgadza” odpowie, że tak. Czyli rozdzielasz role tak samo, jak w firmie nie daje się księgowej do sprawdzenia jej własnej faktury, tylko komuś obok.

Twoje oczy na pierwszych dwudziestu i wysyłka do siebie

Trzecia warstwa to Ty, ale nie przy każdym tekście, tylko na starcie i potem na próbkę. Pierwsze 10-20 sztuk po uruchomieniu czytasz w całości, z danymi klienta otwartymi obok, i każde miejsce, w którym coś Ci zgrzytnęło, zamieniasz w nową pozycję na liście zakazów albo w nową regułę dla modelu sprawdzającego.

Potem wysyłasz jedną wiadomość testową do siebie i otwierasz ją na telefonie. Bo to, co w edytorze wyglądało porządnie, na telefonie potrafi się rozjechać: akapit na pół ekranu, link, który się nie klika, albo pierwsze zdanie ucięte w podglądzie w takim miejscu, że klient widzi tylko „Dzień dobry, w nawiązaniu do” i nic więcej. A klient czyta na telefonie, nie przy biurku.

Po dwudziestu sztukach nie przestajesz patrzeć, tylko patrzysz rzadziej. Raz w tygodniu bierzesz kilka losowych tekstów z ostatnich dni i czytasz je tak samo jak na początku, bo model zmienia się po aktualizacjach, a Twoje dane o klientach z czasem robią się bardziej zabałaganione niż te, na których stroiłeś całość.

Gdzie to się sypie

Pierwsze miejsce to bramka, która przepuszcza pustkę. Skrypt z zakazami pilnuje słów i spokojnie przepuści tekst, w którym każde zdanie jest poprawne, a całość nie mówi klientowi niczego, czego by nie wiedział. Tego nie złapie ani lista, ani drugi model, dlatego Twoje czytanie na próbkę nie znika nigdy, tylko robi się rzadsze.

Drugie to model sprawdzający, który dostał za mało danych. Jeżeli w karcie klienta stoi imię i telefon, to model nie ma z czym porównać treści i odpowie, że wszystko się zgadza, bo nic nie przeczy. Czyli zanim podepniesz sprawdzanie, upewnij się, że notatka z rozmowy w ogóle trafia do CRM, i to w słowach klienta, a nie w Twoim skrócie.

Trzecie to lista zakazów, która nie rośnie. Jeżeli przez miesiąc nie dopisałeś do niej ani jednej pozycji, to albo wszystko działa idealnie, albo nikt już nie czyta tego, co wychodzi.

Pytania, które dostaję najczęściej

Ile kosztuje takie sprawdzanie w czasie?

Najwięcej na starcie, potem prawie nic. Pierwsze 10-20 tekstów czytasz uważnie, bo z nich budujesz listę zakazów, a później skrypt i drugi model robią swoje w kilka sekund, a Ty zostajesz z próbką raz w tygodniu. Ile minut to zajmie u Ciebie, zmierz stoperem przy pierwszej partii, zamiast zgadywać.

Czy wystarczy, że w poleceniu napiszę modelowi, czego ma nie robić?

Nie wystarczy, bo polecenie model traktuje jak sugestię, a skrypt jak warunek. Zakazy w poleceniu zmniejszają liczbę wpadek, ale nie dają Ci pewności, że w setnym tekście nic się nie prześlizgnie, a lista sprawdzana skryptem daje dokładnie ten sam wynik przy pierwszym i przy setnym.

Od czego zacząć wdrożenie AI w firmie, jeżeli jeszcze nic nie mam?

Od jednej czynności blisko pieniędzy, którą najpierw zrobisz ręcznie. Odpowiedź na zapytanie albo oferta po rozmowie to dobre miejsca, bo tam błąd kosztuje klienta, a nie tylko Twoje nerwy, więc kontrola od pierwszego dnia ma sens.

Od czego zacząć jutro

Weź ostatnie dziesięć tekstów, które wypuściła Twoja AI albo które napisałeś sam, i zapisz każdą rzecz, która nie powinna była się tam znaleźć.
Z tej listy zrób plik z zakazami, jeden zakaz w linijce, i każ go sprawdzać przed każdą wysyłką, choćby na początek ręcznie przez wyszukiwanie w tekście.
Otwórz jedną kartę klienta w CRM i sprawdź, czy jest w niej notatka z rozmowy, z którą drugi model miałby co porównać.
Wyślij sobie jedną wiadomość z automatu i przeczytaj ją na telefonie, tak jak przeczyta ją klient.

Jeżeli chcesz, żeby te trzy warstwy stanęły u Ciebie, przy Twoich narzędziach i Twoim CRM, to stawiam je w ramach dyrektora AI na godziny. Na demo widać, jak tekst wypuszczony przez maszynę leży obok danych klienta, z których powstał, czyli dokładnie to, co porównuje drugi model. Natomiast kiedy po rozmowach nie zostaje u Ciebie żadna notatka, to drugi model nie ma z czym porównywać. Wtedy najpierw układamy samą rozmowę sprzedażową na mentoringu.