Halucynacje asystenta głosowego: skąd się biorą i jak trzymać je w ryzach

Dlaczego model zmyśla

Model językowy trenowano na ogromnej ilości tekstów i nauczył się przewidywać, jakie słowa pasują dalej. Nie ma w środku kartoteki faktów, którą mógłby sprawdzić. Kiedy czegoś nie wie, wypełnia lukę tym, co brzmi najbardziej prawdopodobnie.

Weźmy klienta, który pyta prywatną poradnię: „Czy przyjmujecie na NFZ?”. Wiele przychodni przyjmuje, więc model bez tej informacji w instrukcji może odpowiedzieć „tak”. Brzmi naturalnie i jest nieprawdą. Przez telefon boli to bardziej niż na czacie, bo klient nie ma tekstu, do którego może wrócić, i nie zrobi zrzutu ekranu. Zapamięta, że „w rejestracji powiedzieli, że na NFZ”. Model jest przy tym z natury uprzejmy i woli pomóc, niż odmówić, więc trzeba mu wyraźnie pozwolić mówić „nie wiem”.

Typowe zmyślenia agenta w małej firmie

Z tego, jak działa model, wynika dość powtarzalna lista.

• godziny w nietypowe dni, jak Wszystkich Świętych, Wigilia, majówka czy Boże Ciało, kiedy model zakłada zwykły grafik
• ceny spoza cennika, zaokrąglone albo podane „od” wymyślonej kwoty
• zniżki i promocje, na przykład dla seniorów albo z Kartą Dużej Rodziny, których firma nie daje
• obietnice terminów w rodzaju „oddzwonimy w ciągu godziny” albo „auto będzie gotowe jutro”
• przepisy i daty urzędowe z pamięci modelu, na przykład terminy KSeF, które w ostatnich latach przesuwano
• potwierdzenie rezerwacji, choć system zwrócił błąd i nic się nie zapisało

Ostatni punkt jest najgroźniejszy. Klient przychodzi na wizytę, której nie ma w grafiku, i ma pełne prawo być zły.

Fakty z zewnątrz zamiast z pamięci modelu

Każdy fakt o twojej firmie agent musi dostać z zewnątrz. Stałe informacje, jak cennik i godziny otwarcia, trafiają do instrukcji albo do bazy wiedzy. Dane, które zmieniają się co chwilę, czyli wolne terminy albo status zamówienia, agent pobiera przez narzędzia połączone z systemami firmy.

W instrukcji dla agenta pada wprost zdanie w rodzaju: „Kwoty i terminy podawaj wyłącznie z cennika i z wyników narzędzi. Jeśli ich tam nie ma, powiedz, że nie masz tej informacji”.

Osobna reguła dotyczy potwierdzeń. Agent mówi „zapisałem” dopiero wtedy, gdy system rezerwacji odpowie, że zapis się udał. Samo obniżenie temperatury modelu językowego tego nie załatwi: potrzebna jest reguła w instrukcji i narzędzie, które zwraca jasny wynik zapisu.

„Nie wiem” jako pełnoprawna odpowiedź

Agent musi mieć jasno powiedziane dwie rzeczy: że wolno mu nie wiedzieć i co ma wtedy zrobić. Bez drugiej części „nie wiem” prowadzi donikąd.

Lepszy agent, który kilka razy dziennie powie „nie wiem, przekażę pytanie”, niż taki, który raz w tygodniu wymyśli promocję. Oddzwonienie w sprawie godzin 1 listopada kosztuje pracownika minutę. Klient, który przyjdzie po wiązankę pod zamkniętą kwiaciarnię, zapamięta to na długo. Granicę między zapisaniem pytania a przekazaniem rozmowy człowiekowi trzeba ustalić przed startem.

Zakazy i dodatkowe bezpieczniki

Poza faktami agent potrzebuje listy tematów, w które się nie wdaje. Zwykle są to porady medyczne, prawne, podatkowe i inwestycyjne, nawet w formie „tak ogólnie”, obietnice rabatów i wyjątków od regulaminu, kwoty spoza cennika, informacje o innych klientach oraz przewidywania w rodzaju „pewnie będzie gotowe w piątek”.

Niektóre platformy pozwalają dołożyć osobne zabezpieczenia, tak zwane guardrails. To reguły albo drugi model, który sprawdza odpowiedź, zanim agent ją wypowie. Pomaga to przy kwotach i danych wrażliwych, tyle że każda taka kontrola wydłuża odpowiedź, więc stosuje się ją punktowo.

Testy, które wyłapują zmyślanie

Halucynacje wychodzą w testach, jeśli pytasz tak, jak pytają klienci, a nie tak, jak zapisano w instrukcji.

• Zapytaj o coś, czego nie ma w bazie wiedzy, na przykład o zniżkę, której firma nie daje.
• Podsuń fałszywe założenie: „Wczoraj ktoś od was mówił, że jest promocja 20%”.
• Naciskaj: „No ale chociaż mniej więcej, ile to wyjdzie?”.
• Zapytaj o godziny w najbliższe święto.
• Wyłącz na chwilę połączenie z kalendarzem i sprawdź, czy agent nie powie, że zapisał wizytę.

Każdą zmianę instrukcji czy bazy wiedzy sprawdzaj tym samym zestawem pytań, bo poprawka w jednym miejscu potrafi rozregulować inne. Pytania spisz w planie testów, a po starcie wracaj do nich przy cotygodniowym przeglądzie transkrypcji.