Jaki model językowy wybrać do asystenta głosowego, gdy liczy się każda sekunda

Co model robi w rozmowie, a czego nie robi

Sam model językowy niczego nie słyszy i nic nie mówi. W całym łańcuchu asystenta głosowego dostaje tekst z rozpoznawania mowy, a jego odpowiedź czyta na głos synteza. Pomiędzy tymi krokami robi rzecz najtrudniejszą: łączy to, co klient powiedział, z instrukcją od firmy i z całą dotychczasową rozmową. Potem albo odpowiada, albo sięga po narzędzie, na przykład sprawdza wolne godziny w kalendarzu.

Model nie zna twojej firmy. O cenniku, godzinach otwarcia, zasadach rezerwacji i nazwiskach pracowników dowiaduje się z instrukcji dla agenta i bazy wiedzy, które przygotowujesz ty albo dostawca. To, co model „wie” sam z siebie, pochodzi z tekstów, na których go uczono. Bywa nieaktualne.

Czekanie na czacie a czekanie w słuchawce

Na czacie klient widzi kropki, które znaczą, że ktoś pisze, i spokojnie czeka nawet kilkanaście sekund. Przez telefon nie widzi nic, więc każda dłuższa cisza brzmi jak kłopot z połączeniem. Model, który odpowiada mądrze, ale po czterech sekundach, przegrywa w słuchawce z prostszym, który odzywa się od razu.

A model odpowiada za sporą część opóźnienia odpowiedzi. Zanim powie pierwsze słowo, musi przeczytać instrukcję i wszystko, co dotąd padło w rozmowie, a im jest większy i im więcej tekstu dostaje, tym dłużej to trwa. Dlatego modele „rozumujące”, które najpierw analizują problem, a potem odpowiadają, rzadko nadają się do rozmowy na żywo. Potrafią myśleć kilka sekund. Lepiej sprawdzają się po rozłączeniu, na przykład przy streszczeniu rozmowy do CRM.

Mniejszy czy większy model

Rozmiar modelu podaje się w miliardach parametrów, czyli liczb, których model nauczył się podczas treningu. Małe modele mają ich kilka miliardów, duże dziesiątki albo setki miliardów, przy czym wielu dostawców tej liczby nie ujawnia. To orientacyjne rzędy wielkości. Rozmiar nie mówi też wszystkiego o jakości.

Moim zdaniem do umawiania wizyt i podawania godzin otwarcia wystarcza model mniejszy albo średni, pod warunkiem że dostaje krótką instrukcję i dobre narzędzia. Większy dałbym tam, gdzie klient opowiada zawiłą historię, na przykład przy zgłoszeniu szkody z OC albo reklamacji, w której agent musi połączyć kilka faktów.

Największego modelu nie bierze się na wszelki wypadek. Każda rozmowa zapłaci za to ciszą i rachunkiem.

Polszczyzna sprawdza model mocniej niż angielski

Po polsku model musi pilnować rzeczy, których angielski prawie nie ma. Czasowniki w czasie przeszłym mają rodzaj, więc agent z kobiecym głosem powinien mówić „sprawdziłam”, a z męskim „sprawdziłem”. Pomyłkę słychać od pierwszego zdania.

Zwracanie się per Pan i Pani wymaga zgadnięcia płci rozmówcy. Przy imieniu Sasza albo przy słabym połączeniu łatwo o wpadkę, więc bezpieczniej ustawić formy bezosobowe: „Który termin wybrać?”, „Czy mogę prosić o numer?”.

Trudna jest też odmiana nazwisk i nazw: „u doktor Zielińskiej”, „do pana Kowalskiego”, „na ulicy Kilińskiego”, „z panią Wójcik”, ale „z panem Wójcikiem”. Mniejsze modele częściej się tu potykają. Polski tekst zwykle dzieli się też na więcej tokenów niż angielski o tej samej treści, więc ta sama rozmowa jest dla modelu trochę dłuższa i trochę droższa. Liczby i daty model powinien podawać w formie, którą synteza przeczyta bez błędu, a to już zadanie dla normalizacji tekstu.

Temperatura, czyli ile swobody zostawić modelowi

Temperatura to ustawienie, które decyduje, jak bardzo model może odchodzić od najbardziej przewidywalnej odpowiedzi. Wysoka daje bardziej urozmaicone sformułowania. Niska sprawia, że na to samo pytanie agent odpowiada prawie zawsze tak samo.

W obsłudze klienta ustawia się ją nisko. Dwóch klientów, którzy pytają, czy sklep jest otwarty w niedzielę niehandlową, ma usłyszeć to samo. Niska temperatura nie leczy jednak zmyślania odpowiedzi: jeśli faktu nie ma w instrukcji ani w bazie wiedzy, model może go wymyślić przy każdym ustawieniu.

Rachunek za tokeny w jednej rozmowie

Dostawcy modeli liczą opłaty za tokeny, czyli kawałki słów. Płaci się osobno za tekst, który model czyta, i za tekst, który pisze. W rozmowie telefonicznej kryje się tu haczyk: przy każdej wypowiedzi klienta model czyta od nowa całą instrukcję i całą dotychczasową rozmowę.

Rachunek na wymyślonych liczbach. Instrukcja agenta ma 2 000 tokenów, a rozmowa składa się z 10 wymian. Model przeczyta w niej ponad 20 000 tokenów, choć klient powiedział może 150 słów. Przy 3 000 rozmów miesięcznie robią się z tego dziesiątki milionów tokenów. Część dostawców liczy taniej powtarzany początek instrukcji, co trochę zmienia rachunek.

Przy mniejszych modelach koszt tokenów bywa niewielki w porównaniu z syntezą mowy i minutami telefonii. Przy dużych potrafi urosnąć do pozycji, którą widać na fakturze. Poproś dostawcę o rozbicie ceny minuty na składniki, a dopiero potem licz, ile kosztuje asystent głosowy w twojej firmie.

O co zapytać dostawcę, zanim wybierzesz model

• Jaki model prowadzi rozmowę i czy można go zmienić bez przebudowy agenta?
• Jak wygląda hosting danych: gdzie model działa, czy dane z rozmów zostają w Unii Europejskiej i czy mogą posłużyć do trenowania?
• Czy możecie puścić ten sam scenariusz na dwóch różnych modelach, żebym usłyszał różnicę w tempie i w jakości?
• Co się dzieje, gdy dostawca modelu ma awarię, i czy jest model zapasowy?
• Jak sprawdzacie polską gramatykę, na przykład rodzaj czasowników i odmianę nazwisk?
• Czy koszt tokenów jest wliczony w cenę minuty, czy liczony osobno?

Brak odpowiedzi na pierwsze pytanie też jest informacją: nie wiesz, za co płacisz.