Jak działa asystent głosowy: droga zdania od słuchawki do odpowiedzi

Pięć ogniw, przez które przechodzi każde zdanie

Kiedy klient dzwoni do firmy, w której telefon odbiera agent głosowy AI, jego słowa przechodzą przez kilka osobnych programów. Każdy robi jedną rzecz i oddaje wynik następnemu.

1. Telefonia odbiera połączenie i przesyła dźwięk na serwer. Przy zwykłym numerze robi to łącze SIP od operatora, przy rozmowie na stronie internetowej przeglądarka (WebRTC).
2. Rozpoznawanie mowy, w skrócie ASR, na bieżąco zamienia dźwięk na tekst. Zapisuje słowa, ale nie zastanawia się, co znaczą.
3. Model językowy (LLM) czyta ten tekst razem z instrukcją od firmy i dotychczasową rozmową. Decyduje, co powiedzieć albo co najpierw sprawdzić.
4. Narzędzia łączą agenta z systemami firmy: kalendarzem wizyt, CRM, programem magazynowym, bramką SMS. Model sięga po nie wtedy, gdy potrzebuje prawdziwych danych, na przykład wolnych terminów.
5. Synteza mowy (TTS) zamienia gotową odpowiedź w głos, który przez telefonię wraca do słuchawki klienta.

Są też modele, które słuchają i mówią bez pośredniego tekstu. Osobne ogniwa mają za to zaletę ważną w firmie: po każdym kroku zostaje zapis, który da się przeczytać i poprawić.

Jedno zdanie pani Krystyny, krok po kroku

Poniedziałek, 8:05. Pani Krystyna dzwoni do przychodni, słyszy powitanie asystenta AI i mówi: „Chciałam przełożyć wizytę u doktora Nowaka z czwartku, bo mam wtedy badania”. W ciągu mniej więcej dwóch sekund dzieje się to:

Transkrypcja bywa zapisana bez wielkich liter i przecinków, a model i tak rozumie, o co chodzi. Terminy model bierze z grafiku, sam ich nie wymyśla. Przychodnia może jeszcze kazać agentowi dopytać o PESEL, zanim cokolwiek przełoży. Wtedy łatwiej upewnić się, że rozmawia z właściwą osobą.

Ile trwa każdy krok

Klient nie widzi żadnego z tych etapów. Słyszy tylko ciszę między swoim pytaniem a odpowiedzią i to ją ocenia.

Orientacyjnie: system czeka od kilkuset milisekund do około sekundy ciszy, żeby uznać, że klient skończył, rozpoznawanie mowy domyka tekst w kilkadziesiąt do kilkuset milisekund, model potrzebuje od około 0,2 s do ponad sekundy na pierwsze słowa, a synteza ułamka sekundy na pierwsze sylaby. Zapytanie do grafiku albo CRM trwa od kilkudziesięciu milisekund do kilku sekund. Tu decyduje system firmy.

Po zsumowaniu wyszłoby więcej, niż klient faktycznie czeka, bo dobre systemy pracują strumieniowo. Tekst powstaje, zanim klient skończy zdanie, a synteza czyta pierwsze słowa odpowiedzi, gdy model układa jeszcze następne. Liczy się więc jedna wartość, czyli opóźnienie odpowiedzi: czas od ostatniego słowa klienta do pierwszego słowa agenta. Wlicza się w niego także czekanie na koniec wypowiedzi, a o tym, kiedy system uzna, że klient skończył, decyduje wykrywanie końca wypowiedzi.

Dźwięk wchodzi przez telefon albo przez przeglądarkę

Zwykle firma chce, żeby agent odbierał jej dotychczasowy numer. Połączenie trafia wtedy do platformy przez łącze SIP od operatora albo przez przekierowanie z komórki. Dźwięk z sieci telefonicznej często ma wąskie pasmo i brzmi gorzej niż nagranie z dyktafonu, więc rozpoznawanie mowy pracuje w trudniejszych warunkach.

Druga droga to rozmowa w przeglądarce, przez mikrofon komputera albo telefonu, jak w asystencie głosowym na stronie internetowej. Tak rozmawia się z demo na stronie głównej, gdzie pięciu agentów pracuje na ElevenLabs i korzysta z przykładowych danych. Usłyszysz tam efekt całego łańcucha, razem z ciszą po pytaniu.

Gdzie w tym łańcuchu rodzą się błędy

Każde ogniwo psuje się na swój sposób. Czytając transkrypcję nieudanej rozmowy, zacznij od pytania, co system usłyszał, a dopiero potem, co odpowiedział.

• Rozpoznawanie mowy potrafi przekręcić nazwisko albo liczebnik. Jeśli zamiast „piętnastego” zapisze „piątego”, model poprawnie odpowie na źle usłyszane pytanie.
• Model językowy źle zrozumie intencję albo doda coś od siebie, na przykład godziny otwarcia, których nie ma w instrukcji. Takie halucynacje da się ograniczyć bazą wiedzy i jasnymi zakazami.
• Narzędzie nie odpowie, bo system firmy akurat nie działa. Dobrze ustawiony agent mówi wtedy wprost, że nie może sprawdzić terminu, i proponuje oddzwonienie.
• Synteza mowy przeczyta źle skrót albo liczbę, na przykład „ul.” czy „3 Maja”. Tym zajmuje się normalizacja tekstu.

Po starcie najpierw trzeba ustalić, które ogniwo zawiodło, bo każde poprawia się gdzie indziej: słownikiem nazw, instrukcją, integracją albo ustawieniami głosu.

Znając ogniwa, zadasz dostawcy lepsze pytania

Zamiast ogólnego „czy to dobrze działa po polsku” możesz zapytać o każde ogniwo osobno.

Zapytaj, jakie rozpoznawanie mowy obsługuje polski i czy da się dodać słownik nazw, na przykład nazwisk pracowników i nazw ulic. Poproś o pokaz panelu, w którym widać osobno, co system usłyszał, a co odpowiedział, przy każdej wypowiedzi. Z którymi systemami agent połączy się od razu, a co trzeba zbudować? Ile trwa odpowiedź na prawdziwym połączeniu telefonicznym, a nie w przeglądarce na biurowym internecie? No i co słyszy klient, kiedy jedno z ogniw przestaje działać?

Pełną listę pytań znajdziesz w poradniku jak wybrać dostawcę, a temat od podstaw i z przykładami omawia bezpłatny kurs o voicebotach.