Wykrywanie końca wypowiedzi: kiedy asystent głosowy może zacząć mówić

VAD i decyzja o końcu tury

W łańcuchu rozmowy pracują tu dwa mechanizmy. Pierwszy to VAD, czyli wykrywanie aktywności głosowej. Wiele razy na sekundę sprawdza, czy w dźwięku jest ludzka mowa, czy cisza albo szum. Sam z siebie nie wie jednak, czy cisza oznacza koniec zdania, czy zastanowienie.

Drugi mechanizm podejmuje właśnie tę decyzję. Tura to po prostu kolej jednej osoby w rozmowie, a system musi rozstrzygnąć, czy tura klienta się skończyła i czy agent może mówić. Od tego zależy, czy agent wchodzi w słowo i ile ciszy słychać przed jego odpowiedzią.

Próg ciszy i jego cena

Najprostsza reguła brzmi tak: jeśli klient milczy dłużej niż ustalony czas, to skończył. Ten czas zwykle wynosi od kilkuset milisekund do mniej więcej sekundy.

Krótki próg sprawia, że agent odpowiada żwawo, ale wskakuje w każdą pauzę na oddech. Długi chroni przed wchodzeniem w słowo, tyle że dokłada martwą ciszę do każdej odpowiedzi, także po zwykłym „tak”. Ta cisza wchodzi do sumy, z której składa się opóźnienie odpowiedzi, obok pracy modelu i syntezy.

Jednej dobrej wartości dla wszystkich rozmów nie ma. Lepsze systemy zmieniają próg w trakcie rozmowy, zależnie od tego, o co agent zapytał.

Dyktowanie PESEL-u, telefonu i numeru konta

Numery ludzie podają kawałkami. PESEL ma 11 cyfr i zwykle słychać go w parach albo trójkach: „osiemdziesiąt cztery, zero trzy, dwanaście…”. Numer komórki to 9 cyfr, najczęściej w trójkach. Numer konta ma ich aż 26, więc dyktuje się go z karty albo z ekranu, z pauzą na odszukanie kolejnej grupy. Dla prostego systemu każda taka pauza wygląda jak koniec wypowiedzi. Tak to brzmi, gdy pacjent zapisuje się do gabinetu fizjoterapii na zabiegi ze skierowaniem z NFZ:

Agent nie przerwał po czterech cyfrach, bo wie, że PESEL ma ich 11. Pomagają tu cztery rzeczy: dłuższy próg ciszy włączany tylko po prośbie o numer, liczenie cyfr, powtórzenie numeru parami na koniec i zdanie „spokojnie, poczekam”, które zdejmuje z rozmówcy presję. Przy długich numerach, jak numer konta, rozsądną alternatywą bywa wpisanie cyfr na klawiaturze telefonu, czyli wybieranie tonowe DTMF.

Starsi rozmówcy i ludzie, którzy myślą na głos

Starsze osoby często zaczynają od wstępu: „Proszę pani, bo ja dzwonię, bo córka mi mówiła, że…”. W środku zdania robią pauzy, bo szukają słowa albo kartki z numerem. Agent ustawiony pod szybkich trzydziestolatków wskakuje w te pauzy, a rozmówca gubi wątek i zaczyna od początku.

Podobnie działają wtrącenia, które znaczą „poczekaj”: „yyy”, „zaraz, zaraz”, „momencik, poszukam kartki”. Dobry system czeka dłużej i czasem dopowiada „Oczywiście, poczekam”.

W firmach, do których dzwoni dużo seniorów, lepiej ustawić agenta odrobinę wolniej, zamiast ścigać się o dziesiąte części sekundy. Przychodnia albo ośrodek pomocy społecznej zyskają na tym więcej niż sklep z elektroniką. Pozostałe ustawienia pod starszych rozmówców, jak tempo mowy i powtórzenia, dobierzesz według poradnika o asystencie głosowym dla seniorów.

Wykrywanie, które słucha treści, a nie tylko ciszy

Lepsze systemy nie patrzą wyłącznie na zegar. Sprawdzają, czy zdanie brzmi na skończone. „Chciałabym się zapisać na…” nie jest końcem nawet po sekundzie ciszy, a samo „tak” jest końcem od razu. Część systemów słucha też intonacji, bo w polskim zdaniu oznajmującym głos pod koniec zwykle opada.

Drugą wskazówką jest kontekst. Po pytaniu „Czy termin pasuje?” agent może reagować szybko, bo spodziewa się krótkiego „tak” albo „nie”. Po prośbie o adres czy numer powinien czekać dłużej. Zapytaj dostawcę, czy jego system potrafi zmieniać to zachowanie zależnie od pytania.

Typowe objawy i co z nimi zrobić

Sama transkrypcja łatwo to ukrywa, bo tekst nie pokazuje, że dwie osoby mówiły naraz, więc przy analizie transkrypcji trzeba słuchać także nagrań. Gdy problem jest odwrotny i to klient wchodzi agentowi w słowo, działa już inny mechanizm: przerywanie wypowiedzi.