Słownikword error rate
Co to jest WER w rozpoznawaniu mowy voicebota
WER (word error rate, wskaźnik błędów rozpoznawania mowy) to miara pokazująca, jak dokładnie ASR zamienia głos na tekst. Liczy się go, porównując zapis systemu ze wzorcowym, ręcznie sprawdzonym tekstem tej samej wypowiedzi. Liczbę słów, które trzeba wstawić, usunąć albo poprawić, żeby oba teksty się zgadzały, dzieli się przez liczbę słów we wzorcu.
Jak dokładnie liczy się WER
Wzór sumuje trzy rodzaje błędów: słowa podstawione (system zapisał inne słowo niż padło), słowa usunięte (system nic nie zapisał, choć klient coś powiedział) i słowa dodane (system dopisał coś, czego nikt nie powiedział). Sumę tych trzech liczb dzieli się przez liczbę słów we wzorcowym tekście. Im niższy wynik, tym dokładniejsze rozpoznawanie mowy. Zero oznacza zapis identyczny ze wzorcem.
Do policzenia WER potrzeba dwóch rzeczy: nagrania rozmowy i jego ręcznie sprawdzonego zapisu, z którym porównuje się to, co zwrócił system.
Bez takiego wzorca sama transkrypcja nic nie mówi o tym, ile w niej błędów.
Krzyżanowski, Warszawie i inne kłopoty polszczyzny
Gabinet specjalistyczny Nowak, dzień dobry, tu asystent AI. Poproszę nazwisko do zapisu na wizytę.
Krzyżanowski, przez rz i ż z kropką.
Krzyżanowski, zapisuję.
Dla WER zapis „Kryżanowski” to jeden błąd, tak samo jak zgubione „no”, a dla recepcji to nieznaleziony pacjent.
Odmiana przez przypadki sprawia, że to samo słowo w różnych zdaniach wygląda inaczej, a WER porównuje całe słowa. Pomyłka w samej końcówce, na przykład „Warszawy” zamiast „Warszawie”, liczy się więc jak błąd całego słowa, choć sens zapisu prawie się nie zmienia. Podobnie z pisownią łączną i rozdzielną: gdy system zapisze dwa słowa jako jedno, wynik pogorszy się o więcej niż jeden błąd. Utrudniają to jeszcze gwara, akcenty i hałas, które psują rozpoznawanie, zanim w ogóle zacznie się liczenie błędów.
Ogólny wynik WER a słownictwo twojej firmy
WER liczony dla ogólnej mowy to co innego niż WER dla wąskiego słownictwa branży, na przykład nazw zabiegów kosmetycznych czy części samochodowych. Dostawca, który podaje jeden ogólny wynik, nie mówi jeszcze, jak system poradzi sobie z nazwiskami i słownictwem twojej firmy.
Poproś o test na prawdziwych zdaniach z twojej branży, zanim podejmiesz decyzję.
Posłuchaj, jak to brzmi w praktyce
Pięciu asystentów demo rozmawia po polsku w przeglądarce, bez instalowania czegokolwiek. Dane w rozmowach są przykładowe, ale sposób prowadzenia rozmowy jest taki sam jak w prawdziwym wdrożeniu.