Słowniktoken
Co to są tokeny w rozmowie z asystentem głosowym
Token to najmniejszy kawałek tekstu, na jaki model językowy dzieli słowa, zanim zacznie je przetwarzać: czasem całe krótkie słowo, czasem tylko jego fragment. Tokeny liczą się przez cały czas rozmowy, bo z nich składa się okno kontekstu, a dostawcy modeli rozliczają się właśnie za ich liczbę, nie za minuty czy słowa.
Tokeny zamiast słów: jak model dzieli tekst
Model nie czyta tekstu literka po literce ani słowo po słowie, tylko w kawałkach ustalonych wcześniej przez twórcę modelu. Te kawałki to właśnie tokeny. Krótkie, popularne słowo to często jeden token, a dłuższe albo rzadsze słowo, choćby skomplikowane nazwisko, może rozbić się na kilka tokenów. Po polsku, z odmianą przez przypadki i długimi wyrazami złożonymi, tekst często zużywa więcej tokenów niż ten sam sens wyrażony po angielsku.
To ma znaczenie przy rozliczeniach: dostawca modelu językowego nalicza opłatę za tokeny wysłane do modelu i tokeny, które model wygenerował w odpowiedzi. Dłuższa instrukcja systemowa i obszerniejsza baza wiedzy dołączona przez RAG oznaczają więcej tokenów przy każdej turze rozmowy, nawet jeśli sama odpowiedź jest krótka.
Trzy krótkie kwestie i to, czego w nich nie słychać
Kwiaciarnia Storczyk, dzień dobry, tu asystent AI.
Chciałabym zamówić bukiet z dostawą na jutro, na urodziny.
Chętnie pomogę. Jaki budżet ma pani na myśli i na jaką godzinę dostawa?
Każda z tych kwestii to niewiele tokenów.
Model widzi jednak przy okazji całą instrukcję systemową i dotychczasową część rozmowy, więc rzeczywista liczba przetworzonych tokenów jest znacznie większa niż to, co słychać w słuchawce.
Tokeny w rachunku firmy
Tokenów nie musisz liczyć ręcznie.
Trzeba za to rozumieć, że koszt rozmowy z agentem zależy od jej długości w minutach i od tego, ile tekstu model czyta przy każdej turze: instrukcji, fragmentów bazy wiedzy i historii dialogu. Krótsza, dobrze napisana instrukcja i sprawnie działający RAG zwykle obniżają zużycie tokenów bez zmiany jakości rozmowy. Tokeny to jednak tylko jedna pozycja obok minut rozmów i abonamentu, więc zanim ocenisz koszt asystenta głosowego, rozbij go na wszystkie te składniki.
Posłuchaj, jak to brzmi w praktyce
Pięciu asystentów demo rozmawia po polsku w przeglądarce, bez instalowania czegokolwiek. Dane w rozmowach są przykładowe, ale sposób prowadzenia rozmowy jest taki sam jak w prawdziwym wdrożeniu.