Co to jest okno kontekstu w asystencie głosowym

Co mieści się w oknie kontekstu podczas rozmowy

Poza samym dialogiem w oknie kontekstu siedzi prompt, czyli instrukcja opisująca rolę agenta, oraz fragmenty dokumentów wyciągnięte przez RAG, gdy klient zapyta o coś, co wymaga sprawdzenia w bazie wiedzy firmy. Im więcej takich elementów naraz, tym więcej miejsca w oknie zajmują, zanim w ogóle dojdzie do samej rozmowy. Większość rozmów telefonicznych, nawet dłuższych, mieści się w oknie współczesnych modeli bez problemu. Kłopot pojawia się rzadko: przy bardzo rozwlekłych rozmowach albo wtedy, gdy do instrukcji dołączono za dużo tekstu na zapas.

Gdy rozmowa jest dłuższa niż okno

Gdy najstarsza część rozmowy wypadnie z okna kontekstu, agent traci do niej dostęp i może dopytać o coś, co klient powiedział na początku. Model dosłownie nie widzi już tamtego fragmentu.

To ograniczenie, nie błąd systemu. Rozsądnie ustawiony agent dopytuje wtedy wprost, zamiast zmyślać odpowiedź na podstawie luki w pamięci.

Rozmiar okna przy wyborze modelu

Wybierając model do rozmów telefonicznych, nie szukaj największego okna. Nawet mniejsze modele mają dziś okna wystarczające na typową rozmowę, a ważniejsze jest to, co dzieje się z resztą łańcucha: jak szybko model odpowiada i jak dobrze rozumie polszczyznę. Tak właśnie porównuje się modele językowe w rozmowie telefonicznej, z rozmiarem okna jako jednym parametrem z wielu.