Słownik pojęć
pamięć KV
Definicja, znaczenie i użycie terminu w kontekście publikacji.
Mechanizm przechowujący wybrane pośrednie wyniki obliczeń modelu językowego, aby nie obliczać ich ponownie przy generowaniu kolejnych tokenów.
Pamięć KV przechowuje wartości key i value obliczone dla wcześniejszych tokenów w modelach wykorzystujących mechanizm uwagi. Dzięki temu podczas generowania dalszej części odpowiedzi model może ponownie użyć tych wyników zamiast obliczać je od początku. Przyspiesza to działanie, ale zwiększa zużycie pamięci.