Кэширование промптов
Просто
Повторяющееся начало запроса ИИ не пересчитывает — берёт готовое.
Бизнес
Главный рычаг стоимости длинных контекстов: одинаковая «шапка» запроса тарифицируется в разы дешевле при повторе.
Техно
Переиспользование KV-префикса на стороне провайдера при совпадении начала промпта; экономит и деньги, и латентность первого токена.