Кэш
Просто
Запоминание готовых ответов, чтобы не считать одно и то же дважды.
Бизнес
Прямая экономия: повторные обращения обслуживаются мгновенно и почти бесплатно.
Техно
Слои: prompt caching у провайдера (KV-cache-префиксы, до −90% цены входа), кэш ответов, CDN/ISR на вебе; инвалидация — по TTL/версии.