Performance & Caching
13 thg 11, 2026•16 phút đọc
Kiến Trúc LLM Prompt Caching: Tái Sử Dụng Prefix KV-Cache, Ngưỡng 1.024 Token Và Tối Ưu Hóa Chi Phí FinOps TTFT Dưới 300ms
Mổ xẻ cơ chế Prefill vs Decode Phase của GPU, giải mã nguyên lý Prefix KV-Cache Reuse và ngưỡng 1.024 token của Anthropic/OpenAI, kết hợp lá chắn Semantic Cache đưa chi phí về 0.2047¢/task.