标签: 内存管理

服务重启后，推荐器的 BOCPD 追踪器、信号服务的状态全部丢失，需要重新预热。一次重启 = 数十分钟的策略真空期。状态持久化就是解决这个。

为什么 KV Cache 是大模型推理的头号内存杀手？PagedAttention 如何用 OS 的分页思想解决——用广告正排索引的分层加载类比，彻底搞懂。