从广告系统到 AI 芯片：我的技术转型思考
2025 年，我开始将职业方向从纯广告系统转向 AI 芯片业务（某AI芯片公司）。很多朋友问：广告和芯片有什么关系？这篇文章回答这个问题。
模式识别：底层的共通性
十年广告系统优化，我发现很多“术”其实底层逻辑相通：
| 广告系统 | AI 芯片/推理 | 共通逻辑 |
|---|---|---|
| 倒排索引压缩 (PForDelta) | 量化 (INT8/INT4) | 用更少 bit 表示同样信息 |
| 正排按需加载 (L1/L2/L3) | KV Cache / Paged Attention | 高频数据常驻，低频按需 |
| 截断策略 (5%→0.19%) | 投机解码 / Early Exit | 动态决定计算深度 |
| 漏斗逐层过滤 | Pipeline 并行 | 分层处理，逐级求精 |
| 数百G内存优化 | 显存优化 | 成本换性能的权衡 |
三个具体类比
1. 索引压缩 ↔ 模型量化
广告索引用 PForDelta 把 int32 压缩到平均 6bit。模型量化把 FP32 压缩到 INT8/INT4。
本质都是在精度损失可接受的范围内，用更少的存储和带宽换更高的吞吐。
我在压缩项目中学到的经验——先测精度损失、再推成本节省、最后优化解压速度——在模型量化中完全适用。
2. 截断策略 ↔ 投机解码
广告系统的动态截断：根据已遍历内容的质量，决定是否继续遍历倒排链。
投机解码：用小模型快速生成多个候选 token，大模型验证，验证不通过就回退。
共同点：用廉价计算决定是否需要昂贵计算。这是系统优化的终极思想。
3. 漏斗模型 ↔ 推理 Pipeline
广告漏斗：百万→万→千→个位数，逐层过滤。
推理 Pipeline：Prefill → Decode → Sampling，每个阶段的计算模式不同。
共同点：不同阶段对硬件资源（计算/内存/带宽）的需求不同，需要针对性优化。
我的独特价值
广告系统背景让我有几个芯片行业稀缺的能力：
- 成本思维：每个优化都会想“这个方案每 1000 token 省多少钱”——这正是芯片客户最关心的
- 规模化经验：广告检索系统每天处理海量广告请求的经验，天然适合理解大规模推理集群的需求
- 商业化视角：能把技术优势翻译成客户能理解的商业价值
这是我从广告系统转向 AI 芯片的第一篇思考。后续会深入某AI芯片公司的具体技术实践。