AI 芯片核心概念：用广告系统类比理解 NPU

是什么：NPU 在做什么？

NPU（神经网络处理器）本质上是一个高度并行化的矩阵乘法加速器。它和 CPU 的核心区别：

CPU NPU
擅长 复杂控制流、分支预测 大规模张量运算
核心操作 标量加减 矩阵乘加 (MAC)
并行度 几个到几十个核心 几千到上万个 MAC 单元
内存模式 通用 cache 专用片上缓存 (SRAM)

类比：CPU 像是一个能做复杂决策的广告运营（分析、判断、调整策略），NPU 像是广告投放引擎（海量请求、固定逻辑、极致吞吐）。

为什么需要 NPU？

大模型推理本质上就是两件事：矩阵乘法和逐元素激活函数。前者占了 > 95% 计算量。

CPU 做矩阵乘法：一个 [1×4096] × [4096×4096] 需要 1670 万次乘加，CPU 逐行逐列地算，耗时以秒计。

NPU 做同样的计算：用 systolic array（脉动阵列）一次性流水线处理多行多列，耗时以微秒计。

这就像你广告检索系统用倒排索引一条条拉 vs 批量 ANN 向量检索——本质是计算密度和并行度的差异。

去掉 NPU 的代价

假设没有 NPU，纯靠 CPU 跑大模型推理：

  • 一个 GPT-4 级别的模型，单次推理在 CPU 上需要 几分钟
  • 如果用 GPU，单次推理降到几百毫秒
  • 如果用专用 NPU（如昆仑芯），进一步优化到亚百毫秒级别

去掉 NPU，SaaS 产品中集成的 AI 功能（如智能诊断、自动文案生成）在 CPU 上根本无法满足实时性要求。

对比你的经验：没有倒排索引的广告检索，每来一个 query 都要全库扫描，QPS 连 1 都撑不住。

覆盖多少场景？

NPU 不只是“跑大模型”。它的核心场景：

场景 计算特征 广告类比
大模型推理 大批量 token-by-token 解码 广告出价实时计算
推荐模型训练 稀疏特征 × 巨大 embedding 广告正排特征拼接
图像/视频处理 卷积运算 广告素材特征提取
科学计算 矩阵分解 广告 CTR 模型训练

你在广告系统里优化的那些环节——特征计算、模型推理、向量检索——在芯片层面都能找到对应的加速模式。

不变的本质

无论是 NPU、GPU 还是 TPU，AI 芯片的底层逻辑只有三条：

  1. 计算密度 > 控制复杂度：芯片面积大部分给乘加器，少部分给控制逻辑
  2. 数据搬运 > 数据计算：内存带宽瓶颈比计算瓶颈更难解决（memory wall）
  3. 批量 > 单次：一次处理一个 batch 的效率远高于逐个处理

这三条对应广告系统的：

  1. 漏斗设计：精排复杂模型只跑少量候选，粗排用简单模型覆盖大候选集
  2. 索引设计：正排分层（L1/L2/L3），热数据常驻、冷数据按需——和芯片的寄存器/共享内存/全局显存三层结构一模一样
  3. 请求批处理：把多个广告请求合并成一个 batch 一起打分，和 GPU 的 warp 调度同构

元结构映射

把 AI 芯片和广告系统做一个完整的结构映射：

广告系统                          AI 芯片
────────                        ──────
广告请求 (query)         →      指令/数据输入
倒排检索                  →      Memory Load（从显存读到寄存器）
正排加载 (L1/L2/L3)      →      Cache Hierarchy (RF/SRAM/HBM)
质量分计算                →      矩阵乘 (MAC Array)
精排打分                  →      Softmax / LayerNorm
截断 (动态截断策略)       →      Early Exit / Top-K Sampling
出价调整 (实时竞价)       →      动态频率调压 (DVFS)
结果输出                  →      Token 输出

最深层的同构：漏斗逐层过滤 = 数据逐级流动。每层都做“减少候选 + 增加精度”的权衡，每一层都受延迟和带宽的约束。

关联我的经验

我在广告系统中做了十年系统优化，切换到芯片领域后，发现最核心的能力不是“懂芯片”，而是四个元技能：

  1. 性能分析直觉：知道一个系统慢了，第一反应是“瓶颈在计算还是IO？”——这在芯片领域同样适用，只是工具从 perf 变成了 roofline model
  2. 成本思维：每个优化都会算“ROI 多少”——这正是芯片客户最关心的：你的卡 1 块钱能跑多少 token？
  3. 分层设计：知道什么该放 L1、什么该放 L2——对应芯片的寄存器分配和内存管理
  4. 客户沟通：能把技术优势翻译成商业价值——这和说服广告主提高出价的逻辑完全一样

昆仑芯业务工程师的核心工作：把芯片的算力优势翻译成客户能理解的商业价值。而我在广告系统八年做的最核心的事就是——把算法效果翻译成 charge 增长。

一句话总结本质

NPU 就是硬件化的广告检索漏斗：用空间换时间，用并行换吞吐，用分层换效率。