小型模型走向端侧：轻量化推理的实用路径

为什么小模型重新受到关注

推理成本里，显存占用和响应延迟是两个绕不开的约束。参数规模越大，硬件门槛越高，很多场景下再好的效果也难以落地。

同时，一部分任务本身并不需要极强的通用能力。分类、抽取、摘要、改写这类边界清晰的任务，小模型往往已经够用，而这类任务恰恰是调用量较大的部分。

量化：把数字变小

量化的思路是把权重和激活值从较高精度映射到较低精度，比如从 32 位降到 8 位甚至 4 位。存储占用随之成倍下降，内存带宽压力也明显缓解。

代价是精度损失。损失大小与量化粒度、校准数据质量直接相关。分组量化、混合精度等做法都是在精度和体积之间找位置，实际项目中通常需要用自己的验证集实测，而不是照搬公开榜单。

蒸馏：用大模型教小模型

蒸馏让大模型充当教师，用它的输出或中间分布来训练小模型。学生模型学到的不仅是最终答案，还包括答案之间的相对偏好。

对结构相近、任务集中的场景效果不错，但如果小模型本身容量差距过大，蒸馏收益会迅速衰减。数据量、师生模型的任务匹配度、以及训练轮次都会影响最终结果。

工程侧的取舍

除了算法，实际落地还要考虑算子支持、批处理策略、内存峰值和并发能力。有些框架对特定算子没有高效实现，理论上的加速就体现不出来。

一个务实的做法是先明确指标：延迟可接受的上限、单机承载的并发量、允许的显存占用。有了具体数字，选型就不再是模型榜单的抄写。