通途 KV Cache 压缩适配智驾 NPU,破解车载大模型内存膨胀难题

互联网
2026
11/16
13:35
分享
评论

上海通途半导体与某头部自动驾驶大算力芯片公司深化协同,将自研 KV Cache 压缩方案深度对接芯片 NPU 推理引擎,专门解决 Transformer 类车载大模型推理时缓存暴涨、内存挤占、DDR 频繁访问等痛点,提升算力有效利用率、压低推理时延。

端到端智驾大模型推理过程中,随着上下文序列拉长,KV 缓存会快速膨胀,持续吞噬宝贵的片外内存容量,带来高频、高流量的内存读写。即便芯片标称算力很高,一旦大量时间消耗在等待缓存数据搬运,就会出现算力空转、推理延迟抬升,制约实时决策。车载场景对延迟敏感,同时内存、带宽、散热都存在严苛车规约束,很难无限制扩容。

通途 KV Cache 压缩方案支持可控精度压缩,对推理过程动态生成的键、值缓存进行实时压缩,直接减少运行态内存占用,降低 DDR 的访问频次与吞吐压力,缩短数据搬运等待时间,改善首帧时延与连续推理吞吐。方案贴合 NPU 内部缓存调度、数据流排布,额外开销极低,可以和原生算子流水线并行运行。

依托该头部大算力芯片平台面向智驾 Transformer 的硬件加速能力,二者结合之后,平台能够承载更长上下文、更多任务并行的大模型推理,在同样内存规格下提升模型容量上限,保障城区领航、舱驾一体等复杂场景的实时响应。

后续将围绕动态路况、多轮交互、长时序场景持续打磨压缩策略,在精度、压缩比、时延之间找到量产最优解。这套方案证明,通过缓存层压缩,可以打通“算力硬件”和“大模型落地”之间的内存墙,让车载 NPU 的算力真正释放出来。

THE END
广告、内容合作请点击这里 寻求合作
免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表砍柴网的观点和立场。

相关热点

相关推荐

1
3