信创模盒ModelHub XC近日完成OpenAI最新开源模型Circuit Sparsity的适配与验证,并在昇腾910B4 NPU等国产算力平台上实现稳定、高效运行。
Circuit Sparsity模型
OpenAI的Circuit Sparsity稀疏模型架构(参数量0.4B、99.9% 权重为零)一经开源即引来巨大关注,其以原生稀疏架构构建可读“电路”,破解了大模型“黑箱”难题,成为AI可解释性领域的颠覆性突破和未来大模型演进的重要技术方向。
该模型采用动态剪枝等技术,电路规模较密集模型缩减16倍,颠覆传统参数竞赛,引领行业向“透明化 + 高效化”转型。OpenAI通过 “桥梁网络” 连接稀疏与密集模型,实现了对现有大模型的可解释性行为编辑。
Circuit Sparsity不仅是现有模型的优化,更提供了全新架构方法论,验证了结构性稀疏兼具高性能与高可解释性的可行性,预示下一代模型将走向“电路化”“稀疏化”设计。
ModelHub XC完成Circuit Sparsity 开源模型的适配
架构适配:
该新型极度稀疏架构算法底层基于 Transformers 架构——以Transformers为蓝本,通过引入动态稀疏约束和组件微调,从根本上重构出一个天生具有结构化稀疏性的新模型架构。同时,这一新架构的编译、计算和数据流模式,又经过优化,以充分释放如昇腾910B这类专用NPU的极致算力。
适配结果:
测试数据显示,ModelHub XC平台在昇腾910B4 NPU上对OpenAI开源Circuit Sparsity模型完成了适配与性能验证。
1. 性能提升倍数(关键指标)
请求延迟:NPU 处理单条请求平均延迟仅需 2.00 秒,CPU 则高达 56.21 秒。NPU 的单条处理速度提升了 28.11 倍。
吞吐量 (QPS):NPU 的吞吐量为 0.50 条/秒,是 CPU(0.02 条/秒)的 25 倍。
2. 结果分析
巨大性能鸿沟:从“分钟级”响应(CPU)到“秒级”响应(NPU)的跨越,证明了 Circuit Sparsity 这类稀疏模型极度依赖专用AI计算硬件(如NPU)的并行计算与高效内存访问能力,在通用CPU上运行效率极低。
关于信创模盒ModelHub XC
信创模盒ModelHub XC是面向信创算力生态的AI模型与工具平台,兼具社区和服务的功能,致力于推动国产硬件平台上的人工智能创新与落地,提供涵盖模型训练、推理到部署的全流程解决方案。
