3月17日，Kimi官方账号回应马斯克对其最新成果的点赞，称“你的火箭造得也不错”。
据报道，近日，Kimi团队发布技术报告，提出全新Attention Residuals（注意力残差）机制，对深度学习领域沿用近十年的传统残差连接实现颠覆性重构，迅速获得全球关注。
传统残差连接以“固定等权累加”传递信息，层数增加易导致浅层信息稀释、训练效率低、稳定性差。
而Kimi的创新相当于给AI装了“智能筛选器”，将Transformer注意力机制迁移到模型深度维度，让每一层动态筛选此前有用信息、压低冗余，提升传递效率。
实测显示，48B参数模型训练效率提升1.25倍，科学推理、数学题作答成绩分别提升7.5%、3.6%，有效解决传统模型训练失衡问题。
以挑剔著称的马斯克转发研究并评论“Kimi的作品令人印象深刻”，其旗下xAI正处重组期，此次认可足见技术分量。
【来源：凤凰网科技】
