近日，ACM Multimedia 2026 多项国际挑战赛公布最终成绩。由中国科学技术大学信息学院自动化系於俊老师带队，云知声与中国科学技术大学联合组成的研究团队从全球众多参赛队伍中脱颖而出，在多个多模态智能理解相关挑战赛中取得优异成绩，斩获四项冠军、一项亚军。
其中，团队在 MAC 2026 微动作分析挑战赛的两个赛道中均获得冠军，分别为 Track 1：Micro-Action Recognition（MAR，微动作识别） 和 Track 2：Multi-label Micro-Action Detection（MMAD，多标签微动作检测）；同时，在 MultiMediate：Multi-modal Behaviour Analysis for Artificial Mediation（面向人工调解的多模态行为分析挑战赛） 中获得冠军；此外，团队在 LAVA：Large Vision–Language Model Learning and Applications（大型视觉-语言模型学习与应用挑战赛） 中获得冠军和亚军。相关成绩充分展现了团队在微动作识别、多模态行为分析与视觉-语言模型理解领域的综合研究实力。
ACM Multimedia（ACM MM）是多媒体领域最具影响力的国际顶级学术会议之一，长期聚焦多模态理解、视频分析、视觉-语言模型、人机交互与多媒体智能应用等前沿方向。其同期举办的 Grand Challenges 面向真实复杂场景中的多模态感知、理解与应用问题，吸引了全球高校、研究机构和工业界团队广泛参与。
本次获奖任务覆盖微动作识别、多标签微动作检测、多模态行为分析和大型视觉-语言模型应用等方向。围绕相关任务，中国科大-云知声联合团队针对微动作时序建模、多标签动作定位、多模态行为理解和视觉-语言语义建模等关键问题开展系统研究，在算法设计、模型训练和工程实现方面形成了一系列有效方案，体现了团队在多模态智能理解方向的持续积累与综合实力。
一、MAC track1：细粒度全身微动作理解
赛道排行榜：
论文首页：
研究团队针对 MA-52 微动作识别中动作幅度弱、类别相似度高和长尾分布严重的问题，提出 SoftRerank 方法。首先以 InternVideo2.5 作为视频编码骨干，对微动作片段进行端到端微调，获得更适合细粒度动作区分的视频表征。随后利用数据集自带的“粗粒度身体运动组—细粒度动作标签”层级结构，构建粗分类头和细分类头，并通过层级软融合将粗粒度先验注入细粒度预测，增强两级标签的一致性。针对易混淆类别，进一步设计轻量级候选标签重排序器，从主模型输出的 Top-K 候选中重新评估视频与标签的匹配关系，重点优化难样本判别。训练阶段结合类别均衡采样与反频率重加权，降低高频类别主导效应，提升尾部类别识别能力。
二、MAC track2：多标签微动作检测
赛道排行榜：
论文首页：
研究团队针对未裁剪视频中的多标签微动作检测问题，提出 Temporal Adapter Pyramids 方法。该任务需要同时定位动作起止时间并识别类别，难点在于微动作持续时间短、视觉变化弱、不同动作可重叠出现。方法以冻结的 VideoMAE V2 作为视频骨干，保留预训练语义能力，同时在高层 Transformer 中插入轻量级一维时间适配器，对完整时间序列进行参数高效微调，增强短时局部运动感知。进一步构建时间适配器金字塔，输出不同时间分辨率的特征，并通过跨层融合实现多尺度信息交换，使模型同时利用局部高频线索和高层语义。检测端采用边界感知的多尺度分类与定位头，预测每类动作的时间区间。最后加入类别感知校准，根据动作时长先验、端点聚类和候选重排序优化密集重叠预测，降低误检并提升定位精度。
三、MultiMediate挑战赛：面向人工调解的多模态行为分析挑战赛
赛道排行榜：
论文首页：
研究团队面向多人群体对话中的眼神接触检测，提出 MV-GazeLLM，将大视觉语言模型改造成判别式多视角分类器。方法包含两部分：一是空间角色对齐，对目标人及其正前、左侧、右侧等多视角视频建立固定输入顺序，并结合以目标人为中心的相对方向标签空间，减少因座位位置变化带来的几何歧义；二是多视角时序 Token 复用模块，先在各视角内聚合时间上下文，再通过几何条件约束的跨视角注意力融合不同机位信息，并结合头部姿态先验筛选紧凑 token 输入 LLM。该方法同时利用外观、空间关系与时序线索，提升了多人场景下细微注视变化的判别能力。
四、LAVA挑战赛：大型视觉-语言模型学习与应用挑战赛
赛道排行榜：
冠军论文首页：
研究团队针对长文档、多语言、复杂版式中关键信息稀疏、证据定位困难和答案不稳定等挑战，PageRAG-H 构建了检索增强的分层文档智能框架。其核心是 Harness-based 推理机制：系统先通过页面级视觉检索锁定候选证据页，再根据问题类型组织上下文，引导视觉语言模型在限定页面内完成证据定位、跨语言理解与答案推理。随后，Harness 对输出进行格式解析、答案规范化、证据页一致性检查和异常兜底，并在列表型、多证据型问题中触发分解与聚合。该机制将大模型从开放式生成器转化为受控文档推理器，提升了复杂 PDF 问答的稳定性、可追溯性和复现可靠性。
亚军论文首页：
针对长篇PDF页数多、视觉上下文受限及推理资源严格受约束等问题，研究团队提出一种融合多层次文档解析与多智能体协同决策的视觉问答框架。该框架将任务分解为页面级证据检索、关键证据剪枝与高分辨率答案抽取三个层次：首先以低分辨率扫描文档并定位候选页面，随后通过必要性判断压缩证据集合，最终在高分辨率证据页上完成答案生成与出处标注。为提高标签与答案的可靠性，系统引入多个异构视觉语言模型进行两轮独立推理，依据答案和证据的一致程度实施分层投票，并利用大规模仲裁模型完成证据核验、答案校正与困难样本重判。在此基础上，将多智能体产生的高置信度决策结果蒸馏至轻量级模型，使其能够在单张A100 GPU和限定时间内独立完成端到端推理。该方案兼顾长文档理解精度、决策鲁棒性与部署效率，为资源受限场景下的复杂文档视觉问答提供了可复现的解决路径。
近年来，云知声与中国科大围绕多模态智能、视频内容理解、视觉-语言建模与人机交互等方向持续开展联合攻关，形成了从算法研究、模型训练到场景应用的长期合作基础。双方面向真实复杂环境中的多模态感知与理解需求，持续推动相关技术在智能服务、行业应用和人机交互系统中的转化落地。本次 ACM MM 2026 国际挑战赛成绩，集中体现了联合团队在细粒度动作理解、多模态行为建模、大型视觉-语言模型应用等方向的研究积累，也展现了团队在国际高水平竞赛中的算法创新能力与工程实践能力。
面向未来，云知声-中国科大联合团队将继续聚焦多模态感知与理解、视频行为分析和人工智能基础模型研究，进一步提升模型在开放环境中对人体细微动作、复杂交互行为和跨模态语义信息的解析能力。团队将持续探索多模态大模型在真实场景中的可靠应用，推动相关技术向更自然、更高效、更可信的人机交互方向发展，为多媒体智能理解和人工智能应用创新提供技术支撑。
