当 “智慧视听” 加速发展，如何让异构算力不再是 “各自为战” 的资源孤岛，让 AI 推理高效支撑海量用户的实时交互需求？某省级广电找到了这两大难题的解决之道。
随着业务逐渐向智能推荐、虚拟互动、内容 AI 审核等方向升级，省级广电原有的 IT 底座新增了以下难题：
一是异构算力管理难。为支撑不同 AI 场景，省级广电陆续部署了不同类型的 GPU、NPU 硬件，造成算力资源分散，既无法实现统一管理与运维，也难以灵活调配，资源利用率低和算力缺口同时存在。
二是实时推理响应慢。内容创作、智能审核、智能推荐等 AI 新兴场景，对 AI 推理的 “响应速度” 的要求很高，然而不同场景需要部署多种类别的大模型和小模型，传统模型的开发及部署环境配置又相对复杂。
在青云 AI 智算平台与智算解决方案的支持下，省级广电实现了自动化、智能化地调度与管理智算资源，为 AI 业务开发与部署提供强有力的支撑。
对异构算力的集约化纳管。实现 NVIDIA、昇腾等智算的统一纳管，基于 RoCE 组建 400G、200G 高速网络，为分布训练和大规模数据处理提供并行存储服务。
vGPU + NPU 统一资源调度。统一调度 GPU、vGPU、NPU 计算资源，实现资源的动态分配和合理调度，满足 AIGC、音视频等业务场景中，分布式模型训练、在线推理和数据处理等对算力的多样化需求。
统一管理、运营与运维。实现 “租户隔离+资源组+配额（GPU/存储）” 的多级管控，帮助管理员实现精细化资源分配，实现多种计算场景服务的标准化运营，以及规范化、可视化的高效运维。
打造公共 API 服务平台。为不同部门、不同业务提供公共推理 API 服务：包括文本对话、视觉理解、文生图、文生视频、图生视频、语音合成、语音识别等，减少重复模型部署，快速支撑客户应用开发落地。
从分散管理到统一调度，从按单一模型部署到复杂场景需求的满足，省级广电实现了 “算力+调度+服务+运营” 四位一体，既满足了现有模型训练、内容创作、智能审核等业务需求，又充分考虑了长期扩展性，保证了公司在广播电视及文化传媒领域的人工智能应用创新活力：
算力资源高效利用，多维度支撑不同项目和业务场景的多元算力需求。
通过集中管理和优化资源分配，减少硬件投资的重复建设，降低运维成本和复杂性。
开发、训练、推理、模型服务一体化交付，构建以大模型为中心的新应用架构。
青云科技期待在持续合作中，与省级广电共同创新，推动广播电视及文化传媒行业向智能化、规模化持续迈进。
