一场由苹果引发的空间计算时代革命,镌刻在AR(增强现实)发展的里程碑上。由Vision Pro打造的沉浸式空间,正在为用户带来全新的人机交互体验,比如:突破传统显示屏的限制,用户浏览 app 时,只要轻松地看着它们、捏合手指来选择,即可在空中任意拖拉点击。
事实上,这也是Rokid一直探索的方向——将人、现实世界与虚拟世界的融合,更自然真实地结合在一起。
在今年3月的Rokid Open Day上,Rokid发布了全新一代自研AR空间操作系统——YodaOS-Master:基于Rokid Max Pro眼镜,张开手掌,菜单立马浮现在眼前。点击图标,便可进入应用,享受灵动随心的空间多屏互动体验。其中,业内首创基于单摄像头即可实现SLAM及3D裸手交互等能力,这一全新的技术路线,发布即引发行业的关注与热议。
今天,中国开发者最重要的年度盛典之一“2023年Unity技术开放日”首站在北京隆重举行,Rokid出席本次活动。会上Rokid系统研发总工程师石文峰带来了主题为《Rokid YodaOS-Master系统介绍及应用开发与落地》的演讲,分享了这一备受关注的技术路线,以及Rokid最新的技术发展,与现场开发者们进行了深入的交流与探讨。
Rokid全新一代自研空间AR系统
业内首创单摄SLAM技术
在今天的游戏论坛上,Rokid系统研发总工程师石文峰,结合多年丰富的AR行业技术研发经验,向现场开发者们介绍了备受关注的YodaOS-Master系统,以及Rokid背后的技术思考。
围绕感知、理解、交互、展现、协同和数字创作五个方面,YodaOS-Master从芯片优化、硬件设计、软件架构、AR算法还有创作工具等诸多方面都做了巨大升级,或是目前最为完整的一套面向AR时代的空间操作系统。
基于Rokid Max Pro眼镜,首创基于单摄像头即可实现SLAM、3D裸手交互、第一视角分享、视觉定位VPS等能力,可以支持多任务运行、空间创作等AR体验,给更轻量化、普惠的AR眼镜带来无限可能。
在YodaOS操作系统诞生之初,Rokid就秉持着一个观点,通过YodaOS操作系统赋能开发者,释放想像力,创造价值。
石文峰表示,“YodaOS-Master操作系统通过模块化的方式,将Rokid语音识别、手势识别、SLAM等在内的多项核心技术进行‘打包’处理,形成SDK供开发者高效开发,比如SDK for Unity,可以让Unity开发者能够快速使用Rokid核心技术进行开发。”
Rokid一直致力于更自然的AR交互体验。相比于传统的2D手势识别,3D手势识别更具有挑战性。基于YodaOS-Master的底层系统能力,文峰老师重点谈到了Rokid目前的单目3D手势识别技术。
基于深度学习算法和大量实验数据,Rokid自研的单目3D手势算法能在移动端实时重建手部姿态参数,包括手部6DoF、手部关节点26DoF,以及Hand Mesh信息,为AR的手势交互提供良好的算法基础。
目前,Rokid的手势识别在3D空间中可实现多种操作,包括点、捏、抓、握、拖、拉等等,完全可以满足AR交互应用需求。例如,戴上Rokid Max Pro,伸出手,在眼前张开手掌即可呼出菜单。
值得一提的是,Rokid软硬件于一体的AR空间体验已在全国多个场景落地,包括全国首个基于AR眼镜的元宇宙街区项目——杭州文三元宇宙AR数字生活街区、全国文旅行业内首个基于单目视觉SLAM的AR眼镜导览方案——敦煌AR智能导,以及钉钉携手Rokid所打造的全国首个企业AR数字展厅等等。
若琪数字人+AIGC
多模态交互体验全新升级
随着AI时代的加速发展,人机交互方式的发展趋势为多模态交互。单一的键盘交互、触摸交互、语音交互等方式,已经不能满足未来人们更深层次的需求。
试想,如果你想要边听音乐边办公的话,需要先通过语音或触摸交互的方式唤醒音响,再通过键盘交互的方式打开办公软件。但如果你拥有一个“数字人”助手,一切变得简单起来,只需一个指令,就可以同时完成这两件事。
这也是Rokid做AI数字人的原因之一。石文峰表示,AI数字人技术可以串连系统所有的能力,包括语音助手AI数字人、SLAM、3D手势、6DOF空间音频等Rokid核心技术,从而为用户带来更丰富的人机交互体验。
目前,Rokid所打造的“若琪”数字人已经全面接入AIGC,用户可以随时唤起“若琪”,和这位虚拟助手探讨任何有趣的话题。
石文峰介绍,这背后采用的是AIGC多模态数字智能驱动的模式,通过ASR、NLP、TTS等自研算法技术,驱动“若琪”产生准确的面部表情、语音表达、肢体动作,并且表现得更真实、自然、流畅。
Rokid全方位赋能开发者
共同迎接下一个人机互交时代
观影、游戏、办公、教育等多种场景,随着AR、MR等技术的趋向成熟,未来将有着无限的想像空间。多重生态内容的重新构建,亟待开发者们带来更多突破与创新。
Unity技术开放日是中国开发者最重要的年度互动盛典之一,通过每年的若干场线下巡回活动,为创作者群体搭建技术交流平台,传达技术演进路径,营建多元活跃的开发者社区氛围,同时聆听来自开发者的声音,赋能实时3D技术的内容创新与应用延展。
Rokid作为AR行业领军企业,参与共促行业繁荣。当天的活动中,Rokid除了带去最新的技术分享演讲,还在现场设置展台区,带来了包括Rokid最新AR产品与生态建设场景,供现场开发者们体验,帮助他们更直观地了解Rokid的最新技术与生态。
近年来,Rokid始终致力于赋能更多的开发者,打造了专门的AR开放平台(ar.rokid.com),推出了“若琪空间站”开发者助力计划,举办全球范围的AR应用开发大赛等,激励开发者共同参与生态共建,促进AR生态繁荣。
文峰介绍,Rokid为开发者们量身打造的“若琪空间站”开发者助力计划,在硬件设备、算法能力、开发支持、市场推广等方面全方位支持开发者。同时,Rokid联合多个行业头部企业与VC成立10亿人民币规模的生态智投联盟,对优秀的开发者直接进行投资。
在大力扶持开发者的同时,Rokid成功举办了首届全球AR应用开发大赛,为全球开发者颁出11项重磅大奖。今年5月,Rokid首届高校XR内容创作大赛面向全国高校正式启动,激发高校创新力量。
未来,Rokid愿携手更多合作伙伴,一起加入AR生态构建中,打造开放共赢的生态体系,持续为行业赋能,推动AR行业加快发展,共同迎接下一个人机交互时代。