来源:极客公园 作者:于本一
每一张驾照的背后都有学车时教练的「怒斥」和「嘲讽」,以及初次上路时爸妈时不时的唠叨和叮嘱。经过「千锤百炼」,终于从「马路杀手」长成了可以「驰骋秋名山」的老司机,却发现汽车变得越来越自动化,甚至连自动驾驶汽车都仿佛近在咫尺。
于是我们发现,曾经学车时的那些唠叨、训斥都变成了汽车上的一个个「安全功能」:盲点检测提醒、自动紧急制动 ( AEB ) 、车道偏离警告 / 车道保持等等。即便那种能够真正取代人驾驶的智能机器离现世还早,但高级驾驶辅助系统 ADAS 已经成为很多中高档车型的标配,我们不可避免地已经来到了「人机共驾」的时代。
但这个看似已经有巨大安全提升的汽车时代,却引发出另一个巨大的安全漏洞:人类过度的盲目信任机器。
特斯拉最早发生在美国佛罗里达州的致死事故就是因为驾驶员对 Autopilot 的局限性没有认知,过度信任放手任其为之。最终车辆径直撞上了拐弯的白色卡车。而去年在犹他州南约旦的另一起事故,一位女车主在 Autopilot 开启的情况下频繁脱离方向,落得车毁人亡的下场。
所以为了更好地在驾驶过程中进行衔接,同时防止人类因为觉得无聊失去对整个行驶过程的监管,驾驶员监控系统(Driver Monitoring System,简称『DMS』)就成了解决这个问题的关键。
从基本的功能点来说,DMS 对人类监控的目的是发现走神(distraction),疲劳(fatigue)或者打瞌睡(drowsiness),甚至是无法驾驶的意外情况。比如欺骗辅助驾驶系统用矿泉水瓶代替双手放在方向盘上(很多特斯拉车主喜欢这么干),或者与车内其他乘客争吵打架等。此外,如果作为自动驾驶的研发阶段,监控驾驶员可以提供驾驶行为的第一手数据,甚至用于仿真模拟系统中。
驾驶员监控系统能够识别车主身份并判断其是否集中注意力在路面上 | Caruma
如果把范围拓展得更广一些,除了改善安全之外,DMS 系统的引入还可以有效改善和提升出行体验。
首先,系统通过面部识别技术读取用车人信息,自动将车内设置(座椅、后视镜、播放列表等)调整为其偏好的参数;其次,配合座椅和方向盘的传感器,还能实现对乘客心率、坐姿等的监控,及时提供健康报告等。相当于用车的同时还能获得免费的体检。
像安全带一样标配?
不过目前只有已经上市的全新一代凯迪拉克 CT6,2018 款奥迪 A8 以及 2019 款斯巴鲁森林人是标配 DMS 的量产车型。绝大多数初创公司提供的 L3 级别的解决方案中也会包含 DMS 功能或者有独立的产品(商汤、Momenta 等)出售。当然特斯拉是个例外,不管行业内对 Autopilot 有多诟病,Musk 依然保持自我,声称「Autopilot 足够强大,不需要 DMS 这种东西。」
全新一代凯迪拉克 CT6 搭载的驾驶员监控系统由 Seeing Machines 提供 | 官方供图
但 Euro NCAP(欧盟新车安全评鉴协会)去年发布的规定可能会慢慢改变这个现状。在官方发布的「Euro NCAP 2025」路线图中,强制要求参与 Euro NCAP 评价体系的车型必须将 DMS 作为基本的安全功能标配给用户。尽管获得 Euro NCAP 的安全评级对销售新车并不是强制的,但越来越多的车企开始向其「妥协」,因为它会直接影响到消费者和保险公司的选择。
而在中国 DMS 主要应用在道路客货运输领域。去年九月中旬,交通部再发文,加大了在该领域推广应用智能视频监控报警技术应用的力度,但尚无关于驾驶员检测技术方面的相关政策法规出台。
如果说有什么在推动 DMS 产品落地,除类似 Euro NCAP 发布的强制规定会起到一定的作用,另一个就是 L2~L3 级别驾驶辅助技术的快速普及。之前 Uber 和特斯拉的事故对整个行业都是警示:对人类而言,从高科技创造的舒适环境中跳出,直面危机是件很困难的事情。
在 MIT AgeLab 助理研究员 Bryan Reimer 看来,「人类是不理性的。正如自动挡车型的普及让边开车边发短信这件事成为可能一样(开辆手动挡的车你试试!),我们总喜欢腾出手干点别的事儿。」他认为,「如果一辆汽车具备了某种程度的自动驾驶能力,不管是什么等级,都应该引入 DMS 功能。」
「目前,整个汽车行业对 DMS 技术的需求是真实存在的。」Gabi Zijderveld 如是说。她是 Affectiva 的 CMO,这是家孵化于 MIT,从事「多模态车内人工智能感知解决方案」研发的初创公司。
Affectiva 的核心能力在于通过读取人类面部和声音信息(不只是说了什么,还有说话的方式)来分析当事人的心理和情绪状态。据 Zijderveld 介绍,Affectiva 在过去的九年里一直在和世界 500 强企业、广告代理公司进行合作,解读消费者对视频、广告、电视节目产生的反应。「几乎你能想象得到的豪华汽车品牌都找过我们,希望了解乘客以及车主对 robo-taxi 的态度。大家都感觉很焦虑,共享出行、自动驾驶对固有的商业模式产生了巨大冲击,主机厂希望更懂消费者一些,这当然也是出于自保的心理。」
Affectiva 提供的 DMS 解决方案可以对驾驶员的情绪进行判断 | 官方供图
不过 18 个月之后,事情变得有些不一样了。
Affectiva 注意到,主机厂发来的问询,方向有了很大的变化。比如它们会咨询 Affectiva 的技术是否能用于「驾驶员监控」,能否监测到一些不良的驾驶行为?对酒驾,压力大,疲惫,恶心反胃这些行为的反应如何,等等。
三家领头羊
其实 DMS 的概念出现在汽车行业已经有超过 20 年的历史了。尽管每家公司都有着不同的技术路径,但只有在车内摄像头系统开始引入时,DMS 才逐步进入主流市场。一些早期产品的思路更多是理论上的设想,比如借助方向盘的角传感器实现对驾驶员疲劳状态的智能监测。
比如特斯拉利用方向盘的扭矩传感器来判断驾驶员双手是否脱离,但无数个 YouTube 上的案例已经证明,用户完全可以使用矿泉水瓶、橙子等道具来骗过系统的检测。还有的公司采用的是飞行时间技术(Time of Flight,简称『ToF』)来判断驾驶员头部的移动情况。
特斯拉车主总喜欢用千奇百怪的东西来骗过方向盘的扭矩传感器 | TheDrive
相比以上的技术手段,成熟的图像传感器、摄像头系统以及配套的软件算法能够更好地对驾驶员的眼部动作进行追踪,即便是戴墨镜或者夜间的情况也能够做到精度很高的识别。而如果按照产品技术在乘用车上量产落地的情况来看,目前 DMS 领域有三家具有绝对优势的领头羊,它们分别是 Seeing Machines,Smart Eye AB 和 FotoNation。
1. Seeing Machines
Seeing Machines 和卡特彼勒在煤矿、建筑、林业工人监控方面一直保持着良好的合作关系,转向乘用车这样的大规模市场,可谓水到渠成。目前 Seeing Machines 的技术已经率先导入了通用的 Super Cruise,其他合作伙伴有零部件供应商高田和捷豹路虎等。
以通用 Super Cruise 为例,Seeing Machines 提供的车内解决方案中,最关键的就是那枚安装在方向盘中柱后侧的小型红外摄像头。不论是光照充足的日间,还是低光照的夜间均能正常工作。通过车内系统软件的协同配合,它能够对司机头部位置、面部表情以及眨眼频率进行评估。而软件部分负责衡量司机眼球的转动,监测他的视线与周围物体的交集情况。两部分汇总的信息能够使系统对驾驶员的一举一动皆有掌控。
2. Smart Eye
Smart Eye 的 DMS 技术通过与安波福合作,成功进入了奥迪 A8 这款目前全球唯一量产的具备 L3 级自动驾驶功能的车型里,它被集成于奥迪的中央驾驶辅助控制单元(zFAS)。
据了解,Smart Eye 的眼动追踪软件可集成应用于乘用车和其他车辆,提升安全性的同时来进一步改善用户体验。通过对人体眼睛、面部以及头部动作的监测,Smart Eye 的算法可判断其清醒度、注意力和关注度。除奥迪外,Smart Eye 与吉利汽车也建立了合作关系。
而为了方便对接更多的客户,Smart Eye 还开发了一个通用硬件平台。它可以利用处理器和基础架构来实现高效集成。而由于采用了模块化设计的驾驶员监控系统,客户可以根据自己的需求,选择在本地、外围或者中央处理器中处理计算任务。
Smart Eye 提供通用硬件开发平台 | 官网截图
Smart Eye 表示还在联合英伟达、恩智浦、沃尔沃、欧司朗等合作伙伴开发下一代眼动追踪技术。而未来的舱内感知功能还会包括乘客位置监测,安全带状态监测,遗忘物体监测并实现多模态监测功能,如深度人工智能与情绪识别。
这样的话,汽车能够将车辆控制权无缝转交给清醒且有驾驶能力的驾驶员。该系统还支持在紧急时刻寻求帮助或主动播放最适合当前时刻的歌曲。
3. FotoNation
在 2019 款斯巴鲁森林人上,搭载了由 FotoNation 开发的驾驶员监控技术。这个功能的官方名称是「DriverFocus」,主要用来帮助监测驾驶过程中的分心行为。斯巴鲁官方对其的描述是,「利用面部识别软件来甄别驾驶员出现的疲劳或分心特征。」
尽管目前大多数公司提供的 DMS 解决方案,多是以监控驾驶员眼球动作和视线方向为主,但 FotoNation 有着不同的思考方向。它认为这两种传统的技术方向无论对车企还是供应商而言,在成本和应用方面都有着不同的局限性。
FotoNation 目前正在开发的技术「抛弃」了高架摄像头的使用,用一枚 VGA 摄像头取代了能够提供兆像素成像的传感器,通过追踪驾驶员的头部位置 / 方向,以此来帮助系统确定司机眼睛的位置。
所以,FotoNation 的监测技术只追踪驾驶员的头部动作。它首先定位的是司机面部上的 50 个点,进而使得监控系统能够推断出眉毛的位置,甚至能够精确计算出双眼睁开的角度。
由于 FotoNation 的 DMS 方案不依赖对驾驶员视线的追踪,因此无需使用前向摄像头。车企完全可以将这套系统(其实就一枚摄像头)装在汽车 A 柱或 B 柱的地方或者中控区域,甚至挂在后视镜上(只要不遮挡视线)也可以。
FotoNation 的解决方案能够进行 3D 面部建模,眼部追踪可以达到 180° 范围覆盖 | 官网截图
2018 年秋季,日本电装与 FotoNation 建立合作,双方计划「利用面部图像识别和深度神经网络技术开发下一代驾驶员监控系统。」FotoNation 母公司 Xperi 负责汽车业务的总经理 Jeff Jury 表示,「目前正在与至少 5 家主机厂进行合作,除此之外还有不同的硬件平台供应商。」
除此之外,之前提到的 Affectiva 也是目前 DMS 领域有很强竞争力的技术供应商。
在 Affectiva 看来,目前已有的一些 DMS 解决方案仍是「比较初级的」产品。因为除了分析驾驶员的头部动作、追踪眼球之外还可以加入对眨眼以及打哈气等动作的分析。「我们甚至可以加入对语音的分析。」Zijderveld 介绍称。「因为语音能够提供关于驾驶员心理状态更丰富的信息。我们不仅能够探测到他 / 她说了什么,甚至是他 / 她说话的方式都可以检测出来。」
Affectiva 的计划是利用公司获取的海量数据— 87 个不同国家中超过 650 万条脸部视频数据,来不断优化 AI 算法。它的解决方案是软件层面的,既能够在英伟达的 GPU,还可以在系统内嵌的的 ECU 中运行。
不过在 Semicast Research 的首席分析师 Colin Barnden 看来,Seeing Machines 是所有 DMS 解决方案提供商中的 No.1。很大一部分原因在于这家澳洲公司在最初应用于开矿业的驾驶员安全系统(Driver Safety System,简称『DSS』)上有着丰富的经验。而卡特彼勒对 Seeing Machines 的评价如此之高,以致于它从 2015 年开始亲自承担起了 DSS 相关产品的生产、市场和销售工作。
「Seeing Machines 在开发 DMS 产品时,结合了在『睡眠研究』以及『人类因素研究』上的成果,这使其具备了比其他对手更强的竞争力。」Barnden 解释道,「而 Smart Eye,提供的是基于摄像头的 DMS 解决方案,加上其在人工智能领域的积累,可以对驾驶员的心理认知、参与度以及情绪状态进行更好的分析解读。」
安全与用户体验的「对峙」
DMS 监测的准确度对减少误报固然十分重要,但在发现驾驶员出现了打瞌睡、疲倦或者开小差的情况,系统如何给出警示,同样是个关键问题。很可能会出现这种情况:突如其来的报警让驾驶员变得很愤怒,最终他可能会选择将 DMS 系统关闭。
所以如何让人类与机器建立起信任就变得十分关键了。
如果只是简单地告诉大家不要去做特定的事情,比如不要在开车的时候发邮件、发短信,这基本没用。因为几乎不会有人乖乖听话的。而技巧在于,系统要逐步获得驾驶员的信任,让他知道机器是有局限性的,需要随时获得人类的帮助。这样可以将人类驾驶员的分心和 DMS 的提醒以更连贯的方式建立联系,这对赢得用户的信任和接纳非常关键。
举个例子。假设 DMS 监测到了驾驶员这样的行为:在他看向中控屏,要换首歌听之前,注意力始终集中在前方道路上。这个时候,如果系统在驾驶员「分心」的两秒内就发出警报,这会导致非常糟糕的用户体验。所以,机器应该知道人在注意力转移之前在干什么,这个要比及时触发警报重要得多。所以,最好将 DMS 的监控机制设计得「松散些」。比如将发出警报的时间设置在驾驶员分心后的 3 到 4 秒。这样既能降低错发警报的几率,同时也有益于人类和 DMS 之间信任的建立。
关于 DMS 到底应该扮演什么样角色的争论,业界始终并无定论。到底是单纯提醒,还是应该具有将危险扼杀的能力?对此,极客公园(id:geekpark)认为更实际同时也是更有效的解决方案,是把 DMS 单纯地当做一种提醒驾驶员不要分心的工具就好。尽管很多公司都在尝试提供不同的技术方向,但目前这个产品触发报警的时机,应该是在遇到了较极端的情况。
最终一定会找到合理的分界线。如果有必要,在监控驾驶员的同时,可以采取逐级递进的方式发出报警。不过目前的 DMS 产品的表现尚处于最基础的层级。就好比是第一代 iPhone,有太多的地方需要改进。
至于相当「执拗」的特斯拉,尽管 Musk 把 DMS 和激光雷达、高精度地图归到了「无用」的一类,但它同样设立了某种驾驶员监控机制。在 2016 年更新的 特斯拉 8.0 系统版本中,当开启 Autopilot 功能后,时速低于 72 公里 / 小时,在直道上行驶,双手松开方向盘 5 分钟后,才会有警报发出;而当时速 高于 72 公里 / 小时,如果没有车辆跟随,双手脱离方向盘 1 分钟后才会想起警报。不过之后因为事故频发,考虑到安全问题,特斯拉再次通过 OTA 修改了允许司机「脱手」的时间,只不过有车主反映,只要双手离开方向盘 15~20 秒,就会有警报响起,间隔太短也让人有点焦躁。根据之前《美国消费者报告》的测试,当一辆 Model 3 以 105 公里 / 小时的速度行驶在一条几乎封闭的高速公路时,在驾驶员松开方向盘后 30 秒,触摸屏的车辆状态栏顶部会出现闪烁的蓝光,并显示「请轻扶方向盘」的消息。驾驶员没有理会,45 秒后请求升级,以更高的频率发出蜂鸣警报。最终,60 秒过后,Autopilot 系统自动关闭,剩下的路程需手动进行转向。只有将车辆停稳并换入驻车档后,才能再次使用 Autopilot 功能。针对用户的抱怨,Elon Musk 在推特上也略有些无奈地回复说:「很多车主反映「警报」太频繁了,我们也想找一个平衡点。」
极客公园(id:geekpark) 也翻阅了 Model 3 车型的用户手册,里面提到 Model 3 其实是配备了一枚驾驶室摄像头的。只不过该摄像头目前尚未激活,官方表示「未来随着软件更新换代,这没摄像头将会用于新功能的实现中。」极客公园(id:geekpark)猜测,即便不是用于 DMS,随着特斯拉 robotaxi 业务的铺开,人脸识别、定制化服务等等都可能基于这枚摄像头展开。
位于特斯拉 Model 3 驾驶室内的一枚摄像头,处于尚未激活的状态 | 官方截图
而未来随着生物传感技术的进步,通过内嵌于座椅或方向盘的生物传感器,智能可穿戴设备等测量驾驶员心率、体温等关键体表特征也能有效防止疲劳驾驶酿成严重事故。类似捷豹路虎测量脑电波的方式,都是继传统摄像头解决方案之后,很有发展潜力的新技术。