您的位置:www.85058.com > 技术支持 > 车载眼球追踪微讲座问答实录 | Plug and Play移动出

车载眼球追踪微讲座问答实录 | Plug and Play移动出

发布时间:2019-11-05 04:34编辑:技术支持浏览(128)

    原标题:车载眼球追踪微讲座问答实录 | Plug and Play移动出行独角兽加速计划

    声明:新闻稿非映维官方稿件,所涉及任何法律问题均与映维无关

    前言:在“车载眼球追踪微讲座精彩呈现 | Plug and Play移加速计划”(点击“阅读原文“回顾)中,七鑫易维产品经理赵海杰向我们展示了眼球追踪技术原理及现状。

    眼球追踪技术新成果

    这里让我们一起快速回顾本次微讲座问答环节。

    北美时间 3 月 17 日至 21 日,一年一度的 GTC(GPU Technology Conference) 在美国硅谷举行。七鑫易维受邀参加本次大会并展示眼球追踪技术新成果。

    问题1:七鑫易维有没有做过人脸识别跟手势识别方面的研究跟产品?

    图片 1

    赵海杰:这些方面是有的,我们之前是有跟一个国内做手势识别的一家公司一起去给戴姆勒的加速营计划做过一个样车,当时就是用眼动去选定,用手势去确认这样一个DEMO,具体的研究跟产品我们都期望是跟合作商、合作伙伴一块儿去做,大家专业人做专业的事,这是有过一点经验的。

    英伟达NVIDIA 创始人 &CEO 黄仁勋在主题演讲中指出,Turing RTX 是英伟达 15 年来最伟大的创新,包含一项重要技术——可变码率渲染 Variable Rate Shading。

    图片 2

    可变码率渲染技术的工作原理是基于眼球追踪传感器提供的用户实时眼动信息,动态改变着色像素的数量,对注视中央区域应用 100% 的 GPU 性能进行渲染,对周围区域应用较少的 GPU 性能进行渲染,从而可以节省 GPU 一倍以上的渲染计算量,提升渲染效率。光线技术普及应用后,渲染运算会节省更多,渲染画面会更加自然流畅。该技术已经与七鑫易维眼球追踪技术成功结合,成为新一代注视点渲染技术,将广泛应用于虚拟现实领域。

    问题:2:七鑫易维有和车企一起做过疲劳和分神检测相关的业务吗?

    图片 3

    赵海杰:这个确实是有的,但是并不是说像刚才或者是行业内大家都认为的,人脸关键点是对驾驶员进行一个疲劳跟分神检测,我们现在是跟阿波罗,就是百度的无人驾驶车做的是属于自动驾驶环境下后排监测人员是否疲劳这么一个检测,通过眼球追踪做的,因为自动驾驶现在属于走在行业的前沿,如果发生危险是会成为整个行业的问题,大家比较关注,而且也发布了一些政策要求,每一个自动驾驶车辆必须要有一个后排监测人员。

    基于 RTX 技术,黄仁勋还发布了数据中心级别的图像服务器 NVIDIA RTX Servers,它能够支持渲染、Omniverse 和 Geforce Now 云端游戏服务,在云渲染、效率和规模上实现了飞跃。七鑫易维 VR 云注视点渲染解决方案结合了 VR 云渲染和注视点渲染两种技术,在用户运行 VR 内容时,基于注视点在云端进行画面渲染,可以缩短渲染延迟,并大大降低用户成本。

    问题3:虹膜只用来Driver identification吗?Eye Tracking会用到虹膜吗?

    在本次 GTC 上,七鑫易维展示了与 RealDrive 联手推出的,结合可变码率渲染技术与 VR 技术的虚拟驾驶模拟系统。RealDrive 虚拟驾驶模拟系统包括 Cybertron 虚拟训练场,能够真实还原现实生活中的道路场景和交通路况给用户带来身临其境的全方位虚拟驾驶体验感。

    赵海杰:虹膜方面,一般来说虹膜是做身份验证,用眼球追踪+虹膜其实都是属于采集眼部图像,一般来说眼球追踪采集的眼部图像是可以同时做虹膜识别+眼球追踪,所以Eye Tracking本身是会考虑用虹膜,但是主要是结合虹膜去做身份验证,采集同样的一张眼图,分别做两件事情。我们会把眼图给到像国内做虹膜识别比较不错的合作商,像合作商中科虹霸这块他们去做身份认证,然后我们同步去做注视感知、注视追踪这样一些事。

    图片 4

    问题4:头动的范围一般是怎么确定的?

    该虚拟驾驶系统和 ADAS 辅助系统可以有效针对汽车的辅助驾驶功能进行模拟驾驶,并进行分析研究。在 RealDrive 中,当你驾驶时间超过一定时长并且检测到你处于疲劳驾驶状态的时候,系统会及时发出提示,提醒你注意及时休息等信息。

    赵海杰:头动范围是指摄像头如果正对你人脸,它两个中心如果重合的话,头动是指向左移、向右移,向上移、向下移这样的一个距离。我们一般定义是这样,但是因为相机的原因,我们会先确定在相机调校距离下头动范围是多大。基于这样的一个定义,头动范围我们是通过相机FOV确定,然后具体看应用场景的需要,我们可能会选取不同的相机然后去适配不同的头动范围,核心就是让相机去采集到可以用的眼图。

    黄仁勋还提到,数据驱动的数据科学研究法在计算机领域发展迅速,已经成为科学研究方法第四大支柱。他强调了应用数据科学研究法的三大要素:第一是庞大的数据采集量;第二是机器学习和深度学习算法的优化;第三是计算能力。

    进一步说一下头动范围,其实我们确定头动范围第一是先根据场景的需求,比如对驾驶员的话,驾驶环境头部向左移20厘米,向右移10厘米这样一个范围是在左右移动范围,向上大约是10厘米,向下大约是10厘米这样一个范围。我们会基于驾驶员这样一个用户驾驶的场景所确定的一个头部移动的这样一个范围,去选一些相机,对相机进行选型确定,保证相机始终能在这样的视角范围能精确或者是比较合适的采集到可以用算法用的眼图。

    图片 5

    问题5:怎么判定人属于哪个等级的疲劳?疲劳的外在表现每个人是不同的,你们怎么定义判别呢?

    (图片来源:英伟达官网)

    赵海杰:首先需要将疲劳分为不同的等级,现在行业内还没有特别标准的行业都认可对疲劳等级的分配,我们可以设定一个程度,一个分数,比如说人闭眼5秒属于100%程度的疲劳,可能频繁的眨眼或者发呆这种程度大约是进行到疲劳的60%,这些方面首先要确定疲劳的程度,就是疲劳本身的这种等级的分类。目前行业内还没有这样的标准,我们不仅仅要结合眼球追踪跟结合车载,我们可能还要结合医学方面制定一些疲劳判定标准。

    七鑫易维展示了应用最新眼皮检测模型的虚拟社交眼神交互场景,该场景复现了视线方向、眨眼、眯眼等眼睛活动,使虚拟角色看上去栩栩如生。新眼皮检测模型是七鑫易维利用深度学习技术,设计 24 层卷积以及 2 个全连接层的网络架构,在百万张规模的眼图数据集上,训练出高质量的眼皮检测模型,检测率能够达到 97% 以上,可以满足 VR 设备上和眼皮相关产品的应用需求。

    本文由www.85058.com发布于技术支持,转载请注明出处:车载眼球追踪微讲座问答实录 | Plug and Play移动出

    关键词: