日前,2022全球VR/AR产业机遇策略峰会在上海举办。本次峰会由天风海外研究团队与东西文娱等联合主办,旨在挖掘虚实交互产业有价值的驱动要素与价值变量,为产业的良性发展提供策略参考。
▲七鑫易维副总裁 路伟成
七鑫易维作为眼球追踪技术领域的代表受邀出席,副总裁路伟成发表主题演讲,分享了眼球追踪技术在XR领域的应用场景、市场现状及发展趋势。
据路伟成介绍,七鑫易维是致力于机器视觉和人工智能领域的高新科技企业,自2009年创立以来,已在眼球追踪技术领域深耕超过13年,XR眼球追踪产品及解决方案拿下多项「 全球第一」。
▲七鑫易维发展历程(2009-2022)
XR面临的技术挑战
路伟成在分享中表示,XR经过多年发展已取得不少突破,但依然面临诸多技术挑战——
分辨率方面,目前的主流是双眼4K,现已出现5K,接下来将是双眼8K,在分辨率大幅提升的同时,算力和数据传输的压力也会越来越大。
交互方面,一个新的计算范式发生改变,随之也会引发交互范式的连锁变化,目前的主要交互方式为手柄,但这显然不是最佳的交互范式。
眩晕控制方面,目前的XR终端虽然可以模拟双眼视差,但单眼的屏幕焦距始终是固定的,双眼视差引起的深度感知和单眼焦距并不匹配,从而产生视觉辐辏调节冲突(VAC),引发视觉错觉和产生疲劳。
路伟成表示,眼球追踪技术作为一种通过传感器捕捉人眼动作,检测人眼状态、视线方向与注视点的技术,是解决上述挑战的最佳方案。
眼球追踪技术在XR领域的应用价值
中国信息通信研究院联合华为、京东方、七鑫易维等编制的《虚拟(增强)现实白皮书》显示,虚拟(增强)现实趋势包含“五横两纵”的技术框架与发展路径。具体来说,“两纵”是指VR与AR,“五横”是指近眼显示、感知交互、网络传输、渲染计算与内容制作。
路伟成表示,在“两众”的“五横”关键技术框架中,眼球追踪都扮演着至关重要的角色——
渲染计算方面,显示分辨率不断在提高,渲染算力愈发不够用,这也使得“注视点渲染”技术变得尤为重要。“注视点渲染”的原理是人眼在注视物体时并非整个视野范围都一样清晰,而是中心点清晰,越往周边越模糊。
“同理,在眼球追踪与注视点渲染技术的加持下,能大幅减少每帧画面需要渲染的像素数量,从而实现提升帧率、降低负载。”
▲ 眼球追踪+注视点渲染
数据测试显示,开启眼球追踪+注视点渲染技术后,渲染帧率提高1倍以上,渲染率提升7倍以上。“整套方案中,注视点追踪解决方案由七鑫易维提供,底层渲染机制则由高通、英伟达等芯片大厂来提供。”
感知交互方面,XR终端手柄式的交互方式和沉浸式的需求体验是相左的,人在真实世界中并不是用手柄进行交互操作,七鑫易维所推崇的是一种“眼手口”多模态的自然交互体系,即眼球追踪+手部追踪+语音识别,它们之间既互相弥补又各展所长,在实现更少学习成本的同时,更加符合人类交互习惯。
近眼显示方面,VAC问题需要变焦系统解决,变焦系统则要借助眼球追踪技术来实现。“眼球追踪技术能高速检测用户眼部信息,计算出注视深度,从而大幅提升用户感知的深度范围和精准度。”
网络传输方面,基于云的XR技术在逐步发展起来,目前的问题是延迟和数据量都相对较大,采用基于注视点的流化技术,可以有效降低网络传输带宽和延迟,从而给用户带来体验上的多重提升。
内容制作方面,“元宇宙”概念持续火热,在社交、远程会议、直播等场景下,Avatar(虚拟化身)的应用愈发普遍,眼部动作和眼神情感的复现都依赖于眼球追踪技术。
除了上述在XR领域的关键应用之外,眼球追踪技术还广泛应用于IPD调节、虹膜识别、视觉健康、精准用户画像、认知与心理健康、AR虚实融合对准、自闭症/老年痴呆等疾病的筛查等场景。
风口至,眼球追踪的「黄金时代」来了
作为国内眼球追踪技术的领导者,七鑫易维始终专注于眼球追踪技术的研发、创新与应用,全球专利总量近500项,其中发明专利300余项,通过超过10年的深耕和千万级眼部特征数据库的积累,精准度、可用率等核心技术指标均达世界一流水平。
“过去几年,七鑫易维可以说是一路见证XR技术的发展,并率先围绕Pancake短焦VR头显与轻量化AR/MR眼镜重点布局。”
路伟成透露,七鑫易维已为创维、HTC、Nreal、NOLO、爱奇艺奇遇VR、小派、亮亮视野、Rokid、诠视等国内XR头部品牌提供眼球追踪解决方案,并与高通、英伟达、AMD、华为、微软、英特尔等建立长期生态合作伙伴关系。
▲七鑫易维XR头显/眼镜合作企业(部分)
谈及眼球追踪技术的发展现状及未来趋势,路伟成表示,权威数据调研显示,VR/AR最需要解决的问题中,眼球追踪排在第四位,前面的三个问题——HMD舒适性可用性、视场角、运动跟踪已初步解决,这也使得搭载眼球追踪解决方案变得迫切起来。
事实上,微软、Magic Leap、Varjo、HTC、小派、Pico、Meta等均已推出支持眼球追踪的XR终端,主要应用于B端;在C端,索尼、苹果等搭载眼球追踪功能的新品即将陆续上市。
基于此,路伟成认为,随着消费级XR市场迎来爆发,眼球追踪作为最为关键的核心技术之一,在XR方向上的应用已经到了一个临界点,正在迎来「黄金时代」,成为新标配。“元宇宙被视作下一代互联网,产业价值空前巨大,而眼球追踪可以大幅提高XR终端的产品性能和用户体验,七鑫易接下来将有一些产品陆续上市,大家敬请期待。”