注 册
中国 +86
  • +123
  • +125
  • +666
  • +666
  • +555555
  • +666
  • +666
  • +666
请输入真实手机号
图片验证码 请输入图片验证码
请输入短信验证码
请输入密码

已有账号,

忘记密码
中国 +86
  • +123
  • +125
  • +666
  • +666
  • +555555
  • +666
  • +666
  • +666
请输入真实手机号
图片验证码 请输入图片验证码
请输入短信验证码
请输入新密码

已有账号,

Google科学家告诉你最真实的虚拟现实:关于原理及挑战

2016-01-26 阅读 26438

摘要: 谷歌科学家吴万敏针对知乎上对虚拟现实及增强现实的提问,提出专业的解答。认为增强现实技术达到大众喜闻乐见的阶段至少需要五年时间。

  最近Magic Leap和HoloLens很火。它们是什么?为什么这么火?什么时候能做成?还面临哪些挑战?Botao同学在知乎上谈了不少3D感知部分,我来补充补充别的。

(一)Magic Leap和HoloLens是什么?

  Magic Leap和HoloLens都是Augmented Reality (AR)眼镜的代表,有一个相关的概念也很火爆:Virtual Reality (VR)。

  

1。AR 和VR眼镜的区别是什么?

  AR眼镜是透明的,让你能同时看到现实世界,和叠加在上面的虚拟成像。应用例子:赶不上Lady Gaga的演唱会?没关系,戴上眼镜她就在你家里开一个。代表产品原型:Magic Leap和微软的HoloLens。

2。 Magic Leap和Microsoft为什么要做透明AR眼镜?

  总的来说,这是计算机的必然发展趋势。2007年苹果推出iPhone以来,手机发展太迅猛,用户随时随地带着它,各项使用数据毫无悬念地都在超越PC端。所以,人机交互界面的未来主要在于移动。但现在的手机局限在于,(1)既然要便于携带屏幕就做得小,屏幕小了某些功能就得受限;(2)显示屏幕是平面也就是二维(2D)的,而真实世界是三维(3D)的。

  未来的透明AR眼镜有望实现大突破,就是既能让用户随身携带,又能在她眼前显示超大屏幕,还能把以假乱真的3D内容渲染到她看到的真实世界里(想象你坐在教室里听课,你的老师看起来真实无比,但其实就是在你的眼镜上虚拟出来的)。这样的眼镜大概不会完全取代手机,但毫无疑问潜力无穷。

  Image credit: ibtimes

  Holography是人类的美好愿景,有一天也许能做成,但近期看离实用还早。现在有一些大学实验室在研究裸眼光场显示器(light field display),但需要很复杂笨重昂贵的设备,还只能在安装了的地方用。相对而言,眼镜的可行性要大得多。如果能做成轻便的AR眼镜,将是移动人机交互界面上也是计算机发展的重大革新。

4。 在VR头盔上加个前视摄像头不也就成AR了吗?为什么非要透明的?

  好问题。说起来AR有两种,一种是前面所说的透明AR(optical see-through)——现实世界是透过镜片直接看到的。另一种就是“视频叠加”(video see-through或者video overlay)——现实世界是通过摄像头捕捉,然后以视频的方式呈现给用户(在上面再渲染一些东西)。事实上,现在手机和平板上已经出现了很多video overlay的应用,比如看星空,求翻译,选家具等。

  那为什么不用VR头盔加摄像头实现这种AR呢?当然可以,现在很多VR头盔都在试探这种做法。它和透明AR相比各有优劣,比如优势在于用视频实现的虚拟和现实的叠加(overlay)要比透明AR简单得多,这也是为什么它已经开始在移动端商用的原因。

  前面说的应用潜力无穷肯定是助力,同时还有技术,创始人,团队的原因。

  Image credit: [1]

  Magic Leap的核心技术是来自华盛顿大学前研究员Brian Schowengerdt的,他导师Eric Seibel是光纤扫描内窥镜(Scanning Fiber Endoscope)的专家。大家都知道内窥镜就是医生们做手术时用来体内成像的,本质是个微小摄像头。Brian呢很聪明地逆转光路把这个技术用到了显示上,这样通过极细的光纤用激光就可以打出彩色的图像(如左图所示)。这个技术十几年前就发表了[2],后来又不断改进,生成了一堆专利。Magic Leap很大程度上是基于Brian的这些专利。(可惜这么重要的技术骨干既没有成为创始人,也没有被列为“核心人员”,不过这是题外话了。)

  那这种技术为什么重要呢?我们后面留成一个专门的问题讲。

  除了创始人兼CEO,团队也不是盖的,计算机视觉部分拉到了Gary Bradski和Jean-Yves Bouguet这样的大牛。合作的Weta Workshop是在好莱坞给电影做特效的,《指环王》就是他们做的。所以Magic Leap当年用来拉投资用的概念视频就像一个微型电影一样。(点击此处观看视频)

6。 现在该回到前面的问题了,为什么Magic Leap的光场显示技术很重要?

  现代的近眼眼镜为了实现3D有两种主要的技术:Stereoscopic(中文翻译成“立体”,但其实不够准确),和Light Field(光场)。Stereoscopic眼镜早已商化(比如所有3D影院里用的,还有市面上几乎所有AR和VR眼镜/原型——包括Microsoft HoloLens,Epson Moverio,Lumus DK-40, Facebook Oculus——都是Stereoscopic)。而Light Field还只在实验室里有雏形(Magic Leap大概是做得最好的一个)。什么是Stereoscopic 3D呢?为什么它不够好还要做Light Field呢?什么又是Light Field呢?

  

Stereoscopic 3D是假3D

  Stereoscopic 3D就是利用这个原理给双眼分别显示不同的图片(如下图),它们很相似,只在水平方向上有细微差别。而这两张图片拍摄的时候,就是用两个并排的相机模拟人眼的位置拍的,现在的3D电影都是基于这个原理。

  Image credit: lightfield-forum

  (1)聚焦(Accommodation/Focus)。眼睛的晶状体就像一个凸透镜,它会调节凸度来让那个物体在咱们视网膜上清楚成像。

  Image credit: eyetec

  (2) “会聚”(Convergence)。在每只眼睛聚焦的同时,两只眼球还会有旋转运动来一起指向那个物体。

  Image credit: sinauer

  很自然地,这两种反射运动在神经上是联接的(neurally coupled),也就是说任意一种运动会自动引发另一种运动。这也意味着,在人眼看真实物体的时候,聚焦和会聚的距离总是相等的(vergence distance = accommodation distance,参见下图A)。

  那么Stereoscopic 3D的问题就来了。因为Stereoscopic的投射距离总是固定的(也就是accommodation distance不变),而图片的disparity会让眼睛会聚在不同的距离(vergence distance)以产生景深3D效果(见下图B)。所以,这两种距离经常是不一致的(vergence distance ≠ accommodation distance),会造成这两种神经相连的运动强行分离(neurally decoupled)。

  这些都不符合自然界人眼的规律,因此大脑会产生混乱,长时间就会引起恶心晕眩等症状[4]。所以Stereoscopic其实是用了一个小伎俩让人能看到3D效果,但它并不是真3D。

  Image credit: arvojournals [4]

光场(light field)是真3D

  光场显示跟Stereoscopic 3D比的一个很大不同就是它有本事能让人眼聚焦到不同的距离,从而和会聚的距离保持一致。这是最符合人眼观察自然世界规律的做法,因此被称为true-3D。

  可以想象要实现这样的光场显示,并不是那么简单。现在主要是两种方法:空间复用(space multiplexing)和时间复用(time multiplexing)。“空间复用”简单说就是把一个像素当几块用来实现不同的聚焦距离。Nvidia在SIGGRAPH上展示的那个原型就属于这种。这个方法最大的问题就是分辨率大打折扣。我曾经试戴过,基本就是雾里看花。

  Magic Leap的技术是哪种呢?它最近demo用的哪种技术没有公开,但很有可能还是基于Brian的高速激光光纤扫描(scanning fiber)技术,也是一种时间复用的办法。Brian当年先试过只用一根光纤扫描不同聚焦距离,这样做明显对速度要求太高,后来用一个光纤束(fiber bundle/array),比如16根,每个光纤有一点位置差,然后同时扫描得到不同聚焦距离。

  这样的光场受现实系统的局限肯定不可能是连续的,都是被采样的(downsampled)。但是,即使是这样的光场投射到眼睛里也在理论上是跟真实世界物体光线进入眼睛是一个道理,因此可以实现true-3D。回到最初的问题,这也是为什么Magic Leap的技术重要的原因。现在你也理解了为什么Rony说“HoloLens会让人恶心”了吧?

 

  1。 显示

  光场采样:既然是采样就一定有损失,比如对比度清晰度上,如何才能最优采样?

  聚焦和会聚(Accommodation-vergence matching):即便聚焦距离对了,也要保证会聚距离始终与其保持一致。Magic Leap现在的demo视频还只是从单眼摄制的,还没有证据表明他们很好地解决了双眼问题。

  室外显示:现在大家的demo都是室内的。当用户在室外时,太阳光强度比显示光高几个数量级。至少镜片需要有自动调光的技术。

  捕捉内容:虽然现在可以用计算机图形来做demo,但以后的应用一定会需要相机采集的内容,而光场的拍摄本身还有很多问题要解决。

  2。 镜片

  Image credit: androidautority

  近眼显示有两个关键部件:显示器和镜片。现在大部分的AR眼镜镜片都是基于分光镜(beamsplitter prism)的,比如Google Glass,HoloLens,Epson Moverio。如图左,简单的分光镜就是45度角,把显示器产生的光从眼镜框反射进人眼,也同时让现实世界的光透进来。这样做简单便宜,但是镜片厚。一个以色列公司Lumus做出了一个光导(waveguide)技术让镜片变得很薄,可惜工艺复杂成本太高。后来也有一些便宜的光导产品出现,但质量还远不如Lumus。所以,镜片也还有很长的路要走,不仅要做到视角(Field-of-View)大,还要轻薄,透光性好,在折射/反射显示光的时候也要尽量保持光的属性并做到尽量小的光损失。

  3。 视角(FoV)和分辨率(Resolution)

  4。 遮挡(Occlusion)

  如果想实现完全正确的遮挡效果,只能在镜片上做实时的像素级的滤光机制(per-pixel shutter),但现在的技术都还不成熟。

  5。 渲染黑色

  透明AR眼镜现在还没办法渲染黑色。因为它说到底是虚拟光和自然光的叠加。如果画黑色,用户是看不到的,只会看到后面的背景真实物体的光。类似的暗色都有这个问题。

  透明AR眼镜还有一个很大的挑战就是延迟。把虚拟物体叠加到真实物体上(比如放一个虚拟水杯到一个真实桌子上)涉及到一系列计算:探测真实物体→计算它的空间位置和方向→计算叠加位置→渲染虚拟物体等。这一切都必须在一眨眼内发生,让用户感觉不到延迟。比如在那个水杯例子里,我们的头可能是一直在动的,随着我们头动,我们看到的那个水杯应该在桌上原来的位置不动才对。而如果系统延迟过大,我们看到的那个水杯的位置可能就总是不对,大脑就又混乱了。这对透明AR挑战尤其大,因为真实世界我们是直接看到的,几乎没有任何延迟,而虚拟物体的渲染得能跟上这个速度才显得自然。在video overlay里,就没有这个问题,因为我们看到的真实世界的视频已经是延迟的了,这样在上面的物体叠加就比较容易跟它保持同步。

  Magic Leap以前的技术专利是用激光直接打到人眼里,虽然据说很安全,但还没有确切的科学证据。所以用户接受度是个问题,很多人估计一听到这个就望而却步了。

  说了这么多,这下一代移动人机交互界面到底什么时候能做成呢?我个人感觉要做成人民群众喜闻乐见的版本至少要5年时间,也许更长。因为以上列出的这些挑战,每一个都还需要很多努力才能解决。目前它们很多都还不到量变(只是需要优化)的阶段,而是需要大的质的飞跃。所以,路漫漫而修远兮。但既然这是计算机发展的必然方向,拭目以待吧。

  References

  [1] Brian T。 Schowengerdt et al。, 3D Displays using Scanning Laser Projection, SID Symposium Digest of Technical Papers Volume 43, Issue 1, pages 640–643, June 2012。

  [2] Brian T。 Schowengerdt et al。, True Three-Dimensional Displays that Allow Viewers to Dynamically Shift Accommodation, Bringing Objects Displayed at Different Viewing Distances Into and Out of Focus, CYBERPSYCHOLOGY & BEHAVIOR Volume 7, Number 6, 2004。

  [3] Xu Liu and Haifeng Li, The Progress of Light-Field 3-D Displays, Information Display, 2014。

  关于作者:吴万敏,浙江大学计算机专业本科,伊利诺伊大学香槟分校博士。科研成果曾获雅虎重要科技挑战奖、ACM多媒体会议2011最佳学生论文奖、ACM计算机领域2012最佳论文奖,SIGMM最佳博士论文奖(全球每年一篇)。毕业后到硅谷工作,曾任理光创新实验室顾问研究科学家,现在谷歌工作。

相关数据

2018年美国不同类别增强现实(AR)与虚拟现实(VR)设备使用率

查看完整数据

2018年全球增强现实(AR)与虚拟现实(VR)不同使用案例支出份额

查看完整数据

2018年全球增强现实(AR)与虚拟现实(VR)支出比例

查看完整数据
网友评论
后参与讨论
提交评论 0/200

请回复有价值的信息,评论需要审核后进行展示,请勿重复提交。

评论区
    暂无评论哦,快来评论一下吧!

Copyright© 2007-2019 艾媒网 www.iimedia.cn All Right Reserved | 中华人民共和国增值电信业务经营许可证: 粤B2-20110424 粤ICP备11014183-1号 | 粤公网安备 44011302001580号