不要笨重头显，英伟达研发2.5毫米轻薄VR眼镜，实现近眼显示

英伟达又要整大活了：即将推出轻薄版全息眼镜，打败市面上的笨重VR／AR头显。

当前，要进入虚拟3D世界，仍然需要佩戴笨重的头显。

不过，研究人员正在研究重量更轻、类似于普通眼镜的替代品。

据Venturebeat报道，在今年8月即将举行的Siggraph 2022会议上，英伟达将提交16篇论文。

其中，包括为元宇宙和真实世界交互奠基的即时「全息成像」渲染、轻薄全息眼镜等技术性论文。

据了解，NVIDIA将牵手斯坦福大学合著VR论文，提出一种新的「计算机生成全息图像框架」。

据称，该框架能够优化带宽的使用，并提高图像的质量。

过去，AI驱动的算法，让计算机生成全息图像的质量与全息合成效率显著提升。

但是，这些算法却不能直接应用于较新的「纯相位空间光调制器」（phase-only spatial light modulators）。

所谓「纯相位空间光调制器」，其光线调制速度极快，而能影响的相位宽度却极狭窄。

如果能有算法直接应用大量「纯相位空间光调制器」，进行实时协调成像，那将是计算机生成全息图像的新一步成就。

英伟达与斯坦福联合研究团队宣布，届时8月举行的Siggraph 2022会议上，将阐述他们在「近眼全息显示」的模型论文。

模型验证机具

据研究者介绍，此计算模型稳健性强，能适用于2D与2.5D的深度图像、3D光线焦点堆栈、4D光线场等输入的数据类型。

使用此模型，研究团队做出了各种实验和模拟场景中的SOTA结果。

新模型可以做到用特异的相位分布，来操控协调纯相位空间光调制器，对每个像素的虚拟数据的实际光照相位进行修改。

修改后的光照相位在模型中传递、重组成更逼真的全息画面。

英伟达和斯坦福大学的人一起合作，开发这个全息图像模型的，不是为了发论文，而是研发轻薄全息眼镜的一个AI驱动程序。

元宇宙风头一起，铺天盖地都是「全面沉浸」、「真幻交融」的宣传。

不过现在技术足够成熟、市面上又常见的消费级VR/AR头套里，最轻型的也是Meta家的Oculus产品线。

扣个饼干盒在脸上，「真幻交融」的元宇宙体验也就是广告里说着玩的。

而英伟达与斯坦福大学的研究人员合作，正在试图将全息近眼显示所需的器件集成到一个只有几毫米厚的眼镜形态显示器中。

过去的VR头套显示器，放大镜和显示面板之间需要隔开一段距离，以创建和放大全息影像。

而新型显示器采用空间光调制器，不需要隔开距离，用2.5mm厚的光学叠层，就可以在用户眼前创建传送全彩3D全息图像。

全息近眼显示器

瞳孔复制波导和几何相位透镜等其它部件，进一步缩小了设备的体积。

匹配之前提到的算法模型，英伟达要让全息眼镜能够根据用户不同的瞳孔大小、视线聚焦，进行正确的相位计算，在所有光瞳大小下产生最佳图像质量。

在VR/AR设备中，全息近眼显示技术一直是研发者急欲抵达的高峰。在英伟达的研究领头人口中，这是计算机视觉领域中的「圣杯」。

能让用户自行选择目光聚焦处、经得起审视的高仿真全息近眼显示，将为当下的VR/AR产品带来新的亮点。

当下的VR/AR显示器其实只向用户显示实际上是2D的图像，而不是用户在现实世界中看到的3D或全息图像。

按斯坦福研究者的话说：「这些现实图像，它们在感知上并不现实。」

所以全息图像就是要弥合模拟和现实之间的鸿沟，同时创造出更吸引人的视觉效果。

要做到这点，需要解决两个问题，一是很难在全息图像的分辨率下控制光线的波形；二是如何克服模拟场景与真实环境中相同场景间的差距。

英伟达和斯坦福的研究者，一直在用神经网络AI的途径探索如何达到目标。

正如研究者所言，「人工智能已经彻底改变了工程和其他领域的方方面面，但在全息显示、或计算机生成全息图像这一特定领域，学界才刚刚开始探索人工智能技术。」

研究人员创造的神经网络全息显示技术器，通过训练一个神经网络来模拟真实世界的物理景观，并做到实时呈现。

通过创建算法和匹配的校准技术，让用户视觉中的全息图像实时运行，研究人员能够创造出更具真实感的视觉效果，具有更好的色彩、对比度和清晰度。

如此，即使部分场景的数据被有意处理成遥远或失焦，神经网络全息图依靠强大的算法和工具，也能即时处理好。

https://www.computationalimaging.org/publications/time-multiplexed-neural-holography/ 

https://arxiv.org/pdf/2205.02367.pdf 

https://venturebeat.com/2022/05/19/nvidia-ai-research-takes-science-fiction-one-step-closer-to-reality/ 

https://research.nvidia.com/publication/2022-08_time-multiplexed-neural-holography-flexible-framework-holographic-near-eye 

本文来自微信公众号“新智元”（ID:AI_era），作者：袁榭 时光，36氪经授权发布。