视频建模?英伟达推出新 AI 模型 Neuralangelo
视频建模?英伟达推出新 AI 模型 Neuralangelo

视频建模?英伟达推出新 AI 模型 Neuralangelo

英伟达宣布推出一款名为 Neuralangelo 的 AI 模型,该模型能够将视频片段转化为细节层次丰富的 3D 模型。

Neuralangelo采用Instant NGP作为3D场景的神经渲染表示,通过神经表面渲染从多个不同的视图进行优化。Neuralangelo从视频剪辑中沿着相机视图对3D位置进行采样,并使用多分辨率哈希编码对位置进行编码。Neuralangelo提供的过程简单而有效:使用高阶导数的数值梯度加上从粗到细的优化策略,为神经网络提供了多分辨率哈希编码的能力。

Neuralangelo可以转换具有复杂真实世界纹理和复杂材质的物体,如屋顶瓦片、玻璃板和光滑的大理石——的纹理从 2D 视频转换为 3D 物料的能力大大超过了以前的方法。高保真度让开发者和创意专业人士更容易进行 3D 重建,使用智能手机拍摄的视频快速为项目创建可用的虚拟物体。

“Neuralangelo提供的3D重建能力将给创作者带来巨大的好处,帮助他们在数字世界中重建真实世界,”论文的合著者、高级研究总监刘明宇说。“这个工具最终将能够导入从小型雕像到大型建筑的精细对象,可用于虚拟环境、设置参考重建和游戏或数字替身。”

在进行NeRF 3D重建时,NeRF技术不再需要跨多个视图的这种颜色恒定性约束。相比之下,NeRF实现了具有视图相关效果的真实感,与摄影测量不同的是,捕捉到了表面根据视角变化的方式。