来自Meta和牛津大学的研究人员开发了一种强大的AI模型，能够从单张图片或文本描述中生成高质量的3D物体。
这个名为VFusion3D的系统是朝着可扩展的3D AI迈出的重要一步，可能会彻底改变虚拟现实、游戏和数字设计等领域。
Junlin Han、Filippos Kokkinos和Philip Torr领导的研究团队成功解决了AI领域的一项长期挑战——与网上大量的 2D 图像和文本相比，3D 训练数据非常稀缺。他们的创新方法利用了预训练的视频AI模型来生成合成的3D数据，从而使他们能够训练一个更强大的3D生成系统。
解锁第三维度：VFusion3D如何弥合数据差距
研究人员在论文中解释道：“开发基础3D生成模型的主要障碍是3D数据的有限可用性。”
为了解决这一问题，他们对现有的视频AI模型进行了微调，使其能够生成多视角视频序列，本质上是教它从多个角度想象物体。然后，这些合成数据被用于训练VFusion3D。
结果非常令人印象深刻。在测试中，与之前的最先进系统相比，人类评估者在超过90%的情况下更偏好VFusion3D的3D重建效果。该模型能够在几秒钟内从单张图片生成一个3D资产。
从像素到多边形：可扩展3D AI的前景
最令人兴奋的或许是这种方法的可扩展性。随着更强大的视频AI模型的发展和更多3D数据的获取，研究人员预计VFusion3D的能力将继续迅速提升。
这一突破最终可能会加速依赖3D内容的各个行业的创新。游戏开发者可以利用它快速原型化角色和环境；建筑师和产品设计师可以快速地将概念可视化为3D形式；而VR/AR应用可以通过AI生成的3D资产变得更加身临其境。
VFusion3D亲身体验：3D生成未来的前瞻
体验VFusion3D的功能，我测试了公开可用的演示（通过Gradio在Hugging Face上提供）。
界面非常简单，用户可以上传自己的图像，或者从一系列预加载的示例中进行选择，包括皮卡丘和达斯·维德等标志性角色，以及一些更具趣味性的选项，如背着背包的小猪。
预加载的示例表现非常出色，生成的3D模型和渲染视频精准地捕捉到了原始2D图像的精髓和细节。
真正的考验是在我上传了一张自定义图像——一张使用Midjourney生成的冰激凌甜筒图片时。令我惊讶的是，VFusion3D处理这张合成图像的效果甚至比预加载的示例还要好。几秒钟内，它生成了一个完全实现的冰激凌甜筒3D模型，包含丰富的纹理细节和适当的深度。
这次体验突显了VFusion3D对创意工作流程的潜在影响。设计师和艺术家可能会跳过耗时的手工3D建模过程，而是使用AI生成的2D概念艺术作为即时3D原型的起点。这可能会显著加速游戏开发、产品设计和视觉效果等领域的创意构思和迭代过程。
此外，该系统处理AI生成的2D图像的能力表明，未来的整个3D内容创建流程可能由AI驱动，从初始概念到最终的3D资产。这将使3D内容创建更加民主化，让个人和小团队能够以往只有拥有大量资源的大型工作室才能实现的规模制作高质量的3D资产。
然而，值得注意的是，尽管结果令人印象深刻，但还不够完美。一些细节可能会丢失或被误解，复杂或不寻常的物体仍然可能带来挑战。尽管如此，这项技术对创意行业的变革潜力是显而易见的，未来几年我们可能会看到这一领域的快速进展。
前路：挑战与未来展望
尽管VFusion3D具备令人称道的能力，但这项技术也并非没有局限性。研究人员指出，系统有时在处理特定类型的对象时会遇到困难，比如车辆和文字。他们建议，未来的视频AI模型的发展可能有助于解决这些问题。
随着AI继续重塑创意行业，Meta的VFusion3D展示了如何通过巧妙的数据生成方法开辟机器学习的新前沿。随着进一步的优化，这项技术可能会把强大的3D创作工具交到全球设计师、开发者和艺术家的手中。
随着这项技术的不断发展，它有望重新定义3D内容创作的可能性边界，可能会彻底改变行业，并开辟新的创意表达领域。