研究人员推出了Objaverse-XL,这是一个包含超过1000万个3D物体的数据集,旨在推动3D计算机视觉和生成式人工智能的发展。
由于可以访问大量的训练数据,AI的发展进展迅速。对于基于文本和图像的生成式AI系统来说尤其如此,这些系统是在从网络爬取的大规模数据集上进行训练的。
AI的下一个前沿之一是3D计算机视觉和3D的生成式AI,但由于获取高质量的3D数据的挑战,该领域发展滞后。
Objaverse-XL包含1000万个 3D 对象
为了解决这一问题,一支研究团队推出了Objaverse-XL,这是一个庞大的包含超过1000万个3D物体的集合。
Objaverse-XL是从多个在线来源(包括Sketchfab、Thingiverse和Polycam)获取的数据,是去年4月发布的Objaverse数据集的十倍扩展。
当时,Sketchfab表示该数据是在未经其或艺术家知情的情况下被大规模收集的。在今年2月,Sketchfab引入了一个NoAI标签来防止这种情况发生,但为时已晚。
Zero123 是用于 3D 的生成式 AI 模型
研究人员利用Objaverse-XL成功训练了一种新颖视角合成的模型。由此产生的模型Zero123-XL在各种复杂形态中表现出了强大的零样本泛化能力,包括逼真的资产、卡通、绘画和草图。
根据研究人员的实验结果,使用Objaverse-XL数据进行3D视觉任务时显示出有希望的规模化趋势,从几千个资产扩展到1千万个资产。因此,他们认为,一个包含数十亿个对象的更大数据集将进一步增强此类AI模型的潜力。
Objaverse-XL和Zero123是Allen AI Institute、哥伦比亚大学、UWCSE、Stability AI、LAION和Caltech之间合作的结果。
研究人员认为,Objaverse-XL将通过显著提升先进模型的性能,促进3D AI的进步,并在增强现实和虚拟现实等领域实现应用。