不久前,生成3D图像还是一件非常困难的事。这个过程涉及复杂的线框、复杂的软件和强大的硬件。今天情况已经不再是这样了。
Stability AI宣布了一项新的生成式AI技术,名为Stable Fast 3D,可以通过单张图片快速生成3D图像,而且速度非常快。据Stability AI介绍,这款新模型可以在半秒内生成一张3D图像。
这代表了处理时间上的重大飞跃,大大超越了之前需要数分钟才能实现类似结果的模型。早在今年三月,Stability AI就发布了Stable Video 3D(SV3D),该模型需要长达10分钟才能生成一个3D资产——而Stable Fast 3D能够以1200倍的速度完成相同任务。
Stability AI预计,新模型将在设计、建筑、零售、虚拟现实和游戏开发等多个行业具有广泛的实用性。用户可以通过Stability AI的Stable Assistant聊天机器人和Stability AI API使用该模型。该模型还可以通过Hugging Face的社区许可证使用。
Stable Fast 3D如何实现前所未有的快速图像生成
Stable Fast 3D并不是从头开始构建的,而是基于Stability AI之前的TripoSR模型演变而来。Stability AI在三月首次宣布与3D建模供应商Trip AI合作,旨在构建一种快速3D资产生成技术。
在一篇研究论文中,Stability AI的研究人员详细介绍了新模型用于快速重建高质量3D网格的创新方法。该系统通过结合几种新技术来解决快速3D重建中的常见问题,同时保持速度并提高输出质量。
Stable Fast 3D的核心是使用增强的变压器网络从输入图像生成高分辨率的三平面(3D体积表示)。该网络设计旨在有效处理较大的分辨率,而不会大幅增加计算复杂度,从而允许捕捉更精细的细节并减少锯齿伪影。
研究人员还详细介绍了一种创新的材质和照明估算方法。材质估算网络使用一种新颖的概率方法来预测全局金属度和粗糙度值,从而提高图像质量和一致性。
特别值得注意的是,Stable Fast 3D模型能够将3D图像所需的多个元素(包括网格、纹理和材质属性)组合成一个紧凑、可直接使用的3D资产。
从2D到4D,Stability AI推进了新一代AI的发展
Stability AI可能最为人所知的是其Stable Diffusion文本到图像生成技术。
虽然Stable Diffusion是一种2D图像生成技术,但Stability AI至少从2023年11月起就开始致力于3D领域,推出了Stable 3D。今年三月推出的Stable Video 3D具备了基本的摄像机平移查看图像的功能,同时提升了3D图像生成的质量。
Stability AI不仅止步于3D。就在上周,公司宣布了Stable Video 4D,新增了时间维度,用于生成短3D视频。