![](https://www.bigbigai.com/wiki/wp-content/uploads/2024/07/image-201.png)
上海科技大学的科学家们开发了一种名为CLAY的AI模型,该模型能够根据文本和图像生成详细的3D对象。该模型在质量和多样性上超越了以往的方法。
上海科技大学的研究团队揭示了这一新的AI系统,用于生成3D内容。该模型名为CLAY(可控大规模生成模型,用于创建高质量3D资产,包括高质量几何和外观),能够从简单的文本描述或2D图像中创建复杂的三维对象。
CLAY的核心包括一个多分辨率变分自编码器(VAE)和一个扩散变换器(DiT)。VAE负责将各种细节水平的3D几何体编码到潜在空间,而DiT则负责生成这些几何体。与许多其他方法不同,CLAY在处理3D内容时无需先转换为2D。
研究人员表示,CLAY能够生成从简单的日常物品到复杂的幻想生物等各种对象。该系统在超过50万个3D模型上进行了训练。研究团队开发了一条特殊的流程,用于统一不同的3D数据集,包括一个重新网格化过程来标准化几何体,以及使用GPT-4V进行精确的自动标注。
CLAY的一个独特功能是通过附加输入来控制生成过程。除了文本和图像外,粗略的形状(体素结构、点云)或边界框也可以被指定。这使得对最终结果的控制更加精确。
这些条件可以单独使用,也可以组合使用。例如,可以从分散的边界框生成整个城市场景,或者从手绘草图中重建详细的3D模型。
与之前的方法比较
在直接比较中,CLAY在定性和定量评估中均优于现有的文本转3D和图像转3D系统,如Shap-E、DreamFusion或Wonder3D。
在文本转3D生成方面,CLAY生成了更为一致的几何形状,表面更光滑,细节更精细。在图像转3D转换中,该系统能够更准确地重建输入内容,更好地保留复杂结构。
CLAY的另一个优势是速度:虽然一些对比系统需要几个小时进行优化,CLAY则能在约45秒内生成高质量的3D资产。
除了几何生成,CLAY还掌握了逼真材料的合成。该系统能够生成物理基础渲染材料(PBR),包括漫反射、粗糙度和金属质感。CLAY采用了一种特殊的多视角材料扩散方法,这一方法在超过40,000种高质量PBR材料上进行了训练。
潜在应用与展望
科学家们看到了CLAY的多种应用前景,如游戏开发、电影制作或3D打印。该系统有可能显著简化耗时的手动3D模型创建过程。
然而,研究人员也指出了潜在的风险。与其他AI系统一样,CLAY可能会被滥用来创建令人误以为真实的虚拟内容。因此,开发者计划进一步采取安全措施,以确保负责任的使用。
尽管成果令人印象深刻,研究人员仍认为还有改进的空间。他们计划进一步扩展训练数据并提高其质量,同时也在致力于将几何生成和材料生成集成到一个单一模型中。