Stable Diffusion再进化,推出3D生成功能和图像微调
Stable Diffusion再进化,推出3D生成功能和图像微调

Stable Diffusion再进化,推出3D生成功能和图像微调

Stability AI今天宣布了其 Stable Diffusion 平台的新增强功能。这些更新不仅为文本转图像提供了令人兴奋的新功能,还涉及了3D创建内容领域。

最引人注目的增强功能是全新的Stable 3D模型。到目前为止,Stable Diffusion主要用于二维(2D)图像生成。Stable 3D模型将改变这一现状,提供了可用于各种类型的3D内容创建功能,包括图形设计甚至视频游戏开发。

除了进军3D内容生成领域,Stability AI还推出了Sky Replacer工具,它的设计目的就如其名称所示——替换2D图像中的天空。

Stable Diffusion 平台还新增了“Stable Fine-Tuning”,旨在帮助企业加速特定用途的图像色调过程。

此外,该公司将在Stability AI API生成的图像集成不可见水印,用于内容认证。这些新的更新旨在帮助企业进行创意开发,因为生成式AI越来越成为常规工作流程的一部分。

“这是为了给创意叙述者提供他们需要的工具,以更好地控制图像,”BattleAI 的首席执行官 Emad Mostaque 在采访时表示。

Stable Diffusion 在竞争日益激烈的 GenAI 领域不断推陈出新

Stability AI 的进步正值文本到图像生成市场竞争变得激烈之际。

Adobe已经推出了与公司的设计软件紧密集成的Firefly工具,Midjourney一直在不断增加新功能,以帮助设计师生成图像。OpenAI也不甘示弱,最近发布了DALL-E 3模型,改进了生成图像内部文本的功能。

Mostaque非常明确自己的竞争情况,并致力于通过多种方式帮助Stability AI脱颖而出。他特别强调,他的公司现在正在从模拟的公司转变为创意流程的推动者。他指出,新的天空替换和微调功能均超出了生成图像核心基础模型的额外步骤。

Sky Replacer 不仅仅是一个功能,它还是业务用例的焦点

背景替换的概念并不新鲜。在非生成式AI应用中,通常使用绿幕和色度键等技术来替换背景。

Mostaque 表示,Stability AI 正是基于这些经典技术、自动化工作流程,能够快速高效地业务用户的流程。更改天空的背景颜色不仅仅是为了增加某种创意效果,它具有非常具体和实际的例子。

“比如说,Sky Replacer 非常适合房地产业。”Mostaque 说。

Mostaque指出,用户希望能够拥有不同的背景,具有不同的照明效果。从根本上来说,他强调,这一切都是为了提供控制,因为不同的机构有自己生成图像和内容的工作流程。Stability AI正在构建优化的工作流程,以帮助满足不同场景所需的控制。

“Sky Replacer 是我们即将推出的一系列非常行业和企业特定功能之一,总结了我们过去六到十二个月的经验。”他说。

Stable 3D 扩展了 Stable Diffusion 的新用例

新的Stable 3D 模型通过在Stable Diffusion中扩展使用扩散模型,包括额外的 3D 数据集和向量化来实现。

“我非常兴奋能够在 3D 中创造整个世界。”Mostaque 表示。

Mostaque解释说,Stable 3D是由Stable Diffusion和Stability AI在Objaverse-XL上的工作构建而成的,Objaverse-XL是世界上最大的开放式3D数据集之一。构建和渲染3D图像一直是一个资源密集型的工作,但Mostaque乐观地认为,稳定的3D将比3D图像生成方法更重要。他强调,稳定的AI仍处于早期阶段,但乐观地认为这项技术将随着时间的推移而终止传统发展和扩展。Stable 3D最初将以个人预览的形式提供。

“与经典的 3D 模型创建方法相比,这非常高效。”他说,“那些在传统上需要很长时间来构建的东西,现在可以快速获得初稿。”

数字水印和拜登AI行政命令

本周随着拜登政府发布的关于AI的行政命令(EO),其中一个组成部分足以将数字水印整合到生成的内容中。

Stability AI现在正在将不可见数字水印和内容资源集成到其API中。内容依赖是Adobe和其他公司正在参与的多供应商行业努力,旨在提供相关内容的作者信息。Mostaque表示,添加不可见数字水印和内容依据是一项重大举措。这也是Stability AI开展的更广泛工作的一部分,旨在为生成的内容带来真实性。

“我们正在制定许多倡议,以及我们将在这方面宣布其他一些倡议,以及其他研究,因为我们想知道什么是真实的,什么是伪造的。”莫斯塔克说,“这也有助于我们在未来发布目前正在构建一些提升和其他机制。”