你可能不熟悉Viggle AI，但你可能已经见过它制作的病毒式表情包。这家加拿大AI初创公司负责制作了数十个视频，将说唱歌手Lil Yachty在夏季音乐节上跳舞的画面进行了混剪。在其中一个视频中，Lil Yachty被替换成了华金·菲尼克斯饰演的《小丑》。在另一个视频中，耶稣似乎正在激励观众。用户制作了无数个版本的这些视频，但其中一个AI初创公司是推动这些表情包的核心。而Viggle的首席执行官表示，YouTube视频为其AI模型提供了支持。
Viggle训练了一种3D视频基础模型JST-1，声称具备“真正的物理理解”。Viggle的首席执行官Hang Chu表示，Viggle与其他AI视频模型的关键区别在于，Viggle允许用户指定角色的动作。其他AI视频模型往往会创建不符合物理规律的不现实角色动作，而Chu声称Viggle的模型有所不同。
“我们本质上是在构建一种全新的图形引擎，但完全依赖神经网络。”Chu在采访中表示，“我们的模型与现有的视频生成器大相径庭，后者主要基于像素，不真正理解物理结构和属性。我们的模型旨在具备这种理解，这就是为什么它在可控性和生成效率方面有显著优势。”
例如，要创建小丑版的Lil Yachty视频，只需上传原始视频（Lil Yachty在舞台上跳舞）和一个要呈现该动作的角色图像（小丑）。此外，用户还可以上传角色图像和带有动画指令的文本提示。第三种选项是，Viggle允许用户仅通过文本提示创建全新的动画角色。
但表情包只是Viggle用户的一小部分；Chu表示，该模型在创意领域作为可视化工具得到了广泛应用。这些视频虽然远不完美——画面不稳定，面部表情缺乏生动——但Chu称其在电影制作人、动画师和视频游戏设计师中已经证明了其有效性，可以将他们的创意转化为视觉效果。目前，Viggle的模型仅能创建角色，但Chu希望未来能支持更复杂的视频制作。
Viggle目前在Discord和其网页应用上提供了一个免费的有限版本AI模型。公司还提供了一个价格为9.99美元的订阅服务，以增加使用容量，并通过创作者计划为一些创作者提供了特别访问权限。首席执行官表示，Viggle正在与电影和视频游戏工作室讨论技术授权事宜，同时也看到独立动画师和内容创作者的广泛应用。
周一，Viggle宣布获得了由Andreessen Horowitz领投、Two Small Fish参与的1900万美元A轮融资。该初创公司表示，这轮融资将帮助Viggle扩大规模，加快产品开发，并扩充团队。它与Google Cloud等云服务提供商合作，训练和运行其AI模型。这些Google Cloud合作通常包括访问GPU和TPU集群，但通常不包括使用YouTube视频来训练AI模型。
训练数据
“到目前为止，我们一直依赖公开的数据。”Chu回答道，这与OpenAI首席技术官Mira Murati关于Sora训练数据的回答类似。
当被问及Viggle的训练数据集中是否包括YouTube视频时，Chu直接回答：“是的。”
这可能会引发问题。4月，YouTube首席执行官Neal Mohan告诉彭博社，使用YouTube视频来训练AI文本到视频生成器将是对平台服务条款的“明显违反”。这些评论是在讨论OpenAI是否可能使用YouTube视频来训练Sora的背景下作出的。
Mohan澄清道，Google（YouTube的母公司）可能与某些创作者签订了合同，以在Google DeepMind的Gemini训练数据集中使用他们的视频。然而，根据Mohan和YouTube的服务条款，在未获得公司许可的情况下，采集平台上的视频是被禁止的。
Viggle利用了各种公开来源，包括YouTube，以生成AI内容。我们的训练数据经过精心策划和优化，确保在整个过程中遵守所有服务条款。我们优先保持与YouTube等平台的良好关系，并承诺遵守其条款，避免大规模下载和任何涉及未经授权的视频下载的行为。
这家初创公司与其他使用YouTube作为训练数据的公司一样，处于一个灰色地带。报告显示，许多AI模型开发者，包括Nvidia、Apple和Anthropic，使用YouTube视频转录或剪辑进行训练。这在硅谷并不是什么秘密：每个人可能都在这样做。实际上，罕见的是有人公开承认这一点。