卡内基梅隆大学机器人学院的研究人员开发了一种与人互动共同绘画的机器人系统。协作式FRIDA（CoFRIDA）可以与任何艺术水平的用户合作，在现实世界中共同创作艺术品。
“这就像是写作提示的绘画等价物。”运营机器人学院纺织实验室的副教授Jim McCann说道，“如果你卡住了，不知道该做什么，它可以为你在页面上绘制一些东西。它可以打破空白页面的障碍。这是提高人类创造力的一种非常有趣的方式。”
CoFRIDA基于过去与FRIDA的合作，FRIDA是计算机科学学院的一个多实验室合作项目。
以艺术家Frida Kahlo命名的FRIDA（用于开发艺术的框架和机器人计划）可以使用画笔或Sharpie根据人类用户的文本提示或图像示例创建绘画。该项目是由机器人学院的副研究教授Jean Oh与McCann和博士生Peter Schaldenbrand共同创立的。
为了支持更具合作性的艺术创作体验，机器人学院的博士生Gaurav Parmar和助理教授Jun-Yan Zhu加入了FRIDA团队，开发了CoFRIDA。新系统允许用户提供文本输入来描述他们想要绘制的内容。他们还可以参与创作过程，与机器人轮流直接在画布上绘画，直到实现他们的艺术愿景。
“CoFRIDA需要比原始FRIDA更高级的智能，原始FRIDA可以独自完成从开始到完成的艺术品。”Oh说道，“共同绘画类似于与另一个人合作，不断需要猜测他们想要什么。CoFRIDA必须理解人类用户的高层次目标，使用户的笔触对于目标有意义。”
共同绘画本质上是一种合作性的活动，而训练机器人进行合作却是困难且耗时的。为了解决这个问题，CoFRIDA使用基于FRIDA笔刷模拟器和规划器的自监督训练数据。
研究人员通过让FRIDA模拟绘画，包括一系列笔刷笔触的序列，然后移除一些笔触以产生部分绘画的示例，创建了一个自监督的微调数据集。
团队必须确定如何从训练数据中删除绘画元素，同时留下足够的图像让CoFRIDA识别。例如，研究人员移除了绘画中的细节，如车轮的边缘或汽车的窗户，但保留了车辆的轮廓。
“我们尝试模拟绘画过程的不同状态。”Jun-Yan Zhu说道，“很容易得到最终的草图，但很难想象这个过程的中间阶段。”
利用部分和完整绘画的数据集，研究人员对文本到图像模型InstructPix2Pix进行了微调，使CoFRIDA能够添加笔触并与画布上的现有内容进行合作。这种方法依赖于使用CoFRIDA笔刷模拟器创建的数据，这意味着生成绘画将考虑到机器人的真实约束，例如其有限的工具集。
在实验室之外，研究人员希望CoFRIDA可以向人们传授关于机器人的知识并拓展创造力，鼓励那些可能怀疑自己艺术能力的人。CoFRIDA还可以帮助实现用户的愿景或将艺术作品带向全新的方向。
“如果你从一个非常简单的草图开始，CoFRIDA会将艺术作品带向截然不同的方向。如果你要求六个不同的绘画，你会得到六个非常不同的选项。”Schaldenbrand说道。
“能够在高层次上做出决策是很好的，因为这让我感觉自己像一个艺术总监。机器人做出了关于在哪里放置标记的低层次决策，但我可以决定整体的外观。我仍然掌控着创意过程，在一个艺术家担心被人工智能取代的世界里，CoFRIDA作为一个旨在支持人类创造力的机器人是非常典范的，具有极其重要的意义。”
研究人员希望进一步的研究可以将个性化融入到CoFRIDA中，让用户对成品的风格有更多的控制。