元宇宙以其沉浸虚拟环境，为勇敢而富有想象力的人提供了充满活力的画布。这是一个全新的领域，可以探索我们对机器与人类之间协作的渴望，无论是通过构建一个拥有独特内在价值的新虚拟宇宙，或者一个存在和感知具有更深刻意义的平行世界。
使用数据作为颜料
位于洛杉矶的Refik Anadol Studio（RAS）一直在尝试混合形式的基于AI的艺术创作，将元宇宙的创意可能性与该工作室十年来一直追求的将新媒体艺术伊斯坦布尔建筑中的愿景相结合。著名作品库使用公开的可用的代表人类经验的数据集，这些数据集涵盖了各种方式呈现的人类体验，从单一的城市中数百万张照片到全球冰川的综合图像和视频数据集。
“我将数据视为颜料，并使用由人工智能辅助的思维画笔来绘画。利用建筑空间作为解决方案，我与机器合作，使建筑物产生梦幻和幻觉。”——Refik Anadol，TED Talks 2020
RAS工作室对无形世界的可视化呈现的主要线索是使用数据作为颜料，创造丰富的沉浸式环境。将围绕我们的数据主要材料，将计算机的神经网络视为合作者，工作室的现场人工智能（AI）数据绘画和雕塑、现场视听表演以及环境装置鼓励我们重新思考我们与物理世界、分散式网络、集体感观以及艺术的可量化之间的相互作用。
2012年以来，RAS一直在跨学科领域进行研究，探讨人类思维、建筑和美学之间的相互关系，回答这个问题：如果机器可以学习或处理个体和集体记忆，它们是否也能够梦想或产生在进行数字绘画和建筑数据雕塑的实验以及在公共空间展示基于数据的沉浸式投影后，RAS开始与AI程序和机器学习算法合作，使用视觉的数据，是视觉、听觉、地震、地理、文化或机构数据。
雄心勃勃的起点
该工作室迈向这一独特的机器智能艺术创作方法的旅程始于2016年的项目《Archive Dreaming》。Refik Anadol受邀加入了谷歌的“艺术家与机器智能（AMI）驻地计划”在那里，包括谷歌的 Blaise Aguera y Arcas、Kenric McDowell 和 Mike Tyka 在内的工程师和领域专家帮助整个 RAS 团队学习并利用 AI 来创作《Archive Dreaming》。
为了完成这项大规模的工作，RAS与伊斯坦布尔的SALT研究收藏机构合作，该机构提供了进入奥斯曼帝国时期奥斯曼银行档案（17世纪到20世纪）的170万份文件的机会，奥斯曼银行是奥斯曼帝国我们采用机器学习算法来搜索和整理这些数据点之间的关系，同时将档案中多维数据的交互转化为沉浸式和交互式媒体装置。
《档案梦想》于2017年在伊斯坦布尔作为“艺术用途：最终展览”的一部分展出，得到了欧盟文化计划的支持，是用户驱动的。然而，当安装在空闲状态时，它会“梦想”文件之间的联系，产生生成式、美学的全新视觉效果，代表了那些偶然的联系和重叠。
Refik Anadol Studios 将产生的高维数据和交互关系转化为一个具有 7680 x 1200 分辨率的圆形区域的建筑沉浸式空间。该装置同时显示旋转隧道中的光点，或者形状闪烁并消失的明亮闪烁，或者云团和照明的阵雨，观众可以浏览档案中的数百万份文件和图像。对艺术爱好者来说，他们可以窥探这个数据宇宙，并随意放大查看任何文件。首先在SALT Galata首发后，该项目的延展部分被亮相于2017年Ars Electronica Festival的“人工智能”板块中。
RAS 将这些图像呈现为三维形式，其形状由机器学习算法找到文件之间的相似性决定。 数以千计的伊斯坦布尔居民和来自世界各地的研究人员观看了这个位于伊斯坦布尔市中心的装置。领导谷歌 AMI 项目的肯里克·麦克道尔 (Kenric McDowell) 描述了这个在文化和技术交汇处提供的创造潜力：“这个在视觉和建筑上的经历令人印象深刻，但最令人兴奋的是它将文件重新构建为一个由特征连接图像的多维空间，已知，视觉相关性。这项作品还使用机器学习模型来产生可能存在于文件中但尚不存在的新图像。据我所知，这是第一个博物馆档案以这种方式构建并具有生成能力。”
建筑“意识”
工作室对机构档案的可视化的另一个转折点是“华特迪士尼音乐厅梦想”（WDCH Dreams），是与洛杉矶爱乐乐团（LA Phil）合作，以庆祝其2018/19世纪。
对于这个项目，RAS开发了一种独特的软件来处理乐团的数字档案，其中包含45TB的数据，包括来自16,471场演出小时的40,000音频。AI将文件解析成数百万个数据点，然后使用深度神经网络对它们进行分类，具有记录洛杉矶爱乐乐团全部记忆和创建它们之间新联系的能力。
“这个数据宇宙”通过唤醒华特·迪士尼音乐厅的比喻意识，在图像和声音方面创造了新的东西。 视觉艺术被投影到建筑的弧形外墙上，形成了一系列移动图像，从数据的变革、音乐家演奏，到像数字海洋一样涌动的白色块形成和其他抽象图像。结果是对洛杉矶爱乐乐团第一世纪的前瞻性可视化，以及对艺术与技术、建筑和机构记忆之间的这件作品以无形的方式展示了爱乐乐团的整个数字档案。它还在一个U形房间中设有互动参与者装置，两个通道的投影为参观者提供了开关体验。
RAS还在2022年春季与费城交响乐团合作，共同开展了一个名为“贝多芬：庄严弥撒2.0”的项目。在Verizon音乐厅，一件新的基于AI的艺术品为观众呈现，当他们的舞台上曲家1823年的杰作时。这一独特艺术品的数据集的研究问题是：“为什么不使用人工智能来尝试重建贝多芬可能想象的现实？”在这个动机的驱使下，RAS团队开始编制了一个包含贝多芬在他一生中可能遇到的欧洲建筑的1200万张图像的数据集。然后，我们使用这个文件来训练一个定制算法图像，生成了一组新的人工建筑的数据集，供我们策划制作最终的艺术品。
这个充满活力的艺术品由机器对替代欧洲建筑的幻觉组成，提到了宗教空间和象征，产生了演奏这首神圣音乐的虚拟低音的感觉。我们创建了另一个软件工具，允许人工智能提示贝多芬交响乐团的演奏，同时为观众生成并展示了它的梦想。这一补充进一步体现了工作室在WDCH Dreams项目中提出的无边界艺术愿景。
这些跨学科和国际合作的早期作品为RAS沉浸式艺术逐步划分全球产生了影响。2015年开发的《无尽之间》（Infinity Room）将空间的无限性与机器智能的无尽变化相结合，邀请访客悉尼一个360度的镜面房间，利用光、声音、气味和技术提供地震感知的变化。
最初与2015年伊斯坦布尔双年展合作呈现，《无尽之间》开始在世界各地巡回演出。目前已经有200多人体验过。2021年，维多利亚国家美术馆展出了有关建筑、机器的工作室学习和概率美学交汇的大规模调查作品《量子记忆》，使用了迄今为止它曾使用的最大的LED屏幕。该展览吸引了170名观众，成为澳大利亚观看数字艺术品的最大观众。
《机器幻觉：自然之梦》是柏林科尼格画廊的AI数据雕塑和绘画的个人展览，基于自然主题的数据集，吸引了五周内的20名观众，成为欧洲画廊最受观众欢迎的展览。 “机器幻觉：太空”是我们与美国宇航局喷气推进实验室（NASA’s Jet Propulsion Laboratory）合作的产物，始于2018年。这是一个根植于由卫星和宇宙飞船拍摄的太空照片的沉浸式艺术品。三周内有9名观众观看，是香港艺术品观看艺术品最多的观众。
吸引多元化的受众
RAS在世界各地创造大规模、沉浸式、多感官装置的广泛经验，激发了团队将这些想法带入元宇宙的潜力。2021年春季，RAS有机会探索以1906年高迪标志性的建筑——巴特略之家为中心的合作艺术品的创作潜力。
我们以“生活的建筑”（Living Architecture）为例，说明了一件艺术品如何通过存在于多种动态的虚拟形式中来吸引受众塑造观众，同时仍然与现实世界有着密切的联系。项目始于RAS获委托创作“在高迪的心灵中”（In the Mind of Gaudí），这是一个基于AI的沉浸式屏幕体验，展示在巴特略之家地下室的LED立方体房间，周围有六个。
为了这个最初的360度体验，RAS收集了约10亿张高迪的雕塑、建筑历史的视觉档案、学术档案以及在互联网和社交媒体平台上公开获得的巴特略之家照片。我们使用机器学习分类模型对这些图像进行了处理，将它们分散到主题类别。
借助我们定制生成的软件和流动的模拟模型，使图像具有动态性，我们将这个数据宇宙，灵感来源于高迪，由机器生成，由人类策划，转化为一个AI数据雕塑。我们利用数据的子集来训练AI模型，通过算法连接，导致机器产生新的美学图像和色彩组合的幻觉。，我们将这些图像全新到主题类别中，从而更好地理解数据星集的语义背景。
这个不断扩展的数据宇宙不仅仅是数据的插值合成，而是一个潜在的宇宙，其中AI的幻觉是主要的创造和艺术货币。为了捕捉这些幻觉，我们使用了NVIDIA的Style-GAN2自适应识别增强来生成一个AI模型，通过这个模型，机器可以处理文件。该模型在已分类图像的子集上进行了训练，创建了1024个维度的嵌入。
下一个阶段是数据着色。我们将来自各种来源的视觉元素合并成单一的图像。在过去的十多年来，我们一直在尝试使用定制软件和流畅的模拟模型赋予这些视觉元素独特的动态性。模拟允许计算机模拟并生成流畅的视觉特性和行为，它是我们工作室数据可视化中的标志性视觉效果之一。我们在各种复杂程度的情况下使用它，包括实时和交互式动画。
为游客重新定义博物馆体验
重新定义了参观者的博物馆体验“生活的建筑：巴特略之家”，我们将高迪档案中的大量数据合成了飘渺的数据颜料，最终呈现成受流动暗示的动态。在高迪的心灵中是巴特略之家在大流行后的重大重开活动的一部分，这是一系列沉浸式和互动导览，为杰作和其访客之间创造了新的联系。
这个装置使用了LED立方体的360度艺术体验，庆祝世界上第一个10D体验，为人们提供了外接的了解加泰罗尼亚建筑师的思维方式，使用了世界上最大的数字高压我们采用的技术代表了高迪的古怪审美，创造了一个动态的多感官空间，拥有1000多个数字投影，21个音频通道，双耳声音和音响，重新定义了博物馆体验，吸引人来自世界各地、各个年龄和背景的观众。
我们继续从同一高迪档案中构建了第二件艺术品，这件作品可以在现实世界和元宇宙中以NFT（非同质化代币）的形式体验和庆祝。NFT艺术品是无法复制的数字艺术，因此具有作为项目的价值。在“生活的建筑”中，RAS对高迪的建筑及其记忆进行了激进的动态塑造，使其成为第一个以NFT方式主持的联合国教科文组织世界遗产。
我们使用建筑物标志性的立面作为成品，展示了一个经过变形生成的动态抽象。数字作品正在纽约曼哈顿的洛克菲勒广场展示。为了增强作品的景观和实际影响，我们为展览的预售创建了定制的香气和音频配乐，以补充城市环境。
该作品于2022年5月10日在佳士得21世纪晚间拍卖会上以138万美元的价格售出。我们将售出款的10%转让给与神经多样性的解决方案和儿童共同工作的机构。这三天之前，我们在巴特略之家的立面投影了该作品的映射版本，吸引了4.7万观众。生活的架构证明了我们在机器学习工具和区块链技术方面的实验已经达到了了多么先进的水平；我们使用了严重的传感器，收集实时环境数据，使 NFT 作品随着城市的天气和立面投影的艺术品而改变。
持续不断的体验式艺术作品
一个持续的体验性艺术品技术专家和创业公司领袖 Sagi Eliyahu 将客户参与定义为一个持续的情感关系，最好可以描述总和或客户的整体情感联系的多个时刻，这是由整体体验产生的。巴特略之家正是提供了联系，最终导致了 NFT 艺术品的最终销售。正如这种巴特略之家的主管加里·高蒂埃所说，“多亏了一个北极的视听项目展示，这么说地标在全球范围内都可以看到，从昏迷、纽约、元宇宙以及成千上万的家庭实时观看。那些有机会观看的人，我们共同见证了艺术历史的独特时刻：将世界遗产和Refik阿纳多尔的数字艺术作品聚集在一起。”
最终的NFT项目完美地反映了RAS通过多种感官参与渠道来影响观众的愿景。我们认为，机器与人之间的这种有意义的合作不仅是美学表现，还是有意义的实验，可以用来在现实和虚拟世界中创造多种心理满足和赋权形式。
NFT销售使我们有机会为有价值的事业做出贡献，进一步提高对这样的工作的认识，这是科学、技术和艺术意义的融合，以解决全球问题。它还通过分散展示了元宇宙架构的创意，以及区块链货币的创新运用，以募集慈善机构的资金，为各种全球问题提供切实可行的解决方案，可以传播更广泛的受众。