未来，AI助手可能会在我们做出决策的早期阶段预测并影响我们的决策，并将这些正在发展的“意图”实时出售给能够满足这些需求的公司——甚至在我们意识到自己做出决定之前。
这是剑桥大学的AI伦理学家们的观点，他们认为我们正站在一个“有利可图但令人担忧的新市场”的门槛上，这个市场涉及到数字意图信号的买卖，从购买电影票到投票支持候选人等行为。他们将这一现象称为“意图经济”。
剑桥大学“未来智能研究中心”（LCFI）的研究人员表示，随着生成式AI的爆炸性发展，以及我们对聊天机器人的日益熟悉，开辟了“劝导性技术”的新前沿——这一前沿在一些科技巨头的公司公告中已经有所体现。
这些“拟人化”的AI代理，从聊天助手到数字导师甚至虚拟女友，将能够访问大量亲密的心理和行为数据，这些数据往往通过非正式的对话形式获得。
这种AI将结合我们在网上的习惯和行为，凭借其能够让人感到舒适的方式调动情感，模仿特定个性并预测所期望的反应，建立起我们难以抗拒的信任和理解。研究人员认为，这将使得在大规模社会层面进行操控成为可能。
“巨大的资源正在被投入到将AI助手部署到生活的方方面面，这应当引发一个问题：这些所谓的助手究竟是为了谁的利益和目的而设计的？”剑桥大学LCFI访问学者Yaqub Chaudhary博士说道。
“人们在交谈时说什么、如何说，以及由此可以实时推断出的信息，比起仅仅记录在线互动，它们更为亲密。”
“我们要警告的是，AI工具已经在开发中，旨在引导、推测、收集、记录、理解、预测，并最终操控和商品化人类的计划和目的。”
剑桥大学LCFI的技术史学家Jonnie Penn博士表示：“几十年来，注意力一直是互联网的货币。你在Facebook、Instagram等社交媒体平台上分享你的注意力，推动了线上经济。”
“如果没有监管，‘意图经济’将把你的动机当作新的货币。那些能够针对、引导并出售人类意图的人，将迎来一场淘金热。”
“在我们成为其无意后果的受害者之前，我们应该开始考虑这样一个市场可能对人类愿望产生的影响，包括自由公正的选举、自由的新闻媒介和公平的市场竞争。”
在哈佛《数据科学评论》的一篇论文中，Penn和Chaudhary写道，意图经济将是“时间维度上的注意力经济”：它将描绘出用户的注意力和交流风格如何与行为模式和最终做出的选择相联系。
“尽管有些意图是瞬息而逝的，但对那些持久存在的意图进行分类和精准打击，将为广告商带来巨大的利润。”Chaudhary说道。
在“意图经济”中，研究人员写道，大型语言模型（LLMs）可以被用来低成本地精准锁定用户的节奏、政治立场、词汇、年龄、性别、在线历史，甚至是对恭维和巴结的偏好。
这种信息收集将与中介竞价网络相连接，以最大化实现特定目标的可能性，例如销售一场电影票（“你提到自己工作太累了，要不要我帮你订个我们之前聊过的电影票？”）。
Penn和Chaudhary认为，这还可能包括引导对话，服务于特定的平台、广告商、企业，甚至是政治组织。
尽管研究人员表示，意图经济目前仍是科技行业的“愿景”，但他们通过已发布的研究成果和多家科技巨头的言辞，追踪到了这一趋势的早期迹象。
其中包括2023年OpenAI的一篇博客文章中公开呼吁获取“表达人类意图的数据……涵盖任何语言、话题和形式”，而OpenAI合作伙伴Shopify的产品总监则在同年某会议上谈到，聊天机器人将明确用于“获取用户的意图”。
Nvidia的CEO也曾公开谈到，利用LLM来识别意图和欲望，而Meta则在2021年发布了“Intentonomy”研究，一个用于理解人类意图的数据集。
2024年，苹果推出了新的“App Intents”开发者框架，用于将应用连接到Siri（苹果的语音控制个人助手）。该框架包括了一些协议，可以“预测某人未来可能采取的行动”以及“使用你（开发者）提供的预测，在未来向某人建议应用意图”。
Chaudhary说道：“像Meta的CICERO这样的AI代理被认为能够在《外交》这款游戏中达到人类水平的表现，而这款游戏依赖于推断和预测意图，并通过劝说性对话来推动自身的立场。”
“这些公司已经在出售我们的注意力。为了获得商业竞争优势，逻辑上的下一步就是利用他们显然正在开发的技术，预测我们的意图，并在我们甚至还未完全理解这些意图之前，就将我们的欲望出售出去。”
Penn指出，这些发展不一定是坏事，但它们具有潜在的破坏性。他说：“公众对即将到来的变化保持警觉是确保我们不走上错误道路的关键。”