关于生成式AI和大语言模型（LLM）颠覆安全产业的潜力已经引起了广泛的关注。一方面，不容忽视积极的影响。这些新工具可能能够帮助编写和扫描代码，补充人手不足的团队，实时分析威胁，并执行广泛的其他功能，以帮助使安全团队更准确、高效和富有成效。随着时间的推移，这些工具还可能能够接管当今安全分析员所不喜欢的枯燥重复的任务，从而使他们有更多时间从事更引人入胜和具有影响力的工作，这些工作需要人类的关注和决策。
另一方面，生成式AI和LLMs仍处于相对初级阶段，这意味着组织仍在努力探究如何负责地使用它们。除此之外，安全专业人员并不是唯一认识到生成式AI潜力的人。对于安全专业人员有益的事情通常对攻击者也有益，当今的对手正在探索如何将生成式AI用于他们自己的恶意目的。当我们认为帮助我们的东西开始伤害我们时会发生什么？我们最终会达到一个临界点，技术作为威胁的潜力超过了它作为资源的潜力吗？
随着技术变得更加先进和更加普遍，了解生成式AI的能力以及如何负责地使用它将变得至关重要。
使用生成式AI和LLMs
毫不夸张地说，像ChatGPT这样的生成式AI模型可能会从根本上改变我们对待编程和编码的方式。确实，它们还不能完全从头创建代码（至少目前还不能）。但如果您对某个应用程序或程序有一个想法，生成式AI很有可能能够帮助您执行它。将这样的代码视为第一版草稿很有帮助。它可能不是完美的，但它是一个有用的起点。而且编辑现有代码要比从头生成代码更容易（更不用说更快）。将这些基本级别的任务交给能干的AI意味着工程师和开发人员可以从事更适合他们经验和专业知识的任务。
话虽如此，生成式AI和LLMs是基于现有内容生成输出的，无论这些内容是来自开放互联网还是它们被训练的特定数据集。这意味着它们擅长在之前的基础上进行迭代，这对攻击者来说可能是一个福音。例如，就像AI可以使用同一组词创建内容的变体一样，它可以创建类似于已存在内容的恶意代码，但足够不同以逃避检测。使用这项技术，恶意行为者会生成独特的载荷或攻击，旨在规避围绕已知攻击签名构建的安全防御。
攻击者已经在使用AI来开发webshell变体，这是用于在被攻陷的服务器上保持持久性的恶意代码。攻击者可以将现有的webshell输入到生成式AI工具中，并要求它创建恶意代码的变体。然后，这些变体可以在已受到攻击的服务器上与远程代码执行漏洞（RCE）一起使用，以逃避检测。
LLMs和AI导致更多的零日漏洞和复杂的攻击
资金充足的攻击者也擅长阅读和扫描源代码，以识别漏洞，但这个过程耗时且需要高水平的技能。LLMs和生成式AI工具可以帮助这样的攻击者，甚至那些技能较低的攻击者，通过分析常用开源项目的源代码或反向工程商业现成软件来发现和执行复杂的攻击。
在大多数情况下，攻击者拥有编写工具或插件以自动化这个过程。他们也更有可能使用开源的LLMs，因为这些工具没有相同的保护机制来防止这种恶意行为，通常是免费使用的。结果将是零日漏洞和其他危险攻击的数量激增，类似于MOVEit和Log4Shell漏洞，这些漏洞使攻击者能够从易受攻击的组织中窃取数据。
不幸的是，普通组织的代码库中已经潜藏着数以万计甚至数十万个未解决的漏洞。随着程序员引入未经漏洞扫描的AI生成代码，由于糟糕的编码实践，我们会看到这个数字上升。当然，国家级攻击者和其他高级组织将准备好利用这一点，而生成式AI工具将使他们更容易这样做。
谨慎前进
这个问题没有简单的解决方案，但组织可以采取一些步骤，确保他们以安全和负责任的方式使用这些新工具。一个方法就是做与攻击者一样的事情：通过使用AI工具扫描他们的代码库，组织可以识别出代码中潜在的漏洞，并在攻击者发动攻击之前对其进行修复。这对于希望使用生成式AI工具和LLMs来辅助代码生成的组织尤其重要。如果AI从现有存储库中引入开源代码，那么验证它是否带有已知的安全漏洞是至关重要的。
今天的安全专业人员对生成式AI和LLMs的使用和传播担忧是非常真实的，一些科技领袖最近敦促出于社会风险的考虑“暂停人工智能”。尽管这些工具有可能使工程师和开发人员的生产力显著提高，但今天的组织在使用这些工具时必须谨慎，需要在让AI脱离其比喻的束缚之前实施必要的保障措施。