摘要：研究人员完成了迄今为止使用AI模型开发软件的风险的最全面的研究之一。在论文中，他们演示了特定类型的错误如何对使用AI来帮助编写代码的程序员构成严重威胁。...

UTSA研究人员最近完成了迄今为止最全面的研究之一，即使用AI模型开发软件的风险。在新论文中，他们演示了特定类型的错误如何对使用AI来帮助编写代码的程序员构成严重威胁。

UTSA计算机科学博士生Joe Spracklen领导了有关大型语言模型（LLM）经常生成不安全代码的研究。他的团队的论文已在乌苏尼克斯安全研讨会2025年被接受，这是一项首要的网络安全和隐私会议。

多机构的合作是来自UTSA的另外三名研究人员：博士生A.H.M.纳兹姆斯·萨基布（Nazmus Sakib），博士后研究员Raveen Wijewickrama和Spritelab主任Murtuza Jadliwala副教授（计算机研究实验室的安全，隐私，信托和道德规范）。其他合作者是俄克拉荷马大学（前UTSA博士后研究员）的Anindya Maita和弗吉尼亚理工大学的Bimal Viswanath。

LLM中的幻觉发生时，该模型产生的内容实际上是不正确的，荒谬的或与输入任务完全无关的。迄今为止，大多数目前的研究主要集中在古典自然语言生成和预测任务（例如机器翻译，摘要和对话AI）中的幻觉。

研究团队专注于包装幻觉的现象，该现象是在LLM生成或建议使用实际不存在的第三方软件库时发生的。

使包装幻觉成为令人着迷的研究领域的原因是，如此简单的事情（一个单一的日常命令）会导致严重的安全风险。

斯普拉克伦说：“这不需要一套令人费解的情况或发生一些晦涩的事情。” “这只是在一个命令中打字，大多数以这些编程语言为类型的人都打字。仅此而已。这是非常直接和非常简单的。”

他补充说：“这也无处不在。” “您的基本Python编码语言几乎无法做到。您会花很长时间自己编写代码，因此，依靠开源软件来扩展编程语言的功能来完成特定任务是普遍的。”

LLM在开发人员中越来越受欢迎，他们使用AI模型来协助组装程序。根据这项研究，多达97％的软件开发人员将生成AI纳入其工作流程中，而今天编写的代码中有30％是AI生成的。此外，许多流行的编程语言，例如Python的Python和JavaScript的NPM，都依赖于使用集中式软件包存储库。由于存储库通常是开源的，因此坏演员可以上传伪装成合法包裹的恶意代码。

多年来，攻击者一直使用各种技巧来使用户安装其恶意软件。包装幻觉是最新的策略。

“因此，假设我要求chatgpt帮助我编写一些代码，然后写入它。现在，在生成的代码中说，它包含了某些包装的链接，我相信它并运行代码，但是包装不存在，它是一些幻觉的包装。幻觉的封装。一种敏锐的对手/黑客可以看到（llm of llm），并告诉人们这件事的包装封装，该套餐是这样的包装。然后，只需在幻觉软件包中创建一个新软件包（由LLM推荐），然后在其中注入一些不良代码，下次LLM建议在生成的代码中使用相同的软件包，并且一个毫无疑问的用户执行代码，此恶意软件包现在在用户的机器上下载并执行。”

UTSA研究人员评估了跨不同编程语言，设置和参数的软件包幻觉的发生，从而探索了错误的软件包建议的可能性并确定根本原因。

在UTSA研究人员进行的30种不同测试中，使用引用幻觉包的LLM模型在Python和JavaScript中生成的223万份代码样本中有440,445个。该研究说，在经过测试的LLMS研究人员中，“与开源模型相比，GPT系列模型的产生幻觉包装的可能性少四倍，而幻觉率为5.2％，而幻觉速度为21.7％。”研究人员发现，python代码比JavaScript不太容易受到幻觉的影响。

这些攻击通常涉及命名恶意包裹以模仿合法的攻击，这种攻击是一种称为包装混乱攻击的策略。在软件包幻觉攻击中，建议在其生成的代码中建议使用毫无戒心的LLM用户，并信任LLM，将下载对Aversary-1造成的恶意软件包，从而导致折衷。

这种脆弱性的阴险要素是它利用了对LLM的日益信任。随着他们继续熟练地编码任务，用户将更有可能盲目信任自己的产出，并可能成为这次攻击的受害者。

Spracklen解释说：“如果您经常编写编码，就不难看到这种情况是如何发生的。我们与很多人进行了交谈，几乎每个人都说他们在编码时会注意到包裹幻觉，但是他们从未考虑过如何恶意使用它。” “您在包装出版商的包裹上放大了许多隐含的信任，因为他们共享的代码是合法而不是恶意的。但是每次下载包裹时；您正在下载潜在的恶意代码并将其完全访问您的机器。”

虽然交叉引用生成的包装与主列表可能有助于减轻幻觉，但UTSA研究人员表示，最好的解决方案是在其自身开发过程中解决LLM的基础。该团队已向OpenAI，Meta，DeepSeek和Mistral AI等模型提供商透露了其发现。