拥有1,000万美元支持的瑞士初创公司推出API，以保护公司免受提示注入等威胁。
大型语言模型（LLMs）是蓬勃发展的生成式人工智能运动的推动力，能够根据简单的提示来解释和生成人类语言文本，这可以是从摘要文档到写诗再到使用来自各种来源的数据回答问题等任何内容。
然而，这些提示也可以被恶意操作者操纵，以实现更加可疑的结果，使用所谓的“提示注入”技术，个体可以将精心制作的文本提示输入到基于LLM的聊天机器人中，目的是欺骗它以获取未经授权的系统访问权限，或者以其他方式使用户绕过严格的安全措施。
正是在这个背景下，瑞士初创公司Lakera正式向全球推出，承诺保护企业免受各种LLM安全弱点，如提示注入和数据泄漏的威胁。随着公司的推出，该公司还透露，今年早些时候它筹集了一轮未公开披露的1,000万美元的融资。
数据魔法 Lakera已经建立了一个包含各种来源的见解的数据库，包括公开可用的开源数据集，公司自家的研究，以及有趣的是，从公司早些时候推出的互动游戏Gandalf中获得的数据。
通过Gandalf，用户被邀请通过语言花招来“破解”底层的LLM，试图使其透露出秘密密码。如果用户成功，他们将升级到下一级，随着每个级别的进行，Gandalf变得更加复杂以抵御这种攻击。
由OpenAI的GPT3.5提供支持，以及Cohere和Anthropic的LLMs，Gandalf — 表面上看，至少只是一个旨在展示LLMs弱点的有趣游戏。尽管如此，Gandalf的见解将反馈到该初创公司的旗舰产品Lakera Guard，这些产品通过API集成到企业的应用程序中。
“Gandalf从六岁的孩子到我的祖母，以及所有人都可以玩，” Lakera的首席执行官兼联合创始人David Haber向TechCrunch解释说。“但实际上，玩这个游戏的很大一部分人是网络安全社区。”
Haber表示，过去六个月，该公司已经记录了来自100万用户的约3000万次交互，这使其能够制定Haber所谓的“提示注入分类法”，将攻击类型分为10个不同的类别。这些类别包括：直接攻击；越狱攻击；绕过攻击；多提示攻击；角色扮演；模型欺骗；混淆（令牌走私）；多语言攻击；以及意外上下文泄漏。
借助这些信息，Lakera的客户可以将其输入与这些结构进行大规模比较。
“我们正在将提示注入转化为统计结构 — 这最终就是我们所做的，” Haber说。
然而，提示注入只是Lakera关注的网络风险领域之一，因为该公司还致力于保护公司的私人或机密数据不会意外泄漏到公共领域，以及对内容进行调节，以确保LLMs不提供不适合儿童的内容。
“在安全性方面，人们最多要求的功能是检测有毒语言，” Haber说。“因此，我们正在与一家为儿童提供生成式人工智能应用程序的大公司合作，以确保这些儿童不会接触到任何有害内容。”
此外，Lakera还在应对LLM启用的错误信息或事实不准确的情况。根据Haber的说法，Lakera可以在两种情况下帮助解决所谓的“幻觉” — 当LLM的输出与最初的系统指令相矛盾，以及当模型的输出基于参考知识在事实上是不正确的。
“在任何情况下，我们的客户为Lakera提供了模型互动的上下文，我们确保模型不会超出这些界限，”Haber说。
因此，可以说Lakera是一个综合性解决方案，涵盖了安全性、安全性和数据隐私。
随着欧盟AI法规EU AI Act的出台，作为首批重要AI法规的Lakera正处于一个有利的时机。具体而言，EU AI法规的第28b条重点关注通过对LLM提供商强加法律要求，要求他们识别风险并采取适当的措施，以确保保护生成式AI模型。
实际上，Haber和他的两位联合创始人曾在该法规的咨询角色中提供帮助，有助于在法规引入之前奠定一些技术基础，预计将在未来一两年内出台。
“实际上，如何规范生成式AI模型，与其他AI有所不同，仍存在一些不确定性，” Haber说。“我们看到技术进步比法规环境发展要快得多，这是非常具有挑战性的。我们在这些对话中的角色是分享开发者第一的观点，因为我们希望通过了解当你提出这些法规要求时，对于那些正在将这些模型投入生产的人来说，这些要求实际上意味着什么？”
总的来说，尽管像ChatGPT这样的技术在过去的九个月里如同少数其他技术一样风靡全球，但由于安全顾虑，企业可能更加犹豫是否在其应用程序中采用生成式AI。
“我们与一些最酷的初创公司，一些世界领先的企业交谈 — 他们要么已经在生产中使用这些[生成式AI应用]，要么正在考虑未来的三到六个月，” Haber说。“我们已经在幕后与他们合作，以确保他们可以无问题地推出这些应用。对于许多这些公司来说，安全性是将他们的生成式AI应用投入生产的一个重要障碍，而这正是我们的工作所在。”
成立于2021年的Lakera总部位于苏黎世，该公司已经声称拥有一些重要的付费客户，但由于透露太多有关他们使用的保护工具的信息可能涉及到安全问题，因此无法具体提及客户名称。然而，该公司已经确认LLM开发者Cohere是他们的客户，Cohere最近估值为20亿美元，此外还有一家“领先的企业云平台”和“世界上最大的云存储服务之一”也是他们的客户。
有了1,000万美元的资金，该公司在正式面向公众之后，已经有足够的资金来建设其平台。
“我们希望在人们将生成式AI整合到他们的技术堆栈中时提供支持，以确保它们是安全的，风险得到了缓解，” Haber说。“因此，我们将根据威胁情景来不断改进产品。”
Lakera的融资由瑞士风险投资公司Redalpine领导，Fly Ventures、Inovia Capital以及多位天使投资人也提供了额外的资本。
