像OpenAI的GPT-4这样的大型语言模型（LLMs）是强大的，具有颠覆性的工具，有望颠覆各个行业。但是，它们存在限制，使得对合规和治理要求严格的企业组织觉得它们并不那么吸引人。例如，LLMs有时会以很高的信心制造出信息，而且它们的架构方式使得很难移除或甚至修订它们的知识库。
为了解决这些和其他障碍，Douwe Kiela共同创办了Contextual AI，该公司今天从隐秘状态中启动，获得了2000万美元的种子资金。Contextual AI的投资者包括Bain Capital Ventures（领投种子轮），Lightspeed，Greycroft和SV Angel，Contextual AI有雄心壮志地想要为企业构建“下一代”LLMs。
Kiela通过电子邮件告诉TechCrunch：“我们创办这家公司是为了满足在新兴的生成AI领域中企业的需求，到目前为止，这个领域主要关注的是消费者。Contextual AI正在解决当今在企业采用生成AI方面存在的几个障碍。”
Kiela和Contextual AI的另一位联合创始人Amanpreet Singh在AI初创公司Hugging Face和Meta工作过，然后决定在2月初自己创业。在Meta期间，Kiela主导了一种叫做检索增强生成（RAG）的技术研究，这种技术构成了Contextual AI的文本生成AI技术的基础。
那么RAG是什么呢？简而言之，RAG（Google的DeepMind R&D部门也已经探索过）通过外部资源（如文件和网页）来增强LLMs，以提高它们的性能。给定一个提示（例如，“美国的总统是谁？”），RAG会在资源中寻找可能相关的数据。然后，它将结果和原始提示一起打包，喂给一个LLM，生成一个“具有上下文感知”的回答（例如，“根据官方白宫网站，现任总统是乔·拜登”）。
相比之下，对于像“尼泊尔的GDP按年份怎么样？”这样的问题，一个典型的LLM（例如ChatGPT）可能只会返回到某个日期的GDP，而且不会注明信息的来源。
Kiela坚称，RAG可以解决现今LLMs的其他未解决的问题，比如关于归因和定制的问题。对于常规的LLMs，知道模型为什么会以某种方式回应是很困难的，而且向LLMs添加数据源通常需要重新训练或微调，这些步骤通常可以通过RAG来避免。
“RAG语言模型可以比等价的语言模型小，但仍然能够达到相同的性能。这使得它们运行得更快，意味着延迟更低，成本也更低，”Kiela说。“我们的解决方案解决了现有方法的不足和固有问题。我们相信，通过集成并共同优化不同的数据整合、推理、语音甚至看和听的模块，将会释放出语言模型在企业用例中的真正潜力。”
我的同事Ron Miller曾经思考过生成AI在企业中的未来可能是更小的、更专注的语言模型。我并不否认这一点。但也许，不仅是专门为企业调整的LLMs，而是将“较小”的模型和现有的LLMs与大量特定公司的文件一起增强。
Contextual AI并不是第一个探索这个想法的。OpenAI及其密切合作伙伴Microsoft最近推出了一个插件框架，允许第三方将信息源添加到像GPT-4这样的LLMs。其他初创公司，如LlamaIndex，正在尝试如何将个人或私人数据，包括企业数据，注入到LLMs中。
但Contextual AI声称已经在企业中取得了进展。尽管该公司目前尚未实现收入，但Kiela声称Contextual AI正在与财富500强公司进行谈话，试图测试其技术。
“企业需要确保他们从生成AI获取的答案是准确的、可靠的和可追溯的，” Kiela说。“Contextual AI将让雇主和他们的知识工作者更容易地获得生成AI可以提供的效率优势，同时安全准确地做到这一点……几家生成AI公司已经表示他们将追求企业市场，但Contextual AI将采取不同的方法，构建一个更为集成的解决方案，专门针对企业用例。”
Contextual AI目前有大约8名员工，计划将大部分种子资金投入到产品开发中，这将包括投资计算集群来训练LLMs。该公司计划到2023年底将其员工数量增加到近20人。
