当”Jimmy Apples”在9月18日发布这条消息时，它充满了神秘感，被批评为胡扯八道。当Sam Altman在一周后的Reddit评论中重复了这句话时，无论是好是坏，都引起了轰动。当他后来编辑了评论以揭示他只是在“搞笑”的时候，这句话变成了一个有趣的笑话。
这句话有很多含义，但最真实的一点是，它并不真实。AGI并没有在内部实现。
或者说，它真的实现了吗？
嗯，我们并不真正知道。部分原因是因为我们对“AGI”这个术语没有一个共识的概念化（尽管这是真实而重要的原因，但这个原因很无聊）。部分原因是因为Altman的公司变得如此亲近，以至于“OpenAI”这个名字本身就成了一个梗。还有一部分原因是因为我们没有办法评估某物是否是AGI —— 薛定谔的猫已经被取代，我们不知道如何打开盒子。
然而，这句话 —— 再说一次，为了效果；“AGI已经在内部实现” —— 不管它的认知地位如何，都是一个强有力的陈述。
至少要出自合适的嘴巴。如果我说这句话，没有人会在意。这是合理的。一个匿名帐户，Jimmy Apples说了这句话，尽管有些人认为他之前曾预测过GPT-4的发布日期，并在The Information报道之前提到了Gobi，但大多数人简单地不相信他（？），这个消息从未传播出去。
但如果Altman说出这句话 —— 即使只是作为Reddit评论，显然是他的一次明显的恶作剧尝试 —— 反应不等待：从对AI领域领先实验室的CEO戏弄我们如此严肃的事情感到恼怒，到担心，即使很微小，p（不是一个笑话）可能会实现，再到陶醉于成为一个亲历者，回顾起来这将成为人类历史上最重要事件之一。
Altman迅速编辑了他的评论，可能对它传遍AI Twitter（以及媒体）的速度感到惊讶，但想象一下，如果他决定在一个更严肃的场合说出同样的话，没有任何撤回的迹象，比如公司的博客文章或与《纽约时报》的独家采访。
更加努力地想象，因为这很快就会发生。比我们想象的要快。这次只是一个笑话，但一切迹象表明下一次不会再为了梗而说了。
……AGI已经实现了……
我们辩论（可能过于频繁）一旦实现AGI会发生什么。
这是一个有趣的问题，但我认为它提出得不当。AGI不是一个时间点，不仅因为“通用性”是一个谱系 – 这是一个足够合理的理由 – 还因为人们在给定事物的定义上存在差异。或者，换句话说，我们用AGI这个缩写来描述的东西对不同的人来说是不同的。
“当AGI=真”是相关的，但它的内在分散性使它并不像我们倾向于假设的那么关键。
还有一个关于AGI的问题，它对世界来说同样关键，但被忽视了。我们没有花一分钟来考虑可能的回应或其影响。问题是：一旦有人被普遍认可为该领域的权威，并以某种程度的把握并持有某种证据，声称已经实现了AGI，那么会发生什么？
让我们一起花一分钟来探讨这个问题，因为通常我们从未花时间思考它的含义，以及为什么在我看来它比我们如此热情地思考的另一个问题更为重要。
首先，你认为最有可能成为那个权威的人是谁？我的预测是，即使我最后预测正确也不会赚一分钱，那个人可能是Sam Altman。
感觉他一直在为这一刻准备，就像他是好莱坞大片的命中注定的明星一样。但我不认为这是唯一的原因。他也不是像Geoffrey Hinton、Yann LeCun或甚至Demis Hassabis那样的“AI专家” – 或者在任何其他方面都不是 – 那么为什么是他呢？仅仅因为他是最有可能率先获得AGI的公司的领袖（或者为了保持一致，最有可能认为他们已经获得了AGI的公司）。
现在，Altman必须有足够的信心才能公开做出这样的声明（对于OpenAI来说，只有在p（AGI）约为100%的情况下才能这样做，但他们肯定会承认，不管他们有多大信心，不是每个人都会同意；他们会仔细核对一切）。此外，Altman只会代表OpenAI整体提出这一声明。他们必须首先达成集体协议（也许简单多数会足够，我真的不知道）。他们大约有500名员工，但考虑到成为该团队一员的要求，我不会将“意见不一致”视为潜在障碍。
无论如何，这个认识 – 即OpenAI必须非常确定地声称已经实现了AGI – 会让人们产生这样的印象，即该句子为假的唯一可能性是OpenAI在其评估中犯了错误。
然后就是证据的问题。
OpenAI可能会声称有确凿的证据表明该声明是真实的（他们也可以选择以“我们认为我们已经实现了AGI”的方式展示认识上的谦卑，但我真的不明白这对他们有什么好处 – 无论如何，人们都会反对他们）。该公司肯定会在宣布的时候发布技术报告，类似于我们最近得到的那些报告 – 结果没有提供测试的复制手段，但足以说服听众中的重要一部分。
这些证据将足够强大，以至于不会立即被否定。普通人在任何情况下都无法证明它是错误的（这是一个容易的假设），但没有接触到所谓AGI系统的资深AI研究人员也很可能无法证明它是错误的（这包括绝大多数AI研究人员，当然也包括那些没有利益关系和没有迫使这一声明成为真实的动机的人）。
因此，在宣布之后，我们最终会面临这个问题：在AGI成真的独特影响下，OpenAI是否会允许外部独立审查其系统？鉴于目前对新系统和进展的封闭态度 – 我不明白为什么不会包括AGI – 我并不抱有太大的希望。
总的来说，我认为这是一个不可避免的情景，可以合理地假设，内部人士、竞争对手和政府的反应将会很强烈，一开始不会有任何共识，任何外部的评判者都很难评估该声明的有效性，而且，不给出明确的时间表，我认为这将比预测者认为AGI将会实现的时间要早得多。
当世界其他地方无法核实这一点时会发生什么？如果大多数人无法进行验证，他们会发生什么？如果大多数人接受了这一声明，那么一般公众和有权力强制执行这一声明的人（即政府）会相信什么？他们会采取什么行动？
很明显，在这种框架下，AGI问题不仅仅是一个技术问题，无论AGI研究人员试图将其视为如何。它还是政治问题（谁应该控制所谓的AGI？）、社会问题（谁应该决定我们是否希望它存在于世界上？）、经济问题（我们应该如何分配它可能创造的虚拟财富？）、人类学问题（如果AGI存在，或者如果我们相信它存在，那么人类是什么意思？）和哲学问题（我们如何知道在任何给定时间点是否已经实现了AGI？）。
最后一个问题，也就是这篇文章的重点，是我们将不得不首先面对的问题，很可能以与Blake-Lemoine-says-LaMDA-is-conscious辩论相似但规模更大的方式。其他问题也将最终出现。
对于那些关心的人，为了保持认识上的谦卑，我认为我们应该重新定义我们对AGI时间表的看法，不是关于我们认为何时将实现AGI，而是关于我们认为何时将有足够有影响力的人宣称已经实现AGI，并持有足够强有力的证据。
然而，还有另一种可能性。AGI存在的世界会显示出无法揭示和明确表明真相的迹象，而AGI尚不存在的世界则不会。我认为这不可行的原因有两点。首先，如果我们无法事先评估AGI的存在，那么我们只有在那些迹象是否存在之前才能确定它们是否存在，这是我写这篇文章的原因。其次，我认为没有理由相信第一个版本的AGI会对世界产生比未发布的GPT-4更多的影响。
真正的影响将是我们信仰的后果。
那时，我们将开始看到世界发生变化：对于世界的任何影响措施，AGI是否真实都可能不如人们是否相信它重要，而这两者并不总是如我们所希望的那样相关。
Sam Altman随时都会说AGI已经实现，这一次可能会在前面加上一个#nojoke标签。但与Oppenheimer不同的是，当第一颗核弹试验成功时，他将为人类开启一个新时代 – 我敢打赌他会喜欢这个类比。但与Oppenheimer不同的是，他将面临来自批判性思考者、拒绝盲目信任作为形成他们对世界模型的手段的人，以及怀疑者、否认者和担忧者的严厉反对，这是合理的反对。有些人会站在他这一边，而有些人会站在另一边。
那天发生的事情将铭刻在我们的记忆中。接下来会发生什么，谁也无法预测。
