大新闻

随着每次新的迭代，像OpenAI这样的大型语言模型（LLM）变得越来越大，越来越好。

上个月，该公司公布了期待已久的GPT-4，这是对其聊天机器人底层LLM的一个强大且大得多的升级，令人印象深刻，它立即激励了一大群专家和技术首席执行官——包括埃隆·马斯克——签署了一封信，呼吁暂停对人工智能的实验，比OpenAI的最新模型更先进。

有了这样的结果，你可能会认为OpenAI会继续深耕细作，推出比以前更大的模型。

但其首席执行官萨姆·奥尔特曼现在警告说，简单地扩大人工智能以使其更强大的时代可能已经结束。从这里开始，这种方法将不得不明显减少对规模的关注。

奥尔特曼上周在麻省理工学院的一次活动上说：“我认为我们正处于一个时代的终结，这个时代将会是这些巨大的模型。。“我们会在其他方面让它们变得更好。”

收益递减

一般来说，尤其是对于人工智能和法学硕士来说，越大越好。OpenAI于2019年发布的第一个里程碑式模型GPT-2吹嘘15亿参数，这些参数是连接人工智能神经元的可调节变量，有助于人工智能根据输入数据“学习”和完善自身。

到第二年推出GPT-3时，它拥有惊人的1750亿参数，根据一些外部估计，到GPT-4时，它拥有1万亿个参数。但至关重要的是，正如报道所指出的，OpenAI本身并没有分享GPT-4的确切规模，这也许象征着该公司不再简单地扩大其模型。

虽然每一个参数的增加都伴随着GPT模型能力的提高，但根据OpenAI自己的技术报告的发现，这种方法现在可能产生的回报越来越少——比如你不能只是不断地给汽车发动机增加更多的气缸来使其更强大。

还在上升

值得一提的是，奥尔特曼承认参数计数无论如何都可能呈上升趋势——毕竟，收益递减仍然是收益——但他坚持认为该指标“过于关注”

“这让我想起了20世纪90年代和21世纪初芯片领域的千兆赫竞赛，当时每个人都试图指出一个大数字，”奥尔特曼说。

“我们希望向世界交付的是最有能力、最有用和最安全的模型，”他补充道，“我们不是来这里自欺欺人地计算参数的。”