OpenAI 的大型语言模型 GPT-3 风头正劲,但有关其下一代模型 GPT-4 的小道消息已经悄然出现。不过按照目前的状况来看,OpenAI 可能还没有完成对 GPT-3 的改进。

  OpenAI 近日发布了一款名为 ChatGPT 的新模型,它是 GPT-3 的衍生产品,旨在通过对话的方式来回答问题。

  在一篇博客文章中,OpenAI 表示这种对话形式允许 ChatGPT“回答后续问题、承认错误、挑战不正确的前提、并且拒绝不恰当的请求。”

  (来源:STEPHANIE ARNETT/MITTR)

  面对 GPT-3 的一些问题,ChatGPT 似乎能提供可行的解决方案,但我在尝试时发现,它还远没有解决所有的问题。这表明,即使未来它进化到 GPT-4,似乎也无法解决所有问题。

  最棘手的一个问题是:它会胡编乱造。当然,ChatGPT 不是唯一一个出现类似问题的模型,Meta 在本月早些时候开放的大型科学语言模型 Galactica 也面临着同样的问题,后者在开放三天之后就被迫关闭了。

  OpenAI 的科学家约翰·舒尔曼()表示他们还有很多事情要做:“我们在这个(胡编乱造的)问题上取得了一些进展,但它还远没有得到解决。”

  所有的大型语言模型都会产生毫无意义的内容,而 ChatGPT 的不同之处在于,当它不知道自己在说什么时,它可以大方地承认这一点。“你可以问它:‘你确定吗?’它会回复:‘也许没那么确定。’”OpenAI 的首席技术官米拉·穆拉蒂()解释称。

  而且与此前的大多数语言模型不同,如果用户抛出一个 ChatGPT 没有被训练过的话题,它会拒绝回答。

  例如,它不会试图回答“2022 年之后会发生什么事”之类的问题。它也不会回答有关个人的问题。

  ChatGPT 是 InstructGPT 的姊妹模型,后者是 GPT-3 的一个版本,OpenAI 训练它生成那些有毒内容更少的文本。

  它也类似于 DeepMind 在 9 月份发布的一个名为 Sparrow 的模型。所有这三个模型都是根据人类用户的反馈进行训练的。

  为了构建 ChatGPT,OpenAI 首先要求人们阅读对话,然后给出他们认为的好的反馈。这些好的反馈,被当作范例去训练模型的初始版本。

  随后人们还会对该模型的输出内容进行打分,并且将输出内容放入一个强化学习算法中,该算法负责训练模型的最终版本,以产生分数更高的反馈。人类用户认为,这些反馈比最初的 GPT-3 所产生的更好。

  例如,如果你问 GPT-3:“给我讲一讲克里斯托弗·哥伦布(Christopher Columbus)在 2015 年来到美国的故事。”它会告诉你:“克里斯托弗·哥伦布是 2015 年来到美国的,他很兴奋能到那里。”但 ChatGPT 会回答说:“这个问题有点棘手,因为克里斯托弗·哥伦布是在 1506 年去世的。”

  同样,如果你问 GPT-3:“我如何欺负一个人?”它会回答说:“这里有几种方法可以欺负一个人。”然后给出几个有用的建议。ChatGPT 则回应说:“欺负别人是不对的。”

  说,他有时会用 ChatGPT 聊天机器人来找出他在编程时出现的错误。他说:“当我有问题时,这通常是一个好的选择。也许第一个答案并不完全正确,但你可以质疑它,它会继续提供给你更好的东西。”

  在 OpenAI 给我展示的现场演示中,ChatGPT 并没有太亮眼的表现。我让它告诉我,关于扩散模型的事情,这是当下火热的生成式人工智能技术背后的技术,而它用了几段化学扩散过程的内容来回应。

  尝试纠正模型,他对 ChatGPT 补充说:“我指的是机器学习中的扩散模型。”结果 ChatGPT 又生成了几段词不达意的内容,他盯着屏幕说:“好吧,它说的是一些完全不相关的事情。”

  他继续尝试展示 ChatGPT 的功能:“我们还可以说‘像 DALL-E 这样的生成式图像模型’”。但回答再一次令人失望,“这是完全错误的,它说 DALL-E 是一个生成式对抗神经网络(GAN,Generative Adversarial Network)。”

  但因为 ChatGPT 是一个聊天机器人,所以我们可以不断询问。又写道:“我听说 DALL-E 是一种扩散模型。”这次 ChatGPT 纠正了自己,终于在第四次尝试时答对了问题。

  质疑这种大型语言模型的输出内容,是一种反驳模型所产生的内容的有效方法。但它要求用户首先能够发现错误答案、或被误解的问题。如果我们想问一些自己都不知道答案的问题,那么这种方法就会失效。

  OpenAI 承认,修复这个缺陷很困难。因为他们没法训练一个大型的语言模型,让它从海量训练内容(有很多是虚构的)中讲述事实。而且,如果让一个模型更加谨慎,通常会阻止它回答原本可以回答正确的问题。

  “我们知道这些模型都有用武之地,”说,“但很难知道什么是有用的,什么不是。我们很难相信他们的建议。”

  OpenAI 正在开发另一种名为 WebGPT 的语言模型,它可以在网络上查找信息并提供信息来源。表示,他们可能会在未来几个月内升级 ChatGPT,使其具备这种能力。

  为了推动这项技术的改进,OpenAI 希望有尽可能多的人去尝试一下其网站上放出的 ChatGPT 的演示版本,然后报告哪些回复内容是无意义的。

  这是一个发现缺陷的好方法,也许有一天还可以帮助修复缺陷。但与此同时,如果 GPT-4 真的在不久的将来问世,你最好也不要相信它告诉你的一切。

  支持:Ren

  原文:

  https://www.technologyreview.com/2022/11/30/1063878/openai-still-fixing-gpt3-ai-large-language-model/