GPT-3是什么,GPT-3和GPT3.5、ChatGPT是什么关系

发布时间:2023-02-09 15:24:46 来源:96845 编 辑:9万精品
GPT-3指的是生成型预训练变换模型3(英语:Generative Pre-trained Transformer 3,简称GPT-3)是一个自回归语言模型,目的是为了使用深度学习生成人类可以理解的自然语言[1]。GPT-3是由在旧金山的人工智能公司OpenAI训练与开发,模型设计基于谷歌开发的变换语言模型。GPT-3的神经网路包含1750亿个参数,为有史以来参数最多的神经网路模型[2]。OpenAI于2020年5月发表GPT-3的论文,在次月为少量公司与开发人团释出应用程式介面的测试版。微软在2020年9月22日宣布取得了GPT-3的独家授权。
 
GPT-3 这个模型是当前最大的语言处理模型之一,神经网路包含1750亿个参数,为有史以来参数最多的神经网路模型。

 
除了GPT-3,目前还有了最新版本GPT-3.5。
 
GPT-3.5 与GPT-3 最大的差别在于GPT-3 主要扮演一个搜集资料的角色,较单纯的使用网路上的资料进行训练。而GPT-3.5 则是由GPT-3 微调出来的版本,而其中GPT-3.5 使用与GPT-3 不同的训练方式,所产生出来不同的模型,比起GPT-3 来的更强大
 
最近特别火的ChatGPT就是是建立GPT-3.5 之上,且更加上使用更完整的 人类反馈强化学习(RLHF)去训练。(大致上可以想成GPT-3 → GPT-3.5 → ChatGPT这样)
 
也因此ChatGPT 除了能够准确理解问题,更能够将对话一路记住和按此调整内容,其中包括承认错误、纠正错处和拒绝不当要求等等较为复杂的互动内容,更符合道德要求的训练方式,达到更接近真人的效果,这也是GPT-3 所没有的。