GPT-3指的是生成型预训练变换模型3（英语：Generative Pre-trained Transformer 3，简称GPT-3）是一个自回归语言模型，目的是为了使用深度学习生成人类可以理解的自然语言[1]。GPT-3是由在旧金山的人工智能公司OpenAI训练与开发，模型设计基于谷歌开发的变换语言模型。GPT-3的神经网路包含1750亿个参数，为有史以来参数最多的神经网路模型[2]。OpenAI于2020年5月发表GPT-3的论文，在次月为少量公司与开发人团释出应用程式介面的测试版。微软在2020年9月22日宣布取得了GPT-3的独家授权。

 

GPT-3 这个模型是当前最大的语言处理模型之一，神经网路包含1750亿个参数，为有史以来参数最多的神经网路模型。

 

除了GPT-3,目前还有了最新版本GPT-3.5。

 

GPT-3.5 与GPT-3 最大的差别在于GPT-3 主要扮演一个搜集资料的角色，较单纯的使用网路上的资料进行训练。而GPT-3.5 则是由GPT-3 微调出来的版本，而其中GPT-3.5 使用与GPT-3 不同的训练方式，所产生出来不同的模型，比起GPT-3 来的更强大

 

最近特别火的ChatGPT就是是建立GPT-3.5 之上，且更加上使用更完整的 人类反馈强化学习(RLHF)去训练。(大致上可以想成GPT-3 → GPT-3.5 → ChatGPT这样)

 

也因此ChatGPT 除了能够准确理解问题，更能够将对话一路记住和按此调整内容，其中包括承认错误、纠正错处和拒绝不当要求等等较为复杂的互动内容，更符合道德要求的训练方式，达到更接近真人的效果，这也是GPT-3 所没有的。