GPT-1 2018 年 6 月，OpenAI发布了第一版GPT（Generative Pre-trained Transformer） 模型，即GPT-1。[论文：]模型原理与结构OpenAI

GPT-1 传统 NLP 需要 大量人工标注数据，且词嵌入技术（Word2Vec）仅学习 词级表示，无法捕捉句子之间逻辑关系。且对于各个任务（机器翻译、语言建模等）需独立设计模型

GPT-1 2018 年 6 月，OpenAI发布了第一版GPT（Generative Pre-trained Transformer） 模型，即GPT-1。[论文：]模型原理与结构OpenAI