admin管理员组

文章数量:1516870

GPT-1

2018 年年中，就在 Transformer 架构诞生⼀年后，OpenAI 发表了⼀篇题 为“Improving Language Understanding by Generative Pre-Training”的论文，作者是 Alec Radford 等⼈。这篇论文介绍了 GPT，也被称为 GPT-1。在 GPT-1 出现之前，构建高性能 NLP 神经网络的常用方法是利用监督学习。这种学习技术使用大量的手动标记数据。以情感分析任务为例，目标是对给定的文本进行分类，判断其情感是积极的还是消极的。⼀种常见的策略是收集数千个手动标记的文本示例来构建有效的分类模型。然而，这需要有大量标记良好的监督数据。这⼀需求限制了监督学习的性能，因为要生成这样的数据集，难度很大且成本高昂。接下来回顾 OpenAI 的 GPT 模型从 GPT-1 到 GPT-4 的演变历程。

在论文中，GPT-1 的作者提出了⼀种新的学习过程，其中引入了无监督的预训练步骤。这个预训练步骤不需要标记数据。相反，他们训练模型来预测下⼀个标记。由于采用了可以并行化的 Transformer 架构，预训练步骤是在大量数据上进行的。对于预训练，GPT-1 模型使用了 BookCorpus 数据集。该数据集包含约 11 000 本未出版图书的文本。BookCorpus 最初由 YukunZhu 等⼈在 2015 年的论文“Aligning Books and Movies: Towards Story-likeVisual Explanations by Watching Movies and Reading Books”中给出，并通过多伦多大学的网页提供。然而，原始数据集的正式版本如今已

本文标签： 数据集然而编程

版权声明：本文标题：GPT模型进阶史：构建更聪明的语言理解与生成能力 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.betaflare.com/web/1772013716a3271048.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。