终于理解了GPT原理了

底层原理

单字接龙能力，一句话拆成一个字投喂。最终喂两个字确定第三个字。

三个阶段的训练

第一阶段无监督学习:

海量信息进行预训练，具备了单词搭配，语法规则，不同语言翻译能力。

第二阶段监督学习:

正确模板矫正，形成回答规范。什么回答是标准回答。这个过程使GPT具备了抽象指令的“理解能力”，根据例子“推演能力”，能将复杂的问题拆解若干问题解决的“思维链能力”。

第三阶段强化学习:

创意引导，根据对自由回答给与评分，培养“创新和创造力”。问题理解能力，推演回答能力，回答不了还能拆解问题，还有创造能力能回答出更有创造力的答案。人工智能是真的不远了。