全部回帖
？当下最火的生成式AI就是谷歌搞出来的
？当下最火的生成式AI就是谷歌搞出来的
印象中谷歌弄ai好多年了都，但声音不大啊，这两年风头倒都被openai出了。
印象中谷歌弄ai好多年了都，但声音不大啊，这两年风头倒都被openai出了。
因为谷歌没有到处宣传遥遥领先吧
那么
那么
但谷歌这个表现市场还不满意，公布业绩当天就跌了，之后一周里暴跌了10%多，昨天纳斯达克反弹依然没止住跌势
但谷歌这个表现市场还不满意，公布业绩当天就跌了，之后一周里暴跌了10%多，昨天纳斯达克反弹依然没止住跌势
因为谷歌没有到处宣传遥遥领先吧
主要还是把他墙了，宣不宣传都一样
主要还是把他墙了，宣不宣传都一样
印象中谷歌弄ai好多年了都，但声音不大啊，这两年风头倒都被openai出了。
阿尔法狗声音还不大？只是gpt首先做到了llm大规模使用，第一个吃螃蟹的人，以为吊打天下一样。
阿尔法狗声音还不大？只是gpt首先做到了llm大规模使用，第一个吃螃蟹的人，以为吊打天下一样。
Transformer模型和GPT模型都是基于深度学习的自然语言处理（NLP）模型，但它们在设计和应用上有一些关键的区别。
1. Transformer模型：
- Transformer是一种用于序列到序列学习的神经网络模型，主要用于自然语言处理任务，如机器翻译、文本摘要等。它由编码器（Encoder）和解码器（Decoder）两部分组成，每个部分都有多个相同的层，每个层都有两个子层：多头自注意力子层和前馈神经网络子层。
- Transformer模型的核心是自注意力机制（Self-Attention），它允许模型在处理每个输入元素时能够关注到所有其他元素，从而学习到输入序列中的全局依赖关系。
- Transformer模型通常包括编码器和解码器，但在某些应用中，如BERT，只使用编码器部分。
2. GPT模型：
- GPT（Generative Pre-trained Transformer）是一种基于Transformer架构的预训练语言模型，主要用于文本生成任务。GPT模型通过大量文本数据进行预训练，学习语言的普遍规律。
- GPT模型采用单向Transformer结构，即只使用解码器部分，因此只能利用上文信息，而不能直接利用下文信息。在预训练阶段，GPT使用了语言模型和下一句预测任务。
- GPT模型在预训练阶段使用了两种任务：语言模型（LM）和下一句预测（NSP）。在语言模型任务中，模型根据前面的文本预测下一个单词；在下一句预测任务中，模型需要判断两个句子是否相邻。
3. 关系与区别：
- GPT模型建立在Transformer解码器的基础上，预训练了一个用于表示文本序列的语言模型。当将GPT应用于下游任务时，语言模型的输出将被送到一个附加的线性输出层，以预测任务的标签。
- GPT和BERT都是基于Transformer架构的预训练语言模型，但它们在训练方式和应用场景上有所不同。BERT通过双向Transformer进行训练，利用上下文信息，而GPT则是通过单向Transformer进行训练，从左到右学习输入序列中的语言表示。
- GPT更适用于生成任务，如文本生成、摘要、翻译等，而BERT更适用于理解型任务，如情感分析、问答和语义匹配等。
总结来说，Transformer模型是一种通用的序列到序列模型，可以用于多种NLP任务，而GPT模型是专门设计用于文本生成任务的预训练语言模型，基于Transformer的解码器部分。
GPT 主要基于 Transformer 的 Decoder，采用单向结构，只能利用上文信息，不能直接利用下文信息。而 Transformer 到 GPT 在学术上并没有什么额外其它的重要工作，更多的是细节架构上的设计以及工程上的实现。
您打的比方亲缘关系太远了，并且甚至不是一个领域的。
如果使用更合适的比喻，虽然法拉第发现了电磁感应现象，还给出了个原型机，但是就工程而言下面就没了，但是后来法国的希波特·皮克西研制成功了一种安装了两个线圈的交流发电机，这可以看作是所有发电机的始祖。西门子实现了人类第一台自励式发电机，因此法拉第和现代的发电机没啥关系 。
这种贬低是很不符合事实的。
实际上 Ilya 以及他的 SuperAlignment 毫无疑问是成功的。在 gpt2 的时候，我们甚至没办法用它来做什么事情，然后在 3 之前，一方面使用了超大规模的算力去训练，同时在标注上付出了极大的努力。公开信息是他们花费了千万美元在 alignment 本身，并且占用 20% 的计算规模（当然现在 Ilya 已走， Jan Leike 跑路，未来如何未为可知）。
如果按人类的社交形态来比方，可以说是在对方没有任何正反馈的情况下把全部身家砸进去去追求一个女性，可以说是史上罕见的舔狗了，当然，成功后我们不得不佩服的是他的远见以及给钱给资源的微软爸爸大胆。
一个小道消息是，某家训练了好几个月后，突然惊恐发现他们的训练语料质量甚至不如 gpt4 生成的结果。如果为真，毫无疑问是很大的失误。
因此，无论从工程实践还是从很多远见上说， Ilya 他们确实有非常大的贡献，但是这并不是一个维度的，并且是不可互相替代的。
Transformer模型和GPT模型都是基于深度学习的自然语言处理（NLP）模型，但它们在设计和应用上有一些关键的区别。
1. Transformer模型：
- Transformer是一种用于序列到序列学习的神经网络模型，主要用于自然语言处理任务，如机器翻译、文本摘要等。它由编码器（Encoder）和解码器（Decoder）两部分组成，每个部分都有多个相同的层，每个层都有两个子层：多头自注意力子层和前馈神经网络子层。
- Transformer模型的核心是自注意力机制（Self-Attention），它允许模型在处理每个输入元素时能够关注到所有其他元素，从而学习到输入序列中的全局依赖关系。
- Transformer模型通常包括编码器和解码器，但在某些应用中，如BERT，只使用编码器部分。
2. GPT模型：
- GPT（Generative Pre-trained Transformer）是一种基于Transformer架构的预训练语言模型，主要用于文本生成任务。GPT模型通过大量文本数据进行预训练，学习语言的普遍规律。
- GPT模型采用单向Transformer结构，即只使用解码器部分，因此只能利用上文信息，而不能直接利用下文信息。在预训练阶段，GPT使用了语言模型和下一句预测任务。
- GPT模型在预训练阶段使用了两种任务：语言模型（LM）和下一句预测（NSP）。在语言模型任务中，模型根据前面的文本预测下一个单词；在下一句预测任务中，模型需要判断两个句子是否相邻。
3. 关系与区别：
- GPT模型建立在Transformer解码器的基础上，预训练了一个用于表示文本序列的语言模型。当将GPT应用于下游任务时，语言模型的输出将被送到一个附加的线性输出层，以预测任务的标签。
- GPT和BERT都是基于Transformer架构的预训练语言模型，但它们在训练方式和应用场景上有所不同。BERT通过双向Transformer进行训练，利用上下文信息，而GPT则是通过单向Transformer进行训练，从左到右学习输入序列中的语言表示。
- GPT更适用于生成任务，如文本生成、摘要、翻译等，而BERT更适用于理解型任务，如情感分析、问答和语义匹配等。
总结来说，Transformer模型是一种通用的序列到序列模型，可以用于多种NLP任务，而GPT模型是专门设计用于文本生成任务的预训练语言模型，基于Transformer的解码器部分。
GPT 主要基于 Transformer 的 Decoder，采用单向结构，只能利用上文信息，不能直接利用下文信息。而 Transformer 到 GPT 在学术上并没有什么额外其它的重要工作，更多的是细节架构上的设计以及工程上的实现。
您打的比方亲缘关系太远了，并且甚至不是一个领域的。
如果使用更合适的比喻，虽然法拉第发现了电磁感应现象，还给出了个原型机，但是就工程而言下面就没了，但是后来法国的希波特·皮克西研制成功了一种安装了两个线圈的交流发电机，这可以看作是所有发电机的始祖。西门子实现了人类第一台自励式发电机，因此法拉第和现代的发电机没啥关系 。
这种贬低是很不符合事实的。
实际上 Ilya 以及他的 SuperAlignment 毫无疑问是成功的。在 gpt2 的时候，我们甚至没办法用它来做什么事情，然后在 3 之前，一方面使用了超大规模的算力去训练，同时在标注上付出了极大的努力。公开信息是他们花费了千万美元在 alignment 本身，并且占用 20% 的计算规模（当然现在 Ilya 已走， Jan Leike 跑路，未来如何未为可知）。
如果按人类的社交形态来比方，可以说是在对方没有任何正反馈的情况下把全部身家砸进去去追求一个女性，可以说是史上罕见的舔狗了，当然，成功后我们不得不佩服的是他的远见以及给钱给资源的微软爸爸大胆。
一个小道消息是，某家训练了好几个月后，突然惊恐发现他们的训练语料质量甚至不如 gpt4 生成的结果。如果为真，毫无疑问是很大的失误。
因此，无论从工程实践还是从很多远见上说， Ilya 他们确实有非常大的贡献，但是这并不是一个维度的，并且是不可互相替代的。
老哥，给他留点面子啊。他不要面子的吗
老哥，给他留点面子啊。他不要面子的吗
