全部回帖
谷歌这个公司挺有意思，每年全世界断档第一的科研费用，愣是没见到做出啥有用的发明来
谷歌这个公司挺有意思，每年全世界断档第一的科研费用，愣是没见到做出啥有用的发明来
我不知道就等于没有
我不知道就等于没有
Transformer模型和GPT模型都是基于深度学习的自然语言处理（NLP）模型，但它们在设计和应用上有一些关键的区别。
1. Transformer模型：
- Transformer是一种用于序列到序列学习的神经网络模型，主要用于自然语言处理任务，如机器翻译、文本摘要等。它由编码器（Encoder）和解码器（Decoder）两部分组成，每个部分都有多个相同的层，每个层都有两个子层：多头自注意力子层和前馈神经网络子层。
- Transformer模型的核心是自注意力机制（Self-Attention），它允许模型在处理每个输入元素时能够关注到所有其他元素，从而学习到输入序列中的全局依赖关系。
- Transformer模型通常包括编码器和解码器，但在某些应用中，如BERT，只使用编码器部分。
2. GPT模型：
- GPT（Generative Pre-trained Transformer）是一种基于Transformer架构的预训练语言模型，主要用于文本生成任务。GPT模型通过大量文本数据进行预训练，学习语言的普遍规律。
- GPT模型采用单向Transformer结构，即只使用解码器部分，因此只能利用上文信息，而不能直接利用下文信息。在预训练阶段，GPT使用了语言模型和下一句预测任务。
- GPT模型在预训练阶段使用了两种任务：语言模型（LM）和下一句预测（NSP）。在语言模型任务中，模型根据前面的文本预测下一个单词；在下一句预测任务中，模型需要判断两个句子是否相邻。
3. 关系与区别：
- GPT模型建立在Transformer解码器的基础上，预训练了一个用于表示文本序列的语言模型。当将GPT应用于下游任务时，语言模型的输出将被送到一个附加的线性输出层，以预测任务的标签。
- GPT和BERT都是基于Transformer架构的预训练语言模型，但它们在训练方式和应用场景上有所不同。BERT通过双向Transformer进行训练，利用上下文信息，而GPT则是通过单向Transformer进行训练，从左到右学习输入序列中的语言表示。
- GPT更适用于生成任务，如文本生成、摘要、翻译等，而BERT更适用于理解型任务，如情感分析、问答和语义匹配等。
总结来说，Transformer模型是一种通用的序列到序列模型，可以用于多种NLP任务，而GPT模型是专门设计用于文本生成任务的预训练语言模型，基于Transformer的解码器部分。
GPT 主要基于 Transformer 的 Decoder，采用单向结构，只能利用上文信息，不能直接利用下文信息。而 Transformer 到 GPT 在学术上并没有什么额外其它的重要工作，更多的是细节架构上的设计以及工程上的实现。
您打的比方亲缘关系太远了，并且甚至不是一个领域的。
如果使用更合适的比喻，虽然法拉第发现了电磁感应现象，还给出了个原型机，但是就工程而言下面就没了，但是后来法国的希波特·皮克西研制成功了一种安装了两个线圈的交流发电机，这可以看作是所有发电机的始祖。西门子实现了人类第一台自励式发电机，因此法拉第和现代的发电机没啥关系 。
这种贬低是很不符合事实的。
实际上 Ilya 以及他的 SuperAlignment 毫无疑问是成功的。在 gpt2 的时候，我们甚至没办法用它来做什么事情，然后在 3 之前，一方面使用了超大规模的算力去训练，同时在标注上付出了极大的努力。公开信息是他们花费了千万美元在 alignment 本身，并且占用 20% 的计算规模（当然现在 Ilya 已走， Jan Leike 跑路，未来如何未为可知）。
如果按人类的社交形态来比方，可以说是在对方没有任何正反馈的情况下把全部身家砸进去去追求一个女性，可以说是史上罕见的舔狗了，当然，成功后我们不得不佩服的是他的远见以及给钱给资源的微软爸爸大胆。
一个小道消息是，某家训练了好几个月后，突然惊恐发现他们的训练语料质量甚至不如 gpt4 生成的结果。如果为真，毫无疑问是很大的失误。
因此，无论从工程实践还是从很多远见上说， Ilya 他们确实有非常大的贡献，但是这并不是一个维度的，并且是不可互相替代的。
Transformer模型和GPT模型都是基于深度学习的自然语言处理（NLP）模型，但它们在设计和应用上有一些关键的区别。
1. Transformer模型：
- Transformer是一种用于序列到序列学习的神经网络模型，主要用于自然语言处理任务，如机器翻译、文本摘要等。它由编码器（Encoder）和解码器（Decoder）两部分组成，每个部分都有多个相同的层，每个层都有两个子层：多头自注意力子层和前馈神经网络子层。
- Transformer模型的核心是自注意力机制（Self-Attention），它允许模型在处理每个输入元素时能够关注到所有其他元素，从而学习到输入序列中的全局依赖关系。
- Transformer模型通常包括编码器和解码器，但在某些应用中，如BERT，只使用编码器部分。
2. GPT模型：
- GPT（Generative Pre-trained Transformer）是一种基于Transformer架构的预训练语言模型，主要用于文本生成任务。GPT模型通过大量文本数据进行预训练，学习语言的普遍规律。
- GPT模型采用单向Transformer结构，即只使用解码器部分，因此只能利用上文信息，而不能直接利用下文信息。在预训练阶段，GPT使用了语言模型和下一句预测任务。
- GPT模型在预训练阶段使用了两种任务：语言模型（LM）和下一句预测（NSP）。在语言模型任务中，模型根据前面的文本预测下一个单词；在下一句预测任务中，模型需要判断两个句子是否相邻。
3. 关系与区别：
- GPT模型建立在Transformer解码器的基础上，预训练了一个用于表示文本序列的语言模型。当将GPT应用于下游任务时，语言模型的输出将被送到一个附加的线性输出层，以预测任务的标签。
- GPT和BERT都是基于Transformer架构的预训练语言模型，但它们在训练方式和应用场景上有所不同。BERT通过双向Transformer进行训练，利用上下文信息，而GPT则是通过单向Transformer进行训练，从左到右学习输入序列中的语言表示。
- GPT更适用于生成任务，如文本生成、摘要、翻译等，而BERT更适用于理解型任务，如情感分析、问答和语义匹配等。
总结来说，Transformer模型是一种通用的序列到序列模型，可以用于多种NLP任务，而GPT模型是专门设计用于文本生成任务的预训练语言模型，基于Transformer的解码器部分。
GPT 主要基于 Transformer 的 Decoder，采用单向结构，只能利用上文信息，不能直接利用下文信息。而 Transformer 到 GPT 在学术上并没有什么额外其它的重要工作，更多的是细节架构上的设计以及工程上的实现。
您打的比方亲缘关系太远了，并且甚至不是一个领域的。
如果使用更合适的比喻，虽然法拉第发现了电磁感应现象，还给出了个原型机，但是就工程而言下面就没了，但是后来法国的希波特·皮克西研制成功了一种安装了两个线圈的交流发电机，这可以看作是所有发电机的始祖。西门子实现了人类第一台自励式发电机，因此法拉第和现代的发电机没啥关系 。
这种贬低是很不符合事实的。
实际上 Ilya 以及他的 SuperAlignment 毫无疑问是成功的。在 gpt2 的时候，我们甚至没办法用它来做什么事情，然后在 3 之前，一方面使用了超大规模的算力去训练，同时在标注上付出了极大的努力。公开信息是他们花费了千万美元在 alignment 本身，并且占用 20% 的计算规模（当然现在 Ilya 已走， Jan Leike 跑路，未来如何未为可知）。
如果按人类的社交形态来比方，可以说是在对方没有任何正反馈的情况下把全部身家砸进去去追求一个女性，可以说是史上罕见的舔狗了，当然，成功后我们不得不佩服的是他的远见以及给钱给资源的微软爸爸大胆。
一个小道消息是，某家训练了好几个月后，突然惊恐发现他们的训练语料质量甚至不如 gpt4 生成的结果。如果为真，毫无疑问是很大的失误。
因此，无论从工程实践还是从很多远见上说， Ilya 他们确实有非常大的贡献，但是这并不是一个维度的，并且是不可互相替代的。
看完直接困了
看完直接困了[捂脸]
？当下最火的生成式AI就是谷歌搞出来的
？当下最火的生成式AI就是谷歌搞出来的
这个小田君难道是百度员工吗
这个小田君难道是百度员工吗
没有做小额信贷，格局还是小了/狗头
没有做小额信贷，格局还是小了/狗头
谷歌die，不吉利，董事会否了
谷歌die，不吉利，董事会否了[狗头]
哈哈哈哈哈哈。笑死我了。老哥我amd，tesla也一起亏麻了。能不能一起报销。
哈哈哈哈哈哈。笑死我了。老哥我amd，tesla也一起亏麻了。能不能一起报销。
买特斯拉本来就有赌的成分啊……我还有其他科技和半导体的股票和指数，哎，麻了，投资果然比乱买东西花钱多得多
买特斯拉本来就有赌的成分啊……我还有其他科技和半导体的股票和指数，哎，麻了，投资果然比乱买东西花钱多得多
Transformer模型是由谷歌的八位研究人员提出的，他们分别是Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Lukasz Kaiser和Illia Polosukhin。他们于2017年在论文《Attention Is All You Need》中首次提出了这一架构。
Transformer模型的核心思想是利用“自注意力（Self-Attention）”机制来捕捉输入数据中的内在关系，而无需依赖传统的循环神经网络（RNN）或卷积神经网络（CNN）结构。这种机制使得模型能够同时处理输入序列中的所有元素，并捕捉它们之间的复杂关系。
这八位研究人员最初的想法是改进谷歌的机器翻译技术。他们希望通过让机器通读整个句子，分析其所有部分，而不是单个单词逐个翻译，从而获得更好的上下文理解。这一想法经过讨论和碰撞后，最终形成了“Transformer”架构的概念起点——“自我注意力（self-attention）”。
论文《Attention Is All You Need》于2017年12月发表，标志着人工智能领域的一个重要转折点。这篇论文不仅推动了自然语言处理技术的发展，也为后续的研究者和开发者提供了新的工具和思路，极大地扩展了人工智能的应用范围。
如今，Transformer模型不仅嵌入在谷歌搜索和谷歌翻译中，还驱动着几乎所有大型语言模型（LLMs），如ChatGPT和Bard。此外，它还被应用于图像生成、代码生成等领域。
OpenAI 是 gpt-3 的工程实现，这儿可能提的是 attention is all you need
btw, BERT 也是 google 提出来的。
这些 encoder & decoder 各种架构在学术上可以说是非常领先的，而且直接咣咣砸论文，确实牛逼。
Transformer模型是由谷歌的八位研究人员提出的，他们分别是Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Lukasz Kaiser和Illia Polosukhin。他们于2017年在论文《Attention Is All You Need》中首次提出了这一架构。
Transformer模型的核心思想是利用“自注意力（Self-Attention）”机制来捕捉输入数据中的内在关系，而无需依赖传统的循环神经网络（RNN）或卷积神经网络（CNN）结构。这种机制使得模型能够同时处理输入序列中的所有元素，并捕捉它们之间的复杂关系。
这八位研究人员最初的想法是改进谷歌的机器翻译技术。他们希望通过让机器通读整个句子，分析其所有部分，而不是单个单词逐个翻译，从而获得更好的上下文理解。这一想法经过讨论和碰撞后，最终形成了“Transformer”架构的概念起点——“自我注意力（self-attention）”。
论文《Attention Is All You Need》于2017年12月发表，标志着人工智能领域的一个重要转折点。这篇论文不仅推动了自然语言处理技术的发展，也为后续的研究者和开发者提供了新的工具和思路，极大地扩展了人工智能的应用范围。
如今，Transformer模型不仅嵌入在谷歌搜索和谷歌翻译中，还驱动着几乎所有大型语言模型（LLMs），如ChatGPT和Bard。此外，它还被应用于图像生成、代码生成等领域。
OpenAI 是 gpt-3 的工程实现，这儿可能提的是 attention is all you need
btw, BERT 也是 google 提出来的。
这些 encoder & decoder 各种架构在学术上可以说是非常领先的，而且直接咣咣砸论文，确实牛逼。
谷歌最早没错，只是后来路走偏了，然后OpenAI脱颖而出，值得一提的是谷歌也罢喜欢抄袭它的百度带偏了，导致百度也是深耕多年没出好成绩
谷歌最早没错，只是后来路走偏了，然后OpenAI脱颖而出，值得一提的是谷歌也罢喜欢抄袭它的百度带偏了，导致百度也是深耕多年没出好成绩
谷歌这个公司挺有意思，每年全世界断档第一的科研费用，愣是没见到做出啥有用的发明来
谷歌这个公司挺有意思，每年全世界断档第一的科研费用，愣是没见到做出啥有用的发明来
“我啥都不懂，孤陋寡闻，所以他们啥都没做出来”
“我啥都不懂，孤陋寡闻，所以他们啥都没做出来”
谷歌这个公司挺有意思，每年全世界断档第一的科研费用，愣是没见到做出啥有用的发明来
谷歌这个公司挺有意思，每年全世界断档第一的科研费用，愣是没见到做出啥有用的发明来
……………好家伙，谷歌都被你说的一无是处了，谷歌要是中国公司，余大嘴都直接闭肛了
……………好家伙，谷歌都被你说的一无是处了，谷歌要是中国公司，余大嘴都直接闭肛了
垄断人才，让别人创造不出威胁他的东西。。。
垄断人才，让别人创造不出威胁他的东西。。。
你这话说的，好像人家是通过绑架的手段把人才弄回去的一样
你这话说的，好像人家是通过绑架的手段把人才弄回去的一样
阿尔法狗声音还不大？只是gpt首先做到了llm大规模使用，第一个吃螃蟹的人，以为吊打天下一样。
阿尔法狗肯定声音大，以后就有点没声音。这几年ai全是openai的风头，谷歌直接没画面了。
阿尔法狗肯定声音大，以后就有点没声音。这几年ai全是openai的风头，谷歌直接没画面了。
阿尔法狗肯定声音大，以后就有点没声音。这几年ai全是openai的风头，谷歌直接没画面了。
你好歹查查资料再说，alpha go之后alpha fold等相关技术在不同领域已经对行业进行了颠覆性革命，你眼里只有chatgpt。这几年deepMind年年nature、science。这还只是谷歌旗下deepMind的一个方向的突破。
你好歹查查资料再说，alpha go之后alpha fold等相关技术在不同领域已经对行业进行了颠覆性革命，你眼里只有chatgpt。这几年deepMind年年nature、science。这还只是谷歌旗下deepMind的一个方向的突破。
你好歹查查资料再说，alpha go之后alpha fold等相关技术在不同领域已经对行业进行了颠覆性革命，你眼里只有chatgpt。这几年deepMind年年nature、science。这还只是谷歌旗下deepMind的一个方向的突破。
你好歹查查资料再说，alpha go之后alpha fold等相关技术在不同领域已经对行业进行了颠覆性革命，你眼里只有chatgpt。这几年deepMind年年nature、science。这还只是谷歌旗下deepMind的一个方向的突破。
我本来就不懂啊，讲的就是印象流。以我一个外行的视角来看，这两年就是openai比谷歌更有画面啊，一提到ai就联想到chatgpt。要是去查资料了解过再讲也就不算印象流了。
我本来就不懂啊，讲的就是印象流。以我一个外行的视角来看，这两年就是openai比谷歌更有画面啊，一提到ai就联想到chatgpt。要是去查资料了解过再讲也就不算印象流了。
