**斯坦福这场2小时讲座的核心内容总结**（演讲者为斯坦福讲师，主要讲解大语言模型LLM的底层技术逻辑）：演讲者用非常硬核、系统的方式，把ChatGPT、Claude等主流大模型的“底层核心逻辑”彻底拆解，重点围绕**训练目标、Tokenizer、评估方法、数据**四个核心模块展开，全程干货密集，几乎没有废话。### 1. **核心训练机制（Loss函数）**- LLM的本质是**下一个token预测**（next token prediction）。- 使用**交叉熵损失（cross-entropy loss）**来训练，目标是**最大化文本的似然度（likelihood）**。- 简单说：模型每一步都在学习“给定前面内容，下一个最可能的词是什么”，通过不断最小化损失来实现。### 2. **Tokenizer（分词器）**- 为什么不用单词或字符直接分？因为**token要更通用、更高效**。- 主流方法是**Byte Pair Encoding (BPE)**： - 从大语料开始，先每个字符一个token； - 反复合并出现频率最高的相邻token对，形成常见子序列作为最终tok
1:44:17
**斯坦福这场2小时讲座的核心内容总结**（演讲者为斯坦福讲师，主要讲解大语言模型LLM的底层技术逻辑）：演讲者用非常硬核、系统的方式，把ChatGPT、Claude等主流大模型的“底层核心逻辑”彻底拆解，重点围绕**训练目标、Tokenizer、评估方法、数据**四个核心模块展开，全程干货密集，几乎没有废话。### 1. **核心训练机制（Loss函数）**- LLM的本质是**下一个token预测**（next token prediction）。- 使用**交叉熵损失（cross-entropy loss）**来训练，目标是**最大化文本的似然度（likelihood）**。- 简单说：模型每一步都在学习“给定前面内容，下一个最可能的词是什么”，通过不断最小化损失来实现。### 2. **Tokenizer（分词器）**- 为什么不用单词或字符直接分？因为**token要更通用、更高效**。- 主流方法是**Byte Pair Encoding (BPE)**： - 从大语料开始，先每个字符一个token； - 反复合并出现频率最高的相邻token对，形成常见子序列作为最终tok
789K views2 weeks ago
x.com渡边君
好一个吃人的社会啊！！！！！！我还有个疑问：如果不是她的颜值。。。。。你们还会关心吗？东大毕业后 梦想的公司入职。 月105小时加班。 上司说的话 “头发乱糟糟，眼睛死气沉沉” “你的加班是浪费” 入职8个月后 24岁的圣诞节 从屋顶跳下。 2015年12月，東京都港区。 “电通过劳自杀事件”。 高桥祭里女士毕业于东京大学文学部，2015年4月进入广告巨头“电通”入职。她被分配到数字账户部门，负责互联网广告。 祭里女士是个怎样的女孩呢。 母亲幸美女士讲述道：“祭里从小学生时代起，就一直说想进电通。她是实现了梦想的女儿。”她是以首席级别的成绩从东大毕业的努力家。 发生了什么。 入职后立刻开始了长时间劳动。2015年10月的加班时间达到了105小时。睡眠时间连续几天不到1日2小时。 上司对她说：“头发乱糟糟，眼睛死气沉沉，白眼球发黄。不检点，赶紧收拾一下”“你是个女孩，要更有清洁感”“你的加班在降低公司的生产力，是浪费”这样的言语。 睡眠2小时 即便如此，还是被说“加班是浪费”。 祭里女士在Twitter上写下了痛苦。“睡不着睡不着睡不着睡不着”“周末也必须去公司真的好痛苦，谁来救救我”“
2:04
好一个吃人的社会啊！！！！！！我还有个疑问：如果不是她的颜值。。。。。你们还会关心吗？东大毕业后 梦想的公司入职。 月105小时加班。 上司说的话 “头发乱糟糟，眼睛死气沉沉” “你的加班是浪费” 入职8个月后 24岁的圣诞节 从屋顶跳下。 2015年12月，東京都港区。 “电通过劳自杀事件”。 高桥祭里女士毕业于东京大学文学部，2015年4月进入广告巨头“电通”入职。她被分配到数字账户部门，负责互联网广告。 祭里女士是个怎样的女孩呢。 母亲幸美女士讲述道：“祭里从小学生时代起，就一直说想进电通。她是实现了梦想的女儿。”她是以首席级别的成绩从东大毕业的努力家。 发生了什么。 入职后立刻开始了长时间劳动。2015年10月的加班时间达到了105小时。睡眠时间连续几天不到1日2小时。 上司对她说：“头发乱糟糟，眼睛死气沉沉，白眼球发黄。不检点，赶紧收拾一下”“你是个女孩，要更有清洁感”“你的加班在降低公司的生产力，是浪费”这样的言语。 睡眠2小时 即便如此，还是被说“加班是浪费”。 祭里女士在Twitter上写下了痛苦。“睡不着睡不着睡不着睡不着”“周末也必须去公司真的好痛苦，谁来救救我”“
9.9M views1 week ago
x.com留刀不留刃
Stanford CS336 上，Tatsu 讲了一节 LLM 架构课，把过去 3 年所有主流 LLM 拆开，看它们的共通模板结论挺爆：90% 的架构选择已经收敛，你随便挑一个开源大模型，它跟其他模型在这些维度上几乎一模一样讲师的原话- 2024 年大家都在 cosplay Llama2- 2025 年的主题是「怎么训得不崩」- 2026 年的主题是「怎么扛住长上下文」下面是 2026 年开源 LLM 的标准模板 你训自己的模型可以直接抄【架构层 已经收敛的 7 件事】1）Layer Norm 挪出残差流（pre-norm）原版 Transformer 把 LN 放在残差里 几乎所有现代模型都挪到外面原因：keep your residual stream clean 梯度反传更稳2）RMS Norm 替代 LayerNormLayerNorm 的减均值 + 加 bias 那部分实际没怎么帮上忙丢掉之后 flops 只省 0.17% 但运行时省到 25%（瓶颈在数据搬运 计算反而次要）3）所有 bias 项全删跟 RMS Norm 一个道理 系统层省内存搬运4）激活函数用 SwiGLU
1:29:02
Stanford CS336 上，Tatsu 讲了一节 LLM 架构课，把过去 3 年所有主流 LLM 拆开，看它们的共通模板结论挺爆：90% 的架构选择已经收敛，你随便挑一个开源大模型，它跟其他模型在这些维度上几乎一模一样讲师的原话- 2024 年大家都在 cosplay Llama2- 2025 年的主题是「怎么训得不崩」- 2026 年的主题是「怎么扛住长上下文」下面是 2026 年开源 LLM 的标准模板 你训自己的模型可以直接抄【架构层 已经收敛的 7 件事】1）Layer Norm 挪出残差流（pre-norm）原版 Transformer 把 LN 放在残差里 几乎所有现代模型都挪到外面原因：keep your residual stream clean 梯度反传更稳2）RMS Norm 替代 LayerNormLayerNorm 的减均值 + 加 bias 那部分实际没怎么帮上忙丢掉之后 flops 只省 0.17% 但运行时省到 25%（瓶颈在数据搬运 计算反而次要）3）所有 bias 项全删跟 RMS Norm 一个道理 系统层省内存搬运4）激活函数用 SwiGLU
523.9K views2 weeks ago
x.comJason Zhu
win11打开文件夹速度慢怎么办？
win11打开文件夹速度慢怎么办？
12.4K viewsJan 6, 2024
bilibili实用金点子
地理动画视频 | 3分钟看懂大气环流的成因
地理动画视频 | 3分钟看懂大气环流的成因
55.9K viewsAug 20, 2020
bilibili地理520_
近半打工族薪资低于贫穷线 渐进式薪金能带来多大成效？ | 八点最热报 19/01/2024
8:36
近半打工族薪资低于贫穷线 渐进式薪金能带来多大成效？ | 八点最热报 19/01/2024
89.2K viewsJan 19, 2024
YouTubeAstro 本地圈
十分钟读懂《资本论》卷2 社会生产流通总过程【重置版】
9:42
十分钟读懂《资本论》卷2 社会生产流通总过程【重置版】
56.9K viewsDec 18, 2020
bilibili账号已注销
21:06
30年前的大下岗到底有多惨烈？男人市场捡菜，女人沦落风尘，大量中产阶级一夜返贫【揭秘下岗潮的来龙去脉】
328K viewsJan 18, 2024
YouTube秘事客栈
4:46
涨知识～把工资叫做“薪水”的原因是什么？
494 views4 months ago
bilibili芙蓉城阿女士
4:24
有專業薪水還是低 低薪族嘆「抱歉拉低全國平均」｜十點不一樣20251217 ‪@TVBSNEWS02‬
45.7K views5 months ago
YouTubeTVBS選新聞
2:41
体制视角看为什么南北经济差距变得越来越大？
11.2K views6 months ago
bilibili闲谈政史
5:58
国内工资真相！来看看你的收入在哪层？
2.9M viewsJun 12, 2020
bilibili吃瓜财经
0:36
我们没有两极分化，我们只是收入差距过大
389.8K views10 months ago
bilibili涛涛涛不绝啊
审计底稿—应付职工薪酬与成本费用勾稽
18K viewsApr 1, 2022
bilibilihai-芝芝
5:20
中国真实的工资情况，你在第几层？
3.2M viewsJun 29, 2020
zhihu.com牛先森
0:20
各省公务员薪水工资参考表【2023年10月汇总】
92.2K viewsOct 4, 2023
bilibili2026向内求
19:44
为何各地的平均工资差异如此巨大，全国的工资水平真想是什么？
3.9K viewsApr 29, 2025
bilibili揭秘IS
4:33
东西经济差距大还是南北经济差距大？我国经济的箭头格局
1.6K views5 months ago
bilibili冲之星云
10:24
中国工人福利待遇又为何低人一等？外国工人为什么这么吃香？
346.6K viewsSep 10, 2024
bilibili爱德华说
10:00
很多地方工资又回到了3000元时代
51.3K views6 months ago
bilibili飞洋杂谈
4:06
公考职位表中：一级科员、二级科员、主任科员的含义
33.5K viewsNov 15, 2022
zhihu.com天策小吴
5:42
普通人收入太低是目前经济差的原因，只有提高收入才能刺激消费
66.6K viewsMar 26, 2022
bilibili创业实战家强哥
10:47
我国的南北方经济发展差距是如何形成的？
2.1K views4 months ago
bilibili与众不同的心理学
3:32
泪目！贫富差距的原因包括哪些？贫富差距过大会有什么影响？
1.3K viewsOct 3, 2021
bilibili北斗承安
1:00
为什么一边降薪一边刺激消费？工资确实低，物价确实高，福利确实少，生活确实甜
178.3K viewsJan 31, 2024
bilibili账号已注销
9:12
为什么收入差距可以如此巨大？
6.8K viewsJun 30, 2020
bilibili绝世天才王大牙
15:46
为何各地的平均工资差异如此巨大，全国的工资水平真想是什么？
7.7K viewsDec 20, 2024
bilibili财经大亨
3:17
离大谱，南北方物价差距竟然这么大？为什么会这样？
203.6K viewsSep 30, 2023
bilibili小G杂谈
1:43
[中国经济大讲堂]缩小收入差距要正确认识三次分配
Nov 14, 2021
CCTV央视网
3:44
南北经济差距越来越大，为什么？我们又应如何应对？
5.7K viewsOct 9, 2023
bilibili自然人文观察使
See more
Static thumbnail place holder