笔记
0工具
0此页用于记录用户反馈问题后的每一次改进
关于
“写笔记”支持四种格式——Word 文档、Excel 表格、Markdown、纯文本，起稿或二次编辑时都能随时切换，同一篇笔记想用哪种形态来记，都由你说了算。
md、txt、csv、json 这类纯文本则原样载入，不做多余加工。拿一张现成的表倒进来、改几笔、再导出去，等于白用一台免费的格式转换器。
要带走就在右上角点“下载”，可导出 PDF、Word、Markdown、Excel、TXT 等格式；列表卡片“⋯”菜单里，也有同样的下载入口。
在“工具”页点“＋ 上传工具”即可发布：填好名称与链接，再用 Markdown 把使用方法写清楚——能解决什么问题、怎么装、怎么用，比堆介绍实在。
要分发安装包就一并上传压缩包（ZIP、RAR、7Z、TAR.GZ，最大 35MB），别人在详情页一键下载；只放链接不带附件也可以。
工具按大家的收藏热度排序，好用的自然会被顶上来。发布后可在详情页或卡片菜单里编辑、下架。
写笔记时勾上“隐藏”，这篇就只存在于你自己的账号里：不进列表、不进搜索、不上首页精选，也不会出现在任何公开的页面，链接发给别人同样打不开。
适合放密码、草稿、日记这类只给自己看的内容；想公开，去“发布”打开它，把“隐藏”的勾去掉再保存，之后编辑会默认保持原状态，不会悄悄变回公开。
不想公开、只想临时给人看：点“分享”生成一条带密码和有效期的链接，到期自动失效，你也能随时撤销。
你的内容会同时保存在多个副本上，系统定期做备份与完整性校验，再配合异地容灾机制：就算某台机器出问题，数据也不会丢，可以长期放心存放；特别重要的资料，仍建议你另外再留一份备份。
全站跑在容器化、模块化的现代架构上，更新、部署、回滚都很快，扩展性和稳定性都按长期运营的标准来设计（Built for reliability, designed to scale）。
这个网站最早只是一个人的笔记仓库，后来慢慢长成现在的知识中枢。设计上很克制——没有广告、没有追踪、没有推荐算法，只是干干净净地存放一些东西；既然做好了，就公开出来，万一有人用得上呢。
不做大而全，不做平台梦，保持简单、保持克制、保持好奇。所有内容都由用户贡献、由用户维护：不会突然冒出付费墙，不会在角落塞广告位，也不会把你的数据卖给第三方。
产品会持续迭代，站内日志页记录着每一次改动，改了什么都有迹可循；想了解这个站是怎么一步步走到今天的，翻翻日志就能看到来龙去脉。
如果在这里看到涉嫌违规的内容，点对应卡片右侧的“举报”按钮就能提交，我们会尽快核实处理；也谢谢你花一点时间，一起把这里维护干净。
趋势
30Papers：伊利亚·苏茨克弗给约翰·卡马克的机器学习必读论文清单（入门友好版）
伊利亚·苏茨克弗（Ilya Sutskever）为约翰·卡马克（John Carmack）开出的30篇机器学习核心论文，以入门友好格式整理呈现。
背景：一份传奇的阅读清单
2023年，OpenAI联合创始人兼首席科学家伊利亚·苏茨克弗为传奇程序员、Oculus VR创始人约翰·卡马克列出了一份机器学习必读论文清单。卡马克当时正在深度学习领域进行自我学习，伊利亚的这份清单被视为从经典到前沿的“最佳路径”。然而，这份原始清单只有论文标题，对初学者极不友好——没有链接、没有摘要、没有解释顺序，更没有“为什么这篇重要”的说明。
30papers.com 正是为了解决这个问题而生。它将伊利亚的原始清单转化为一个结构化的学习路径，每篇论文都配有：
- 可点击的PDF链接
- 一两句话的“为什么重要”说明
- 清晰的阅读顺序建议
论文清单全解析（按推荐阅读顺序）
第一组：现代深度学习基石（1-10）
1. AlexNet (2012) — Krizhevsky, Sutskever, Hinton
- 核心贡献：首次在ImageNet大规模图像分类任务上使用深度卷积神经网络，大幅超越传统方法。证明了GPU+大数据+深度网络的组合威力，开启了深度学习革命。
- 关键数据：ImageNet 2012比赛Top-5错误率15.3%（第二名26.2%）。
2. Dropout (2014) — Srivastava, Hinton et al.
- 核心贡献：提出训练时随机丢弃神经元的方法，有效防止过拟合。简单但极其有效，成为全连接层的标准正则化手段。
- 技术细节：训练时以概率p随机保留每个神经元，测试时所有权重乘以p。相当于训练了指数级数量的子网络进行集成。
3. RNN 语言模型 (2010) — Mikolov et al.
- 核心贡献：证明循环神经网络（RNN）在语言建模上优于传统n-gram模型，为后续的序列建模（如机器翻译、语音识别）奠定基础。
- 关键洞察：RNN能捕获长距离依赖，但当时训练困难（梯度消失/爆炸问题）。
4. Seq2Seq (2014) — Sutskever, Vinyals, Le
- 核心贡献：提出“编码器-解码器”框架，用两个RNN将一个序列映射到另一个序列。这是神经机器翻译的奠基之作。
- 创新点：编码器将输入序列压缩为固定长度的上下文向量，解码器从中生成输出序列。
5. 注意力机制 (2015) — Bahdanau, Cho, Bengio
- 核心贡献：解决Seq2Seq中固定上下文向量的瓶颈——让解码器在每一步动态关注输入序列的不同部分。
- 技术细节：通过学习对齐权重，模型自动决定翻译当前词时应关注源句的哪个位置。
6. Transformer (2017) — Vaswani et al. (Attention Is All You Need)
- 核心贡献：彻底抛弃RNN/CNN，仅用注意力机制构建序列模型。并行计算效率极高，成为GPT、BERT等所有现代大语言模型的基础架构。
- 关键组件：多头自注意力（Multi-Head Self-Attention）、位置编码（Positional Encoding）、层归一化（Layer Normalization）。
7. 神经网络的数值优化 (2012) — Sutskever, Martens, Dahl, Hinton
- 核心贡献：系统研究了动量（Momentum）和Nesterov动量在深度网络训练中的效果，提出了实用训练技巧。
- 关键发现：适当的学习率调度和动量项能显著加速收敛并提高泛化。
8. Adam优化器 (2015) — Kingma, Ba
- 核心贡献：结合Momentum和RMSProp的自适应学习率优化器，成为深度学习最常用的优化算法。
- 特点：对超参数不敏感，默认参数（lr=0.001）在大多数任务上表现良好。
9. Batch Normalization (2015) — Ioffe, Szegedy
- 核心贡献：对每个mini-batch的激活值进行归一化，解决内部协变量偏移问题。允许使用更高学习率，加速训练，并起到轻微正则化作用。
- 影响：使得训练更深的网络（如ResNet）成为可能。
10. ResNet (2015) — He et al. (Deep Residual Learning)
- 核心贡献：引入残差连接（skip connection），让网络深度从20层左右跃升到152层以上。
- 关键洞察：直接学习恒等映射的残差比学习原始映射更容易。
第二组：无监督学习与生成模型（11-18）
11. 受限玻尔兹曼机 (RBM) 综述 — Hinton
- 核心贡献：解释RBM的训练方法（对比散度CD-k），以及如何堆叠成深度信念网络。虽然现在被VAE/GAN取代，但历史意义重大。
12. 变分自编码器 (VAE, 2014) — Kingma, Welling
- 核心贡献：将变分推断引入自编码器，让生成模型拥有清晰的概率解释。
- 技术细节：编码器输出隐变量的均值和方差，通过重参数化技巧使采样过程可微。
13. 生成对抗网络 (GAN, 2014) — Goodfellow et al.
- 核心贡献：让生成器与判别器相互博弈，生成器学习数据分布。GAN能生成极其逼真的图像。
- 关键难点：训练不稳定，容易出现模式坍塌。
14. WaveNet (2016) — DeepMind
- 核心贡献：基于扩张因果卷积（Dilated Causal Convolution）的音频生成模型，生成原始音频波形。
- 应用：Google Assistant、音乐生成。
15. PixelRNN & PixelCNN (2016) — van den Oord et al.
- 核心贡献：逐像素生成图像，每个像素依赖之前所有像素。PixelCNN通过掩码卷积实现并行训练。
16. GELU激活函数 (2016) — Hendrycks, Gimpel
- 核心贡献：提出高斯误差线性单元（Gaussian Error Linear Unit），结合ReLU和Dropout的思想。
- 特点：在Transformer中广泛使用，比ReLU更平滑。
17. AdamW优化器 (2017) — Loshchilov, Hutter
- 核心贡献：将权重衰减（Weight Decay）与学习率解耦，修正Adam在正则化上的问题。
- 影响：成为训练BERT等预训练模型的首选优化器。
18. 对比学习 + SimCLR (2020) — Chen et al. (Google)
- 核心贡献：通过数据增强构造正负样本对，使用对比损失（NT-Xent）学习无监督表示。
- 关键技巧：大batch size、强数据增强、投影头（projection head）。
第三组：强化学习与前沿（19-25）
19. DQN (2015) — Mnih et al. (DeepMind)
- 核心贡献：首次将深度神经网络与Q学习结合，在Atari游戏上达到人类水平。
- 关键创新：经验回放（Experience Replay）和目标网络（Target Network）稳定训练。
20. AlphaGo (2016) — Silver et al. (DeepMind)
- 核心贡献：结合深度神经网络+蒙特卡洛树搜索（MCTS），击败围棋世界冠军李世石。
- 符号意义：AI在人类智力游戏上的里程碑。
21. AlphaZero (2017) — Silver et al.
- 核心贡献：从零开始自学，无需人类棋谱，在围棋、国际象棋、将棋上超越所有先前系统。
- 核心方法：自我对弈（Self-Play）+ MCTS。
22. 策略梯度 (REINFORCE, 1992) — Williams
- 核心贡献：经典的基于策略的强化学习算法，通过梯度上升直接优化策略。
- 缺陷：方差大，需要技巧（如基线baseline）来降低方差。
23. TRPO & PPO (2015/2017) — Schulman et al.
- 核心贡献：信任区域策略优化（TRPO）和近端策略优化（PPO）解决了策略梯度更新步长不稳定的问题。
- PPO现状：OpenAI等机构最常用的强化学习算法。
24. 模仿学习与逆强化学习 — 经典综述
- 核心贡献：从专家演示中学习策略，适用于奖励函数难以定义的任务（如自动驾驶）。
25. 元学习 (MAML, 2017) — Finn, Abbeel, Levine
- 核心贡献：模型无关的元学习（Model-Agnostic Meta-Learning），让模型学会快速适应新任务（few-shot learning）。
- 核心思想：找到一组初始参数，使模型在几步梯度更新后就能在新任务上表现优秀。
第四组：前沿与扩展（26-30）
26. GPT-1 (2018) — Radford et al. (OpenAI)
- 核心贡献：首次证明大规模无监督语言模型预训练+有监督微调（GPT范式）的有效性。
- 架构：12层Transformer解码器，1.17亿参数。
27. BERT (2019) — Devlin et al. (Google)
- 核心贡献：双向Transformer编码器，通过掩码语言模型（MLM）+下一句预测（NSP）预训练，在11项NLP任务上刷新记录。
- 影响：开启了NLP的“预训练-微调”时代。
28. 扩散模型 (DDPM, 2020) — Ho, Jain, Abbeel
- 核心贡献：提出去噪扩散概率模型（Denoising Diffusion Probabilistic Models），通过逐步加噪再逆向去噪生成图像。
- 现状：DALL·E 2、Stable Diffusion、Midjourney均基于此。
29. CLIP (2021) — Radford et al. (OpenAI)
- 核心贡献：用4亿图文对训练对比学习模型，让视觉和文本共享嵌入空间。
- 能力：零样本图像分类、图文检索、引导图像生成。
30. InstructGPT / ChatGPT (2022) — Ouyang et al. (OpenAI)
- 核心贡献：在GPT-3基础上使用人类反馈强化学习（RLHF），让模型对齐人类意图。
- 关键步骤：监督微调（SFT）→ 奖励模型训练 → PPO优化。
阅读建议与深度思考
这份清单的独特之处在于：
- 历史脉络清晰：从AlexNet（2012）到ChatGPT（2022），恰好覆盖深度学习十年黄金期。
- 理论与实践并重：既有理论创新（注意力机制、残差连接），也有工程技巧（Dropout、Batch Norm、Adam）。
- 伊利亚的个人偏好：作为AlexNet和Seq2Seq的合著者，清单中自然包含了他自己的代表作；同时作为OpenAI首席科学家，他对生成模型和RLHF的重视也体现在最后几篇。
对于中文学习者，建议：
- 先阅读每篇论文的摘要和结论，再精读方法部分
- 配合代码实现（如PyTorch官方教程）加深理解
- 按顺序阅读，因为后一篇往往引用或改进前一篇
结语
30papers.com 将伊利亚·苏茨克弗的私人心血清单变成了一个开放的学习资源。无论你是刚入门深度学习的学生，还是想系统梳理知识的工程师，这份清单都是一幅珍贵的地图。正如伊利亚本人所说：“理解这些论文，你就拥有了现代AI的完整图景。”