基于 PyTorch 从零实现自然语言处理经典模型的开源库 ToyNLP. 实现了 2003 年至 2018 年间共计 8 个经典的 NLP 模型：NNLM, Word2Vec, Seq2Seq, Attention, FastText, Transformer, BERT, GPT.
记录 BERT 论文的复现过程与经验教训。这是我一直想要找的一篇博客，但我一直没找到，于是决定自己来写一篇。
少一些 AGI 的闲谈，少一些 FOMO 情绪，我们应该务实地享受 AI 的黄金时代！
介绍 LLM KV Cache 的原理和实现
ToyRL: 从零实现深度强化学习算法
LLM Speculative Sampling 论文复现
Deepseek GRPO 中的 KL Divergence，forward kl divergence or reverse kl divergence?
大语言模型与深度学习书籍推荐。
2024 年对 LLM 的一些看法，我们正处于 AI 的黄金时代
斯坦福小镇解读：探索生成式代理的架构设计与行为模拟
