This series — ML Foundations, collects some of the fundamental knowledge I need, to dive deeper into the research of Modern LLM.
Note (阅读顺序)
右侧栏的 subposts 导航按 order 字段排序。如果你只关心某个具体主题，可以直接跳到对应子篇。
计划中的主题
- A Glimpse of Math Foundations: Modern LLM 所需要用到的一些数学工具，包括 linear algebra、probability、calculus 以及最基本的 information theory。
- A Glimpse of Torch & Einops: Fundamental Programming Skills
- ARENA 0.1: Ray Tracing: ARENA 课程 0.1 笔记和实现
- A Glimpse of Neural Network: 神经网络、CNN、ResNet等概念
- A Glimpse of Optimization: 我们为什么需要优化算法
- A Glimpse of Backpropagation: 反向传播以及
micrograd的实现 - Extra: Basic tools Collections: uv, Conda, commandline tools and so on
- Extra: ARENA 0.5 — VAEs & GANs: ARENA 课程 0.5 笔记和实现