Skip to content

Winnie 的学习博客共读笔记 · 工程思考

这里是我边读边想的地方。读得慢,想得杂,慢慢积累。

学习博客封面

📌 最新文章

DIY-LLM Task 2 · PyTorch 与资源核算

DIY-LLM 课程打卡 · 2026-04-19

这章教的不是技能,是直觉——看着代码,30 秒估出它烧多少显存、耗多少算力。

两个公式钉死一切:训练时间 ≈ 6·N·tokens / (FLOPS·MFU)训练显存 ≈ 16·N 字节。手动验证了 16 字节公式精确命中;作业题 2 全做完——单卡 A100 训 GPT-2 XL 400K 步要 6354 天(17 年) 🤯

📚 往期

慢慢迭代,不追求完美。