The Bibliography · Vol. III
数学 → AI
Books Only
A Curated Bibliography · 纯书单

线性代数 ·
微积分 &
概率统计

三十余本书 · 四层递进 · 一张通往 AI 的阅读地图

每一本书都被放在明确的位置上 —— 是入门、是进阶、是权威教材、还是参考工具书。 这份书单不求全,只求每本书都值得翻开、值得用一整个月去读。

3学科
4层级
30+本书
15+免费 PDF
阅读深度

每一本书的位置

I
Tier 1

入门 · 直觉

用来"打开眼界"的书。叙述轻松、图多、不求严格证明。目标是让你对这门学科产生兴趣,知道它大致在讲什么。

II
Tier 2

进阶 · 教材

第一本真正意义上的系统教材。有完整定义、证明、习题。读完一本能让你拥有独立推导的能力。

III
Tier 3

权威 · 深入

这一层是经典或研究生级别的教材。比 Tier 2 更严格、更抽象、面向"想真的懂"的读者。

IV
Tier 4

参考 · 工具书

不是用来"读完"的。放在手边,遇到具体问题就翻某一章。很多在工作中会反复用到。

I
Track I · Linear Algebra

第一卷 · 线性代数

AI 的第一语言。几乎所有深度学习模型的前向推理都是一连串的矩阵运算。 从视觉直觉到抽象向量空间,再到数值与矩阵微积分 —— 这四层书会把你从零带到能读任何论文的程度。
I.Tier 1 · Entry

入门 · 建立直觉

读这层之前你可以对矩阵一无所知。读完之后,你会"看见"矩阵在做什么。
I.Tier 2 · Core Textbook

进阶 · 系统教材

真正"学会"线性代数就从这一层开始。选一本主攻,一本辅助。
I.Tier 3 · Authoritative

权威 · 深入一层

这一层每一本都是专门写给"想真的懂"的人。
I.Tier 4 · Reference

参考 · 工具书

不用读完,放在手边,遇到就翻。

线性代数之所以是 AI 的第一语言,是因为它给出了表示这件事最干净的数学形式。

— Gilbert Strang · MIT
II
Track II · Calculus

第二卷 · 微积分

AI 的学习动力。反向传播是链式法则的大规模自动化;优化器是导数信息的加工产物。 从 Spivak 严格的单变量,到多变量,再到矩阵微积分与凸优化 —— 这条路就是通往"训练"本身。
II.Tier 1 · Entry

入门 · 建立直觉

先让微积分"回魂"——它本来是一门美的学科。
II.Tier 2 · Core Textbook

进阶 · 系统教材

理论派 vs 应用派 —— 按你的目的选一条路。
II.Tier 3 · Authoritative

权威 · 多变量与优化

机器学习只关心多变量和优化。这一层才是 AI 直接需要的微积分。
II.Tier 4 · Reference

参考 · 矩阵微积分与 AD

训练代码里每一行都在偷偷用这些。

数学家把微积分视为一门关于极限的学科,但对机器学习来说,它其实是一门关于梯度的艺术。

— Andrew Ng · Stanford
III
Track III · Probability & Statistics

第三卷 · 概率统计

AI 理解世界的方式。模型输出是概率分布,损失函数是负对数似然,扩散模型是对噪声的贝叶斯推断。 概率论是 AI 三大支柱里"最容易误以为懂了"的那一门 —— 所以这部分更要认真选书。
III.Tier 1 · Entry

入门 · 建立直觉

概率直觉最容易出错。先慢慢建立它。
III.Tier 2 · Core Textbook

进阶 · 系统概率论

三门数学里最不能"跳着学"的一门。Tier 2 是必须完整啃的一层。
III.Tier 3 · Authoritative

权威 · 统计推断与贝叶斯

从"计算概率"到"用概率推理"。ML 的灵魂在这一层。
III.Tier 4 · Reference

参考 · 图模型与随机过程

图模型是现代生成式 AI 的直接祖先。

机器学习本质是一种认识论 —— 它告诉我们,在有限的数据里,应该如何形成合理的信念

— David MacKay · Cambridge
Final Volume · Convergence

第四卷 · 三流合一

当三条主线汇入 AI。下面这些书都不只属于某一个单一学科,而是同时用到三种数学。 它们是走到这一步之后,自然要读的下一批书。
IV.Integrated · Math for ML

三合一 · ML 数学

把线代、微积分、概率装进一本书。
IV.ML & Deep Learning

机器学习 · 深度学习经典

数学准备好了之后读的第一批 ML 专书。
38
★ PRML · 经典Bishop
Pattern Recognition and Machine Learning
Christopher M. Bishop
2006 · Springer · 738 页
二十年经典,俗称 PRML。从贝叶斯视角统一整个 ML。虽然深度学习部分有点老,但核心章节(指数族、EM、变分推断、图模型)至今无人能替代。
39
★ ESL · 统计学习圣经免费
Elements of Statistical Learning
Hastie · Tibshirani · Friedman · 第 2 版
2009 · Springer · 免费 PDF
俗称 ESL。Stanford 三大师的统计学习权威。从线性回归讲到 boosting、神经网络,数学密度极高。读懂它你就从"调包侠"升级为"能读论文的人"。
40
ISL · ESL 简化版免费 PDF
Introduction to Statistical Learning
James · Witten · Hastie · Tibshirani · 第 2 版
2021 · Springer
ESL 的简化版,读得动。R 和 Python 两个版本。如果 ESL 数学太重,从 ISL 起步。
41
现代 ML 教材Murphy · 免费
Probabilistic Machine Learning Vol. 1
Kevin P. Murphy
2022 · MIT Press · 免费
从概率视角重写整个 ML。比 PRML 新十多年,覆盖 Transformer 前的全部现代 ML。Murphy 自己提供免费完整 PDF。
42
★ 深度学习圣经Goodfellow et al. · 免费
Deep Learning
Ian Goodfellow · Yoshua Bengio · Aaron Courville
2016 · MIT Press · 免费在线
深度学习领域的第一本权威教材。Part I 是"深度学习需要的数学"的全景——线代、概率、数值计算、ML 基础。仅 Part I 就值这本书的所有分量。Part II 虽然模型层面有些过时(Transformer 前),但反向传播、正则化、优化那几章还是现代的。
43
实战教材免费 · 含代码
Dive into Deep Learning
Zhang · Lipton · Li · Smola
持续更新 · d2l.ai
李沐团队写的深度学习教材,每章配 PyTorch / MXNet / TF 三套代码。附录有一整章"深度学习所需数学",是数学三主线最务实的综合。
44
前沿主题Murphy · Vol. 2 · 免费
Probabilistic ML Advanced Topics
Kevin P. Murphy
2023 · MIT Press · 免费
Vol. 1 是基础,Vol. 2 才是前沿。深度生成模型、Transformer、图神经网络、强化学习、因果 —— 现代 AI 几乎所有热点话题都囊括。
IV.Frontier

前沿 · 研究方向

到这一层,选你关心的方向深入就够。

想走哪一条路?

Path A · Fastest

最短路径 · 6–9 月

面向已有编程基础、想快速能做 ML 项目的工程师。跳过严格证明,直奔应用。

  1. Immersive Linear Algebra线代建立直觉 · 2 周
  2. OpenStax Calculus Vol. 1–3 选读微积分补充 · 1 月
  3. OpenIntro Statistics统计 · 1 月
  4. Mathematics for Machine Learning三合一核心 · 2–3 月
  5. Deep Learning · Goodfellow Part IML 数学全景 · 1 月
  6. Dive into Deep Learning动手实现模型 · 持续
Path B · Rigorous

深度路径 · 18–24 月

面向想做 AI 研究、读懂顶会论文的学习者。严格训练数学功底。

  1. Strang · Introduction to Linear Algebra主攻线代 · 3 月
  2. Axler · Linear Algebra Done Right抽象向量空间 · 2 月
  3. Spivak · Calculus严格微积分 · 4 月
  4. Blitzstein · Introduction to Probability概率论 · 3 月
  5. Boyd · Convex Optimization优化 · 3 月
  6. MacKay · Information Theory信息 + 推断 · 2 月
  7. Bishop PRML / Murphy PML正式进入 ML · 3 月+
Path C · Bayesian

贝叶斯路径 · 12–15 月

面向对扩散模型、生成式 AI、因果 AI 感兴趣的方向。

  1. Strang · Introduction to Linear Algebra基础线代 · 2 月
  2. OpenStax Calculus (多变量部分)梯度与优化 · 1 月
  3. Blitzstein · Introduction to Probability扎实概率 · 3 月
  4. MacKay · Information Theory推断之魂 · 2 月
  5. McElreath · Statistical Rethinking贝叶斯建模 · 2 月
  6. Koller · Graphical Models 选读图模型参考
  7. Murphy PML Vol. 2前沿生成模型 · 2 月