计算机硕士课程

默认只展示每周独有的知识重点；节奏、考核、Tutorial 和避坑信息按需展开。

1. 1

   统计学习理论与 MLE/MAP

   ### 📊 核心知识点：概率基础与参数估计 本课程是 AI 的底层理论课。第一周奠定概率基础，深入推导最大似然估计（MLE）与最大后验估计（MAP）。 - **核心概念/公式**: Frequentist vs Bayesian, Maximum Likelihood Estimation (MLE), Maximum A Posteriori (MAP), Bayes' Theorem. ⏰ **本周节奏**: 难度 ⭐⭐⭐ | 预计投入 12h 🎯 **考试关联**: 给定特定分布（如伯努利或高斯分布），手写推导其 MLE 的闭式解。 🧪 **Tutorial/Lab**: 使用 Python (NumPy) 进行基础概率分布的可视化与参数拟合。 📌 **作业关联**: 培养严格的概率推导能力。 ⚠️ **易错点**: 忘记在求导前对似然函数取对数（Log-likelihood），导致计算极其复杂。

2. 2

   线性回归与岭回归 (Linear Regression & Ridge)

   ### 📈 核心知识点：从 MLE 看线性回归 抛开几何直觉，从高斯噪声假设推导为何最小二乘法（OLS）等价于 MLE。引入 L2 正则化（Ridge Regression）并证明其等价于高斯先验的 MAP。 - **核心概念/公式**: Ordinary Least Squares (OLS), Ridge Regression, Matrix Calculus. ⏰ **本周节奏**: 难度 ⭐⭐⭐⭐ | 预计投入 15h 🎯 **考试关联**: 矩阵求导：手写推导 $\theta = (X^T X + \lambda I)^{-1} X^T y$。 🧪 **Tutorial/Lab**: 用代码从零实现矩阵求逆求解岭回归。 📌 **作业关联**: Project 1 的理论基础。 ⚠️ **易错点**: 矩阵乘法不满足交换律，在求导推导时颠倒矩阵顺序。

3. 3

   分类模型与逻辑回归 (Classification & Logistic)

   ### 🧠 核心知识点：交叉熵与优化 探讨二分类与多分类问题。引入 Sigmoid 函数与 Softmax。从 MLE 视角推导 Cross-Entropy Loss。 - **核心概念/公式**: Logistic Regression, Cross-Entropy Loss, Gradient Descent, Softmax. ⏰ **本周节奏**: 难度 ⭐⭐⭐⭐ | 预计投入 14h 🎯 **考试关联**: 逻辑回归损失函数关于权重向量 $w$ 的梯度推导公式。 🧪 **Tutorial/Lab**: 实现基于梯度下降（Gradient Descent）的逻辑回归分类器。 📌 **作业关联**: **Project 1 发布**，要求从头实现经典机器学习算法并在真实数据集上评估。 ⚠️ **易错点**: 将逻辑回归误认为是一种回归算法（它实际是分类算法）。

4. 4

   模型评估与泛化 (Model Evaluation & Generalization)

   ### ⚖️ 核心知识点：偏差-方差分解 这是统计学习的灵魂哲学。严格推导泛化误差（Generalization Error）为何等于 Bias^2 + Variance + Noise。 - **核心概念/公式**: Bias-Variance Tradeoff, Cross-Validation, Overfitting/Underfitting. ⏰ **本周节奏**: 难度 ⭐⭐⭐⭐ | 预计投入 12h 🎯 **考试关联**: 证明增加模型复杂度时，Bias 如何下降而 Variance 如何上升的数学本质。 🧪 **Tutorial/Lab**: 编写 K-Fold 交叉验证框架，绘制学习曲线（Learning Curves）。 📌 **作业关联**: Project 1 中的核心性能评估指标选择。 ⚠️ **易错点**: 在交叉验证时发生数据泄露（Data Leakage，如在划分前全局做标准化）。

5. 5

   支持向量机与对偶理论 (SVM & Duality)

   ### ⚔️ 核心知识点：最大间隔与拉格朗日对偶 硬核数学周。构建 SVM 优化目标，引入拉格朗日乘子（Lagrange Multipliers），推导强对偶条件（KKT 条件）。 - **核心概念/公式**: Support Vector Machine, Margin Maximization, Karush-Kuhn-Tucker (KKT) Conditions, Dual Problem. ⏰ **本周节奏**: 难度 ⭐⭐⭐⭐⭐ | 预计投入 18h 🎯 **考试关联**: 写出 SVM 的原始问题（Primal）并一步步转化为对偶问题（Dual）。 🧪 **Tutorial/Lab**: 使用 CVXOPT 或手写 SMO 算法求解二次规划问题。 📌 **作业关联**: 对复杂凸优化问题的深入理解。 ⚠️ **易错点**: 未能深刻理解支持向量（$lpha_i > 0$）决定了最终分类边界的稀疏性。

6. 6

   核技巧与非线性映射 (Kernel Methods)

   ### 🌌 核心知识点：升维打击 理解 Mercer 定理。学习如何利用核技巧（Kernel Trick）在不显式计算高维特征的情况下，在无限维空间计算内积。 - **核心概念/公式**: Kernel Trick, Polynomial Kernel, RBF (Gaussian) Kernel, Gram Matrix. ⏰ **本周节奏**: 难度 ⭐⭐⭐⭐⭐ | 预计投入 16h 🎯 **考试关联**: 证明给定的双变量函数是否为合法的核函数（即其对应的 Gram 矩阵半正定）。 🧪 **Tutorial/Lab**: 运用 RBF 核 SVM 解决同心圆分布的非线性分类问题。 📌 **作业关联**: **Project 1 截止**。 🔥 ⚠️ **易错点**: 误以为应用核技巧必然导致计算变慢（实际上它避免了高维映射的灾难）。

7. 7

   集成学习与树模型 (Ensemble Learning & Trees)

   ### 🌳 核心知识点：Bagging vs Boosting 从决策树（Information Gain, Gini）出发，推演随机森林（降低 Variance）与 AdaBoost/Gradient Boosting（降低 Bias）的理论差异。 - **核心概念/公式**: Decision Trees, Entropy, Random Forest, AdaBoost, Gradient Boosting. ⏰ **本周节奏**: 难度 ⭐⭐⭐⭐ | 预计投入 14h 🎯 **考试关联**: 详细推导 AdaBoost 每轮迭代中样本权重的更新公式。 🧪 **Tutorial/Lab**: 实现基于弱分类器（决策树桩 Decision Stump）的 AdaBoost。 📌 **作业关联**: 工业界打榜竞赛（Kaggle）的核心武器库。 ⚠️ **易错点**: 误以为随机森林的树越深越好（单棵树过深易过拟合，需通过整体集成化解）。

8. 8

   神经网络与反向传播 (Neural Networks & Backprop)

   ### 🕸️ 核心知识点：链式法则矩阵化 跨入深度学习。推导多层感知机（MLP）的前向传播，以及基于链式法则（Chain Rule）的矩阵化反向传播（Backpropagation）。 - **核心概念/公式**: Multi-Layer Perceptron (MLP), Activation Functions (ReLU), Backpropagation, Vanishing Gradients. ⏰ **本周节奏**: 难度 ⭐⭐⭐⭐⭐ | 预计投入 18h 🎯 **考试关联**: 手写给定两层网络架构下的精确梯度更新公式（必须以矩阵乘法形式呈现）。 🧪 **Tutorial/Lab**: 纯 NumPy 手写一个三层神经网络并进行手写数字识别。 📌 **作业关联**: **Project 2 发布**，高难度算法或神经网络模型的优化实战。 ⚠️ **易错点**: 反向传播推导中张量维度不匹配导致报错。

9. 9

   概率图模型：贝叶斯网络 (Probabilistic Graphical Models)

   ### 🔮 核心知识点：有向图与条件独立性 学习贝叶斯网络（Bayesian Networks）。掌握 D-分离（D-separation）准则以判定变量间的条件独立性。 - **核心概念/公式**: Directed Acyclic Graph (DAG), Conditional Independence, D-separation, Variable Elimination. ⏰ **本周节奏**: 难度 ⭐⭐⭐⭐ | 预计投入 15h 🎯 **考试关联**: 给出复杂图模型，判断特定节点集合在观察到证据节点后是否 d-分离。 🧪 **Tutorial/Lab**: 构建简单的专家系统（如医疗诊断贝叶斯网）并计算边缘概率。 📌 **作业关联**: 建立处理不确定性与因果推断的基础。 ⚠️ **易错点**: 在 V-结构（Collider）中错误判定独立性（在 collider 被观察到时，其父节点反而变得相关）。

10. 10

    图模型推理与隐马尔可夫模型 (HMM)

    ### 🔗 核心知识点：序列数据建模 深入序列数据模型，学习隐马尔可夫模型（HMM）。掌握前向-后向算法（Forward-Backward）与维特比算法（Viterbi）进行解码。 - **核心概念/公式**: Hidden Markov Models, Transition/Emission Probabilities, Viterbi Algorithm. ⏰ **本周节奏**: 难度 ⭐⭐⭐⭐⭐ | 预计投入 16h 🎯 **考试关联**: 手绘 Viterbi 算法的动态规划网格，找出最有可能的隐状态序列。 🧪 **Tutorial/Lab**: 利用 HMM 实现简单的词性标注（POS tagging）。 📌 **作业关联**: Project 2 中的时序数据处理优化。 ⚠️ **易错点**: 混淆平滑（Smoothing）问题与解码（Decoding - Viterbi）问题的数学目标。

11. 11

    无监督学习：聚类与 EM 算法 (Unsupervised & EM)

    ### 🧬 核心知识点：期望最大化算法 学习高斯混合模型（GMM）以及求解隐变量概率模型的通用框架：期望最大化算法（Expectation-Maximization, EM）。 - **核心概念/公式**: Gaussian Mixture Models (GMM), K-Means, EM Algorithm (E-step, M-step). ⏰ **本周节奏**: 难度 ⭐⭐⭐⭐⭐ | 预计投入 18h 🎯 **考试关联**: 证明 EM 算法在每次迭代中都会单调增加对数似然下界（ELBO）。 🧪 **Tutorial/Lab**: 从零实现 EM 算法拟合一维数据的多个高斯分布。 📌 **作业关联**: **Project 2 截止**。 🔥 ⚠️ **易错点**: 误认为 K-Means 是最优聚类（K-Means 本质上是方差相同的硬分配 GMM 特例）。

12. 12

    降维算法与期末冲刺 (PCA & Review)

    ### 📉 核心知识点：主成分分析与复习 从最大化方差或最小化重构误差角度推导 PCA，引入奇异值分解（SVD）。系统复习全学期大量统计数学公式。 - **核心概念/公式**: Principal Component Analysis (PCA), Singular Value Decomposition (SVD), Final Review. ⏰ **本周节奏**: 难度 ⭐⭐⭐⭐⭐ | 预计投入 25h+（全火力复习推导） 🎯 **考试关联**: SML 的期末考试是著名的“数学推理地狱”，要求熟练推演 SVM, EM, 反向传播与 PCA 的所有核心公式。 🧪 **Tutorial/Lab**: 历年满分试卷的数学推导拆解。 📌 **作业关联**: 无。 ⚠️ **易错点**: 考试时只背下了最终公式而无法写出完整的微积分或线性代数中间推导步骤。