用 Rust 从头实现机器学习算法·终篇：集成学习——随机森林把决策树的方差熨平
系列收官：Bagging + 随机特征子空间 + 多数投票，单树与森林的对照实验、深度鲁棒性，与置换重要性的噪声特征检验。
数物共鸣 Path of Synapse
数据分析与机器学习的工程笔记，正在连载「用 Rust 从头实现机器学习算法」系列。
2026 17 篇
用 Rust 从头实现机器学习算法·聚类②：DBSCAN 与谱聚类——月牙形数据的两位奇兵
密度连通与图切分两条路：DBSCAN 的 ε 扫描、谱聚类的 kNN 图 + 幂迭代特征嵌入，k 均值在月牙上的失败对照。
用 Rust 从头实现机器学习算法·聚类①：k 均值、高斯混合模型与 EM
硬分配 vs 软分配：Lloyd 两步迭代、EM 的责任度加权、对数似然单调性证据，与 BIC 选成分数。
用 Rust 从头实现机器学习算法·降维：主成分分析——沿着方差最大的方向压扁数据
协方差矩阵、2×2 闭式特征分解、方差贡献率、重建损失恰等于被丢弃的特征值。
用 Rust 从头实现机器学习算法·分类⑤：支持向量机——间隔最大化与核技巧
简化 SMO 求解软间隔 SVM：支持向量、间隔可视化、C 的正则化角色，与 RBF 核在同心圆上的非线性决策边界。
用 Rust 从头实现机器学习算法·分类④：决策树——用熵的尺子递归切分世界
Gini 不纯度、贪心最优切分、递归 enum 树结构、整树打印，与深度扫描里的过拟合现场。
用 Rust 从头实现机器学习算法·分类③：朴素贝叶斯——条件独立假设下的极速分类器
词袋文本分类实战：多项式 NB 的计数训练、拉普拉斯平滑、泄密词对数似然比，与逐篇增量学习曲线。
用 Rust 从头实现机器学习算法·分类②：k 近邻——最懒的分类器
不训练、不假设、纯投票：同心圆数据上的 k 扫描偏差-方差曲线，与 k=1/k=15 决策区域对比图。
用 Rust 从头实现机器学习算法·分类①：逻辑回归与交叉熵
sigmoid 把线性输出变成概率：交叉熵的极大似然出身、与线性回归同构的梯度、决策边界与概率走廊可视化。
用 Rust 从头实现机器学习算法·回归⑥：高斯过程回归——核函数与函数的贝叶斯
不对参数建模、直接对函数建模：RBF 核、Cholesky 分解、对数边缘似然网格搜索，与自适应的预测置信带。
用 Rust 从头实现机器学习算法·回归⑤：贝叶斯回归——让模型说出"我有多确定"
把参数当作随机变量：共轭高斯后验的解析推导、序贯学习收缩、预测不确定度带，以及 MAP 与岭回归的精确等价。
用 Rust 从头实现机器学习算法·回归④：正则化三兄弟——岭、套索与弹性网络
同一个过拟合问题，三种惩罚方案：岭回归闭式解与 λ 扫描、套索的软阈值稀疏路径、弹性网络折中。
用 Rust 从头实现机器学习算法·回归③：多项式回归与过拟合
升维拟合曲线的完整闭环：阶数对比实验、训练/验证 U 形曲线，与过拟合的第一次正面遭遇。
用 Rust 从头实现机器学习算法·回归②：多元回归、特征缩放与正则化
把回归从一元推广到多元：梯度矩阵化、学习率调校、特征标准化与 L2 正则化的机制与三个对照实验。
用 Rust 从头实现机器学习算法·回归①：OLS 与梯度下降
从最小二乘损失推导梯度，用 Rust 实现一元线性回归的梯度下降训练，并生成拟合直线与 loss 收敛曲线两张 SVG。
用 Rust 从头实现机器学习算法·基础篇（下）：线性代数运算
向量点积、矩阵乘法、转置与单位矩阵：从数学定义到 Rust 单文件实现，再用一张图看懂"矩阵乘法 = 对空间的线性变换"。
用 Rust 从头实现机器学习算法·基础篇（上）：开发环境与 Matrix
系列开篇：为什么用 Rust 学机器学习，搭建环境、手写 Matrix 数据结构，并用它造数据画出第一张散点图。