基础原理：人工智能是怎样工作的
剥去所有术语，今天的人工智能本质上是同一件事： 用一个可调节的巨大函数去拟合数据中的规律，再用这个函数去预测或生成新结果。 本章把这个过程中的每个环节拆开讲清楚。
章 01AI 如何「学习」
传统编程 vs 机器学习
传统编程（规则驱动）
输入：数据 + 人工编写的规则 → 输出：答案。
人要先把知识写成明确的逻辑：if 叶子发黄 then 缺水。 问题是：现实世界的规则无穷无尽，且难以说清（比如「如何判断一张照片里是猫」）。
机器学习（数据驱动）
输入：数据 + 答案（标签） → 输出：规则（模型参数）。
人不写规则，而是让算法从大量样本中自己归纳出规律。 困难从「写规则」转移到了「找数据」。
x、输出为 y，
学习就是从数据中找出 y ≈ f(x) 里的 f。
深度学习则用一个参数量极大的多层神经网络来表示这个 f。
三个必要要素
Data
原料。数据量、质量与多样性直接决定模型上限。「垃圾进，垃圾出」是铁律。
Model
假设空间。即「我们允许机器在什么样的函数集合里寻找答案」。
Compute
搜索这个假设空间所需的计算资源。大模型时代，算力往往是决定性约束。
章 02三大学习范式
| 范式 | 学习信号 | 典型任务 | 代表性应用 |
|---|---|---|---|
| 监督学习 Supervised |
每个样本都带有标准答案（标签），模型学习「输入 → 标签」的映射 | 分类（是猫还是狗）、回归（房价多少）、序列标注 | 图像识别、垃圾邮件过滤、疾病预测、机器翻译 |
| 无监督学习 Unsupervised |
没有答案，模型自行发现数据中的结构、分布与簇 | 聚类、降维、密度估计、表示学习 | 用户分群、异常检测、词向量预训练、数据压缩 |
| 强化学习 RL |
没有标准答案，只有延迟的奖励信号；智能体试错并最大化长期回报 | 序贯决策、策略学习、博弈 | AlphaGo、机器人控制、RLHF 大模型对齐、推荐策略 |
| 自监督学习 Self-supervised |
从数据自身构造监督信号（如遮住一部分让模型预测） | 语言建模、对比学习 | 所有大模型的预训练方式：预测下一个词 |
半监督、迁移学习与微调
- 半监督学习：少量标注 + 大量未标注数据混合使用，降低标注成本。
- 迁移学习：把在任务 A 上学到的知识用于任务 B。预训练大模型 + 下游微调就是最典型的迁移学习。
- 持续学习 / 终身学习：让模型不断学习新知识而不遗忘旧知识——仍是开放难题（灾难性遗忘）。
章 03机器学习的完整流程
数据集的三种划分
| 集合 | 作用 | 常见比例与要点 |
|---|---|---|
| 训练集 Training | 用于更新模型参数 | 通常占 60%—80%。模型只能在这部分数据上「学习」。 |
| 验证集 Validation | 用于调超参与早停 | 约 10%—20%。相当于「模拟考」，用来选择模型版本。 |
| 测试集 Test | 用于最终评估泛化能力 | 必须严格隔离，一次性的「高考」。泄漏测试集等于作弊。 |
章 04神经网络是如何工作的
1. 一个神经元
人工神经元做的事非常简单，可概括为三步：
其中 w（权重）与 b（偏置）就是模型需要学习的「参数」。 一个大模型拥有数千亿个这样的参数——知识就以这些数字的型式存储在模型中。
2. 为什么要「多层」
单层网络只能表达线性关系，无法解决 XOR 这类简单却非线性的问题。 加入非线性激活函数并堆叠多层后，网络理论上可以逼近任意连续函数（万能逼近定理）， 并且能自动学习出由简单到复杂的层级特征：
边缘、纹理
形状、部件
物体、语义
抽象概念
3. 前向传播与反向传播
前向传播 Forward
输入数据从第一层依次计算到最后一层，得到预测结果。这就是模型「思考」的过程。
反向传播 Backprop
用链式法则从输出层往回计算每个参数对误差的「责任」（梯度）， 再沿梯度反方向微调参数。这就是模型「学习」的过程。
# 训练一个神经网络的极简伪代码
for 每个批次 batch in 数据集:
y_pred = model.forward(x) # 前向：算出预测
loss = criterion(y_pred, y) # 比较：与真实答案计算差距
loss.backward() # 反向：计算每个参数的梯度
optimizer.step() # 更新：沿梯度反方向调整参数
optimizer.zero_grad() # 清零：准备下一轮章 05训练与推理：两个阶段
| 阶段 | 在做什么 | 成本与特点 |
|---|---|---|
| 训练 Training | 在海量数据上反复调整参数，使模型学会规律 | 一次性投入巨大：需要成千上万张加速卡运行数周至数月，耗电与费用极高。 |
| 推理 Inference | 用训练好的模型处理新输入，产出结果 | 每次请求都要发生，成本随用户量线性累积；关注延迟、吞吐与单次成本。 |
大模型的三个阶段
此外还有推理时扩展（让模型在回答前「多想一会儿」，如长思维链、多次采样投票）—— 这是近年提升复杂任务表现的重要新维度，详见 思维链。
章 06损失函数与优化器
损失函数 Loss Function
衡量「模型预测与真实答案差多少」的标尺。训练的目标就是最小化损失。
- 回归常用 均方误差 MSE
- 分类常用 交叉熵 Cross-Entropy
- 语言模型本质是下一词预测的交叉熵
优化器 Optimizer
决定「如何根据梯度更新参数」的算法。
- SGD：最基础，沿负梯度方向更新
- SGD + Momentum：带惯性，减少震荡
- Adam / AdamW：自适应学习率，大模型训练的事实标准
关键超参数
| 超参数 | 含义 | 调节经验 |
|---|---|---|
| 学习率 LR | 每次更新迈多大的步子 | 过大导致发散不收敛，过小导致训练极慢。常配合预热 + 余弦衰减调度。 |
| 批大小 Batch Size | 每次用多少样本估一次梯度 | 大批量稳定且并行效率高，但需更大学习率；小批量噪声大但泛化有时更好。 |
| 训练轮数 Epochs | 把数据集完整过几遍 | 过多会过拟合，需配合早停（Early Stopping）。 |
| 模型规模 | 层数、宽度、参数量 | 在算力允许范围内，规模通常带来性能提升（规模定律）。 |
章 07泛化、过拟合与正则化
机器学习的终极目标不是记住训练数据，而是在没见过的数据上表现好——这就是泛化（Generalization）。
Underfitting
模型太简单，连训练集都学不好。表现：训练误差和测试误差都很高。对策：增大模型、加特征、训练更久。
Overfitting
模型把训练集的噪声也背下来了。表现：训练误差很低，测试误差很高。对策：见下方正则化方法。
Good Fit
训练误差与测试误差都低且接近。这是训练追求的理想状态。
常用正则化手段
- 更多数据 / 数据增强：最有效。对图像做旋转裁剪、对文本做改写回译等。
- Dropout：训练时随机丢弃一部分神经元，迫使网络不依赖特定路径。
- 权重衰减（L2 正则）：惩罚过大的参数值，让模型更平滑。
- 早停 Early Stopping：验证集误差不再下降就停止训练。
- 批归一化 / 层归一化：稳定训练过程，间接提升泛化。
- 简化模型：减少参数或层数，降低容量。
章 08如何评价一个 AI 系统
分类任务的四个基本量
| 预测为「正」 | 预测为「负」 | |
|---|---|---|
| 实际为「正」 | TP 真阳性（判对） | FN 假阴性（漏掉） |
| 实际为「负」 | FP 假阳性（误报） | TN 真阴性（判对） |
- 准确率 Accuracy = (TP+TN) / 全部。样本不平衡时易误导（如 99% 正常样本的欺诈检测，全判「正常」也有 99% 准确率）。
- 精确率 Precision = TP / (TP+FP)：判为正的里面有多少是真的。关注误报成本时用。
- 召回率 Recall = TP / (TP+FN)：真的正例里找出多少。关注漏检成本时用（如疾病筛查）。
- F1 分数：精确率与召回率的调和平均，综合衡量。
大模型的评测
标准基准 Benchmark
- MMLU：多学科知识与理解
- GSM8K / MATH：数学应用题与竞赛题
- HumanEval / MBPP：代码生成能力
- ARC / HellaSwag：常识推理与句子续写
评测的三个坑
- 数据污染：测试题已进入训练数据，分数虚高
- 刷榜过拟合：针对榜单优化而非真实能力提升
- 静态失真：固定题库无法反映真实场景的多样性与长尾
章 09当前技术的固有局限
① 幻觉 Hallucination
模型会生成看似合理但虚假的内容。根源在于它优化的是「可能性」而非「真实性」。详见 关键概念。
② 缺乏真实世界模型
模型通过文本学习世界，缺少物理直觉与因果理解，导致规划与常识判断不稳。
③ 知识静态与时效
训练截止之后发生的事件模型并不知晓，需要检索增强或持续更新来弥补。
④ 可解释性弱
千亿参数的决策过程难以追溯，在医疗、司法等高风险场景中构成信任与合规障碍。
⑤ 鲁棒性与对抗样本
输入微小扰动（人眼不可见的噪声、同义改写）可能导致输出剧变。
⑥ 成本与能耗
训练与大规模推理的算力与电力消耗巨大，可持续性是长期约束。
章 10自学路径与知识结构
四层知识结构
最少必需数学
| 领域 | 必须掌握的内容 | 为什么需要 |
|---|---|---|
| 线性代数 | 向量、矩阵运算、特征值、张量概念 | 数据与参数都以矩阵形式存在，神经网络就是矩阵运算链 |
| 微积分 | 导数、偏导、链式法则、梯度 | 反向传播的数学基础 |
| 概率统计 | 分布、期望、贝叶斯、最大似然 | 建模不确定性，理解损失函数与采样生成 |
| 最优化 | 梯度下降、凸优化直觉、约束优化 | 训练本质上就是求解一个大规模优化问题 |
| 信息论 | 熵、交叉熵、KL 散度 | 理解语言模型目标函数与生成质量 |
三条常见学习路线
先把 AI 用起来
学习 Prompt 设计 → 掌握 RAG 与工具调用 → 做小项目 → 遇到瓶颈再回头补原理。适合产品、运营、业务人员。
能搭出可用的系统
Python + 数据结构 → 经典机器学习 → PyTorch 实战 → 微调与部署 → Agent 系统开发。适合开发者。
理解与创新
数学基础 → 经典论文精读 → 复现实验 → 前沿追踪 → 提出改进。适合学生与研究者。