核心技术：支撑 AI 的技术栈

本章梳理构成现代人工智能的十类关键技术：从最早的感知机到今天统治一切的 Transformer，从让模型「看懂」的 CNN 到让它「生成」的扩散模型，以及让大模型变得可用、便宜、可控的一系列工程技术。

章 01神经网络家族图谱

架构	提出时间	擅长领域	核心思想
感知机 / MLP	1958 / 1980s	表格数据、通用拟合	全连接层的堆叠，最基础的前馈网络
CNN 卷积神经网络	1989—1998（LeNet）	图像、视频、空间信号	局部感受野 + 权值共享 + 平移不变性
RNN / LSTM / GRU	1980s—1997	语音、时序、早期 NLP	循环连接保留历史信息，门控缓解遗忘
GAN 生成对抗网络	2014	图像生成、风格迁移	生成器与判别器相互博弈
Transformer	2017	语言、多模态、一切序列	自注意力机制，完全并行、可建模长程依赖
扩散模型 Diffusion	2015 / 2020 实用化	图像、音频、视频生成	先加噪再去噪，逐步从噪声中「雕刻」出样本
GNN 图神经网络	2010s	分子、社交网络、推荐	在图结构上传播与聚合信息
状态空间模型 Mamba 等	2023—	超长序列建模	线性复杂度替代注意力，追求更高效的长上下文

1958 感知机 → 1998 LeNet → 2012 AlexNet → 2017 Transformer → 2020 扩散模型

图 10　神经网络架构的演进主线：从专用结构走向统一架构

章 02CNN：让机器看懂图像

三个核心设计

局部连接

Local Receptive Field

每个神经元只看输入的一小块区域（如 3×3），而非全图。这符合视觉原理：识别边缘只需邻近像素。

权值共享

Weight Sharing

同一个卷积核在整张图上滑动检测同一特征。大幅减少参数量，并赋予平移不变性（猫在左边还是右边都能认出）。

池化

Pooling

下采样压缩尺寸、保留主要信息，增强对位置微扰的鲁棒性并降低计算量。

经典网络演进

1998

LeNet-5

杨立昆用于手写数字识别，奠定 CNN 基本结构：卷积—池化—全连接。

2012

AlexNet

更深的网络 + ReLU + Dropout + GPU 训练，ImageNet 错误率大幅下降，引爆深度学习革命。

2014—2015

VGG / GoogLeNet / ResNet

VGG 追求规整的小卷积堆叠；GoogLeNet 引入 Inception 多尺度；ResNet 的残差连接解决了极深网络难以训练的问题，使上百层乃至上千层成为可能。

2016—

高效与注意力增强

MobileNet（移动端轻量化）、EfficientNet（复合缩放）、SENet/CBAM（通道与空间注意力）、ConvNeXt（用 Transformer 思想改造 CNN）。

典型视觉任务

图像分类：这张图属于哪一类（整图一个标签）。
目标检测：图中有哪些物体、在哪（边框 + 类别）。代表：YOLO、Faster R-CNN。
语义/实例分割：精确到像素级，区分每个实例。代表：U-Net、Mask R-CNN、SAM。
OCR 文字识别：从图像中提取文字，广泛用于票据、证件、文档数字化。

章 03RNN / LSTM：处理序列

文本、语音、时间序列的共同特点是前后相关。RNN 通过把上一步的隐藏状态传给下一步来「记住历史」。

问题：长期依赖难以学习

梯度在时间步上反复相乘，会导致梯度消失或爆炸，使 RNN 难以记住几十步之前的信息。这限制了它处理长文本的能力。

解法：门控机制

LSTM 引入遗忘门、输入门、输出门，像「阀门」一样控制信息保留与丢弃； GRU 是其简化版。二者在 2014—2017 年间是 NLP 与语音的主流架构。

为什么被取代 · RNN 的两个硬伤： ① 无法并行——必须按时间步顺序计算，训练极慢； ② 长程记忆仍有限。 Transformer 用注意力机制一次性看到全部位置，同时解决了这两个问题。不过，RNN 的「线性复杂度」优势在超长序列场景重获关注（Mamba、RWKV 等新架构）。

章 04Transformer 与注意力机制

2017 年的论文《Attention Is All You Need》提出了此后统治整个领域的架构。它的核心是自注意力（Self-Attention）。

注意力机制的直觉

读这句话时：「那只猫追着老鼠，因为它很饿」——理解「它」指谁，需要把注意力分配到前面的某些词上。注意力机制就是让模型自动学习「该看哪里」。

QKV 三段式

输入序列的每个词

▼ 分别线性变换为三个向量

Q 查询 Query
我在找什么

K 键 Key
我能提供什么

V 值 Value
我的实际内容

▼ 用 Q·K 算相关度 → Softmax 归一 → 加权求和 V

输出：融合了全局上下文的表示

图 11　缩放点积注意力（Scaled Dot-Product Attention）

Attention(Q, K, V) = softmax( Q·Kᵀ / √d_k ) · V
# 除以 √d_k 是为了防止点积过大导致 softmax 梯度消失

多头注意力与整体结构

多头注意力 Multi-Head

并行运行多组注意力，每组关注不同类型的关系（语法、指代、语义、位置等），再拼接融合。相当于同时从多个视角理解句子。

编码器—解码器 / 仅解码器

原始 Transformer 有 Encoder + Decoder（适合翻译）； GPT 类只用 Decoder 并做因果语言建模（只能看左侧），因此天然适合生成； BERT 类只用 Encoder 并做掩码预测，适合理解类任务。

Transformer 为何如此成功

① 完全并行

不再按时间步串行，训练可充分利用 GPU，规模得以指数级扩大。

② 长程依赖

任意两词之间距离为 1，直接建模全局关系。

③ 可扩展

堆叠层数与宽度即可稳定提升性能，规模定律得以成立。

④ 通用性

同一架构可用于文本、图像（ViT）、音频、蛋白质、图等多模态数据。

代价 · 注意力的计算量与显存占用随序列长度呈 O(n²) 增长，长上下文成本高昂。为此业界发展了 FlashAttention（IO 优化）、稀疏与线性注意力、滑动窗口、KV Cache 压缩、状态空间模型等多种改进方案。

章 05生成模型：GAN 与扩散模型

2014

GAN 生成对抗网络

两个网络对抗训练：生成器努力造假，判别器努力辨真假，二者博弈直到假货难以分辨。优点是生成速度快、样本锐利；缺点是训练不稳定、易模式崩塌（Mode Collapse）。

应用：人脸生成、风格迁移、超分辨率、数据增强
变体：DCGAN、StyleGAN、CycleGAN（无配对图像翻译）

2020—

扩散模型 Diffusion

训练分两步：先对图像逐步加噪声直到变成纯噪声，再训练网络学会逐步去噪。生成时从随机噪声出发，迭代去噪还原出图像。优点是训练稳定、多样性好、质量高；缺点是需多步迭代，生成较慢（已有加速方法大幅改善）。

应用：文生图、文生视频、图像编辑、音频生成
关键改进：Latent Diffusion（在压缩潜空间做扩散以提速）、Classifier-Free Guidance（控制生成强度）

自回归生成（另一条路）

大模型生成文本采用自回归方式：一次生成一个 token，把已生成的内容作为上下文继续生成下一个。这与扩散模型的「整体去噪」思路不同，但也可统一在「逐步细化」的框架下理解。近年也有研究把扩散思想引入文本生成，以换取并行加速。

章 06预训练、微调与对齐

1. 预训练（Pre-training）

在海量无标注文本上做自监督学习——最常见的是因果语言建模：给定前文，预测下一个 token。这个任务迫使模型内化语法、语义、世界知识乃至部分推理模式。

输入：  "人工智能的英文缩写是"
目标：  模型应预测 "AI"   ← 无需人工标注，文本自身即标签

2. 微调（Fine-tuning）

方式	做法	适用场景与成本
全参数微调	更新全部参数	效果最好，但显存与算力需求极高，且存在灾难性遗忘风险
LoRA / QLoRA	只训练低秩适配小模块	主流方案：成本降低一到两个数量级，可与原权重合并部署
P-Tuning / Prefix	只训练少量提示向量	极轻量，适合多任务快速切换
指令微调 SFT	用「指令—回答」对训练	让模型学会遵循指令与输出格式，是产品化的必要一步

3. 对齐（Alignment）：让模型「听话且安全」

STEP 1收集偏好数据对同一问题生成多个回答，由人类排序哪个更好

→

STEP 2训练奖励模型用排序数据训练一个「打分器」，学会预测人类偏好

→

STEP 3强化学习优化用 PPO 等算法让模型生成更高分回答（RLHF）

RLHF（人类反馈强化学习）是 ChatGPT 体验跃升的关键。后续发展出更简洁的替代方案，如 DPO（直接偏好优化）——跳过奖励模型，直接用偏好数据优化策略，工程复杂度大幅降低。此外还有 RLAIF（AI 反馈）与宪法式 AI，用规则与模型自评替代部分人工标注。

对齐的三个目标（HHH） · Helpful 有用 · Honest 诚实 · Harmless 无害。三者之间存在张力：过度强调无害会使模型拒绝过多（过度拒答），过度强调有用则可能放松安全边界。平衡这三者是对齐研究的核心难题。

章 07效率技术：让大模型用得起

压缩

知识蒸馏 Distillation

让小模型（学生）去模仿大模型（教师）的输出分布，用远少的参数获得接近的能力。适合把通用能力下沉到专用、轻量场景。

量化

Quantization

把权重从 FP16/BF16 降到 INT8、INT4 甚至更低精度，显存与带宽需求成倍下降。关键是控制精度损失（如 GPTQ、AWQ、SmoothQuant 等方法）。

稀疏

MoE 混合专家

每层放置多个「专家」子网络，每次只激活其中少数几个。 总参数量巨大但单次计算量可控，实现「大模型的知识 + 小模型的成本」。

剪枝

Pruning & Sparsity

移除冗余连接或神经元，减小模型体积。分为结构化（利于硬件加速）与非结构化剪枝。

推理加速

KV Cache / 投机解码

缓存已计算的键值避免重复计算；用小模型快速起草、大模型并行验证，显著提升吞吐。

服务

批处理与调度

连续批处理（Continuous Batching）、分页注意力（PagedAttention）等技术提升 GPU 利用率，降低单位请求成本。

趋势 · 推理成本近年来呈数量级下降。这一趋势的战略意义在于：能力一旦便宜到可负担，应用场景就会爆发式扩展—— 这与历史上电力、云计算的普及路径一致。

章 08自然语言处理技术

从词袋到词向量再到上下文表示

2000s

词袋与 N-gram

把文本视为词频向量或 n 元组统计。简单但无法表达语义相似性。

2013

Word2Vec / GloVe

静态词向量：每个词一个固定向量，「国王 − 男人 + 女人 ≈ 王后」。语义开始可计算。

2018

ELMo / BERT

上下文相关表示：同一个词在不同句子中向量不同，解决一词多义问题。

2018—

预训练大模型

GPT 系列把语言建模做成通用任务接口，NLP 从「一个任务一个模型」走向「一个模型做所有任务」。

核心 NLP 任务

理解类

分词与词性标注
命名实体识别 NER
情感分析
关系与事件抽取
文本分类与聚类

生成类

机器翻译
文本摘要
对话系统
创意写作
代码生成

检索与问答

信息检索与排序
开放域问答
检索增强生成 RAG
知识图谱问答

分词（Tokenization）

模型不直接处理字符，而是把文本切成 token（子词单元）。常用算法是 BPE（字节对编码）：把高频字符组合并成更大的单元。中文通常一个字或一个常见词对应一到数个 token。 token 数量直接决定上下文占用与计费成本，这也是提示工程需要考虑的现实约束。

章 09计算机视觉技术

传统方法（深度学习之前）

边缘检测：Sobel、Canny
特征描述：SIFT、SURF、HOG
经典流程：特征提取 → 描述 → 匹配 → 分类
局限：特征需人工设计，鲁棒性差

深度学习方法

CNN 自动学习层级特征
ViT 把图像切成 patch 序列送进 Transformer
自监督预训练（对比学习、掩码建模）
多模态模型（CLIP）打通图文语义

视觉大模型的新范式

CLIP 用图文对比学习把图像与文本映射到同一语义空间，实现了零样本分类 （用自然语言描述新类别即可识别）。这一思路成为当今多模态大模型的基础组件。随后出现的 SAM（Segment Anything） 把交互式分割做成通用基础能力，展示了「视觉基础模型 + 提示」这一与 NLP 对称的范式。

章 10语音、推荐与多模态

语音

Speech

ASR 识别：语音转文字（Whisper 等端到端模型已成主流）
TTS 合成：文字转语音，音质与情感表达大幅提升
声纹与语音克隆：带来便利也带来诈骗风险
实时对话：端到端语音模型实现低延迟自然交互

RecSys

协同过滤 → 矩阵分解 → 深度推荐（Wide&Deep、DIN）
召回—粗排—精排—重排的经典漏斗架构
大模型正被用于冷启动、语义理解与生成式推荐

多模态

Multimodal

统一表示：把图文音视频映射到同一语义空间
原生多模态模型：训练伊始即混合多模态数据
跨模态生成：文生图、图生文、文生视频、语音对话
挑战：模态对齐、幻觉、时序一致性

技术选型速查表

你要解决的问题	优先考虑的方案	说明
通用文本处理 / 对话	直接调用大模型 API	成本最低、见效最快；必要时再微调
需要私有知识 / 时效性	RAG 检索增强	比微调更便宜、更易更新、可溯源
固定格式 / 风格 / 领域术语	LoRA 微调	改变模型行为模式时用微调，注入知识优先用 RAG
结构化数据的分类预测	梯度提升树（XGBoost / LightGBM）	中小规模表格数据上往往优于深度学习
图像识别 / 检测	预训练视觉模型微调	无需从零训练，少量标注即可
多步骤自动化任务	AI Agent + 工具调用	把语言能力转化为任务执行能力