关键概念：高频术语一次讲清
大模型时代涌现了大量新名词。本章按「从底层到应用」的顺序， 把最常遇到、最容易混淆的十组概念讲透，并给出它们之间的区别与选型建议。
章 01模型基本功：Token 与 Embedding
Token（词元）
模型处理文本的最小单位。它不等于字，也不等于词，而是由分词算法（如 BPE）切出的子词单元。 英文中常见词多为 1 个 token，长词会被拆成多个；中文通常 1 个汉字约 1—2 个 token，取决于词表。
- 计费与上下文长度都以 token 计，因此「字数」与「token 数」不同。
- 简单经验：中文 1 个汉字 ≈ 0.6—1.5 token；英文 1 个单词 ≈ 1.3 token。
- 模型「数不清一个单词里有几个字母」这类问题的根源，就在于它看到的是 token 而非字符。
Embedding（向量嵌入）
把文本、图像等对象映射成一个高维实数向量（如 1536 维）， 使得语义相近的对象在向量空间中距离更近。这是让计算机「计算语义」的基础。
- 用途：语义搜索、聚类、推荐、RAG 检索、相似度去重。
- 相似度度量：余弦相似度（最常用）、内积、欧氏距离。
- 注意：不同模型生成的嵌入不通用，必须与检索时使用的同一模型保持一致。
章 02上下文窗口与长文本
什么是上下文窗口
模型单次能「看到」的 token 总上限，包含系统提示 + 历史对话 + 输入文档 + 已生成内容。 超出即需截断、压缩或分段处理。
长上下文 ≠ 全记得
窗口变长不等于全部内容被同等利用。研究显示模型对开头与结尾的内容记忆更好， 中间部分容易被忽略（「Lost in the Middle」现象）。
实用建议
- 把关键指令放在开头和结尾，把参考资料放中间。
- 长文档优先用RAG 精准召回相关片段，而非全量塞入。
- 多轮对话定期摘要压缩，避免历史无限膨胀。
- 注意成本：上下文越长，单次请求费用与延迟越高（大致线性甚至超线性增长）。
| 概念 | 含义 | 区别要点 |
|---|---|---|
| 上下文窗口 Context Window | 单次输入 + 输出的总 token 上限 | 是容量概念 |
| 最大输出长度 | 单次回答能生成的最多 token | 通常远小于上下文窗口 |
| 知识截止时间 | 训练数据的截止时间 | 是时间概念，与上下文无关 |
章 03提示工程 Prompt Engineering
通过精心设计输入文本来引导模型产出更好结果的技术。它不修改模型参数，成本最低、见效最快。
六个核心技巧
明确角色与任务
「你是一位资深财务分析师，请……」比「帮我分析」效果好得多。
给出示例（Few-shot）
提供 2—5 个「输入—期望输出」样例，模型会模仿格式与风格。
指定输出格式
明确要求 JSON / Markdown 表格 / 分点列表，并给出 schema。
拆解步骤
让模型先分析、再检索、最后作答，比直接问正确率高。
约束与边界
说明字数、语气、禁止内容、不确定时该怎么做。
要求给出依据
「请标注信息来源」「不确定请说明」有助于降低幻觉。
系统提示 vs 用户提示
| 类型 | 作用 | 使用要点 |
|---|---|---|
| 系统提示 System | 设定角色、规则、全局约束 | 优先级最高，一次设定长期生效；适合放安全规则与输出规范 |
| 用户提示 User | 具体的任务与内容 | 每轮变化；应清晰、具体、信息完整 |
| 助手消息 Assistant | 模型的历史回复 / 预填示例 | 可用于引导语气与续写格式 |
章 04RAG 检索增强生成
是什么
RAG（Retrieval-Augmented Generation，检索增强生成）： 在生成答案前，先从外部知识库中检索出相关片段，把它们连同问题一起交给模型， 让模型基于给定资料作答。
为什么需要 RAG
解决的四个问题
- 知识过时：训练截止后的新信息
- 私有知识：企业内部资料从未进过训练集
- 幻觉：有依据可循，答案更可靠
- 可溯源：能给出引用来源，便于核验
对比微调
- RAG 改的是输入，微调改的是模型
- 注入知识 → 优先 RAG（便宜、可更新）
- 改变行为、格式、风格 → 优先微调
- 两者可结合使用，效果往往最好
关键工程细节
| 环节 | 要点 | 常见做法 |
|---|---|---|
| 切分 Chunking | 太大含噪声，太小丢上下文 | 按语义段落切，带重叠（overlap），保留标题层级 |
| 检索 Recall | 纯向量检索可能漏掉关键词匹配 | 混合检索：向量 + BM25 关键词，再融合排序 |
| 重排 Rerank | 提升 Top-K 质量 | 用交叉编码器重排模型对候选片段精排 |
| 查询改写 | 用户问题表述模糊 | 让模型先改写/扩展查询，或生成多个子问题 |
| 引用标注 | 提升可信度 | 要求模型标注每条结论对应的片段编号 |
章 05微调、LoRA 与知识注入
全参数微调
更新所有权重。效果上限最高，但需大量显存与数据，且有灾难性遗忘风险。
LoRA / QLoRA
冻结原权重，只训练低秩适配矩阵。性价比最高，是个人与中小团队的首选。
提示微调
只训练少量虚拟 token 的嵌入。极轻量，适合多任务快速切换。
什么时候该微调
| 场景 | 建议 |
|---|---|
| 让模型学会企业内部术语与私有事实 | 优先 RAG；若必须内化且数据稳定，再考虑微调 |
| 统一输出格式、语气、风格 | 微调效果好（配合少量高质量样本） |
| 降低延迟与成本（用小模型替代大模型） | 蒸馏 + 微调：用大模型产出数据训练小模型 |
| 提升特定任务的准确率 | 先用提示工程与 RAG 试；仍不足再微调 |
| 需要频繁更新知识 | 不要微调，微调难以增量更新且成本高 |
章 06幻觉与可信度
什么是幻觉
幻觉（Hallucination）指模型生成看似合理但与事实不符的内容， 包括编造事实、伪造引用、张冠李戴、错误计算等。它是当前大模型最突出的可靠性问题。
为什么会幻觉
① 目标是「像」
训练目标是预测最可能的下一个词，而非「说真话」。流畅 ≠ 正确。
② 知识有缺口
训练数据缺失或记忆模糊时，模型倾向于「补全」而非承认不知道。
③ 缺乏验证机制
模型生成时不主动核查事实，也没有外部真值来源。
④ 采样随机性
温度越高越有创造性，也越容易偏离事实。
缓解手段
| 手段 | 做法 | 效果 |
|---|---|---|
| RAG | 提供权威资料并约束「只依据资料回答」 | 最有效的通用方案 |
| 降低温度 | 把采样温度调低（如 0—0.3） | 减少随机性，适合事实型任务 |
| 要求引用 | 强制标注来源，无法引用则说明不确定 | 显著提升可核验性 |
| 自我验证 | 让模型复查、交叉提问、用工具核实 | 有效但增加成本 |
| 工具验证 | 用计算器、代码执行、搜索引擎校验 | 对数值与时效性事实最可靠 |
| 人工审核 | 关键场景由人把关 | 高风险领域不可省略 |
章 07思维链与推理时扩展
思维链 CoT
提示模型展示中间推理步骤再给结论。 研究发现即使只加一句「让我们一步步思考」，数学题正确率也能明显提升。
- Zero-shot CoT：无需示例，直接要求分步
- Few-shot CoT：给出带推理过程的示例
- 自我一致性：多次采样投票取最一致答案
推理时扩展 Test-time Compute
在推理阶段投入更多计算（更长思考、更多采样、搜索与验证）来换取更高正确率。 这开辟了继「扩大训练规模」之后新的性能提升维度。
- 本质：用「时间」和「算力」换「准确率」
- 表现：模型会进行自我质疑、回溯、换方法重试
- 代价：延迟与成本上升
章 08MoE、蒸馏与量化
每层包含多个「专家」子网络，由一个路由器为每个 token 选择少数几个专家计算。 总参数量大、单次激活参数少，在保持知识容量的同时控制计算成本。
用大模型（教师）的输出或中间表示训练小模型（学生），把能力压缩到更小的体积，便于部署与降本。
降低数值精度（FP16 → INT8 / INT4）以减小显存与带宽占用。 训练后量化（PTQ）简单快速，量化感知训练（QAT）精度更好。
看模型规模时要区分：总参数量（知识容量）与单次推理激活的参数量（实际计算成本）。 MoE 模型两者差距很大，例如总参数数百亿、激活仅数十亿。
专门存储和检索高维向量的数据库，支持近似最近邻（ANN）搜索，是 RAG 的基础设施。 常见索引：HNSW、IVF-PQ。
章 09多模态与世界模型
多模态 Multimodal
模型能同时理解与生成多种模态：文本、图像、音频、视频、代码、表格等。
- 输入多模态：看图说话、读图表、分析视频
- 输出多模态：文生图、文生视频、语音合成
- 原生多模态：训练即融合，而非后期拼接
- 挑战：跨模态对齐、时序一致性、幻觉同样存在
世界模型 World Model
让 AI 建立对环境的内部模拟：理解物理规律、因果关系， 能在「脑中」预测行动后果再决定怎么做。
- 被视为通向可靠规划与具身智能的关键
- 当前大模型主要从文本学习，缺乏真实的物理经验
- 研究方向：视频预测模型、交互式环境学习、因果表征
具身智能 Embodied AI
让智能拥有身体——机器人、自动驾驶、虚拟环境中的操作体。 核心难题在于：真实世界不可重置、反馈稀疏、错误代价高。 大模型的语义理解能力与机器人控制的结合，是这一方向被普遍看好的路径。
章 10AGI 与能力边界
窄人工智能
单一领域超越人类。已实现：下棋、识别、翻译、推荐。
通用人工智能
跨领域学习与迁移，可胜任任意智力任务。未实现，且对定义与时间表的分歧极大。
超级人工智能
全面超越人类的认知能力。设想阶段，属长期风险研究范畴。
当前模型「能」与「不能」
| ✅ 相对擅长的 | ⚠️ 仍然薄弱的 |
|---|---|
|
|