LLM 基础

校招考察频度：★ 高频（核心必背·高频生死线） 复习主线：LLM 是智能体系统的“推理计算核心”。校招面试核心聚焦点：Transformer 架构本质（Self-Attention 缩放点积公式与多头机制）、注意力优化与显存瓶颈（KV Cache 原理与推理阶段显存消耗推导、MHA vs MQA vs GQA）、Tokenization 机制与 BPE 算法、大模型幻觉四大成因与工程缓解策略、上下文窗口机制与基准评估。

LLM（大语言模型）是 Agent 时代的智能引擎。理解其底层原理与能力边界是开发稳定智能体的基石。

分类考频地图

专题	核心页面	校招考频星级	重点考查要点
Transformer 架构	Transformer 核心架构	★ 高频	自注意力（Q/K/V 矩阵运算与除以根号 dk 的数学原因）、Multi-Head Attention、残差连接与 LayerNorm（Pre-LN vs Post-LN）、FFN
注意力优化与显存	注意力优化机制	★ 高频	自回归生成为什么需要 KV Cache、Prefill 与 Decode 阶段显存计算、MHA vs MQA vs GQA（分组查询注意力）显存与质量权衡、FlashAttention
分词与编码	Tokenization 原理与机制	★ 高频	BPE（Byte Pair Encoding）算法流程、WordPiece、中英文 Token 膨胀比与成本核算、特殊 Token（BOS/EOS/PAD）
上下文机制	上下文窗口与机制	★ 高频	有效上下文 vs 名义上下文、“迷失在中间”（Lost in the Middle）现象成因与长文本注意力衰减、RoPE 旋转位置编码
大模型幻觉治理	幻觉成因与缓解	★ 高频	幻觉分类（事实性幻觉 vs 忠实性幻觉）、训练数据/解码策略成因、工程缓解：RAG 检索增强、Few-shot、Self-Reflect 反思验证
训练与微调	预训练与微调	☆ 中频	预训练（Next-Token Prediction）→ SFT 监督微调 → RLHF/DPO 对齐、LoRA 低秩自适应微调原理（低秩分解矩阵 A*B）
模型评估基准	模型评估与基准	☆ 中频	MMLU / GSM8K / HumanEval 权威基准、LLM-as-a-Judge 自动化打分与位置偏差（Position Bias）修正
量化与推理加速	模型量化与推理加速	低频	显存带宽瓶颈（Memory-Bound）、权重量化（INT8/INT4/AWQ/GPTQ）、推测采样无损加速、连续批处理与 PagedAttention

是什么

LLM = 大规模 Transformer 语言模型：在海量文本上训练，学习”下一个词”的预测
核心能力：续写、理解、推理（涌现）、指令跟随、工具调用
规模效应：参数量（亿到万亿级）+ 数据量 + 算力 → 能力跃迁

输入: 用户指令 + 上下文
输出: 逐 token 生成（自回归）

能力来源

阶段	给模型什么	得到什么
预训练	海量文本	语言知识、世界知识
SFT	指令-回答对	指令跟随
RLHF/DPO	人类偏好	对齐、有用性

能力 = 知识（预训练）+ 行为（对齐）。面试话术：模型先学“会说话”，再学“听指令”，再学“说人话”（见预训练与微调篇）。

演进脉络

节点	意义
Transformer（2017）	架构革命，注意力机制
GPT 系列（2018-）	规模法则：越大越强
ChatGPT（2022）	RLHF 对齐，产品化拐点
开源模型（Llama/Qwen）	本地部署、微调成为可能
多模态/长上下文	能力扩展

与传统 NLP 的区别

维度	传统 NLP	LLM
范式	任务专用模型	通用模型 + 提示
新任务	重新训练	改提示词
知识	任务内	世界知识
部署	小模型快	大模型贵（推理成本）

面试定位

Agent 面试的”引擎知识”：理解能力边界（幻觉、上下文）比背模型参数重要
常考：Transformer 架构、注意力、tokenization、幻觉、评估（本分类各篇）
工程视角：怎么调用、怎么降低成本（见 LLM 应用工程分类）

面试追问

LLM 的能力从哪来？ 预训练学知识 + 对齐学行为。规模（参数/数据/算力）是基础
和传统 NLP 的区别？ 通用性：新任务改提示词而非重新训练。知识来自预训练
涌现是什么？ 规模超过阈值后出现的能力跃迁（推理、少样本学习）。机制未完全解释
为什么自回归？ 逐 token 生成，训练目标简单（下一个词预测），效果最好
LLM 的局限？ 幻觉、上下文有限、知识截止、推理成本高。工程上要认知边界（见幻觉篇）