全部笔记›模型与原理
模型与原理
共 6 篇，按时间倒序。
2026 / 10 / 17模型与原理 · 基础概念
token、上下文窗口，以及模型为什么会"忘掉中间"
上下文窗口不是"能记住多少字"，而是单次请求的 token 总量上限。关键信息放在长文档中间，效果会明显变差。
2026 / 10 / 16模型与原理 · 基础概念
温度和 top-p：采样参数到底在调什么
模型输出的是一堆概率，temperature 缩放这些概率的陡峭程度，top-p 决定从哪个范围内抽。两者都会改变随机性，别同时大调。
2026 / 10 / 15模型与原理 · 论文笔记
《Attention Is All You Need》要点梳理
2017 年 Vaswani 等人的这篇论文提出了 Transformer：把循环结构整个去掉，只留注意力。现代大模型的结构基本都从这里出发。
2026 / 10 / 14模型与原理 · 论文笔记
LoRA：冻结原权重，只训练一小块
2021 年 Hu 等人提出的低秩适配。核心是把权重更新分解成两个小矩阵的乘积，参数量能降到千分之几，推理时还能合并回原权重。
2026 / 10 / 13模型与原理 · 提示工程
结构化提示：把要求写成分层清单
提示词写不清楚，大部分时候不是"模型笨"，而是把背景、任务、约束、输出格式混成了一段话。分层写能显著减少来回。
2026 / 10 / 12模型与原理 · 提示工程
让模型稳定输出 JSON 的几个层次
从"在提示里求它"到"在解码时约束它"，可靠性差别很大。按需求强度选合适的层次，不要一上来就上最重的方案。