共 2 篇,按时间倒序。
2017 年 Vaswani 等人的这篇论文提出了 Transformer:把循环结构整个去掉,只留注意力。现代大模型的结构基本都从这里出发。
2021 年 Hu 等人提出的低秩适配。核心是把权重更新分解成两个小矩阵的乘积,参数量能降到千分之几,推理时还能合并回原权重。