不改动原模型，只额外训练一小块参数来适配新任务，显存和时间成本大幅降低，让小团队也能微调大模型。
全量微调一个几十亿参数以上的模型，要保存优化器状态、要更新全部权重，对显存的要求常常超过普通显卡。参数高效微调换了个思路：原模型冻结不动，只训练一小部分新增参数。
关键假设是：微调带来的参数变化，虽然落在很大的矩阵上，但这个变化的「内在复杂度」并不高，可以用两个很小的矩阵相乘来近似。 - 原本要更新的是一个很大的权重矩阵，现在把它冻结。 - 在旁边接上两个窄矩阵，一个把维度压小，一个再升回去，两者相乘得到与原来同形状的增量。 - 训练时只更新这两个小矩阵，参数量可以降到原来的很小一部分。 - 推理时可以把小矩阵的乘积直接加回原权重，因此不增加推理延迟，这是它相比其他适配方法的一大优势。 这里有个可调的「秩」，相当于给增量留多少表达空间：秩越大能力越强、参数越多，秩太小则学不动。实践中还常对少量关键投影层生效，以取得效果与开销的平衡。
它把微调的门槛从「需要集群」降到「一张消费级显卡也能试」。而且不同任务可以各自训一份小的适配参数，按需加载切换，同一份基础模型能服务多种用途，存储和分发成本都很低。