2024-04-12 19:19 北京 多花几秒钟时间，一键更改 LoRA 的初始化为 PiSSA。 机器之心专栏机器之心编辑部 随着大模型的参数量日益增长，微调整个模型的开销逐渐变得难以接受。 为此，北京大学的研究团队提出了一种名为 PiSSA 的参数高效微调方法，在主流数据集上都超过了目前广泛使用的 LoRA 的微调效果。 论文: PiSSA: Principal Singular Values and Singular Vectors Adaptation of Large Language Models…