这篇文章的第一本Zhuang Zhan与香港城市大学和南部科学技术大学的医生一起接受了培训。他的研究方向包括转移，扩散模型和修复大型模型。本文的相应集是智格大学“一百人才计划”的研究人员魏Ying，也是医生的主管。他的研究指示包括正在进行的研究，研究转移，组合组合和科学领域的应用。与Zhang Yu相对应的是南部科学技术大学的副教授。他的研究指示包括深入研究，多任务研究，过渡研究，元研究以及计算机视觉应用和自然语言处理。您仍然还记得洛拉（Lora）不稳定的培训，模型融合的不良影响以及修剪后的性能大幅下降吗？城市大学的研究人员香港，西江大学南部科学技术大学和其他机构提出了一种简单的渐进式培训策略，即Coto，通过在培训的早期阶段随机灭活某些适配器，并逐渐增加其激活概率，有效地减轻了问题等级的不平衡，并显着增强了该模型的强大和效率，例如跨性能和跨性能。这项工作是由机器学习的顶级ICML 2025收到的。纸的标题：庆祝，但不是现在：一种提高低级适应性纸链接的进步方法：https：///openreview.net/forum?id=zha2m39zom代码仓库： https://icml.cc/virtual/2025/poster/44836 LORA常规培训隐藏缺陷参数出色的美味技术修复技术已成为预先训练的大型模型的主要技术，可以应用于流中的任务。但是，尽管洛拉取得了成功，但直到面临一些困难的问题：1。“不良训练”：洛拉的优化过程通常属于起点附近的次优解决方案，从而限制了模型的整体分析能力。 2。层次失衡：在培训期间，梯度更新通常集中在模型的顶级适配器上，导致对基础适配器的培训不足和整体性能有限。 3。下游操作困难：上述问题在流动类似和修剪许多LORA模型中产生操作，这些模型非常困难，结果通常令人不快。 COTO策略：为什么不让洛拉“更好”？为了解决这些挑战，研究人员建议科托（Coto），主要思想非常小且易于理解：在培训的第一阶段，无需让每一层培训“ striely up up”，但让洛拉适配器参与“步骤 - 步骤”培训适配器。具体而言，科托采用了渐进式活动方法方法：在实践早期：随机“无活性”某些概率较高的洛拉适配器。它迫使该模型在跨越许多层时不要过于可靠，从而使梯度可以平均流向所有级别，这鼓励模型探索更广泛的参数空间。在晚饭和晚餐时：线性地增加激活适配器的可能性，直到所有适配器都完全参与训练并返回标准调整模式。该方法“首先抑制然后上升”带来了许多好处：它不仅可以促进水平之间的平衡优化，而且还显着改善了连接线性模式（LMC）和通过不同随机骨骼训练的模型之间的驾驶稳定性，从而为模型和模型和模型模型构成了稳固的基础。图1：Coto渐进激活的示意图。在训练的早期阶段（T 3T/4），适配器是随机的（颜色色素），并且激活其P（t）的可能性增加了；在训练阶段的后期，所有适配器都保持活跃。 persimimenton Resuctiong Coto的最令人兴奋的贡献极大地提高了Lora模型的融合和修剪功能，而COTO本身也可以提高单个任务实践中的整体性能和效率的性能。融合线性插值精度的更好模型：当在两个独立训练的洛拉模型中以通常的推理和图像分类含义进行线性插值时，公共LORA的性能将降低到融合点（λ= 0.5）。相比之下，COTO模型显示出良好的线性模式（LMC）连接，该连接在整个插值路径中保持平稳有效的性能转移。多任务LORA融合：在胶水数据集中，基于Llama-2（7b，13b）或Deberta-V3模型，Lora的COTA训练模块的准确性已牢固地超出了Integn执行多任务合并时，Mobaseline Dellel具有常规训练方法。图2：常见推理活动的线性插值精度。图3：图像分类任务的线性插值精度。图4：使用Llama-2-7b和Llama-2-13型号的多任务洛拉融合精度。在COTO中修剪训练方式的更稳定的模型自然改善了模型的断层的容忍度。如下图所示，在结构化的修剪中，coto-lora的性能是否超过了标准的洛拉，它是否可以去除替代层，底层，中层或高适配器水平，还是在各种长矛的非结构化修剪中。图5：修剪（左）和未占用的修剪比较（右）的结构化比较。性能和效率更强而受到影响：Coto可以继续提高洛拉（Lora），洛拉（Lora），多拉（Dora），希拉（Hira）和othe的不同变体的性能R基准涵盖愿景（11个图像分类活动），语言（8个共同理解活动）和数学理解。培训速度更快：COTO还因为在培训之前跳过了一些适配器计算，因此还可以减少培训间接费用。例如，将COTO应用于HIRA可以实现超过24％的培训加速度！图6：基于洛拉（Lora）的不同变体和常识和推理的培训技术的改进。试验出售，以验证各种COTO设计选择的推理并探索提高其性能的原因，研究团队是在许多方面进行一系列严格的实验，这些实验在许多方面，例如实践相位比例，诸如激活的可能性，嵌套的辍学方法，研究率，研究率和等级的曲线。这些实验不仅证明了Coto的设计是合理的，而且还为我们提供了有关如何有效调节Lora的见解。它规定了实施E Coto代码非常简单。用户只需要对现有的LORA培训过程进行三个更改即可利用这种方法。有兴趣的读者可以访问代码存储库，并亲自体验Coto的效果！ coto摘要有效地解决了通过简单且聪明的渐进式培训方法为洛拉培训提供建议的层次失衡和“懒惰”问题。不仅可以提高模型的单一工作模型的能力，而且更重要的是，它可以极大地增强洛拉适配器的复杂性和稳定性，从而在洛拉适配器的作品中产生了效果和效果更好和融合的效果。 COTO不必更改模型的体系结构，可以将其无缝集成到Lora的不同过程中，作为插件模块。这篇文章还为小路合作和合作游戏提供了两个见解，以加深科托带来的好处。我们相信这项工作将会将新的研究灵感带入良好的调整参数领域。