阿里最新论文：大型语言模型中零阶联邦调优的收敛性

type

status

date

slug

summary

开篇：联邦学习与大型语言模型的结合

💡

AI论文解读原创

💡

作者 | 图南

💡

论文解读百篇推荐 点击查看：人工智能论文解读推荐

在现代机器学习领域，联邦学习（Federated Learning, FL）已成为一种重要的学习范式，尤其是在数据分散存储和隐私保护至关重要的场景中。联邦学习的核心是通过多个客户端的更新聚合，由中央服务器协调，训练出一个全局一致的模型，而无需共享原始数据。与此同时，大型语言模型（Large Language Models, LLMs）在自然语言处理领域取得了革命性的进步。这些模型经过大规模语料库的预训练后，通过微调，已经证明是解决多种语言任务的高效策略，产生了既通用又能适应特定领域叙述或与微妙的人类反馈对齐的模型。

然而，LLMs的微调需要适当的对齐数据，这些数据往往成本高昂。鉴于大量的私有数据仍然处于孤立和未充分利用的状态，FL和LLMs的结合引起了研究人员日益增长的兴趣。特别是，这种整合呈现出显著的计算挑战，尤其是对于资源有限的客户端。随着LLMs的规模扩大，为反向传播计算梯度所带来的计算负担也随之增加。

为了应对这一挑战，我们将注意力转向了零阶优化（Zeroth-Order Optimization, ZOO），这是一种无需显式梯度信息即可计算梯度近似值的算法，从而显著降低了内存消耗。然而，ZOO与FL的结合——我们称之为ZOO-FL——在LLMs的背景下尚未在文献中被探索。我们的工作旨在弥合这一差距，通过在联邦微调LLMs的背景下利用ZOO的内存效率，特别是基于以下理论基础：（Q1）LLMs庞大的参数空间如何影响ZOO-FL的行为？（Q2）我们能否为LLMs建立ZOO-FL的收敛性质？（Q3）哪些模型参数对收敛至关重要，我们如何利用它们来优化FL性能，例如通过个性化？

在本文中，我们专注于将一种内存高效的ZOO方法，MeZO，融入FL，这种协同作用我们称之为FedMeZO，并在LLMs的大规模参数空间下建立其收敛性质。我们提出了考虑模型Hessian矩阵低有效秩的精炼收敛率。我们的实证发现支持了理论预测，验证了即使在参数达到数十亿的模型上也能实现收敛。在与FedAvg等一阶方法的比较研究中，FedMeZO在显著降低GPU内存需求的同时，收敛速度更快。

此外，我们揭示了学习率是收敛的一个至关重要的变量。基于我们的理论洞察，我们进一步根据每个客户端特定的数据特征量身定制学习率。我们的实验结果显示，与通用或随机学习率分配相比，实施这种个性化策略时损失降低得更快。

总之，我们的理论和实证探索验证了FedMeZO在LLMs微调过程中的有效性，为未来应用提供了严格的框架和实践洞察。我们的主要贡献有三个方面：• 我们推进了对LLMs中FedMeZO的理解，将两点梯度估计扩展到联邦调整，并建立了理论收敛率为O（𝑟3/2）（i.i.d.设置）和O（非i.i.d.设置）。我们分析了FedMeZO的各种超参数的影响，并探索了基于理论的个性化学习率调整策略。通过对LLMs的实验验证，我们证明了FedMeZO实现了有效的收敛，并且与SGD相比，显著降低了内存开销。此外，我们展示了大量的实证证据来支持所提出的理论结果。

论文标题：On the Convergence of Zeroth-Order Federated Tuning in Large Language Models

论文链接：https://arxiv.org/pdf/2402.05926.pdf

项目地址：https://github.com/alibaba/FederatedScope/tree/FedMeZO

联邦学习的基础与挑战

联邦学习的定义与重要性

联邦学习（Federated Learning, FL）是一种现代机器学习方法，尤其适用于数据分散和隐私保护至关重要的场景。这种学习范式的核心是通过一个中央服务器协调多个客户端的更新聚合来训练一个全局模型，而无需共享原始数据。在这种模式下，每个客户端持有从其各自分布中抽取的本地数据样本，通过本地更新来共同训练一个全局模型。

与此同时，大型语言模型（Large Language Models, LLMs）已经极大地推动了自然语言处理领域的发展。这些模型在大规模语料库上预训练后，通过微调（fine-tuning）能够有效适应多种语言任务，产生既通用又能适应特定领域叙事或与微妙的人类反馈对齐的模型。然而，微调LLMs需要适当的对齐数据，这些数据通常成本高昂。鉴于大量私有数据仍然大部分孤立且未被充分利用，FL与LLMs的结合引起了研究者们日益增长的兴趣。然而，这种整合在计算上提出了显著的挑战，尤其是对于资源有限的客户端。

大型语言模型的联邦微调

联邦微调LLMs近来引起了关注，专注于在保护训练数据隐私的同时，将这些模型适应于特定领域的任务。研究人员已经探索了在联邦环境中整合LLMs的挑战和潜在机会，并在联邦环境中对LLMs进行指令调整的研究，标志着将FL应用于LLMs专业化训练的进展。例如，FATE-LLM和FederatedScope-LLM等框架为联邦微调提供了工业级和全面的解决方案。我们的工作则探讨了将零阶优化（Zeroth-Order Optimization, ZOO）与FL结合用于LLMs微调的领域，这是一个尚未充分研究的领域，因此填补了文献中的空白，并提供了基本的理论见解。

零阶优化(ZOO)在联邦学习中的应用

零阶优化（Zeroth-Order Optimization, ZOO）是一种在难以获取梯度的情况下的优化技术，它通过前向传播来估计梯度。ZOO使用随机向量和平滑常数来定义典型的一点梯度估计器，但这种方法提供了有偏差的梯度估计，导致一定程度的信息损失。因此，我们的工作采用了一种在联邦环境中提出的两点梯度估计器，它只需要通过模型进行两次前向传播来计算梯度估计，作为反向传播的内存高效替代方案。

ZOO与联邦学习结合的挑战

尽管ZOO在减少内存消耗方面具有显著优势，但将ZOO与FL结合——我们称之为ZOO-FL——在LLMs的背景下仍是一个未探索的研究方向。我们的工作旨在通过在联邦微调LLMs的背景下利用ZOO的内存效率来弥合这一差距，特别是在以下理论基础上：（Q1）LLMs庞大的参数空间如何影响ZOO-FL的行为？（Q2）我们能否为LLMs建立ZOO-FL的收敛性质？（Q3）哪些模型参数对于收敛至关重要，我们如何利用它们来优化FL性能，例如通过个性化？

我们的研究通过将内存高效的ZOO方法MeZO整合到FL中，提出了一种称为FedMeZO的ZOO-FL方法，并在LLMs的大规模参数空间下建立了其收敛性质。我们提出了考虑模型Hessian矩阵低有效秩的精细化收敛率，并通过实证研究证实了理论预测，验证了即使在参数数量达到数十亿的模型上也能实现收敛。在与FedAvg等一阶方法的比较研究中，FedMeZO在显著降低GPU内存需求的同时，收敛速度更快。

FedMeZO方法的提出与理论基础

FedMeZO方法概述

FedMeZO是一种结合了Zeroth-Order Optimization (ZOO)和Federated Learning (FL)的方法，旨在解决大型语言模型（LLMs）的联合微调问题。ZOO是一种无需显式梯度信息即可计算梯度近似的算法，它显著降低了内存消耗。FedMeZO通过在联合学习的背景下采用ZOO，特别是在大规模参数空间的LLMs中，实现了内存高效的微调。该方法不仅在理论上建立了收敛性质，而且在实验中验证了其有效性，即使在参数数量达到数十亿的模型上也能保持收敛。

FedMeZO的核心在于两点：首先，它采用了MeZO方法中的两点梯度估计器，通过两次前向传播来估计梯度，从而减少了与反向传播相比的内存使用。其次，为了减少与LLMs相关的高通信成本，FedMeZO利用了低秩适应（LoRA）技术，通过对线性层进行重参数化来调整较小的delta矩阵，而不是整个LLM权重，这与联合设置的实际约束相一致。

理论基础：收敛性质的探讨

FedMeZO的理论基础建立在对其收敛性质的深入分析上。研究者们提出了几个假设，包括有界损失、L-smoothness、小批量梯度误差界限、以及在i.i.d.和非i.i.d.设置下全局与局部梯度的差异。这些假设是优化和FL文献中的标准和基础。

在理论分析中，研究者们探讨了LLMs的大规模参数空间如何影响FedMeZO的行为，以及如何建立ZOO-FL的收敛性质。特别是，他们关注了Hessian矩阵的低有效秩，并证明了即使在参数空间庞大的情况下，FedMeZO也能实现收敛。此外，学习率被证明是收敛的关键变量，研究者们进一步根据每个客户端的特定数据特征量身定制学习率，从而实现了更快的损失降低。

实验设置与验证

实验设计：数据集与实验流程

实验使用了LLaMA-3B作为基础模型，并采用了四个不同的数据集来全面验证理论结果。实验的主要关注点是分析损失下降，所有实验均在500轮通信中进行。FedMeZO的本地训练步骤设置为30步，而BP基准的本地训练则进行一个epoch。

实验结果：FedMeZO的收敛性能

实验结果表明，当学习率符合第3.3节中讨论的要求时，FedMeZO能够稳定地减少损失并实现稳定收敛。与BP基于SGD的方法相比，FedMeZO在相同的学习率配置下更快地减少了损失，表明其具有更快的收敛速度。例如，在Dolly-Meta数据集上，FedMeZO在大约300轮后稳定并收敛，而BP基于SGD的损失仍在下降。值得注意的是，从表1中可以看出，FedMeZO在训练过程中的GPU内存需求大约是BP基于SGD方法的三分之一，这表明FedMeZO能够以更少的资源实现更快的收敛。

学习率对模型收敛的影响

1. 学习率的理论分析

学习率在模型训练中扮演着至关重要的角色，它决定了模型参数更新的步长。选择适当的学习率对于模型的收敛速度和最终性能至关重要。在FedMeZO方法中，学习率的调整策略是基于理论洞察而定制的。通过实验结果，我们发现，当学习率符合理论要求时，FedMeZO能够稳定地减少损失，最终实现稳定收敛。此外，与基于反向传播的SGD相比，FedMeZO在相同的学习率配置下能够更快地减少损失，表明其具有更快的收敛速度。

2. 学习率个性化调整策略

FedMeZO方法中提出了一种个性化的学习率调整策略，该策略根据每个客户端的数据特性量身定制学习率。具体来说，通过动态调整学习率，以适应客户端数据异质性的量化度量。实验结果表明，与通用或随机学习率分配相比，实施这种个性化策略时损失降低得更快。这种策略的实施不仅提高了模型的收敛速度，而且还提高了模型在不同客户端数据集上的学习效果。

讨论与未来展望

1. FedMeZO方法的实际意义与局限性

FedMeZO方法通过将零阶优化（ZOO）与联邦学习（FL）相结合，为大型语言模型的联邦微调提供了一种内存高效的方法。该方法在理论上证明了其收敛性，并在实验中验证了其有效性。FedMeZO在减少GPU内存需求的同时，实现了快速收敛，为传统优化方法提供了有力的替代方案。然而，FedMeZO方法主要关注于在大型语言模型适用的假设下确定收敛率，并不是为了加速收敛速度。此外，FedMeZO方法在非独立同分布（non-i.i.d.）数据环境中的表现还有待进一步研究和优化。

2. 联邦学习与大型语言模型未来的研究方向

随着大型语言模型（LLMs）在自然语言处理领域的迅速发展，联邦学习与LLMs的结合将是未来研究的重要方向。FedMeZO方法的提出为这一领域的研究提供了新的理论基础和实践经验。未来的研究可以在FedMeZO的基础上，进一步探索如何优化学习率调整策略，以适应更加复杂和多样化的数据分布。同时，如何在资源受限的环境中有效地微调大型语言模型，以及如何进一步降低联邦学习中的通信成本，也是未来研究的重要课题。此外，对于LoRA在模型的低有效秩上的影响，尤其是与MeZO方法结合时，仍然是一个开放的问题，需要进一步的研究和验证。

总结

本文深入探讨了在大型语言模型（LLMs）中应用联邦学习（FL）和零阶优化（ZOO）的融合方法——FedMeZO。通过理论分析和实证研究，我们证明了FedMeZO在细调LLMs时的有效性，尤其是在参数规模庞大且数据分布异质性强的情况下。我们的主要贡献可以概括为以下三点：

1. 理论分析与实证验证

我们推进了对FedMeZO在LLMs中应用的理解，将双点梯度估计扩展到联邦调优中，并建立了理论收敛速率。实证结果支持了理论预测，证实了即使在参数规模扩大到数十亿的模型中，FedMeZO也能有效收敛。

2. 超参数影响分析

我们分析了FedMeZO的各种超参数影响，并探索了基于理论的个性化学习率调整策略。实验结果显示，采用这种个性化策略的学习率调整能够比通用或随机学习率分配更快地减少损失。

3. 内存效率

与传统的基于梯度下降的方法相比，FedMeZO在显著降低GPU内存需求的同时，实现了更快的收敛速度。此外，我们还展示了广泛的实证证据来支持所提出的理论结果。