Cluster-driven Graph Federated Learning over Multiple Domains
(1)动机:为了解决统计异质性,到目前为止,统计异质性已经用不同的方法来处理,但没有一种方法能模拟领域之间的直接知识共享。
(2)创新点:聚类用于修饰统计异质性,而图卷积网络(GCNs)则实现了不同域之间的知识共享,FedCG是第一个通过GCN来建模领域-领域交互的,GCN连接特定领域的模型组件。
(3)提出的模型:FEDCG
a.通过符合fl的聚类来标识域,并为每个域实例化特定于域的模块(剩余分支)
b.通过训练时的GCN连接特定领域的模块,学习领域之间的相互作用并共享知识
c.通过教师-学生分类器-训练迭代来学习无监督的聚类,并通过领域软分配分数来处理新的未见过的测试领域。
服务器将模型fθ以及教师gϕ和学生gφ域分类器发送给客户端,在客户端,域分类器对局部数据x进行聚类,输出每个图像所属的域dˆ。在训练时,由gϕ预测硬标签dˆ,并通过知识蒸馏的过程作为输入训练gφ。在测试时,dˆ由gφ给出,是所发现域的加权组合。在FedCG中,网络fθ由域不可知部分(灰色)和残差域特定部分(蓝色)组成。特定领域的参数由GCN产生,接收输入A, W, V和dˆ。客户端k对fθ和gϕ的数据进行训练后,将更新后的权值θk和ϕ返回