即可将网页分享至朋友圈
近日,英才实验学院2017级本科生曹明锐(数据科学与大数据技术专业)以第一作者身份撰写的论文“Toward On-Device Federated Learning: A Direct Acyclic Graph-Based Blockchain Approach”被中科院一区TOP期刊IEEE Transactions on Neural Networks and Learning Systems接收。
为了解决用户隐私安全带来的数据孤岛问题,充分利用各种设备上的分布式数据,联邦学习(Federated Learning)作为一种分布式机器学习框架近年来备受关注,联邦学习的参与者可以在不泄露用户隐私的情况下传递和交流模型参数,共同建立机器学习模型。无线网络场景是联邦学习最热门的应用场景之一,其中联邦学习的参与节点是无线网络下的众多移动设备。随着5G时代的到来,移动设备拥有了足够的通信带宽,这使得建立移动设备端上的联邦学习系统成为了可能,也使得其成为联邦学习领域的热点话题。移动设备端的联邦学习需要解决两个主要挑战,其一是由移动设备异质特点带来的异步联邦学习需求,其二是设备端联邦学习易受到恶意节点与懒惰节点等异常节点的影响,导致系统效率降低,系统运作异常。
该论文注意到区块链技术中新兴的有向无环图(Direct Acyclic Graph)共识机制,利用DAG相关技术建立了区块链加持的异步联邦学习系统DAG-FL。引入区块链技术可以实现联邦学习系统中的信息可信交互,并一定程度上分辨异常节点与正常节点,抵抗异常节点对联邦学习系统造成的影响。相较于已有的以PoW等传统共识机制建立的区块链联邦学习系统,DAG-FL更加符合移动设备端联邦学习的异步需求,具有极高的系统效率,同时DAG-FL充分结合联邦学习模型聚合过程与DAG中的共识过程,不会因为引入区块链技术而引入过多的额外资源消耗。
论文提出了一个基于有向无环图技术的区块链异步联邦学习系统DAG-FL。详细介绍了DAG-FL的三层架构,然后设计了运行在不同节点上的两种算法,以详细说明DAG-FL中的改进DAG共识机制的运作流程。在此基础上,建立了一个泊松过程模型,讨论了在不同的联邦学习任务中如何设置部署参数以保持DAG-FL的稳定运作。大量的仿真和实际部署实验表明,DAG-FL在系统效率和联邦学习模型准确率方面比现有的相关设备端联邦学习系统具有更好的表现。
曹明锐于大二进入通信抗干扰技术国家级重点实验室的陈杰男教授的教研室进行学习,在陈杰男教授的指导与推荐下与北京邮电大学曹傧副教授展开科研项目合作,与通信抗干扰技术国家级重点实验室博士生张龙(本文二作)合作完成该项工作并撰文投稿。
TNNLS是计算机领域的著名期刊,旨在出版神经网络和学习系统方面的理论、设计和应用的技术文章,期刊影响因子为10.451。
编辑:李文云 / 审核:林坤 / 发布:陈伟