科研学术

　　近日，我校信息与软件工程学院2018级本科生毛海涛在数据挖掘领域顶级国际会议CIKM (ACM International Conference on Information and Knowledge Management) 上，发表题为“Neuron Campaign for Initialization Guided by Information Bottleneck Theory”的论文，并荣获最佳短文奖，这是我校学生第一次荣获此奖。毛海涛为论文的第一作者。

图1 会议论文颁奖现场

　　近年，随着深度学习相关研究的深入，如何训练好神经网络日益成为学术焦点。在神经网络的初始化策略研究中，最著名的方法有Xavier Initialization、He nitialization，这些方法更多的关注了解决梯度消失和梯度爆炸的训练问题，而没有考虑如何寻找更好的初始化策略来提高神经网络的泛化能力。

　　为此，该论文基于“信息瓶颈理论”（Information Bottleneck Theory）提出了一套在理解初始化网络泛化性能的新角度。基于这种新视角，作者提出，满足特定互信息指标条件的初始化网络，能具有好的泛化性能，并对互信息指标进行了一系列的简化，以降低实际计算复杂度。在确定指标基础上，作者提出了一套神经元竞争方法，以组合优化的方式选择出合适的神经网络初始化。

图2 基于信息瓶颈理论的神经元竞争初始化策略初始化（IBCI）算法流程

　　此类基于“信息瓶颈理论”的神经元竞争初始化策略，在初始化方式上可以集成在现有全部的初始化方式上，以加快收敛速度，提高泛化性能。论文初步在MNIST数据集和多种MLP网络结构上进行实验，证实初始化方式的优异性。

图3 本论文提出的IBCI算法精度对比图

　　毛海涛是信息与软件工程学院2018级国际菁英班的本科生，根据学院培养计划，在学院的支持和校内导师周帆副教授的指导下，该生在大三下学期前往微软亚洲研究院开展科研实习。本篇论文就是在实习期间，在微软亚洲研究院首席研究员付强、研究员杜仑、研究主管韩石、副院长张冬梅的指导下，和北大博士生陈旭共同完成的。