科研学术

　　近日，由徐增林教授领衔的人工智能与智慧健康团队（Center for Artificial Intelligence and Smart Health）先后在中国计算机学会A类（CCF-A）会议上发表论文6篇。其中包括2篇AAAI，2篇IJCAI，1篇CVPR，1篇PPoPP。

　　以青年教师康昭为第一作者，与徐增林教授一起共同完成的研究论文“Unified Spectral Clustering with Optimal Graph”被AAAI 2018接收，电子科技大学为第一作者单位。谱聚类算法是机器学习领域的一个经典方法，获得了广泛的应用。但是该方法的性能严重依赖于所输入的衡量样本间相似度关系的矩阵，相似度度规种类、度规参数、数据噪声等都会对聚类精度产生重要影响。该文提出了一种最优图的学习模型，图构建和聚类是无缝对接同时进行的，因此在性能上超越了以往同类方法。

　　以康昭老师为第一作者，徐增林教授一起共同完成的研究论文“Self-weighted Multiple Kernel Learning for Graph-based Clustering and Semi-supervised Classification”被IJCAI 2018接收，电子科技大学为第一作者单位。该文聚焦于多核学习方法研究。多核学习方法是为了解决核方法对核矩阵的依赖问题，但实验发现主流方法时常会降低算法表现。论文基于两个直观的假设，提出了一种全新的多核学习算法，在聚类和半监督学习问题上得到了有效的验证。

　　以研二学生叶锦棉为第一作者，徐增林教授一起共同完成的研究论文“Learning Compact Recurrent Neural Networks with Block-Term Tensor Decomposition”被计算机视觉和模式识别领域的顶级会议CVPR接收，电子科技大学为第一作者单位。在许多现实场景中，神经网络的输入数据拥有较高的维度，且通常具有良好的局部特征。为了解决在循环神经网络（RNN）面临高维输入数据时模型庞大，训练困难的问题，文章提出了一种基于块张量分解的循环神经网络稀疏连接方法，即针对输入数据的高维低秩特性，利用块张量分解算法对输入层-隐藏层的矩阵乘法进行分解。通过对视频分类场景的测试，与传统长短时记忆网络（LSTM）相比，本方法降低参数量达到了17000倍，提高分类精度15%，大大加快了训练收敛速度。

　　以英才本科生刘豪为第一作者，与徐增林教授共同完成的“Structured Inference for Recurrent Hidden Semi-Markov Model”被IJCAI接收，电子科大为第一作者单位。高维时间序列的无监督学习在诸如机器翻译、语音识别、计算生物学等应用中有着重要意义。最近的研究将递归神经网络引入到隐马尔可夫模型中，尽管取得了成功，但导致推理过程变得更加复杂，往往难以推理，特别是对于分割和标签的离散变量。针对这一问题，该论文提出了一种具有端对端训练的神经序列模型，由生成网络和推理网络组成。在模型拟合和学习分割，标签方面的实验结果证明了所提出模型的有较好的性能。

　　以前实验室学生王林楠（现在美国布朗大学深造）为第一作者，叶锦棉为第二作者，与徐增林教授共同完成的“SuperNeurons: Dynamic GPU Memory Management for Training Deep Neural Networks”被并行与分布式计算领域的国际顶级会议PPoPP接收。该会议在2018年全球范围内仅接收了28篇论文。在大数据时代，研究人员设计了越来越大的模型，以满足海量数据的需求。然而硬件的发展，尤其是GPU的发展难以实现用单卡训练大型神经网络，只能退而求其次用多卡并行或分布式训练的方法，这却引了难以接受的数据传输延迟。该论文分析了主流的神经网络结构和训练平台如TensorFlow、MxNet等，创新地提出了三大内存管理技术：1）变量生存期分析，快速跟踪并回收不必要的内存消耗，该方法能在不损耗训练速度的情况下减少一半的训练内存消耗；2）高效的再计算策略，在GPU内存不足时回收部分计算消耗小的变量，在需要时重新计算，在损失不超过10%训练速度的同时减少30%以上的内存消耗，目前PyTorch 0.4版本提出的“Trade-off memory compute”可以看做本方法的一个简化版本；3）通过以上技术得到更多空余的内存，可以利用buffer需求更高但计算速度更快的卷积算法，从而大幅度加快模型训练速度。最后与主流的深度学习平台对比发现，该方法可以以同样甚至更快的速度，训练两倍深的网络，或1.5倍以上的batch size。

　　以前实验室博士后李英明（现为浙江大学讲师）为第一作者，与徐增林教授共同完成的“Learning with Incomplete Labels”被AAAI接收。数据标签缺失是机器学习算法面临的一个重要挑战。该文通过同时考虑标签的全局和局部关系来预测标签。为了消除该过程中可能引入的反常标签，继而提出了一种具有反常探测能力的标签学习算法。

　　除CCF-A类会议论文外，截止2018年5月，团队成员今年在IEEE Transactions on Cybernetics、Pattern Recognition、Knowledge-Based Systems、Neurocomputing、Neural Networks等JCR-1区或2区期刊上发表（含已接收）论文7篇，电子科技大学均为论文第一作者单位。这些重要成果标志着团队在科学研究、人才培养等多方面取得了成效。

　　中国计算机学会（CCF）将著名的国际期刊和国际会议分为A、B、C三档。A类指国际上极少数的顶级刊物和会议，鼓励我国学者去突破。

　　相关链接：

　　计算机学院人工智能与智慧健康团队（暨统计机器智能与学习实验室，SMILE Lab），以机器学习和人工智能、计算机自动推理及其应用领域为主要研究方向。团队成员目前已在国际顶级期刊和会议上发表了数百篇论文。团队努力营造浓厚的学术研究氛围、和谐宽松的学习环境、国际国内学术交流机会、富有建设性的激励机制，努力打造在人工智能领域具有较大影响力的国际科研团队。