科研学术

　　近日，信息与软件工程学院2017级本科生刘思逸撰写的论文“Learnable Embedding Sizes for Recommender Systems”成功入选深度学习领域顶级会议国际表征学习大会（ICLR，International Conference on Learning Representations）。刘思逸为该论文第一作者，电子科技大学为第一作者单位。

　　在众多基于深度学习的推荐模型中，基于特征的推荐系统尤其受到学术界与工业界的关注。具体来说，对于用户或物品的特征（例如，电影的种类、商品的品牌、用户的职业等），推荐模型利用嵌入技术将这些稀疏的类别特征映射到实值密集向量中，以提取用户的偏好和物品的属性。

　　然而传统的嵌入技术为所有特征分配统一的嵌入维度大小，存在两个问题。首先，众多的特征不可避免地会导致一个巨大的嵌入表，因此带来内存使用成本问题。第二，对于那些不需要太大表示容量的特征，过大的嵌入维度很可能会造成过拟合问题。现有的工作在解决这个问题时，往往会导致模型推荐性能的大幅下降，或者受限于难以承受的训练时间成本。

图1：基于参数裁剪的特征嵌入维度学习

　　基于以上背景，该论文提出了一种简单而有效的基于参数裁剪的特征嵌入维度学习框架，命名为PEP，来为不同特征自适应地分配合适的嵌入大小。相较于现有的基于启发式的方法，该模型能够学习到特征的固有属性，从而在减少参数的同时保持甚至提升模型推荐精准度。在模型效率方面，模型能够大大减轻人工寻找参数压缩策略的时间，同时降低特征维度学习过程中的计算开销。

图2：嵌入表参数-模型精度曲线示意图

　　ICLR是公认的深度学习领域国际顶级会议之一，关注有关深度学习各个方面的前沿研究，在人工智能、统计和数据科学领域以及机器视觉、语音识别、文本理解等重要应用领域中发布了众多极其有影响力的论文。ICLR采取完全公开评审规则，任何对论文有兴趣的研究者都可以参与到关于论文评审意见的讨论中。这使得ICLR论文评审的透明性和广泛性在深度学习顶级会议中独树一帜，同时也大大增加了论文被接收的难度。刘思逸是软件学院2017级国际菁英班的学生，致力于推荐系统领域的研究，除此篇论文外，还在RecSys、AAAI等国际会议上发表论文，毕业后将赴洛桑联邦理工学院深造。

　　相关链接：

　　ICLR2021论文收录名单

　　https://openreview.net/group?id=ICLR.cc/2021/Conference#poster-presentations