科研学术

　　近日，电子科技大学自动化工程学院谢永乐教授“电磁近场检测与电磁环境监测”技术团队，与电子科技大学医学院四川省人民医院肾内科（李贵森、邹玉蓉教授，彭雷、张萍博士等）紧密协作，共同发表了医学人工智能科研论文。论文的共同作者有电子科技大学的刘浩然、谢永乐、李西峰、毕东杰以及四川省人民医院的李贵森、邹玉蓉、彭雷、张萍、林英英。该医工结合研究的“人工智能”工作由李西峰副教授、谢永乐教授共同指导。

　　慢性肾病已经在全球范围内成为了危害人类健康和社会经济发展的重要因素。一旦慢性肾病由早期阶段发展至末期阶段，患者需要接受昂贵的肾脏替代治疗来维持生命。因此，早期识别和有效干预对防治慢性肾病至关重要。肾活检是慢性肾病诊断的金标准，肾小球免疫荧光图像是肾活检的主要评估手段之一。基于人工智能技术开发一种高效、客观、鲁棒性强的诊断工具，对解决肾脏病理医生短缺、肾小球免疫荧光图像评估中的“观察者变异”等问题具有重要意义。

　　团队成员撰写的论文《Describe like a pathologist: Glomerular immunofluorescence image caption based on hierarchical feature fusion attention network》发表于人工智能期刊《EXPERT SYSTEMS WITH APPLICATIONS》。为了进一步提高计算机辅助诊断效率，实现肾小球免疫荧光描述语句的自动生成，该研究将“层级特征融合注意力网络”与“长短期记忆网络”相结合，构成了“编码器-解码器”结构。不同于将各项描述性指标的诊断视为单独的分类任务并为它们构建独立的分类网络，该方案仅使用单一的模型即可确定多项关键的肾小球免疫荧光描述性指标的类别，并生成语法正确、流畅的人类级别的免疫荧光描述语句。在测试阶段，该方案生成的描述语句的平均BLEU-1、BLEU-2、BLEU-3、BLEU-4、ROUGE-L、CIDEr分别可以达到0.704、0.563、0.444、0.387、0.760、3.594。

图1 肾小球免疫荧光图像的采集过程

　　为支持模型的训练，研究中构建了一个涉及5528个临床病例共11506张肾小球免疫荧光图像的大型数据集，每张图像均配有高级病理医生人工撰写的描述语句。该数据集全面覆盖了不同性别、年龄、临床疾病的病例。

图2 肾小球免疫荧光图像自动描述框架结构图

表1 提出的框架在肾小球免疫荧光图像数据集上的文本生成效果

　　论文《HFANet: hierarchical feature fusion attention network for classification of glomerular immunofluorescence images》发表于人工智能期刊《NEURAL COMPUTING & APPLICATIONS》。研究团队提出一种名为“层级特征融合注意力网络”的轻量化卷积神经网络，其使用一个可学习的特征融合注意力掩模，将浅层卷积块提取的局部、高分辨率、高通用性的特征图与深层卷积块提取的抽象、低分辨率的特征图进行加权融合，以形成最终的图像表示。论文提出的框架，在肾小球分割任务中取得的平均DICE和IOU分别为93.47%和88.09%；在荧光强度分类和分布形态分类任务中取得的平均分类准确率分别为90.48%和90.87%。

图3 不同的肾小球免疫荧光图像在荧光强度及分布形态上存在差异

图4 　层级特征融合注意力网络结构图

表2 提出的HFANet与常用的分类网络的分类性能对比 

图5 分类依据热力图 

　　“电磁近场检测与电磁环境监测”技术团队在谢永乐教授带领下，从事毫米波近场合成孔径成像技术、电磁环境监测（ESD、EMI等）技术、高可靠电子系统设计技术以及声波/图像信息处理技术研究。2020年以来，团队遵循“四个面向”之“面向人民生命健康”，在与电子科技大学医学院四川省人民医院肾内科深入合作的基础上，成立了以李西峰副教授为组长的“肾脏病理图像计算机辅助诊断”课题组。

　　相关链接：

　　论文1链接：https://www.sciencedirect.com/science/article/pii/S0957417422021868

　　论文2链接：https://link.springer.com/article/10.1007/s00521-022-07676-6