近日，必威·BETWAY刘澄玉教授、李建清教授团队在计算机科学领域中科院一区TOP期刊《Information Fusion》(IF: 15.5)发表了题为“Multi-teacher self-distillation based on adaptive weighting and activation pattern for enhancing lightweight arrhythmia recognition”的研究论文。该论文针对穿戴式心电设备通常算力受限难以部署复杂心律失常识别算法的问题，提出了一种基于多教师在线自我知识蒸馏的模型压缩算法，通过综合权衡多个教师模型“隐知识”引导的正确性与可接受性，在不引入额外教师模型的前提下实现高效的模型参数、计算量、能耗及推理速度优化，提升了穿戴式监测端侧模型的泛化鲁棒性。
可穿戴心电（ECG）设备以其舒适性和便携性，在院外心律失常监测中发挥着重要作用，但嵌入式 CPU 有限的计算资源对复杂算法部署提出了挑战。针对这一难题，本文提出了一种多教师自适应加权在线自蒸馏策略，以适应知识蒸馏中存在的三个关键问题：（i）教师的指导是否正确，（ii）知识是否容易被学生学习，（iii）知识是否能够代表教师模型的高级语义信息，并确保知识迁移过程的梯度稳定性。该模型以自身的深层分支作为浅层分支的教师引导，通过深层激励浅层-浅层回馈深层的模式实现知识的迁移。同时，以蒸馏损失梯度方向和预测尖锐度为依据衡量筛选出对学生分支模型更正确有力和更易接受的教师分支模型，对引导错误的模型采用梯度手术（gradient surgery）减轻干扰。
模型以深层教师分支的预测分布和类激活模式替代注意力图和特征图作为浅层学生分支的知识来源，进一步考虑了网络不同层级带来的表示差距，应用类激活相似性图（activation similarity map）对学生模型进行软约束。
该工作第一作者为必威·BETWAY王仲宇博士，通讯作者为必威·BETWAY&数字医学工程全国重点实验室刘澄玉教授、李建清教授，论文合作单位包括必威BETWAY官网生物科学与医学工程学院、英国牛津大学，必威BETWAY官网为该工作唯一通讯单位。该研究得到了国家自然科学基金，国家重点研发计划，江苏省自然科学基金等资助。
论文链接：https://doi.org/10.1016/j.inffus.2025.103178
（供稿：刘澄玉，审核：潘树国）
