面瘫作为一种全球范围内高发的神经系统疾病，每年新发病例约330万，我国年均发病率达23/10万。尤其在神经外科手术后，面瘫发生风险高达11%-40%，其中15%-80%的患者可能面临不可逆的后遗症。目前，临床诊断主要依据House-Brackmann等传统分级系统，存在三大突出困境：

主观评估局限：医生经验主导的评价一致性较低（Kappa系数仅0.6–0.7），导致近30%的患者被粗略归类，影响诊疗准确性；

动态功能缺失：传统静态观察无法捕捉面部肌肉的时序变化，难以实现康复过程的个性化指导；

医疗资源不均衡：约65%的县级医院缺乏专业评估设备，诊断水平与三甲医院存在显著差距。

在国家“十四五”规划强调优质医疗资源下沉、2024年医保政策将AI辅助康复纳入定价体系以及科技部“智能健康科技发展行动”推动动态监测技术的政策背景下，本项目创新性地提出了多模态数据与深度学习融合的动态面瘫分级系统，旨在突破传统诊疗瓶颈，积极响应国家医疗智能化战略，推动面瘫诊断向客观化、精细化、普惠化迈进。

产品网页显示界面、智能分级模型示意图

综述结构图

多维度数据融合：系统同步采集面部视频、红外热成像及患者主观症状文本，实现“肌动+气血+脏腑”多模态信息融合分析。

动态时序建模：借助LSTM神经网络，精准捕捉面部表情的连续变化过程，弥补传统静态评估的不足。

智能分级输出：基于注意力机制与遗传算法优化特征权重，自动输出符合House-Brackmann标准的客观分级结果。

中医理论增强：首创TCM-DL模型，将经络理论融入损失函数，结合太赫兹成像实现气血状态可视化，融合中西医诊断智慧。

经济性：在已有合作中该技术应用为医院预计节约检测时间十五分钟，半小时内完成案例诊断，人力成本节约50％，实现了轻量化，节省材料达15%。

用户首先根据界面提示完成指定面部动作（如抬眉、闭眼），同时摄像头实时捕捉面部动态视频；系统从视频流中周期性抽取图像帧，通过特征值计算筛选出表情最显著的关键帧；随后调用Dlib库提取关键帧的2D面部标记点（landmark），精确量化眼裂、口角等区域位移；基于标记点数据计算面部不对称性等动态特征；最终将特征向量输入预训练的分类模型，自动输出House-Brackmann分级结果。整个过程实现从动作指令→视频捕捉→特征提取→智能分级的自动化闭环。面瘫诊断系统采用多模态融合深度学习架构，输入层支持面部图像、视频序列及症状描述文本三类数据；特征提取层通过ResNet-50卷积神经网络提取面部图像的局部纹理与全局结构特征，LSTM网络捕捉视频中面部表情的动态时序变化，RoBERTa编码器将症状文本转化为语义向量；特征融合层采用注意力机制对图像、视频、文本特征进行自适应加权融合，生成1024维综合特征向量；决策层通过遗传算法优化特征权重并输入分类器，最终输出面瘫诊断结果，实现静态与动态、视觉与文本信息的深度协同决策。

综述结构图

(1)全球首创中医增强框架：TCM-DL模型将经络理论编码为损失函数（如足阳明经循行区域权重+20%）；太赫兹成像实现气血阻滞可视化（温度梯度＞0.5℃/cm²判为异常） 

(2)多模态融合范式：视频（肌肉运动）+ 红外热图（气血状态）+ 舌象（脏腑功能）

团队已获国家级大创立项， 统计建模省一等奖， 大数据挑战赛一等奖，全国大学生数学建模一等奖等。

论文专利图片

合作方式：专利许可、实验等

联系方式：徐启程 13610883069