帕金森病（PD）是典型的运动障碍，临床上通常使用临床评分量表（即MDS-UPDRS）来评估PD患者运动症状的严重程度。但是这种评估方法较为费时，而且容易受到评估者认知差异的影响。新冠肺炎疫情爆发以来，PD患者远程评估愈发强烈。
为此，上海交通大学生物医学工程学院钱晓华课题组与上海交通大学医学院附属瑞金医院功能神经外科孙伯民团队的张陈诚医生合作，于2020年11月19日在《IEEE Transactions on Neural Systems and Rehabilitation Engineering》（TNSRE）期刊在线发表了题为“Sparse Adaptive GraphConvolutional Network for Leg Agility Assessment in Parkinson’s Disease”的研究文章，提出了适用于基于视频对MDS-UPDRS中腿部灵活性任务进行自动化客观评估的深度学习模型。
腿部灵活性任务是MDS-UPDRS的重要组成部分之一。在该测试中，PD患者需要将每条腿分别以最大的幅度和最快的速度抬高踏地。评估者根据患者的动作速度、幅度、有无迟疑和停顿、有无幅度的逐渐缩小等因素来给出评估分数，分数范围为0-4。在该任务的自动量化评估研究中，已有的基于传感器的方法存在着侵入性、定期标定和校准的局限性，基于视觉的特征工程方法则需要人工事先设计特征。
因此，作者开发了稀疏化自适应的图卷积网络模型实现基于视频的腿部灵活性任务的自动化评估。具体来说，1）通过先进的人体姿态估计模型从视频中提取PD患者的关节点序列；2）提出了稀疏化自适应图卷积单元（SAGCU），以实现视频中人体骨架序列的空间建模，对人体的物理和逻辑依赖性进行了自适应编码，然后将稀疏化策略的约束嵌入到成本函数中以挖掘判别性特征，最终挖掘出了腿部灵活性任务中最重要的空间结构关系；3）引入了时间上下文模块（TCM），通过计算时间位置的相关性来构造视频序列的上下文依赖关系，捕获了腿部灵活性任务执行过程中关节的全局变化；4）开发了多域注意力学习模块（MDALM），高级时空特征用于引导低级特征以增强通道域中的显著性特征，最终实现了时间、空间和通道域的特征集成。
图1 稀疏化自适应的图卷积网络模型的实现框架该模型在上海交通大学医学院附属瑞金医院功能神经外科提供的临床视频数据集上进行了全面的评估，该数据集包含148位患者870个腿部灵活性任务视频。据文献调查，这也是目前PD腿部灵活性任务自动评估研究中最大的数据集。定量和定性的评估分析证明了作者所提出的方案的有效性和可靠性，该方案实现了70.34%的准确率和98.97%的可接收准确率，优于其他已有的腿部灵活性任务自动评估的方法（包含基于传感器的方法）。该论文提出的非接触式方法为帕金森病的自动运动功能评估和远程医疗提供了新方案，有助于准确、持续、远程监控病情。
文章链接：https://ieeexplore.ieee.org/document/9264203
研究组介绍
钱晓华
上海交通大学生物医学工程学院副教授、博士生导师
实验室研究兴趣：
1）图像处理与机器学习（深度学习）算法开发；
2）医学图像（视频）处理与分析，和健康大数据挖掘与分析。
