阿尔兹海默症(Alzheimer's disease, AD)是一种起病隐匿的进行性发展的神经系统退行性疾病,其多发于65岁以上的人群,临床上以记忆障碍、失语、视空间技能损害、执行功能障碍以及人格和行为改变等全面性痴呆表现为特征。根据病症的严重程度可以把阿尔茨海默病分为轻度、中度和重度三个级别,该病在发病初期无明显症状,而被确诊时已经到了中晚期,目前并无有效的治愈方法。轻度认知障碍(mild cognitive impairment, MCI)是一种介于正常受试者(normal control, NC)和阿尔茨海默症之间的状态,患者一般会出现轻度的认知功能下降和记忆障碍,但还达不到阿尔茨海默症的自动识别标准。这种退行性变化过程一般发生在大脑的某些部位,如左右侧海马、颞叶、扣带回、楔前叶等区域比较严重^[1]。

本研究的主要贡献如下:

(1)本研究直接用MRI图像的切片进行分类诊断,用灰度标准化保证不同组织有不同的灰度差异,消除噪声影响。

(2)提出多尺度残差神经网络模型,采用不同大小的卷积核对图像进行多尺度特征采集,并对神经网络进行残差学习,对卷积特征进行分类诊断。

随着神经影像学的发展,核磁共振成像(magnetic resonance imaging, MRI)广泛应用于临床AD的诊断,具有无创、高分辨率、高对比度、多方位成像以及对软组织分辨能力强特点,为诊断AD提供有效的信息。目前,国内外已有大量的学者利用机器学习方法对AD进行诊断研究,文献[2]分割出脑白质和脑灰质之后利用学习矢量量化方法产生一系列代表性特征,然后利用支持向量机(support vector machines, SVM)进行分类。文献[3]利用高阶图形匹配选择MRI特征,用SVM进行分类诊断。文献[4]指出,与MCI患者相比, AD患者只有左边内侧颞叶有相对更严重的灰质萎缩,提出左边内侧颞叶萎缩的恶化可以预测MCI到AD的转化。文献[5]对MRI的胼胝体、扣带回部进行了纹理分析,发现这些区域的逆差矩、对比度等纹理特征参数与简易精神状态检查表(Mini-mental state examnation, MMSE)评分显著相关,为AD疾病的早期诊断提供帮助。文献[6]提出了一种基于局部二值模式的纹理特征提取,计算图像感兴趣区域的LBP直方图,连接所有LBP直方图作为特征向量并用极限学习机(extreme learning machine, ELM)对特征分类诊断。文献[7]利用T检验挑选感兴趣区域,然后提取多模态形态学特征,基于协同表示进行分类。近年来,大量基于多模态影像提取特征用机器学习的方法进行早期AD诊断。通常为MRI、正电子发射计算机断层成像(positron emisson tomography, PET)、脑脊液(Cerebrospinal fluid, CSF)以及其他多模态特征方法。文献[8]分别在MRI和PET上提取93个感兴趣区域特征,以及CSF特征利用核学习构造核矩阵,最终用SVM分类。文献[9]利用MRI和PET提取特征,提出相关特征正则化方法并联合回归和分类进行AD诊断。这些基于多模态的方法研究表明,采用多模态特征之间的互补判别性信息进行有效融合,取得了比单模态更有效的效果。传统机器学习方法运用于AD诊断时较为有效,但是有很大的局限性,因为用于分类的特征需要人工提取感兴趣区域,这可能会造成某些感兴趣区域的丢失。人工提取感兴趣区域的特征不仅需要医学知识,提取特征不精确而且花费大量的人力成本。采用多模态信息互补虽然可以提高准确率,但是需要对患者进行多次的信息采集,增加精神和经济负担。

深度学习是机器学习研究中的一个新领域,自2012年,随着计算机硬件技术的提高,层数更深、功能更完善的网络模型不断被提出,如文献[10]提出的Alexnet网络模型、文献[11]提出的VGGNet网络模型以及在ILSVRC2014比赛上获得冠军的GoogLenet模型^[12]。文献[13]构建的深度残差网络Resnet在ILSVRC2015比赛中获得了冠军,已经超过了人类的水平。针对AD诊断也有不少学者进行探索,文献[14]提出使用深度神经网络提取MRI图像一系列切片特征,再利用SVM进行分类,并验证了包含海马体的相关切片的识别正确率更高。文献[15]基于GoogLenet和Lenet网络用MRI和FMRI分类,取得不错的效果。文献[16]基于VGG-16网络框架进行改进,实现AD、MCI和NC三分类研究。文献[17]基于Alexnet网络框架,并对卷积神经网络框架进行改进,进行分类诊断。利用这些网络以及改进模型取得了比较好的结果。

本研究提出的基于多尺度残差神经网络,不需要专业的医学知识提取感兴趣区域的特征,直接使用原图像信息,对图像进行标准化,消除噪声影响,让卷积核从不同的尺度对数据进行特征提取,学习特征进行分类。

在本研究中,主要介绍多尺度残差模型的构建以及其工作原理。

Resnet是微软研究院HE Kaimin等提出的深度残差卷积神经网络,在ILSVRC 2015比赛中获得第一名,证明其在图像分类上具有很好的效果^[13]。Resnet可以自然的将低/中/高特征和分类器以端到端多层方式进行集成。卷积神经网络从最初的Lenet的5层卷积到VGG-19的19层卷积,随着深度的加深识别效果也越来越好,已经超过了人类的识别能力。但继续加深神经网络,由于反向传播求隐藏层梯度时利用了链式法则,梯度进行一系列的连乘,导致浅层隐藏层的梯度出现剧烈的衰减,出现梯度消失/爆炸的问题,这种问题一开始就阻碍了收敛,可以通过标准初始化和中间标准化层来解决,使得数十层的网络能通过反向传播的随机梯度下降开始收敛。当继续加深神经网络时,出现一个退化问题:准确率达到饱和后迅速下降,这种退化并不是由过拟合引起的,而是在适当深度模型上添加更多的层而导致更高的训练误差。

Resnet网络的残差块如图1所示,不是每几个堆叠层直接拟合期望的底层映射,而是让这些层拟合残差映射,期望的底层映射表示为H(X),通过在一个浅层网络基础上叠加的y=x层(恒等映射),可以让网络随深度增加而不退化。将堆叠的非线性层拟合F(X)=H(X)-X,则原始的映射为F(X)+X,残差映射比原始的映射更容易优化。特殊情况下如果一个恒等映射是最优的,则将残差置“0”比通过一堆非线性层来拟合恒等映射更容易求解。“跳跃连接”是跳过一层或多层的连接,残差网络即通过带有“跳跃连接”的前向神经网络来实现, “跳跃连接”执行恒等映射,将输出添加到堆叠层的输出, “跳跃连接”不会增加额外的参数和计算复杂度。

如公式(1)为第一层以及各层的累加,用链式法则对其求梯度为公式(2),因为“跳跃连接”的加入使得梯度通过“1”流回任意浅层避免经过卷积层造成梯度弥散,很好的解决了网络退化问题。则在没有引入额外的参数和计算复杂度情况下,学习找到对恒等映射的扰动会比重新学习一个映射要容易^[13]。原始残差结构为两层结构F=W₂σ(W₁X), σ为非线性激活函数ReLU,然后通过一个“跳跃连接”和第2个ReLU,获得Y, Y=F(X, {W_i})+X变化时,可以对X进行线性变换W_sX, Y=F(X, {W_i})+W_sX^[13]。证明这个残差块往往需要两层以上,单单一层的残差块Y=W₁X+X并不能起到提升的作用。

(1) ${X_L} = {X_l} + \mathop \sum \limits_{i = l}^{L - 1} F({X_i}, {W_i}), $

(2) $\frac{{\partial \varepsilon }}{{\partial {X_l}}} = \frac{{\partial \varepsilon }}{{\partial {X_L}}}\frac{{\partial {X_L}}}{{\partial {X_l}}} = \frac{{\partial \varepsilon }}{{\partial {X_L}}}\left( {1 + \frac{\partial }{{\partial {X_L}}}\mathop \sum \limits_{i = l}^{L - 1} F({X_i}, {W_i})} \right)。$

本研究提出多尺度残差网络结构MSResnet,其整体网络构架如图2所示,其中多尺度残差模块如图3所示,将Resnet中反复堆叠的3×3卷积核,替换为1×1、3×3、5×5卷积核和3×3池化形成多尺度残差网络,并在每一卷积层后的Batch Normalization层使数据批量标准化,提高训练速度。

借鉴文献[18]使用1×1卷积进行升降维操作,让卷积核从不同的尺度对数据进行特征提取,用不同的卷积核收敛到不同的值,避免网络的协同工作。原始残差网络的所有卷积核都是3×3的,这使得卷积层无法从多个尺度“观察”数据,难以获得更丰富的输入特征。要提升卷积层的表达能力,就要增加输出通道数,但是导致计算量的增大和过拟合。一个通道对应一个滤波器,同一滤波器共享参数,只提取一类特征,因此一个通道只做一种特征处理。Inception模块有4个分支,每一个分支都有一个1×1卷积, 1×1卷积可以对通道数进行升维和降维,可以跨通道组织信息,用很小的计算量能够增加特征变换和非线性变换,以提高网络表达能力。第一个分支为1×1卷积;第二个分支先用1×1卷积,然后进行3×3卷积,相当于进行两次特征变换;第三个分支先用1×1卷积,然后进行5×5卷积;最后一个分支为3×3最大池化后使用1×1卷积。最后通过连接(聚合)操作合并。每一个Inception(Incept)模块有一个最大池化和3个不同尺度的卷积,增加了网络度不同尺度的多样性,达到多尺度特征学习。表1为其每一卷积层或者残差模块的输入输出尺寸、卷积核尺寸其中经过步长为2的3×3卷积特征的尺寸降为一半,同时卷积核的数量增加一半,虚线表明输入输出维度不一样,需要进行线性变换。

试验所用的数据来自于阿尔茨海默神经影像学计划数据库(alzheimer's disease neuroimaging initiative, ADNI),该数据库有大量的NC, MCI, AD样本,并且每个样本的信息非常齐全。ADNI由美国国立卫生研究院衰老研究所(NIA),美国国家生物医学成像与生物工程研究所(NIBIB),美国食品药物监督管理局(FDA)等机构在2003年发起,其旨在采集分析AD, MCI, NC人群各类脑图像,研究AD, MCI等疾病,以便有效地防止或者延迟AD的发生。包括了大约400个MCI患者, 200个AD患者,以及200个正常的老年个体。

针对AD的心理学测试主要包括临床痴呆评定量表(clinical dementia rating, CDR)和MMSE。这两项指标可以作为AD的心理学诊断标准, CDR是一种分级筛选量表,评分取值为0、0.5、1、2和3,依次表示健康、疑似痴呆、轻度认知障碍、中度痴呆和严重痴呆五个等级。MMSE主要依靠有经验的医生询问病人得到量表分数。该量表分数为0~30的连续整数,评分越高表示越健康,得分越低表示痴呆越严重。对于NC, MMSE分数为24~30, CDR分数为0,在生活中具有正常的认知表现。对MCI,其MMSE分数为23~30,其CDR分数为0.5,在生活中认知也基本正常,医学上医生不能轻易的断定其是否患有阿尔茨海默病。对于AD,其MMSE分数为20~26;其CDR分数为1.0及以上,生活中认知不正常。本研究的试验数据为从ADNI数据库下载787例样本,其中分为187个AD样本, 309个NC样本和291个MCI样本,每个类别中的男女比例大致相等。详细参数:TR为2 400 ms;层厚为1.2 mm;图片尺寸为192×192×160和256×256×166,均选择1.5T, T1信号下的NiFTI格式的数据。详细的样本信息见表2。

试验建立了3组数据集,分别是AD vs NC、AD vs MCI和MCI vs NC,对三种不同状态进行两两分类,以及AD vs NC vs MC三分类。因为对阿尔茨海默病的早期诊断具有重要意义,所以需要对MCI, AD和NC之间的关系进行研究。试验数据被分为训练集和测试集,各占总数据量的比例为85%和15%,其中训练集中的15%用来作为验证数据集。

在ANDI数据库中选用T1加权MRI,并且都经过了图像几何校正和图像强度非均匀性校正。对256×256×166尺寸的图像重采样为192×192×160进行尺度归一化,进行头动矫正排除头动的影响,进行三维刚性配准,使所有的脑部MRI图像在方向和位置上统一,进行灰度标准化。

成像环境不同会造成同一对象相同性质的组织在图像灰度信息上的不一致。标准化,或是灰度归一化,就是在保留具有诊断价值的灰度差异的同时,减小甚至消除图像中灰度不一致而进行的图像转换方法,以便计算机自动分析处理。

图4是原始图像灰度转化到标准化空间的示意图, [p₁, p₂]表示图像的感兴趣灰度区域的灰度范围[m₁, p₁]和[p₂, m₂]这些区域是非感兴趣的区域。根据直方图统计,在[m₁, p₁]和[p₂, m₂]的区域比较小,值的范围比较极端。之所以在直方图中去掉这些值,是因为这些值往往是一些干扰所致。然后在[p₁, p₂]之内增加若干标志点。其中μ_g值通过文献[19]中的算法计算,确定μ_g后,即可将图像的灰度映射到标准空间中。该算法的具体步骤可做如下描述:

(1)训练,抽取部分样本作为训练样本。

(2)在每个训练样本中,确定p₁, p₂,以及μ_g的值。

(3)将[p₁, p₂]之间的值线性映射到[s₁, s₂]中。其中s₁, s₂是标准化空间的最小值和最大值。其中将x∈[p₁, p₂]映射到x'∈[s₁, s₂]的公式为

(3) $x' = {s_1} + \frac{{x - {p_1}}}{{{p_2} - {p_1}}}({s_2} - {s_1})。$

在这个步骤中,将μ_g的值映射为μ'_g^[19]。

(4)计算所有训练样本μ'_g的平均值,得出μ'_sg。

(5)对于待转换的样本,首先确定[p₁, p₂]值及最大g区即可算出μ_g。

(6)对图像进行分段的线性映射,直方图的首尾部分线性映射至s'₁, s'₂。μ_g映射至μ'_g。将[m₁, p₁]映射至[s'₁, s₁], [p₂, m₂]映射至[s₂, s'₂],若将待转换样本的灰度范围转化到标准空间的映射用ψc_g表示,其公式表示如下:

(4) $\psi {c_g}\left( x \right) = \left\{ \begin{array}{l}\left\lceil {{\mu _{sg}} + (x - {\mu _g})\frac{{{s_1} - {\mu _{sg}}}}{{{p_1} - {\mu _g}}}} \right\rceil , {m_1} \le x \le {\mu _g}\\\left\lceil {{\mu _{sg}} + (x - {\mu _g})\frac{{{s_2} - {\mu _g}}}{{{p_2} - {\mu _g}}}} \right\rceil , {\mu _g} \le x \le {m_2}\end{array} \right., $

其中⌈·⌉表示向上取整。

如图5所示,第一张为标准化之前的图像,第二张为标准化后的图像,第三张为转化为RGB图像。

用本研究提出的MSResnet构建了一个面向MRI脑图像的阿尔茨海默症检测模型,并且在ADNI数据集上测试了我们的方法。

本研究试验均在配置为NVIDIA DGX-1基于Ubuntu14.04的操作系统、8x Tesla P100显卡的硬件环境下,基于深度学习框架Keras实现。试验过程中,将预处理后的MRI图像分解成一系列切片,再提取一定范围中的索引切片,试验从切片索引75开始,每个人取20张切片进行试验,以5为间隔类,逐次增加开始切片索引,最后效果最好的切片索引范围为85~105,这些切片包含了左右脑海马体和脑干重要部位。参数设置:随机梯度优化学习率为0.000 3,使用动量参数0.9,衰减率为10^-6。每一模型进行10次试验,取其10次的平均结果。分别从分类精度、敏感度、特异性三方面进行比较。未标准化之前的图像为Baseline(BA),标准化后的图像为Standardize(ST)。

图6为多尺度残差模型对数据集的3种二分类的测试准确率和测试损失。图7展示了标准化后的图像用各种深度卷积网络模型以及本研究提出是MSResnet模型AD vs NC分类的ROC曲线的对比。表3为试验的结果,通过试验可以看出, Resnet网络对图像分类表现出良好的性能,已经达到比较好的效果,但是通过对图像标准化后,分类性能进一步的提升,说明MRI图像标准化对保留具有诊断价值的灰度差异起到一些作用,降低了灰度不均匀的噪声,其中在AD和NC分类中提高了0.94%,在AD和MCI分类中提高了1.17%,在MCI和NC分类中提高了0.42%,以及在三分类中提高了1.15%。进而用MSResnet网络对数据进行试验验证,用原始图像数据集,各分类中都得到了不同程度的提高,其中在AD和NC分类中提高了1.81%,在AD和MCI分类中提高了2.04%,在MCI和NC分类中提高了1.77%。三分类中也提升了1.51%。说明运用多尺度进行特征扫描,并利用残差模块进行残差学习,可以比单一的用一种卷积核要学习到更多的信息,得到更好的结果。同时对比了传统的机器学习方法,对标准化后的MRI分割出脑灰质,对脑灰质进行ALL分区,提取90个分区的体素值作为特征,然后用SVM和ELM对特征进行分类,其分类性都不如采用深度神经网络。结合图像标准化与多尺度残差网络模型,达到了最好的效果,在AD和NC分类中提高了2.90%,在AD和MCI分类中提高了4.24%,在MCI和NC分类中提高了2.82%,在三分类中提高了3.17%.并且与AlexNet、VGG16和GoogLenet经典网络做对比试验,均有不同程度的提高。

表4为最近一些学者的研究成果,运用不同的网络模型得到的结果,可以看出深度学习在医学图像分类诊断方面也表现出很好的性能,对比最好的分类效果,多尺度残差网络模型在AD和NC上提高了0.57%, AD和MCI分类结果提高了3.46%,只有MCI和NC分类中低于文献[16]。同时展现了各种模型的灵敏度和特异性值,灵敏度为真阳性率,为实际患病的样本中判定为患病的比例。特异性值为真阴性率,实际不患病样本中判断为不换病的比例。可以看出在AD和NC分类中灵敏度指标上文献[17]效果最好,能够完全成功把患病者诊断出来,但是MSResnet表现的也不错,达到了99.86%。在AD和MCI分类中表现最好。在特异性上MSRnest表现出来良好的性能。

本研究主要用提出的MSResnet对AD、MCI和NC进行分类研究。首先对数据集不同尺寸的图像进行尺度归一化;头动矫正排除头动的影响;进而进行三维刚性配准,使所有的脑部MRI图像在方向和位置上统一;进行灰度标准化。对标准化前和标准化后分别进行试验验证,试验证明标准化后对图像识别性能有一定的提高,进而用MSResnet进行试验验证,表明使用本方法对于三种分类试验都有不同程度的提升,均优于Resnet原网络模型和已经发表的文献方法。