WO2020034192A1 - 切片或抹片影像的处理方法、计算机装置及系统 - Google Patents

Abstract

一种方法，用于切片或抹片影像，其包括：使用检测卷积神经网络处理该切片或抹片影像，以从切片或抹片影像中得到至少一个候选生物体影像；以及使用识别卷积神经网络识别候选生物体影像，以得到生物体识别结果。

Description

切片或抹片影像的处理方法、计算机装置及系统 技术领域

本发明涉及一种图像处理方法、计算机装置及系统，特别涉及一种用于切片或抹片影像的处理方法、计算机装置及系统。

背景技术

图像处理是指对图像进行分析、加工、和处理，使其满足视觉、心理或其他要求的技术。图像处理是信号处理在图像领域上的一个应用。目前大多数的图像均是以数字形式储存，因而图像处理很多情况下指数字图像处理。图像处理目前主要应用在娱乐视讯、工业生产、安全监控等等。

切片检查法是介入生物体，从生物体的特定组织中取得部分组织作为检体，组织检体可能从任何身体部位被取样，取样后的组织切片是在人体外进一步以显微镜观察，根据观察结果产生病理报告。

抹片检查例如是子宫颈抹片检查，这是将子宫颈及阴道后壁的剥落细胞取样在抹片上，取样后的抹片也是在人体外进一步观察，根据观察结果产生报告。

以往切片或抹片的观察是纯人工判读，容易有人工误判的情况产生。即使将切片或抹片数字化，但在数字化影像中，仍会包含大量的不必要或不相关或一般正常的信息，这也造成切片或抹片的观察判读容易产生误判的结果。

因此，如何提供一种切片或抹片影像的处理方法、计算机装置及系统，能够滤除切片或抹片影像中大量的不必要或不相关或一般正常的信息，以便于从业人员容易地且尽可能正确地找出相关信息，已成为重要课题之一。

发明内容

有鉴于上述课题，本发明的目的为提供一种切片或抹片影像的处理方法、计算机装置及系统，能够滤除切片或抹片影像中大量的不必要或不相关或一般正常的信息，以便于从业人员容易地且尽可能正确地找出相关信息。

为达上述目的，依据本发明的一种方法，用于切片或抹片影像，其包括：使用检测卷积神经网络处理该切片或抹片影像，以从切片或抹片影像中得到至少一个候选生物体影像；以及使用识别卷积神经网络识别候选生物体影像，以得到生物体识别结果。

在一个实施例中，候选生物体影像为细菌影像。

在一个实施例中，得到至少一个候选生物体影像的步骤包含：使用检测卷积神经网络处理切片或抹片影像，以从切片或抹片影像中得到至少一个候选生物体影像框；以及在至少一个候选生物体影像框的位置以标准尺寸框取出至少一个候选生物体影像。

在一个实施例中，切片或抹片影像的放大倍率为50～500倍，标准尺寸框的长度与宽度相等，标准尺寸框的长度与宽度介于36个像素至300个像素之间。

在一个实施例中，识别卷积神经网络包含多个卷积层，这些卷积层的最后一层是分类层，分类层输出生物体识别结果。

在一个实施例中，识别卷积神经网络包含多个群卷积层，使用识别卷积神经网络识别候选生物体影像的步骤包含：在同一群卷积层中的各卷积层使用相同大小的滤波器，其中不同群卷积层的滤波器大小不同。

在一个实施例中，识别卷积神经网络为集成的卷积神经网络，其包括多个并列的群卷积层以及评分器，群卷积层视为在卷积神经网络中，各卷积神经网络识别候选生物体影像以各输出运算结果，评分器根据运算结果输出生物体识别结果。

在一个实施例中，识别卷积神经网络为深度卷积神经网络，各群卷积层串接在一起。

在一个实施例中，各群卷积层的各卷积层交错地串接在一起。

在一个实施例中，生物体识别结果包括机率值，其中，机率值介于上限值及1之间代表存在生物体；其中，机率值介于下限值及上限值之间代表疑似存在生物体；其中，机率值介于0及下限值之间代表不存在生物体；其中，该方法进一步包括：对于识别为疑似存在生物体，将对应的候选生物体影像提出确认提示。

在一个实施例中，检测卷积神经网络为更快速R卷积神经网络(Faster R-CNN)、SSD(Single Shot MultiBox Detector)神经网络、或YOLO(You Only Look Once)神经网络。

为达上述目的，依据本发明的一种计算机装置，用于切片或抹片影像，其包括储存元件以及处理核心。储存元件储存可进行如前所述的方法的程序代码；处理核心耦接储存元件，执行程序代码以进行如前所述的方法，以处理切片或抹片影像。

为达上述目的，依据本发明的一种系统，用于切片或抹片，其包括显微镜装置以及如前所述的计算机装置。显微镜装置对切片或抹片取像以输出切片或 抹片影像；计算机装置接收并处理切片或抹片影像。

如上所述，本发明的一种切片或抹片影像的处理方法、计算机装置及系统能够滤除切片或抹片影像中大量的不必要或不相关信息，以便于从业人员容易地且尽可能准确地找出相关信息。

附图说明

图1为本发明实施例的系统的区块图。

图2为本发明实施例的切片或抹片影像的图像处理方法的区块图。

图3A为检测卷积神经网络找到或标记候选生物体影像的示意图。

图3B为图3A中以标准尺寸框得到候选生物体影像的示意图。

图3C为候选生物体影像框及标准尺寸框的示意图。

图4为本发明实施例的生物体识别结果的示意图。

图5A为本发明实施例的检测卷积神经网络的区块图。

图5B为图5A中ZF网络的结构表的示意图。

图5C为本发明实施例的检测卷积神经网络的区块图。

图5D与图5E为图5C中迭代微调结果的示意图。

图6A至图6C为本发明实施例的识别卷积神经网络的区块图。

图7A与图7B为本发明实施例的识别卷积神经网络使用集成卷积神经网络的实验结果的示意图。

图8A与图8B为本发明实施例的识别卷积神经网络使用深度卷积神经网络的实验结果的示意图。

图9为本发明实施例的识别卷积神经网络的实验结果的示意图。

具体实施方式

以下将参照相关附图说明根据本发明优选实施例的一种切片或抹片影像的处理方法、计算机装置及系统，其中相同的元件将以相同的附图标记加以说明。

如图1所示，图1为本发明实施例的系统的区块图。此系统用于切片(section)或抹片(smear slide)1，系统包括显微镜装置2以及计算机装置4，切片或抹片1在显微镜装置2拍摄影像，拍摄到的切片或抹片影像3再经计算机装置4处理。计算机装置4协助快速地、准确地、低错误地处理切片或抹片影像3中夹带的信息。计算机装置4可输出结果到输出装置5。输出装置5例如是显示装置、或打印装置等等。

切片经取样后可在人体外进一步观察，根据观察结果产生报告。切片例如是活体组织切片(biopsy)，这是从生物体例如动物或人类身上取下少量活组织，活体组织切片可用于病理学诊断。切片取样的方式例如是手术切除、内视镜或针头穿刺吸取等。另外，活体组织切片也可以是液态活体组织切片。

抹片经取样后可在人体外进一步观察，根据观察结果产生报告。抹片例如是子宫颈抹片，这是将子宫颈及阴道后壁的剥落细胞取样在抹片上。

为了便于观察或拍摄照片，切片或抹片1可经染色处理，以使切片或抹片1中例如细菌经染色后能更明显。举例来说，细菌是病原细菌，例如结核杆菌等等。切片或抹片影像3为细菌影像，例如是染色结核菌影像，进一步例如是数字彩色抗酸染色显微影像。

显微镜装置2对切片或抹片1取像以输出切片或抹片影像3。显微镜装置2包括显微镜21以及输出入接口22，显微镜21将切片或抹片1成像放大，显微镜21可具有或连接照相机，照相机对成像放大的切片或抹片1拍摄影像，拍摄后的切片或抹片影像3通过输出入接口22传到计算机装置4。举例来说，照相机是数字照相机，其对切片或抹片1拍摄可直接产生数字的切片或抹片影像3；在另一个例子中，照相机是非数字照相机，其对切片或抹片1拍摄后的影像需先经数字化，数字化的切片或抹片影像3再传到计算机装置4。输出入接口22例如是输出入传输端口或网络端口等等，输出入传输端口例如是通用串行总线(USB，Universal Serial Bus)端口。

计算机装置4包括储存元件41、处理核心42以及多个输出入接口43、44，处理核心42耦接储存元件41及输出入接口43、44，输出入接口43与输出入接口22通信，以便计算机装置4从显微镜装置2接收切片或抹片影像3。输出入接口44与输出装置5通信，计算机装置4可通过输出入接口44输出生物体识别结果到输出装置5。

储存元件41储存程序代码，处理核心42执行程序代码以接收及处理切片或抹片影像3。计算机装置4通过神经网络滤除切片或抹片影像3中大量的不必要或不相关信息，以便于从业人员容易地且尽可能准确地找出相关信息。

储存元件41包括非挥发性存储器及挥发性存储器，非挥发性存储器例如是硬盘、闪存、固态碟、光盘片等等。挥发性存储器例如是动态随机存取存储器、静态随机存取存储器等等。处理核心42例如是处理器、控制器等等，处理器包括一个或多个核心。处理器可以是中央处理器或图型处理器，处理核心42也可以处理器或图型处理器的核心。另一方面，处理核心42也可以是一个处理模块， 处理模块包括多个处理器，例如包括中央处理器及图型处理器。

如图2所示，图2为本发明实施例的切片或抹片影像的图像处理方法的区块图。处理方法包括区块61至区块63。

在区块61及区块62中，使用检测卷积神经网络处理切片或抹片影像3，以从切片或抹片影像3中找到或标记至少一个候选生物体影像31、32，候选生物体影像31、32是在候选生物体影像框311、标准尺寸框321内的影像。举例来说，检测卷积神经网络为更快速R卷积神经网络(Faster R-CNN)、SSD(Single Shot MultiBox Detector)神经网络、YOLO(You Only Look Once)神经网络。检测卷积神经网络也可采用其他能在影像中找到或标记候选生物体的卷积神经网络。

举例来说，在区块61中，使用检测卷积神经网络处理切片或抹片影像3，以从切片或抹片影像3中得到至少一个候选生物体影像框311。多个候选生物体影像框311可能大小不同，其位置代表可能有候选生物体的位置。找到或标记至少一个候选生物体影像框例如图3A所示，候选生物体影像31a、31b被找到，并以候选生物体影像框311a、311b标记。

在区块62中，在候选生物体影像框311a、311b的位置以标准尺寸框321a、321b从切片或抹片影像3取出候选生物体影像32a、32b例如图3B所示。

从区块61到区块62，候选生物体影像框的尺寸调整至标准尺寸框如图3C所示，得到的候选生物体影像32具有相同的大小，尺寸调整后的候选生物体影像32再输入到识别卷积神经网络。在图3C中，标准尺寸框321的中心对准原候选生物体影像框311的中心，即在切片或抹片影像3上原候选生物体影像框311的位置改以标准尺寸框321取得候选生物体影像32，这样的话虽然框变大但框内影像的分辨率仍保持不变。举例来说，检测卷积神经网络的影像检测结果是以不同的大小的边界框来表示，然后以标准尺寸框在原边界框的位置从切片或抹片影像3中取出或剪出相同大小的影像块。另外，标准尺寸框321的位置不一定要其中心对准原候选生物体影像框311的中心，也可以采用其他的对准方式，例如标准尺寸框321的角落对准原候选生物体影像框311的对应角落。对准后，标准尺寸框321的范围应至少含盖原候选生物体影像框。

标准尺寸框在区块62执行时是固定大小，举例来说，切片或抹片影像的放大倍率为50～500倍之间，标准尺寸框的长度与宽度相等，标准尺寸框的长度与宽度介于36个像素至300个像素之间。在一些实施方式中，切片或抹片影像的放大倍率为350～450倍之间，标准尺寸框的长度与宽度介于36个像素至60 个像素之间(含36及60)，例如切片或抹片影像的放大倍率为400，长度与宽度均为48个像素。在一些实施方式中，切片或抹片影像的放大倍率为150～250倍之间，标准尺寸框的长度与宽度介于60个像素至120个像素之间(含60及120)，例如切片或抹片影像的放大倍率为200，长度与宽度均为96个像素。在一些实施方式中，切片或抹片影像的放大倍率为50～150倍之间，标准尺寸框的长度与宽度介于100个像素至300个像素之间(含100及300)，例如切片或抹片影像的放大倍率为100，长度与宽度均为200个像素。以切片或抹片影像的放大倍率为400来说，标准尺寸框的长度与宽度例如是36x36像素、48x48像素、或60x60像素，切片或抹片影像3的分辨率例如是800x600像素、1024x780像素、1280x960像素、1280x1024像素、1600x1200像素、或1920x1040像素等等。搭配例如是切片或抹片影像3的分辨率为1024x780像素，标准尺寸框的固定大小是48x48像素。标准尺寸框的长度是与切片或抹片影像3的分辨率与放大倍率有关，基于指令周期的考虑，标准尺寸框的大小也不宜过大，因而切片或抹片影像3的分辨率也非越大越好。另一方面，放大倍率过高则影像视野不广，放大倍率过低则影像分辨率不高。影像视野不够广会造成观察范围有限，影像分辨率不高会造成不容易判读。对于人眼观察来说，影像放不够大则不容易观察，一般人眼观察是以放大1000倍的切片或抹片影像来观察，否则不容易识别影像中的生物体，但采用这么高的放大倍率能观察的视野范围有限。相比于此，本案识别采用的影像可以不用那么高的放大倍率，除了观察视野较广，处理速度也较快。

另外，在一些实施例中，标准尺寸框的大小在深度卷积神经网络的最大滤波器的宽度的三次方的80％至120％之间，例如标准尺寸框的大小在深度卷积神经网络的最大滤波器的宽度的三次方的90％至110％之间，这使整体识别的指令周期能够相对地快速。举例来说，标准尺寸的大小为48x48像素(48x48＝2304像素)，深度卷积神经网络的最大滤波器的宽度为13，宽度的三次方为2197(13x13x13＝2197)即2197*90％<2304<2197*110％。另外，在一些实施例中，深度卷积神经网络的最大滤波器的宽度不大于标准尺寸框的长度或宽度的一半，最大滤波器的宽度优选是在标准尺寸框的长度或宽度的四分之一到二分之一之间(含四分之一及二分之一)。

在区块63中，使用识别卷积神经网络识别候选生物体影像31a，以得到生物体识别结果。由于检测卷积神经网络可能会产生大量的负面候选生物体影像，使得检测卷积神经网络的输出结果无法直接作为识别结果，因此，在区块63中， 使用另一个卷积神经网络即识别卷积神经网络来进一步进行精确分类检测卷积神经网络的输出结果。识别卷积神经网络具有特征提取的能力，在其最后一层与归一化指数函数(softmax)分类器结合可进行分类。识别卷积神经网络例如是单一滤波器尺寸的卷积神经网络、集成式卷积神经网络、或深度卷积神经网络。

另外，生物体识别结果可以是一个信息和/或影像，举例来说，生物体识别结果可以在原切片或抹片影像3注记呈现，例如在图3A或图3B中，在候选生物体影像31a、31b、32a、32b的标记外框旁再注记生物体识别结果的信息，信息例如是文字或图样。信息要能代表存在生物体及不存在生物体。

比较本案的辨识方法以及像素基础检测的辨识方法，本案的辨识方法可减少人工介入，提高检测率。像素基础检测的辨识方法是以像素为基础检测出结核杆菌后选区域，再萃取特征值，然后将特征值交给以特征为基础的分类器作分类。这种辨识方法的缺点是：(1)需要大量人工介入来设定参数；(2)以像素为基础检测率较低；以及(3)以特征为基础的分类器容易受萃取特征的方法影响。相比之下，本案的辨识方法可避免上述缺点。另外，若以特征为基础的分类器作分类为参考标准，本案使用神经网络可减少萃取特征的方法对分类器的影响。

如图4所示，图4为本发明实施例的生物体识别结果的示意图。在一个实施例中，生物体识别结果包括机率值，其中，机率值介于上限值UL及1之间代表存在生物体；其中，机率值介于下限值LL及上限值UL之间代表疑似存在生物体；其中，机率值介于0及下限值LL之间代表不存在生物体。机率值可视为对于一个候选生物体影像的识别评分，评分越高代表存在生物体的可信度越高，评分越低代表不存在生物体的可信度越高，评分在中间的则是疑似存在生物体。

举例来说，疑似存在生物体的疑似范围(Suspected range)是以机率50％为中心，左右展开相同距离的区域，例如从中心左右展开20％，即30％～70％的机率值范围。疑似范围的下限值LL及上限值UL可依实际情况设定。

为了便于再确认，对于识别为疑似存在生物体，将对应的候选生物体影像提出确认提示。对于机率值在这疑似范围内的疑似存在生物体的影像，可以让医检师判别确认是否真的有生物体。确认提示可以是在原切片或抹片影像3的特别标记，特别标记有别于存在生物体及不存在生物体的标示。举例来说，特别标记可以在原切片或抹片影像3注记呈现，例如在图3A或图3B中，在候选生物体影像31a、31b、32a、32b的标记外框旁再注记特别标记的信息，信息例如是文字或图样，其可以用较醒目的颜色提醒注意。

举例来说，以生物体为结核菌来说，分类结果的机率值落在这个疑似范围会被定义为疑似结核菌，若一张影像中没有找到结核菌但含有疑似结核菌，则这张影像会被提出让医检师确认。如果一张影像中有找到结核菌但也含有疑似结核菌，则这张影像可以不用提出让医检师确认，但也可以提出让医检师确认。

以下将举例说明检测卷积神经网络及识别卷积神经网络。

如图5A所示，图5A为本发明实施例的检测卷积神经网络的区块图。检测卷积神经网络61a是更快速R卷积神经网络(Faster R-CNN)，其包括特征映像卷积网络、区域提议网络613(RPN，Region Proposal Network)及快速R卷积神经网络614(Fast R-CNN)。特征映像卷积网络由ZF网络611(ZF net)实现，ZF网络611由五个卷积层组成，其中最大池化层应用于第一和第二卷积层输出。ZF网络611的结构如图5B的表格所示。举例来说，切片或抹片影像3为1280×960像素大小的原始RGB图像作为ZF网络611的输入，ZF网络611最终输出的特征图为80×60具256维。另外，切片或抹片影像3的分辨率应小于等于ZF网络611的输入分辨率，例如ZF网络611的输入为1280×960像素大小的原始RGB图像，切片或抹片影像3的分辨率可以是1280×960像素、或1024×768像素等等。

此外，区域提议网络613和快速R卷积神经网络614共享ZF网络611输出的特征图612。区域提议网络613依据搜寻对象的框回归和可信度评分，以产生多个不同大小的边界框(bbox)。然后，通过这些边界框预测对象并将它们整合到一些区域提议中。这些提议的特征图上的对应感兴趣区域6121(ROI，Region of Interest)会被转移到快速R卷积神经网络614以供进一步使用。这样的设计中，共享特征图可以节省成本，还可提高提议质量和整体检测准确性。

然后，快速R卷积神经网络614从区域提议网络613收到提议，并从共享特征图612接收对应感兴趣区域6121的特征。不同尺寸的感兴趣区域6121特征最大化为H×W特征图。举例来说，H设为6，W设为6。固定大小的特征图被馈送到一系列完全连接层，最后连接到两个兄弟层(sibling layer)进行分类和边界框回归。进行分类会给出检测可信度评分，进行回归会给出边界框的位置回归。检测将被裁剪为48×48像素并输出到下一阶段。

在训练过程中，由专家确认标记有正确边界框的切片或抹片影像会用来训练检测卷积神经网络61a(更快速R卷积神经网络)，检测卷积神经网络61a对此训练用影像进行上述处理并输出训练下的边界框，当训练下的边界框与专家标记的边界框在切片或抹片影像中重叠情况大于或等于阈值时，训练下的边界 框及其候选生物体影像被标记为正面样本(阳性样本)；否则，它被标记为负面样本(阴性样本)。换句话说，阳性样本保持结核分枝杆菌，但阴性样本没有。举例来说，阈值的范围在0.4与1之间(含0.4与1)，例如设置为0.6。

如图5C所示，图5C为本发明实施例的检测卷积神经网络的区块图。与图5A相比，检测卷积神经网络61b是迭代微调更快速R卷积神经网络(RFR-CNN，Iterative refinement of Faster R-CNN)，其进一步包括迭代微调615。迭代微调615是调整快速R卷积神经网络614的输出结果。首先利用更快速R卷积神经网络检测出切片或抹片影像3上的候选对象生物体，然后进行迭代来微调检测位置。迭代微调流程是：区域提议网络613产生区域提议，然后迭代微调615对区域提议作出目标与否的信心评分及位置修正。根据这个流程，区域提议的结果可以进行再提议来获得再次的评分与位置修正。这样从区域提议一直到当位置出现重复时，拥有最高评分的检测就成为微调后的输出。因此，快速R卷积神经网络614可被视为一对函数fb和函数fs，函数fb输出回归的边界框br，函数fs基于区域提议网络613的区域提议中的边界框b产生可信度评分s。数学表示如下：

br＝fb(b)          (1)

s＝fs(b)           (2)

其中回归的边界框br是根据区域提议网络613提出的边界框b而产生，评分s是检测的可信度评分。为了迭代地反馈输出边界框作为输入汇编到区域提议网络613的区域提议，以便细调边界框的位置，上述式(1)及式(2)更新如下：

b _t+1＝fb(b _t)          (1)

s _t+1＝fs(b _t)           (2)

其中b _t是在迭代t反馈的回归边界框，b _t+1和s _t+1是输出边界框及其对应的可信度评分。在细调开始时，迭代索引t＝0。在每次迭代之后，可得到新的回归边界框及其对应的可信度评分。继续迭代会更新位置和评分。在一个实施例中，最大迭代次数设为10以防止溢出。迭代停止后，具有最大可信度评分的回归边界框作为细调结果。图5D与图5E显示一个细调改善结果的例子，进行迭代微调前快速R卷积神经网络614的输出边界框为图5D中粗体深色黑框，但优选的边界框应位在浅色框。经迭代微调后，细调边界框的位置移到如图5E中粗体深色黑框，这个粗体深色黑框更接近图5D中优选的边界框的位置。

如图6A至图6C所示，图6A至图6C为本发明实施例的识别卷积神经网络的区块图。识别卷积神经网络64a～64c包含多个卷积层，卷积层的最后一层是 分类层，分类层输出生物体识别结果。分类层例如连接归一化指数函数的分类器以输出生物体识别结果。

举例来说，大部分的卷积层的滤波器移动步幅为1，其中至少一个卷积层(例如一个、或二个、或三个)的滤波器移动步幅大于1(例如2或2以上)，而且这个步幅较大的卷积层介于其余步幅为1的卷积层之间，其余卷积层的步幅为1。滤波器移动步幅大于1的卷积层层数需求是看训练状况来调整决定。

滤波器大小是与切片或抹片影像3的分辨率有关，也与候选生物体影像的大小有关。举例来说，滤波器大小介于3x3到15x15之间(包含3x3及15x15)，滤波器大小通常是奇数，例如3x3、5x5、7x7、9x9、11x11、13x13或15x15。

在图6A中，识别卷积神经网络64a为单一滤波器尺寸的卷积神经网络，在同一群卷积层中的各卷积层使用相同大小的滤波器以进行NxN的卷积运算(N为自然数)。举例来说，其输入是从检测卷积神经网络所输出的候选生物体影像，其大小例如是48×48的RGB图像块。识别卷积神经网络64a有8个卷积层，只有第三个和第六个卷积层的步幅是2，其他卷积层的步幅是1，步幅2的卷积层是作为下取样，在整个识别卷积神经网络64a中没有设置池化层。所有卷积层都配有线性整流函数(ReLU，Rectified Linear Unit)作为活化函数，前三个卷积层的厚度(dimension)为96，其余卷积层的厚度(dimension)为192。一般来说，若一个卷积层的厚度越多，其使用的滤波器也越多。其中6个连续相接且使用相同大小的滤波器NxN的卷积层为同一群卷积层。最后一层1x1卷积层完全连接到归一化指数函数层，以产生归一化指数函数评分用于分类。若以结核杆菌的应用来说，输出会包括结核杆菌或非结核杆菌的分类结果、以及其相对应的信心分数。

以上是举例说明并非限定识别卷积神经网络64a的输入影像大小、卷积层数量、卷积层的步幅、配有线性整流函数与否、以及卷积层厚度。同一群卷积层的连续相接数量也不限于6，步幅较大的卷积层位置也可前后调整。

在图6B中，识别卷积神经网络64b为集成的卷积神经网络，其包括多个并列的卷积神经网络1～m以及评分器，各卷积神经网络中包括群卷积层，即一个群卷积层视为在一个卷积神经网络中。各卷积神经网络1～m识别候选生物体影像以各输出运算结果，评分器根据这些运算结果输出生物体识别结果。若以结核杆菌的应用来说，输出会包括结核杆菌或非结核杆菌的分类结果、以及其相对应的信心分数。

在同一群卷积层中的各卷积层使用相同大小的滤波器，其中不同群卷积层 的滤波器大小不同。举例来说，卷积神经网络1～m使用如图6A中的单一滤波器尺寸的卷积神经网络，但各卷积神经网络1～m中的同一群卷积层所使用的滤波器大小不同，例如卷积神经网络1中的同一群卷积层均使用5x5的滤波器，卷积神经网络2中的同一群卷积层均使用7x7的滤波器，以上只是举例说明使用不同大小的滤波器，并非限定滤波器必须使用以上大小。

举例来说，识别卷积神经网络64b包括五个单一滤波器尺寸的卷积神经网络1～5(m＝5)，其中每个卷积神经网络接收相同的输入图像，但各别输出归一化指数函数评分到评分器，评分器将这些归一化指数函数评分取平均值作为生物体识别结果。

在图6C中，识别卷积神经网络64c为深度卷积神经网络，各群卷积层系串接在一起，例如是各群卷积层的各卷积层交错地串接在一起，一个群卷积层是指一些卷积层是使用相同大小的滤波器。与图6B的集成的卷积神经网络相比，一个群卷积层中的各卷积层是先打散，连接到另一个群卷积层的卷积层，例如同一群卷积层中至少二个卷积层与另一群卷积层中至少二个卷积层彼此直接前后串接在一起。

在图6C的例子中，使用了五种(m＝5)不同滤波器尺寸的卷积神经网络连续串接在一起组成深度卷积神经网络，在这个例子中，输入是从检测卷积神经网络所输出的候选生物体影像，其大小例如是48×48的RGB图像块。深度卷积神经网络包括24个卷积层，其中第11层和第22层的卷积层的步幅为2，其他卷积层的步幅为1，第11及22层的步幅2的目的是降维或下取样。在整个识别卷积神经网络64c中没有设置池化层。所有卷积层都配有线性整流函数(ReLU，Rectified Linear Unit)作为活化函数，前11个卷积层的厚度(dimension)为96，其余卷积层的厚度(dimension)为192。最后一层1x1卷积层是完全连接到归一化指数函数层，以输出评分用于分类。若以结核杆菌的应用来说，输出会包括结核杆菌或非结核杆菌的分类结果、以及其相对应的信心分数。

五种不同滤波器尺寸例如是5x5、7x7、9x9、11x11、13x13，从输入到第一次降维之间的卷积层是滤波器由小到大，且同样大小滤波器的卷积层会连续相连。从第一次降维到第二次降维之间的卷积层是滤波器由小到大，且同样大小滤波器的卷积层会连续相连。

以上是举例说明并非限定识别卷积神经网络64c的输入影像大小、卷积层数量、卷积层的步幅、配有线性整流函数与否、以及卷积层厚度。步幅较大的卷积层位置也可前后调整。从输入到第一次降维之间的卷积层的配置顺序也不 限于此，从第一次降维到第二次降维之间的卷积层顺序也不限于此，同样大小滤波器的卷积层也可以不连续相连。

在训练的过程中，由于负面样本的数量很大，因此不可能使用全部负面样本来训练识别卷积神经网络。为了避免了样本不平衡的问题，可以随机选择少量的阴性样本来训练识别卷积神经网络，阳性样本可以全部都拿来训练识别卷积神经网络。举例来说，阴性样本的数量是阳性样本的四倍，阳性样本选择全部。

在一个训练过程例子中，阴性样本由于数量过大采用随机选择作为输入，识别卷积神经网络的所有参数是随机初始化。识别卷积神经网络的所有训练机制都使用随机梯度下降算法。集成的卷积神经网络的各卷积神经网络成员是个别训练，使用的小批量(mini-batch)大小为16，动量(momentum)为0.9。在输入层，第三层卷积层和第六层卷积层使用了压差正则化(batch normalization)方法。学习率被指定为0.0001。当训练精度大于95％且近期准确度改善小于0.01％时，训练机制停止。相比于集成的卷积神经网络，深度卷积神经网络的训练机制较为简单，因为训练只需要训练深度卷积神经网络，其所有参数设置方法和学习方法与集成的卷积神经网络中的参数设置方法和学习方法相同。在输入层，第11层卷积层和第22层卷积层使用了压差正则化方法。

以下举实验例子说明辨识结果。在这些实验例子中，检测卷积神经网络使用迭代微调更快速R卷积神经网络，识别卷积神经网络使用不同的卷积神经网络，这些神经网络用在显微影像中辨识结核杆菌。训练过程使用一定数量已标记的数字彩色耐酸染色显微影像，测试识别时以迭代微调更快速R卷积神经网络先找出可能有结核杆菌的影像区块，然后再利用识别卷积神经网络检测出结核菌。

如图7A与图7B所示，图7A与图7B为本发明实施例的识别卷积神经网络使用集成卷积神经网络的实验结果的示意图。在本实验中，计算机装置的硬件为一台计算机，配有

i7处理器、

GTX1070显示适配器、16G存储器、硬盘或固态硬盘、USB等外围传输端口，显示适配器包括图形处理器。硬盘或固态硬盘储存迭代微调更快速R卷积神经网络以及集成卷积神经网络的程序代码，这些程序代码加载到存储器后可供处理器和/或显示适配器执行。硬盘或固态硬盘也储存实验验证所使用的影像数据库，影像数据库包括19,234张彩色抗酸性染色结核病痰液抹片影像，这些影像是利用一般光学显微镜以总放大倍率400拍摄。这些影像是随机选取一半数量的影像作为训练整个系统及方 法(含检测卷积神经网络以及识别卷积神经网络)，另一半数量的影像用来测试整个系统及方法。

实验中相关评估包括影像的阳性与阴性、真假阳性与阴性、评估指针，其定义分述如下。

影像的阳性与阴性定义如下：

影像为阳性：若一张影像被分类为存在一只或多于一只结核杆菌，此张影像被辨识为阳性

影像为阴性：若一张影像完全没有任何结核杆菌，此张影像被辨识为阴性

真阳性、真阴性、假阳性、与假阴性定义如下：

真阳性(TP)：本识别方法及专家都辨识为阳性

真阴性(TN)：本识别方法及专家都辨识为阴性

假阳性(FP)：本识别方法辨识为阳性，专家辨识为阴性

假阳性(FN)：本识别方法辨识为阴性，专家辨识为阳性

评估指标的敏感度与特异度定义如下：

敏感度＝TP/(TP+FN)

特异度＝TN/(TN+FP)

在图7A中可看到实际辨识结果，方形边界框为检测到的结核杆菌，边界框右上方是分类结果，信心分数值越接近1表示结核杆菌的可能性越高。标有tb文字是大于疑似范围的边界框，代表框内有结核杆菌。在显微影像中的每只结核杆菌都会利用固定大小KxK的边界框来表示(K为自然数)。此影像为使用一般光显微镜总放大倍率400且影像像素为1280x960的抗酸性染色结核杆菌显微影像，边界框大小为48×48像素。在图中可看到结核杆菌被包围在边界框内并且位在的中心位置。

在图7B中可看到集成卷积神经网络的识别结果，在采用疑似范围为30％～70％时，敏感度为98.74％，特异度为93.92％，敏感度及特异度的几合平均数为96.30％。敏感度、特异度及几合平均数后面的正负号及数值代表标准偏差。在计算敏感度、特异度及几合平均数时没有包含疑似存在结核杆菌的样本。

如图8A与图8B所示，图8A与图8B为本发明实施例的识别卷积神经网络使用深度卷积神经网络的实验结果的示意图。在本实验中，计算机装置的硬件为一台计算机，配有

i7处理器、

GTX1070显示适配器、16G存储器、硬盘或固态硬盘、USB等外围传输端口，显示适配器包括图形处理器。 硬盘或固态硬盘储存迭代微调更快速R卷积神经网络以及深度卷积神经网络的程序代码，这些程序代码加载到存储器后可供处理器和/或显示适配器执行。硬盘或固态硬盘也储存实验验证所使用的影像数据库，影像数据库包括19,234张彩色抗酸性染色结核病痰液抹片影像，这些影像是利用一般光学显微镜以总放大倍率400拍摄。这些影像是随机选取一半数量的影像作为训练整个系统及方法(含检测卷积神经网络以及识别卷积神经网络)，另一半数量的影像用来测试整个系统及方法。

实验中相关评估包括影像的阳性与阴性、真假阳性与阴性、评估指针，其定义已于前述段落说明，故此不再赘述。

在图8A中可看到实际辨识结果，方形边界框为检测到的结核杆菌，边界框右上方是分类结果，信心分数值越接近1表示结核杆菌的可能性越高。标有tb文字是大于疑似范围的边界框，代表框内有结核杆菌。在显微影像中的每只结核杆菌都会利用固定大小KxK的边界框来表示(K为自然数)。此影像为使用一般光显微镜总放大倍率400且影像像素为1280x960的抗酸性染色结核杆菌显微影像，边界框大小为48×48像素。在图中可看到结核杆菌被包围在边界框内并且位在的中心位置。

在图8B中可看到深度卷积神经网络的识别结果，在采用疑似范围为30％～70％时，敏感度为98.26％，特异度为92.45％，敏感度及特异度的几合平均数为95.29％。敏感度、特异度及几合平均数后面的正负号及数值代表标准偏差。在计算敏感度、特异度及几合平均数时没有包含疑似存在结核杆菌的样本。

图7A与图7B的实验所使用的集成式卷积神经网络，训练及测试使用了54,263,050个参数。图8A与图8B的实验所使用的深度卷积神经网络，训练及测试使用了42,465,794个参数，这个参数量低于集成式卷积神经网络使用的参数量，深度卷积神经网络训练时间较集成的卷积神经网络来的短。

如图9所示，图9为本发明实施例的识别卷积神经网络的实验结果的示意图，敏感度、特异度及几合平均数后面的正负号及数值代表标准偏差。影像数据库也是如同前述实验包括19,234张彩色抗酸性染色结核病痰液抹片影像，检测卷积神经网络使用迭代微调更快速R卷积神经网络，识别卷积神经网络使用不同的卷积神经网络。不论识别卷积神经网络是采用单一滤波器尺寸的卷积神经网络、集成式卷积神经网络、或深度卷积神经网络，都具有不错的识别能力。

综上所述，本发明的一种切片或抹片影像的处理方法、计算机装置及系统，能够滤除切片或抹片影像中大量的不必要或不相关信息，以便于从业人员容易 地且尽可能准确地找出相关信息。

以上所述仅为举例性而非为限制性。任何未脱离本发明的精神与范畴而对其进行的等效修改或变更均应包含于随附的权利要求书中。

Claims (13)

1. 一种方法，用于切片或抹片影像，包括：

   使用检测卷积神经网络处理所述切片或抹片影像，以从所述切片或抹片影像中得到至少一个候选生物体影像；以及

   使用识别卷积神经网络识别所述候选生物体影像，以得到生物体识别结果。
2. 根据权利要求1所述的方法，其中，所述候选生物体影像为细菌影像。
3. 根据权利要求1所述的方法，其中，得到所述至少一个候选生物体影像的步骤包含：

   使用所述检测卷积神经网络处理所述切片或抹片影像，以从所述切片或抹片影像中得到至少一个候选生物体影像框；以及

   在所述至少一个候选生物体影像框的位置以标准尺寸框取出所述至少一个候选生物体影像。
4. 根据权利要求3所述的方法，其中，所述切片或抹片影像的放大倍率为50～500倍，所述标准尺寸框的长度与宽度相等，所述标准尺寸框的长度与宽度介于36个像素至300个像素之间。
5. 根据权利要求1所述的方法，其中，所述识别卷积神经网络包含多个卷积层，所述卷积层的最后一层是分类层，所述分类层输出所述生物体识别结果。
6. 根据权利要求1所述的方法，其中，所述识别卷积神经网络包含多个群卷积层，使用所述识别卷积神经网络识别所述候选生物体影像的步骤包含：

   在同一群卷积层中的各卷积层使用相同大小的滤波器，其中不同群卷积层的滤波器大小不同。
7. 根据权利要求6所述的方法，其中，所述识别卷积神经网络为集成的卷积神经网络，其包括多个并列的群卷积层以及评分器，群卷积层视为在卷积神经网络中，各卷积神经网络识别所述候选生物体影像以各输出运算结果，所述评分器根据所述运算结果输出所述生物体识别结果。
8. 根据权利要求6所述的方法，其中，所述识别卷积神经网络为深度卷积神经网络，各群卷积层串接在一起。
9. 根据权利要求8所述的方法，其中，各群卷积层的各卷积层交错地串接在一起。
10. 根据权利要求1所述的方法，其中，所述生物体识别结果包括机率值，

    其中，所述机率值介于上限值及1之间代表存在生物体；

    其中，所述机率值介于下限值及所述上限值之间代表疑似存在生物体；

    其中，所述机率值介于0及所述下限值之间代表不存在生物体；

    其中，所述方法进一步包括：

    对于识别为疑似存在生物体，将对应的所述候选生物体影像提出确认提示。
11. 根据权利要求1所述的方法，其中，所述检测卷积神经网络为更快速R卷积神经网络、SSD神经网络、或YOLO神经网络。
12. 一种计算机装置，用于切片或抹片影像，包括：

    储存元件，储存可进行如权利要求1至11中任一项所述的方法的程序代码；以及

    处理核心，耦接所述储存元件，执行所述程序代码以进行如权利要求1至11中任一项所述的方法，以处理所述切片或抹片影像。
13. 一种系统，用于切片或抹片，包括：

    显微镜装置，对所述切片或抹片取像以输出切片或抹片影像；以及

    如权利要求12所述的计算机装置，接收并处理所述切片或抹片影像。

Images