TWI676466B - 切片或抹片影像的處理方法、計算機裝置及系統 - Google Patents

Abstract

一種方法，用於一切片或抹片影像，其包括：使用一偵測卷積神經網路處理該切片或抹片影像，以從切片或抹片影像中得到至少一候選生物體影像；以及使用一識別卷積神經網路識別候選生物體影像，以得到一生物體識別結果。

Description

切片或抹片影像的處理方法、計算機裝置及系統

本發明係關於一種影像處理方法、計算機裝置及系統，特別關於一種用於切片或抹片影像的處理方法、計算機裝置及系統。

影像處理是指對圖像進行分析、加工、和處理，使其滿足視覺、心理或其他要求的技術。影像處理是訊號處理在圖像領域上的一個應用。目前大多數的圖像均是以數位形式儲存，因而影像處理很多情況下指數位圖像處理。影像處理目前主要應用在娛樂視訊、工業生產、安全監控等等。

切片檢查法是介入生物體，從生物體的特定組織中取得部分組織作為檢體，組織檢體可能從任何身體部位被取樣，取樣後的組織切片是在人體外進一步以顯微鏡觀察，根據觀察結果產生病理報告。

抹片檢查例如是子宮頸抹片檢查，這是將子宮頸及陰道後壁的剝落細胞取樣在抹片上，取樣後的抹片也是在人體外進一步觀察，根據觀察結果產生報告。

以往切片或抹片的觀察是純人工判讀，容易有人工誤判的情況產生。即使將切片或抹片數位化，但在數位化影像中，仍會包含大量的不必要或不相關或一般正常的資訊，這也造成切片或抹片的觀察判讀容易產生誤判的結果。

因此，如何提供一種切片或抹片影像的處理方法、計算機裝置及系統，能夠濾除切片或抹片影像中大量的不必要或不相關或一般正常的資訊，以便於從業人員容易地且盡可能正確地找出相關資訊，已成為重要課題之一。

有鑑於上述課題，本發明之目的為提供一種切片或抹片影像的處理方法、計算機裝置及系統，能夠濾除切片或抹片影像中大量的不必要或不相關或一般正常的資訊，以便於從業人員容易地且盡可能正確地找出相關資訊。

為達上述目的，依據本發明之一種方法，用於一切片或抹片影像，其包括：使用一偵測卷積神經網路處理該切片或抹片影像，以從切片或抹片影像中得到至少一候選生物體影像；以及使用一識別卷積神經網路識別候選生物體影像，以得到一生物體識別結果。

在一實施例中，候選生物體影像為細菌影像。

在一實施例中，得到至少一候選生物體影像的步驟包含：使用偵測卷積神經網路處理切片或抹片影像，以從切片或抹片影像中得到至少一候選生物體影像框；以及在至少一候選生物體影像框的位置以一標準尺寸框取出至少一候選生物體影像。

在一實施例中，切片或抹片影像的放大倍率為50～500倍，標準尺寸框的長度與寬度相等，標準尺寸框的長度與寬度介於36個畫素至300個畫素之間。

在一實施例中，識別卷積神經網路包含複數卷積層，該等卷積層的最後一層是分類層，分類層輸出生物體識別結果。

在一實施例中，識別卷積神經網路包含複數群卷積層，使用識別卷積神經網路識別候選生物體影像的步驟包含：在同一群卷積層中的各卷積層使用相同大小的濾波器，其中不同群卷積層的濾波器大小不同。

在一實施例中，識別卷積神經網路為集成的卷積神經網路，其包括多個並列的群卷積層以及一評分器，一群卷積層視為在一卷積神經網路中，各卷積神經網路識別候選生物體影像以各輸出一運算結果，評分器根據運算結果輸出生物體識別結果。

在一實施例中，識別卷積神經網路為深度卷積神經網路，各群卷積層係串接在一起。

在一實施例中，各群卷積層的各卷積層交錯地串接在一起。

在一實施例中，生物體識別結果包括一機率值，其中，機率值介於一上限值及1之間代表存在生物體；其中，機率值介於一下限值及上限值之間代表疑似存在生物體；其中，機率值介於0及下限值之間代表不存在生物體；其中，該方法更包括：對於識別為疑似存在生物體，將對應的候選生物體影像提出一確認提示。

在一實施例中，偵測卷積神經網路為更快速R卷積神經網路（Faster R-CNN）、SSD（Single Shot MultiBox Detector）神經網路、或YOLO（You Only Look Once）神經網路。

為達上述目的，依據本發明之一種計算機裝置，用於一切片或抹片影像，其包括一儲存元件以及一處理核心。儲存元件儲存可進行如前所述之方法的程式碼；處理核心耦接儲存元件，執行程式碼以進行如前所述之方法，以處理切片或抹片影像。

為達上述目的，依據本發明之一種系統，用於一切片或抹片，其包括一顯微鏡裝置以及一如前所述之計算機裝置。顯微鏡裝置對切片或抹片取像以輸出一切片或抹片影像；計算機裝置接收並處理切片或抹片影像。

承上所述，本發明之一種切片或抹片影像的處理方法、計算機裝置及系統，能夠濾除切片或抹片影像中大量的不必要或不相關資訊，以便於從業人員容易地且盡可能準確地找出相關資訊。

以下將參照相關圖式，說明依本發明較佳實施例之一種切片或抹片影像的處理方法、計算機裝置及系統，其中相同的元件將以相同的參照符號加以說明。

如圖1所示，圖1為本發明一實施例之一系統的區塊圖。此系統用於一切片（section）或抹片（smear slide）1，系統包括一顯微鏡裝置2以及一計算機裝置4，切片或抹片1在顯微鏡裝置2拍攝影像，拍攝到的切片或抹片影像3再經計算機裝置4處理。計算機裝置4協助快速地、準確地、低錯誤地處理切片或抹片影像3中夾帶的資訊。計算機裝置4可輸出結果到輸出裝置5。輸出裝置5例如是顯示裝置、或列印裝置等等。

切片經取樣後可在人體外進一步觀察，根據觀察結果產生報告。切片例如是活體組織切片（biopsy），這是從生物體例如動物或人類身上取下少量活組織，活體組織切片可用於病理學診斷。切片取樣的方式例如是手術切除、內視鏡或針頭穿刺吸取等。另外，活體組織切片亦可以是液態活體組織切片。

抹片經取樣後可在人體外進一步觀察，根據觀察結果產生報告。抹片例如是子宮頸抹片，這是將子宮頸及陰道後壁的剝落細胞取樣在抹片上。

為了便於觀察或拍攝照片，切片或抹片1可經染色處理，以使切片或抹片1中例如細菌經染色後能更明顯。舉例來說，細菌是病原細菌，例如結核桿菌等等。切片或抹片影像3為細菌影像，例如是染色結核菌影像，進一步例如是數位彩色抗酸染色顯微影像。

顯微鏡裝置2對切片或抹片1取像以輸出切片或抹片影像3。顯微鏡裝置2包括一顯微鏡21以及一輸出入介面22，顯微鏡21將切片或抹片1成像放大，顯微鏡21可具有或連接一照相機，照相機對成像放大的切片或抹片1拍攝影像，拍攝後的切片或抹片影像3透過輸出入介面22傳到計算機裝置4。舉例來說，照相機是數位照相機，其對切片或抹片1拍攝可直接產生數位的切片或抹片影像3；在另一個例子中，照相機是非數位照相機，其對切片或抹片1拍攝後的影像需先經數位化，數位化的切片或抹片影像3再傳到計算機裝置4。輸出入介面22例如是輸出入傳輸埠或網路埠等等，輸出入傳輸埠例如是通用序列匯流排（USB，Universal Serial Bus）埠。

計算機裝置4包括一儲存元件41、一處理核心42以及多個輸出入介面43、44，處理核心42耦接儲存元件41及輸出入介面43、44，輸出入介面43與輸出入介面22通訊，以便計算機裝置4從顯微鏡裝置2接收切片或抹片影像3。輸出入介面44與輸出裝置5通訊，計算機裝置4可透過輸出入介面44輸出生物體識別結果到輸出裝置5。

儲存元件41儲存程式碼，處理核心42執行程式碼以接收及處理切片或抹片影像3。計算機裝置4藉由神經網路濾除切片或抹片影像3中大量的不必要或不相關資訊，以便於從業人員容易地且盡可能準確地找出相關資訊。

儲存元件41包括非揮發性記憶體及揮發性記憶體，非揮發性記憶體例如是硬碟、快閃記憶體、固態碟、光碟片等等。揮發性記憶體例如是動態隨機存取記憶體、靜態隨機存取記憶體等等。處理核心42例如是處理器、控制器等等，處理器包括一或多個核心。處理器可以是中央處理器或圖型處理器，處理核心42亦可以處理器或圖型處理器的核心。另一方面，處理核心42也可以是一個處理模組，處理模組包括多個處理器，例如包括中央處理器及圖型處理器。

如圖2所示，圖2為本發明一實施例之切片或抹片影像的影像處理方法的區塊圖。處理方法包括區塊61至區塊63。

在區塊61及區塊62中，使用一偵測卷積神經網路處理切片或抹片影像3，以從切片或抹片影像3中找到或標記至少一候選生物體影像31、32，候選生物體影像31、32是在候選生物體影像框311、標準尺寸框321內的影像。舉例來說，偵測卷積神經網路為更快速R卷積神經網路（Faster R-CNN）、SSD（Single Shot MultiBox Detector）神經網路、YOLO（You Only Look Once）神經網路。偵測卷積神經網路亦可採用其他能在影像中找到或標記候選生物體的卷積神經網路。

舉例來說，在區塊61中，使用偵測卷積神經網路處理切片或抹片影像3，以從切片或抹片影像3中得到至少一候選生物體影像框311。多個候選生物體影像框311可能大小不同，其位置代表可能有候選生物體的位置。找到或標記至少一候選生物體影像框例如圖3A所示，候選生物體影像31a、31b被找到，並以候選生物體影像框311a、311b標記。

在區塊62中，在候選生物體影像框311a、311b的位置以標準尺寸框321a、321b從切片或抹片影像3取出候選生物體影像32a、32b例如圖3B所示。

從區塊61到區塊62，候選生物體影像框的尺寸調整至一標準尺寸框如圖3C所示，得到的候選生物體影像32具有相同的大小，尺寸調整後的候選生物體影像32再輸入到識別卷積神經網路。在圖3C中，標準尺寸框321的中心對準原候選生物體影像框311的中心，即在切片或抹片影像3上原候選生物體影像框311的位置改以標準尺寸框321取得候選生物體影像32，這樣的話雖然框變大但框內影像的解析度仍保持不變。舉例來說，偵測卷積神經網路的影像偵測結果是以不同的大小的邊界框來表示，然後以標準尺寸框在原邊界框的位置從切片或抹片影像3中取出或剪出相同大小的影像塊。另外，標準尺寸框321的位置不一定要其中心對準原候選生物體影像框311的中心，也可以採用其他的對準方式，例如標準尺寸框321的一角落對準原候選生物體影像框311的對應角落。對準後，標準尺寸框321的範圍應至少含蓋原候選生物體影像框。

標準尺寸框在區塊62執行時是固定大小，舉例來說，切片或抹片影像的放大倍率為50～500倍之間，標準尺寸框的長度與寬度相等，標準尺寸框的長度與寬度介於36個畫素至300個畫素之間。在一些實施方式中，切片或抹片影像的放大倍率為350～450倍之間，標準尺寸框的長度與寬度介於36個畫素至60個畫素之間（含36及60），例如切片或抹片影像的放大倍率為400，長度與寬度皆為48個畫素。在一些實施方式中，切片或抹片影像的放大倍率為150～250倍之間，標準尺寸框的長度與寬度介於60個畫素至120個畫素之間（含60及120），例如切片或抹片影像的放大倍率為200，長度與寬度皆為96個畫素。在一些實施方式中，切片或抹片影像的放大倍率為50～150倍之間，標準尺寸框的長度與寬度介於100個畫素至300個畫素之間（含100及300），例如切片或抹片影像的放大倍率為100，長度與寬度皆為200個畫素。以切片或抹片影像的放大倍率為400來說，標準尺寸框的長度與寬度例如是36x36畫素、48x48畫素、或60x60畫素，切片或抹片影像3的解析度例如是800x600畫素、1024x780畫素、1280x960畫素、1280x1024畫素、1600x1200畫素、或1920x1040畫素等等。搭配例如是切片或抹片影像3的解析度為1024x780畫素，標準尺寸框的固定大小是48x48畫素。標準尺寸框的長度是與切片或抹片影像3的解析度與放大倍率有關，基於運算速度的考量，標準尺寸框的大小也不宜過大，因而切片或抹片影像3的解析度也非越大越好。另一方面，放大倍率過高則影像視野不廣，放大倍率過低則影像解析度不高。影像視野不夠廣會造成觀察範圍有限，影像解析度不高會造成不容易判讀。對於人眼觀察來說，影像放不夠大則不容易觀察，一般人眼觀察是以放大1000倍的切片或抹片影像來觀察，否則不容易識別影像中的生物體，但採用這麼高的放大倍率能觀察的視野範圍有限。相較於此，本案識別採用的影像可以不用那麼高的放大倍率，除了觀察視野較廣，處理速度也較快。

另外，在一些實施例中，標準尺寸框的大小在深度卷積神經網路的一最大濾波器的一寬度的三次方的80%至120%之間，例如標準尺寸框的大小在深度卷積神經網路的最大濾波器的寬度的三次方的90%至110%之間，這使整體識別的運算速度能夠相對地快速。舉例來說，標準尺寸的大小為48x48畫素（48x48=2304畫素），深度卷積神經網路的最大濾波器的寬度為13，寬度的三次方為2197（13x13x13=2197）即2197*90%＜2304＜2197*110%。另外，在一些實施例中，深度卷積神經網路的一最大濾波器的一寬度不大於標準尺寸框的長度或寬度的一半，最大濾波器的寬度較佳是在標準尺寸框的長度或寬度的四分之一到二分之一之間（含四分之一及二分之一）。

在區塊63中，使用一識別卷積神經網路識別候選生物體影像31a，以得到一生物體識別結果。由於偵測卷積神經網路可能會產生大量的負面候選生物體影像，使得偵測卷積神經網路的輸出結果無法直接作為識別結果，因此，在區塊63中，使用另一個卷積神經網路即識別卷積神經網路來進一步進行精確分類偵測卷積神經網路的輸出結果。識別卷積神經網路具有特徵提取的能力，在其最後一層與歸一化指數函數（softmax）分類器結合可進行分類。識別卷積神經網路例如是單一濾波器尺寸的卷積神經網路、集成式卷積神經網路、或深度卷積神經網路。

另外，生物體識別結果可以是一個訊息及／或影像，舉例來說，生物體識別結果可以在原切片或抹片影像3註記呈現，例如在圖3A或圖3B中，在候選生物體影像31a、31b、32a、32b的標記外框旁再註記生物體識別結果的訊息，訊息例如是文字或圖樣。訊息要能代表存在生物體及不存在生物體。

比較本案的辨識方法以及像素基礎偵測的辨識方法，本案的辨識方法可減少人工介入，提高偵測率。像素基礎偵測的辨識方法是以像素為基礎偵測出結核桿菌後選區域，再萃取特徵值，然後將特徵值交給以特徵為基礎的分類器作分類。這種辨識方法的缺點是：(1)需要大量人工介入來設定參數；(2)以像素為基礎偵測率較低；以及(3)以特徵為基礎的分類器容易受萃取特徵之方法影響。相較之下，本案的辨識方法可避免上述缺點。另外，若以特徵為基礎的分類器作分類為參考標準，本案使用神經網路可減少萃取特徵之方法對分類器之影響。

如圖4所示，圖4為本發明實施例之生物體識別結果的示意圖。在一實施例中，生物體識別結果包括一機率值，其中，機率值介於一上限值UL及1之間代表存在生物體；其中，機率值介於一下限值LL及上限值UL之間代表疑似存在生物體；其中，機率值介於0及下限值LL之間代表不存在生物體。機率值可視為對於一個候選生物體影像的識別評分，評分越高代表存在生物體的可信度越高，評分越低代表不存在生物體的可信度越高，評分在中間的則是疑似存在生物體。

舉例來說，疑似存在生物體的疑似範圍（Suspected range）是以機率50%為中心，左右展開相同距離之區域，例如從中心左右展開20%，即30%~70%的機率值範圍。疑似範圍的下限值LL及上限值UL可依實際情況設定。

為了便於再確認，對於識別為疑似存在生物體，將對應的候選生物體影像提出一確認提示。對於機率值在這疑似範圍內的疑似存在生物體的影像，可以讓醫檢師判別確認是否真的有生物體。確認提示可以是在原切片或抹片影像3的特別標記，特別標記有別於存在生物體及不存在生物體的標示。舉例來說，特別標記可以在原切片或抹片影像3註記呈現，例如在圖3A或圖3B中，在候選生物體影像31a、31b、32a、32b的標記外框旁再註記特別標記的訊息，訊息例如是文字或圖樣，其可以用較醒目的顏色提醒注意。

舉例來說，以生物體為結核菌來說，分類結果的機率值落在這個疑似範圍會被定義為疑似結核菌，若一張影像中沒有找到結核菌但含有疑似結核菌，則這張影像會被提出讓醫檢師確認。如果一張影像中有找到結核菌但也含有疑似結核菌，則這張影像可以不用提出讓醫檢師確認，但也可以提出讓醫檢師確認。

以下將舉例說明偵測卷積神經網路及識別卷積神經網路。

如圖5A所示，圖5A為本發明實施例之偵測卷積神經網路的區塊圖。偵測卷積神經網路61a是更快速R卷積神經網路（Faster R-CNN），其包括特徵映射卷積網路、區域提議網路613（RPN，Region Proposal Network）及快速R卷積神經網路614（Fast R-CNN）。特徵映射卷積網路由ZF網路611（ZF net）實現，ZF網路611由五個卷積層組成，其中最大池化層應用於第一和第二卷積層輸出。ZF網路611的結構如圖5B的表格所示。舉例來說，切片或抹片影像3為1280x960畫素大小的原始RGB圖像作為ZF網路611的輸入，ZF網路611最終輸出的特徵圖為80x60具256維。另外，切片或抹片影像3的解析度應小於等於ZF網路611的輸入解析度，例如ZF網路611的輸入為1280x960畫素大小的原始RGB圖像，切片或抹片影像3的解析度可以是1280x960畫素、或1024x768畫素等等。

此外，區域提議網路613和快速R卷積神經網路614共享ZF網路611輸出的特徵圖612。區域提議網路613依據搜尋物件的框回歸和可信度評分，以產生多個不同大小的邊界框（bbox）。然後，藉這些邊界框預測物件並將它們整合到一些區域提議中。這些提議的特徵圖上的對應感興趣區域6121（ROI，Region of Interest）會被轉移到快速R卷積神經網路614以供進一步使用。這樣的設計中，共享特徵圖可以節省成本，還可提高提議質量和整體檢測準確性。

然後，快速R卷積神經網路614從區域提議網路613收到提議，並從共享特徵圖612接收對應感興趣區域6121的特徵。不同尺寸的感興趣區域6121特徵最大化為HxW特徵圖。舉例來說，H設為6，W設為6。固定大小的特徵圖被饋送到一系列完全連接層，最後連接到兩個兄弟層（sibling layer）進行​​分類和邊界框回歸。進行分類會給出偵測可信度評分，進行回歸會給出邊界框的位置回歸。檢測將被裁剪為48x48畫素並輸出到下一階段。

在訓練過程中，由專家確認標記有正確邊界框的切片或抹片影像會用來訓練偵測卷積神經網路61a（更快速R卷積神經網路），偵測卷積神經網路61a對此訓練用影像進行上述處理並輸出訓練下的邊界框，當訓練下的邊界框與專家標記的邊界框在切片或抹片影像中重疊情況大於或等於閾值時，訓練下的邊界框及其候選生物體影像被標記為正面樣本（陽性樣本）；否則，它被標記為負面樣本（陰性樣本）。換句話說，陽性樣本保持結核分枝桿菌，但陰性樣本沒有。舉例來說，閾值的範圍在0.4與1之間（含0.4與1），例如設置為0.6。

如圖5C所示，圖5C為本發明實施例之偵測卷積神經網路的區塊圖。與圖5A相較，偵測卷積神經網路61b是迭代微調更快速R卷積神經網路（RFR-CNN，Iterative refinement of Faster R-CNN），其更包括迭代微調615。迭代微調615是調整快速R卷積神經網路614的輸出結果。首先利用更快速R卷積神經網路偵測出切片或抹片影像3上的候選物件生物體，然後進行迭代來微調偵測位置。迭代微調流程是：區域提議網路613產生區域提議，然後迭代微調615對區域提議作出目標與否的信心評分及位置修正。根據這個流程，區域提議的結果可以進行再提議來獲得再次的評分與位置修正。這樣從區域提議一直到當位置出現重覆時，擁有最高評分的偵測就成為微調後的輸出。因此，快速R卷積神經網路614可被視為一對函數fb和函數fs，函數fb輸出回歸的邊界框br，函數fs基於區域提議網路613的區域提議中的邊界框b產生可信度評分s。數學表示如下： br = fb(b) (1) s = fs(b) (2)

其中回歸的邊界框br是根據區域提議網路613提出的邊界框b而產生，評分s是偵測的可信度評分。為了迭代地反饋輸出邊界框作為輸入彙編到區域提議網路613的區域提議，以便細調邊界框的位置，上述式(1)及式(2)更新如下： b _{t+ 1}= fb(b _t) (1) s _{t+ 1}= fs(b _t) (2)

其中b _t是在迭代t反饋的回歸邊界框，b _t+1和s _t+1是輸出邊界框及其對應的可信度評分。在細調開始時，迭代索引t=0。在每次迭代之後，可得到新的回歸邊界框及其對應的可信度評分。繼續迭代會更新位置和評分。在一實施例中，最大迭代次數設為10以防止溢出。迭代停止後，具有最大可信度評分的回歸邊界框作為細調結果。圖5D與圖5E顯示一個細調改善結果的例子，進行迭代微調前快速R卷積神經網路614的輸出邊界框為圖5D中粗體深色黑框，但較佳的邊界框應位在淺色框。經迭代微調後，細調邊界框的位置移到如圖5E中粗體深色黑框，這個粗體深色黑框更接近圖5D中較佳的邊界框的位置。

如圖6A至圖6C所示，圖6A至圖6C為本發明實施例之識別卷積神經網路的區塊圖。識別卷積神經網路64a～64c包含複數卷積層，卷積層的最後一層是分類層，分類層輸出生物體識別結果。分類層例如連接歸一化指數函數的分類器以輸出生物體識別結果。

舉例來說，大部分的卷積層的濾波器移動步幅為1，其中至少一個卷積層（例如一個、或二個、或三個）的濾波器移動步幅大於1（例如2或2以上），而且這個步幅較大的卷積層介於其餘步幅為1的卷積層之間，其餘卷積層的步幅為1。濾波器移動步幅大於1的卷積層層數需求是看訓練狀況來調整決定。

濾波器大小是與切片或抹片影像3的解析度有關，也與候選生物體影像的大小有關。舉例來說，濾波器大小介於3x3到15x15之間（包含3x3及15x15），濾波器大小通常是奇數，例如3x3、5x5、7x7、9x9、11x11、13x13或15x15。

在圖6A中，識別卷積神經網路64a為單一濾波器尺寸的卷積神經網路，在同一群卷積層中的各卷積層使用相同大小的濾波器以進行NxN的卷積運算（N為自然數）。舉例來說，其輸入是從偵測卷積神經網路所輸出的候選生物體影像，其大小例如是48x48的RGB圖像塊。識別卷積神經網路64a有8個卷積層，只有第三個和第六個卷積層的步幅是2，其他卷積層的步幅是1，步幅2的卷積層是作為下取樣，在整個識別卷積神經網路64a中沒有設置池化層。所有捲積層都配有線性整流函數（ReLU，Rectified Linear Unit）作為活化函數，前三個卷積層的厚度（dimension）為96，其餘卷積層的厚度（dimension）為192。一般來說，若一個卷積層的厚度越多，其使用的濾波器也越多。其中6個連續相接且使用相同大小的濾波器NxN的卷積層為同一群卷積層。最後一層1x1卷積層完全連接到歸一化指數函數層，以產生歸一化指數函數評分用於分類。若以結核桿菌的應用來說，輸出會包括結核桿菌或非結核桿菌的分類結果、以及其相對應的信心分數。

以上是舉例說明並非限定識別卷積神經網路64a的輸入影像大小、卷積層數量、卷積層的步幅、配有線性整流函數與否、以及卷積層厚度。同一群卷積層的連續相接數量也不限於6，步幅較大的卷積層位置也可前後調整。

在圖6B中，識別卷積神經網路64b為集成的卷積神經網路，其包括多個並列的卷積神經網路1～m以及一評分器，各卷積神經網路中包括一群卷積層，即一個群卷積層視為在一個卷積神經網路中。各卷積神經網路1～m識別候選生物體影像以各輸出一運算結果，評分器根據這些運算結果輸出生物體識別結果。若以結核桿菌的應用來說，輸出會包括結核桿菌或非結核桿菌的分類結果、以及其相對應的信心分數。

在同一群卷積層中的各卷積層使用相同大小的濾波器，其中不同群卷積層的濾波器大小不同。舉例來說，卷積神經網路1～m使用如圖6A中的單一濾波器尺寸的卷積神經網路，但各卷積神經網路1～m中的同一群卷積層所使用的濾波器大小不同，例如卷積神經網路1中的同一群卷積層皆使用5x5的濾波器，卷積神經網路2中的同一群卷積層皆使用7x7的濾波器，以上只是舉例說明使用不同大小的濾波器，並非限定濾波器必須使用以上大小。

舉例來說，識別卷積神經網路64b包括五個單一濾波器尺寸的卷積神經網路1～5（m=5），其中每個卷積神經網路接收相同的輸入圖像，但各別輸出歸一化指數函數評分到評分器，評分器將這些歸一化指數函數評分取平均值作為生物體識別結果。

在圖6C中，識別卷積神經網路64c為深度卷積神經網路，各群卷積層係串接在一起，例如是各群卷積層的各卷積層交錯地串接在一起，一個群卷積層是指一些卷積層是使用相同大小的濾波器。與圖6B的集成的卷積神經網路相較，一個群卷積層中的各卷積層是先打散，連接到另一個群卷積層的卷積層，例如同一群卷積層中至少二個卷積層與另一群卷積層中至少二個卷積層彼此直接前後串接在一起。

在圖6C的例子中，使用了五種（m=5）不同濾波器尺寸的卷積神經網路連續串接在一起組成深度卷積神經網路，在這個例子中，輸入是從偵測卷積神經網路所輸出的候選生物體影像，其大小例如是48x48的RGB圖像塊。深度卷積神經網路包括24個卷積層，其中第11層和第22層的卷積層的步幅為2，其他卷積層的步幅為1，第11及22層的步幅2的目的是降維或下取樣。在整個識別卷積神經網路64c中沒有設置池化層。所有卷積層都配有線性整流函數（ReLU，Rectified Linear Unit）作為活化函數，前11個卷積層的厚度（dimension）為96，其餘卷積層的厚度（dimension）為192。最後一層1x1卷積層是完全連接到歸一化指數函數層，以輸出評分用於分類。若以結核桿菌的應用來說，輸出會包括結核桿菌或非結核桿菌的分類結果、以及其相對應的信心分數。

五種不同濾波器尺寸例如是5x5、7x7、9x9、11x11、13x13，從輸入到第一次降維之間的卷積層是濾波器由小到大，且同樣大小濾波器的卷積層會連續相連。從第一次降維到第二次降維之間的卷積層是濾波器由小到大，且同樣大小濾波器的卷積層會連續相連。

以上是舉例說明並非限定識別卷積神經網路64c的輸入影像大小、卷積層數量、卷積層的步幅、配有線性整流函數與否、以及卷積層厚度。步幅較大的卷積層位置也可前後調整。從輸入到第一次降維之間的卷積層的配置順序也不限於此，從第一次降維到第二次降維之間的卷積層順序也不限於此，同樣大小濾波器的卷積層也可以不連續相連。

在訓練的過程中，由於負面樣本的數量很大，因此不可能使用全部負面樣本來訓練識別卷積神經網路。為了避免了樣本不平衡的問題，可以隨機選擇少量的陰性樣本來訓練識別卷積神經網路，陽性樣本可以全部都拿來訓練識別卷積神經網路。舉例來說，陰性樣本的數量是陽性樣本的四倍，陽性樣本選擇全部。

在一個訓練過程例子中，陰性樣本由於數量過大採用隨機選擇作為輸入，識別卷積神經網路的所有參數是隨機初始化。識別卷積神經網路的所有訓練機制都使用隨機梯度下降算法。集成的卷積神經網路的各卷積神經網路成員是個別訓練，使用的小批量（mini-batch）大小為16，動量（momentum）為0.9。在輸入層，第三層卷積層和第六層卷積層使用了壓差正則化（batch normalization）方法。學習率被指定為0.0001。當訓練精度大於95％且近期準確度改善小於0.01％時，訓練機制停止。相較於集成的卷積神經網路，深度卷積神經網路的訓練機制較為簡單，因為訓練只需要訓練深度卷積神經網路，其所有參數設置方法和學習方法與集成的卷積神經網路中的參數設置方法和學習方法相同。在輸入層，第11層卷積層和第22層卷積層使用了壓差正則化方法。

以下舉實驗例子說明辨識結果。在這些實驗例子中，偵測卷積神經網路使用迭代微調更快速R卷積神經網路，識別卷積神經網路使用不同的卷積神經網路，這些神經網路用在顯微影像中辨識結核桿菌。訓練過程使用一定數量已標記的數位彩色耐酸染色顯微影像，測試識別時以迭代微調更快速R卷積神經網路先找出可能有結核桿菌的影像區塊，然後再利用識別卷積神經網路偵測出結核菌。

如圖7A與圖7B所示，圖7A與圖7B為本發明實施例之識別卷積神經網路使用集成卷積神經網路的實驗結果的示意圖。在本實驗中，計算機裝置的硬體為一台電腦，配有Intel® i7處理器、NVIDIA® GTX1070顯示卡、16G記憶體、硬碟或固態硬碟、USB等週邊傳輸埠，顯示卡包括圖形處理器。硬碟或固態硬碟儲存迭代微調更快速R卷積神經網路以及集成卷積神經網路的程式碼，這些程式碼載入到記憶體後可供處理器及／或顯示卡執行。硬碟或固態硬碟也儲存實驗驗證所使用之影像資料庫，影像資料庫包括19,234張彩色抗酸性染色結核病痰液抹片影像，這些影像是利用一般光學顯微鏡以總放大倍率400拍攝。這些影像是隨機選取一半數量的影像作為訓練整個系統及方法（含偵測卷積神經網路以及識別卷積神經網路），另一半數量的影像用來測試整個系統及方法。

實驗中相關評估包括影像的陽性與陰性、真假陽性與陰性、評估指標，其定義分述如下。

影像的陽性與陰性定義如下： 影像為陽性：若一張影像被分類為存在一隻或多於一隻結核桿菌，此張影像被辨識為陽性 影像為陰性：若一張影像完全沒有任何結核桿菌，此張影像被辨識為陰性

真陽性、真陰性、假陽性、與假陰性定義如下： 真陽性（TP）：本識別方法及專家都辨識為陽性 真陰性（TN）：本識別方法及專家都辨識為陰性 假陽性（FP）：本識別方法辨識為陽性，專家辨識為陰性 假陽性（FN）：本識別方法辨識為陰性，專家辨識為陽性

評估指標的敏感度與特異度定義如下： 敏感度=TP/(TP+FN) 特異度=TN/(TN+FP)

在圖7A中可看到一實際辨識結果，方形邊界框為偵測到的結核桿菌，邊界框右上方是分類結果，信心分數值越接近1表示結核桿菌的可能性越高。標有tb文字是大於疑似範圍的邊界框，代表框內有結核桿菌。在顯微影像中的每隻結核桿菌都會利用固定大小KxK的邊界框來表示（K為自然數）。此影像為使用一般光顯微鏡總放大倍率400且影像像素為1280x960的抗酸性染色結核桿菌顯微影像，邊界框大小為48x48像素。在圖中可看到結核桿菌被包圍在邊界框內並且位在的中心位置。

在圖7B中可看到集成卷積神經網路的識別結果，在採用疑似範圍為30%～70%時，敏感度為98.74%，特異度為93.92%，敏感度及特異度的幾合平均數為96.30%。敏感度、特異度及幾合平均數後面的正負號及數值代表標準差。在計算敏感度、特異度及幾合平均數時沒有包含疑似存在結核桿菌的樣本。

如圖8A與圖8B所示，圖8A與圖8B為本發明實施例之識別卷積神經網路使用深度卷積神經網路的實驗結果的示意圖。在本實驗中，計算機裝置的硬體為一台電腦，配有Intel® i7處理器、NVIDIA® GTX1070顯示卡、16G記憶體、硬碟或固態硬碟、USB等週邊傳輸埠，顯示卡包括圖形處理器。硬碟或固態硬碟儲存迭代微調更快速R卷積神經網路以及深度卷積神經網路的程式碼，這些程式碼載入到記憶體後可供處理器及／或顯示卡執行。硬碟或固態硬碟也儲存實驗驗證所使用之影像資料庫，影像資料庫包括19,234張彩色抗酸性染色結核病痰液抹片影像，這些影像是利用一般光學顯微鏡以總放大倍率400拍攝。這些影像是隨機選取一半數量的影像作為訓練整個系統及方法（含偵測卷積神經網路以及識別卷積神經網路），另一半數量的影像用來測試整個系統及方法。

實驗中相關評估包括影像的陽性與陰性、真假陽性與陰性、評估指標，其定義已於前述段落說明，故此不再贅述。

在圖8A中可看到一實際辨識結果，方形邊界框為偵測到的結核桿菌，邊界框右上方是分類結果，信心分數值越接近1表示結核桿菌的可能性越高。標有tb文字是大於疑似範圍的邊界框，代表框內有結核桿菌。在顯微影像中的每隻結核桿菌都會利用固定大小KxK的邊界框來表示（K為自然數）。此影像為使用一般光顯微鏡總放大倍率400且影像像素為1280x960的抗酸性染色結核桿菌顯微影像，邊界框大小為48x48像素。在圖中可看到結核桿菌被包圍在邊界框內並且位在的中心位置。

在圖8B中可看到深度卷積神經網路的識別結果，在採用疑似範圍為30%～70%時，敏感度為98.26%，特異度為92.45%，敏感度及特異度的幾合平均數為95.29%。敏感度、特異度及幾合平均數後面的正負號及數值代表標準差。在計算敏感度、特異度及幾合平均數時沒有包含疑似存在結核桿菌的樣本。

圖7A與圖7B的實驗所使用的集成式卷積神經網路，訓練及測試使用了54,263,050個參數。圖8A與圖8B的實驗所使用的深度卷積神經網路，訓練及測試使用了42,465,794個參數，這個參數量低於集成式卷積神經網路使用的參數量，深度卷積神經網路訓練時間較集成的卷積神經網路來的短。

如圖9所示，圖9為本發明實施例之識別卷積神經網路的實驗結果的示意圖，敏感度、特異度及幾合平均數後面的正負號及數值代表標準差。影像資料庫也是如同前述實驗包括19,234張彩色抗酸性染色結核病痰液抹片影像，偵測卷積神經網路使用迭代微調更快速R卷積神經網路，識別卷積神經網路使用不同的卷積神經網路。不論識別卷積神經網路是採用單一濾波器尺寸的卷積神經網路、集成式卷積神經網路、或深度卷積神經網路，都具有不錯的識別能力。

綜上所述，本發明之一種切片或抹片影像的處理方法、計算機裝置及系統，能夠濾除切片或抹片影像中大量的不必要或不相關資訊，以便於從業人員容易地且盡可能準確地找出相關資訊。

以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

1‧‧‧切片或抹片

2‧‧‧顯微鏡裝置

21‧‧‧顯微鏡

22‧‧‧輸出入介面

3‧‧‧切片或抹片影像

31、31a、31b、32、32a、32b‧‧‧候選生物體影像

311、311a、311b‧‧‧候選生物體影像框

321、321a、321b‧‧‧標準尺寸框

4‧‧‧計算機裝置

41‧‧‧儲存元件

42‧‧‧處理核心

43、44‧‧‧輸出入介面

5‧‧‧輸出裝置

61～63‧‧‧區塊

61a、61b‧‧‧偵測卷積神經網路

611‧‧‧ZF網路

612‧‧‧特徵圖

6121‧‧‧感興趣區域

613‧‧‧區域提議網路

614‧‧‧快速R卷積神經網路

615‧‧‧迭代微調

64a～64c‧‧‧識別卷積神經網路

LL‧‧‧下限值

UL‧‧‧上限值

圖1為本發明一實施例之一系統的區塊圖。 圖2為本發明一實施例之切片或抹片影像的影像處理方法的區塊圖。 圖3A為偵測卷積神經網路找到或標記候選生物體影像的示意圖。 圖3B為圖3A中以標準尺寸框得到候選生物體影像的示意圖。 圖3C為候選生物體影像框及標準尺寸框的示意圖。 圖4為本發明實施例之生物體識別結果的示意圖。 圖5A為本發明實施例之偵測卷積神經網路的區塊圖。 圖5B為圖5A中ZF網路的結構表的示意圖。 圖5C為本發明實施例之偵測卷積神經網路的區塊圖。 圖5D與圖5E為圖5C中迭代微調結果的示意圖。 圖6A至圖6C為本發明實施例之識別卷積神經網路的區塊圖。 圖7A與圖7B為本發明實施例之識別卷積神經網路使用集成卷積神經網路的實驗結果的示意圖。 圖8A與圖8B為本發明實施例之識別卷積神經網路使用深度卷積神經網路的實驗結果的示意圖。 圖9為本發明實施例之識別卷積神經網路的實驗結果的示意圖。

Claims (12)

1. 一種生物體識別方法，用於一切片或抹片影像，包括：使用一偵測卷積神經網路處理該切片或抹片影像，以從該切片或抹片影像中得到至少一候選生物體影像；以及使用一識別卷積神經網路識別該候選生物體影像，以得到一生物體識別結果，其中，得到該至少一候選生物體影像的步驟包含：使用該偵測卷積神經網路處理該切片或抹片影像，以從該切片或抹片影像中得到至少一候選生物體影像框；以及在該至少一候選生物體影像框的位置以一標準尺寸框取出該至少一候選生物體影像。
2. 如申請專利範圍第1項所述之方法，其中，該候選生物體影像為細菌影像。
3. 如申請專利範圍第1項所述之方法，其中，該切片或抹片影像的放大倍率為50~500倍，該標準尺寸框的長度與寬度相等，該標準尺寸框的長度與寬度介於36個畫素至300個畫素之間。
4. 如申請專利範圍第1項所述之方法，其中，該識別卷積神經網路包含複數卷積層，該等卷積層的最後一層是分類層，該分類層輸出該生物體識別結果。
5. 如申請專利範圍第1項所述之方法，其中，該識別卷積神經網路包含複數群卷積層，使用該識別卷積神經網路識別該候選生物體影像的步驟包含：在同一群卷積層中的各卷積層使用相同大小的濾波器，其中不同群卷積層的濾波器大小不同。
6. 如申請專利範圍第5項所述之方法，其中，該識別卷積神經網路為集成的卷積神經網路，其包括多個並列的群卷積層以及一評分器，一群卷積層視為在一卷積神經網路中，各卷積神經網路識別該候選生物體影像以各輸出一運算結果，該評分器根據該等運算結果輸出該生物體識別結果。
7. 如申請專利範圍第5項所述之方法，其中，該識別卷積神經網路為深度卷積神經網路，各群卷積層係串接在一起。
8. 如申請專利範圍第7項所述之方法，其中，各群卷積層的各卷積層交錯地串接在一起。
9. 如申請專利範圍第1項所述之方法，其中，該生物體識別結果包括一機率值，其中，該機率值介於一上限值及1之間代表存在生物體；其中，該機率值介於一下限值及該上限值之間代表疑似存在生物體；其中，該機率值介於0及該下限值之間代表不存在生物體；其中，該方法更包括：對於識別為疑似存在生物體，將對應的該候選生物體影像提出一確認提示。
10. 如申請專利範圍第1項所述之方法，其中，該偵測卷積神經網路為更快速R卷積神經網路、SSD神經網路、或YOLO神經網路。
11. 一種計算機裝置，用於一切片或抹片影像，包括：一儲存元件，儲存可進行如申請專利範圍第1至10任一項所述之方法的程式碼；以及一處理核心，耦接該儲存元件，執行該程式碼以進行如申請專利範圍第1至10任一項所述之方法，以處理該切片或抹片影像。
12. 一種生物體識別系統，用於一切片或抹片，包括：一顯微鏡裝置，對該切片或抹片取像以輸出一切片或抹片影像；以及一如申請專利範圍第11所述之計算機裝置，接收並處理該切片或抹片影像。