TWI733627B

TWI733627B - 基於胸部低劑量電腦斷層影像之深度學習肺結節偵測方法及電腦程式產品

Info

Publication number: TWI733627B
Application number: TW109142064A
Authority: TW
Inventors: 黃兆熊; 程大川
Original assignee: 中國醫藥大學
Priority date: 2020-11-30
Filing date: 2020-11-30
Publication date: 2021-07-11
Also published as: TW202223914A

Abstract

一種基於胸部低劑量電腦斷層影像之深度學習肺結節偵測方法包含：一肺結節偵測階段及一偽陽性排除階段。於肺結節偵測階段中，係準備一來源資料集且進行一交叉驗證；將來源資料集中的CT影像拆解成多數2D的切片影像，並對CT影像進行影像增強、肺部區域偵測、及三通道合成，以獲得一第一資料集；以一Mask R-CNN圖像分割模型，接受該第一資料集來進行訓練，且以交叉驗證所訓練出的多個Mask R-CNN模型來進行負難例挖掘(Hard Negative Mining)，以篩選出負難例；及將負難例與交叉驗證產生的多個訓練集整合，以完成一第二資料集來訓練一Mask R-CNN模型。於偽陽性排除階段中，將該來源資料集中的正例及從肺結節偵測階段中篩選出的負例組合成一資料集，並從來源資料集的CT影像，以肺結節偵測階段訓練出的Mask R-CNN模型預測出偽陽性結果的質心座標為中心點，切割出長方體立體影像；及以一3D CNN模型接受長方體立體影像來進行訓練。

Description

基於胸部低劑量電腦斷層影像之深度學習肺結節偵測方法及電腦程式產品

本發明關於一種肺結節偵測方法，特別是關於一種基於胸部低劑量電腦斷層影像之深度學習肺結節偵測方法。

近年來，肺癌已成國人健康重大隱憂，而肺結節偵測是肺癌早期治療的重大關鍵。因此，遂有肺結節偵測系統之發展，以協助放射科醫師之診斷工作，提升其診斷品質及效率。

已知肺結節偵測雖已朝向基於深度學習和神經網路來發展，然在實際之應用上仍有模型架構複雜、訓練成本過高、準確度不足等缺失。且於完成肺結節偵測後，習知肺結節偵測系統在進行偽陽性排除時，更遭遇偽陽性預測率(false positive rate)不佳之問題。

有鑑於此，實有需要建立一種基於胸部低劑量電腦斷層影像之深度學習肺結節偵測方法，以有效協助放射科醫師之診斷工作，進而提升其診斷品質及效率。

本發明提出一種基於胸部低劑量電腦斷層影像之深度學習肺結節偵測方法，以克服前述習知技術之缺失。

依據本發明之一特色，係提出一種基於胸部低劑量電腦斷層影像之深度學習肺結節偵測方法，包含：一肺結節偵測階段，包含步驟：(A)準備一包含多數CT影像及標示多個肺結節的來源資料集，且對該來源資料集進行一交叉驗證，其中，該交叉驗證是以多個訓練集來訓練出多個Mask R-CNN模型及獲得多份測試結果；(B)將該來源資料集中的CT影像拆解成多數2D的切片影像，並對該CT影像進行影像增強、肺部區域偵測、及三通道合成，以獲得一包含多張合成的2D圖像的第一資料集；(C)以一Mask R-CNN圖像分割模型，接受該第一資料集來進行訓練，且以該交叉驗證所訓練出的多個Mask R-CNN模型來進行負難例挖掘(Hard Negative Mining)，以篩選出負難例；及(D)將該負難例與該交叉驗證的多個訓練集整合，以完成一具有陽性肺結節及難負例等二類別的第二資料集，並利用該第二資料集訓練一Mask R-CNN模型；以及一偽陽性排除階段，包含步驟：(E)將該來源資料集中有標示的肺結節作為正例，再從該肺結節偵測階段的該交叉驗證的測試結果中篩選出偽陽性例作為負例，組合成一個具有結節與非結節等二類別的第三資料集，再從該來源資料集的CT影像，以該肺結節偵測階段訓練出的Mask R-CNN模型預測出偽陽性結果的質心座標為中心點，切割出長方體立體影像；及(F)以一3D CNN模型接受該長方體立體影像來進行訓練。

依據本發明之另一特色，係提出一種電腦程式產品，儲存於一非暫態電腦可讀取媒體之中，該電腦程式產品具備一指令，使一電腦系統進行前述的基於胸部低劑量電腦斷層影像之深度學習肺結節偵測方法。

以上概述與接下來的詳細說明皆為示範性質，是為了進一步說明本發明的申請專利範圍，而有關本發明的其他目的與優點，將在後續的說明與圖式加以闡述。

11:肺結節偵測階段

12:偽陽性排除階段

111,121:資料準備及處理

112:第一資料集

113:Mask R-CNN圖像分割模型

114:負難例挖掘

115:第二資料集

116:Mask R-CNN模型

122:3D CNN模型

S21~S23:步驟

S31~S33:步驟

S321~S329:步驟

S51~S52:步驟

圖1是本發明的基於胸部低劑量電腦斷層影像之深度學習肺結節偵測方法的架構圖；圖2是依據本發明的方法的10等份交叉驗證的流程圖；圖3是依據本發明的方法的肺結節偵測階段的資料處理流程圖；圖4顯示依據本發明的方法的肺部區域偵測的輸出圖像；圖5是依據本發明的方法的肺結節偵測階段的模型訓練流程；圖6示意地顯示依據本發明的方法的偽陽性排除階段的3D CNN模型；以及圖7示意地顯示依據本發明的方法於3D CNN模型中使用MixConv技術。

以下說明書將提供本發明的多個實施例。可理解的是，這些實施例並非用以限制。本發明的各實施例的特徵可加以修飾、置換、組合、分離及設計以應用於其他實施例。

本說明書與請求項所使用的序數例如“第一”、“第二”等之用詞，以修飾請求元件，並不意含及代表較大序數之前必然存在較小序數，也不代表某一請求元件與另一請求元件的排列順序、或是製造順序，該些序數的使用僅用來使具有某命名的一請求元件得以和具有相同命名的另一請求元件能作出清楚區分。

此外，本文關於“當...”或“...時”等描述係表示”當下、之前或之後”等態樣，而不限定為同時發生之情形，在此先行敘明。本文關於“設置於...上”等類似描述係表示兩元件的對應位置關係，除了有特別限定者之外，並不限定兩元件之間是否有所接觸，在此先行敘明。再者，本文若在多個功效(或元件)之間使用“或”一詞，係表示功效(或元件)可獨立存在，但亦不排除多個功效(或元件)可同時存在的態樣。

另外，本發明中關於「連接」、「電性連接」或「耦接」等詞，若無特別強調，則表示包括了直接連接與間接連接之態樣。另外，在本揭露中關於「包含」、「包括」、「具有」、「具備」等用語皆屬於開放式之描述，在此先行敘明。

再者，以下關於本發明的各種實施例，皆可透過軟體程式或電子電路的方式實現，且不限於此。

本發明是一基於胸部低劑量電腦斷層影像之深度學習肺結節偵測方法及電腦程式產品，如圖1所示，基於胸部低劑量電腦斷層影像之深度學習肺結節偵測方法在結構上包括一肺結節偵測階段11及一偽陽性排除階段12，其中，肺結節偵測階段11主要是負責從2D的CT切片中找出肺結節的可能位置，並計算該位置的質心(center of mass)座標，且於得出質心座標後，再根據該座標從原始3D的CT掃描影像中擷取肺結節的可能位置的立體影像，並將該立體影像輸入偽陽性排除階段12。偽陽性排除階段12則負責將肺結節的可能位置的立體影像分成「陽性」或「陰性」，以將肺結節偵測階段模型產生的偽陽性預測排除，降低系統整體的偽陽性率。

如圖1所示，於深度學習肺結節偵測方法的肺結節偵測階段11中，係先進行肺結節偵測的資料準備及處理111。資料準備是用以準備一包含多數CT影像及標示多個肺結節的來源資料集，本發明是基於由美國國家癌症研究所(National Cancer Institute,NCI)建立、及美國國家衛生研究所基金會(Foundation for the National Institutes of Health,FNIH)以及美國食品藥品管理監督局(Food and Drug Administration,FDA)協力組建的LIDC-IDRI(Lung Image Database Consortium image collection and Image Database Resource Initiative)資料集作為原始資料集來獲取本發明所需的來源資料集，其中，LIDC-IDRI原始資料集共包含1018份CT掃描影像，每份掃描含有0到6個肺結節，每份影像均由四位經驗豐富的放射科醫師進行二階段影像標記，在第一階段，每一位放射師獨立進行標註，並將標註的區域診斷為以下三個類別之一：(1)≧3mm的肺結節；(2)<3mm的肺結節；(3)非結節；在第二階段，每位放射科醫師參考另外三位放射科醫師的診斷，並給出自己的最終診斷結果。

本發明為了維持資料集所包含之CT影像在解析度上的一致性，故只從LIDC-IDRI資料集中選取切片厚度大於等於2.5毫米的CT影像、以及存在於這些CT影像中且符合結節直徑≧3mm、及獲3至4位放射科醫師認可等條件之肺結節標記作為訓練及測試資料，以這些條件完成篩選之來源資料集共包含897份CT影像和1179個陽性肺結節實例。

肺結節偵測階段11是由前述之來源資料集(897份CT影像、1179個陽性肺結節實例)來進行模型訓練。此階段之訓練是用以對該來源資料集進行一交叉驗證，其中，該交叉驗證是以多個訓練集來訓練出多個基於區域的遮罩式卷積神經網路(Mask Region-based Convolutional Neural Network，Mask R-CNN)模型及獲得多份測試結果。於本實施例中，該交叉驗證是一10等份交叉驗證(10-fold cross validation)，如圖2所示，此10等份交叉驗證包括：步驟S21：將來源資料集以CT影像為單位，隨機分為子資料集(0)、子資料集(1)、......、子資料集(9)等10等份(每等份含有89~90份CT影像)；以及，以索引值i=0~9，進行以下步驟：步驟S22：選擇子資料集(i)作為測試集(i)，同時將其他9等份子資料集合併為訓練集(i)；及步驟S23：以訓練集(i)訓練出一個Mask R-CNN模型(i)，並在訓練結束後以子資料集(i)測試Mask R-CNN模型(i)之表現；因此，最終可得到10個不同的Mask R-CNN(Mask R-CNN模型(0)~Mask R-CNN模型(9))以及在各自測試集(測試集(0)~測試集(9))中的測試結果，將此10份測試結果合併，可作為第一階段模型整體表現之評估指標。

圖3顯示前述肺結節偵測階段11的資料處理主要包含：影像增強(image enhancement)步驟S31、肺部區域偵測(lung area detection)步驟S32、及三通道合成步驟S33等三個處理步驟。首先，由於肺結節偵測階段11的模型的輸入為2D圖像，因此需將來源資料集中的CT影像拆解成許多2D的切片影像以利輸入模型，為此，可利用以下公式1對來源資料集中的897份CT影像中的亨氏單位(Hounsfield Unit，HU)值進行運算，以達到影像增強的效果。

其中，a和b是由選擇的窗寬(window width)和窗位(window level)決定，於本發明中，由於對所有CT影像序列選擇的固定窗位為-400HU、固定窗寬則為1500HU，因此可得a=([2×(-400)-1500])/2=-1150HU、b=([2×(-400)+1500])/2=350HU。

於肺部區域偵測步驟S32中，是對經過前述影像增強後的切片影像以一連串的影像形態學函數進行肺部區域偵測，藉以去除肺部以外區域的雜訊。更特定地，前述肺部區域偵測步驟S32包含九個步驟如下：(1)影像二值化(thresholding)步驟321：此步驟使用的閾值為-400HU，能達到區分肺部區域和肺外體腔的效果，經過二值化之後的影像會變成二值圖像(binary image)；(2)邊界清除步驟S322：將二值圖像(binary image)中靠近圖像邊界的1值清除；(3)連通區域標記(label)步驟323：將二值化的圖像區分為一個或多個連通區域；(4)連通區域篩選步驟324：利用上個步驟223得出的標記，留下影像中面積前三大的三個連通區域的像素值為1，其他部分改成0，以確保所有肺結節都被留下來；(5)侵蝕(erosion)運算步驟325：利用半徑為2的圓盤(disk)作為結構元素(structuring element)對二值化影像進行影像形態學中的侵蝕運算，以將肺結節與血管分離，侵蝕運算的定義如公式2所示：

其中，X是二值化圖像，B是結構元素、Bx代表B在X上的平移；(6)閉合(closing)運算步驟326：利用半徑為10的圓盤作為結構元素對二值化影像進行影像形態學中的閉合運算，以保留肺壁上的肺結節，閉合運算本質上是利用同一個結構元素，先對影像作擴張(dilation)運算，再作侵蝕運算(定義如公式2)，而擴張運算的定義則如公式3所示，且由侵蝕運算與擴張運算可組合出閉合運算，如公式4所示：

公式4：Φ_B(X)=ε_B(δ_B(X))；(7)擴張運算步驟327：利用半徑為10的圓盤再次對二值化圖像進行擴張運算，以便更加完整地保留肺壁上的結節；(8)填補空洞步驟328：將運算過程中於連通區域內產生的空洞填補起來，使其成為完整的區域；(9)影像疊加步驟329：將二值化影像疊加到原始影像上，將對應到二值化影像中像素值為1的區域的原始影像區域留下，其餘區域刪除，而只留下肺部區域。

圖4顯示出前述肺部區域偵測的每個步驟S321~S329的輸出圖像，由圖4可知，切片影像經肺部區域偵測步驟32的處理後，即可獲得清晰的肺部影像。

於三通道合成步驟S33中，對於上述經過肺部區域偵測的2D的切片影像，將3張深度上連續的切片影像利用圖片的RGB通道結合成一張合成的2D影像進行訓練，以增加2D影像中的立體空間資訊。且對於同一個肺結節(目標肺結節)，選取3張連續且不同深度的2D影像作為訓練資料，以使得模型可以從2D影像中擷取3D空間的特徵。其中，此3張2D影像的選取方式為：假設目標肺結節的質心深度座標為z，則第一張圖片的R通道會由深度為(z+2)的切片構成，G通道是深度(z+1)的切片，B通道則是深度z的切片；第二張圖片則依序為深度(z+1)、z、(z-1)的切片；第三張圖片則依序為深度z、(z-1)、(z-2)的切片。以此組合便能使模型更準確地辨識質心深度附近切片中的肺結節，也就能從模型的預測中得出更精確的結節質心座標。而由於某些結節的大小不足以合成3張圖像，所以只能將包含該結節的所有切片以相同的處理方式合成1~2張2D圖像，因此實際上包含肺結節的合成的2D圖像僅有3266張，而非1179×3=3537張，且如圖1所示，此3266張包含肺結節的合成的2D圖像即為肺結節偵測階段11所產生的只包含肺結節的單一類別的第一資料集112。

再如圖1所示，肺結節偵測階段11的模型是一個以ResNet50為骨幹(backbone)的Mask R-CNN圖像分割模型113，此Mask R-CNN圖像分割模型113接受上述第一資料集112的2D圖像作為輸入資料，並輸出一個遮罩(mask)將圖像中的物件予以標示。

圖5顯示肺結節偵測階段11的模型訓練流程，首先，於步驟S51中，是直接利用前述只包含肺結節的單一類別的第一資料集112來進行訓練，於訓練完成後，請一併參照圖1，步驟S52被執行以進行負難例挖掘(Hard Negative Mining)114，其係以前述交叉驗證所訓練出的10個模型(Mask R-CNN模型(0)~Mask R-CNN模型(9))對各自的訓練集(訓練集(0)~訓練集(9))進行預測。模型回傳的結果包含其判讀出的肺結節在圖像中的範圍輪廓(segmentation contour)，以及代表該範圍是肺結節之機率的預測分數(score)。接著，根據預設條件：(1)預測分數高於0.5、且(2)與任意結節的交集率(Intersection over Union,IoU)都小於0.01，從模型的預測中篩選出符合該預設條件的預測結果，並將此預測結果定義為負難例(Hard Negative Example)。

最後，再如圖1所示，將前述負難例與原本的訓練集(訓練集(0)~訓練集(9))整合，進而完成一份具有陽性肺結節及負難例等二類別的第二資料集115，並利用此第二資料集115訓練一新的Mask R-CNN模型116，以減少模型預測結果中的偽陽性例。且前述訓練流程的兩個訓練步驟皆是在0.002的學習速率(learning rate)下，訓練180000次迭代(iteration)後完成。

請參照圖1，於深度學習肺結節偵測方法的偽陽性排除階段12中，係先進行偽陽性排除的資料準備及處理121，其中，由於偽陽性排除階段12的模型所接受的輸入是3D影像，因此將來源資料集中有標示的結節作為正例，再從肺結節偵測階段11的交叉驗證的測試結果中篩選出偽陽性(false positive)例作為負例，組合成一個具有結節與非結節等二類別的第三資料集，其中，負例的篩選條件為：(1)預測機率>0.2(預測信心閾值)；(2)預測區域的質心座標與任一結節的直線距離都不小於該結節半徑。將負例(偽陽性)篩選出來後，基於該具有結節與非結節等二類別的第三資料集，可從來源資料集的CT影像，以肺結節偵測階段11的模型預測出偽陽性結果的質心(center of mass)座標為中心點，切割出長40、寬40、高20的長方體立體影像。此長方體立體影像再經由前述公式1所描述的函數進行影像增強，且於影像增強中所使用的固定窗寬及窗位亦與肺結節偵測階段11時所使用的相同。

圖6所示，偽陽性排除階段12的模型是由1層3D卷積層(convolution)、3層3D混合深度卷積層(mixed depthwise convolution,MixConv)、以及3層全連接層(fully connected layer)組成的三維卷積神經網路(3D Convolutional Neural Network，3D CNN)模型122。本發明在模型中使用批次標準化(batch normalization)和丟棄法(dropout)來避免過度擬和的問題，並在層與層之間插入線性整流函數(Rectified Linear Unit,ReLU)作為激勵函數(activation function)。輸入此3D CNN模型122的長方體立體影像會先通過4層卷積層(1層3D卷積層及3層混合深度卷積層)，以轉換成特徵圖(feature map)後再被壓平並輸入全連接層。而為了充分利用CT影像中不同尺度的特徵並減少計算量，本發明使用MixConv技術，在3層3D混合深度卷積層的每一層中以五種不同大小的卷積核(kernel)對輸入張量進行運算，如圖7顯示出MixConv技術的詳細說明，其中，一MixConv層之輸入張量為X，亦即，X是一大小為(c,h,w,d)之張量，當中c為張量頻道數(channel)，h為高，w為寬，d為深，MixConv技術會將X從c維度均分為五個大小為(c/5,h,w,d)的部分張量G1,G2,...,G5，之後，這五個部分張量G1,G2,...,G5會各自以一個卷積核Wi(i=1~5)進行卷積運算，在此設定W1到W5的大小分別為(3,3,3)、(5,5,3)、(7,7,5)、(9,9,7)、(11,11,9)，由於考慮到CT影像在深度方向上的解析度通常較低，卷積核W2到W5在深度軸上比較短，因此在進行卷積運算時，利用適當的零填充(zero-padding)保持各張量之高、寬、深不變，經此卷積運算會對每個部份張量產出一部分輸出張量Yi(i=1~5)，再將Y1到Y5於c維度進行連接(concatenation)後產生輸出張量Y。

偽陽性排除階段12的模型的訓練方法是在0.001的學習速率下，訓練90個epochs後完成，且為了達成資料強化(data augmentation)的效果，訓練過程中會對圖像進行隨機旋轉(rotation)，並此外，還可進一步利用Smith(Smith,L.N.,A disciplined approach to neural network hyper-parameters：Part 1--learning rate,batch size,momentum,and weight decay.arXiv preprint arXiv：1803.09820,2018.)提出的one-cycle訓練策略調整學習速率，以達成更好的訓練效果。

由上述之說明可知，本發明藉由在訓練過程中採用的負難例挖掘(HNM)技術，可從訓練流程的角度切入，改善模型的偽陽性預測率(false positive rate)，降低偽陽性排除模型的負擔和訓練成本。且藉由在肺結節偵測階段選用mask RCNN圖像分割模型，而能夠更精準地指出肺結節在圖像中的位置。此外，更藉由在肺結節偵測階段使用較節省運算資源的2D平面圖像訓練模型，並以三通道合成(three-channel superimposition)影像處理技術增加2D圖像中的立體空間資訊，而可在訓練成本和模型表現之間取得平衡，儘管本發明已透過上述實施例來說明，可理解的是，根據本發明的精神及本發明所主張的申請專利範圍，許多修飾及變化都是可能的。