TWI745940B - 醫療影像分析系統及其方法 - Google Patents
醫療影像分析系統及其方法 Download PDFInfo
- Publication number
- TWI745940B TWI745940B TW109113320A TW109113320A TWI745940B TW I745940 B TWI745940 B TW I745940B TW 109113320 A TW109113320 A TW 109113320A TW 109113320 A TW109113320 A TW 109113320A TW I745940 B TWI745940 B TW I745940B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- patient
- medical image
- image blocks
- image analysis
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 81
- 201000011510 cancer Diseases 0.000 claims abstract description 64
- 238000013136 deep learning model Methods 0.000 claims abstract description 40
- 230000011218 segmentation Effects 0.000 claims abstract description 22
- 210000000056 organ Anatomy 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000010191 image analysis Methods 0.000 claims description 77
- 238000003703 image analysis method Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 21
- 238000004195 computer-aided diagnosis Methods 0.000 claims description 20
- 238000007781 pre-processing Methods 0.000 claims description 19
- 238000004458 analytical method Methods 0.000 claims description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 7
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 5
- 238000013170 computed tomography imaging Methods 0.000 claims description 4
- 201000010099 disease Diseases 0.000 claims 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims 1
- 206010061902 Pancreatic neoplasm Diseases 0.000 abstract description 7
- 208000015486 malignant pancreatic neoplasm Diseases 0.000 abstract description 7
- 201000002528 pancreatic cancer Diseases 0.000 abstract description 7
- 208000008443 pancreatic carcinoma Diseases 0.000 abstract description 7
- 238000001514 detection method Methods 0.000 abstract description 3
- 230000035945 sensitivity Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 8
- 238000002591 computed tomography Methods 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 7
- 238000011176 pooling Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本發明提供一種醫療影像分析系統及其方法,主要針對具有標記對應臟器位置之分割標籤之處理影像進行擷取,以產生複數個影像區塊,並可以複數個影像區塊對深度學習模型進行訓練,以取得預測值並繪製接收者操作特徵曲線,以決定本發明所決定出影像區塊是否具有癌症之閥值,藉以有效增進胰臟癌之辨識率。
Description
本發明係有關一種影像分析系統及其方法,尤指一種醫療影像分析系統及其方法。
在現行醫療水準中,胰臟癌屬難以早期發現的癌症之一,且一但腫瘤大小超過2釐米時,存活率將大幅下降。在現有技術中,電腦斷層掃描(CT)影像為目前檢測與評估胰臟癌的主要方式,但檢測效率仍取決於放射科醫生的個人經驗,例如,在腫瘤小於2釐米時,約有40%無法被檢測出。此反映出人工方式的閱片及判斷將過於主觀,很容易因為人為因素而導致誤判。
因此,如何提出一種例如可應用在辨識胰臟癌以提高辨識率之醫療影像分析系統及其方法,為目前亟待解決的課題之一。
本發明之主要目的在於提供一種醫療影像分析系統,包括:影像預處理模組,用以處理對應一臟器之至少一影像,以產生至少一處理影像,其中,該處理影像標記有對應該臟器位置之分割標籤;區塊切割模組,用以針對
標記有該分割標籤之該處理影像進行擷取,以產生複數個影像區塊;分析模組,係藉由該複數個影像區塊對一深度學習模型進行訓練,以取得各該複數個影像區塊所分別對應之複數個第一預測值;以及閥值選擇模組,係針對該複數個第一預測值繪製第一曲線,以從該第一曲線決定出判斷各該複數個影像區塊是否具有癌症之第一閥值。
本發明之另一目的在於提供一種醫療影像分析方法,包括:處理對應一臟器之至少一影像,以產生至少一處理影像,其中,該處理影像標記有對應該臟器位置之分割標籤;針對標記有該分割標籤之該處理影像進行擷取,以產生複數個影像區塊;藉由該複數個影像區塊對一深度學習模型進行訓練,以取得各該複數個影像區塊所分別對應之複數個第一預測值;以及針對該複數個第一預測值繪製第一曲線,以從該第一曲線決定出判斷各該複數個影像區塊是否具有癌症之第一閥值。
前述之醫療影像分析系統及其方法中,該區塊切割模組係以一正方形子區域沿著標記有該分割標籤之該處理影像之x軸及y軸進行擷取,以產生該複數個影像區塊。
前述之醫療影像分析系統及其方法中,該複數個影像區塊彼此未重疊或彼此部分重疊。
前述之醫療影像分析系統及其方法中,該複數個影像區塊彼此重疊面積的比例範圍為20%至80%。
前述之醫療影像分析系統及其方法中,該分析模組係使用卷積神經網路對該深度學習模型進行訓練。
前述之醫療影像分析系統及其方法中,該第一曲線為接收者操作特徵曲線,而該第一閥值為約登指數之最大值所對應之閥值。
前述之醫療影像分析系統及其方法中,該影像為電腦斷層掃描或磁共振顯影之二維影像或三維影像。
前述之醫療影像分析系統及其方法中,更包括電腦輔助診斷模組,用以輸入至少一病患影像至該影像預處理模組及該區塊切割模組以產生複數個病患影像區塊,並將該複數個病患影像區塊輸入至該深度學習模型中以取得各該複數個病患影像區塊所分別對應之複數個第一預測值。
前述之醫療影像分析系統及其方法中,該電腦輔助診斷模組更令該閥值選擇模組針對各該複數個病患影像區塊所分別對應之該複數個第一預測值計算出對應該至少一病患影像之至少一第二預測值,並依據該至少一第二預測值繪製第二曲線,以從該第二曲線決定出判斷該至少一病患影像是否具有癌症之第二閥值。
前述之醫療影像分析系統及其方法中,該至少一第二預測值為各該複數個病患影像區塊所分別對應之該複數個第一預測值經該第一閥值判斷後所產生的該至少一病患影像中具有癌症之病患影像區塊之數量與該複數個病患影像區塊之總數量的比值。
前述之醫療影像分析系統及其方法中,該第二曲線為接收者操作特徵曲線,該第二閥值為約登指數之最大值所對應之閥值。
綜上所述,本發明之醫療影像分析系統及其方法在辨識胰臟癌上,相較於放射科醫生有著較高的敏感度,此即表示本發明之醫療影像分析系統及其方法可有效輔助放射科醫生減少其臨床的漏診率,特別是在小於2cm的
腫瘤大小的情況,故可有效改善腫瘤小於2釐米時,約有40%無法被檢測出的情況。
1:醫療影像分析系統
11:醫療影像分析裝置
111:影像預處理模組
112:區塊切割模組
113:分析模組
114:閥值選擇模組
115、122:處理單元
116、123:通訊單元
117、124:儲存單元
118、125:顯示單元
12:電腦裝置
121:電腦輔助診斷模組
13:網路
2:影像
2’:處理影像
21:臟器
22:分割標籤
24:正方形子區域
23、231、232、233、25、251、252、253:影像區塊
254、255、256:重疊部分
30:深度學習模型
31:卷積神經網路
311:卷積層
312:池化層
313:全連接層
40:接收者操作特徵曲線
D1、D2、D1’、D2’:距離
S1~S5:步驟
第1A圖為本發明之醫療影像分析系統之第一實施例之示意圖。
第1B圖為本發明之醫療影像分析系統之第二實施例之示意圖。
第1C圖為本發明之醫療影像分析系統之第三實施例之示意圖。
第2A圖為本發明之醫療影像分析系統中所使用之訓練影像之電腦斷層掃描影像之示意圖。
第2B至2D圖為第2A圖之簡化及影像預處理與產生影像區塊之示意圖。
第3圖為本發明之醫療影像分析系統中訓練深度學習模型之示意圖。
第4圖為本發明之醫療影像分析系統所繪製之接收者操作特徵曲線之示意圖。
第5圖為本發明之醫療影像分析方法之流程示意圖。
以下藉由特定之具體實施例加以說明本發明之實施方式,而熟悉此技術之人士可由本說明書所揭示之內容輕易地瞭解本發明之其他優點和功效,亦可藉由其他不同的具體實施例加以施行或應用。
第1A圖為本發明之醫療影像分析系統之第一實施例之示意圖,該醫療影像分析系統1可包括醫療影像分析裝置11以及與該醫療影像分析裝置11電性連接之電腦裝置12,其中,醫療影像分析裝置11與電腦裝置12兩者之間係透過有線或無線的網路13進行通訊。
醫療影像分析裝置11包括影像預處理模組111、區塊切割模組112、分析模組113以及閥值選擇模組114,並包括處理單元115、通訊單元116以及儲存單元117,其中,通訊單元116與儲存單元117耦接至處理單元115。此外,醫療影像分析裝置11可例如是手機、平板電腦、筆記型電腦、桌上型電腦、伺服器或雲端伺服器,本發明並不以此為限。又,醫療影像分析裝置11亦可包括例如螢幕或顯示器之顯示單元(未圖示)。
在本實施例中,處理單元115可為中央處理器(Central Processing Unit,CPU)、微處理器(Microprocessor)、圖形處理器(Graphics Processing Unit,GPU)或特定應用積體電路(Application Specific Integrated Circuit,ASIC)。通訊單元116可為支援各種行動通訊系統(如GSM、PHS、CDMA、WCDMA、LTE、WiMAX、4G、5G等)、Wi-Fi系統、藍芽系統或乙太網路(Ethernet)的信號傳輸的元件。而儲存單元117可為任何型態的固定或可移動隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快閃記憶體(flash memory)、硬碟(hard disk)、軟碟(soft disk)、資料庫(database)或類似元件之上述元件之組合。但本發明並不以此為限。
在本實施例中,影像預處理模組111、區塊切割模組112、分析模組113以及閥值選擇模組114可分別為儲存在儲存單元117的程式碼片段、軟體或韌體,並可由處理單元115執行。但本發明並不以此為限,醫療影像分析裝置11
內之影像預處理模組111、區塊切割模組112、分析模組113以及閥值選擇模組114亦可是使用其他硬體或軟硬體混和之形式的方式來實現。
電腦裝置12可包括電腦輔助診斷模組121,亦包括處理單元122、通訊單元123、儲存單元124以及顯示單元125。在本實施例中,處理單元122、通訊單元123以及儲存單元124可分別是與上述之處理單元115、通訊單元116以及儲存單元117相同或相似的元件,於此不再贅述。而電腦輔助診斷模組121亦同樣為儲存在儲存單元124的程式碼片段、軟體或韌體,亦可是使用其他硬體或軟硬體混和之形式,並可由處理單元122執行。另外,電腦裝置12亦可例如為手機、平板電腦、筆記型電腦或桌上型電腦等,顯示單元125可為螢幕或顯示器,但本發明並不以此為限。
請再參閱第1B圖,其為本發明之醫療影像分析系統之第二實施例之示意圖。第二實施例與前述第一實施例之不同處僅在於電腦輔助診斷模組121是位在醫療影像分析裝置11內,而非電腦裝置12內。如此一來,所有的運算可集中在醫療影像分析裝置11,而電腦裝置12可變成單純只從醫療影像分析裝置11接收輸出來加以顯示的裝置,使得電腦裝置12不需要較高階的硬體。
請再參閱第1C圖,其為本發明之醫療影像分析系統之第三實施例之示意圖。第三實施例與前述第二實施例之不同處係在於本發明之醫療影像分析系統可只包括醫療影像分析裝置而不需要電腦裝置。本發明之醫療影像分析系統之醫療影像分析裝置11除了可為上述之手機、平板電腦、筆記型電腦、桌上型電腦、伺服器或雲端伺服器之外,亦可為電腦斷層掃描設備或磁共振顯影設備,亦即,本發明之醫療影像分析系統可安裝在電腦斷層掃描設備或磁共振顯影設備中,但本發明並不此以為限。
以下統一說明上述第1A至1C圖之醫療影像分析系統中所使用之模組的詳細技術內容。
第2A圖為本發明之醫療影像分析系統中所使用之影像2之電腦斷層掃描影像之示意圖,臟器21可例如為胰臟。而第2B圖為第2A圖之簡化示意圖,第2B圖所作的簡化僅為了方便說明,對本發明並不造成任何限制。請一併參閱第2A及2B圖,影像預處理模組111用以處理對應一臟器21之至少一影像2,以產生至少一處理影像2’,其中,該處理影像2’標記有對應該臟器21位置之分割標籤22。此分割標籤22一般可稱為感興趣區域(region of interest,ROI)。在本實施例中,影像預處理模組111係以重建、擴張、窗值化及正規化處理該影像2。詳細而言,影像2係為電腦斷層掃描或磁共振顯影之二維影像或三維影像。以電腦斷層掃描之二維影像為例,一般病患會有複數張電腦斷層掃描之二維影像,必須先分別使用線性內插法(linear interpolation)及最近相鄰內插法(nearest-neighbor interpolation)將影像重建為厚度一致(例如5mm)的切片,其中,線性內插法可針對影像整體,而最近相鄰內插法可針對感興趣區域。接著,將影像2中對應臟器21之標籤區域進行擴張,例如在x-y平面上將臟器21的範圍向外增加3x3像素,使影像2中對應臟器21之標籤區域擴大,而此擴大的標籤區域在後續之處理影像2’中將對應為分割標籤22。擴張標籤區域的目的,是為了防止原本的標籤區域沒有完全對應臟器21的情況,並可增加模組的判斷資訊。之後,對影像2進行窗值化,例如將影像2之窗寬(window width)及窗位(window level)分別設為250及75韓森費爾德單位(Hounsfield,HU)。最後,對影像2進行正規化,即將影像2之像素強度值設為0至1之間。經過重建、擴
張、窗值化及正規化處理之影像2將成為處理影像2’。於一實施例中,影像2會有複數張,故處理影像2’亦有複數張,但本發明並不以此為限。
請參閱第2C圖,區塊切割模組112用以針對標記有該分割標籤22之該處理影像2’進行擷取,以產生複數個影像區塊(patch)23。在本實施例中,區塊切割模組112係以一正方形子區域24依序沿著標記有分割標籤22之處理影像2’之x軸及y軸進行擷取,以產生複數個影像區塊23。例如,處理影像2’可為512x512像素大小,而正方形子區域24為50x50像素大小。一般而言,區塊切割模組112係將正方形子區域24設在處理影像2’的左邊界及上邊界(即左上角)來作為起始點,並擷取以產生影像區塊231。接著,正方形子區域24沿著處理影像2’之x軸向右移動距離D1(例如50像素)之後,擷取以產生影像區塊232,重複此步驟一直到正方形子區域24觸碰到處理影像2’的右邊界為止。之後,正方形子區域24將移動至處理影像2’之左邊界與距離上邊界50像素之處(即沿著y軸向下移動距離D2),擷取以產生影像區塊233,並一直重複直到正方形子區域24觸碰到處理影像2’的右邊界為止。最終,正方形子區域24將會移動至處理影像2’的右邊界及下邊界(即右下角),擷取產生複數個影像區塊23。在本實施例中,區塊切割模組112將會對每一個處理影像2’進行擷取,以產生大量的影像區塊23,而各影像區塊23彼此未重疊。另外,上述處理影像2’以及正方形子區域24的大小亦僅為示例,本發明並不以此為限。
於另一實施例中,區塊切割模組112亦可不將正方形子區域24設在處理影像2’的左邊界及上邊界(即左上角)來作為起始點,而是將正方形子區域24設在處理影像2’中標記有分割標籤22之處附近來作為起始點,但本發明並不以此為限。
再於一實施例中,如第2D圖所示,區塊切割模組112所產生之複數個影像區塊25亦可彼此部分重疊。詳細而言,區塊切割模組112係以一正方形子區域24依序沿著標記有分割標籤22之處理影像2’之x軸及y軸進行擷取,以產生複數個影像區塊25。如上所述之實施例,正方形子區域24同樣可設在處理影像2’的左邊界及上邊界(即左上角)來作為起始點,或是設在處理影像2’中標記有分割標籤22之處附近來作為起始點。本實施例與上述之實施例不同之處,在於正方形子區域24的移動距離D1’、D2’。在上述實施例中,例如正方形子區域24為50x50像素大小,每次移動皆是50像素,故所擷取之影像區塊23彼此並不會重疊。而在本實施例中,例如正方形子區域24為50x50像素大小,但每次移動皆小於50像素,故所擷取之影像區塊25彼此將會部分重疊。如第2D圖所示,正方形子區域24每次僅移動25像素(距離D1’、D2’),故影像區塊251與影像區塊252將會有重疊部分254、256,且彼此重疊面積的比例為50%,另影像區塊251與影像區塊253將會有重疊部分255、256,且彼此重疊面積的比例為50%。本發明並不限制正方形子區域24的移動距離以及影像區塊彼此重疊面積的比例,影像區塊重疊面積的比例可在20%至80%之間(最佳可為50%)。而影像區塊重疊之目的,在於後續提供給深度學習模型進行訓練時,可令深度學習模型重複檢測,例如重疊部分254、255重複檢測了2次,而重疊部分256可重複檢測了3次,以提高準確率。
前述各實施例中所提及之影像2,在訓練模型時係使用已確診之病患的電腦斷層掃描影像。換言之,放射科醫生從影像2中已可很清楚地得知腫瘤的位置,這使得區塊切割模組112所產生的複數個影像區塊23、25可分別具有癌症標記或非癌症標記。只要影像區塊23、25內有涵蓋到腫瘤的一部分,即
可標示癌症標記,而影像區塊23、25必須完全未涵蓋到腫瘤,才可以標示非癌症標記。於一實施例中,若複數個影像區塊23、25標示為非癌症標記且未包含分割標籤22者,可不列入後續訓練及預測流程,但本發明並不以此為限。
請參閱第3圖,在得到複數個影像區塊23、25之後,分析模組113係藉由複數個影像區塊23、25對一深度學習模型30進行訓練,以取得各複數個影像區塊23、25所分別對應之複數個第一預測值。於本實施例中,分析模組113可使用卷積神經網路(Convolutional Neural Network)31對深度學習模型30進行訓練。卷積神經網路31一般包括複數個層,例如複數個卷積層(convolution layer)311、複數個池化層(pooling layer)312以及複數個全連接層(fully-connected layer)313等,本發明並不限定卷積層311、池化層312以及全連接層313之層數多寡,亦不限定必須同時使用卷積層311、池化層312以及全連接層313,例如可僅使用卷積層311及全連接層313,或僅使用二個卷積層311及全連接層313等等。
於一實施例中,分析模組113所使用的卷積神經網路31可包含兩個卷積層311,後續接著整流線性單元(rectified linear unit,ReLu)作為活化函數,之後在連接全連接層313之前,先連接池化層312。經過此一步驟後,複數個影像區塊23、25可各自被展平為一陣列,之後可再重複上述步驟,直到複數個影像區塊23、25各自被展平為單一數值。以下表1即呈現複數個影像區塊之尺寸大小為50像素x 50像素時,卷積神經網路31的處理過程:
於一實施例中,卷積神經網路31係使用加權二元交叉熵(Weighted binary cross-entropy)作為損失函數,以考慮有癌症標記之區塊數量及有非癌症標記之區塊數量的不平衡性。例如,損失函數可為:
於一實施例中,分析模組113藉由複數個影像區塊23、25對深度學習模型30進行訓練時,可再設置超常數(hyperparameters)及回呼(Callback)等機制來最佳化模型訓練效能。例如將其中一種超常數-批尺寸(batch size)設置為2560,這表示深度學習模型30在每次迭代中將接收2560個影像區塊,但本發明並不以此為限。另外,回呼機制有二:其一為分析模組113在近十次迭代中驗證損失函數處於未減少狀態時,降低該卷積神經網路31對該深度學習模型30之學習率;另一為分析模組113在近四十次迭代中驗證該損失函數處於穩定狀態時,停止該卷積神經網路31對該深度學習模型30之訓練。但本發明並不限於上述回呼機制的態樣,例如不限制迭代之次數等。
在本實施例中,分析模組113在對深度學習模型30進行訓練後,深度學習模型30可針對每個影像區塊給予一個對應之第一預測值,而此第一預測值可用於分類,例如,可將各影像區塊透過一第一閥值分類為具有癌症或不具有癌症,而決定第一閥值之方法將如下述。
閥值選擇模組114係可針對複數個第一預測值繪製第一曲線,以從該第一曲線決定出判斷各該複數個影像區塊23、25是否具有癌症之第一閥值。詳細而言,複數個影像區塊23、25分別具有對應之複數個第一預測值,將該複數個第一預測值經一特定閥值判斷後(例如第一預測值大於特定閥值則判斷影像區塊具有癌症),可計算出該特定閥值所對應之包括敏感度
(Sensitivity)及特異度(Specificity)等之統計指標,而在0至1之間的任何數值(例如為0.1、0.2、0.3、0.4…等)皆為該特定閥值的可能值,如此一來,根據複數個特定閥值的可能值所計算出的複數個敏感度及特異度可繪製出如第4圖所示之接收者操作特徵曲線(Receiver Operating Characteristic Curve,ROC)40,並從該接收者操作特徵曲線40中得到曲線下面積(Area Under Receiver Operating Characteristic Curve,AUC)及複數個約登指數(Youden index)等之統計指標,其中,複數個約登指數(公式為:約登指數=敏感度-(1-特異度))可從接收者操作特徵曲線40中每一個點所對應之敏感度及特異度計算而得。本發明係將複數個約登指數中最大值所對應之閥值做為第一閥值,在影像區塊之第一預測值大於第一閥值時,可將該影像區塊分類為具有癌症(陽性),而在影像區塊之第一預測值小於或等於第一閥值時,則可將該影像區塊分類為不具有癌症(陰性)。
於一實施例中,本發明之深度學習模型判斷影像區塊有癌症且放射科醫生亦判斷該影像區塊有癌症時,定義為真陽性;本發明之深度學習模型判斷影像區塊不具有癌症且放射科醫生亦判斷該影像區塊不具有癌症時,定義為真陰性;本發明之深度學習模型判斷影像區塊有癌症,但放射科醫生判斷該影像區塊不具有癌症時,定義為假陽性;本發明之深度學習模型判斷影像區塊不具有癌症,但放射科醫生判斷該影像區塊有癌症時,定義為假陰性。而前述之敏感度及特異度則由下述公式所定義:敏感度=真陽性/(真陽性+假陰性);特異度=真陰性/(真陰性+假陽性)。
電腦輔助診斷模組121用以輸入至少一病患影像至該影像預處理模組111及該區塊切割模組112以產生該至少一病患影像所對應之複數個病患影
像區塊,並將該複數個病患影像區塊輸入至該深度學習模型30中以取得各該複數個病患影像區塊所分別對應之複數個第一預測值。
詳細而言,電腦輔助診斷模組121具體可為電腦輔助診斷工具(Computer-assisted detection/diagnosis tools,CAD tools)軟體,而電腦輔助診斷模組121可使用醫療影像分析裝置11之分析模組113所訓練好的深度學習模型30,來協助臨床醫生對病患的診斷。例如,臨床醫生可先取得欲分析之某一病患的病患影像,並透過電腦裝置12之電腦輔助診斷模組121將病患影像輸入至醫療影像分析裝置11之影像預處理模組111及區塊切割模組112,以產生複數個病患影像區塊。有關影像預處理模組111及區塊切割模組112對病患影像之處理方式係相同於前述影像2,於此不再贅述。接著,將此病患之複數個病患影像區塊輸入至深度學習模型30中以取得對應複數個病患影像區塊之複數個第一預測值。接著,電腦輔助診斷模組121可令閥值選擇模組114針對各該複數個病患影像區塊所分別對應之複數個第一預測值計算出對應該至少一病患影像之至少一第二預測值。於一實施例中,一個病患係對應一個第二預測值,一個病患如有複數個病患影像,亦同樣對應一個第二預測值,而第二預測值係由同一病患之複數個第一預測值計算所得,但本發明並不以此為限。在本實施例中,各該複數個病患影像區塊所分別對應之該複數個第一預測值經過閥值選擇模組114所決定之第一閥值判斷後,該閥值選擇模組114將該複數個病患影像區塊分類為具有癌症(陽性)或不具有癌症(陰性),而第二預測值即是透過統計該至少一病患影像中被分類為具有癌症之病患影像區塊之數量來產生,例如第二預測值可以是該至少一病患影像中被分類為具有癌症之病患影像區塊之數量與該至少一病患影像之複數個病患影像區塊之總數量之比值。在本實施例中,電腦輔助診
斷模組121可用以輸入單一病患影像來取得單一第二預測值,以供後續臨床醫師獲得電腦輔助診斷模組121判斷該病患影像是否具有癌症的資訊。電腦輔助診斷模組121亦可以輸入複數個病患影像(即不同病患)來取得複數個第二預測值,以供後續繪製第二曲線以決定第二閥值,但本發明並不以此為限。另外,前述之單一病患影像可為單一病患所拍攝的一張或多張二維CT影像,使得第二預測值可對應單一病患影像,而該單一病患影像亦可為單一病患所拍攝的一張或多張三維CT影像,該三維CT影像經影像預處理模組111處理後可產生複數張二維病患影像,使得第二預測值亦可對應該複數張病患影像(同樣可直接對應到該病患),本發明並不以此為限。
接著,電腦輔助診斷模組121可令閥值選擇模組114針對複數個第二預測值繪製第二曲線,以從該第二曲線決定出判斷各該複數個病患影像是否具有癌症之第二閥值,其中,第二曲線為接收者操作特徵曲線,第二閥值為約登指數之最大值所對應之閥值。第二曲線及第二閥值之繪製及決定方法係相同於第一曲線及第一閥值,於此不再贅述。在決定出第二閥值之後,電腦輔助診斷模組121即可根據此第二閥值來對病患影像所對應之第二預測值進行判斷,以決定該病患影像是否具有癌症。例如,一病患影像經各模組及該深度學習模型處理後,所得到的第二預測值為0.7,若第二閥值是0.5,電腦輔助診斷模組121即可給出此病患影像具有癌症的結果。若第二閥值是0.8,則可給出此病患影像不具有癌症的結果。
請參閱第5圖,其揭示本發明之醫療影像分析方法之流程示意圖,而本發明之醫療影像分析方法可用於如前述之具有醫療影像分析裝置11之
醫療影像分析系統1。本發明之醫療影像分析方法中與前述醫療影像分析系統中技術內容相同者,於此不再贅述。
首先,本發明之醫療影像分析方法可處理影像以產生處理影像(步驟S1)。亦即,本發明之醫療影像分析方法係先令醫療影像分析裝置11之影像預處理模組111處理對應一臟器21之至少一影像2,以產生至少一處理影像2’,其中,該處理影像2’標記有對應該臟器21位置之分割標籤22。
接著,本發明之醫療影像分析方法可產生複數個影像區塊(步驟S2)。亦即,令醫療影像分析裝置11之區塊切割模組112針對標記有分割標籤22之處理影像2’進行擷取,以產生複數個影像區塊23、25。
之後,本發明之醫療影像分析方法係對一深度學習模型進行訓練(步驟S3)。亦即,令醫療影像分析裝置11之分析模組113藉由複數個影像區塊對一深度學習模型30進行訓練,以取得各複數個影像區塊所分別對應之複數個第一預測值。
之後,本發明之醫療影像分析方法係繪製第一曲線以決定第一閥值(步驟S4)。亦即,令醫療影像分析裝置11之閥值選擇模組114針對複數個第一預測值繪製第一曲線,以從第一曲線決定出判斷各該複數個影像區塊23、25是否具有癌症之第一閥值。
最後,本發明之醫療影像分析方法在訓練完深度學習模型並決定出第一閥值後,可再繪製第二曲線以決定第二閥值(步驟S5)。亦即,令與醫療影像分析裝置11電性連接之電腦裝置12之電腦輔助診斷模組121或醫療影像分析裝置11內的電腦輔助診斷模組121輸入至少一病患影像至影像預處理模組111及區塊切割模組112以產生複數個病患影像區塊,並將複數個病患影像區塊輸入
至深度學習模型30中以取得各該複數個病患影像區塊所分別對應之複數個第一預測值。電腦輔助診斷模組121更令閥值選擇模組114針對各該複數個病患影像區塊所分別對應之複數個第一預測值計算出對應該至少一病患影像之至少一第二預測值,並依據至少一第二預測值繪製第二曲線,以從第二曲線決定出判斷該至少一病患影像是否具有癌症之第二閥值,其中,第二曲線為接收者操作特徵曲線,第二閥值為約登指數之最大值所對應之閥值。在本實施例中,複數個第二預測值為各該複數個病患影像區塊所分別對應之該複數個第一預測值經該第一閥值判斷後所產生的該至少一病患影像中具有癌症之病患影像區塊之數量與該複數個病患影像區塊之總數量的比值。
本發明之醫療影像分析系統及其方法所訓練之深度學習模型,具有較佳準確性的是採用影像區塊為50 x 50像素(即正方形子區域為50 x 50像素)來進行訓練者。由下表2清楚可見,50 x 50像素的影像區塊尺寸之敏感性為91.1±2.0%、特異性為86.5±2.6%、準確度為87.3±1.9%、曲線下面積為0.96±0.001。若影像區塊尺寸小於50 x 50像素,則準確率下降,此可能是由於影像區塊尺寸太小而無法包含與腫瘤與相鄰組織之間有關的足夠訊息;若影像區塊尺寸大於50 x 50像素,則準確率的穩定性不足,此可能與影像區塊尺寸過大而引入了更多的雜訊(noise)有關。由此可見,50 x 50像素的影像區塊尺寸係為較佳選擇。
另外,本發明之醫療影像分析系統及其方法的功效證實如下:先提供295個胰臟癌症病患之具有癌症標記之244,859個影像區塊,以及提供了256個無癌症病患之具有非癌症標記之1,216,715個影像區塊做為深度學習模型之訓練材料。將上述影像區塊數量隨機分成訓練組及驗證組。由訓練組之影像區塊所訓練出之深度學習模型在驗證組中區分具有癌症標記之影像區塊與具有非癌症標記之影像區塊時,接收者操作特徵曲線下面積(AUC)高達0.96,敏感度、特異度及準確率分別有91.3%、84.5%及85.6%。在區分癌症病患及無癌症病患所獲得之接收者操作特徵曲線下面積(AUC)為1.00,敏感度、特異度及準確率分別有97.3%、100%和98.5%。
又,本發明之醫療影像分析系統及其方法與放射科醫師之間的比較證實如下:以75個癌症病患之影像,以及64個無癌症病患之影像來測試上述由訓練資料所得到的深度學習模型,可知本發明之醫療影像分析系統在區分癌症病患及無癌症病患的影像預測接收者操作特徵曲線下面積(AUC)達0.997,敏
感度、特異度及準確率分別有97.3%、100.0%及98.6%。在相同的影像中,放射科醫生之敏感度僅有94.4%。
另再以101個癌症病患之影像,以及88個無癌症病患之影像來測試上述由訓練資料所得到的深度學習模型,可知本發明之醫療影像分析系統在區分癌症病患及無癌症病患的影像預測接收者操作特徵曲線下面積(AUC)達0.999,敏感度、特異度及準確率分別有99.0%、98.9%及98.9%。在相同的影像中,放射科醫生之敏感度僅有91.7%。
統計上述癌症病患之腫瘤大小與本發明之醫療影像分析系統及其方法與放射科醫生之間的敏感度後,可以得到本發明在檢測大於4cm與2-4cm之間的腫瘤大小的敏感度皆為100%,而放射科醫生在檢測大於4cm的腫瘤大小的敏感度為100%,在2-4cm之間的腫瘤大小的敏感度只有90.8%。另外,本發明在檢測小於2cm的腫瘤大小的敏感度則有92.1%,然而放射科醫生在檢測小於2cm的腫瘤大小的敏感度僅有89.5%。
綜上所述,本發明之醫療影像分析系統及其方法在辨識胰臟癌上,相較於放射科醫生有著較高的敏感度,此即表示本發明之醫療影像分析系統及其方法可有效輔助放射科醫生減少其臨床的漏診率,特別是在小於2cm的腫瘤大小的情況,故可有效改善一般臨床情境下腫瘤小於2釐米時,約有40%無法被檢測出的情況。
上述實施形態僅為例示性說明本發明之技術原理、特點及其功效,並非用以限制本發明之可實施範疇,任何熟習此技術之人士均可在不違背本發明之精神與範疇下,對上述實施形態進行修飾與改變。然任何運用本發明
所教示內容而完成之等效修飾及改變,均仍應為下述之申請專利範圍所涵蓋。而本發明之權利保護範圍,應如下述之申請專利範圍所列。
1:醫療影像分析系統
11:醫療影像分析裝置
111:影像預處理模組
112:區塊切割模組
113:分析模組
114:閥值選擇模組
115、122:處理單元
116、123:通訊單元
117、124:儲存單元
12:電腦裝置
121:電腦輔助診斷模組
125:顯示單元
13:網路
Claims (22)
- 一種醫療影像分析系統,包括:影像預處理模組,用以處理對應一臟器之至少一影像,以產生至少一處理影像,其中,該處理影像標記有對應該臟器位置之分割標籤;區塊切割模組,用以針對標記有該分割標籤之該處理影像進行擷取,以產生複數個影像區塊;分析模組,係藉由該複數個影像區塊對一深度學習模型進行訓練,以取得各該複數個影像區塊所分別對應之複數個第一預測值;以及閥值選擇模組,係針對該複數個第一預測值繪製第一曲線,以從該第一曲線決定出判斷各該複數個影像區塊是否具有癌症之第一閥值。
- 如申請專利範圍第1項所述之醫療影像分析系統,其中,該區塊切割模組係以一正方形子區域沿著標記有該分割標籤之該處理影像之x軸及y軸進行擷取,以產生該複數個影像區塊。
- 如申請專利範圍第2項所述之醫療影像分析系統,其中,該複數個影像區塊彼此未重疊或彼此部分重疊。
- 如申請專利範圍第3項所述之醫療影像分析系統,其中,該複數個影像區塊彼此重疊面積的比例範圍為20%至80%。
- 如申請專利範圍第1項所述之醫療影像分析系統,其中,該分析模組係使用卷積神經網路對該深度學習模型進行訓練。
- 如申請專利範圍第1項所述之醫療影像分析系統,其中,該第一曲線為接收者操作特徵曲線,而該第一閥值為約登指數之最大值所對應之閥值。
- 如申請專利範圍第1項所述之醫療影像分析系統,其中,該影像為電腦斷層掃描或磁共振顯影之二維影像或三維影像。
- 如申請專利範圍第1項所述之醫療影像分析系統,更包含電腦輔助診斷模組,用以輸入至少一病患影像至該影像預處理模組及該區塊切割模組以產生複數個病患影像區塊,並將該複數個病患影像區塊輸入至該深度學習模型中以取得各該複數個病患影像區塊所分別對應之複數個第一預測值。
- 如申請專利範圍第8項所述之醫療影像分析系統,其中,該電腦輔助診斷模組更令該閥值選擇模組針對各該複數個病患影像區塊所分別對應之該複數個第一預測值計算出對應該至少一病患影像之至少一第二預測值,並依據該至少一第二預測值繪製第二曲線,以從該第二曲線決定出判斷該至少一病患影像是否具有癌症之第二閥值。
- 如申請專利範圍第9項所述之醫療影像分析系統,其中,該至少一第二預測值為各該複數個病患影像區塊所分別對應之該複數個第一預測值經該第一閥值判斷後所產生的該至少一病患影像中具有癌症之病患影像區塊之數量與該複數個病患影像區塊之總數量的比值。
- 如申請專利範圍第9項所述之醫療影像分析系統,其中,該第二曲線為接收者操作特徵曲線,該第二閥值為約登指數之最大值所對應之閥值。
- 一種醫療影像分析方法,包括:處理對應一臟器之至少一影像,以產生至少一處理影像,其中,該處理影像標記有對應該臟器位置之分割標籤;針對標記有該分割標籤之該處理影像進行擷取,以產生複數個影像區塊;藉由該複數個影像區塊對一深度學習模型進行訓練,以取得各該複數個影像區塊所分別對應之複數個第一預測值;以及針對該複數個第一預測值繪製第一曲線,以從該第一曲線決定出判斷各該複數個影像區塊是否具有癌症之第一閥值。
- 如申請專利範圍第12項所述之醫療影像分析方法,其中,係以一正方形子區域沿著標記有該分割標籤之該處理影像之x軸及y軸進行擷取,以產生該複數個影像區塊。
- 如申請專利範圍第13項所述之醫療影像分析方法,其中,該複數個影像區塊彼此未重疊或彼此重疊。
- 如申請專利範圍第14項所述之醫療影像分析方法,其中,該複數個影像區塊彼此重疊面積的比例範圍為20%至80%。
- 如申請專利範圍第12項所述之醫療影像分析方法,其中,係使用卷積神經網路對該深度學習模型進行訓練。
- 如申請專利範圍第12項所述之醫療影像分析方法,其中,該第一曲線為接收者操作特徵曲線,而該第一閥值為約登指數之最大值所對應之閥值。
- 如申請專利範圍第12項所述之醫療影像分析方法,其中,該影像為電腦斷層掃描或磁共振顯影之二維影像或三維影像。
- 如申請專利範圍第12項所述之醫療影像分析方法,更包括輸入至少一病患影像以產生複數個病患影像區塊,並將該複數個病患影像區塊輸入至該深度學習模型中以取得各該複數個病患影像區塊所分別對應之複數個第一預測值。
- 如申請專利範圍第19項所述之醫療影像分析方法,更包括針對各該複數個病患影像區塊所分別對應之該複數個第一預測值計算出對應該至少一病患影像之至少一第二預測值,並依據該至少一第二預測值繪製第二曲線,以從該第二曲線決定出判斷該至少一病患影像是否具有癌症之第二閥值。
- 如申請專利範圍第20項所述之醫療影像分析方法,其中,該至少一第二預測值為各該複數個病患影像區塊所分別對應之該複數個第一預測值經該第一閥值判斷後所產生的該至少一病患影像中具有癌症之病患影像區塊之數量與該複數個病患影像區塊之總數量的比值。
- 如申請專利範圍第20項所述之醫療影像分析方法,其中,該第二曲線為接收者操作特徵曲線,該第二閥值為約登指數之最大值所對應之閥值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/868,742 US11424021B2 (en) | 2019-05-10 | 2020-05-07 | Medical image analyzing system and method thereof |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962845922P | 2019-05-10 | 2019-05-10 | |
| US62/845,922 | 2019-05-10 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202042250A TW202042250A (zh) | 2020-11-16 |
| TWI745940B true TWI745940B (zh) | 2021-11-11 |
Family
ID=74201308
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109113320A TWI745940B (zh) | 2019-05-10 | 2020-04-21 | 醫療影像分析系統及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI745940B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102534453B1 (ko) | 2020-12-04 | 2023-05-22 | 주식회사 뷰노 | 의료 영상 기반의 질환 예측 방법 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9486142B2 (en) * | 2010-12-13 | 2016-11-08 | The Trustees Of Columbia University In The City Of New York | Medical imaging devices, methods, and systems |
| TWI587844B (zh) * | 2016-01-28 | 2017-06-21 | 太豪生醫股份有限公司 | 醫療影像處理裝置及其乳房影像處理方法 |
| CN107767362A (zh) * | 2017-09-01 | 2018-03-06 | 苏州侠洛信息科技有限公司 | 一种基于深度学习的肺癌早筛装置 |
| TW201839128A (zh) * | 2017-03-15 | 2018-11-01 | 學校法人兵庫醫科大學 | 癌症免疫療法之新穎生物標記 |
| CN109584252A (zh) * | 2017-11-03 | 2019-04-05 | 杭州依图医疗技术有限公司 | 基于深度学习的ct影像的肺叶段分割方法、装置 |
-
2020
- 2020-04-21 TW TW109113320A patent/TWI745940B/zh active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9486142B2 (en) * | 2010-12-13 | 2016-11-08 | The Trustees Of Columbia University In The City Of New York | Medical imaging devices, methods, and systems |
| TWI587844B (zh) * | 2016-01-28 | 2017-06-21 | 太豪生醫股份有限公司 | 醫療影像處理裝置及其乳房影像處理方法 |
| TW201839128A (zh) * | 2017-03-15 | 2018-11-01 | 學校法人兵庫醫科大學 | 癌症免疫療法之新穎生物標記 |
| CN107767362A (zh) * | 2017-09-01 | 2018-03-06 | 苏州侠洛信息科技有限公司 | 一种基于深度学习的肺癌早筛装置 |
| CN109584252A (zh) * | 2017-11-03 | 2019-04-05 | 杭州依图医疗技术有限公司 | 基于深度学习的ct影像的肺叶段分割方法、装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202042250A (zh) | 2020-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11424021B2 (en) | Medical image analyzing system and method thereof | |
| Ma et al. | U‐Net based deep learning bladder segmentation in CT urography | |
| US11783476B2 (en) | System and method for analyzing three-dimensional image data | |
| Taşcı et al. | Shape and texture based novel features for automated juxtapleural nodule detection in lung CTs | |
| JP4949264B2 (ja) | 医療画像データ内の腫瘍境界を自動的に検出及び区分するシステム及び方法 | |
| KR20220117236A (ko) | 의료 이미지를 사용한 자동화된 종양 식별 및 분할 | |
| US20150356730A1 (en) | Quantitative predictors of tumor severity | |
| KR20220042072A (ko) | 의료 영상에서 딥러닝에 기반한 복부 장기 자동분할 방법 및 그 컴퓨터 프로그램 | |
| Pu et al. | An automated CT based lung nodule detection scheme using geometric analysis of signed distance field | |
| US11684333B2 (en) | Medical image analyzing system and method thereof | |
| TWI776716B (zh) | 醫療影像分析系統及方法 | |
| Dandıl | A Computer‐Aided Pipeline for Automatic Lung Cancer Classification on Computed Tomography Scans | |
| US20220167928A1 (en) | Methods and systems for image segmentation and analysis | |
| CN110717894B (zh) | 癌症靶向治疗疗效评估方法及装置、设备、存储介质 | |
| JP7571988B2 (ja) | 胆嚢ポリープの診断に対する情報提供方法及びそれを用いた胆嚢ポリープの診断に対する情報提供用デバイス | |
| CN103778600A (zh) | 图像处理系统 | |
| Choi et al. | Reproducible and interpretable spiculation quantification for lung cancer screening | |
| Hoogi et al. | A fully-automated pipeline for detection and segmentation of liver lesions and pathological lymph nodes | |
| CN117291866A (zh) | 医疗图像的处理方法及处理医疗图像的运算装置 | |
| Rezaie et al. | Detection of lung nodules on medical images by the use of fractal segmentation | |
| TWI745940B (zh) | 醫療影像分析系統及其方法 | |
| CN113077440A (zh) | 病理图像的处理方法、装置、计算机设备和存储介质 | |
| KR102332472B1 (ko) | 의료 영상에서 듀얼 윈도우 설정에 기반한 딥러닝을 이용한 종양 자동 분할 방법 | |
| US20240303816A1 (en) | Bowel segmentation system and methods | |
| JP2008510565A (ja) | 標識された糞便または虚脱結腸領域の存在下で結腸壁を抽出するためのシステムおよび方法 |


