TWI836926B - 應用多面向並聯ai判讀架構判讀卵巢惡性腫瘤之方法 - Google Patents

應用多面向並聯ai判讀架構判讀卵巢惡性腫瘤之方法 Download PDF

Info

Publication number
TWI836926B
TWI836926B TW112107876A TW112107876A TWI836926B TW I836926 B TWI836926 B TW I836926B TW 112107876 A TW112107876 A TW 112107876A TW 112107876 A TW112107876 A TW 112107876A TW I836926 B TWI836926 B TW I836926B
Authority
TW
Taiwan
Prior art keywords
malignant
benign
slice
image data
section
Prior art date
Application number
TW112107876A
Other languages
English (en)
Inventor
王博輝
林峰正
謝明諭
Original Assignee
中山醫學大學
逢甲大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中山醫學大學, 逢甲大學 filed Critical 中山醫學大學
Priority to TW112107876A priority Critical patent/TWI836926B/zh
Application granted granted Critical
Publication of TWI836926B publication Critical patent/TWI836926B/zh

Links

Landscapes

  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本發明依序包括準備步驟、判斷影像資料有效或無效步驟、有效影像資料分類步驟、依分類進行良惡性判斷步驟及完成步驟,進而設一切片初步處理部接收至少二影像資料,並當判斷影像資料為有效切片資料時,即傳送至一切片分類部。切片分類部將有效切片資料依切片型態分類為橫切、縱切、冠切其中一者,並分別傳送至一橫切良惡性判斷部、一縱切良惡性判斷部及一冠切良惡性判斷部;當橫切、縱切與冠切良惡性判斷部其中任一者之輸出結果為惡性時,則顯示「惡性」之訊號;否則顯示「良性」之訊號。本案兼具利用人工智慧(AI)可以輔助醫師判別、多面向綜合判斷之高準確性,及可進行初步篩檢等優點。

Description

應用多面向並聯AI判讀架構判讀卵巢惡性腫瘤之方法
本發明係有關一種應用多面向並聯AI判讀架構判讀卵巢惡性腫瘤之方法,尤指一種兼具利用人工智慧(AI)可以輔助醫師判別,及多面向之綜合判斷可提高準確性之準確性高之應用多面向並聯AI判讀架構判讀卵巢惡性腫瘤之方法。
公知對醫學之影像資料(可包含序列之電腦斷層切片資料、核磁共振切片資料或其他類型影像等)之判讀,多半為醫師人工目視判讀居多,如此,在一天看診人數眾多的情況下,加上影像資料若有影像不清的問題時,即可能造成誤判。此外,前述影像資料中可能有許多細微的影像特徵,人眼目視判別極為困難,也是另一問題。
有鑑於此,必須研發出可解決上述習用缺點之技術。
本發明之目的,在於提供一種應用多面向並聯AI判讀架構判讀卵巢惡性腫瘤之方法,其兼具利用人工智慧(AI)可以輔助醫師判別、多面向綜合判斷之高準確性,及可進行初步篩檢等優點。特別是,本發明所欲解決之問題係在於公知對醫學之影像資料之判讀,多半為醫師人工目視判讀居多,如此,在一天看診人數眾多的情況下,加上影像資料若有影像不清的問題時,即可能造成誤判。 此外,前述影像資料中可能有許多細微的影像特徵,人眼目視判別極為困難,也是另一問題。
解決上述問題之技術手段係提供一種應用多面向並聯AI判讀架構判讀卵巢惡性腫瘤之方法,其包括下列步驟:一、準備步驟;二、判斷影像資料有效或無效步驟;三、有效影像資料分類步驟;四、依分類進行良惡性判斷步驟;及五、完成步驟。
本發明之上述目的與優點,不難從下述所選用實施例之詳細說明與附圖中,獲得深入瞭解。
茲以下列實施例並配合圖式詳細說明本發明於後:
10:切片初步處理部
20:切片分類部
30:橫切良惡性判斷部
40:縱切良惡性判斷部
50:冠切良惡性判斷部
S1:準備步驟
S2:判斷影像資料有效或無效步驟
S3:有效影像資料分類步驟
S4:依分類進行良惡性判斷步驟
S5:完成步驟
M1:橫切
M2:縱切
M3:冠切
L1:曲線
P:參考點
第1圖係本發明之流程圖。
第2圖係本發明之方塊圖。
第3圖係本發明之實驗結果之混淆矩陣圖。
第4圖係第3圖之陽性與陰性之對應關係之混淆矩陣圖。
第5圖係本發明之ROC、TPR及FPR之對應關係之曲線圖。
第6A圖係本發明之橫切良性之影像資料之參考CT片。
第6B圖係本發明之橫切惡性之影像資料之參考CT片。
第7A圖係本發明之縱切良性之影像資料之參考CT片。
第7B圖係本發明之縱切惡性之影像資料之參考CT片。
第8A圖係本發明之冠切良性之影像資料之參考CT片。
第8B圖係本發明之冠切惡性之影像資料之參考CT片。
參閱第1及第2圖,本發明係為一種應用多面向並聯AI判讀架構判讀卵巢惡性腫瘤之方法,其包括下列步驟:
一、準備步驟S1:準備一切片初步處理部10、一切片分類部20、一橫切(Transverse)良惡性判斷部30、一縱切(Sagittal)良惡性判斷部40及一冠切(Coronal)良惡性判斷部50。其中,該切片初步處理部10、該切片分類部20、該橫切良惡性判斷部30、該縱切良惡性判斷部40及該冠切良惡性判斷部50係預先經AI訓練完成者。
已知的AI訓練方式為既有技術(恕不詳述),簡言之,典型已知的AI訓練過程包括:1.資料收集(例如收集CT資料);2.資料前處理(資料集切割/影像旋轉);3.訓練模型;4.成效評估(混淆矩陣/其他評估方式);5.調整參數,此步驟進一步再細分為:a.會先回到前面步驟,直到得到滿意的成效才進入結果推論、b.調整參數(若前步驟之成效不滿意時)的方法主要是從學習率、一次訓練的量下手;6.結果推論/分析。
更詳細的說,關於前述之AI訓練過程,可使用的模型是VGG16/VGG19,兩者差異只有捲積層數的不同;又,其優化策略函數我們是用Adam,損失函數是用sparse categorical crossentropy,因為是很常見的模型及訓練策略,恕不贅述。關於使用套件,例如可用:Tensorflow(Google)、Keras(François Chollet)、Sklearn(David Cournapeau)、Numpy(Travis Oliphant)等,均為已知技術。
二、判斷影像資料有效或無效步驟S2:該切片初步處理部10係用以接收至少二影像資料,並判斷該至少二影像資料為有效影像資料、無效影像資料其中一者;並將有效影像資料傳送至該切片分類部20。其中,當該影像資料之影像中不包含人體皮膚內之腔體時,則被判斷屬於無效影像資料;反之,則被判斷屬於有效影像資料。
三、有效影像資料分類步驟S3:該切片分類部20係用以接收該有效影像資料,並依切片型態分類為橫切M1、縱切M2、冠切M3其中一者。再分別對應傳送至橫切良惡性判斷部30、該縱切良惡性判斷部40、該冠切良惡性判斷部50其中至少一者。
四、依分類進行良惡性判斷步驟S4:
[a]當該有效影像資料為該橫切M1,則該橫切良惡性判斷部30係用以判斷其為惡性、良性其中一者。
[b]當該有效影像資料為該縱切M2,則該縱切良惡性判斷部40係用以判斷其為惡性、良性其中一者。
[c]當該有效影像資料為該冠切M3,則該冠切良惡性判斷部50係用以判斷其為惡性、良性其中一者。
五、完成步驟S5:當以該橫切良惡性判斷部30、該縱切良惡性判斷部40及該冠切良惡性判斷部50構成『並聯架構』,且其中至少一者之輸出結果為惡性時,則顯示「惡性」之訊號;否則顯示「良性」之訊號。
其中,該切片初步處理部10係用以接收至少二影像資料,其切片型態分類為該橫切M1、該縱切M2、該冠切M3其中之至少二者;當然,若前述之切片型態分類為該橫切M1、該縱切M2及該冠切M3三者則更佳。
實務上,該影像資料可為電腦斷層掃描(英文為Computerized Tomography,簡稱CT)影像資料、核磁共振(英文為Magnetic Resonance Imaging,簡稱MRI)切片資料或其他類型之切片資料。
此外,該橫切良惡性判斷部30之功能是用來判斷某一影像資料是屬於惡性或良性。所以,在預先訓練時,會先由專科醫師挑選出N張橫切良性的影像資料(參考第6A圖)及N張橫切惡性的影像資料(參考第6B圖),經AI訓練後而得到該橫切良惡性判斷部30。同理,亦由專科醫師挑選出N張縱切良性的影像資料(參考第7A圖)及N張縱切惡性的影像資料(參考第7B圖),經AI訓練後而得到該縱切良惡性判斷部40。再由專科醫師挑選出N張冠切良性的影像資料(參考第8A圖)及N張冠切惡性的影像資料(參考第8B圖),經AI訓練後得到該縱切良惡性判斷部50。
當然,關於該切片初步處理部10及該切片分類部20之預先訓練過程,亦可如前述,先提供N張影像資料,接著由專科醫師先區分可用(符合標準)與不可用(模糊或是不符合標準)之影像資料(即為該切片初步處理部10),再來,亦由專利醫師將可用的N張影像資料區分為該橫切M1、該縱切M2或是該冠切M3(亦即該切片分類部20),即完成預先訓練。
更詳細的說,當該影像資料之影像中不包含人體皮膚內之腔體時(例如:縱切時僅切到人體皮膚左右兩側之外的空氣、冠切時僅切到人體肚皮上方之空氣、冠切時僅切到人體背部下方之床板或直立背板),則被判斷屬於無效影像資料;反之,則被判斷屬於有效影像資料。
參閱第3圖,其為上述系統之某一實驗結果後產生之混淆矩陣:其中: 右下為真陰(True Negative,TN),數值為0.764;左下為偽陽(False Positive,FP),數值為0.236;右上為偽陰(False Negative,FN),數值為0.099;及左上為真陽(True Positive,TP),數值為0.901。
其陰性及陽性之對應關係則可參閱第4圖:當實際值1,則實際上是陽性;當實際值0,則實際上是陰性;當預測值1,則預測是陽性;及當預測值0,則預測是陰性。
接著,參閱下(表一),此為另一實測結果之舉例數據,以便於理解:
Figure 112107876-A0305-02-0007-2
其中:平均率:將所有類別的權重都設相同;及加權平均:是按類別的數量不同給予不同的權重。
進一步,表一配合第3及第4圖,可分別對應下列(公式1)、(公式2)、(公式3)、(公式4)、(公式5)及(公式6):
Figure 112107876-A0305-02-0007-4
其中,精確率愈高,表示模型預測較為保守。
Figure 112107876-A0305-02-0008-5
其中,召回率愈高,表示模型在輸入之影像資料中正確預測之比例愈高。
Figure 112107876-A0305-02-0008-6
Figure 112107876-A0305-02-0008-7
其中,F 1 -計分為精確率與召回率之調和平均數。
Figure 112107876-A0305-02-0008-8
錯誤預測率(False predict rate,簡稱FPR):模型預測為實際陰性中之偽陽(預測陽性實際是陰性)的比率。
Figure 112107876-A0305-02-0008-9
真實預測率(True predict rate,簡稱TPR):模型預測為實際陽性中之真陽(預測陽性實際是陽性)的比率。
參閱第5圖,其為接收者操作特徵(Receiver operating characteristic,簡稱ROC)曲線,其係將同一模型之不同閥值(threshold)得到之結果,繪製於ROC空間中得到的曲線,其中曲線L1上之參考點P顯示越靠近左上角代表效能越好,且該參考點P即為真實預測率扣除錯誤預測率之最大值所在之點,相當於統計學上的約登指數(Youden index),即為靈敏度(sensitivity)+特異度(specificity)-1最大值所在之點。又,第5圖之結果係在模型之閥值(threshold)定義為0.8時所得的結果;當然,閥值(threshold)係可視情況修改調整,本案之實驗過程中,亦曾有閥值(threshold)為0.314之情形。而曲線下面積(Area Under Curve,簡稱AUC)為模型評估的方式之一,AUC越接近1(AUC只會在0~1之間,本案為0.88)代表正確率越高。
而當其中的虛線L2代表AUC=0.5時,則代表模型沒有預測價值,該虛線L2僅為方便判斷模型的效能之示意而已。
此外,關於本案之並聯架構是採用橫切良惡性判斷部30、縱切良惡性判斷部40與該冠切良惡性判斷部50必須三者並聯(而非兩者並聯)之原因,請參考下表二。
Figure 112107876-A0305-02-0009-3
由上(表二)之實驗數據可看出,若只有該橫切良惡性判斷部30及該縱切良惡性判斷部40兩者並聯時,其AUC=0.68;若只有該橫切良惡性判斷部30及該冠切良惡性判斷部40兩者並聯時,其AUC=0.71;都低於該橫切良惡性判斷部30、該縱切良惡性判斷部40與該該冠切良惡性判斷部50三者並聯之AUC=0.8。因此,本案採用三者並聯,而排除兩者並聯之型態。
茲舉例簡單說明本案之辨識方法:
(a)假設某一醫師將病患甲之2張影像資料(例如為該橫切M1及縱切M2之CT片)輸入本發明之系統後,最後會經過該橫切良惡性判斷部30與該縱切良惡性判斷部40之判斷,且若輸出結果為「良性」及「良性」,則代表該影像資料輸入後之結果為良性。
(b)假設某一醫師將病患乙之三張(包括該橫切M1、該縱切M2及該冠切M3)影像資料(例如CT片)輸入本發明之系統後,最後會分別經過相對應之該橫切良惡性判斷部30、該縱切良惡性判斷部40與該冠切良惡性判斷部50之判斷,且 若三個輸出結果均為「良性、良性、良性」,則代表該三張影像資料輸入後之最終結果為良性。
(c)假設某一醫師將病患丙之三張(包括該橫切M1、該縱切M2及該冠切M3)影像資料(例如CT片)輸入本發明之系統後,同樣分別經過相對應之該橫切良惡性判斷部30、該縱切良惡性判斷部40與該冠切良惡性判斷部50之判斷,且若三個輸出結果分別為「良性、惡性、良性」,則代表該三張影像資料輸入後之最終結果為惡性(只要任一輸出結果是惡性,即為惡性)。
換言之,本發明只要發現該橫切良惡性判斷部30、該縱切良惡性判斷部40與該冠切良惡性判斷部50之任一判斷為惡性時,則最終結果就是惡性,並提供一訊息給醫師參考。通常醫師為慎重起見,可能會再安排更精密更詳細的檢測,來確定是否為惡性。
此外,本案之完成步驟S5中,可再增加顯示判斷為良性及惡性之總張數及其比率;例如:
(d)假設某一醫師將病患丁之60張(包括該橫切M1、該縱切M2及該冠切M3各20張)影像資料(例如CT片)輸入本發明之系統後,最後有3張被判斷為惡性而57張為良性,則本系統除顯示「惡性」之外,額外顯示:良性57張(95%)、惡性3張(5%)。
(e)假設某一醫師將病患戊之60張(包括該橫切M1、該縱切M2及該冠切M3各20張)影像資料(例如CT片)輸入本發明之系統後,最後有52張被判斷為惡性而8張為良性,則本系統除顯示「惡性」之外,額外顯示:良性8張(13%)、惡性52張(87%)。
藉此,除了可知道「惡性」之準確度外,還可知道被判斷惡性之比率,供專科醫師參考。
本案之優點及功效可以歸納如下:
[1]利用人工智慧(AI)可以輔助醫師判別。由於本案利用人工智慧(AI)的技術,將已有的大量資料(含良性、惡性之橫切、縱切及冠切三方向)進行訓練,訓練後可以建構出本系統之主要架構,可以應用於婦產科判斷是否有卵巢癌,特別是可以解決人眼不易察覺之某些細部影像特徵,所以本案有很好的輔助判別效果。故,利用人工智慧(AI)可以輔助醫師判別
[2]多面向綜合判斷之高準確性。由於卵巢癌之腫瘤形狀不一,分布狀態也不同,本案以多面向:橫切、縱切及冠切等三方向以並聯架構進行綜合判斷,可提高準確性。故,多面向綜合判斷之高準確性。
[3]可進行初步篩檢。當某些醫院沒有專科醫師可以及時判讀時(例如:檢診所、衛生所,或是偏遠區域的醫院),本案之系統即可進行初步篩檢。若結果為惡性,則再轉往較大型之醫療院所,經由專科醫師進行更精確的醫療檢查。
以上僅是藉由較佳實施例詳細說明本發明,對於該實施例所做的任何簡單修改與變化,皆不脫離本發明之精神與範圍。
S1:準備步驟
S2:判斷影像資料有效或無效步驟
S3:有效影像資料分類步驟
S4:依分類進行良惡性判斷步驟
S5:完成步驟

Claims (4)

  1. 一種應用多面向並聯AI判讀架構判讀卵巢惡性腫瘤之方法,係包括下列步驟:一、準備步驟:準備一切片初步處理部、一切片分類部、一橫切良惡性判斷部、一縱切良惡性判斷部及一冠切良惡性判斷部;二、判斷影像資料有效或無效步驟:該切片初步處理部係用以接收至少二影像資料,並判斷該至少二影像資料為有效影像資料、無效影像資料其中一者;並將有效影像資料傳送至該切片分類部;其中,當該影像資料之影像中不包含人體皮膚內之腔體時,則被判斷屬於無效影像資料;反之,則被判斷屬於有效影像資料;三、有效影像資料分類步驟:該切片分類部係用以接收該有效影像資料,並依切片型態分類為橫切、縱切、冠切其中一者;再分別對應傳送至橫切良惡性判斷部、該縱切良惡性判斷部、該冠切良惡性判斷部其中至少一者;四、依分類進行良惡性判斷步驟:[a]當該有效影像資料為該橫切,則該橫切良惡性判斷部係用以判斷其為惡性、良性其中一者;[b]當該有效影像資料為該縱切,則該縱切良惡性判斷部係用以判斷其為惡性、良性其中一者;[c]當該有效影像資料為該冠切,則該冠切良惡性判斷部係用以判斷其為惡性、良性其中一者;及 五、完成步驟:當以該橫切良惡性判斷部、該縱切良惡性判斷部及該冠切良惡性判斷部構成並聯架構,且其中至少一者之輸出結果為惡性時,則顯示「惡性」之訊號;否則顯示「良性」之訊號;其中,該切片初步處理部係用以接收至少二影像資料,其切片型態分類為該橫切、該縱切、該冠切其中之至少二者。
  2. 如請求項1所述之應用多面向並聯AI判讀架構判讀卵巢惡性腫瘤之方法,其中,該切片初步處理部係用以接收至少三影像資料,其切片型態分類為該橫切、該縱切及該冠切三者。
  3. 如請求項1或2所述之應用多面向並聯AI判讀架構判讀卵巢惡性腫瘤之方法,其中,在該完成步驟後,又顯示出被判斷為良性、惡性之數量與所佔之百分比。
  4. 如請求項1所述之應用多面向並聯AI判讀架構判讀卵巢惡性腫瘤之方法,其中,該切片初步處理部、該切片分類部、該橫切良惡性判斷部、該縱切良惡性判斷部及該冠切良惡性判斷部係預先經AI訓練完成者。
TW112107876A 2023-03-03 2023-03-03 應用多面向並聯ai判讀架構判讀卵巢惡性腫瘤之方法 TWI836926B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW112107876A TWI836926B (zh) 2023-03-03 2023-03-03 應用多面向並聯ai判讀架構判讀卵巢惡性腫瘤之方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW112107876A TWI836926B (zh) 2023-03-03 2023-03-03 應用多面向並聯ai判讀架構判讀卵巢惡性腫瘤之方法

Publications (1)

Publication Number Publication Date
TWI836926B true TWI836926B (zh) 2024-03-21

Family

ID=91269748

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112107876A TWI836926B (zh) 2023-03-03 2023-03-03 應用多面向並聯ai判讀架構判讀卵巢惡性腫瘤之方法

Country Status (1)

Country Link
TW (1) TWI836926B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101689220A (zh) * 2007-04-05 2010-03-31 奥利安实验室有限公司 用于治疗、诊断和预测医学病症发生的系统和方法
CN110210519A (zh) * 2019-05-10 2019-09-06 上海联影智能医疗科技有限公司 分类方法、计算机设备和存储介质
CN113052228A (zh) * 2021-03-22 2021-06-29 山西三友和智慧信息技术股份有限公司 一种基于SE-Inception的肝癌病理切片分类方法
CN113657479A (zh) * 2021-08-12 2021-11-16 广东省人民医院 一种新型多尺度深宽结合的病理图片分类方法、系统及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101689220A (zh) * 2007-04-05 2010-03-31 奥利安实验室有限公司 用于治疗、诊断和预测医学病症发生的系统和方法
CN110210519A (zh) * 2019-05-10 2019-09-06 上海联影智能医疗科技有限公司 分类方法、计算机设备和存储介质
CN113052228A (zh) * 2021-03-22 2021-06-29 山西三友和智慧信息技术股份有限公司 一种基于SE-Inception的肝癌病理切片分类方法
CN113657479A (zh) * 2021-08-12 2021-11-16 广东省人民医院 一种新型多尺度深宽结合的病理图片分类方法、系统及介质

Similar Documents

Publication Publication Date Title
CN110464380B (zh) 一种对中晚孕期胎儿的超声切面图像进行质量控制的方法
Blanchard et al. Phallometric comparison of pedophilic interest in nonadmitting sexual offenders against stepdaughters, biological daughters, other biologically related girls, and unrelated girls
CN111223092A (zh) 胎儿超声切面图像自动质控系统及检测方法
Tang et al. CNN-based qualitative detection of bone mineral density via diagnostic CT slices for osteoporosis screening
CN107292103A (zh) 一种预测图像生成方法及装置
Arthuis et al. Computed tomographic study of anatomical relationship between pubic symphysis and ischial spines to improve interpretation of intrapartum translabial ultrasound
CN109543623A (zh) 一种基于核磁共振成像的胎儿发育状况预测装置
Levine et al. Frequency and cause of disagreements in diagnoses for fetuses referred for ventriculomegaly
CN113240654A (zh) 一种多维度特征融合的颅内动脉瘤检测方法
CN115564741A (zh) 基于ct图像量化食管胃底静脉曲张的装置
CN111481233B (zh) 胎儿颈项透明层厚度测量方法
Saw et al. Motorizing and optimizing ultrasound strain elastography for detection of intrauterine growth restriction pregnancies
Bauman et al. Ultrasonographic determination of pubic symphyseal widening in trauma: the FAST-PS study
TWI836926B (zh) 應用多面向並聯ai判讀架構判讀卵巢惡性腫瘤之方法
CN112690815A (zh) 基于肺部图像报告辅助诊断病变等级的系统和方法
Li et al. Effects of osseous structure based on three-dimensional reconstructive imaging evaluation in the assessment of temporomandibular joint disc position
US11734915B2 (en) Automated and assisted identification of stroke using feature-based brain imaging
Deepika et al. Deep learning based automated screening for intracranial hemorrhages and grad-cam visualizations on non-contrast head computed tomography volumes
Zalud et al. Placental and spiral artery volume and gray‐scale value assessment via 3‐dimensional sonography in the second trimester
Zhao et al. Glenoid segmentation from computed tomography scans based on a 2-stage deep learning model for glenoid bone loss evaluation
Jiang et al. Development and validation of the diagnostic accuracy of artificial intelligence-assisted ultrasound in the classification of splenic trauma
Calandriello et al. Quantitative CT analysis in ILD and the use of artificial intelligence on imaging of ILD
Meng et al. A machine learning approach for preoperatively assessing pulmonary function with computed tomography in patients with lung cancer
Chen et al. Deep learning to assist composition classification and thyroid solid nodule diagnosis: a multicenter diagnostic study
CN111544021B (zh) 一种基于胸部ct的covid-19疾病进展评价方法及装置