TW202238617A - 具有放射學特徵和語義成像描述特徵的哺乳動物結節判定方法、系統和電腦儲存媒體 - Google Patents

Abstract

本發明揭示一種方法及系統，其判定哺乳動物之結節、使用在3D醫學影像上分段之至少一結節之各者產生一立體像素、運算與該立體像素相關聯的放射學特徵、自該等3D醫學影像之該結節運算切片資訊、將該等放射學特徵及該切片資訊輸入至一第二分類模型以預測該等語義成像描述特徵、將與該結節相關聯的該等放射學特徵及語義成像描述特徵輸入至一第一分類模型以預測該結節係良性或惡性。該結節之一放射學報告可進一步自動準備一惡性概率、該結節之評分、該結節之大小及與位置、紋理及邊際相關聯的該等語義成像描述特徵。由於自動產生該放射學報告，因此消除放射科醫師之常規及乏味工作且可改良判定效能。

Description

具有放射學特徵和語義成像描述特徵的哺乳動物結節判定方法、系統和電腦儲存媒體

本發明係關於一種結節判定方法、電腦儲存媒體及系統，且更特定言之，本發明係關於一種哺乳動物結節判定方法、電腦儲存媒體及系統，其將來自3D醫學影像之放射學特徵及切片資訊輸入至一機器學習模型以產生語義成像描述特徵且隨後將放射學特徵及語義成像描述特徵輸入至另一機器學習模型來預測結節係良性或惡性。

由異常組織之生長引起之結節可能恰在皮膚下方、較深之皮膚組織中或內臟中發展。以肺結節為例，其等係肺中之組織之小塊且可在一胸部X射線或電腦斷層掃描(CT)上偵測為圓形及白色陰影。

儘管大多數結節(尤其係小於1釐米之小結節)係良性或非癌性，但亦有一些結節被證明係惡性或癌性。一統計調查指示肺癌係第二大常見癌症及係男女癌症死亡之主要原因。自2008年至2017年，男性肺癌死亡率每年下降4%且女性肺癌死亡率每年下降3%。研究指示此等下降可能歸因於後續診斷及治療之醫學進步。

習知地，放射科醫師需要基於結節之紋理、大小及形狀分析CT影像上之結節且產生一放射學報告以便醫生提供建議性追蹤、生檢及/或治療。然而，分析及報告產生通常佔用放射科醫師大量時間且由放射科醫師準備之放射學報告往往不完全正確。據估計，平均診斷錯誤率在3%至5%之範圍內，全世界每年約有4000萬涉及成像之診斷錯誤。藉由識別及學習此等錯誤及如何減輕放射科醫師在結節註釋及評估方面之負擔來改良診斷效能及減少患者傷害之潛力變得顯著。

本發明之目的係提供一種能夠減輕放射科醫師準備常規放射學報告之工作負載及增強結節之良性及惡性之預測準確度之結節判定方法、系統及電腦儲存媒體。

為達成前述目的，該結節判定方法包含： 產生具有在多個3D醫學影像上分段之至少一結節之各者之一立體像素； 運算與該立體像素相關聯的多個放射學特徵；及 將與該立體像素相關聯的該多個放射學特徵及多個語義成像描述特徵輸入至一第一分類模型以預測該結節係良性或惡性，其中該第一分類模型由深度學習或機器學習訓練。

較佳地，該方法進一步包含： 自含有該結節之該等3D醫學影像運算該結節之切片資訊，其中該切片資訊包含結節位置、起始切片、結束切片及該結節在該等3D醫學影像之總切片上之切片；及 將該多個放射學特徵及該切片資訊輸入至一第二分類模型以預測該多個語義成像描述特徵，其中該第二分類模型藉由深度學習或機器學習來訓練且由該第二分類模型預測之該多個語義成像描述特徵包含分別與位置、紋理及邊際之類別相關聯的三個語義成像描述特徵。

較佳地，該結節判定方法進一步包含： 根據該多個放射學特徵之該等基於形狀之特徵及該等3D醫學影像之一掃描設定運算該結節之一大小； 根據該結節之該大小、與紋理相關聯的該語義成像描述特徵及視情況提供且與邊際相關聯的該語義特徵運算肺-RADS (肺成像報告及資料系統)標準中指定之該結節之一評分；及 使用由該第一分類模型預測之一惡性概率、該結節之該評分、該結節之該大小及與位置、邊際及紋理相關聯的該語義成像描述特徵，產生該結節之一放射學報告。

為達成前述目的，該電腦儲存媒體通信地連接至具有一嵌入式記憶體之一處理器且包含多個3D醫學影像、一第一分類模型及電腦可執行指令。

該多個3D醫學影像含有於其上分段之至少一結節。

該第一分類模型由深度學習或機器學習來訓練。

當由該處理器執行時，該等電腦可執行指令引起該處理器產生具有該至少一結節之各者之一立體像素、運算與該立體像素相關聯的多個放射學特徵及將與該立體像素相關聯的該多個放射學特徵及多個語義成像描述特徵輸入至該第一分類模型以預測該結節係良性或惡性。

較佳地，該電腦儲存媒體進一步包含藉由深度學習或機器學習訓練之一第二分類模型；當由該處理器執行時，該等電腦可執行指令引起該處理器自含有該結節之該等3D醫學影像運算該結節之切片資訊，其中該切片資訊包含結節位置、起始切片、結束切片及結節之該等3D醫學影像之總切片上之該結節之切片，且將該多個放射學特徵及該切片資訊輸入至該第二分類模型以預測該多個語義成像描述特徵包含分別與位置、紋理及邊際之類別相關聯的三個語義成像描述特徵。

較佳地，當由該處理器執行時，該等電腦可執行指令引起該處理器根據該多個放射學特徵之該等基於形狀之特徵及該等3D醫學影像之一掃描設定運算該結節之一大小、根據該結節之該大小及與紋理相關聯的該語義成像描述特徵及視情況提供且與邊際相關聯的該語義成像描述特徵運算肺-RADS之標準中指定之該結節之一評分及使用由該第一分類模型預測之一惡性概率、該結節之該評分、該結節之該大小及與位置、邊際及紋理之類別相關聯的該等語義成像描述特徵，產生該結節之一放射學報告。

為達成前述目的，該系統包含具有一嵌入式記憶體之一處理器及一電腦儲存媒體。

該電腦儲存媒體通信地連接至該處理器且儲存含有於其上分段之至少一結節、由深度學習或機器學習訓練之一第一分類模型及電腦可執行指令之多個3D醫學影像。當由該處理器執行時，該等電腦可執行指令引起該處理器執行包括以下之動作： 產生具有該至少一結節之各者之一立體像素； 運算與該立體像素相關聯的多個放射學特徵；及 將與該結節相關聯的該多個放射學特徵及多個語義成像描述特徵輸入至該第一分類模型以預測該結節係良性或惡性。

較佳地，該電腦儲存媒體進一步包含由深度學習或機器學習訓練之一第二分類模型。當由該處理器執行時，該等電腦可執行指令引起該處理器進一步執行包含以下之動作： 自含有該結節之該等3D醫學影像運算該結節之切片資訊，其中該切片資訊包含結節位置、起始切片、結束切片及該等3D醫學影像之總切片上之該結節之切片；及 將該多個放射學特徵及該切片資訊輸入至該第二分類模型以預測該多個語義成像描述特徵包含分別與位置、紋理及邊際之類別相關聯的三個語義成像描述特徵。

較佳地，當由該處理器執行時，該等電腦可執行指令引起該處理器進一步執行包含以下之動作： 根據該多個放射學特徵之該等基於形狀之特徵及該等3D醫學影像之一掃描設定運算該結節之一大小； 根據該結節之該大小、與紋理相關聯的該語義成像描述特徵及視情況提供且與邊際相關聯的該語義成像描述特徵運算肺-RADS標準中指定之該結節之一評分；及 產生該結節之一放射學報告，使用由該第一分類模型預測之一惡性概率、該結節之該評分、該結節之該大小及與位置、邊際及紋理相關聯的該等語義成像描述特徵。

根據前述描述，可看出方法、系統及電腦儲存媒體允許之共同特徵係：基於3D醫學影像上之一分段結節自動產生一立體像素；根據該立體像素運算該等放射學特徵；自該等3D醫學影像運算該結節之該切片資訊；將該等放射學特徵及該切片資訊輸入至該第二分類模型以預測與位置、紋理及邊際相關聯的該等語義成像描述特徵；將該等放射學特徵及與位置、紋理、邊際相關聯的該等語義成像描述特徵輸入至該第一分類模型以預測該結節係良性或惡性；根據該等放射學特徵及該等3D醫學影像之該掃描設定運算結節該之該大小；根據該結節之該大小及與紋理及邊際相關聯的該等語義成像描述特徵運算該結節之一評分；及使用由該第一分類模型預測之該惡性概率、該結節之該評分、該結節之該大小及與位置、邊際及紋理相關聯的該等語義成像描述特徵，產生該結節之一放射學報告。當使用僅由習知技術提供之該等放射學特徵及使用由本發明提供之該等放射學特徵及該等語義成像描述特徵作為至該第一分類模型來評估該第一分類模型的基準評估度量時，該等放射學特徵及該等語義成像描述特徵具有比僅具有該等放射學特徵之該等輸入之該第一分類模型之預測準確度更佳之一預測準確度。同時，由於該放射學報告之自動產生，因此若該第一分類模型及第二分類模型訓練良好作為成熟模型，則放射科醫師關於結節註釋及評估之常規、具有挑戰性及乏味工作可因此減輕或完全消除。

本發明之其它目的、優點及新穎特徵將在結合附圖時自以下詳細描述變得更加明顯。

下面呈現之描述中所使用之術語意欲以其最廣泛合理之方式來解譯，即使其結合技術之某些特定實施例之一詳細描述一起使用。某些術語甚至可在下文強調；然而，意欲以任何限制性方式解譯之任何術語將在此[實施方式]節中明確如此界定。

下文所介紹之實施例可由藉由軟體及/或韌體程式化或組態之可程式化電路系統來實施，或完全由專用電路系統，或以此等形式之一組合來實施。此專用電路系統(若存在)可呈(例如)一或多個應用特定積體電路(ASIC)、可程式化邏輯裝置(PLD)、場可程式化閘陣列(FPGA)、中央處理單元(CPU)、圖形處理單元(GPU)、張量處理單元(TPU)、視覺處理器單元(VPU)、資料流程處理單元(DPU)、智慧處理單元(IPU)等之形式。

所描述之實施例關注一或多個方法、系統及儲存處理器可執行程序步驟之電腦儲存媒體，該等處理器可執行程序步驟用於提供在多個三維(3D)醫學影像上分段之一結節之放射學特徵及切片資訊及利用兩個分類模型來預測結節之多個語義成像描述特徵及預測結節係良性或惡性。自從3D醫學影像上之結節運算的一立體像素運算放射學特徵，而直接自涉及結節之多個3D醫學影像之切片運算切片資訊。用於預測結節語義成像描述特徵之分類模型將放射學特徵及結節之切片資訊視為輸入且預測與位置、邊際及紋理之類別相關聯的結節之語義成像描述特徵。用於預測結節係良性或惡性之分類模型將結節之放射學特徵及語義成像學描述特徵視為輸入且預測結節係良性或惡性。該兩個分類模型之各者可藉由機器學習或深度學習來訓練。前一分類模型可用於自動產生與位置、紋理及邊際之較少類別相關聯的語義成像描述特徵。替代地，含有結節之3D醫學影像可由放射科醫師觀察以預先準備與更多類別相關聯的語義成像描述特徵。由前一分類模型產生或預先產生之語義成像描述特徵均可充當後一分類模型之輸入而與源於預先產生之語義成像描述性特徵之輸入相比，使用來自前一分類模型之語義成像描述特徵作為輸入之後一分類模型可稍微折衷其預測效能。最後，給定與邊際及紋理相關聯的語義成像描述特徵、一惡性概率、自放射學特徵計算之一結節大小及3D醫學影像之一掃描設定，可自動產生一放射學報告。以下描述中闡述所描述之實施例之更多細節。

參考圖1，根據本發明之一結節判定方法之一實施例包含以下步驟。

步驟S110：產生具有在多個3D醫學影像上分段之至少一結節之各者之一立體像素。至少一結節可在哺乳動物之器官(包含肺、甲狀腺、淋巴結、聲帶等)中及皮膚組織中發展。此處，3D醫學影像透過使用一醫學成像技術(諸如電腦斷層掃描(CT)掃描、磁共振成像(MRI)或正子發射斷層攝影術(PET)掃描或其類似者)掃描一哺乳動物之身體之一部分而產生。在CT掃描之情況下，在一實施例中，藉由一5 mm厚之CT掃描產生CT影像。一旦3D醫學影像可用，在當前步驟開始之前，至少一結節即可由適合於語義分段之一廻旋神經網路(CNN)分段或由有經驗之放射科醫師分段。此處，有經驗之放射科醫師定義為在包含結節分段及放射學特徵之描述之結節註釋中具有5至10年經驗之放射科醫師。各分段結節跨3D醫學影像之一些切片呈一逐像素遮罩形式。在一實施例中，至少一分段結節之各者之直徑小於30 mm。在圖2中所展示之一實例中，在人類肺部之一CT影像上顯示被觀察為指示毛玻璃狀陰影(GGO)之一霧狀區域之一分段結節。由於至少一結節之各者通常涉及跨透過一哺乳動物之身體之一部分掃描之3D醫學影像之切片上之多個橫截面區域之一體積，因此分段結節可重構為一三維格網上之一立體像素。根據定義，一立體像素意謂在一三維空間中以一規則格網間隔且在其等之間無間隙之情況下感知之體積像素。

步驟S120：運算與該立體像素相關聯的多個放射學特徵。對應於各分段結節之立體像素可用於計算多個放射學特徵，界定為來自立體像素之一病變之表現型特徵之量化且可潛在地用於以一準確及非侵入性方式識別腫瘤、識別突變及預測預後，藉由對立體像素進行影像擷取及重構、影像分段、特徵提取及鑑定、分析及建模。 表1：肺結節之放射學特徵之類型

群組	特徵類型	特徵量
第一階	強度	18
形狀	14
第二階	GLCM	24
GLRLM	16
GLSZM	16
NGTDM	5
GLDM	14

在肺結節之一實施例中，如表1中針對放射學特徵之類型及數量所指定，存在18、14、24、16、16、5及14，總計107個放射學特徵，與強度、形狀、GLCM (灰階共生矩陣)、GLRLM (灰階運行長度矩陣)、GLSZM (灰階大小區域矩陣)、NGTDM (相鄰灰調差矩陣)及GLDM (灰度相依矩陣)之類別相關聯。

18個基於強度之放射學特徵描述單個立體像素值之分佈而不關注空間關係。此等係報告影像上之立體像素強度之平均值、中值、最大值及最小值之基於直方圖之性質以及其等之偏度(不對稱)、峰度(扁平度)、均勻性及隨機性(熵)。

14個基於形狀之放射學特徵描述所關注之追蹤區域(ROI)之形狀及其幾何特性質，諸如體積、沿不同正交方向之最大直徑、最大表面、結節緊密度及球形度。例如，針狀結節之表面積與體積比將展示比類似體積之一圓形結節高之值。

藉由計算相鄰立體像素之間的統計相互關係而獲得剩餘75個基於紋理之放射影像學特徵，其等提供立體像素強度之空間配置之一量測，及因此病變內之異質性之一量測。此等基於紋理之放射學特徵可自量化沿一固定方向在一預定距離處具有相同強度之立體像素中之區域之入射之GLCM導出、自量化沿固定方向具有相同強度之立體像素中的連續區域之GLRLM導出、自量化其各者界定為共用相同灰階強度之連接區域之數目之立體像素中的灰階區域之GLSZM導出、自量化立體像素之一區域之一灰階值與其在一距離內之相鄰區域之平均灰階值之間的差值之NGTDM導出及自量化立體像素中之灰階相依性(其中各灰階相依性界定為取決於立體像素中之中心區域之一距離內的連接區域之數目)之GLDM導出。

步驟S150：將該多個放射學特徵及多個語義成像描述特徵輸入至一第一機器學習模型以預測該結節係良性或惡性。第一分類模型可藉由機器學習或深度學習來訓練。當藉由機器學習訓練時，第一分類模型可為支援向量機(SVM)、線性鑑別分析(LDA)、隨機森林、決策樹及極端梯度提升之一者。當藉由深度學習訓練時，第一分類模型可為將呈向量之形式之放射學特徵及語義成像描述特徵分別轉換為二維輸入矩陣、自各自輸入矩陣提取兩個特徵圖、串連兩個特徵圖以形成一合併特徵圖及使用合併特徵圖預測結節係良性或惡性之一人工神經網路。如圖3中所展示，第一分類模型之人工神經網路之一實施例由將呈向量之形式之放射學特徵及語義成像描述特徵分別轉換為二維輸入矩陣之兩個輸入層31、32、由自各自輸入矩陣提取兩個特徵圖且串連兩個特徵圖以形成一合併特徵圖之三個廻旋層33、34，35及由預測結節係良性或惡性之兩個緻密層36、37實施。

在當前步驟中，輸入至第一分類模型之資料包含多個放射學特徵及多個語義成像描述特徵。由於在前述步驟S120中已提供多個放射學特徵，因此多個語義成像描述特徵看起來係接著待討論之焦點。取決於語義成像描述特徵之數目，可以一綜合或部分方式提供多個語義成像描述特徵。可透過對經驗放射科醫師之一深入討論及透徹評估，界定3D醫學影像上之一結節之綜合語義成像描述特徵。由於放射科醫師可以一離線方式使用3D醫學影像執行其結節評估，因此在結節判定方法開始之前，可獲得綜合語義成像描述特徵。如表2中所列，一肺結節之綜合語義成像描述特徵可按結節之位置、大小、瘤內特徵、結節周圍特徵、胸膜改變、淋巴結分類。 表2 肺結節之語義成像學描述特徵之類別

	類別	子類別/選項	選項
1	位置	右肺	RUL
RML
RLL
左肺	LUL
LLL
肺舌葉
2	大小	最大直徑
體積
大小追蹤	不可用
T0
T1
T2
3	瘤內特徵	紋理	固體
子固體
純GGO
形狀	不規則
圓形
卵形
楔形
邊際	形狀劃界
小葉
針狀
刺狀
其他特徵	空蝕
空氣支氣管像
壞死
對比度增強	未完成
是
否
對比度增強圖案	異質
均質
4	結節周圍特徵	結節周圍纖維化
小葉隔膜增厚
結節周圍氣腫
衛星結節
胸壁受累
裂隙附著
5	胸膜改變	胸膜回縮
胸膜結節
胸膜積水
6	淋巴結	無淋巴結腫大
淋巴結腫大	左肺門
右肺門
縱膈
左肺門

依循一註釋及影像標記(AIM)格式，可由放射科醫師在多個至3D醫學影像上註釋綜合語義成像描述特徵而將病理學內容新增至3D醫學影像且促進容易及自動搜尋內容。綜合語義成像描述特徵之各類別可進一步劃分為多個子類別或包含多個選項，且各子類別可為一數值或包含多個選項。位置之類別進一步包含右肺及左肺之兩個子類別。右肺之子類別包含三個選項(RUL、RML及RLL)以分別指示結節出現在右肺之上位置、中間位置及下位置。左肺之子類別包含三個選項(LUL、LLL及肺舌葉)以指示分別出現在左肺之上、下及肺舌葉之結節之一位置。大小之類別包含最大直徑、體積及大小追蹤之子類別。最大直徑及體積之子類別涉及數值。大小追蹤之子類別包含四個選項，即不可用、T0、T1、T2以指示結節已被追蹤多少次，其中T0表示結節在CT掃描中首次發現，T1表示第一次追蹤，且T2表示第二次追蹤。瘤內特徵之類別包含6個子類別，即紋理、形狀、邊際、其他特徵、對比度增強及對比度增強圖案。紋理之子類別包含固體、子固體及意謂非固體結構之毛玻璃狀陰影(GGO)之選項。形狀之子類別包含不規則、圓形、卵形及楔形之選項。邊際之子類別包含尖銳劃界、小葉、針狀及刺狀之選項，其他特徵之子類別包含空蝕、空氣支氣管像及壞死之選項。對比度增強之子類別包含未完成、是及否之選項。對比度增強圖案之子類別包含異質及均質之選項。結節周圍特徵之類別包含結節周圍纖維化、小葉隔膜增厚、結節周圍氣腫、衛星結節、胸壁受累及裂隙附著之選項。胸膜改變之類別包含胸膜回縮、胸膜結節及胸膜積水之選項。淋巴結之類別包含無淋巴結腫大及淋巴結腫大之子類別。淋巴結腫大之子類別包含左肺門、右肺門及縱隔。與綜合語義成像描述特徵相反，與一部分相關聯的部分語義成像描述特徵而非表2中所列之所有類別可自一自動方法獲取，諸如稍後將介紹之一第二分類模型。此自動方法旨在擺脫放射科醫師在產生綜合語義成像描述特徵上耗費之大量時間。然而，由於具有較少類別之語義成像描述特徵之輸入，自動方法可導致第一分類模型相對於由放射科醫師預先準備之綜合語義成像描述特徵之輸入之第一分類模型之一預測準確度略差。因此，儘管準備綜合語義成像描述特徵耗時更多，但良好的係覆蓋結節之更多態樣之綜合語義成像描述特徵作為訓練資料以在訓練階段將第一分類模型訓練成一更佳模型。

作為第一分類模型之輸出，結節之一惡性概率可在0%至100%之範圍內。由於暫時並非肺部診斷之一習慣指標，因此惡性概率可被視為開業醫師統計分析一結節之惡性及良性之參考指標。就訓練第一分類模型而言，結節係良性或惡性之標記惡性概率分別係0%及100%。自第一分類模型輸出之惡性概率越接近0%，結節係良性之可能性越大，且自第一分類模型輸出之惡性概率越接近100%，結節係惡性之可能性越大。

就用於輸送部分語義成像描述特徵之自動方法而言，在一實施例中，自動方法由藉由機器學習或深度學習訓練之第二分類模型實施。鑑於涉及第二分類模型，參考圖4，根據本發明之一結節判定方法之另一實施例進一步在步驟S120與S150之間新增類似於圖1中之步驟之以下步驟。

S130：自含有該結節之該等3D醫學影像運算該結節之切片資訊。不同於自立體像素計算之放射學特徵，直接自原始3D醫學影像獲取及運算切片資訊。作為助於進一步改良準確地描述結節之位置、紋理及邊際之放射學特徵，切片資訊意欲直接精確定位與原始3D醫學影像之特定切片上之結節之位置、邊際及紋理有關之資訊。由於3D醫學影像呈多個切片之形式，因此一結節之切片資訊用於識別結節位於其上之3D醫學影像之連續切片且包含6個資料欄位，即結節位置、結節之起始切片、結節之結束切片、具有結節之一最大橫截面之切片及連續切片之一計數與3D醫學影像之切片之一總計數之比。

步驟S140：將該多個放射學特徵及該切片資訊輸入至該第二機器學習模型以預測該多個語義成像描述特徵。類似地，第二分類模型可藉由機器學習或深度學習來訓練。當藉由機器學習訓練時，在一實施例中，第二分類模型可為單純貝氏(Naïve-Bayes)(NB)、K-最近鄰(KNN)、隨機森林及極端梯度提升(XGB)之一者。當藉由深度學習訓練時，參考圖5中所展示之一實施例，第二分類模型包含三個人工神經網路，其中多個放射學特徵及多個切片資訊作為輸入至三個人工神經網路之一者以預測位置之一類別中之語義成像描述特徵，且其中多個放射學特徵作為輸入至剩餘兩個人工神經網路之各者以分別預測邊際及紋理之類別中之語義成像描述特徵。在一實施例中，三個人工神經網路40、50、60之各者包含一輸入層41、51、61、兩個緻密層42、43、52、53、62、63及一輸出層44、54、64。再者，在輸出位置之類別中的語義成像描述特徵之人工神經網路40中，至輸入層41中之輸入呈將107維放射學特徵連同切片資訊整合在一起之一多特徵融合向量之形式，緻密層42、53之啟動功能選擇為tanh (雙曲正切)，且輸出層44之啟動被選擇為softmax。在輸出紋理之類別中的語義成像描述特徵之人工神經網路60中，至輸入層61中之輸入呈107維放射學特徵之一向量形式且緻密層62、63及輸出層64之啟動功能相同於輸出位置之類別中的語義成像描述特徵之人工神經網路40中的啟動功能。在輸出邊際之類別中的語義成像描述特徵之人工神經網路50中，至輸入層51中的輸入呈107維放射特徵之一向量形式，緻密層52、53之啟動功能選擇為ReLU (整流線性單元)，且輸出層54之啟動選擇為softmax。將三個人工神經網路40、50、60分離及平行操作以預測及輸出部分語義成像描述特徵。人工神經網路40、50、60之各者較佳地係被視為適合於處置涉及類似於放射學特徵之數位及文字資料兩者之輸入之一多層感知器(MLP)神經網路。

第二分類模型可僅輸出部分語義成像描述特徵，其不包含綜合語義成像描述特徵之所有六個類別但與位置、紋理、邊際之三個類別相關聯的三個語義成像描述特徵。儘管語義成像描述特徵之類別較少，但在步驟S150中，第二分類模型可完全消除放射科醫師用於預測結節之良性或惡性之參與，同時不顯著降低預測準確性。替代地，步驟S110至S140可獨立地應用為自動獲取位置、紋理及邊際之類別中之部分語義成像描述特徵之一量測，使得放射科醫師可自該處繼續以評估及校正由第二分類模型預測之部分語義成像描述特徵且朝向綜合語義成像描述特徵完成完成剩餘類別以有利於改良第一及第二分類模型之訓練。就產生用於訓練第一分類模型及第二分類模型之綜合語義成像描述特徵及部分語義成像描述特徵而言，此半自動方法看起來係一種能夠將放射科醫師之時間及精力自常規結節註釋及評估完全分配至其他對結節判定更為重要之地方之解決方案。

習知地，放射學報告通常由一放射科醫師藉由回顧一受檢者之病史及分析受檢者之成像來描述成像結果。對於放射科醫師而言，作為一項具有挑戰性、乏味且複雜之任務，產生可在無放射科醫師之情況下以一非預期之方式自動準備之放射科醫師報告成為本發明之目標之一者。如表3中粗體部分所強調，通常，放射學報告可提供結節之大小、位置、紋理及邊際，及一肺RADS (肺成像報告及資料系統)評分。此外，惡性概率係本發明額外提供之一指標作為一結節係良性或惡性之可能性之一參考。如先前所指示，與結節之位置、紋理及邊際相關聯的部分語義成像描述特徵已由第二分類模型或放射科醫師預先提供且惡性概率已由第一分類模型預測。換言之，在完成放射學報告時，尚未提供結節之大小及肺RADS評分。

在如圖6及圖7中所繪示之步驟S150之後，前述結節判定方法在產生放射學報告時進一步增加以下步驟，如圖1及圖4中所展示。

步驟S160：根據該多個放射學特徵及該等3D醫學影像之一掃描設定運算該結節之一大小。大體上，基於形狀之放射學特徵可為結合3D醫學影像之一掃描設定以實際尺度運算結節之大小之資訊之一源。在運算結節之大小之多個放射學特徵中，一基於形狀之特徵係沿不同正交方向之最大直徑。對於掃描設定，其需要切片之間之間距及3D醫學影像之一切片厚度。

步驟S170：根據結節之大小、與如圖6中所繪示之瘤內特徵之類別中的紋理選項相關聯的語義成像描述特徵或與如圖7中所繪示之與紋理之類別相關聯的語義成像描述特徵及視情況提供且與如圖6中所繪示或與如圖7中所繪示之邊際之類別相關聯的結節周圍特徵之類別中的邊界之選項相關聯的語義成像描述特徵，產生肺-RADS (肺成像報告及資料系統)之標準中指定之結節之一評分。就肺RADS評分而言，圖8揭示一種肺RADS評分可藉由紋理之類別中的語義成像描述特徵及邊際之類別中的可選語義成像描述特徵及結節之大小之一對應組合來映射之映射關係。例如，當紋理類之語義成像描述特徵係「亞固體」，邊際之類別之語義成像描述特徵為「針狀或不同」且大型大於或等於8 mm時，肺RADS評分係4B。應注意在圖8中，當紋理之類別中的語義成像描述特徵係「固體」或「GGO」時，可不需要邊際之類別中的語義成像描述特徵來產生結節之評分。

步驟S180：使用由第一分類模型預測之惡性概率、結節之評分、結節之大小及與圖6中所繪示之瘤內特徵之類別之位置之類別及邊界及紋理之選項或圖7中所繪示之邊界及紋理之類別相關聯的語義成像描述特徵，產生結節之一放射學報告。肺RADS評分充當一重要指標以提示連續性治療，包含病理檢查、定期追蹤等。如表3之實例中所展示，建議密切追蹤及進一步生檢，結節評分定為4A。 表3 結節之放射學報告

影像日期	患者ID	切片號碼	最大直徑
2016/6/18	xxxxxx	43/60	8.4 mm
結節1壓印： 1.       IUL中存在具有 小葉邊際之一8.4 mm 固體結節。 2.      根據肺RADS版本1.1，評分係 4A。 3.      惡性概率係約 98.20%。 4.      建議密切追蹤及進一步生檢。

下表4用於比較僅與放射學特徵之輸入相關聯的評估度量與放射學特徵及語義成像描述特徵之輸入相關聯的評估度量與藉由深度學習訓練之第一分類模型。請注意，在表4及表5中，語義成像描述特徵屬於綜合語義成像描述特徵，評估度量來自申請人之經驗，且AUC (曲線下準確度)係自接收者操作曲線(ROC)獲取之評估度量。當至第一分類模型之輸入僅包含放射學特徵時，與不管精確度、召回率、F1評分及AUC評估度量相比，當放射學特徵及綜合語義成像描述特徵作為至第一分類模型之輸入時，所評估之各自評估度量在評估度量之各者中佔優勢。 表4 藉由深度學習訓練之第一分類模型之評估度量之比較

輸入/評估度量	精確度	召回率	F1-評分	AUC
放射學特徵	0.79	0.65	0.71	0.86
放射學特徵+語義成像描述特徵	0.94	0.93	0.94	0.99

表5 藉由機器學習及深度學習訓練之第一分類模型之AUC之比較

輸入	SVM	LDA	隨機森林	決策樹	深度學習
Poly	RBF	線性	Sigmoid
放射學	0.64	0.66	0.66	0.62	0.54	0.68	0.66	0.86
放射學+語義	0.77	0.79	0.79	0.75	0.68	0.80	0.69	0.99

如表5中所進一步指示，在藉由機器學習及深度學習訓練之各種分類模型中，以放射學特徵及語義成像描述特徵為輸入評估之第一分類模型之預測準確度(AUC)均優於僅以放射學特徵為輸入評估之預測準確度(AUC)。

儘管與人工或半自動地預先準備之綜合語義成像描述特徵作為第一分類模型之輸入時所評估之預測準確度相比稍差，當由第二分類模型自動產生之部分語義成像描述特徵係至第一分類模型之輸入時，所評估之預測準確度可達到約0.94，考慮到結節自動標注及第一分類模型可接受之預測準確度，將部分語義成像描述特徵作為一下降輸入選擇。

對於本發明中之硬體之態樣，參考圖9，用於結節判定之一系統10包括具有一嵌入式記憶體111之一處理器11及一電腦儲存媒體12。電腦儲存媒體12通信地連接至處理器11且儲存含有於其上分段之至少一結節1211之多個3D醫學影像121，可提供藉由深度學習或機器學習訓練之一第一分類模型122、藉由深度學習或機器學習訓練之一第二分類模型123、綜合語義成像描述特徵124及電腦可執行指令125。當由處理器11執行時，電腦可執行指令124引起處理器11執行圖6及圖7中之前述結節判定方法之步驟。處理器可為一CPU，且電腦儲存媒體可為一GPU、一TPU、一VPU、一DPU及一IPU之一者。

此外，參考圖10，通信地連接至具有一嵌入式記憶體31之一處理器30之電腦儲存媒體20包含多個3D醫學影像21、一第一分類模型22、一第二分類模型23、綜合語義成像描述特徵24，及電腦可執行指令25。多個3D醫學影像21含有於其上分段之至少一模組211。第一分類模型22藉由深度學習或機器學習來訓練。第二分類模型23藉由深度學習或機器學習來訓練。當由處理器30執行時，電腦可執行指令25引起處理器30執行如圖6及圖7中所繪示之前述結節判定方法之步驟。電腦儲存媒體可為一GPU、一TPU、一VPU、一DPU及一IPU之一者。

儘管已在前述描述中闡述本發明之許多特性及優點及本發明之結構及功能之細節，但本發明僅係繪示性的。在其中隨附申請專利範圍所表達之術語之寬泛一般含義所指示之全部範圍內，可進行細節之改變，尤其在本發明之原理內之部件之形狀、大小及配置之問題上。

10:系統 11:處理器 12:電腦儲存媒體 20:電腦儲存媒體 21:三维(3D)醫學影像 22:第一分類模型 23:第二分類模型 24:綜合語義成像描述特徵 25:電腦可執行指令 30:處理器 31:輸入層 32:輸入層 33:廻旋層 34:廻旋層 35:廻旋層 36:緻密層 37:緻密層 40:人工神經網路 41:輸入層 42:緻密層 43:緻密層 44:輸出層 50:人工神經網路 51:輸入層 52:緻密層 53:緻密層 54:輸出層 60:人工神經網路 61:輸入層 62:緻密層 63:緻密層 64:輸出層 111:嵌入式記憶體 121:三维(3D)醫學影像 122:第一分類模型 123:第二分類模型 124:綜合語義成像描述特徵 125:電腦可執行指令 211:模組 1211:結節 S110:步驟 S120:步驟 S130:步驟 S140:步驟 S150:步驟 S160:步驟 S170:步驟

圖1係展示根據本發明之一結節判定方法之一第一實施例之一流程圖； 圖2係於其上分段之一人類肺結節之一CT影像； 圖3係展示根據本發明之一第一分類模型之網路架構之一示意圖； 圖4係展示根據本發明之一結節判定方法之一第二實施例之一流程圖； 圖5係展示根據本發明之一第二分類模型之網路架構之一示意圖； 圖6係展示根據本發明之一結節判定方法之一第三實施例之一流程圖； 圖7係展示根據本發明之一結節判定方法之一第四實施例之一流程圖； 圖8係展示根據本發明之用於映射結節之一評分與具有與紋理及可選邊際及結節之一大小相關聯的語義成像描述特徵之一映射關係之一樹狀圖； 圖9係展示根據本發明之一結節判定系統之一示意圖；及 圖10係展示根據本發明之一電腦儲存媒體之一示意圖。

20:電腦儲存媒體

21:3D醫學影像

22:第一分類模型

23:第二分類模型

24:綜合語義成像描述特徵

25:電腦可執行指令

30:處理器

31:輸入層

211:模組

Claims (24)

1. 一種結節判定方法，其包括： 產生具有在多個3D醫學影像上分段之至少一結節之各者之一立體像素； 運算與該立體像素相關聯的多個放射學特徵；及 將與該立體像素相關聯的該多個放射學特徵及多個語義成像描述特徵輸入至一第一分類模型以預測該結節係良性或惡性。
2. 如請求項1之方法，其中該至少一結節在哺乳動物器官之一者中發展，包含肺、甲狀腺、淋巴結及聲帶及哺乳動物皮膚組織。
3. 如請求項1之方法，其中該等3D醫學影像藉由電腦斷層掃描(CT)掃描、磁共振成像(MRI)或正子發射斷層攝影術(PET)掃描產生。
4. 如請求項2之方法，其中當該結節在人類肺中發展時，該多個放射學特徵分別與該立體像素之基於強度之特徵、基於形狀之特徵及基於紋理之特徵之類別相關聯。
5. 如請求項1之方法，其中當藉由深度學習訓練時，該第一分類模型係將呈向量形式之該多個放射學特徵及該多個語義成像描述特徵分別轉換為兩個輸入矩陣、自該等各自輸入矩陣提取兩個特徵圖、串連該兩個特徵圖以形成一合併特徵圖及使用該合併特徵圖預測該結節係良性或惡性之一人工神經網路。
6. 如請求項1之方法，其中當藉由深度學習訓練時，該第一分類模型係支援向量機、線性鑑別分析、隨機森林、決策樹及極端梯度提升之一者。
7. 如請求項1之方法，其中當該結節在人類肺中發展時，該多個語義成像描述特徵與該結節之位置、大小、瘤內特徵、結節周圍特徵、胸膜改變、淋巴結之種類相關聯且係預先製備，其中位置之類別包含右肺及左肺之選項、大小之類別包含最大直徑、體積及大小追蹤之選項，瘤內特徵之類別包含紋理、形狀、邊際、其他特徵、對比度增強及對比度增強圖案之選項，結節周圍特徵之類別包含結節周圍纖維化、小葉隔膜增厚、結節周圍氣腫、衛星結節、胸壁受累及裂隙附著；胸膜改變之類別包含胸膜回縮、胸膜結節及胸膜積水之選項，且淋巴結之類別包含無淋巴結腫大及淋巴結腫大之選項。
8. 如請求項1之方法，其進一步包括： 自含有該結節之該等3D醫學影像運算該結節之切片資訊，其中該切片資訊包含結節位置、起始切片、結束切片及該結節在該等3D醫學影像之總切片上之切片；及 將該多個放射學特徵及該切片資訊輸入至一第二分類模型以預測該多個語義成像描述特徵，其中該第二分類模型藉由深度學習或機器學習來訓練且由該第二分類模型預測之該多個語義成像描述特徵包含分別與位置、紋理及邊際之類別相關聯的三個語義成像描述特徵。
9. 如請求項8之方法，其中當藉由深度學習訓練時，該第二分類模型包含三個人工神經網路，其等具有輸入至該三個人工神經網路之一者之該多個放射學特徵及該切片資訊以預測與位置之類別相關聯的該三個語義成像描述特徵及輸入至該剩餘兩個人工神經網路之該多個放射學特徵之一者以分別預測與紋理及邊際之類別相關聯的該剩餘兩個語義成像描述特徵。
10. 如請求項8之方法，其中當藉由機器學習訓練時，該第二分類模型係單純貝氏、K-最近鄰、隨機森林及極端梯度提升之一者。
11. 如請求項7之方法，其進一步包括： 根據該多個放射學特徵之該等基於形狀之特徵及該等3D醫學影像之一掃描設定運算該結節之一大小； 根據該結節之該大小及與紋理之該選項相關聯的該語義成像描述特徵及視情況提供且與瘤內特徵之類別中的邊際之該選項相關聯的該語義特徵運算肺-RADS (肺成像報告及資料系統)標準中指定之該結節之一評分；及 使用由該第一分類模型預測之一惡性概率、該結節之該評分、該結節之該大小及與位置之類別及瘤內特徵之類別之邊際及紋理之該等選項相關聯的該等語義成像描述特徵，產生該結節之一放射學報告。
12. 如請求項8之方法，其進一步包括： 根據該多個放射學特徵之該等基於形狀之特徵及該等3D醫學影像之一掃描設定運算該結節之一大小； 根據該結節之該大小及與紋理之類別相關聯的該語義成像描述特徵及視情況提供且與邊際之類別相關聯的該語義成像描述特徵運算肺-RADS之標準中指定之該結節之一評分；及 使用由該第一分類模型預測之一惡性概率、該結節之該評分、該結節之該大小及與位置、邊際及紋理之類別相關聯的該等語義成像描述特徵，產生該結節之一放射學報告。
13. 一種通信地連接至具有一嵌入式記憶體之一處理器之電腦儲存媒體，該電腦儲存媒體包括： 儲存於其中且含有於其上分段之至少一結節之多個3D醫學影像； 儲存於其中且藉由深度學習或機器學習訓練之一第一分類模型；及 儲存於其中且當由該處理器執行時引起該處理器進行以下之電腦可執行指令： 產生具有該至少一結節之一立體像素； 運算與該立體像素相關聯的多個放射學特徵；及 將與該結節相關聯的該多個放射學特徵及多個語義成像描述特徵輸入至該第一分類模型以預測該結節係良性或惡性。
14. 如請求項13之電腦儲存媒體，其中該等3D醫學影像由電腦斷層掃描(CT)掃描、磁共振成像(MRI)或正子發射斷層攝影術(PET)掃描產生。
15. 如請求項13之電腦儲存媒體，其中當該結節在人類肺中發展時，該多個語義成像描述特徵與該結節之位置、大小、瘤內特徵、結節周圍特徵、胸膜改變、淋巴結之種類相關聯且係預先製備，其中位置之類別包含右肺及左肺之選項、大小之類別包含最大直徑、體積及大小追蹤之選項，瘤內特徵之類別包含紋理、形狀、邊際、其他特徵、對比度增強及對比度增強圖案之選項，結節周圍特徵之類別包含結節周圍纖維化、小葉隔膜增厚、結節周圍氣腫、衛星結節、胸壁受累及裂隙附著；胸膜改變之類別包含胸膜回縮、胸膜結節及胸膜積水之選項，且淋巴結之類別包含無淋巴結腫大及淋巴結腫大之選項。
16. 如請求項13之電腦儲存媒體，其進一步包括儲存於其中且藉由深度學習或機器學習訓練之一第二分類模型，其中當由該處理器執行時，該等電腦可執行指令進一步引起該處理器： 自含有該結節之該等3D醫學影像運算該結節之切片資訊，其中該切片資訊包含結節位置、起始切片、結束切片及該等3D醫學影像之總切片上之該結節之切片；及 將該多個影像學特徵及該切片資訊輸入至該第二分類模型以預測該多個語義成像描述特徵包含分別與位置、紋理及邊際之類別相關聯的三個語義像描述特徵。
17. 一種系統，其包括： 具有一嵌入式記憶體之一處理器；及 一電腦儲存媒體，其通信地連接至該處理器且儲存含有於其上分段之至少一結節、藉由深度學習或機器學習訓練之一第一分類模型及電腦可執行指令之多個3D醫學影像，其中當該處理器執行時，該等電腦可執行指令引起該處理器執行包括以下之動作： 產生該至少一結節之各者之一立體像素； 運算與該立體像素相關聯的多個放射學特徵；及 將與該立體像素相關聯且自該多個3D醫學影像導出之該多個放射學特徵及多個語義成像描述特徵輸入至該第一分類模型以預測該結節係良性或惡性。
18. 如請求項17之系統，其中該等3D醫學影像由電腦斷層掃描(CT)掃描、磁共振成像(MRI)或正子發射斷層攝影術(PET)掃描產生。
19. 如請求項17之系統，其中當藉由深度學習訓練時，該第一分類模型係將呈向量形式之該多個放射學特徵及該多個語義成像描述特徵分別轉換為兩個輸入矩陣、自該等各自輸入矩陣提取兩個特徵圖、串連該兩個特徵圖以形成一合併特徵圖及使用該合併特徵圖預測該結節係良性或惡性之一人工神經網路。
20. 如請求項17之系統，其中當藉由機器學習訓練時，該第一分類模型係支援向量機、線性鑑別分析、隨機森林、決策樹及極端梯度提升之一者。
21. 如請求項17之系統，其中當該結節在人類肺中發展時，該多個語義成像描述特徵與該結節之位置、大小、瘤內特徵、結節周圍特徵、胸膜改變、淋巴結之種類相關聯且係預先製備，其中位置之類別包含右肺及左肺之選項、大小之類別包含最大直徑、體積及大小追蹤之選項，瘤內特徵之類別包含紋理、形狀、邊際、其他特徵、對比度增強及對比度增強圖案之選項，結節周圍特徵之類別包含結節周圍纖維化、小葉隔膜增厚、結節周圍氣腫、衛星結節、胸壁受累及裂隙附著；胸膜改變之類別包含胸膜回縮、胸膜結節及胸膜積水之選項，且淋巴結之類別包含無淋巴結腫大及淋巴結腫大之選項。
22. 如請求項17之系統，其中 該電腦儲存媒體進一步包括藉由深度學習或機器學習訓練之一第二分類模型；且 當由該處理器執行時，該等電腦可執行指令引起該處理器進一步執行包括以下之動作： 自含有該結節之該等3D醫學影像運算該結節之切片資訊，其中該切片資訊包含結節位置、起始切片、結束切片及該等3D醫學影像之總切片上之該結節之切片；及 將該多個放射學特徵及該切片資訊輸入至該第二分類模型以預測該多個語義成像描述特徵包含分別與位置、紋理及邊際之類別相關聯的三個語義成像描述特徵。
23. 如請求項22之系統，其中當藉由深度學習訓練時，該第二分類模型包含三個人工神經網路，其等具有輸入至該三個人工神經網路之一者之該多個放射學特徵及該切片資訊以預測與位置之類別相關聯的該三個語義成像描述特徵及輸入至該剩餘兩個人工神經網路之該多個放射學特徵之一者以分別預測與紋理及邊際之類別相關聯的該剩餘兩個語義成像描述特徵。
24. 如請求項22之系統，其中當藉由機器學習訓練時，該第二分類模型係機器學習中之單純貝氏、K-最近鄰、隨機森林及極端梯度提升之一者。

Images