TW202139209A - 醫學影像辨識方法及醫學影像辨識裝置 - Google Patents

醫學影像辨識方法及醫學影像辨識裝置 Download PDF

Info

Publication number
TW202139209A
TW202139209A TW109111143A TW109111143A TW202139209A TW 202139209 A TW202139209 A TW 202139209A TW 109111143 A TW109111143 A TW 109111143A TW 109111143 A TW109111143 A TW 109111143A TW 202139209 A TW202139209 A TW 202139209A
Authority
TW
Taiwan
Prior art keywords
medical image
image
initial
predicted
image recognition
Prior art date
Application number
TW109111143A
Other languages
English (en)
Other versions
TWI783219B (zh
Inventor
劉庭吟
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW109111143A priority Critical patent/TWI783219B/zh
Priority to CN202010375917.5A priority patent/CN113496478B/zh
Priority to US16/918,245 priority patent/US11494905B2/en
Publication of TW202139209A publication Critical patent/TW202139209A/zh
Application granted granted Critical
Publication of TWI783219B publication Critical patent/TWI783219B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30044—Fetus; Embryo

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Geometry (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本發明實施例提出一種醫學影像辨識方法，醫學影像辨識方法可以依據影像辨識模型計算複數個初始醫學影像片或由此些初始醫學影像片形成的複數個初始醫學影像堆之各自對應的複數個影像變化率，依據此些影像變化率，挑選此些初始醫學影像堆或此些初始醫學影像片的其中至少一者作為至少一訓練醫學影像片，取得此至少一訓練醫學影像片中各自對應的一目標範圍，以重新建立影像辨識模型。藉此，在有限的時間與醫療人力上，提供包含更多訊息的樣本供模型訓練，取得較好的影像辨識模型表現，以精準的自動化產生特定器官或特定部位的標記。

Description

醫學影像辨識方法及醫學影像辨識裝置
本發明是關於一種影像辨識方法及影像辨識裝置，特別是關於一種醫學影像辨識方法及醫學影像辨識裝置。
核磁共振成像(Magnetic Resonance Imaging，MRI)檢查是一種不具有放射線的影像檢查工具，能提供軟組織清晰的影像。目前廣泛應用在診斷傷害與疾病病變等，如大腦、膝蓋、手肘等。由於清晰的三維成像，目前也應用在監測母體與胎兒的健康狀況，為了正確地監測這些變化，準確的胎兒腦部MRI圖像分割(image segment)是必須的。一般在孕婦進行一系列MRI檢查後，會由放射科醫師對MRI成像的胎兒大腦分割。由於MRI成像為多個二維圖像的建構，故要完成胎兒腦部時間序列的三維圖像(3D image)建立除了極耗時外也須多個專業醫療人員的投入。
因此，如何基於樣本挑選策略的流程，協助醫師進行時間序列的MRI圖像分割，在有限的時間與醫療人力上，提供包含更多訊息的樣本供模型訓練，取得較好的模型表現，以精準的自動化產生特定器官或特定部位的標記，為本領域所需改進的問題之一。
為了解決上述的問題，本揭露內容之一態樣提供了一種醫學影像辨識方法，包含：建立一影像辨識模型；其中影像辨識模型是將複數個初始醫學影像堆中的複數個標註醫學影像片輸入一神經網路後產生；以及響應於判斷此影像辨識模型的一準確率未高於一準確率門檻值時，依據影像辨識模型計算複數初始醫學影像片或由此些初始醫學影像片形成的複數個初始醫學影像堆之各自對應的複數個影像變化率，依據此些影像變化率，挑選此些初始醫學影像堆或此些初始醫學影像片的其中至少一者作為至少一訓練醫學影像片，獲取至少一訓練醫學影像片中各自對應的一目標範圍，以重新建立此影像辨識模型目標範圍。
本揭露內容之一態樣提供了一種醫學影像辨識裝置。醫學影像辨識裝置包含：一處理器。處理器用以建立一影像辨識模型；其中影像辨識模型是將複數個初始醫學影像堆中的複數個標註醫學影像片輸入一神經網路後產生；以及響應於判斷此影像辨識模型的一準確率未高於一準確率門檻值時，依據此影像辨識模型計算複數個初始醫學影像片或此些初始醫學影像片形成的此些初始醫學影像堆之各自對應的複數個影像變化率，依據此些影像變化率，挑選此些初始醫學影像堆或此些初始醫學影像片的其中至少一者作為至少一訓練醫學影像片，獲取此至少一訓練醫學影像片中各自對應的一目標範圍，以重新建立此影像辨識模型。
本發明實施例所示之醫學影像辨識方法及醫學影像辨識裝置，可以加速影像辨識模型的建立，首先會先針對MRI資料隨機挑選多個時間點的初始醫學影像片(即MRI樣本)由醫師進行三維目標範圍(如胎兒腦部)標示，根據這多個時間點樣本建立影像辨識模型，透過目標範圍的體積變化率或是面積變化率，以挑選下一輪需進行訓練影像辨識模型的訓練醫學影像片，使得影像辨識模型可藉由有限的標註醫學影像片學習到更多訊息，進而提升影像辨識模型預測的準確率，此外，本發明實施例所示之醫學影像辨識方法及醫學影像辨識裝置，可以針對一位病患的歷史資料建立精確度高的影像辨識模型，減少醫師手動標註的人力成本。
以下說明係為完成發明的較佳實現方式，其目的在於描述本發明的基本精神，但並不用以限定本發明。實際的發明內容必須參考之後的申請專利範圍。
必須了解的是，使用於本說明書中的 “包含”、 “包括”等詞，係用以表示存在特定的技術特徵、數值、方法步驟、作業處理、元件以及/或組件，但並不排除可加上更多的技術特徵、數值、方法步驟、作業處理、元件、組件，或以上的任意組合。
於申請專利中使用如 “第一”、“第二”、“第三”等詞係用來修飾申請專利中的元件，並非用來表示之間具有優先權順序，先行關係，或者是一個元件先於另一個元件，或者是執行方法步驟時的時間先後順序，僅用來區別具有相同名字的元件。
請一併參照第1A、1B、2~3圖，第1A~1B圖係依照本發明一實施例繪示一種醫學影像辨識方法100之示意圖。第2圖係根據本發明之一實施例繪示一種初始醫學影像片之示意圖。第3圖係根據本發明之一實施例繪示一種面積變化率之示意圖。
於一實施例中，醫學影像辨識方法100可以由醫學影像辨識裝置實現，醫學影像辨識裝置中包含一處理器。於一實施例中，醫學影像辨識裝置更包含一儲存裝置DS(如第1B圖所示)，儲存裝置DS用以儲存一資料庫DB，資料庫DB中可儲存核磁共振成像(Magnetic Resonance Imaging，MRI)。於一實施例中，儲存裝置DS亦可儲存X射線電腦斷層掃描(X-ray Computed Tomography)檔案，此為一種三維放射線醫學影像，故也可以應用於計算器官的三維體積。處理器用以執行醫學影像辨識方法100的各個步驟。
於一實施例中，儲存裝置DS可由唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟悉此技藝者可輕易思及具有相同功能之儲存媒體以實現之。
於一實施例中，處理器亦可以由微控制單元(microcontroller)、微處理器(microprocessor)、數位訊號處理器(digital signal processor)、特殊應用積體電路(application specific integrated circuit，ASIC)或一邏輯電路實現之，但並不限於此。
於一實施例中，醫學影像辨識裝置可連接用以獲取影像的儀器或裝置。
於步驟S110中，處理器取得複數個初始醫學影像堆SK1~SKn。其中，此些初始醫學影像堆SK1~SKn中各自包含複數個初始醫學影像片(slice) SL1~SL35。
於一實施例中，處理器讀取資料庫DB中的初始醫學影像堆SK1~SKn。換言之，初始醫學影像堆SK1~SKn代表一共有n堆在不同時點拍攝的初始醫學影像堆。於另一實施例中，資料庫DB可存於一伺服器，處理器可透過通訊模組存取伺服器中的資料庫DB。
於一實施例中，此些初始醫學影像堆SK1~SKn中各自包含多張初始醫學影像片SL1~SL35。
於一實施例中，初始醫學影像堆SK1~SKn為多個核磁共振成像，每個核磁共振成像即是一個三維體積(three-dimensional volume)，通常定義為幀(frame)，每個核磁共振成像是由多張二維影像(例如多張初始醫學影像片SL1~SL35)所組成。如第2圖所示，初始醫學影像堆SK1中包含此35張初始醫學影像片SL1~SL35。於一實施例中，醫生可以在初始醫學影像片SL1~SL35中以色塊或框線方式標註目標範圍(例如為胎兒的腦部)，例如標註範圍LB1~LB7。於一實施例中，醫生可以透過輸入介面或是透過顯示器的操作介面以標註目標範圍，輸入介面例如為觸控螢幕、滑鼠、觸控筆、鍵盤…等等。然而，第2圖僅為本案之一例，本領域具通常知識者應可理解初始醫學影像堆SK1可包含大於或小於35張的初始醫學影像片。例如，初始醫學影像堆SK1原始包含105張初始醫學影像片，此處為方便說明，以每間隔三張選擇一張，選出此35張初始醫學影像片SL1~SL35作為代表。
於步驟S120中，處理器隨機由此些初始醫學影像堆SK1~SKn中(例如n為10，有10堆初始醫學影像堆)，挑選一部分的初始醫學影像堆(例如選出3個初始醫學影像堆SK2、SK5、SK10)，將被挑選的初始醫學影像堆SK2、SK5及SK10視為複數個候選影像堆，由此些候選影像堆中各自隨機挑選複數張候選醫學影像片，透過輸入介面顯示複數張候選醫學影像片，並獲得此些候選影像片中各自對應的一目標範圍，以獲取複數張標註醫學影像片。
於一實施例中，顯示器可以顯示多張候選醫學影像片，並透過輸入介面獲得目標範圍。例如，觸控螢幕顯示多張候選醫學影像片，醫生用手指或觸控筆框選出多張候選醫學影像片中的目標範圍(例如醫生用手指框選出多張候選醫學影像片中的嬰兒腦部範圍)，藉此，處理器可獲取多張標註醫學影像片。
於一實施例中，處理器挑選初始醫學影像堆SK1~SKn或初始醫學影像片(例如初始醫學影像片SL1~SL35)的其中至少一者作為至少一訓練醫學影像片。
以下例子以10堆初始醫學影像堆SK1~SK10，挑選出其中的初始醫學影像堆SK2、SK5及SK10為例。然而，此為本案之一例，本領域具通常知識者應可理解初始醫學影像堆SK1~SKn的數量不限於此，候選影像堆的數量亦不限於此。
於一實施例中，假設對10位病患進行拍攝，以取得對應此10位病患的初始醫學影像堆SK1~SK10，初始醫學影像堆SK1拍攝病患1以取得，初始醫學影像堆SK2拍攝病患2以取得…依此類推。
於一實施例中，初始醫學影像堆SK1~SK10各自分別有15、23、18、20、17、15、15、25、30、19張初始醫學影像片。舉例而言，初始醫學影像堆SK1有15張初始醫學影像片，初始醫學影像堆SK2有23張初始醫學影像片…，依此類推。初始醫學影像堆SK1~SK10各自的三維體積為(N*N*15)、(N*N*23) …，依此類推，其中，符號N為初始醫學影像片的長、寬(在此例中，長跟寬相同)。
接著，由於目標為建立出影像辨識模型，將影像辨識模型的準確率門檻值設為一定值，例如為95%，即影像辨識模型的辨識率高於95%才可以視為完成影像辨識模型的建立，並假設除了第一次標註候選影像片之外(可以是醫生手動標註，或是依據處理器接收到的一標註訊號以進行標註)，後續每一輪的標註只能標註最多5張訓練醫學影像片，以節省標註人力及資料運算量。以下舉例詳述此些步驟的細部技術特徵。
於一實施例中，處理器隨機由初始醫學影像堆SK1~SK10中，挑選出3個初始醫學影像堆SK2、SK5及SK10，將被挑選的初始醫學影像堆SK2、SK5及SK10視為多個候選影像堆，由此些候選影像堆SK2、SK5及SK10中各自隨機挑選3張候選醫學影像片，此些候選醫學影像片的表示方法例如
Figure 02_image001
，其中，符號
Figure 02_image003
代表候選影像堆SK2中的第5張候選醫學影像片，符號
Figure 02_image005
代表候選影像堆SK2中的第11張候選醫學影像片…，依此類推。於一實施例中，將此選出來的9張候選醫學影像片提供給醫生進行標註，或是依據處理器接收到的一標註訊號以進行標註，藉此標註此些候選影像片
Figure 02_image001
中各自對應的一目標範圍(例如胎兒的腦部)，以獲取複數張標註醫學影像片
Figure 02_image001
。由於標註醫學影像片僅是在候選醫學影像片上標註目標範圍，因此符號的表達方式不變。然而，本案所述的目標範圍並不限於胎兒的腦部，亦可以為膝蓋、手肘、組織、尿液、羊水或其他身體部位。
於一實施例中，處理器將標註醫學影像片
Figure 02_image001
分成一訓練集與一測試集，並各自存到儲存裝置DS(如第1B圖所示)中。
於步驟S130中，處理器將此些標註醫學影像片
Figure 02_image001
輸入一神經網路，以建立一影像辨識模型。
於一實施例中，神經網路和影像辨識模型分別以程序、軟體及/或韌體的方式儲存於儲存裝置DS中。於另一實施例中神經網路可存於伺服器中，處理器可透過通訊模組傳輸標註醫學影像片至伺服器，將標註醫學影像片作為神經網路的輸入資料。
於一實施例中，處理器將屬於訓練集的標註醫學影像片輸入神經網路，以建立影像辨識模型。
於一實施例中，處理器將屬於測試集的標註醫學影像片輸入神經網路，以驗證影像辨識模型的準確率。
於一實施例中，神經網路可以應用卷積神經網路(Convolutional Neural Networks，CNN)、遞歸神經網路(Recurrent Neural Networks，RNN)或其他可應用於影像處理的已知神經網路。
於步驟S140中，處理器判斷影像辨識模型的一準確率是否高於一準確率門檻值(例如為95%)。若處理器判斷影像辨識模型的準確率高於準確率門檻值，則進入步驟S150。若處理器判斷影像辨識模型的準確率不高於準確率門檻值，則進入步驟S160。
於一實施例中，處理器將此些標註醫學影像片所對應的此些初始醫學影像片輸入影像辨識模型，以藉由影像辨識模型標註此些初始醫學影像片中各自對應的一預測範圍(例如藉由影像辨識模型標註每個初始醫學影像片中的預測胎兒腦部範圍)，並計算此些標註醫學影像片各自對應的目標範圍(例如已經被醫生手動標註的胎兒腦部範圍)與此些初始醫學影像片中各自對應的預測範圍(即影像辨識模型所標註的預測胎兒腦部範圍)之一重疊面積，將此些重疊面積除以此些標註醫學影像片各自對應的目標範圍面積，以得到複數個相似度(dice)係數。當此些相似度係數都在一預設數值範圍(例如此些相似度係數的最大值與最小值的差值落在預設數值範圍10%以內)，及/或高於準確率門檻值(例如95%)的相似度係數的數量超過一預設比例時(例如有98%的相似度係數都大於準確率門檻值)，視為影像辨識模型的準確率高於準確率門檻值。反之，則視為影像辨識模型的準確率不高於準確率門檻值。
於步驟S150中，響應於判斷影像辨識模型的準確率高於準確率門檻值(例如95%)時，代表影像辨識模型建立完成。
於步驟S160中，處理器依據複數個預測醫學影像堆計算各自對應的複數個影像變化率。於一實施例中，處理器將所有的初始醫學影像堆輸入影像辨識模型後獲得預測醫學影像堆，依據所有的預測醫學影像堆計算多個影像變化率。
於一實施例中，影像變化率例如是指按時間序列排序的醫學影像片中之目標範圍的變化關係，例如按時間序列排序的第一張醫學影像片中之目標範圍與第二張醫學影像片中之目標範圍的變化關係。於一實施例中，影像變化率可以是指面積變化率(如第3圖所示)，面積變化率的算法如後續的算式(1)所示。
於一實施例中，影像變化率例如是指一第一預測醫學影像堆中的第5張預測醫學影像之目標範圍與一第二預測醫學影像堆中的第5張預測醫學影像之目標範圍的變化關係。其中第一預測醫學影像堆與第二預測醫學影像堆是按時間序列排序。
於一實施例中，影像變化率可以是指面積變化率或體積變化率。
於步驟170中，處理器依據此些影像變化率，挑選此些預測醫學影像堆的其中至少一者作為至少一訓練醫學影像片，透過輸入介面獲得至少一訓練醫學影像片中各自對應的目標範圍。於一實施例中，醫生可以透過輸入介面或是透過顯示器的操作介面以標註至少一訓練醫學影像片中各自對應的目標範圍，輸入介面例如為觸控螢幕、滑鼠、觸控筆、鍵盤…等等。
於一實施例中，影像變化率可以是指面積變化率。以下敘述影像變化率為面積變化率的細部技術特徵。
於一實施例中，處理器依據此些影像變化率，挑選此些候選影像堆SK2、SK5及SK10以外的此些初始醫學影像堆對應的預測醫學影像堆，並挑選此些預測醫學影像堆的其中至少一者作為至少一訓練醫學影像片。
於一實施例中，處理器依據此些影像變化率，挑選此些預測醫學影像堆的其中至少一者作為至少一訓練醫學影像片時，可以選擇前述的9張候選醫學影像片
Figure 02_image007
以外的一些初始醫學影像片，在後續步驟中用以訓練影像辨識模型。換言之，在一些實施例中，此些候選影像堆SK2、SK5及SK10也可以是預測醫學影像堆，只是處理器不會選擇已經被標註過的標註醫學影像片
Figure 02_image001
作為訓練醫學影像片。
於一實施例中，處理器依據此些影像變化率，挑選此些預測醫學影像堆的其中至少一者作為至少一訓練醫學影像片時，從此些候選影像堆SK2、SK5及SK10以外的此些初始醫學影像堆SK1、SK3、SK4、SK6、SK7、SK8及SK9對應的預測醫學影像堆中挑選一部分或全部作為至少一訓練醫學影像片。
藉由挑選出候選影像堆以外的此些初始醫學影像堆對應的預測醫學影像堆，可以在後續步驟中，用以訓練影像辨識模型的訓練醫學影像片的來源更具多樣性，避免影像辨識模型的訓練資料只限於候選影像堆SK2、SK5及SK10的情況。
於一實施例中，處理器響應於判斷影像辨識模型的準確率未高於準確率門檻值時，將所有初始醫學影像堆輸入影像辨識模型，而獲得複數個預測醫學影像堆，依據複數個預測醫學影像堆計算各自對應的複數個影像變化率，以病患2為例，初始醫學影像堆SK2中有初始醫學影像片SL1~SL23，輸入影像辨識模型後獲得對應預測醫學影像堆SK2，面積變化率的算法如算式(1)：
Figure 02_image009
即，將此預測醫學影像堆SK2中的第i-1個預測醫學影像所對應的目標範圍的面積(例如是器官面積)減去此預測醫學影像堆SK2中的第i個預測醫學影像所對應的目標範圍(例如是器官面積)後得到一面積差值，將面積差值除以第i-1個預測醫學影像所對應的目標範圍，以取得第i個預測醫學影像所對應的影像變化率。於此例中，一共會算出23個值，因為此預測醫學影像堆SK2中有23張影像。
此外，其他預測醫學影像堆(例如處理器挑選初始醫學影像堆SK1、SK3、SK4、SK6、SK7、SK8及SK9作為預測醫學影像堆)的面積變化率的算法，亦可以此算式(1)的方式計算。後續將以病患3的數據及第3圖再次舉例說明。
由於此預測醫學影像堆SK2中包含已經被標註過的候選醫學影像片
Figure 02_image011
，因此，於此實施例中，使用候選醫學影像片
Figure 02_image011
前後面積變化絕對值為最大者作為變化率門檻值。例如，病患2以候選醫學影像片
Figure 02_image011
前後面積的變化率分別為
Figure 02_image013
，則以正負
Figure 02_image015
作為病患2的變化率門檻值，超過此變化率門檻值且為預測醫學影像堆SK2中候選醫學影像片
Figure 02_image011
以外的預測醫學影像，可作為訓練醫學影像片，交給醫生進行下次手動標註。
於一實施例中，處理器在每個預測醫學影像堆SK1、SK3、SK4、SK6、SK7、SK8及SK9各自對應的此些目標範圍的面積依時序為漸增趨勢時，挑選影像變化率為正值的預測醫學影像作為訓練醫學影像片。其中，由算式(1)可知，當預測醫學影像堆SK1、SK3、SK4、SK6、SK7、SK8及SK9各自對應的中的目標範圍的面積漸增時，影像變化率應為負值，所以影像變化率為正值的預測醫學影像可能有異常，因此挑選出影像變化率為正值的預測醫學影像作為訓練醫學影像片；相反地，當預測醫學影像堆SK1、SK3、SK4、SK6、SK7、SK8及SK9各自對應的目標範圍的面積漸減時，影像變化率應為正值，所以影像變化率為負值的預測醫學影像可能有異常，因此挑選出影像變化率為負值的預測醫學影像作為訓練醫學影像片。於一實施例中，處理器在每個預測醫學影像堆SK1、SK3、SK4、SK6、SK7、SK8及SK9各自對應的此些目標範圍的面積依時序為漸減趨勢時，挑選影像變化率為負值的預測醫學影像作為訓練醫學影像片。
於一實施例中，處理器挑選每個預測醫學影像堆SK1、SK3、SK4、SK6、SK7、SK8及SK9各自對應的影像變化率大於變化率門檻值的預測醫學影像作為訓練醫學影像片。
於一實施例中，即使候選影像堆SK2、SK5及SK10中包含目標範圍的面積依時序為漸增趨勢時，影像變化率為正值候選影像片、目標範圍的面積依時序為漸減趨勢時，影像變化率為負值的候選影像片、或影像變化率大於變化率門檻值的候選影像片，當預測醫學影像堆SK1、SK3、SK4、SK6、SK7、SK8及SK9中選出的訓練醫學影像片的數量已大於醫生每輪可標註的影像張數(例如醫生每輪只能標註5張)時，處理器不會選擇候選影像堆SK2、SK5及SK10中的候選影像片作為訓練醫學影像片。
例如，病患1、3、4、6、7、8、9所對應的預測醫學影像堆SK1、SK3、SK4、SK6、SK7、SK8、SK9皆沒有包含標註醫學影像片，故處理器依據一預設的變化率門檻值10%，搭配醫學影像的目標範圍的面積會先漸增再漸減的特性(請參考第2圖)，找出目標範圍的面積依時序為漸增趨勢時，影像變化率為正值的預測醫學影像、目標範圍的面積依時序為漸減趨勢時，影像變化率為負值的預測醫學影像、或影像變化率大於變化率門檻值10%的預測醫學影像。藉此，依據目標範圍的面積的漸增及漸減趨勢找出不符合趨勢的預測醫學影像，或是找出影像變化率過高的預測醫學影像，將此些具有特殊性的預測醫學影像作為訓練醫學影像片，達到增加樣本多樣性的效果。
在一實施例中，影像變化率可以是指某器官的面積變化率，假設病患3所對應的預測醫學影像堆SK3的面積變化率如第3圖所示，第3圖的X軸的第一列為張數(即，按時間序列排序的醫學影像片)，病患3所對應的預測醫學影像堆SK3中假設有18張預測醫學影像，第二列為經由上述算式(1)的方式算出每張預測醫學影像的預測醫學影像面積變化率。
預測醫學影像堆SK3中皆沒有包含標註醫學影像片，處理器依據一預設的變化率門檻值10%，搭配醫學影像的目標範圍的面積會先漸增再漸減的特性(請參考第2圖)，找出目標範圍的面積依時序為漸增趨勢時，影像變化率為正值的預測醫學影像、目標範圍的面積依時序為漸減趨勢時，影像變化率為負值的預測醫學影像、或影像變化率大於變化率門檻值10%的預測醫學影像。
由第3圖可看出，每相鄰兩張預測醫學影像的影像變化率皆不超過10%。另一方面，依據醫學影像的器官面積會先漸增再漸減的特性，處理器判斷第1~11張的預測醫學影像的目標範圍的面積是漸增趨勢，變化率為負值，此時可發現第6張的影像變化率為正值(以符號PA標示)，則處理器將第6張挑選出來，作為訓練醫學影像片；此外，處理器判斷第12~18張的預測醫學影像的目標範圍的面積是漸減趨勢，變化率為正值，此時可發現第16張的影像變化率為負值(以符號PB標示)，則處理器將第16張挑選出來，作為訓練醫學影像片。
因此，依據第3圖的影像變化率的折線圖，處理器會將預測醫學影像堆SK3中的第6張及第16張預測醫學影像，作為訓練醫學影像片。
於一實施例中，假設病患3、6、8、9、10所對應的預測醫學影像堆SK3、SK6、SK8、SK9、SK10的面積變化率有包含以下條件的預測醫學影像：目標範圍的面積依時序為漸增趨勢時，影像變化率為正值的預測醫學影像、目標範圍的面積依時序為漸減趨勢時，影像變化率為負值的預測醫學影像、或影像變化率大於變化率門檻值10%的預測醫學影像。其中，符合此些條件之一的預測醫學影像分別為
Figure 02_image017
，因為醫師每輪只能手動標註5個MRI影像，因此在5個病患中，為了增加樣本多樣性，先從未有標註醫學影像片的病患3、6、8、9所對應的預測醫學影像堆SK3、SK6、SK8、SK9中，挑選任意5張預測醫學影像，在期望每個病患至少有一張的標註醫學影像片情況下，假設挑選預測醫學影像
Figure 02_image019
作為訓練醫學影像片。當醫師透過輸入介面將此些訓練醫學影像片
Figure 02_image019
進行手動標註後，將
Figure 02_image021
視為標註醫學影像片。
接著，處理器將前述的9張標註醫學影像片
Figure 02_image001
和此輪醫生標註的標註醫學影像片
Figure 02_image019
，共14張MRI影像，輸入影像辨識模型，以再次訓練影像辨識模型(第二輪的訓練)。
若影像辨識模型尚未達到標準，則再次將所有初始醫學影像堆輸入影像辨識模型，依據影像變化率挑選除了
Figure 02_image001
和
Figure 02_image019
以外的影像作為訓練醫學影像，例如，在產生第二輪的影像辨識模型後，依序重複上述步驟S140，若步驟S140中判斷為否，則步驟進行S160~S170、S120~S130，直到S140中的判斷為是，則進行步驟S150，完成影像辨識模型的建置。
於一實施例中，影像變化率可以是指體積變化率。以下敘述影像變化率為體積變化率的細部技術特徵。
請一併參照第4~5圖，第4圖係依照本發明一實施例繪示一種初始醫學影像堆之示意圖。第5圖係根據本發明之一實施例繪示一種體積變化率之示意圖。
於一實施例中，如第4圖所示，假設有n位孕婦分別進行K1 、K2 、Kn次的MRI檢查(K1 、K2 、Kn可以分別為相同或不同的整數值)，則會產生如第4圖所示的多個初始醫學影像堆，每個初始醫學影像堆即為一MRI影像，又稱幀(frame)。其中，孕婦1對應的第1堆的初始醫學影像堆以符號F1表示(代表孕婦1第1次的MRI檢查時所拍攝的初始醫學影像堆)、第2堆的初始醫學影像堆以符號F2表示(代表孕婦1第2次的MRI檢查時所拍攝的初始醫學影像堆)…第FK1 堆的初始醫學影像堆以符號FK1 表示(代表孕婦1第K1 次的MRI檢查時所拍攝的初始醫學影像堆)；孕婦2對應的第1堆的初始醫學影像堆以符號F1表示、第2堆的初始醫學影像堆以符號F2表示…第FK2 堆的初始醫學影像堆以符號FK2 表示；孕婦n對應的第1堆的初始醫學影像堆以符號F1表示、第2堆的初始醫學影像堆以符號F2表示…第FKn堆的初始醫學影像堆以符號FKn表示。每個初始醫學影像堆代表進行一次MRI檢查所拍攝而得，且每個初始醫學影像堆即為一個三維的影像。
於一實施例中，處理器可藉由累加每一張初始醫學影像片中被標記出來的器官面積，以取得器官體積。
當影像變化率是指體積變化率時，仍可採用醫學影像辨識方法200，故不贅述步驟S110~S170。以下針對影像變化率是指體積變化率，與影像變化率是指面積變化率時，在細部技術特徵不同之處進行描述。
於一實施例中，在處理器判斷影像辨識模型的準確率是否高於準確率門檻值的步驟S140中，處理器選擇屬於此些候選影像堆中之一者的此些標註醫學影像片，將此些標註醫學影像片所對應的此些初始醫學影像片輸入影像辨識模型，標註此些初始醫學影像片中各自對應的一預測範圍，計算此些標註醫學影像片所對應的此些目標範圍各自對應的此目標範圍與此些初始醫學影像片中各自對應的預測範圍之一重疊體積，將此些重疊體積除以各自對應的此些標註醫學影像片所對應的此些目標範圍，以得到複數個相似度(dice)係數，當此些相似度係數都在一預設數值範圍，或高於準確率門檻值的該些相似度係數的數量超過一預設比例時，視為影像辨識模型的準確率高於準確率門檻值。
於一實施例中，透過將多張初始醫學影像片中的預測範圍(面積)進行累加，例如，將第2堆的初始醫學影像堆中每張初始醫學影像片中的預測範圍(面積)進行累加，累加後所得到的值視為體積。
於一實施例中，處理器將此些預測醫學影像中的一第一預測醫學影像所對應的一第一目標範圍減去此些預測醫學影像中的一第二預測醫學影像所對應的一第二目標範圍後得到一體積差值，將體積差值除以第一預測醫學影像所對應的第二目標範圍，以取得此些體積變化率的其中一者。其中，目標範圍可以是指目標體積或目標面積。
於一實施例中，處理器挑選所有的此些初始醫學影像堆(孕婦1對應的第1堆到第255堆的初始醫學影像堆)，將此些初始醫學影像堆輸入影像辨識模型，獲得對應的預測醫學影像堆，並依據此些預測醫學影像堆計算各自對應的此些個體積變化率(如第5圖所示，第1堆到第255堆的預測醫學影像堆各自對應的體積變化率)。
於一實施例中，第5圖所示的預測醫學影像堆有時間次序性，X軸的值越大代表取得初始醫學影像堆的時間點越晚，例如，i值為200代表第200堆預測醫學影像，i值為150代表第150堆預測醫學影像，依時間次序來看，i值為200的預測醫學影像堆拍攝時間點比i值為150的預測醫學影像堆的拍攝時間點晚。
如果有已標註的影像的話，處理器可以計算標註資料的體積(ground truth volume)，將此體積視為第一目標範圍，計算每個時間點的預測目標範圍(例如第二目標範圍)跟第一目標範圍的體積變化率，當體積變化率大的話，可以知道某個時間的影像(例如i值為52的預測醫學影像堆對應的初始影像堆)應該有某些目前影像辨識模型還沒辦法抓到的特徵，因此針對此種影像進行標註，再放入訓練集內重新訓練。如果某個孕婦完全沒有任何的手動標註樣本，可以任一選擇一時間點對應的目標範圍當基準體積(baseline volume)，將其他時間點的體積與選擇的時間點的體積計算體積變化率，當某一時間點的體積變化率(符號PA’所示)與基準體積差異大，則代表影像辨識模型對這個時間上的預測醫學影像堆與其他時間點的預測結果有較不一樣的變化，則值得進行觀察、標註。
於一實施例中，處理器挑選每個預測醫學影像各自對應的體積變化率中的大於一變化率門檻值的預測醫學影像堆作為至少一訓練醫學影像堆，並獲得此至少一訓練醫學影像堆中各自對應該目標範圍。於一實施例中，醫生可以透過輸入介面或是透過顯示器的操作介面以標註至少一訓練醫學影像片中各自對應的目標範圍，輸入介面例如為觸控螢幕、滑鼠、觸控筆、鍵盤…等等。
於一實施例中，處理器挑選此些體積變化率中之最大者所對應的預測醫學影像堆作為至少一訓練醫學影像堆，並透過輸入介面或是透過顯示器的操作介面獲得此至少一訓練醫學影像堆中各自對應的目標範圍。如第5圖所示，假設醫生可以標註兩堆的預測醫學影像堆，則處理器選擇體積變化率中之最大者(第98堆，以符號PA’標示)及次大者(第52堆，以符號PB’標示)所對應的預測醫學影像堆，作為訓練醫學影像堆。
舉例而言，假設有10個孕婦，其各自擁有(15,23,18,20,17,15,15,25,30,19)個初始醫學影像堆，括號中的每個值代表此10個孕婦各自對應的初始醫學影像堆之數量(即MRI影像的數量)，例如，孕婦1有15堆MRI影像，孕婦2有23堆MRI影像，MRI影像依拍攝的時點以序列表示之，各自按照時間排序為
Figure 02_image023
Figure 02_image025
。
假設目標為建立影像辨識模型，其準確率門檻值須達95%以上，設定變化率門檻值為10%。並假設除了第一次手動標註外，醫師每輪只能手動標註2個MRI影像。
接著，處理器隨機從10個孕婦挑選5個孕婦的MRI影像，挑中
Figure 02_image027
，將此5個MRI影像由醫師進行手動標註，其中，符號
Figure 02_image029
代表第2個孕婦的第12堆MRI影像，符號
Figure 02_image031
代表第3個孕婦的第8堆MRI影像…依此類推。
處理器將標註完後的MRI影像進行模型訓練，得到影像辨識模型(此可稱為初始的影像辨識模型)。若此影像辨識模型表現能力尚未達到準確率門檻值，則將此影像辨識模型預測
Figure 02_image027
及其他的MRI影像。由於孕婦2、3、5、8、10孕婦因為有手動標註的標註醫學影像片
Figure 02_image027
，故可以計算其他MRI影像預測的目標體積與手動標註的目標體積之體積變化率。以孕婦2為例，即計算
Figure 02_image033
。
孕婦1、4、6、7、9沒有手動標註的影像，因此暫時以第一個幀的MRI影像
Figure 02_image035
的胎兒大腦體積當基準點，計算其他MRI影像的胎兒大腦體積與第一個幀的MRI影像胎兒大腦體積之體積變化率。
假設孕婦2、4、6、8、9、10皆有對應到體積變化率大於變化率門檻值10%的MRI影像，其體積變化率按照大小排列各自分別為
Figure 02_image037
,
Figure 02_image039
,
Figure 02_image041
,
Figure 02_image043
,
Figure 02_image045
，因為醫師每輪只能手動標註2個MRI影像，因此在6個孕婦中，為了增加樣本多樣性，故處理器先從孕婦4、6、9中挑選任意兩個孕婦，假設挑選孕婦4、9，則選取
Figure 02_image047
和
Figure 02_image049
進行手動標註。
處理器藉由
Figure 02_image027
和
Figure 02_image051
共7個MRI影像再次訓練影像辨識模型，以得到第二輪的影像辨識模型。若此第二輪的影像辨識模型表現能力尚未達到準確率門檻值，則將此影像辨識模型預測
Figure 02_image027
和
Figure 02_image051
及其他MRI影像。
目前孕婦2、3、4、5、8、9、10已有手動標註影像，故可以計算其他MRI影像與手動標註的胎兒大腦體積之體積變化率；孕婦1、6、7因為沒有手動標註的影像，故仍暫時以第一個幀的MRI影像
Figure 02_image053
的目標體積當基準點，計算其他MRI影像的目標體積與第一個幀的MRI影像目標體積之體積變化率。接著，再次挑選2個孕婦中其體積變化率大於閥值10%的MRI影像，進行手動標註，重複上述步驟，直到影像辨識模型的準確率大於等於準確率門檻值。
本發明實施例所示之醫學影像辨識方法及醫學影像辨識裝置，可以加速影像辨識模型的建立，首先會先針對MRI資料隨機挑選多個時間點的初始醫學影像片(即MRI樣本)由醫師進行三維目標範圍(如胎兒腦部)標示，根據這多個時間點樣本建立影像辨識模型，透過目標範圍的體積變化率或是面積變化率，以挑選下一輪需進行訓練影像辨識模型的訓練醫學影像片，使得影像辨識模型可藉由有限的標註醫學影像片學習到更多訊息，進而提升影像辨識模型預測的準確率，此外，本發明實施例所示之醫學影像辨識方法及醫學影像辨識裝置，可以針對一位病患的歷史資料建立精確度高的影像辨識模型，減少醫師手動標註的人力成本。
100:醫學影像辨識方法 DB:核磁共振成像資料庫 S110~S170:步驟 SK1~SKn、F1~FK1、FK2、FKn:初始醫學影像堆 DS:儲存裝置 SL1~SL35:初始醫學影像片 LB1~LB7:標註範圍 PA:影像變化率為正值 PB:影像變化率為負值 PA’:體積變化率中之最大者 PB’:體積變化率中之次大者
第1A~1B圖係依照本發明一實施例繪示一種醫學影像辨識方法之示意圖。 第2圖係根據本發明之一實施例繪示一種初始醫學影像片之示意圖。 第3圖係根據本發明之一實施例繪示一種面積變化率之示意圖。 第4圖係依照本發明一實施例繪示一種初始醫學影像堆之示意圖。 第5圖係根據本發明之一實施例繪示一種體積變化率之示意圖。
100:醫學影像辨識方法
S120~S170:步驟
DS:儲存裝置

Claims (20)

  1. 一種醫學影像辨識方法，包含： 建立一影像辨識模型；其中該影像辨識模型是將複數個初始醫學影像堆中的複數個標註醫學影像片輸入一神經網路後產生；以及 響應於判斷該影像辨識模型的一準確率未高於一準確率門檻值時，依據該影像辨識模型計算複數個初始醫學影像片或該些初始醫學影像片形成的該些初始醫學影像堆之各自對應的複數個影像變化率，依據該些影像變化率，挑選該些初始醫學影像堆或該些初始醫學影像片的其中至少一者作為至少一訓練醫學影像片，獲取該至少一訓練醫學影像片中各自對應的一目標範圍，以重新建立該影像辨識模型。
  2. 如申請專利範圍第1項所述之醫學影像辨識方法，其中響應於判斷該影像辨識模型的該準確率高於該準確率門檻值時，代表該影像辨識模型建立完成。
  3. 如申請專利範圍第1項所述之醫學影像辨識方法，更包含： 將該些標註醫學影像片所對應的該些初始醫學影像片輸入該影像辨識模型，以標註該些初始醫學影像片中各自對應的一預測範圍； 計算該些標註醫學影像片各自對應的該目標範圍與該些初始醫學影像片中各自對應的該預測範圍之一重疊面積；以及 將該些重疊面積除以該些標註醫學影像各自對應的該目標範圍，以得到複數個相似度(dice)係數； 其中，當該些相似度係數都在一預設數值範圍，或高於該準確率門檻值的該些相似度係數的數量超過一預設比例時，視為該影像辨識模型的該準確率高於該準確率門檻值。
  4. 如申請專利範圍第1項所述之醫學影像辨識方法，其中依據影像辨識模型計算該些初始醫學影像片或由該些初始醫學影像片形成的該些初始醫學影像堆之各自對應的該些影像變化率的步驟中，該些影像變化率是指複數個面積變化率或複數個體積變化率，其中該影像辨識模型依據該些初始醫學影像片形成的該些初始醫學影像堆，以獲得複數個預測醫學影像堆。
  5. 如申請專利範圍第4項所述之醫學影像辨識方法，其中依據該影像辨識模型計算該些初始醫學影像片或由該些初始醫學影像片形成的該些初始醫學影像堆之各自對應的該些影像變化率的步驟中，該醫學影像辨識方法更包含： 將該些預測醫學影像堆中的一第一預測醫學影像片所對應的一第一目標範圍減去該些預測醫學影像堆中的一第二預測醫學影像片所對應的一第二目標範圍後得到一面積差值；以及 將該面積差值除以該第一預測醫學影像片所對應的該第一目標範圍，以取得該些影像變化率的其中一者。
  6. 如申請專利範圍第4項所述之醫學影像辨識方法，其中依據該些影像變化率，挑選該些初始醫學影像堆或該些初始醫學影像片的其中至少一者作為該至少一訓練醫學影像片的步驟中，更包含： 在每個預測醫學影像堆中的複數個預測醫學影像片各自對應的該目標範圍的面積依時序為漸增趨勢時，挑選該些影像變化率為正值的預測醫學影像片作為該至少一訓練醫學影像片；以及 在每個預測醫學影像堆中的該些預測醫學影像片各自對應的該目標範圍的面積依時序為漸減趨勢時，挑選該些影像變化率為負值的預測醫學影像片作為該至少一訓練醫學影像片。
  7. 如申請專利範圍第4項所述之醫學影像辨識方法，其中於依據該些影像變化率，挑選該些初始醫學影像堆或該些初始醫學影像片的其中至少一者作為該至少一訓練醫學影像片的步驟中，更包含： 挑選每個預測醫學影像堆或每個預測醫學影像堆中的複數個預測醫學影像片中各自對應的該些影像變化率大於一變化率門檻值的預測醫學影像堆或預測醫學影像片對應的該初始醫學影像堆或該初始醫學影像片作為該至少一訓練醫學影像片。
  8. 如申請專利範圍第1項所述之醫學影像辨識方法，更包含： 將該些初始醫學影像堆其中之一者的該些標註醫學影像片所對應的該些初始醫學影像片輸入該影像辨識模型，以標註該些初始醫學影像片中各自對應的一預測範圍； 計算該些標註醫學影像片各自對應的該目標範圍與該些初始醫學影像片各自對應的該預測範圍之一重疊體積；以及 將該些重疊體積除以該初始醫學影像堆的該些標註醫學影像片對應的該些目標範圍，以得到複數個相似度(dice)係數； 其中，當該些相似度係數都在一預設數值範圍，或高於該準確率門檻值的該些相似度係數的數量超過一預設比例時，視為該影像辨識模型的該準確率高於該準確率門檻值。
  9. 如申請專利範圍第4項所述之醫學影像辨識方法，其中依據該影像辨識模型計算該些初始醫學影像片或由該些初始醫學影像片形成的該些初始醫學影像堆之各自對應的該些影像變化率的步驟中，該醫學影像辨識方法更包含： 將該些預測醫學影像堆中的一第一預測醫學影像堆所對應的一第一目標體積減去該些預測醫學影像堆中的一第二預測醫學影像堆所對應的一第二目標體積後得到一體積差值；以及 將該體積差值除以該第二目標體積，以取得該些體積變化率的其中一者。
  10. 如申請專利範圍第4項所述之醫學影像辨識方法，更包含： 挑選每個預測醫學影像各自對應的該些體積變化率中的大於一變化率門檻值的預測醫學影像堆作為至少一訓練醫學影像堆；以及 獲取該至少一訓練醫學影像堆中各自對應的該目標範圍。
  11. 如申請專利範圍第10項所述之醫學影像辨識方法，更包含： 挑選該些體積變化率中之最大者所對應的預測醫學影像堆作為至少一訓練醫學影像堆；以及 取得該至少一訓練醫學影像堆中各自對應的該目標範圍。
  12. 一種醫學影像辨識裝置，包含： 一處理器，用以建立一影像辨識模型；其中該影像辨識模型是將複數個初始醫學影像堆中的複數個標註醫學影像片輸入一神經網路後產生；以及判斷該影像辨識模型的一準確率是否高於一準確率門檻值； 其中，該處理器響應於判斷該影像辨識模型的該準確率未高於該準確率門檻值時，依據該影像辨識模型計算複數個初始醫學影像片或該些初始醫學影像片形成的該些個初始醫學影像堆之各自對應的複數個影像變化率，依據該些影像變化率，挑選該些初始醫學影像堆或該些初始醫學影像片的其中至少一者作為至少一訓練醫學影像片，獲取該至少一訓練醫學影像片中各自對應的一目標範圍，以重新建立該影像辨識模型。
  13. 如申請專利範圍第12項所述之醫學影像辨識裝置，其中該處理器響應於判斷該影像辨識模型的該準確率高於該準確率門檻值時，代表該影像辨識模型建立完成。
  14. 如申請專利範圍第12項所述之醫學影像辨識裝置，其中該處理器更用於將該些標註醫學影像片所對應的該些初始醫學影像片輸入該影像辨識模型，以標註該些初始醫學影像片中各自對應的一預測範圍；以及計算該些標註醫學影像片各自對應的該目標範圍與該些初始醫學影像片中各自對應的該預測範圍之一重疊面積，將該些重疊面積除以該些標註醫學影像片各自對應的該目標範圍，以得到複數個相似度(dice)係數；當該些相似度係數都在一預設數值範圍，或高於該準確率門檻值的該些相似度係數的數量超過一預設比例時，視為該影像辨識模型的該準確率高於該準確率門檻值。
  15. 如申請專利範圍第12項所述之醫學影像辨識裝置，其中該些影像變化率是指複數個面積變化率或複數個體積變化率，其中該影像辨識模型依據該些初始醫學影像片形成的該些初始醫學影像堆，以獲得複數個預測醫學影像堆。
  16. 如申請專利範圍第15項所述之醫學影像辨識裝置，其中該處理器更用以處理以下運算： 將該些預測醫學影像堆中的一第一預測醫學影像所對應的一第一目標範圍減去該些預測醫學影像堆中的一第二預測醫學影像所對應的一第二目標範圍後得到一面積差值；以及 將該面積差值除以該第一預測醫學影像所對應的該第一目標範圍，以取得該些影像變化率的其中一者。
  17. 如申請專利範圍第15項所述之醫學影像辨識裝置，其中該處理器更用以處理以下運算： 在每個預測醫學影像堆中的複數個預測醫學影像片各自對應的該目標範圍的面積依時序為漸增趨勢時，挑選該些影像變化率為正值的預測醫學影像片作為該至少一訓練醫學影像片；以及 在每個預測醫學影像堆中的該些預測醫學影像片各自對應的該目標範圍的面積依時序為漸減趨勢時，挑選該些影像變化率為負值的預測醫學影像片作為該至少一訓練醫學影像片。
  18. 如申請專利範圍第15項所述之醫學影像辨識裝置，其中該處理器更用以處理以下運算： 挑選每個預測醫學影像堆或每個預測醫學影像堆中的複數個預測醫學影像片中各自對應的該些影像變化率大於一變化率門檻值的預測醫學影像堆或預測醫學影像片對應的該初始醫學影像堆或該初始醫學影像片作為該至少一訓練醫學影像片。
  19. 如申請專利範圍第12項所述之醫學影像辨識裝置，其中該處理器更用以處理以下運算： 將該些初始醫學影像堆其中之一者的該些標註醫學影像片所對應的該些初始醫學影像片輸入該影像辨識模型，以標註該些初始醫學影像片中各自對應的一預測範圍； 計算該些標註醫學影像片各自對應的該目標範圍與該些初始醫學影像片各自對應的該預測範圍之一重疊體積；以及 將該些重疊體積除以該初始醫學影像堆的該些標註醫學影像片對應的該些目標範圍，以得到複數個相似度(dice)係數； 其中，當該些相似度係數都在一預設數值範圍，或高於該準確率門檻值的該些相似度係數的數量超過一預設比例時，視為該影像辨識模型的該準確率高於該準確率門檻值。
  20. 如申請專利範圍第15項所述之醫學影像辨識裝置，其中該處理器更用以處理以下運算： 將該些預測醫學影像堆中的一第一預測醫學影像堆所對應的一第一目標體積減去該些預測醫學影像堆中的一第二預測醫學影像堆所對應的一第二目標體積後得到一體積差值；以及 將該體積差值除以該第二目標體積，以取得該些體積變化率的其中一者。
TW109111143A 2020-04-01 2020-04-01 醫學影像辨識方法及醫學影像辨識裝置 TWI783219B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW109111143A TWI783219B (zh) 2020-04-01 2020-04-01 醫學影像辨識方法及醫學影像辨識裝置
CN202010375917.5A CN113496478B (zh) 2020-04-01 2020-05-07 医学影像辨识方法及医学影像辨识装置
US16/918,245 US11494905B2 (en) 2020-04-01 2020-07-01 Medical image recognition method and medical image recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109111143A TWI783219B (zh) 2020-04-01 2020-04-01 醫學影像辨識方法及醫學影像辨識裝置

Publications (2)

Publication Number Publication Date
TW202139209A true TW202139209A (zh) 2021-10-16
TWI783219B TWI783219B (zh) 2022-11-11

Family

ID=77922624

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109111143A TWI783219B (zh) 2020-04-01 2020-04-01 醫學影像辨識方法及醫學影像辨識裝置

Country Status (3)

Country Link
US (1) US11494905B2 (zh)
CN (1) CN113496478B (zh)
TW (1) TWI783219B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI809737B (zh) * 2022-02-25 2023-07-21 長庚醫療財團法人林口長庚紀念醫院 髖關節影像篩選方法及電子系統

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220138957A1 (en) * 2020-10-30 2022-05-05 Shanghai United Imaging Healthcare Co., Ltd. Methods and systems for medical image segmentation
CN115995289B (zh) * 2023-03-20 2023-06-30 福建自贸试验区厦门片区Manteia数据科技有限公司 基于神经网络模型对医学图像的勾画方法和装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6882743B2 (en) * 2001-11-29 2005-04-19 Siemens Corporate Research, Inc. Automated lung nodule segmentation using dynamic programming and EM based classification
US7639855B2 (en) * 2003-04-02 2009-12-29 Ziosoft, Inc. Medical image processing apparatus, and medical image processing method
US10049445B2 (en) * 2011-07-29 2018-08-14 Canon Kabushiki Kaisha Image processing apparatus and image processing method of a three-dimensional medical image
US9675317B2 (en) * 2014-12-22 2017-06-13 Toshiba Medical Systems Corporation Interface identification apparatus and method
US9947102B2 (en) * 2016-08-26 2018-04-17 Elekta, Inc. Image segmentation using neural network method
KR101880678B1 (ko) * 2016-10-12 2018-07-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
US10496884B1 (en) * 2017-09-19 2019-12-03 Deepradiology Inc. Transformation of textbook information
CN109583440B (zh) * 2017-09-28 2021-12-17 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
KR20190046471A (ko) * 2017-10-26 2019-05-07 삼성전자주식회사 의료 영상 처리 방법 및 그에 따른 의료 영상 처리 장치
CN107886503A (zh) * 2017-10-27 2018-04-06 重庆金山医疗器械有限公司 一种消化道解剖位置识别方法及装置
US10878576B2 (en) * 2018-02-14 2020-12-29 Elekta, Inc. Atlas-based segmentation using deep-learning
CN109829892A (zh) * 2019-01-03 2019-05-31 众安信息技术服务有限公司 一种预测模型的训练方法、使用该模型的预测方法及装置
CN209770401U (zh) * 2019-03-11 2019-12-13 四川大学华西医院 医学图像快速分析处理系统
CN110599451B (zh) * 2019-08-05 2023-01-20 平安科技（深圳）有限公司 医学图像病灶检测定位方法、装置、设备及存储介质
US11462315B2 (en) * 2019-11-26 2022-10-04 Enlitic, Inc. Medical scan co-registration and methods for use therewith

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI809737B (zh) * 2022-02-25 2023-07-21 長庚醫療財團法人林口長庚紀念醫院 髖關節影像篩選方法及電子系統

Also Published As

Publication number Publication date
US20210312614A1 (en) 2021-10-07
US11494905B2 (en) 2022-11-08
TWI783219B (zh) 2022-11-11
CN113496478B (zh) 2024-02-02
CN113496478A (zh) 2021-10-12

Similar Documents

Publication Publication Date Title
TWI783219B (zh) 醫學影像辨識方法及醫學影像辨識裝置
US11170900B2 (en) Method and apparatus for refining similar case search
RU2543563C2 (ru) Системы и способы поддержки клинических решений
Murakami et al. Automatic identification of bone erosions in rheumatoid arthritis from hand radiographs based on deep convolutional neural network
US20150012474A1 (en) Medical decision making support apparatus and control method for the same
JP6818424B2 (ja) 診断支援装置、情報処理方法、診断支援システム及びプログラム
Wei et al. Ensemble deep learning model for multicenter classification of thyroid nodules on ultrasound images
JP2014512897A (ja) 医療データの知的リンキング方法及びシステム
CN106599549A (zh) 一种计算机辅助诊断系统、方法及其医疗系统
AU2020103779A4 (en) Covid-19 classification recognition method based on ct images of lungs
CN112990344B (zh) 一种肺结节多视图分类方法
JP2019526869A (ja) Ｃａｄシステム推薦に関する確信レベル指標を提供するためのｃａｄシステムパーソナライゼーションの方法及び手段
US11967424B2 (en) Information processing apparatus, information processing method, and recording medium
US20230154580A1 (en) Anatomical location detection of features of a gastrointestinal tract of a patient
Arroyo et al. No sonographer, no radiologist: New system for automatic prenatal detection of fetal biometry, fetal presentation, and placental location
Vogado et al. A ensemble methodology for automatic classification of chest X-rays using deep learning
Csillag et al. AmnioML: amniotic fluid segmentation and volume prediction with uncertainty quantification
Pham et al. Chest x-rays abnormalities localization and classification using an ensemble framework of deep convolutional neural networks
CN106202847B (zh) 一种就诊预测方法
Zalud et al. Fetal biometry: a comparison between experienced sonographers and automated measurements
Chekin et al. A clinical decision support system for assessing the risk of Cervical Cancer: development and evaluation study
Vital et al. Robust pulmonary segmentation for chest radiography, combining enhancement, adaptive morphology and innovative active contours
Lee et al. Learning radiologist’s step-by-step skill for cervical spinal injury examination: Line drawing, prevertebral soft tissue thickness measurement, and swelling detection
Rawat et al. Neural Modeling of Fetal Biometric Parameters for Detection of Fetal Abnormality
Gunasekara et al. A feasibility study for deep learning based automated brain tumor segmentation using magnetic resonance images