TW202027090A - 醫療矢面影像的取得方法、神經網路的訓練方法及計算機裝置 - Google Patents

醫療矢面影像的取得方法、神經網路的訓練方法及計算機裝置 Download PDF

Info

Publication number
TW202027090A
TW202027090A TW107147774A TW107147774A TW202027090A TW 202027090 A TW202027090 A TW 202027090A TW 107147774 A TW107147774 A TW 107147774A TW 107147774 A TW107147774 A TW 107147774A TW 202027090 A TW202027090 A TW 202027090A
Authority
TW
Taiwan
Prior art keywords
neural network
sagittal
image
dimensional
medical image
Prior art date
Application number
TW107147774A
Other languages
English (en)
Other versions
TWI697010B (zh
Inventor
孫永年
蔡佩穎
謝佳茹
黃詩婷
黃榆涵
Original Assignee
國立成功大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立成功大學 filed Critical 國立成功大學
Priority to TW107147774A priority Critical patent/TWI697010B/zh
Priority to US16/368,412 priority patent/US10997719B2/en
Priority to JP2019063269A priority patent/JP6888041B2/ja
Application granted granted Critical
Publication of TWI697010B publication Critical patent/TWI697010B/zh
Publication of TW202027090A publication Critical patent/TW202027090A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30044—Fetus; Embryo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008—Cut plane or projection plane definition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Graphics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Quality & Reliability (AREA)
  • Architecture (AREA)
  • Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一種取得醫療矢面影像的神經網路的訓練方法包含：使用一第一神經網路於一三維醫療影像以產生一預期矢面遮罩；依據三維醫療影像與預期矢面遮罩以得到一預期結果；依據三維醫療影像與一認定矢面遮罩以得到一認定結果；使用一第二神經網路於預期結果與認定結果；依據第二神經網路的輸出產生一損失函數資料；以及依據損失資料調整第一神經網路或第二神經網路的參數。

Description

醫療矢面影像的取得方法、神經網路的訓練方法及計算機裝置
本發明係關於一種神經網路及計算機裝置，特別關於一種醫療矢面影像的神經網路及計算機裝置。
醫療檢查設備包括超音波檢查設備、電腦斷層攝影等設備，以產前胎兒生長檢查為例，超音波檢查在產前診斷上扮演極重要之角色。醫師可在第一孕期的超音波影像進行胎兒頸部透明帶與生長參數之量測，做為早期唐氏症、胎兒基因缺陷或發育不全之篩檢。然而，胎兒超音波影像通常有過多雜訊、邊界模糊等缺點，而且，第一孕期之超音波影像更因為胎兒發育尚未完整，以及胎兒本身附著於子宮內膜造成邊界不明顯等問題，使得目前超音波影像量測與評估大都仰賴專業臨床人員的經驗，也易於導致人為的誤差。此外，胎兒頸部透明帶厚度需要在胎兒正中矢狀面（Middle Sagittal Plane，MSP）上量測，但如何在超音波影像中找到此正確觀察面，這是一件相當耗時與困難的技術。
因此，如何提供一種能找出矢狀面的神經網路及計算機裝置，已成為重要課題之一。
有鑑於上述課題，本發明之目的為提供一種能找出矢狀面的神經網路及相關的方法與計算機裝置。
一種取得醫療矢面影像的神經網路的訓練方法包含：使用一第一神經網路於一三維醫療影像以產生一預期矢面遮罩；依據三維醫療影像與預期矢面遮罩以得到一預期結果；依據三維醫療影像與一認定矢面遮罩以得到一認定結果；使用一第二神經網路於預期結果與認定結果；依據第二神經網路的輸出產生一損失函數資料；以及依據損失函數資料調整第一神經網路或第二神經網路的參數。
在一實施例中，三維醫療影像是超音波影像、電腦斷層攝影影像、全景X光片攝影影像或磁核共振影像。
在一實施例中，預期結果是三維醫療影像與預期矢面遮罩的結合運算而產生，認定結果是三維醫療影像與認定矢面遮罩的結合運算而產生。
在一實施例中，第一神經網路為卷積神經網路，其包含多個卷積層、平坦層、重塑層及多個反卷積層。
在一實施例中，第二神經網路為卷積神經網路，其包含多個卷積層及平坦層。
在一實施例中，第一神經網路與第二神經網路為生成對抗網路。
在一實施例中，損失函數資料包含一第一損失函數資料以及一第二損失函數資料，第一損失函數資料用以調整第一神經網路；第二損失函數資料用以調整第二神經網路。
在一實施例中，訓練方法更包含從多個二維醫療影像建立三維醫療影像。
在一實施例中，訓練方法更包含：依據預期矢面遮罩及三維醫療影像以產生一二維矢面影像。
一種取得醫療矢面影像的方法包含：使用一第一神經網路於一三維醫療影像以產生一預期矢面遮罩；以及依據預期矢面遮罩及三維醫療影像以產生一二維矢面影像。
在一實施例的取得醫療矢面影像的方法中，產生二維矢面影像的步驟包含：依據預期矢面遮罩產生一矢面描述資料；以及根據矢面描述資料對三維醫療影像進行座標變換以產生二維矢面影像。
在一實施例的取得醫療矢面影像的方法中，三維醫療影像是超音波影像、電腦斷層攝影影像、全景X光片攝影影像或磁核共振影像。
在一實施例的取得醫療矢面影像的方法中，第一神經網路為卷積神經網路，其包含多個卷積層、平坦層、重塑層及多個反卷積層。
在一實施例的取得醫療矢面影像的方法中，取得方法更包含從多個二維醫療影像建立三維醫療影像。
一種計算機裝置，進行以上所述之方法。
在一實施例中，計算機裝置包含一處理核心以及一儲存元件，儲存元件儲存上述方法的程式碼，處理核心耦接儲存元件並執行程式碼以進行上述方法。
承上所述，本揭露之取得醫療矢面影像的神經網路的訓練方法、取得醫療矢面影像的方法以及計算機裝置中，使用神經網路來偵測矢狀平面，例如是從超音波影像偵測胎兒正中矢狀平面。神經網路可視為一個過濾器，學習醫療影像中的特徵點及其在三維空間中的位置，並產生一個包含平面位置資訊的三維遮罩，經過後處理的轉換，最後得到正中矢狀平面影像。
以下將參照相關圖式，說明依本發明較佳實施例之醫療矢面影像的取得方法、神經網路的訓練方法及計算機裝置，其中相同的元件將以相同的參照符號加以說明。
如圖1所示，圖1為一實施例之處理醫療矢面影像的系統的區塊圖。系統包括一醫療影像裝置1、一計算機裝置2以及一輸出裝置3，計算機裝置2包含一處理核心21、一儲存元件22以及多個輸出入介面23、24，處理核心21耦接儲存元件22及輸出入介面23、24，輸出入介面23可接收醫療影像裝置1產生的醫療影像11，輸出入介面24與輸出裝置3通訊，計算機裝置2可透過輸出入介面24輸出處理結果到輸出裝置3。
儲存元件22儲存程式碼以供處理核心21執行，儲存元件22包括非揮發性記憶體及揮發性記憶體，非揮發性記憶體例如是硬碟、快閃記憶體、固態碟、光碟片等等。揮發性記憶體例如是動態隨機存取記憶體、靜態隨機存取記憶體等等。舉例來說，程式碼儲存於非揮發性記憶體，處理核心21可將程式碼從非揮發性記憶體載入到揮發性記憶體，然後執行程式碼。
處理核心21例如是處理器、控制器等等，處理器包括一或多個核心。處理器可以是中央處理器或圖型處理器，處理核心21亦可以處理器或圖型處理器的核心。另一方面，處理核心21也可以是一個處理模組，處理模組包括多個處理器，例如包括中央處理器及圖型處理器。
醫療影像裝置1可產生醫療影像11，其例如是超音波檢查設備、電腦斷層攝影、全景X光片攝影影像或磁核共振等設備。醫療影像裝置1產生的醫療影像11可先傳送到儲存媒體，再從儲存媒體輸入到輸出入介面23，輸出入介面23例如是周邊傳輸埠，儲存媒體例如是非揮發性記憶體。另外，醫療影像裝置1也可以和輸出入介面23以有線或無線方式連線，透過連線方式將醫療影像11從醫療影像裝置1傳輸到輸出入介面23，輸出入介面23例如是通訊埠。
計算機裝置2可進行取得醫療矢面影像的神經網路的訓練方法，儲存元件22儲存訓練方法的相關程式碼、模型以及訓練好的參數，處理核心21執行這些程式碼以進行訓練方法，訓練方法包含：使用一第一神經網路於一三維醫療影像以產生一預期矢面遮罩；依據三維醫療影像與預期矢面遮罩以得到一預期結果；依據三維醫療影像與一認定矢面遮罩以得到一認定結果；使用一第二神經網路於預期結果與認定結果；依據第二神經網路的輸出產生一損失函數資料；以及依據損失函數資料調整第一神經網路或第二神經網路的參數。
計算機裝置2可進行取得醫療矢面影像的方法，儲存元件22儲存取得方法的相關程式碼、模型以及使用的參數，處理核心21執行這些程式碼以進行取得方法，取得方法包含：使用一第一神經網路於一三維醫療影像以產生一預期矢面遮罩；以及依據預期矢面遮罩及三維醫療影像以產生一二維矢面影像。
輸出裝置3是具備輸出影像能力的裝置，例如顯示器、投影機、印表機等等。計算機裝置2進行取得醫療矢面影像的方法可將產生的二維矢面影像輸出到輸出裝置3。
第一神經網路是從取得醫療矢面影像的神經網路的訓練方法所訓練的神經網路，並將矢面偵測當作是過濾，從三維醫療影像濾出矢面並產生三維二值遮罩，濾出的資訊不僅留下矢面上被需要的特徵，還同時具有位置資訊。利用訓練後的第一神經網路，可以從三維醫療影像的空間體積（volume）找到一個平面能夠準確地將影像中的目標物切成左右二半並仍具有被需要的特徵。相較於列出全部候選切片並分類這些切片的直覺方法，本案的方法能克服上述直覺方法非常耗時及缺乏效率的缺點，並克服直覺方法僅以二維影像維判斷依據導致的確實位置在三維空間失真的問題。
如圖2A所示，圖2A為一實施例之取得醫療矢面影像的神經網路的訓練方法的區塊圖。第一神經網路41、預期結果產生42、認定結果產生43、第二神經網路44及損失函數計算45的實作程式碼及資料可以儲存在圖1的儲存元件22並提供給處理核心21執行及處理，三維醫療影像51、預期矢面遮罩52、預期結果53、認定矢面遮罩54、認定結果55及損失函數資料56、57可儲存或載入於儲存元件22以提供給處理核心21處理。
第一神經網路41使用於三維醫療影像51以產生預期矢面遮罩52，預期結果產生42是依據三維醫療影像51與預期矢面遮罩52以得到預期結果53，認定結果產生43是依據三維醫療影像51與認定矢面遮罩54以得到認定結果55，第二神經網路44使用於預期結果42與認定結果43以產生輸出，損失函數計算45根據第二神經網路44的輸出並使用損失函數以計算產生損失函數資料56、57，然後依據損失函數資料56、57調整第一神經網路41及第二神經網路44的參數。
訓練方法可使用深度學習（deep learning）來自動偵測矢面，舉例來說，第一神經網路41與第二神經網路44可以是生成對抗網路的二個子網路部分，第一神經網路41是作為生成器（generator），第二神經網路44是作為對抗器（critic）。利用對抗器的輸出損失可分別調整或最佳化生成器和對抗器。
三維醫療影像51是作為輸入影像，舉例來說，三維醫療影像51是超音波影像、電腦斷層攝影影像、全景X光片攝影影像或磁核共振影像等等。超音波影像例如是全身超音波影像或局部超音波影像，局部超音波影像例如是頭部超音波影像、頸部超音波影像、頭頸部超音波影像或其他部位超音波影像等等。三維醫療影像51可以是圖1的醫療影像裝置1產生的醫療影像11，即醫療影像11本身就是三維影像，或者是，三維醫療影像51從醫療影像11來產生，例如醫療影像11是多個二維影像，這些二維影像分別代表標的物在不同層斷面或在不同座標面，三維醫療影像51是從這些二維影像建立產生。
第一神經網路41以三維醫療影像51作為輸入並加以處理，處理結果作為預期矢面遮罩52。舉例來說，第一神經網路41被設計為一個過濾器，其學習三維醫療影像51中的特徵點及其在三維空間中的位置，並產生一個包含平面位置資訊的三維的預期矢面遮罩52。預期矢面遮罩52的維度與規模可以和三維醫療影像51的維度與規模相同。
第一神經網路41可從三維醫療影像51取出裁剪體積（cropped volume）作為輸入並輸出三維遮罩作為預期矢面遮罩52，三維遮罩例如是三維二值遮罩（3D binary mask），第一神經網路41的輸入與輸出具有相同的維度及規模大小。矢面的位置資訊會嵌入在此三維遮罩內，如果體素（voxel）有在矢面則對應遮罩值為1，反之體素排除在矢面之外則對應遮罩值為0。
預期結果產生42是根據三維醫療影像51及預期矢面遮罩52而產生預期結果53，產生方式例如是使用結合運算。認定結果產生43是根據三維醫療影像51及認定矢面遮罩54而產生認定結果55，產生方式例如是使用結合運算，認定矢面遮罩54可以和三維醫療影像51的維度與規模相同。為了便於處理，三維醫療影像51、預期矢面遮罩52及認定矢面遮罩54可具有相同的維度與規模。
結合運算如圖2B所示，預期結果產生42和認定結果產生43可使用相同方式的結合運算，結合運算的程式碼可以被預期結果產生42和認定結果產生43共用。在圖2B中，結合運算包括乘法46以及串聯合併47。在將資料送入第二神經網路44前，三維遮罩與三維醫療影像51先施以結合運算，結合運算包含矩陣逐元素乘法（element-wise multiplication），這是因為要從原始的三維醫療影像51中取得強度面（intensity plane）。然後，結合運算將乘法46的結果與三維醫療影像51串聯合併（concatenate），串聯合併47的輸出會是二通道資料並送入第二神經網路44。
在預期結果產生42中，三維遮罩是預期矢面遮罩52，串聯合併47的輸出是作為預期結果53。在認定結果產生43中，三維遮罩是認定矢面遮罩54，串聯合併47的輸出是作為認定結果55。
請再參考圖2A，第二神經網路44以預期結果53及認定結果55作為輸入並加以處理，處理結果輸出到損失函數計算45。在損失函數計算45中，損失函數資料56、57包含第一損失函數資料56以及第二損失函數資料57，第一損失函數資料56用以調整第一神經網路41，第二損失函數資料57用以調整第二神經網路44。
第一神經網路41和第二神經網路44的濾波器權值（filter weights）是利用損失函數資料56、57來訓練。採用生成對抗網路的情況下，損失函數可採用WGAN-GP或是基於WGAN-GP的修改版本，損失函數資料56、57利用下式來產生：
Figure 02_image001
Figure 02_image003
Figure 02_image005
LG ：更新生成器的損失函數 LC ：更新對抗器的損失函數 Lce ：交叉熵（cross entropy） x：預期矢面遮罩 y：認定矢面遮罩 x̂：x和y並以亂數權值的線性結合，x̂ = αy + (1-α)x α：亂數權值，α∈(0,1) x’：預期結果   y’：認定結果 x̂’：x’和y’並以亂數權值的線性結合，x̂’ = αy’ + (1-α)x’ C：對抗器 E：期望（exceptation） λ：梯度處罰（gradient penalty）的權值 w：權值，控制交叉熵損失及對抗（adversairal）損失的權衡
另外，如圖2C所示，圖2C為一實施例之三維醫療影像產生的區塊圖，在三維醫療影像產生48中，可從多個二維醫療影像58產生建立圖2A中的三維醫療影像51。舉例來說，二維醫療影像58是二維超音波影像，三維醫療影像51是三維超音波影像。三維醫療影像產生48實作的程式碼及資料也可儲存在圖1的儲存元件22並提供給處理核心21執行及處理。
如圖3所示，圖3為一實施例之第一神經網路的示意圖，第一神經網路41例如是卷積神經網路，其包含多個卷積層411、平坦層412、重塑層414及多個反卷積層415。第一神經網路41的前半可視為編碼器，後半可視為解碼器，例如是卷積層411及平坦層412可視為編碼器，重塑層414及反卷積層415可視為解碼器。反卷積層415的最終輸出作為預期矢面遮罩52。
卷積層411例如是四個，各卷積層411使用相同規模大小的內核（kernel）並具有相同規模大小的步幅（stride），例如3×3×3大小的內核以及1×1×1大小的步幅。內核又可稱為濾波器（filter）。特徵圖（feature map）的厚度或稱為通道（channel），其數量是隨卷積層411的層數逐漸增加，例如第一層卷積層411a後，每通過一層卷積層411就倍增，在圖3中，第一層卷積層411a的輸入的通道數為1，然後經第一層卷積層411a的輸出後，從第一層到第四層的卷積層411a～411d，通道數從4開始然後逐漸增加為8、16及32。資料量的大小從803 依序變化為403 、203 、103 、53 。在其他的實施方式中，卷積層411也可分別使用不同大小的內核，或僅部分卷積層411使用相同規模大小的內核並非全部卷積層411都使用相同規模大小的內核。卷積層411也可分別使用不同大小的步幅，或僅部分卷積層411使用相同規模大小的步幅並非全部卷積層411都使用相同規模大小的步幅。通道的數量變化也可以有其他方式的變化，並非限定於倍增。
卷積層411的輸出可經進一步處理再進入到下一個卷積層411或平坦層412，進一步處理例如是線性整流層（Rectified Linear Units layer，ReLU layer）或池化層（pooling layer），線性整流層例如是使用帶泄露整流函數（leaky ReLU），池化層例如是最大池化層（max pooling layer）。舉例來說，各卷積層411的輸出可經線性整流層以及最大池化層處理再進入到下一個卷積層411，最後一層的卷積層411則是輸出到平坦層412，各線性整流層使用帶泄露整流函數，各池化層是最大池化層，最大池化層使用2×2×2大小的內核並具有2×2×2大小的步幅。在其他的實施方式中，可以僅部分的卷積層411的輸出有經進一步處理再進入到下一個卷積層411或平坦層412，並非一定要全部的卷積層411的輸出都要經線性整流層或池化層。
平坦層412後可接二個完全連接層413再接到重塑層414，完全連接層413也可帶有線性整流層，線性整流層例如是使用帶泄露整流函數。重塑層414後連接反卷積層415。平坦層412後到重塑層414間的資料量大小為4000、500、4000。
反卷積層415例如是四個，各反卷積層415使用相同規模大小的內核並具有相同規模大小的步幅，例如3×3×3大小的內核以及2×2×2大小的步幅。通道數量是隨反卷積層415的層數逐漸減少，例如通過一層反卷積層415就倍減直到最後一層。在圖3中，第一層反卷積層415的輸入的通道數為32，然後經第一層反卷積層415a的輸出後，從第一層到第四層的反卷積層415a～415d，通道數從32開始然後逐漸減少為16、8及4，最後一層反卷積層415a～415d的輸出的通道數為1。資料量的大小從53 依序變化為103 、203 、403 、803 。在其他的實施方式中，反卷積層415也可分別使用不同大小的內核，或僅部分反卷積層415使用相同規模大小的內核並非全部反卷積層415都使用相同規模大小的內核。反卷積層415也可分別使用不同大小的步幅，或僅部分反卷積層415使用相同規模大小的步幅並非全部反卷積層415都使用相同規模大小的步幅。通道的數量變化也可以有其他方式的變化，並非限定於倍減。
反卷積層415的輸出可經進一步處理再進入到下一個反卷積層415，進一步處理例如是線性整流層（Rectified Linear Units layer，ReLU layer），線性整流層例如是使用帶泄露整流函數（leaky ReLU）。舉例來說，除了最後一層，各反卷積層415的輸出可經線性整流層處理再進入到下一個反卷積層415，最後一層的卷積層415d則是帶有乙狀層（sigmoid layer），各線性整流層使用帶泄露整流函數。在其他的實施方式中，可以僅部分的反卷積層415的輸出有經進一步處理再進入到下一個反卷積層415，並非一定要全部的反卷積層415的輸出都要經線性整流層。
如圖4所示，圖4為一實施例之第二神經網路的示意圖，第二神經網路的架構類似於第一神經網路的編碼器部分，第二神經網路44例如是卷積神經網路，其包含多個卷積層441及平坦層442。平坦層442的輸出提供給損失函數計算。
卷積層441例如是四個，各卷積層441使用相同規模大小的內核並具有相同規模大小的步幅，例如3×3×3大小的內核以及1×1×1大小的步幅。通道數量是隨卷積層441的層數逐漸增加，例如第一層卷積層441a後，每通過一層卷積層441就倍增，在圖4中，第一層卷積層441a的輸入的通道數為2，然後經第一層卷積層441a的輸出後，從第一層到第四層的卷積層411a～411d，通道數從4開始然後逐漸增加為8、16及32。資料量的大小從803 依序變化為403 、203 、103 、53 。在其他的實施方式中，卷積層441也可分別使用不同大小的內核，或僅部分卷積層441使用相同規模大小的內核並非全部卷積層441都使用相同規模大小的內核。卷積層441也可分別使用不同大小的步幅，或僅部分卷積層441使用相同規模大小的步幅並非全部卷積層441都使用相同規模大小的步幅。通道的數量變化也可以有其他方式的變化，並非限定於倍增。
卷積層441的輸出可經進一步處理再進入到下一個卷積層441或平坦層442，進一步處理例如是線性整流層、乙狀層或池化層，線性整流層例如是使用帶泄露整流函數，池化層例如是最大池化層。舉例來說，除了最後一層之外，各卷積層441a～441c的輸出可經線性整流層以及最大池化層處理再進入到下一個卷積層441b～441d，最後一層的卷積層441d則經乙狀層以及最大池化層處理再輸出到平坦層412，各線性整流層使用帶泄露整流函數，各池化層是最大池化層，最大池化層使用2×2×2大小的內核並具有2×2×2大小的步幅。在其他的實施方式中，可以僅部分的卷積層441的輸出有經進一步處理再進入到下一個卷積層441或平坦層442，並非一定要全部的卷積層441的輸出都要經線性整流層、乙狀層或池化層。第二神經網路44的最終輸出可以不是一個值，而是一個特徵向量（latent vector），藉以代表真或假遮罩的分部。在圖4中，平坦層412後的資料量大小為4000。
如圖5所示，圖5為一實施例之取得醫療矢面影像的方法的區塊圖。第一神經網路41經由前述的方法訓練後可用來取得醫療矢面影像，第一神經網路41以及三維醫療影像51的相關實施方式及變化可參考前面的相關說明。第一神經網路41、二維矢面影像產生49的實作程式碼及資料可以儲存在圖1的儲存元件22並提供給處理核心21執行及處理，三維醫療影像51、預期矢面遮罩52、二維矢面影像59可儲存或載入於儲存元件22以提供給處理核心21處理。
第一神經網路41使用於三維醫療影像51以產生預期矢面遮罩52。在二維矢面影像產生49中，依據預期矢面遮罩52及三維醫療影像51以產生二維矢面影像59。舉例來說，產生二維矢面影像的步驟包含：依據預期矢面遮罩52產生一矢面描述資料；以及根據矢面描述資料對三維醫療影像51進行座標轉換以產生二維矢面影像59。矢面描述資料例如是三維空間的平面表示式。
如圖6所示，圖6為一實施例之影像座標變換的示意圖，標記I代表初始矢面（sagittal plane），其平面表示式為z = 0。初始矢面I的法線向量P為（0, 0, 1）。在預期矢面遮罩52中，施用隨機抽樣一致（RANdom SAmple Consensus，RANSAC）算法在非為0的體素，然後可估算得到一個結果平面E，其平面表示式為ax + by + cz + d = 0。結果平面E的法線向量Q為（a, b, c），其中 a2 + b2 + c2 = 1。
標記M代表初始矢面I及結果平面E間各畫素的相關變換（transformation），在二維影像座標中初始矢面I的各畫素（p, q）的座標位置，即在三維影像座標中初始矢面I的體素（p, q, 0）的座標位置，要變換至結果平面E的體素（i, j, k）的座標位置，在原體素（i, j, k）的座標位置上的強度值會映射到結果平面E的對應畫素（p, q）的座標位置，然後結果平面E形成最終二維影像，最終二維影像能以二維方式記錄。變換M包含旋轉矩陣R和平移矩陣T，其可表示為M = TR，利用旋轉矩陣R和平移矩陣T的計算可求出二維矢面影像59。
對於法線向量P及法線向量Q來說，旋轉角θ及旋轉軸u可以從以下內積與外積的計算求出：
Figure 02_image007
Figure 02_image009
根據羅德里格旋轉公式（Rodrigues' rotation formula），繞旋轉軸u轉了旋轉角θ的旋轉矩陣R可從下式導出，其中轉軸u表示為 u = （ux , uy , uz ）：
Figure 02_image011
Figure 02_image013
Figure 02_image015
Figure 02_image017
平移矩陣T的參數d是從原始位置沿單位法線向量的位移（offset），從初始點（x, y, z）開始，新點（x’, y’, z’）可以沿位移d移動Q倍而到達。平移矩陣T可用下式導出：
Figure 02_image019
如圖7A所示，圖7A為一實施例之矢面的示意圖，標記61代表矢面（sagittal plane），標記62代表中間面（median plane），標記63代表冠狀面（coronal plane），標記64代表橫斷面（horizontal plane）。
如圖7B至圖7D所示，圖7B至圖7D顯示醫療矢面影像的超音波影像。超音波掃描具有低成本、即時和非侵入性等優點，其可使用於產前檢查。在第一孕期中，婦產科醫生會根據胎兒的正中矢狀平面（Middle Sagittal Plane，MSP）量測其生長參數，例如頸部透明帶厚度（Nuchal translucency thickness，NTT）、上顎骨長度（Maxillary length）以及上顎骨與額骨夾角角度（Fronto maxillary facial angle，FMF angle），以評估胎兒是否有染色體異常及發育遲緩等情況。利用前述取得方法，可以自動偵測胎兒三維超音波影像之正中矢狀平面，並產生二維矢面影像。頸部透明帶厚度的量測示意在圖7B，上顎骨長度的量測示意在圖7C，上顎骨與額骨夾角角度的量測示意在圖7D。
綜上所述，本揭露之取得醫療矢面影像的神經網路的訓練方法、取得醫療矢面影像的方法以及計算機裝置中，使用神經網路來偵測矢狀平面，例如是從超音波影像偵測胎兒正中矢狀平面。神經網路可視為一個過濾器，學習醫療影像中的特徵點及其在三維空間中的位置，並產生一個包含平面位置資訊的三維遮罩，經過後處理的轉換，最後得到正中矢狀平面影像。
以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。
1:醫療影像裝置11:醫療影像2:計算機裝置21:處理核心22:儲存元件23、24:輸出入介面3:輸出裝置41:第一神經網路411、411a～411d:卷積層412:平坦層413:完全連接層414:重塑層415、415a～415d:反卷積層42:預期結果產生43:認定結果產生44:第二神經網路441、441a～441d:卷積層442:平坦層45:損失函數計算46:乘法47:串聯合併48:三維醫療影像產生49:二維矢面影像產生51:三維醫療影像52:預期矢面遮罩53:預期結果54:認定矢面遮罩55:認定結果56、57:損失函數資料58:二維醫療影像59:二維矢面影像61:矢面62:中間面63:冠狀面64:橫斷面I:初始矢面E:結果平面M:相關變換
圖1為一實施例之處理醫療矢面影像的系統的區塊圖。 圖2A為一實施例之取得醫療矢面影像的神經網路的訓練方法的區塊圖。 圖2B為一實施例之結合運算的區塊圖。 圖2C為一實施例之三維醫療影像產生的區塊圖。 圖3為一實施例之第一神經網路的示意圖。 圖4為一實施例之第二神經網路的示意圖。 圖5為一實施例之取得醫療矢面影像的方法的區塊圖。 圖6為一實施例之影像座標變換的示意圖。 圖7A為一實施例之矢面的示意圖。 圖7B至圖7D顯示醫療矢面影像的超音波影像。
41:第一神經網路
42:預期結果產生
43:認定結果產生
44:第二神經網路
45:損失函數計算
51:三維醫療影像
52:預期矢面遮罩
53:預期結果
54:認定矢面遮罩
55:認定結果
56、57:損失函數資料

Claims (15)

  1. 一種取得醫療矢面影像的神經網路的訓練方法，包含： 使用一第一神經網路於一三維醫療影像以產生一預期矢面遮罩； 依據該三維醫療影像與該預期矢面遮罩以得到一預期結果； 依據該三維醫療影像與一認定矢面遮罩以得到一認定結果； 使用一第二神經網路於該預期結果與該認定結果； 依據該第二神經網路的輸出產生一損失函數資料；以及 依據該損失函數資料調整該第一神經網路或該第二神經網路的參數。
  2. 如申請專利範圍第1項所述之方法，其中，該三維醫療影像是超音波影像、電腦斷層攝影影像、全景X光片攝影影像或磁核共振影像。
  3. 如申請專利範圍第1項所述之方法，其中，該預期結果是該三維醫療影像與該預期矢面遮罩的結合運算而產生，該認定結果是該三維醫療影像與該認定矢面遮罩的結合運算而產生。
  4. 如申請專利範圍第1項所述之方法，其中，該第一神經網路為卷積神經網路，其包含多個卷積層、平坦層、重塑層及多個反卷積層。
  5. 如申請專利範圍第1項所述之方法，其中，該第二神經網路為卷積神經網路，其包含多個卷積層及平坦層。
  6. 如申請專利範圍第1項所述之方法，其中，該損失函數資料包含： 一第一損失函數資料，用以調整該第一神經網路；以及 一第二損失函數資料，用以調整該第二神經網路。
  7. 如申請專利範圍第1項所述之方法，其中，該第一神經網路與該第二神經網路為生成對抗網路。
  8. 如申請專利範圍第1項所述之方法，更包含： 從多個二維醫療影像建立該三維醫療影像。
  9. 如申請專利範圍第1項所述之方法，更包含： 依據該預期矢面遮罩及該三維醫療影像以產生一二維矢面影像。
  10. 一種取得醫療矢面影像的方法，包含： 使用一第一神經網路於一三維醫療影像以產生一預期矢面遮罩；以及 依據該預期矢面遮罩及該三維醫療影像以產生一二維矢面影像。
  11. 如申請專利範圍第10項所述之方法，其中，產生該二維矢面影像的步驟包含： 依據該預期矢面遮罩產生一矢面描述資料； 根據該矢面描述資料對該三維醫療影像進行座標變換以產生該二維矢面影像。
  12. 如申請專利範圍第10項所述之方法，其中，該三維醫療影像是超音波影像、電腦斷層攝影影像、全景X光片攝影影像或磁核共振影像。
  13. 如申請專利範圍第10項所述之方法，其中，該第一神經網路為卷積神經網路，其包含多個卷積層、平坦層、重塑層及多個反卷積層。
  14. 如申請專利範圍第10項所述之方法，更包含： 從多個二維醫療影像建立該三維醫療影像。
  15. 一種計算機裝置，進行如申請專利範圍第1項至第14項其中任一項所述之方法。
TW107147774A 2018-12-28 2018-12-28 醫療矢面影像的取得方法、神經網路的訓練方法及計算機裝置 TWI697010B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107147774A TWI697010B (zh) 2018-12-28 2018-12-28 醫療矢面影像的取得方法、神經網路的訓練方法及計算機裝置
US16/368,412 US10997719B2 (en) 2018-12-28 2019-03-28 Method of obtaining medical sagittal image, method of training neural network and computing device
JP2019063269A JP6888041B2 (ja) 2018-12-28 2019-03-28 医用矢状面画像を取得する方法、医用矢状面画像を取得するニューラルネットワークのトレーニング方法及びコンピュータ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107147774A TWI697010B (zh) 2018-12-28 2018-12-28 醫療矢面影像的取得方法、神經網路的訓練方法及計算機裝置

Publications (2)

Publication Number Publication Date
TWI697010B TWI697010B (zh) 2020-06-21
TW202027090A true TW202027090A (zh) 2020-07-16

Family

ID=71123013

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107147774A TWI697010B (zh) 2018-12-28 2018-12-28 醫療矢面影像的取得方法、神經網路的訓練方法及計算機裝置

Country Status (3)

Country Link
US (1) US10997719B2 (zh)
JP (1) JP6888041B2 (zh)
TW (1) TWI697010B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220245848A1 (en) * 2021-02-04 2022-08-04 Fibonacci Phyllotaxis Inc. System and method for evaluating tumor stability

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3671660A1 (en) * 2018-12-20 2020-06-24 Dassault Systèmes Designing a 3d modeled object via user-interaction
TWI781438B (zh) * 2020-09-03 2022-10-21 倍利科技股份有限公司 醫療影像分析系統及其訓練方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130072810A (ko) * 2011-12-22 2013-07-02 삼성전자주식회사 초음파 영상을 이용하여 정중 시상면을 자동으로 검출하는 방법 및 그 장치
CN104414680B (zh) 2013-08-21 2017-06-13 深圳迈瑞生物医疗电子股份有限公司 一种三维超声成像方法及系统
CN108292435B (zh) * 2015-10-29 2022-07-01 堃博生物科技公司 3d ct中的基于学习的脊柱椎骨定位和分割
US10871536B2 (en) * 2015-11-29 2020-12-22 Arterys Inc. Automated cardiac volume segmentation
TW201736865A (zh) * 2016-04-13 2017-10-16 Nihon Medi-Physics Co Ltd 來自核子醫學影像的生理累積之自動去除及ｃｔ影像之自動分段
WO2017210690A1 (en) * 2016-06-03 2017-12-07 Lu Le Spatial aggregation of holistically-nested convolutional neural networks for automated organ localization and segmentation in 3d medical scans
US9965863B2 (en) * 2016-08-26 2018-05-08 Elekta, Inc. System and methods for image segmentation using convolutional neural network
RU2698997C1 (ru) * 2016-09-06 2019-09-02 Электа, Инк. Нейронная сеть для генерации синтетических медицинских изображений
RU2719028C1 (ru) * 2016-09-07 2020-04-16 Электа, Инк. Система и способ для обучающихся моделей планов радиотерапевтического лечения с прогнозированием распределений дозы радиотерапии
US10709394B2 (en) * 2018-01-15 2020-07-14 Siemens Healthcare Gmbh Method and system for 3D reconstruction of X-ray CT volume and segmentation mask from a few X-ray radiographs
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220245848A1 (en) * 2021-02-04 2022-08-04 Fibonacci Phyllotaxis Inc. System and method for evaluating tumor stability
US11908154B2 (en) * 2021-02-04 2024-02-20 Fibonacci Phyllotaxis Inc. System and method for evaluating tumor stability

Also Published As

Publication number Publication date
US10997719B2 (en) 2021-05-04
TWI697010B (zh) 2020-06-21
US20200211179A1 (en) 2020-07-02
JP6888041B2 (ja) 2021-06-16
JP2020108725A (ja) 2020-07-16

Similar Documents

Publication Publication Date Title
CN109949899B (zh) 图像三维测量方法、电子设备、存储介质及程序产品
US11576645B2 (en) Systems and methods for scanning a patient in an imaging system
CN107403463B (zh) 在成像系统中具有非刚性部分的人体表示
JP6144781B2 (ja) 異なるタイプの画像を用いて派生画像を生成する方法及び装置
US20200268251A1 (en) System and method for patient positioning
CN110599528A (zh) 一种基于神经网络的无监督三维医学图像配准方法及系统
JP6304970B2 (ja) 画像処理装置、画像処理方法
US20110262015A1 (en) Image processing apparatus, image processing method, and storage medium
US20140241606A1 (en) Apparatus and method for lesion segmentation in medical image
TWI697010B (zh) 醫療矢面影像的取得方法、神經網路的訓練方法及計算機裝置
JP2016135252A (ja) 医用画像処理装置及び医用画像診断装置
CN109410188A (zh) 用于对医学图像进行分割的系统和方法
JP2013542046A5 (zh)
ES2693369T3 (es) Método y sistema para determinar un fenotipo de un neoplasma en un cuerpo humano o animal
CN109598697A (zh) 二维乳腺造影数据组的确定
Mirzaalian Dastjerdi et al. Measuring surface area of skin lesions with 2D and 3D algorithms
KR102202398B1 (ko) 영상처리장치 및 그의 영상처리방법
KR102342575B1 (ko) 광섬유 번들 이미지 처리 방법 및 장치
JP6564075B2 (ja) 医用画像を表示するための伝達関数の選択
CN112261399B (zh) 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质
JP6995535B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN109087357A (zh) 扫描定位方法、装置、计算机设备及计算机可读存储介质
US9224229B2 (en) Process and apparatus for data registration
CN107622491A (zh) 光纤束图像分析方法和装置
WO2020133124A1 (zh) 医疗矢面影像取得方法、神经网络训练方法及计算机装置