TWI681406B - 腫瘤影像深度學習輔助子宮頸癌患者預後預測系統、方法及電腦程式產品 - Google Patents

腫瘤影像深度學習輔助子宮頸癌患者預後預測系統、方法及電腦程式產品 Download PDF

Info

Publication number
TWI681406B
TWI681406B TW107146171A TW107146171A TWI681406B TW I681406 B TWI681406 B TW I681406B TW 107146171 A TW107146171 A TW 107146171A TW 107146171 A TW107146171 A TW 107146171A TW I681406 B TWI681406 B TW I681406B
Authority
TW
Taiwan
Prior art keywords
image
training
image data
layer
tumor
Prior art date
Application number
TW107146171A
Other languages
English (en)
Other versions
TW202025175A (zh
Inventor
高嘉鴻
陳尚文
沈偉誌
吳國禎
Original Assignee
中國醫藥大學附設醫院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中國醫藥大學附設醫院 filed Critical 中國醫藥大學附設醫院
Priority to TW107146171A priority Critical patent/TWI681406B/zh
Priority to US16/396,908 priority patent/US10896502B2/en
Application granted granted Critical
Publication of TWI681406B publication Critical patent/TWI681406B/zh
Publication of TW202025175A publication Critical patent/TW202025175A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

一種腫瘤影像深度學習輔助子宮頸癌患者預後預測系統，用以分析一病患的一子宮頸腫瘤的一影像資料。該系統包括：一小樣本資料擴充模組，用以將該影像資料進行資料擴充處理，以產生該影像資料的複數個切片影像；以及一深度卷積神經網絡模型，對該等切片影像進行一特徵分析，以預測該病患在接受化學與放射治療後的一預後。

Description

腫瘤影像深度學習輔助子宮頸癌患者預後預測系統、方法及電腦程式產品
本發明屬於影像輔助預測技術領域，特別是基於深度學習的子宮頸腫瘤影像輔助預測系統、方法及電腦程式產品。
化學與放射治療(Chemoradiotherapy)是目前局部晚期（local advanced）子宮頸癌的常規治療方法之一，但病患在治療後的預後(例如腫瘤局部控制、遠端轉移、生存機率)目前仍不夠理想。由於治療可能會引起許多副作用，若能預測治療後的預後，病患的醫療品質可有效地被提升。目前氟代脫氧葡萄糖(18F-FDG)的正電子發射計算機斷層掃描(Positron Emission Tomography，PET)影像/計算機斷層掃描(Computed Tomography，CT)影像已被廣泛用於評估子宮頸癌的治療前分期，有些研究方法使用從影像推導的特徵預測治療後的治療反應、局部復發(local recurrence)或遠端轉移（distant metastasis）的可能性。
然而迄今為止，PET/CT的影像組學(radiomics)與傳統的機器學習與統計學演算法組合而成的預測技術在精準度上仍有缺陷，因此預測失誤的機率十分高。
對此，本發明提供一種改良的影像深度學習輔助預測系統、方法及電腦程式產品，能有效解決上述問題。
本發明提出一種腫瘤影像深度學習輔助子宮頸癌患者預後預測系統，是以深度學習演算法為基礎，並配合子宮頸腫瘤的影像訓練而成。本發明可藉由深度學習而建立出一個深度卷積神經網路模型，該深度卷積神經網路模型可對病患的子宮頸腫瘤的影像進行分析，進而預測該病患的子宮頸腫瘤在合併化學與放射治療後的預後。本發明透過深度卷積神經網路之運算，使得預測的精準度能夠提升。
根據本發明的一觀點，茲提出一種腫瘤影像深度學習輔助子宮頸癌患者預後預測系統，用以分析病患在進行治療前的子宮頸腫瘤的影像資料。該系統包含小樣本資料擴充模組及分析模組。小樣本資料擴充模組可將影像資料進行資料擴充處理，進而產生複數個切片影像。分析模組可透過深度卷積神經網絡模型對切片影像進行特徵分析，進而預測病患在接受治療後的預後。
根據本發明的另一觀點，是提供一種腫瘤影像深度學習輔助子宮頸癌治療反應預測方法，用以分析病患在進行治療前的子宮頸腫瘤的影像資料，該方法是透過腫瘤影像深度學習輔助子宮頸癌患者預後預測系統來執行，且該方法包含步驟: 藉由小樣本資料擴充模組將影像資料進行資料擴充處理，以產生複數個切片影像；以及藉由分析模組，透過深度卷積神經網絡模型對該等切片影像進行一特徵分析，以預測該病患在接受治療後的一預後。
根據本發明又另一觀點，是提供一種電腦程式產品，儲存於一非暫態電腦可讀取媒體之中，用於使腫瘤影像深度學習輔助子宮頸癌患者預後預測系統的運作，其中該電腦程式產品包含:一指令，使該系統對影像資料進行資料擴充處理，以產生複數個切片影像；以及一指令，使子宮頸腫瘤影像輔助預測系統對切片影像進行特徵分析，以預測病患在接受治療後的預後。
以下說明書將提供本發明的多個實施例。可理解的是，這些實施例並非用以限制。本發明的各實施例的特徵可加以修飾、置換、組合、分離及設計以應用於其他實施例。
圖1(A)是本發明一實施例的腫瘤影像深度學習輔助子宮頸癌患者預後預測系統1的系統架構圖。如圖1(A)所示，腫瘤影像深度學習輔助子宮頸癌患者預後預測系統1包含一小樣本資料擴充模組12及一分析模組14及一深度卷積神經網絡模型15。在一實施例中，腫瘤影像深度學習輔助子宮頸癌患者預後預測系統1可更包含一資料輸入端16，用以取得來自外部的影像資料，亦即使用者可藉由資料輸入端16將影像資料輸入至腫瘤影像深度學習輔助子宮頸癌患者預後預測系統1中。此處「影像」可例如是一病患在進行一治療前的子宮頸腫瘤的一PET影像或CT影像，其中治療可例如但不限定為合併化學與放射治療，而「影像資料」可例如是該PET影像或CT影像的代謝腫瘤體積(Metabolic Tumor Volume，MTV)範圍，但不限於此。為說明更清楚，以下段落皆將以PET影像來舉例。當腫瘤影像深度學習輔助子宮頸癌患者預後預測系統1取得該影像資料後，小樣本資料擴充模組12可將該影像資料進行一資料擴充處理，以將該影像資料擴充為更多細部的影像資料。分析模組14可藉由深度卷積神經網絡模型15對該等細部的影像資料進行特徵分析(例如深度卷積神經網絡模型15對影像資料進行分析，並利用該等特徵建立出預測路徑)，進而預測該患者在接受治療後的預後；舉例來說，只要將病患在接受化學與放射治療前的子宮頸腫瘤的影像資料輸入至腫瘤影像深度學習輔助子宮頸癌患者預後預測系統1之中，腫瘤影像深度學習輔助子宮頸癌患者預後預測系統1即可預測出該病患在接受化學與放射治療後的預後(例如子宮頸腫瘤的復發或轉移可能性)。此外，在一實施例中，腫瘤影像深度學習輔助子宮頸癌患者預後預測系統1可更包含一訓練模組17，用以控制訓練用模型進行深度學習，當訓練用模型訓練完成後，即可形成深度卷積神經網絡模型15。以下將說明各元件的細節。
腫瘤影像深度學習輔助子宮頸癌患者預後預測系統1可以是一影像處理裝置，其可透過任何具有微處理器的裝置來實現，例如桌上型電腦、筆記型電腦、智慧型行動裝置、伺服器或雲端主機等類似裝置。在一實施例中，腫瘤影像深度學習輔助子宮頸癌患者預後預測系統1可具備網路通訊功能，以將資料透過網路進行傳輸，其中網路通訊可以是有線網路或無線網路，因此腫瘤影像深度學習輔助子宮頸癌患者預後預測系統1亦可透過網路來取得影像資料。在一實施例中，腫瘤影像深度學習輔助子宮頸癌患者預後預測系統1可由微處理器中執行一電腦程式產品20來實現，例如電腦程式產品20可具有複數個指令，該等指令可使處理器執行特殊運作，進而使處理器執行小樣本資料擴充模組12、分析模組14、深度卷積神經網絡模型15及訓練模組17的功能。在一實施例中，電腦程式產品20可儲存於非暫態電腦可讀取媒體之中，例如記憶體之中，但不限於此。
在一實施例中，資料輸入端16是用以取得來自外部資料的一實體連接埠，例如當腫瘤影像深度學習輔助子宮頸癌患者預後預測系統1是由電腦實現時，資料輸入端16可以是電腦上USB介面、各種傳輸線接頭等，但並非限定。此外，資料輸入端16亦可與無線通訊晶片整合，因此能以無線傳輸的方式接收資料。
小樣本資料擴充模組12可以是一功能模組，其可透過一程式碼來實現，舉例來說，當腫瘤影像深度學習輔助子宮頸癌患者預後預測系統1中的微處理器執行該程式碼時，該程式碼可使該微處理器執行所述的小樣本資料擴充模組12的功能。分析模組14亦可以是一功能模組，其可透過一程式碼來實現，舉例來說，當腫瘤影像深度學習輔助子宮頸癌患者預後預測系統1中的微處理器執行該程式碼時，該程式碼可使該微處理器執行所述的分析模組14的功能。訓練模組17亦可以是一功能模組，並可透過一程式碼來實現，舉例來說，當腫瘤影像深度學習輔助子宮頸癌患者預後預測系統1中的微處理器執行該等程式碼時，該等程式碼可使該微處理器執行所述的訓練模組17的功能。在一實施例中，訓練模組17可與深度卷積神經網絡模型15(訓練用模型)整合在一起。上述各模組可透過各自獨立的不同程式來實現，也可以透過同一個程式中的不同子程式來實現，此外上述程式亦可以整合至電腦程式產品20之中，本發明並沒有限定。
接著說明深度卷積神經網絡模型15的細節。本發明的深度卷積神經網絡模型15是利用深度卷積神經網路來分析影像特徵的人工智慧模型，其是從一個訓練用模型基於深度學習技術進行訓練而形成。當訓練用模型訊練完成後會產生一特徵路徑，該特徵路徑可視為人工智慧模型中的神經元傳導路徑，其中每個神經元可代表一個影像特徵，且每個影像特徵可能會具有不同的權重值。在一實施例中，深度卷積神經網絡模型15是由複數演算法(例如程式碼)所組成。此外，為區分訓練前與訓練後的深度卷積神經網絡模型15，本文中對於訓練前的深度卷積神經網絡模型15將以「訓練用模型」來稱之。在一實施例中，訓練用模型需經歷至少一「訓練階段」來進行訓練並建立出一特徵路徑，且訓練用模型需經歷至少一「測試階段」來測試該特徵路徑的準確度，當準確度達到需求時，才能做為後續使用的深度卷積神經網絡模型15。在本發明中，訓練用模型將經歷複數次訓練，並且每次訓練後皆會產生不同的特徵路徑，而準確度最高的特徵路徑會被設定為深度卷積神經網絡模型15的特徵路徑。
圖1(B)是本發明一實施例的深度卷積神經網絡模型15的架構示意圖。為了要預測子宮頸腫瘤的復發或轉移可能性，本發明的深度卷積神經網絡模型15(或訓練用模型)是設定為包含複數個多層感知卷積層(mlpconv layer)152、至少一全局平均池化層(global average pooling layer)154及至少一損失函數層(loss function layer)156。多層感知卷積層(mlpconv layer)152的數量是根據在訓練階段時輸入於訓練用模型中的訓練用影像資料的數量來決定。在本實施例中，為了在影像解析度、訓練的資料量及運算時間上取得平衡，並且避免過度訓練而導致準確度下降，多層感知卷積層152的數量是設定為3個，而訓練用影像資料的數量是設定為142個PET影像，且其中142個PET影像經由資料擴充處理後會產生共1562個切片影像組。需注意的是，本文所述的深度卷積神經網絡模型15僅是舉例。
在本實施例中，第一個多層感知卷積層152-1的輸入端是用以接收影像資料(例如經由小樣本資料擴充模組12擴充後的切片影像)，而第一個多層感知卷積層152-1的輸出端可與第二個多層感知卷積層152-2的輸入端連接，第二個多層感知卷積層152-2的輸出端可與第三個多層感知卷積層152-3的輸入端連接，第三個多層感知卷積層152-3的輸出端可與全局平均池化層154的輸入端連接，全局平均池化層154的輸出端可與損失函數層156連接。其中，全局平均池化層154可具有兩個輸出結果，分別表示預後良好(腫瘤復發/轉移的可能性低)或不佳(腫瘤復發/轉移的可能性高)。
需注意的是，每個多層感知卷積層152皆設定為包含至少一特徵偵測器(feature detector)。在一實施例中，特徵偵測器能以矩陣的形式呈現，並透過與影像資料的每個像素位置的像素值(例如每個體積像素的SUV值)進行卷積運算，進而取得影像資料中的特徵。本發明的每個特徵偵測器的初始內容皆為隨機產生，且特徵偵測器的內容會在訓練的過程中，透過訓練結果的準確度來進行調整，進而提升訓練效果。在一實施例中，第一個多層感知卷積層152-1的特徵偵測器會與被輸入至訓練用模型中的原始影像資料進行第一次卷積運算，藉此產生一第一特徵地圖(feature map) ，其中第一特徵地圖的尺寸會小於輸入的影像；而第二個多層感知卷積層152-2的特徵偵測器/會與第一個多層感知卷積層152-1的卷積運算結果(第一特徵地圖)進行第二次卷積運算，以產生一第二特徵地圖，其中第二特徵地圖的尺寸會小於第一特徵地圖；而第三個多層感知卷積層152-3的特徵偵測器會與第二個多層感知卷積層152-3的卷積運算結果(第二特徵地圖)進行第三次卷積運算，以產生一第三特徵地圖。最後，全局平均池化層154再將第三特徵地圖中的重要特徵萃取出。藉此子宮頸腫瘤的影像中，與腫瘤復發或轉移有關的重要特徵將可被找出。
在一實施例中，每個多層感知卷積層152可各自包含一正規化運算單元22以執行正規化運算。此處正規化運算可例如是Batch normalization。正規化運算單元22可將每個多層感知卷積層152的卷積運算結果的資料進行正規化，藉此加快後續資料處理收斂的速度，使訓練過程更加穩定。此外，在一實施例中，每個多層感知卷積層152可各自包含一池化單元26以執行池化運算，此處池化運算可例如是最大池化(Maximum pooling)，池化層26的作用是減少多層感知卷積層152所得的特徵地圖的尺寸，並且將特徵集中保留至縮小的特徵地圖中，廣義而言，池化層26的作用可視為從特徵地圖中將重要的特徵萃取出來，如此可強調重要的特徵。在一些實施例中，最大池化層26亦可改為平均池化層架構。
在一實施例中，每個多層感知卷積層152及全局平均池化層154可各自包含一個激活函數24(Activation function)。激活函數24可用於調整多層感知卷積層152或全局平均池化層154的輸出結果，使輸出結果產生非線性的效果，進而提升訓練用模型的預測能力。激活函數24可以是飽和激活函數(Saturated Activation function)或非飽和激活函數(Non-saturate Activation function)，當激活函數24是飽和激活函數時，激活函數24可採用tanh、sigmoid等架構，而當激活函數24是非飽和激活函數時，激活函數24可採用線性整流函數(Rectified Linear Unit， ReLU)或其變化架構(例如ELU、Leaky ReLU、PReLU、RReLU或其它變化架構)。在一較佳實施例中，多層感知卷積層152的激活函數24是採用ReLU架構，而全局平均池化層154的激活函數24是採用ReLU以外的架構。
在一實施例中，平均池化層154的作用是減少多層感知卷積層152所得的特徵地圖的維度，將每張特徵地圖以一平均值表示，廣義而言，全局平均池化層154的作用可視為從特徵地圖中將重要的特徵萃取出來，如此可使得運算的複雜度下降，並可強調重要的特徵。
在一實施例中，損失函數層156的作用是用以平衡預測機率，亦即使特徵路徑的二輸出結果被預測到的機率能夠相似，以避免訓練用模組或深度卷積神經網絡模型15僅針對單一輸出結果進行大量的預測。
在一實施例中，上述關於深度卷積神經網絡模型15或訓練用模型的內容可透過安裝了NVIDIA Quadro M4000顯示卡的伺服器上的Python 3.6.4程式語言及Keras 2.1.3深度學習模組的Tensorflow深度學習框架來實現，且不限於此。
接著將說明本發明的基本運作過程。圖2是本發明一實施例的腫瘤影像深度學習輔助子宮頸癌患者預後預測方法的基本步驟流程圖，此方法是由圖1(A)及1(B)的腫瘤影像深度學習輔助子宮頸癌患者預後預測系統1執行，且深度卷積神經網絡模型15是已訓練完成的情況。如圖2所示，首先步驟S21被執行，資料輸入端16取得一病患在化學與放射治療前的子宮頸癌腫瘤的影像資料。之後，步驟S22被執行，小樣本資料擴充模組12對影像資料進行一資料擴充處理，以從產生影像資料的複數個切片影像。之後，步驟S23被執行，深度卷積神經網絡模型15對該等切片影像資料進行一特徵分析，以預測該病患在接受化學與放射治療後的預後(亦即該病患的子宮頸腫瘤的復發機率或轉移可能性)。接著將說明各步驟的細節。
關於步驟S21，系統的使用者(例如醫師)可透過資料輸入端16將病患的影像資料輸入至子宮頸癌腫瘤影像輔助預測系統1之中，其中，此處影像資料可例如PET影像中子宮頸腫瘤的代謝腫瘤體積範圍(MTV範圍)。MTV範圍可由各種已知的方法來取得。在一實施例中，影像資料是病患在攝取示蹤劑(例如18F-FDG)後，病患的子宮頸腫瘤對示蹤劑呈現異常代謝反應的影像資料。在一實施例中，影像資料可具有複數個體積像素(voxel)，且每個體積像素的像素值是指葡萄糖的標準代謝值(Standardized uptake value，以下簡稱SUV)。
關於步驟S22，當病患的影像資料被輸入至子宮頸癌腫瘤影像輔助預測系統1後，系統1中的微處理器可根據電腦程式產品20中的指令而進行運作，亦即子宮頸癌腫瘤影像輔助預測系統1可藉由小樣本資料擴充模組12對影像資料進行資料擴充處理。步驟S22的目的在於，假如可用的影像資料有限，將造成系統訓練的成果不如預期，因此在訓練前必須先擴充資料量。以下將詳細說明資料擴充處理的細節，請同時參考圖3(A)，其中圖3(A)是本發明一實施例的資料擴充處理的流程示意圖，且該資料擴充處理是由小樣本資料擴充模組12來執行，亦即可透過系統1中的處理器的執行來實現整個流程。
[資料擴充處理]
首先，步驟S31被執行，小樣本資料擴充模組12對輸入至系統1之中的影像資料(以下定義為原始影像資料)進行插值處理(interpolated)。此步驟的目的在於提升影像資料的解析度。在一實施例中， 影像資料中每個體積像素的原始大小可為5.47 mm × 5.47 mm × 3.27 mm，而在進行插值處理後，影像資料中每個體積像素的大小可為2.5 mm × 2.5 mm × 2.5 mm，由此可知影像的解析度可以被提高。在一些情況下，當影像資料的每個體積像素大小被調整為2.5 mm × 2.5 mm × 2.5 mm時，十分適合本系統1後續所進行的影像處理。需注意的是，上述體積像素大小僅是舉例，並非限制。
之後，步驟S32被執行，由於前述插值處理改變影像解析度，小樣本資料擴充模組12以原始影像資料中具有最大SUV值的體積像素(SUVmax)為基礎，將插值前的SUVmax座標轉換為插值後的座標。
之後，步驟S33被執行，小樣本資料擴充模組12從插值後的影像資料中取出以SUVmax作為中心點的一個感興趣體積區域(VOI)。在一實施例中，VOI的尺寸是設定為70mm × 70mm × 70mm。將VOI的尺寸設定為70mm × 70mm × 70mm時，可適用於大部分的子宮頸腫瘤的MTV大小，但並非限定。子宮頸腫瘤的MTV大小可如圖3(B)之本發明一實施例的VOI的示意圖所示。
之後，步驟S34被執行，小樣本資料擴充模組12將通過VOI中心(SUVmax)的XY平面、XZ平面及YZ平面設定為一基本切片影像組，如圖3(C)所示，其中圖3(C)是本發明一實施例的一基本切片影像組(座標未旋轉)的示意圖。
之後，步驟S35被執行，小樣本資料擴充模組12將基本切片影像組的其中一平面以一特定方向進行逆時針旋轉，以取得複數個擴充切片影像組。在一實施例中，小樣本資料擴充模組12是將基本切片影像組的XY平面以特定方向進行逆時針旋轉，但並非限定。在一實施例中，小樣本資料擴充模組12是將基本切片影像組的其中一平面以Y軸方向進行逆時針旋轉，但並非限定。在一實施例中，逆時針旋轉是指將基本切片影像組的其中一平面以特定方向各自轉動15°、30°、45°、60°、75°、105°、120°、135°、150°及165°，進而取得10個旋轉切片組(即擴張切片影像組)，如圖3(D)所示，其中圖3(D)是本發明一實施例的擴張切片影像組的示意圖。在一實施例中，當進行10次旋轉後，單一影像資料能產生11個切片影像組(1個基本切片影像組及10個旋轉切片影像組，其中每個切片影像組可包含3個切片影像)，因此資料量將可以大幅增加，使得腫瘤的局部特徵更加明顯。在本實施例中，每個切片影像是二維影像，因此後續的卷積運算亦是針對二維影像進行處理，但在另一實施例中，切片影像亦可以是三維影像，而卷積運算針對三維影像進行處理。
藉由上述步驟，可完成資料擴充處理，小樣本資料擴充模組12可從單一影像資料中產生多個切片影像。
請再次參考圖2。關於步驟S23，當取得多個切片影像後，深度卷積神經網絡模型15可對該等切片影像進行分析。由於每個切片影像皆包含了腫瘤局部特徵，深度卷積神經網絡模型15可自動分析該等切片影像中的腫瘤局部特徵，並透過特徵路徑來決定該等切片影像的輸出結果為何，藉此預測該患者在接受化學與放射治療後的預後(子宮頸腫瘤的復發/轉移的可能性)。
藉此，子宮頸癌腫瘤影像輔助預測系統1可預測出該患者在接受放射性化療後的預後，以輔助使用者(例如醫師)判斷是否需進行治療方式的調整。
為了使深度卷積神經網絡模型15能達成步驟S23的功效，深度卷積神經網絡模型15必須先透過深度學習進行訓練。以下將詳細說明深度卷積神經網絡模型15的建立過程及方法。
[深度卷積神經網絡模型15的建立方式]
為了建立出深度卷積神經網絡模型15，必須先使用複數影像資料對訓練用模型進行訓練，以使訓練用模組能從該等影像資料中找出特徵，進而建立特徵路徑。為了要使訓練結果(特徵路徑)有如人類之類神經網路的效果，訓練用模型必須進行多次訓練，且在每次訓練時，訓練用模型中會使用特徵偵測器與影像資料進行卷積運算，其中初次使用的特徵偵測器皆是隨機產生，因此每次訓練皆可能產生不同的特徵路徑，之後，系統1會驗證每個特徵路徑的準確度，並將準確度最高的特徵路徑設定為深度卷積神經網絡模型15的特徵路徑。以下是本發明的深度卷積神經網絡模型15在建立時的一些重點。
[深度卷積神經網路模型15的建立要點]
1. 訓練用模型的架構
在本發明中，訓練用模型在每次訓練時皆採用相同的基本架構 (差別在於每次訓練時特徵偵測器是隨機產生)。在開始進行訓練之前，訓練用模型的基本架構必須先設定好。在本實施例中，每個訓練用模型包含了三個多層感知卷積層、一個全局平均池化層及一個損失函數層，其中每個多層感知卷積層各自包含 一至少一個隨機產生的特徵偵測器。上述訓練用模型的架構是一個較佳範例，並非本發明的限制。
2. 訓練的目的
在本發明中，「訓練」是指將大量的影像資料輸入至訓練用模型後，訓練用模型藉由預先撰寫的演算法自動對資料進行分析歸納，進而建立特徵路徑的過程。而「訓練的目的」則在於從大量的資料中找出重要的特徵，並建立出特徵路徑，並從中找出準確度最佳的特徵路徑，其中訓練用模型在每次訓練完成後皆會建立出一個特徵路徑，而每個特徵路徑皆對應二個輸出結果(即對應預後良好及對應預後不佳)。
要點3. 訓練的次數
在本發明中，訓練用模型的整體訓練次數是設定為500次，因此當訓練用模型完成所有訓練後，實質上可建立出500個不同的特徵路徑。需注意的是，上述訓練次數只是一個較佳範例，並非本發明的限制。
要點4. 資料的數量
本實施例是使用142個病患的子宮頸腫瘤的PET影像作為原始影像資料，且142個PET影像中有121個治療後沒有局部復發的PET影像，有21個治療後局部復發的PET影像。需注意的是，上述影像資料的數量只是一個較佳範例，並非本發明的限制。此外，影像資料的內容可依照所需預測的預後為何者而改變，例如要預測腫瘤的復發，則該等PET影像資料是使用與腫瘤復發有關的預後資料，若要預測腫瘤轉移，則該等PET影像資料是使用與腫瘤轉移有關的預後資料，以此類推。
要點5. 資料的擴充
在本實施例中，每個PET影像可透過小樣本資料擴充模組12而擴充為11個切片影像組，因此在本實施例中，最終將會產生1562個切片影像組(每組包含3個切片影像)。每個PET影像的資料擴充方式可適用圖3(A)的說明，故在此不再詳述。
要點6. 資料的分配
在每次訓練時，1562個切片影像組將會被隨機分配為測試組及訓練組。在一實施例中，上述「隨機分配」是將142個PET影像先隨機分配為10個資料串，其中每個資料串之間皆具備相似數量的預後良好的PET影像及相似數量的預後不佳的PET影像，並且其中一個資料串將被設定為測試組，其它資料串則整合做為訓練組。在一實施例中，小樣本資料擴充模組12會在測試組及訓練組被分配好後，才開始進行資料擴充，但並非限定。接著說明「測試組」及「訓練組」的細節。「測試組」是做為當訓練用模型的訓練完成時(例如完成500次訓練)，用來測試訓練完成模型的準確度時所使用的影像資料。在一實施例中，每個資料串都會被設定做為測試組1次，其餘資料串合併做為訓練組，每次訓練後所建立的模型準確度是由測試組的測試結果來決定，之後再將該等10個測試結果彙整來決定。上述準確度的測試方式僅是舉例，並非限定。「訓練組」是做為在訓練階段時，讓訓練用模型進行訓練的影像資料。在一實施例中，每次訓練時的訓練組的資料可被分為子訓練組及子驗證組，其中「子訓練組」是用以讓訓練用模型進行訓練以產生一初步特徵路徑的訓練用資料，而「子驗證組」則是用以讓訓練用模型決定是否調整該初步特徵路徑的驗證用資料，而最終調整過後的特徵路徑才是該次訓練所建立的特徵路徑。在一實施例中，子訓練組與子驗證組的數量比例為8:2。上述內容僅是舉例，並非本發明的限定。在一實施例中，訓練組的資料亦可不分為子訓練組及子驗證組。
重點7. 訓練及測試
請再次參考圖1(A)，在一實施例中，當訓練用模型進行訓練時，訓練組中的影像資料所對應的預後將預先被系統1得知，因此訓練用模型可分析及歸納出各種預後所對應的可能特徵。在一實施例中，在測試訓練完成模型的準確度時，測試組中的影像資料所對應的預後並不會預先被訓練用模型得知，當訓練用模型分析出結果後，測試組中的影像資料所對應的預後才會被用於進行比對，進而決定測試模組的準確度。在一實施例中，具有最準確的預測準確度模型將會被系統1設定為深度卷積神經網絡模型15，藉此訓練用模組可形成深度卷積神經網絡模型15。上述內容僅是舉例，並非本發明的限定。
[深度卷積神經網路模型15的建立流程細節]
圖4是本發明一實施例的深度卷積神經網路模型15的建立流程示意圖，其中步驟S41至S46對應「訓練階段」，步驟S47對應「測試階段」。請同時參考圖1(A)、1(B)及圖4。首先，步驟S41被執行，訓練用模型的基本架構被設定完成，亦即多層感知卷積層、全局平均池化層及損失函數層的數量被設定完成，其中多層感知卷積層中的初始特徵偵測器是隨機產生；之後步驟S42被執行，訓練用模型取得複數個影像資料(訓練組)；之後步驟S43被執行，多層感知卷積層的該等特徵偵測器對該等影像資料(訓練組)進行卷積運算，以找出影像特徵；之後步驟S44被執行，全局平均池化層將影像特徵強化；之後步驟S45被執行，訓練用模組建立出特徵路徑，其中預測路徑包含二個輸出結果，其中一個輸出結果為預後良好，另一個輸出結果為預後不佳；之後步驟S46被執行，重新執行步驟S42至S45，直至完成預設的訓練次數(例如500次)；之後步驟S47被執行，系統1使用測試組的影像資料來測試每個特徵路徑的準確度，並將準確度最高的特徵路徑設定為深度卷積神經網路模型15的特徵路徑。以下說明各步驟的細節。
由於步驟S41、S42、 S46及S47的內容可適用先前段落的說明，故在此不再詳述。
關於步驟S43，以下以一範例來說明卷積運算的內容，需注意的是，此範例已被簡化，實際上的運算將更為複雜。圖5是一多層感知卷積層的卷積運算的範例示意圖。如圖5所示，一個切片影像50可包含複數個像素位置51，每個像素位置51具有一個像素值(例如SUV值)。切片影像50的像素位置會與該多層感知卷積層15的特徵偵測器52進行卷積運算。當所有像素位置皆與特徵偵測器52進行卷積運算後，一特徵地圖53將會被產生。
以像素位置51-1來舉例，由於特徵偵測器52中為數值“1”的位置對應至像素位置51-1及其周圍像素位置皆為“0”，因此卷積運算後該特徵地圖53上的像素位置51-1的數值會是“0”；以像素位置51-2來舉例，由於特徵偵測器52中為數值“1”的位置對應至像素位置51-2及其周圍像素位置皆為“1”，因此卷積運算後該特徵地圖53上的像素位置51-2的數值會是“3”；而由於在此範例中，像素偵測器52為3*3的大小，因此切片影像50中的部分像素位置(例如周邊的像素位置)會因為無法執行卷積運算而被消除，也因此特徵地圖53的像素位置數量會小於切片影像50的像素位置數量。依照上述的方式，當完成三個多層感知卷積層的卷積運算後，影像資料(子宮頸腫瘤的PET影像)中的特徵可被找出。
此外，關於步驟S43，在一實施例中，在每個多層感知卷積層的卷積運算完成後，激活函數會激活每個多層感知卷積層的卷積運算結果，使得卷積運算結果具備非線性的效果。在一實施例中，每個多層感知卷積層的激活函數是ReLu，但不限於此。
關於步驟S44，當卷積運算完成後，激活函數可保留影像地圖中的部分特徵，並將特徵以外的資料去除，再透過池化縮小特徵地圖藉此強化特徵。在一實施例中，全局平均池化層的激活函數可由下列算式來呈現:
Figure 02_image001
； 其中，p是池化結果的特徵，
Figure 02_image003
是激活結果，
Figure 02_image005
是指數函數。此外，在一實施例中，池化結果可依照需求而乘上不同倍率，以調整數值範圍的大小。
關於步驟S45，在一實施例中，損失函數是設定為必須使任意影像資料被預測為是醫療效果良好或醫療效果不佳的機率是相似的，以確保特徵路徑不會偏重於其中一個輸出結果。
藉由步驟S41至S47的執行，深度卷積神經網路模型15可具有準確度最高的特徵路徑，並可被使用於預測其它病患的子宮頸腫瘤的復發/轉移的可能性。當深度卷積神經網路模型15被建立後，往後只要將病患的PET影像輸入至系統1之中，深度卷積神經網路模型15即可分析出醫療效果，在本實施例中，142名子宮頸癌患者接受化學與放射治療後，有21名患者出現局部復發(實際資料)，而本發明建構的預測系統在透過交叉驗證的預測結果中，可達到準確度（Accuracy）89%、專一性（Specificity）93%、以及陰性預測值（Negative Predictive Value）95%的預測效果；此外，相同患者中，有26名患者發生遠端轉移(實際資料)，而本發明建構的預測系統在透過交叉驗證的預測結果中，可達到準確度87%、專一性90%、以及陰性預測值95%的預測效果。
在一實施例中，本發明的子宮頸腫瘤影像輔助預測系統1、方法及電腦程式產品至少可由文獻「Deep Learning for 18F-FDG PET Can Become An Excellent Fortuneteller in Patients with Advanced Uterine Cervical Cancer」所記載之內容來實現，且不限於此。
藉此，本發明的子宮頸腫瘤影像輔助預測系統可透過小樣本資料擴充模組將少量的影像資料擴充，而無須在一開始就輸入龐大的影像資料。此外，藉由經過深度學習訓練的深度卷積神經網絡模型，本發明可準確地預測出子宮頸腫瘤在接受放射性化療後的復發/轉移的可能性，可輔助病患尋求最好的醫療方式。
儘管本發明已透過上述實施例來說明，可理解的是，根據本發明的精神及本發明所主張的申請專利範圍，許多修飾及變化都是可能的。
1‧‧‧腫瘤影像深度學習輔助子宮頸癌患者預後預測系統
12‧‧‧小樣本資料擴充模組
14‧‧‧分析模組
15‧‧‧深度卷積神經網絡模型
16‧‧‧資料輸入端
17‧‧‧訓練模組
20‧‧‧電腦程式產品
152、152-1~152-3‧‧‧多層感知卷積層
154‧‧‧全局平均池化層
156‧‧‧損失函數層
22‧‧‧正規化運算單元
24‧‧‧激活函數
26‧‧‧最大池化層
S21~S23、S31~S35、S41~S47‧‧‧步驟
50‧‧‧切片影像
51、51-1、51-2‧‧‧像素位置
52‧‧‧特徵偵測器
53‧‧‧特徵地圖
VOI‧‧‧感興趣體積區域
圖1(A)是本發明一實施例的腫瘤影像深度學習輔助子宮頸癌患者預後預測系統的系統架構圖； 圖1(B)是本發明一實施例的深度卷積神經網絡模型的架構示意圖； 圖2是本發明一實施例的腫瘤影像深度學習輔助子宮頸癌患者預後預測方法的基本步驟流程圖； 圖3(A)是本發明一實施例的資料擴充處理的流程示意圖； 圖3(B)是本發明一實施例的感興趣體積區域的示意圖； 圖3(C)是本發明一實施例的一基本切片影像組的示意圖； 圖3(D)是本發明一實施例的擴張切片影像組的示意圖； 圖4是本發明一實施例的深度卷積神經網路模型的建立流程示意圖； 圖5是多層感知卷積層的卷積運算的範例示意圖。
S21~S23‧‧‧步驟

Claims (9)

  1. 一種腫瘤影像深度學習輔助子宮頸癌患者預後預測系統，用以分析一病患在進行一治療前的一子宮頸腫瘤的一影像資料，包含：一小樣本資料擴充模組，用以將該影像資料一進行資料擴充處理，以產生該影像資料的複數個切片影像；以及一分析模組，透過一深度卷積神經網絡模型對該等切片影像進行一特徵分析，以預測該病患在接受該治療後的一預後；其中該小樣本資料擴充模組是對該影像資料進行一影像插值處理，再以插值處理後的影像資料中一SUVmax像素點為中心而形成一基本切片影像組，再將該基本切片影像組以一特定方向進行旋轉而形成複數個擴充切片影像組。
  2. 如請求項1所述的腫瘤影像深度學習輔助子宮頸癌患者預後預測系統，其中深度卷積神經網絡模型是由一訓練用模型經歷複數次訓練及測試而形成，其中該等訓練及測試是藉由一訓練模組，利用複數個訓練用影像資料對該訓練用模型進行複數次訓練，進而產生複數個不同的特徵路徑，並利用複數個測試用影像資料測試每個特徵路徑的準確度，以及將具有最高準確度的該特徵路徑的設定為該深度卷積神經網絡模型的特徵路徑。
  3. 如請求項2所述的腫瘤影像深度學習輔助子宮頸癌患者預後預測系統，其中該訓練用模型包含依序排列的複數個多層感知卷積層(mlpconv layer)、至少一全局平均池化層(global average pooling layer)及至少一損失函數層(loss function layer)，且每個多層感知卷積層包含隨機產生的一特徵偵測器。
  4. 如請求項3所述的腫瘤影像深度學習輔助子宮頸癌患者預後預測系統，其中在每次訓練時，第一個多層感知卷積層的該特徵偵測器與該等訓練用影像資料進行第一次卷積運算，而後續的多層感知卷積層的該特徵偵測器則 各自與前一個多層感知卷積層的卷積運算結果進行卷積運算，進而找出該等訓練用影像資料的複數個特徵。
  5. 一種腫瘤影像深度學習輔助子宮頸癌患者預後預測方法，用以分析一病患在進行一治療前的一子宮頸腫瘤的一影像資料，該方法是透過一腫瘤影像深度學習輔助子宮頸癌患者預後預測系統來執行，且該方法包含步驟：藉由一小樣本資料擴充模組，將該影像資料一進行資料擴充處理，以產生該影像資料的複數個切片影像；以及藉由一分析模組，透過一深度卷積神經網絡模型對該等切片影像進行一特徵分析，以預測該病患在接受該治療後的一預後；其中該小樣本資料擴充模組是對該影像資料進行一影像插值處理，再以插值處理後的影像資料中一SUVmax像素點為中心而形成一基本切片影像組，再將該基本切片影像組以一特定方向進行旋轉而形成複數個擴充切片影像組。
  6. 如請求項5所述的腫瘤影像深度學習輔助子宮頸癌患者預後預測方法，其中該深度卷積神經網絡模型是由一訓練用模型經歷複數次訓練及測試而形成，其中該等訓練及測試包含步驟：藉由一訓練模組，利用複數個訓練用影像資料對該訓練用模型進行複數次訓練，進而產生複數個不同的特徵路徑；藉由該訓練模組，利用複數個測試用影像資料測試每個特徵路徑的準確度；以及藉由該訓練模組，將具有最高準確度的該特徵路徑的設定為該深度卷積神經網絡模型的特徵路徑。
  7. 如請求項6所述的腫瘤影像深度學習輔助子宮頸癌患者預後預測方法，其中該訓練用模型包含依序排列的複數個多層感知卷積層、至少一全局 平均池化層及至少一損失函數層，且每個多層感知卷積層包含隨機產生的一特徵偵測器。
  8. 如請求項7所述的腫瘤影像深度學習輔助子宮頸癌患者預後預測方法，其中在每次訓練時，第一個多層感知卷積層的該特徵偵測器與該等訓練用影像資料進行第一次卷積運算，而後續的多層感知卷積層的該特徵偵測器則各自與前一個多層感知卷積層的卷積運算結果進行卷積運算，進而找出該等訓練用影像資料的複數個特徵。
  9. 一種電腦程式產品，儲存於一非暫態電腦可讀取媒體之中，用以使一腫瘤影像深度學習輔助子宮頸癌患者預後預測系統的運作，其中該腫瘤影像深度學習輔助子宮頸癌患者預後預測系統是用以分析一病患在進行一治療前的一子宮頸腫瘤的一影像資料，其中該電腦程式產品包含：一指令，將該影像資料進行一資料擴充處理，以產生該影像資料的複數個切片影像；以及一指令，透過一深度卷積神經網絡模型對該等切片影像進行一特徵分析，以預測該病患在接受該治療後的一預後；其中該小樣本資料擴充模組是對該影像資料進行一影像插值處理，再以插值處理後的影像資料中一SUVmax像素點為中心而形成一基本切片影像組，再將該基本切片影像組以一特定方向進行旋轉而形成複數個擴充切片影像組。
TW107146171A 2018-12-20 2018-12-20 腫瘤影像深度學習輔助子宮頸癌患者預後預測系統、方法及電腦程式產品 TWI681406B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW107146171A TWI681406B (zh) 2018-12-20 2018-12-20 腫瘤影像深度學習輔助子宮頸癌患者預後預測系統、方法及電腦程式產品
US16/396,908 US10896502B2 (en) 2018-12-20 2019-04-29 Prediction system, method and computer program product thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107146171A TWI681406B (zh) 2018-12-20 2018-12-20 腫瘤影像深度學習輔助子宮頸癌患者預後預測系統、方法及電腦程式產品

Publications (2)

Publication Number Publication Date
TWI681406B true TWI681406B (zh) 2020-01-01
TW202025175A TW202025175A (zh) 2020-07-01

Family

ID=69942403

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107146171A TWI681406B (zh) 2018-12-20 2018-12-20 腫瘤影像深度學習輔助子宮頸癌患者預後預測系統、方法及電腦程式產品

Country Status (2)

Country Link
US (1) US10896502B2 (zh)
TW (1) TWI681406B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114267443A (zh) * 2021-11-08 2022-04-01 东莞市人民医院 基于深度学习的胰腺肿瘤纤维化程度预测方法及相关装置
TWI807223B (zh) * 2020-10-13 2023-07-01 奇美醫療財團法人奇美醫院 手術麻醉風險評估輔助系統、程式產品及其建立與使用方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11210790B1 (en) * 2019-03-05 2021-12-28 4Qimaging, Llc System and method for outcome-specific image enhancement
CN114305324A (zh) * 2020-09-28 2022-04-12 台北医学大学 肿瘤复发预测装置与方法
TWI775161B (zh) * 2020-09-28 2022-08-21 臺北醫學大學 腫瘤復發預測裝置與方法
CN112201346B (zh) * 2020-10-12 2024-05-07 哈尔滨工业大学（深圳） 癌症生存期预测方法、装置、计算设备及计算机可读存储介质
KR102304339B1 (ko) * 2020-11-27 2021-09-23 두에이아이(주) 인공 신경망을 활용하여 혈관 초음파 영상에 대한 분석 정보를 제공하기 위한 방법 및 컴퓨팅 장치
CN112819768B (zh) * 2021-01-26 2022-06-17 复旦大学 基于dcnn的癌症全视野数字病理切片生存分析方法
CN113128599A (zh) * 2021-04-23 2021-07-16 南方医科大学南方医院 一种基于机器学习的头颈肿瘤远端转移预测方法
CN113256627B (zh) * 2021-07-05 2022-06-07 深圳科亚医疗科技有限公司 用于宫颈图像的分析管理的装置和方法、设备及存储介质
CN114833279B (zh) * 2022-07-04 2022-09-23 江苏顺隆鸿泰电力设备有限公司 钢筋切割设备及其控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694718A (zh) * 2018-05-28 2018-10-23 中山大学附属第六医院 直肠癌术前同期新辅助放化疗疗效评估系统和方法
CN108898588A (zh) * 2018-06-22 2018-11-27 中山仰视科技有限公司 基于时间序列的治疗效果评估方法、电子设备
CN109003672A (zh) * 2018-07-16 2018-12-14 北京睿客邦科技有限公司 一种基于深度学习的早期肺癌检测分类一体化设备及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10346975B2 (en) * 2016-06-06 2019-07-09 Case Western Reserve University Computerized analysis of computed tomography (CT) imagery to quantify tumor infiltrating lymphocytes (TILs) in non-small cell lung cancer (NSCLC)
WO2018017355A1 (en) * 2016-07-22 2018-01-25 Case Western Reserve University Methods and apparatus for predicting benefit from immunotherapy using tumoral and peritumoral radiomic features
WO2018045072A1 (en) * 2016-08-30 2018-03-08 Washington University Quantitative differentiation of tumor heterogeneity using diffusion mr imaging data
US10489908B2 (en) * 2017-02-22 2019-11-26 Siemens Healthcare Gmbh Deep convolutional encoder-decoder for prostate cancer detection and classification
US10751548B2 (en) * 2017-07-28 2020-08-25 Elekta, Inc. Automated image segmentation using DCNN such as for radiation therapy
US20190122073A1 (en) * 2017-10-23 2019-04-25 The Charles Stark Draper Laboratory, Inc. System and method for quantifying uncertainty in reasoning about 2d and 3d spatial features with a computer machine learning architecture
US10740896B2 (en) * 2017-12-29 2020-08-11 Leica Biosystems Imaging, Inc. Processing of histology images with a convolutional neural network to identify tumors
US10973486B2 (en) * 2018-01-08 2021-04-13 Progenics Pharmaceuticals, Inc. Systems and methods for rapid neural network-based image segmentation and radiopharmaceutical uptake determination

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694718A (zh) * 2018-05-28 2018-10-23 中山大学附属第六医院 直肠癌术前同期新辅助放化疗疗效评估系统和方法
CN108898588A (zh) * 2018-06-22 2018-11-27 中山仰视科技有限公司 基于时间序列的治疗效果评估方法、电子设备
CN109003672A (zh) * 2018-07-16 2018-12-14 北京睿客邦科技有限公司 一种基于深度学习的早期肺癌检测分类一体化设备及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI807223B (zh) * 2020-10-13 2023-07-01 奇美醫療財團法人奇美醫院 手術麻醉風險評估輔助系統、程式產品及其建立與使用方法
CN114267443A (zh) * 2021-11-08 2022-04-01 东莞市人民医院 基于深度学习的胰腺肿瘤纤维化程度预测方法及相关装置
CN114267443B (zh) * 2021-11-08 2022-10-04 东莞市人民医院 基于深度学习的胰腺肿瘤纤维化程度预测方法及相关装置

Also Published As

Publication number Publication date
US20200202516A1 (en) 2020-06-25
TW202025175A (zh) 2020-07-01
US10896502B2 (en) 2021-01-19

Similar Documents

Publication Publication Date Title
TWI681406B (zh) 腫瘤影像深度學習輔助子宮頸癌患者預後預測系統、方法及電腦程式產品
Zhao et al. Automatic polyp segmentation via multi-scale subtraction network
Wang et al. CTformer: convolution-free Token2Token dilated vision transformer for low-dose CT denoising
US20210209775A1 (en) Image Processing Method and Apparatus, and Computer Readable Storage Medium
Kearney et al. An unsupervised convolutional neural network-based algorithm for deformable image registration
US10152951B2 (en) Method and system for interactive control of window/level parameters of multi-image displays
CN110827335B (zh) 乳腺影像配准方法和装置
CN111354442A (zh) 肿瘤影像深度学习辅助子宫颈癌患者预后预测系统、方法
Li et al. Normalization of multicenter CT radiomics by a generative adversarial network method
CN115272250B (zh) 确定病灶位置方法、装置、计算机设备和存储介质
Cai et al. Dual-distribution discrepancy for anomaly detection in chest x-rays
CN111461158B (zh) 用于识别超声图像中特征的方法、装置、存储介质和系统
Zhu et al. DFTR: Depth-supervised fusion transformer for salient object detection
Cao et al. CDFRegNet: A cross-domain fusion registration network for CT-to-CBCT image registration
Yu et al. An end-to-end medical image fusion network based on Swin-transformer
Yang et al. Low‐dose CT denoising with a high‐level feature refinement and dynamic convolution network
TWI726459B (zh) 遷移學習輔助預測系統、方法及電腦程式產品
WO2024051018A1 (zh) 一种pet参数图像的增强方法、装置、设备及存储介质
CN116188396A (zh) 一种图像分割方法、装置、设备及介质
TW202346826A (zh) 影像處理方法
Sang et al. 4d-cbct registration with a fbct-derived plug-and-play feasibility regularizer
CN112712875B (zh) 迁移学习辅助预测系统及方法
Ji et al. Affine medical image registration with fusion feature mapping in local and global
Huang et al. HST-MRF: heterogeneous Swin transformer with multi-receptive field for medical image segmentation
Zhang et al. XTransCT: ultra-fast volumetric CT reconstruction using two orthogonal x-ray projections for image-guided radiation therapy via a transformer network