TWI776716B - 醫療影像分析系統及方法 - Google Patents

醫療影像分析系統及方法 Download PDF

Info

Publication number
TWI776716B
TWI776716B TW110139306A TW110139306A TWI776716B TW I776716 B TWI776716 B TW I776716B TW 110139306 A TW110139306 A TW 110139306A TW 110139306 A TW110139306 A TW 110139306A TW I776716 B TWI776716 B TW I776716B
Authority
TW
Taiwan
Prior art keywords
complex
neural network
medical image
models
image analysis
Prior art date
Application number
TW110139306A
Other languages
English (en)
Other versions
TW202217841A (zh
Inventor
王偉仲
廖偉智
劉高郎
陳柏廷
王柏川
吳亭慧
Original Assignee
國立臺灣大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立臺灣大學 filed Critical 國立臺灣大學
Publication of TW202217841A publication Critical patent/TW202217841A/zh
Application granted granted Critical
Publication of TWI776716B publication Critical patent/TWI776716B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/425—Evaluating particular parts, e.g. particular organs pancreas
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Mathematical Physics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Endocrinology (AREA)
  • Fuzzy Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本發明提供一種醫療影像分析系統及方法，主要將至少一病患影像輸入第一神經網路模組之第一模型，以得到具有確定該病患影像之臟器及腫瘤位置與範圍之結果，再將該結果分別輸入第二神經網路模組之複數第二模型，以得到對應各該複數第二模型之複數預測值以及該複數預測值中預測有癌症之模型數，最後根據該預測有癌症之模型數及一數量閥值，輸出一判斷結果。本發明可自動化第一模型及第二模型之間的流程，並有效增進胰臟癌之辨識率。

Description

醫療影像分析系統及方法
本發明係有關一種影像分析系統及方法，尤指一種醫療影像分析系統及方法。
在現行醫療水準中，胰臟癌屬難以早期發現的癌症之一，且一但腫瘤大小超過2釐米時，存活率將大幅下降。在現有技術中，電腦斷層掃描(CT)影像為目前檢測與評估胰臟癌的主要方式，但檢測效率仍取決於放射科醫生的個人經驗，例如，在腫瘤小於2釐米時，約有40%無法被檢測出。此反映出人工方式的閱片及判斷將過於主觀，很容易因為人為因素而導致誤判。
因此，如何提出一種例如可應用在辨識胰臟癌之可提高辨識率之醫療影像分析系統及方法，為目前亟待解決的課題之一。
本發明之主要目的在於提供一種醫療影像分析系統，包括：第一神經網路模組，具有第一模型，係將至少一病患影像輸入該第一模型，以得到具有確定該病患影像之臟器及腫瘤位置與範圍之結果；第二神經網路模組，具 有複數第二模型，係將具有確定該病患影像之臟器及腫瘤位置與範圍之該結果分別輸入該複數第二模型，以得到對應各該複數第二模型之複數預測值以及該複數預測值中預測有癌症之模型數；以及判斷模組，根據該預測有癌症之模型數及一數量閥值，輸出一判斷結果。
如前述之醫療影像分析系統中，更包括資料庫，其儲存有複數影像、臟器位置與範圍標記及腫瘤位置與範圍標記，其中，將該複數影像、該臟器位置與範圍標記及該腫瘤位置與範圍標記相互連結，以作為第一訓練集。
如前述之醫療影像分析系統中，該第一模型是該第一神經網路模組基於該第一訓練集進行訓練所得者，該第一神經網路模組為使用C2FNAS所搜索出來的模型，且該第一神經網路模組使用Adam優化器和退火餘弦學習率調整器來調整學習率範圍在10-4至10-5，損失函數並設置為Dice損失結合分類交叉熵損失。
如前述之醫療影像分析系統中，該第一神經網路模組藉由將該複數影像輸入該第一模型來得到具有確定該複數影像之臟器及腫瘤之位置與範圍之結果，以作為第二訓練集。
如前述之醫療影像分析系統中，該複數第二模型是該第二神經網路模組基於該第二訓練集進行訓練所得者，該第二神經網路模組為DenseNet-121，且該第二神經網路模組使用Adam優化器和退火餘弦學習率調整器來調整學習率範圍在10-4至10-5，損失函數並設置為二元分類損失。
如前述之醫療影像分析系統中，該第二神經網路模組是先將該複數影像及該第二訓練集平均分成複數平均訓練集，並反覆以不重複之方式將該複數平均訓練集之其中一者作為驗證集且其他者作為訓練集，來訓練得到該複數第二模型。
如前述之醫療影像分析系統中，更包括閥值選擇模組，針對該複數預測值繪製複數曲線，以從各該複數曲線決定出是否具有癌症之複數閥值，俾使該第二神經網路模組得以根據該複數閥值來決定該複數預測值是否為預測有癌症。
如前述之醫療影像分析系統中，該複數曲線為接收者操作特徵曲線，而該複數閥值為複數約登指數或敏感度與特異度組合之最大值所對應之閥值。
如前述之醫療影像分析系統中，該複數約登指數為從各該複數曲線中每一個點所對應之敏感度及特異度根據下述公式計算而得者：約登指數=敏感度+特異度-1；且該敏感度與特異度組合為從各該複數曲線中每一個點所對應之敏感度及特異度根據下述公式計算而得者：敏感度與特異度組合=敏感度*N+特異度，N為任意數。
如前述之醫療影像分析系統中，該判斷模組分別針對該複數第二模型中不同的預測有癌症之模型數的表現計算對應之陽性概似比，以決定該數量閥值，俾在該預測有癌症之模型數大於或等於該數量閥值時，輸出該判斷結果為有癌症。
如前述之醫療影像分析系統中，該判斷模組是將在該陽性概似比大於1所對應之不同的預測有癌症之模型數中最少者，作為該數量閥值。
如前述之醫療影像分析系統中，更包括影像預處理模組，以於重採樣、窗值化及正規化處理該病患影像之後，輸入該第一模型或該複數第二模型。
本發明之另一目的在於提供一種醫療影像分析方法，包括：取得至少一病患影像；將該病患影像輸入第一神經網路模組所具有之第一模型，以得到具有確定該病患影像之臟器及腫瘤位置與範圍之結果；將具有確定該病患 影像之臟器及腫瘤位置與範圍之該結果分別輸入第二神經網路模組所具有之複數第二模型，以得到對應各該複數第二模型之複數預測值以及該複數預測值中預測有癌症之模型數；以及令判斷模組根據該預測有癌症之模型數及一數量閥值，輸出一判斷結果。
如前述之醫療影像分析方法中，更包括透過儲存有複數影像、臟器位置與範圍標記及腫瘤位置與範圍標記之資料庫，將該複數影像、該臟器位置與範圍標記及該腫瘤位置與範圍標記相互連結，以作為第一訓練集。
如前述之醫療影像分析方法中，該第一模型是該第一神經網路模組基於該第一訓練集進行訓練所得者，該第一神經網路模組為使用C2FNAS所搜索出來的模型，且該第一神經網路模組使用Adam優化器和退火餘弦學習率調整器來調整學習率範圍在10-4至10-5，損失函數並設置為Dice損失結合分類交叉熵損失。
如前述之醫療影像分析方法中，該第一神經網路模組藉由將該複數影像輸入該第一模型來得到具有確定該複數影像之臟器及腫瘤之位置與範圍之結果，以作為第二訓練集。
如前述之醫療影像分析方法中，該複數第二模型是該第二神經網路模組基於該第二訓練集進行訓練所得者，該第二神經網路模組為DenseNet-121，且該第二神經網路模組使用Adam優化器和退火餘弦學習率調整器來調整學習率範圍在10-4至10-5，損失函數並設置為二元分類損失。
如前述之醫療影像分析方法中，該第二神經網路模組是先將該複數影像及該第二訓練集平均分成複數平均訓練集，以反覆用不重複之方式將該複數平均訓練集之其中一者作為驗證集且其他者作為訓練集，對之訓練而得到該複數第二模型。
如前述之醫療影像分析方法中，更包括令閥值選擇模組針對該複數預測值繪製複數曲線，以從各該複數曲線決定出是否具有癌症之複數閥值，俾使該第二神經網路模組得以根據該複數閥值來決定該複數預測值是否為預測有癌症。
如前述之醫療影像分析方法中，該複數曲線為接收者操作特徵曲線，而該複數閥值為複數約登指數或敏感度與特異度組合之最大值所對應之閥值。
如前述之醫療影像分析方法中，該複數約登指數為從各該複數曲線中每一個點所對應之敏感度及特異度根據下述公式計算而得者：約登指數=敏感度+特異度-1；且該敏感度與特異度組合為從各該複數曲線中每一個點所對應之敏感度及特異度根據下述公式計算而得者：敏感度與特異度組合=敏感度*N+特異度，N為任意數。
如前述之醫療影像分析方法中，該判斷模組分別針對該複數第二模型中不同的預測有癌症之模型數的表現計算對應之陽性概似比，以決定該數量閥值，俾在該預測有癌症之模型數大於或等於該數量閥值時，輸出該判斷結果為有癌症。
如前述之醫療影像分析方法中，該判斷模組是將在該陽性概似比大於1所對應之不同的預測有癌症之模型數中最少者，作為該數量閥值。
如前述之醫療影像分析方法中，更包括在輸入該第一模型或該複數第二模型之前，令影像預處理模組以重採樣、窗值化及正規化處理該病患影像之步驟。
綜上所述，本發明之醫療影像分析系統及方法在辨識胰臟癌上，相較於放射科醫生有著較高的敏感度，此即表示本發明之醫療影像分析系統及方法可有效輔助放射科醫生減少其臨床的漏診率，特別是在小於2cm的腫瘤大小的情況，故可有效改善腫瘤小於2釐米時，約有40%無法被檢測出的情況。另外，本發明之醫療影像分析系統及方法為自動化流程，可直接輸入原始醫療影像之後，即可自動找出可能為胰臟、腫瘤之位置與範圍並可自動分類此原始醫療影像是否為胰臟癌。
1:醫療影像分析系統
11:第一神經網路模組
12:第二神經網路模組
13:判斷模組
14:影像預處理模組
15:閥值選擇模組
16:資料庫
S1-S4:步驟
圖1為本發明醫療影像分析系統之系統架構圖。
圖2為本發明醫療影像分析方法之方法流程圖。
以下藉由特定之具體實施例加以說明本發明之實施方式，而熟悉此技術之人士可由本說明書所揭示之內容輕易地瞭解本發明之其他優點和功效，亦可藉由其他不同的具體實施例加以施行或應用。
請參閱圖1，本發明之醫療影像分析系統1包括第一神經網路模組11、第二神經網路模組12、判斷模組13、影像預處理模組14、閥值選擇模組15及資料庫16。本發明之醫療影像分析系統1可運作在例如手機、平板電腦、筆記型電腦、桌上型電腦、伺服器或雲端伺服器等裝置上。上述第一神經網路模組11、第二神經網路模組12、判斷模組13、影像預處理模組14及閥值選擇模組15可分別為儲存在資料庫16或儲存單元的程式碼片段、軟體或韌體，並可由一處 理單元執行，亦可使用其他硬體或軟硬體混和之形式的方式來實現。上述處理單元可以是中央處理器(Central Processing Unit，CPU)、微處理器(Microprocessor)、圖形處理器(Graphics Processing Unit，GPU)或特定應用積體電路(Application Specific Integrated Circuit，ASIC)，而上述儲存單元可以是任何型態的固定或可移動隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快閃記憶體(flash memory)、硬碟(hard disk)、軟碟(soft disk)、資料庫(database)或類似元件之上述元件之組合。本發明皆不以上述實施態樣為限。
於本實施例中，第一神經網路模組11具有第一模型，將至少一病患影像輸入第一模型後，可得到具有確定病患影像之臟器及腫瘤位置與範圍之結果。第二神經網路模組12具有複數第二模型，將具有確定病患影像之臟器及腫瘤位置與範圍之結果分別輸入複數第二模型，可得到對應各複數第二模型之複數預測值以及複數預測值中預測有癌症之模型數。於一實施例中，病患影像可以是2D CT影像或3D CT影像，但並不以此為限。第一模型及第二模型皆為經由神經網路訓練所得之模型。以下先說明第一模型及第二模型之訓練階段。
資料庫16中可儲存有複數影像、臟器位置與範圍標記及腫瘤位置與範圍標記，而複數影像、臟器位置與範圍標記及腫瘤位置與範圍標記相互連結。本文所稱之相互連結即是將臟器位置與範圍標記、腫瘤位置與範圍標記或同時將二種位置與範圍標記繪製於影像上，且臟器可以是胰臟。另外，影像可以是2D CT影像或3D CT影像，臟器位置與範圍標記可以是胰臟的輪廓，腫瘤位置與範圍標記可以是胰臟內有腫瘤部位的輪廓，且臟器位置與範圍標記及腫瘤位置與範圍標記可由經驗豐富的放射科醫生根據實際的確診資料來進行圈選。 在本實施例中，是將複數影像、臟器位置與範圍標記及腫瘤位置與範圍標記相互連結後的全部資料作為第一訓練集。
第一神經網路模組11基於第一訓練集可訓練得到第一模型。具體而言，第一神經網路模組11為基於SegNet或U-Net之深度學習模型架構，例如使用由NVIDIA使用粗到細神經結構搜索(C2FNAS)所搜索出來的模型。在訓練過程中，第一神經網路模組11可使用Adam優化器(Adam optimizer)和退火餘弦學習率調整器(cosine annealing learning rate scheduler)來調整學習率(learning rate)範圍在10-4至10-5，且損失函數設置為Dice損失(Dice loss)結合分類交叉熵損失(categorical cross-entropy loss)，批量大小為8。
於一實施例中，基於SegNet或U-Net之深度學習模型架構可如下：在第一層中，輸入1張96*96*96像素的影像，經由stem 3x3x3卷積神經網路層進行特徵提取後，輸出32張96*96*96像素的特徵影像，之後再透過stem 3x3x3卷積神經網路層與步距為2的特徵提取後，輸出64張48*48*48像素的特徵影像，接著進入第二層。在第二層中，將此64張48*48*48像素的特徵影像(特徵2-1)透過2D 3x3x1卷積神經網路層取得另64張48*48*48像素的特徵影像，再透過pseudo 3D(P3D)3x3x1+1x1x3卷積神經網路層後，與特徵2-1相加，取得另64張48*48*48像素的特徵影像(特徵2-2)，之後再透過過3D 3x3x3卷積神經網路層與步距為2的特徵提取後，輸出128張24*24*24像素的特徵影像，接著進入第三層。在第三層中，將此128張24*24*24像素的特徵影像透過3D 3x3x3卷積神經網路層的特徵提取後，取得另外128張24*24*24像素的特徵影像(特徵3-1)，之後再透過3D 3x3x3卷積神經網路層與步距為2的特徵提取後，輸出256張12*12*12像素的特徵影像，接著進入第四層。在第四層中， 將此256張12*12*12像素的特徵影像(特徵4-1)經過2D 3x3x1卷積神經網路層與步距為2的特徵提取後，輸出512張6*6*6像素的特徵影像。接著可進行特徵還原之流程。
將512張6x6x6像素的影像，經由三線性上採樣(trilinear upsample)進行特徵還原，並且與特徵4-1經過3D 3x3x3卷積神經網路層取得之另外256張12x12x12像素的特徵影像相加後，輸出256張12x12x12像素的特徵影像。將此256張12x12x12像素的特徵影像經過3D 3x3x3卷積神經網路層產生另外256張12x12x12像素的特徵影像，再經由三線性上採樣進行特徵還原，與特徵3-1經過P3D 3x3x1+1x1x3卷積神經網路層所取得之另外128張24x24x24像素的特徵影像相加後，輸出128張24x24x24像素的特徵影像。將此128張24x24x24像素的特徵影像，經由三線性上採樣進行特徵還原，與特徵2-2經過3D 3x3x3卷積神經網路層所取得之另外64張48*48*48像素的特徵影像相加後，輸出64張48*48*48像素的特徵影像。將此64張48*48*48像素的特徵影像(特徵5-1)經過2D 3x3x1卷積神經網路層取得另外64張48*48*48像素的特徵影像(特徵5-2)，再經過3D 3x3x3卷積神經網路層後與特徵5-1相加，取得另外64張48*48*48像素的特徵影像，再經過stem 3x3x3卷積神經網路層後取得另外64張48*48*48像素的特徵影像，將此特徵與特徵5-2經由三線性上採樣進行特徵還原後並相加後，輸出32張96*96*96像素的特徵影像。最後，將此32張96*96*96像素的特徵影像，經由stem 3x3x3卷積神經網路層進行特徵還原後，輸出1張96*96*96像素的特徵影像。此時，最後一級之特徵影像的尺度等於最初一級之影像之尺度。
第一神經網路模組11可將複數影像輸入至完成訓練的第一模型中，來得到具有確定複數影像之臟器及腫瘤之位置與範圍之結果，並將其作為 第二訓練集。該結果可為臟器及腫瘤之位置與範圍的遮罩(mask)，亦可為已圈選臟器及腫瘤位置與範圍之影像，本發明並不以此為限。第二神經網路模組12基於第二訓練集可訓練得到第二模型。具體而言，第二神經網路模組12為DenseNet-121之深度學習模型架構。在訓練過程中，第二神經網路模組12可使用Adam優化器和退火餘弦學習率調整器來調整學習率範圍在10-4至10-5，且損失函數設置為二元分類損失，批量大小為16。於一實施例中，第二神經網路模組12可先將複數影像及第二訓練集(以結果為臟器及腫瘤之位置與範圍的遮罩為例)平均分成複數平均訓練集，並反覆以不重複之方式將複數平均訓練集之其中一者作為驗證集且其他者作為訓練集，來訓練得到複數第二模型。例如，可先將複數影像及第二訓練集平均分成編號1至編號5的5個平均訓練集，將編號1作為驗證集，將編號2至5作為訓練集，來訓練得到第一個第二模型。將編號2作為驗證集，將編號1、3至5作為訓練集，來訓練得到第二個第二模型。將編號3作為驗證集，將編號1至2、4至5作為訓練集，來訓練得到第三個第二模型。將編號4作為驗證集，將編號1至3、5作為訓練集，來訓練得到第四個第二模型。將編號5作為驗證集，將編號1至4作為訓練集，來訓練得到第五個第二模型。亦即，平均訓練集的個數將等於所訓練出的第二模型的個數。完成訓練的第二模型將可對所輸入之影像對應輸出一預測值，而此預測值可用於分類(預測具有癌症或不具有癌症)。
於一實施例中，DenseNet-121之深度學習模型架構可如下：輸入影像至7x7且步距為2的卷積層，接著連接至3x3且步距為2的最大池化層，中間可依序經過複數個密集塊(Dense block)及平移塊(Transition block)，例如4個 密集塊及3個平移塊，接著依序進入7x7的全局平均池化層(global average pooling)、密集層(Dense)及回歸層(softmax)，最後輸出預測值。
上述為第一模型及第二模型之訓練階段。在實際的應用階段中，可撰寫程式將第一模型的輸出直接作為第二模型的輸入，來達到自動化的效果，例如使用python(3.6.8版)來撰寫程式碼。第一模型及第二模型可使用Tensorflow軟體庫或NVIDIA Clara Train SDK framework(3.0版)來進行。因此，使用者只要將一張或複數張病患影像輸入第一模型，第一模型將輸出具有確定病患影像之臟器及腫瘤位置與範圍之結果，此結果可自動輸入至複數第二模型中，來輸出病患影像所對應之預測值。在一張病患影像及複數第二模型的情況中，將取得一張病患影像在不同第二模型中的不同預測值。在複數張病患影像及複數第二模型的情況中，將取得各複數張病患影像在不同第二模型中的複數不同預測值。
不論是在訓練階段或是應用階段，皆可通過下述方法來將預測值分類。閥值選擇模組15可決定閥值來將預測值分類為預測具有癌症或不具有癌症。具體而言，閥值選擇模組15在取得複數預測值後，將複數預測值經一特定閥值判斷來計算出特定閥值所對應之包括敏感度(Sensitivity)及特異度(Specificity)等之統計指標，而根據複數個特定閥值的可能值所計算出的複數個敏感度及特異度可繪製出曲線，曲線可為接收者操作特徵曲線(Receiver Operating Characteristic Curve，ROC)。接著，從接收者操作特徵曲線中可以得到曲線下面積(Area Under Receiver Operating Characteristic Curve，AUC)、複數約登指數(Youden index)或敏感度與特異度組合等之統計指標，其中，複數約登指數為從曲線中每一個點所對應之敏感度及特異度根據下述公式計算而得： 約登指數=敏感度+特異度-1，敏感度與特異度組合為從曲線中每一個點所對應之敏感度及特異度根據下述公式計算而得：敏感度與特異度組合=敏感度*N+特異度，N為任意數(例如1或2，甚至小於1的數等等)。本發明係將複數約登指數中最大值所對應之閥值做為閥值，或是將敏感度與特異度組合之最大值所對應之閥值作為閥值，本發明並不以此為限。在影像(或病患影像)之預測值大於閥值時，可將其分類為預測具有癌症(陽性)，反之則分類為預測不具有癌症(陰性)。
在本實施例中，以前述5個第二模型為例，分別輸入一張或複數影像(或病患影像)至5個第二模型，可得到分別對應5個第二模型的5組預測值，每組預測值根據所輸入的影像張數的不同，可包含一預測值或複數預測值。在輸入一病患之複數影像至一第二模型中取得複數預測值的情形中，可透過統計複數影像中被分類為預測具有癌症之影像數量與複數影像之總數量的比值，來定義出是否代表具有癌症之另一預測值。若是輸入複數病患所各自對應之複數影像來取得複數預測值時，可經由前述之曲線繪製以及決定是否代表具有癌症之閥值等流程，來決定該複數預測值是否為預測有癌症。由於5個第二模型對同一組影像可能會有不同結果，例如5個第二模型中可能只有其中幾個模型判斷具有癌症，判斷模組13即是在決定要有幾個以上的第二模型判斷具有癌症，才能將總結果輸出為具有癌症。
詳細而言，判斷模組13先分別針對複數第二模型中不同的預測有癌症之模型數的表現計算陽性概似比(positive likelihood ratio)，以決定判斷最終結果是否為代表陽性(即預測有癌症)的複數第二模型之數量閥值。陽性概似比之公式為：「真實為陽性的影像中，有X個模型預測其為陽性的比例」除 以「真實為陰性的影像中，有X個模型預測其為陽性的比例」，每一個不同的X，就會對應到一個陽性概似比。如下表所示，以5個第二模型為例，當考慮0個(X=0)或1個(X=1)或2個(X=2)預測陽性模型時，陽性概似比為0，當考慮3個預測陽性模型(X=3)時，陽性概似比為0.93，當考慮4個預測陽性模型(X=4)時，陽性概似比為4.25。判斷模組13是採用陽性概似比大於1的所對應之不同的預測有癌症之模型數中，選擇最少的數量，作為數量閥值，故在本實施例中，數量閥值為4個第二模型。因此，在5個第二模型中有4個或4個以上的第二模型中所對應之預測值為預測有癌症時，判斷模組13所輸出之判斷結果才會是具有癌症。若5個第二模型中只有3個第二模型判斷具有癌症時，判斷模組13所輸出之判斷結果仍會是不具有癌症。
Figure 110139306-A0101-12-0013-1
於一實施例中，不論是在訓練階段或是應用階段，皆可先使用影像預處理模組14來處理病患影像或資料庫16內的影像之後，再輸入第一模型或第二模型。例如，在輸入第一模型之前，可使用線性內插法(linear interpolation)及最近相鄰內插法(nearest-neighbor interpolation)將影像重採樣到相同間距(1mm，1mm，1mm)，接著可將影像之窗寬(window width)及窗位(window level)分別設為450及25韓森費爾德單位(Hounsfield，HU)，最後對影像進行正規化，即將影像之像素強度值設為0至1之間。又例如，在輸入第二模型之前，可先移除影像中未有臟器位置與範圍標記及腫瘤位置與範圍標記的部分，接著將小於1000voxels的碎片(約200mm3)移除，以避免第二模型產生偏差。然後，可使用線性內插法及最近相鄰內插法將影像重採樣到相同間距(1mm，1mm，5mm)，接著可將影像之窗寬及窗位分別設為250及75韓森費爾德單位，最後對影像進行正規化，即將影像之像素強度值設為0至1之間。
請參閱圖2，本發明另提供一種醫療影像分析方法。本發明之醫療影像分析方法可用於如前述之醫療影像分析系統1。本發明之醫療影像分析方法中與前述醫療影像分析系統中技術內容相同者，於此不再贅述。
於步驟S1中，係先取得至少一病患影像。於步驟S2中，將病患影像輸入第一神經網路模組11所具有之第一模型，以得到具有確定病患影像之臟器及腫瘤位置與範圍之結果。於步驟S3中，將具有確定病患影像之臟器及腫瘤位置與範圍之結果分別輸入第二神經網路模組12所具有之複數第二模型，以得到對應各複數第二模型之複數預測值以及複數預測值中預測有癌症之模型數。於步驟S4中，令判斷模組13根據該預測有癌症之模型數及一數量閥值，輸出一 判斷結果。上述第一模型及第二模型之訓練方式係相同於前述醫療影像分析系統中第一模型及第二模型之訓練方式，於此不再贅述。
於一實施例中，在步驟S3中，更包括下列步驟：令閥值選擇模組15針對複數預測值繪製複數曲線，以從各複數曲線決定出是否具有癌症之複數閥值，以使第二神經網路模組12得以根據複數閥值來決定複數預測值是否為預測有癌症。
於一實施例中，在步驟S4中，判斷模組13分別針對複數第二模型中不同的預測有癌症之模型數的表現計算對應之陽性概似比，以決定該數量閥值，並在該預測有癌症之模型數大於或等於該數量閥值時，輸出判斷結果為有癌症。
於一實施例中，在步驟S1之後，可先進行下列步驟再進至步驟S2，或在步驟S2之後，可先進行下列步驟再進至步驟S3：令影像預處理模組14以重採樣、窗值化及正規化處理影像(或病患影像)。
本發明之醫療影像分析系統及方法的功效證實如下：先提供718個胰臟癌症病患與698個健康胰臟之電腦斷層影像，訓練出一第一模型及五第二模型，第二模型實現了89.9%(95%信賴區間，82.7%-94.9%)的敏感度及95.9%的特異度(95%信賴區間，91.3%-98.5%)，曲線下面積(AUC)為0.964(95%信賴區間，0.942-0.986)，對於腫瘤小於2cm時，第二模型實現了87.5%(95%信賴區間，67.6%-97.3%)的敏感度。
綜上所述，本發明之醫療影像分析系統及方法在辨識胰臟癌上，相較於放射科醫生有著較高的敏感度，此即表示本發明之醫療影像分析系統及方法可有效輔助放射科醫生減少其臨床的漏診率，特別是在小於2cm的腫瘤大 小的情況，故可有效改善一般臨床情境下腫瘤小於2釐米時，約有40%無法被檢測出的情況。另外，本發明之醫療影像分析系統及方法為自動化流程，可直接輸入原始醫療影像之後，即可自動找出可能為胰臟、腫瘤之位置與範圍並可自動分類此原始醫療影像是否為胰臟癌，使得本發明得以易於使用。
上述實施形態僅為例示性說明本發明之技術原理、特點及其功效，並非用以限制本發明之可實施範疇，任何熟習此技術之人士均可在不違背本發明之精神與範疇下，對上述實施形態進行修飾與改變。然任何運用本發明所教示內容而完成之等效修飾及改變，均仍應為下述之申請專利範圍所涵蓋。而本發明之權利保護範圍，應如下述之申請專利範圍所列。
1:醫療影像分析系統
11:第一神經網路模組
12:第二神經網路模組
13:判斷模組
14:影像預處理模組
15:閥值選擇模組
16:資料庫

Claims (24)

  1. 一種醫療影像分析系統，包括：第一神經網路模組，具有第一模型，係將至少一病患影像輸入該第一模型，以得到具有確定該病患影像之臟器及腫瘤位置與範圍之結果，其中，該第一神經網路模組為使用C2FNAS所搜索出來的模型，且該第一神經網路模組使用Adam優化器和退火餘弦學習率調整器來調整學習率範圍在10-4至10-5，損失函數並設置為Dice損失結合分類交叉熵損失；第二神經網路模組，具有複數第二模型，係將具有確定該病患影像之臟器及腫瘤位置與範圍之該結果分別輸入該複數第二模型，以得到對應各該複數第二模型之複數預測值以及該複數預測值中預測有癌症之模型數，其中，該第二神經網路模組為DenseNet-121，且該第二神經網路模組使用Adam優化器和退火餘弦學習率調整器來調整學習率範圍在10-4至10-5，損失函數並設置為二元分類損失；以及判斷模組，根據該預測有癌症之模型數及一數量閥值，輸出一判斷結果。
  2. 如請求項1所述之醫療影像分析系統，更包括資料庫，其儲存有複數影像、臟器位置與範圍標記及腫瘤位置與範圍標記，其中，該複數影像、該臟器位置與範圍標記及該腫瘤位置與範圍標記相互連結，以作為第一訓練集。
  3. 如請求項2所述之醫療影像分析系統，其中，該第一模型是該第一神經網路模組基於該第一訓練集進行訓練所得者。
  4. 如請求項3所述之醫療影像分析系統，其中，該第一神經網路模組藉由將該複數影像輸入該第一模型來得到具有確定該複數影像之臟器及腫瘤之位置與範圍之結果，以作為第二訓練集。
  5. 如請求項4所述之醫療影像分析系統，其中，該複數第二模型是該第二神經網路模組基於該第二訓練集進行訓練所得者。
  6. 如請求項5所述之醫療影像分析系統，其中，該第二神經網路模組是先將該複數影像及該第二訓練集平均分成複數平均訓練集，並反覆以不重複之方式將該複數平均訓練集之其中一者作為驗證集且其他者作為訓練集，來訓練得到該複數第二模型。
  7. 如請求項1所述之醫療影像分析系統，更包括閥值選擇模組，針對該複數預測值繪製複數曲線，以從各該複數曲線決定出是否具有癌症之複數閥值，俾使該第二神經網路模組得以根據該複數閥值來決定該複數預測值是否為預測有癌症。
  8. 如請求項7所述之醫療影像分析系統，其中，該複數曲線為接收者操作特徵曲線，而該複數閥值為複數約登指數或敏感度與特異度組合之最大值所對應之閥值。
  9. 如請求項8所述之醫療影像分析系統，其中，該複數約登指數為從各該複數曲線中每一個點所對應之敏感度及特異度根據下述公式計算而得者：約登指數=敏感度+特異度-1；且該敏感度與特異度組合為從各該複數曲線中每一個點所對應之敏感度及特異度根據下述公式計算而得者：敏感度與特異度組合=敏感度*N+特異度，N為任意數。
  10. 如請求項1所述之醫療影像分析系統，其中，該判斷模組分別針對該複數第二模型中不同的預測有癌症之模型數的表現計算對應之陽性概似比，以決定該數量閥值，俾在該預測有癌症之模型數大於或等於該數量閥值時，輸出該判斷結果為有癌症。
  11. 如請求項10所述之醫療影像分析系統，其中，該判斷模組是將在該陽性概似比大於1所對應之不同的預測有癌症之模型數中最少者，作為該數量閥值。
  12. 如請求項1所述之醫療影像分析系統，更包括影像預處理模組，以於重採樣、窗值化及正規化處理該病患影像之後，輸入該第一模型或該複數第二模型。
  13. 一種醫療影像分析方法，包括：取得至少一病患影像；將該病患影像輸入第一神經網路模組所具有之第一模型，以得到具有確定該病患影像之臟器及腫瘤位置與範圍之結果，其中，該第一神經網路模組為使用C2FNAS所搜索出來的模型，且該第一神經網路模組使用Adam優化器和退火餘弦學習率調整器來調整學習率範圍在10-4至10-5，損失函數並設置為Dice損失結合分類交叉熵損失；將具有確定該病患影像之臟器及腫瘤位置與範圍之該結果分別輸入第二神經網路模組所具有之複數第二模型，以得到對應各該複數第二模型之複數預測值以及該複數預測值中預測有癌症之模型數，其中，該第二神經網路模組為DenseNet-121，且該第二神經網路模組使用Adam優化器和退火餘 弦學習率調整器來調整學習率範圍在10-4至10-5，損失函數並設置為二元分類損失；以及令判斷模組根據該預測有癌症之模型數及一數量閥值，輸出一判斷結果。
  14. 如請求項13所述之醫療影像分析方法，更包括透過儲存有複數影像、臟器位置與範圍標記及腫瘤位置與範圍標記之資料庫，將該複數影像、該臟器位置與範圍標記及該腫瘤位置與範圍標記相互連結，以作為第一訓練集。
  15. 如請求項14所述之醫療影像分析方法，其中，該第一模型是該第一神經網路模組基於該第一訓練集進行訓練所得者。
  16. 如請求項15所述之醫療影像分析方法，其中，該第一神經網路模組藉由將該複數影像輸入該第一模型來得到具有確定該複數影像之臟器及腫瘤之位置與範圍之結果，以作為第二訓練集。
  17. 如請求項16所述之醫療影像分析方法，其中，該複數第二模型是該第二神經網路模組基於該第二訓練集進行訓練所得者。
  18. 如請求項17所述之醫療影像分析方法，其中，該第二神經網路模組是先將該複數影像及該第二訓練集平均分成複數平均訓練集，以反覆用不重複之方式將該複數平均訓練集之其中一者作為驗證集且其他者作為訓練集，對之訓練而得到該複數第二模型。
  19. 如請求項13所述之醫療影像分析方法，更包括令閥值選擇模組針對該複數預測值繪製複數曲線，以從各該複數曲線決定出是否具有癌症之 複數閥值，俾使該第二神經網路模組得以根據該複數閥值來決定該複數預測值是否為預測有癌症。
  20. 如請求項19所述之醫療影像分析方法，其中，該複數曲線為接收者操作特徵曲線，而該複數閥值為複數約登指數或敏感度與特異度組合之最大值所對應之閥值。
  21. 如請求項20所述之醫療影像分析方法，其中，該複數約登指數為從各該複數曲線中每一個點所對應之敏感度及特異度根據下述公式計算而得者：約登指數=敏感度+特異度-1；且該敏感度與特異度組合為從各該複數曲線中每一個點所對應之敏感度及特異度根據下述公式計算而得者：敏感度與特異度組合=敏感度*N+特異度，N為任意數。
  22. 如請求項13所述之醫療影像分析方法，其中，該判斷模組分別針對該複數第二模型中不同的預測有癌症之模型數的表現計算對應之陽性概似比，以決定該數量閥值，俾在該預測有癌症之模型數大於或等於該數量閥值時，輸出該判斷結果為有癌症。
  23. 如請求項22所述之醫療影像分析方法，其中，該判斷模組是將在該陽性概似比大於1所對應之不同的預測有癌症之模型數中最少者，作為該數量閥值。
  24. 如請求項13所述之醫療影像分析方法，更包括在輸入該第一模型或該複數第二模型之前，令影像預處理模組以重採樣、窗值化及正規化處理之步驟。
TW110139306A 2020-10-23 2021-10-22 醫療影像分析系統及方法 TWI776716B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063104568P 2020-10-23 2020-10-23
US63/104,568 2020-10-23

Publications (2)

Publication Number Publication Date
TW202217841A TW202217841A (zh) 2022-05-01
TWI776716B true TWI776716B (zh) 2022-09-01

Family

ID=81257478

Family Applications (2)

Application Number Title Priority Date Filing Date
TW110139305A TWI790788B (zh) 2020-10-23 2021-10-22 醫療影像分析系統及方法
TW110139306A TWI776716B (zh) 2020-10-23 2021-10-22 醫療影像分析系統及方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW110139305A TWI790788B (zh) 2020-10-23 2021-10-22 醫療影像分析系統及方法

Country Status (2)

Country Link
US (2) US20220130038A1 (zh)
TW (2) TWI790788B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220147680A1 (en) * 2020-11-12 2022-05-12 Samsung Electronics Co., Ltd. Method for co-design of hardware and neural network architectures using coarse-to-fine search, two-phased block distillation and neural hardware predictor

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3384959B1 (en) * 2013-06-18 2019-11-06 Duke University Systems and methods for specifying treatment criteria and treatment parameters for patient specific radiation therapy planning
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
WO2019084697A1 (en) * 2017-11-06 2019-05-09 University Health Network Platform, device and process for annotation and classification of tissue specimens using convolutional neural network
CN111448584B (zh) * 2017-12-05 2023-09-26 文塔纳医疗系统公司 计算肿瘤空间和标记间异质性的方法
TWI691930B (zh) * 2018-09-19 2020-04-21 財團法人工業技術研究院 基於神經網路的分類方法及其分類裝置
US10803987B2 (en) * 2018-11-16 2020-10-13 Elekta, Inc. Real-time motion monitoring using deep neural network

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
期刊 Liu, Kao-Lang, et al. "Deep learning to distinguish pancreatic cancer tissue from non-cancerous pancreatic tissue: a retrospective study with cross-racial external validation." The Lancet Digital Health 2.6 (2020) Elsevier June 2020 pages e303-e313 *

Also Published As

Publication number Publication date
TW202217840A (zh) 2022-05-01
US20220130038A1 (en) 2022-04-28
TW202217841A (zh) 2022-05-01
US20220156929A1 (en) 2022-05-19
TWI790788B (zh) 2023-01-21

Similar Documents

Publication Publication Date Title
EP3043318B1 (en) Analysis of medical images and creation of a report
Tran et al. Computational radiology in breast cancer screening and diagnosis using artificial intelligence
Imran et al. Automatic segmentation of pulmonary lobes using a progressive dense V-network
US11896407B2 (en) Medical imaging based on calibrated post contrast timing
Dandıl A Computer‐Aided Pipeline for Automatic Lung Cancer Classification on Computed Tomography Scans
US20200357506A1 (en) Medical image analyzing system and method thereof
US20200395123A1 (en) Systems and methods for predicting likelihood of malignancy in a target tissue
US20210217524A1 (en) Performing a prognostic evaluation
CN113164142B (zh) 相似度确定装置、方法及程序
Hupse et al. The effect of feature selection methods on computer-aided detection of masses in mammograms
Gipson et al. Diagnostic accuracy of a commercially available deep-learning algorithm in supine chest radiographs following trauma
US11361443B2 (en) Identifying device, learning device, method, and storage medium
TWI776716B (zh) 醫療影像分析系統及方法
Adams et al. Artificial intelligence and machine learning in lung cancer screening
CN110992312B (zh) 医学图像处理方法、装置、存储介质及计算机设备
CN111292299A (zh) 一种乳腺肿瘤识别方法、装置及存储介质
Chacón et al. Computational assessment of stomach tumor volume from multi-slice computerized tomography images in presence of type 2 cancer
CN111402191A (zh) 一种目标检测方法、装置、计算设备及介质
CN115375787A (zh) 伪影校正方法、计算机设备及可读存储介质
Tonneau et al. Generalization optimizing machine learning to improve CT scan radiomics and assess immune checkpoint inhibitors’ response in non-small cell lung cancer: A multicenter cohort study
Chou et al. Radiomic features derived from pretherapeutic MRI predict chemoradiation response in locally advanced rectal cancer
JP2023541646A (ja) バイオマーカー推定方法
TW202042250A (zh) 醫療影像分析系統及其方法
CN113450306A (zh) 提供骨折检测工具的方法
TWI825643B (zh) 醫療輔助資訊產生方法與醫療輔助資訊產生系統

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent