TWI790788B - 醫療影像分析系統及方法 - Google Patents

醫療影像分析系統及方法 Download PDF

Info

Publication number
TWI790788B
TWI790788B TW110139305A TW110139305A TWI790788B TW I790788 B TWI790788 B TW I790788B TW 110139305 A TW110139305 A TW 110139305A TW 110139305 A TW110139305 A TW 110139305A TW I790788 B TWI790788 B TW I790788B
Authority
TW
Taiwan
Prior art keywords
model
medical image
module
predicted value
image analysis
Prior art date
Application number
TW110139305A
Other languages
English (en)
Other versions
TW202217840A (zh
Inventor
王偉仲
廖偉智
劉高郎
陳柏廷
王柏川
張大衛
Original Assignee
國立臺灣大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立臺灣大學 filed Critical 國立臺灣大學
Publication of TW202217840A publication Critical patent/TW202217840A/zh
Application granted granted Critical
Publication of TWI790788B publication Critical patent/TWI790788B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/425—Evaluating particular parts, e.g. particular organs pancreas
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Physiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Fuzzy Systems (AREA)
  • Endocrinology (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本發明提供一種醫療影像分析系統及方法，主要將至少一病患影像輸入神經網路模組之第一模型，以得到具有確定該病患影像之臟器及腫瘤位置與範圍之結果，再將該結果分別輸入第一分析模組之第二模型及第二分析模組之第三模型，以得到對應該病患影像之至少一第一預測值及至少一第二預測值，最後根據該第一預測值及該第二預測值，輸出一判斷結果。本發明可自動化第一模型、第二模型及第三模型之間的流程，並有效增進胰臟癌之辨識率。

Description

醫療影像分析系統及方法
本發明係有關一種影像分析系統及方法，尤指一種醫療影像分析系統及方法。
在現行醫療水準中，胰臟癌屬難以早期發現的癌症之一，且一但腫瘤大小超過2釐米時，存活率將大幅下降。在現有技術中，電腦斷層掃描(CT)影像為目前檢測與評估胰臟癌的主要方式，但檢測效率仍取決於放射科醫生的個人經驗，例如，在腫瘤小於2釐米時，約有40%無法被檢測出。此反映出人工方式的閱片及判斷將過於主觀，很容易因為人為因素而導致誤判。
因此，如何提出一種例如可應用在辨識胰臟癌以提高辨識率之醫療影像分析系統及方法，為目前亟待解決的課題之一。
本發明之主要目的在於提供一種醫療影像分析系統，包括：神經網路模組，具有第一模型，係將至少一病患影像輸入該第一模型，以得到具有確定該病患影像之臟器及腫瘤位置與範圍之結果；第一分析模組，具有第二模 型，係將具有確定該病患影像之臟器及腫瘤位置與範圍之該結果輸入該第二模型，以得到對應該病患影像之至少一第一預測值；第二分析模組，具有第三模型，係將具有確定該病患影像之臟器及腫瘤位置與範圍之該結果輸入該第三模型，以得到對應該病患影像之至少一第二預測值；以及判斷模組，根據該第一預測值及該第二預測值，輸出一判斷結果。
如前述之醫療影像分析系統中，更包括儲存有複數影像、臟器位置與範圍標記及腫瘤位置與範圍標記之資料庫，其中，該複數影像、該臟器位置與範圍標記及該腫瘤位置與範圍標記係相互連結以作為第一訓練集。
如前述之醫療影像分析系統中，該第一模型係該神經網路模組基於該第一訓練集進行訓練所得者，該神經網路模組為使用C2FNAS所搜索出來的模型，且該神經網路模組使用Adam優化器和退火餘弦學習率調整器來調整學習率範圍在10-3至10-5，損失函數並設置為Dice損失結合分類交叉熵損失。
如前述之醫療影像分析系統中，該神經網路模組藉由將該複數影像輸入該第一模型而得到具有確定該複數影像之臟器及腫瘤之位置與範圍之結果，以作為第二訓練集。
如前述之醫療影像分析系統中，該第一分析模組先以影像組學之演算法對該第二訓練集進行3D特徵分析，以取得複數3D特徵值，再使用梯度提昇決策樹之機器學習演算法對該複數3D特徵值來進行訓練，以得到該第二模型。
如前述之醫療影像分析系統中，該第一分析模組係使用複數濾波器來提取3D特徵，且該複數濾波器包括3個高斯對數濾波器、8個小波變換濾波器以及1個梯度濾波器。
如前述之醫療影像分析系統中，該第二分析模組先以該影像組學之演算法對該第二訓練集進行2D特徵分析，以取得複數2D特徵值，再使用梯度 提昇決策樹之機器學習演算法對該複數2D特徵值來進行訓練，以得到該第三模型。
如前述之醫療影像分析系統中，該第二分析模組係使用複數濾波器來提取2D特徵，且該複數濾波器包括4個小波變換濾波器以及1個梯度濾波器。
如前述之醫療影像分析系統中，該影像組學所選用之特徵包括：一階特徵、灰階共生矩陣特徵、灰階相關矩陣特徵、灰階長度矩陣特徵、灰階區域大小矩陣特徵或鄰域灰調差矩陣特徵。
如前述之醫療影像分析系統中，更包括閥值選擇模組，用以針對該第一預測值或該第二預測值繪製曲線，以從該曲線決定出是否具有癌症之閥值，俾供該第一分析模組或該第二分析模組根據該閥值決定該第一預測值或該第二預測值是否代表具有癌症。
如前述之醫療影像分析系統中，該曲線為接收者操作特徵曲線，而該閥值為約登指數之最大值所對應之閥值。
如前述之醫療影像分析系統中，該約登指數為從該曲線中每一個點所對應之敏感度及特異度根據下述公式計算而得者：約登指數=敏感度+特異度-1。
如前述之醫療影像分析系統中，該判斷模組使用邏輯回歸模型的結果概率為該判斷結果，且其中，該邏輯回歸模型基於該第一預測值及該第二預測值進行訓練所得者。
如前述之醫療影像分析系統中，該判斷模組係以該第一預測值及該第二預測值其中一者代表具有癌症，或以該第一預測值及該第二預測值二者皆代表具有癌症，作為該判斷結果。
如前述之醫療影像分析系統中，更包括影像預處理模組，用以於重採樣、窗值化及正規化處理該病患影像之後，供輸入該第一模型、該第二模型或該第三模型。
本發明之另一目的在於提供一種醫療影像分析方法，包括：取得至少一病患影像；將該病患影像輸入神經網路模組所具有之第一模型，以得到具有確定該病患影像之臟器及腫瘤位置與範圍之結果；將具有確定該病患影像之臟器及腫瘤位置與範圍之該結果分別輸入第一分析模組所具有之第二模型以及第二分析模組所具有之第三模型，以得到對應該病患影像之至少一第一預測值及對應該病患影像之至少一第二預測值；以及令判斷模組根據該第一預測值及該第二預測值，輸出一判斷結果。
如前述之醫療影像分析方法中，更包括儲存有複數影像、臟器位置與範圍標記及腫瘤位置與範圍標記之資料庫，其中，將該複數影像、該臟器位置與範圍標記及該腫瘤位置與範圍標記相互連結，以作為第一訓練集。
如前述之醫療影像分析方法中，該第一模型是該神經網路模組基於該第一訓練集進行訓練所得者，該神經網路模組為使用C2FNAS所搜索出來的模型，且該神經網路模組使用Adam優化器和退火餘弦學習率調整器來調整學習率範圍在10-3至10-5，損失函數並設置為Dice損失結合分類交叉熵損失。
如前述之醫療影像分析方法中，該神經網路模組藉由將該複數影像輸入該第一模型來得到具有確定該複數影像之臟器及腫瘤之位置與範圍之結果，以作為第二訓練集。
如前述之醫療影像分析方法中，該第一分析模組先以影像組學之演算法對該第二訓練集進行3D特徵分析，以取得複數3D特徵值，再使用梯度提昇決策樹之機器學習演算法對該複數3D特徵值來進行訓練，以得到該第二模型。
如前述之醫療影像分析方法中，該第一分析模組係使用複數濾波器來提取3D特徵，且該複數濾波器包括3個高斯對數濾波器、8個小波變換濾波器以及1個梯度濾波器。
如前述之醫療影像分析方法中，該第二分析模組先以該影像組學之演算法對該第二訓練集進行2D特徵分析，以取得複數2D特徵值，再使用梯度提昇決策樹之機器學習演算法對該複數2D特徵值來進行訓練，以得到該第三模型。
如前述之醫療影像分析方法中，該第二分析模組係使用複數濾波器來提取2D特徵，且該複數濾波器包括4個小波變換濾波器以及1個梯度濾波器。
如前述之醫療影像分析方法中，該影像組學所選用之特徵包括：一階特徵、灰階共生矩陣特徵、灰階相關矩陣特徵、灰階長度矩陣特徵、灰階區域大小矩陣特徵或鄰域灰調差矩陣特徵。
如前述之醫療影像分析方法中，更包括令閥值選擇模組針對該第一預測值或該第二預測值繪製曲線，以從該曲線決定出是否具有癌症之閥值，俾供該第一分析模組或該第二分析模組得以根據該閥值決定該第一預測值或該第二預測值是否代表具有癌症。
如前述之醫療影像分析方法中，該曲線為接收者操作特徵曲線，而該閥值為約登指數之最大值所對應之閥值。
如前述之醫療影像分析方法中，該約登指數為從該曲線中每一個點所對應之敏感度及特異度根據下述公式計算而得者：約登指數=敏感度+特異度-1。
如前述之醫療影像分析方法中，該判斷模組使用邏輯回歸模型的結果概率為該判斷結果，且其中，該邏輯回歸模型基於該第一預測值及該第二預測值進行訓練所得者。
如前述之醫療影像分析方法中，該判斷模組係以該第一預測值及該第二預測值其中一者代表具有癌症，或以該第一預測值及該第二預測值二者皆代表具有癌症，作為該判斷結果。
如前述之醫療影像分析方法中，更包括在輸入該第一模型、該第二模型或該第三模型之前，令影像預處理模組以重採樣、窗值化及正規化處理該病患影像之步驟。
綜上所述，本發明之醫療影像分析系統及方法在辨識胰臟癌上，相較於放射科醫生有著較高的敏感度，此即表示本發明之醫療影像分析系統及方法可有效輔助放射科醫生減少其臨床的漏診率，特別是在小於2cm的腫瘤大小的情況，故可有效改善腫瘤小於2釐米時，約有40%無法被檢測出的情況。另外，本發明之醫療影像分析系統及方法為自動化流程，可直接輸入原始醫療影像之後，即可自動找出可能為胰臟、腫瘤之位置與範圍並可自動判斷分類此原始醫療影像是否為胰臟癌。
1:醫療影像分析系統
11:神經網路模組
12:第一分析模組
13:第二分析模組
14:判斷模組
15:影像預處理模組
16:閥值選擇模組
17:資料庫
S1-S4:步驟
圖1為本發明醫療影像分析系統之系統架構圖。
圖2為本發明醫療影像分析方法之方法流程圖。
以下藉由特定之具體實施例加以說明本發明之實施方式，而熟悉此技術之人士可由本說明書所揭示之內容輕易地瞭解本發明之其他優點和功效，亦可藉由其他不同的具體實施例加以施行或應用。
請參閱圖1，本發明之醫療影像分析系統1包括神經網路模組11、第一分析模組12、第二分析模組13、判斷模組14、影像預處理模組15、閥值選擇模組16及資料庫17。本發明之醫療影像分析系統1可運作在例如手機、平板電腦、筆記型電腦、桌上型電腦、伺服器或雲端伺服器等裝置上。上述神經網路模組11、第一分析模組12、第二分析模組13、判斷模組14、影像預處理模組15及閥值選擇模組16可分別為儲存在資料庫17或儲存單元的程式碼片段、軟體或韌體，並可由一處理單元執行，亦可使用其他硬體或軟硬體混和之形式的方式來實現。上述處理單元可以是中央處理器(Central Processing Unit，CPU)、微處理器(Microprocessor)、圖形處理器(Graphics Processing Unit，GPU)或特定應用積體電路(Appilcation Specific Integrated Circuit，ASIC)，而上述儲存單元可以是任何型態的固定或可移動隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快閃記憶體(flash memory)、硬碟(hard disk)、軟碟(soft disk)、資料庫(database)或類似元件之上述元件之組合。本發明皆不以上述實施態樣為限。
於本實施例中，神經網路模組11具有第一模型，將至少一病患影像輸入第一模型後，可得到具有確定病患影像之臟器及腫瘤位置與範圍之結果。第一分析模組12具有第二模型，將具有確定病患影像之臟器及腫瘤位置與範圍之結果輸入第二模型，可得到對應病患影像之至少一第一預測值。第二分析模組13具有第三模型，將具有確定病患影像之臟器及腫瘤位置與範圍之結果 輸入第三模型，可得到對應病患影像之至少一第二預測值。於一實施例中，病患影像可以是2D CT影像或3D CT影像，但並不以此為限。第一模型為經由神經網路訓練所得之模型，第二模型及第三模型為經由影像組學之演算法與梯度提昇決策樹之機器學習演算法所得之模型。以下先說明第一模型、第二模型及第三模型之訓練階段。
資料庫17中可儲存有複數影像、臟器位置與範圍標記及腫瘤位置與範圍標記，而複數影像、臟器位置與範圍標記及腫瘤位置與範圍標記相互連結。本文所稱之相互連結即是將臟器位置與範圍標記、腫瘤位置與範圍標記或同時將二種位置與範圍標記繪製於影像上，且臟器可以是胰臟。另外，影像可以是2D CT影像或3D CT影像，臟器位置與範圍標記可以是胰臟的輪廓，腫瘤位置與範圍標記可以是胰臟內有腫瘤部位的輪廓，且臟器位置與範圍標記及腫瘤位置與範圍標記可由經驗豐富的放射科醫生根據實際的確診資料來進行圈選。在本實施例中，是將複數影像、臟器位置與範圍標記及腫瘤位置與範圍標記相互連結後的全部資料作為第一訓練集。
神經網路模組11基於第一訓練集可訓練得到第一模型。具體而言，神經網路模組11為基於SegNet或U-Net之深度學習模型架構，例如使用由NVIDIA使用粗到細神經結構搜索(C2FNAS)所搜索出來的模型。在訓練過程中，神經網路模組11可使用Adam優化器(Adam optimizer)和退火餘弦學習率調整器(cosine annealing learning rate scheduler)來調整學習率(learning rate)範圍在10-3至10-5，且損失函數設置為Dice損失(Dice loss)結合分類交叉熵損失(categorical cross-entropy loss)。
於一實施例中，基於SegNet或U-Net之深度學習模型架構可如下：在第一層中，輸入1張96*96*96像素的影像，經由stem 3x3x3卷積神經網路層進行特徵提取後，輸出32張96*96*96像素的特徵影像，之後再透過stem 3x3x3卷積神經網路層與步距為2的特徵提取後，輸出64張48*48*48像素的特徵影像，接著進入第二層。在第二層中，將此64張48*48*48像素的特徵影像(特徵2-1)透過2D 3x3x1卷積神經網路層取得另64張48*48*48像素的特徵影像，再透過pseudo 3D(P3D)3x3x1+1x1x3卷積神經網路層後，與特徵2-1相加，取得另64張48*48*48像素的特徵影像(特徵2-2)，之後再透過過3D 3x3x3卷積神經網路層與步距為2的特徵提取後，輸出128張24*24*24像素的特徵影像，接著進入第三層。在第三層中，將此128張24*24*24像素的特徵影像透過3D 3x3x3卷積神經網路層的特徵提取後，取得另外128張24*24*24像素的特徵影像(特徵3-1)，之後再透過3D 3x3x3卷積神經網路層與步距為2的特徵提取後，輸出256張12*12*12像素的特徵影像，接著進入第四層。在第四層中，將此256張12*12*12像素的特徵影像(特徵4-1)經過2D 3x3x1卷積神經網路層與步距為2的特徵提取後，輸出512張6*6*6像素的特徵影像。接著可進行特徵還原之流程。
將512張6x6x6像素的影像，經由三線性上採樣(trilinear upsample)進行特徵還原，並且與特徵4-1經過3D 3x3x3卷積神經網路層取得之另外256張12x12x12像素的特徵影像相加後，輸出256張12x12x12像素的特徵影像。將此256張12x12x12像素的特徵影像經過3D 3x3x3卷積神經網路層產生另外256張12x12x12像素的特徵影像，再經由三線性上採樣進行特徵還原，與特徵3-1經過P3D 3x3x1+1x1x3卷積神經網路層所取得之另外128張24x24x24像素的 特徵影像相加後，輸出128張24x24x24像素的特徵影像。將此128張24x24x24像素的特徵影像，經由三線性上採樣進行特徵還原，與特徵2-2經過3D 3x3x3卷積神經網路層所取得之另外64張48*48*48像素的特徵影像相加後，輸出64張48*48*48像素的特徵影像。將此64張48*48*48像素的特徵影像(特徵5-1)經過2D 3x3x1卷積神經網路層取得另外64張48*48*48像素的特徵影像(特徵5-2)，再經過3D 3x3x3卷積神經網路層後與特徵5-1相加，取得另外64張48*48*48像素的特徵影像，再經過stem 3x3x3卷積神經網路層後取得另外64張48*48*48像素的特徵影像，將此特徵與特徵5-2經由三線性上採樣進行特徵還原後並相加後，輸出32張96*96*96像素的特徵影像。最後，將此32張96*96*96像素的特徵影像，經由stem 3x3x3卷積神經網路層進行特徵還原後，輸出1張96*96*96像素的特徵影像。此時，最後一級之特徵影像的尺度等於最初一級之影像之尺度。
神經網路模組11可將複數影像輸入至完成訓練的第一模型中，來得到具有確定複數影像之臟器及腫瘤之位置與範圍之結果，並將其作為第二訓練集。該結果可為臟器及腫瘤之位置與範圍的遮罩(mask)，亦可為已圈選臟器及腫瘤位置與範圍之影像，本發明並不以此為限。第一分析模組12基於第二訓練集可訓練得到第二模型，第二分析模組13亦基於第二訓練集來訓練得到第三模型。
具體而言，第一分析模組12先以影像組學(Radiomics)之演算法對該第二訓練集進行3D特徵分析，以取得複數3D特徵值。所謂的影像組學，係可擷取影像中有關密度、形狀或紋理之定量資訊，並透過機器學習演算法對影像組學特徵(Radiomics feature)進行分析，且可透過示例學習建立分類/回歸模型，來展現出影像中肉眼所無法辨認的圖案/規則。影像組學之演算法可分析許 多種特徵，而在本實施例中所選用之特徵包括：一階特徵(First Order feature)、灰階共生矩陣(Gray Level Co-occurrence Matrix；GLCM)特徵、灰階相關矩陣(Gray Level Dependence Matrix；GLDM)特徵、灰階長度矩陣(Gray Level Run Length Matrix；GLRLM)特徵、灰階區域大小矩陣(Gray Level Size Zone Matrix；GLSZM)特徵或鄰域灰調差矩陣(Neighboring Gray Tone Difference Matrix；NGTDM)特徵。
於一實施例中，本發明之影像組學可選用18個一階特徵、22個灰階共生矩陣特徵、14個灰階相關矩陣特徵、16個灰階長度矩陣特徵、16個灰階區域大小矩陣特徵及5個鄰域灰調差矩陣特徵等共計91個特徵(詳列於下述表1)來進行特徵分析，並將用以計算紋理特徵之間距或寬度(bin width)固定在16。
表1
Figure 110139305-A0101-12-0011-1
Figure 110139305-A0101-12-0012-2
Figure 110139305-A0101-12-0013-3
第一分析模組12更可先使用複數濾波器(Filter)來提取3D特徵，複數濾波器包括：3個高斯對數濾波器(Log of Gaussian filter，參數sigma設置為1、2、3)、8個小波變換濾波器(wavelet transformation filter)以及1個梯度濾波器(gradient filter)。小波變換濾波器具有高通濾波器(high pass filter)[H]及低通濾波器(low pass filter)[L]如HHH、HHL、HLH、HLL、LHH、LHL、LLH、LLL。因此，第一分析模組12使用上述濾波器及本身，共可提取(12+1)x 91=1183個特徵來進行分析，即一張影像就可以具有1183個特徵值。
第一分析模組12在取得複數3D特徵值後，可將複數3D特徵值輸入至梯度提昇決策樹之機器學習演算法(XGboost)中，來訓練得到第二模型。所謂的梯度提昇決策樹之機器學習演算法，係可循序地建立串聯的複數個決策樹以達到分類目的，而複數個決策樹之建立方法，係在建立一決策樹之後，再添加決策樹，使得後面的決策樹可改善前一個決策樹之錯誤分類，如此一來每個決策樹可最小化前一個決策樹之錯誤分類，而第二模型即是集合所有決策樹所預測的分類。在本實施例中，梯度提昇決策樹之機器學習演算法的損失函數 可設置為邏輯損失(logistic loss)。將影像(或病患影像)輸入第二模型之後，第二模型可輸出對應影像(或病患影像)之第一預測值。
第二分析模組13亦先以影像組學(Radiomics)之演算法對該第二訓練集進行2D特徵分析，以取得複數2D特徵值。在本實施例中，第二分析模組13所選用的91個特徵是相同於前述第一分析模組12，且第二分析模組13所使用之梯度提昇決策樹之機器學習演算法亦相同於前述第一分析模組12，於此不再贅述。另外，第二分析模組13先用來提取2D特徵的複數濾波器(Filter)，是包括4個小波變換濾波器以及1個梯度濾波器。小波變換濾波器具有高通濾波器(high pass filter)[H]及低通濾波器(low pass filter)[L]如HH、HL、LH、LL。因此，第二分析模組13使用上述濾波器及本身，共可提取(5+1)x 91=546個特徵來進行分析。由於計算問題，在梯度濾波器中必須排除灰階共生矩陣特徵中的IMC2，故在第二分析模組13中，一張影像可以具有545個特徵值來進行2D分析。第二分析模組13在取得複數2D特徵值後，可將複數2D特徵值輸入至梯度提昇決策樹之機器學習演算法中，來訓練得到第三模型。將影像(或病患影像)輸入第三模型之後，第三模型可輸出對應影像(或病患影像)之第二預測值。
上述為第一模型、第二模型及第三模型之訓練階段。在實際的應用階段中，可撰寫程式將第一模型的輸出直接作為第二模型及第三模型的輸入，來達到自動化的效果，例如使用python來撰寫程式碼，以PyRadiomics平台來提取所有影像組學之特徵。因此，使用者只要將一張或複數張病患影像輸入第一模型，第一模型將輸出具有確定病患影像之臟器及腫瘤位置與範圍之結果，此結果可自動輸入至第二模型及第三模型中，來分別輸出病患影像所對應之第一預測值及第二預測值。
不論是在訓練階段或是應用階段，皆可通過下述方法來將第一預測值及第二預測值分類。閥值選擇模組16可決定第一閥值來將第一預測值分類為具有癌症或不具有癌症，並可決定第二閥值來將第二預測值分類為具有癌症或不具有癌症。第一閥值的決定方式相同於第二閥值的決定方式，以下以預測值及閥值作說明。具體而言，閥值選擇模組16在取得複數預測值後，將複數預測值經一特定閥值判斷來計算出特定閥值所對應之包括敏感度(Sensitivity)及特異度(Specificity)等之統計指標，而根據複數個特定閥值的可能值所計算出的複數個敏感度及特異度可繪製出曲線，曲線可為接收者操作特徵曲線(Receiver Operating Characteristic Curve，ROC)。接著，從接收者操作特徵曲線中可以得到曲線下面積(Area Under Receiver Operating Characteristic Curve，AUC)及複數約登指數(Youden index)等之統計指標，其中，複數約登指數為從曲線中每一個點所對應之敏感度及特異度根據下述公式計算而得：約登指數=敏感度+特異度-1。本發明係將複數約登指數中最大值所對應之閥值做為閥值，在影像(或病患影像)之預測值大於閥值時，可將其分類為具有癌症(陽性)，反之則分類為不具有癌症(陰性)。
判斷模組14可根據第一預測值及第二預測值，輸出一判斷結果。具體而言，判斷模組14可在第一預測值及第二預測值其中一者被分類為具有癌症時，即輸出具有癌症之判斷結果。判斷模組14亦可在第一預測值及第二預測值皆被分類為具有癌症時，才輸出具有癌症之判斷結果。於一實施例中，判斷模組14可使用邏輯回歸模型(logistic regression model)的結果概率來作為判斷結果，其中，邏輯回歸模型是基於第一預測值及第二預測值進行訓練所得者。邏輯回歸模型的具體作法為：在訓練階段時，將同一組輸入影像與遮罩，分別 代入第二模型及第三模型，將所得到的第一預測值及第二預測值作為一組邏輯回歸模型的訓練資料，因此，該邏輯回歸模型是具有2個參數與1個截距項的模型，利用多組的訓練資料，即可訓練出邏輯回歸中的參數與截距項之數值。另外，邏輯回歸模型的結果概率可透過閥值選擇模組16來選擇閥值，以決定邏輯回歸模型的結果概率(或稱機率值)是否代表具有癌症。
於一實施例中，不論是在訓練階段或是應用階段，皆可先使用影像預處理模組15來處理病患影像或資料庫17內的影像之後，再輸入第一模型、第二模型或第三模型。例如，在輸入第一模型之前，可先轉換CT體積至R-A-S+方向，並將影像重採樣到相同間距(1mm，1mm，1mm)，接著可將強度裁減至-200至250韓森費爾德單位(Hounsfield，HU)。最後，強度值可被重新調整為[-1,1]。又例如，在輸入第二模型及第三模組之前，可使用線性內插法(linear interpolation)及最近相鄰內插法(nearest-neighbor interpolation)將所有影像及臟器位置與範圍標記、腫瘤位置與範圍標記重採樣到相同間距(1mm，1mm，5mm)以消除提取影像組學之特徵時來自差異間距的偏差。另外，在輸入第三模組之前，除了上述將所有影像、臟器位置與範圍標記及腫瘤位置與範圍標記重採樣到相同間距(1mm，1mm，5mm)之外，還可包含下列步驟：使用步幅5像素、20x20像素大小的正方形子區域之方式來對影像進行擷取，以獲得複數個影像區塊；刪除臟器位置與範圍標記及腫瘤位置與範圍標記佔影像區塊之整體面積小於5%的影像區塊；將影像區塊中有包含任何癌症部分的標記為癌症區塊，反之則標記為非癌症區塊。之後，將所有影像區塊進行前述之2D特徵提取、分析、訓練，以得到第三模型。將影像進行擷取以獲得複數個影像區塊，進而訓練得到第三模型，將使第三模型得以具備檢查臟器的局部狀況。
請參閱圖2，本發明另提供一種醫療影像分析方法。本發明之醫療影像分析方法可用於如前述之醫療影像分析系統1。本發明之醫療影像分析方法中與前述醫療影像分析系統中技術內容相同者，於此不再贅述。
於步驟S1中，係先取得至少一病患影像。於步驟S2中，將病患影像輸入神經網路模組11所具有之第一模型，以得到具有確定病患影像之臟器及腫瘤位置與範圍之結果。於步驟S3中，將具有確定病患影像之臟器及腫瘤位置與範圍之結果分別輸入第一分析模組12所具有之第二模型以及第二分析模組13所具有之第三模型，以得到對應病患影像之至少一第一預測值及對應病患影像之至少一第二預測值。於步驟S4中，令判斷模組14根據第一預測值及第二預測值，輸出一判斷結果。上述第一模型、第二模型及第三模型之訓練方式係相同於前述醫療影像分析系統中第一模型、第二模型及第三模型之訓練方式，於此不再贅述。
於一實施例中，在步驟S3中，更包括下列步驟：令閥值選擇模組16針對第一預測值或第二預測值繪製曲線，以從曲線決定出是否具有癌症之閥值，以使第一分析模組12或第二分析模組13得以根據閥值來決定第一預測值或第二預測值是否代表具有癌症。
於一實施例中，在步驟S4中，判斷模組14可以第一預測值及第二預測值其中一者代表具有癌症來作為判斷結果，或是以第一預測值及第二預測值二者皆代表具有癌症來作為該判斷結果，或是基於第一預測值及第二預測值來訓練得到邏輯回歸模型，並以邏輯回歸模型的結果概率為判斷結果。
於一實施例中，在步驟S1之後，可先進行下列步驟再進至步驟S2，或在步驟S2之後，可先進行下列步驟再進至步驟S3：令影像預處理模組15以重採樣、窗值化及正規化處理影像(或病患影像)。
本發明之醫療影像分析系統及方法的功效證實如下：先提供827個胰臟癌症病患與845個胰臟健康之電腦斷層影像，訓練出第一模型、第二模型及第三模型，並且利用邏輯回歸之方式將第二模型與第三模型所產生之第一預測值與第二預測值結合為最終之預測值，最終得到93.4%(95%信賴區間，87.9%-97.0%)的敏感度及71.6%的特異度(95%信賴區間，64.5%-78.0%)，曲線下面積(AUC)為0.942(95%信賴區間，0.916-0.967)。對於腫瘤小於2cm時最終取得87.2%(95%信賴區間，72.6%-95.7%)的敏感度。
綜上所述，本發明之醫療影像分析系統及方法在辨識胰臟癌上，相較於放射科醫生有著較高的敏感度，此即表示本發明之醫療影像分析系統及方法可有效輔助放射科醫生減少其臨床的漏診率，特別是在小於2cm的腫瘤大小的情況，故可有效改善一般臨床情境下腫瘤小於2釐米時，約有40%無法被檢測出的情況。另外，本發明之醫療影像分析系統及方法為自動化流程，可直接輸入原始醫療影像之後，即可自動找出可能為胰臟、腫瘤之位置與範圍並可自動分類此原始醫療影像是否為胰臟癌，使得本發明得以易於使用。
上述實施形態僅為例示性說明本發明之技術原理、特點及其功效，並非用以限制本發明之可實施範疇，任何熟習此技術之人士均可在不違背本發明之精神與範疇下，對上述實施形態進行修飾與改變。然任何運用本發明所教示內容而完成之等效修飾及改變，均仍應為下述之申請專利範圍所涵蓋。而本發明之權利保護範圍，應如下述之申請專利範圍所列。
1:醫療影像分析系統
11:神經網路模組
12:第一分析模組
13:第二分析模組
14:判斷模組
15:影像預處理模組
16:閥值選擇模組
17:資料庫

Claims (30)

  1. 一種醫療影像分析系統，包括：神經網路模組，具有第一模型，係將至少一病患影像輸入該第一模型，以得到具有確定該病患影像之臟器及腫瘤位置與範圍之結果，其中，該神經網路模組為使用C2FNAS所搜索出來的模型來得到該第一模型；第一分析模組，具有第二模型，係將具有確定該病患影像之臟器及腫瘤位置與範圍之該結果輸入該第二模型，以得到對應該病患影像之至少一第一預測值，其中，該第一分析模組為使用影像組學之演算法及梯度提昇決策樹之機器學習演算法來得到該第二模型；第二分析模組，具有第三模型，係將具有確定該病患影像之臟器及腫瘤位置與範圍之該結果輸入該第三模型，以得到對應該病患影像之至少一第二預測值，其中，該第二分析模組為使用該影像組學之演算法及該梯度提昇決策樹之機器學習演算法來得到該第三模型；以及判斷模組，根據該第一預測值及該第二預測值，輸出一判斷結果。
  2. 如請求項1所述之醫療影像分析系統，更包括儲存有複數影像、臟器位置與範圍標記及腫瘤位置與範圍標記之資料庫，其中，該複數影像、該臟器位置與範圍標記及該腫瘤位置與範圍標記係相互連結以作為第一訓練集。
  3. 如請求項2所述之醫療影像分析系統，其中，該第一模型係該神經網路模組基於該第一訓練集進行訓練所得者，且該神經網路模組使用Adam優化器和退火餘弦學習率調整器來調整學習率範圍在10-3至10-5，損失函數並設置為Dice損失結合分類交叉熵損失。
  4. 如請求項3所述之醫療影像分析系統，其中，該神經網路模組藉由將該複數影像輸入該第一模型而得到具有確定該複數影像之臟器及腫瘤之位置與範圍之結果，以作為第二訓練集。
  5. 如請求項4所述之醫療影像分析系統，其中，該第一分析模組先以該影像組學之演算法對該第二訓練集進行3D特徵分析，以取得複數3D特徵值，再使用該梯度提昇決策樹之機器學習演算法對該複數3D特徵值來進行訓練，以得到該第二模型。
  6. 如請求項5所述之醫療影像分析系統，其中，該第一分析模組係使用複數濾波器來提取3D特徵，且該複數濾波器包括3個高斯對數濾波器、8個小波變換濾波器以及1個梯度濾波器。
  7. 如請求項4所述之醫療影像分析系統，其中，該第二分析模組先以該影像組學之演算法對該第二訓練集進行2D特徵分析，以取得複數2D特徵值，再使用該梯度提昇決策樹之機器學習演算法對該複數2D特徵值來進行訓練，以得到該第三模型。
  8. 如請求項7所述之醫療影像分析系統，其中，該第二分析模組係使用複數濾波器來提取2D特徵，且該複數濾波器包括4個小波變換濾波器以及1個梯度濾波器。
  9. 如請求項5或7所述之醫療影像分析系統，其中，該影像組學所選用之特徵包括：一階特徵、灰階共生矩陣特徵、灰階相關矩陣特徵、灰階長度矩陣特徵、灰階區域大小矩陣特徵或鄰域灰調差矩陣特徵。
  10. 如請求項1所述之醫療影像分析系統，更包括閥值選擇模組，用以針對該第一預測值或該第二預測值繪製曲線，以從該曲線決定出是否具有 癌症之閥值，俾供該第一分析模組或該第二分析模組根據該閥值決定該第一預測值或該第二預測值是否代表具有癌症。
  11. 如請求項10所述之醫療影像分析系統，其中，該曲線為接收者操作特徵曲線，而該閥值為約登指數之最大值所對應之閥值。
  12. 如請求項11所述之醫療影像分析系統，其中，該約登指數為從該曲線中每一個點所對應之敏感度及特異度根據下述公式計算而得者：約登指數=敏感度+特異度-1。
  13. 如請求項1所述之醫療影像分析系統，其中，該判斷模組使用邏輯回歸模型的結果概率為該判斷結果，且其中，該邏輯回歸模型基於該第一預測值及該第二預測值進行訓練所得者。
  14. 如請求項1所述之醫療影像分析系統，其中，該判斷模組係以該第一預測值及該第二預測值其中一者代表具有癌症，或以該第一預測值及該第二預測值二者皆代表具有癌症，作為該判斷結果。
  15. 如請求項1所述之醫療影像分析系統，更包括影像預處理模組，用以於重採樣、窗值化及正規化處理該病患影像之後，供輸入該第一模型、該第二模型或該第三模型。
  16. 一種醫療影像分析方法，包括：取得至少一病患影像；將該病患影像輸入神經網路模組所具有之第一模型，以得到具有確定該病患影像之臟器及腫瘤位置與範圍之結果，其中，該神經網路模組為使用C2FNAS所搜索出來的模型來得到該第一模型； 將具有確定該病患影像之臟器及腫瘤位置與範圍之該結果分別輸入第一分析模組所具有之第二模型以及第二分析模組所具有之第三模型，以得到對應該病患影像之至少一第一預測值及對應該病患影像之至少一第二預測值，其中，該第一分析模組為使用影像組學之演算法及梯度提昇決策樹之機器學習演算法來得到該第二模型，且該第二分析模組為使用該影像組學之演算法及該梯度提昇決策樹之機器學習演算法來得到該第三模型；以及令判斷模組根據該第一預測值及該第二預測值，輸出一判斷結果。
  17. 如請求項16所述之醫療影像分析方法，更包括透過儲存有複數影像、臟器位置與範圍標記及腫瘤位置與範圍標記之資料庫，將該複數影像、該臟器位置與範圍標記及該腫瘤位置與範圍標記相互連結，以作為第一訓練集。
  18. 如請求項17所述之醫療影像分析方法，其中，該第一模型係該神經網路模組基於該第一訓練集進行訓練所得者，且該神經網路模組使用Adam優化器和退火餘弦學習率調整器來調整學習率範圍在10-3至10-5，損失函數並設置為Dice損失結合分類交叉熵損失。
  19. 如請求項18所述之醫療影像分析方法，其中，該神經網路模組藉由將該複數影像輸入該第一模型來得到具有確定該複數影像之臟器及腫瘤之位置與範圍之結果，以作為第二訓練集。
  20. 如請求項19所述之醫療影像分析方法，其中，該第一分析模組先以該影像組學之演算法對該第二訓練集進行3D特徵分析，以取得複數3D特 徵值，再使用該梯度提昇決策樹之機器學習演算法對該複數3D特徵值來進行訓練，以得到該第二模型。
  21. 如請求項20所述之醫療影像分析方法，其中，該第一分析模組係使用複數濾波器來提取3D特徵，且該複數濾波器包括3個高斯對數濾波器、8個小波變換濾波器以及1個梯度濾波器。
  22. 如請求項19所述之醫療影像分析方法，其中，該第二分析模組先以該影像組學之演算法對該第二訓練集進行2D特徵分析，以取得複數2D特徵值，再使用該梯度提昇決策樹之機器學習演算法對該複數2D特徵值來進行訓練，以得到該第三模型。
  23. 如請求項22所述之醫療影像分析方法，其中，該第二分析模組係使用複數濾波器來提取2D特徵，且該複數濾波器包括4個小波變換濾波器以及1個梯度濾波器。
  24. 如請求項20或22所述之醫療影像分析方法，其中，該影像組學所選用之特徵包括：一階特徵、灰階共生矩陣特徵、灰階相關矩陣特徵、灰階長度矩陣特徵、灰階區域大小矩陣特徵或鄰域灰調差矩陣特徵。
  25. 如請求項16所述之醫療影像分析方法，更包括令閥值選擇模組針對該第一預測值或該第二預測值繪製曲線，以從該曲線決定出是否具有癌症之閥值，俾供該第一分析模組或該第二分析模組根據該閥值決定該第一預測值或該第二預測值是否代表具有癌症。
  26. 如請求項25所述之醫療影像分析方法，其中，該曲線為接收者操作特徵曲線，而該閥值為約登指數之最大值所對應之閥值。
  27. 如請求項26所述之醫療影像分析方法，其中，該約登指數為從該曲線中每一個點所對應之敏感度及特異度根據下述公式計算而得者：約登指數=敏感度+特異度-1。
  28. 如請求項16所述之醫療影像分析方法，其中，該判斷模組使用邏輯回歸模型的結果概率為該判斷結果，且其中，該邏輯回歸模型基於該第一預測值及該第二預測值進行訓練所得者。
  29. 如請求項16所述之醫療影像分析方法，其中，該判斷模組係以該第一預測值及該第二預測值其中一者代表具有癌症，或以該第一預測值及該第二預測值二者皆代表具有癌症，作為該判斷結果。
  30. 如請求項16所述之醫療影像分析方法，更包括在輸入該第一模型、該第二模型或該第三模型之前，令影像預處理模組以重採樣、窗值化及正規化處理該病患影像之步驟。
TW110139305A 2020-10-23 2021-10-22 醫療影像分析系統及方法 TWI790788B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063104568P 2020-10-23 2020-10-23
US63/104,568 2020-10-23

Publications (2)

Publication Number Publication Date
TW202217840A TW202217840A (zh) 2022-05-01
TWI790788B true TWI790788B (zh) 2023-01-21

Family

ID=81257478

Family Applications (2)

Application Number Title Priority Date Filing Date
TW110139305A TWI790788B (zh) 2020-10-23 2021-10-22 醫療影像分析系統及方法
TW110139306A TWI776716B (zh) 2020-10-23 2021-10-22 醫療影像分析系統及方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW110139306A TWI776716B (zh) 2020-10-23 2021-10-22 醫療影像分析系統及方法

Country Status (2)

Country Link
US (2) US12067717B2 (zh)
TW (2) TWI790788B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12112112B2 (en) * 2020-11-12 2024-10-08 Samsung Electronics Co., Ltd. Method for co-design of hardware and neural network architectures using coarse-to-fine search, two-phased block distillation and neural hardware predictor
WO2023081398A1 (en) * 2021-11-05 2023-05-11 Bired Imaging, Inc. Spatial and characteristic property data to detect a source in a system
CN116012324A (zh) * 2022-12-27 2023-04-25 浙江华诺康科技有限公司 一种医学影像质量控制方法、装置和电子装置
WO2024142290A1 (ja) * 2022-12-27 2024-07-04 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
EP4702570A1 (en) * 2023-04-26 2026-03-04 PAIGE.AI, Inc. Systems and methods for processing whole slide images using machine-learning
US12525355B2 (en) * 2023-08-14 2026-01-13 Tempus Ai, Inc. Systems and methods of radiomics based cancer stratification
CN118711180B (zh) * 2024-08-30 2024-11-22 南昌大学第二附属医院 一种疟原虫图像检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
TW202013309A (zh) * 2018-09-19 2020-04-01 財團法人工業技術研究院 基於神經網路的分類方法及其分類裝置
CN111448584A (zh) * 2017-12-05 2020-07-24 文塔纳医疗系统公司 计算肿瘤空间和标记间异质性的方法
US20200272864A1 (en) * 2017-11-06 2020-08-27 University Health Network Platform, device and process for annotation and classification of tissue specimens using convolutional neural network

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10449388B2 (en) * 2013-06-18 2019-10-22 Duke University Systems and methods for specifying treatment criteria and treatment parameters for patient specific radiation therapy planning
US10803987B2 (en) * 2018-11-16 2020-10-13 Elekta, Inc. Real-time motion monitoring using deep neural network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
US20200272864A1 (en) * 2017-11-06 2020-08-27 University Health Network Platform, device and process for annotation and classification of tissue specimens using convolutional neural network
CN111448584A (zh) * 2017-12-05 2020-07-24 文塔纳医疗系统公司 计算肿瘤空间和标记间异质性的方法
TW202013309A (zh) * 2018-09-19 2020-04-01 財團法人工業技術研究院 基於神經網路的分類方法及其分類裝置

Also Published As

Publication number Publication date
US20220156929A1 (en) 2022-05-19
TW202217841A (zh) 2022-05-01
US12106473B2 (en) 2024-10-01
TW202217840A (zh) 2022-05-01
US12067717B2 (en) 2024-08-20
TWI776716B (zh) 2022-09-01
US20220130038A1 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
TWI790788B (zh) 醫療影像分析系統及方法
Dandıl et al. Artificial neural network-based classification system for lung nodules on computed tomography scans
US20190108632A1 (en) Advanced computer-aided diagnosis of lung nodules
WO2019200753A1 (zh) 病变监测方法、装置、计算机设备和存储介质
CN101517614A (zh) 肺结节的高级计算机辅助诊断
CN112508884B (zh) 一种癌变区域综合检测装置及方法
Orozco et al. Lung nodule classification in CT thorax images using support vector machines
CN114092450B (zh) 一种基于胃镜检查视频的实时图像分割方法、系统、装置
Jony et al. Detection of lung cancer from CT scan images using GLCM and SVM
Dandıl A Computer‐Aided Pipeline for Automatic Lung Cancer Classification on Computed Tomography Scans
Timp et al. Interval change analysis to improve computer aided detection in mammography
Braz Junior et al. Breast cancer detection in mammography using spatial diversity, geostatistics, and concave geometry
CN111259925A (zh) 基于k均值聚类和宽度突变算法的田间麦穗计数方法
Castillejos et al. Wavelet transform fuzzy algorithms for dermoscopic image segmentation
Divyashree et al. Breast cancer mass detection in mammograms using gray difference weight and mser detector
Khordehchi et al. Automatic lung nodule detection based on statistical region merging and support vector machines
Ghongade et al. Computer-aided diagnosis system for breast cancer using RF classifier
Hamad et al. Segmentation and measurement of lung pathological changes for COVID-19 diagnosis based on computed tomography
TW201726064A (zh) 醫療影像處理裝置及其乳房影像處理方法
CN115116625B (zh) 胰腺癌淋巴结转移分期预测方法、装置和存储介质
Hupse et al. The effect of feature selection methods on computer-aided detection of masses in mammograms
Sharin et al. Prostate cancer classification technique on pelvis CT images
Arymurthy Association technique based on classification for classifying microcalcification and mass in mammogram
Youssef et al. Statistical features and classification of normal and abnormal mammograms
Johora et al. Lung cancer detection using marker controlled watershed with svm