TWI787130B - 呼吸狀態分類方法及其系統 - Google Patents

呼吸狀態分類方法及其系統 Download PDF

Info

Publication number
TWI787130B
TWI787130B TW111118286A TW111118286A TWI787130B TW I787130 B TWI787130 B TW I787130B TW 111118286 A TW111118286 A TW 111118286A TW 111118286 A TW111118286 A TW 111118286A TW I787130 B TWI787130 B TW I787130B
Authority
TW
Taiwan
Prior art keywords
chest
classifier
training
respiratory
image
Prior art date
Application number
TW111118286A
Other languages
English (en)
Other versions
TW202347349A (zh
Inventor
吳杰亮
詹明澄
趙文震
白鎧誌
黃育仁
賴來勳
王敏嫻
許瑞愷
陳倫奇
Original Assignee
臺中榮民總醫院
東海大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 臺中榮民總醫院, 東海大學 filed Critical 臺中榮民總醫院
Priority to TW111118286A priority Critical patent/TWI787130B/zh
Priority to US17/935,619 priority patent/US11908136B2/en
Application granted granted Critical
Publication of TWI787130B publication Critical patent/TWI787130B/zh
Publication of TW202347349A publication Critical patent/TW202347349A/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/031Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一種呼吸狀態分類方法,用以分類至少二呼吸狀態,呼吸狀態分類方法包含訓練用生理參數輸入步驟、訓練用胸腔影像輸入步驟、特徵生理參數產生步驟、特徵胸腔影像產生步驟、訓練步驟及分類器產生步驟。特徵胸腔影像產生步驟包含處理訓練用胸腔影像中至少一部分,將受處理之各訓練用胸腔影像中左肺、右肺及心臟的影像分割出來並對其進行影像資料增強,以產生複數特徵胸腔影像。分類器產生步驟包含於至少一機器學習演算法訓練後產生至少一呼吸狀態分類器,其用以分類至少二呼吸狀態。藉此,可產生有效的呼吸狀態分類器。

Description

呼吸狀態分類方法及其系統
本揭示內容是有關於一種呼吸狀態分類方法及其系統,且特別是有關於訓練生理參數及胸腔影像以產生呼吸狀態分類器的呼吸狀態分類方法及其系統。
隨著流感與新冠肺炎等呼吸相關疾病對人們造成的威脅日益加劇,醫療資源也容易隨之緊繃及不足,然而,若能透過有效的臨床輔助決策工具協助呼吸相關疾病的決策,進一步提供病人及時的治療,對於病人、醫療系統及整體社會而言將是莫大的福祉。
舉例而言,急性呼吸窘迫症候群(Acute Respiratory Distress Syndrome,ARDS)是加護病房重症病人常見的疾病,目前醫學實證顯示,除即時落實保護性通氣策略外,針對重度急性呼吸窘迫症候群病人早期使用肌肉鬆弛劑、執行俯臥通氣治療及葉克膜均可以有效降低死亡率。根據一跨國大型研究顯示,約有十分之一的重症病人會發生急性呼吸窘迫症候群,而使用呼吸器的病人中更高達四分之一。若重症病人和併有急性呼吸窘迫症候群,死亡率將高達四成以上。然而,這些病人可能會被臨床醫護團隊忽視,而未能及時辨認診斷急性呼吸窘迫症候群的發生,進而落實實證醫學所建議相關診療原則。因此即時提醒醫護團隊病人已發生或即將發生急性呼吸窘迫症候群,以落實相關診療措施是降低急性呼吸窘迫症候群的重要一環。
根據上述,如何透過有效的臨床輔助決策工具協助呼吸相關疾病的決策,進一步提供病人及時的治療,遂成為當今關注的重要議題。
本揭示內容提供一種呼吸狀態分類方法及其系統,透過前處理訓練用胸腔影像,將各訓練用胸腔影像中左肺、右肺及心臟的影像分割出來並對其進行影像資料增強以產生特徵胸腔影像,並將特徵生理參數及特徵胸腔影像以機器學習演算法進行訓練後產生呼吸狀態分類器,用以分類至少二呼吸狀態,而可產生有效的呼吸狀態分類器。
依據本揭示內容一實施方式提供一種呼吸狀態分類方法,用以分類至少二呼吸狀態,呼吸狀態分類方法包含訓練用生理參數輸入步驟、訓練用胸腔影像輸入步驟、特徵生理參數產生步驟、特徵胸腔影像產生步驟、訓練步驟及分類器產生步驟。訓練用生理參數輸入步驟包含輸入複數訓練用生理參數,其中各訓練用生理參數對應一呼吸狀態。訓練用胸腔影像輸入步驟包含輸入複數訓練用胸腔影像,其中各訓練用胸腔影像對應一呼吸狀態。特徵生理參數產生步驟包含處理訓練用生理參數中至少一部分以產生複數特徵生理參數。特徵胸腔影像產生步驟包含處理訓練用胸腔影像中至少一部分,將受處理之各訓練用胸腔影像中左肺、右肺及心臟的影像分割出來並對其進行影像資料增強,以產生複數特徵胸腔影像。訓練步驟包含將特徵生理參數及特徵胸腔影像以至少一機器學習演算法進行訓練。分類器產生步驟包含於至少一機器學習演算法訓練後產生至少一呼吸狀態分類器,其用以分類至少二呼吸狀態。
依據前述實施方式之呼吸狀態分類方法的實施例中,訓練用生理參數可包含至少一臨床參數、至少一呼吸器參數及至少一實驗室參數,臨床參數包含體溫、呼吸、脈搏、收縮壓、血氧及尿量中至少一者,呼吸器參數包含吸入氧氣濃度(FiO2)、吐氣末正壓(PEEP)、尖峰氣道壓力(PAW)、平均氣道壓(MAP)、呼吸頻率(RR)及潮氣容積(VT)中至少一者,實驗室參數包含前降鈣素(PCT)、動脈血二氧化碳分壓(PaCO 2)及動脈血氧氣分壓(PaO 2)中至少一者,且特徵生理參數的數量介於15個至25個之間。
依據前述實施方式之呼吸狀態分類方法的實施例中,臨床參數、呼吸器參數及實驗室參數中各者可為一時間區間的平均值,時間區間介於12小時至72小時之間,且臨床參數及呼吸器參數中各者的時間區間小於實驗室參數的時間區間。
依據前述實施方式之呼吸狀態分類方法的實施例中,可更包含分類器驗證步驟、使用者生理參數輸入步驟、使用者胸腔影像輸入步驟及呼吸狀態分類步驟。分類器驗證步驟包含以訓練用生理參數中另一部分及訓練用胸腔影像中另一部分驗證呼吸狀態分類器。使用者生理參數輸入步驟包含量測使用者之複數使用者生理參數,並輸入使用者生理參數至呼吸狀態分類器。使用者胸腔影像輸入步驟包含拍攝使用者之使用者胸腔影像,並輸入使用者胸腔影像至呼吸狀態分類器。呼吸狀態分類步驟包含依據使用者生理參數及使用者胸腔影像,透過呼吸狀態分類器分類使用者屬於一呼吸狀態。
依據前述實施方式之呼吸狀態分類方法的實施例中,呼吸狀態分類方法可為急性呼吸窘迫症候群(ARDS)臨床輔助決策方法,且至少二呼吸狀態分別為急性呼吸窘迫症候群及非急性呼吸窘迫症候群的呼吸狀態。
依據前述實施方式之呼吸狀態分類方法的實施例中,在分類器產生步驟中,至少一呼吸狀態分類器的數量可為二個且分別為生理參數分類器及胸腔影像分類器,並用以依據生理參數分類器及胸腔影像分類器中各者的輸出機率的平均值分類至少二呼吸狀態。
依據前述實施方式之呼吸狀態分類方法的實施例中,在訓練用胸腔影像輸入步驟中,各訓練用胸腔影像可為X光胸腔影像,且訓練用胸腔影像中至少一部份為美國國家衛生院(NIH)所發佈之Chest X-ray14資料集並分別標註15種胸腔病徵標籤。訓練步驟可包含將特徵胸腔影像以DenseNet-121(密集卷積網路-121)的卷積神經網路進行訓練,且特徵胸腔影像對應15種胸腔病徵標籤;依據特徵胸腔影像於至少二呼吸狀態的分類及15種胸腔病徵標籤的分類,適應地更新卷積神經網路的最後卷積區塊及後續網路權重,用以微調胸腔影像分類器。
依據前述實施方式之呼吸狀態分類方法的實施例中,在特徵胸腔影像產生步驟中,對應急性呼吸窘迫症候群相比於非急性呼吸窘迫症候群的特徵胸腔影像的數量的比例可介於0.8至1.2之間。在訓練步驟中,特徵胸腔影像的初始學習率可介於10 -5至10 -3之間,每10個回合(Epoch)的下降率可介於0.01倍至0.1倍之間。
依據本揭示內容另一實施方式提供一種呼吸狀態分類系統,用以分類至少二呼吸狀態,呼吸狀態分類系統包含至少一處理器及至少一程序儲存媒體,程序儲存媒體耦接處理器並提供呼吸狀態分類器產生程序。處理器基於呼吸狀態分類器產生程序用以:處理複數訓練用生理參數中至少一部分以產生複數特徵生理參數,其中各訓練用生理參數對應一呼吸狀態;處理複數訓練用胸腔影像中至少一部分,將受處理之各訓練用胸腔影像中左肺、右肺及心臟的影像分割出來並對其進行影像資料增強,以產生複數特徵胸腔影像,其中各訓練用胸腔影像對應一呼吸狀態;將特徵生理參數及特徵胸腔影像以至少一機器學習演算法進行訓練;以及於至少一機器學習演算法訓練後產生至少一呼吸狀態分類器,其用以分類至少二呼吸狀態。
依據前述實施方式之呼吸狀態分類系統的實施例中,可更包含至少一生理參數儲存媒體及一胸腔影像儲存媒體。生理參數儲存媒體耦接處理器,並用以提供使用者之複數使用者生理參數。胸腔影像儲存媒體耦接處理器,並用以提供使用者之使用者胸腔影像。至少一程序儲存媒體更提供呼吸狀態分類器,處理器基於呼吸狀態分類器更用以依據使用者生理參數及使用者胸腔影像,透過呼吸狀態分類器分類使用者屬於一呼吸狀態。
依據前述實施方式之呼吸狀態分類系統的實施例中,呼吸狀態分類系統可為急性呼吸窘迫症候群臨床輔助決策系統,且至少二呼吸狀態分別為急性呼吸窘迫症候群及非急性呼吸窘迫症候群的呼吸狀態。
依據前述實施方式之呼吸狀態分類系統的實施例中,至少一呼吸狀態分類器的數量可為二個且分別為生理參數分類器及胸腔影像分類器。處理器基於呼吸狀態分類器產生程序更用以依據生理參數分類器及胸腔影像分類器中各者的輸出機率的平均值分類至少二呼吸狀態。
依據前述實施方式之呼吸狀態分類系統的實施例中,各訓練用胸腔影像可為X光胸腔影像,且訓練用胸腔影像中至少一部份為美國國家衛生院所發佈之Chest X-ray14資料集並分別標註15種胸腔病徵標籤。處理器基於呼吸狀態分類器產生程序可更用以:將特徵胸腔影像以DenseNet-121的卷積神經網路進行訓練,且特徵胸腔影像對應15種胸腔病徵標籤;依據特徵胸腔影像於至少二呼吸狀態的分類及15種胸腔病徵標籤的分類,適應地更新卷積神經網路的最後卷積區塊及後續網路權重,用以微調胸腔影像分類器。
以下將參照圖式說明本揭示內容之複數實施例。為明確說明起見,許多實務上的細節將在以下敘述中一併說明。然而,應瞭解到,這些實務上的細節不應用以限制本揭示內容。也就是說,在本揭示內容實施例中,這些實務上的細節是非必要的。此外,為簡化圖式起見,一些習知慣用的結構與元件在圖式中將以簡單示意的方式繪示之;並且重複之元件將可能使用相同的編號表示之。
此外,第一、第二等用語只是用來描述不同元件,而對元件本身並無限制,因此,第一元件亦可改稱為第二元件。且本文中之元件之組合非此領域中之一般周知、常規或習知之組合,不能以元件本身是否為習知,來判定其組合關係是否容易被技術領域中之通常知識者輕易完成。
第1A圖繪示本揭示內容第一實施例的呼吸狀態分類方法100的流程圖,請參照第1A圖,呼吸狀態分類方法100用以分類至少二呼吸狀態,呼吸狀態分類方法100包含訓練用生理參數輸入步驟110、訓練用胸腔影像輸入步驟120、特徵生理參數產生步驟130、特徵胸腔影像產生步驟140、訓練步驟150及分類器產生步驟160。
訓練用生理參數輸入步驟110包含輸入複數訓練用生理參數,其中各訓練用生理參數對應一呼吸狀態。訓練用胸腔影像輸入步驟120包含輸入複數訓練用胸腔影像,其中各訓練用胸腔影像對應一呼吸狀態。特徵生理參數產生步驟130包含處理(即前處理)訓練用生理參數中至少一部分以產生複數特徵生理參數。特徵胸腔影像產生步驟140包含處理(即前處理)訓練用胸腔影像中至少一部分,將受處理之各訓練用胸腔影像中左肺、右肺及心臟的影像分割出來並對其進行影像資料增強,以產生複數特徵胸腔影像。訓練步驟150包含將特徵生理參數及特徵胸腔影像以至少一機器學習(Machine Learning)演算法進行訓練,分類器產生步驟160包含於至少一機器學習演算法訓練後產生至少一呼吸狀態分類器(即呼吸狀態分類模型),其用以分類至少二呼吸狀態。藉此,有利於同時考量生理參數及胸腔影像的特徵產生可信賴的呼吸狀態分類器。
詳細而言,呼吸狀態分類方法100可為急性呼吸窘迫症候群臨床輔助決策方法,以實現急性呼吸窘迫症候群臨床輔助決策系統(Clinical Decision Supporting System),且至少二呼吸狀態分別為急性呼吸窘迫症候群(ARDS)及非急性呼吸窘迫症候群(non-ARDS)的呼吸狀態。藉此,呼吸狀態分類方法100用以建立急性呼吸窘迫症候群人工智慧輔助診斷模型,目的在整合醫療常規相關資訊,輔助第一線工作人員,提升工作效率並減輕負荷。運用生理參數及胸腔影像,建立自動化資料處理模組,具有即時收集、自動資料清理及結構化存放功能。藉由推論引擎提供急性呼吸窘迫症候群診療相關資訊,以及時給予適當的處置,改善診療品質並提升治療成果,進而降低死亡率。進一步地,藉由決策輔助系統提供警示及處置推薦,並由互動模組收集醫療人員回饋資訊,透過後處理模組,轉入訓練資料,提供模型訓練模組,以循環模型訓練運用。
在訓練用生理參數輸入步驟110中,訓練用生理參數可包含加護病房(ICU)病人的至少一臨床參數、至少一呼吸器參數及至少一實驗室參數,臨床參數包含體溫、呼吸、脈搏、收縮壓、血氧及尿量中至少一者,呼吸器參數包含吸入氧氣濃度(fraction of inspired oxygen,FiO2)、吐氣末正壓(positive end-expiratory pressure,PEEP)、尖峰氣道壓力(peak airway pressure,PAW)、平均氣道壓(mean airway pressure,MAP)、呼吸頻率(respiratory rate,RR)及潮氣容積(tidal volume,VT)中至少一者,實驗室參數包含前降鈣素(procalcitonin,PCT)、動脈血二氧化碳分壓(partial pressure of arterial carbon dioxide,PaCO2)及動脈血氧氣分壓(partial pressure of arterial oxygen,PaO2)中至少一者。藉此,有助透過與所欲分類的呼吸狀態相關的生理參數產生可信賴的呼吸狀態分類器。
進一步而言,臨床參數、呼吸器參數及實驗室參數中各者可為一時間區間的平均值,時間區間介於12小時至72小時之間,且臨床參數及呼吸器參數中各者的時間區間小於實驗室參數的時間區間。藉此,有助於兼顧分類器準確性及適當的特徵值數量。第一實施例中,臨床參數及呼吸器參數中各者的時間區間為24小時,且採用連續二個24小時的平均值,即共計48小時,實驗室參數的時間區間為48小時,故臨床參數及呼吸器參數中各者的時間區間小於實驗室參數的時間區間。
在特徵生理參數產生步驟130中,特徵生理參數的數量可介於15個至25個之間。藉此,有助於以適當的特徵值數量產生有效的呼吸狀態分類器。第一實施例中,於進行特徵工程、特徵選取之後,特徵生理參數的數量可為21個,以進行模型訓練與驗證。
在訓練用胸腔影像輸入步驟120中,各訓練用胸腔影像可為X光胸腔影像,且訓練用胸腔影像中至少一部份為美國國家衛生院(NIH)所發佈之Chest X-ray14資料集並分別標註15種胸腔病徵標籤(14種胸腔病徵加上未發現胸腔病徵,故共計15種)。藉此,有利於胸腔影像取樣的多樣性及客觀性。
在特徵胸腔影像產生步驟140中,對應急性呼吸窘迫症候群相比於非急性呼吸窘迫症候群的特徵胸腔影像的數量的比例可介於0.8至1.2之間。藉此,有助於以適當的數量比例產生有效地篩選急性呼吸窘迫症候群的分類器。第一實施例中,可進行降採樣(Down Sampling)使所述比例為1。
再者,在前處理訓練用胸腔影像的具體過程中,包含將訓練用胸腔影像由dcm格式轉為png格式,對訓練用胸腔影像調整成一致大小或正規化(Normalization),去除黑邊或移除四周空白部分。接著,使用區域型遮罩卷積神經網路(Mask R-CNN)將受處理之各訓練用胸腔影像中左肺、右肺及心臟的影像分割出來,並根據此分割對影像進行裁切,如此使輸入影像訓練模組之特徵胸腔影像僅包含胸腔部位,從而避免胸腔外部、橫膈以下等部位之影像干擾判讀。接著,舉例而言,將經過影像分割的X光影像從1024像素*1024像素的大小調整為224像素*224像素大小,接著每張影像透過旋轉和尺度抖動(Scale Jittering)進行影像資料增強之後產出5倍影像,以進行後續的訓練步驟150。
第1B圖繪示第一實施例的呼吸狀態分類方法100的部分流程圖,請參照第1B圖,訓練步驟150可包含步驟151、152、154。步驟151是關於生理參數的訓練,並包含將特徵生理參數以XGBoost(Extreme Gradient Boosting,極限梯度提升)機器學習演算法進行訓練。
步驟152、154是關於胸腔影像的訓練,使用遷移式學習(Transfer Learning)的方法,且分為步驟152、154等二階段。步驟152包含將特徵胸腔影像以DenseNet-121(密集卷積網路-121)的卷積神經網路(Convolutional Neural Network,CNN)進行訓練,即是以美國國家衛生院所發佈之Chest X-ray14資料集前處理後的特徵胸腔影像進行前訓練(Pre-train),其中Chest X-ray14資料集分別標註15種胸腔病徵標籤。接著,以ImageNet為初始權重訓練DenseNet-121的卷積神經網路分類每張特徵胸腔影像,其與15種胸腔病徵標籤具有對應關係,用以萃取出胸部病徵的特徵。步驟154包含依據特徵胸腔影像於至少二呼吸狀態的分類及15種胸腔病徵標籤的分類,具體上是將訓練完的Chest X-ray14模型權重新套用在急性呼吸窘迫症候群的分類上,以適應地更新卷積神經網路的最後卷積區塊及後續網路權重,用以微調後續的分類器產生步驟160中呼吸狀態分類器之一的胸腔影像分類器(例如第2A圖及第2B圖中的胸腔影像分類器226)。藉此,以急性呼吸窘迫症候群舉例而言,其為加護病房常見的疾病,也是流感重症與新冠肺炎主要致死原因。合併有急性呼吸窘迫症候群的病人有非常高的死亡率,但臨床實務上可能被忽略或延遲,以致容易未落實臨床指引所建議的治療原則。急性呼吸窘迫症候群的診斷必須整合生理參數及胸腔影像表現,以綜合判斷。其中有關胸部X光片的判讀以及綜合判斷排除單純性肺水腫(Pulmonary Edema)往往需要藉助豐富的臨床經驗,這也是急性呼吸窘迫症候群診療未臻理想且死亡率高的原因之一。因此,即時整合臨床資料、呼吸器相關參數、實驗室數據及胸腔影像等,運用數據邏輯技術轉換成資訊以輔助第一線醫療人員進行診斷與治療,是一個迫切的需求。藉由分類器(即推論引擎)產出的結果,提供專業人進行醫療決策,除提升整體重症醫療品質,改善重症病人存活率,並可以分擔臨床工作壓力,減輕第一線人員負荷。
在訓練步驟150的步驟152中,特徵胸腔影像的初始學習率(Learning Rate)可介於10 -5至10 -3之間,每10個回合(Epoch)的下降率可介於0.01倍至0.1倍之間。藉此,有助於有效地產生胸腔影像分類器。第一實施例中,進行降採樣使對應急性呼吸窘迫症候群相比於非急性呼吸窘迫症候群的特徵胸腔影像的數量的比例為1,各有360筆,損失(Loss)函數使用交叉熵(Cross Entropy),優化器(Optimizer)使用Adam,初始學習率為10 -4,每10個回合的下降率為0.1倍。
第2A圖繪示本揭示內容第二實施例的呼吸狀態分類系統200的方塊圖,第2B圖繪示第二實施例的呼吸狀態分類系統200的示意圖。請參照第1A圖、第1B圖、第2A圖及第2B圖,並以本揭示內容第二實施例的呼吸狀態分類系統200輔助說明第一實施例的呼吸狀態分類方法100,分類器產生步驟160可包含步驟161、162、166,至少一呼吸狀態分類器的數量可為二個且分別為生理參數分類器225及胸腔影像分類器226。步驟161包含產生生理參數分類器225,步驟162包含產生胸腔影像分類器226。步驟166包含整合生理參數分類器225及胸腔影像分類器226,具體上是用於後續的呼吸狀態分類步驟190中依據生理參數分類器225及胸腔影像分類器226中各者的輸出機率的平均值分類至少二呼吸狀態,例如設定急性呼吸窘迫症候群輸出機率的平均值的閾值為0.5,輸出機率的平均值超過0.5即判定為急性呼吸窘迫症候群,未超過0.5即判定為非急性呼吸窘迫症候群。藉此,透過兼顧生理參數及胸腔影像的特徵,有利於產生可信賴的呼吸狀態分類器。
請參照第1A圖及第1B圖,呼吸狀態分類方法100具體上可更包含分類器驗證步驟169,其包含以訓練用生理參數中另一部分及訓練用胸腔影像中另一部分驗證呼吸狀態分類器。舉例而言,呼吸狀態分類方法100是將訓練用生理參數的資料集及訓練用胸腔影像的資料集皆分成訓練步驟150使用之訓練資料集與分類器驗證步驟169使用之驗證資料集,分別佔資料集的80%與20%。訓練資料集用來進行分類器訓練,並最後用驗證資料集觀察驗證結果。訓練步驟150及分類器驗證步驟169採用5 Fold的交叉驗證方式,即將資料集切割成五等份,每一等份的資料都輪流當作訓練資料集與驗證資料集,進行五次的分類器訓練與驗證後會得出五次結果,最後以五次結果之平均來檢視分類器訓練的一致性。
呼吸狀態分類方法100具體上可更包含使用者生理參數輸入步驟170、使用者胸腔影像輸入步驟180、呼吸狀態分類步驟190及分類結果顯示步驟195。使用者生理參數輸入步驟170包含量測使用者(例如病人、患者)之複數使用者生理參數,並輸入使用者生理參數至呼吸狀態分類器。使用者胸腔影像輸入步驟180包含拍攝使用者之使用者胸腔影像,並輸入使用者胸腔影像至呼吸狀態分類器。呼吸狀態分類步驟190包含依據使用者生理參數及使用者胸腔影像,透過呼吸狀態分類器分類使用者屬於一呼吸狀態。分類結果顯示步驟195包含透過顯示器260顯示分類結果。藉此,透過同時考量生理參數及胸腔影像的呼吸狀態分類器的輔助,有助及時給予病人適當的處置。
請參照第2A圖及第2B圖,依據本揭示內容的第二實施例的呼吸狀態分類系統200用以分類至少二呼吸狀態,呼吸狀態分類系統200包含至少一處理器210及至少一程序儲存媒體220,程序儲存媒體220耦接處理器210並提供呼吸狀態分類器產生程序224。處理器210基於呼吸狀態分類器產生程序224用以:處理複數訓練用生理參數中至少一部分以產生複數特徵生理參數,其中各訓練用生理參數對應一呼吸狀態;處理複數訓練用胸腔影像中至少一部分,將受處理之各訓練用胸腔影像中左肺、右肺及心臟的影像分割出來並對其進行影像資料增強,以產生複數特徵胸腔影像,其中各訓練用胸腔影像對應一呼吸狀態;將特徵生理參數及特徵胸腔影像以至少一機器學習演算法進行訓練;以及於至少一機器學習演算法訓練後產生至少一呼吸狀態分類器,其用以分類至少二呼吸狀態。藉此,有利於同時考量生理參數及胸腔影像的特徵產生可信賴的呼吸狀態分類器。
詳細而言,至少一呼吸狀態分類器的數量可為二個且分別為生理參數分類器225及胸腔影像分類器226。處理器210基於呼吸狀態分類器產生程序224更用以依據生理參數分類器225及胸腔影像分類器226中各者的輸出機率的平均值分類至少二呼吸狀態。
呼吸狀態分類系統200可更包含生理參數儲存媒體271、272、273及胸腔影像儲存媒體280。生理參數儲存媒體271、272、273耦接處理器210,並分別用以提供使用者之複數使用者生理參數中的臨床參數、呼吸器參數、實驗室參數。胸腔影像儲存媒體280耦接處理器210,並用以提供使用者之使用者胸腔影像。至少一程序儲存媒體220更提供呼吸狀態分類器,處理器210基於呼吸狀態分類器更用以依據使用者生理參數及使用者胸腔影像,透過呼吸狀態分類器分類使用者屬於一呼吸狀態。再者,程序儲存媒體220、生理參數儲存媒體271、272、273及胸腔影像儲存媒體280中各者具體上可為本地或雲端的非暫時性電腦可讀取儲存媒體,且處理器210、程序儲存媒體220、生理參數儲存媒體271、272、273及胸腔影像儲存媒體280中各者具體上可為單一裝置、單一裝置的一部分或是複數裝置。
第2C圖繪示第二實施例的呼吸狀態分類系統200的分類結果顯示示意圖,請參照第2A圖至第2C圖,呼吸狀態分類系統200可更包含顯示器260,其耦接處理器210。程序儲存媒體220更提供分類結果顯示程序227,處理器210基於分類結果顯示程序227用以透過顯示器260顯示分類結果,其包含至少二呼吸狀態分別的輸出機率,如第2C圖中呼吸狀態機率區塊261所示。舉例而言,呼吸狀態機率區塊261顯示第一呼吸狀態的輸出機率0.53高於第二呼吸狀態的輸出機率0.47,當第一呼吸狀態對應非急性呼吸窘迫症候群,第二呼吸狀態對應急性呼吸窘迫症候群,則表示使用者被分類為非急性呼吸窘迫症候群。藉此,透過整合生理參數分類器225及胸腔影像分類器226,能夠整合臨床數據等生理參數與胸腔影像各自模型預測之急性呼吸窘迫症候群風險機率,最後給定一個急性呼吸窘迫症候群的診斷風險機率,並輸出數據判讀,提供醫師臨床診斷之參考。
第2D圖、第2E圖及第2F圖繪示第二實施例的呼吸狀態分類系統200的胸腔影像相關之分類結果顯示示意圖,請參照第2C圖至第2F圖,分類結果可更包含生理參數解釋區塊262(如第2C圖所示),其包含各生理參數264與第一呼吸狀態(左側長條)及第二呼吸狀態(右側長條)的相關性數值。再者,分類結果可更包含原始的使用者胸腔影像(如第2D圖所示)、在使用者胸腔影像上的對應第一呼吸狀態的非急性呼吸窘迫症候群的陰性焦點265(Negative Focus,如第2E圖所示)、在使用者胸腔影像上的對應第二呼吸狀態的急性呼吸窘迫症候群的陽性焦點266(Positive Focus,如第2F圖所示)。藉此,應用本揭示內容的急性呼吸窘迫症候群的呼吸狀態的自動分類器除了以風險機率提醒之外,也以病人的數據與X光影像進行可視覺化的方式呈現,提供醫師了解呼吸狀態的自動分類器所判讀的數據重點與影像關注的重要位置,作為輔助醫師在急性呼吸窘迫症候群的診斷判讀。
關於第二實施例的呼吸狀態分類系統200的其他細節,可參照前述第一實施例的呼吸狀態分類方法100的內容,在此不再詳述。
雖然本發明已以實施方式揭露如上,然其並非用以限定本發明,任何熟習此技藝者,在不脫離本發明的精神和範圍內,當可作各種的更動與潤飾,因此本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:呼吸狀態分類方法 110:訓練用生理參數輸入步驟 120:訓練用胸腔影像輸入步驟 130:特徵生理參數產生步驟 140:特徵胸腔影像產生步驟 150:訓練步驟 151,152,154,161,162,166:步驟 160:分類器產生步驟 169:分類器驗證步驟 170:使用者生理參數輸入步驟 180:使用者胸腔影像輸入步驟 190:呼吸狀態分類步驟 195:分類結果顯示步驟 200:呼吸狀態分類系統 210:處理器 220:程序儲存媒體 224:呼吸狀態分類器產生程序 225:生理參數分類器 226:胸腔影像分類器 227:分類結果顯示程序 260:顯示器 261:呼吸狀態機率區塊 262:生理參數解釋區塊 264:生理參數 265:陰性焦點 266:陽性焦點 271,272,273:生理參數儲存媒體 280:胸腔影像儲存媒體
第1A圖繪示本揭示內容第一實施例的呼吸狀態分類方法的流程圖; 第1B圖繪示第一實施例的呼吸狀態分類方法的部分流程圖; 第2A圖繪示本揭示內容第二實施例的呼吸狀態分類系統的方塊圖; 第2B圖繪示第二實施例的呼吸狀態分類系統的示意圖; 第2C圖繪示第二實施例的呼吸狀態分類系統的分類結果顯示示意圖; 第2D圖繪示第二實施例的呼吸狀態分類系統的胸腔影像相關之分類結果顯示示意圖; 第2E圖繪示第二實施例的呼吸狀態分類系統的胸腔影像相關之另一分類結果顯示示意圖;以及 第2F圖繪示第二實施例的呼吸狀態分類系統的胸腔影像相關之再一分類結果顯示示意圖。
100:呼吸狀態分類方法
110:訓練用生理參數輸入步驟
120:訓練用胸腔影像輸入步驟
130:特徵生理參數產生步驟
140:特徵胸腔影像產生步驟
150:訓練步驟
160:分類器產生步驟
169:分類器驗證步驟
170:使用者生理參數輸入步驟
180:使用者胸腔影像輸入步驟
190:呼吸狀態分類步驟
195:分類結果顯示步驟

Claims (11)

  1. 一種呼吸狀態分類方法,用以分類至少二呼吸狀態,該呼吸狀態分類方法包含:一訓練用生理參數輸入步驟,輸入複數訓練用生理參數,其中各該訓練用生理參數對應一該呼吸狀態;一訓練用胸腔影像輸入步驟,輸入複數訓練用胸腔影像,其中各該訓練用胸腔影像對應一該呼吸狀態,各該訓練用胸腔影像為一X光胸腔影像,且該些訓練用胸腔影像中至少一部份為美國國家衛生院(NIH)所發佈之一Chest X-ray14資料集並分別標註一15種胸腔病徵標籤;一特徵生理參數產生步驟,處理該些訓練用生理參數中至少一部分以產生複數特徵生理參數;一特徵胸腔影像產生步驟,處理該些訓練用胸腔影像中至少一部分,將受處理之各該訓練用胸腔影像中左肺、右肺及心臟的影像分割出來並對其進行影像資料增強,以產生複數特徵胸腔影像;一訓練步驟,將該些特徵生理參數以一機器學習演算法進行訓練,且將該些特徵胸腔影像以DenseNet-121(密集卷積網路-121)的一卷積神經網路進行訓練,其中該些特徵胸腔影像對應該15種胸腔病徵標籤;以及一分類器產生步驟,於該機器學習演算法及該卷積神經網路訓練後分別產生二呼吸狀態分類器,該二呼吸狀態分類器分別為一生理參數分類器及一胸腔影像分類器且用以分類該至少二呼吸狀態,其中依據該些特徵胸腔影像於該 至少二呼吸狀態的分類及該15種胸腔病徵標籤的分類,適應地更新該卷積神經網路的一最後卷積區塊及一後續網路權重,用以微調該胸腔影像分類器。
  2. 如請求項1所述之呼吸狀態分類方法,其中該些訓練用生理參數包含至少一臨床參數、至少一呼吸器參數及至少一實驗室參數,該臨床參數包含體溫、呼吸、脈搏、收縮壓、血氧及尿量中至少一者,該呼吸器參數包含吸入氧氣濃度(FiO2)、吐氣末正壓(PEEP)、尖峰氣道壓力(PAW)、平均氣道壓(MAP)、呼吸頻率(RR)及潮氣容積(VT)中至少一者,該實驗室參數包含前降鈣素(PCT)、動脈血二氧化碳分壓(PaCO2)及動脈血氧氣分壓(PaO2)中至少一者;其中,該些特徵生理參數的數量介於15個至25個之間。
  3. 如請求項2所述之呼吸狀態分類方法,其中該臨床參數、該呼吸器參數及該實驗室參數中各者為一時間區間的平均值,該時間區間介於12小時至72小時之間,且該臨床參數及該呼吸器參數中各者的該時間區間小於該實驗室參數的該時間區間。
  4. 如請求項1所述之呼吸狀態分類方法,更包含: 一分類器驗證步驟,以該些訓練用生理參數中另一部分及該些訓練用胸腔影像中另一部分分別驗證該生理參數分類器及該胸腔影像分類器;一使用者生理參數輸入步驟,量測一使用者之複數使用者生理參數,並輸入該些使用者生理參數至該生理參數分類器;一使用者胸腔影像輸入步驟,拍攝該使用者之一使用者胸腔影像,並輸入該使用者胸腔影像至該胸腔影像分類器;以及一呼吸狀態分類步驟,依據該些使用者生理參數及該使用者胸腔影像,透過該生理參數分類器及該胸腔影像分類器分類該使用者屬於一該呼吸狀態。
  5. 如請求項1所述之呼吸狀態分類方法,其中該呼吸狀態分類方法為一急性呼吸窘迫症候群(ARDS)臨床輔助決策方法,且該至少二呼吸狀態分別為一急性呼吸窘迫症候群及一非急性呼吸窘迫症候群的呼吸狀態。
  6. 如請求項5所述之呼吸狀態分類方法,其中在該分類器產生步驟中,依據該生理參數分類器及該胸腔影像分類器中各者的輸出機率的平均值分類該至少二呼吸狀態。
  7. 如請求項6所述之呼吸狀態分類方法,其中 在該特徵胸腔影像產生步驟中,對應該急性呼吸窘迫症候群相比於該非急性呼吸窘迫症候群的該些特徵胸腔影像的數量的比例介於0.8至1.2之間;其中,在該訓練步驟中,該些特徵胸腔影像的初始學習率介於10-5至10-3之間,每10個回合(Epoch)的下降率介於0.01倍至0.1倍之間。
  8. 一種呼吸狀態分類系統,用以分類至少二呼吸狀態,該呼吸狀態分類系統包含:至少一處理器;至少一程序儲存媒體,耦接該處理器並提供一呼吸狀態分類器產生程序;其中,該處理器基於該呼吸狀態分類器產生程序用以:處理複數訓練用生理參數中至少一部分以產生複數特徵生理參數,其中各該訓練用生理參數對應一該呼吸狀態,該些訓練用生理參數包含至少一臨床參數、至少一呼吸器參數及至少一實驗室參數,該臨床參數包含體溫、呼吸、脈搏、收縮壓、血氧及尿量中至少一者,該呼吸器參數包含吸入氧氣濃度、吐氣末正壓、尖峰氣道壓力、平均氣道壓、呼吸頻率及潮氣容積中至少一者,該實驗室參數包含前降鈣素、動脈血二氧化碳分壓及動脈血氧氣分壓中至少一者;處理複數訓練用胸腔影像中至少一部分,將受處理之各該訓練用胸腔影像中左肺、右肺及心臟的影像分割出來並 對其進行影像資料增強,以產生複數特徵胸腔影像,其中各該訓練用胸腔影像對應一該呼吸狀態,各該訓練用胸腔影像為一X光胸腔影像,且該些訓練用胸腔影像中至少一部份為美國國家衛生院所發佈之一Chest X-ray14資料集並分別標註一15種胸腔病徵標籤;將該些特徵生理參數以一機器學習演算法進行訓練;將該些特徵胸腔影像以DenseNet-121的一卷積神經網路進行訓練,其中該些特徵胸腔影像對應該15種胸腔病徵標籤;以及於該機器學習演算法及該卷積神經網路訓練後分別產生二呼吸狀態分類器,該二呼吸狀態分類器分別為一生理參數分類器及一胸腔影像分類器且用以分類該至少二呼吸狀態,其中依據該些特徵胸腔影像於該至少二呼吸狀態的分類及該15種胸腔病徵標籤的分類,適應地更新該卷積神經網路的一最後卷積區塊及一後續網路權重,用以微調該胸腔影像分類器。
  9. 如請求項8所述之呼吸狀態分類系統,更包含:至少一生理參數儲存媒體,耦接該處理器,並用以提供一使用者之複數使用者生理參數;一胸腔影像儲存媒體,耦接該處理器,並用以提供該使用者之一使用者胸腔影像;其中,該至少一程序儲存媒體更提供該生理參數分類器 及該胸腔影像分類器,該處理器基於該生理參數分類器及該胸腔影像分類器更用以:依據該些使用者生理參數及該使用者胸腔影像,透過該生理參數分類器及該胸腔影像分類器分類該使用者屬於一該呼吸狀態。
  10. 如請求項8所述之呼吸狀態分類系統,其中該呼吸狀態分類系統為一急性呼吸窘迫症候群臨床輔助決策系統,且該至少二呼吸狀態分別為一急性呼吸窘迫症候群及一非急性呼吸窘迫症候群的呼吸狀態。
  11. 如請求項10所述之呼吸狀態分類系統,其中該處理器基於該呼吸狀態分類器產生程序更用以:依據該生理參數分類器及該胸腔影像分類器中各者的輸出機率的平均值分類該至少二呼吸狀態。
TW111118286A 2022-05-16 2022-05-16 呼吸狀態分類方法及其系統 TWI787130B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW111118286A TWI787130B (zh) 2022-05-16 2022-05-16 呼吸狀態分類方法及其系統
US17/935,619 US11908136B2 (en) 2022-05-16 2022-09-27 Respiratory status classifying method and system thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111118286A TWI787130B (zh) 2022-05-16 2022-05-16 呼吸狀態分類方法及其系統

Publications (2)

Publication Number Publication Date
TWI787130B true TWI787130B (zh) 2022-12-11
TW202347349A TW202347349A (zh) 2023-12-01

Family

ID=85795110

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111118286A TWI787130B (zh) 2022-05-16 2022-05-16 呼吸狀態分類方法及其系統

Country Status (2)

Country Link
US (1) US11908136B2 (zh)
TW (1) TWI787130B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190057774A1 (en) * 2017-08-15 2019-02-21 Computer Technology Associates, Inc. Disease specific ontology-guided rule engine and machine learning for enhanced critical care decision support
CN110051324A (zh) * 2019-03-14 2019-07-26 深圳大学 一种急性呼吸窘迫综合征死亡率预测方法及系统
CN113066547A (zh) * 2021-03-16 2021-07-02 军事科学院系统工程研究院卫勤保障技术研究所 一种基于常规无创参数的ards早期动态预警方法与系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9691224B2 (en) 2014-02-19 2017-06-27 Gamblit Gaming, Llc Functional transformation interleaved wagering system
US11651850B2 (en) * 2019-12-20 2023-05-16 The Regents Of The University Of Michigan Computer vision technologies for rapid detection
TWM631912U (zh) * 2022-05-16 2022-09-11 臺中榮民總醫院 呼吸狀態分類系統

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190057774A1 (en) * 2017-08-15 2019-02-21 Computer Technology Associates, Inc. Disease specific ontology-guided rule engine and machine learning for enhanced critical care decision support
CN110051324A (zh) * 2019-03-14 2019-07-26 深圳大学 一种急性呼吸窘迫综合征死亡率预测方法及系统
CN113066547A (zh) * 2021-03-16 2021-07-02 军事科学院系统工程研究院卫勤保障技术研究所 一种基于常规无创参数的ards早期动态预警方法与系统

Also Published As

Publication number Publication date
TW202347349A (zh) 2023-12-01
US11908136B2 (en) 2024-02-20
US20230368375A1 (en) 2023-11-16

Similar Documents

Publication Publication Date Title
Rajaraman et al. Iteratively pruned deep learning ensembles for COVID-19 detection in chest X-rays
Medhi et al. Automatic detection of COVID-19 infection from chest X-ray using deep learning
WO2021082416A1 (zh) 网络模型训练方法及装置、病灶区域确定方法及装置
CN110555825A (zh) 胸部x线影像智能诊断系统及其诊断方法
Jafari et al. Classification of normal and abnormal respiration patterns using flow volume curve and neural network
CN110532424A (zh) 一种基于深度学习和云平台的肺音特征分类系统及方法
Tobias et al. CNN-based deep learning model for chest X-ray health classification using tensorflow
Barhoom et al. Diagnosis of pneumonia using deep learning
WO2019172181A1 (ja) 診断支援装置、プログラム、学習済みモデル、および学習装置
Ekong Supervised machine learning model for effective classification of patients with covid-19 symptoms based on bayesian belief network
TWM631912U (zh) 呼吸狀態分類系統
TWI787130B (zh) 呼吸狀態分類方法及其系統
Singh Pneumonia detection using deep learning
Gupta et al. A Comparative Analysis of Deep Convolution Layered Machine Learning approaches for Detection of Pneumonia from Chest Radiographs
CN113658688A (zh) 基于无分词深度学习的临床决策支持方法
Anwar SEnsembleNet: A Squeeze and Excitation based Ensemble Network for COVID-19 Infection Percentage Estimation from CT-Scans
Xue et al. SNU-Net: a self-supervised deep learning method for pneumothorax segmentation on chest CT
Pandey et al. An analysis of pneumonia prediction approach using deep learning
Vijaya et al. Classification of Pneumonia using InceptionNet, ResNet and CNN
Xiao et al. Denxfpn: pulmonary pathologies detection based on dense feature pyramid networks
Pant et al. X-rays imaging analysis for early diagnosis of the thoracic disorders using Capsule Neural Network with Transfer learning
Sutha et al. A survey of machine learning techniques for lung disease detection on medical images
Rahman et al. CNN Based Covid-19 Detection from Image Processing.
US11923091B2 (en) Methods for remote visual identification of congestive heart failures
Shah et al. Deep learning methods for covid-19 mitigation: Applications, challenges and future implications