TWI841459B - 基於人工智能的心電圖演算法系統及其方法 - Google Patents
基於人工智能的心電圖演算法系統及其方法 Download PDFInfo
- Publication number
- TWI841459B TWI841459B TW112127990A TW112127990A TWI841459B TW I841459 B TWI841459 B TW I841459B TW 112127990 A TW112127990 A TW 112127990A TW 112127990 A TW112127990 A TW 112127990A TW I841459 B TWI841459 B TW I841459B
- Authority
- TW
- Taiwan
- Prior art keywords
- ecg
- data
- cnn
- neural network
- image
- Prior art date
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 title claims abstract description 91
- 230000033764 rhythmic process Effects 0.000 claims abstract description 110
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 109
- 230000002861 ventricular Effects 0.000 claims abstract description 95
- 230000008602 contraction Effects 0.000 claims abstract description 28
- 230000002028 premature Effects 0.000 claims abstract description 28
- 238000013528 artificial neural network Methods 0.000 claims description 66
- 206010015856 Extrasystoles Diseases 0.000 claims description 63
- 208000000418 Premature Cardiac Complexes Diseases 0.000 claims description 63
- 230000010365 information processing Effects 0.000 claims description 54
- 238000012549 training Methods 0.000 claims description 47
- 238000012545 processing Methods 0.000 claims description 30
- 238000012360 testing method Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 25
- 238000013210 evaluation model Methods 0.000 claims description 23
- 206010047289 Ventricular extrasystoles Diseases 0.000 claims description 22
- 238000010200 validation analysis Methods 0.000 claims description 22
- 238000004458 analytical method Methods 0.000 claims description 10
- 208000009729 Ventricular Premature Complexes Diseases 0.000 claims description 9
- 238000002565 electrocardiography Methods 0.000 abstract description 17
- 206010019280 Heart failures Diseases 0.000 abstract description 9
- 206010042434 Sudden death Diseases 0.000 abstract description 8
- 238000013527 convolutional neural network Methods 0.000 description 230
- 238000010586 diagram Methods 0.000 description 18
- 238000005129 volume perturbation calorimetry Methods 0.000 description 18
- 238000013480 data collection Methods 0.000 description 13
- 238000011176 pooling Methods 0.000 description 13
- 238000007405 data analysis Methods 0.000 description 12
- 238000013135 deep learning Methods 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 10
- 206010049418 Sudden Cardiac Death Diseases 0.000 description 7
- 208000031229 Cardiomyopathies Diseases 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 230000007774 longterm Effects 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 230000000284 resting effect Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000007619 statistical method Methods 0.000 description 5
- 206010003658 Atrial Fibrillation Diseases 0.000 description 4
- 230000007211 cardiovascular event Effects 0.000 description 4
- 101000827703 Homo sapiens Polyphosphoinositide phosphatase Proteins 0.000 description 3
- 102100023591 Polyphosphoinositide phosphatase Human genes 0.000 description 3
- 206010003119 arrhythmia Diseases 0.000 description 3
- 230000006793 arrhythmia Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 230000001314 paroxysmal effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 206010042772 syncope Diseases 0.000 description 3
- 201000001320 Atherosclerosis Diseases 0.000 description 2
- 206010048858 Ischaemic cardiomyopathy Diseases 0.000 description 2
- ZLMJMSJWJFRBEC-UHFFFAOYSA-N Potassium Chemical compound [K] ZLMJMSJWJFRBEC-UHFFFAOYSA-N 0.000 description 2
- 208000008253 Systolic Heart Failure Diseases 0.000 description 2
- 206010047281 Ventricular arrhythmia Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000004141 dimensional analysis Methods 0.000 description 2
- 230000002600 fibrillogenic effect Effects 0.000 description 2
- 208000019622 heart disease Diseases 0.000 description 2
- 208000010125 myocardial infarction Diseases 0.000 description 2
- 229910052700 potassium Inorganic materials 0.000 description 2
- 239000011591 potassium Substances 0.000 description 2
- 230000000250 revascularization Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 230000001225 therapeutic effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 208000003663 ventricular fibrillation Diseases 0.000 description 2
- 206010047302 ventricular tachycardia Diseases 0.000 description 2
- 101800000407 Brain natriuretic peptide 32 Proteins 0.000 description 1
- 206010008342 Cervix carcinoma Diseases 0.000 description 1
- 206010008469 Chest discomfort Diseases 0.000 description 1
- 206010016654 Fibrosis Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 206010020880 Hypertrophy Diseases 0.000 description 1
- 206010028594 Myocardial fibrosis Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002763 arrhythmic effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000013153 catheter ablation Methods 0.000 description 1
- 201000010881 cervical cancer Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004761 fibrosis Effects 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 238000007914 intraventricular administration Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000107 myocyte Anatomy 0.000 description 1
- 238000009595 pap smear Methods 0.000 description 1
- 230000008506 pathogenesis Effects 0.000 description 1
- 230000003950 pathogenic mechanism Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000012123 point-of-care testing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
一種基於人工智能的心電圖ECG演算法系統及其方法,係應用於在竇性心律(sinus rhythm)期間的環境下識別罹患有室性早搏VPC(Ventricular Premature Contraction)患者,本發明之基於人工智能的心電圖ECG演算法系統及其方法可提供,一種用於識別於正常竇性心律期間之室性早搏的患者之基於人工智能的標準10秒、12 導程心電圖演算法;利用人工智能之心電圖ECG演算法能夠偵測病人在沒有發作之竇性心律心電圖的一些些微的變化,也可以識別出病人具有室性早搏,而早期治療的話,可以減少病人心臟衰竭或者是猝死的風險。
Description
本發明係有關於心電圖演算法系統及其方法,更詳而言之,係有關於應用於在竇性心律(sinus rhythm)期間的環境下識別罹患有室性早搏VPC(Ventricular Premature Contraction)患者的基於人工智能的心電圖演算法系統及其方法,利用本發明之基於人工智能的心電圖演算法系統及其方法的人工智能心電圖演算法,產生出識別竇性心律 (NSR) 期間室性早搏VPC 患者的評估模型,能夠偵測病人在沒有發作的竇性心律心電圖的一些些微的變化也可以識別出病人有室性早搏,早期治療的話可以減少病人心臟衰竭或者是猝死的風險。
現代人因面臨無論是工作上、生活上的各種壓力不斷累積,導致有心律失常的症狀,而室性早搏(VPC)是臨床上常見的心律失常。 VPC 可在易感患者中引發室性心動過速/纖顫或 VPC 誘發的心肌病。現有的篩選方法需要長時間的心電圖監控,並且在 VPC 頻率低時受到成本和低產量的限制。
室性早搏(VPC)是全世界族群都常見的心律失常,而根據之前的研究,在標準 12 導聯心電圖 (ECG) 上,普通人群中室性早搏VPC 的患病率約為 1% 至 4%。此外,年齡增加、男性、動脈粥狀硬化、高血壓和心肌病與室性早搏VPC 的發生率增加有關。
臨床上,沒有任何症狀的室性早搏VPC 似乎是良性的,然而,頻繁的室性早搏VPC 發作與心肌病和不可逆的發病機制有關,尤其是結構性心臟病患者,室性早搏VPC 的發病率和複雜性也在增加,在缺血性心肌病中高達 90%。
因此,室性早搏VPC 似乎是猝死風險增加的信號或潛在心肌病的線索。因此,及時預測和干預 室性早搏VPC 發作可能會消除其心律失常源頭並逆轉進行性心肌病。
在臨床上,傳統的 12 導聯心電圖 (12-lead electrocardiogram (ECG) 已被用於監測心臟結構和生理狀況數十年,而心電圖是非侵入性的、易於使用、快速、資源設置成本低、解釋簡單。
由於這些特點,一些心電圖監測系統被用來分析心電圖的信號。 為了立即解讀這些海量數據,深度學習已被廣泛用於讀取心電圖信號,而人工智能 (AI) 技術適用於在無需人工干預的情況下處理無數心電圖信號並自動提供準確診斷。
然而,大多數患者出現間歇性室性早搏VPC,偶爾,所有心電圖相關檢查或監測對室性早搏 VPC 的明確診斷均呈陰性。
雖然「學術論文」"An artificial intelligence-enabled ECG algorithm for the identification of patients with atrial fibrillation during sinus rhythm: a retrospective analysis of outcome prediction"揭露了,「支持人工智能 (AI) 的心電圖儀 (ECG)使用了卷積神經網路,使用標準之 10 秒、12 導聯心電圖檢測正常竇性心律期間存在之心房顫動的心電圖特徵。
惟,此學術論文並未揭露:「使用卷積神經網路開發了支持人工智能的心電圖演算法,以使用標準的 10 秒、12 導聯心電圖檢測正常竇性心律期間存在的室性早搏的心電圖特徵。圖像和時間序列數據集都被解析用於 CNN 訓練。計算機架構經過優化,可以為訓練過程選擇最佳模型。發現單輸入圖像模型(InceptionV3,準確度:0.895,95% 區間 [CI] 0.683-0.937)和多輸入時間序列模型(ResNet50V2,準確度:0.88,95% CI 0.646-0.943)均顯示預測室性早搏結果令人滿意,均優於單輸入時間序列模型(ResNet50V2,準確率:0.84,95% CI 0.629-0.952)」的技術特徵、內容。
所以如何能解決,如何能以一種工具來在竇性心律期間使用 ECG 識別 VPC 患者,啟用 AI 的心電圖算法可以在竇性心律期間使用心電圖識別陣發性室性早搏患者;如何能使用自動深度學習神經網絡來識別高危 VPC 人群,使用他們在 VPC 沒有發作期間的竇性心律期間的心電圖,以促進護理點,並希望提前預防嚴重的心血管事件;如何能在 竇性心律 期間獲得的支持 AI 的心電圖允許在護理點快速識別患有 VPC 的個人,並有可能自動預測 VPC 發作,而不是傳統的長期監測;基於10秒、12導聯心電圖 (ECG) 之成本低、速度快、應用廣泛,如何能使用人工智能AI和基於機器學習的心電圖讀取來識別正常竇性心律(NSR)期間的VPC 患者;以及,如何能揭露專利或非專利文獻所未能具有的技術特徵、內容:「使用卷積神經網路開發了支持人工智能的心電圖演算法,以使用標準的 10 秒、12 導聯心電圖檢測正常竇性心律期間存在的室性早搏VPC的心電圖些微特徵,另,例如,患者(例如, 398 名)被診斷為室性早搏,並從中收集了多筆(例如,2,515 份)心電圖記錄,解析了沒有室性早搏的正常竇性心律的 ECG 記錄(例如,1617 條 ECG 記錄),對多例(例如,387例)正常竇性心律患者的多筆(例如,753條)正常心電圖記錄進行比較,圖像和時間序列數據集都被解析用於 CNN 訓練,而計算機架構經過優化,可以為訓練過程選擇最佳模型,能發現單輸入圖像模型(InceptionV3,準確度:0.895,95% 區間 [CI] 0.683-0.937)和多輸入時間序列模型(ResNet50V2,準確度:0.88,95% CI 0.646-0.943)都能顯示預測室性早搏結果能令人滿意,優於單輸入時間序列模型(ResNet50V2,準確率:0.84,95% CI 0.629-0.952);在此,以上種種所述,均是待解決的問題。
本發明之主要目的便是在於提供一種基於人工智能的心電圖ECG演算法系統及其方法,係應用於在竇性心律(sinus rhythm)期間的環境下識別罹患有室性早搏VPC(Ventricular Premature Contraction)患者,本發明之基於人工智能的心電圖ECG演算法系統及其方法可提供,一種用於識別於正常竇性心律期間之室性早搏的患者之基於人工智能的標準10秒、12 導程心電圖演算法;利用人工智能之心電圖ECG演算法能夠偵測病人在沒有發作之竇性心律心電圖的一些些微的變化,也可以識別出病人具有室性早搏,而早期治療的話,可以減少病人心臟衰竭或者是猝死的風險。
本發明之再一目的便是在於提供一種基於人工智能的心電圖ECG演算法系統及其方法,係應用於在竇性心律(sinus rhythm)期間的環境下識別罹患有室性早搏VPC(Ventricular Premature Contraction)患者,基於10秒、12導聯心電圖 (ECG) 之成本低、速度快、應用廣泛,能使用人工智能AI和基於機器學習的心電圖讀取來識別正常竇性心律(NSR)期間的VPC患者。
本發明之又一目的便是在於提供一種基於人工智能的心電圖ECG演算法系統及其方法,係應用於在竇性心律(sinus rhythm)期間的環境下識別罹患有室性早搏VPC(Ventricular Premature Contraction)患者,能以一種工具來在竇性心律期間使用 ECG 識別 VPC 患者,啟用 AI 的心電圖算法可以在竇性心律期間使用心電圖識別陣發性室性早搏患者;能使用自動深度學習神經網絡來識別高危VPC 人群,使用他們在 VPC 沒有發作期間的竇性心律期間的心電圖,以促進護理點,並希望提前預防嚴重的心血管事件;能在 NSR 期間獲得的支持 AI 的心電圖允許在護理點快速識別患有 VPC 的個人,並有可能自動預測 VPC 發作,而不是傳統的長期心電圖監測。
本發明之另一目的便是在於提供一種基於人工智能的心電圖ECG演算法系統及其方法,係應用於在竇性心律(sinus rhythm)期間的環境下識別罹患有室性早搏VPC(Ventricular Premature Contraction)患者,能揭露專利或非專利文獻所未能具有的技術特徵、內容:
「使用卷積神經網路開發了支持人工智能的心電圖演算法,以使用標準的10 秒、12 導聯心電圖檢測正常竇性心律期間存在的室性早搏VPC的心電圖些微特徵,另,例如,患者(例如, 398 名)被診斷為室性早搏,並從中收集了多筆(例如,2515 份)心電圖記錄,解析了沒有室性早搏的正常竇性心律的 ECG 記錄(例如,1617 條 ECG 記錄),對多例(例如,387例)正常竇性心律患者的多筆(例如,753條)正常心電圖記錄進行比較,圖像和時間序列數據集都被解析用於 CNN 訓練,而計算機架構經過優化,可以為訓練過程選擇最佳模型,能發現單輸入圖像模型(InceptionV3,準確度:0.895,95% 區間 [CI] 0.683-0.937)和多輸入時間序列模型(ResNet50V2,準確度:0.88,95% CI 0.646-0.943)都能顯示預測室性早搏結果能令人滿意,優於單輸入時間序列模型(ResNet50V2,準確率:0.84,95% CI 0.629-0.952)」。
根據以上所述之目的,本發明提供一種基於人工智能的心電圖ECG演算法系統包含資訊處理模組、卷積神經網路CNN(Convolutional Neural Network)模組、以及資料庫。
資訊處理模組,該資訊處理模組配合卷積神經網路CNN模組、以及資料庫,將儲存/暫存於資料庫中的資料集進行分類,將該資料集分為訓練集、驗證集和測試集,並處理訓練集、驗證集和測試集的資料,以便將經處理後的該些資料傳送至卷積神經網路CNN模組,以讓該卷積神經網路CNN模組能利用本發明之基於人工智能的心電圖演算法系統及其方法的人工智能心電圖演算法,而產生出卷積神經網路CNN(Convolutional Neural Network)模組之識別竇性心律 (NSR) 期間室性早搏VPC 患者的評估模型。
卷積神經網路CNN模組,資訊處理模組將經處理後的該些資料傳送至該卷積神經網路CNN模組,以讓該卷積神經網路CNN模組能利用本發明之基於人工智能的心電圖演算法系統及其方法的人工智能心電圖演算法,而產生出卷積神經網路CNN模組之識別竇性心律 (NSR) 期間室性早搏VPC 患者的評估模型;該卷積神經網路CNN模組利用其所具有的識別竇性心律 (NSR) 期間室性早搏VPC 患者的評估模型,配合資訊處理模組以及資料庫中的病人資料集,而能夠偵測病人在沒有發作的竇性心律心電圖的一些些微的變化也可以識別出病人有室性早搏,早期治療的話可以減少病人心臟衰竭或者是猝死的風險。
資料庫,該資料庫可儲存/暫存資料集,而該資料集分為訓練集、驗證集和測試集,及/或,視實際需求,而儲存/暫存本發明之基於人工智能的心電圖演算法系統及其方法的人工智能心電圖演算法及/或識別竇性心律 (NSR) 期間室性早搏VPC 患者的評估模型及/或該病人資料集。
利用本發明之基於人工智能的心電圖ECG演算法系統以進行基於人工智能的心電圖ECG演算法方法的過程時,首先,進行資料收集與解析步驟;資訊處理模組於進行資料收集與解析步驟時,該資訊處理模組配合資料庫及/或卷積神經網路CNN模組,將收集數據,例如,該些數據是從 2021 年 1 月至 2021 年 10 月台灣大學醫院診斷為室性早搏VPC 的患者中收集的,最初,招募了 398 名患者(亦即,患者398 名被診斷為室性早搏),並從中收集了2515 份心電圖記錄、檢查了該些 2515 份心電圖記錄; 解析了沒有室性早搏的正常竇性心律的1617 條 ECG 記錄(亦即,解析未診斷為室性早搏 VPC的竇性心律期間的心電圖),由兩名心臟病專家對 1617 條心電圖記錄進行雙重檢查,並將其標記為來自室性早搏 VPC 患者的竇性心律;對於對照組,收集並篩選了 1053 名患者的 2090 份心電圖記錄;最後,從其中之387 名患者的 753 份正常心電圖記錄中提取並標記為正常竇性心律 (NSR)。於資料收集與解析步驟完成後,所有資料將儲存/暫存於資料庫中。
接著,進行資料集準備步驟; 該資訊處理模組配合資料庫及/或卷積神經網路CNN模組,將儲存/暫存於資料庫中的資料集進行分類,將分為訓練集、驗證集和測試集。首先,隨機選擇 50 張心電圖記錄作為驗證集,另外選擇 100張心電圖記錄作為測試集,其餘數據分配給訓練集。重要的是,同一患者的數據不能屬於多個資料集,否則會影響最終結果的可信度。
進而,進行資料類型與預處理步驟;該資訊處理模組配合資料庫及/或卷積神經網路CNN模組,將所收集的心電圖記錄採用標準 12 導聯心電圖格式,包括導聯 I、II、III、V1~6、aVR、aVL、aVF 和長導聯 II(MAC2000 靜息心電圖系統,GE Healthcare),所有記錄均以 500 Hz 的頻率測量,持續時間為 2.5 秒。
在此,在心電圖影像數據輸出之前的心電圖影像處理程序時,心電圖圖像的紅格背景被去除並處理,使整個圖像精確地聚焦在心電圖信號上;其中,輸入標準 12 導聯心電圖圖像;去除了 12 導聯心電圖圖像的紅色背景;圖像被裁剪以集中在心電圖信號上。
之後,資訊處理模組將心電圖圖像調整為 512 x 256 x 3 像素,二維心電圖圖像被轉換為一維和時間序列數據;卷積神經網路CNN(Convolutional Neural Network)模組之卷積神經網絡 (CNN) 的輸入數據大小為 1250 x 12 像素,用於執行圖像識別。
心電圖數據輸入格式:
a.去除12導聯心電圖的紅格背景,將心電圖轉換為灰度圖;
b.像素強度反轉,像素強度為255像素。根據每條引線的"開始"和:結束"位置,將圖像垂直切割成四個子圖像;
c.逐像素掃描子圖像並記錄像素強度等於 255 像素的位置;
d.數據訊號的最近位置被分組,每列分為四個值,並且列的所有值在每個指引(lead)中被合成到四個列表中,訊號被轉換為時間序列格式;
e.每個子圖像的列由 250 個像素組成,在逐像素掃描後,格式化了一個具有 250 個時間序列數據的指引,插值操作用於對時間序列數據(500 Hz,2.5 秒)執行上採樣(up-sampling);
f.IIR 低通濾波器用於過濾雜訊(截止頻率 = 15 Hz,階數 = 3);以及
g.每個指引的大小被歸一化為一個統一的尺度。
繼之,進行模型程序步驟;該資訊處理模組配合資料庫及/或卷積神經網路CNN模組,而該卷積神經網路CNN模組利用本發明之基於人工智能的心電圖演算法系統及其方法的人工智能心電圖演算法,以建立卷積神經網路CNN(Convolutional Neural Network)模組所需之識別竇性心律 (NSR) 期間室性早搏VPC 患者的評估模型,在此,將根據數據格式的維度特徵建立為CNN模型的識別竇性心律 (NSR) 期間室性早搏VPC 患者的評估模型,對於二維圖像數據,使用了五種網絡計算機架構,包括 VGG16、ResNet0V2、InceptionV3、InceptionResNetV2、和 Xception 使用 CNN 的 Image Net 部分獲得最佳圖像識別。
在此,CNN的結構:
a.二維圖像數據通過 VGG16、ResNet50V2、InceptionV3、InceptionResNetV2 和 Xception 等五種網絡計算機架構進行處理,以在 CNN 的 Image Net 部分獲得最佳圖像識別,然後展平為 GlobalAveragePooling (GAP);CNN提取圖像數據的特徵後,通過GlobalAveragePooling(GAP)對訊號進行扁平化,並連接另一個密集層;添加了 Dropout 以避免以後過度擬合(丟棄率 = 0.5);最後,添加了另一個大小為 2 的密集層,它將兩種類型的結果表示為輸出層(VPC 和 NSR);
b. 連接來自二維圖像數據的單個輸入的密集層;添加了 dropout 以避免過度擬合(丟棄率 = 0.5),並添加了另一個大小為 2 的密集層以獲得輸出層(VPC:室性早搏;NOR:正常節律);對於時間序列數據,使用單輸入和多輸入計算機架構進行模型處理;最初,將卷積核(core)改為一維核,CNN 嘗試了不同的核大小;步幅(stride)設置為 3,卷積核的移動窗口一次跨越三個網格;每個卷積塊由通過 BatchNormalization 和 ReLU 激活的一維 CNN 組成; Maxpooling 的設置是 pooling size 等於 5,步幅(stride )等於 3;特徵的訊號通過 CNN 層提取後,通過 GAP 展平;單輸入模型的輸出特徵直接連接到 dropout(dropout rate = 0.5)以避免過度擬合;另一方面,多輸入模型將 12 個通道的特徵合併在一起並連接到一個密集層(密集大小 = 2)以獲得輸出結果;
c. 時間序列數據的訊號通過 CNN 層提取並通過 GAP 展平。單輸入模型的輸出特徵直接連接到dropout(dropout rate = 0.5),12個通道的特徵的多輸入模型被合併(得到輸出結果(dense size = 2),(GAP為全域平均池)。
再之,進行訓練程序步驟;使用具有高隨機存取儲存圖形處理單元環境的 Google Colaboratory (Colab) 作為訓練平台;這個 Colab 得到了 Python 3.8 和 CNN 訓練過程的 Tensorflow的支持。
還使用 keras 應用程序編程介面 (API)(一種用 Python 編寫的深度學習 API)來構建 CNN 模型和 ImageNet 競程以進行遷移和學習。
最後,進行統計分析步驟;診斷性能的最佳切點和測量包括準確性、敏感性、特異性、陽性預測值、陰性預測值和受試者工作特徵曲線 (ROC) 的曲線下面積 (AUC)。所有報告均具有 2 側 95% 置信區間。數據通過 IBM SPSS(版本 25 for Windows,Armonk,New York)進行統計分析。
爲使熟悉該項技藝人士瞭解本發明之目的、特徵及功效,茲藉由下述具體實施例,並配合所附之圖式,對本發明詳加說明如後:
第1圖為一系統示意圖,用以顯示說明本發明之基於人工智能的心電圖ECG演算法系統之系統架構、以及運作情形。如第1圖中所示之,基於人工智能的心電圖ECG演算法系統1包含資訊處理模組2、卷積神經網路CNN模組3、以及資料庫4。
資訊處理模組2,該資訊處理模組2配合卷積神經網路CNN模組3、以及資料庫4,將儲存/暫存於資料庫4中的資料集進行分類,將該資料集分為訓練集、驗證集和測試集,並處理訓練集、驗證集和測試集的資料,以便將經處理後的該些資料傳送至卷積神經網路CNN模組3,以讓該卷積神經網路CNN模組3能利用本發明之基於人工智能的心電圖演算法系統及其方法的人工智能心電圖演算法,而產生出卷積神經網路CNN(Convolutional Neural Network)模組之識別竇性心律 (NSR) 期間室性早搏VPC 患者的評估模型。
卷積神經網路CNN模組3,資訊處理模組2將經處理後的該些資料傳送至該卷積神經網路CNN模組3,以讓該卷積神經網路CNN模組3能利用本發明之基於人工智能的心電圖演算法系統及其方法的人工智能心電圖演算法,而產生出卷積神經網路CNN模組3之識別竇性心律 (NSR) 期間室性早搏VPC 患者的評估模型;該卷積神經網路CNN模組3利用其所具有的識別竇性心律 (NSR) 期間室性早搏VPC 患者的評估模型,配合資訊處理模組2以及資料庫4中的病人資料集,而能夠偵測病人在沒有發作的竇性心律心電圖的一些些微的變化也可以識別出病人有室性早搏,早期治療的話可以減少病人心臟衰竭或者是猝死的風險。
資料庫4,該資料庫4可儲存/暫存資料集,而該資料集分為訓練集、驗證集和測試集,及/或,視實際需求,而儲存/暫存本發明之基於人工智能的心電圖演算法系統及其方法的人工智能心電圖演算法及/或識別竇性心律 (NSR) 期間室性早搏VPC 患者的評估模型及/或該病人資料集。
視實施狀況,資訊處理模組2及/或卷積神經網路CNN模組3,係由電子硬體、韌體、以及軟體的至少其中之一所組成,配合基於人工智能的心電圖ECG演算法系統1所在之系統/裝置的處理器(未圖示之)而進行動作;而資料庫4則位於基於人工智能的心電圖ECG演算法系統1所在之系統/裝置的儲存模組(未圖示之)。
在此,於實際施行時,例如,資訊處理模組2配合資料庫4及/或卷積神經網路CNN模組3,將收集數據,例如,該些數據是從 2021 年 1 月至 2021 年 10 月台灣大學醫院診斷為室性早搏VPC 的患者中收集的,最初,招募了 398 名患者(亦即,患者398 名被診斷為室性早搏),並從中收集了2515 份心電圖記錄、檢查了該些 2515 份心電圖記錄; 解析了沒有室性早搏的正常竇性心律的1617 張 ECG 記錄(亦即,解析未診斷為室性早搏 VPC的竇性心律期間的心電圖),由兩名心臟病專家對 1617 條心電圖記錄進行雙重檢查,並將其標記為來自室性早搏 VPC 患者的竇性心律;對於對照組,收集並篩選了 1053 名患者的 2,090 份心電圖記錄;最後,從 中間之387 名患者的 753 份正常心電圖記錄中提取並標記為正常竇性心律 (NSR)。於資料收集與解析步驟完成後,所有資料將儲存/暫存於資料庫4中。
資訊處理模組2配合資料庫4及/或卷積神經網路CNN模組3,將儲存/暫存於資料庫4中的資料集進行分類,將分為訓練集、驗證集和測試集。首先,隨機選擇 50 張心電圖記錄作為驗證集,另外選擇 100 張心電圖記錄作為測試集,其餘數據分配給訓練集。重要的是,同一患者的數據不能屬於多個資料集,否則會影響最終結果的可信度。
資訊處理模組2配合資料庫4及/或卷積神經網路CNN模組3,將所收集的心電圖記錄採用標準 12 導聯心電圖格式,包括導聯 I、II、III、V1~6、aVR、aVL、aVF 和長導聯 II(MAC2000 靜息心電圖系統,GE Healthcare),所有記錄均以 500 Hz 的頻率測量,持續時間為 2.5 秒。
在此,在心電圖影像數據輸出之前的心電圖影像處理程序時,心電圖圖像的紅格背景被去除並處理,使整個圖像精確地聚焦在心電圖信號上;其中,輸入標準 12 導聯心電圖圖像;去除了 12 導聯心電圖圖像的紅色背景;圖像被裁剪以集中在心電圖信號上。
之後,資訊處理模組2將心電圖圖像調整為 512 x 256 x 3 像素,二維心電圖圖像被轉換為一維和時間序列數據;卷積神經網路CNN模組3之卷積神經網絡 (CNN) 的輸入數據大小為 1250 x 12 像素,用於執行圖像識別。
例如,心電圖數據輸入格式:
a.去除12導聯心電圖的紅格背景,將心電圖轉換為灰度圖;
b.像素強度反轉,像素強度為255像素。根據每條引線的"開始"和:結束"位置,將圖像垂直切割成四個子圖像;
c.逐像素掃描子圖像並記錄像素強度等於 255 像素的位置;
d.數據訊號的最近位置被分組,每列分為四個值,並且列的所有值在每個指引(lead)中被合成到四個列表中,訊號被轉換為時間序列格式;
e.每個子圖像的列由 250 個像素組成,在逐像素掃描後,格式化了一個具有 250 個時間序列數據的指引,插值操作用於對時間序列數據(500 Hz,2.5 秒)執行上採樣(up-sampling);
f.IIR 低通濾波器用於過濾雜訊(截止頻率 = 15 Hz,階數 = 3);以及
g.每個指引的大小被歸一化為一個統一的尺度。
資訊處理模組2配合資料庫4及/或卷積神經網路CNN模組3,而該卷積神經網路CNN模組3利用本發明之基於人工智能的心電圖演算法系統及其方法的人工智能心電圖演算法,以建立卷積神經網路CNN模組3所需之識別竇性心律 (NSR) 期間室性早搏VPC 患者的評估模型,在此,將根據數據格式的維度特徵建立為CNN模型的識別竇性心律 (NSR) 期間室性早搏VPC 患者的評估模型,對於二維圖像數據,使用了五種網絡計算機架構,包括 VGG16、ResNet0V2、InceptionV3、InceptionResNetV2、和 Xception 使用 CNN 的 Image Net 部分獲得最佳圖像識別。
在此,CNN的結構:
a.二維圖像數據通過 VGG16、ResNet50V2、InceptionV3、InceptionResNetV2 和 Xception 等五種網絡計算機架構進行處理,以在 CNN 的 Image Net 部分獲得最佳圖像識別,然後展平為 GlobalAveragePooling (GAP);CNN提取圖像數據的特徵後,通過GlobalAveragePooling(GAP)對訊號進行扁平化,並連接另一個密集層;添加了 Dropout 以避免以後過度擬合(丟棄率 = 0.5);最後,添加了另一個大小為 2 的密集層,它將兩種類型的結果表示為輸出層(VPC 和 NSR);
b. 連接來自二維圖像數據的單個輸入的密集層;添加了dropout 以避免過度擬合(丟棄率 = 0.5),並添加了另一個大小為 2 的密集層以獲得輸出層(VPC:室性早搏;NOR:正常節律);對於時間序列數據,使用單輸入和多輸入計算機架構進行模型處理;最初,將卷積核(core)改為一維核,CNN 嘗試了不同的核大小;步幅(stride)設置為3,卷積核的移動窗口一次跨越三個網格;每個卷積塊由通過 BatchNormalization 和 ReLU 激活的一維 CNN 組成; Maxpooling的設置是 pooling size 等於 5,步幅(stride )等於3;特徵的訊號通過 CNN 層提取後,通過 GAP 展平;單輸入模型的輸出特徵直接連接到 dropout(dropout rate = 0.5)以避免過度擬合;另一方面,多輸入模型將 12 個通道的特徵合併在一起並連接到一個密集層(密集大小 = 2)以獲得輸出結果;
c. 時間序列數據的訊號通過 CNN 層提取並通過 GAP 展平。單輸入模型的輸出特徵直接連接到dropout(dropout rate = 0.5),12個通道的特徵的多輸入模型被合併(得到輸出結果(dense size = 2),(GAP為全域平均池)。
於進行訓練程序;使用具有高隨機存取儲存圖形處理單元環境的 Google Colaboratory (Colab) 作為訓練平台;這個 Colab 得到了 Python 3.8 和 CNN 訓練過程的 Tensorflow的支持。
還使用 keras 應用程序編程介面 (API)(一種用 Python 編寫的深度學習 API)來構建 CNN 模型和 ImageNet 競程以進行遷移和學習。
於進行統計分析時;診斷性能的最佳切點和測量包括準確性、敏感性、特異性、陽性預測值、陰性預測值和受試者工作特徵曲線 (ROC) 的曲線下面積 (AUC)。所有報告均具有 2 側 95% 置信區間。數據通過 IBM SPSS(版本 25 for Windows,Armonk,New York)進行統計分析。
本發明之基於人工智能的心電圖ECG演算法系統及其方法,係應用在竇性心律(sinus rhythm)期間的環境下識別罹患有室性早搏VPC(Ventricular Premature Contraction)患者,本發明之基於人工智能的心電圖ECG演算法系統及其方法可提供,一種用於識別於正常竇性心律期間之室性早搏的患者之基於人工智能的標準10秒、12 導程心電圖演算法;利用人工智能之心電圖ECG演算法能夠偵測病人在沒有發作之竇性心律心電圖的一些些微的變化,也可以識別出病人具有室性早搏,而早期治療的話,可以減少病人心臟衰竭或者是猝死的風險。
又,本發明之基於人工智能的心電圖ECG演算法系統及其方法,係應用於在竇性心律(sinus rhythm)期間的環境下識別罹患有室性早搏VPC(Ventricular Premature Contraction)患者,基於10秒、12導聯心電圖 (ECG) 之成本低、速度快、應用廣泛,能使用人工智能AI和基於機器學習的心電圖讀取來識別正常竇性心律(NSR)期間的VPC患者。
再,本發明之基於人工智能的心電圖ECG演算法系統及其方法,係應用於在竇性心律(sinus rhythm)期間的環境下識別罹患有室性早搏VPC(Ventricular Premature Contraction)患者,能以一種工具來在竇性心律期間使用 ECG 識別 VPC 患者,啟用 AI 的心電圖算法可以在竇性心律期間使用心電圖識別陣發性室性早搏患者;能使用自動深度學習神經網絡來識別高危VPC 人群,使用他們在 VPC 沒有發作期間的竇性心律期間的心電圖,以促進護理點,並希望提前預防嚴重的心血管事件;能在 NSR 期間獲得的支持 AI 的心電圖允許在護理點快速識別患有 VPC 的個人,並有可能自動預測 VPC 發作,而不是傳統的長期心電圖監測。
另,本發明之基於人工智能的心電圖ECG演算法系統及其方法,係應用於在竇性心律(sinus rhythm)期間的環境下識別罹患有室性早搏VPC(Ventricular Premature Contraction)患者,能揭露專利或非專利文獻所未能具有的技術特徵、內容:
「使用卷積神經網路開發了支持人工智能的心電圖演算法,以使用標準的10 秒、12 導聯心電圖檢測正常竇性心律期間存在的室性早搏VPC的心電圖些微特徵,另,例如,患者(例如, 398 名)被診斷為室性早搏,並從中收集了多筆(例如,2515 份)心電圖記錄,解析了沒有室性早搏的正常竇性心律的 ECG 記錄(例如,1617 條 ECG 記錄),對多例(例如,387例)正常竇性心律患者的多筆(例如,753條)正常心電圖記錄進行比較,圖像和時間序列數據集都被解析用於 CNN 訓練,而計算機架構經過優化,可以為訓練過程選擇最佳模型,能發現單輸入圖像模型(InceptionV3,準確度:0.895,95% 區間 [CI] 0.683-0.937)和多輸入時間序列模型(ResNet50V2,準確度:0.88,95% CI 0.646-0.943)都能顯示預測室性早搏結果能令人滿意,優於單輸入時間序列模型(ResNet50V2,準確率:0.84,95% CI 0.629-0.952)」。
第2圖為一流程圖,用以顯示說明利用如第1圖中之本發明之基於人工智能的心電圖ECG演算法系統以進行基於人工智能的心電圖ECG演算法方法的一流程步驟。如第2圖中所示之,首先,於步驟101,進行資料收集與解析;其中,資訊處理模組2於進行資料收集與解析步驟時,該資訊處理模組2配合資料庫4及/或卷積神經網路CNN模組3,將收集數據;並進到步驟102。
在此,於步驟101,資訊處理模組2於進行資料收集與解析步驟時,該資訊處理模組2配合資料庫4及/或卷積神經網路CNN模組3,將收集數據,例如,該些數據是從 2021 年 1 月至 2021 年 10 月台灣大學醫院診斷為室性早搏VPC 的患者中收集的,最初,招募了 398 名患者(亦即,患者398 名被診斷為室性早搏),並從中收集了2515 份心電圖記錄、檢查了該些 2515 份心電圖記錄; 解析了沒有室性早搏的正常竇性心律的1617 條 ECG 記錄(亦即,解析未診斷為室性早搏 VPC的竇性心律期間的心電圖),由兩名心臟病專家對 1617 條心電圖記錄進行雙重檢查,並將其標記為來自室性早搏 VPC 患者的竇性心律;對於對照組,收集並篩選了 1053 名患者的 2090 份心電圖記錄;最後,從其中之387 名患者的 753 份正常心電圖記錄中提取並標記為正常竇性心律 (NSR)。於資料收集與解析步驟完成後,所有資料將儲存/暫存於資料庫中。
於步驟102,進行資料集準備;資訊處理模組2配合資料庫4及/或卷積神經網路CNN模組3,將儲存/暫存於資料庫4中的資料集進行分類,將分為訓練集、驗證集和測試集;並進到步驟103。
於步驟102中,隨機選擇 50張心電圖記錄作為驗證集,另外選擇 100張心電圖記錄作為測試集,其餘數據分配給訓練集。重要的是,同一患者的數據不能屬於多個資料集,否則會影響最終結果的可信度。
於步驟103,進行資料類型與預處理;資訊處理模組2配合資料庫4及/或卷積神經網路CNN模組3,將所收集的心電圖記錄採用標準 12 導聯心電圖格式,包括導聯 I、II、III、V1~6、aVR、aVL、aVF 和長導聯 II(MAC2000 靜息心電圖系統,GE Healthcare),所有記錄均以 500 Hz 的頻率測量,持續時間為 2.5 秒;並進到步驟104。
於步驟103中,在此,在心電圖影像數據輸出之前的心電圖影像處理程序時,心電圖圖像的紅格背景被去除並處理,使整個圖像精確地聚焦在心電圖信號上;其中,輸入標準 12 導聯心電圖圖像;去除了 12 導聯心電圖圖像的紅色背景;圖像被裁剪以集中在心電圖信號上。
之後,資訊處理模組2將心電圖圖像調整為 512 x 256 x 3 像素,二維心電圖圖像被轉換為一維和時間序列數據;卷積神經網路CNN模組3之卷積神經網絡 (CNN) 的輸入數據大小為 1250 x 12 像素,用於執行圖像識別。
心電圖數據輸入格式:
a.去除12導聯心電圖的紅格背景,將心電圖轉換為灰度圖;
b.像素強度反轉,像素強度為255像素。根據每條引線的"開始"和:結束"位置,將圖像垂直切割成四個子圖像;
c.逐像素掃描子圖像並記錄像素強度等於 255 像素的位置;
d.數據訊號的最近位置被分組,每列分為四個值,並且列的所有值在每個指引(lead)中被合成到四個列表中,訊號被轉換為時間序列格式;
e.每個子圖像的列由 250 個像素組成,在逐像素掃描後,格式化了一個具有 250 個時間序列數據的指引,插值操作用於對時間序列數據(500 Hz,2.5 秒)執行上採樣(up-sampling);
f.IIR 低通濾波器用於過濾雜訊(截止頻率 = 15 Hz,階數 = 3);以及
g.每個指引的大小被歸一化為一個統一的尺度。
於步驟104,進行模型程序;該資訊處理模組2配合資料庫4及/或卷積神經網路CNN模組3,而該卷積神經網路CNN模組3利用本發明之基於人工智能的心電圖演算法系統及其方法的人工智能心電圖演算法,以建立卷積神經網路CNN模組3所需之識別竇性心律 (NSR) 期間室性早搏VPC 患者的評估模型,在此,將根據數據格式的維度特徵建立為CNN模型的識別竇性心律 (NSR) 期間室性早搏VPC 患者的評估模型,對於二維圖像數據,使用了五種網絡計算機架構,包括 VGG16、ResNet0V2、InceptionV3、InceptionResNetV2、和 Xception 使用 CNN 的 Image Net 部分獲得最佳圖像識別;並進到步驟105。
在此,CNN的結構:
a.二維圖像數據通過 VGG16、ResNet50V2、InceptionV3、InceptionResNetV2 和 Xception 等五種網絡計算機架構進行處理,以在 CNN 的 Image Net 部分獲得最佳圖像識別,然後展平為 GlobalAveragePooling (GAP);CNN提取圖像數據的特徵後,通過GlobalAveragePooling(GAP)對訊號進行扁平化,並連接另一個密集層;添加了 Dropout 以避免以後過度擬合(丟棄率 = 0.5);最後,添加了另一個大小為 2 的密集層,它將兩種類型的結果表示為輸出層(VPC 和 NSR);
b. 連接來自二維圖像數據的單個輸入的密集層;添加了 dropout 以避免過度擬合(丟棄率 = 0.5),並添加了另一個大小為 2 的密集層以獲得輸出層(VPC:室性早搏;NOR:正常節律);對於時間序列數據,使用單輸入和多輸入計算機架構進行模型處理;最初,將卷積核(core)改為一維核,CNN 嘗試了不同的核大小;步幅(stride)設置為 3,卷積核的移動窗口一次跨越三個網格;每個卷積塊由通過 BatchNormalization 和 ReLU 激活的一維 CNN 組成;Maxpooling 的設置是 pooling size 等於 5,步幅(stride )等於 3;特徵的訊號通過 CNN 層提取後,通過 GAP 展平;單輸入模型的輸出特徵直接連接到 dropout(dropout rate = 0.5)以避免過度擬合;另一方面,多輸入模型將 12 個通道的特徵合併在一起並連接到一個密集層(密集大小 = 2)以獲得輸出結果;
c. 時間序列數據的訊號通過 CNN 層提取並通過 GAP 展平。單輸入模型的輸出特徵直接連接到dropout(dropout rate = 0.5),12個通道的特徵的多輸入模型被合併(得到輸出結果(dense size = 2),(GAP為全域平均池)。
於步驟105,進行訓練程序;使用具有高隨機存取儲存圖形處理單元環境的 Google Colaboratory (Colab) 作為訓練平台;這個 Colab 得到了 Python 3.8 和 CNN 訓練過程的 Tensorflow的支持。還使用 keras 應用程序編程介面 (API)(一種用 Python 編寫的深度學習 API)來構建 CNN 模型和 ImageNet 競程以進行遷移和學習;並進到步驟106。
於步驟106,進行統計分析;診斷性能的最佳切點和測量包括準確性、敏感性、特異性、陽性預測值、陰性預測值和受試者工作特徵曲線 (ROC) 的曲線下面積 (AUC)。所有報告均具有 2 側 95% 置信區間。數據通過 IBM SPSS(版本 25 for Windows,Armonk,New York)進行統計分析。
第3圖為一流程圖,用以顯示說明利用如第1圖中之本發明之基於人工智能的心電圖ECG演算法系統以進行基於人工智能的心電圖ECG演算法方法的另一流程步驟。如第2圖中所示之,首先,於步驟1001,進行資料集(database)動作;資訊處理模組2配合資料庫4及/或卷積神經網路CNN模組3,將儲存/暫存於資料庫4中的資料集進行分類,將分為訓練集、驗證集和測試集;並進到步驟1002。
於步驟1001,在此,資料集之資料可為心電圖ECG機器的ECG心電圖一維原始數據(raw data)及/或二維心電圖ECG影像,其中,就12 導聯心電圖數據的維度而言:
在 12 導聯 ECG 中應用 CNN 分析時,一維方法將 ECG 數據視為時間序列格式。另一方面,CNN 在二維數據處理過程中使用內核提取 12 導聯心電圖的所有特徵。 CNN 內核可以被特定的函數激活,隨後被神經網絡分析識別。
因此,二維分析是將數據作為圖像,更類似於心臟病專家解讀 12 導聯心電圖的方式。然而,二維數據量巨大,比一維數據格式複雜得多。
於步驟1002,進行影像處理動作;資訊處理模組2配合資料庫4及/或卷積神經網路CNN模組3,將所收集之資料集的資料(例如,可為心電圖ECG機器的ECG心電圖一維原始數據(raw data)及/或二維心電圖ECG影像)之心電圖圖像的背景(例如,紅格)予以去除並處理、圖像尺寸大小予以重新設定,使整個圖像精確地聚焦在心電圖訊號上;並進到步驟1003。
於步驟1003,進行人工智慧AI或卷積神經網絡CNN處理動作;資訊處理模組2配合資料庫4及/或卷積神經網路CNN模組3,而該卷積神經網路CNN模組3利用本發明之基於人工智能的心電圖演算法系統及其方法的人工智能心電圖演算法,以建立卷積神經網路CNN模組3所需之識別竇性心律 (NSR) 期間室性早搏VPC 患者的評估模型,在此,例如,將將根據,例如,經預處理後之心電圖ECG二維數據,數據格式的維度特徵建立為CNN模型的識別竇性心律 (NSR) 期間室性早搏VPC 患者的評估模型, 對於心電圖ECG二維圖像數據,例如,使用了五種網絡計算機架構,包括 VGG16、ResNet0V2、InceptionV3、InceptionResNetV2、和 Xception 使用 CNN 的 Image Net 部分獲得最佳圖像識別。
於步驟1003中,一般的 AI 工具無法分析以圖像格式存儲的 12 導聯心電圖。為了在分析這些大量複雜的二維數據時遇到困難,使用了幾種可用的網絡和不同的計算機架構組合,以獲得 CNN 模型的 VPC 預測的最佳精度。
基於 CNN 的二維數據預測 VPC 模型是本發明的重要特徵之一。這之前沒有被習知技術所成功執行過。在優化輸入模型架構後,本發明的二維 CNN 模型可以在 VPC 於沒有發作期間識別異常心電圖並對高危人群進行分類。
從之前的研究來看,人工智能驅動的算法已應用於各種疾病的自動診斷,例如需要緊急血行重建的心肌梗塞、收縮性心臟衰竭、高危人群中鉀的細微變化和心房顫動。
然而,這些研究中的大多數都是基於單導聯心電圖或一維(時間序列)數據集。從本發明的結果來看,源自 12 導聯心電圖和二維數據格式的 CNN 模型能夠可靠地自動預測 VPC 發作,並且準確度甚至優於一維或時間序列結果(0.895 對 0.880)。本發明的研究證明了實施 CNN 模型以使用一維或二維心電圖ECG數據識別 VPC 病人的可能性。
第4圖為一示意圖,用以顯示說明本發明之基於人工智能的心電圖ECG演算法系統的一實施例、以及運作情形。如第4圖中所示之,基於人工智能的心電圖ECG演算法系統1包含資訊處理模組2、卷積神經網路CNN模組3、以及資料庫4。
資訊處理模組2,該資訊處理模組2配合卷積神經網路CNN模組3、以及資料庫4,將儲存/暫存於資料庫4中的資料集41進行分類,將該資料集41分為訓練集、驗證集和測試集,並處理訓練集、驗證集和測試集的資料,以便將經處理後的該些資料傳送至卷積神經網路CNN模組3,以讓該卷積神經網路CNN模組3能利用本發明之基於人工智能的心電圖演算法系統及其方法的人工智能心電圖演算法31,而產生出卷積神經網路CNN(Convolutional Neural Network)模組之識別竇性心律 (NSR) 期間室性早搏VPC 患者的評估模型32。
卷積神經網路CNN模組3,資訊處理模組2將經處理後的該些資料傳送至該卷積神經網路CNN模組3,以讓該卷積神經網路CNN模組3能利用人工智能心電圖演算法31,而產生出卷積神經網路CNN模組3之識別竇性心律 (NSR) 期間室性早搏VPC 患者的評估模型32;該卷積神經網路CNN模組3利用其所具有的識別竇性心律 (NSR) 期間室性早搏VPC 患者的評估模型32,配合資訊處理模組2以及資料庫4中的病人資料集42,而能夠偵測病人在沒有發作的竇性心律心電圖的一些些微的變化也可以識別出病人有室性早搏,早期治療的話可以減少病人心臟衰竭或者是猝死的風險。
資料庫4,該資料庫4可儲存/暫存資料集41,而該資料集41分為訓練集、驗證集和測試集,及/或,視實際需求,而儲存/暫存人工智能心電圖演算法31及/或識別竇性心律 (NSR) 期間室性早搏VPC 患者的評估模型32及/或該病人資料集42。
視實施狀況,資訊處理模組2及/或卷積神經網路CNN模組3,係由電子硬體、韌體、以及軟體的至少其中之一所組成,配合基於人工智能的心電圖ECG演算法系統1所在之系統/裝置的處理器(未圖示之)而進行動作;而資料庫4則位於基於人工智能的心電圖ECG演算法系統1所在之系統/裝置的儲存模組(未圖示之)。
在此,例如,資訊處理模組2配合資料庫4及/或卷積神經網路CNN模組3,將收集數據,例如,該些數據是從 2021 年 1 月至 2021 年 10 月台灣大學醫院診斷為室性早搏VPC 的患者中收集的,最初,招募了 398 名患者(亦即,患者398 名被診斷為室性早搏),並從中收集了2515 份心電圖記錄、檢查了該些 2515 份心電圖記錄;解析了沒有室性早搏的正常竇性心律的1617 條張ECG 記錄(亦即,解析未診斷為室性早搏 VPC的竇性心律期間的心電圖),由兩名心臟病專家對 1617 張心電圖記錄進行雙重檢查,並將其標記為來自室性早搏 VPC 患者的竇性心律;對於對照組,收集並篩選了 1053 名患者的 2090 份心電圖記錄;最後,從其中之 387 名患者的 753 份正常心電圖記錄中提取並標記為正常竇性心律 (NSR)。於資料收集與解析步驟完成後,所有資料將儲存/暫存於資料庫4中。
資訊處理模組2配合資料庫4及/或卷積神經網路CNN模組3,將儲存/暫存於資料庫4中的資料集41進行分類,將分為訓練集、驗證集和測試集。首先,隨機選擇 50 張心電圖記錄作為驗證集,另外選擇 100張心電圖記錄作為測試集,其餘數據分配給訓練集。重要的是,同一患者的數據不能屬於資料集41中的多個資料集,否則會影響最終結果的可信度。
資訊處理模組2配合資料庫4及/或卷積神經網路CNN模組3,將所收集的心電圖記錄採用標準 12 導聯心電圖格式,包括導聯 I、II、III、V1~6、aVR、aVL、aVF 和長導聯 II(MAC2000 靜息心電圖系統,GE Healthcare),所有記錄均以 500 Hz 的頻率測量,持續時間為 2.5 秒。
在此,在心電圖影像數據輸出之前的心電圖影像處理程序時,心電圖圖像的紅格背景被去除並處理,使整個圖像精確地聚焦在心電圖信號上(如圖5中所示);其中,輸入標準 12 導聯心電圖圖像;去除了 12 導聯心電圖圖像的紅色背景;圖像被裁剪以集中在心電圖信號上。
之後,資訊處理模組2將心電圖圖像調整為 512 x 256 x 3 像素,二維心電圖圖像被轉換為一維和時間序列數據;卷積神經網路CNN模組3之卷積神經網絡 (CNN) 的輸入數據大小為 1250 x 12 像素,用於執行圖像識別。
例如,心電圖數據輸入格式:
a.去除12導聯心電圖的紅格背景,將心電圖轉換為灰度圖;
b.像素強度反轉,像素強度為255像素。根據每條引線的"開始"和:結束"位置,將圖像垂直切割成四個子圖像;
c.逐像素掃描子圖像並記錄像素強度等於 255 像素的位置;
d.數據訊號的最近位置被分組,每列分為四個值,並且列的所有值在每個指引(lead)中被合成到四個列表中,訊號被轉換為時間序列格式;
e.每個子圖像的列由 250 個像素組成,在逐像素掃描後,格式化了一個具有 250 個時間序列數據的指引,插值操作用於對時間序列數據(500 Hz,2.5 秒)執行上採樣(up-sampling);
f.IIR 低通濾波器用於過濾雜訊(截止頻率 = 15 Hz,階數 = 3);以及
g.每個指引的大小被歸一化為一個統一的尺度。
資訊處理模組2配合資料庫4及/或卷積神經網路CNN模組3,而該卷積神經網路CNN模組3利用人工智能心電圖演算法31,以建立卷積神經網路CNN模組3所需之識別竇性心律 (NSR) 期間室性早搏VPC 患者的評估模型32,在此,將根據數據格式的維度特徵建立為CNN模型的識別竇性心律 (NSR) 期間室性早搏VPC 患者的評估模型32,對於二維圖像數據,使用了五種網絡計算機架構,包括 VGG16、ResNet0V2、InceptionV3、InceptionResNetV2、和 Xception 使用 CNN 的 Image Net 部分獲得最佳圖像識別。
在此,CNN的結構:
a.二維圖像數據通過 VGG16、ResNet50V2、InceptionV3、InceptionResNetV2 和 Xception 等五種網絡計算機架構進行處理,以在 CNN 的 Image Net 部分獲得最佳圖像識別,然後展平為 GlobalAveragePooling (GAP);CNN提取圖像數據的特徵後,通過GlobalAveragePooling(GAP)對訊號進行扁平化,並連接另一個密集層;添加了 Dropout 以避免以後過度擬合(丟棄率 = 0.5);最後,添加了另一個大小為 2 的密集層,它將兩種類型的結果表示為輸出層(VPC 和 NSR);
b. 連接來自二維圖像數據的單個輸入的密集層;添加了 dropout 以避免過度擬合(丟棄率 = 0.5),並添加了另一個大小為 2 的密集層以獲得輸出層(VPC:室性早搏;NOR:正常節律);對於時間序列數據,使用單輸入和多輸入計算機架構進行模型處理;最初,將卷積核(core)改為一維核,CNN 嘗試了不同的核大小;步幅(stride)設置為3,卷積核的移動窗口一次跨越三個網格;每個卷積塊由通過 BatchNormalization和ReLU 啟始的一維 CNN 組成; Maxpooling 的設置是 pooling size 等於 5,步幅(stride )等於3;特徵的訊號通過 CNN 層提取後,通過 GAP 展平;單輸入模型的輸出特徵直接連接到 dropout(dropout rate = 0.5)以避免過度擬合;另一方面,多輸入模型將 12 個通道的特徵合併在一起並連接到一個密集層(密集大小 = 2)以獲得輸出結果;
c. 時間序列數據的訊號通過 CNN 層提取並通過 GAP 展平。單輸入模型的輸出特徵直接連接到dropout(dropout rate = 0.5),12個通道的特徵的多輸入模型被合併(得到輸出結果(dense size = 2),(GAP為全域平均池)。
於進行訓練程序;使用具有高隨機存取儲存圖形處理單元環境的 Google Colaboratory (Colab) 作為訓練平台;這個 Colab 得到了 Python 3.8 和 CNN 訓練過程的 Tensorflow的支持。還使用 keras 應用程序編程介面 (API)(一種用 Python 編寫的深度學習 API)來構建 CNN 模型和 ImageNet 競程以進行遷移和學習。
於進行統計分析時;診斷性能的最佳切點和測量包括準確性、敏感性、特異性、陽性預測值、陰性預測值和受試者工作特徵曲線 (ROC) 的曲線下面積 (AUC)。所有報告均具有 2 側 95% 置信區間。數據通過 IBM SPSS(版本 25 for Windows,Armonk,New York)進行統計分析。
第5圖為一流程圖,用以顯示說明利用如第4圖中之本發明之基於人工智能的心電圖ECG演算法系統的一實施例以進行基於人工智能的心電圖ECG演算法方法的一流程步驟。如第2圖中所示之,首先,於步驟201,進行資料收集與解析;其中,資訊處理模組2於進行資料收集與解析步驟時,該資訊處理模組2配合資料庫4及/或卷積神經網路CNN模組3,將收集數據;並進到步驟202。
在此,於步驟201,資訊處理模組2於進行資料收集與解析步驟時,該資訊處理模組2配合資料庫4及/或卷積神經網路CNN模組3,將收集數據,例如,該些數據是從 2021 年 1 月至 2021 年 10 月台灣大學醫院診斷為室性早搏VPC 的患者中收集的,最初,招募了 398 名患者(亦即,患者398 名被診斷為室性早搏),並從中收集了2515 份心電圖記錄、檢查了該些 2515 份心電圖記錄; 解析了沒有室性早搏的正常竇性心律的1617 條 ECG 記錄(亦即,解析未診斷為室性早搏 VPC的竇性心律期間的心電圖),由兩名心臟病專家對 1617 條心電圖記錄進行雙重檢查,並將其標記為來自室性早搏 VPC 患者的竇性心律;對於對照組,收集並篩選了 1053 名患者的 2090 份心電圖記錄;最後,從其中之387 名患者的 753 份正常心電圖記錄中提取並標記為正常竇性心律 (NSR)。於資料收集與解析步驟完成後,所有資料將儲存/暫存於資料庫中。
於步驟202,進行資料集準備;資訊處理模組2配合資料庫4及/或卷積神經網路CNN模組3,將儲存/暫存於資料庫4中的資料集41進行分類,將分為訓練集、驗證集和測試集;並進到步驟203。
於步驟202中,隨機選擇 50張心電圖記錄作為驗證集,另外選擇 100張心電圖記錄作為測試集,其餘數據分配給訓練集。重要的是,同一患者的數據不能屬於多個資料集,否則會影響最終結果的可信度。
於步驟203,進行資料類型與預處理;資訊處理模組2配合資料庫4及/或卷積神經網路CNN模組3,將所收集的心電圖記錄採用標準 12 導聯心電圖格式,包括導聯 I、II、III、V1~6、aVR、aVL、aVF 和長導聯 II(MAC2000 靜息心電圖系統,GE Healthcare),所有記錄均以 500 Hz 的頻率測量,持續時間為 2.5 秒;並進到步驟204。
於步驟203中,在此,在心電圖影像數據輸出之前的心電圖影像處理程序時,心電圖圖像的紅格背景被去除並處理,使整個圖像精確地聚焦在心電圖信號上(如圖6中所示);其中,輸入標準 12 導聯心電圖圖像;去除了 12 導聯心電圖圖像的紅色背景;圖像被裁剪以集中在心電圖信號上。
之後,資訊處理模組2將心電圖圖像調整為 512 x 256 x 3 像素,二維心電圖圖像被轉換為一維和時間序列數據;卷積神經網路CNN模組3之卷積神經網絡 (CNN) 的輸入數據大小為 1250 x 12 像素,用於執行圖像識別(如圖7中所示)。
心電圖數據輸入格式:
a.去除12導聯心電圖的紅格背景,將心電圖轉換為灰度圖;
b.像素強度反轉,像素強度為255像素。根據每條引線的"開始"和:結束"位置,將圖像垂直切割成四個子圖像;
c.逐像素掃描子圖像並記錄像素強度等於 255 像素的位置;
d.數據訊號的最近位置被分組,每列分為四個值,並且列的所有值在每個指引(lead)中被合成到四個列表中,訊號被轉換為時間序列格式;
e.每個子圖像的列由 250 個像素組成,在逐像素掃描後,格式化了一個具有 250 個時間序列數據的指引,插值操作用於對時間序列數據(500 Hz,2.5 秒)執行上採樣(up-sampling);
f.IIR 低通濾波器用於過濾雜訊(截止頻率 = 15 Hz,階數 = 3);以及
g.每個指引的大小被歸一化為一個統一的尺度。
於步驟204,進行模型程序;該資訊處理模組2配合資料庫4及/或卷積神經網路CNN模組3,而該卷積神經網路CNN模組3利用人工智能心電圖演算法31,以建立卷積神經網路CNN模組3所需之識別竇性心律 (NSR) 期間室性早搏VPC 患者的評估模型32,在此,將根據數據格式的維度特徵建立為CNN模型的識別竇性心律 (NSR) 期間室性早搏VPC 患者的評估模型32,對於二維圖像數據,使用了五種網絡計算機架構,包括 VGG16、ResNet0V2、InceptionV3、InceptionResNetV2、和 Xception 使用 CNN 的 Image Net 部分獲得最佳圖像識別(如圖8a中所示);並進到步驟205。
在此,CNN的結構:
a.二維圖像數據通過 VGG16、ResNet50V2、InceptionV3、InceptionResNetV2 和 Xception 等五種網絡計算機架構進行處理,以在 CNN 的 Image Net 部分獲得最佳圖像識別,然後展平為 GlobalAveragePooling (GAP);CNN提取圖像數據的特徵後,通過GlobalAveragePooling(GAP)對訊號進行扁平化,並連接另一個密集層;添加了 Dropout 以避免以後過度擬合(丟棄率 = 0.5)(如圖8b中所示);最後,添加了另一個大小為 2 的密集層,它將兩種類型的結果表示為輸出層(VPC 和 NSR) (如圖8b中所示);
b. 連接來自二維圖像數據的單個輸入的密集層;添加了 dropout 以避免過度擬合(丟棄率 = 0.5),並添加了另一個大小為 2 的密集層以獲得輸出層(VPC:室性早搏;NOR:正常節律);對於時間序列數據,使用單輸入和多輸入計算機架構進行模型處理;最初,將卷積核(core)改為一維核,CNN 嘗試了不同的核大小;步幅(stride)設置為3,卷積核的移動窗口一次跨越三個網格;每個卷積塊由通過 BatchNormalization 和 ReLU 激活的一維 CNN 組成;Maxpooling 的設置是 pooling size 等於 5,步幅(stride )等於 3;特徵的訊號通過 CNN 層提取後,通過 GAP 展平;單輸入模型的輸出特徵直接連接到 dropout(dropout rate = 0.5)以避免過度擬合(圖 8c);另一方面,多輸入模型將 12 個通道的特徵合併在一起並連接到一個密集層(密集大小 = 2)以獲得輸出結果(如圖8c中所示);
c. 時間序列數據的訊號通過 CNN 層提取並通過 GAP 展平。單輸入模型的輸出特徵直接連接到dropout(dropout rate = 0.5),12個通道的特徵的多輸入模型被合併(得到輸出結果(dense size = 2),(GAP為全域平均池)。
於步驟205,進行訓練程序;使用具有高隨機存取儲存圖形處理單元環境的 Google Colaboratory (Colab) 作為訓練平台;這個 Colab 得到了 Python 3.8 和 CNN 訓練過程的 Tensorflow的支持。還使用 keras 應用程序編程介面 (API)(一種用 Python 編寫的深度學習 API)來構建 CNN 模型和 ImageNet 競程以進行遷移和學習;並進到步驟206。API 的設置和訓練參數如表 1 (Table 1)所示。
於步驟206,進行統計分析;診斷性能的最佳切點和測量包括準確性、敏感性、特異性、陽性預測值、陰性預測值和受試者工作特徵曲線 (ROC) 的曲線下面積 (AUC)。所有報告均具有 2 側 95% 置信區間。數據通過 IBM SPSS(版本 25 for Windows,Armonk,New York)進行統計分析。
第6(a)至6(c)圖為示意圖,用以顯示說明於第4圖與第5圖中之輸入前的心電圖圖像處理過程。如圖中所示之, 輸入前的心電圖圖像處理過程。
6(a).標準 12 導聯心電圖圖像。
6(b).去除了 12 導聯心電圖圖像的紅色背景。
6(c).圖像被裁剪以集中在心電圖信號上。
第7(a)至7(g)圖為示意圖,用以顯示說明於第4圖與第5圖中之心電數據輸入格式。如圖中所示之,心電數據輸入格式; 將心電圖圖像調整為 512 x 256 x 3 像素。二維心電圖圖像被轉換為一維和時間序列數據。卷積神經網絡 (CNN) 的輸入數據大小為 1250 x 12 像素,用於執行圖像識別輸入前的心電圖圖像處理過程。
7(a)圖,去除12導聯心電圖的紅格背景,將心電圖轉換為灰度圖。
7(b)圖,像素強度反轉,像素強度為255像素。根據每條引線的“開始”和“結束”位置,將圖像垂直切割成四個子圖像。
7(c)圖,逐像素掃描子圖像並記錄像素強度等於 255 像素的位置。
7(d)圖,信號的最近位置被分組。每列分為四個值,並且列的所有值在每個引導中被合成到四個列表中。信號被轉換為時間序列格式。
7(e)圖,每個子圖像的列由 250 個像素組成。在逐像素掃描後,格式化了一個具有 250 個時間序列數據的引線。插值操作用於對時間序列數據(500 Hz,2.5 秒)執行上採樣。
7(f)圖,IIR 低通濾波器用於過濾雜訊(截止頻率 = 15 Hz,階數 = 3)。
7(g)圖,每個導聯的大小被歸一化為一個統一的尺度。
第8(a)圖為示意圖,用以顯示說明於第4圖與第5圖中之卷積神經網絡 (CNN) 的架構。如圖中所示之, 根據數據格式的維度特徵建立CNN模型。對於二維圖像數據,使用了五種網絡計算機架構,包括 VGG16、ResNet0V2、InceptionV3、InceptionResNetV2、和 Xception 使用 CNN 的 Image Net 部分獲得最佳圖像識別(圖 8a)。
二維圖像數據通過 VGG16、ResNet50V2、InceptionV3、InceptionResNetV2 和 Xception 等五種網絡計算機架構進行處理,以在 CNN 的 Image Net 部分獲得最佳圖像識別,然後展平為 GlobalAveragePooling (GAP)。
第8(b)圖為示意圖,用以顯示說明於第4圖與第5圖中之連接來自二維圖像數據的單個輸入的密集層。如圖中所示之,CNN提取圖像數據的特徵後,通過GlobalAveragePooling(GAP)對訊號進行扁平化,並連接另一個密集層。添加了 Dropout 以避免以後過度擬合(丟棄率 = 0.5)。
最後,添加了另一個大小為 2 的密集層,它將兩種類型的結果表示為輸出層(VPC 和 NSR)。
連接來自二維圖像數據的單個輸入的密集層。添加了 dropout 以避免過度擬合(丟棄率 = 0.5),並添加了另一個大小為 2 的密集層以獲得輸出層。 (VPC:室性早搏;NOR:正常節律)。
對於時間序列數據,使用單輸入和多輸入計算機架構進行模型處理。最初,將卷積核改為一維核,CNN 嘗試了不同的核大小。步幅設置為 3,卷積核的移動窗口一次跨越三個網格。每個卷積塊由通過 BatchNormalization 和 ReLU 啟動的一維 CNN 組成。
第8(c)圖為示意圖,用以顯示說明於第4圖與第5圖中之時間序列數據的信號通過 CNN 層提取並通過 GAP 展平。如圖中所示之, Maxpooling 的設置是 pooling size 等於 5,步幅stride 等於 3。特徵的訊號通過 CNN 層提取後,通過 GAP 展平。單輸入模型的輸出特徵直接連接到 dropout(dropout rate = 0.5)以避免過度擬合。另一方面,多輸入模型將 12 個通道的特徵合併在一起並連接到一個密集層(密集大小 = 2)以獲得輸出結果。
時間序列數據的訊號通過 CNN 層提取並通過全域平均池GAP 展平。單輸入模型的輸出特徵直接連接到dropout(dropout rate = 0.5),12個通道的特徵的多輸入模型被合併(得到輸出結果(dense size = 2)。
就圖1至圖8(a)-8(c)、以及相關的說明書內容而言:
圖像輸入模型的性能:
在所有納入的患者中,第一次心電圖檢查時的平均年齡為 62.4 歲(標準差 14.3),其中 750 名(52%)患者為男性。使用不同的測試集來評估具有不同大小的密集層和全連接層的不同預訓練 CNN 模型。使用 VGG16、ResNet50V2、InceptionV3、InceptionResNetV2 和 Xception 等五種網絡計算機架構來選擇精度最高的最佳模型,用於後續訓練過程。
最終,選擇與密集層(大小 = 512)連接的 CNN 模型的 InceptionV3 作為圖像格式數據集的核心 CNN 模型。與其他組合相比,準確度最高(準確度=0.895,靈敏度=0.907,特異性=0.883,95% CI)(如圖9中所示)。
第9圖為一示意圖,用以顯示說明影像輸入模型的精確度。如圖中所示之, 具有不同連接層大小的不同圖像輸入之卷積神經網絡CNN 模型的精度。
第10圖為一示意圖,用以顯示說明模型架構的 ROC 的 AUC 為 0.941。如圖中所示之,結合 InceptionV3 CNN 模型和模型的 ROC 的 AUC密集層(大小 = 512),(CNN:卷積神經網絡,AUC:受試者工作特徵曲線下面積,ROC:受試者工作特徵曲線)。
就時間序列輸入模型的性能而言:
對於時間序列數據,評估了不同大小的卷積核以找到最佳組合。執行單輸入模型的最佳內核大小為 7,而多輸入模型的最佳內核大小為11,如表2(Table 2)所示之。
在多輸入模型中,CNN 通道需要同時分析所有 12 個導聯的訊號。複雜度相對高於只需要分析一個導聯訊號的單輸入模型。此外,多輸入模型使用分析的平行化。因此,多輸入模型的準確率比單輸入模型高 4%(單輸入模型:0.840,多輸入模型:0.880,95% CI),如表3(Table 3)所示之。
多輸入時間序列模型的準確率仍然低於但非常接近於圖像輸入模型(0.880 vs 0.895)。
本發明之基於人工智能的心電圖ECG演算法系統及其方法,例如,於實際施行時:
發現在正常竇性心律期間記錄的啟用 AI 的心電圖在識別 VPC 的存在方面表現良好(AUC 0.941)。準確性與之前使用啟用 AI 的心電圖在正常竇性心律期間識別 AF 的研究相當(AUC 0.87-0.90),並且也與其他醫學篩查測試如 B 型利鈉肽用於心臟衰竭(AUC 0•60– 0•70)、子宮頸癌巴氏塗片 (AUC 0•70) 和 CHA2DS2-VASc 評分中風風險(AUC 0•57–0•72)。
就竇性心律期間 VPC 檢測的重要性而言:
儘管 VPC 似乎是良性的,但它與心血管事件的增加有關。從弗雷明漢心臟追蹤研究、多危險因子干預試驗 (MRFIT) 和社區動脈粥狀硬化風險研究 (ARIC) 研究中,VPC 已被證明是無結構性心臟病患者死亡的獨立危險因子。
VPC 也被認為會引發室性心動過速/纖顫,並導致無缺血性心肌病患者的心源性猝死 (SCD) 或不明原因暈厥。此外,頻繁出現 VPC(定義為 10 秒 ECG 上 > 1 個 VPC 或一小時內 > 30 個 VPC)的患者與誘發心臟衰竭和心源性猝死有關。頻繁出現 VPC 的患者即使無症狀,也有患 VPC 誘發的心肌病的風險。
通過廉價、廣泛可用的即時檢測(在正常竇性心律期間記錄的心電圖)識別未檢測到的 VPC 的能力具有重要的實際意義,特別是對於 VPC 篩查工作或對不明原因暈厥或胸部不適患者的診斷治療,特別是對於那些有 SCD 家族史的人。
本發明展示了利用現代計算技術、大型數據集、非線性模型和使用卷積層的自動特徵提取來潛在地改善對危及生命的疾病的診斷和治療的能力。當發現VPC時,可以及早開始治療。
導管消融顯著改善了結果。幾項大型、前瞻性、隨機研究也表明,植入式心臟復律除顫器 (ICD) 的植入可提高危及生命的室性心律不整患者的生存率。
對不明原因暈厥或 SCD 患者的長期動態監測可識別 VPC。因此,短期心電圖監測可能無法檢測到 VPC,並且在檢測到 VPC 之前,很大一部分患者無法預防 SCD。然而,長期心電圖監測是昂貴的,並且可能對患者和臨床診斷造成負擔。
因此,本發明能讓患者從簡單監測而受益,而對於患者來說是有價值的。本發明的數據表明,一種簡單、廉價、非侵入性的 10 秒測試——人工智能增強的標準心電圖——可能克服識別 VPC 檢測不易的情況。
就12 導聯心電圖數據的維度而言:
在 12 導聯 ECG 中應用 CNN 分析時,一維方法將 ECG 數據視為時間序列格式。另一方面,CNN 在二維數據處理過程中使用內核提取 12 導聯心電圖的所有特徵。 CNN 內核可以被特定的函數激活,隨後被神經網絡分析識別。
因此,二維分析是將數據作為圖像,更類似於心臟病專家解讀 12 導聯心電圖的方式。然而,二維數據量巨大,比一維數據格式複雜得多。
因此,一般的 AI 工具無法分析以圖像格式存儲的 12 導聯心電圖。為了在分析這些大量複雜的二維數據時遇到困難,使用了幾種可用的網絡和不同的計算機架構組合,以獲得 CNN 模型的 VPC 預測的最佳精度。
基於 CNN 的二維數據預測 VPC 模型是本發明的重要特徵之一。這之前沒有被習知技術所成功執行過。在優化輸入模型架構後,本發明的二維 CNN 模型可以在 VPC於沒有發作期間識別異常心電圖並對高危人群進行分類。
從之前的研究來看,人工智能驅動的算法已應用於各種疾病的自動診斷,例如需要緊急血行重建的心肌梗塞、收縮性心臟衰竭、高危人群中鉀的細微變化和心房顫動。
然而,這些研究中的大多數都是基於單導聯心電圖或一維(時間序列)數據集。從本發明的結果來看,源自 12 導聯心電圖和二維數據格式的 CNN 模型能夠可靠地自動預測 VPC 發作,並且準確度甚至優於一維或時間序列結果(0.895 對 0.880)。本發明的研究證明了實施 CNN 模型以使用一維或二維數據識別 VPC病人 的可能性。
就人工智能識別正常竇性心律期間VPC患者的機制而言:
強調引起 VPC 的心臟結構變化,可能包括心肌細胞肥大、纖維化和心室擴大,可能會導致細微的 ECG 變化,從而可以預測潛在的 VPC。這與使用訊號平均心電圖檢測人眼無法通過單個心電圖觀察到的心室晚期電位非常相似。
此外,雖然很少有關於心電圖的報導,但輕微的心室內傳導阻滯可能與輕微的心肌纖維化和 VPC 或 SCD 的風險相關。因此,ECG 上的小波可能小於人眼可觀察到的波,本研究結果反映了這些患者存在些微區域傳導阻滯。
一個經過大量 ECG 訓練並具有足夠深度來提取和人類觀察不到的細微特徵的神經網絡,可能足夠強大以識別這些些微特徵。最後,據報導,啟用 AI 的心電圖可以預測左心室功能,並且左心室射出分率較低已被證明是室性心律不整的強預測因子。
以本發明之基於人工智能的心電圖演算法系統及其方法而言:
在本發明中,CNN 神經網絡被證明是一種有前途的工具,可用於對心電圖進行全面的類人解釋。深度學習 CNN 模型在用於 VPC 預測的高維數據集中表現出令人滿意的性能。它將在臨床領域具有巨大的潛在部署,並且在未來很大程度上具有不可預測的影響。
然而,現有神經網絡的一個關鍵限制是可解釋性。識別這些特徵可能很重要,因為它們可能會提供新的致病機轉發現,可以提供新的治療靶點。尋找方法來窺視這個所謂的神經網路解釋性黑匣子是一個正在進行的積極調查領域。
以上所述僅為本發明之較佳實施例而已,並非用以限定本發明之範圍;凡其它未脫離本發明所揭示之精神下所完成之等效改變或修飾,均應包含在下述之專利範圍內。
1:基於人工智能的心電圖ECG演算法系統
2:資訊處理模組
3:卷積神經網路CNN模組
4:資料庫
31:人工智能心電圖演算法
32:識別竇性心律 (NSR) 期間室性早搏VPC 患者的評估模型
41:資料集
42:病人資料集
101 102 103 104 105 106:步驟
201 202 203 204 205 206:步驟
1001 1002 1003:步驟
第1圖為一系統示意圖,用以顯示說明本發明之基於人工智能的心電圖演算法系統之系統架構、以及運作情形。
第2圖為一流程圖,用以顯示說明利用如第1圖中之本發明之基於人工智能的心電圖ECG演算法系統以進行基於人工智能的心電圖ECG演算法方法的一流程步驟。
第3圖為一流程圖,用以顯示說明利用如第1圖中之本發明之基於人工智能的心電圖ECG演算法系統以進行基於人工智能的心電圖ECG演算法方法的另一流程步驟。
第4圖為一示意圖,用以顯示說明本發明之基於人工智能的心電圖ECG演算法系統的一實施例、以及運作情形。
第5圖為一流程圖,用以顯示說明利用如第4圖中之本發明之基於人工智能的心電圖ECG演算法系統的一實施例以進行基於人工智能的心電圖ECG演算法方法的一流程步驟。
第6(a)至6(c)圖為示意圖,用以顯示說明於第4圖與第5圖中之輸入前的心電圖圖像處理過程。
第7(a)至7(g)圖為示意圖,用以顯示說明於第3圖與第4圖中之心電數據輸入格式。
第8(a)圖為示意圖,用以顯示說明於第4圖與第5圖中之卷積神經網絡 (CNN) 的架構。
第8(b)圖為示意圖,用以顯示說明於第4圖與第5圖中之連接來自二維圖像數據的單個輸入的密集層。
第8(c)圖為示意圖,用以顯示說明於第4圖與第5圖中之時間序列數據的信號通過 CNN 層提取並通過 GAP 展平。
第9圖為一示意圖,用以顯示說明影像輸入模型的精確度。
第10圖為一示意圖,用以顯示說明模型架構的 ROC 的 AUC 為 0.941。
101 102 103 104 105 106:步驟
Claims (10)
- 一種基於人工智能的心電圖ECG演算法方法,係應用於在竇性心律(sinus rhythm)期間的環境下識別罹患有室性早搏VPC(Ventricular Premature Contraction)患者,包含以下程序: 進行資料集動作;將資料集進行分類,將分為訓練集、驗證集和測試集; 進行影像處理動作;將所收集之資料集的為心電圖ECG機器的ECG心電圖一維原始數據及/或二維心電圖ECG影像的心電圖圖像的背景予以去除並處理、該心電圖圖像尺寸大小予以重新設定,使整個該心電圖圖像精確地聚焦在心電圖訊號上;以及 進行人工智慧AI、以及卷積神經網絡CNN處理的至少一動作;利用人工智能心電圖演算法,以建立識別竇性心律 (NSR) 期間室性早搏VPC 患者的評估模型。
- 如請求項1所述之基於人工智能的心電圖ECG演算法方法,其中, 該資料集之資料可為心電圖ECG機器的ECG心電圖一維原始數據、以及二維心電圖ECG影像的至少其中之一。
- 如請求項2所述之基於人工智能的心電圖ECG演算法方法,其中,該資料集為12 導聯心電圖數據,而就該12 導聯心電圖數據的維度而言,在 12 導聯 ECG 中應用 卷積神經網路CNN 分析時,一維方法將 ECG 數據視為時間序列格式;另,卷積神經網路CNN 在二維數據處理過程中使用內核提取該 12 導聯心電圖數據的所有特徵,該卷積神經網路CNN 內核可以被特定的函數激活,隨後被神經網絡分析識別。
- 如請求項1所述之基於人工智能的心電圖ECG演算法方法,其中,於進行該人工智慧AI、以及卷積神經網絡CNN處理的該至少一動作時,將根據經預處理後之心電圖ECG二維數據,數據格式的維度特徵建立為卷積神經網絡CNN模型的識別竇性心律 (NSR)期間室性早搏VPC 患者的評估模型。
- 如請求項4所述之基於人工智能的心電圖ECG演算法方法,其中,對於經預處理後之該心電圖ECG二維圖像數據,使用了五種網絡計算機架構,包括 VGG16、ResNet0V2、InceptionV3、InceptionResNetV2、和 Xception 使用 CNN 的 Image Net 部分獲得最佳圖像識別。
- 一種基於人工智能的心電圖ECG演算法系統,係應用於在竇性心律(sinus rhythm)期間的環境下識別罹患有室性早搏VPC(Ventricular Premature Contraction)患者,包含: 資訊處理模組; 卷積神經網路CNN模組;以及 資料庫; 其中,該資訊處理模組配合該資料庫及/或該卷積神經網路CNN模組,將儲存/暫存於該資料庫中的資料集進行分類,將分為訓練集、驗證集和測試集; 其中,該資訊處理模組配合該資料庫及/或該卷積神經網路CNN模組,將所收集之該資料集的為心電圖ECG機器的ECG心電圖一維原始數據及/或二維心電圖ECG影像之心電圖圖像的背景予以去除並處理、該心電圖圖像尺寸大小予以重新設定,使整個該心電圖圖像精確地聚焦在心電圖訊號上;以及 其中,該資訊處理模組配合該資料庫及/或該卷積神經網路CNN模組進行人工智慧AI、以及卷積神經網絡CNN處理程序,利用人工智能心電圖演算法,以建立該卷積神經網路CNN模組所需之識別竇性心律 (NSR) 期間室性早搏VPC 患者的評估模型。
- 如請求項6所述之基於人工智能的心電圖ECG演算法系統,其中,該資料集之資料可為心電圖ECG機器的ECG心電圖一維原始數據、以及二維心電圖ECG影像的至少其中之一。
- 如請求項7所述之基於人工智能的心電圖ECG演算法系統,其中,該資料集為12 導聯心電圖數據,而就該12 導聯心電圖數據的維度而言,在 12 導聯 ECG 中應用 卷積神經網路CNN 分析時,一維方法將 ECG 數據視為時間序列格式;另,卷積神經網路CNN 在二維數據處理過程中使用內核提取該 12 導聯心電圖數據的所有特徵,該卷積神經網路CNN 內核可以被特定的函數激活,隨後被神經網絡分析識別。
- 如請求項6所述之基於人工智能的心電圖ECG演算法系統,其中,於進行該人工智慧AI、以及卷積神經網絡CNN處理程序時,將根據經預處理後之心電圖ECG二維數據,數據格式的維度特徵建立為卷積神經網絡CNN模型的識別竇性心律 (NSR)期間室性早搏VPC 患者的評估模型。
- 如請求項9所述之基於人工智能的心電圖ECG演算法系統,其中,對於經預處理後之該心電圖ECG二維圖像數據,使用了五種網絡計算機架構,包括 VGG16、ResNet0V2、InceptionV3、InceptionResNetV2、和 Xception 使用 CNN 的 Image Net 部分獲得最佳圖像識別。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW112127990A TWI841459B (zh) | 2023-07-26 | 2023-07-26 | 基於人工智能的心電圖演算法系統及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW112127990A TWI841459B (zh) | 2023-07-26 | 2023-07-26 | 基於人工智能的心電圖演算法系統及其方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
TWI841459B true TWI841459B (zh) | 2024-05-01 |
Family
ID=92076687
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW112127990A TWI841459B (zh) | 2023-07-26 | 2023-07-26 | 基於人工智能的心電圖演算法系統及其方法 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI841459B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI693063B (zh) * | 2019-03-14 | 2020-05-11 | 美商宇心生醫股份有限公司 | 心電圖快速標記方法 |
TW202227006A (zh) * | 2020-08-26 | 2022-07-16 | 志強 崔 | 對稱溫差個性化健康管理體系-人體對稱溫差cwpas健康管理體系與使用方法 |
-
2023
- 2023-07-26 TW TW112127990A patent/TWI841459B/zh active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI693063B (zh) * | 2019-03-14 | 2020-05-11 | 美商宇心生醫股份有限公司 | 心電圖快速標記方法 |
TW202227006A (zh) * | 2020-08-26 | 2022-07-16 | 志強 崔 | 對稱溫差個性化健康管理體系-人體對稱溫差cwpas健康管理體系與使用方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | Automated ECG classification using a non-local convolutional block attention module | |
Acharya et al. | Automated detection of arrhythmias using different intervals of tachycardia ECG segments with convolutional neural network | |
Gupta et al. | Chaos theory: an emerging tool for arrhythmia detection | |
Hammad et al. | Deep learning models for arrhythmia detection in IoT healthcare applications | |
Amrani et al. | Very deep feature extraction and fusion for arrhythmias detection | |
Šećkanović et al. | Review of artificial intelligence application in cardiology | |
Degirmenci et al. | Arrhythmic heartbeat classification using 2d convolutional neural networks | |
Król-Józaga | Atrial fibrillation detection using convolutional neural networks on 2-dimensional representation of ECG signal | |
Sugimoto et al. | Detection and localization of myocardial infarction based on a convolutional autoencoder | |
CN113180688B (zh) | 基于残差神经网络的冠心病心电图筛查系统及方法 | |
CN114652322B (zh) | 一种基于多域特征学习的心电信号分类方法和系统 | |
Wu et al. | Personalizing a generic ECG heartbeat classification for arrhythmia detection: a deep learning approach | |
Ansari et al. | Estimating age and gender from electrocardiogram signals: A comprehensive review of the past decade | |
Al-Huseiny et al. | Diagnosis of arrhythmia based on ECG analysis using CNN | |
Chang et al. | An artificial intelligence-enabled ECG algorithm for identifying ventricular premature contraction during sinus rhythm | |
Huang et al. | Detecting paroxysmal atrial fibrillation from normal sinus rhythm in equine athletes using Symmetric Projection Attractor Reconstruction and machine learning | |
Wu et al. | Autonomous detection of myocarditis based on the fusion of improved quantum genetic algorithm and adaptive differential evolution optimization back propagation neural network | |
TWI841459B (zh) | 基於人工智能的心電圖演算法系統及其方法 | |
Zeng et al. | Advancing cardiac diagnostics: Exceptional accuracy in abnormal ECG signal classification with cascading deep learning and explainability analysis | |
Adedinsewo et al. | Digitizing paper based ECG files to foster deep learning based analysis of existing clinical datasets: An exploratory analysis | |
Deng et al. | An intelligent computer-aided diagnosis method for paroxysmal atrial fibrillation patients with nondiagnostic ECG signals | |
Dhyani et al. | Review of analysis of ECG based arrhythmia detection system using machine learning | |
Mamun | Assessment of Potential Primary and Recurrent Ischemic Stroke by Detecting Atrial Fibrillation using 1D-CNN and CHA2DS2-VA Score | |
Sadeghi et al. | Diagnosing left bundle branch block in 12-lead electrocardiogram using self-attention convolutional neural networks | |
Ran et al. | Multi-label classification of abnormalities in 12-lead ECG using deep learning |