TWI759218B - 非接觸式心律類別監測系統及方法 - Google Patents

非接觸式心律類別監測系統及方法 Download PDF

Info

Publication number
TWI759218B
TWI759218B TW110120096A TW110120096A TWI759218B TW I759218 B TWI759218 B TW I759218B TW 110120096 A TW110120096 A TW 110120096A TW 110120096 A TW110120096 A TW 110120096A TW I759218 B TWI759218 B TW I759218B
Authority
TW
Taiwan
Prior art keywords
contact
heart rhythm
physiological signal
signal
atrial fibrillation
Prior art date
Application number
TW110120096A
Other languages
English (en)
Other versions
TW202247816A (zh
Inventor
吳炳飛
楊茵茵
黃柏維
吳秉璋
鄭紹恩
Original Assignee
國立陽明交通大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立陽明交通大學 filed Critical 國立陽明交通大學
Priority to TW110120096A priority Critical patent/TWI759218B/zh
Priority to US17/452,239 priority patent/US20220386886A1/en
Application granted granted Critical
Publication of TWI759218B publication Critical patent/TWI759218B/zh
Publication of TW202247816A publication Critical patent/TW202247816A/zh

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346Analysis of electrocardiograms
    • A61B5/349Detecting specific parameters of the electrocardiograph cycle
    • A61B5/361Detecting fibrillation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7278Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7282Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30076Plethysmography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Psychiatry (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本發明提出一種非接觸式心律類別監測方法,其包含以下步驟。透過影像感測器連續擷取複數個臉部影像;自複數個臉部影像擷取預定時長的連續目標區域之影像;自連續目標區域之影像獲取與心跳相關的非接觸式生理訊號;對非接觸式的生理訊號進行正常心律、心房顫動與非心房顫動之心律不整的分類。

Description

非接觸式心律類別監測系統及方法
本發明是有關於一種系統及方法,且特別是有關於一種非接觸式心律類別監測系統及其運作方法。
心律是指心臟收縮跳動的頻率和每分鐘跳動的次數。接觸式偵測裝置,例如24小時心電圖量測儀、綁帶式生理訊號量測儀或智慧型手環,可偵測心律。
然而,接觸式偵測裝置對於高齡族群來說相對地有著配戴上的不便,不適合做為長期監控的方式。
本發明提出一種非接觸式心律類別監測系統及其運作方法,改善先前技術的問題。
在本發明的一實施例中,本發明所提出的非接觸式心律類別監測系統包含影像感測器、儲存裝置以及處理器。儲存裝置儲存至少一指令,處理器電性連接儲存裝置。影像感測器用以連續擷取複數個臉部影像,處理器用以存 取並執行至少一指令以:自複數個臉部影像擷取預定時長的連續目標區域之影像;自連續目標區域之影像獲取與心跳相關的非接觸式生理訊號;對非接觸式的生理訊號進行正常心律、心房顫動與非心房顫動之心律不整的分類。
在本發明的一實施例中,處理器用以存取並執行至少一指令以:提供選擇是否開啟人臉偵測的選項;調控單次取樣於複數個臉部影像的時間長度;對於複數個臉部影像,調控每次取樣間隔的時間長度。
在本發明的一實施例中,處理器用以存取並執行至少一指令以:當開啟人臉偵測被選擇時,進行人臉偵測以選取相應的連續目標區域。
在本發明的一實施例中,處理器用以存取並執行至少一指令以:當不開啟人臉偵測被選擇時,進行擷取複數個臉部影像的整張畫面為連續目標區域。
在本發明的一實施例中,處理器用以存取並執行至少一指令以:將連續目標區域的像素值透過訊號模型轉換為與心跳相關的非接觸式生理訊號;對非接觸式生理訊號進行強化,以降低訊號中受環境光影、人為晃動與影像感測器晃動中至少一者的雜訊影響;計算非接觸式生理訊號之至少一訊號品質指標。
在本發明的一實施例中,處理器用以存取並執行至少一指令以:對非接觸式生理訊號進行頻譜分析,檢測非接觸式生理訊號的頻譜在複數個頻率下的訊號強度值以納 入至少一訊號品質指標。
在本發明的一實施例中,處理器用以存取並執行至少一指令以:檢測非接觸式生理訊號中綠色像素值的標準差變化以納入至少一訊號品質指標。
在本發明的一實施例中,處理器用以存取並執行至少一指令以:將非接觸式生理訊號輸入一深度卷積神經網路模型以偵測包含心律變異性與血液脈衝量的心律差異之波形特徵,並判斷初步心律類別,深度卷積神經網路模型係透過具有樣本級過濾器的過濾大小與樣本級移動步長建立出深層的網絡架構以提高對非接觸式生理訊號的自動標記的準確性;依據目標時長,設定組合連續取樣下對應之非接觸式生理訊號的總錄製時間,並對初步心律類別進行投票機制以判斷出最後心律類別,最後心律類別區分正常心律、心房顫動與非心房顫動之心律不整。
在本發明的一實施例中,處理器用以存取並執行至少一指令以:當目標時長未被使用者設定時,評估不同的時間長度內使用的至少一訊號品質指標以自動設定目標時長。
在本發明的一實施例中,處理器用以存取並執行至少一指令以:接受使用者設定以決定目標時長。
在本發明的一實施例中,本發明所提出的非接觸式心律類別監測方法包含以下步驟:透過影像感測器連續擷取複數個臉部影像;自複數個臉部影像擷取預定時長的連 續目標區域之影像;自連續目標區域之影像獲取與心跳相關的非接觸式生理訊號;對非接觸式的生理訊號進行正常心律、心房顫動與非心房顫動之心律不整的分類。
在本發明的一實施例中,非接觸式心律類別監測方法更包含:提供選擇是否開啟人臉偵測的選項;調控單次取樣於複數個臉部影像的時間長度;對於複數個臉部影像,調控每次取樣間隔的時間長度。
在本發明的一實施例中,非接觸式心律類別監測方法更包含:當開啟人臉偵測被選擇時,進行人臉偵測以選取相應的連續目標區域。
在本發明的一實施例中,非接觸式心律類別監測方法更包含:當不開啟人臉偵測被選擇時,進行擷取複數個臉部影像的整張畫面為連續目標區域。
在本發明的一實施例中,自連續目標區域之影像獲取與心跳相關的非接觸式生理訊號的步驟包含:將連續目標區域的像素值透過訊號模型轉換為與心跳相關的非接觸式生理訊號;對非接觸式生理訊號進行強化,以降低訊號中受環境光影、人為晃動與影像感測器晃動中至少一者的雜訊影響;計算非接觸式生理訊號之至少一訊號品質指標。
在本發明的一實施例中,計算強化後的非接觸式生理訊號之至少一訊號品質指標的步驟包含:對非接觸式生理訊號進行頻譜分析,檢測非接觸式生理訊號的頻譜在複數個頻率下的訊號強度值以納入至少一訊號品質指標。
在本發明的一實施例中,計算強化後的非接觸式生理訊號之至少一訊號品質指標的步驟包含:檢測非接觸式生理訊號中綠色像素值的標準差變化以納入至少一訊號品質指標。
在本發明的一實施例中,對非接觸式的生理訊號進行正常心律、心房顫動與非心房顫動之心律不整的分類的步驟包含:將非接觸式生理訊號輸入一深度卷積神經網路模型以偵測包含心律變異性與血液脈衝量的心律差異之波形特徵,並判斷初步心律類別,深度卷積神經網路模型係透過具有樣本級過濾器的過濾大小與樣本級移動步長建立出深層的網絡架構以提高對非接觸式生理訊號的自動標記的準確性;依據目標時長,設定組合連續取樣下對應之非接觸式生理訊號的總錄製時間,並對初步心律類別進行投票機制以判斷出最後心律類別,最後心律類別區分正常心律、心房顫動與非心房顫動之心律不整。
在本發明的一實施例中,對非接觸式的生理訊號進行正常心律、心房顫動與非心房顫動之心律不整的分類的步驟更包含:當目標時長未被使用者設定時,評估不同的時間長度內使用的至少一訊號品質指標以自動設定目標時長。
在本發明的一實施例中,對非接觸式的生理訊號進行正常心律、心房顫動與非心房顫動之心律不整的分類的步驟更包含:接受使用者設定以決定目標時長。
以下將以實施方式對上述之說明作詳細的描述,並對本發明之技術方案提供更進一步的解釋。
為讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂,所附符號之說明如下:
100:非接觸式心律類別監測系統
110:影像感測器
120:處理器
130:顯示器
140:輸入裝置
150:儲存裝置
121:取樣模組
121a:目標區域選擇單元
121b:取樣長度調控單元
121c:取樣間隔調控單元
122:生理訊號計算模組
122a:訊號轉換單元
122b:訊號增強單元
122c:訊號品質檢測單元
123:心律分類模組
123a:無疾病史看護單元
123b:有疾病史看護單元
123c:臨床監控單元
123d:取樣訊號分類單元
123e:目標時長選擇單元
123f:投票分類單元
FI:整體影像
TR:目標區域
RPPG:遠距離光體積變化描記圖訊號
HRC:心律類別
M100:非接觸式心律類別監測方法
S101~S118:步驟
為讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂,所附圖式之說明如下:第1A圖是依照本發明一實施例之一種非接觸式心律類別監測系統的架構圖;第1B圖是依照本發明一實施例之一種非接觸式心律類別監測系統的功能方塊圖;第2圖是依照本發明一實施例之一種非接觸式心律類別監測方法的流程圖;第3圖是依照本發明一實施例之一種取樣模組的功能方塊圖;第4圖是依照本發明一實施例之一種生理訊號計算模組的功能方塊圖;第5圖是依照本發明一實施例之一種心律分類模組的功能方塊圖;第6圖是依照本發明一實施例之第2圖中之一步驟的流程圖;第7A圖是依照本發明一實施例之一種臉部影像的示意圖;第7B圖為在第7A圖所示之臉部影像中偵測臉部特徵點 座標的示意圖;以及第7C圖為在第7B圖所示之臉部特徵點中所框選之目標區域的示意圖。
為了使本發明之敘述更加詳盡與完備,可參照所附之圖式及以下所述各種實施例,圖式中相同之號碼代表相同或相似之元件。另一方面,眾所週知的元件與步驟並未描述於實施例中,以避免對本發明造成不必要的限制。
請參照第1A圖、第1B圖,本發明之技術態樣是一種非接觸式心律類別監測系統100,其可應用在電腦,或是廣泛地運用在相關之技術環節。本技術態樣之非接觸式心律類別監測系統100可達到相當的技術進步,並具有產業上的廣泛利用價值。以下將搭配第1A圖、第1B圖來說明非接觸式心律類別監測系統100之具體實施方式。
應瞭解到,非接觸式心律類別監測系統100的多種實施方式搭配第1A圖、第1B圖進行描述。於以下描述中,為了便於解釋,進一步設定許多特定細節以提供一或多個實施方式的全面性闡述。然而,本技術可在沒有這些特定細節的情況下實施。於其他舉例中,為了有效描述這些實施方式,已知結構與裝置以方塊圖形式顯示。此處使用的「舉例而言」的用語,以表示「作為例子、實例或例證」的意思。此處描述的作為「舉例而言」的任何實施例,無 須解讀為較佳或優於其他實施例。
第1A圖是依照本發明一實施例之一種非接觸式心律類別監測系統100的方塊圖。如第1A圖所示,非接觸式心律類別監測系統100包含影像感測器110、處理器120、顯示器130、輸入裝置140以及儲存裝置150。舉例而言,儲存裝置150可為硬碟、快閃儲存裝置或其他儲存媒介,處理器120可為中央處理器,顯示器130可為內建顯示器或外接螢幕,輸入裝置140可為鍵盤、滑鼠、觸控裝置與/或其他輸入設備。
在架構上,處理器120電性連接影像感測器110、顯示器130、輸入裝置140以及儲存裝置150。應瞭解到,於實施方式與申請專利範圍中,涉及『電性連接』之描述,其可泛指一元件透過其他元件而間接電氣耦合至另一元件,或是一元件無須透過其他元件而直接電連結至另一元件。舉例而言,影像感測器110可為內建影像感測裝置直接電連結至處理器120,或是影像感測器110可為影像感測設備透過外部線路間接連線至處理器120。
在本發明的一實施例中,影像感測器110用以連續擷取複數個臉部影像。儲存裝置150儲存至少一指令,處理器120用以存取並執行至少一指令以:自複數個臉部影像擷取預定時長的連續目標區域之影像;自連續目標區域之影像獲取與心跳相關的非接觸式生理訊號;對非接觸式的生理訊號進行正常心律、心房顫動與非心房顫動之心律 不整的分類。舉例而言,上述影像可為影像資料無需呈現視覺化圖像,藉以提昇運算速度且變面個人隱私的問題。
在本發明的一實施例中,處理器120用以存取並執行至少一指令以:提供選擇是否開啟人臉偵測的選項;調控單次取樣於複數個臉部影像的時間長度;對於複數個臉部影像,調控每次取樣間隔的時間長度。舉例而言,顯示器130可呈現是否開啟人臉偵測的選項,使用者可透過輸入裝置140選擇是否開啟人臉偵測。
在本發明的一實施例中,處理器120用以存取並執行至少一指令以:當開啟人臉偵測被選擇時,進行人臉偵測以選取相應的連續目標區域。
在本發明的一實施例中,處理器120用以存取並執行至少一指令以:當不開啟人臉偵測被選擇時,進行擷取複數個臉部影像的整張畫面為連續目標區域。
在本發明的一實施例中,處理器120用以存取並執行至少一指令以:將連續目標區域的像素值透過訊號模型轉換為與心跳相關的非接觸式生理訊號;對非接觸式生理訊號進行強化,以降低訊號中受環境光影、人為晃動與影像感測器110晃動中至少一者的雜訊影響;計算非接觸式生理訊號之至少一訊號品質指標。
在本發明的一實施例中,處理器120用以存取並執行至少一指令以:對非接觸式生理訊號進行頻譜分析,檢測非接觸式生理訊號的頻譜在複數個頻率下的訊號強度值 以納入至少一訊號品質指標。
在本發明的一實施例中,處理器120用以存取並執行至少一指令以:檢測非接觸式生理訊號中綠色像素值的標準差變化以納入至少一訊號品質指標。舉例而言,相較於其他顏色,綠色像素值所代表的品質較為可靠。
在本發明的一實施例中,處理器120用以存取並執行至少一指令以:將非接觸式生理訊號輸入一深度卷積神經網路模型以偵測包含心律變異性與血液脈衝量的心律差異之波形特徵,並判斷初步心律類別,深度卷積神經網路模型係透過具有樣本級過濾器的過濾大小與樣本級移動步長建立出深層的網絡架構以提高對非接觸式生理訊號的自動標記的準確性;依據目標時長,設定組合連續取樣下對應之非接觸式生理訊號的總錄製時間,並對初步心律類別進行投票機制以判斷出最後心律類別,最後心律類別區分正常心律、心房顫動與非心房顫動之心律不整。舉例而言,目標時長例如可大致等於或小於上述的預定時長,然此不限制本發明,熟習此項技藝者當視實際應用彈性選擇之。
在本發明的一實施例中,處理器120用以存取並執行至少一指令以:當目標時長未被使用者設定時,評估不同的時間長度內使用的至少一訊號品質指標以自動設定目標時長。
在本發明的一實施例中,處理器120用以存取並執行至少一指令以:接受使用者設定以決定目標時長。舉例 而言,使用者可透過輸入裝置140設定目標時長。
應瞭解到,儲存裝置150儲存至少一指令,處理器120用以存取並執行至少一指令以進行的功能、程序、處理…等,以下將以模組、單元表示之。
請參照第1B圖及第2圖。第1B圖為根據本揭示文件之一實施例所示之非接觸式心律類別監測系統100功能方塊圖。第2圖為根據本揭示文件之一實施例所示之非接觸式心心律類別監測方法M100的流程圖。舉例而言,非接觸式心律類別監測系統100可為非接觸式心房顫動與其他心律類別監測系統,非接觸式心心律類別監測方法M100可為非接觸式心房顫動與其他心律類別監測方法。
於本實施例中,非接觸式心律類別監測系統100可用以執行非接觸式心律類別監測方法M100以進行非接觸式心房顫動與其他心律類別監測,其中非接觸式心律類別監測系統包含影像感測器110、取樣模組121、生理訊號計算模組122,以及心律分類模組123,非接觸式心律類別監測方法M100包含步驟S101至步驟S118。
影像感測器110用以連續擷取複數個影像。
請參考第2圖,在步驟S101中,影像感測器110可連續擷取複數個影像。具體來說,請一併參照第7A圖,其為根據本揭示文件之一實施例所示之拍攝到全人臉的整體影像FI示意圖。
於一實施例中,影像感測器110可以是光學感測元 件或是相機單元、攝影機或錄影機等。
請參考第3圖,第3圖繪示根據本揭示文件之一實施例所示之取樣模組121功能方塊圖。取樣模組121包含目標區域選擇單元121a、取樣長度調控單元121b及取樣間隔調控單元121c。取樣模組121用以擷取特定時長的連續目標區域之影像。目標區域選擇單元121a為一提供使用者介面,用以選擇是否開啟人臉偵測選項,取樣長度調控單元121b用以調控單次取樣於連續複數個影像的時間長度,取樣間隔調控單元121c用以調控每次取樣間隔的時間長度。在一實施例中,目標區域選擇單元121a、取樣長度調控單元121b及取樣間隔調控單元121c可根據實際應用情況選擇性地分別單獨執行、同時執行或是兩兩執行。
請同時參考第2圖,在步驟S102中,目標區域選擇單元121a可選擇是否開啟人臉偵測模式。
請一併參照第6圖、第7A圖、第7B及第7C圖,當進入步驟S103,係由系統會請使用者相對固定於離影像感測器的可偵測距離,並將第7A圖的整體影像FI作為目標區域TR。
當進入步驟S116中,係由影像感測器110先擷取使用者的整體影像FI,並利用臉部擷取技術擷取整體影像FI中的臉部特徵點FL,其中臉部特徵擷取技術可為包含機器學習算法和工具的Dlib工具包,然人臉偵測方式並不以此為限,第7B圖為在第7A圖所示之臉部影像FI中偵測臉 部特徵點座標FL的示意圖。
進一步地,由偵測的臉部特徵點FL選取一面部影像品質較佳的目標區域TR,第7C圖為在第7B圖所示之臉部特徵點FL中所框選之目標區域TR的示意圖,然框選方式並不以此為限。
根據本案部分實施例,非接觸式心律類別監測系統可以在擷取非一種目標區域中進行偵測。
在步驟S104中,取樣長度調控單元121b依據可設定的取樣長度擷取連續複數個可偵測之影像資料,或是依系統預設的取樣長度擷取連續複數個可偵測之影像資料。
在步驟S105中,取樣間隔調控單元121c依據可設定的取樣間隔擷取次段連續複數個可偵測之影像資料,或是依系統預設的取樣間隔擷取次段連續複數個可偵測之影像資料。
請參考第4圖,第4圖繪示根據本揭示文件之一實施例所示之生理訊號計算模組122功能方塊圖。生理訊號計算模組122包含訊號轉換單元122a、訊號增強單元122b及訊號品質檢測單元122c。
生理訊號計算模組122用以獲取與心跳相關的非接觸式生理訊號。
根據本案部分實施例,在步驟S106至步驟S108中,生理訊號計算模組122透過訊號轉換單元122a用以將 連續目標區域像素值透過訊號模型轉換為與心跳訊號相關的非接出是生理訊號,訊號增強單元122b用以對該訊號進行訊號強化,以降低訊號中受環境光影、人為晃動或相機晃動等雜訊影響,訊號品質檢測單元122c用以計算該訊號之一或多樣訊號品質指標,可對該訊號進行頻譜分析,檢測該訊號頻譜包含在複數個頻率下的訊號強度值,或檢測綠色像素值的標準差變化等,作為單一或綜合訊號品質判斷指標。
請參考第5圖,第5圖繪示根據本揭示文件之一實施例所示之心律分類模組123功能方塊圖。心律分類模模組123包含無疾病史看護單元123a、有疾病史看護單元123b、臨床監控單元123c、取樣訊號分類單元123d、目標時長選擇單元123e及投票分類單元123f。
心律分類模組123用以對非接觸式的生理訊號進行心房顫動對於包含正常心律與非心房顫動的其他心律的分類。
根據本案部分實施例,在步驟S109中,提供介面給使用者選擇無疾病史看護單元123a、有疾病史看護單元123b及臨床監控單元123c。無疾病史看護單元123a用以區分心房顫動類別與正常心律之類別,有疾病史看護單元123b用以區分心房顫動類別與包含正常心律和非心房顫動的其他心律不整之綜合類別,臨床監控單元123c用以區分心房顫動類別與非心房顫動的其他心律不整之類別。
在步驟S110中,於一實施例中可不用選擇使用情境,同時系統以有疾病史看護單元123b作為預設偵測模型,其敘述與步驟S109相同在此不再贅述。
根據本案部分實施例,在步驟S117中,無疾病史看護單元123a、有疾病史看護單元123b及臨床監控單元123c可根據實際應用情境選擇性地分別執行。
在步驟S111中,取樣訊號分類單元123d用以對各取樣訊號輸入深度卷積神經網路模型偵測包含心律變異性與血液脈衝量等相關心律差異之波形特徵,並判斷初步心律類別,其利用具有樣本級過濾器大小與樣本級移動步長建立出更深層得網絡架構可提高模型對非接觸式生理訊號自動標記的準確性,然心律分類方法並不以此為限。
在步驟S112中,目標時長選擇單元123e用以提供一使用者選擇偵測時長,利用評估不同判定時長內使用之一或多樣訊號品質指標,以設定一時段內之更有信心的心律類別結果,其偵測時長可在步驟S118被使用者調動。
於又一實施例中,目標時長選擇單元123e亦可在步驟S113由系統自動評估該時長使用之取樣訊號一或多樣訊號品質指標後,在步驟S114由系統計算推薦之偵測時長給使用者。
在步驟S115中,投票分類單元123f用以組合連續取樣訊號至總錄製時間為目標時長所設定,並於投票機制判斷出最後心律類別。
根據本案部分實施例,非接觸式心律類別監測系統可以在非一種時間長度進行偵測。
根據本案部分實施例,非接觸式心律類別監測系統可以偵測心房顫動類別,並區分於正常心律之類別。
根據本案部分實施例,非接觸式心律類別監測系統可以偵測心房顫動類別,並區分於非心房顫動的其心律不整之類別。
根據本案部分實施例,非接觸式心律類別監測系統可以偵測心房顫動類別,並區分於包含正常心律與非心房顫動的其心律不整的類別。
綜上所述,根據本揭式內容的各個實施例,便可達到在包含正常心律與非心房顫動的其他心律中監測心房顫動之目的。再者,再透過取樣模組121、生理訊號計算模組122以及心律分類模組123,達到輸出的心房顫動偵測更為準確的功效。
應注意的是,非接觸式心律類別監測系統100的影像感測器110、取樣模組121、目標區域選擇單元121a、取樣長度調控單元121b、特徵點座標偵測單元121a、目標區域框選單元121b、取樣間隔調控單元121c、生理訊號計算模組122、訊號轉換單元122a、訊號增強單元122b、訊號品質檢測單元122c、心律分類模組123、無疾病史看護單元123a、有疾病史看護單元123b、臨床監控單元123c、取樣訊號分類單元123d、目標時長選擇單 元123e、投票分類單元123f可用硬體、軟體、韌體或其組合來體現。
於一控制實驗中,如24小時心電圖或是智慧型手表等生理心律不整量測裝置,存在著接觸式配戴帶來的不適感,尤其對於心房顫動高風險群多為年長者族群,此接觸式配備接受的程度普遍不高。相較於控制實驗,本案利用非接觸式的影像輸入作為量測方式,使受測者在他們同意之下不受影響的監控其身體情況。
於一控制實驗中,採用與主要心跳期間相關作為特徵,其使用的峰值選取工具與被選取的訊號品質容易影響到偵測心房顫動的準確率。相較於控制實驗,本案將利用訓練的方法改善選取峰值的效果,提取更多心房顫動相關的特徵以提高偵測準確率。
於一控制實驗中,只考量到正常心律的類別作為心房顫動的對照組,因此提出的分類器是對於心房顫動與正常心律的區分。然而,現實存在的心律種類除了心房顫動與正常心律外,涵蓋了非心房顫動的其他心律不整類別。相較於控制實驗,本案使用多種情境(正常心律類別、非心房顫動的其他心律不整類別,與包含正常心律和非心房顫動的其他心律不整之綜合類別),全面地應對市場所需的模式。
實作上,舉例而言,本案提出可區分多種心律類別的影像式心房顫動偵測之訓練架構,該訓練架構能將心房 顫動區分於其他心律類別,例如正常心律、非心房顫動的其他心律不整,與包含正常心律和非心房顫動的其他心律不整之多種情境。
實作上,舉例而言,本案提出多特徵之波形辨識學習,利用心房顫動的心律不整與其他生理特徵強化對於心房顫動的辨識,補足目前心房顫動偵測研究的缺失獨特性特徵問題,避免參入非心房顫動的其他心律不整時產生特徵重疊,且能提升所有情境任務的偵測準確率。
實作上,舉例而言,本案利用重疊取樣避免在訊號擷取間隔遺漏相關的心律偵測特徵,並可增加同一時間內的資料數量,增加對於心律區分的準確率。
實作上,舉例而言,本案利用縮短取樣時間長度搭配投票機制調整固定時間內的心律判斷結構,降低因訊號品質或特徵遺失所造成的誤判機率,幫助系統更有效的輸出心律判別的準確度。
實作上,舉例而言,本案利用訊號信心強化可運用無人臉偵測系統,該偵測系統能直接擷取畫面影像並利用強化影像生理訊號單元順利執行心律偵測單元。
雖然本發明已以實施方式揭露如上,然其並非用以限定本發明,任何熟習此技藝者,在不脫離本發明之精神和範圍內,當可作各種之更動與潤飾,因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
M100:非接觸式心律類別監測方法
S101~S118:步驟

Claims (16)

  1. 一種非接觸式心律類別監測系統,包含:一影像感測器,用以連續擷取複數個臉部影像;一儲存裝置,儲存至少一指令;以及一處理器,電性連接該儲存裝置,其中該處理器用以存取並執行該至少一指令以:自該些臉部影像擷取一預定時長的一連續目標區域之影像;提供選擇是否開啟一人臉偵測的選項;調控單次取樣於該些臉部影像的時間長度;對於該些臉部影像,調控每次取樣間隔的時間長度;自該連續目標區域之該影像獲取與心跳相關的非接觸式生理訊號;以及對非接觸式的生理訊號進行一正常心律、一心房顫動與一非心房顫動之心律不整的分類,其中該處理器用以存取並執行該至少一指令以:將該連續目標區域的像素值透過訊號模型轉換為與心跳相關的該非接觸式生理訊號;對該非接觸式生理訊號進行強化,以降低訊號中受環境光影、人為晃動與該影像感測器晃動中至少一者的雜訊影響;以及計算該非接觸式生理訊號之至少一訊號品質指標。
  2. 如請求項1所述之非接觸式心律類別監測系統,其中該處理器用以存取並執行該至少一指令以:當開啟該人臉偵測被選擇時,進行人臉偵測以選取相應的該連續目標區域。
  3. 如請求項1所述之非接觸式心律類別監測系統,其中該處理器用以存取並執行該至少一指令以:當不開啟該人臉偵測被選擇時,進行擷取該些臉部影像的整張畫面為該連續目標區域。
  4. 如請求項1所述之非接觸式心律類別監測系統,其中該處理器用以存取並執行該至少一指令以:對該非接觸式生理訊號進行頻譜分析,檢測該非接觸式生理訊號的頻譜在複數個頻率下的訊號強度值以納入該至少一訊號品質指標。
  5. 如請求項1所述之非接觸式心律類別監測系統,其中該處理器用以存取並執行該至少一指令以:檢測該非接觸式生理訊號中綠色像素值的標準差變化以納入該至少一訊號品質指標。
  6. 如請求項1所述之非接觸式心律類別監測系統,其中該處理器用以存取並執行該至少一指令以:將該非接觸式生理訊號輸入一深度卷積神經網路模型 以偵測包含心律變異性與血液脈衝量的心律差異之波形特徵,並判斷初步心律類別,該深度卷積神經網路模型係透過具有樣本級過濾器的過濾大小與樣本級移動步長建立出深層的網絡架構以提高對該非接觸式生理訊號的自動標記的準確性;依據一目標時長,設定組合連續取樣下對應之該非接觸式生理訊號的總錄製時間,並對該初步心律類別進行投票機制以判斷出最後心律類別,該最後心律類別區分該正常心律、該心房顫動與該非心房顫動之心律不整。
  7. 如請求項6所述之非接觸式心律類別監測系統,其中該處理器用以存取並執行該至少一指令以:當該目標時長未被使用者設定時,評估不同的該時間長度內使用的該至少一訊號品質指標以自動設定該目標時長。
  8. 如請求項6所述之非接觸式心律類別監測系統,其中該處理器用以存取並執行該至少一指令以:接受一使用者設定以決定該目標時長。
  9. 一種非接觸式心律類別監測方法,包含以下步驟:透過一影像感測器連續擷取複數個臉部影像;提供選擇是否開啟一人臉偵測的選項; 調控單次取樣於該些臉部影像的時間長度;對於該些臉部影像,調控每次取樣間隔的時間長度;自該些臉部影像擷取一預定時長的一連續目標區域之影像;自該連續目標區域之該影像獲取與心跳相關的非接觸式生理訊號;以及對非接觸式的生理訊號進行一正常心律、一心房顫動與一非心房顫動之心律不整的分類,其中自該連續目標區域之該影像獲取與心跳相關的該非接觸式生理訊號的步驟包含:將該連續目標區域的像素值透過訊號模型轉換為與心跳相關的該非接觸式生理訊號;對該非接觸式生理訊號進行強化,以降低訊號中受環境光影、人為晃動與該影像感測器晃動中至少一者的雜訊影響;以及計算該非接觸式生理訊號之至少一訊號品質指標。
  10. 如請求項9所述之非接觸式心律類別監測方法,更包含:當開啟該人臉偵測被選擇時,進行人臉偵測以選取相應的該連續目標區域。
  11. 如請求項9所述之非接觸式心律類別監測方法,更包含:當不開啟該人臉偵測被選擇時,進行擷取該些臉部影 像的整張畫面為該連續目標區域。
  12. 如請求項9所述之非接觸式心律類別監測方法,其中計算強化後的該非接觸式生理訊號之該至少一訊號品質指標的步驟包含:對該非接觸式生理訊號進行頻譜分析,檢測該非接觸式生理訊號的頻譜在複數個頻率下的訊號強度值以納入該至少一訊號品質指標。
  13. 如請求項9所述之非接觸式心律類別監測方法,其中計算強化後的該非接觸式生理訊號之該至少一訊號品質指標的步驟包含:檢測該非接觸式生理訊號中綠色像素值的標準差變化以納入該至少一訊號品質指標。
  14. 如請求項9所述之非接觸式心律類別監測方法,其中對非接觸式的生理訊號進行該正常心律、該心房顫動與該非心房顫動之心律不整的分類的步驟包含:將該非接觸式生理訊號輸入一深度卷積神經網路模型以偵測包含心律變異性與血液脈衝量的心律差異之波形特徵,並判斷初步心律類別,該深度卷積神經網路模型係透過具有樣本級過濾器的過濾大小與樣本級移動步長建立出深層的網絡架構以提高對該非接觸式生理訊號的自動標記的準確性; 依據一目標時長,設定組合連續取樣下對應之該非接觸式生理訊號的總錄製時間,並對該初步心律類別進行投票機制以判斷出最後心律類別,該最後心律類別區分該正常心律、該心房顫動與該非心房顫動之心律不整。
  15. 如請求項14所述之非接觸式心律類別監測方法,其中對非接觸式的生理訊號進行該正常心律、該心房顫動與該非心房顫動之心律不整的分類的步驟更包含:當該目標時長未被使用者設定時,評估不同的該時間長度內使用的該至少一訊號品質指標以自動設定該目標時長。
  16. 如請求項14所述之非接觸式心律類別監測方法,其中對非接觸式的生理訊號進行該正常心律、該心房顫動與該非心房顫動之心律不整的分類的步驟更包含:接受一使用者設定以決定該目標時長。
TW110120096A 2021-06-02 2021-06-02 非接觸式心律類別監測系統及方法 TWI759218B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW110120096A TWI759218B (zh) 2021-06-02 2021-06-02 非接觸式心律類別監測系統及方法
US17/452,239 US20220386886A1 (en) 2021-06-02 2021-10-26 Non-contact heart rhythm category monitoring system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110120096A TWI759218B (zh) 2021-06-02 2021-06-02 非接觸式心律類別監測系統及方法

Publications (2)

Publication Number Publication Date
TWI759218B true TWI759218B (zh) 2022-03-21
TW202247816A TW202247816A (zh) 2022-12-16

Family

ID=81710829

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110120096A TWI759218B (zh) 2021-06-02 2021-06-02 非接觸式心律類別監測系統及方法

Country Status (2)

Country Link
US (1) US20220386886A1 (zh)
TW (1) TWI759218B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI812404B (zh) * 2022-08-16 2023-08-11 國立陽明交通大學 即時生理訊號的情緒辨識系統

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112890785A (zh) * 2019-12-04 2021-06-04 钜怡智慧股份有限公司 利用非接触影像式生理检测技术的健康管理系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112890785A (zh) * 2019-12-04 2021-06-04 钜怡智慧股份有限公司 利用非接触影像式生理检测技术的健康管理系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI812404B (zh) * 2022-08-16 2023-08-11 國立陽明交通大學 即時生理訊號的情緒辨識系統

Also Published As

Publication number Publication date
TW202247816A (zh) 2022-12-16
US20220386886A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
Li et al. The obf database: A large face video database for remote physiological signal measurement and atrial fibrillation detection
Fan et al. Robust blood pressure estimation using an RGB camera
EP3698707B1 (en) Electrocardiogram information dynamic monitoring system, computer program and computer readable storage medium
Hegde et al. Autotriage-an open source edge computing raspberry pi-based clinical screening system
US10004410B2 (en) System and methods for measuring physiological parameters
WO2019161610A1 (zh) 心电信息处理方法和心电工作站系统
EP2698112B1 (en) Real-time stress determination of an individual
WO2019161611A1 (zh) 心电信息处理方法和心电工作站
McDuff et al. Fusing partial camera signals for noncontact pulse rate variability measurement
CN106236049A (zh) 基于视频图像的血压测量方法
CN111938622B (zh) 心率检测方法、装置及系统、可读存储介质
TWI759218B (zh) 非接觸式心律類別監測系統及方法
CN108717872A (zh) 基于面部、手部识别和大数据的健康分析方法及系统
Nikolaiev et al. Non-contact video-based remote photoplethysmography for human stress detection
WO2017085895A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
Malasinghe et al. A comparative study of common steps in video-based remote heart rate detection methods
CN108771539A (zh) 一种基于摄像的非接触式心率的检测方法及其装置
CN115553777A (zh) 一种非接触式精神压力检测方法及系统
Le et al. Heart Rate Estimation Based on Facial Image Sequence
Sarkar et al. Evaluation of video magnification for nonintrusive heart rate measurement
AV et al. Non-contact heart rate monitoring using machine learning
Remeseiro et al. Automatic eye blink detection using consumer web cameras
JP2005094185A (ja) 画像処理システム、画像処理装置、および撮像制御方法
CN112597949A (zh) 一种基于视频的心理压力测量方法及其系统
US12027272B2 (en) System and method for predicting diabetic retinopathy progression