TWI595858B - 應用於非接觸式生理及身體活動資訊的量測與消除雜訊方法 - Google Patents

應用於非接觸式生理及身體活動資訊的量測與消除雜訊方法 Download PDF

Info

Publication number
TWI595858B
TWI595858B TW105116987A TW105116987A TWI595858B TW I595858 B TWI595858 B TW I595858B TW 105116987 A TW105116987 A TW 105116987A TW 105116987 A TW105116987 A TW 105116987A TW I595858 B TWI595858 B TW I595858B
Authority
TW
Taiwan
Prior art keywords
signal
physiological
physical activity
activity information
noise
Prior art date
Application number
TW105116987A
Other languages
English (en)
Other versions
TW201740873A (zh
Inventor
林淵翔
林郁辰
Original Assignee
國立臺灣科技大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立臺灣科技大學 filed Critical 國立臺灣科技大學
Priority to TW105116987A priority Critical patent/TWI595858B/zh
Priority to US15/603,765 priority patent/US10016166B2/en
Application granted granted Critical
Publication of TWI595858B publication Critical patent/TWI595858B/zh
Publication of TW201740873A publication Critical patent/TW201740873A/zh

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0255—Recording instruments specially adapted therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/10—Athletes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4866—Evaluating metabolism

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Description

應用於非接觸式生理及身體活動資訊的量測與消除雜訊方法
本發明與一種消除生理訊號中移動雜訊的方法有關，特別是與一種應用於非接觸式生理及身體活動資訊的量測與消除雜訊方法有關。
關於運動時的生理資訊監控，一般的運動器材是使用接觸式的導電介質進行心電訊號(Electrocardiography, ECG)的擷取。隨著近年來穿戴式裝置蓬勃發展，心律帶、心律手錶、手環等相關的穿戴式產品不斷推陳出新，讓使用者能夠更加方便地了解自己運動時的生理狀況變化。
除了心律的監控之外，多數穿戴式產品也結合了加速度計等感測器，提供計步、計速以及卡路里消耗等身體活動資訊的監控。目前這些身體活動資訊的量測皆是透過讀取這些穿戴式產品上的加速度計的資訊進行步數及速度的分析。
然而，這些穿戴式裝置皆是使用接觸式的量測方式，使用這些穿戴式產品時必須將其穿戴在身上使其與身體接觸才能進行量測，長期配戴時可能會造成不適或是皮膚過敏等現象。並且，多數人在運動時仍希望儘可能地的減少身上穿戴的裝備。因此，非接觸式的生理訊號量測方法應運而生。
透過非接觸式的方法取得影像來偵測生理訊號可以提供一個舒適的量測環境給使用者，然而非接觸式的訊號往往嚴重受到外在環境雜訊的影響，例如光源、移動等。此外，在劇烈運動下，目前非接觸式偵測心跳等生理訊號的方法也會因人體移動而不準確。為了提升在劇烈運動下的非接觸式生理訊號品質，需要更有效的方法來降低生理訊號中的雜訊。
此外，非接觸式的量測方式仍未有效運用於身體活動資訊的量測，目前計步或計速時一般仍需戴上感測器。因此若能在降低生理訊號的雜訊時兼具量測身體活動資訊的功能，更能開拓非接觸式量測方法的應用面。
本發明之一目的在於提供一種應用於非接觸式生理及身體活動資訊的量測與消除雜訊方法，能在降低生理訊號的雜訊時兼具量測身體活動資訊的功能。
為了達到上述目的，本發明提供一種應用於非接觸式生理及身體活動資訊的量測與消除雜訊方法，包括：提供一影像感測器，用以感測一人體部位而產生一影像，例如臉部影像；於影像中定義人體部位的一特徵點；追蹤特徵點的座標移動資訊，以形成一位移訊號；擷取人體部位的膚色變化以形成一待處理的生理訊號，此待處理的生理訊號包括一雜訊；將位移訊號及待處理的生理訊號輸入一適應性濾波器，以消除待處理的生理訊號中的雜訊，而產生一理想的生理訊號；對理想的生理訊號進行一第一波峰偵測，以計算出一生理資訊；以及對位移訊號進行一第二波峰偵測，以計算出一身體活動資訊，例如步數、跑步速度或卡路里消耗。
在一實施例中，上述的方法更包括：於影像中定義人體部位的一量測區域；以及在量測區域隨著人體部位移動的過程中，根據位移訊號來動態地更新量測區域的座標。
在一實施例中，前述待處理的生理訊號為一待處理的心律訊號，理想的生理訊號為一理想的心律訊號，生理資訊為一心律值。上述的方法更包括：由量測區域內取出一綠色通道訊號、一紅色通道訊號及一藍色通道訊號；以及在將待處理的心律訊號輸入適應性濾波器之前，先將綠色通道訊號及紅色通道訊號進行一綠紅差值演算法(Green-Red Difference)，以消除一部分的雜訊。
在一實施例中，定義特徵點及量測區域的步驟包括：鎖定特徵點與量測區域的一相對位置關係，藉此追蹤量測區域的座標。
在一實施例中，上述的方法更包括：追蹤量測區域的中心點的座標移動資訊，用以取代特徵點的座標移動資訊，並形成另一位移訊號。
在一實施例中，上述的方法更包括：在對理想的心律訊號進行第一波峰偵測之前，先將理想的心律訊號進行頻帶濾波，以提高第一波峰偵測的準確率；以及在對位移訊號進行第二波峰偵測之前，先將位移訊號進行頻帶濾波，以提高第二波峰偵測的準確率。
在一實施例中，上述產生理想的心律訊號的步驟包括：以位移訊號做為適應性濾波器的一參考抵補源訊號；提供一濾波係數，對參考抵補源訊號進行運算，以得到一更趨近於真實雜訊的訊號；以及將更趨近於真實雜訊的訊號與待處理的心律訊號進行一和(Sum)運算，以消除雜訊而得到理想的心律訊號。
在一實施例中，上述的方法更包括：提供一第一判斷機制，其包括若判斷人體部位正在活動時，則將待處理的生理訊號與特徵點的位移訊號輸入適應性濾波器來消除雜訊；若判斷人體部位靜止時，則待處理的生理訊號不通過適應性濾波器而直接用以計算生理資訊；以及提供一第二判斷機制，用以判斷特徵點的位移訊號是否需要先與待處理的生理訊號進行混合處理，之後再計算身體活動資訊。
本實施例的方法僅需提供一個影像感測器就能夠同時監控生理以及身體活動的狀態。此外，此方法可以藉由身體活動訊號，亦即位移訊號，來消除生理訊號中的移動雜訊，即使在人體移動的情形下也能準確地量測心跳，故能解決習知以非接觸式偵測心跳的方式容易因人臉移動而不準確的問題。
有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之一較佳實施例的詳細說明中，將可清楚的呈現。以下實施例中所提到的方向用語，例如：上、下、左、右、前或後等，僅是用於參照隨附圖式的方向。因此，該等方向用語僅是用於說明並非是用於限制本發明。
圖1為本發明之一實施例，應用於非接觸式生理及身體活動資訊的量測與消除雜訊方法的概念示意圖。本實施例提供一影像感測器100，例如攝影機(webcam)或是光感測元件，用以感測一人體部位而產生一影像，例如臉部影像；接著，對影像感測器100所產生的影像進行影像處理(S210)；之後從影像中分別擷取一待處理的生理訊號(S220)及擷取一身體活動訊號(S230)；再將待處理的生理訊號與身體活動訊號進行混合處理(S240)，以消除待處理的生理訊號中的雜訊；並分別形成生理資訊D 1(S250)及形成身體活動資訊D 2(S260)。本發明的一技術特徵是，待處理的生理訊號及身體活動訊號皆是從影像中擷取而得，身體活動訊號除了用來計算身體活動資訊D 2之外，也參與了生理訊號的雜訊消除過程。
圖2A為本發明之一實施例的非接觸式生理及身體活動資訊量測系統及其訊號處理流程示意圖。在以下實施例中，從影像中所擷取的待處理的生理訊號例如是含有移動雜訊尚待處理的心律訊號；所擷取的身體活動訊號是一人體部位的特徵點的位移訊號Ds；生理資訊D 1例如是心律值；身體活動資訊D 2例如是步數、跑步速度或卡路里消耗等。值得注意的是，本實施例將此特徵點的位移訊號Ds做了兩種運用，一是利用此位移訊號Ds參與待處理的心律訊號的消除雜訊過程(S240a)，其是從圖1所示的訊號混合處理(S240)概念所衍生而來的，例如：利用此位移訊號Ds對待處理的心律訊號進行適應性濾波；二是用位移訊號Ds來計算身體活動資訊D 2(S260)。
本實施例透過影像感測器100產生臉部影像(S100)，再將連續的影像經過影像處理單元210進行影像處理流程(S210)，其包含偵測出臉部區塊以及心律訊號的量測區域ROI (Region of Interest)(S211)以及追蹤臉部特徵點來更新量測區域ROI的座標(S213)。藉由追蹤臉部特徵點的座標(S213)可以產生特徵點座標的位移訊號Ds，此一過程包含在圖1擷取身體活動訊號(S230)的概念中。接著以一非接觸式訊號處理系統200進行後續的訊號處理，其訊號處理流程包含在一心律量測模組220中處理心律訊號的步驟(S220, S240a及S250)以及在一身體活動訊號處理單元230中處理身體活動訊號的步驟(S231及S260)。
更具體地來說，在影像處理單元210內，採用臉部偵測演算法來偵測使用者的臉部區塊(S211)，例如眼睛、鼻子、嘴巴等部位；當每一張影像被讀入時，在選定的範圍內進行特徵點的座標偵測及追蹤(S213)，並更新量測區域ROI的位置。而追蹤所得的資料用以形成位移訊號Ds(S230)，也就是身體活動訊號。在身體活動的過程中，心律量測模組220從臉部區塊內選擇一量測區域ROI進行光體積描述信號(Photoplethysmogram,  PPG)的擷取，也就是紀錄光線或膚色的變化而感應出來的心律訊號(S220)，然後將心律訊號與位移訊號Ds運用圖1中訊號混合處理(S240)的概念，來進行心律訊號中的雜訊消除(S240a)。
圖2B是應用於非接觸式生理及身體活動資訊的量測與消除雜訊流程示意圖。心律量測模組220包括一心律訊號處理單元240及一心律運算單元250。心律訊號處理單元240包括一適應性濾波器242及一頻帶濾波器243。為了消除心律訊號中的移動雜訊，生理訊號的消除雜訊流程(S240a)可能涉及一綠紅差值演算法(Green-Red Difference, GRD)(S241)、一適應性濾波流程(S242)及一頻帶濾波步驟(S243)。在適應性濾波器242中，以位移訊號Ds對經過GRD演算(S241)之後的心律訊號進行適應性濾波(S242)，適應性濾波後的心律訊號再通過頻帶濾波器243，隨後在心律運算單元250中計算心律值D 1(S250)，計算心律值D 1的過程包括一波峰偵測步驟(S251)。
身體活動訊號處理單元230也包括一頻帶濾波器231。通過頻帶濾波器231對位移訊號Ds進行頻帶濾波(S231)，頻帶濾波後的位移訊號Ds1再進行一波峰偵測步驟(S261)，以計算身體活動資訊D 2(S260)。
以下更詳細地說明本實施例的各步驟。
步驟S100：影像輸入及曝光度校正。由於非接觸式方法所產生的影像容易受到光線變化的影響，因此在影像處理(S210)之前端須做曝光度、焦距等校正。
步驟S210：在影像處理器210中進行臉部偵測、特徵點與量測區域(ROI)的偵測及追蹤等影像處理流程。如圖3所示，影像處理單元210內部的處理流程(S210)包括：在臉部偵測(S211)之後，先於影像中偵測並定義臉部的一特徵點及一量測區域ROI(S212)，特徵點可以是臉部區塊中位於量測區域ROI之外的一點；然後，再利用臉部特徵點追蹤(S213)的方式使得量測區域ROI能夠固定於臉部的某一位置，例如：臉頰或是額頭。換言之，鎖定量測區域ROI與特徵點的一相對位置關係，讓此相對位置關係不會隨著臉部移動或身體運動而改變。因此，在量測區域ROI隨著人體部位運動的過程中，根據特徵點的位移訊號Ds及此相對位置關係，可以追蹤及動態地更新量測區域ROI的座標(S214)。
此外，在身體運動過程中，透過前述特徵點的追蹤方式(S213)可紀錄臉部特徵點的位移訊號Ds，例如特徵點的Y軸移動資訊或X軸移動資訊；也可以追蹤量測區域ROI的中心點的座標移動資訊，來取代特徵點的座標移動資訊，以形成另一不同內容的位移訊號Ds。
影像處理(S210)的結果如圖4A至圖4C所示，由於臉頰容易隨著身體運動而產生震動或晃動，此時若量測區域ROI的位置保持在額頭或是鼻子到嘴巴之間，則能夠取得較不受雜訊影響的心律訊號。
步驟S220：心律訊號擷取。將由量測區域ROI內取出綠色通道訊號、紅色通道訊號與藍色通道訊號做平均，其計算公式如下: <TABLE border="1" borderColor="#000000" width="_0002"><TBODY><tr><td><img wi="224" he="44" file="02_image001.jpg" img-format="jpg"></img></td><td> (1) </td></tr><tr><td><img wi="224" he="44" file="02_image003.jpg" img-format="jpg"></img></td><td> (2) </td></tr><tr><td><img wi="225" he="44" file="02_image005.jpg" img-format="jpg"></img></td><td> (3) </td></tr></TBODY></TABLE>
步驟S240a：以訊號混合處理消除生理訊號中的雜訊。請同時參照圖5的生理資訊量測流程，此部分主要可以分為兩部分進行：GRD演算法(S241)及適應性濾波(S242)。
圖5A為GRD演算法的流程圖。由量測區域ROI內取出一綠色通道訊號S G、一紅色通道訊號S R及一藍色通道訊號S B；並且在將待處理的生理訊號輸入適應性濾波器S242之前，先將綠色通道訊號S G( )、紅色通道訊號S R( )及藍色通道訊號S B( )進行光反射參數估算(S2411)，如公式(4、5)。將綠色通道訊號S G、紅色通道訊號S R通過頻帶濾波(S2412)之後形成( 、 )訊號，再透過公式(6)，以形成一GRD演算後的心律訊號S GRD，其已被消除一部分的移動雜訊。實作上可由上述公式(1、2、3)取得的 、 與 進行GRD演算法。 <TABLE border="1" borderColor="#000000" width="85%"><TBODY><tr><td><img wi="393" he="66" file="02_image021.jpg" img-format="jpg"></img></td><td> (4) </td></tr><tr><td><img wi="393" he="66" file="02_image023.jpg" img-format="jpg"></img></td><td> (5) </td></tr><tr><td><img wi="173" he="44" file="02_image025.jpg" img-format="jpg"></img></td><td> (6) </td></tr></TBODY></TABLE>
圖5B為適應性濾波架構圖。經由GRD處理(S241)的心律訊號S GRD仍含有大量的移動雜訊成分。因此，本實施例將位移訊號Ds及心律訊號S GRD輸入一適應性濾波器242，以消除心律訊號S GRD中的雜訊，而產生一理想的心律訊號。透過適應性濾波的方式將含有大量移動雜訊成分的訊號濾除。利用特徵點的位移訊號Ds對心律訊號S GRD進行適應性的濾波，其特色為適用於即時的雜訊消除。
如圖5B所示，適應性濾波器242的一個通道為欲分離出來的目標訊號s(n)和雜訊n(n)所合成的複合訊號d(n)；另一個通道為參考抵補源訊號n’(n)，通常會將其視為純雜訊的訊號源，才能濾除複合訊號d(n)中的雜訊n(n)部分。但實際情形為參考抵補源訊號n’(n)不會與複合訊號d(n)中的雜訊n(n)完全相同。因此，適應性濾波器242透過濾波係數對參考抵補源訊號n’(n)進行運算，以預測出一更趨近真實雜訊的訊號y(n)與一理想的心律訊號e(n)，e(n)也代表一無雜訊的心律訊號。
因此，本實施例將特徵點或量測區域ROI中心點的座標位移訊號Ds作為參考抵補源訊號n’(n)來輸入適應性濾波器242，s(n) + n(n)相當於GRD運算後的心律訊號S GRD，經過適應性的計算進行抵補，將更趨近於真實雜訊的訊號y(n)與心律訊號S GRD進行一和(Sum)運算，以消除雜訊而得到理想的心律訊號e(n)，其訊號的輸出更趨近真實的心律訊號。
結果得知，經過適應性濾波後的理想的心律訊號e(n)較GRD運算後的心律訊號S GRD更接近未受雜訊干擾的心律訊號。適應性濾波器運算公式如下： <TABLE border="1" borderColor="#000000" width="_0004"><TBODY><tr><td><img wi="196" he="66" file="02_image027.jpg" img-format="jpg"></img></td><td> (7) </td></tr><tr><td><img wi="134" he="22" file="02_image029.jpg" img-format="jpg"></img></td><td> (8) </td></tr><tr><td><img wi="402" he="44" file="02_image031.jpg" img-format="jpg"></img></td><td> (9) </td></tr></TBODY></TABLE>
其中，
x(n)為輸入的雜訊訊號(此指n'(n))；
y(n)為預測出更趨近於真實雜訊的訊號；
e(n)為預估趨近於無雜訊的目標訊號；
d(n)為含有雜訊及目標訊號的訊號源；
Wk為適應性濾波器濾波係數；
為收斂因子(convergence factor)。
值得一提的是，依據圖1所示的發明概念，對於生理訊號的處理，本實施例還可提供一判斷機制如下：若判斷一人體部位正在活動時，則將待處理的生理訊號與特徵點的位移訊號Ds輸入適應性濾波器242來混合處理(S240)以消除雜訊；若判斷人體部位靜止時，則待處理的生理訊號不通過適應性濾波器242，亦即不經訊號混合處理(S240)而直接用以計算生理資訊D 1。
再參照圖5，步驟S250：計算生理資訊D 1。實現完適應性濾波演算法(S242)後，心律運算單元250可以根據適應性濾波器242輸出的心律訊號品質進行不同的心律運算方式。在一實施例中，若要進行較即時的波峰偵測(S251)，則適應性濾波器242輸出的心律訊號需要先經過頻帶濾波(S243)以提高波峰偵測的準確率，再計算生理資訊D 1，採用的頻帶濾波器243的截止頻率例如是0.8~3.4Hz。在另一實施例中，適應性濾波(S242)輸出的心律訊號還可以透過快速傅立葉轉換(Fast Fourier Transform, FFT)將時域訊號與頻域訊號相互轉換來算出生理資訊D 1(S252)。
圖6說明本發明的方法應用於量測身體活動資訊的方法流程，此方法為基於非接觸式的方式，透過與生理資訊的量測共用相同的影像處理單元210及影像處理流程(S210)，而得知特徵點或ROI中心點的位移訊號Ds。藉由此位移訊號Ds可判斷出使用者在跑步時的步數及速度等身體活動資訊D 2。進一步透過這兩項資訊，而得知身體活動時所消耗的卡路里，以提供使用者作為運動時的參考。
在本實施例中，透過步驟S213的特徵點或量測區域ROI中心點座標追蹤，可紀錄特徵點或是量測區域ROI中心點的Y軸移動資訊，如圖7所示，為運動時擷取到的特徵點Y軸位移變化圖，其紀錄的訊號會隨著步數而有所震盪變化，從中可以發現每個波峰的產生恰好能夠對應到步數的變化。因此，可以透過波峰偵測的方式進行步數的計算。以下更具體地說明身體活動訊號的處理流程。
步驟S231：為了更準確地對位移訊號Ds進行後續的波峰偵測(S261)，若位移訊號Ds的品質不好時，可將位移訊號Ds先透過低通濾波或是頻帶濾波的方式濾除較高頻的訊號。
步驟S260：透過波峰偵測的演算法(S261)進行步數的計算。除了計步之外的功能，還可透過偵測每個波峰或波谷的時間點，進行運動速度計算如公式(10、11)，如圖7所示。 <TABLE border="1" borderColor="#000000" width="_0006"><TBODY><tr><td><img wi="126" he="44" file="02_image035.jpg" img-format="jpg"></img></td><td> (10) </td></tr><tr><td><img wi="275" he="44" file="02_image037.jpg" img-format="jpg"></img></td><td> (11) </td></tr></TBODY></TABLE>
其中，
為目前的波峰點對前一個波峰點的時間差；
為目前的波峰點；
為前一個波峰點；
為影像更新頻率，依照相機的擷取頻率而定；
為跨步的長度，單位為公尺；
為估測出的瞬時跑步速度。
決定卡路里消耗速率的因素包括體重、健身強度、運動水準和新陳代謝，雖然無法精確計算卡路里的消耗速度，但可以使用常規近似法進行估計。
附帶一提的是，依據圖1所示的發明概念，對於身體活動訊號的處理，本實施例還可提供一判斷步驟如下：先判斷特徵點的位移訊號Ds是否需要與生理訊號進行混合處理(S240)，之後再計算身體活動資訊D 2。
圖8為本發明之一實施例的使用情境示意圖。本實施例能夠以非接觸式的量測方法來同時進行生理資訊及身體活動資訊的量測，例如：同時量測心跳、計步、計速、量測卡路里等功能。利用本實施例的方法，僅需提供一個影像感測器100以及前述非接觸式訊號處理系統200，就能夠同時監控生理以及身體活動的狀態。此方法不但可以省去穿戴上的不便，也可以同時進行多種資訊的分析與運算，提供使用者在不須穿戴任何裝置的環境下進行生理訊號及身體活動訊號的監控。此外，此方法可以消除移動雜訊，即使在人體移動的情形下也能準確地量測心跳，故能解決習知以非接觸式偵測心跳的方式容易因人臉移動而不準確的問題。
惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。另外本發明的任一實施例或申請專利範圍不須達成本發明所揭露之全部目的或優點或特點。此外，摘要部分和標題僅是用來輔助專利文件搜尋之用，並非用來限制本發明之權利範圍。
100‧‧‧影像感測器
200‧‧‧非接觸式訊號處理系統
210‧‧‧影像處理單元
220‧‧‧心律量測模組
230‧‧‧身體活動訊號處理單元
231‧‧‧頻帶濾波器
240‧‧‧心律訊號處理單元
242‧‧‧適應性濾波器
243‧‧‧頻帶濾波器
250‧‧‧心律運算單元
Ds‧‧‧特徵點的位移訊號
Ds1‧‧‧頻帶濾波後的位移訊號
D1‧‧‧生理資訊(或心律值)
D2‧‧‧身體活動資訊
SUM‧‧‧和運算
s(n)‧‧‧目標訊號
n(n)‧‧‧雜訊
d(n)‧‧‧目標訊號和雜訊所合成的複合訊號
n’(n)‧‧‧參考抵補源訊號
y(n)‧‧‧更趨近真實雜訊的訊號
e(n)‧‧‧理想的心律訊號
ROI‧‧‧量測區域
SG、‧‧‧綠色通道訊號
SR、‧‧‧紅色通道訊號
SB、‧‧‧藍色通道訊號
SGRD‧‧‧GRD演算後的心律訊號
‧‧‧為目前的波峰點
‧‧‧為前一個波峰點
‧‧‧為前二個波峰點
‧‧‧為影像更新頻率，依照相機的擷取頻率而定
‧‧‧為目前的波峰點對前一個波峰點的時間差
圖1為本發明之一實施例，應用於非接觸式生理及身體活動資訊的量測與消除雜訊方法的概念示意圖。
圖2A為本發明之一實施例的非接觸式生理及身體活動資訊量測系統及其訊號處理流程示意圖。
圖2B應用於非接觸式生理及身體活動資訊的量測與消除雜訊流程示意圖。
圖3為本發明之一實施例的影像處理流程示意圖。
圖4A至圖4C為本發明之一實施例的臉部影像處理結果及量測區域示意圖。
圖5為本發明之一實施例的生理資訊量測流程。
圖5A為本發明之一實施例的綠紅差值(Green-Red Difference, GRD)演算法的流程圖。
圖5B為本發明之一實施例的適應性濾波架構圖。
圖6為本發明之一實施例的身體活動資訊量測流程。
圖7為應用本發明之一實施例的方法在運動時擷取到的特徵點Y軸位移變化圖。
圖8為本發明之一實施例的使用情境示意圖。
無
無
100‧‧‧影像感測器

Claims (9)

  1. 一種應用於非接觸式生理及身體活動資訊的量測與消除雜訊方法，包括：提供一影像感測器，用以感測一人體部位而產生一影像；於該影像中定義該人體部位的一特徵點；利用該影像感測器追蹤該特徵點的座標移動資訊，以形成一位移訊號；於該影像中擷取該人體部位的膚色變化以形成一待處理的生理訊號，其中該待處理的生理訊號包括一雜訊；提供一第一判斷機制，其包括若判斷該人體部位正在活動時，則將該位移訊號及該待處理的生理訊號輸入一適應性濾波器，以消除該待處理的生理訊號中的該雜訊，而產生一理想的生理訊號；對該理想的生理訊號進行一第一波峰偵測，以計算出一生理資訊；該第一判斷機制若判斷該人體部位靜止時，則該待處理的生理訊號不通過該適應性濾波器而直接用以計算該生理資訊；對該位移訊號進行一第二波峰偵測，以計算出一身體活動資訊；以及提供一第二判斷機制，用以判斷該特徵點的該位移訊號是否需要先與該待處理的生理訊號進行混合處理，之後再計算該身體活動資訊。
  2. 如申請專利範圍第1項所述的應用於非接觸式生理及身體活動資訊的量測與消除雜訊方法，更包括：於該影像中定義該人體部位的一量測區域；以及在該量測區域隨著該人體部位移動的過程中，根據該位移訊號來動態地更新該量測區域的座標。
  3. 如申請專利範圍第2項所述的應用於非接觸式生理及身體活動資訊的量測與消除雜訊方法，其中該待處理的生理訊號為一待處理的心律訊號，該理想的生理訊號為一理想的心律訊號，該生理資訊為一心律值，該方法更包 括：由該量測區域內取出一綠色通道訊號、一紅色通道訊號及一藍色通道訊號；以及在將該待處理的心律訊號輸入該適應性濾波器之前，先將該綠色通道訊號及該紅色通道訊號進行一綠紅差值演算法(Green-Red Difference)。
  4. 如申請專利範圍第3項所述的應用於非接觸式生理及身體活動資訊的量測與消除雜訊方法，其中定義該特徵點及該量測區域的步驟包括：鎖定該特徵點與該量測區域的一相對位置關係。
  5. 如申請專利範圍第3項所述的應用於非接觸式生理及身體活動資訊的量測與消除雜訊方法，更包括：追蹤該量測區域的中心點的座標移動資訊，用以取代該特徵點的座標移動資訊，並形成另一位移訊號。
  6. 如申請專利範圍第3項所述的應用於非接觸式生理及身體活動資訊的量測與消除雜訊方法，更包括：在對該理想的心律訊號進行該第一波峰偵測之前，先將該理想的心律訊號進行頻帶濾波；以及在對該位移訊號進行該第二波峰偵測之前，先將該位移訊號進行頻帶濾波。
  7. 如申請專利範圍第3項所述的應用於非接觸式生理及身體活動資訊的量測與消除雜訊方法，其中產生該理想的心律訊號的步驟包括：以該位移訊號做為該適應性濾波器的一參考抵補源訊號；提供一濾波係數，對該參考抵補源訊號進行運算，以得到一更趨近於真實雜訊的訊號；以及將該更趨近於真實雜訊的訊號與該待處理的心律訊號進行一和(Sum)運算，以消除該雜訊而得到該理想的心律訊號。
  8. 如申請專利範圍第1項所述的應用於非接觸式生理及身體活動資訊的量測與消除雜訊方法，其中該身體活動資訊選自步數、跑步速度及卡路里消耗所構成的群組。
  9. 如申請專利範圍第1項所述的應用於非接觸式生理及身體活動資訊的量測與消除雜訊方法，其中該人體部位為臉部。
TW105116987A 2016-05-31 2016-05-31 應用於非接觸式生理及身體活動資訊的量測與消除雜訊方法 TWI595858B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW105116987A TWI595858B (zh) 2016-05-31 2016-05-31 應用於非接觸式生理及身體活動資訊的量測與消除雜訊方法
US15/603,765 US10016166B2 (en) 2016-05-31 2017-05-24 Contactless detection method with noise limination for information of physiological and physical activities

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105116987A TWI595858B (zh) 2016-05-31 2016-05-31 應用於非接觸式生理及身體活動資訊的量測與消除雜訊方法

Publications (2)

Publication Number Publication Date
TWI595858B true TWI595858B (zh) 2017-08-21
TW201740873A TW201740873A (zh) 2017-12-01

Family

ID=60189357

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105116987A TWI595858B (zh) 2016-05-31 2016-05-31 應用於非接觸式生理及身體活動資訊的量測與消除雜訊方法

Country Status (2)

Country Link
US (1) US10016166B2 (zh)
TW (1) TWI595858B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI656526B (zh) * 2018-01-15 2019-04-11 群邁通訊股份有限公司 穿戴式電子裝置及雜訊消除方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI556793B (zh) * 2015-07-09 2016-11-11 國立臺灣科技大學 非接觸式即時生理訊號及動作偵測方法
TWI743379B (zh) * 2018-07-18 2021-10-21 昇雷科技股份有限公司 生理徵象偵測系統之生理徵象訊號的偵測方法及生理徵象訊號之信心度的評估方法
CN110169764A (zh) * 2019-05-06 2019-08-27 上海理工大学 一种lms自适应滤波ppg信号心率提取方法
JP7282897B2 (ja) * 2019-09-05 2023-05-29 株式会社日立国際電気 脈拍数推定方法、装置およびシステム
TWI761742B (zh) * 2019-12-24 2022-04-21 緯創資通股份有限公司 心率修正方法、系統、電子裝置以及電腦可讀取媒體
CN112597949B (zh) * 2020-12-29 2022-10-18 清华大学 一种基于视频的心理压力测量方法及其系统
CN112766094B (zh) * 2021-01-05 2022-10-14 清华大学 一种通过视频提取ppg信号的方法及其系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201114404A (en) * 2009-10-29 2011-05-01 Univ Chaoyang Technology Technical framework for reducing artificial motion noises of physiological signal and method thereof
WO2014080313A1 (en) * 2012-11-23 2014-05-30 Koninklijke Philips N.V. Device and method for extracting physiological information
TW201422206A (zh) * 2012-12-11 2014-06-16 Ind Tech Res Inst 生理資訊量測系統及其方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10098575B2 (en) * 2014-01-23 2018-10-16 Covidien Lp Methods and systems for determining physiological information based on distortion information
US10292629B2 (en) * 2014-03-19 2019-05-21 University Of Houston System Method for measuring physiological parameters of physical activity

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201114404A (en) * 2009-10-29 2011-05-01 Univ Chaoyang Technology Technical framework for reducing artificial motion noises of physiological signal and method thereof
WO2014080313A1 (en) * 2012-11-23 2014-05-30 Koninklijke Philips N.V. Device and method for extracting physiological information
TW201422206A (zh) * 2012-12-11 2014-06-16 Ind Tech Res Inst 生理資訊量測系統及其方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI656526B (zh) * 2018-01-15 2019-04-11 群邁通訊股份有限公司 穿戴式電子裝置及雜訊消除方法

Also Published As

Publication number Publication date
TW201740873A (zh) 2017-12-01
US20170340289A1 (en) 2017-11-30
US10016166B2 (en) 2018-07-10

Similar Documents

Publication Publication Date Title
TWI595858B (zh) 應用於非接觸式生理及身體活動資訊的量測與消除雜訊方法
US11712176B2 (en) Systems and methods for video-based non-contact tidal volume monitoring
EP3057487B1 (en) Device and method for obtaining a vital sign of a subject
KR101426750B1 (ko) 열화상을 이용한 심박수 측정 시스템
RU2663175C2 (ru) Устройство получения дыхательной информации пациента
US9364157B2 (en) Apparatus based on image for detecting heart rate activity and method thereof
JP7068339B2 (ja) 血圧測定装置、および、血圧測定方法
JP6371410B2 (ja) 呼吸状態推定装置、携帯機器、装着型デバイス、プログラム、媒体及び呼吸状態推定方法
JP2017093760A (ja) 心拍に連動する周期的変動の計測装置及び計測方法
JP2019000474A (ja) 脈拍周期検出装置、脈拍周期検出方法、脈拍周期検出プログラム、及び脈波検出装置
CN109700449A (zh) 一种可抗头部自然运动的有效心率量测系统
Heinrich et al. Video based actigraphy and breathing monitoring from the bedside table of shared beds
Lin et al. Step count and pulse rate detection based on the contactless image measurement method
Wang et al. Camera-based respiration monitoring: Motion and PPG-based measurement
WO2017047734A1 (ja) 計測装置
Jing et al. A Novel Thermal Measurement for Heart Rate.
CN113361526A (zh) 一种融合肩部和胸部区域信息的非接触式呼吸率监测方法
Ahmadi et al. Development and evaluation of a contactless heart rate measurement device based on rppg
TWI741708B (zh) 非接觸式呼吸檢測方法及其系統
Pilz et al. Heart rate from face videos under realistic conditions for advanced driver monitoring
TWI577338B (zh) 基於影像為基礎之即時呼吸率量測技術之方法
CN114758410A (zh) 一种识别人体安全健康状况的参数检测系统
US20220061683A1 (en) Blood pressure measuring apparatus, model setting device, and blood pressure measuring method
Lin et al. Automatic human target detection and remote respiratory rate monitoring
JP7314893B2 (ja) 電子装置、電子装置の制御プログラム及び電子装置の制御方法