TW201701826A - 非接觸式即時生理訊號及動作偵測方法 - Google Patents

非接觸式即時生理訊號及動作偵測方法 Download PDF

Info

Publication number
TW201701826A
TW201701826A TW104122281A TW104122281A TW201701826A TW 201701826 A TW201701826 A TW 201701826A TW 104122281 A TW104122281 A TW 104122281A TW 104122281 A TW104122281 A TW 104122281A TW 201701826 A TW201701826 A TW 201701826A
Authority
TW
Taiwan
Prior art keywords
skin color
displacement
physiological signal
signal
motion detection
Prior art date
Application number
TW104122281A
Other languages
English (en)
Other versions
TWI556793B (zh
Inventor
林淵翔
林郁辰
林冠佑
李孟翰
Original Assignee
國立臺灣科技大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立臺灣科技大學 filed Critical 國立臺灣科技大學
Priority to TW104122281A priority Critical patent/TWI556793B/zh
Priority to US15/193,196 priority patent/US10413248B2/en
Application granted granted Critical
Publication of TWI556793B publication Critical patent/TWI556793B/zh
Publication of TW201701826A publication Critical patent/TW201701826A/zh

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A61B5/721—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts using a separate sensor to detect motion or using motion information derived from signals other than the physiological signal to be measured
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/02427—Details of sensor
    • A61B5/02433—Details of sensor for infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Cardiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Geometry (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Dermatology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

一種非接觸式即時生理訊號及動作偵測方法，以一光感測元件感測一人體部位，而產生一連串的影像框；從每一影像框中區分出一膚色區域，接著從膚色區域中計算一中心座標；從中心座標向四周擴張一特定範圍而形成一取樣區塊，並偵測此取樣區塊的膚色變化波形；比對此影像框的中心座標與其後的影像框的中心座標的位置，而計算出一單位時間內的位移；以此位移判斷人體部位是否處於一靜止狀態。在靜止狀態時，運算單元才會進行膚色變化波形的雜訊濾除及波峰偵測，並且計算一生理訊號。因此上述方法可降低偵測生理訊號的過程所需處理的資料量，亦可提高生理訊號量測的精準度。

Description

非接觸式即時生理訊號及動作偵測方法
本發明與一種生理訊號偵測方法有關，特別是與一種非接觸式即時生理訊號及動作偵測方法有關。
隨著時代的進步，人們更加注重日常生活中的自我健康管理，因而需要即時偵測各種生理訊號，以評估生理狀態，其中心律是一項重要的健康指標。目前偵測心律的方法主要可以分為接觸式以及非接觸式偵測方法。接觸式偵測方法是在體外黏貼電極片或是將偵測裝置穿戴在身上進行偵測。非接觸式偵測方法則是以攝影機擷取人體的影像來分析人體的光體積變化描述訊號的變化(Photoplethysmograph, PPG)。
一般而言，接觸式偵測方法需要消耗大量醫療耗材，例如：電極片、消毒用器具等。除了有電極片黏貼過程繁瑣或線材纏繞的問題之外，也會產生接觸感染的問題，例如：嬰兒皮膚較細嫩，容易引發破皮或過敏反應等。因此接觸式偵測方法不適合用於長期監控，也不適用於有傷口的皮膚上，其所用的儀器通常較貴重，故無法普及化。
相較於接觸式的偵測，非接觸式偵測方法沒有上述問題，但若是將攝影機接收到的光體積變化描述訊號的變化與相對應的心電圖(Electrocardiography, ECG)訊號做比對，雖然從光體積變化描述訊號中可看出些微的心律變化，但過多的外在雜訊，例如：移動雜訊、光線變化，使得光體積變化描述訊號難以準確地分析及計算。
有鑑於此，降低非接觸式偵測系統的運算量，並提高以非接觸式的方法進行生理訊號偵測的準確度是未來的發展趨勢。
本發明之一目的在於提出一種非接觸式即時生理訊號及動作偵測方法，降低所需運算的資料量，亦可提高生理訊號偵測的速度及準確度。
為了達到上述目的，本發明提供一種非接觸式即時生理訊號及動作偵測方法，包括：以一光感測元件感測一人體部位，而產生一時間在前的第一影像框及一時間在後的第二影像框；以一運算單元提供一膚色判斷機制，利用該膚色判斷機制從該第一影像框中區分出一第一膚色區域，接著從該第一膚色區域中計算一第一中心座標；以該第一中心座標為中心向四周擴張一特定範圍而形成一第一取樣區塊；利用該膚色判斷機制從該第二影像框中區分出一第二膚色區域，接著從該第二膚色區域中計算一第二中心座標；以該第二中心座標為中心向四周擷取一特定範圍而形成一第二取樣區塊；比對該第一中心座標與該第二中心座標的位置，而計算出一單位時間內的位移；以該位移判斷該人體部位是否處於一靜止狀態；以及若該人體部位處於該靜止狀態，則運算單元根據該第一取樣區塊與該第二取樣區塊之間的一膚色變化，來計算一生理訊號。
在一實施例中，上述之非接觸式即時生理訊號及動作偵測方法，更包括：計算該第一膚色區域的面積；判斷該第一膚色區域是否大於一特定面積值；以及若該第一膚色區域的面積大於一特定面積值，則在該第一影像框的下一影像框中顯示該第一取樣區塊，並判定該人體部位已被偵測到。若該第一膚色區域的面積小於該特定面積值，則判定該人體部位未被偵測到，並提供一警訊。
在一實施例中，上述之非接觸式即時生理訊號及動作偵測方法，更包括：提供一動作偵測機制，該動作偵測機制包括：提供一第一位移臨界值及一第二位移臨界值，其中該第一位移臨界值小於該第二位移臨界值；比較該位移與該第一位移臨界值及該第二臨界值的大小；若該位移小於或等於該第一位移臨界值，則定義該人體部位處於該靜止狀態；若該位移大於該第一位移臨界值並且小於或等於該第二位移臨界值，則定義該人體部位處於一微動狀態；若該位移大於該第二位移臨界值，則定義該人體部位處於一躁動狀態；以及改變該第一位移臨界值及該第二位移臨界值，以調整該移動偵測機制的靈敏度。
在一實施例中，上述之非接觸式即時生理訊號及動作偵測方法，其中第一影像框及該第二影像框包括複數畫素，以該膚色判斷機制判斷每一該畫素為膚色或非膚色，該膚色判斷機制包括：以該複數畫素之其一為一中心畫素，由該中心畫素向周圍擴張而形成一判斷區塊；計算該判斷區塊中，位於該中心畫素周圍的膚色面積佔該判斷區塊的總面積的一面積比例；比較該面積比例與一參考比例的大小；以及若該面積比例小於該參考比例，則判定位於該中心畫素為非膚色。
在一實施例中，上述之非接觸式即時生理訊號及動作偵測方法，更包括：計算該第一取樣區塊與該第二取樣區塊的一紅色通道訊號(red channel) 的平均值、一綠色通道訊號(green channel)的平均值或一藍色通道訊號(blue channel)的平均值，以形成一膚色變化波形，藉此膚色變化波形來判斷人體部位的動作幅度。
在一實施例中，上述之非接觸式即時生理訊號及動作偵測方法，更包括：利用該光感測元件偵測一環境光的照度；運算單元判斷該環境光的照度大於或小於一特定照度；以及若該環境光的照度大於該特定照度，則關閉一紅外線光源並由該綠色通道訊號的平均值作為形成該膚色變化波形所需的資訊；以及若該環境光的照度小於該特定照度，則開啟該紅外線光源並由該紅色通道訊號的平均值作為形成該膚色變化波形所需的資訊。
在一實施例中，上述之非接觸式即時生理訊號及動作偵測方法，更包括：將該生理訊號輸入一無線脈衝響應濾波器(Infinite Impulse Response, IIR)進行濾波，濾除高頻雜訊而產生一輸出訊號。此無線脈衝響應濾波器所濾除的高頻雜訊為3.4Hz以上的雜訊，其輸出訊號的頻率範圍為0.8Hz至3.4Hz。接著，將該無線脈衝響應濾波器的該輸出訊號輸入一移動平均演算法(Moving Average)將該輸出訊號的波形平滑化，並將低頻雜訊有效消除，此低頻雜訊為量測中的移動、呼吸或不自覺地晃動以及燈光的些微變化所造成的雜訊。
在上述實施例中，運算單元可採用一可程式邏輯陣列(Field-programmable gate array，FPGA)，該可程式邏輯陣列內部具有一微處理器，以該可程式邏輯陣列執行該膚色判斷機制，並且以該微處理器計算該生理訊號。
本發明的非接觸式即時生理訊號及動作偵測方法，在依據人體部位的顏色資訊來計算生理訊號之前，加入一動作偵測機制，來判斷人體部位的動作幅度，以區別不同的動作狀態。因此，在人體部位被判斷為靜止狀態時，運算單元才會進行顏色資訊的雜訊濾除、波峰偵測及生理訊號值計算，不僅整個生理訊號偵測過程中所需處理的資料量，亦可提高以非接觸式的方法進行生理訊號偵測的準確度。
有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之一較佳實施例的詳細說明中，將可清楚的呈現。以下實施例中所提到的方向用語，例如：上、下、左、右、前或後等，僅是用於參照隨附圖式的方向。因此，該等方向用語僅是用於說明並非是用於限制本發明。
如圖1所示，為本發明之一實施例的非接觸式即時生理訊號及動作偵測方法的方塊示意圖。首先，藉由一光感測元件感測一人體部位，而產生一連串的影像框(Image Frame)，包括一時間在前的第一影像框及一時間在後的第二影像框，用以記錄膚色變化及皮膚振動的過程(S100)。上述第一影像框與第二影像框可以是連續或非連續的兩個影像框，兩者之間的時間間隔可以視實務操作的需求而定。將這些影像框做曝光度校正後，擷取這些影像框中的顏色資訊(S110)。接著，將所擷取的顏色資訊經過一膚色判斷機制處理後，保留影像框中的膚色區域，並計算此膚色區域的一中心座標，藉此中心座標定義一取樣區塊的位置(S120)。如此，由第一影像框計算出一第一中心座標，並定義一第一取樣區塊的位置；並且由第二影像框計算出一第二中心座標，並定義一第二取樣區塊的位置。再比對該第一中心座標與該第二中心座標的位置，而計算出一單位時間內的位移(即一單位時間的座標變動量)；接著根據該位移判斷該人體部位的動作幅度以區別不同的動作狀態，例如：靜止、微動或躁動狀態(S130)。若該人體部位處於靜止狀態，則根據第一影像框中的第一取樣區塊與第二影像框中的第二取樣區塊之間的膚色變化或皮膚振動，來計算一生理訊號。
在一實施例中，所偵測生理訊號為一可導致膚色變化的生理現象所造成者，例如心律。為了將含有大量雜訊的膚色變化或皮膚振動訊號轉換成準確的生理訊號，可利用一無線脈衝響應濾波器(Infinite Impulse Response, IIR)將3.4Hz以上的高頻雜訊濾除，以提高即時運算的準確度(S140)。經過無線脈衝響應濾波器濾波後，其輸出訊號的頻率範圍為0.8Hz至3.4Hz。然而，若將此輸出訊號直接進行波峰偵測，其波形仍會受到由量測中的移動、呼吸或不自覺地晃動以及燈光的些微變化所造成的低頻雜訊的影響而導致偵測錯誤，因此使用一移動平均演算法(Moving Average)將這些低頻雜訊有效消除，並將IIR輸出訊號的波形平滑化(S150)。當膚色變化或皮膚振動訊號經過無線脈衝響應濾波器濾波及移動平均演算法後，透過計算每一個時間點的斜率的方式找出波形的峰值(S160)，藉由偵測每個波峰發生的時間點來計算生理訊號(S170)。
本實施例可利用攝影機或是鏡頭等數位的光感測元件作為影像的輸入端，並採用一可程式邏輯陣列(Field-programmable gate array，FPGA)做為運算單元而組成一嵌入式的生理訊號偵測系統(以下簡稱為偵測系統)來實現上述的方法。例如，可程式邏輯陣列內部具有一微處理器，以該可程式邏輯陣列執行該膚色判斷機制，並且以該微處理器計算該生理訊號。值得注意的是，為了提高生理訊號處理及運算的效能，增加偵測系統的穩定度及準確度，本實施例在計算生理訊號(S170)之前加入一動作偵測機制，用以偵測人體部位的動作幅度(S130)，以降低人體移動時造成的訊號干擾，提高生理訊號量測之精準度。圖1為當偵測系統判斷該人體部位處於靜止狀態時的流程。然而，當偵測系統判斷該人體部位為微動或躁動狀態時，心率值的計算將不予實施，並將當下的心率值維持在上一次靜止狀態時計算出的心率值，僅會將動作狀態的判斷結果傳送給行動裝置。
同時參照圖1及圖2，在本實施例的步驟(S120)中，將影像框中所擷取顏色資訊(S110)以膚色判斷機制進行處理，膚色判斷機制包括一影像二值化程序(S121)及一類膚色雜訊去除程序(S122)。影像二值化程序(S121)將影像框中的畫素顏色分成膚色及非膚色。類膚色雜訊去除程序(S122)將人體部位的影像框中因環境中的類膚色物品或因環境光的影響所產生的類膚色雜訊去除。經由類膚色雜訊去除程序(S122)將影像框中呈現膚色，但較分散且面積較小的畫素或區塊濾除，而保留較連續且面積較大的膚色區域。再對此膚色區域進行中心座標的計算(S123)。
在一實施例中，可於上述步驟(S120)與步驟(S130)之間，加入一流程(S200)以判斷該人體部位是否被偵測到。先計算膚色判斷機制處理後所保留下來的膚色區域的面積，例如：計算此膚色區域中的畫素數量總和來代表此膚色區域的面積。再判斷此膚色區域的面積是否大於一特定面積值(S210)，例如：一特定數量的畫素來代表此特定面積值。若膚色區域的面積大於此特定面積值，則判定該人體部位已被偵測到，並於下一個影像框中顯示取樣區塊 (S220)。取樣區塊是由一個以膚色區域的中心座標作為中心點向四周擴張一特定範圍所界定的區塊，例如一50×50畫素的方形區塊。若膚色區域的面積小於此特定面積值，則不顯示取樣區塊，並判定該人體部位未被偵測到(S230)。
在未偵測到該人體部位時，可提供一警訊給一行動裝置，並以振動、鈴聲及訊息的方式表示(S250)。如此一來，應用本發明所述的方法的生理訊號偵測系統具有即時的防窒息偵測功能。當生理訊號偵測系統無法由攝影機或是鏡頭擷取到的嬰兒臉部影像中偵測到足夠範圍的膚色區域時，即可判斷嬰兒臉部可能被異物覆蓋住或是趴睡，這些情況可能會導致嬰兒窒息，因此會即時傳送一警訊到一手機端，提醒大人們來做處理。
若判定該人體部位已被偵測到，則每隔0.25秒進行一次座標暫存，將當下的取樣區塊的中心座標儲存於一暫存器中(S240)。本實施例採用兩個暫存器，一個儲存當下的中心座標，另一個儲存前一筆中心座標，每隔0.25秒進行一次移位(shift)動作。並且，每隔0.5秒進行一次座標比對，以計算中心座標在0.25秒內所產生的位移(S131)。另一方面，偵測系統在進行新的一次動作偵測的同時，可依據最近一次已偵測到的動作狀態來決定是否進行後續心律訊號處理與心率值計算(S260)。若目前是靜止狀態，則對每個進入偵測系統的影像框進行IIR濾波、移動平均演算法、波峰偵測及心率值計算等心律偵測演算法(S263)。若目前不是靜止狀態，則偵測系統保留上一次靜止狀態時的心率值(S261)，僅將微動或躁動等動作偵測的結果(S262)傳給藍牙模組，進而轉為無線訊號輸出至行動裝置(S700)。
值得一提的是，為了以此位移判斷該人體部位的動作幅度(S130)，圖2所示的實施例提供一動作偵測機制(S132~S135)，其包括：提供一第一位移臨界值T1 及一第二位移臨界值T2 ，其中第一位移臨界值T1 小於該第二位移臨界值T2 ；比較位移D與第一位移臨界值T1 及第二臨界值T2 的大小；若位移D小於或等於第一位移臨界值T1 ，則定義該人體部位處於靜止狀態；若位移D大於第一位移臨界值T1 並且小於或等於第二位移臨界值T2 ，則定義該人體部位處於微動狀態；若位移D大於第二位移臨界值T2 ，則定義該人體部位處於躁動狀態；以及改變第一位移臨界值T1 及第二位移臨界值T2 ，以調整該動作偵測機制的靈敏度。
在一實施例中，上述的位移D為兩中心座標之間的直線距離；第一位移臨界值T1 為2個畫素間隔；第二位移臨界值T2 為7個畫素間隔。若計算出的直線距離小於或等於2個畫素間隔，則定義為靜止狀態。若此直線距離大於2個畫素間隔並且小於或等於7個畫素間隔，則判斷為微動狀態。若此直線距離大於7個畫素間隔，則定義為躁動狀態。
在另一實施例中，上述的位移D包括一水平位移及一垂直位移所組成；第一位移臨界值T1 為1個畫素間隔；第二位移臨界值T2 為7個畫素間隔。若水平位移小於或等於1個畫素間隔且垂直位移小於或等於1個畫素間隔，則定義為靜止狀態。若水平位移大於1個畫素間隔並且小於或等於7個畫素間隔，並且，垂直位移大於1個畫素間隔並且小於或等於7個畫素間隔，則定義為微動狀態。若水平位移大於7個畫素間隔且垂直位移大於7個畫素間隔，則定義為躁動狀態。
同時參照圖2及圖3，圖3主要說明圖2裡的步驟(S121)、(S122)的處理方法。由影像框中擷取的顏色資訊為紅色(R)-綠色(G)-藍色(B)通道訊號格式(簡稱RGB訊號)(S110)，在執行影像二值化(S121)時，先將RGB訊號轉換成明亮度(Y)-色度(U)-濃度(V)訊號格式(簡稱YUV訊號)(S1211)，轉換公式例如：
在RGB訊號轉成YUV訊號之後，將色度(U)及濃度(V)訊號套用在下列判斷條件內，來判定一畫素的顏色是否為膚色(S1212)，判斷條件例如：
10 ＜ U ＜ 74
- 40 ＜ V ＜ 11
若該畫素的色度(U)及濃度(V)訊號符合上述條件而被判定為膚色，則將該畫素的紅色(R)、綠色(G)、藍色(B)通道訊號皆設為10位元的”1”，且於一螢幕上顯示為白色(S1213)。若該的色度(U)及濃度(V)訊號不符合上述條件，則將該畫素的紅色(R)、綠色(G)、藍色(B)通道訊號皆設為10位元的”0”，且於一螢幕上顯示為黑色(S1214)。膚色判定完後，將此畫素經判定後設定的資料存入一暫存器(S1215)，此暫存器的可以容納一個影像框的畫素數量。
同時參照圖4，在膚色判斷機制的步驟(S122)中，以一中心畫素向其周圍擴張而形成一9 × 9 的判斷區塊去做判定。計算該判斷區塊中，位於該中心畫素周圍的膚色面積佔該判斷區塊的總面積的一面積比例；比較該面積比例與一參考比例的大小(S1221)；若該面積比例大於該參考比例，則判定位於該中心畫素為膚色(S1222)；以及若該面積比例小於或等於該參考比例，則判定位於該中心畫素為非膚色(S1223)。例如：若在中心畫素周圍所形成的9 × 9判斷區塊內所涵蓋的膚色畫素數量(即膚色面積)大於判斷區塊總面積的75%，則將中心畫素判定為膚色；若小於或等於判斷區塊總面積的75%，則將中心畫素判定為非膚色。例如：
中心畫素PA ：雖然影像二值化(S121)時判定中心畫素PA 為膚色，但因為中心畫素PA 周圍膚色面積總和未超過判斷區塊A總面積的75%，故類膚色雜訊去除程序(S122)將中心畫素PA 判斷為非膚色。
中心畫素PB ：雖然影像二值化(S121)時判定中心畫素PB 為非膚色，但因為中心畫素PB 周圍膚色面積總和超過判斷區塊B總面積的75%，故類膚色雜訊去除程序(S122)將中心畫素PB 判斷為膚色。
如此，經過二值化處理後的影像框中很多分散的雜訊顆粒將會被消除掉，只留下明顯的膚色區域。
如圖3，在一實施例中，因為光源的緣故，有時候影像框的膚色辨識會因為日光燈的閃爍而造成膚色的辨識結果也跟著不穩定，因此可於步驟(S122)與步驟(S123)之間，加入一瞬間變化抵補機制(Temporal Filtering) (S300)，用以降低因為光源微小的變化而造成的膚色變化，其演算法公式例如：
其中，
data ：上一個影像框中該畫素經過瞬間變化抵補機制處理後的顏色資訊；
avgin ：當下影像框中該畫素的顏色資訊；
avgout ： 當下影像框中該畫素經過瞬間變化抵補機制處理後的顏色資訊。
並且，將avgout 與一臨界值比較，再次判斷該畫素是否為膚色(S310)。例如，若avgout 大於或等於0.06，則將該畫素判定為膚色，並顯示為白色(S320)；若avgout 小於0.06，則將該畫素判定為非膚色，並顯示為黑色(S330)。
當訊號值在傳輸時，是一個畫素接著一個畫素，而且一次只作一個畫素的膚色判斷。為了取得一整個影像框的膚色區域總面積，需將每個畫素的判斷結果累加起來(S340)，累加後的數值在一個影像框的所有畫素判斷結果傳輸完之後歸零，此累加結果用來後續計算整個膚色區域的中心座標。
如圖5，在一實施例中，透過運算單元擷取RGB訊號(S110)進行前述膚色判斷機制(S121~S122)的判斷及瞬間變化抵補機制(S300)的處理後，求出取樣區塊的中心座標(S123)。接著，將50×50畫素的取樣區塊透過一乘法器計算紅色通道訊號(red channel)的平均值、綠色通道訊號(green channel)的平均值或藍色通道訊號(blue channel)的平均值，以形成一膚色變化波形，藉此偵測皮膚表面之光強度變化波形來判斷人體部位的動作幅度(S130A)。
在一實施例中，偵測系統提供一夜間模式，利用攝影機或是其他光感測元件偵測環境光的照度，並藉由運算單元判斷環境光的照度大於或小於一 特定照度，例如140Lux。若小於該特定照度則判斷環境過暗，此時偵測系統會自動開啟一紅外線光源，並自動調整心律訊號的偵測方式，由綠色通道訊號的平均值改成以紅色通道訊號的平均值作為形成膚色變化波形所需的資訊。換句話說，若該環境光的照度大於該特定照度，則關閉紅外線光源並由綠色通道訊號的平均值作為形成膚色變化波形所需的資訊；若環境光的照度小於特定照度，則開啟紅外線光源並由紅色通道訊號的平均值作為形成膚色變化波形所需的資訊。如此，偵測系統可依據環境光的明暗程度，選用綠色通道訊號的平均值或紅色通道訊號的平均值，來形成膚色變化波形。
圖6顯示靜止、微動、躁動狀態下以非接觸式方式所擷取到的綠色通道訊號的平均值所形成的膚色變化波形。在靜止狀態時，由綠色通道訊號的平均值形成的膚色變化波形所表現出的心律訊號較不受雜訊干擾，較適合用來計算心率值。因此，在靜止狀態時，運算單元才會進行膚色變化波形的後續處理及心率值計算。然而在微動和躁動狀態下，由膚色變化波形表現出的心律訊號受雜訊干擾較大，較不易辨識，因此在這兩個階段只用來做動作幅度分析，等到回復到靜止狀態時，運算單元才會再度計算心率值。因此，本實施例的方法不僅可以降低後續雜訊濾除(S140~S150)、波峰偵測(S160)、心率值計算(S170)等由膚色變化波形來計算心率值的過程中所需處理的資料量，亦可提高以非接觸式的方法進行心律偵測的準確度。
在另一實施例中，圖6可以採用紅色通道訊號的平均值或是藍色通道平均值所形成的膚色變化波形來取代，用以做動作幅度分析及心率值的計算。
在波峰偵測(S160)時，計算膚色變化波形中每個時間點的斜率，來偵測出波峰發生的時間，找出兩個波峰位置之後便能計算出一峰點時間間隔(Peak to Peak Interval, PPI)，此峰點時間間隔的倒數即為一即時的心率值(S170)。值得一提的是，為了確保偵測結果的準確度，在波峰偵測演算法內可加入一動態閥值做為調整機制，其第n個閥值(Tn )的設定例如：
Tn =C × Sn-1
其中，C：係數設定，在此系統設定為0.35以得到較佳的偵測效果；Sn-1 ：前一次上升波的最大斜率值。
當膚色訊號變動時，閥值也會跟著做調整，偵測到的斜率必須大於設定的閥值才能判定為波峰。
圖7(a)是經由光感測元件擷取到的膚色訊號。圖7(b)是經過IIR濾波器的膚色訊號及從此圖中偵測到的波峰位置。圖7(c)是經過移動平均演算法處理後的膚色訊號及從此圖中偵測到的波峰位置。比較圖7(a)及圖7(b)，經過IIR濾波後的膚色訊號雖然已經可以明顯的看出由心律變化造成的波形，但是仍有少許的移動或是雜訊，可能會影響後續的波峰偵測。比較圖7(b)及圖7(c)，可以看出移動平均演算法能有效提升波峰偵測的準確率，並能順利將非心律變化造成的波峰濾除。
最後，為了將生理訊號能夠透過無線的方式傳達給其他智慧型裝置，可以將計算出的生理訊號透過一通用非同步收發傳輸器(Universal Asynchronous Receiver/Transmitter, UART)傳送到一藍牙模組(S600)，藉由藍牙模組將訊號轉為無線輸出(S700)，使智慧型裝置可以接收到生理訊號並透過波形的方式顯示在手機介面上，以達到遠端監控的效果。
惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。另外本發明的任一實施例或申請專利範圍不須達成本發明所揭露之全部目的或優點或特點。此外，摘要部分和標題僅是用來輔助專利文件搜尋之用，並非用來限制本發明之權利範圍。
判斷區塊的中心畫素PA , PB 判斷區塊A, B
圖1為本發明之一實施例的非接觸式即時生理訊號及動作偵測方法的流程示意圖。
圖2為本發明之一實施例的動作偵測機制的流程示意圖。
圖3為本發明之一實施例的膚色判斷機制及瞬間變化抵補機制的流程示意圖。
圖4為本發明之一實施例的膚色判斷機制的判斷結果示意圖。
圖5為本發明之另一實施例的非接觸式即時生理訊號及動作偵測方法，選用紅色、綠色或藍色通道訊號的平均值作為判斷動作幅度的資料。
圖6為本發明之一實施例，計算綠色通道訊號的平均值而形成膚色變化波形示意圖。
圖7為本發明之一實施例，其經由光感測元件擷取到的膚色訊號(a)；經過無線脈衝響應濾波器的膚色訊號及藉此偵測到的波峰位置(b)；經過移動平均演算法處理後的膚色訊號及藉此偵測到的波峰位置(c)。
無
無

Claims (10)

  1. 一種非接觸式即時生理訊號及動作偵測方法，包括： 以一光感測元件感測一人體部位，而產生一時間在前的第一影像框及一時間在後的第二影像框； 以一運算單元提供一膚色判斷機制，利用該膚色判斷機制從該第一影像框中區分出一第一膚色區域，接著從該第一膚色區域中計算一第一中心座標； 以該第一中心座標為中心向四周擴張一特定範圍而形成一第一取樣區塊； 利用該膚色判斷機制從該第二影像框中區分出一第二膚色區域，接著從該第二膚色區域中計算一第二中心座標； 以該第二中心座標為中心向四周擷取一特定範圍而形成一第二取樣區塊； 比對該第一中心座標與該第二中心座標的位置，而計算出一單位時間內的位移； 以該位移判斷該人體部位是否處於一靜止狀態；以及 若該人體部位處於該靜止狀態，則該運算單元根據該第一取樣區塊與該第二取樣區塊之間的一膚色變化，來計算一生理訊號。
  2. 如申請專利範圍第1項所述之非接觸式即時生理訊號及動作偵測方法，更包括： 計算該第一膚色區域的面積； 判斷該第一膚色區域是否大於一特定面積值；以及 若該第一膚色區域的面積大於一特定面積值，則在該第一影像框的下一影像框中顯示該第一取樣區塊，並判定該人體部位已被偵測到。
  3. 如申請專利範圍第2項所述之非接觸式即時生理訊號及動作偵測方法，更包括：若該第一膚色區域的面積小於該特定面積值，則判定該人體部位未被偵測到，並提供一警訊。
  4. 如申請專利範圍第1項所述之非接觸式即時生理訊號及動作偵測方法，更包括：提供一動作偵測機制，該動作偵測機制包括： 提供一第一位移臨界值及一第二位移臨界值，其中該第一位移臨界值小於該第二位移臨界值； 比較該位移與該第一位移臨界值及該第二臨界值的大小； 若該位移小於或等於該第一位移臨界值，則定義該人體部位處於該靜止狀態； 若該位移大於該第一位移臨界值並且小於或等於該第二位移臨界值，則定義該人體部位處於一微動狀態； 若該位移大於該第二位移臨界值，則定義該人體部位處於一躁動狀態；以及 改變該第一位移臨界值及該第二位移臨界值，以調整該移動偵測機制的靈敏度。
  5. 如申請專利範圍第1項所述之非接觸式即時生理訊號及動作偵測方法，其中第一影像框及該第二影像框包括複數畫素，以該膚色判斷機制判斷每一該畫素為膚色或非膚色，該膚色判斷機制包括： 以該複數畫素之其一為一中心畫素，由該中心畫素向周圍擴張而形成一判斷區塊； 計算該判斷區塊中，位於該中心畫素周圍的膚色面積佔該判斷區塊的總面積的一面積比例； 比較該面積比例與一參考比例的大小；以及 若該面積比例小於該參考比例，則判定位於該中心畫素為非膚色。
  6. 如申請專利範圍第1項所述之非接觸式即時生理訊號及動作偵測方法，更包括：計算該第一取樣區塊與該第二取樣區塊的一紅色通道訊號(red channel)的平均值、一綠色通道訊號(green channel)的平均值或一藍色通道訊號(blue channel)的平均值，以形成一膚色變化波形。
  7. 如申請專利範圍第6項所述之非接觸式即時生理訊號及動作偵測方法，更包括： 利用該光感測元件偵測一環境光的照度； 該運算單元判斷該環境光的照度大於或小於一特定照度； 若該環境光的照度大於該特定照度，則關閉一紅外線光源並由該綠色通道訊號的平均值作為形成該膚色變化波形所需的資訊；以及 若該環境光的照度小於該特定照度，則開啟該紅外線光源並由該紅色通道訊號的平均值作為形成該膚色變化波形所需的資訊。
  8. 如申請專利範圍第1項所述之非接觸式即時生理訊號及動作偵測方法，更包括：將該生理訊號輸入一無線脈衝響應濾波器(Infinite Impulse Response, IIR)進行濾波，而產生一輸出訊號。
  9. 如申請專利範圍第8項所述之非接觸式即時生理訊號及動作偵測方法，更包括：將該無線脈衝響應濾波器的該輸出訊號輸入一移動平均演算法(Moving Average)將該輸出訊號的波形平滑化。
  10. 如申請專利範圍第1項所述之非接觸式即時生理訊號及動作偵測方法，其中該運算單元為一可程式邏輯陣列(Field-programmable gate array)，該可程式邏輯陣列內部具有一微處理器，以該可程式邏輯陣列執行該膚色判斷機制，並且以該微處理器計算該生理訊號。
TW104122281A 2015-07-09 2015-07-09 非接觸式即時生理訊號及動作偵測方法 TWI556793B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW104122281A TWI556793B (zh) 2015-07-09 2015-07-09 非接觸式即時生理訊號及動作偵測方法
US15/193,196 US10413248B2 (en) 2015-07-09 2016-06-27 Non-contact method for detecting physiological signal and motion in real time

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW104122281A TWI556793B (zh) 2015-07-09 2015-07-09 非接觸式即時生理訊號及動作偵測方法

Publications (2)

Publication Number Publication Date
TWI556793B TWI556793B (zh) 2016-11-11
TW201701826A true TW201701826A (zh) 2017-01-16

Family

ID=57729916

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104122281A TWI556793B (zh) 2015-07-09 2015-07-09 非接觸式即時生理訊號及動作偵測方法

Country Status (2)

Country Link
US (1) US10413248B2 (zh)
TW (1) TWI556793B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108272448A (zh) * 2018-03-29 2018-07-13 合肥工业大学 一种非接触式的婴儿生理参数昼夜监护方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI556793B (zh) * 2015-07-09 2016-11-11 國立臺灣科技大學 非接觸式即時生理訊號及動作偵測方法
GB201601140D0 (en) 2016-01-21 2016-03-09 Oxehealth Ltd Method and apparatus for estimating heart rate
GB201601142D0 (en) 2016-01-21 2016-03-09 Oxehealth Ltd Method and apparatus for estimating breathing rate
GB201601143D0 (en) 2016-01-21 2016-03-09 Oxehealth Ltd Method and apparatus for health and safety monitoring of a subject in a room
GB201601217D0 (en) 2016-01-22 2016-03-09 Oxehealth Ltd Signal processing method and apparatus
GB201615899D0 (en) 2016-09-19 2016-11-02 Oxehealth Ltd Method and apparatus for image processing
US10885349B2 (en) 2016-11-08 2021-01-05 Oxehealth Limited Method and apparatus for image processing
WO2018150554A1 (ja) * 2017-02-20 2018-08-23 マクセル株式会社 脈波測定装置、携帯端末装置及び脈波測定方法
GB201706449D0 (en) 2017-04-24 2017-06-07 Oxehealth Ltd Improvements in or realting to in vehicle monitoring
GB201803508D0 (en) * 2018-03-05 2018-04-18 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
TWI658815B (zh) * 2018-04-25 2019-05-11 國立交通大學 非接觸式心跳量測系統、非接觸式心跳量測方法以及非接觸式心跳量測裝置
GB201900032D0 (en) 2019-01-02 2019-02-13 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
GB201900034D0 (en) 2019-01-02 2019-02-13 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
GB201900033D0 (en) 2019-01-02 2019-02-13 Oxehealth Ltd Mrthod and apparatus for monitoring of a human or animal subject
CN111297347B (zh) * 2020-02-21 2022-07-29 乐普（北京）医疗器械股份有限公司 一种生成光体积变化描记图法信号的方法和装置
CN111297339B (zh) * 2020-02-21 2022-07-29 乐普（北京）医疗器械股份有限公司 一种光体积变化描记图法信号的生成方法和装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2006064635A1 (ja) * 2004-12-17 2008-06-12 コニカミノルタホールディングス株式会社 診断システム
US20080294012A1 (en) * 2007-05-22 2008-11-27 Kurtz Andrew F Monitoring physiological conditions
US8295567B2 (en) * 2008-06-30 2012-10-23 Nellcor Puritan Bennett Ireland Systems and methods for ridge selection in scalograms of signals
US8396248B2 (en) * 2008-09-16 2013-03-12 Varian Medical Systems, Inc. Sequential stereo imaging for estimating trajectory and monitoring target position
TW201315438A (zh) * 2011-10-14 2013-04-16 Ind Tech Res Inst 非接觸式之心脈量測方法及其系統
US8855384B2 (en) * 2012-06-20 2014-10-07 Xerox Corporation Continuous cardiac pulse rate estimation from multi-channel source video data
US9036877B2 (en) * 2012-06-20 2015-05-19 Xerox Corporation Continuous cardiac pulse rate estimation from multi-channel source video data with mid-point stitching
US9811901B2 (en) * 2012-09-07 2017-11-07 Massachusetts Institute Of Technology Linear-based Eulerian motion modulation
TWI492737B (zh) * 2012-12-11 2015-07-21 Ind Tech Res Inst 生理資訊量測系統及其方法
GB201302451D0 (en) * 2013-02-12 2013-03-27 Isis Innovation Method and system for signal analysis
US10052038B2 (en) * 2013-03-14 2018-08-21 Koninklijke Philips N.V. Device and method for determining vital signs of a subject
EP3057486B1 (en) * 2013-10-17 2017-05-03 Koninklijke Philips N.V. Automatic camera adjustment for remote photoplethysmography
TWI546052B (zh) * 2013-11-14 2016-08-21 財團法人工業技術研究院 影像式心率活動偵測裝置及其方法
US9483837B2 (en) * 2014-03-14 2016-11-01 Xerox Corporation Compensating for motion during real-time batch processing of video for physiological function assessment
US9245338B2 (en) * 2014-05-19 2016-01-26 Xerox Corporation Increasing accuracy of a physiological signal obtained from a video of a subject
JP6893877B2 (ja) * 2014-10-29 2021-06-23 スペクトラル エムディー, インコーポレイテッドSpectral Md, Inc. 組織を分類するための反射モードマルチスペクトル時間分解型光学イメージングの方法および装置
CN104887209A (zh) * 2015-06-26 2015-09-09 京东方科技集团股份有限公司 一种血压测量方法和测量系统
IN2015CH03252A (zh) * 2015-06-27 2015-07-10 Wipro Ltd
TWI556793B (zh) * 2015-07-09 2016-11-11 國立臺灣科技大學 非接觸式即時生理訊號及動作偵測方法
WO2017156084A2 (en) * 2016-03-11 2017-09-14 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for non-contact monitoring of ballistocardiogram, photoplethysmogram, blood pressure and abnormal heart rhythm
TWI595858B (zh) * 2016-05-31 2017-08-21 國立臺灣科技大學 應用於非接觸式生理及身體活動資訊的量測與消除雜訊方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108272448A (zh) * 2018-03-29 2018-07-13 合肥工业大学 一种非接触式的婴儿生理参数昼夜监护方法
CN108272448B (zh) * 2018-03-29 2020-11-27 合肥工业大学 一种非接触式的婴儿生理参数昼夜监护方法

Also Published As

Publication number Publication date
US10413248B2 (en) 2019-09-17
US20170007185A1 (en) 2017-01-12
TWI556793B (zh) 2016-11-11

Similar Documents

Publication Publication Date Title
TWI556793B (zh) 非接觸式即時生理訊號及動作偵測方法
US11172817B2 (en) Fundus image capture system
JP6256488B2 (ja) 信号処理装置、信号処理方法及び信号処理プログラム
CN106778695B (zh) 一种基于视频的多人快速心率检测方法
JP5027604B2 (ja) 指先適正押圧状態報知方法及び装置
JP6052027B2 (ja) 脈波検出装置、脈波検出プログラムおよび脈波検出方法
EP3057486B1 (en) Automatic camera adjustment for remote photoplethysmography
WO2016006027A1 (ja) 脈波検出方法、脈波検出プログラム及び脈波検出装置
US20150366456A1 (en) Pulse wave velocity measurement method
US20190038124A1 (en) Automatic fundus image capture system
EP3308702B1 (en) Pulse estimation device, and pulse estimation method
JP6115263B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
WO2014155750A1 (ja) 血流指標算出方法、血流指標算出プログラム及び血流指標算出装置
US11910994B2 (en) Medical image processing apparatus, medical image processing method, program, diagnosis supporting apparatus, and endoscope system
CN104639799A (zh) 影像式心率活动侦测装置及其方法
JP2014198201A (ja) 脈波検出プログラム、脈波検出方法および脈波検出装置
US9483837B2 (en) Compensating for motion during real-time batch processing of video for physiological function assessment
WO2017047734A1 (ja) 計測装置
EP3318179A2 (en) Method for measuring respiration rate and heart rate using dual camera of smartphone
JPWO2020003910A1 (ja) 心拍検出装置、心拍検出方法及びプログラム
JP2005049979A (ja) 顔検知装置及びインターホン装置
JP4741019B2 (ja) インターホン装置
JP2011086052A (ja) 手認識装置
JP5266895B2 (ja) 脈波検出装置、脈波検出プログラムおよび脈波検出方法
JP3813043B2 (ja) 眼鏡反射検出装置及び眼鏡反射検出方法