JP7174358B2 - 脈拍数検出装置、及び脈拍数検出プログラム - Google Patents
脈拍数検出装置、及び脈拍数検出プログラム Download PDFInfo
- Publication number
- JP7174358B2 JP7174358B2 JP2019066378A JP2019066378A JP7174358B2 JP 7174358 B2 JP7174358 B2 JP 7174358B2 JP 2019066378 A JP2019066378 A JP 2019066378A JP 2019066378 A JP2019066378 A JP 2019066378A JP 7174358 B2 JP7174358 B2 JP 7174358B2
- Authority
- JP
- Japan
- Prior art keywords
- pulse rate
- reliability
- acquired
- moving image
- peak
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims description 91
- 230000009467 reduction Effects 0.000 claims description 9
- 101100328887 Caenorhabditis elegans col-34 gene Proteins 0.000 description 73
- 238000012545 processing Methods 0.000 description 47
- 238000005259 measurement Methods 0.000 description 24
- 238000000034 method Methods 0.000 description 21
- 238000004364 calculation method Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000010606 normalization Methods 0.000 description 5
- 230000015654 memory Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 206010041349 Somnolence Diseases 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000004962 physiological condition Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010029216 Nervousness Diseases 0.000 description 1
- RRLHMJHRFMHVNM-BQVXCWBNSA-N [(2s,3r,6r)-6-[5-[5-hydroxy-3-(4-hydroxyphenyl)-4-oxochromen-7-yl]oxypentoxy]-2-methyl-3,6-dihydro-2h-pyran-3-yl] acetate Chemical compound C1=C[C@@H](OC(C)=O)[C@H](C)O[C@H]1OCCCCCOC1=CC(O)=C2C(=O)C(C=3C=CC(O)=CC=3)=COC2=C1 RRLHMJHRFMHVNM-BQVXCWBNSA-N 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
- A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7221—Determining signal validity, reliability or quality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Cardiology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Mathematical Physics (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Description
これにより、例えば、車両の運転者の脈拍数をモニタリングして、より交通安全を推進することができる。
例えば、ある期間脈拍数を検出したところ、信頼できる検出が86%で、残りは外乱により信頼できないものであった場合、どの部分が信頼できる検出か分からなかった。
また、検出値の信頼性が評価できたとした場合でも、評価を厳しくすると脈拍数を検出できる期間が短くなるという問題もある。
(2)請求項2に記載の発明では、前記外乱要因は前記体表面の動きであり、前記低減手段は、前記動画における前記体表面の動きの周波数領域における動きピークが、前記取得した脈拍数ピークと所定量以上近い場合に、前記信頼度取得手段が取得する前記信頼度を低減することを特徴とする請求項1に記載の脈拍数検出装置を提供する。
(3)請求項3に記載の発明では、対象者の体表面を撮影した動画を取得する動画取得機能と、前記取得した動画における前記体表面の画素値の変化に基づいて、前記取得した動画の周波数領域における脈拍数ピークから前記対象者の脈拍数を取得する脈拍数取得機能と、前記取得した脈拍数のSN比に基づいて、前記取得した脈拍数の信頼度を取得する信頼度取得機能と、前記体表面を照らす光の変動を前記取得した脈拍数の精度を低下させる外乱要因とし、前記動画における前記光の変動の周波数領域における光ピークが、前記取得した脈拍数ピークと所定量以上近い場合に、前記信頼度取得機能が取得する前記信頼度を低減する低減機能と、前記信頼度取得機能が取得した信頼度が所定の信頼基準以上である場合に、前記取得した脈拍数を出力する出力機能と、をコンピュータで実現する脈拍数検出プログラムを提供する。
脈拍数検出装置1(図1)は、検出した脈拍数の信頼度を脈拍信号のSN比に基づいて評価すると共に、動きや光による外乱要因を考慮して評価する。
脈拍数検出装置1は、脈拍数を表示するための脈拍数表示基準1と、これより低い脈拍数表示基準2を設けており、SN比が前者以上となる場合は、脈拍数を表示し、後者以上、前者未満の場合は、直近の過去の脈拍数との差が所定基準より小さいことを条件として表示する。
SN比が脈拍数表示基準2未満となる場合は、信頼度が低いとして表示しない。
図1は、本実施の形態の脈拍数検出装置1の構成を説明するための図である。
脈拍数検出装置1は、例えば、車両に搭載され、搭乗者(ドライバや助手席の乗客などの対象者)の脈拍数を監視し、ドライバの体調、緊張状態などの生理的な状態を把握する。
また、医療現場や災害現場などで患者や被災者の脈拍数を検出・監視するのに用いたり、家庭や商業施設に設置して、利用者が手軽に脈拍数を検出するのに利用することができる。
CPU2は、記憶部10やROM3などに記憶されたプログラムに従って、各種の情報処理や制御を行う中央処理装置である。
本実施の形態では、カメラ8が撮影した動画を画像処理して対象者11の脈拍数を検出する。
この検出は可視光領域や赤外線領域で行うことができるが、本実施の形態では、一例として可視光を用いる。
また、対象者11を可視光や赤外線で照らすための照明を設けることもできる。
RAM4は、読み書きが可能なメモリであって、CPU2が動作する際のワーキングメモリを提供する。
本実施の形態では、動画を構成する画像(1コマの静止画像)を展開して記憶したり、計算結果を記憶したりすることにより、CPU2が、画像の皮膚部分から脈波を検出するのを支援する。
当該皮膚部分は、顔や手足など体表面が露出しているところならよいが、本実施の形態では、一例として顔の表面(顔面)から脈拍数を検出する。
入力部6は、表示デバイスに重畳して設置されたタッチパネルなどの入力デバイスを用いて構成されており、画面表示に対するタッチの有無などから各種の情報の入力を受け付ける。
また出力部7は、車両を制御する制御装置などの他の制御機器に出力することができる。出力部7から脈拍数の出力を受けた制御機器では、例えば、ドライバの眠気や緊張状態等を判断し、ドライバに向けた制御、例えば、眠気を覚醒させるためにハンドルやシートを振動させる制御、警告音やメッセージの出力などを行うことができる。
例えば、制御機器は、ドライバが所定値を超える高い緊張状態にあると判断した場合には、車間距離を基準値よりも大きくとるように制御し、車速を所定車速以下となるように制御し、所定車速以上であれば自動ブレーキ操作による減速処理等を行う。
なお、カメラ8は、可視光領域で動画を撮影するが、赤外線領域にて脈拍数を検出する場合は、赤外線イメージセンサを搭載した赤外線用のカメラを用いる。
当該画像は、画像を構成する最小単位である画素(ピクセル)の配列により構成されている。
CPU2が脈拍数検出プログラムに従って検出した脈拍数のデータは、RAM4に一時保存され、必要に応じて外部に出力されたり、記憶部10に保存される。
CPU2は、脈拍数検出プログラムを実行することにより、画像における検出領域の設定、脈拍数の検出、検出した脈拍数の信頼性の評価、信頼度に応じた脈拍数の出力制御などの情報処理を行う。
脈波成分を含む信号QをFFT(Fast Fourier Transform)にて変換すると、60bpm(beats per minute)付近に脈拍数ピークが現れる。これは、脈拍による対象者11の皮膚の色の変化に由来するものであり、これが対象者11の脈拍数の検出値となる。
赤外線の輝度を用いても同様の脈拍数ピークを得ることができる。
以下の処理は、脈拍数検出装置1のCPU2が記憶部10に記憶してある脈拍数検出プログラムに従って行うものである。
次に、脈拍数検出装置1は、カメラ8が撮影した動画の画像(フレーム画像)をRAM4に記憶することによりこれを取得する(ステップ10)。
このように脈拍数検出装置1は、対象者の体表面を撮影した動画を取得する動画取得手段を備えている。
図3(a)に示したように、脈拍数検出装置1は、画像20において対象者11の顔を公知技術によって検出し、顔の測定領域22を設定する。
測定領域22の大きさが十分でない場合(ステップ20;N)、脈拍数検出装置1は、ステップ10に戻り、(次の)画像の取得と測定領域22の設定を行う。あるいは、ステップ15に戻って同じ画像で測定領域22を再設定してもよい。
これは、測定領域22の部分、即ち、図3(b)の斜線で示した領域のQ値を平均するものであり、後に当該Q値の時間変化から脈拍数を検出するものである。
なお、orig_Qは、測定領域22の平均Qの略称であり、以下では、必要に応じて略称を括弧書きで記す。
これは、図3(c)に示したように、測定領域22の中心24の位置を計算するものであり、後に顔の動きによる動き外乱を評価する際に使用するものである。
後述するように、脈拍数検出装置1は、周波数領域における中心24の動きのピーク周波数と脈拍数が所定量より近い場合に、動き外乱があるため脈拍数の信頼性が低いと判断して、脈拍数の信頼度を低減する。
そして、当該外乱要因は体表面の動きであり、低減手段は、動画における体表面の動きの周波数領域における動きピークが、脈拍数ピークと所定量以上近い場合に信頼度を低減する。
これは、測定領域22以外の部分、即ち、図3(d)の斜線で示した測定領域22の背景領域のQ値を平均するものであり、後に光外乱を評価する際に使用するものである。
顔を照らす光の状態の変化は、脈拍による変化を含まない場合の変化を知る必要があるが、それは、顔の背景である測定領域22以外の領域に現れるため、それをconj_Qによって検出するものである。
このように、外乱要因は体表面を照らす光の変動であり、低減手段は、動画における当該光の変動の周波数領域における光ピークが、脈拍数ピークと所定量以上近い場合に信頼度を低減する。
窓期間を経過していない場合(ステップ40;N)、脈拍数検出装置1は、ステップ10に戻り、次の画像に対して同じ処理を行う。
このようにステップ10~40で10秒分の画像が用意されるため、これらをFFTのアルゴリズムにて時間方向に積分することによりこれを周波数領域に変換することができる。
より詳細には、10秒分のorig_Q、disp_Q、conj_QをFFTで変換して、それぞれ脈拍数、動き外乱、光外乱の周波数成分を得ることができる。
窓期間を経過した場合(ステップ40;Y)、脈拍数検出装置1は、orig_Qのピーク周波数(HR)とSN比の計算処理を行う(ステップ50)。
HRは、対象者11の脈拍数を表し、FFTによる脈拍数信号のSN比は、検出した脈拍数の信頼性評価の基礎となる。
次に、脈拍数検出装置1は、disp_QのSN比がMR_SNR_Cより大きく、かつ、disp_Qのピーク周波数(即ち、動き外乱のピーク周波数)がHRに近いか否かを判断する(ステップ60)。
ここで、MR_SNR_Cは、動き外乱のSN比の基準値であり、後述するように、ステップ5の基準設定処理で設定するものである。
一方、ステップ60の条件が満たされない場合(ステップ60;N)、または、ステップ65の後、脈拍数検出装置1は、conj_Qのピーク周波数とSN比の計算処理を行う(ステップ70)。これは、光外乱を検出する処理である。
ここで、LR_SNR_Cは、光外乱のSN比の基準値であり、後述するように、ステップ5の基準設定処理で設定するものである。
一方、ステップ75の条件が満たされない場合(ステップ75;N)、または、ステップ80の後、脈拍数検出装置1は、アンカー処理によって信頼度に基づく脈拍数の表示処理を行う(ステップ85)。
図5は、基準設定処理(図2のステップ5)を説明するためのフローチャートである。
まず、脈拍数検出装置1は、脈拍数表示基準1(HR_SNR_C1)をRAM4に記憶することにより設定する(ステップ105)。
このように、脈拍数検出装置1は、脈拍数の信頼度を取得する信頼度取得手段と、当該信頼度が所定の信頼基準以上である場合に、当該脈拍数を出力する出力手段と、を備えている。
これは、信頼度を評価するための第2の基準であり、HR_SNR_C1より小さい値となっている。
これは、脈拍数が急激に変化することはないことを利用して若干信頼度が劣る場合を救済するためのものであり、これによって脈拍数検出装置1は、脈拍数の有効な検出期間を増やすことができる。
ここで、脈拍数の変化は、今回検出した脈拍数と直近の脈拍数との差であり、出力手段は、当該差が所定以下(後述のアンカー基準以下)の場合に脈拍数が適正範囲にあるとして出力する。
本実施の形態では、δHRを5bpmに設定し、HRの±5bpmの範囲で外乱の有無を判断する。
例えば、脈拍数検出装置1は、動き外乱や光外乱のピークがHRの±5bpmの範囲にあれば、これら外乱要因自身のSN比に関する条件(ステップ60、75)が満たされることを条件に、これら外乱があると判断する。
これは、ステップ60、75で使用する外乱要因自身のSN比の基準である。
アンカー脈拍数は、直近の過去の脈拍数を入れておく変数であり、アンカー基準は、検出した脈拍数と直近の脈拍数の近さを判断するための基準である。即ち、脈拍数検出装置1は、今回検出した最新の脈拍数と、直近の過去の脈拍数の差がアンカー基準以下である場合、最新の脈拍数が適正範囲にあると判断する。
まず、脈拍数検出装置1は、RAM4に記憶した画像20の色空間をRGBからYIQに変換し、変換後のQ値による画像20をRAM4に記憶する(ステップ150)。以降の処理では、Q値による画像20を使用する。このようにQ値の画像20を作成したのは、Q値が脈拍数の検出に適しているからである。
次に、脈拍数検出装置1は、測定領域22の画素のQ値を平均することにより、その平均値(orig_Q)を計算し、RAM4に記憶する(ステップ160)。
そして、脈拍数検出装置1は、メインルーチンにリターンする。
まず、脈拍数検出装置1は、RAM4に記憶した画像20において測定領域22を除いた測定領域22以外の部分を特定する(ステップ180)。
そして、脈拍数検出装置1は、特定した測定領域22以外の部分の画素のQ値を平均することにより、その平均値(conj_Q)を計算し、RAM4に記憶する(ステップ185)。
そして、脈拍数検出装置1は、メインルーチンにリターンする。
まず、脈拍数検出装置1は、RAM4に記憶してある10秒間分のorig_Qを読み出してFFTにてフーリエ変換することによりFFT_HRを生成してRAM4に記憶する(ステップ205)。
そこで、脈拍数検出装置1は、FFT_HRの最大ピークの周波数(HR)を特定してRAM4に記憶する(ステップ210)。これが対象者11の脈拍数に対応する。
このように、脈拍数検出装置1は、動画における体表面の画素値(例えば、Q値、赤外線の輝度)の変化に基づいて対象者の脈拍数を取得する脈拍数取得手段を備えており、当該脈拍数取得手段は、動画の周波数領域における脈拍数ピークから脈拍数を取得している。
HR_M1は、HR±5bpmの範囲で1をとり、他の範囲で0をとるデータである。HR_M1は、後述のHR_M2と共に、後にSN比を計算する際に、FFTの波形から脈拍数信号の部分を抜き出すのに使用する。
これは、脈拍数検出装置1行うFFTの周波数領域に脈拍数の2次高調波も現れるため、これのマスクも作成するものである。
HR_Mは、HRを中心とする±5bpmと、HRの2次高調波を中心とする±5bpmの部分で1となり、他の部分で0となるマスクである。
HRN_Mは、HR_Mの1と0を反転したものとなっており、HRを中心とする±5bpmと、HRの2次高調波を中心とする±5bpmの部分で0となり、他の部分で1となる。
脈拍数検出装置1は、この正規化を(FFT_HRn=FFT_HR/FFT_HRの最大値)により計算する。
なお、脈拍数検出装置1は、10秒間の間に蓄積した動画データをFFTにて解析するが、これを1秒ごとに最新のデータに対して繰り返して行う。そのため、脈拍数検出装置1は、1秒ごとにFFT_HRn、HR_M、及びHRN_Mの最新値を時系列的に生成する。
そこで、numや次のdenの計算では、データのばらつきを均すため、これらをi個加算している。
HRN_M(i)は、HR_M(i)を反転したものであるため、denは、HRを中心とする±5bpmの部分と、HRの2次高調波を中心とする±5bpmの部分を除いた部分の信号のパワーに比例した値が得られる。即ち、脈拍数検出装置1は、FFT_HRn(i)から脈拍数信号に対応しない部分を抜き出し、(正規化したため)そのパワーに比例した値を計算している。
そして、脈拍数検出装置1は、メインルーチンにリターンする。
HR_SNRの式は、SN比を表す一般的な式であって、numをdenで除することによりノイズに対する信号の程度を表している。
このように、脈拍数検出装置1の有する信頼度取得手段は、脈拍数のSN比に基づいて信頼度を取得している。
処理の手順は、orig_Qの場合と同様であり、共通する部分の説明は簡略化する。
まず、RAM4に記憶してある10秒間分のdisp_Qを読み出し、これをFFTにてフーリエ変換する。脈拍数検出装置1は、これによってdisp_QのFFT値であるFFT_MRを生成してRAM4に記憶する(ステップ255)。
FFT_MRは、動き外乱の周波数成分であって、脈拍数検出装置1は、FFT_MRの最大ピークの周波数(MR)を特定してRAM4に記憶する(ステップ260)。
次に、脈拍数検出装置1は、最大ピークのハーモニック±5bpmのマスク(MR_M2)を生成してRAM4に記憶する(ステップ270)。
次に、脈拍数検出装置1は、MR_Mの外乱マスク(MRN_M=1-MR_M)を作成してRAM4に記憶する(ステップ280)。
脈拍数検出装置1は、この正規化を(FFT_MRn=FFT_MR/FFT_MRの最大値)により計算する。
次に、脈拍数検出装置1は、同様にして、RAM4に記憶したFFT_MRnを図9に示したdenの式に代入してdenを計算し、その結果をRAM4に記憶する(ステップ295)。
次に、脈拍数検出装置1は、RAM4に記憶したnumとdenを図9に示したMR_SNRの式に代入して動き外乱に基づくMR_SNRを生成し、RAM4に記憶する(ステップ300)。
そして、脈拍数検出装置1は、メインルーチンにリターンする。
このMR_SNRは、図4のステップ60で、disp_QのSN比として使用されるものである。
脈拍数検出装置1は、動き外乱フラグを1に設定することにより、動き外乱フラグを立てる(ステップ305)。
なお、脈拍数検出装置1は、RAM4に動き外乱フラグを記憶しており、動き外乱がない場合は、これを0に設定し、動き外乱がある場合は、これを1に設定して動き外乱フラグを立てる。
次に、脈拍数検出装置1は、表示部5(図1)には、「注意:動き外乱」などと、動き外乱が発生している旨の注意表示を行う(ステップ310)。
そして、脈拍数検出装置1は、メインルーチンにリターンする。
このように、動き外乱がある場合、脈拍数の信頼性が低いため、脈拍数検出装置1は、信頼度をHR_SNRからHR_SNR_C2よりも1だけ小さい値に低減し、後のアンカー処理で、脈拍数を表示しないようにする。
処理の手順は、orig_Qの場合と同様であり、共通する部分の説明は簡略化する。
まず、RAM4に記憶してある10秒間分のconj_Qを読み出し、これをFFTにてフーリエ変換する。脈拍数検出装置1は、これによってconj_QのFFT値であるFFT_LRを生成してRAM4に記憶する(ステップ350)。
FFT_LRは、光外乱の周波数成分であって、脈拍数検出装置1は、FFT_LRの最大ピークの周波数(LR)を特定してRAM4に記憶する(ステップ355)。
次に、脈拍数検出装置1は、最大ピークのハーモニック±5bpmのマスク(LR_M2)を生成してRAM4に記憶する(ステップ365)。
次に、脈拍数検出装置1は、LR_Mの外乱マスク(LRN_M=1-LR_M)を作成してRAM4に記憶する(ステップ375)。
脈拍数検出装置1は、この正規化を(FFT_LRn=FFT_LR/FFT_LRの最大値)により計算する。
次に、脈拍数検出装置1は、同様にして、RAM4に記憶したFFT_LRnを図11に示したdenの式に代入してdenを計算し、その結果をRAM4に記憶する(ステップ390)。
次に、脈拍数検出装置1は、RAM4に記憶したnumとdenを図11に示したLR_SNRの式に代入して光外乱に基づくLR_SNRを生成し、RAM4に記憶する(ステップ395)。
そして、脈拍数検出装置1は、メインルーチンにリターンする。
このLR_SNRは、図4のステップ75で、conj_QのSN比として使用されるものである。
脈拍数検出装置1は、RAM4に記憶している光外乱フラグを1に設定することにより、光外乱フラグを立てる(ステップ405)。
なお、脈拍数検出装置1は、RAM4に光外乱フラグを記憶しており、光外乱がない場合は、これを0に設定し、光外乱がある場合は、これを1に設定して光外乱フラグを立てる。
次に、脈拍数検出装置1は、表示部5(図1)には、「注意:光外乱」などと、光外乱が発生している旨の注意表示を行う(ステップ410)。
そして、脈拍数検出装置1は、メインルーチンにリターンする。
このように、光外乱がある場合、脈拍数の信頼性が低いため、脈拍数検出装置1は、信頼度をHR_SNRからHR_SNR_C2よりも1だけ小さい値に低減し、後のアンカー処理で、脈拍数を表示しないようにする。
アンカー処理は、脈拍数の信頼度に応じて脈拍数の表示を制御する処理である。
まず、脈拍数検出装置1は、RAM4からHR_SNR(信頼度)とHR_SNR_C1(脈拍数表示基準1)を読み出して大小関係を比較する(ステップ450)。
HR_SNR(信頼度)がHR_SNR_C1(脈拍数表示基準1)以上である場合(ステップ450;Y)、脈拍数検出装置1は、HR_ANC(アンカー脈拍数)にHR(検出した脈拍数)を代入してRAM4に記憶する(ステップ455)。これは、HR_ANCに直近の過去の脈拍数を記憶する処理である。
そして、脈拍数検出装置1は、表示部5にHR(脈拍数)を表示し(ステップ460)、メインルーチンにリターンする。
一方、少なくとも一方の条件を満たしていない場合(ステップ465;N)、脈拍数検出装置1は、注意表示処理を行って(ステップ475)、メインルーチンにリターンする。
脈拍数検出装置1は、RAM4に記憶してある動き外乱フラグが立っているか否かを判断する(ステップ500)。
動き外乱フラグが立っている場合(ステップ500;N)、脈拍数検出装置1は、アンカー処理にリターンする。
光外乱フラグが立っている場合(ステップ505;N)、脈拍数検出装置1は、アンカー処理にリターンする。
一方、光外乱フラグが立っていない場合(ステップ505;Y)、脈拍数検出装置1は、表示部5に「注意:弱い脈波信号」と表示して(ステップ510)、アンカー処理にリターンする。
(1)検出した脈拍数の信頼度を数量的に評価することができる。
(2)外乱の特徴を推定することにより、動き外乱や光外乱が脈拍と間違えられるのを抑制することができる。
(3)動き外乱や光外乱を脈拍数と間違えることを抑制できるため、検出した脈拍数の信頼性が高まる。
(4)検出した脈拍数の信頼度がある程度低い場合であっても、脈拍数は急には変わらないという人体の特性に基づいて、直近の過去(1秒前)の脈拍数と比較することにより、その信頼度を高めることができ、これによって脈拍数を検出できる割合を増やすことができる。
(5)脈拍数の信頼度の表示に基づいて、脈拍数を検出できる期間を決めることができる。
また、本実施の形態では、信頼度に基づいて脈拍数の表示・非表示を制御したが、脈拍数に信頼度を併記して全数出力したり、あるいは、出力先を、例えば、車両の制御系とするなど各種の出力形態が可能である。
(第1の構成)対象者の体表面を撮影した動画を取得する動画取得手段と、前記取得した動画における前記体表面の画素値の変化に基づいて前記対象者の脈拍数を取得する脈拍数取得手段と、前記取得した脈拍数の信頼度を取得する信頼度取得手段と、前記取得した信頼度が所定の信頼基準以上である場合、及び、前記信頼基準未満で前記取得した脈拍数の変化が所定の適正範囲にある場合に前記取得した脈拍数を出力する出力手段と、を具備したことを特徴とする脈拍数検出装置。
(第2の構成)前記脈拍数の変化は、前記取得した脈拍数と直近の脈拍数との差であり、前記出力手段は、当該差が所定以下の場合に前記取得した脈拍数が適正範囲にあるとして前記取得した脈拍数を出力することを特徴とする第1の構成の脈拍数検出装置。
(第3の構成)前記脈拍数取得手段は、前記取得した動画の周波数領域における脈拍数ピークから前記脈拍数を取得し、前記信頼度取得手段は、前記取得した脈拍数のSN比に基づいて前記信頼度を取得することを特徴とする第1の構成、又は第2の構成の脈拍数検出装置。
(第4の構成)前記取得した脈拍数の精度を低下させる外乱要因の周波数領域における外乱ピークが、前記取得した脈拍数ピークと所定量以上近い場合に前記信頼度を低減する低減手段を具備したことを特徴とする第3の構成の脈拍数検出装置。
(第5の構成)前記外乱要因は前記体表面の動きであり、前記低減手段は、前記動画における前記体表面の動きの周波数領域における動きピークが、前記取得した脈拍数ピークと所定量以上近い場合に前記信頼度を低減することを特徴とする第4の構成の脈拍数検出装置。
(第6の構成)前記外乱要因は前記体表面を照らす光の変動であり、前記低減手段は、前記動画における前記光の変動の周波数領域における光ピークが、前記取得した脈拍数ピークと所定量以上近い場合に前記信頼度を低減することを特徴とする第4の構成、又は第5の構成の脈拍数検出装置。
(第7の構成)対象者の体表面を撮影した動画を取得する動画取得機能と、前記取得した動画における前記体表面の画素値の変化に基づいて前記対象者の脈拍数を取得する脈拍数取得機能と、前記取得した脈拍数の信頼度を取得する信頼度取得機能と、前記取得した信頼度が所定の信頼基準以上である場合、及び、前記信頼基準未満で前記取得した脈拍数の変化が所定の適正範囲にある場合に前記取得した脈拍数を出力する出力機能と、をコンピュータで実現する脈拍数検出プログラム。
2 CPU
3 ROM
4 RAM
5 表示部
6 入力部
7 出力部
8 カメラ
10 記憶部
11 対象者
20 画像
22 測定領域
24 中心
Claims (3)
- 対象者の体表面を撮影した動画を取得する動画取得手段と、
前記取得した動画における前記体表面の画素値の変化に基づいて、前記取得した動画の周波数領域における脈拍数ピークから前記対象者の脈拍数を取得する脈拍数取得手段と、
前記取得した脈拍数のSN比に基づいて、前記取得した脈拍数の信頼度を取得する信頼度取得手段と、
前記体表面を照らす光の変動を前記取得した脈拍数の精度を低下させる外乱要因とし、前記動画における前記光の変動の周波数領域における光ピークが、前記取得した脈拍数ピークと所定量以上近い場合に、前記信頼度取得手段が取得する前記信頼度を低減する低減手段と、
前記信頼度取得手段が取得した信頼度が所定の信頼基準以上である場合に、前記取得した脈拍数を出力する出力手段と、
を具備したことを特徴とする脈拍数検出装置。 - 前記外乱要因は前記体表面の動きであり、前記低減手段は、前記動画における前記体表面の動きの周波数領域における動きピークが、前記取得した脈拍数ピークと所定量以上近い場合に、前記信頼度取得手段が取得する前記信頼度を低減する
ことを特徴とする請求項1に記載の脈拍数検出装置。 - 対象者の体表面を撮影した動画を取得する動画取得機能と、
前記取得した動画における前記体表面の画素値の変化に基づいて、前記取得した動画の周波数領域における脈拍数ピークから前記対象者の脈拍数を取得する脈拍数取得機能と、
前記取得した脈拍数のSN比に基づいて、前記取得した脈拍数の信頼度を取得する信頼度取得機能と、
前記体表面を照らす光の変動を前記取得した脈拍数の精度を低下させる外乱要因とし、前記動画における前記光の変動の周波数領域における光ピークが、前記取得した脈拍数ピークと所定量以上近い場合に、前記信頼度取得機能が取得する前記信頼度を低減する低減機能と、
前記信頼度取得機能が取得した信頼度が所定の信頼基準以上である場合に、前記取得した脈拍数を出力する出力機能と、
をコンピュータで実現する脈拍数検出プログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019066378A JP7174358B2 (ja) | 2019-03-29 | 2019-03-29 | 脈拍数検出装置、及び脈拍数検出プログラム |
PCT/JP2020/014359 WO2020203911A1 (ja) | 2019-03-29 | 2020-03-27 | 脈拍数検出装置、及び脈拍数検出プログラム |
CN202080026532.6A CN113660903A (zh) | 2019-03-29 | 2020-03-27 | 脉搏数检测装置以及脉搏数检测程序 |
US17/599,945 US20220192526A1 (en) | 2019-03-29 | 2020-03-27 | Pulse rate detection device and pulse rate detection program |
EP20782721.3A EP3949841A4 (en) | 2019-03-29 | 2020-03-27 | PULSE RATE DETECTION DEVICE AND PULSE RATE DETECTION PROGRAM |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019066378A JP7174358B2 (ja) | 2019-03-29 | 2019-03-29 | 脈拍数検出装置、及び脈拍数検出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020162869A JP2020162869A (ja) | 2020-10-08 |
JP7174358B2 true JP7174358B2 (ja) | 2022-11-17 |
Family
ID=72668894
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019066378A Active JP7174358B2 (ja) | 2019-03-29 | 2019-03-29 | 脈拍数検出装置、及び脈拍数検出プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220192526A1 (ja) |
EP (1) | EP3949841A4 (ja) |
JP (1) | JP7174358B2 (ja) |
CN (1) | CN113660903A (ja) |
WO (1) | WO2020203911A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013013644A (ja) | 2011-07-06 | 2013-01-24 | Seiko Epson Corp | 生体情報処理装置及び生体情報処理方法 |
US20130197382A1 (en) | 2012-01-26 | 2013-08-01 | Te-Chung Isaac Yang | Physiological Parameter Estimation Using Phase-Locked Loop |
JP2014236775A (ja) | 2013-06-06 | 2014-12-18 | セイコーエプソン株式会社 | 生体情報測定装置、および生体情報測定方法 |
JP2017093760A (ja) | 2015-11-22 | 2017-06-01 | 国立大学法人埼玉大学 | 心拍に連動する周期的変動の計測装置及び計測方法 |
JP2019042145A (ja) | 2017-09-01 | 2019-03-22 | 国立大学法人千葉大学 | 心拍変動の推定方法、心拍変動の推定プログラム及び心拍変動推定システム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10052038B2 (en) * | 2013-03-14 | 2018-08-21 | Koninklijke Philips N.V. | Device and method for determining vital signs of a subject |
US20150302158A1 (en) * | 2014-04-21 | 2015-10-22 | Microsoft Corporation | Video-based pulse measurement |
FR3023699B1 (fr) * | 2014-07-21 | 2016-09-02 | Withings | Procede et dispositif de surveillance d'un bebe et d'interaction |
US10667723B2 (en) * | 2016-02-19 | 2020-06-02 | Covidien Lp | Systems and methods for video-based monitoring of vital signs |
-
2019
- 2019-03-29 JP JP2019066378A patent/JP7174358B2/ja active Active
-
2020
- 2020-03-27 CN CN202080026532.6A patent/CN113660903A/zh active Pending
- 2020-03-27 US US17/599,945 patent/US20220192526A1/en active Pending
- 2020-03-27 WO PCT/JP2020/014359 patent/WO2020203911A1/ja unknown
- 2020-03-27 EP EP20782721.3A patent/EP3949841A4/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013013644A (ja) | 2011-07-06 | 2013-01-24 | Seiko Epson Corp | 生体情報処理装置及び生体情報処理方法 |
US20130197382A1 (en) | 2012-01-26 | 2013-08-01 | Te-Chung Isaac Yang | Physiological Parameter Estimation Using Phase-Locked Loop |
JP2014236775A (ja) | 2013-06-06 | 2014-12-18 | セイコーエプソン株式会社 | 生体情報測定装置、および生体情報測定方法 |
JP2017093760A (ja) | 2015-11-22 | 2017-06-01 | 国立大学法人埼玉大学 | 心拍に連動する周期的変動の計測装置及び計測方法 |
JP2019042145A (ja) | 2017-09-01 | 2019-03-22 | 国立大学法人千葉大学 | 心拍変動の推定方法、心拍変動の推定プログラム及び心拍変動推定システム |
Also Published As
Publication number | Publication date |
---|---|
EP3949841A4 (en) | 2022-05-25 |
JP2020162869A (ja) | 2020-10-08 |
WO2020203911A1 (ja) | 2020-10-08 |
US20220192526A1 (en) | 2022-06-23 |
EP3949841A1 (en) | 2022-02-09 |
CN113660903A (zh) | 2021-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7680302B2 (en) | Method and apparatus for detection of drowsiness and quantitative control of biological processes | |
JP5255063B2 (ja) | 眠気予兆検出装置 | |
JP5923180B2 (ja) | 生体情報計測装置及びそれを用いた入力装置 | |
JP4845886B2 (ja) | 個人の警戒レベルの指示を生成するための方法及び装置 | |
JP7252232B2 (ja) | 移動中の対象者における乗り物酔いを軽減するためのシステム及び該システムの作動方法、並びにコンピュータプログラム | |
JP2008246013A (ja) | 眠気検知装置 | |
WO2016193030A1 (en) | Sleep monitoring method and system | |
WO2020050357A1 (ja) | 脈波検出装置、車両装置、及び脈波検出プログラム | |
JP2007293587A (ja) | 覚醒状態の変化を早期発見する方法および検知装置 | |
JP7174358B2 (ja) | 脈拍数検出装置、及び脈拍数検出プログラム | |
JP7209947B2 (ja) | 脈拍数検出装置、及び脈拍数検出プログラム | |
JPH0596971A (ja) | 居眠り運転防止装置 | |
JP2019103664A (ja) | 状態推定装置とその方法およびプログラム | |
WO2020203913A1 (ja) | 脈拍数検出装置、及び脈拍数検出プログラム | |
Touryan et al. | Translation of EEG-based performance prediction models to rapid serial visual presentation tasks | |
JP2018130342A (ja) | 覚醒度推定装置、覚醒度推定方法及び覚醒度推定システム | |
JP2014048947A (ja) | 画像監視装置 | |
JP2022138812A (ja) | 車両の運転者状態判定装置 | |
WO2020203914A1 (ja) | 脈波検出装置、及び脈波検出プログラム | |
US20220117529A1 (en) | System and method for determining an eye movement | |
JP3158494U (ja) | 携帯通信端末 | |
El Moucary et al. | Commodious Control Apparatus for Impaired People | |
Leicht et al. | Measurement of nose tip temperature using IR imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20210728 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220829 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221007 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221020 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7174358 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |