JP6384365B2 - 脈拍計測装置及びその制御方法 - Google Patents
脈拍計測装置及びその制御方法 Download PDFInfo
- Publication number
- JP6384365B2 JP6384365B2 JP2015043897A JP2015043897A JP6384365B2 JP 6384365 B2 JP6384365 B2 JP 6384365B2 JP 2015043897 A JP2015043897 A JP 2015043897A JP 2015043897 A JP2015043897 A JP 2015043897A JP 6384365 B2 JP6384365 B2 JP 6384365B2
- Authority
- JP
- Japan
- Prior art keywords
- pulse
- image data
- feature amount
- analysis
- measuring device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 32
- 238000003384 imaging method Methods 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 36
- 238000009532 heart rate measurement Methods 0.000 claims description 24
- 238000004458 analytical method Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 235000019557 luminance Nutrition 0.000 description 40
- 238000001514 detection method Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 5
- 230000010349 pulsation Effects 0.000 description 5
- 230000017531 blood circulation Effects 0.000 description 4
- 210000000746 body region Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 210000001367 artery Anatomy 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 206010003119 arrhythmia Diseases 0.000 description 1
- 230000006793 arrhythmia Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 210000000624 ear auricle Anatomy 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000005259 peripheral blood Anatomy 0.000 description 1
- 239000011886 peripheral blood Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
Description
本発明は、脈拍計測装置及びその制御方法に関する。
生体の脈拍を計測する方法として、生体に計測器具を接触させて計測する方法がある。例えば心電図を用いて計測する方法(心電図法)や、指や耳たぶなどの末梢血管に赤外線を照射し、その反射光が血流及び吸光特性によって周期的に変動する光学的な変化から心拍とほぼ等価な脈拍を計測する方法(光電脈波法)がある。
生体に計測器具が接触しない状態で脈拍を計測する方法として、生体を撮影して得られた画像を用いて画像処理により脈拍を取得する方法がある。例えば、画像中の生体領域を抽出して、生体領域の画素値の時系列変化から脈拍を検出する方法がある。特許文献1には、生体領域の画像を複数のブロックに分割し、ブロック毎に当該ブロックに含まれる画素が持つ画素値の代表値を算出し、フレーム間で互いに対応するブロックの代表値の差が閾値以下であるブロックを抽出し、抽出されたブロックに含まれる画素の画素値から生体の脈拍を検出する方法が開示されている。また非特許文献1には、動画像の各フレームをウェーブレット変換して高域画像を取得し、高域画像を画素単位にフーリエ変換することによって空間位相成分を取り出し、空間位相の時系列データを生成することでフレーム間の微動量を強調した画像を生成する方法が開示されている。
N.Wadhwa, M.Rubinstein, F.Durand, and W.T.Freeman. Phase−based video motion processing. ACM Trans. Graph., 32(4):80:1−80:10, 2013.
特許文献1の技術では、例えば頬や額など画素値の空間的変化が小さなブロックを抽出し、一定期間、例えば30秒間や1分間の画素値の時系列データの信号を周波数成分へ変換する。周波数成分への変換にはフーリエ変換等が用いられる。変換結果に基づき脈拍の周波数帯におけるピークを検出することにより、脈拍を検出することができる。しかしながら、フーリエ変換は計算量が多く、特に画像解析のように2次元データの信号に対するフーリエ変換は計算に時間がかかるという課題があった。また、非特許文献1の技術についても同様、フレーム毎に2次元のフーリエ変換が必要であり、計算量が多く処理時間がかかるという課題がある。
そこで本発明は、画像解析に基づき脈拍を計測する脈拍計測装置において、処理速度を向上させることを目的とする。
本発明の第1の態様は、生体を撮影して得られた時系列の複数の撮影画像データを取得する画像取得部と、
前記複数の撮影画像データの各々に対し、高解像度成分と低解像度成分に分解する多重解像度解析を複数回行って、前記複数の撮影画像データに対応する複数の変換画像データを生成する画像処理部と、
前記複数の変換画像データの各々における所定の領域の輝度を示す特徴量を算出し、前記特徴量の時系列データを解析して特徴量の変動周期を算出し、前記特徴量の変動周期に基づき前記生体の脈拍を算出する脈拍計測部と、
を有する脈拍計測装置である。
前記複数の撮影画像データの各々に対し、高解像度成分と低解像度成分に分解する多重解像度解析を複数回行って、前記複数の撮影画像データに対応する複数の変換画像データを生成する画像処理部と、
前記複数の変換画像データの各々における所定の領域の輝度を示す特徴量を算出し、前記特徴量の時系列データを解析して特徴量の変動周期を算出し、前記特徴量の変動周期に基づき前記生体の脈拍を算出する脈拍計測部と、
を有する脈拍計測装置である。
本発明の第2の態様は、生体を撮影して得られた時系列の複数の撮影画像データを取得する取得工程と、
前記複数の撮影画像データの各々に対し、高解像度成分と低解像度成分に分解する多重解像度解析を複数回行って、前記複数の撮影画像データに対応する複数の変換画像データを生成する変換工程と、
前記複数の変換画像データの各々における所定の領域の輝度を示す特徴量を算出し、前記特徴量の時系列データを解析して特徴量の変動周期を算出し、前記特徴量の変動周期に基づき前記生体の脈拍を算出する工程と、
を有する脈拍計測装置の制御方法である。
前記複数の撮影画像データの各々に対し、高解像度成分と低解像度成分に分解する多重解像度解析を複数回行って、前記複数の撮影画像データに対応する複数の変換画像データを生成する変換工程と、
前記複数の変換画像データの各々における所定の領域の輝度を示す特徴量を算出し、前記特徴量の時系列データを解析して特徴量の変動周期を算出し、前記特徴量の変動周期に基づき前記生体の脈拍を算出する工程と、
を有する脈拍計測装置の制御方法である。
本発明によれば、画像解析に基づき脈拍を計測する脈拍計測装置において、処理速度を向上させることが可能になる。
図面を参照して本発明に係る脈拍計測装置及びその制御方法について説明する。なお、この実施例は開示の技術を限定するものではない。そして、実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
(実施例1)
図1は、本発明の実施例1に係る脈拍計測装置6の概略構成を示す概念図である。実施例1に係る脈拍計測装置6は、太陽光や室内光などの一般の環境光の下で被験者に計測器具を接触させずに、被験者の生体が撮影された画像を用いて被験者の脈拍、すなわち心臓の拍動に伴う血液の体積の変動を測定する脈拍計測処理を行う。
図1は、本発明の実施例1に係る脈拍計測装置6の概略構成を示す概念図である。実施例1に係る脈拍計測装置6は、太陽光や室内光などの一般の環境光の下で被験者に計測器具を接触させずに、被験者の生体が撮影された画像を用いて被験者の脈拍、すなわち心臓の拍動に伴う血液の体積の変動を測定する脈拍計測処理を行う。
実施例1では、脈拍計測装置6は、図1に示すように、撮像部1、画像蓄積部2、画像処理部3、脈拍計測部4、信号出力部5を有する。
脈拍計測装置6は、これら各ブロックの機能又は処理をコンピュータに実行させるプログラム又はソフトウェアをコンピュータにインストールさせることによって実装できる。そのようなプログラム、当該プログラムが記録された記録媒体、当該プログラムがインストールされたコンピュータは本発明に含まれる。脈拍計測装置6は、図1に示す各ブロックの機能を専用のハードウェアとして実装することもできる。或いは、コンピュータに各ブロックの機能を追加する機能拡張ボードとして実装することもできる。上記のプログラ
ムはパッケージソフトウェアやオンラインソフトウェアとして提供されることができる。スマートフォン、携帯電話機、PHS(Personal Handyphone System)などの移動体通信端末や、移動体通信網に接続する能力を持たないコンピュータ、デジタルカメラ、タブレット端末、スレート端末を含む携帯端末装置に、上記のプログラムをインストールさせることにより、これらの端末を脈拍計測装置6として機能させることができる。脈拍計測装置6は、図1に示した機能部以外にも一般にコンピュータが有する各種の機能部を有することができる。例えば、キーボード、マウス、ディスプレイなどの入出力デバイス、加速度センサや角速度センサなどの姿勢検出デバイス、アンテナ、移動体通信網に接続する無線通信部、GPS(Global Positioning System)受信機などの通信用デバイスをさらに
有していてもよい。
ムはパッケージソフトウェアやオンラインソフトウェアとして提供されることができる。スマートフォン、携帯電話機、PHS(Personal Handyphone System)などの移動体通信端末や、移動体通信網に接続する能力を持たないコンピュータ、デジタルカメラ、タブレット端末、スレート端末を含む携帯端末装置に、上記のプログラムをインストールさせることにより、これらの端末を脈拍計測装置6として機能させることができる。脈拍計測装置6は、図1に示した機能部以外にも一般にコンピュータが有する各種の機能部を有することができる。例えば、キーボード、マウス、ディスプレイなどの入出力デバイス、加速度センサや角速度センサなどの姿勢検出デバイス、アンテナ、移動体通信網に接続する無線通信部、GPS(Global Positioning System)受信機などの通信用デバイスをさらに
有していてもよい。
撮像部1は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を搭載する一般的なカメラである。例えば、撮像部1には、R(red)、G(green)、B(blue)など3種以上の受光素子を搭載することができる。撮像部1は、撮像により得られた画像データ(撮影画像データ)を画像蓄積部2へ出力する。なお、ここでは撮像部1が脈拍計測装置6に備わる構成を例示したが、有線又は無線の通信線を介して外部の撮像装置が接続される構成でも良い。また、脈拍計測装置6が、撮影画像データを記憶する記憶装置を備え、記憶装置から撮影画像データを取得できる場合や、ネットワークや可搬記憶媒体から撮影画像データを取得できる場合には、脈拍計測装置6が撮像部1を有しない構成でも良い。また、撮像部1は赤外線カメラであっても良い。この場合、生体内の血流を撮影することができ、また環境光の外乱を受けにくい撮影が可能である。
実施例1では、撮像部1は、横512ピクセル×縦512ピクセルの矩形の画像を撮像するモノクロCCDカメラであるとする。撮像部1は、8ビット(画素値0〜255)の撮影画像データをフレームレート6枚/秒で出力できるものとする。1回の撮像で出力する撮影画像データのフレーム数は64枚とする。すなわち、撮像部1は、約10.7秒間、被写体を撮像して得られた撮影画像データを画像蓄積部2へ出力する。なお、画像サイズ、ビット数、フレームレート等の仕様は一例である。実施例1では、人の脈拍を計測する場合を例に説明するので、人の脈拍(60〜80回/分)を十分に捉えられる程度のフレームレートを設定した。
画像蓄積部(画像取得部)2は、撮像部1から撮影画像データを取得し、保持するフレームメモリである。画像蓄積部2はRAM(random access memory)やHDD(hard disk drive)などである。
実施例1では、画像蓄積部2は、フレームサイズ横512ピクセル×縦512ピクセルの撮影画像データを最大1800フレーム保持できるよう構成されているものとする。
実施例1では、画像蓄積部2は、フレームサイズ横512ピクセル×縦512ピクセルの撮影画像データを最大1800フレーム保持できるよう構成されているものとする。
画像処理部3は、画像蓄積部2から撮影画像データを取得し、撮影画像データに対し多重解像度解析を行って高解像度成分の画像と低解像度成分の画像を生成し、脈拍計測部4へ出力する。画像処理部3は複数回の多重解像度解析を繰り返し実行する。
実施例1では、画像処理部3は、画像蓄積部2から取得した撮影画像データに対しHaar基底によるウェーブレット変換を2回行うものとする。基底の選び方やウェーブレット変換の回数は一例である。ウェーブレット変換の繰り返しの回数は複数回であれば2回に限られない。
実施例1では、画像処理部3は、画像蓄積部2から取得した撮影画像データに対しHaar基底によるウェーブレット変換を2回行うものとする。基底の選び方やウェーブレット変換の回数は一例である。ウェーブレット変換の繰り返しの回数は複数回であれば2回に限られない。
画像処理部3による撮影画像データに対するウェーブレット変換について図3を用いて説明する。
図3(A)は画像蓄積部2から入力される撮影画像データの一例である。この撮影画像データは、撮像部1のモノクロCCDカメラにより被験者の皮膚を撮像して得られた64
枚の撮影画像データのうちの1枚であり、上述したように横512ピクセル×縦512ピクセルの画像データである。
図3(A)は画像蓄積部2から入力される撮影画像データの一例である。この撮影画像データは、撮像部1のモノクロCCDカメラにより被験者の皮膚を撮像して得られた64
枚の撮影画像データのうちの1枚であり、上述したように横512ピクセル×縦512ピクセルの画像データである。
図3(B)は、図3(A)の撮影画像データに対し画像処理部3が1回目のウェーブレット変換を行って生成した画像データ(第1変換画像データ)である。画像処理部3は、1回目のウェーブレット変換で撮影画像データをLL,HL,LH,HH成分に分解する。図3(B)において、領域(X1,Y1)がLL成分、領域(X2,Y1)がHL成分、領域(X1,Y2)がLH成分、領域(X2,Y2)がHH成分を表す。第1変換画像データは、横256ピクセル×縦256ピクセルの領域4個からなる。
図3(C)は、図3(B)の第1変換画像データに対し画像処理部3が2回目のウェーブレット変換を行って生成した画像データ(第2変換画像データ)である。2回目のウェーブレット変換では、画像処理部3は、図3(B)の第1変換画像データの各成分をさらにLL,HL,LH,HH成分に分解する。その結果、図3(C)に示すように、領域(X11,Y11)〜領域(X14,Y14)の全部で16個の領域からなる第2変換画像データが算出される。第2変換画像データは、横128ピクセル×縦128ピクセルの領域16個からなる。画像処理部3は、画像蓄積部2から取得した時系列の複数の撮影画像データの各々に対し以上のような多重解像度解析を行って時系列の複数の変換画像データを生成し、脈拍計測部4へ出力する。ここでは、画像処理部3は、64枚の時系列の撮影画像データの各々に対し2回のウェーブレット変換を行って64枚の時系列の第2変換画像データを生成し、脈拍計測部4へ出力する。
なお、ここでは、第1変換画像データの4個の領域の各々についてさらにウェーブレット変換を行って第2変換画像データの16個の領域のデータを生成する例を説明したが、後述するように、実施例1では、第2変換画像データのうち領域(X14,Y12)の画素値を用いて脈拍を算出する。そのため、第1変換画像データのうち領域(X2,Y1)のみ2回目のウェーブレット変換を行うようにしても良い。
脈拍計測部4は、画像処理部3から時系列の複数の変換画像データを取得し、複数の変換画像データの各々における特定領域の輝度を示す特徴量を算出し、この特徴量の時系列データに基づいて被験者の脈拍の情報を生成する。具体的には、脈拍計測部4は、特徴量の時系列データを解析し、輝度変化における周期性に基づき被験者の脈拍の情報を生成する。
実施例1では、特定領域は、図3(D)の斜線部に示すように、第2変換画像データにおける領域(X14,Y12)内の中央部にある横20ピクセル×縦20ピクセルの領域(輝度検出領域)とする。脈拍計測部4は、時系列の64枚の第2変換画像データの各々について、輝度検出領域の画素の輝度の平均値を算出し、その時間変化を解析する。
実施例1では、特定領域は、図3(D)の斜線部に示すように、第2変換画像データにおける領域(X14,Y12)内の中央部にある横20ピクセル×縦20ピクセルの領域(輝度検出領域)とする。脈拍計測部4は、時系列の64枚の第2変換画像データの各々について、輝度検出領域の画素の輝度の平均値を算出し、その時間変化を解析する。
図4は、64枚の第2変換画像データの各々の輝度検出領域の画素の輝度の平均値を時系列に沿ってプロットしたグラフである。図示するように、輝度の平均値は周期的に変化しており、これが脈拍の周期を表している。脈拍計測部4は、この輝度の平均値の変動周期を求める。例えば、図4の例では、脈拍計測部4は、輝度の平均値が33.2以上におけるピークと、輝度の平均値が32.1以下におけるアンダーピークと、を検出し、ピークとアンダーピークの組み合わせに基づき変動周期を算出する。そして、脈拍計測部4は、輝度の平均値の変動周期から脈拍数を算出する。脈拍数とは単位時間当たりの脈動の回数である。図4の例では、ピークが8個、アンダーピークが8個あるので、画像取得期間の10.7秒間に8回脈拍があったことになる。従って、脈拍計測部4は、被験者の脈拍数は45回/分と算出する。脈拍計測部4は、脈拍の情報として、脈拍数以外にも、振幅(脈動の強さ)、脈拍のグラフ(図4に示すようなグラフ)、不整脈の有無などを生成してもよい。
なお、ピークとアンダーピークを求めるための輝度平均値の閾値は、予め定められた固定値でも良いし、時系列の輝度のデータに対し適応的に設定しても良い。例えば、時系列の輝度のデータの中央値±Δνを閾値としても良い。また、例えばフーリエ解析を用いて変動周期を求めても良い。この場合、1次元データに対するフーリエ解析であるため、計算量の増大の影響は少なく、より精度良く変動周期を求めることができる。
また、上記の説明では、輝度検出領域は第2変換画像データにおける領域(X14,Y12)内に設定するとしたが、第2変換画像データにおける領域(X14,Y14)内に設定しても良いし、領域(X12,Y14)内に設定しても良い。これらの領域のうち、より輝度の変化が明瞭に現れている領域に輝度検出領域を設定するようにしても良い。これらの領域のデータは、元の撮影画像データにおける輝度変化を強調したデータであり、脈動に伴う被験者の体表の反射光の変化、すなわち輝度勾配の空間分布の変化が強調されたデータである。2回のウェーブレット変換により得られた各領域の画像は、輝度の空間分布の変化率(2階微分)に相当する特徴を示す。よって、第2変換画像データにおける輝度検出領域の輝度平均値の時系列変動には、被験者の脈動に対応する特徴が現れる。この時間変動を解析することにより、被験者の脈拍を算出することができる。
この画像データを用いた脈拍計測方法では、フーリエ変換に比べて計算量が少ないウェーブレット変換を用いた画像処理を行っているので、フーリエ変換を用いた脈拍計測方法と比較して大幅に処理速度を向上させることができる。また、上述のように、第2変換画像データの部分領域である領域(X14,Y12)内の輝度に基づき脈拍算出を行う。上記の例ではさらにその部分領域内の部分領域である輝度検出領域内の画素の輝度に基づき脈拍算出を行う。従って、計算コストが低く、軽い処理で画像に基づく脈拍計測を実現できる。また、実施例1の脈拍計測装置6では、一般的なカメラで撮影して得られた一般的な画像データを用いて脈拍計測が可能であるため、特殊なカメラを必要としない。従って、例えばスマートフォンやデジタルカメラ等、一般的な撮像素子を有するデバイスに実施例1の処理を行うプログラムをインストールするだけで、脈拍計測のための専用装置を用いなくても画像に基づく脈拍計測が可能となる。また、計算コストが低く、処理スピードが速いため、計算資源の乏しい装置でも実用的に動作させることが可能である。また、低コストかつ小型に実装することが可能である。
上記の説明では輝度検出領域の輝度の平均値を時系列にプロットしたが、輝度検出領域をある閾値を用いて黒画素と白画素に2値化し、白画素の数をカウントして時系列にプロットする方法も用いることができる。
なお、ウェーブレット変換の回数は、上記のように3回以上であってもよい。ウェーブレット変換の回数は、例えば、撮影画像データの画素数や、撮影画像データにより撮影される空間のスケールに応じて、変換画像データに輝度変化が最も現れやすいウェーブレット変換の回数は変わると考えられる。最適な回数は実験等により求めて脈拍計測装置に記憶させておくようにしても良いし、ユーザが任意に設定できるようにしても良い。また、ウェーブレット変換の回数によって、どの成分の画像データを後段のウェーブレット変換に用いるか変更しても良い。例えば、上述した2回の場合、第1変換画像データのHL/LH/HH成分に対し2回目のウェーブレット変換を行い、得られた第2変換画像データのHL/LH/HH成分を脈拍算出に用いた。3回行う場合、第1変換画像データのLL成分に対し2回目のウェーブレット変換を行い、得られた第2変換画像データのHL/LH/HH成分に対し3回目のウェーブレット変換を行い、得られた第3変換画像データのHL/LH/HH成分を脈拍算出に用いるということが考えられる。4回行う場合、第1変換画像データのLL成分に対し2回目のウェーブレット変換を行い、得られた第2変換画像データのLL成分に対し3回目のウェーブレット変換を行い、得られた第3変換画像
データのHL/LH/HH成分に対し4回目のウェーブレット変換を行い、得られた第4変換画像データのHL/LH/HH成分を脈拍算出に用いるということが考えられる。
データのHL/LH/HH成分に対し4回目のウェーブレット変換を行い、得られた第4変換画像データのHL/LH/HH成分を脈拍算出に用いるということが考えられる。
信号出力部5は、脈拍計測部4が算出した脈拍の情報を外部へ出力する。脈拍の情報は、例えばテキストデータとして出力しても良いし、LCD(Liquid Crystal Display)等の不図示の表示デバイスに数値データ又は数値を表示する画像データとして出力しても良い。また、信号出力部5は、画像蓄積部2から時系列の画像データを取得し、動画像データに再構成して出力しても良い。
図2は、以上説明した実施例1の脈拍計測装置による処理の流れを示すフローチャートである。
処理がスタートすると、ステップS1において、解析フレーム数(N)が設定される。解析フレーム数は、時系列の画像データとして撮像部1から取得するフレーム数であり、上記の例では64である。解析フレーム数は予め定められた固定値でも良いし、不図示の入力装置(キーボードやタッチパネル等)を用いてユーザに設定値を入力させることにより設定されるようにしても良い。
処理がスタートすると、ステップS1において、解析フレーム数(N)が設定される。解析フレーム数は、時系列の画像データとして撮像部1から取得するフレーム数であり、上記の例では64である。解析フレーム数は予め定められた固定値でも良いし、不図示の入力装置(キーボードやタッチパネル等)を用いてユーザに設定値を入力させることにより設定されるようにしても良い。
ステップS2において、撮像部1は撮像を行い、画像蓄積部2は撮影画像データを取得する。撮像画像データには撮像画像ナンバーXを付与して管理する。撮像画像ナンバーXは撮像を行う毎に1ずつインクリメントされる。画像蓄積部2は撮影画像データを画像処理部3へ出力する。
ステップS3において、画像処理部3は撮影画像データに対し2回ウェーブレット変換を行い、第2変換画像データを脈拍計測部4へ出力する。
ステップS4において、脈拍計測部4は第2変換画像データの特定領域(X14,Y12)内の輝度検出領域のデータを抽出し、ステップS5において輝度検出領域の輝度の平均値を算出して結果を保存する。
ステップS6において、撮像画像ナンバーXが解析フレーム数N以下であるか判定され、X>NとなるまでステップS2〜ステップS5の処理が繰り返される。X>Nとなると、処理はステップS7に進む。
ステップS7において、脈拍計測部4は解析フレーム数Nの時系列の複数の輝度の平均値に基づき、輝度の平均値の時間変動を解析する。具体的には、脈拍計測部4は、ステップS8において輝度の平均値のピークとアンダーピークを検出して変動周期を算出し、その変動周期に基づきステップS9において脈拍数を算出する。
なお、図2のフローチャートでは、1フレームの撮像が行われるたびに輝度の平均値の算出までの処理を行うような流れとしているが、まず、解析フレーム数分の撮像を行って全フレームの画像データを画像蓄積部2に蓄積しても良い。その場合、画像処理部3及び脈拍計測部4は、撮影自体は完了している状態で、画像蓄積部2から1フレームずつ処理対象の撮像画像データを取得してウェーブレット変換及び輝度の平均値の算出を行う流れとなる。撮像部1を有せず、例えば外部で予め撮像により得られた撮影データをネットワークや可搬記録媒体等から取得して、その画像をもとに脈拍計測を行う場合にも、ステップS2の撮像の処理が完了してからウェーブレット変換及び輝度の平均値の算出を行う場合と同様の流れとなる。また実施例1では、撮像部1から出力される撮像画像データをそのまま脈拍計測に利用しているが、例えば、皮膚などの被写体が画像の一部だけに写っている場合には、撮像画像データの一部(被写体が写っている部分)を切り出して、ステップS3以降の処理を行ってもよい。さらに、撮像画像データに対し、解像度変換、輝度調
整、ノイズ除去などの前処理を施してもよい。
整、ノイズ除去などの前処理を施してもよい。
上記の実施例1では、被験者の皮膚を撮影して得られた撮影画像データを用いて、処理負荷の軽い画像処理により脈拍を計測する方法を説明した。これは、血流の変化に伴う皮膚の光の反射の態様の時間変動をウェーブレット変換により強調して、検出するものである。しかし、本発明は、微小な時間変動をウェーブレット変換により強調して、画像処理により当該時間変動を検出する技術であるため、脈動に伴う身体の一部の揺動を画像から検出することも可能である。例えば、心臓が動脈へ血液を送り出す力で被験者の頭部は微小に揺れるため、被験者の頭部の一部又は全体を撮像して得られた撮影画像データに対し、ウェーブレット変換を複数回行うことにより、頭部の微小な揺れを強調し、その時間変動を検出することで脈拍を算出することもできる。また、動脈の血流により微小に揺れる身体の部位であれば、頭髪や腕など、皮膚以外の部位を撮像して得られた撮影画像データに対し、ウェーブレット変換を複数回行うことにより、それらの部位の微小な時間変動を検出し、脈拍を算出することもできる。なお、ウェーブレット変換の回数は、このように身体のどの部位を撮影した撮影画像データを用いて脈拍を計測するかによって最適な回数が変わることも考えられる。
1:撮像部
2:画像蓄積部(画像取得部)
3:画像処理部
4:脈拍計測部
5:信号出力部
6:脈拍計測装置
2:画像蓄積部(画像取得部)
3:画像処理部
4:脈拍計測部
5:信号出力部
6:脈拍計測装置
Claims (9)
- 生体を撮影して得られた時系列の複数の撮影画像データを取得する画像取得部と、
前記複数の撮影画像データの各々に対し、高解像度成分と低解像度成分に分解する多重解像度解析を複数回行って、前記複数の撮影画像データに対応する複数の変換画像データを生成する画像処理部と、
前記複数の変換画像データの各々における所定の領域の輝度を示す特徴量を算出し、前記特徴量の時系列データを解析して特徴量の変動周期を算出し、前記特徴量の変動周期に基づき前記生体の脈拍を算出する脈拍計測部と、
を有する脈拍計測装置。 - 前記画像処理部は、多重解像度解析により分解された高解像度成分及び低解像度成分の各々の領域に対し再び多重解像度解析を行うことにより、複数回の多重解像度解析を行う請求項1に記載の脈拍計測装置。
- 前記脈拍計測部は、多重解像度解析により生成された高解像度成分に対しさらに多重解像度解析を行って生成された高解像度成分の領域を前記所定の領域とする請求項2に記載の脈拍計測装置。
- 前記脈拍計測部は、多重解像度解析により生成された高解像度成分に対しさらに多重解像度解析を行って生成された高解像度成分の領域内の一部の領域を前記所定の領域とする請求項2に記載の脈拍計測装置。
- 前記脈拍計測部は、前記所定の領域内に含まれる画素の輝度値の平均値を前記特徴量として算出する請求項1〜4のいずれか1項に記載の脈拍計測装置。
- 前記脈拍計測部は、第1の閾値以上の特徴量のうちからピークを検出するとともに、第2の閾値以下の特徴量のうちからアンダーピークを検出し、検出したピーク及びアンダーピークに基づき、特徴量の変動周期を算出する請求項1〜5のいずれか1項に記載の脈拍計測装置。
- 前記脈拍計測部は、前記時系列データに対しフーリエ解析を行うことにより特徴量の変動周期を算出する請求項1〜5のいずれか1項に記載の脈拍計測装置。
- 生体を撮影して得られた時系列の複数の撮影画像データを取得する取得工程と、
前記複数の撮影画像データの各々に対し、高解像度成分と低解像度成分に分解する多重解像度解析を複数回行って、前記複数の撮影画像データに対応する複数の変換画像データを生成する変換工程と、
前記複数の変換画像データの各々における所定の領域の輝度を示す特徴量を算出し、前記特徴量の時系列データを解析して特徴量の変動周期を算出し、前記特徴量の変動周期に基づき前記生体の脈拍を算出する工程と、
を有する脈拍計測装置の制御方法。 - 請求項8に記載の脈拍計測装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015043897A JP6384365B2 (ja) | 2015-03-05 | 2015-03-05 | 脈拍計測装置及びその制御方法 |
DE112015006254.8T DE112015006254T5 (de) | 2015-03-05 | 2015-12-25 | Pulsmessvorrichtung und Steuerverfahren dafür |
PCT/JP2015/086390 WO2016139871A1 (ja) | 2015-03-05 | 2015-12-25 | 脈拍計測装置及びその制御方法 |
US15/683,852 US11129539B2 (en) | 2015-03-05 | 2017-08-23 | Pulse measuring device and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015043897A JP6384365B2 (ja) | 2015-03-05 | 2015-03-05 | 脈拍計測装置及びその制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016159108A JP2016159108A (ja) | 2016-09-05 |
JP6384365B2 true JP6384365B2 (ja) | 2018-09-05 |
Family
ID=56843667
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015043897A Active JP6384365B2 (ja) | 2015-03-05 | 2015-03-05 | 脈拍計測装置及びその制御方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11129539B2 (ja) |
JP (1) | JP6384365B2 (ja) |
DE (1) | DE112015006254T5 (ja) |
WO (1) | WO2016139871A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170262987A1 (en) * | 2016-03-09 | 2017-09-14 | Xerox Corporation | Method and apparatus for non-contact estimation of pulse transmit time |
EP4268730A1 (en) * | 2020-12-25 | 2023-11-01 | Astellas Pharma Inc. | Arrhythmic state detection assisting device and program |
JP2022169244A (ja) | 2021-04-27 | 2022-11-09 | オムロン株式会社 | 脈波検出装置および脈波検出方法、脈波検出プログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003065891A2 (en) * | 2002-02-07 | 2003-08-14 | Ecole Polytechnique Federale De Lausanne (Epfl) | Body movement monitoring device |
AU2002952144A0 (en) * | 2002-10-17 | 2002-10-31 | Perfusion Diagnostics Pty Ltd | Method and apparatus for measuring tissue perfusion |
US8360986B2 (en) * | 2006-06-30 | 2013-01-29 | University Of Louisville Research Foundation, Inc. | Non-contact and passive measurement of arterial pulse through thermal IR imaging, and analysis of thermal IR imagery |
JP5446443B2 (ja) * | 2009-05-15 | 2014-03-19 | 日産自動車株式会社 | 心拍数測定装置および心拍数測定方法 |
US9095266B1 (en) * | 2010-08-02 | 2015-08-04 | Chi Yung Fu | Method for treating a patient |
GB201114406D0 (en) * | 2011-08-22 | 2011-10-05 | Isis Innovation | Remote monitoring of vital signs |
TW201315438A (zh) * | 2011-10-14 | 2013-04-16 | Ind Tech Res Inst | 非接觸式之心脈量測方法及其系統 |
WO2014028671A2 (en) * | 2012-08-14 | 2014-02-20 | Aliphcom | Real-time physiological characteristic detection based on reflected components of light |
WO2014027329A1 (en) * | 2012-08-16 | 2014-02-20 | Ecole Polytechnique Federale De Lausanne (Epfl) | Method and apparatus for low complexity spectral analysis of bio-signals |
JP6098304B2 (ja) | 2013-03-29 | 2017-03-22 | 富士通株式会社 | 脈波検出装置、脈波検出方法及び脈波検出プログラム |
-
2015
- 2015-03-05 JP JP2015043897A patent/JP6384365B2/ja active Active
- 2015-12-25 DE DE112015006254.8T patent/DE112015006254T5/de active Pending
- 2015-12-25 WO PCT/JP2015/086390 patent/WO2016139871A1/ja active Application Filing
-
2017
- 2017-08-23 US US15/683,852 patent/US11129539B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20170347898A1 (en) | 2017-12-07 |
US11129539B2 (en) | 2021-09-28 |
JP2016159108A (ja) | 2016-09-05 |
WO2016139871A1 (ja) | 2016-09-09 |
DE112015006254T5 (de) | 2017-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20170112382A1 (en) | Pulse-wave detection method, pulse-wave detection device, and computer-readable recording medium | |
US10531069B2 (en) | Three-dimensional image sensors | |
JP6090390B2 (ja) | ビデオデータ処理方法及びシステム | |
US20150125051A1 (en) | Device and method for extracting information from remotely detected characteristic signals | |
JP6167614B2 (ja) | 血流指標算出プログラム、血流指標算出装置および血流指標算出方法 | |
JP6098304B2 (ja) | 脈波検出装置、脈波検出方法及び脈波検出プログラム | |
US9622698B2 (en) | System and method for detecting cancerous tissue from a thermal image | |
JP6384365B2 (ja) | 脈拍計測装置及びその制御方法 | |
CN113408508A (zh) | 基于Transformer的非接触式心率测量方法 | |
JP2014200390A (ja) | 脈波検出装置、脈波検出方法及び脈波検出プログラム | |
JP2015116368A (ja) | 脈拍計測装置、脈拍計測方法及び脈拍計測プログラム | |
JP2014221172A (ja) | 脈波検出装置、脈波検出プログラム、脈波検出方法及びコンテンツ評価システム | |
JP6135255B2 (ja) | 心拍測定プログラム、心拍測定方法及び心拍測定装置 | |
JP6020015B2 (ja) | 脈波検出装置、脈波検出プログラム及び脈波検出方法 | |
JP6248780B2 (ja) | 脈波検出装置、脈波検出方法及び脈波検出プログラム | |
US20180373393A1 (en) | Methods and Apparatuses for Detecting Touch Motion with Ultrasonic Sensors | |
JP6488722B2 (ja) | 脈波検出装置、脈波検出方法及び脈波検出プログラム | |
JP2014053722A (ja) | 撮像システム及び撮像方法 | |
JP6167615B2 (ja) | 血流指標算出プログラム、端末装置および血流指標算出方法 | |
JP6167849B2 (ja) | 脈波検出装置、脈波検出方法及び脈波検出プログラム | |
CN115790810A (zh) | 基于事件相机的振动测量方法、装置、设备及存储介质 | |
Ong et al. | An FPGA implementation of intelligent visual based fall detection | |
WO2017051415A1 (en) | A system and method for remotely obtaining physiological parameter of a subject | |
Lyu et al. | Video-based heart rate measurement via the anti-shake remote photoplethysmography (rPPG) pulse extraction | |
JP7197210B2 (ja) | 画像補正システム、画像補正方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170804 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180710 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180723 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6384365 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |