JP6167614B2 - Blood flow index calculation program, blood flow index calculation device, and blood flow index calculation method - Google Patents
Blood flow index calculation program, blood flow index calculation device, and blood flow index calculation method Download PDFInfo
- Publication number
- JP6167614B2 JP6167614B2 JP2013075348A JP2013075348A JP6167614B2 JP 6167614 B2 JP6167614 B2 JP 6167614B2 JP 2013075348 A JP2013075348 A JP 2013075348A JP 2013075348 A JP2013075348 A JP 2013075348A JP 6167614 B2 JP6167614 B2 JP 6167614B2
- Authority
- JP
- Japan
- Prior art keywords
- living body
- pulse wave
- camera
- blood flow
- flow index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000017531 blood circulation Effects 0.000 title claims description 131
- 238000004364 calculation method Methods 0.000 title claims description 131
- 238000000034 method Methods 0.000 claims description 84
- 230000008569 process Effects 0.000 claims description 63
- 238000012937 correction Methods 0.000 claims description 53
- 238000003384 imaging method Methods 0.000 claims description 12
- 210000000746 body region Anatomy 0.000 claims 1
- 230000036772 blood pressure Effects 0.000 description 75
- 238000001514 detection method Methods 0.000 description 65
- 238000012545 processing Methods 0.000 description 48
- 238000000605 extraction Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 18
- 230000001815 facial effect Effects 0.000 description 18
- 230000001133 acceleration Effects 0.000 description 14
- 239000000284 extract Substances 0.000 description 13
- 210000001508 eye Anatomy 0.000 description 12
- 239000004973 liquid crystal related substance Substances 0.000 description 12
- 238000001228 spectrum Methods 0.000 description 12
- 238000005070 sampling Methods 0.000 description 9
- 230000035945 sensitivity Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000000747 cardiac effect Effects 0.000 description 7
- 238000009434 installation Methods 0.000 description 7
- 238000010295 mobile communication Methods 0.000 description 7
- 238000009530 blood pressure measurement Methods 0.000 description 6
- 230000031700 light absorption Effects 0.000 description 6
- 210000001331 nose Anatomy 0.000 description 6
- 210000004204 blood vessel Anatomy 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 206010003210 Arteriosclerosis Diseases 0.000 description 3
- 208000011775 arteriosclerosis disease Diseases 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 206010019280 Heart failures Diseases 0.000 description 1
- 208000031226 Hyperlipidaemia Diseases 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 208000007502 anemia Diseases 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 208000017169 kidney disease Diseases 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000010297 mechanical methods and process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Description
本発明は、血流指標算出プログラム、血流指標算出装置および血流指標算出方法に関する。 The present invention relates to a blood flow index calculation program, a blood flow index calculation device, and a blood flow index calculation method.
健康管理の一環として、脈波伝播速度や血圧の測定がなされている。例えば、血圧を測定する場合には、被験者の腕にカフを装着し、カフで腕を圧迫して動脈を閉塞し、その後、カフを減圧する過程で血管壁に生じる振動を用いて血圧を測定する。 As part of health management, pulse wave velocity and blood pressure are measured. For example, when measuring blood pressure, wear a cuff on the subject's arm, press the arm with the cuff to occlude the artery, and then measure the blood pressure using vibration generated in the blood vessel wall in the process of decompressing the cuff. To do.
しかしながら、上記の血圧計は、例えば、血圧を測定する手順が多いので面倒、装置自体が大きいので常時携帯しにくい、血圧の測定時に腕が加圧されるので煩わしいといった欠点がある。 However, the above sphygmomanometer has the disadvantages that, for example, there are many procedures for measuring blood pressure, which is troublesome, the device itself is large and difficult to carry at all times, and the arm is pressurized when measuring blood pressure, which is troublesome.
このことから、利便性の向上を目的として、例えば、腕時計型血圧測定装置が提案されている。腕時計型血圧測定装置には、小型で日常的に携帯される腕時計に血圧を測定する機能が組み込まれる。腕時計型血圧測定装置は、左手首に装着され、フォトトランジスタと心電波を検出する電極である心電波検出電極とが横に並んで設けられている正面部の上に右手指先が置かれる。腕時計型血圧測定装置は、心電波検出電極の上に置かれた右手指先と心電波検出電極に接触している左手首とから心電波を検出し、フォトトランジスタの上に置かれた右手指先の血流から指の脈波を検出する。そして、腕時計型血圧測定装置は、心電波が検出されてから指の脈波が検出されるまでの遅延時間を測定し、遅延時間に基づいて血圧を算出する。 For this reason, for example, a wristwatch type blood pressure measurement device has been proposed for the purpose of improving convenience. The wristwatch-type blood pressure measurement device incorporates a function for measuring blood pressure in a small-sized wristwatch that is routinely carried. The wristwatch-type blood pressure measurement device is worn on the left wrist, and a right fingertip is placed on a front portion in which a phototransistor and a cardiac radio wave detection electrode which is an electrode for detecting cardiac radio waves are provided side by side. The wristwatch-type blood pressure measuring device detects cardiac radio waves from the right hand fingertip placed on the cardiac radio wave detection electrode and the left wrist in contact with the cardiac radio wave detection electrode, and the right fingertip placed on the phototransistor The finger pulse wave is detected from the blood flow. Then, the wristwatch-type blood pressure measurement device measures a delay time from the detection of the heart wave to the detection of the finger pulse wave, and calculates the blood pressure based on the delay time.
しかしながら、上記の技術は、余計なハードウェアなしには血圧を測定できない。 However, the above technique cannot measure blood pressure without extra hardware.
例えば、上記の腕時計型血圧測定装置は、心電波検出電極やフォトトランジスタなどといった一般の腕時計には組み込まれていない専用のハードウェアを用いて心電波と指の脈波との間での遅延時間を測定する。このため、腕時計型血圧測定装置は、専用のハードウェアを搭載しないと遅延時間および血圧を測定できない。 For example, the wristwatch-type blood pressure measuring device described above uses a dedicated hardware that is not incorporated in a general wristwatch, such as a cardiac radio wave detection electrode or a phototransistor, to delay time between the cardiac radio wave and the pulse wave of the finger. Measure. For this reason, the wristwatch-type blood pressure measurement device cannot measure the delay time and blood pressure unless dedicated hardware is installed.
なお、ここでは、血圧の測定について説明したが、遅延時間から求まる脈波伝播速度についても同様に専用のハードウェアを搭載しないと測定できない。 Although the measurement of blood pressure has been described here, the pulse wave propagation velocity obtained from the delay time cannot be measured unless dedicated hardware is also installed.
1つの側面では、余計なハードウェアなしに血流に関する指標を算出できる血流指標算出プログラム、血流指標算出装置および血流指標算出方法を提供することを目的とする。 An object of one aspect is to provide a blood flow index calculation program, a blood flow index calculation apparatus, and a blood flow index calculation method that can calculate an index related to blood flow without extra hardware.
一態様の血流指標算出プログラムは、コンピュータに、第1のカメラによって第1の生体が撮像された画像から前記第1の生体の脈波を検出し、第2のカメラによって前記第1の生体とは部位が異なる第2の生体が撮像された画像から前記第2の生体の脈波を検出し、前記第1の生体の脈波と前記第2の生体の脈波との遅延量を算出し、前記遅延量を用いて血流に関する指標を算出し、前記第1のカメラを有する端末の傾きを検出し、前記第1のカメラによって前記第1の生体が撮像された画像から前記第1の生体と前記第1のカメラとの間の距離を算出し、前記端末の傾き及び前記第1の生体と前記第1のカメラとの間の距離から前記第1の生体と前記第1のカメラとの間の高さの差を算出し、前記第1の生体と前記第1のカメラとの間の高さの差に基づいて、前記血流に関する指標を補正する処理を実行させる。 According to one aspect of the blood flow index calculation program, a computer detects a pulse wave of the first living body from an image of the first living body captured by the first camera , and uses the second camera to detect the first living body. calculating a delay amount of said second detecting a pulse wave of a living body, pulse wave of the first pulse wave and the second biological biological from an image in which the second organism different sites is captured and Then, an index relating to blood flow is calculated using the delay amount, an inclination of a terminal having the first camera is detected, and the first living body is imaged from the image obtained by capturing the first living body by the first camera. The distance between the living body and the first camera is calculated, and the first living body and the first camera are calculated from the inclination of the terminal and the distance between the first living body and the first camera. Difference in height between the first living body and the first camera Based on the difference between the, to execute processing for correcting an indication as to the blood flow.
一実施形態によれば、余計なハードウェアなしに血流に関する指標を算出できる。 According to one embodiment, an index relating to blood flow can be calculated without extra hardware.
以下に、本願の開示する血流指標算出プログラム、血流指標算出装置および血流指標算出方法の実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 Embodiments of a blood flow index calculation program, a blood flow index calculation device, and a blood flow index calculation method disclosed in the present application will be described below in detail with reference to the drawings. Note that this embodiment does not limit the disclosed technology. Each embodiment can be appropriately combined within a range in which processing contents are not contradictory.
[血流指標算出装置の構成]
まず、本実施例に係る血流指標算出装置の機能的構成について説明する。図1は、実施例1に係る血流指標算出装置の機能的構成を示すブロック図である。図1に示す血流指標算出装置10は、2つのカメラによって生体の異なる2つの部位が撮像された画像を用いて2つの部位の脈波を検出し、脈波間での遅延量から血流に関する指標を算出する血流指標算出処理を実行するものである。ここで言う「脈波」とは、血液の体積の変動を指し、いわゆる心拍数や心拍波形などが含まれる。
[Configuration of blood flow index calculation device]
First, the functional configuration of the blood flow index calculation device according to the present embodiment will be described. FIG. 1 is a block diagram illustrating a functional configuration of the blood flow index calculating apparatus according to the first embodiment. A blood flow
一態様としては、血流指標算出装置10は、パッケージソフトウェアやオンラインソフトウェアとして提供される血流指標算出プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、スマートフォン、携帯電話機やPHS(Personal Handyphone System)などの移動体通信網に接続可能な移動体通信端末に上記の血流指標算出プログラムをインストールさせる。また、移動体通信網に接続可能な移動体通信端末に限らず、移動体通信網に接続する能力を持たないデジタルカメラやタブレット端末に上記の血流指標算出プログラムをインストールさせてもよい。これによって、移動体通信端末やタブレット端末等の携帯端末を血流指標算出装置10として機能させることができる。なお、ここでは、血流指標算出装置10の実装例として携帯端末を例示したが、パーソナルコンピュータを始めとする据置き型の端末装置に血流指標算出プログラムをインストールさせることもできる。
As an aspect, the blood flow
図1に示すように、血流指標算出装置10は、インカメラ11aと、アウトカメラ11bと、第1の取得部12aと、第2の取得部12bと、抽出部13と、第1の波形検出部15aと、第2の波形検出部15bとを有する。さらに、血流指標算出装置10は、第1のピーク検出部16aと、第2のピーク検出部16bと、遅延量算出部17と、伝播速度算出部18と、血圧算出部19とを有する。なお、血流指標算出装置10は、図1に示した機能部以外にも既知の携帯端末が有する各種の機能部を有することとしてもかまわない。例えば、血流指標算出装置10は、タッチパネルやディスプレイなどの入出力デバイス、アンテナ、移動体通信網との接続を実行する無線通信部、GPS(Global Positioning System)受信機や加速度センサなどの機能部をさらに有していてもかまわない。
As shown in FIG. 1, the blood flow
インカメラ11aおよびアウトカメラ11bは、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を搭載する撮像装置である。例えば、インカメラ11aおよびアウトカメラ11bには、R(red)、G(green)、B(blue)など3種以上の受光素子を搭載することができる。
The in-
このうち、インカメラ11aは、図示しない液晶ディスプレイのある側に搭載されているカメラであり、携帯端末の利用者は、インカメラ11aによって利用者自身の画像を液晶ディスプレイに映し、その写り具合を確認しながら撮影できる。一方、アウトカメラ11bは、液晶ディスプレイのある側とは背面に搭載されているカメラであり、携帯端末の利用者は、アウトカメラ11bによって携帯端末の裏面にある景色を液晶ディスプレイに映して確認しながら風景や人物などの対象を撮影できる。なお、インカメラ11aは、液晶ディスプレイが存在する側であればいずれの位置に配置されてもよく、また、アウトカメラ11bは、インカメラ11aとは異なるカメラであればよく、インカメラ11aが存在する側の背面のいずれの位置に配置されてもよく、インカメラ11aが存在する側にインカメラと併置してもよい。
Among these, the in-
これらインカメラ11a及びアウトカメラ11bは、上記の血流指標算出プログラムが起動された場合に、撮像を並行して実行することによって異なる生体の部位を同時に撮像する。ここでは、一例として、インカメラ11aによって被験者の顔が第1の生体として撮影されるとともに、アウトカメラ11bによって被験者の指が第2の生体として撮影される場合を想定して以下の説明を行う。
The in-
図2は、撮影方法の一例を示す図である。図2に示すように、インカメラ11aは、血流指標算出装置10の液晶ディスプレイ側を撮像範囲に収め、その撮像範囲内に存在する被写体を撮像する。このとき、血流指標算出装置10の液晶ディスプレイには、インカメラ11aが撮影する画像を表示しつつ、利用者の鼻を映す目標位置を照準として表示させることもできる。このように、利用者の目、耳、鼻や口などの顔パーツの中でも利用者の鼻が撮影範囲の中心部分に収まった画像を撮影できるようにガイダンスする。
FIG. 2 is a diagram illustrating an example of a photographing method. As shown in FIG. 2, the in-
一方、アウトカメラ11bは、液晶ディスプレイが設けられた面の背面を撮像範囲に収め、その撮像範囲内に存在する被写体を撮像する。このとき、アウトカメラ11bの撮像範囲に利用者の指が載置されるように各種のガイダンスを行うことができる。例えば、液晶ディスプレイ上でインカメラ11aによって撮像された利用者の顔の画像に「アウトカメラ11bに指を載置して下さい」などのメッセージを重畳して表示させることもできるし、当該メッセージをスピーカから音声出力させることもできる。これによって、利用者の指が撮影範囲に収まった画像を撮影できるようにガイダンスする。
On the other hand, the
ここで、血流指標算出装置10は、インカメラ11a及びアウトカメラ11bの間で同期して画像を撮像する。例えば、インカメラ11aによって撮像される画像のフレームと、アウトカメラ11bによって撮像される画像のフレームとの両者がフレーム番号等を用いて対応付けられる。かかる対応付けによって、フレーム番号が同一である画像が同一の時刻に撮像された画像として以降の処理に用いられる。
Here, the blood flow
このように、本実施例に係るインカメラ11a及びアウトカメラ11bは、脈波伝播速度や血圧などの血流に関する指標を算出する場合には、2つのカメラの両方を起動し、2つのカメラの各々で撮像された画像をフレームごとに対応付ける。すなわち、撮影モードの切り換えによって一方のカメラが起動し、他方のカメラが停止された状態で1つのカメラを排他的に用いる一般の使用方法とは一線を画す。
Thus, the in-
その後、インカメラ11aによって撮像された顔の画像は、後述の第1の取得部12aへ出力されるとともに、アウトカメラ11bによって撮像された指の画像は、後述の第2の取得部12bへ出力される。なお、ここでは、撮像後に顔の画像及び指の画像が第1の取得部12a及び第2の取得部12bへ出力される場合を例示したが、必ずしも顔の画像や指の画像を直ちに第1の取得部12a及び第2の取得部12bへ出力せずともよい。例えば、図示しないフラッシュメモリやハードディスクなどの補助記憶装置またはメモリカードなどのリムーバブルメディアに顔の画像や指の画像を一時的に保存することもできる。
Thereafter, the face image captured by the in-
図1の説明に戻り、第1の取得部12aは、第1の生体の画像を取得する処理部である。一態様としては、第1の取得部12aは、インカメラ11aによって撮像された顔の画像を取得する。他の一態様としては、第1の取得部12aは、顔の画像を蓄積する補助記憶装置またはリムーバブルメディアから顔の画像を取得することもできる。更なる一態様としては、第1の取得部12aは、外部装置からネットワークを介して受信した顔の画像を取得することもできる。
Returning to the description of FIG. 1, the
第2の取得部12bは、第2の生体の画像を取得する処理部である。一態様としては、第2の取得部12bは、アウトカメラ11bによって撮影された指の画像を取得する。他の一態様としては、第2の取得部12bは、上記の第1の取得部12aと同様に、指の画像を蓄積する補助記憶装置またはリムーバブルメディアから指の画像を取得することもできる。更なる一態様としては、第2の取得部12bは、上記の第1の取得部12aと同様に、外部装置からネットワークを介して受信した指の画像を取得することもできる。
The
これら第1の取得部12a及び第2の取得部12bは、CCDやCMOSなどの撮像素子による出力から得られる2次元のビットマップデータやベクタデータなどの画像データを用いて処理を実行する場合を例示したが、次の処理を実行させることとしてもよい。すなわち、第1の取得部12aおよび第2の取得部12bは、1つのディテクタから出力される信号をそのまま取得して後段の処理を実行させることとしてもかまわない。
The
抽出部13は、第1の生体の画像から脈波の検出対象とする第1の生体の領域を抽出する処理部である。一態様としては、抽出部13は、第1の取得部12aによって顔の画像が取得される度に、当該画像にテンプレートマッチング等の画像処理を実行することによって所定の顔パーツ、例えば利用者の目、鼻、唇、頬や髪などを含む顔領域を抽出する。
The
上記の顔領域の抽出後に、抽出部13は、顔領域に含まれる各画素が持つ画素値に所定の統計処理を実行する。例えば、抽出部13は、顔領域に含まれる各画素が持つ画素値を波長成分ごとに平均する。この他、平均値以外にも、中央値や最頻値を計算することとしてもよく、また、加重平均以外にも任意の平均処理、例えば加重平均や移動平均などを実行することもできる。これによって、顔領域に含まれる各画素が持つ画素値の平均値が当該顔領域を代表する代表値として波長成分ごとに算出される。
After extracting the face area, the
第1の波形検出部15aは、抽出部13によって抽出された領域に含まれる各画素の波長成分別の代表値の信号から、各波長成分の間で脈波が採り得る脈波周波数帯以外の特定周波数帯の成分が互いに相殺された信号の波形を検出する処理部である。
The first
一態様としては、第1の波形検出部15aは、画像に含まれる3つの波長成分、すなわちR成分、G成分およびB成分のうち血液の吸光特定が異なるR成分とG成分の2つの波長成分の代表値の時系列データを用いて、顔の脈波の波形を検出する。
As an aspect, the first
これを説明すると、顔表面には、毛細血管が流れており、心拍により血管に流れる血流が変化すると、血流で吸収される光量も心拍に応じて変化するため、顔からの反射によって得られる輝度も心拍に伴って変化する。かかる輝度の変化量は小さいが、顔領域全体の平均輝度を求めると、輝度の時系列データには脈波成分が含まれる。ところが、輝度は、脈波以外に体動等によっても変化し、これが、脈波検出のノイズ成分、いわゆる体動アーチファクトとなる。そこで、血液の吸光特性の異なる2種類以上の波長、例えば吸光特性が高いG成分(525nm程度)、吸光特性が低いR成分(700nm程度)で脈波を検出する。心拍は、0.5Hz〜4Hz、1分あたりに換算すれば30bpm〜240bpmの範囲であるので、それ以外の成分はノイズ成分とみなすことができる。ノイズには、波長特性は無い、あるいはあっても極小であると仮定すると、G信号およびR信号の間で0.5Hz〜4Hz以外の成分は等しいはずであるが、カメラの感度差により大きさが異なる。それゆえ、0.5Hz〜4Hz以外の成分の感度差を補正して、G成分からR成分を減算すれば、ノイズ成分は除去されて脈波成分のみを取り出すことができる。 To explain this, there are capillaries on the face surface, and when the blood flow flowing through the blood vessels changes due to the heartbeat, the amount of light absorbed by the bloodstream also changes according to the heartbeat. The brightness that is produced also changes with the heartbeat. Although the amount of change in luminance is small, when the average luminance of the entire face region is obtained, the time-series data of luminance includes a pulse wave component. However, the luminance also changes due to body movement in addition to the pulse wave, and this becomes a noise component of pulse wave detection, so-called body movement artifact. Therefore, a pulse wave is detected with two or more wavelengths having different light absorption characteristics of blood, for example, a G component having a high light absorption characteristic (about 525 nm) and an R component having a low light absorption characteristic (about 700 nm). Since the heart rate is in the range of 30 bpm to 240 bpm when converted to 0.5 Hz to 4 Hz per minute, other components can be regarded as noise components. Assuming that noise does not have wavelength characteristics or is minimal even if it is present, components other than 0.5 Hz to 4 Hz should be equal between the G signal and the R signal. Is different. Therefore, by correcting the sensitivity difference between components other than 0.5 Hz to 4 Hz and subtracting the R component from the G component, the noise component can be removed and only the pulse wave component can be extracted.
例えば、G成分及びR成分は、下記の式(1)および下記の式(2)によって表すことができる。下記の式(1)における「Gs」は、G信号の脈波成分を指し、「Gn」は、G信号のノイズ成分を指し、また、下記の式(2)における「Rs」は、R信号の脈波成分を指し、「Rn」は、R信号のノイズ成分を指す。また、ノイズ成分は、G成分およびR成分の間で感度差があるので、感度差の補正係数kは、下記の式(3)によって表される。 For example, the G component and the R component can be represented by the following formula (1) and the following formula (2). “Gs” in the following equation (1) indicates the pulse wave component of the G signal, “Gn” indicates the noise component of the G signal, and “Rs” in the following equation (2) indicates the R signal. “Rn” indicates the noise component of the R signal. Further, since the noise component has a sensitivity difference between the G component and the R component, the correction coefficient k for the sensitivity difference is expressed by the following equation (3).
Ga=Gs+Gn・・・(1)
Ra=Rs+Rn・・・(2)
k=Gn/Rn・・・(3)
Ga = Gs + Gn (1)
Ra = Rs + Rn (2)
k = Gn / Rn (3)
感度差を補正してG成分からR成分を減算すると、脈波成分Sは、下記の式(4)となる。これを上記の式(1)及び上記の式(2)を用いて、Gs、Gn、Rs及びRnによって表される式へ変形すると、下記の式(5)となり、さらに、上記の式(3)を用いて、補正係数kを消し、式を整理すると下記の式(6)が導出される。 When the sensitivity difference is corrected and the R component is subtracted from the G component, the pulse wave component S is expressed by the following equation (4). When this is transformed into the formula represented by Gs, Gn, Rs and Rn using the above formula (1) and the above formula (2), the following formula (5) is obtained, and further, the above formula (3 ) To eliminate the correction coefficient k and rearrange the equations, the following equation (6) is derived.
S=Ga−kRa・・・(4)
S=Gs+Gn−k(Rs+Rn)・・・(5)
S=Gs−(Gn/Rn)Rs・・・(6)
S = Ga-kRa (4)
S = Gs + Gn−k (Rs + Rn) (5)
S = Gs− (Gn / Rn) Rs (6)
ここで、G信号およびR信号は、吸光特性が異なり、Gs>(Gn/Rn)Rsである。したがって、上記の式(6)によってノイズが除去された脈波成分Sを算出することができる。 Here, the G signal and the R signal have different light absorption characteristics, and Gs> (Gn / Rn) Rs. Therefore, the pulse wave component S from which noise is removed can be calculated by the above equation (6).
図3は、G信号およびR信号の各信号のスペクトルの一例を示す図である。図3に示すグラフの縦軸は、信号強度を指し、また、横軸は、周波数(bpm)を指す。図3に示すように、G成分およびR成分は、撮像素子の感度が異なるので、両者の信号強度はそれぞれ異なる。その一方、R成分およびG成分は、いずれにおいても30bpm〜240bpmの範囲外、特に3bpm以上20bpm未満の特定周波数帯でノイズが現れることには変わりはない。このため、図3に示すように、3bpm以上20bpm未満の特定周波数帯に含まれる指定の周波数Fnに対応する信号強度をGn及びRnとして抽出できる。これらGn及びRnによって感度差の補正係数kを導出できる。 FIG. 3 is a diagram illustrating an example of the spectrum of each signal of the G signal and the R signal. The vertical axis of the graph shown in FIG. 3 indicates the signal intensity, and the horizontal axis indicates the frequency (bpm). As shown in FIG. 3, since the sensitivity of the image sensor differs between the G component and the R component, the signal intensities of the two differ. On the other hand, in both the R component and the G component, there is no change in that noise appears outside the range of 30 bpm to 240 bpm, particularly in a specific frequency band of 3 bpm or more and less than 20 bpm. For this reason, as shown in FIG. 3, the signal intensity corresponding to the designated frequency Fn included in the specific frequency band of 3 bpm or more and less than 20 bpm can be extracted as Gn and Rn. The sensitivity difference correction coefficient k can be derived from these Gn and Rn.
図4は、G成分および補正係数kが乗算されたR成分の各信号のスペクトルの一例を示す図である。図4の例では、説明の便宜上、補正係数の絶対値を乗算した結果が図示されている。図4に示すグラフにおいても、縦軸は、信号強度を指し、また、横軸は、周波数(bpm)を指す。図4に示すように、G成分及びR成分の各信号のスペクトルに補正係数kが乗算された場合には、G成分およびR成分の各成分の間で感度が揃う。特に、特定周波数帯におけるスペクトルの信号強度は、大部分においてスペクトルの信号強度が略同一になっている。その一方で、実際に脈波が含まれる周波数の周辺領域400は、G成分およびR成分の各成分の間でスペクトルの信号強度が揃っていない。
FIG. 4 is a diagram illustrating an example of a spectrum of each signal of the R component multiplied by the G component and the correction coefficient k. In the example of FIG. 4, the result of multiplying the absolute value of the correction coefficient is shown for convenience of explanation. Also in the graph shown in FIG. 4, the vertical axis indicates the signal strength, and the horizontal axis indicates the frequency (bpm). As shown in FIG. 4, when the spectrum of each signal of the G component and the R component is multiplied by the correction coefficient k, the sensitivity is uniform between the components of the G component and the R component. In particular, the spectrum signal intensity in a specific frequency band is almost the same in most spectrum signals. On the other hand, in the
図5は、演算後のスペクトルの一例を示す図である。図5では、脈波が現れている周波数帯の視認性を上げる観点から縦軸である信号強度の尺度を大きくして図示している。図5に示すように、G信号のスペクトルから補正係数kの乗算後のR信号のスペクトルが差し引かれた場合には、G成分およびR成分の間での吸光特性の差によって脈波が現れる信号成分の強度が可及的に維持された状態でノイズ成分が低減されていることがわかる。このようにしてノイズ成分だけが除去された脈波波形を検出することができる。 FIG. 5 is a diagram illustrating an example of a spectrum after calculation. In FIG. 5, the scale of the signal intensity, which is the vertical axis, is enlarged from the viewpoint of improving the visibility of the frequency band in which the pulse wave appears. As shown in FIG. 5, when the spectrum of the R signal after the multiplication of the correction coefficient k is subtracted from the spectrum of the G signal, a signal in which a pulse wave appears due to the difference in the light absorption characteristics between the G component and the R component. It can be seen that the noise component is reduced with the strength of the component maintained as much as possible. In this way, it is possible to detect a pulse wave waveform from which only noise components have been removed.
続いて、第1の波形検出部の機能的構成についてさらに具体的に説明する。図6は、第1の波形検出部の機能的構成を示すブロック図である。図6に示すように、第1の波形検出部15aは、BPF(Band-Pass Filter)152R及び152Gと、抽出部153R及び153Gと、LPF(Low-Pass Filter)154R及び154Gと、算出部155と、BPF156R及び156Gと、乗算部157と、演算部158とを有する。なお、図3〜図5の例では、周波数空間にて脈波を検出する例を説明したが、図6では、周波数成分への変換にかかる時間を削減する観点から、時系列空間にてノイズ成分をキャンセルして脈波を検出する場合の機能的構成を図示している。
Next, the functional configuration of the first waveform detection unit will be described more specifically. FIG. 6 is a block diagram illustrating a functional configuration of the first waveform detection unit. As shown in FIG. 6, the first
例えば、抽出部13から第1の波形検出部15aには、顔領域に含まれる各画素が持つR成分の画素値の代表値を信号値とするR信号の時系列データが入力されるとともに、顔領域に含まれる各画素が持つG成分の画素値の代表値を信号値とするG信号の時系列データが入力される。このうち、顔領域のR信号は、第1の波形検出部15a内のBPF152R及びBPF156Rへ入力されるとともに、顔領域のG信号は、第1の波形検出部15a内のBPF152G及びBPF156Gへ入力される。
For example, the time-series data of the R signal whose signal value is the representative value of the R component pixel value of each pixel included in the face area is input from the
BPF152R、BPF152G、BPF156R及びBPF156Gは、いずれも所定の周波数帯の信号成分だけを通過させてそれ以外の周波数帯の信号成分を除去するバンドパスフィルタである。これらBPF152R、BPF152G、BPF156R及びBPF156Gは、ハードウェアによって実装されることとしてもよいし、ソフトウェアによって実装されることとしてもよい。
Each of
これらBPFが通過させる周波数帯の違いについて説明する。BPF152R及びBPF152Gは、ノイズ成分が他の周波数帯よりも顕著に現れる特定周波数帯の信号成分を通過させる。
The difference in the frequency band that the BPF passes will be described. The
かかる特定周波数帯は、脈波が採り得る周波数帯との間で比較することによって定めることができる。脈波が採り得る周波数帯の一例としては、0.5Hz以上4Hz以下である周波数帯、1分あたりに換算すれば30bpm以上240bpm以下である周波数帯が挙げられる。このことから、特定周波数帯の一例としては、脈波として計測され得ない0.5Hz未満及び4Hz超過の周波数帯を採用することができる。また、特定周波数帯は、脈波が採り得る周波数帯との間でその一部が重複することとしてもよい。例えば、脈波として計測されることが想定しづらい0.7Hz〜1Hzの区間で脈波が採り得る周波数帯と重複することを許容し、1Hz未満及び4Hz以上の周波数帯を特定周波数帯として採用することもできる。また、特定周波数帯は、1Hz未満及び4Hz以上の周波数帯を外縁とし、ノイズがより顕著に現れる周波数帯に絞ることもできる。例えば、ノイズは、脈波が採り得る周波数帯よりも高い高周波数帯よりも、脈波が採り得る周波数帯よりも低い低周波数帯でより顕著に現れる。このため、1Hz未満の周波数帯に特定周波数帯を絞ることもできる。また、空間周波数がゼロである直流成分の近傍には、各成分の撮像素子の感度の差が多く含まれるので、0.05Hz以上1Hz未満の周波数帯に特定周波数帯を絞ることもできる。さらに、人の体の動き、例えば瞬きや体の揺れの他、環境光のチラツキなどのノイズが現れやすい0.05Hz以上0.3Hz以下の周波数帯に特定周波数帯を絞ることもできる。 Such a specific frequency band can be determined by comparing with a frequency band that can be taken by a pulse wave. An example of a frequency band that can be taken by a pulse wave is a frequency band of 0.5 Hz to 4 Hz, and a frequency band of 30 bpm to 240 bpm when converted per minute. From this, as an example of the specific frequency band, a frequency band of less than 0.5 Hz and more than 4 Hz that cannot be measured as a pulse wave can be employed. Further, the specific frequency band may partially overlap with the frequency band that can be taken by the pulse wave. For example, it is allowed to overlap with the frequency band that the pulse wave can take in the section of 0.7 Hz to 1 Hz that is difficult to be measured as a pulse wave, and the frequency band of less than 1 Hz and 4 Hz or more is adopted as the specific frequency band. You can also Further, the specific frequency band can be narrowed down to a frequency band in which noise is more noticeable with the frequency band of less than 1 Hz and 4 Hz or more as the outer edge. For example, noise appears more noticeably in a low frequency band lower than a frequency band that can take a pulse wave, rather than a high frequency band that is higher than a frequency band that the pulse wave can take. For this reason, a specific frequency band can also be narrowed down to a frequency band of less than 1 Hz. Further, since there are many differences in the sensitivity of the image sensor of each component in the vicinity of the direct current component where the spatial frequency is zero, the specific frequency band can be narrowed down to a frequency band of 0.05 Hz to less than 1 Hz. Furthermore, the specific frequency band can be narrowed down to a frequency band of 0.05 Hz or more and 0.3 Hz or less where noise such as flickering of ambient light other than human body movement, for example, blinking or shaking of the body, is likely to appear.
ここでは、一例として、BPF152R及びBPF152Gが特定周波数帯として0.05Hz以上0.3Hz以下の周波数帯の信号成分を通過させる場合を想定して以下の説明を行う。なお、ここでは、特定周波数帯の信号成分を抽出するために、バンドパスフィルタを用いる場合を例示したが、一定の周波数未満の周波数帯の信号成分を抽出する場合などには、ローパスフィルタを用いることもできる。
Here, as an example, the following description will be given assuming that the
一方、BPF156R及びBPF156Gは、脈波が採り得る周波数帯、例えば0.5Hz以上4Hz以下の周波数帯の信号成分を通過させる。なお、以下では、脈波が採り得る周波数帯のことを「脈波周波数帯」と記載する場合がある。
On the other hand, the BPF 156R and the
抽出部153Rは、R信号の特定周波数帯の信号成分の絶対強度値を抽出する。例えば、抽出部153Rは、R成分の特定周波数帯の信号成分の絶対値演算処理を実行することによって特定周波数帯の信号成分の絶対強度値を抽出する。また、抽出部153Gは、G信号の特定周波数帯の信号成分の絶対強度値を抽出する。例えば、抽出部153Gは、G成分の特定周波数帯の信号成分の絶対値演算処理を実行することによって特定周波数帯の信号成分の絶対強度値を抽出する。
The
LPF154R及びLPF154Gは、特定周波数帯の絶対強度値の時系列データに対し、時間変化に応答させる平滑化処理を実行するローパスフィルタである。これらLPF154R及びLPF154Gは、LPF154Rへ入力される信号がR信号であり、LPF154Gへ入力される信号がG信号である以外に違いはない。かかる平滑化処理によって、特定周波数帯の絶対値強度R´n及びG´nが得られる。
The
算出部155は、LPF154Gによって出力されたG信号の特定周波数帯の絶対値強度G´nを、LPF154Rによって出力されたR信号の特定周波数帯の絶対値強度R´nで除する除算「G´n/R´n」を実行する。これによって、感度差の補正係数kを算出する。
The
乗算部157は、BPF156Rによって出力されたR信号の脈波周波数帯の信号成分に算出部155によって算出された補正係数kを乗算する。
The
演算部158は、BPF156Gによって出力されたG信号の脈波周波数帯の信号成分から乗算部157によって補正係数kが乗算されたR信号の脈波周波数帯の信号成分を差し引く演算「Gs−k*Rs」を実行する。このようにして得られた信号は、顔の脈波の波形に相当し、そのサンプリング周波数は画像が撮像されるフレーム周波数に対応する。なお、以下では、脈波の波形のことを「脈波波形」と記載する場合がある。
The
図1の説明に戻り、第2の波形検出部15bは、第2の取得部によって取得された第2の生体の画像に含まれる各画素の波長成分の代表値の信号から、脈波周波数帯以外の特定周波数帯の成分が除去された信号の波形を検出する処理部である。一態様としては、第2の波形検出部15bは、指の画像に含まれる各画素の画素値に上記の統計処理を実行することによって代表値を算出する。このとき、第2の波形検出部15bは、3つの波長成分、すなわちR成分、G成分およびB成分のうちG成分の画素値に対象を絞って上記の統計処理を実行する。その上で、第2の波形検出部15bは、図示しないBPF等を用いて、指の画像のG成分の代表値の信号に含まれる特定周波数帯の信号成分を除去するとともに脈波周波数帯の信号成分を通過させる。これによって、脈波周波数帯の信号成分を抽出する。このように、第2の波形検出部15bによって出力される脈波周波数帯の信号の時系列データは、指の脈波波形に相当する。尚、第2の波形検出部15bは第1の波形検出部と同様にG成分の代表値とR成分の代表値から指の脈波波形を抽出しても良い。
Returning to the description of FIG. 1, the second
第1のピーク検出部16aは、第1の生体の脈波波形のピークを検出する処理部である。一態様としては、第1のピーク検出部16aは、第1の波形検出部15aによって検出される顔の脈波波形を時間微分することによって顔の脈波の微分波形を算出し、微分係数の符号が正から負へ変化するゼロクロス点、すなわちピークを示す極大点を検出する。例えば、第1のピーク検出部16aは、顔の脈波波形の振幅値が検出される度に、1つ前のサンプリング点で検出された振幅値の微分係数がゼロであるか否かを判定する。このとき、第1のピーク算出部16aは、1つ前のサンプリング点で検出された振幅値の微分係数がゼロである場合に、前後のサンプリング点で振幅値の微分係数の符号が正から負へ変化するか否かをさらに判定する。この結果、第1のピーク検出部16aは、前後で微分係数の符号が正から負へと変化する場合に、当該微分係数がゼロであるサンプリング点を顔の脈波波形のピークとして検出し、当該ピークが出現したサンプリング点の時間を図示しない内部メモリへ登録する。なお、ピークの検出は、必ずしも脈波波形の時間微分によって実現されずともよく、顔の脈波波形そのものから検出することとしてもかまわない。
The
第2のピーク検出部16bは、第2の生体の脈波波形のピークを検出する処理部である。一態様としては、第2のピーク検出部16bは、上記の第1のピーク検出部16aと同様に、指の脈波の微分波形からゼロクロス点を検出することによって指の脈波波形のピークを検出し、ピークが出現したサンプリング点の時間を内部メモリに登録する。
The
図7は、顔の脈波および指の脈波の一例を示すグラフである。図7に示すグラフの縦軸は、信号強度(振幅)を指し、また、横軸は、時間を指す。図7に示すように、顔の脈波では、ピークがT1の時点に出現する一方で、指の脈波では、ピークがT2の時点に出現する。これら顔の脈波及び指の脈波は、ピークが出現する時点が互いに異なり、指の脈波のピークの方が顔の脈波のピークよりも遅れていることがわかる。これは、心臓から送り出される血液が生体の各々の部位へ到達するタイミングには時間差があるからである。一般に、顔よりも指の方が心臓から離れているので、先に顔へ脈波が伝搬した後に指に伝搬することになる。 FIG. 7 is a graph showing an example of a facial pulse wave and a finger pulse wave. The vertical axis of the graph shown in FIG. 7 indicates signal intensity (amplitude), and the horizontal axis indicates time. As shown in FIG. 7, in the pulse wave of the face, the peak appears at the time point T1, while in the pulse wave of the finger, the peak appears at the time point T2. It can be seen that the facial pulse wave and the finger pulse wave have different points in time when the peaks appear, and the peak of the finger pulse wave is later than the peak of the facial pulse wave. This is because there is a time difference in the timing at which the blood delivered from the heart reaches each part of the living body. Generally, since the finger is farther from the heart than the face, the pulse wave first propagates to the face and then propagates to the finger.
遅延量算出部17は、第1の生体の脈波波形及び第2の生体の脈波波形の間での遅延量を算出する処理部である。一態様としては、遅延量算出部17は、第1のピーク検出部16aによって顔の脈波波形から検出されたピークの時間と、第2のピーク検出部16bによって指の脈波波形から検出されたピークの時間との間で時間差を算出することによって顔と指の脈波の遅延量を算出する。例えば、図7に示す例で言えば、遅延量算出部17は、時間T2から時間T1を減算することによって指と顔の間の遅延量を算出できる。なお、ここでは、指の脈波波形でピークが検出された時間T2から顔の脈波波形でピークが検出された時間T1を減算することとしたが、T1からT2を減算することとしてもよく、その場合には絶対値をとることによって同値を算出できる。
The delay
伝播速度算出部18は、第1の生体及び第2の生体の間での遅延量を用いて、脈波伝播速度を算出する処理部である。ここで、速度の計算には、距離と時間が用いられるが、距離と時間のうち時間については、遅延量算出部17によって顔に脈波が伝搬してから指に脈波が伝搬するまでの時間差である遅延量が求められている。このため、脈波の起点となる心臓から指までの距離と心臓から顔までの距離との間の距離差を予めキャリブレーションしておくことによって、下記の式(7)を用いて、脈波伝播速度を算出することができる。かかる式(7)における「Vp」は、脈波伝播速度を指し、「L」は、心臓から指までの距離と心臓から顔までの距離との間の距離差を指し、「Td」は、遅延量を指す。
The propagation
Vp=L/Td・・・(7) Vp = L / Td (7)
すなわち、伝搬速度算出部18は、遅延量算出部17によって算出された遅延量Tdおよび内部メモリ上に設定された距離差Lを上記の式(7)へ代入することによって脈波伝播速度Vpを算出できる。かかる距離差Lは、一例として、血流指標算出装置10の利用者に初期設定させることができる。例えば、図示しない入力デバイスを介して、距離差Lの値そのものを入力させることとしてもよいし、心臓から顔までの距離L1と心臓から指までの距離L2とを入力させることによって初期設定させることとしてもよい。また、年齢、性別及び身長などの項目の組合せごとに当該組合せに対応する距離差の統計値が対応付けられた統計データから利用者によって入力させた年齢、性別及び身長を検索することによって距離差を初期設定させることとしてもかまわない。
That is, the propagation
ここで、上記の脈波伝播速度は、動脈硬化の進展を診断するのに有用な指標であり、例えば、脈波伝播速度から血管年齢などを計測することもできる。このように、脈波伝播速度は動脈硬化の進展度や血管年齢を算出するアプリケーションプログラムへ出力されることによって健康管理に有用な指標を取得する情報源とすることができる。 Here, the above-mentioned pulse wave velocity is an index useful for diagnosing the progress of arteriosclerosis, and for example, blood vessel age can be measured from the pulse wave velocity. Thus, the pulse wave velocity can be used as an information source for obtaining an index useful for health management by being output to an application program for calculating the degree of progression of arteriosclerosis and the age of blood vessels.
血圧算出部19は、血圧を算出する処理部である。一態様としては、血圧算出部19は、下記の式(8)に対し、伝播速度算出部18によって算出された脈波伝播速度を代入することによって血圧を算出する。下記の式(8)は、血圧の算出式の一例であり、目的変数である血圧が脈波伝播速度を説明変数とする一次式に近似されている。なお、下記の式(8)における「P」は、血圧を指し、「Vp」、は脈波伝播速度を指す。また、下記の式(8)における「A」は、1次式の傾きを指し、「B」は、1次式の切片を指し、いずれも定数である。
The blood
P=A*Vp+B・・・(8) P = A * Vp + B (8)
これら傾きA及び切片Bは、個人によって異なる値が設定される。例えば、傾きAおよび切片Bは、血流指標算出装置10によって算出された脈波伝播速度とともに、当該脈波伝播速度の算出と同期して血圧計等によって測定された血圧の実測値をリファレンスとして入力させることによって導出できる。これら脈波伝播速度および血圧の実測値の間で最小二乗法などの回帰分析を実行することによって上記の式(8)の傾きAと切片Bを設定できる。
The slope A and the intercept B are set to different values depending on the individual. For example, the slope A and the intercept B are measured using a blood pressure measurement value measured by a sphygmomanometer or the like in synchronization with the calculation of the pulse wave propagation speed, together with the pulse wave propagation speed calculated by the blood flow
ここで、上記の血圧は、各種の診断に有用な指標である。例えば、血圧が高い場合には、高血圧症、腎疾患、動脈硬化、高脂血症、脳血管疾患などの疾患を診断できる。一方、血圧が低い場合には、心不全、貧血、大出血などの疾患を診断することもできる。このように、血圧は、上記の各種の診断を実行するアプリケーションプログラムへ出力されることによって健康管理に有用な指標を取得する情報源とすることができる。 Here, the blood pressure is an index useful for various diagnoses. For example, when blood pressure is high, diseases such as hypertension, renal disease, arteriosclerosis, hyperlipidemia, and cerebrovascular disease can be diagnosed. On the other hand, when the blood pressure is low, diseases such as heart failure, anemia, and major bleeding can be diagnosed. Thus, the blood pressure can be used as an information source for obtaining an index useful for health care by being output to the application program for executing the various diagnoses described above.
例えば、脈波伝播速度や血圧は、血流指標算出装置10が有する図示しない表示デバイスを始め、任意の出力先へ出力することができる。例えば、脈波伝播速度を用いて血管年齢や血圧等の測定を行う測定プログラム、血圧から各種の疾患を診断する診断プログラムが血流指標算出装置10にインストールされている場合には、測定プログラムや診断プログラムを出力先とすることができる。また、測定プログラムや診断プログラムをWebサービスとして提供するサーバ装置などを出力先とすることもできる。さらに、血流指標算出装置10を利用する利用者の関係者、例えば介護士や医者などが使用する端末装置を出力先とすることもできる。これによって、院外、例えば在宅や在席のモニタリングサービスも可能になる。なお、測定プログラムや診断プログラムの測定結果や診断結果も、血流指標算出装置10を始め、関係者の端末装置に表示させることができるのも言うまでもない。
For example, the pulse wave velocity and blood pressure can be output to an arbitrary output destination including a display device (not shown) included in the blood flow
なお、上記の機能部は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などに血流指標算出プログラムを実行させることによって実現できる。また、上記の機能部は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などのハードワイヤードロジックによっても実現できる。上記の機能部には、第1の取得部12a、第2の取得部12b、抽出部13、第1の波形検出部15a、第2の波形検出部15b、第1のピーク検出部16a、第2のピーク検出部16b、遅延量算出部17、伝播速度算出部18及び血圧算出部19などが含まれる。
In addition, said function part is realizable by making a CPU (Central Processing Unit), MPU (Micro Processing Unit), etc. run a blood-flow parameter | index calculation program. Further, the above-described functional unit can be realized by a hard wired logic such as an application specific integrated circuit (ASIC) or a field programmable gate array (FPGA). The functional unit includes the
[処理の流れ]
続いて、本実施例に係る血流指標算出装置10の処理の流れについて説明する。なお、ここでは、血流指標算出装置10によって実行される(1)血流指標算出処理について説明した後に、血流指標算出処理のサブルーチンとして実行される(2)第1の検出処理および(3)第2の検出処理について説明することとする。
[Process flow]
Subsequently, the flow of processing of the blood flow
(1)血流指標算出処理
図8は、実施例1に係る血流指標算出処理の手順を示すフローチャートである。この血流指標算出処理は、血流指標算出装置10の利用者によって血流指標算出プログラムが起動された場合に、処理が起動される。
(1) Blood Flow Index Calculation Processing FIG. 8 is a flowchart illustrating the procedure of blood flow index calculation processing according to the first embodiment. This blood flow index calculation process is started when the user of the blood flow
図8に示すように、第1の取得部12a、抽出部13及び第1の波形検出部15aは、インカメラ11aによって撮像された顔画像から顔の脈波を検出する「第1の検出処理」を実行する(ステップS101)。
As shown in FIG. 8, the
その後、第1のピーク検出部16aは、ステップS101で検出された顔の脈波波形から微分係数の符号が正から負へ変化するゼロクロス点、すなわちピークを示す極大点を検出できたか否かを判定する(ステップS102)。なお、顔の脈波波形からピークが検出できなかった場合(ステップS102No)には、ステップS103の処理は行わずにステップS104の処理へ移行する。
Thereafter, the
このとき、顔の脈波波形からピークが検出できた場合(ステップS102Yes)には、第1のピーク検出部16aは、ステップS102で顔の脈波のピークが出現したサンプリング点の時間を図示しない内部メモリに登録する(ステップS103)。
At this time, when a peak can be detected from the pulse wave waveform of the face (Yes in step S102), the
続いて、第2の取得部12bおよび第2の波形検出部15bは、アウトカメラ11bによって撮像された指画像から指の脈波を検出する「第2の検出処理」を実行する(ステップS104)。
Subsequently, the
その後、第2のピーク検出部16bは、ステップS104で検出された指の脈波波形から微分係数の符号が正から負へ変化するゼロクロス点、すなわちピークを示す極大点を検出できたか否かを判定する(ステップS105)。なお、指の脈波からピークが検出できなかった場合(ステップS105No)には、ステップS103の処理は行わずにステップS101の処理へ戻り、第1の検出処理を実行する。
Thereafter, the
このとき、指の脈波波形からピークが検出できた場合(ステップS105Yes)には、遅延量算出部17は、顔の脈波のピーク時間が内部メモリに登録済みであるか否かを判定する(ステップS106)。なお、顔の脈波のピーク時間が登録済みでない場合(ステップS106No)にも、ステップS101の処理へ戻り、第1の検出処理を実行する。
At this time, when a peak can be detected from the pulse waveform of the finger (Yes in step S105), the delay
ここで、顔の脈波のピーク時間が登録済みである場合(ステップS106Yes)には、遅延量算出部17は、顔の脈波と指の脈波との間でのピーク時間の時間差である遅延量Tdを算出する(ステップS107)。
Here, when the peak time of the facial pulse wave has been registered (step S106 Yes), the delay
続いて、伝播速度算出部18は、ステップS107で算出された遅延量とともに、内部メモリに設定された距離差Lを上記の式(7)へ代入することによって脈波伝播速度Vpを算出する(ステップS108)。さらに、血圧算出部19は、ステップS108で算出された脈波伝播速度Vpを上記の式(8)へ代入することによって血圧を算出する(ステップS109)。
Subsequently, the propagation
その後、ステップS108で算出された脈波伝播速度Vp及びステップS109で算出された血圧Pを所定の出力先へ出力した上で内部メモリに登録されているピーク時間を削除し、処理を終了する(ステップS110)。なお、ここでは、ピーク時間の削除後に処理を終了する場合を例示したが、ステップS101へ戻り、脈波伝播速度Vp及び血圧Pの出力を繰り返し実行することとしてもかまわない。 After that, the pulse wave velocity Vp calculated in step S108 and the blood pressure P calculated in step S109 are output to a predetermined output destination, the peak time registered in the internal memory is deleted, and the process is terminated ( Step S110). Here, the case where the process is terminated after the peak time is deleted has been illustrated, but the process may return to step S101 and repeatedly output the pulse wave velocity Vp and blood pressure P.
図8に示したフローチャートでは、第1の検出処理を実行した後に第2の検出処理を実行する場合を例示したが、これらの処理の順序は逆であってもよいし、両者を並行して実行することとしてもよい。この場合には、顔の脈波のピーク時間と指の脈波のピーク時間が内部メモリに登録済みである場合に、ステップS107以降の処理を実行することとすればよい。 In the flowchart shown in FIG. 8, the case where the second detection process is executed after the first detection process is executed is illustrated, but the order of these processes may be reversed, or both may be performed in parallel. It may be executed. In this case, when the facial pulse wave peak time and the finger pulse wave peak time have already been registered in the internal memory, the processing after step S107 may be executed.
図8に示したフローチャートでは、脈波伝播速度および血圧の両方を算出する場合を例示したが、必ずしも両方とも算出せずともよく、いずれか一方に絞って算出することとしてもかまわない。 In the flowchart shown in FIG. 8, the case where both the pulse wave velocity and the blood pressure are calculated has been illustrated, but it is not always necessary to calculate both, and it is also possible to calculate only one of them.
(2)第1の検出処理
図9は、実施例1に係る第1の検出処理の手順を示すフローチャートである。この処理は、図8に示したステップS101に対応する処理であり、血流指標算出装置10の利用者によって血流指標算出プログラムが起動された場合に、処理が起動される。
(2) First Detection Process FIG. 9 is a flowchart illustrating the procedure of the first detection process according to the first embodiment. This process is a process corresponding to step S101 shown in FIG. 8, and is started when the blood flow index calculation program is started by the user of the blood flow
図9に示すように、インカメラ11aは、利用者の顔を撮影し(ステップS201)、第1の取得部12aは、ステップS201で撮影された顔の画像を取得する(ステップS202)。
As shown in FIG. 9, the in-
続いて、抽出部13は、ステップS201で取得された画像にテンプレートマッチング等の画像処理を実行することによって所定の顔パーツ、例えば利用者の目、鼻、唇、頬や髪などを含む顔領域を抽出する(ステップS203)。
Subsequently, the
そして、抽出部13は、ステップS203で抽出された顔領域に含まれる各画素が持つ画素値の代表値をG成分およびR成分の波長成分ごとに算出する(ステップS204)。この結果、顔領域のR成分の代表値であるR信号がBPF152R及びBPF156Rへ出力されるとともに、顔領域のG成分の代表値であるG信号がBPF152G及びBPF156Gへ出力されることになる。
Then, the
続いて、BPF152Rは、R信号の特定周波数帯、例えば0.05Hz以上0.3Hz以下の周波数帯の信号成分を抽出する一方で、BPF152Gは、G信号の特定周波数帯の信号成分を抽出する(ステップS205A)。
Subsequently, the
そして、抽出部153Rは、R信号の特定周波数帯の信号成分の絶対強度値を抽出する一方で、抽出部153Gは、G信号の特定周波数帯の信号成分の絶対強度値を抽出する(ステップS206)。
The
その後、LPF154Rは、R信号の特定周波数帯の絶対強度値の時系列データに対し、時間変化に応答させる平滑化処理を実行する一方で、LPF154Gは、G信号の特定周波数帯の絶対強度値の時系列データに対し、時間変化に応答させる平滑化処理を実行する(ステップS207)。
After that, the
続いて、算出部155は、LPF154Gによって出力されたG信号の特定周波数帯の絶対値強度G´nを、LPF154Rによって出力されたR信号の特定周波数帯の絶対値強度R´nで除する除算「G´n/R´n」を実行することによって補正係数kを算出する(ステップS208)。
Subsequently, the
上記のステップS205Aの処理に並行して、BPF156Rは、R信号の脈波周波数帯、例えば0.5Hz以上4Hz以下の周波数帯の信号成分を抽出する一方で、BPF156Gは、G信号の脈波周波数帯の信号成分を抽出する(ステップS205B)。
In parallel with the processing in step S205A, the BPF 156R extracts a pulse wave frequency band of the R signal, for example, a signal component in a frequency band of 0.5 Hz to 4 Hz, while the
その後、乗算部157は、ステップS205Bで抽出されたR信号の脈波周波数帯の信号成分にステップS208で算出された補正係数kを乗算する(ステップS209)。その上で、演算部158は、ステップS205Bで抽出されたG信号の脈波周波数帯の信号成分からステップS209で補正係数kが乗算されたR信号の脈波周波数帯の信号成分を差し引く演算「Gs−k*Rs」を実行し(ステップS210)、処理を終了する。
Thereafter, the
このように、上記のステップS210の演算によって得られた信号の時系列データは、顔の脈波波形に相当する。かかる顔の脈波信号の振幅値がフレーム周波数に対応するサンプリングレートで第1のピーク検出部16aへ入力される。
As described above, the time-series data of the signal obtained by the calculation in step S210 corresponds to the pulse wave waveform of the face. The amplitude value of the facial pulse wave signal is input to the
(3)第2の検出処理
図10は、実施例1に係る第2の検出処理の手順を示すフローチャートである。この処理は、図8に示したステップS104に対応する処理であり、第1の検出処理が終了した後に、処理が起動される。なお、第2の検出処理は、第1の検出処理が終了した後に限らず、第1の検出処理より先に実行されてもよいし、第1の検出処理と同時に実行されてもよい。
(3) Second Detection Process FIG. 10 is a flowchart illustrating the procedure of the second detection process according to the first embodiment. This process is a process corresponding to step S104 shown in FIG. 8, and is started after the first detection process is completed. Note that the second detection process is not limited to after the first detection process is completed, and may be executed prior to the first detection process or may be executed simultaneously with the first detection process.
図10に示すように、アウトカメラ11bは、利用者の指を撮影し(ステップS301)、第2の取得部12bは、ステップS301で撮影された指の画像を取得する(ステップS302)。続いて、第2の波形検出部15bは、ステップS302で取得された指の画像の各画素が持つ画素値のG成分の代表値を算出する(ステップS303)。
As shown in FIG. 10, the out-
その後、第2の波形検出部15bは、G成分の代表値を振幅値とするG信号の脈波周波数帯の信号成分を抽出する(ステップS304)。ステップS304の抽出によって得られた信号の時系列データは、指の脈波の波形に相当する。このように、第2の波形検出部15bは、指の脈波を検出し、処理を終了する。
Thereafter, the
[実施例1の効果]
上述してきたように、本実施例に係る血流指標算出装置10は、2つのカメラのうちインカメラ11aの画像から顔の脈波を検出するとともにアウトカメラ11bの画像から指の脈波を検出し、2つの脈波間での遅延量から血流に関する指標を算出する。このため、本実施例に係る血流指標算出装置10では、一般の携帯端末が有するハードウェアを流用して遅延量を始め、脈波伝播速度および血圧を算出できる。したがって、本実施例に係る血流指標算出装置10によれば、余計なハードウェアなしに血流に関する指標を算出できる。
[Effect of Example 1]
As described above, the blood flow
さらに、本実施例に係る血流指標算出装置10では、インカメラ11aおよびアウトカメラ11bによって撮像された2つの画像を用いて血流に関する指標を算出するので、一般の血圧計で血流に関する指標を測定する場合よりも装着等に伴って生じる煩わしさを抑制できる。例えば、本実施例に係る血流指標算出装置10では、一般の血圧計のように、被験者の腕にカフを装着する手間やカフで腕が圧迫される圧迫感などの煩わしさを抑制できる。加えて、本実施例に係る血流指標算出装置10では、余計なハードウェアを搭載せずともよいので、装置規模を常時携帯しやすい規模に抑えるとともに、装置のコストを抑えることができる。
Furthermore, in the blood flow
さて、上記の実施例1では、顔と指の間の遅延量を用いて脈波伝播速度および血圧を算出する場合を例示したが、利用者が顔画像および指画像の撮影時にとる姿勢によっては顔と指の相対的な高さが乖離し、脈波伝播速度や血圧の値が本来よりも高く算出されたり低く算出されたりする場合がある。そこで、本実施例では、顔と指との間の高さの差の大きさによって脈波伝播速度および血圧を補正する場合について説明する。 In the first embodiment, the case where the pulse wave velocity and the blood pressure are calculated using the delay amount between the face and the finger is exemplified. However, depending on the posture that the user takes when photographing the face image and the finger image. In some cases, the relative height between the face and the finger deviates, and the pulse wave velocity and blood pressure are calculated higher or lower than the original values. Therefore, in the present embodiment, a case will be described in which the pulse wave velocity and the blood pressure are corrected based on the height difference between the face and the finger.
[血流指標算出装置の構成]
図11は、実施例2に係る血流指標算出装置の機能的構成を示すブロック図である。図11に示す血流指標算出装置20は、図1に示した血流指標算出装置10と比較して、加速度センサ21、傾き検出部22、距離算出部23、高さ算出部24及び補正部25をさらに有する点が相違する。なお、図11には、図1に示した機能部と同様の機能を発揮する機能部に同一の符号を付し、その説明を省略することとする。
[Configuration of blood flow index calculation device]
FIG. 11 is a block diagram illustrating a functional configuration of the blood flow index calculation device according to the second embodiment. Compared with the blood flow
加速度センサ21は、血流指標算出装置20の加速度を検出するセンサである。かかる加速度センサ21の一態様としては、X軸方向、Y軸方向、Z軸方向の加速度を計測する3軸加速度センサを採用できる。このように加速度センサ21によって計測される3軸方向のセンサ値は、図示しないA/D変換器によってデジタル値に変換された後に傾き検出部22へ出力される。なお、加速度の計測方式には、半導体式を始め、機械式や光学式などの任意の方式を採用できる。
The
傾き検出部22は、血流指標算出装置20の傾きを検出する処理部である。ここで言う「傾き」とは、鉛直方向に対するインカメラ11aの設置面、すなわち液晶ディスプレイ面の傾きを指す。例えば、傾きは、血流指標算出装置20が鉛直からインカメラ11aの設置面の方へ向けて傾けられる場合に正の値を採り、また、鉛直からアウトカメラ11bのある背面の方向へ傾けられる場合に負の値を採ることとする。一態様としては、傾き算出部22は、加速度センサ21によって加速度が検出される度に、当該加速度を用いて、内部メモリに記憶された傾きを更新することによって最新の傾きを内部メモリに保持させる。
The
距離算出部23は、第1の生体とインカメラ11aとの間の距離を算出する処理部である。一態様としては、距離算出部23は、下記の式(9)を計算することによって利用者の顔とインカメラ11aとの間の距離Dを算出する。
The
D=D0*Q/Q0・・・(9) D = D0 * Q / Q0 (9)
ここで、上記の式(9)における「D0」及び「Q0」は、予めキャリブレーションされるパラメータである。このうち、「D0」は、顔とインカメラ11aの間の距離を指す。また、「Q0」は、顔とインカメラ11aの間の距離が距離D0である場合にインカメラ11aによって撮像された顔画像上の複数の特徴点間の画素数を指す。例えば、特徴点には、両目のペアを始め、鼻と口のペア、両耳のペアなどのように、任意の顔パーツの組合せを採用できる。一例として、両目の特徴点間の画素数を求める場合には、両目の特徴点として右目の中心点や左目の中心点を含めて特徴点の抽出を実行できるパターンマッチングのアルゴリズムを抽出部13に採用させる。その上で、顔とインカメラ11aが距離D0を隔てて撮影された顔画像から抽出された右目の中心点及び左目の中心点の間で画素数を計数することによって上記の「Q0」を得ることができる。このようにしてD0及びQ0が予めキャリブレーションされる。
Here, “D0” and “Q0” in the above equation (9) are parameters to be calibrated in advance. Among these, “D0” indicates the distance between the face and the in-
また、上記の式(9)における「Q」は、顔とインカメラ11aの間の距離が距離Dである場合にインカメラ11aによって撮像された顔画像上の複数の特徴点間の画素数を指す。かかる「Q」は、上記の「Q0」のように、予めキャリブレーションされた値ではなく、脈波伝播速度および血圧を補正する場合に当該脈波伝播速度及び当該血圧の算出に用いられる顔画像から特徴点間の画素数を抽出部13に計測させることによって得られる。
Further, “Q” in the above equation (9) represents the number of pixels between a plurality of feature points on the face image captured by the in-
このように、上記の式(9)のパラメータのうちD0及びQ0は予めキャリブレーションされており、Qは、抽出部13によって脈波伝播速度及び血圧の算出に用いられる顔画像から計測させることができる。よって、距離算出部23は、抽出部13によって顔画像から生体領域が抽出された段階で特徴点間の距離Qを取得し、上記の式(9)へ代入することによって顔およびインカメラ11aの間の距離Dを算出することができる。
Thus, D0 and Q0 among the parameters of the above equation (9) are calibrated in advance, and Q can be measured from the face image used for calculating the pulse wave velocity and blood pressure by the
高さ算出部24は、第1の生体とインカメラ11aとの間の高さの差を算出する処理部である。一態様としては、高さ算出部24は、傾き検出部22によって検出されたインカメラ11aの設置面の傾きθと距離算出部23によって算出された距離Dとを用いて、顔とインカメラ11aとの間の高さの差Hを算出する。
The
図12は、顔及びインカメラ11aの高さの差の算出方法の一例を示す図である。図12には、インカメラ11aが利用者の目の位置よりも高くに掲げて顔画像や指画像が撮影されるシーンが図示されているが、インカメラ11aが利用者の目の位置よりも低くに掲げる場合の算出方法も同様である。なお、図12に示す「θ」は、インカメラ11aの設置面の傾きを指し、「D」は、利用者の顔とインカメラ11aとの間の距離を指し、「H」は、利用者の顔とインカメラ11aとの間の高さの差を指す。
FIG. 12 is a diagram illustrating an example of a method for calculating a difference in height between the face and the in-
図12に示すように、利用者が利用者自身を撮影する場合には、インカメラ11aの設置面を利用者の顔と正対させた上で撮影すると想定できる。この場合には、インカメラ11aの設置面の鉛直方向からの傾きθは、利用者の顔及びインカメラ11aを結ぶ直線と水平方向の直線とがなす角度と等しいとみなすことができる。したがって、利用者の顔とインカメラ11aとの間の高さの差Hは、下記の式(10)に示すように、三角比の正弦をとることによって利用者の顔とインカメラ11aとの間の距離D及びsinθの積で表すことができる。
As shown in FIG. 12, when the user photographs the user himself, it can be assumed that the user installs the in-
H=D*Sinθ・・・(10) H = D * Sinθ (10)
このように導出される式(10)を用いて、高さ算出部24は、顔とインカメラ11aとの間の高さの差Hを算出できる。すなわち、高さ算出部24は、傾き検出部22によって検出されたインカメラ11aの設置面の傾きθと距離算出部23によって算出された距離Dとを上記の式(10)へ代入することによって算出できる。例えば、利用者が寝そべりながら脈波伝播速度や血圧を測定する場合には、血流指標算出装置20を顔よりも高く掲げた状態で顔画像を撮影することになる。この場合には、傾きθは正の値となるので、高さの差Hも正の値をとることになる。一方、利用者が座りながら脈波伝播速度や血圧を測定する場合には、血流指標算出装置20を胸のあたりで持ちながら液晶ディスプレイをながめる状態で顔画像を撮影することになる。この場合には、傾きθは負の値となるので、高さの差Hも負の値をとることになる。
Using the expression (10) derived in this way, the
補正部25は、血流に関する指標の値を補正する処理部である。一態様としては、補正部25は、高さ算出部24によって算出された高さの差Hを用いて、血圧算出部19によって算出された血圧の値を補正する。例えば、補正部25は、下記の式(11)を計算することによって血圧の値を補正できる。下記の式(11)における「Ps」は、補正後の血圧の値を指し、「P」は、補正前の血圧の値を指す。また、「C」は、補正係数を指し、「H」は、利用者の顔とインカメラ11aとの間の高さの差を指す。なお、補正係数「C」には、事前にキャリブレーションを行うことによって得られた値(定数)が設定される。
The
Ps=P+C*H・・・(11) Ps = P + C * H (11)
ここで、上記の式(11)において、補正前の血圧Pには、血圧算出部19によって算出された値が代入され、高さの差Hには、高さ算出部24によって算出された値が代入される。また、補正係数「C」も、予め設定される既知の値である。このため、補正部25は、上記の式(11)によって補正後の血圧の値を算出できる。なお、ここでは、血圧の補正式を例示したが、同様の趣旨から、補正前の脈波伝播速度Vpに予めキャリブレーションされた補正係数Eを乗算する下記の式(12)を用いて補正後の脈波伝播速度Vpsを算出することもできる。
Here, in the above equation (11), the value calculated by the blood
Vps=Vp+E*H・・・(12) Vps = Vp + E * H (12)
例えば、利用者が寝そべりながら脈波伝播速度や血圧を測定する場合には、血流指標算出装置20を顔よりも高く掲げた状態で顔画像を撮影することになる。かかる状態では、顔と指の高さが同じである場合に比べて、腕の圧力が減少するので、脈波伝播速度や血圧が低く算出されることもある。かかる場合には、正の値が算出された高さの差Hに補正係数Cが乗算された値が補正前の血圧Pに加算されるので、顔と指の高さが同一である場合に算出された血圧と同等の値へ補正できる。また、正の値が算出された高さの差Hに補正係数Eが乗算された値が補正前の脈波伝播速度Vpに加算されるので、顔と指の高さが同一である場合に算出された脈波伝播速度と同等の値へ補正できる。
For example, when measuring the pulse wave velocity and blood pressure while lying down, the user captures a face image with the blood flow
一方、利用者が座りながら脈波伝播速度や血圧を測定する場合には、血流指標算出装置20を胸のあたりで持ちながら液晶ディスプレイをながめる状態で顔画像を撮影することになる。かかる状態では、顔と指の高さが同じである場合に比べて、腕の圧力が増加するので、脈波伝播速度や血圧が高く算出されることもある。かかる場合には、負の値が算出された高さの差Hに補正係数Cが乗算された値が補正前の血圧Pから減算されるので、顔と指の高さが同一である場合に算出された血圧と同等の値へ補正できる。また、負の値が算出された高さの差Hに補正係数Eが乗算された値が補正前の脈波伝播速度Vpから減算されるので、顔と指の高さが同一である場合に算出された脈波伝播速度と同等の値へ補正できる。
On the other hand, when the pulse wave velocity and blood pressure are measured while the user is sitting, the face image is photographed while looking at the liquid crystal display while holding the blood flow
なお、上記の距離算出部23と、高さ算出部24と、補正部25とは、CPUやMPUなどに血流指標算出プログラムを実行させることによって実現できる。また、上記の各機能部は、ASICやFPGAなどのハードワイヤードロジックによっても実現できる。
In addition, said
[処理の流れ]
続いて、本実施例に係る血流指標算出装置20の処理の流れについて説明する。なお、血流指標算出装置20によって実行される血流指標算出処理は、実施例1に係る血流指標算出処理と同様であるので説明を省略し、血流指標算出処理後に実行される血流指標補正処理について説明することとする。
[Process flow]
Subsequently, a flow of processing of the blood flow
図13は、実施例2に係る血流指標補正処理の手順を示すフローチャートである。この血流指標補正処理は、血流指標算出処理によって脈波伝播速度および血圧が算出された場合に、処理が起動される。 FIG. 13 is a flowchart illustrating a procedure of blood flow index correction processing according to the second embodiment. This blood flow index correction process is started when the pulse wave velocity and blood pressure are calculated by the blood flow index calculation process.
図13に示すように、血流指標算出処理によって脈波伝播速度および血圧が算出されると、傾き検出部22は、加速度センサ21によって算出された加速度を用いて、インカメラ11aの鉛直からの傾きθを検出する(ステップS401)。その後、距離算出部23は、抽出部13によって顔画像から抽出された特徴点間の距離Qを式(9)へ代入することによって、利用者の顔とインカメラ11aとの間の距離Dを算出する(ステップS402)。
As shown in FIG. 13, when the pulse wave velocity and blood pressure are calculated by the blood flow index calculation process, the
続いて、高さ算出部24は、ステップS401で検出された傾きθとステップS402で算出された距離Dとを上記の式(10)へ代入することによって、利用者の顔とインカメラ11aとの間の高さの差Hを算出する(ステップS403)。
Subsequently, the
その後、補正部25は、ステップS403で算出された高さの差Hと、補正前の脈波伝播速度Vpとを上記の式(12)へ代入することによって補正後の脈波伝播速度Vpsを算出する(ステップS404)。続いて、補正部25は、ステップS403で算出された高さの差Hと、補正前の血圧Pとを上記の(11)へ代入することによって補正後の血圧を算出し(ステップS405)、処理を終了する。
Thereafter, the correcting
[実施例2の効果]
上述してきたように、本実施例に係る血流指標算出装置20は、血流指標算出装置20の傾きと、第1の生体の画像から算出された第1の生体とインカメラ11aとの間の高さの差とを用いて、脈波伝播速度および血圧を補正する。このため、本実施例に係る血流指標算出装置20では、第1の生体と第2の生体との間で高さが違う場合でも、脈波伝播速度および血圧の検出精度が劣化しない。したがって、本実施例に係る血流指標算出装置20では、脈波伝播速度および血圧を高精度に算出できる。
[Effect of Example 2]
As described above, the blood flow
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。 Although the embodiments related to the disclosed apparatus have been described above, the present invention may be implemented in various different forms other than the above-described embodiments. Therefore, another embodiment included in the present invention will be described below.
[遅延量の算出]
上記の実施例1及び実施例2では、一定のフレーム周波数で撮像された顔画像および指画像から遅延量を算出する場合を例示したが、可変のフレーム周波数で撮像された顔画像および指画像から遅延量を算出することもできる。
[Calculation of delay amount]
In the first embodiment and the second embodiment described above, the case where the delay amount is calculated from the face image and the finger image captured at the constant frame frequency is exemplified. However, from the face image and the finger image captured at the variable frame frequency, The amount of delay can also be calculated.
すなわち、インカメラ11aおよびアウトカメラ11bのフレーム周波数を高くするほど時間分解能が上がるので、顔および指の脈波の検出精度を向上させることができるが、その分、演算する画像の枚数も多くなるので、処理負荷も増大する。特に、携帯端末のように、据置き型の情報処理装置よりも性能が低く低消費電力で動作が必要な装置で脈波伝播速度や血圧を算出する場合には、処理負荷の増大は端末の消費電力増大につながり、ひいては端末の電池駆動時間の減少につながる。
That is, since the time resolution increases as the frame frequency of the in-
このことから、本実施例では、フレーム周波数を高くすることによって処理負荷が増大するのを抑制するために、脈波波形のうちピークが出現する近傍はフレーム周波数を高く変更する一方で、ピークの近傍以外はフレーム周波数を低く変更する。 Therefore, in this embodiment, in order to suppress an increase in processing load by increasing the frame frequency, the vicinity of the peak where the peak appears in the pulse wave waveform is changed to a higher frame frequency while the peak frequency is increased. The frame frequency is changed to a lower value except in the vicinity.
図14は、複数のフレーム周波数の変更方法の一例を示すグラフである。図14には、インカメラ11aによって撮像された画像から検出された顔の脈波波形と顔の脈波の微分波形との2つの波形が図示されている。図14に示すグラフの縦軸は、信号強度(振幅)を指し、横軸は、時間を指す。なお、図14の例では、インカメラ11a及びアウトカメラ11bが約15Hz〜20Hz程度の第1のフレーム周波数Tc及び約60Hz程度の第2のフレーム周波数Tfで画像を撮像する能力を有する場合を想定して以下の説明を行う。
FIG. 14 is a graph illustrating an example of a method for changing a plurality of frame frequencies. FIG. 14 shows two waveforms, a facial pulse wave waveform detected from an image captured by the in-
血流指標算出装置10または20は、将来のピークの出現を予測する準備段階として、脈波波形から連続する2つのピークを検出する。この場合には、おおよその脈波周期を予測することができればよいので、インカメラ11aに利用者の顔を第1のフレーム周波数Tcで撮像させる。なお、脈波周期の予測には、顔の脈波または指の脈波の一方だけを検出すれば足りるので、ここでは、顔の脈波を脈波周期の予測に用いる場合について例示する。
The blood flow
すると、血流指標算出装置10または20は、第1のフレーム周波数Tcで撮像された顔画像から図14に示す顔の脈波波形および顔の脈波波形の微分波形が検出される。この場合には、顔の脈波波形の微分波形のピークはTp1の時点に出現した後にTp2の時点に出現する。このように、少なくとも連続する2つのピークが検出された場合に、下記の式(13)を用いて、将来にピークが出現する時間Tp3を予測する。下記の式(13)における「Tp1」は、1番目にピークが出現する時間を指し、「Tp2」は、2番目にピークが出現する時間を指すので、「Tp2―Tp1」は、脈波周期を意味する。また、「N」は、任意の整数であり、例えば、Nに1を代入することによってTp2の1周期後にピークが出現する時間を求めることができる。
Then, the blood flow
Tp3=Tp2+N*(Tp2−Tp1)・・・(13) Tp3 = Tp2 + N * (Tp2-Tp1) (13)
例えば、上記の式(13)において、第1のピーク検出部16aによって検出される値をTp1およびTp2へ代入し、Nには整数「1」を代入することによってTp2の1周期後に出現するピークの予測出現時間Tp3を算出できる。
For example, in the above formula (13), the value detected by the
このようにしてピークの予想出現時間Tp3が算出された後に、血流指標算出装置10または20は、脈波波形の振幅値を出力する度に、時間がピークの予測出現時間Tp3の所定の範囲、すなわちTp3±α以内であるか否かを判定する。このとき、血流指標算出装置10または20は、時間がピークの予測出現時間Tp3±α以内でない場合には、インカメラ11a及びアウトカメラ11bに第1のフレーム周波数Tcで顔画像および指画像を撮像させる。
After the predicted peak appearance time Tp3 is calculated in this manner, the blood flow
一方、血流指標算出装置10または20は、時間がピークの予測出現時間Tp3±α以内である場合には、インカメラ11a及びアウトカメラ11bに第2のフレーム周波数Tfで顔画像および指画像を撮像させる。この場合には、第1のフレーム周波数Tcよりも高い時間分解能で撮像された顔画像および指画像から顔の脈波および指の脈波を検出することができ、さらには、遅延量、脈波伝播速度や血圧を算出することができる。図14に示す例で言えば、実際には、上記の式(13)によってピークが予測された時間Tp3とは1フレーム異なる時間Tp3fにピークが検出されることになるが、かかる時間Tp3fも予測出現時間Tp3±αに含まれるので、時間分解能が高い状態でピークを検出できる。
On the other hand, when the time is within the peak predicted appearance time Tp3 ± α, the blood flow
このように、脈波波形のうちピークが出現する近傍はフレーム周波数を高く変更する一方でピークの近傍以外はフレーム周波数を低く変更するので、脈波のピーク検出を高精度化するとともにフレーム周波数の向上に伴って増加する処理負荷を抑制できる。 In this way, the vicinity of the peak where the peak appears in the pulse wave waveform changes the frame frequency to a higher value, while the frame frequency is changed to a lower value except for the vicinity of the peak. The processing load that increases with the improvement can be suppressed.
[血流指標算出プログラム]
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをスマートフォン、携帯電話機やPHSなどのコンピュータで実行することによって実現することができる。そこで、以下では、図15を用いて、上記の実施例と同様の機能を有する血流指標算出プログラムを実行するコンピュータの一例について説明する。
[Blood flow index calculation program]
The various processes described in the above embodiments can be realized by executing a prepared program on a computer such as a smartphone, a mobile phone, or a PHS. In the following, an example of a computer that executes a blood flow index calculation program having the same function as that of the above embodiment will be described with reference to FIG.
図15は、実施例1〜実施例3に係る血流指標算出プログラムを実行するコンピュータの一例について説明するための図である。図15に示すように、コンピュータ100は、操作部110aと、スピーカ110bと、インカメラ110cと、アウトカメラ110dと、ディスプレイ120と、通信部130とを有する。さらに、このコンピュータ100は、CPU150と、ROM170と、RAM180とを有する。これら110〜180の各部はバス140を介して接続される。
FIG. 15 is a schematic diagram illustrating an example of a computer that executes a blood flow index calculation program according to the first to third embodiments. As illustrated in FIG. 15, the
ROM170には、図15に示すように、上記の実施例1で示した第1の取得部12a、第2の取得部12b、抽出部13、第1の波形検出部15a、第2の波形検出部15b、血圧算出部17、伝播速度算出部18および血圧算出部19と同様の機能を発揮する血流指標算出プログラム170aが予め記憶される。また、ROM170には、上記の実施例2で示した第1の取得部12a、第2の取得部12b、抽出部13、第1の波形検出部15a、第2の波形検出部15b、遅延量算出部17、伝播速度算出部18、血圧算出部19、傾き検出部22、距離算出部23、高さ算出部24及び補正部25と同様の機能を発揮する血流指標算出プログラム170aが予め記憶されることとしてもかまわない。この血流指標算出プログラム170aについては、図1や図11に示した各々の機能部の各構成要素と同様、適宜統合又は分離しても良い。すなわち、ROM170に格納される各データは、常に全てのデータがROM170に格納される必要はなく、処理に必要なデータのみがROM170に格納されれば良い。
As shown in FIG. 15, the
そして、CPU150が、血流指標算出プログラム170aをROM170から読み出してRAM180に展開する。これによって、図15に示すように、血流指標算出プログラム170aは、血流指標算出プロセス180aとして機能する。この血流指標算出プロセス180aは、ROM170から読み出した各種データを適宜RAM180上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、血流指標算出プロセス180aは、図1や図11に示した機能部にて実行される処理、例えば図8〜図10や図13に示す処理を含む。また、CPU150上で仮想的に実現される各処理部は、常に全ての処理部がCPU150上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されれば良い。
Then, the
なお、上記の血流指標算出プログラム170aについては、必ずしも最初からROM170に記憶させておく必要はない。例えば、コンピュータ100に挿入されるメモリーカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ100がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、LAN、WANなどを介してコンピュータ100に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ100がこれらから各プログラムを取得して実行するようにしてもよい。
Note that the blood flow
10 血流指標算出装置
11a インカメラ
11b アウトカメラ
12a 第1の取得部
12b 第2の取得部
13 抽出部
15a 第1の波形検出部
15b 第2の波形検出部
16a 第1のピーク検出部
16b 第2のピーク検出部
17 遅延量算出部
18 伝播速度算出部
19 血圧算出部
DESCRIPTION OF
Claims (5)
第1のカメラによって第1の生体が撮像された画像から前記第1の生体の脈波を検出し、
第2のカメラによって前記第1の生体とは部位が異なる第2の生体が撮像された画像から前記第2の生体の脈波を検出し、
前記第1の生体の脈波と前記第2の生体の脈波との遅延量を算出し、
前記遅延量を用いて血流に関する指標を算出し、
前記第1のカメラを有する端末の傾きを検出し、
前記第1のカメラによって前記第1の生体が撮像された画像から前記第1の生体と前記第1のカメラとの間の距離を算出し、
前記端末の傾き及び前記第1の生体と前記第1のカメラとの間の距離から前記第1の生体と前記第1のカメラとの間の高さの差を算出し、
前記第1の生体と前記第1のカメラとの間の高さの差に基づいて、前記血流に関する指標を補正する
処理を実行させることを特徴とする血流指標算出プログラム。 On the computer,
Detecting a pulse wave of the first living body from an image of the first living body captured by the first camera;
A pulse wave of the second living body is detected from an image of a second living body that is different from the first living body by a second camera;
Calculating a delay amount between the pulse wave of the first living body and the pulse wave of the second living body;
Using the delay amount to calculate an index related to blood flow ,
Detecting the tilt of the terminal having the first camera;
Calculating a distance between the first living body and the first camera from an image of the first living body captured by the first camera;
Calculating a difference in height between the first living body and the first camera from an inclination of the terminal and a distance between the first living body and the first camera;
A blood flow index calculation program for executing a process of correcting an index relating to the blood flow based on a difference in height between the first living body and the first camera .
前記第1の生体の脈波または前記第2の生体の脈波から当該脈波の波形または当該脈波の微分波形のピークを算出し、
前記脈波の波形のピークまたは前記脈波の微分波形のピークから前記第1の生体の脈波および前記第2の生体の脈波のピークを予測する
処理をさらに実行させ、
前記第1の生体の脈波を検出する処理として、
前記ピークが予測された時刻から所定の範囲内である場合に、所定の範囲外である場合に前記第1のカメラによって用いられる第1の時間分解能よりも高い第2の時間分解能で前記第1のカメラによって前記第1の生体が撮像された画像から前記第1の生体の脈波を検出し、
前記第2の生体の脈波を検出する処理として、
前記ピークが予測された時刻から所定の範囲内である場合に、所定の範囲外である場合に前記第2のカメラによって用いられる第1の時間分解能よりも高い第2の時間分解能で前記第2のカメラによって前記第2の生体が撮像された画像から前記第2の生体の脈波を検出し、
前記遅延量を算出する処理として、
前記第2の時間分解能で撮像された画像から検出された第1の生体の脈波と、前記第2の時間分解能で撮像された画像から検出された第2の生体の脈波との遅延量を算出することを特徴とする請求項1に記載の血流指標算出プログラム。 In the computer,
From the pulse wave of the first living body or the pulse wave of the second living body, calculate the waveform of the pulse wave or the peak of the differential waveform of the pulse wave,
Further executing a process of predicting the pulse wave of the first living body and the peak of the pulse wave of the second living body from the peak of the waveform of the pulse wave or the peak of the differential waveform of the pulse wave,
As a process for detecting the pulse wave of the first living body,
When the peak is within a predetermined range from the predicted time, the first time resolution is higher than the first time resolution used by the first camera when the peak is outside the predetermined range. Detecting a pulse wave of the first living body from an image of the first living body captured by the camera of
As a process for detecting the pulse wave of the second living body,
When the peak is within a predetermined range from the predicted time, the second time resolution is higher than the first time resolution used by the second camera when the peak is out of the predetermined range. Detecting a pulse wave of the second living body from an image of the second living body captured by the camera of
As a process of calculating the delay amount,
The amount of delay between the pulse wave of the first living body detected from the image captured with the second time resolution and the pulse wave of the second living body detected from the image captured with the second time resolution. The blood flow index calculation program according to claim 1 , wherein the blood flow index calculation program is calculated.
前記第1のカメラによって前記第1の生体が撮像された画像に含まれる前記第1の生体領域を抽出し、
前記第1の生体領域に含まれる各画素の波長成分別の代表値の信号から、各波長成分の間で脈波が採り得る周波数帯以外の特定周波数帯の成分を抽出し、
各波長成分の間で前記特定周波数帯の成分の大きさを比較することによって、各波長成分の間で前記代表値の信号の差が演算される場合に当該代表値の信号へ乗算される補正係数であって前記特定周波数帯の成分が演算後に最小化される補正係数を算出し、
各波長成分の代表値の信号のうち少なくとも一方の信号に前記補正係数を乗算し、
前記補正係数の乗算後に各波長成分の間で前記代表値の信号の差を算出することによって前記特定周波数帯の成分が互いに相殺された信号の波形を検出する
ことを特徴とする請求項1または2に記載の血流指標算出プログラム。 As a process for detecting the pulse wave of the first living body,
Extracting the first living body region included in an image of the first living body captured by the first camera;
Extracting a component of a specific frequency band other than a frequency band in which a pulse wave can be taken between each wavelength component from a representative value signal for each wavelength component of each pixel included in the first biological region,
Correction by which the signal of the representative value is multiplied when the difference of the signal of the representative value is calculated between the wavelength components by comparing the magnitude of the component of the specific frequency band between the wavelength components Calculating a correction coefficient that is a coefficient and is minimized after the component of the specific frequency band is calculated;
Multiplying at least one of the signals of representative values of each wavelength component by the correction coefficient,
Claim 1 or, characterized in that to detect the waveform of the signal component of the specific frequency band is offset to one another by calculating a difference between the signal of the representative value among the wavelength components after the multiplication of the correction coefficient 2. A blood flow index calculation program according to 2.
第2のカメラによって前記第1の生体とは部位が異なる第2の生体が撮像された画像から第2の生体の脈波を検出する第2の波形検出部と、
前記第1の生体の脈波と前記第2の生体の脈波との遅延量を算出する遅延量算出部と、
前記遅延量を用いて血流に関する指標を算出する血流指標算出部と、
前記第1のカメラを有する端末の傾きを検出する傾き検出部と、
前記第1のカメラによって前記第1の生体が撮像された画像から前記第1の生体と前記第1のカメラとの間の距離を算出する距離算出部と、
前記端末の傾き及び前記第1の生体と前記第1のカメラとの間の距離から前記第1の生体と前記第1のカメラとの間の高さの差を算出する高さ算出部と、
前記第1の生体と前記第1のカメラとの間の高さの差に基づいて、前記血流に関する指標を補正する補正部と
を有することを特徴とする血流指標算出装置。 A first waveform detector that detects a pulse wave of the first living body from an image obtained by imaging the first living body by the first camera;
A second waveform detector that detects a pulse wave of the second living body from an image obtained by imaging a second living body that is different from the first living body by the second camera;
A delay amount calculation unit for calculating a delay amount between the pulse wave of the first living body and the pulse wave of the second living body;
A blood flow index calculation unit that calculates an index related to blood flow using the delay amount ;
An inclination detecting unit for detecting an inclination of a terminal having the first camera;
A distance calculation unit that calculates a distance between the first living body and the first camera from an image obtained by capturing the first living body by the first camera;
A height calculation unit that calculates a difference in height between the first living body and the first camera from an inclination of the terminal and a distance between the first living body and the first camera;
A blood flow index calculation apparatus comprising: a correction unit that corrects an index related to the blood flow based on a difference in height between the first living body and the first camera .
第1のカメラによって第1の生体が撮像された画像から前記第1の生体の脈波を検出し、
第2のカメラによって前記第1の生体とは部位が異なる第2の生体が撮像された画像から前記第2の生体の脈波を検出し、
前記第1の生体の脈波と前記第2の生体の脈波との遅延量を算出し、
前記遅延量を用いて血流に関する指標を算出し、
前記第1のカメラを有する端末の傾きを検出し、
前記第1のカメラによって前記第1の生体が撮像された画像から前記第1の生体と前記第1のカメラとの間の距離を算出し、
前記端末の傾き及び前記第1の生体と前記第1のカメラとの間の距離から前記第1の生体と前記第1のカメラとの間の高さの差を算出し、
前記第1の生体と前記第1のカメラとの間の高さの差に基づいて、前記血流に関する指標を補正する
処理を実行することを特徴とする血流指標算出方法。 Computer
Detecting a pulse wave of the first living body from an image of the first living body captured by the first camera;
A pulse wave of the second living body is detected from an image of a second living body that is different from the first living body by a second camera;
Calculating a delay amount between the pulse wave of the first living body and the pulse wave of the second living body;
Using the delay amount to calculate an index related to blood flow ,
Detecting the tilt of the terminal having the first camera;
Calculating a distance between the first living body and the first camera from an image of the first living body captured by the first camera;
Calculating a difference in height between the first living body and the first camera from an inclination of the terminal and a distance between the first living body and the first camera;
A blood flow index calculation method , comprising: executing a process of correcting an index relating to the blood flow based on a difference in height between the first living body and the first camera .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013075348A JP6167614B2 (en) | 2013-03-29 | 2013-03-29 | Blood flow index calculation program, blood flow index calculation device, and blood flow index calculation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013075348A JP6167614B2 (en) | 2013-03-29 | 2013-03-29 | Blood flow index calculation program, blood flow index calculation device, and blood flow index calculation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014198198A JP2014198198A (en) | 2014-10-23 |
JP6167614B2 true JP6167614B2 (en) | 2017-07-26 |
Family
ID=52355509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013075348A Expired - Fee Related JP6167614B2 (en) | 2013-03-29 | 2013-03-29 | Blood flow index calculation program, blood flow index calculation device, and blood flow index calculation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6167614B2 (en) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6308742B2 (en) * | 2013-09-13 | 2018-04-11 | 旭化成株式会社 | Blood pressure information output device, blood pressure information output program, medium, blood pressure information output method |
JP6683367B2 (en) * | 2015-03-30 | 2020-04-22 | 国立大学法人東北大学 | Biological information measuring device, biological information measuring method, and biological information measuring program |
WO2016158624A1 (en) * | 2015-03-30 | 2016-10-06 | 国立大学法人東北大学 | Biological information measurement device, biological information measurement method, biological information display device and biological information display method |
WO2016163019A1 (en) * | 2015-04-10 | 2016-10-13 | 株式会社日立製作所 | Biological information analyzing system |
US10398328B2 (en) * | 2015-08-25 | 2019-09-03 | Koninklijke Philips N.V. | Device and system for monitoring of pulse-related information of a subject |
JP6620999B2 (en) * | 2017-11-30 | 2019-12-18 | 国立大学法人東北大学 | Biological information measuring device, biological information measuring program, and biological information measuring method |
JP2020025627A (en) * | 2018-08-09 | 2020-02-20 | ソニー株式会社 | Biological information acquisition device, head mounted information presentation device, and biological information acquisition method |
WO2020158804A1 (en) * | 2019-02-01 | 2020-08-06 | シャープ株式会社 | Blood pressure measurement device, model setting device, and blood pressure measurement method |
WO2020246480A1 (en) * | 2019-06-04 | 2020-12-10 | 国立大学法人東北大学 | Blood pressure estimation device, blood pressure estimation method, and blood pressure estimation program |
US20220322951A1 (en) * | 2019-06-07 | 2022-10-13 | Daikin Industries, Ltd. | Determination system |
JP7483206B2 (en) * | 2020-03-25 | 2024-05-15 | 株式会社アイシン | BLOOD PRESSURE MEASUREMENT DEVICE, MOBILE TERMINAL, AND BLOOD PRESSURE MEASUREMENT PROGRAM |
JP2021153611A (en) * | 2020-03-25 | 2021-10-07 | 株式会社エクォス・リサーチ | Blood pressure measuring device, portable terminal, and blood pressure measuring program |
JP2021153610A (en) * | 2020-03-25 | 2021-10-07 | 株式会社エクォス・リサーチ | Blood pressure measuring device, portable terminal, and blood pressure measuring program |
WO2024070918A1 (en) * | 2022-09-29 | 2024-04-04 | シャープ株式会社 | Terminal device, terminal device control method and program |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3683255B2 (en) * | 2003-02-28 | 2005-08-17 | コーリンメディカルテクノロジー株式会社 | Pulse wave velocity information measuring device |
JP2005218507A (en) * | 2004-02-03 | 2005-08-18 | Tama Tlo Kk | Method and apparatus for measuring vital sign |
JP2007319246A (en) * | 2006-05-30 | 2007-12-13 | Sharp Corp | Electronic appliance and pulse wave detection method using this electronic appliance |
JP5332406B2 (en) * | 2008-08-28 | 2013-11-06 | 富士通株式会社 | Pulse measuring device, pulse measuring method and pulse measuring program |
JP5423102B2 (en) * | 2009-03-30 | 2014-02-19 | 富士通株式会社 | Physical strength determination device, physical strength determination method, physical strength determination program, and portable terminal device |
JP5672144B2 (en) * | 2011-05-20 | 2015-02-18 | 富士通株式会社 | Heart rate / respiration rate detection apparatus, method and program |
TW201309263A (en) * | 2011-08-19 | 2013-03-01 | 中原大學 | Measurement device and measurement method thereof for image-type pulse wave transduction velocity |
JP3180987U (en) * | 2012-11-02 | 2013-01-17 | 中原大學 | Imaging pulse wave velocity measuring device |
-
2013
- 2013-03-29 JP JP2013075348A patent/JP6167614B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014198198A (en) | 2014-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6167614B2 (en) | Blood flow index calculation program, blood flow index calculation device, and blood flow index calculation method | |
US10292602B2 (en) | Blood flow index calculating method, blood flow index calculating apparatus, and recording medium | |
US9854976B2 (en) | Pulse wave velocity measurement method | |
JP6098257B2 (en) | Signal processing apparatus, signal processing method, and signal processing program | |
JP6349075B2 (en) | Heart rate measuring device and heart rate measuring method | |
KR101777738B1 (en) | Estimating method for blood pressure using video | |
JP6102433B2 (en) | Pulse wave detection program, pulse wave detection method, and pulse wave detection device | |
JP6052027B2 (en) | Pulse wave detection device, pulse wave detection program, and pulse wave detection method | |
WO2016006027A1 (en) | Pulse wave detection method, pulse wave detection program, and pulse wave detection device | |
JP5915757B2 (en) | Pulse wave detection method, pulse wave detection device, and pulse wave detection program | |
JP6256488B2 (en) | Signal processing apparatus, signal processing method, and signal processing program | |
JP6052005B2 (en) | Pulse wave detection device, pulse wave detection method, and pulse wave detection program | |
JP7068339B2 (en) | Blood pressure measuring device and blood pressure measuring method | |
JP6115263B2 (en) | Pulse wave detection device, pulse wave detection method, and pulse wave detection program | |
JP6393984B2 (en) | Pulse measuring device, pulse measuring method and pulse measuring program | |
JP6135255B2 (en) | Heart rate measuring program, heart rate measuring method and heart rate measuring apparatus | |
JP6167615B2 (en) | Blood flow index calculation program, terminal device, and blood flow index calculation method | |
JP6020015B2 (en) | Pulse wave detection device, pulse wave detection program, and pulse wave detection method | |
JP6167849B2 (en) | Pulse wave detection device, pulse wave detection method, and pulse wave detection program | |
JP6488722B2 (en) | Pulse wave detection device, pulse wave detection method, and pulse wave detection program | |
JP2021023490A (en) | Biological information detection device | |
US9978144B2 (en) | Biological information measurement apparatus, biological information measurement method, and computer-readable recording medium | |
JP7314893B2 (en) | ELECTRONIC DEVICE, ELECTRONIC DEVICE CONTROL PROGRAM AND ELECTRONIC DEVICE CONTROL METHOD | |
Desai et al. | Heart rate monitor using mobile camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161021 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170530 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170612 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6167614 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |