JP6167615B2 - 血流指標算出プログラム、端末装置および血流指標算出方法 - Google Patents

Description

本発明は、血流指標算出プログラム、端末装置および血流指標算出方法に関する。

健康管理の一環として、脈波伝播速度や血圧の測定がなされている。例えば、血圧を測定する場合には、被験者の腕にカフを装着し、カフで腕を圧迫して動脈を閉塞し、その後、カフを減圧する過程で血管壁に生じる振動を用いて血圧を測定する。

しかしながら、上記の血圧計は、例えば、血圧を測定する手順が多いので面倒、装置自体が大きいので常時携帯しにくい、血圧の測定時に腕が加圧されるので煩わしいといった欠点がある。

このことから、利便性の向上を目的として、例えば、腕時計型血圧測定装置が提案されている。腕時計型血圧測定装置には、小型で日常的に携帯される腕時計に血圧を測定する機能が組み込まれる。腕時計型血圧測定装置は、左手首に装着され、フォトトランジスタと心電波を検出する電極である心電波検出電極とが横に並んで設けられている正面部の上に右手指先が置かれる。腕時計型血圧測定装置は、心電波検出電極の上に置かれた右手指先と心電波検出電極に接触している左手首とから心電波を検出し、フォトトランジスタの上に置かれた右手指先の血流から指の脈拍を検出する。そして、腕時計型血圧測定装置は、心電波が検出されてから指の脈拍が検出されるまでの遅延時間を測定し、遅延時間に基づいて血圧を算出する。

特開平４−２００４３９号公報 特開２００７−３１９２４６号公報

しかしながら、上記の技術は、余計なハードウェアなしには血圧を測定できない。

例えば、上記の腕時計型血圧測定装置は、心電波検出電極やフォトトランジスタなどといった一般の腕時計には組み込まれていない専用のハードウェアを用いて心電波と指の脈拍との間での遅延時間を測定する。このため、腕時計型血圧測定装置は、専用のハードウェアを搭載しないと遅延時間および血圧を測定できない。

なお、ここでは、血圧の測定について説明したが、遅延時間から求まる脈波伝播速度についても同様に専用のハードウェアを搭載しないと測定できない。

１つの側面では、余計なハードウェアなしに血流に関する指標を算出できる血流指標算出プログラム、端末装置および血流指標算出方法を提供することを目的とする。

一態様の血流指標算出プログラムは、端末装置に、前記端末装置が有するカメラによって被験者の生体の一部である第１の生体が撮像された画像から前記第１の生体の脈波を検出し、前記被験者が前記端末装置を保持しているときに、前記端末装置で発生する振動を検出し、前記端末装置で発生する振動から前記被験者の前記第１の生体とは部位が異なる第２の生体の脈波を検出し、前記第１の生体の脈波と前記第２の生体の脈波との遅延量を算出し、前記遅延量を用いて血流に関する指標を算出する処理を実行させる。

一実施形態によれば、余計なハードウェアなしに血流に関する指標を算出できる。

図１は、実施例１に係る端末装置の機能的構成を示すブロック図である。 図２は、撮影方法および検出方法の一例を示す図である。 図３は、Ｇ信号およびＲ信号の各信号のスペクトルの一例を示すグラフである。 図４は、Ｇ成分および補正係数ｋが乗算されたＲ成分の各信号のスペクトルの一例を示すグラフである。 図５は、演算後のスペクトルの一例を示すグラフである。 図６は、第１の波形検出部の機能的構成を示すブロック図である。 図７は、第２の生体の脈波検出方法の一例を示す図である。 図８は、顔の脈波および手の脈波の一例を示すグラフである。 図９は、実施例１に係る血流指標算出処理の手順を示すフローチャートである。 図１０は、実施例１に係る第１の検出処理の手順を示すフローチャートである。 図１１は、実施例１に係る第２の検出処理の手順を示すフローチャートである。 図１２は、実施例２に係る端末装置の機能的構成を示すブロック図である。 図１３は、実施例２に係る血流指標算出処理の手順を示すフローチャートである。 図１４は、実施例１〜実施例３に係る血流指標算出プログラムを実行するコンピュータの一例について説明するための図である。

以下に、本願の開示する血流指標算出プログラム、端末装置および血流指標算出方法の実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［端末装置の構成］
まず、本実施例に係る端末装置の機能的構成について説明する。図１は、実施例１に係る端末装置の機能的構成を示すブロック図である。図１に示す端末装置１０は、端末装置１０が持つカメラの画像から顔の脈波を検出すると共に、端末装置１０で発生する振動から手の脈波を検出し、脈波間での遅延量から血流に関する指標を算出する血流指標算出処理を実行するものである。ここで言う「脈波」とは、血液の体積の変動を指し、いわゆる心拍数や心拍波形などが含まれる。

一態様としては、端末装置１０は、パッケージソフトウェアやオンラインソフトウェアとして提供される血流指標算出プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、スマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信網に接続可能な移動体通信端末に上記の血流指標算出プログラムをインストールさせる。また、移動体通信網に接続可能な移動体通信端末に限らず、移動体通信網に接続する能力を持たないデジタルカメラやタブレット端末に上記の血流指標算出プログラムをインストールさせてもよい。これによって、移動体通信端末やタブレット端末等の携帯端末を端末装置１０として機能させることができる。なお、ここでは、端末装置１０の実装例として携帯端末を例示したが、パーソナルコンピュータを始めとする据置き型の端末装置に血流指標算出プログラムをインストールさせることもできる。

図１に示すように、端末装置１０は、カメラ１１ａと、加速度センサ１１ｂと、第１の取得部１２ａと、抽出部１３と、第１の波形検出部１５ａと、第２の波形検出部１５ｂとを有する。さらに、端末装置１０は、第１のピーク検出部１６ａと、第２のピーク検出部１６ｂと、遅延量算出部１７と、伝播速度算出部１８と、血圧算出部１９と、振動検出部２０と、心拍数算出部２１と、距離データ記憶部２２とを有する。なお、端末装置１０は、図１に示した機能部以外にも既知の携帯端末が有する各種の機能部を有することとしてもかまわない。例えば、端末装置１０は、タッチパネルやディスプレイなどの入出力デバイス、アンテナ、移動体通信網との接続を実行する無線通信部、ＧＰＳ（Global Positioning System）受信機などの機能部をさらに有していてもかまわない。

このうち、カメラ１１ａは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を搭載する撮像装置である。例えば、カメラ１１ａには、Ｒ（red）、Ｇ（green）、Ｂ（blue）など３種以上の受光素子を搭載することができる。かかるカメラ１１ａの実装例としては、携帯端末のスクリーンのある側に搭載されているカメラであるインカメラやスクリーンのある側とは背面に搭載されているカメラであるアウトカメラを採用できる。例えば、カメラ１１ａにインカメラを採用する場合には、携帯端末の利用者は、カメラ１１ａによって利用者自身の画像をスクリーンに映し、その写り具合を確認しながら撮影できる。なお、ここでは、端末装置１０がカメラ１１ａを有する場合を例示したが、ネットワークまたは記憶デバイスを経由して画像を取得できる場合には、必ずしも端末装置１０がカメラ１１ａを有さずともよい。

加速度センサ１１ｂは、端末装置１０の加速度を検出するセンサである。かかる加速度センサ１１ｂの一態様としては、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向の加速度を計測する３軸加速度センサを採用できる。このように加速度センサ１１ｂによって計測される３軸方向のセンサ値は、図示しないＡ／Ｄ変換器によってデジタル値に変換された後に振動検出部２０へ出力される。なお、加速度の計測方式には、半導体式を始め、機械式や光学式などの任意の方式を採用できる。

振動検出部２０は、端末装置１０で発生する振動を検出する処理部である。ここで言う「振動」には、例えば、乗り物の揺れ、端末装置１０を保持する手が動くことにより発生する揺れ及び端末装置１０を保持する手の脈波が起因となって発生する揺れなどの成分が含まれる。一態様としては、振動検出部２０は、加速度センサ１１ｂによって検出される３軸方向の加速度のうちいずれか１つの方向の加速度の積分を２回にわたって実行することによって端末装置１０が当該方向へ移動した変位、すなわち振動の振幅を検出する。例えば、振動検出部２０は、Ｚ軸方向の加速度を１つ前のサンプリング時間から当該加速度をサンプリングした時間までのサンプリング間隔で積分を２回にわたって実行し、端末装置１０が１つ前のサンプリング時間での位置からＺ軸方向へ移動した変位を算出する。このように、振動検出部２０は、端末装置１０の変位を算出することによって振動の振幅を検出する。そして、振動検出部２０は、振動の振幅値を図示しない内部メモリに記憶することによって時系列に振動の波形を内部メモリに保持させる。なお、振幅の検出に用いる加速度は、Ｚ軸方向の加速度に限らず、Ｘ軸方向の加速度またはＹ軸方向の加速度を用いてかまわない。

これらカメラ１１ａ及び加速度センサ１１ｂは、上記の血流指標算出プログラムが起動された場合に、画像の撮像と加速度の検出とを並行して実行することによって生体の撮影と端末装置１０で発生する振動の振幅値の検出とを同時に実行する。ここで、カメラ１１ａより加速度センサ１１ｂの方が一般にサンプリング周波数が低いので、画像の撮像および加速度の検出は、加速度センサ１１ｂのサンプリング周波数に同期して実行する。ここでは、一例として、カメラ１１ａによって被験者の顔が第１の生体として撮影されるとともに、加速度センサ１１ｂによって加速度が検出され、同時に、振動検出部２０によって加速度から振動の振幅値が検出される場合を想定して以下の説明を行う。

図２は、撮影方法および検出方法の一例を示す図である。図２に示すように、カメラ１１ａは、端末装置１０のスクリーン側を撮像範囲に収め、その撮像範囲内に存在する被写体を撮像する。このとき、端末装置１０のスクリーンには、カメラ１１ａが撮影する画像を表示しつつ、利用者の鼻を映す目標位置を照準として表示させることもできる。このように、利用者の目、耳、鼻や口などの顔パーツの中でも利用者の鼻が撮影範囲の中心部分に収まった画像を撮影できるようにガイダンスする。

一方、加速度センサ１１ｂは、端末装置１０の内部に搭載され、利用者の手振れなどによって発生する端末装置１０の振動の振幅値を検出するために加速度を検出する。このとき、加速度センサ１１ｂによって端末装置１０の加速度が検出されるように各種のガイダンスを行うことができる。例えば、端末装置１０が加速度を計測可能な上限値を超えて動かされている場合に、スクリーン上でカメラ１１ａによって撮像された利用者の顔の画像に「端末を動かさないで下さい」などのメッセージを重畳して表示させることもできる。また、当該メッセージをスピーカから音声出力させることもできる。これによって、端末装置１０の加速度が検出できるようにガイダンスする。そして、振動検出部２０は、加速度センサ１１ｂによって加速度が検出される度に、加速度から振動の振幅値を検出する。

ここで、端末装置１０は、カメラ１１ａによる画像の撮影と加速度センサ１１ｂによる加速度の検出とを同期して実行し、さらに、振動検出部２０による振動の振幅値の検出も同期して実行する。このため、カメラ１１ａによって撮像される画像のフレームと振動検出部２０によって検出される振動の振幅値との両者が対応付けられる。かかる対応付けによって、画像の撮影と振動の検出とが同一の時間に実行されたとして以降の処理に用いられる。

その後、カメラ１１ａによって撮像された顔の画像は、後述の第１の取得部１２ａへ出力されるとともに、振動検出部２０によって検出された振動の振幅値は、後述の第２の波形検出部１５ｂへ出力される。なお、ここでは、撮像後に顔の画像が第１の取得部１２ａへ出力される場合を例示したが、必ずしも顔の画像を直ちに第１の取得部１２ａへ出力せずともよい。例えば、図示しないフラッシュメモリやハードディスクなどの補助記憶装置またはメモリカードなどのリムーバブルメディアに顔の画像を一時的に保存することもできる。

図１の説明に戻り、第１の取得部１２ａは、第１の生体の画像を取得する処理部である。一態様としては、第１の取得部１２ａは、カメラ１１ａによって撮像された顔の画像を取得する。他の一態様としては、第１の取得部１２ａは、顔の画像を蓄積する補助記憶装置またはリムーバブルメディアから顔の画像を取得することもできる。更なる一態様としては、第１の取得部１２ａは、外部装置からネットワークを介して受信した顔の画像を取得することもできる。なお、第１の取得部１２ａは、ＣＣＤやＣＭＯＳなどの撮像素子による出力から得られる２次元のビットマップデータやベクタデータなどの画像データを用いて処理を実行する場合を例示したが、次の処理を実行させることとしてもよい。すなわち、第１の取得部１２ａは、１つのディテクタから出力される信号をそのまま取得して後段の処理を実行させることとしてもかまわない。

抽出部１３は、第１の取得部１２ａによって取得された第１の生体の画像から脈波の検出対象とする第１の生体の領域を抽出する処理部である。一態様としては、抽出部１３は、第１の取得部１２ａによって顔の画像が取得される度に、当該画像にテンプレートマッチング等の画像処理を実行することによって所定の顔パーツ、例えば利用者の目、鼻、唇、頬や髪などを含む顔領域を抽出する。

上記の顔領域の抽出後に、抽出部１３は、顔領域に含まれる各画素が持つ画素値に所定の統計処理を実行する。例えば、抽出部１３は、顔領域に含まれる各画素が持つ画素値を波長成分ごとに平均する。この他、平均値以外にも、中央値や最頻値を計算することとしてもよく、また、加重平均以外にも任意の平均処理、例えば加重平均や移動平均などを実行することもできる。これによって、顔領域に含まれる各画素が持つ画素値の平均値が当該顔領域を代表する代表値として波長成分ごとに算出される。

第１の波形検出部１５ａは、抽出部１３によって抽出された領域に含まれる各画素の波長成分別の代表値の信号から、各波長成分の間で脈波が採り得る脈波周波数帯以外の特定周波数帯の成分が互いに相殺された信号の波形を検出する処理部である。

一態様としては、第１の波形検出部１５ａは、画像に含まれる３つの波長成分、すなわちＲ成分、Ｇ成分およびＢ成分のうち血液の吸光特定が異なるＲ成分とＧ成分の２つの波長成分の代表値の時系列データを用いて、顔の脈波の波形を検出する。

これを説明すると、顔表面には、毛細血管が流れており、心拍により血管に流れる血流が変化すると、血流で吸収される光量も心拍に応じて変化するため、顔からの反射によって得られる輝度も心拍に伴って変化する。かかる輝度の変化量は小さいが、顔領域全体の平均輝度を求めると、輝度の時系列データには脈波成分が含まれる。ところが、輝度は、脈波以外に体動等によっても変化し、これが、脈波検出のノイズ成分、いわゆる体動アーチファクトとなる。そこで、血液の吸光特性の異なる２種類以上の波長、例えば吸光特性が高いＧ成分(５２５ｎｍ程度)、吸光特性が低いＲ成分(７００ｎｍ程度)で脈波を検出する。心拍は、０．５Ｈｚ〜４Ｈｚ、１分あたりに換算すれば３０ｂｐｍ〜２４０ｂｐｍの範囲であるので、それ以外の成分はノイズ成分とみなすことができる。ノイズには、波長特性は無い、あるいはあっても極小であると仮定すると、Ｇ信号およびＲ信号の間で０．５Ｈｚ〜４Ｈｚ以外の成分は等しいはずであるが、カメラの感度差により大きさが異なる。それゆえ、０．５Ｈｚ〜４Ｈｚ以外の成分の感度差を補正して、Ｇ成分からＲ成分を減算すれば、ノイズ成分は除去されて脈波成分のみを取り出すことができる。

例えば、Ｇ成分及びＲ成分は、下記の式（１）および下記の式（２）によって表すことができる。下記の式（１）における「Ｇｓ」は、Ｇ信号の脈波成分を指し、「Ｇｎ」は、Ｇ信号のノイズ成分を指し、また、下記の式（２）における「Ｒｓ」は、Ｒ信号の脈波成分を指し、「Ｒｎ」は、Ｒ信号のノイズ成分を指す。また、ノイズ成分は、Ｇ成分およびＲ成分の間で感度差があるので、感度差の補正係数ｋは、下記の式（３）によって表される。

Ｇａ＝Ｇｓ＋Ｇｎ・・・（１）
Ｒａ＝Ｒｓ＋Ｒｎ・・・（２）
ｋ＝Ｇｎ／Ｒｎ・・・（３）

感度差を補正してＧ成分からＲ成分を減算すると、脈波成分Ｓは、下記の式（４）となる。これを上記の式（１）及び上記の式（２）を用いて、Ｇｓ、Ｇｎ、Ｒｓ及びＲｎによって表される式へ変形すると、下記の式（５）となり、さらに、上記の式（３）を用いて、補正係数ｋを消し、式を整理すると下記の式（６）が導出される。

Ｓ＝Ｇａ−ｋＲａ・・・（４）
Ｓ＝Ｇｓ＋Ｇｎ−ｋ（Ｒｓ＋Ｒｎ）・・・（５）
Ｓ＝Ｇｓ−（Ｇｎ／Ｒｎ）Ｒｓ・・・（６）

ここで、Ｇ信号およびＲ信号は、吸光特性が異なり、Ｇｓ＞（Ｇｎ／Ｒｎ）Ｒｓである。したがって、上記の式（６）によってノイズが除去された脈波成分Ｓを算出することができる。

図３は、Ｇ信号およびＲ信号の各信号のスペクトルの一例を示す図である。図３に示すグラフの縦軸は、信号強度を指し、また、横軸は、周波数（ｂｐｍ）を指す。図３に示すように、Ｇ成分およびＲ成分は、撮像素子の感度が異なるので、両者の信号強度はそれぞれ異なる。その一方、Ｒ成分およびＧ成分は、いずれにおいても３０ｂｐｍ〜２４０ｂｐｍの範囲外、特に３ｂｐｍ以上２０ｂｐｍ未満の特定周波数帯でノイズが現れることには変わりはない。このため、図３に示すように、３ｂｐｍ以上２０ｂｐｍ未満の特定周波数帯に含まれる指定の周波数Ｆｎに対応する信号強度をＧｎ及びＲｎとして抽出できる。これらＧｎ及びＲｎによって感度差の補正係数ｋを導出できる。

図４は、Ｇ成分および補正係数ｋが乗算されたＲ成分の各信号のスペクトルの一例を示す図である。図４の例では、説明の便宜上、補正係数の絶対値を乗算した結果が図示されている。図４に示すグラフにおいても、縦軸は、信号強度を指し、また、横軸は、周波数（ｂｐｍ）を指す。図４に示すように、Ｇ成分及びＲ成分の各信号のスペクトルに補正係数ｋが乗算された場合には、Ｇ成分およびＲ成分の各成分の間で感度が揃う。特に、特定周波数帯におけるスペクトルの信号強度は、大部分においてスペクトルの信号強度が略同一になっている。その一方で、実際に脈波が含まれる周波数の周辺領域４００は、Ｇ成分およびＲ成分の各成分の間でスペクトルの信号強度が揃っていない。

図５は、演算後のスペクトルの一例を示す図である。図５では、脈波が現れている周波数帯の視認性を上げる観点から縦軸である信号強度の尺度を大きくして図示している。図５に示すように、Ｇ信号のスペクトルから補正係数ｋの乗算後のＲ信号のスペクトルが差し引かれた場合には、Ｇ成分およびＲ成分の間での吸光特性の差によって脈波が現れる信号成分の強度が可及的に維持された状態でノイズ成分が低減されていることがわかる。このようにしてノイズ成分だけが除去された脈波波形を検出することができる。

続いて、第１の波形検出部の機能的構成についてさらに具体的に説明する。図６は、第１の波形検出部の機能的構成を示すブロック図である。図６に示すように、第１の波形検出部１５ａは、ＢＰＦ（Band-Pass Filter）１５２Ｒ及び１５２Ｇと、抽出部１５３Ｒ及び１５３Ｇと、ＬＰＦ（Low-Pass Filter）１５４Ｒ及び１５４Ｇと、算出部１５５と、ＢＰＦ１５６Ｒ及び１５６Ｇと、乗算部１５７と、演算部１５８とを有する。なお、図３〜図５の例では、周波数空間にて脈波を検出する例を説明したが、図６では、周波数成分への変換にかかる時間を削減する観点から、時系列空間にてノイズ成分をキャンセルして脈波を検出する場合の機能的構成を図示している。

例えば、抽出部１３から第１の波形検出部１５ａには、顔領域に含まれる各画素が持つＲ成分の画素値の代表値を信号値とするＲ信号の時系列データが入力されるとともに、顔領域に含まれる各画素が持つＧ成分画素値の代表値を信号値とするＧ信号の時系列データが入力される。このうち、顔領域のＲ信号は、第１の波形検出部１５ａ内のＢＰＦ１５２Ｒ及びＢＰＦ１５６Ｒへ入力されるとともに、顔領域のＧ信号は、第１の波形検出部１５ａ内のＢＰＦ１５２Ｇ及びＢＰＦ１５６Ｇへ入力される。

ＢＰＦ１５２Ｒ、ＢＰＦ１５２Ｇ、ＢＰＦ１５６Ｒ及びＢＰＦ１５６Ｇは、いずれも所定の周波数帯の信号成分だけを通過させてそれ以外の周波数帯の信号成分を除去するバンドパスフィルタである。これらＢＰＦ１５２Ｒ、ＢＰＦ１５２Ｇ、ＢＰＦ１５６Ｒ及びＢＰＦ１５６Ｇは、ハードウェアによって実装されることとしてもよいし、ソフトウェアによって実装されることとしてもよい。

これらＢＰＦが通過させる周波数帯の違いについて説明する。ＢＰＦ１５２Ｒ及びＢＰＦ１５２Ｇは、ノイズ成分が他の周波数帯よりも顕著に現れる特定周波数帯の信号成分を通過させる。

かかる特定周波数帯は、脈波が採り得る周波数帯との間で比較することによって定めることができる。脈波が採り得る周波数帯の一例としては、０．５Ｈｚ以上４Ｈｚ以下である周波数帯、１分あたりに換算すれば３０ｂｐｍ以上２４０ｂｐｍ以下である周波数帯が挙げられる。このことから、特定周波数帯の一例としては、脈波として計測され得ない０．５Ｈｚ未満及び４Ｈｚ超過の周波数帯を採用することができる。また、特定周波数帯は、脈波が採り得る周波数帯との間でその一部が重複することとしてもよい。例えば、脈波として計測されることが想定しづらい０．７Ｈｚ〜１Ｈｚの区間で脈波が採り得る周波数帯と重複することを許容し、１Ｈｚ未満及び４Ｈｚ以上の周波数帯を特定周波数帯として採用することもできる。また、特定周波数帯は、１Ｈｚ未満及び４Ｈｚ以上の周波数帯を外縁とし、ノイズがより顕著に現れる周波数帯に絞ることもできる。例えば、ノイズは、脈波が採り得る周波数帯よりも高い高周波数帯よりも、脈波が採り得る周波数帯よりも低い低周波数帯でより顕著に現れる。このため、１Ｈｚ未満の周波数帯に特定周波数帯を絞ることもできる。また、空間周波数がゼロである直流成分の近傍には、各成分の撮像素子の感度の差が多く含まれるので、３ｂｐｍ以上６０ｂｐｍ未満の周波数帯に特定周波数帯を絞ることもできる。さらに、人の体の動き、例えば瞬きや体の揺れの他、環境光のチラツキなどのノイズが現れやすい３ｂｐｍ以上２０ｂｐｍ未満の周波数帯に特定周波数帯を絞ることもできる。

ここでは、一例として、ＢＰＦ１５２Ｒ及びＢＰＦ１５２Ｇが特定周波数帯として０．０５Ｈｚ以上０．３Ｈｚ以下の周波数帯の信号成分を通過させる場合を想定して以下の説明を行う。なお、ここでは、特定周波数帯の信号成分を抽出するために、バンドパスフィルタを用いる場合を例示したが、一定の周波数未満の周波数帯の信号成分を抽出する場合などには、ローパスフィルタを用いることもできる。

一方、ＢＰＦ１５６Ｒ及びＢＰＦ１５６Ｇは、脈波が採り得る周波数帯、例えば１Ｈｚ以上４Ｈｚ以下の周波数帯の信号成分を通過させる。なお、以下では、脈波が採り得る周波数帯のことを「脈波周波数帯」と記載する場合がある。

抽出部１５３Ｒは、Ｒ信号の特定周波数帯の信号成分の絶対強度値を抽出する。例えば、抽出部１５３Ｒは、Ｒ成分の特定周波数帯の信号成分をべき乗する乗算処理を実行することによって特定周波数帯の信号成分の絶対強度値を抽出する。また、抽出部１５３Ｇは、Ｇ信号の特定周波数帯の信号成分の絶対強度値を抽出する。例えば、抽出部１５３Ｇは、Ｇ成分の特定周波数帯の信号成分をべき乗する乗算処理を実行することによって特定周波数帯の信号成分の絶対強度値を抽出する。

ＬＰＦ１５４Ｒ及びＬＰＦ１５４Ｇは、特定周波数帯の絶対強度値の時系列データに対し、時間変化に応答させる平滑化処理を実行するローパスフィルタである。これらＬＰＦ１５４Ｒ及びＬＰＦ１５４Ｇは、ＬＰＦ１５４Ｒへ入力される信号がＲ信号であり、ＬＰＦ１５４Ｇへ入力される信号がＧ信号である以外に違いはない。かかる平滑化処理によって、特定周波数帯の絶対値強度Ｒ´ｎ及びＧ´ｎが得られる。

算出部１５５は、ＬＰＦ１５４Ｇによって出力されたＧ信号の特定周波数帯の絶対値強度Ｇ´ｎを、ＬＰＦ１５４Ｒによって出力されたＲ信号の特定周波数帯の絶対値強度Ｒ´ｎで除する除算「Ｇ´ｎ／Ｒ´ｎ」を実行する。これによって、感度差の補正係数ｋを算出する。

乗算部１５７は、ＢＰＦ１５６Ｒによって出力されたＲ信号の脈波周波数帯の信号成分に算出部１５５によって算出された補正係数ｋを乗算する。

演算部１５８は、乗算部１５７によって補正係数ｋが乗算されたＲ信号の脈波周波数帯の信号成分から、ＢＰＦ１５６Ｇによって出力されたＧ信号の脈波周波数帯の信号成分を差し引く演算「ｋ＊Ｒｓ−Ｇｓ」を実行する。このようにして得られた信号は、顔の脈波の波形に相当し、そのサンプリング周波数は画像が撮像されるフレーム周波数に対応する。なお、以下では、脈波の波形のことを「脈波波形」と記載する場合がある。

図１の説明に戻り、第１のピーク検出部１６ａは、第１の生体の脈波波形のピークを検出する処理部である。一態様としては、第１のピーク検出部１６ａは、第１の波形検出部１５ａによって検出される顔の脈波波形を時間微分することによって顔の脈波の微分波形を算出し、微分係数の符号が正から負へ変化するゼロクロス点、すなわちピークを示す極大点を検出する。例えば、第１のピーク検出部１６ａは、顔の脈波波形の振幅値が検出される度に、１つ前のサンプリング点で検出された振幅値の微分係数がゼロであるか否かを判定する。このとき、第１のピーク検出部１６ａは、１つ前のサンプリング点で検出された振幅値の微分係数がゼロである場合に、前後のサンプリング点で振幅値の微分係数の符号が正から負へ変化するか否かをさらに判定する。この結果、第１のピーク検出部１６ａは、前後で微分係数の符号が正から負へと変化する場合に、当該微分係数がゼロであるサンプリング点を顔の脈波波形のピークとして検出し、当該ピークが出現したサンプリング点の時間を図示しない内部メモリへ登録する。なお、ピークの検出は、必ずしも脈波波形の時間微分によって実現されずともよく、顔の脈波波形そのものから検出することとしてもかまわない。

心拍数算出部２１は、第１のピーク検出部１６ａによって検出されるピークから心拍数を算出する処理部である。一態様としては、心拍数算出部２１は、第１のピーク検出部１６ａによって検出されたピークと１つ前のピークとの間の時間差を算出することによって心拍の周期を算出し、単位時間あたりのピークの回数に換算する。ここで、単位時間あたりのピークの回数に換算する場合には、単位時間を１分としてｂｐｍに換算してもよいし、単位時間を１秒としてＨｚに換算してもよい。例えば、心拍の周期を１．３秒、単位時間を１分間としたとき、１．３秒に単位時間である６０秒（＝１分）を乗算することによって心拍数７８ｂｐｍを算出する。なお、ｂｐｍは、６０で除することによってＨｚに換算できるので、心拍数７８ｂｐｍは、Ｈｚに換算すると１．３Ｈｚに相当する。他の一態様としては、検出期間の間に検出されたピークの回数を計数した上でピークの回数を単位時間あたりのピークの回数に換算する。例えば、検出期間を３０秒、検出期間の間に検出されたピークの回数を３９回、単位時間を１分間としたとき、３０秒間に検出されたピークの回数３９回を２倍することによって心拍数７８ｂｐｍを算出する。なお、ここでは、ピークを用いて心拍数を算出する場合を例示したが、信号の時系列データを周波数成分に変換し、１Ｈｚ以上４Ｈｚ以下の脈波周波数帯で信号の強度がピークの周波数を心拍数として算出することもできる。

第２の波形検出部１５ｂは、振動検出部２０によって検出された振動の信号から、脈波周波数帯以外の特定周波数帯の成分が除去された信号の波形を検出する処理部である。一態様としては、第２の波形検出部１５ｂは、図示しないＢＰＦ等を用いて、振動の信号に含まれる特定周波数帯の信号成分を除去するとともに心拍数算出部２１によって算出された心拍数の周波数帯の信号成分を通過させる。これによって、脈波周波数帯の信号成分を抽出する。このように、第２の波形検出部１５ｂによって出力される脈波周波数帯の信号の時系列データは、手の脈波波形に相当する。なお、振動の信号から抽出する周波数帯の信号成分は、心拍数の周波数帯に幅を持たせた周波数帯の信号成分を抽出することにしてもかまわない。

第２のピーク検出部１６ｂは、第２の生体の脈波波形のピークを検出する処理部である。一態様としては、第２のピーク検出部１６ｂは、上記の第１のピーク検出部１６ａと同様に、手の脈波の微分波形からゼロクロス点を検出することによって手の脈波波形のピークを検出し、ピークが出現したサンプリング点の時間を内部メモリに登録する。

図７は、第２の生体の脈波検出方法の一例を示す図である。図７に示すように、カメラ１１ａおよび加速度センサ１１ｂは、顔の画像の撮影と加速度の検出とを同時に実行し、さらに、振動検出部２０も同時に振動の振幅値を検出する。そして、第１の波形検出部１５ａは、顔の画像から顔の脈波波形を検出する。その後、心拍数算出部２１は、顔の脈波波形から心拍数を算出する。ここで、例えば、心拍数が７８ｂｐｍ、すなわち１．３Ｈｚであった場合には、第２の波形検出部１５ｂは、ＢＰＦを用いて振動の信号に含まれる心拍数の周波数帯１．３Ｈｚの信号成分を抽出することによって手の脈波波形を検出する。なお、振動の信号から抽出する周波数帯の信号成分は、例えば、心拍数の周波数帯１．３Ｈｚに±０．１Ｈｚなど任意の幅を持たせた１．２Ｈｚ〜１．４Ｈｚの周波数帯の信号成分を抽出することにしてもかまわない。

図８は、顔の脈波および手の脈波の一例を示すグラフである。図８に示すグラフの縦軸は、信号強度（振幅）を指し、また、横軸は、時間を指す。図８に示すように、顔の脈波では、ピークがＴ１の時点に出現する一方で、手の脈波では、ピークがＴ２の時点に出現する。これら顔の脈波及び手の脈波は、ピークが出現する時点が互いに異なり、手の脈波のピークの方が顔の脈波のピークよりも遅れていることがわかる。これは、心臓から送り出される血液が生体の各々の部位へ到達するタイミングには時間差があるからである。一般に、顔よりも手の方が心臓から離れているので、先に顔へ脈波が伝播した後に手に伝播することになる。

遅延量算出部１７は、第１の生体の脈波波形及び第２の生体の脈波波形の間での遅延量を算出する処理部である。一態様としては、遅延量算出部１７は、第１のピーク検出部１６ａによって顔の脈波波形から検出されたピークの時間と、第２のピーク検出部１６ｂによって手の脈波波形から検出されたピークの時間との間で時間差を算出することによって顔と手の脈波の遅延量を算出する。例えば、図８に示す例で言えば、遅延量算出部１７は、時間Ｔ２から時間Ｔ１を減算することによって手と顔の間の遅延量を算出できる。なお、ここでは、手の脈波波形でピークが検出された時間Ｔ２から顔の脈波波形でピークが検出された時間Ｔ１を減算することとしたが、Ｔ１からＴ２を減算することとしてもよく、その場合には絶対値をとることによって同値を算出できる。

距離データ記憶部２２は、血流に関する指標を算出する場合に用いる距離のデータを記憶する記憶部である。一態様としては、距離データ記憶部２２は、心臓から手までの距離と心臓から顔までの距離との間の距離差Ｌを記憶する。かかる距離差Ｌは、一例として、端末装置１０の利用者に初期設定させることができる。例えば、図示しない入力デバイスを介して、距離差Ｌの値そのものを入力させることとしてもよいし、心臓から顔までの距離Ｌ１と心臓から手までの距離Ｌ２とを入力させることによって初期設定させることとしてもよい。また、年齢、性別及び身長などの項目の組合せごとに当該組合せに対応する距離差の統計値が対応付けられた統計データから利用者によって入力させた年齢、性別及び身長を検索することによって距離差を初期設定させることとしてもかまわない。

伝播速度算出部１８は、第１の生体及び第２の生体の間での遅延量を用いて、脈波伝播速度を算出する処理部である。ここで、速度の計算には、距離と時間が用いられるが、距離については、心臓から手までの距離と心臓から顔までの距離との間の距離差が距離データ記憶部２２に記憶されている。また、時間については、遅延量算出部１７によって顔に脈波が伝播してから手に脈波が伝播するまでの時間差である遅延量が求められている。このため、下記の式（７）を用いて、脈波伝播速度を算出することができる。かかる式（７）における「Ｖｐ」は、脈波伝播速度を指し、「Ｌ」は、心臓から手までの距離と心臓から顔までの距離との間の距離差を指し、「Ｔｄ」は、遅延量を指す。

Ｖｐ＝Ｌ／Ｔｄ・・・（７）

すなわち、伝播速度算出部１８は、遅延量算出部１７によって算出された遅延量Ｔｄおよび距離データ記憶部２２に設定された距離差Ｌを上記の式（７）へ代入することによって脈波伝播速度Ｖｐを算出できる。

ここで、上記の脈波伝播速度は、動脈硬化の進展を診断するのに有用な指標であり、例えば、伝播速度から血管年齢などを計測することもできる。このように、脈波伝播速度は動脈硬化の進展度や血管年齢を算出するアプリケーションプログラムへ出力されることによって健康管理に有用な指標を取得する情報源とすることができる。

血圧算出部１９は、血圧を算出する処理部である。一態様としては、血圧算出部１９は、下記の式（８）に対し、伝播速度算出部１８によって算出された脈波伝播速度を代入することによって血圧を算出する。下記の式（８）は、血圧の算出式の一例であり、目的変数である血圧が脈波伝播速度を説明変数とする一次式に近似されている。なお、下記の式（８）における「Ｐ」は、血圧を指し、「Ｖｐ」は、脈波伝播速度を指す。また、下記の式（８）における「Ａ」は、１次式の傾きを指し、「Ｂ」は、１次式の切片を指し、いずれも定数である。

Ｐ＝Ａ＊Ｖｐ＋Ｂ・・・（８）

これら傾きＡ及び切片Ｂは、個人によって異なる値が設定される。例えば、傾きＡおよび切片Ｂは、端末装置１０によって算出された脈波伝播速度とともに、当該脈波伝播速度の算出と同期して血圧計等によって測定された血圧の実測値をリファレンスとして入力させることによって導出できる。これら脈波伝播速度および血圧の実測値の間で最小二乗法などの回帰分析を実行することによって上記の式（８）の傾きＡと切片Ｂを設定できる。

ここで、上記の血圧は、各種の診断に有用な指標である。例えば、血圧が高い場合には、高血圧症、腎疾患、動脈硬化、高脂血症、脳血管疾患などの疾患を診断できる。一方、血圧が低い場合には、心不全、貧血、大出血などの疾患を診断することもできる。このように、血圧は、上記の各種の診断を実行するアプリケーションプログラムへ出力されることによって健康管理に有用な指標を取得する情報源とすることができる。

例えば、脈波伝播速度や血圧は、端末装置１０が有する図示しない表示デバイスを始め、任意の出力先へ出力することができる。例えば、脈波伝播速度を用いて血管年齢や血圧等の測定を行う測定プログラム、血圧から各種の疾患を診断する診断プログラムが端末装置１０にインストールされている場合には、測定プログラムや診断プログラムを出力先とすることができる。また、測定プログラムや診断プログラムをＷｅｂサービスとして提供するサーバ装置などを出力先とすることもできる。さらに、端末装置１０を利用する利用者の関係者、例えば介護士や医者などが使用する端末装置を出力先とすることもできる。これによって、院外、例えば在宅や在席のモニタリングサービスも可能になる。なお、測定プログラムや診断プログラムの測定結果や診断結果も、端末装置１０を始め、関係者の端末装置に表示させることができるのも言うまでもない。

なお、上記の機能部は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などに血流指標算出プログラムを実行させることによって実現できる。また、上記の機能部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。上記の機能部には、第１の取得部１２ａ、抽出部１３、第１の波形検出部１５ａ、第２の波形検出部１５ｂ、第１のピーク検出部１６ａ、第２のピーク検出部１６ｂ、遅延量算出部１７、伝播速度算出部１８、血圧算出部１９、振動検出部２０及び心拍数算出部２１などが含まれる。

また、距離データ記憶部２２には、半導体メモリ素子や記憶装置を採用できる。例えば、半導体メモリ素子としては、ＶＲＡＭ（Video Random Access Memory）、ＲＡＭ（Random Access Memory）やフラッシュメモリ（flash memory）などが挙げられる。また、記憶装置としては、ハードディスク、光ディスクなどの記憶装置が挙げられる。

［処理の流れ］
続いて、本実施例に係る端末装置１０の処理の流れについて説明する。なお、ここでは、端末装置１０によって実行される（１）血流指標算出処理について説明した後に、血流指標算出処理のサブルーチンとして実行される（２）第１の検出処理および（３）第２の検出処理について説明することとする。

（１）血流指標算出処理
図９は、実施例１に係る血流指標算出処理の手順を示すフローチャートである。この血流指標算出処理は、端末装置１０の利用者によって血流指標算出プログラムが起動された場合に、処理が起動される。

図９に示すように、第１の取得部１２ａ、抽出部１３及び第１の波形検出部１５ａは、カメラ１１ａによって撮像された顔画像から顔の脈波を検出する「第１の検出処理」を実行する（ステップＳ１０１）。

その後、第１のピーク検出部１６ａは、ステップＳ１０１で検出された顔の脈波波形から微分係数の符号が正から負へ変化するゼロクロス点、すなわちピークを示す極大点を検出できたか否かを判定する（ステップＳ１０２）。なお、顔の脈波波形からピークが検出できなかった場合（ステップＳ１０２Ｎｏ）には、ステップＳ１０３の処理は行わずにステップＳ１０４の処理へ移行する。

このとき、顔の脈波波形からピークが検出できた場合（ステップＳ１０２Ｙｅｓ）には、第１のピーク検出部１６ａは、ステップＳ１０２で顔の脈波のピークが出現したサンプリング点の時間を図示しない内部メモリに登録する（ステップＳ１０３）。

続いて、振動検出部２０および第２の波形検出部１５ｂは、加速度センサ１１ｂによって検出された加速度から手の脈波を検出する「第２の検出処理」を実行する（ステップＳ１０４）。

その後、第２のピーク検出部１６ｂは、ステップＳ１０４で検出された手の脈波波形から微分係数の符号が正から負へ変化するゼロクロス点、すなわちピークを示す極大点を検出できたか否かを判定する（ステップＳ１０５）。なお、手の脈波からピークが検出できなかった場合（ステップＳ１０５Ｎｏ）には、ステップＳ１０３の処理は行わずにステップＳ１０１の処理へ戻り、第１の検出処理を実行する。

このとき、手の脈波波形からピークが検出できた場合（ステップＳ１０５Ｙｅｓ）には、遅延量算出部１７は、顔の脈波のピーク時間が内部メモリに登録済みであるか否かを判定する（ステップＳ１０６）。なお、顔の脈波のピーク時間が登録済みでない場合（ステップＳ１０６Ｎｏ）にも、ステップＳ１０１の処理へ戻り、第１の検出処理を実行する。

ここで、顔の脈波のピーク時間が登録済みである場合（ステップＳ１０６Ｙｅｓ）には、遅延量算出部１７は、顔の脈波と手の脈波との間でのピーク時間の時間差である遅延量Ｔｄを算出する（ステップＳ１０７）。

続いて、伝播速度算出部１８は、ステップＳ１０７で算出された遅延量とともに、距離データ記憶部２２に設定された距離差Ｌを上記の式（７）へ代入することによって脈波伝播速度Ｖｐを算出する（ステップＳ１０８）。さらに、血圧算出部１９は、ステップＳ１０８で算出された脈波伝播速度Ｖｐを上記の式（８）へ代入することによって血圧を算出する（ステップＳ１０９）。

その後、ステップＳ１０８で算出された脈波伝播速度Ｖｐ及びステップＳ１０９で算出された血圧Ｐを所定の出力先へ出力した上で内部メモリに登録されているピーク時間を削除し、処理を終了する（ステップＳ１１０）。なお、ここでは、ピーク時間の削除後に処理を終了する場合を例示したが、ステップＳ１０１へ戻り、脈波伝播速度Ｖｐ及び血圧Ｐの出力を繰り返し実行することとしてもかまわない。

図９に示したフローチャートでは、第１の検出処理を実行した後に第２の検出処理を実行する場合を例示したが、これらの処理の順序は逆であってもよいし、両者を並行して実行することとしてもよい。この場合には、顔の脈波のピーク時間と手の脈波のピーク時間が内部メモリに登録済みである場合に、ステップＳ１０７以降の処理を実行することとすればよい。

図９に示したフローチャートでは、脈波伝播速度および血圧の両方を算出する場合を例示したが、必ずしも両方とも算出せずともよく、いずれか一方に絞って算出することとしてもかまわない。

（２）第１の検出処理
図１０は、実施例１に係る第１の検出処理の手順を示すフローチャートである。この処理は、図９に示したステップＳ１０１に対応する処理であり、端末装置１０の利用者によって血流指標算出プログラムが起動された場合に、処理が起動される。

図１０に示すように、カメラ１１ａは、利用者の顔を撮影し（ステップＳ２０１）、第１の取得部１２ａは、ステップＳ２０１で撮影された顔の画像を取得する（ステップＳ２０２）。

続いて、抽出部１３は、ステップＳ２０１で取得された画像にテンプレートマッチング等の画像処理を実行することによって所定の顔パーツ、例えば利用者の目、鼻、唇、頬や髪などを含む顔領域を抽出する（ステップＳ２０３）。

そして、抽出部１３は、ステップＳ２０３で抽出された顔領域に含まれる各画素が持つ画素値の代表値をＧ成分およびＲ成分の波長成分ごとに算出する（ステップＳ２０４）。この結果、顔領域のＲ成分の代表値であるＲ信号がＢＰＦ１５２Ｒ及びＢＰＦ１５６Ｒへ出力されるとともに、顔領域のＧ成分の代表値であるＧ信号がＢＰＦ１５２Ｇ及びＢＰＦ１５６Ｇへ出力されることになる。

続いて、ＢＰＦ１５２Ｒは、Ｒ信号の特定周波数帯、例えば３ｂｐｍ以上２０ｂｐｍ未満の周波数帯の信号成分を抽出する一方で、ＢＰＦ１５２Ｇは、Ｇ信号の特定周波数帯の信号成分を抽出する（ステップＳ２０５Ａ）。

そして、抽出部１５３Ｒは、Ｒ信号の特定周波数帯の信号成分の絶対強度値を抽出する一方で、抽出部１５３Ｇは、Ｇ信号の特定周波数帯の信号成分の絶対強度値を抽出する（ステップＳ２０６）。

その後、ＬＰＦ１５４Ｒは、Ｒ信号の特定周波数帯の絶対強度値の時系列データに対し、時間変化に応答させる平滑化処理を実行する一方で、ＬＰＦ１５４Ｇは、Ｇ信号の特定周波数帯の絶対強度値の時系列データに対し、時間変化に応答させる平滑化処理を実行する（ステップＳ２０７）。

続いて、算出部１５５は、ＬＰＦ１５４Ｇによって出力されたＧ信号の特定周波数帯の絶対値強度Ｇ´ｎを、ＬＰＦ１５４Ｒによって出力されたＲ信号の特定周波数帯の絶対値強度Ｒ´ｎで除する除算「Ｇ´ｎ／Ｒ´ｎ」を実行することによって補正係数ｋを算出する（ステップＳ２０８）。

上記のステップＳ２０５Ａの処理に並行して、ＢＰＦ１５６Ｒは、Ｒ信号の脈波周波数帯、例えば４２ｂｐｍ以上２４０ｂｐｍ未満の周波数帯の信号成分を抽出する一方で、ＢＰＦ１５６Ｇは、Ｇ信号の脈波周波数帯の信号成分を抽出する（ステップＳ２０５Ｂ）。

その後、乗算部１５７は、ステップＳ２０５Ｂで抽出されたＲ信号の脈波周波数帯の信号成分にステップＳ２０８で算出された補正係数ｋを乗算する（ステップＳ２０９）。その上で、演算部１５８は、ステップＳ２０９で補正係数ｋが乗算されたＲ信号の脈波周波数帯の信号成分から、ステップＳ２０５Ｂで抽出されたＧ信号の脈波周波数帯の信号成分を差し引く演算「ｋ＊Ｒｓ−Ｇｓ」を実行し（ステップＳ２１０）、処理を終了する。

このように、上記のステップＳ２１０の演算によって得られた信号の時系列データは、顔の脈波波形に相当する。かかる顔の脈波信号の振幅値がフレーム周波数に対応するサンプリング周波数で第１のピーク検出部１６ａへ入力される。

（３）第２の検出処理
図１１は、実施例１に係る第２の検出処理の手順を示すフローチャートである。この処理は、図９に示したステップＳ１０４に対応する処理であり、第１の検出処理が終了した後に、処理が起動される。なお、第２の検出処理は、第１の検出処理が終了した後に限らず、第１の検出処理より先に実行されてもよいし、第１の検出処理と同時に実行されてもよい。

図１１に示すように、加速度センサ１１ｂは、端末装置１０の加速度を検出し（ステップＳ３０１）、振動検出部２０は、加速度センサ１１ｂによって検出された加速度から振動を検出する（ステップＳ３０２）。

その後、第２の波形検出部１５ｂは、振動の信号のうち心拍数の脈波周波数帯の信号成分を抽出する（ステップＳ３０３）。ステップＳ３０３の抽出によって得られた信号の時系列データは、手の脈波波形に相当する。このように、第２の波形検出部１５ｂは、手の脈波を検出し、処理を終了する。

［実施例１の効果］
上述してきたように、本実施例に係る端末装置１０は、端末が持つカメラの画像から顔の脈波を検出すると共に、端末に発生する振動から手の脈波を検出し、脈波間での遅延量から血流の指標を算出する。このため、本実施例に係る端末装置１０では、一般の携帯端末が有するハードウェアを流用して遅延量を始め、脈波伝播速度および血圧を算出できる。したがって、本実施例に係る端末装置１０によれば、余計なハードウェアなしに血流に関する指標を算出できる。

また、本実施例に係る端末装置１０では、顔の脈波から心拍数の周波数帯を算出し、端末の振動の信号から心拍数の周波数帯の信号を抽出するので、端末の振動から手の脈波に起因する微弱な振動を検出することができる。

さらに、本実施例に係る端末装置１０では、カメラ１１ａによって撮像された画像と加速度センサ１１ｂによって検出された加速度とを用いて血流に関する指標を算出するので、一般の血圧計で血流に関する指標を測定する場合よりも装着等に伴って生じる煩わしさを抑制できる。例えば、本実施例に係る端末装置１０では、一般の血圧計のように、被験者の腕にカフを装着する手間やカフで腕が圧迫される圧迫感などの煩わしさを抑制できる。加えて、本実施例に係る端末装置１０では、余計なハードウェアを搭載せずともよいので、装置規模を常時携帯しやすい規模に抑えるとともに、装置のコストを抑えることができる。

さて、上記の実施例１では、顔の脈波波形から検出されたピークの時間と手の脈波波形から検出されたピークの時間との間での時間差を遅延量として算出する場合を例示したが、開示の装置は、必ずしもピークの時間の時間差を算出せずとも遅延量を算出できる。そこで、本実施例では、顔の脈波波形と手の脈波波形との間で相互相関関数を設定し、相互相関関数が最大となる場合の顔の脈波波形と手の脈波波形との間の時間差を遅延量として算出する場合について説明する。

［端末装置の構成］
図１２は、実施例２に係る端末装置の機能的構成を示すブロック図である。図１２に示す端末装置３０は、図１に示した端末装置１０に比べて、遅延量算出部１７の代わりに、遅延量算出部２６を有し、さらに、ＢＰＦ２３、第１の記憶部２４、第２の記憶部２５を有する。なお、図１２では、図１に示した機能部と同様の機能を発揮する機能部に同一の符号を付し、その説明を省略することとする。

ＢＰＦ２３は、振動検出部２０によって検出された振動の信号から、脈波周波数帯以外の特定周波数帯の成分が除去された信号の波形を検出する処理部である。一態様としては、ＢＰＦ２３は、振動の信号に含まれる脈波周波数帯、例えば０．５Ｈｚ以上４Ｈｚ以下の周波数帯の信号成分を通過させることによって脈波周波数帯の信号成分を抽出する。なお、ＢＰＦ２３は、必ずしも設置する必要はなく、振動検出部２０によって検出された振動の振幅波形そのものを後述の第２の記憶部２５へ出力してもかまわない。

第１の記憶部２４は、第１の生体の脈波と第２の生体の脈波との間での遅延量を算出する場合に基準として用いる基準波形を記憶する記憶部である。一態様としては、第１の記憶部２４は、第１の波形検出部１５ａによって検出された顔の脈波波形を基準波形として記憶する。例えば、第１の記憶部２４には、顔の脈波波形に含まれる時間ｔ_１において発生した振幅値Ｘ（ｔ_１）〜時間ｔ_Ｋにおいて発生した振幅値Ｘ（ｔ_Ｋ）のＫ個の振幅値が記憶される。

第２の記憶部２５は、基準波形の比較対象となる波形を記憶する記憶部である。一態様としては、第２の記憶部２５は、ＢＰＦ２３によって検出された手の脈波波形を基準波形の比較対象の波形として記憶する。例えば、第２の記憶部２５には、手の脈波波形に含まれる時間ｔ_１において発生した振幅値Ｙ（ｔ_１）〜時間ｔ_Ｋにおいて発生した振幅値Ｙ（ｔ_Ｋ）のＫ個の振幅値が記憶される。ここで言う時間ｔ_１〜時間ｔ_Ｋは、顔の脈波波形の振幅値が発生した時間と同一の時間である。

遅延量算出部２６は、第１の記憶部２４に蓄積された基準波形と比較対象の波形との間で遅延量を算出する処理部である。ここで、以下では、例えば、顔の脈波波形の振幅値Ｘ（ｔ_１）〜振幅値Ｘ（ｔ_Ｋ）が基準波形として第１の記憶部２４に設定されており、手の脈波波形の振幅値Ｙ（ｔ_１）〜振幅値Ｙ（ｔ_Ｋ）の基準波形に対する遅延量を算出する場合を例示する。一態様としては、遅延量算出部２６は、第１の記憶部２４および第２の記憶部２５を参照して、顔の脈波波形の振幅値Ｘ（ｔ_１）〜振幅値Ｘ（ｔ_Ｋ）と手の脈波波形の振幅値Ｙ（ｔ_１）〜振幅値Ｙ（ｔ_Ｋ）との間での遅延量を畳み込み演算する相互相関関数を設定する。

例えば、遅延量算出部２６は、下記の式（９）を相互相関関数として設定する。かかる式（９）における「Ｃ_ＸＹ」は、顔の脈波波形と手の脈波波形との間の類似度を指し、「τ」は、顔の脈波波形と手の脈波波形との間の時間差を指し、また、「Ｋ」は、振幅値の数を指し、また、「ｔ_ｎ」は、波形の振幅値が発生した時間を指す。つまり、式（９）からは、手の脈波波形を時間差τ分ずらした場合に、手の脈波波形が顔の脈波波形にどれくらい類似しているかがわかる。その上で、遅延量算出部２６は、式（９）について畳み込み演算を実行する。ここで、類似度Ｃ_ＸＹの値が大きいほど手の脈波波形を時間差τずらすと顔の脈波波形に類似していることを意味し、類似度Ｃ_ＸＹの値が小さいほど手の脈波波形を時間差τずらしても顔の脈波波形に類似していないことを意味する。つまり、類似度Ｃ_ＸＹが最大値となる場合の時間差τは、手の脈波波形を時間差τずらすと顔の脈波波形に最も近い波形となることを意味する。したがって、類似度Ｃ_ＸＹが最大値となる場合の時間差τは、顔の脈波波形及び手の脈波波形の間での遅延量に相当する。そこで、類似度Ｃ_ＸＹの最大値を探索し、類似度Ｃ_ＸＹが最大値となる場合の時間差τを遅延量として採用する。

なお、上記の遅延量算出部２６は、ＣＰＵやＭＰＵなどに血流指標算出プログラムを実行させることによって実現できる。また、遅延量算出部２６は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。

また、上記の第１の記憶部２４や第２の記憶部２５には、半導体メモリ素子や記憶装置を採用できる。例えば、半導体メモリ素子の一例としては、ＶＲＡＭ、ＲＡＭ、ＲＯＭやフラッシュメモリなどが挙げられる。また、記憶装置の一例としては、ハードディスク、光ディスクなどの記憶装置が挙げられる。

［処理の流れ］
続いて、本実施例に係る端末装置３０の処理の流れについて説明する。なお、血流指標算出処理のサブルーチンとして実行される第１の検出処理および第２の検出処理は、実施例１に係る第１の検出処理および第２の検出処理と同様であるので、説明を省略することとする。

図１３は、実施例２に係る血流指標算出処理の手順を示すフローチャートである。この血流指標算出処理は、端末装置３０の利用者によって血流指標算出プログラムが起動された場合に、処理が起動される。

図１３に示すように、血流指標算出プログラムが起動されると、第１の取得部１２ａ、抽出部１３及び第１の波形検出部１５ａは、カメラ１１ａによって撮像された顔画像から顔の脈波を検出する「第１の検出処理」を実行する（ステップＳ４０１）。そして、第１の波形検出部１５ａは、顔の脈波波形に含まれる振幅値Ｘ（ｔ_１）〜振幅値Ｘ（ｔ_Ｋ）を第１の記憶部２４へ格納する（ステップＳ４０２）。

その後、振動検出部２０およびＢＰＦ２３は、加速度センサ１１ｂによって検出された加速度から手の脈波を検出する「第２の検出処理」を実行する（ステップＳ４０３）。なお、第２の検出処理は、第１の検出処理が終了した後に限らず、第１の検出処理より先に実行されてもよいし、第１の検出処理と同時に実行されてもよい。そして、ＢＰＦ２３は、手の脈波波形に含まれる振幅値Ｙ（ｔ_１）〜振幅値Ｙ（ｔ_Ｋ）を第２の記憶部２５へ格納する（ステップＳ４０４）。

続いて、遅延量算出部２６は、第１の記憶部２４および第２の記憶部２５を参照して、基準波形である顔の脈波波形の振幅値Ｘ（ｔ_１）〜振幅値Ｘ（ｔ_Ｋ）と手の脈波波形の振幅値Ｙ（ｔ_１）〜振幅値Ｙ（ｔ_Ｋ）との間での遅延量を演算する相互相関関数を設定し、畳み込み演算を実行する（ステップＳ４０５）。

続いて、遅延量算出部２６は、相互相関関数について類似度Ｃ_ＸＹの最大値を探索し、そのときの時間差τを遅延量として算出する（ステップＳ４０６）。

続いて、伝播速度算出部１８は、ステップＳ４０６で算出された遅延量とともに、距離データ記憶部２２に設定された距離差Ｌを上記の式（７）へ代入することによって脈波伝播速度Ｖｐを算出する（ステップＳ４０７）。さらに、血圧算出部１９は、ステップＳ４０７で算出された脈波伝播速度Ｖｐを上記の式（８）へ代入することによって血圧を算出し、処理を終了する（ステップＳ４０８）。

［実施例２の効果］
上述してきたように、本実施例に係る端末装置３０は、端末が持つカメラの画像から顔の脈波を検出すると共に、端末に発生する振動から手の脈波を検出し、脈波間での遅延量から血流の指標を算出する。このため、本実施例に係る端末装置３０では、顔の脈波波形のピークと手の脈波波形のピークを検出せずとも一般の携帯端末が有するハードウェアを流用して遅延量を始め、脈波伝播速度および血圧を算出できる。したがって、本実施例に係る端末装置３０によれば、余計なハードウェアなしに血圧を算出できる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

［血流指標算出方法］
上記の実施例１及び実施例２では、距離データ記憶部２２に記憶された心臓から手までの距離と心臓から顔までの距離との間の距離差を用いて脈波伝播速度及び血圧を算出する場合を例示したが、遅延量と血圧とが対応付けられた血流データを用いて算出してもよい。かかる血流データは、例えば、端末装置１０または端末装置３０を用いて算出された遅延量と、端末装置１０または端末装置３０による血圧の測定と同期して血圧計を用いて測定された血圧の実測値とを対応付けたデータであり、図示しない記憶部に記憶しておく。そして、血圧算出部１９は、遅延量と血圧とが対応付けられた血流データから遅延量算出部１７または遅延量算出部２６によって算出された遅延量に対応する血圧のデータを抽出することによって血圧を算出してもよい。なお、遅延量および血圧以外にも、他のデータ、例えば遅延量と脈波伝播速度とが対応付けられたデータなどを予め記憶しておき、当該データを用いて脈波伝播速度を算出することもできる。

［適用範囲］
上記の実施例１及び実施例２では、端末装置１０及び３０が上記の血流指標算出処理をスタンドアローンで実行する場合を例示したが、クライアントサーバシステムとして実装することもできる。例えば、端末装置１０または３０は、血流指標算出サービスを提供するＷｅｂサーバとして実装することとしてもよいし、アウトソーシングによって血流指標算出サービスを提供するクラウドとして実装することとしてもかまわない。このように、端末装置１０または３０がサーバ装置として動作する場合には、スマートフォンや携帯電話機等の携帯端末装置やパーソナルコンピュータ等の情報処理装置をクライアント端末として収容することができる。これらクライアント端末からネットワークを介して被験者の顔が映った画像が取得された場合に血流指標算出処理を実行し、血流指標が算出された場合にクライアント端末に心拍数、脈波伝播速度または血圧などを表示することによって被験者の健康管理を行うこともできる。

［分散および統合］
また、図示した装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、第１の取得部１２ａ、抽出部１３、第１の波形検出部１５ａ、第２の波形検出部１５ｂ、第１のピーク検出部１６ａ、第２のピーク検出部１６ｂ、遅延量算出部１７、伝播速度算出部１８、血圧算出部１９、振動検出部２０または心拍数算出部２１を端末装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、第１の取得部１２ａ、抽出部１３、第１の波形検出部１５ａ、第２の波形検出部１５ｂ、第１のピーク検出部１６ａ、第２のピーク検出部１６ｂ、遅延量算出部１７、伝播速度算出部１８、血圧算出部１９、振動検出部２０または心拍数算出部２１を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の端末装置１０の機能を実現するようにしてもよい。

［血流指標算出プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１４を用いて、上記の実施例と同様の機能を有する血流指標算出プログラムを実行するコンピュータの一例について説明する。

図１４は、実施例１〜実施例３に係る血流指標算出プログラムを実行するコンピュータの一例について説明するための図である。図１４に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。

ＨＤＤ１７０には、図１４に示すように、上記の実施例１で示した第１の取得部１２ａ、抽出部１３、第１の波形検出部１５ａ、第２の波形検出部１５ｂ、第１のピーク検出部１６ａ、第２のピーク検出部１６ｂ、遅延量算出部１７、伝播速度算出部１８、血圧算出部１９、振動検出部２０および心拍数算出部２１と同様の機能を発揮する血流指標算出プログラム１７０ａが予め記憶される。また、ＨＤＤ１７０には、上記の実施例２で示した第１の取得部１２ａ、抽出部１３、第１の波形検出部１５ａ、ＢＰＦ２３、伝播速度算出部１８、血圧算出部１９、振動検出部２０および遅延量算出部２６と同様の機能を発揮する血流指標算出プログラム１７０ａが予め記憶されることとしてもかまわない。この血流指標算出プログラム１７０ａについては、図１や図１２に示した各々の機能部の各構成要素と同様、適宜統合又は分離しても良い。すなわち、ＨＤＤ１７０に格納される各データは、常に全てのデータがＨＤＤ１７０に格納される必要はなく、処理に必要なデータのみがＨＤＤ１７０に格納されれば良い。

そして、ＣＰＵ１５０が、血流指標算出プログラム１７０ａをＨＤＤ１７０から読み出してＲＡＭ１８０に展開する。これによって、図１４に示すように、血流指標算出プログラム１７０ａは、血流指標算出プロセス１８０ａとして機能する。この血流指標算出プロセス１８０ａは、ＨＤＤ１７０から読み出した各種データを適宜ＲＡＭ１８０上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、血流指標算出プロセス１８０ａは、図１や図１２に示した機能部にて実行される処理、例えば図９〜図１１や図１３に示す処理を含む。また、ＣＰＵ１５０上で仮想的に実現される各処理部は、常に全ての処理部がＣＰＵ１５０上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されれば良い。

なお、上記の血流指標算出プログラム１７０ａについては、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶させておく必要はない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。

１０ 端末装置
１１ａ カメラ
１１ｂ 加速度センサ
１２ａ 第１の取得部
１３ 抽出部
１５ａ 第１の波形検出部
１５ｂ 第２の波形検出部
１６ａ 第１のピーク検出部
１６ｂ 第２のピーク検出部
１７ 遅延量算出部
１８ 伝播速度算出部
１９ 血圧算出部
２０ 振動検出部
２１ 心拍数算出部
２２ 距離データ記憶部

Claims (7)

1. 端末装置に、
   前記端末装置が有するカメラによって被験者の生体の一部である第１の生体が撮像された画像から前記第１の生体の脈波を検出し、
   前記被験者が前記端末装置を保持しているときに、前記端末装置で発生する振動を検出し、
   前記端末装置で発生する振動から前記被験者の前記第１の生体とは部位が異なる第２の生体の脈波を検出し、
   前記第１の生体の脈波と前記第２の生体の脈波との遅延量を算出し、
   前記遅延量を用いて血流に関する指標を算出する
   処理を実行させることを特徴とする血流指標算出プログラム。
2. 前記第２の生体の脈波を検出する処理として、
   前記端末装置で発生する振動から前記第１の生体の脈波の周波数帯が採り得る周波数帯の信号を抽出することによって前記第２の生体の脈波を検出することを特徴とする請求項１に記載の血流指標算出プログラム。
3. 前記遅延量を算出する処理として、
   前記第１の生体の脈波の波形と前記第２の生体の脈波の波形との間で相互相関関数を設定し、前記相互相関関数が最大となる場合の第１の生体の脈波の波形と第２の生体の脈波の波形との間の時間差を遅延量として算出することを特徴とする請求項１または２に記載の血流指標算出プログラム。
4. 前記血流に関する指標を算出する処理として、
   遅延量と血流に関する指標とが対応付けられた血流データから前記端末装置によって算出された遅延量に対応する血流に関する指標のデータを抽出することによって血流に関する指標を算出することを特徴とする請求項１〜３のいずれか１つに記載の血流指標算出プログラム。
5. 前記第１の生体の脈波を検出する処理として、
   前記画像に含まれる前記第１の生体領域を抽出し、
   前記第１の生体領域に含まれる各画素の波長成分別の代表値の信号から、各波長成分の間で脈波が採り得る周波数帯以外の特定周波数帯の成分を抽出し、
   各波長成分の間で前記特定周波数帯の成分の大きさを比較することによって、各波長成分の間で前記代表値の信号の差が演算される場合に当該代表値の信号へ乗算される補正係数であって前記特定周波数帯の成分が演算後に最小化される補正係数を算出し、
   各波長成分の代表値の信号のうち少なくとも一方の信号に前記補正係数を乗算し、
   前記補正係数の乗算後に各波長成分の間で前記代表値の信号の差を算出することによって前記特定周波数帯の成分が互いに相殺された信号の波形を検出することを特徴とする請求項１〜４のいずれか１つに記載の血流指標算出プログラム。
6. 端末装置が有するカメラによって被験者の生体の一部である第１の生体が撮像された画像から前記第１の生体の脈波を検出する第１の波形検出部と、
   前記被験者が前記端末装置を保持しているときに、前記端末装置で発生する振動を検出する振動検出部と、
   前記端末装置で発生する振動から前記被験者の前記第１の生体とは部位が異なる第２の生体の脈波を検出する第２の波形検出部と、
   前記第１の生体の脈波と前記第２の生体の脈波との遅延量を算出する遅延量算出部と、
   前記遅延量を用いて血流に関する指標を算出する血流指標算出部と
   を有することを特徴とする端末装置。
7. コンピュータが、
   端末装置が有するカメラによって被験者の生体の一部である第１の生体が撮像された画像から前記第１の生体の脈波を検出し、
   前記被験者が前記端末装置を保持しているときに、前記端末装置で発生する振動を検出し、
   前記端末装置で発生する振動から前記被験者の前記第１の生体とは部位が異なる第２の生体の脈波を検出し、
   前記第１の生体の脈波と前記第２の生体の脈波との遅延量を算出し、
   前記遅延量を用いて血流に関する指標を算出する
   処理を実行することを特徴とする血流指標算出方法。

Images