JP6098304B2 - 脈波検出装置、脈波検出方法及び脈波検出プログラム - Google Patents

Description

本発明は、脈波検出装置、脈波検出方法及び脈波検出プログラムに関する。

血液の体積の変動、いわゆる脈波を検出する技術が知られている。例えば、脈波の一態様である心拍数を検出する技術の一例としては、心電計の電極を生体に装着することによって計測された心電波形のピーク、例えばＰ波やＲ波などを用いて心拍数を検出する心電図法が挙げられる。他の一例としては、指や耳たぶなどの末梢血管に赤外線を照射し、その反射光が血流および吸光特性によって周期的に変動する光学的な変化から心拍とほぼ等価な脈拍を検出する光電脈波法が挙げられる。

これら心電図法や光電脈波法を用いる場合には、電極を生体に装着したり、あるいは生体に感光面を密着させたりするので、計測器具が生体に接触しないと検出が困難である上、計測器具を装着した状態で日常を生活するのは煩わしいという問題がある。

このことから、生体に計測器具が接触しない状態で心拍を測定するために、被験者が撮影された画像を用いた心拍測定方法が提案されている。かかる心拍測定方法では、カメラによって被験者の顔が撮影された画像の信号成分に対し、独立成分分析（ＩＣＡ：Independent Component Analysis）を適用した上で信号を周波数成分へ変換して心拍数を測定する。かかる独立成分分析の適用によって信号対雑音比の改善を目指す。

特表２００７−５３９８５７号公報

"Non-contact, automated cardiac pulse measurements using video imaging and blind source separation"，OPTICS EXPRESS Vol.18，No.10，2010

しかしながら、上記の技術では、以下に説明するように、脈波の検出精度が低下する場合がある。

すなわち、上記の心拍測定方法では、ＩＣＡを適用する前処理として、被験者が撮影された画像に対し、テンプレートマッチング等を用いて顔認識が実行される。かかる顔認識によって抽出される顔領域には、顔の輪郭や髪の毛などが含まれることがある。これら顔の輪郭と背景の境界、あるいは髪の毛の一部が顔領域として抽出されることによって顔領域から検出される信号に心拍以外のノイズ成分が重畳することなる。さらに、顔領域には、目の瞬きおよび口の発話などの体動も顔領域に混入するので、顔領域から検出される信号に心拍以外のノイズ成分がさらに重畳することもある。したがって、上記の心拍測定方法では、心拍以外のノイズ成分が重畳する信号を用いて心拍を測定する結果、心拍の測定精度が低下する場合がある。

１つの側面では、脈波の検出精度を向上させることができる脈波検出装置、脈波検出方法及び脈波検出プログラムを提供することを目的とする。

一態様の脈波検出装置は、生体が撮影された画像を取得する取得部と、前記画像に含まれる生体領域を抽出する領域抽出部と、前記生体領域を複数のブロックに分割する分割部とを有する。さらに、前記脈波検出装置は、前記ブロックごとに当該ブロックに含まれる各画素が持つ画素値の代表値を算出する代表値算出部をさらに有する。さらに、前記脈波検出装置は、前記画像のフレームの間で互いに対応するブロックの代表値の差が所定の閾値以下であるブロックを抽出するブロック抽出部を有する。さらに、前記脈波検出装置は、抽出されたブロックに含まれる各画素の画素値から前記生体の脈波を検出する脈波検出部を有する。

一実施形態によれば、脈波の検出精度を向上させることができる。

図１は、実施例１に係る脈波検出装置の機能的構成を示すブロック図である。 図２は、ブロック分割の一例を示す図である。 図３は、ヒストグラムの一例を示す図である。 図４は、Ｇ成分の周波数スペクトルの一例を示す図である。 図５は、実施例１に係る脈波検出処理の手順を示すフローチャートである。 図６は、実施例１に係る第１の抽出処理の手順を示すフローチャートである。 図７は、実施例１に係る第２の抽出処理の手順を示すフローチャートである。 図８は、実施例１に係る第３の抽出処理の手順を示すフローチャートである。 図９は、実施例１及び実施例２に係る脈波検出プログラムを実行するコンピュータの一例について説明するための図である。

以下に添付図面を参照して本願に係る脈波検出装置、脈波検出方法及び脈波検出プログラムについて説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［脈波検出装置の構成］
まず、本実施例に係る脈波検出装置の機能的構成について説明する。図１は、実施例１に係る脈波検出装置の機能的構成を示すブロック図である。図１に示す脈波検出装置１０は、太陽光や室内光などの一般の環境光の下で被験者に計測器具を接触させずに、被験者の生体が撮影された画像を用いて被験者の脈波、すなわち心臓の拍動に伴う血液の体積の変動を測定する脈波検出処理を実行するものである。

かかる脈波検出装置１０は、一態様として、上記の脈波検出処理がパッケージソフトウェアやオンラインソフトウェアとして提供される脈波検出プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、スマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末のみならず、移動体通信網に接続する能力を持たないデジタルカメラ、タブレット端末やスレート端末を含む携帯端末装置に上記の脈波検出プログラムをインストールさせる。これによって、携帯端末装置を脈波検出装置１０として機能させることができる。なお、ここでは、脈波検出装置１０の実装例として携帯端末装置を例示したが、パーソナルコンピュータを始めとする据置き型の端末装置に脈波検出プログラムをインストールさせることもできる。

図１に示すように、脈波検出装置１０は、カメラ１１と、取得部１３と、領域抽出部１４と、分割部１５と、代表値算出部１６と、第１の抽出部１７ａと、第２の抽出部１７ｂと、第３の抽出部１７ｃと、脈波検出部１８とを有する。

かかる脈波検出装置１０は、図１に示した機能部以外にも既知のコンピュータが有する各種の機能部を有することとしてもかまわない。例えば、脈波検出装置１０が据置き端末として実装される場合には、キーボード、マウスやディスプレイなどの入出力デバイスをさらに有することとしてもよい。また、脈波検出装置１０がタブレット端末やスレート端末として実装される場合には、加速度センサや角速度センサをさらに有することとしてもよい。また、脈波検出装置１０が移動体通信端末として実装される場合には、アンテナ、移動体通信網に接続する無線通信部、ＧＰＳ（Global Positioning System）受信機などの機能部をさらに有していてもかまわない。

カメラ１１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を搭載する撮像装置である。例えば、カメラ１１には、Ｒ（red）、Ｇ（green）、Ｂ（blue）など３種以上の受光素子を搭載することができる。かかるカメラ１１の実装例としては、デジタルカメラやＷｅｂカメラを外部端子を介して接続することとしてもよい。また、他の実装例としては、インカメラやアウトカメラのように、カメラが出荷時から搭載されている場合にはそのカメラを流用できる。なお、ここでは、脈波検出装置１０がカメラ１１を有する場合を例示したが、ネットワークまたは記憶デバイスを経由して画像を取得できる場合には、必ずしも脈波検出装置１０がカメラ１１を有さずともよい。

例えば、カメラ１１は、一例として、横３２０画素×縦２４０画素の矩形の画像を撮像することができる。例えば、グレースケールの場合、各画素は、明るさの階調値（輝度）で与えられる。例えば、整数ｉ，ｊで示される座標（ｉ，ｊ）の画素の輝度（Ｌ）の階調値は、８ｂｉｔのディジタル値Ｌ（ｉ，ｊ）などで与えられる。また、カラー画像の場合、各画素は、Ｒ成分、Ｇ成分およびＢ成分の階調値で与えられる。例えば、整数ｉ，ｊで示される座標（ｉ，ｊ）の画素のＲ、Ｇ、Ｂの階調値は、それぞれディジタル値Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ）などで与えられる。なお、ＲＧＢの組み合わせ、あるいはＲＧＢ値を変換して求まる他の表色系（ＨＳＶ表色系やＹＵＶ表色系）を使用してもかまわない。

ここで、上記の脈波検出プログラムが起動された場合には、図示しない表示デバイスによる画像表示や図示しないスピーカからの音声出力などを通じて、脈波を検出し易い被験者の画像がカメラ１１によって撮像されるように画像の撮影操作を案内することができる。例えば、脈波検出プログラムは、図示しない入力デバイスを介して起動されると、カメラ１１を起動する。これを受けて、カメラ１１は、カメラ１１の撮影範囲に収容された被写体の撮影を開始する。このとき、被験者の顔が映る画像を撮影させる場合には、脈波検出プログラムは、カメラ１１が撮影する画像を図示しない表示デバイスに表示しつつ、被験者の鼻を映す目標位置を照準として表示させることもできる。これによって、被験者の眼、耳、鼻や口などの顔パーツの中でも被験者の鼻が撮影範囲の中心部分に収まった画像が撮影できるようにする。そして、脈波検出プログラムは、カメラ１１によって被験者の顔が撮影された画像を取得部１３へ保存する。なお、以下では、カメラ１１によって撮影された画像のことを「原画像」と記載する場合がある。

取得部１３は、画像を取得する処理部である。一態様としては、取得部１３は、カメラ１１によって撮像された原画像を取得する。他の一態様としては、取得部１３は、原画像を蓄積するハードディスクや光ディスクなどの補助記憶装置またはメモリカードやＵＳＢ（Universal Serial Bus）メモリなどのリムーバブルメディアから画像を取得することもできる。更なる一態様としては、取得部１３は、外部装置からネットワークを介して受信することによって原画像を取得することもできる。なお、取得部１３は、ＣＣＤやＣＭＯＳなどの撮像素子による出力から得られる２次元のビットマップデータやベクタデータなどの画像データを用いて処理を実行する場合を例示したが、１つのディテクタから出力される信号をそのまま取得して後段の処理を実行させることとしてもよい。

領域抽出部１４は、取得部１３によって取得された画像から生体領域を抽出する処理部である。一態様としては、原画像から所定の顔パーツを基準とする顔領域を抽出する。例えば、領域抽出部１４は、原画像にテンプレートマッチング等の顔認識を実行することによって被験者の眼、耳、鼻や口などの顔の器官、いわゆる顔パーツのうち特定の顔パーツ、すなわち被験者の鼻を検出する。その上で、領域抽出部１４は、被験者の鼻を中心とし、中心から所定の範囲に含まれる顔領域を抽出する。これによって、被験者の鼻、鼻の周辺に位置する頬の一部の顔中心部分を含んだ顔領域の画像が脈波の検出に使用する大枠の画像として抽出される。その後、領域抽出部１４は、原画像から抽出した顔領域の画像を分割部１５や脈波検出部１８へ出力する。

ここで、領域抽出部１４は、顔領域の画像を後段の機能部へ出力する場合に、原画像のデータ形式に合わせて後段の機能部へ出力するデータ形式を変換する。例えば、原画像のデータ形式がＲＧＢである場合には、脈波検出部１８にはＲＧＢデータのまま出力するが、分割部１５にはＹＵＶデータに変換の上、輝度成分だけを分割部１５へ出力する。これは、脈波の検出にはヘモグロビンの吸光特性が高いＧ成分が有用である一方で、脈波の検出に使用する領域を決定するのには、色合いよりもむしろ明るさの方が有用であるからである。

分割部１５は、生体領域を複数のブロックに分割する処理部である。一態様としては、分割部１５は、領域抽出部１４によって抽出された顔領域をｍ行×ｎ列の格子状のブロックに分割する。このとき、各ブロックは、ｉ行×ｊ列の画素を含むように、ｍおよびｎが設定される。図２は、ブロック分割の一例を示す図である。図２に示すように、顔認識によって原画像から顔領域２０が抽出されると、顔領域２０は、縦５個（ｉ＝５）および横５個（ｊ＝５）の画素を含むｍ行×ｎ列のブロックに分割される。かかるブロックは、局所領域、あるいは局所ブロックとも呼ばれることがある。以下では、ブロックに含まれる各画素が持つ輝度値のことを「Ｌ（ｉ，ｊ）」と表記する場合がある。

代表値算出部１６は、ブロックごとに当該ブロックに含まれる各画素が持つ画素値の代表値を算出する処理部である。一態様としては、代表値算出部１６は、ブロックに含まれる画素の代表値を算出する場合に、各画素の輝度値に相加平均処理を適用する。例えば、代表値算出部１６は、ブロック内の第ｉｍ行第ｊｎ列の画素の輝度値がＬ（ｉｍ，ｊｎ）であるとしたとき、ブロック内の各画素の平均輝度は、下記の式（１）によって算出することができる。なお、ここでは、代表値の算出に相加平均を用いる場合を例示したが、加重平均などの他の平均処理を適用することとしてもよいし、その他の統計処理、例えば中央値や最頻値の算出などを適用することとしてもよい。

第１の抽出部１７ａは、分割部１５によって生体領域から分割されたブロックのうち、画像のフレームの間で互いに対応するブロックの代表値の差が所定の閾値以下であるブロックを抽出する処理部である。一態様としては、第１の抽出部１７ａは、代表値算出部１６によって各ブロックの代表値が算出された場合に、取得部１３によって原画像が取得されたフレームで抽出された顔領域を当該フレームの１つ前のフレームの原画像上の同一の位置に設定する。その上で、第１の抽出部１７ａは、分割部１５によって分割されたブロックごとに、１つ前のフレームの画像に設定された顔領域で当該フレームと同一の位置に存在するブロックとの間でブロック間の平均輝度の差の２乗和Ｆ（ｍ，ｎ）を下記の式（２）を用いて算出する。

ここで、第１の抽出部１７ａは、ブロック間の平均輝度の差の２乗和Ｆ（ｍ，ｎ）が所定の閾値Ｆｔｈ未満であるか否かを判定する。かかる閾値Ｆｔｈには、一例として、フレーム間での輝度変化が体動ではないと判別できる程度の値を設定することができる。このとき、ブロック間の平均輝度の差の２乗和Ｆ（ｍ，ｎ）が閾値Ｆｔｈ未満である場合には、頭部や顔の表情の体動が脈波成分を打ち消すほど、あるいは吸収する程には大きくないと判別できる。この場合には、第１の抽出部１７ａは、平均輝度の差の２乗和Ｆ（ｍ，ｎ）が閾値Ｆｔｈ未満であったブロックを脈波の検出に使用する部分画像の候補として抽出する。このように候補として抽出されたブロック（ｍ，ｎ）は、図示しない内部メモリに登録される。一方、ブロック間の平均輝度の差の２乗和Ｆ（ｍ，ｎ）が閾値Ｆｔｈ以上である場合には、頭部や顔の表情の体動が脈波成分を打ち消すほど、あるいは吸収する程に大きいと判別できる。この場合には、当該ブロックは、脈波の検出に使用する部分画像の候補として抽出されない。

このように、ブロック間の平均輝度の差の２乗和Ｆ（ｍ，ｎ）が閾値Ｆｔｈ未満である場合に、当該ブロックを脈波の検出に使用する部分画像の候補として抽出することによって、体動の影響が抑えられたブロックを抽出できるとともに、顔の輪郭部分が映り込んだブロックを候補から除去することもできる。

なお、ここでは、ブロック間の平均輝度の差の２乗和を求める場合を例示したが、これに限定されず、ブロック間の平均輝度の差を絶対値で算出できる指標であれば任意の演算方法を用いることができる。

第２の抽出部１７ｂは、分割部１５によって生体領域から分割されたブロックのうち、代表値の出現頻度が所定の閾値以上であるブロックを抽出する処理部である。一態様としては、第２の抽出部１７ｂは、代表値算出部１６によって算出された各ブロックの平均輝度Ｈ（ｍ，ｎ）を用いて、平均輝度が出現する頻度に関するヒストグラムを生成する。そして、第２の抽出部１７ｂは、先に生成したヒストグラムで出現頻度が極小値をとる平均輝度を求め、当該極小値をとる各平均輝度の前後でヒストグラムを分割する。その上で、第２の抽出部１７ｂは、先に分割されたヒストグラムの部分領域のうち面積が最大である部分領域に含まれるブロックを脈波の検出に使用する部分画像の候補として抽出する。このように候補として抽出されたブロック（ｍ，ｎ）は、図示しない内部メモリに登録される。

このように、ヒストグラムの部分領域のうち面積が最大である部分領域を抽出するのは、人の顔の全体の面積のうち頬や額などの面積が占める割合が大きいからである。それゆえ、面積が最大である部分領域を抽出することによって、体動が含まれやすい目や口が映ったブロック、他の生体に比べて脈波成分が微少である髪の毛が映ったブロック、顔の輪郭部分が映ったブロックなどのノイズの原因となるブロックを除去できる。

図３は、ヒストグラムの一例を示す図である。図３に示すグラフの縦軸は、出現頻度を指し、横軸は、平均輝度を指す。図３に示すように、ヒストグラムは、出現頻度が極小値をとる平均輝度ｈ１及び平均輝度ｈ２の前後で３つの部分領域に分割される。このうち、目や口などの顔パーツは、他の顔パーツに比べて輝度が低いので、平均輝度ｈ１の左側に位置する部分領域に含まれる。また、顔の輪郭は、顔の肌の部分と背景の一部とが混在するので、頬や額などの顔パーツに比べれば輝度が低い。よって、平均輝度ｈ１および平均輝度ｈ２に挟まれる部分領域に含まれる。また、頬や額などの顔パーツは、他の顔パーツと比べて輝度が高いので、平均輝度ｈ２の右側に位置する部分領域に含まれる。これら３つの部分領域のうち頬や額などの顔パーツが含まれる部分領域が脈波の検出に使用する部分画像の候補として抽出される。

第３の抽出部１７ｃは、分割部１５によって生体領域から分割されたブロックのうち、周辺に位置する各ブロックとの間で代表値の差が所定の閾値以下であるブロックを抽出する処理部である。一態様としては、第３の抽出部１７ｃは、ブロックを１つ選択し、当該ブロックと隣接する上下左右の各ブロックとの間でブロック間の平均輝度の差の２乗和を算出する。例えば、ブロック（ｍ，ｎ）が選択されたとしたとき、当該ブロックに上方向に隣接するブロック（ｍ−１，ｎ）との間の平均輝度の差の２乗和Ｓ（ｍ，ｎ）（ｍ−１，ｎ）は、下記の式（３）によって算出することができる。同様にして、当該ブロックの下方向に隣接するブロックとの間の平均輝度の差の２乗和Ｓ（ｍ，ｎ）（ｍ＋１，ｎ）、左方向に隣接するブロックとの間の平均輝度の差の２乗和Ｓ（ｍ，ｎ）（ｍ，ｎ−１）、さらには、右方向に隣接するブロックとの間の平均輝度の差の２乗和Ｓ（ｍ，ｎ）（ｍ，ｎ−１）を算出できる。

ここで、第３の抽出部１７ｃは、上下左右の隣接ブロックとの間で算出された４つの平均輝度の差の２乗和の全てが所定の閾値Ｓｔｈ未満であるか否かを判定する。言い換えれば、第３の抽出部１７ｃは、Ｓ（ｍ，ｎ）（ｍ−１，ｎ）＜Ｓｔｈ、Ｓ（ｍ，ｎ）（ｍ＋１，ｎ）＜Ｓｔｈ、Ｓ（ｍ，ｎ）（ｍ，ｎ−１）＜Ｓｔｈ、かつＳ（ｍ，ｎ）（ｍ，ｎ−１）＜Ｓｔｈを満たすか否かを判定する。なお、上記の閾値Ｓｔｈには、一例として、顔の輪郭、目や口などの顔パーツと顔の肌とのエッジと区別できる程度の値を設定できる。また、ここでは、４つの閾値判定に用いる閾値Ｓｔｈを全て同一の値としたが、各々の閾値に異なる値を設定することもできる。

このとき、全ての平均輝度の差の２乗和が閾値Ｓｔｈ未満である場合には、顔の輪郭、目元や口元などの肌の境界部分などに比べて、空間的な明るさの変化が小さいと判別できる。この場合には、第３の抽出部１７ｃは、先に選択されたブロックを脈波の検出に使用する部分画像の候補として抽出する。このように候補として抽出されたブロック（ｍ，ｎ）は、図示しない内部メモリに登録される。一方、いずれかの２乗和が閾値Ｓｔｈ以上である場合には、空間的な明るさの変化が顔の輪郭、目元や口元などの肌の境界部分の変化と同等であると判別できる。この場合には、先に選択されたブロックは、脈波の検出に使用する部分画像の候補として抽出されない。なお、選択されたブロックが角や端に位置する場合には、上、下、左または右に隣接するブロックが存在しないことも考えられるが、存在しないブロックとの間の２乗和は算出されず、閾値判定の対象からも除外される。

このように、周辺のブロックとの間で平均輝度の差の２乗和を比較してブロックを抽出することによって、類似する輝度値を持つブロック同士のかたまりを抽出することができる結果、脈波の検出に良好な頬や額が映るブロックを抽出できる可能性も高まる。

なお、ここでも、ブロック間の平均輝度の差の２乗和を求める場合を例示したが、これに限定されず、ブロック間の平均輝度の差を絶対値で算出できる指標であれば任意の演算方法を用いることができる。また、ここでは、周辺のブロックとして、隣接する上下左右のブロックを例示したが、必ずしも隣接のブロックでなくともかまわない。例えば、斜め方向、左斜め上、右斜め上、左斜め下や右斜め下などのブロックとの間でブロック間の平均輝度の差の２乗和を求めることとしてもよいし、ブロックを取り囲む８個のブロック全てとの間でブロック間の平均輝度の差の２乗和を求めることもできる。

このように、第１の抽出部１７ａ、第２の抽出部１７ｂ及び第３の抽出部１７ｃでブロックが抽出された後に、第１の抽出部１７ａは、内部メモリを参照して、次のような処理を実行する。すなわち、第１の抽出部１７ａは、第１の抽出部１７ａ、第２の抽出部１７ｂ及び第３の抽出部１７ｃによって内部メモリに保存されたブロックのうち全ての機能部で共通して抽出されたブロックを抽出する。これによって、脈波成分にとってノイズの原因となるブロックを相補的に除去することができる結果、脈波の検出精度をより効果的に高めることができる。

脈波検出部１８は、抽出が確定されたブロックに含まれる各画素の画素値から生体の脈波を検出する処理部である。一態様としては、脈波検出部１８は、領域抽出部１４によって抽出された顔領域に含まれる画素のうち第１の抽出部１７ａ、第２の抽出部１７ｂ及び第３の抽出部１７ｃによって共通して抽出されたブロックに含まれる各画素のＧ成分の画素値を取得する。そして、脈波検出部１８は、先に取得した画素全てのＧ成分の代表値を算出する。続いて、脈波検出部１８は、Ｇ成分の代表値の時系列データ、例えば３０秒間や１分間の信号を周波数成分へ変換する。かかる周波数成分への変換は、一例として、フーリエ変換、ＤＦＴ（Discrete Fourier Transform）、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）や離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）などを適用することができる。

その上で、脈波検出部１８は、０．５Ｈｚ〜４Ｈｚの周波数帯、言い換えれば３０ｂｐｍ〜２４０ｂｐｍの区間に対応する周波数帯で周波数スペクトルのピークを検出することによって心拍数を検出する。図４は、Ｇ成分の周波数スペクトルの一例を示す図である。図４に示すグラフの縦軸は、振幅であり、横軸は、周波数（ｂｐｍ）を指す。図４に示す周波数スペクトルが検出された場合には、３０ｂｐｍ〜２４０ｂｐｍの区間でおよそ５６ｂｐｍのあたりでピークを迎えているので、当該５６ｂｐｍが心拍数として算出されることになる。なお、ここでは、脈波検出部１８が心拍数を検出する場合を例示したが、Ｇ成分の代表値の時系列データを脈波波形として出力することができる。また、ここでは、心拍数を周波数成分へ変換することによって心拍数を検出する場合を例示したが、時間領域で脈波波形のピークの時間間隔を測定することによって心拍数を検出することとしてもかまわない。

このようにして得られた心拍数や脈波波形は、脈波検出装置１０が有する図示しない表示デバイスを始め、任意の出力先へ出力することができる。例えば、心拍数から心疾患の有無などを診断したりする診断プログラムが脈波検出装置１０にインストールされている場合には、診断プログラムを出力先とすることができる。例えば、診断プログラムでは、高血圧の人物が頻脈、例えば１００ｂｐｍ以上である場合に狭心症や心筋梗塞の疑いがあると診断したり、心拍数や脈波波形を用いて不整脈や精神疾患、例えば緊張やストレスを診断したりすることができる。また、診断プログラムをＷｅｂサービスとして提供するサーバ装置などを出力先とすることもできる。さらに、脈波検出装置１０を利用する利用者の関係者、例えば介護士、看護師や医者などが使用する端末装置を出力先とすることもできる。これによって、院外、例えば在宅や在席のモニタリングサービスも可能になる。なお、診断プログラムの測定結果や診断結果も、脈波検出装置１０を始め、関係者の端末装置に表示させることができるのも言うまでもない。

なお、上記の取得部１３、領域抽出部１４、分割部１５、代表値算出部１６、第１の抽出部１７ａ、第２の抽出部１７ｂ、第３の抽出部１７ｃ及び脈波検出部１８は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などに心拍測定プログラムを実行させることによって実現できる。また、上記の各機能部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

また、上記の内部メモリには、一例として、半導体メモリ素子を採用できる。例えば、半導体メモリ素子の一例としては、ＶＲＡＭ（Video Random Access Memory）、ＲＡＭ（Random Access Memory)、ＲＯＭ（Read Only Memory）やフラッシュメモリ（flash memory）などが挙げられる。また、内部メモリの代わりに、ハードディスク、光ディスクなどの記憶装置を採用することとしてもよい。

［処理の流れ］
続いて、本実施例に係る脈波検出装置の処理の流れについて説明する。なお、ここでは、脈波検出装置１０によって実行される（１）脈波検出処理について説明した後に、脈波検出処理のサブルーチンとして実行される（２）第１の抽出処理、（３）第２の抽出処理、（４）第３の抽出処理の順に説明する。

（１）脈波検出処理
図５は、実施例１に係る脈波検出処理の手順を示すフローチャートである。この処理は、脈波検出プログラムが起動されることによって開始し、画像が取得されなくなるまで繰り返し実行される処理である。なお、図示しない入力デバイス等を介して中断操作を受け付けた場合には、波形検出処理を中止することもできる。

図５に示すように、取得部１３によって被験者の顔が映った原画像が取得されると（ステップＳ１０１）、領域抽出部１４は、ステップＳ１０１で取得された画像から所定の顔パーツ、例えば被験者の鼻を基準とする顔領域の画像を抽出する（ステップＳ１０２）。

続いて、分割部１５は、ステップＳ１０２で抽出された顔領域をｍ行×ｎ列の格子状のブロックに分割する（ステップＳ１０３）。そして、代表値算出部１６は、ステップＳ１０３で分割されたブロックごとに当該ブロックに含まれる各画素が持つ輝度値の代表値を算出する（ステップＳ１０４）。

その後、第１の抽出部１７ａは、ステップＳ１０４で分割されたブロックのうち、画像のフレームの間で互いに対応するブロックの代表値の差が所定の閾値以下であるブロックを抽出する「第１の抽出処理」を実行する（ステップＳ１０５Ａ）。

このステップＳ１０５Ａの処理と並行して、第２の抽出部１７ｂは、ステップＳ１０４で分割されたブロックのうち、代表値の出現頻度が所定の閾値以上であるブロックを抽出する（ステップＳ１０５Ｂ）。

さらに、ステップＳ１０５Ａ及びステップＳ１０５Ｂの処理と並行して、第３の抽出部１７ｃは、ステップＳ１０４で分割されたブロックのうち、周辺に位置する各ブロックとの間で代表値の差が所定の閾値以下であるブロックを抽出する（ステップＳ１０５Ｃ）。

これらステップＳ１０５Ａ、ステップＳ１０５Ｂ及びステップＳ１０５Ｃの完了後、第１の抽出部１７ａは、次のような処理を実行する。すなわち、第１の抽出部１７ａは、第１の抽出部１７ａ、第２の抽出部１７ｂ及び第３の抽出部１７ｃによって内部メモリに保存されたブロックのうち全ての機能部で共通して抽出されたブロックを抽出する（ステップＳ１０６）。

続いて、脈波検出部１８は、ステップＳ１０２で抽出された顔領域に含まれる画素のうちステップＳ１０６で抽出されたブロックに含まれる各画素のＧ成分の代表値を算出する（ステップＳ１０７）。

その後、Ｇ成分の代表値の時系列データが所定の期間、例えば３０秒間や１分間にわたって蓄積されるまで（ステップＳ１０８Ｎｏ）、上記のステップＳ１０１〜ステップＳ１０７までの処理を実行する。

そして、Ｇ成分の代表値の時系列データが所定の期間にわたって蓄積すると（ステップＳ１０８Ｙｅｓ）、脈波検出部１８は、Ｇ成分の代表値の時系列データを周波数成分へ変換する（ステップＳ１０９）。その上で、脈波検出部１８は、脈波が採り得る周波数帯で周波数スペクトルのピークを検出することによって心拍数を検出し（ステップＳ１１０）、処理を終了する。

なお、図５に示したフローチャートでは、ステップＳ１０５Ａ、ステップＳ１０５Ｂ及びステップＳ１０５Ｃの処理を並列に実行する場合を例示したが、これらは任意の順番でシリアルに実行することもできる。また、ステップＳ１０５Ａ、ステップＳ１０５Ｂ及びステップＳ１０５Ｃの処理は、全て実行されずともよく、いずれか１つに絞って単独で実行したり、いずれか２つを組み合わせて実行したりすることもできる。

（２）第１の抽出処理
図６は、実施例１に係る第１の抽出処理の手順を示すフローチャートである。この処理は、図５に示したステップＳ１０５Ａの処理に対応し、各ブロックの代表値、例えばブロックに含まれる各画素の平均輝度が算出された場合に処理が開始される。

図６に示すように、第１の抽出部１７ａは、ステップＳ１０１で原画像が取得されたフレームで抽出された顔領域を当該フレームの１つ前のフレームの原画像上の同一の位置に設定する（ステップＳ２０１）。

続いて、第１の抽出部１７ａは、ステップＳ１０３で分割されたブロックを１つ選択する（ステップＳ２０２）。そして、第１の抽出部１７ａは、ステップＳ２０２で選択されたブロックと、１つ前のフレームの画像に設定された顔領域で当該フレームと同一の位置に存在するブロックとの間でブロック間の平均輝度の差の２乗和Ｆ（ｍ，ｎ）を算出する（ステップＳ２０３）。

ここで、第１の抽出部１７ａは、ブロック間の平均輝度の差の２乗和Ｆ（ｍ，ｎ）が所定の閾値Ｆｔｈ未満であるか否かを判定する（ステップＳ２０４）。このとき、ブロック間の平均輝度の差の２乗和Ｆ（ｍ，ｎ）が閾値Ｆｔｈ未満である場合（ステップＳ２０４Ｙｅｓ）には、頭部や顔の表情の体動が脈波成分を打ち消すほど、あるいは吸収する程には大きくないと判別できる。この場合には、第１の抽出部１７ａは、平均輝度の差の２乗和Ｆ（ｍ，ｎ）が閾値Ｆｔｈ未満であったブロックを脈波の検出に使用する部分画像の候補として抽出する（ステップＳ２０５）。このように候補として抽出されたブロック（ｍ，ｎ）は、図示しない内部メモリに登録される。

一方、ブロック間の平均輝度の差の２乗和Ｆ（ｍ，ｎ）が閾値Ｆｔｈ以上である場合（ステップＳ２０４Ｎｏ）には、頭部や顔の表情の体動が脈波成分を打ち消すほど、あるいは吸収する程に大きいと判別できる。この場合には、当該ブロックは脈波の検出に使用する部分画像の候補として抽出せずに、ステップＳ２０６の処理へ移行する。

その後、全てのブロックについて上記の２乗和Ｆの閾値判定を実行するまで（ステップＳ２０６Ｎｏ）、上記のステップＳ２０２〜ステップＳ２０５までの処理を実行する。そして、全てのブロックについて上記の２乗和Ｆの閾値判定を実行すると（ステップＳ２０６Ｙｅｓ）、処理を終了する。

（３）第２の抽出処理
図７は、実施例１に係る第２の抽出処理の手順を示すフローチャートである。この処理は、図５に示したステップＳ１０５Ｂの処理に対応し、各ブロックの代表値、例えばブロックに含まれる各画素の平均輝度が算出された場合に処理が開始される。

図７に示すように、第２の抽出部１７ｂは、ステップＳ１０３で分割された各ブロックの平均輝度Ｈ（ｍ，ｎ）を用いて、平均輝度が出現する頻度に関するヒストグラムを生成する（ステップＳ３０１）。

そして、第２の抽出部１７ｂは、ステップＳ３０１で生成したヒストグラムで出現頻度が極小値をとる平均輝度を求め、当該極小値をとる各平均輝度の前後でヒストグラムを分割する（ステップＳ３０２）。

その後、第２の抽出部１７ｂは、ステップＳ３０２で分割されることによって得られたヒストグラムの部分領域のうち面積が最大である部分領域を選択する（ステップＳ３０３）。

その上で、第２の抽出部１７ｂは、ステップＳ３０３で選択された部分領域に含まれるブロックを脈波の検出に使用する部分画像の候補として抽出し（ステップＳ３０４）、処理を終了する。なお、ステップＳ３０４で抽出されたブロック（ｍ，ｎ）は、図示しない内部メモリに登録される。

（４）第３の抽出処理
図８は、実施例１に係る第３の抽出処理の手順を示すフローチャートである。この処理は、図５に示したステップＳ１０５Ｃの処理に対応し、各ブロックの代表値、例えばブロックに含まれる各画素の平均輝度が算出された場合に処理が開始される。

図８に示すように、第３の抽出部１７ｃは、ステップＳ１０３で分割されたブロックを１つ選択し（ステップＳ４０１）、当該ブロックと隣接する上下左右の各ブロックとの間でブロック間の平均輝度の差の２乗和を算出する（ステップＳ４０２）。

ここで、第３の抽出部１７ｃは、上下左右の隣接ブロックとの間で算出された４つの平均輝度の差の２乗和の全てが所定の閾値Ｓｔｈ未満であるか否かを判定する（ステップＳ４０３）。このとき、全ての平均輝度の差の２乗和が閾値Ｓｔｈ未満である場合（ステップＳ４０３Ｙｅｓ）には、顔の輪郭、目元や口元などの肌の境界部分などに比べて、空間的な明るさの変化が小さいと判別できる。この場合には、第３の抽出部１７ｃは、先に選択されたブロックを脈波の検出に使用する部分画像の候補として抽出する（ステップＳ４０４）。このように候補として抽出されたブロック（ｍ，ｎ）は、図示しない内部メモリに登録される。

一方、いずれかの２乗和が閾値Ｓｔｈ以上である場合（ステップＳ４０３Ｎｏ）には、空間的な明るさの変化が顔の輪郭、目元や口元などの肌の境界部分の変化と同等であると判別できる。この場合には、ステップＳ４０４の処理を実行せずに、ステップＳ４０５の処理へ移行する。

その後、全てのブロックについて上記の２乗和の閾値判定を実行するまで（ステップＳ４０５Ｎｏ）、上記のステップＳ４０１〜ステップＳ４０４までの処理を実行する。そして、全てのブロックについて上記の２乗和の閾値判定を実行すると（ステップＳ４０５Ｙｅｓ）、処理を終了する。

［実施例１の効果］
上述してきたように、本実施例に係る脈波検出装置１０は、被験者が撮影された画像から抽出された顔領域をブロック分割し、画像のフレームの間で互いに対応するブロックの代表値の差が閾値以下であるブロックを抽出して脈波の検出に用いる。これによって、体動の影響が抑えられたブロックを抽出できるとともに、顔の輪郭部分が映り込んだブロックを候補から除去することもできる。したがって、本実施例に係る脈波検出装置１０によれば、脈波の検出精度を向上させることができる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

［応用例１］
例えば、上記の実施例１では、第１の抽出部１７ａ及び第３の抽出部１７ｃによって用いられる閾値Ｆｔｈおよび閾値Ｓｔｈを固定とする場合を例示したが、これら閾値Ｆｔｈおよび閾値Ｓｔｈは、任意に変更することができる。例えば、脈波検出装置１０は、顔全体に占める頬や額の割合α、例えば６０％を予め設定しておき、上記の脈波検出処理が実行される度に全ブロックに占める最終的に抽出されたブロックの割合を算出し、上記の割合αへ収束するように閾値Ｆｔｈまたは閾値Ｓｔｈを上下に調節することができる。なお、上記の割合αは、例えば、被験者を可及的に静止させた状態で撮影された画像から抽出された顔領域から検出された頬や額の領域を顔領域の全体で除算することによって算出することができる。

［応用例２］
脈波検出装置１０は、第１の抽出処理、第２の抽出処理及び第３の抽出処理以外のブロックの抽出を実行することができる。例えば、脈波検出装置１０は、所定のフレーム数もしくは期間にわたって第１の抽出処理、第２の抽出処理及び第３の抽出処理を実行した後に、当該フレーム数または当該期間が経過するまで連続して抽出されたブロックを抽出する。これによって、脈波の検出に良好なブロックとして継続的に抽出されたブロックを抽出することができる結果、脈波の検出精度をより安定して向上させることができる。

［他の実装例］
上記の実施例１では、脈波検出装置１０が上記の脈波検出処理をスタンドアローンで実行する場合を例示したが、クライアントサーバシステムとして実装することもできる。例えば、脈波検出装置１０は、脈波検出サービスを提供するＷｅｂサーバとして実装することとしてもよいし、アウトソーシングによって脈波検出サービスを提供するクラウドとして実装することとしてもかまわない。このように、脈波検出装置１０がサーバ装置として動作する場合には、スマートフォンや携帯電話機等の携帯端末装置やパーソナルコンピュータ等の情報処理装置をクライアント端末として収容することができる。これらクライアント端末からネットワークを介して被験者の顔が映った画像が取得された場合に脈波検出処理を実行し、心拍の検出結果や検出結果を用いてなされた診断結果をクライアント端末へ応答することによって脈波検出サービスを提供できる。

［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、取得部１３、領域抽出部１４、分割部１５、代表値算出部１６、第１の抽出部１７ａ、第２の抽出部１７ｂ、第３の抽出部１７ｃまたは脈波検出部１８を脈波検出装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、取得部１３、領域抽出部１４、分割部１５、代表値算出部１６、第１の抽出部１７ａ、第２の抽出部１７ｂ、第３の抽出部１７ｃまたは脈波検出部１８を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の脈波検出装置１０の機能を実現するようにしてもよい。

［脈波検出プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図９を用いて、上記の実施例と同様の機能を有する脈波検出プログラムを実行するコンピュータの一例について説明する。

図９は、実施例１及び実施例２に係る脈波検出プログラムを実行するコンピュータの一例について説明するための図である。図９に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。

ＨＤＤ１７０には、図９に示すように、上記の実施例１で示した取得部１３、領域抽出部１４、分割部１５、代表値算出部１６、第１の抽出部１７ａ、第２の抽出部１７ｂ、第３の抽出部１７ｃ及び脈波検出部１８と同様の機能を発揮する脈波検出プログラム１７０ａが予め記憶される。この脈波検出プログラム１７０ａについては、図１に示した各々の取得部１３、領域抽出部１４、分割部１５、代表値算出部１６、第１の抽出部１７ａ、第２の抽出部１７ｂ、第３の抽出部１７ｃ及び脈波検出部１８の各構成要素と同様、適宜統合又は分離しても良い。すなわち、ＨＤＤ１７０に格納される各データは、常に全てのデータがＨＤＤ１７０に格納される必要はなく、処理に必要なデータのみがＨＤＤ１７０に格納されれば良い。

そして、ＣＰＵ１５０が、脈波検出プログラム１７０ａをＨＤＤ１７０から読み出してＲＡＭ１８０に展開する。これによって、図９に示すように、脈波検出プログラム１７０ａは、脈波検出プロセス１８０ａとして機能する。この脈波検出プロセス１８０ａは、ＨＤＤ１７０から読み出した各種データを適宜ＲＡＭ１８０上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、脈波検出プロセス１８０ａは、図１に示した取得部１３、領域抽出部１４、分割部１５、代表値算出部１６、第１の抽出部１７ａ、第２の抽出部１７ｂ、第３の抽出部１７ｃ及び脈波検出部１８にて実行される処理、例えば図５〜図８に示す処理を含む。また、ＣＰＵ１５０上で仮想的に実現される各処理部は、常に全ての処理部がＣＰＵ１５０上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されれば良い。

なお、上記の脈波検出プログラム１７０ａについては、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶させておく必要はない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。

１０ 脈波検出装置
１１ カメラ
１３ 取得部
１４ 領域抽出部
１５ 分割部
１６ 代表値算出部
１７ａ 第１の抽出部
１７ｂ 第２の抽出部
１７ｃ 第３の抽出部
１８ 脈波検出部

Claims (6)

1. 生体が撮影された画像を取得する取得部と、
   前記画像に含まれる生体領域を抽出する領域抽出部と、
   前記生体領域を複数のブロックに分割する分割部と、
   前記画像のフレームの間で互いの位置が対応する２つのブロックごとに、前記２つのブロックの画素間の画素値の差分から前記差分を代表する第１の差分代表値を算出する第１の算出部と、
   前記複数のブロックのうち、前記第１の差分代表値が所定の閾値以下であるブロックを抽出するブロック抽出部と、
   抽出されたブロック内の各画素の画素値から前記生体の脈波を検出する脈波検出部と
   を有することを特徴とする脈波検出装置。
2. 前記生体領域に含まれるブロックごとに、前記ブロック内の各画素が持つ画素値から前記ブロック内の画素値を代表するブロック代表値を算出する第２の算出部をさらに有し、
   前記ブロック抽出部は、前記複数のブロックのうち、前記第１の差分代表値が所定の閾値以下であり、かつ前記ブロック代表値の出現頻度が所定の閾値以上であるブロック代表値が算出されたブロックを抽出することを特徴とする請求項１に記載の脈波検出装置。
3. 前記生体領域に含まれるブロックごとに、前記ブロックと前記ブロックの周辺に位置するブロックとの画素間の画素値の差分から前記差分を代表する第２の差分代表値を算出する第３の算出部をさらに有し、
   前記ブロック抽出部は、前記複数のブロックのうち、前記第１の差分代表値が所定の閾値以下であり、かつ前記第２の差分代表値が所定の閾値以下であるブロックを抽出することを特徴とする請求項１に記載の脈波検出装置。
4. 前記ブロック抽出部は、所定のフレーム数もしくは期間にわたってブロックを抽出した後に、前記フレーム数または前記期間が経過するまで連続して抽出されたブロックを抽出することを特徴とする請求項１、２または３に記載の脈波検出装置。
5. コンピュータが、
   生体が撮影された画像を取得し、
   前記画像に含まれる生体領域を抽出し、
   前記生体領域を複数のブロックに分割し、
   前記画像のフレームの間で互いの位置が対応する２つのブロックごとに、前記２つのブロックの画素間の画素値の差分から前記差分を代表する差分代表値を算出し、
   前記複数のブロックのうち、前記差分代表値が所定の閾値以下であるブロックを抽出し、
   抽出されたブロック内の各画素の画素値から前記生体の脈波を検出する
   処理を実行することを特徴とする脈波検出方法。
6. コンピュータに、
   生体が撮影された画像を取得し、
   前記画像に含まれる生体領域を抽出し、
   前記生体領域を複数のブロックに分割し、
   前記画像のフレームの間で互いの位置が対応する２つのブロックごとに、前記２つのブロックの画素間の画素値の差分から前記差分を代表する差分代表値を算出し、
   前記複数のブロックのうち、前記差分代表値が所定の閾値以下であるブロックを抽出し、
   抽出されたブロック内の各画素の画素値から前記生体の脈波を検出する
   処理を実行させることを特徴とする脈波検出プログラム。

Images