JP6052027B2 - 脈波検出装置、脈波検出プログラムおよび脈波検出方法 - Google Patents

Description

本発明は、脈波検出装置、脈波検出プログラムおよび脈波検出方法に関する。

被験者が撮影された画像から血液の体積の変動、いわゆる脈波を検出する技術が知られている。例えば、被験者の顔をビデオカメラで撮像し、撮像データから濃度を算出して心拍および呼吸数を測定する従来技術が提案されている。

特開２００５−２１８５０７号公報

"Non-contact, automated cardiac pulse measurements using video imaging and blind source separation"，OPTICS EXPRESS Vol.18，No.10，2010

ところで、脈波は、毛細血管の血流の変化に伴う皮膚部分の画像の輝度変化から測定する。この脈波に関係する輝度変化は、微少である。このため、脈波の検出では、脈波に関係する輝度変化を精度良く測定するため、顔の皮膚部を広く計測領域として利用して輝度変化を測定したい。しかし、顔の広い範囲を輝度変化の計測領域とした場合、顔の位置が変化して計測領域から顔が外れると輝度変化が大きくなって、脈波の検出が困難になる。

そこで、例えば、撮影される各フレームの画像について顔検出を行い、検出された顔領域から輝度変化を測定することが考えられる。しかし、顔検出の処理は、輝度変化の測定処理とは異なる処理であり、フレームの画像全体に対する処理であるため、演算量が多い。このため、フレーム毎に、顔検出の処理を行った場合、顔検出による計算負荷が大きくなってしまう。

一側面では、計算負荷を抑えて脈波を検出できる脈波検出装置、脈波検出プログラムおよび脈波検出方法を提供することを目的とする。

本発明の一側面によれば、脈波検出装置は、検出部と、分割部と、第１計測部と、決定部と、第２計測部と、第３計測部と、変更部と、を有する。検出部は、撮像装置により被験者が連続的に撮影された画像のうち何れかの画像から前記被験者の顔領域を検出する。分割部は、検出部により顔領域が検出された画像以降の画像の顔領域に対応する領域を複数の局所領域に分割する。第１計測部は、前記顔領域が検出された画像の各局所領域から脈波を計測する。決定部は、前記第１計測部による各局所領域の脈波の計測結果に基づき、前記複数の局所領域から脈波の計測領域を決定する。第２計測部は、前記決定部により決定された、画像における前記計測領域から脈波を計測する。第３計測部は、前記計測領域の境界部分の局所領域から脈波を計測する。変更部は、前記第３計測部により計測される境界部分の局所領域の脈波の計測結果に基づき、前記計測領域を変更する。

本発明の一側面によれば、計算負荷を抑えて脈波を検出できるという効果を奏する。

図１は、実施例１に係る脈波検出装置の機能的構成を示すブロック図である。 図２は、画像の顔領域を局所領域に分割した一例を示す図である。 図３は、Ｇ信号およびＲ信号の各信号のスペクトルの一例を示す図である。 図４は、Ｇ成分および補正係数ｋが乗算されたＲ成分の各信号のスペクトルの一例を示す図である。 図５は、演算後のスペクトルの一例を示す図である。 図６は、計測部の機能的構成を示すブロック図である。 図７は、計測領域の決定の流れを説明する図である。 図８は、計測領域の境界部分の脈波の計測を行う局所領域の一例を示す図である。 図９は、計測領域の変更の一例を示す図である。 図１０は、検出処理の手順を示すフローチャートである。 図１１は、横方向変更処理の手順を示すフローチャートである。 図１２は、横方向変更処理を行う際のラインの定義の一例を示す図である。 図１３は、縦方向変更処理の手順を示すフローチャートである。 図１４は、縦方向変更処理を行う際のラインの定義の一例を示す図である。 図１５は、脈波検出プログラムを実行するコンピュータの一例について説明するための図である。

以下に、本願の開示する脈波検出装置、脈波検出プログラムおよび脈波検出方法の実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［脈波検出装置の構成］
図１は、実施例１に係る脈波検出装置の機能的構成を示すブロック図である。図１に示す脈波検出装置１０は、太陽光や室内光などの環境光の下で生体に計測器具を接触させずに、被験者が撮影された画像を用いて被験者の脈波を検出する装置である。ここで言う「脈波」とは、血液の体積の変動、すなわち血流の増減を表す指標を指し、いわゆる心拍数や心拍波形などが含まれる。かかる脈波検出装置１０の一態様としては、例えば、スマートフォン、ＰＤＡ（Personal Digital Assistant）、携帯電話機等の携帯端末装置等である。脈波検出装置１０の一態様としては、スマートフォンに脈波を検出するアプリケーションプログラムをプリインストールまたはインストールさせ、当該アプリケーションプログラムを動作させることによって実現される。なお、脈波検出装置１０は、デスクトップ型ＰＣ（パーソナル・コンピュータ）、タブレット型ＰＣ、ノート型ＰＣなどの情報処理装置であってもよい。

脈波検出装置１０は、図１に示すように、カメラ２０と、表示部２１と、入力部２２と、通信Ｉ／Ｆ（interface）部２３と、制御部２４とを有する。なお、脈波検出装置１０は、図１に示した機能部以外にも既知の携帯端末装置が有する各種の機能部を有することとしてもかまわない。例えば、脈波検出装置１０は、アンテナ、キャリア網を介して通信を行うキャリア通信部、ＧＰＳ（Global Positioning System）受信機、ハードディスク、ＳＳＤ（Solid State Drive）、フラッシュメモリ等の記憶部などを有することとしてもかまわない。

カメラ２０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いた撮像装置である。例えば、カメラ２０には、Ｒ（red）、Ｇ（green）、Ｂ（blue）など３種以上の受光素子を搭載することができる。かかるカメラ２０の実装例としては、デジタルカメラやＷｅｂカメラを外部端子を介して接続することとしてもよいし、携帯端末のようにカメラが出荷時から搭載されている場合にはそのカメラを流用できる。なお、ここでは、脈波検出装置１０がカメラ２０を有する場合を例示したが、ネットワーク経由または記憶デバイス経由で画像を取得できる場合には、脈波検出装置１０がカメラ２０を有さなくてもよい。

表示部２１は、各種情報を表示する表示デバイスである。表示部２１としては、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）などの表示デバイスが挙げられる。表示部２１は、各種情報を表示する。脈波検出装置１０を通じて情報を表示する必要がなければ表示部２１が無くても構わない。また、別の装置の表示部に表示することもできる。

入力部２２は、各種の情報を入力する入力デバイスである。例えば、入力部２２としては、マウスやキーボード、脈波検出装置１０に設けられた各種のボタンや、表示部２１上に設けられた透過型のタッチセンサなどの入力デバイスが挙げられる。なお、図１の例では、機能的な構成を示したため、表示部２１と入力部２２を別に分けているが、例えば、タッチパネルなど表示部２１と入力部２２を一体的に設けたデバイスで構成してもよい。

通信Ｉ／Ｆ部２３は、他の装置との間で通信制御を行うインタフェースである。かかる通信Ｉ／Ｆ部２３の一態様としては、ＬＡＮカードなどのネットワークインタフェースカードを採用できる。通信Ｉ／Ｆ部２３は、不図示のネットワークを介して他の装置と各種情報を送受信する。例えば、通信Ｉ／Ｆ部２３は、検出された脈波の情報をサーバ装置へ送信する。

制御部２４は、脈波検出装置１０を制御するデバイスである。制御部２４としては、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等の電子回路や、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路を採用できる。制御部２４は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部２４は、各種のプログラムが動作することにより、各種の処理部として機能する。例えば、制御部２４は、撮影制御部３０と、検出部３１と、分割部３２と、計測部３３と、決定部３４と、変更部３５と、出力制御部３６とを有する。

撮影制御部３０は、カメラ２０を制御して画像の撮影を制御する処理部である。例えば、撮影制御部３０は、脈波の検出を行う場合、カメラ２０を制御して連続的に画像の撮影を行う。例えば、撮影制御部３０は、入力部２２に対して脈波の検出開始を指示する所定操作が行われた場合、カメラ２０を制御して所定のフレームレートで連続的に画像の撮影を行う。フレームレートは、人の脈波をサンプリング可能な周期であればよい。本実施例では、カメラ２０により動画撮影を行い、撮影される各画像から脈波の検出を行うものとしている。フレームレートとしては、例えば、２４ｆｐｓ（frame per second）、３０ｆｐｓ、６０ｆｐｓなどの一般的な動画の撮影周期が挙げられる。カメラ２０により撮影された画像は、撮影順に順次、検出部３１および分割部３２へ出力される。なお、撮影制御部３０は、カメラ２０が撮影する画像を表示部２１に表示させてもよい。

検出部３１は、画像に対して顔検出の処理を行う処理部である。例えば、検出部３１は、カメラ２０により被験者が連続的に撮影された画像のうち何れかの画像から被験者の顔領域を検出する。例えば、検出部３１は、脈波の検出開始が指示された場合、カメラ２０から入力する画像に対して、順に顔検出の処理を行う。この顔検出の手法は、何れであってよい。例えば、検出部３１は、画像にテンプレートマッチング等の画像処理を実行することによって被験者の眼、耳、鼻や口などの顔パーツや輪郭を検出する。そして、検出部３１は、被験者の顔パーツを含む所定の矩形領域を顔領域と検出する。例えば、検出部３１は、被験者の顔の輪郭全体を含む矩形領域を顔領域と検出する。

検出部３１は、顔領域を検出すると、画像内での検出した顔領域の位置を分割部３２へ出力し、以降の画像に対する顔検出の処理を停止する。すなわち、検出部３１は、カメラ２０から順次入力される何れの画像で顔領域が１度検出されると、顔領域の位置を示す位置情報を分割部３２へ出力して顔検出の処理を停止する。

分割部３２は、カメラ２０から入力する各画像を複数の局所領域に分割する処理部である。例えば、分割部３２は、検出部３１から顔領域の位置情報が入力すると、顔領域が検出された画像以降の各画像の位置情報が示す顔領域に対応する領域を複数の局所領域に分割する。分割部３２は、局所領域の分割を行った各画像を計測部３３へ出力する。

図２は、画像の顔領域を局所領域に分割した一例を示す図である。画像４０には被験者の顔が含まれており、顔領域４１が検出されている。図２の例では、顔領域４１がｍ×ｎ個の局所領域４２に分割されている。この局所領域４２は、領域内に含まれる各画素の輝度の平均から脈波を求めた場合、ノイズに対して所定以上のＳＮ比（Signal to Noise ratio）が得られるサイズとする。例えば、分割部３２は、顔領域４１が検出された画像以降の画像の顔領域４１に対応する領域を１０×１０画素毎の局所領域４２に分割する。

計測部３３は、分割部３２により分割された各画像から脈波を計測する処理部である。ここで、本実施例では、脈波を計測するタイミングおよび計測対象の領域に応じて、計測部３３を機能的に、第１計測部３３Ａ、第２計測部３３Ｂ、第３計測部３３Ｃに分けて示している。第１計測部３３Ａ、第２計測部３３Ｂ、第３計測部３３Ｃは、それぞれ個別に処理部として設けられていてもよい。また、計測部３３が、第１計測部３３Ａ、第２計測部３３Ｂ、第３計測部３３Ｃとして機能するものとしてもよい。

計測部３３は、カメラ２０により撮影された画像の計測対象の領域に含まれる各波長成分の信号から脈波を計測する。例えば、計測部３３は、計測対象の領域に含まれる各画素の波長成分別の代表値の信号から、各波長成分の間で脈波が採り得る脈波周波数帯以外の特定周波数帯の成分が互いに相殺された信号の波形を脈波として計測する。

一態様としては、計測部３３は、画像に含まれる３つの波長成分、すなわちＲ成分、Ｇ成分およびＢ成分のうち血液の吸光特定が異なるＲ成分とＧ成分の２つの波長成分の代表値の時系列データを用いて、波形を検出する。

これを説明すると、顔表面には、毛細血管が流れており、心拍により血管に流れる血流が変化すると、血流で吸収される光量も心拍に応じて変化するため、顔からの反射によって得られる輝度も心拍に伴って変化する。かかる輝度の変化量は小さいが、顔領域全体の平均輝度を求めると、輝度の時系列データには脈波成分が含まれる。ところが、輝度は、脈波以外に体動等によっても変化し、これが、脈波検出のノイズ成分、いわゆる体動アーチファクトとなる。そこで、血液の吸光特性の異なる２種類以上の波長、例えば吸光特性が高いＧ成分（５２５ｎｍ程度）、吸光特性が低いＲ成分（７００ｎｍ程度）で脈波を検出する。心拍は、０．５Ｈｚ〜４Ｈｚ、１分あたりに換算すれば３０ｂｐｍ〜２４０ｂｐｍの範囲であるので、それ以外の成分はノイズ成分とみなすことができる。ノイズには、波長特性は無い、あるいはあっても極小であると仮定すると、Ｇ信号およびＲ信号の間で０．５Ｈｚ〜４Ｈｚ以外の成分は等しいはずであるが、カメラの感度差により大きさが異なる。それゆえ、０．５Ｈｚ〜４Ｈｚ以外の成分の感度差を補正して、Ｇ成分からＲ成分を減算すれば、ノイズ成分は除去されて脈波成分のみを取り出すことができる。

例えば、Ｇ成分及びＲ成分は、下記の式（１）および下記の式（２）によって表すことができる。下記の式（１）における「Ｇｓ」は、Ｇ信号の脈波成分を指し、「Ｇｎ」は、Ｇ信号のノイズ成分を指し、また、下記の式（２）における「Ｒｓ」は、Ｒ信号の脈波成分を指し、「Ｒｎ」は、Ｒ信号のノイズ成分を指す。また、ノイズ成分は、Ｇ成分およびＲ成分の間で感度差があるので、感度差の補正係数ｋは、下記の式（３）によって表される。

Ｇａ＝Ｇｓ＋Ｇｎ・・・（１）
Ｒａ＝Ｒｓ＋Ｒｎ・・・（２）
ｋ＝Ｇｎ／Ｒｎ・・・（３）

感度差を補正してＧ成分からＲ成分を減算すると、脈波成分Ｓは、下記の式（４）となる。これを上記の式（１）及び上記の式（２）を用いて、Ｇｓ、Ｇｎ、Ｒｓ及びＲｎによって表される式へ変形すると、下記の式（５）となり、さらに、上記の式（３）を用いて、ｋを消し、式を整理すると下記の式（６）が導出される。

Ｓ＝Ｇａ−ｋＲａ・・・（４）
Ｓ＝Ｇｓ＋Ｇｎ−ｋ（Ｒｓ＋Ｒｎ）・・・（５）
Ｓ＝Ｇｓ−（Ｇｎ／Ｒｎ）Ｒｓ・・・（６）

ここで、Ｇ信号およびＲ信号は、吸光特性が異なり、Ｇｓ＞（Ｇｎ／Ｒｎ）Ｒｓである。したがって、上記の式（６）によってノイズが除去された脈波成分Ｓを算出することができる。

図３は、Ｇ信号およびＲ信号の各信号のスペクトルの一例を示す図である。図３に示すグラフの縦軸は、信号強度を指し、また、横軸は、周波数（ｂｐｍ）を指す。図３に示すように、Ｇ成分およびＲ成分は、撮像素子の感度が異なるので、両者の信号強度はそれぞれ異なる。その一方、Ｒ成分およびＧ成分は、いずれにおいても３０ｂｐｍ〜２４０ｂｐｍの範囲外、特に３ｂｐｍ以上２０ｂｐｍ未満の特定周波数帯でノイズが現れることには変わりはない。このため、図３に示すように、３ｂｐｍ以上２０ｂｐｍ未満の特定周波数帯に含まれる指定の周波数Ｆｎに対応する信号強度をＧｎ及びＲｎとして抽出できる。これらＧｎ及びＲｎによって感度差の補正係数ｋを導出できる。

図４は、Ｇ成分および補正係数ｋが乗算されたＲ成分の各信号のスペクトルの一例を示す図である。図４の例では、説明の便宜上、補正係数の絶対値を乗算した結果が図示されている。図４に示すグラフにおいても、縦軸は、信号強度を指し、また、横軸は、周波数（ｂｐｍ）を指す。図４に示すように、Ｇ成分及びＲ成分の各信号のスペクトルに補正係数ｋが乗算された場合には、Ｇ成分およびＲ成分の各成分の間で感度が揃う。特に、特定周波数帯におけるスペクトルの信号強度は、大部分においてスペクトルの信号強度が略同一になっている。その一方で、実際に脈波が含まれる周波数の周辺領域６０は、Ｇ成分およびＲ成分の各成分の間でスペクトルの信号強度が揃っていない。

図５は、演算後のスペクトルの一例を示す図である。図５では、脈波が現れている周波数帯の視認性を上げる観点から縦軸である信号強度の尺度を大きくして図示している。図５に示すように、Ｇ信号のスペクトルから補正係数ｋの乗算後のＲ信号のスペクトルが差し引かれた場合には、Ｇ成分およびＲ成分の間での吸光特性の差によって脈波が現れる信号成分の強度が可及的に維持された状態でノイズ成分が低減されていることがわかる。このようにしてノイズ成分だけが除去された脈波波形を検出することができる。

続いて、計測部３３の機能的構成についてさらに具体的に説明する。図６は、計測部の機能的構成を示すブロック図である。図６に示すように、計測部３３は、第１算出部５１と、ＢＰＦ（Band-Pass Filter）５２Ｒ及び５２Ｇと、抽出部５３Ｒ及び５３Ｇと、ＬＰＦ（Low-Pass Filter）５４Ｒ及び５４Ｇとを有する。また、計測部３３は、第２算出部５５と、ＢＰＦ５６Ｒ及び５６Ｇと、乗算部５７と、演算部５８と、検出部５９とを有する。なお、図３〜図５の例では、周波数空間にて脈波を検出する例を説明したが、図６では、周波数成分への変換にかかる時間を削減する観点から、時系列空間にてノイズ成分をキャンセルして脈波を検出する場合の機能的構成を図示している。

第１算出部５１は、Ｒ成分及びＧ成分ごとに計測対象の領域に含まれる各画素の画素値の代表値として平均値を算出する。なお、代表値は、計測対象の領域に含まれる各画素の画素値を代表する値であれば、平均値以外であってもよい。そして、第１算出部５１は、部分画像に含まれるＲ信号及びＧ信号の平均値を所定の時間、例えば１秒間や１分間などにわたって時系列にサンプリングし、サンプリングされたＲ信号及びＧ信号の時系列データを後段の機能部へ出力する。例えば、第１算出部５１は、Ｒ信号の時系列データをＢＰＦ５２Ｒ及びＢＰＦ５６Ｒへ出力するとともに、Ｇ信号の時系列データをＢＰＦ５２Ｇ及びＢＰＦ５６Ｇへ出力する。

ＢＰＦ５２Ｒ、ＢＰＦ５２Ｇ、ＢＰＦ５６Ｒ及びＢＰＦ５６Ｇは、いずれも所定の周波数帯の信号成分だけを通過させてそれ以外の周波数帯の信号成分を除去するバンドパスフィルタである。これらＢＰＦ５２Ｒ、ＢＰＦ５２Ｇ、ＢＰＦ５６Ｒ及びＢＰＦ５６Ｇは、ハードウェアによって実装されることとしてもよいし、ソフトウェアによって実装されることとしてもよい。

これらＢＰＦが通過させる周波数帯の違いについて説明する。ＢＰＦ５２Ｒ及びＢＰＦ５２Ｇは、ノイズ成分が他の周波数帯よりも顕著に現れる特定周波数帯の信号成分を通過させる。

かかる特定周波数帯は、脈波が採り得る周波数帯との間で比較することによって定めることができる。脈波が採り得る周波数帯の一例としては、０．５Ｈｚ以上４Ｈｚ以下である周波数帯、１分あたりに換算すれば３０ｂｐｍ以上２４０ｂｐｍ以下である周波数帯が挙げられる。このことから、特定周波数帯の一例としては、脈波として計測され得ない０．５Ｈｚ未満及び４Ｈｚ超過の周波数帯を採用することができる。また、特定周波数帯は、脈波が採り得る周波数帯との間でその一部が重複することとしてもよい。例えば、脈波として計測されることが想定しづらい０．７Ｈｚ〜１Ｈｚの区間で脈波が採り得る周波数帯と重複することを許容し、１Ｈｚ未満及び４Ｈｚ以上の周波数帯を特定周波数帯として採用することもできる。また、特定周波数帯は、１Ｈｚ未満及び４Ｈｚ以上の周波数帯を外縁とし、ノイズがより顕著に現れる周波数帯に絞ることもできる。例えば、ノイズは、脈波が採り得る周波数帯よりも高い高周波数帯よりも、脈波が採り得る周波数帯よりも低い低周波数帯でより顕著に現れる。このため、１Ｈｚ未満の周波数帯に特定周波数帯を絞ることもできる。また、空間周波数がゼロである直流成分の近傍には、各成分の撮像素子の感度の差が多く含まれるので、３ｂｐｍ以上６０ｂｐｍ未満の周波数帯に特定周波数帯を絞ることもできる。さらに、人の体の動き、例えば瞬きや体の揺れの他、環境光のチラツキなどのノイズが現れやすい３ｂｐｍ以上２０ｂｐｍ未満の周波数帯に特定周波数帯を絞ることもできる。

ここでは、一例として、ＢＰＦ５２Ｒ及びＢＰＦ５２Ｇが特定周波数帯として０．０５Ｈｚ以上０．３Ｈｚ以下の周波数帯の信号成分を通過させる場合を想定して以下の説明を行う。なお、ここでは、特定周波数帯の信号成分を抽出するために、バンドパスフィルタを用いる場合を例示したが、一定の周波数未満の周波数帯の信号成分を抽出する場合などには、ローパスフィルタを用いることもできる。

一方、ＢＰＦ５６Ｒ及びＢＰＦ５６Ｇは、脈波が採り得る周波数帯、例えば１Ｈｚ以上４Ｈｚ以下の周波数帯の信号成分を通過させる。なお、以下では、脈波が採り得る周波数帯のことを「脈波周波数帯」と記載する場合がある。

抽出部５３Ｒは、Ｒ信号の特定周波数帯の信号成分の絶対強度値を抽出する。例えば、抽出部５３Ｒは、Ｒ成分の特定周波数帯の信号成分の絶対値を取る処理を実行することによって特定周波数帯の信号成分の絶対強度値を抽出する。また、抽出部５３Ｇは、Ｇ信号の特定周波数帯の信号成分の絶対強度値を抽出する。例えば、抽出部５３Ｇは、Ｇ成分の特定周波数帯の信号成分の絶対値を取る処理を実行することによって特定周波数帯の信号成分の絶対強度値を抽出する。

ＬＰＦ５４Ｒ及びＬＰＦ５４Ｇは、特定周波数帯の絶対強度値の時系列データに対し、時間変化に応答させる平滑化処理を実行するローパスフィルタである。これらＬＰＦ５４Ｒ及びＬＰＦ５４Ｇは、ＬＰＦ５４Ｒへ入力される信号がＲ信号であり、ＬＰＦ５４Ｇへ入力される信号がＧ信号である以外に違いはない。かかる平滑化処理によって、特定周波数帯の絶対値強度Ｒ´ｎ及びＧ´ｎが得られる。

第２算出部５５は、ＬＰＦ５４Ｇによって出力されたＧ信号の特定周波数帯の絶対値強度Ｇ´ｎを、ＬＰＦ５４Ｒによって出力されたＲ信号の特定周波数帯の絶対値強度Ｒ´ｎで除する除算「Ｇ´ｎ／Ｒ´ｎ」を実行する。これによって、感度差の補正係数ｋを算出する。

乗算部５７は、ＢＰＦ５６Ｒによって出力されたＲ信号の脈波周波数帯の信号成分に第２算出部５５によって算出された補正係数ｋを乗算する。

演算部５８は、乗算部５７によって補正係数ｋが乗算されたＲ信号の脈波周波数帯の信号成分から、ＢＰＦ５６Ｇによって出力されたＧ信号の脈波周波数帯の信号成分を差し引く演算「ｋ＊Ｒｓ−Ｇｓ」を実行する。かかる演算によって得られた信号の時系列データは、脈波の波形に相当する。

検出部５９は、演算後の脈波の波形の信号を用いて、被験者の脈波を検出する。一態様としては、検出部５９は、信号の時系列データを脈波の検出結果として出力する。他の一態様としては、検出部５９は、信号の時系列データにフーリエ変換を適用することによって周波数成分へ変換されたスペクトルから脈拍数（心拍数）を検出することもできる。

図１に戻り、計測部３３は、図６に示した計測処理を行って、計測対象の領域に含まれる各波長成分の信号から脈波を計測する。例えば、第１計測部３３Ａは、分割部３２から入力する、顔領域４１が検出された画像の各局所領域４２から脈波を計測する。すなわち、第１計測部３３Ａは、図２に示した画像４０の全ての局所領域４２から脈波を計測する。

ここで、図２に示すように、画像４０の顔領域４１を局所領域４２に分割した場合、局所領域４２には、顔の皮膚部分と、背景部分や頭髪部分など皮膚部分以外の部分がある。この顔の皮膚部分の局所領域４２では、ノイズに対する脈波のＳＮ比がよく、脈波が良好に計測される。一方、皮膚部分以外の部分の局所領域４２では、皮膚部分がなく、計測すべき血流による輝度変化が生じないため、脈波を計測できなくなる。例えば、図２の局所領域４２Ａは、顔の額の皮膚部分であるため、脈波が良好に計測される。一方、局所領域４２Ｂは、背景部分であるため、波形を計測できない。

決定部３４は、第１計測部３３Ａによる各局所領域４２の脈波の計測結果に基づき、複数の局所領域４２から脈波の計測領域を決定する。例えば、決定部３４は、顔領域４１が検出された画像の各局所領域４２について、それぞれ脈波の検出の良否を判定する。例えば、決定部３４は、局所領域４２から計測される波形の信号の振幅（peak-to-peak）が脈拍の採り得る所定範囲内であり、信号の周波数帯が脈波周波数帯の範囲内である場合、脈波が検出の良好と判定する。一方、決定部３４は、局所領域４２から計測される波形の信号の振幅が脈拍の採り得る所定範囲外の場合、または、信号の周波数帯が脈波周波数帯の範囲外である場合、脈波が検出の不良と判定する。なお、決定部３４は、信号の振幅または信号の周波数帯の何れか一方のみで脈波の検出の良否を判定してもよい。

決定部３４は、脈波が良好に検出される主な局所領域４２の範囲を集約して、出力用の脈波を計測する計測領域と決定する。例えば、決定部３４は、脈波の検出が良好な局所領域４２の判定結果の値を「１」とし、脈波の検出が不良な局所領域４２の判定結果の値を「０」とする。決定部３４は、画像の各局所領域４２について、画像の縦方向および横方向のライン毎に判定結果の値を合計して、縦方向および横方向のラインの平均値をそれぞれ求める。そして、決定部３４は、画像の縦方向および横方向について、それぞれ合計値が平均値以上となる両端のラインを求める。そして、決定部３４は、画像の縦方向および横方向について、それぞれ両端のライン以内となる各局所領域４２を計測領域と決定する。

図７は、計測領域の決定の流れを説明する図である。例えば、顔領域４１がｍ×ｎ個の局所領域４２に分割されているものとする。横方向の各ラインは、判定結果の値の合計値が１行目「７」、２行目「１０」、３行目「８」、４行目「１２」、・・・ｍ−２行目「９」、ｍ−１行目「１１」、ｍ行目「６」であり、判定結果の値の合計値の平均が「１０」であるものとする。横方向についての合計値が平均値以上となる両端のラインは、２行目、４行目、・・・ｍ−１行目となる。縦方向の各ラインは、判定結果の値の合計値が１行目「５」、２行目「９」、３行目「７」、４行目「１２」、・・・ｎ−２行目「９」、ｎ−１行目「８」、ｎ行目「２」であり、判定結果の値の合計値の平均が「９」であるものとする。縦方向についての合計値が平均値以上となる両端のラインは、２行目、４行目、・・・ｎ−２行目となる。この場合、決定部３４は、縦方向に２行目からｍ−１行目の範囲内であり、横方向に２行目からｎ−２行目の範囲内の各局所領域４２を計測領域４３と決定する。

図１に戻り、第２計測部３３Ｂは、分割部３２から入力する各画像の計測領域４３から脈波を計測する。この計測領域４３には、脈波が良好に検出される局所領域４２が多く含まれるため、脈波を精度よく計測できる。

ところで、顔の位置が変化して計測領域４３から顔が外れると輝度変化が大きくなって、脈波の検出が困難になる。

そこで、第３計測部３３Ｃは、分割部３２から入力する各画像の計測領域４３の境界部分の局所領域４２から脈波を計測する。例えば、第３計測部３３Ｃは、計測領域４３の境界の内側および外側の局所領域４２の脈波を計測する。計測領域４３の境界の内側および外側の脈波を計測する局所領域４２のライン数は、１行であってもよく複数行であってもよい。

図８は、計測領域の境界部分の脈波の計測を行う局所領域の一例を示す図である。図８の例では、計測領域４３の境界の内側および外側についてそれぞれ１行ずつ脈波を計測する局所領域４２とした場合を示している。図８に示すように計測領域４３が決定されている場合、第３計測部３３Ｃは、計測領域４３の境界の内側および外側についてそれぞれ１行ずつ、斜線で示した局所領域４２の脈波を計測する。

変更部３５は、境界部分の局所領域４２の脈波の計測結果に基づき、計測領域４３を変更する。例えば、画面内で顔が移動した場合、計測領域４３の移動した方向の境界部分の局所領域４２では、顔が移動してくるため、脈波の検出精度が向上する。一方、計測領域４３の移動した方向と逆方向の境界部分の局所領域４２では、顔が含まれなくなるため、脈波の検出精度が低下する。そこで、変更部３５は、計測領域４３の境界の内側および外側の各局所領域４２について、それぞれ脈波の検出の良否を判定する。この良否の判定は、信号の振幅および信号の周波数帯の両方を用いてもよく、信号の振幅または信号の周波数帯の何れか一方のみを用いてもよい。変更部３５は、計測領域４３の境界の内側および外側の各局所領域４２について、画面の縦方向および横方向のそれぞれのライン毎に、脈波の検出精度を求める。例えば、変更部３５は、脈波の検出が良好な局所領域４２の判定結果の値を「１」とし、脈波の検出が不良な局所領域４２の判定結果の値を「０」とする。変更部３５は、縦方向および横方向のそれぞれのライン毎に、局所領域４２の判定結果の値を合計し、合計値が所定の閾値以上である場合、脈波の検出精度が良好と判定し、合計値が所定の閾値未満である場合、脈波の検出精度が不良と判定する。この閾値は、所定の値として予め設定してもよく、決定部３４により計測領域４３を決定する際に用いたライン毎に判定結果の値を合計値の平均値としてもよい。変更部３５は、一端側の境界の外側の局所領域４２の脈波の検出精度が、他端側の境界の内側の局所領域４２の脈波の検出精度よりも高い場合、計測領域４３を一端側へ変更する。

図９は、計測領域の変更の一例を示す図である。図９の例では、左側の画像４０において計測領域４３の境界の内側および外側についてそれぞれ１行ずつ局所領域４２の脈波を計測しているものとする。この左側の画像４０で顔が左側へ移動した場合、計測領域４３の左側の境界の外側の各局所領域４２で脈波の検出精度が高くなる。特に丸で囲った領域４４は、局所領域４２内に顔が含まれるようになって、脈波が検出されるようになるため、脈波の検出精度が変化する。また、計測領域４３の右側の境界の内側の各局所領域４２で脈波の検出精度が低くなる。特に丸で囲った領域４５は、局所領域４２に顔が含まれなくなって、脈波が検出されなくなるため、脈波の検出精度が変化する。図９の例では、右側の画像４０が左側の画像４０から顔が左側へ移動した状態を示している。この場合、変更部３５は、計測領域４３から右側の境界の内側の１行分の各局所領域４２を削除し、左側の境界の外側の１行分の各局所領域４２を計測領域４３に追加して、計測領域４３を左に移動させる。なお、計測領域４３の移動量は、計測領域４３の一端側と他端側のラインの検出精度の判定結果から定めてよい。例えば、計測領域４３の一端側で２ラインの検出精度が良好と判定され、計測領域４３の他端側で１ラインの検出精度が不要と判定されたものとする。この場合、変更部３５は、ライン数の少ない方に合わせて、計測領域４３を一端側へ１ライン分移動させるものとしてもよい。また、変更部３５は、ライン数の多い方に合わせて、計測領域４３を一端側へ２ライン分移動させるものとしてもよい。

また、本実施例では、次のように移動の判定を行う。変更部３５は、画面の縦方向および横方向のそれぞれについて、計測領域４３の一端側の境界について各ラインの検出精度が変化したか否かを判定する。そして、変更部３５は、一端側の境界のラインの検出精度が変化した場合、他端側の境界のラインについても検出精度が変化したか判定する。変更部３５は、他端側の境界のラインの検出精度が変化していた場合、計測領域４３を検出精度が良好に変化した側へ移動させてもよい。例えば、変更部３５は、画面の横方向の計測領域４３の一端側の境界の外側のラインの検出精度が良好に変化したか、および、計測領域４３の内側のラインの検出精度が不良に変化したかを判定する。そして、変更部３５は、一端側の境界の外側のラインの検出精度が良好に変化した場合、他端側の境界の内側のラインの検出精度が不良に変化したか否かを判定する。変更部３５は、他端側の境界の内側のラインの検出精度が不良に変化していた場合、計測領域４３を一端側へ移動させる。一方、変更部３５は、一端側の境界の内側のラインの検出精度が不良に変化した場合、他端側の境界の外側のラインの検出精度が良好に変化したか否かを判定する。変更部３５は、他端側の境界の外側のラインの検出精度が良好に変化していた場合、計測領域４３を他端側へ移動させる。

第２計測部３３Ｂは、計測領域４３が変更された場合、変更された計測領域４３から脈波を計測する。

ところで、利用者が大きく動いた場合、ノイズが発生して脈波を精度良く計測できなくなる。そこで、第２計測部３３Ｂは、第３計測部３３Ｃにより境界部分の所定以上の局所領域４２において脈波が計測されない場合、計測領域４３から脈波の計測を中断する。例えば、第２計測部３３Ｂは、境界部分の所定の割合以上の局所領域４２において脈波が計測されない場合、計測領域４３から脈波の計測を中断する。この所定の割合は、例えば、被験者が制止している場合と、被験者が移動した場合の結果から、被験者が移動していると見なせる値にさだめればよく、例えば、７割とする。この所定の割合は、外部から設定、変更を可能としてもよい。そして、第２計測部３３Ｂは、第３計測部３３Ｃにより計測される境界部分の局所領域４２の脈波の計測結果が安定した場合に、計測領域４３から脈波の計測を再開する。この再開の際、第２計測部３３Ｂは、中断前の計測領域４３を用いて脈波を計測してもよい。また、検出部３１による顔検出の処理から再度行って計測領域４３を再度求めて脈波を計測してもよい。

出力制御部３６は、第２計測部３３Ｂにより計測された脈波を出力する。例えば、出力制御部３６は、第２計測部３３Ｂにより計測された脈波を表示部２１に表示させる。なお、出力制御部３６は、第２計測部３３Ｂにより計測された脈波の情報を他の装置へ送信してもよい。例えば、ネットワークを介して電子カルテサービスや診断サービスを提供するサーバ装置へ、計測された脈波の情報を送信してもよい。例えば、診断サービスでは、高血圧の人物が頻脈、例えば１００ｂｐｍ以上である場合に狭心症や心筋梗塞の疑いがあると診断したり、心拍数を用いて不整脈や精神疾患、例えば緊張やストレスを診断したりする。これにより、院外、例えば在宅や在席でも脈拍のモニタリングサービスを提供できる。

［処理の流れ］
続いて、本実施例に係る脈波検出装置１０により脈波を検出する検出処理の流れについて説明する。図１０は、検出処理の手順を示すフローチャートである。この検出処理は、例えば、入力部２２に対して脈波の検出開始を指示する所定操作が行われたタイミングで実行される。

図１０に示すように、撮影制御部３０は、カメラ２０を制御して連続的に画像の撮影を開始する（Ｓ１０）。検出部３１は、カメラ２０により撮影された画像に対して顔領域４１の検出を行う（Ｓ１１）。検出部３１は、顔領域４１を検出できたか否かを判定する（Ｓ１２）。顔領域４１を検出できていない場合（Ｓ１２否定）、再度Ｓ１１へ移行して次に撮影された画像に対して顔領域４１の検出を行う。

一方、顔領域４１を検出できた場合（Ｓ１２肯定）、検出部３１は、顔検出の処理を停止してＳ１３へ移行する。

分割部３２は、カメラ２０から入力する画像を顔領域４１に対応する領域を複数の局所領域４２に分割する（Ｓ１３）。第１計測部３３Ａは、画像の分割された各局所領域４２から脈波を計測する（Ｓ１４）。決定部３４は、顔領域４１が検出された画像の各局所領域４２について、それぞれ脈波の検出の良否を判定し、脈波が良好に検出される主な局所領域４２の範囲を集約して、計測領域４３を決定する（Ｓ１５）。

第２計測部３３Ｂは、局所領域４２の分割が行われた画像の計測領域４３から脈波を計測する（Ｓ１６）。第３計測部３３Ｃは、局所領域４２の分割が行われた画像の計測領域４３の境界部分の局所領域４２から脈波を計測する（Ｓ１７）。第２計測部３３Ｂは、境界部分の所定の割合以上の局所領域４２において脈波が計測されない状態であるか否かを判定する（Ｓ１８）。所定の割合以上の局所領域４２で脈波が計測されない状態ではない場合（Ｓ１８否定）、後述のＳ１９の所定へ移行する。一方、所定の割合以上の局所領域４２で脈波が計測されない状態である場合（Ｓ１８肯定）、再度Ｓ１７へ移行して、脈波が計測されない局所領域４２が所定の割合未満となるまで計測領域４３から脈波の計測を中断する。

変更部３５は、画像の横方向の境界部分の局所領域４２の脈波の計測結果に基づき、計測領域４３を横方向に変更する横方向変更処理を行う（Ｓ１９）。この横方向変更処理の処理内容は、後述する。また、変更部３５は、画像の縦方向の境界部分の局所領域４２の脈波の計測結果に基づき、計測領域４３を縦方向に変更する縦方向変更処理を行う（Ｓ２０）。この縦方向変更処理の処理内容も、後述する。

出力制御部３６は、処理終了であるか否かを判定する（Ｓ２１）。例えば、出力制御部３６は、入力部２２に対して処理終了を指示する所定操作が行われた場合、処理終了であると判定（Ｓ２１肯定）して処理を終了する。一方、出力制御部３６は、処理終了を指示する所定操作が行われていない場合、処理終了ではないと判定（Ｓ２１否定）して、第２計測部３３Ｂによる脈波の計測結果を表示部２１に出力する（Ｓ２２）。分割部３２は、カメラ２０から入力する次の画像の顔領域４１に対応する領域を複数の局所領域４２に分割し（Ｓ２３）、上述のＳ１６の処理へ移行する。

次に、本実施例に係る横方向変更処理の流れについて説明する。図１１は、横方向変更処理の手順を示すフローチャートである。この横方向変更処理は、例えば、上述の検出処理のＳ１９から実行される。

ここで、本実施例では、画像４０の計測領域４３の横方向の境界部分のラインについて次のような定義を行って移動方向の移動を判定している。図１２は、横方向変更処理を行う際のラインの定義の一例を示す図である。本実施例では、画像４０の計測領域４３の横方向の左側の境界部分の計測領域４３の内部となるラインに境界側から順にｉ＝−１、−２、・・と番号を付し、計測領域４３の外部となるラインに境界側から順にｉ＝１、２、・・と番号を付している。

図１１に示すように、変更部３５は、横方向の左側の境界部分の判定対象のラインの位置の初期値をセットする（Ｓ３０）。ここで、本実施例では、横方向の左側の計測領域４３の内部となるラインから判定を行うものとしている。例えば、判定を行うライン数が２ラインの場合、変更部３５は、判定対象のラインの位置ｉに−２をセットする。

変更部３５は、位置ｉの判定対象のラインのｍ個の各局所領域４２の脈波の検出の良否の判定結果を集約する（Ｓ３１）。例えば、変更部３５は、判定対象のラインのｍ個の各局所領域４２の脈波の検出の良否の判定結果の値を合計する。変更部３５は、集約した判定結果から、判定対象のラインについて脈波の検出精度に変化があったか否かを判定する（Ｓ３２）。例えば、変更部３５は、判定結果の値の合計値を所定の閾値と比較し、外側のラインについては検出精度が良好に変化したか、内側のラインについては検出精度が不良に変化したかを判定する。

判定対象のラインについて脈波の検出精度に変化があった場合（Ｓ３２肯定）、変更部３５は、検出精度に変化があったラインの位置を横方向左側の変化情報として記憶する（Ｓ３３）。一方、判定対象のラインについて脈波の検出精度に変化がない場合（Ｓ３２否定）、処理は、後述するＳ３４へ移行する。

変更部３５は、判定対象のラインが横方向について、脈波の検出精度の判定を行う最後のラインであるか否かを判定する（Ｓ３４）。最後のラインではない場合（Ｓ３４否定）、変更部３５は、判定対象のラインの位置を変更して（Ｓ３５）、上述のＳ３１の処理へ移行する。例えば、変更部３５は、判定対象のラインの位置ｉを−２、−１、１、２・・・と順に変えて脈波の検出精度の判定を行う最後のラインまで行い、最後のラインとなるとＳ３４が肯定判定となる。

変更部３５は、上述のＳ３３の処理により脈波の検出精度に変化したとして記憶されたラインがあるか否かを判定する（Ｓ３６）。記憶されたラインがない場合（Ｓ３６否定）、処理を終了して検出処理へ復帰する。

一方、記憶されたラインがある場合（Ｓ３６肯定）、変更部３５は、横方向の右側の境界部分の判定対象のラインの位置の初期値をセットする（Ｓ３７）。例えば、変更部３５は、横方向の左側の境界の外側のラインで検出精度に変化していた場合、検出精度に変化した最も外側のラインの位置ｉにマイナスを乗算した値（−ｉ）を右側の境界部分の判定対象のラインの位置ｊとする。また、変更部３５は、横方向の左側の境界の内側のラインで検出精度に変化していた場合、検出精度に変化した最も内側のラインの位置ｉにマイナスを乗算した値（−ｉ）を右側の境界部分の判定対象のラインの位置ｊとする。本実施例では、計測領域４３の内側にマイナスで位置を示す番号を付し、計測領域４３の外側にプラスで位置を示す番号を付している。これにより、ラインの位置の値にマイナスを乗算することにより、移動の判定を行う際に、右側の境界部分の判定対象のラインの位置iに対応して検出精度の変化を判定すべき左側の境界部分の判定対象のラインの位置ｊを容易に求めることができる。

変更部３５は、位置ｊの判定対象のラインのｍ個の各局所領域４２の脈波の検出の良否の判定結果を集約する（Ｓ３８）。例えば、変更部３５は、判定対象のラインのｍ個の各局所領域４２の脈波の検出の良否の判定結果の値を合計する。変更部３５は、集約した判定結果から、判定対象のラインについて脈波の検出精度に変化があったか否かを判定する（Ｓ３９）。例えば、変更部３５は、判定結果の値の合計値を所定の閾値と比較し、外側のラインについては検出精度が良好に変化したか、内側のラインについては検出精度が不良に変化したかを判定する。

判定対象のラインについて脈波の検出精度に変化があった場合（Ｓ３９肯定）、変更部３５は、検出精度に変化があったラインの位置を横方向右側の変化情報として記憶する（Ｓ４０）。一方、判定対象のラインについて脈波の検出精度に変化がない場合（Ｓ３９否定）、処理は、後述するＳ４１へ移行する。

変更部３５は、判定対象のラインが横方向について、脈波の検出精度の判定を行う最後のラインであるか否かを判定する（Ｓ４１）。最後のラインではない場合（Ｓ４１否定）、変更部３５は、判定対象のラインの位置を変更して（Ｓ４２）、上述のＳ３９の処理へ移行する。例えば、変更部３５は、判定対象のラインの位置ｊがマイナスの場合、位置ｊを−２、−１と順に変えて位置ｊが−１となると最終のラインと判定する。また、変更部３５は、判定対象のラインの位置ｊがプラスの場合、位置ｊを２、１と順に変えて位置ｊが１となると最終のラインと判定する。

一方、最後のラインの場合（Ｓ４１肯定）、変更部３５は、横方向左側の変化情報と横方向右側の変化情報から横方向の移動量を決定する（Ｓ４３）。例えば、変更部３５は、輪郭からの移動量が最も大きい横方向左側のラインの位置と、輪郭からの移動量が最も大きい横方向右側のラインの位置を比較し、絶対値の小さい方を移動量としてもよい。なお、移動量は、絶対値の大きい方としてもよく、また、ラインの位置の絶対値の平均値としてよい。また、例えば、変更部３５は、横方向左側の検出精度に変化があったライン数と横方向右側の検出精度に変化があったライン数とを比較し、変化があったライン数の値の小さい方を移動量としてもよく、変化があったライン数の値の大きい方を移動量としてもよい。

変更部３５は、計測領域４３を横方向の検出精度が良好に変化した側へ移動量分移動（Ｓ４４）させて処理を終了し、検出処理へ復帰する。

次に、本実施例に係る縦方向変更処理の流れについて説明する。図１３は、縦方向変更処理の手順を示すフローチャートである。この縦方向変更処理は、例えば、上述の検出処理のＳ２０から実行される。

ここで、本実施例では、画像４０の計測領域４３の縦方向の境界部分のラインについて次のような定義を行って移動方向の移動を判定している。図１４は、縦方向変更処理を行う際のラインの定義の一例を示す図である。本実施例では、画像４０の計測領域４３の縦方向の上側の境界部分の計測領域４３の内部となるラインに境界側から順にｉ＝−１、−２、・・と番号を付し、計測領域４３の外部となるラインに境界側から順にｉ＝１、２、・・と番号を付している。

図１３に示すように、変更部３５は、縦方向の上側の境界部分の判定対象のラインの位置の初期値をセットする（Ｓ５０）。ここで、本実施例では、縦方向の上側の計測領域４３の内部となるラインから判定を行うものとしている。例えば、判定を行うライン数が２ラインの場合、変更部３５は、判定対象のラインの位置ｉに−２をセットする。

変更部３５は、位置ｉの判定対象のラインのｎ個の各局所領域４２の脈波の検出の良否の判定結果を集約する（Ｓ５１）。例えば、変更部３５は、判定対象のラインのｎ個の各局所領域４２の脈波の検出の良否の判定結果の値を合計する。変更部３５は、集約した判定結果から、判定対象のラインについて脈波の検出精度に変化があったか否かを判定する（Ｓ５２）。例えば、変更部３５は、判定結果の値の合計値を所定の閾値と比較し、外側のラインについては検出精度が良好に変化したか、内側のラインについては検出精度が不良に変化したかを判定する。

判定対象のラインについて脈波の検出精度に変化があった場合（Ｓ５２肯定）、変更部３５は、検出精度に変化があったラインの位置を縦方向上側の変化情報として記憶する（Ｓ５３）。一方、判定対象のラインについて脈波の検出精度に変化がない場合（Ｓ５２否定）、処理は、後述するＳ５４へ移行する。

変更部３５は、判定対象のラインが縦方向について、脈波の検出精度の判定を行う最後のラインであるか否かを判定する（Ｓ５４）。最後のラインではない場合（Ｓ５４否定）、変更部３５は、判定対象のラインの位置を変更して（Ｓ５５）、上述のＳ５１の処理へ移行する。例えば、変更部３５は、判定対象のラインの位置ｉを−２、−１、１、２・・・と順に変えて脈波の検出精度の判定を行う最後のラインまで行い、最後のラインとなるとＳ５４が肯定判定となる。

変更部３５は、上述のＳ５３の処理により脈波の検出精度に変化したとして記憶されたラインがあるか否かを判定する（Ｓ５６）。記憶されたラインがない場合（Ｓ５６否定）、処理を終了して検出処理へ復帰する。

一方、記憶されたラインがある場合（Ｓ５６肯定）、変更部３５は、縦方向の下側の境界部分の判定対象のラインの位置の初期値をセットする（Ｓ５７）。例えば、変更部３５は、縦方向の上側の境界の外側のラインで検出精度に変化していた場合、検出精度に変化した最も外側のラインの位置ｉにマイナスを乗算した値（−ｉ）を下側の境界部分の判定対象のラインの位置ｊとする。また、変更部３５は、縦方向の上側の境界の内側のラインで検出精度に変化していた場合、検出精度に変化した最も内側のラインの位置ｉにマイナスを乗算した値（−ｉ）を下側の境界部分の判定対象のラインの位置ｊとする。

変更部３５は、位置ｊの判定対象のラインのｎ個の各局所領域４２の脈波の検出の良否の判定結果を集約する（Ｓ５８）。例えば、変更部３５は、判定対象のラインのｎ個の各局所領域４２の脈波の検出の良否の判定結果の値を合計する。変更部３５は、集約した判定結果から、判定対象のラインについて脈波の検出精度に変化があったか否かを判定する（Ｓ５９）。例えば、変更部３５は、判定結果の値の合計値を所定の閾値と比較し、外側のラインについては検出精度が良好に変化したか、内側のラインについては検出精度が不良に変化したかを判定する。

判定対象のラインについて脈波の検出精度に変化があった場合（Ｓ５９肯定）、変更部３５は、検出精度に変化があったラインの位置を縦方向下側の変化情報として記憶する（Ｓ６０）。一方、判定対象のラインについて脈波の検出精度に変化がない場合（Ｓ５９否定）、処理は、後述するＳ６１へ移行する。

変更部３５は、判定対象のラインが縦方向について、脈波の検出精度の判定を行う最後のラインであるか否かを判定する（Ｓ６１）。最後のラインではない場合（Ｓ６１否定）、変更部３５は、判定対象のラインの位置を変更して（Ｓ６２）、上述のＳ５９の処理へ移行する。例えば、変更部３５は、判定対象のラインの位置ｊがマイナスの場合、位置ｊを−２、−１と順に変えて位置ｊが−１となると最終のラインと判定する。また、変更部３５は、判定対象のラインの位置ｊがプラスの場合、位置ｊを２、１と順に変えて位置ｊが１となると最終のラインと判定する。

一方、最後のラインの場合（Ｓ６１肯定）、変更部３５は、縦方向上側の変化情報と縦方向下側の変化情報から縦方向の移動量を決定する（Ｓ６３）。例えば、変更部３５は、輪郭からの移動量が最も大きい縦方向上側のラインの位置と、輪郭からの移動量が最も大きい縦方向下側のラインの位置を比較し、絶対値の小さい方を移動量としてもよい。なお、移動量は、絶対値の大きい方としてもよく、また、ラインの位置の絶対値の平均値としてよい。また、例えば、変更部３５は、縦方向上側の検出精度に変化があったライン数と縦方向下側の検出精度に変化があったライン数とを比較し、変化があったライン数の値の小さい方を移動量としてもよく、変化があったライン数の値の大きい方を移動量としてもよい。

変更部３５は、計測領域４３を縦方向の検出精度が良好に変化した側へ移動量分移動（Ｓ６４）させて処理を終了し、検出処理へ復帰する。

［実施例１の効果］
上述してきたように、本実施例に係る脈波検出装置１０は、カメラ２０により被験者が連続的に撮影された画像のうち何れかの画像から被験者の顔領域４１を検出する。脈波検出装置１０は、顔領域４１が検出された画像以降の画像の顔領域４１に対応する領域を複数の局所領域４２に分割する。脈波検出装置１０は、顔領域４１が検出された画像の各局所領域４２から脈波を計測する。脈波検出装置１０は、各局所領域４２の脈波の計測結果に基づき、複数の局所領域４２から脈波の計測領域４３を決定する。脈波検出装置１０は、決定された、画像における計測領域４３から脈波を計測する。脈波検出装置１０は、計測領域４３の境界部分の局所領域４２から脈波を計測する。脈波検出装置１０は、計測される境界部分の局所領域４２の脈波の計測結果に基づき、計測領域４３を変更する。これにより、脈波検出装置１０は、撮影される各画像に顔検出を行うことなく、顔の位置の変化を検出できる。ここで、顔検出の処理は、テンプレートマッチング等の画像処理を行うため、演算量が多く、フレーム毎に、顔検出の処理を行った場合、顔検出による計算負荷が大きくなってしまう。一方、脈波の計測の処理は、フィルタ処理であり、顔検出に比べて計算負荷が小さく、同じ処理を複数並列させた場合でも顔検出に比べて計算負荷が小さい。よって、本実施例に係る脈波検出装置１０は、脈波の計測の処理を用いて顔の位置の変化を検出することにより、計算負荷を抑えて脈波を検出できる。

また、本実施例に係る脈波検出装置１０は、計測領域４３の境界の内側および外側の局所領域４２の脈波を計測する。脈波検出装置１０は、所定方向に対する計測領域４３の一端側境界の外側の局所領域４２の脈波の検出精度が、所定方向に対する計測領域４３の他端側境界の内側の局所領域４２の脈波の検出精度よりも高い場合、局所領域４２を所定方向の一端側へ変更する。これにより、脈波検出装置１０は、画像内で被験者の顔が移動した場合でも、顔が移動に合わせて計測領域４３を移動させることができる。

また、本実施例に係る脈波検出装置１０は、境界部分の所定以上の局所領域４２において脈波が計測されない場合、計測領域４３から脈波の計測を中断する。これにより、脈波検出装置１０は、被験者が移動するなどによって計測領域４３にノイズが多い状態で脈波の計測を中断できる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

上記の実施例では、入力信号としてＲ信号およびＧ信号の二種類を用いる場合を例示したが、異なる複数の光波長成分を持つ信号であれば任意の種類の信号および任意の数の信号を入力信号とすることができる。例えば、Ｒ、Ｇ、Ｂ、ＩＲおよびＮＩＲなどの光波長成分が異なる信号のうち任意の組合せの信号を２つ用いることもできるし、また、３つ以上用いることもできる。

また、上記の実施例では、計測領域４３の位置を変更する場合について説明したが、開示の装置はこれに限定されない。例えば、変更部３５は、画面の縦方向および横方向のそれぞれについて、計測領域４３の両端の内側のラインの検出精度が不良に変化した場合、不良となったラインを計測領域４３から除外して計測領域４３を縮小させてもよい。また、変更部３５は、画面の縦方向および横方向のそれぞれについて、計測領域４３の両端の外側のラインの検出精度が良好に変化した場合、良好となったラインを計測領域４３に追加して計測領域４３を拡大させてもよい。

また、上記の実施例では、第１計測部３３Ａ、第２計測部３３Ｂ、第３計測部３３Ｃがそれぞれ個別に脈波の計測を行う場合について説明したが、開示の装置はこれに限定されない。例えば、第１計測部３３Ａ、第２計測部３３Ｂ、第３計測部３３Ｃは、脈波を計測する際に互いのデータを用いてもよい。例えば、第１計測部３３Ａは、全ての局所領域４２から脈波を計測するため、全ての局所領域４２について、それぞれ各波長成分の信号から各画素の画素値の平均値を算出している。第２計測部３３Ｂは、計測領域４３に含まれる各局所領域４２について、第１計測部３３Ａより算出された各局所領域４２の各画素の画素値の平均値を平均化して、計測領域４３に含まれる各画素の画素値の平均値を算出してもよい。また、第３計測部３３Ｃは、計測領域４３の境界部分の各局所領域４２の各画素の画素値の平均値に、第１計測部３３Ａによる算出結果を用いてもよい。

また、上記の実施例では、一旦、計測領域４３が決定されると、第３計測部３３Ｃにより、計測領域４３の境界部分の各局所領域４２から脈波の計測を行い、脈波の計測結果から計測領域４３を移動させる場合について説明したが、開示の装置はこれに限定されない。例えば、撮影される画像の各フレームまたは一定枚数毎に、第１計測部３３Ａは、画像の各局所領域４２から脈波を計測する。決定部３４は、第１計測部３３Ａによる各局所領域４２の脈波の計測結果に基づき、複数の局所領域４２から脈波の計測領域を決定することを繰り返してもよい。この場合、第１計測部３３Ａは、全ての局所領域４２から脈波を計測することを繰り返す。このため、第２計測部３３Ｂは、計測領域４３に含まれる各局所領域４２について、第１計測部３３Ａより算出された各画素の画素値の平均値を平均化して、計測領域４３に含まれる各画素の画素値の平均値を算出することが好ましい。これにより、第２計測部３３Ｂの演算負荷を低下させることができる。

［分散および統合］
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的状態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図１に示す撮影制御部３０、検出部３１、分割部３２、計測部３３、決定部３４、変更部３５および出力制御部３６の各処理部が適宜統合または分割されてもよい。また、各処理部にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。また、各処理部にて行なわれる各処理機能は、任意の一部の機能部を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の脈波検出装置１０の機能を実現するようにしてもよい。

［脈波検出プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１５を用いて、上記の実施例と同様の機能を有する脈波検出プログラムを実行するコンピュータの一例について説明する。

図１５は、脈波検出プログラムを実行するコンピュータの一例について説明するための図である。図１５に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。

ＨＤＤ１７０には、図１５に示すように、上記の実施例１で示した撮影制御部３０、検出部３１、分割部３２、計測部３３、決定部３４、変更部３５および出力制御部３６と同様の機能を発揮する脈波検出プログラム１７０ａが予め記憶される。この脈波検出プログラム１７０ａについては、図１に示した各々の機能部の各構成要素と同様、適宜統合又は分離しても良い。すなわち、ＨＤＤ１７０に格納される各データは、常に全てのデータがＨＤＤ１７０に格納される必要はなく、処理に必要なデータのみがＨＤＤ１７０に格納されればよい。

そして、ＣＰＵ１５０が、脈波検出プログラム１７０ａをＨＤＤ１７０から読み出してＲＡＭ１８０に展開する。これによって、図１５に示すように、脈波検出プログラム１７０ａは、脈波検出プロセス１８０ａとして機能する。この脈波検出プロセス１８０ａは、ＨＤＤ１７０から読み出した各種データを適宜ＲＡＭ１８０上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、脈波検出プロセス１８０ａは、図１または図６に示した各機能部にて実行される処理、例えば図１０、図１１、図１３に示す処理を含む。また、ＣＰＵ１５０上で仮想的に実現される各処理部は、常に全ての処理部がＣＰＵ１５０上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されればよい。

なお、上記の脈波検出プログラム１７０ａについては、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶させておく必要はない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。

１０ 脈波検出装置
２０ カメラ
２４ 制御部
３０ 撮影制御部
３１ 検出部
３２ 分割部
３３ 計測部
３３Ａ 第１計測部
３３Ｂ 第２計測部
３３Ｃ 第３計測部
３４ 決定部
３５ 変更部
３６ 出力制御部
４０ 画像
４１ 顔領域
４２ 局所領域
４３ 計測領域

Claims (5)

1. 撮像装置により被験者が連続的に撮影された画像のうち何れかの画像から前記被験者の顔領域を検出する検出部と、
   前記検出部により前記顔領域が検出された画像以降の画像の前記顔領域に対応する領域を複数の局所領域に分割する分割部と、
   前記顔領域が検出された画像の各局所領域から脈波を計測する第１計測部と、
   前記第１計測部による各局所領域の脈波の計測結果に基づき、前記複数の局所領域から脈波の計測領域を決定する決定部と、
   前記決定部により決定された、前記画像における前記計測領域から脈波を計測する第２計測部と、
   前記計測領域の境界部分の局所領域から脈波を計測する第３計測部と、
   前記第３計測部により計測される境界部分の局所領域の脈波の計測結果に基づき、前記計測領域を変更する変更部と、
   を有することを特徴とする脈波検出装置。
2. 前記第３計測部は、前記計測領域の境界の内側および外側の局所領域の脈波を計測し、
   前記変更部は、画像内の所定方向に対する前記計測領域の一端側の境界の外側の局所領域の脈波の検出精度が、前記所定方向に対する前記計測領域の他端側の境界の内側の局所領域の脈波の検出精度よりも高い場合、前記計測領域を前記所定方向の前記一端側へ変更する
   ことを特徴とする請求項１に記載の脈波検出装置。
3. 前記第２計測部は、前記境界部分の所定以上の局所領域において脈波が計測されない場合、計測領域から脈波の計測を中断する
   ことを特徴とする請求項１または２に記載の脈波検出装置。
4. コンピュータに、
   撮像装置により連続的に被験者が撮影された何れかの画像から前記被験者の顔領域を検出し、
   前記顔領域が検出された画像以降の画像の前記顔領域に対応する領域を複数の局所領域に分割し、
   分割された各局所領域から脈波を計測し、
   各局所領域の脈波の計測結果に基づき、前記複数の局所領域から脈波の計測領域を決定し、
   決定された、前記画像における前記計測領域から脈波を計測し、
   前記計測領域の境界部分の局所領域の脈波の計測し、
   前記境界部分の局所領域の脈波の計測結果に基づき、前記計測領域を変更する
   処理を実行させることを特徴とする脈波検出プログラム。
5. コンピュータが、
   撮像装置により連続的に被験者が撮影された何れかの画像から前記被験者の顔領域を検出し、
   前記顔領域が検出された画像以降の画像の前記顔領域に対応する領域を複数の局所領域に分割し、
   分割された各局所領域から脈波を計測し、
   各局所領域の脈波の計測結果に基づき、前記複数の局所領域から脈波の計測領域を決定し、
   前記計測領域から脈波を計測し、
   前記計測領域の境界部分の局所領域の脈波の計測し、
   前記境界部分の局所領域の脈波の計測結果に基づき、前記計測領域を変更する
   処理を実行することを特徴とする脈波検出方法。

Images