JP6727469B1 - 情報処理装置、プログラム及び情報処理方法 - Google Patents

Abstract

予め定められた期間における複数のフレームの各々から、人の肌領域を検出する肌領域検出部（１１０）と、肌領域に複数の計測領域を設定する計測領域設定部（１２０）と、複数の計測領域の各々から、輝度の変化を示す複数の脈波元信号を抽出する脈波元信号抽出部（１３０）と、複数の脈波元信号の各々を構成する複数の基底成分の各々の位相が、対応する基底成分同士において一致している程度を示す複数の位相一致度を算出する位相一致度算出部（１４０）と、位相が一致している程度が最も高い位相一致度を特定し、特定された位相一致度に対応する基底成分に基づいて、人の脈波を推定する脈波推定部（１５０）とを備える。

Description

本発明は、情報処理装置、プログラム及び情報処理方法に関する。

普段の生活において、被験者の健康を管理及び維持することは重要である。普段の生活の中でも、特に車両運転中のドライバーの健康の管理及び維持は、事故の予防に対し特に重要である。ドライバーの健康を管理及び維持する上では、心拍数、心拍変動、呼吸数又は発汗等の生体情報を常時取得することが有効である。

生体情報の中では、心拍数又は心拍変動に関する情報は、自律神経の状態を表す指標として用いられることが多く、ドライバーの健康を管理する上で重要な情報である。心拍又は心拍変動に関する情報を直接取得するには、心電図を測定するための電極等を胸部に取り付けて心臓の活動を計測する必要があり、ドライバーへの負担が大きい。

そのため、心臓の活動を直接計測する代わりに、パルスオキシメータ等の接触式のデバイスを指先又は耳たぶに取り付け、血管の容積変化から脈波を取得する手法がある。この手法においてもなお、常に指先又は耳たぶにデバイスを取り付ける必要があり、ドライバーへの負担が大きく、車両運転中の装着は現実的ではない。

被験者に負担を掛けず、非接触に脈波を推定する手法として、例えば、非特許文献１に記載されているように、カメラで被験者の顔を撮像し、被験者の顔表面の微小な輝度変化から脈波を推定する手法がある。非特許文献１においては、被験者の顔画像上に複数の計測領域を設定し、各計測領域で取得された輝度信号の周波数パワースペクトルが算出される。各領域で算出された周波数パワースペクトルのピーク周波数に応じて脈波を合成し、合成した脈波の周波数パワースペクトルのピークから脈拍数が推定される。

Ｍａｙａｎｋ Ｋｕｍａｒ， ｅｔ ａｌ．，"ＤｉｓｔａｎｃｅＰＰＧ： Ｒｏｂｕｓｔ ｎｏｎ−ｃｏｎｔａｃｔ ｖｉｔａｌ ｓｉｇｎｓ ｍｏｎｉｔｏｒｉｎｇ ｕｓｉｎｇ ａ ｃａｍｅｒａ"，Ｂｉｏｍｅｄｉｃａｌ ｏｐｔｉｃｓ ｅｘｐｒｅｓｓ，６（５），１５６５−１５８８，２０１５

しかしながら、従来技術においては、被験者の顔が動くと脈波の推定精度が低下する問題がある。被験者の顔が動くと、顔の動きに相当する成分が周波数パワースペクトルのピークとして出現するため、脈波に相当する周波数成分ではなく、顔の動きに相当する成分を脈波として誤検出してしまうためである。

車両運転中には、車両の振動によりドライバーの顔が動くシーンが容易に想定されるため、被験者の顔が動いても精度良く脈波を推定することが必要である。

そこで、本発明の１又は複数の態様は、人の顔が動いた場合でも、映像のフレームから精度良く脈波を推定できるようにすることを目的とする。

本発明の１態様に係る情報処理装置は、予め定められた期間における映像を示す複数のフレームの各々から、人の肌を含む領域である肌領域を検出する肌領域検出部と、前記肌領域に複数の計測領域を設定する計測領域設定部と、前記複数の計測領域の各々から、前記予め定められた期間における輝度の変化を示す脈波元信号を抽出することで、前記複数の計測領域の各々に各々が対応する複数の前記脈波元信号を抽出する脈波元信号抽出部と、前記複数の脈波元信号の各々を構成する複数の基底成分の各々の位相が、対応する基底成分同士において一致している程度を示す位相一致度を算出することで、前記複数の脈波元信号の各々に各々が対応する複数の前記位相一致度を算出する位相一致度算出部と、前記複数の位相一致度の内、前記位相が一致している程度が最も高い位相一致度を特定し、前記特定された位相一致度に対応する基底成分に基づいて、前記人の脈波を推定する脈波推定部と、を備え、前記位相一致度算出部は、前記複数の脈波元信号から第１の脈波元信号及び第２の脈波元信号として用いる複数のペアを選択し、前記複数のペアの各々において、前記第１の脈波元信号を構成する前記複数の基底成分の各々と、前記第２の脈波元信号を構成する前記複数の基底成分の各々との間で、対応する基底成分同士において前記位相が一致している程度を示す二領域間位相一致度を算出することで、前記複数の基底成分の各々に各々が対応する複数の前記二領域間位相一致度を算出し、前記複数のペアにおいて算出された前記複数の二領域間位相一致度、前記複数の脈波元信号における前記基底成分の大きさ、前記計測領域の配置、前記計測領域のサイズ、及び、前記計測領域の形状の少なくとも一つに基づいて、重み係数を設定し、前記複数のペアにおいて算出された前記複数の二領域間位相一致度を、前記重み係数を用いて重み付けをして、対応する基底成分毎に合算することで、前記複数の位相一致度を算出することを特徴とする。

本発明の１態様に係るプログラムは、コンピュータを、予め定められた期間における映像を示す複数のフレームの各々から、人の肌を含む領域である肌領域を検出する肌領域検出部、前記肌領域に複数の計測領域を設定する計測領域設定部、前記複数の計測領域の各々から、前記予め定められた期間における輝度の変化を示す脈波元信号を抽出することで、前記複数の計測領域の各々に各々が対応する複数の前記脈波元信号を抽出する脈波元信号抽出部、前記複数の脈波元信号の各々を構成する複数の基底成分の各々の位相が、対応する基底成分同士において一致している程度を示す位相一致度を算出することで、前記複数の脈波元信号の各々に各々が対応する複数の前記位相一致度を算出する位相一致度算出部、及び、前記複数の位相一致度の内、前記位相が一致している程度が最も高い位相一致度を特定し、前記特定された位相一致度に対応する基底成分に基づいて、前記人の脈波を推定する脈波推定部、として機能させ、前記位相一致度算出部は、前記複数の脈波元信号から第１の脈波元信号及び第２の脈波元信号として用いる複数のペアを選択し、前記複数のペアの各々において、前記第１の脈波元信号を構成する前記複数の基底成分の各々と、前記第２の脈波元信号を構成する前記複数の基底成分の各々との間で、対応する基底成分同士において前記位相が一致している程度を示す二領域間位相一致度を算出することで、前記複数の基底成分の各々に各々が対応する複数の前記二領域間位相一致度を算出し、前記複数のペアにおいて算出された前記複数の二領域間位相一致度、前記複数の脈波元信号における前記基底成分の大きさ、前記計測領域の配置、前記計測領域のサイズ、及び、前記計測領域の形状の少なくとも一つに基づいて、重み係数を設定し、前記複数のペアにおいて算出された前記複数の二領域間位相一致度を、前記重み係数を用いて重み付けをして、対応する基底成分毎に合算することで、前記複数の位相一致度を算出することを特徴とする。

本発明の１態様に係る情報処理方法は、肌領域検出部が、予め定められた期間における映像を示す複数のフレームの各々から、人の肌を含む領域である肌領域を検出し、計測領域設定部が、前記肌領域に複数の計測領域を設定し、脈波元信号抽出部が、前記複数の計測領域の各々から、前記予め定められた期間における輝度の変化を示す脈波元信号を抽出することで、前記複数の計測領域の各々に各々が対応する複数の前記脈波元信号を抽出し、位相一致度算出部が、前記複数の脈波元信号の各々を構成する複数の基底成分の各々の位相が、対応する基底成分同士において一致している程度を示す位相一致度を算出することで、前記複数の脈波元信号の各々に各々が対応する複数の前記位相一致度を算出し、脈波推定部が、前記複数の位相一致度の内、前記位相が一致している程度が最も高い位相一致度を特定し、前記特定された位相一致度に対応する基底成分に基づいて、前記人の脈波を推定し、前記位相一致度算出部は、前記複数の脈波元信号から第１の脈波元信号及び第２の脈波元信号として用いる複数のペアを選択し、前記複数のペアの各々において、前記第１の脈波元信号を構成する前記複数の基底成分の各々と、前記第２の脈波元信号を構成する前記複数の基底成分の各々との間で、対応する基底成分同士において前記位相が一致している程度を示す二領域間位相一致度を算出することで、前記複数の基底成分の各々に各々が対応する複数の前記二領域間位相一致度を算出し、前記複数のペアにおいて算出された前記複数の二領域間位相一致度、前記複数の脈波元信号における前記基底成分の大きさ、前記計測領域の配置、前記計測領域のサイズ、及び、前記計測領域の形状の少なくとも一つに基づいて、重み係数を設定し、前記複数のペアにおいて算出された前記複数の二領域間位相一致度を、前記重み係数を用いて重み付けをして、対応する基底成分毎に合算することで、前記複数の位相一致度を算出することを特徴とする。

本発明の１又は複数の態様によれば、人の顔が動いた場合でも、映像のフレームから精度良く脈波を推定することができる。

実施の形態１、２及び４に係る脈波推定装置の構成を概略的に示すブロック図である。 （ａ）〜（ｃ）は、顔器官検出により計測領域を設定する例を示す概略図である。 計測領域の具体的な設定方法を説明するための概略図である。 実施の形態１における位相一致度算出部の構成を概略的に示すブロック図である。 （ａ）及び（ｂ）は、ハードウエア構成例を示す概略図である。 実施の形態１に係る脈波推定装置の動作を示すフローチャートである。 実施の形態１における、被験者の顔、撮像装置、及び、環境光の光源の位置関係を示す概略図である。 （ａ）〜（ｃ）は、実施の形態１において、撮像装置によって被験者の顔を撮像して得られた画像の例を示す概略図である。 （ａ）〜（ｄ）は、実施の形態１において、被験者の顔が動いた場合の計測領域における輝度値平均の変化を示すグラフである。 実施の形態２及び４における位相一致度算出部の構成を概略的に示すブロック図である。 実施の形態３に係る脈波推定装置の構成を概略的に示すブロック図である。 実施の形態３における位相一致度算出部の構成を概略的に示すブロック図である。 実施の形態３における、被験者の顔、撮像装置、及び、環境光の光源の位置関係を示す概略図である。 （ａ）〜（ｃ）は、実施の形態３において、撮像装置によって被験者の顔を撮像して得られた画像の例を示す概略図である。 （ａ）〜（ｆ）は、実施の形態３において、被験者の顔が動いた場合の計測領域における輝度値平均の変化を示すグラフである。

実施の形態１．
図１は、実施の形態１に係る情報処理装置としての脈波推定装置１００の構成を概略的に示すブロック図である。
脈波推定装置１００は、実施の形態１に係る情報処理方法である脈波推定方法を実行することができる装置である。
図１に示されるように、脈波推定装置１００は、肌領域検出部１１０と、計測領域設定部１２０と、脈波元信号抽出部１３０と、位相一致度算出部１４０と、脈波推定部１５０とを備える。

まず、脈波推定装置１００の概要を説明する。脈波推定装置１００は、被験者の肌領域を含む空間を予め定められたフレームレートＦｒで撮像した、その空間の撮像画像を表す一連のフレームＩｍ（ｋ）からなる映像の画像データを受け取る。ここで、ｋは、それぞれフレームに割り当てられるフレーム番号を示す。例えば、フレームＩｍ（ｋ）の次のタイミングで与えられるフレームは、フレームＩｍ（ｋ＋１）である。そして、脈波推定装置１００は、ある特定のフレーム数Ｔｐ毎に、一連のフレームＩｍ（ｋ−Ｔｐ＋１）〜Ｉｍ（ｋ）から脈波推定結果Ｐ（ｔ）を出力する。ここで、ｔは、特定のフレーム数Ｔｐ毎に割り当てられる出力番号を示す。例えば、脈波推定結果Ｐ（ｔ）の次のタイミングで与えられる脈波推定結果は、脈波推定結果Ｐ（ｔ＋１）である。

ここで、フレーム番号ｋ及び出力番号ｔは、１以上の整数である。フレーム数Ｔｐは、２以上の整数である。
なお、画像データに含まれる人である被験者の数は、１人であっても複数人であってもよい。説明を簡単にするため、以下では、画像データに含まれる被験者の数は、１人であるものとして説明する。

フレームレートＦｒは、例えば、１秒間に３０フレームが好ましい。画像データは、例えば、カラー画像、グレースケール画像、又は距離画像である。以降では、説明を簡潔にするため、画像データが、幅６４０画素、高さ４８０画素の８ｂｉｔ階調のグレースケール画像の場合を説明する。また、フレーム数Ｔｐは、任意の数値とすることができるが、例えば、１０秒に相当するフレーム数であり、上述の例では３００フレームが好適である。

以下、脈波推定装置１００を構成する各部について説明する。
肌領域検出部１１０は、撮像部としての後述する撮像装置から入力情報として与えられた画像データに含まれるフレームＩｍ（ｋ）から、被験者の肌を含む領域である肌領域を検出し、検出された肌領域を示す肌領域情報Ｓ（ｋ）を生成する。生成された肌領域情報Ｓ（ｋ）は、計測領域設定部１２０に与えられる。

実施の形態１における肌領域は、被験者の顔に対応する領域であるものとして説明する。しかし、肌領域は、被験者の顔以外であってもよい。例えば、肌領域は、目、眉、鼻、口、おでこ、頬又は顎等のような、顔に属する部位に対応する領域であってもよい。また、肌領域は、頭、肩、手、首又は足等のような、顔以外の身体部位に対応する領域であってもよい。なお、肌領域は、複数の領域であってもよい。

肌領域情報Ｓ（ｋ）は、肌領域の検出の有無と、検出された肌領域の画像上における位置及びサイズとを示す情報を含むことができる。ここでは、肌領域情報Ｓ（ｋ）は、画像上における顔の位置及びサイズを表す矩形領域を示す情報であるものとして説明する。

具体的には、肌領域が被験者の顔に対応する領域である場合、肌領域情報Ｓ（ｋ）は、例えば、被験者の顔の検出の有無と、顔を囲む矩形の中心座標Ｆｃ（Ｆｃｘ，Ｆｃｙ）と、この矩形の幅Ｆｃｗ及び高さＦｃｈとを示す。

顔の検出の有無は、例えば、検出できた場合は「１」、検出できなかった場合は「０」とする。
また、矩形の中心座標は、フレームＩｍ（ｋ）の座標系で表現し、フレームＩｍ（ｋ）の左上を原点とし、フレームＩｍ（ｋ）の右向きをｘ軸の正方向、フレームＩｍ（ｋ）の下向きをｙ軸の正方向とする。

被験者の顔の検出は、公知の手段を利用して実現することができる。例えば、Ｈａａｒ−ｌｉｋｅ特徴量を使用したカスケード型の顔検出器を使用して、被験者の顔を囲う矩形領域を抽出することができる。

計測領域設定部１２０は、フレームＩｍ（ｋ）と、肌領域情報Ｓ（ｋ）とを受け取り、肌領域情報Ｓ（ｋ）で示される肌領域に対応する画像領域の中に、脈波信号を抽出するための複数の計測領域を設定し、設定された複数の計測領域を示す計測領域情報Ｒ（ｋ）を生成する。生成された計測領域情報Ｒ（ｋ）は、脈波元信号抽出部１３０に与えられる。

計測領域情報Ｒ（ｋ）は、Ｒｎ（正の整数）個の計測領域の画像上における位置及びサイズを示す情報を含むことができる。各計測領域は、計測領域ｒｉ（ｋ）（ｉ＝１，２，・・・，Ｒｎ）とする。ここでは、計測領域ｒｉ（ｋ）は、四辺形とし、計測領域ｒｉ（ｋ）の位置及びサイズは、画像における、四辺形の４つの頂点の座標値であるものとして説明する。

以下では、計測領域ｒｉ（ｋ）の設定方法の一例として、顔器官検出を用いる例を、図２を参照して説明する。
まず、計測領域設定部１２０は、肌領域情報Ｓ（ｋ）で示されている肌領域ｓｒにおいて、図２（ａ）又は図２（ｂ）に示されているような、顔器官（目尻、目頭、鼻及び口等）のランドマークをＬｎ（正の整数）個検出し、各ランドマークの座標値を格納したベクトルをＬ（ｋ）とする。図２（ａ）及び図２（ｂ）では、ランドマークを丸で示している。

顔器官検出は、公知の手段を利用して実現することができる。例えば、Ｃｏｎｓｔｒａｉｎｅｄ Ｌｏｃａｌ Ｍｏｄｅｌ（ＣＬＭ）と呼ばれるモデルを用いて、顔器官のランドマークの座標値を検出することができる。ランドマークの数Ｌｎは特に限定しないが、図２（ａ）に示されている６６点、又は、図２（ｂ）に示されている２９点が好適である。ランドマーク数が多い方が、検出結果が安定する一方で、処理量が増えるため、ＣＰＵ等のハードウエアに応じてランドマーク数を決めるのが望ましい。以下では、ランドマーク数Ｌｎを６６点として説明する。

続いて、計測領域設定部１２０は、検出されたランドマークを基準にして計測領域ｒｉ（ｋ）の四辺形の頂点座標を設定する。例えば、計測領域設定部１２０は、図２（ｃ）に示されているような四辺形の頂点座標を設定し、Ｒｎ個の計測領域ｒｉ（ｋ）を設定する。ここでは、一例として、計測領域数Ｒｎを１２として説明する。

計測領域ｒｉ（ｋ）の具体的な設定方法について、図３を用いて説明する。
ここでは、肌領域ｓｒの頬に対応する部分に、計測領域ｒｉ（ｋ）を設定する場合を説明する。
まず、計測領域設定部１２０は、顔の輪郭のランドマークＡ１と、鼻のランドマークＡ２とを選択する。例えば、計測領域設定部１２０は、まず、鼻のランドマークＡ２を選択し、その鼻のランドマークＡ２から最も近い顔の輪郭のランドマークＡ１を選択すればよい。

そして、計測領域設定部１２０は、ランドマークＡ１とランドマークＡ２との間の線分を４等分するように補助ランドマークａ１、ａ２、ａ３を設定する。
同様に、計測領域設定部１２０は、顔の輪郭のランドマークＢ１と、鼻のランドマークＢ２とを選択し、ランドマークＢ１とランドマークＢ２との間の線分を４等分するように補助ランドマークｂ１、ｂ２、ｂ３を設定する。なお、ランドマークＢ１は、例えば、ランドマークＡ１に隣接する鼻のランドマークから選択されればよい。ランドマークＢ２も、ランドマークＡ２に隣接する顔のランドマークから選択されればよい。

次に、計測領域設定部１２０は、補助ランドマークａ１、ｂ１、ｂ２、ａ２で囲まれる四辺形領域を一つの計測領域Ｒ１として定義する。補助ランドマークａ１、ｂ１、ｂ２、ａ２は、計測領域Ｒ１に対応する頂点座標となる。

同様に、計測領域設定部１２０は、補助ランドマークａ２、ｂ２、ｂ３、ａ３で囲まれる四辺形領域を一つの計測領域Ｒ２として定義する。補助ランドマークａ２、ｂ２、ｂ３、ａ３は、計測領域Ｒ２に対応する頂点座標となる。

計測領域設定部１２０は、同様の処理を、頬の他の部分、及び、あごに対応する部分に対して実行することで、計測領域ｒｉ（ｋ）の四辺形の頂点座標を設定する。
そして、計測領域設定部１２０は、各計測領域ｒｉ（ｋ）の４つの頂点の座標を含む情報を計測領域情報Ｒ（ｋ）として生成し、その計測領域情報Ｒ（ｋ）を脈波元信号抽出部１３０に与える。

なお、上述した例では、計測領域設定部１２０は、ＣＬＭによってランドマークの座標を検出しているが、これに限るものではない。例えば、計測領域設定部１２０は、Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ（ＫＬＴ）トラッカー等のトラッキング技術を用いてもよい。具体的には、計測領域設定部１２０は、最初のフレームＩｍ（１）に対しＣＬＭによってランドマークの座標を検出し、次のフレームＩｍ（２）以降は、ＫＬＴトラッカーによりランドマーク座標をトラッキングし、各フレームＩｍ（ｋ）に対するランドマーク座標を算出してもよい。トラッキングを行うことで、各フレームＩｍ（ｋ）に対しＣＬＭを行わなくてよくなるため、処理量を削減することができる。この場合、トラッキングによる検出誤差が蓄積するため、計測領域設定部１２０は、数フレームに一回ＣＬＭを実行し、ランドマークの座標位置をリセットする等のリセット処理を行ってもよい。

なお、計測領域の位置は図２（ｃ）に示すような１２領域に限るものではない。例えば、額部分が含まれてもよく、鼻先領域が含まれてもよい。また、計測領域設定部１２０は、被験者によって設定領域を変更してもよい。例えば、前髪が額に掛かっている被験者については、計測領域設定部１２０は、それを検出して額領域を計測領域から除外してもよい。また、太い縁の眼鏡を装着している被験者であれば、計測領域設定部１２０は、眼鏡の位置を検出して、その領域を計測領域から除外してもよい。その他、髭を生やしている被験者であれば、計測領域設定部１２０は、髭の領域を計測領域から除外してもよい。更には、計測領域は他の計測領域と重なっていてもよい。

図１に戻り、脈波元信号抽出部１３０は、フレームＩｍ（ｋ）と、計測領域情報Ｒ（ｋ）とを受け取り、計測領域情報Ｒ（ｋ）で示される複数の計測領域ｒｉ（ｋ）の各々から、予め定められた期間に含まれているフレーム数Ｔｐに対応する期間における輝度の変化を示す脈波元信号を抽出し、抽出された脈波元信号を示す脈波元信号情報Ｗ（ｔ）を生成する。なお、脈波元信号は、脈波の元となる信号である。生成された脈波元信号情報Ｗ（ｔ）は、位相一致度算出部１４０及び脈波推定部１５０に与えられる。

脈波元信号情報Ｗ（ｔ）は、計測領域ｒｉ（ｋ）で抽出された脈波元信号ｗｉ（ｔ）を示す情報を含むことができる。脈波元信号ｗｉ（ｔ）は、Ｔｐ分の時系列データであり、例えば、過去Ｔｐ分のフレームＩｍ（ｋ−Ｔｐ＋１），Ｉｍ（ｋ−Ｔｐ＋２），・・・，Ｉｍ（ｋ）と、計測領域情報Ｒ（ｋ−Ｔｐ＋１），Ｒ（ｋ−Ｔｐ＋２），・・・，Ｒ（ｋ）とに基づいて抽出される。

抽出するにあたっては、脈波元信号抽出部１３０は、各フレームＩｍ（ｋ）に対して、各計測領域ｒｉ（ｋ）の輝度特徴量Ｇｉ（ｊ）（ｊ＝ｋ−Ｔｐ＋１，ｋ−Ｔｐ＋２，・・・，ｋ）を算出する。輝度特徴量Ｇｉ（ｊ）は、各計測領域ｒｉ（ｊ）に対し、フレームＩｍ（ｊ）上の輝度値に基づいて算出される値であり、例えば、計測領域ｒｉ（ｊ）内に含まれる画素の輝度値の平均又は分散等である。ここでは、輝度特徴量Ｇｉ（ｊ）は、計測領域ｒｉ（ｊ）に含まれる画素の輝度値の平均であるものとして説明をする。各フレームＩｍ（ｋ）に対し算出したＧｉ（ｊ）を時系列に並べたものを脈波元信号ｗｉ（ｔ）とする。すなわち、脈波元信号ｗｉ（ｔ）＝［Ｇｉ（ｋ−Ｔｐ＋１），Ｇｉ（ｋ−Ｔｐ＋２），・・・，Ｇｉ（ｋ）］とする。

そして、脈波元信号抽出部１３０は、各計測領域ｒｉ（ｋ）における脈波元信号ｗｉ（ｔ）をまとめたものを脈波元信号情報Ｗ（ｔ）として生成する。生成された脈波元信号情報Ｗ（ｔ）は、位相一致度算出部１４０及び脈波推定部１５０に与えられる。

なお、脈波元信号ｗｉ（ｔ）は、前述した脈波成分及び顔の動き成分以外にも様々なノイズ成分を含む。ノイズ成分としては、例えば、後述する撮像装置の素子欠陥によるノイズ等がある。これらのノイズ成分を除去するためには、脈波元信号ｗｉ（ｔ）に対する前処理としてフィルタ処理を行うのが望ましい。
フィルタ処理では、脈波元信号ｗｉ（ｔ）に対して、例えば、ローパスフィルタ、ハイパスフィルタ又はバンドパスフィルタを用いて、処理が施される。以下の説明では、バンドパスフィルタが施されたものとして説明する。
バンドパスフィルタとしては、例えば、バターワースフィルタ等を用いることができる。バンドパスフィルタのカットオフ周波数としては、例えば、低い方のカットオフ周波数は、０．５Ｈｚ、高い方のカットオフ周波数は５．０Ｈｚが望ましい。

なお、フィルタ処理の種類は、上述したバターワースフィルタに限るものではない。また、カットオフ周波数についても、これらに限るものではない。被験者の状態又は状況に応じて、フィルタ処理の種類及びカットオフ周波数が設定されればよい。

位相一致度算出部１４０は、脈波元信号情報Ｗ（ｔ）を受け取り、脈波元信号情報Ｗ（ｔ）に含まれる複数の基底成分の各々の位相が、対応する基底成分同士において一致している程度を示す位相一致度を算出し、基底成分毎の位相一致度を示す位相一致度情報Ｃ（ｔ）を生成する。位相一致度情報Ｃ（ｔ）は、脈波推定部１５０に与えられる。ここで、位相は基底成分の属性であるため、位相の一致度は、属性の一致度であり、位相一致度は、属性一致度であるといえる。このため、位相一致度算出部１４０は、属性一致度算出部であるともいえる。

具体的には、位相一致度算出部１４０は、脈波元信号情報Ｗ（ｔ）で示される複数の脈波元信号から二つの脈波元信号のペアを選択する。ここで、選択されたペアである二つの脈波元信号を、第１の脈波元信号及び第２の脈波元信号とする。位相一致度算出部１４０は、第１の脈波元信号を構成する複数の基底成分の各々と、第２の脈波元信号を構成する複数の基底成分の各々との間で、対応する基底成分同士において位相が一致している程度を示す複数の一致度を算出する。そして、位相一致度算出部１４０は、算出された複数の一致度に従って、複数の属性一致度を特定する。ここで、複数の属性一致度の各々は、複数の基底成分の各々に対応する。

なお、位相一致度算出部１４０は、一つのペアを選択してもよく、二つ以上のペアを選択してもよい。
位相一致度算出部１４０は、複数のペアを選択した場合には、複数のペアにおいて算出された複数の一致度を、対応する基底成分毎に合算した複数の値を、複数の位相一致度として特定すればよい。
また、位相一致度算出部１４０は、一つのペアを選択した、その一つのペアで算出された複数の一致度を複数の位相一致度として特定すればよい。
以下では、位相一致度算出部１４０は、複数のペアを選択するものとして説明する。

図４は、位相一致度算出部１４０の構成を概略的に示すブロック図である。
位相一致度算出部１４０は、二領域間位相一致度算出部１４１と、位相一致度合算部１４２とを備える。

二領域間位相一致度算出部１４１は、脈波元信号情報Ｗ（ｔ）に基づいて、脈波元信号ｗｉ（ｔ）の算出に使用した複数の計測領域ｒｉ（ｋ）の中から二つの計測領域ｒｕ（ｋ）、ｒｖ（ｋ）のペアを選択し、二つの計測領域ｒｕ（ｋ）、ｒｖ（ｋ）のペアに対応する二つの脈波元信号ｗｕ（ｔ）、ｗｖ（ｔ）のペアを選択する。そして、二領域間位相一致度算出部１４１は、選択された二つの脈波元信号ｗｕ（ｔ）、ｗｖ（ｔ）のペアにおける基底成分の位相の一致度である二領域間位相一致度ｃｕｖ（ｔ）を算出する。なお、ｕ，ｖ＝１，２，・・・，Ｒｎの中でｕ≠ｖを満たすものとする。
なお、このようなペアは、少なくとも１つ生成されればよく、複数のペアが生成されて、複数の二領域間位相一致度ｃｕｖ（ｔ）が算出されてもよい。二領域間位相一致度算出部１４１は、生成された二領域間位相一致度ｃｕｖ（ｔ）をまとめたものを二領域間位相一致度情報Ｎ（ｔ）として位相一致度合算部１４２に与える。

二領域間位相一致度算出部１４１で行われる基底成分の位相の一致度の算出動作について詳しく説明する。
基底成分の位相の一致度を算出するにあたっては、まず、二領域間位相一致度算出部１４１は、脈波元信号ｗｉ（ｔ）を基底成分に分解する。以下では、基底成分として、周波数成分を使用した場合を例として説明する。なお、基底成分は、脈波元信号ｗｉ（ｔ）を構成する信号成分のことであり、基底成分を任意の関数の引数として与えたときに脈波元信号を表現できるような信号成分のことである。

まず、二領域間位相一致度算出部１４１は、脈波元信号情報Ｗ（ｔ）に含まれる各計測領域ｒｉ（ｋ）の脈波元信号ｗｉ（ｔ）を周波数成分に分解する。脈波元信号ｗｉ（ｔ）を周波数成分に分解するには、例えば、高速フーリエ変換（以下、ＦＦＴ）が用いられる。ＦＦＴにより、時系列データである脈波元信号ｗｉ（ｔ）を周波数成分のデータ（各周波数成分の大きさ（パワー）と位相）に分解することができる。時系列データである脈波元信号ｗｉ（ｔ）にＦＦＴを行った際の各周波数成分ｆに対する大きさを｜Ｆｉ（ｆ，ｔ）｜、位相を∠Ｆｉ（ｆ，ｔ）とする。なお、ＦＦＴを行う場合、ナイキスト周波数（サンプリング周波数の半分）を境にエイリアスが発生するため、ｆ＝０，Δｆ，２×Δｆ，・・・，Ｓｒ×Δｆ／２とする。ここで、Δｆは時系列データの長さであるＴｐフレームによって決定される値であり、Ｔｐフレーム＝Ｔｓ秒とすると、Δｆ＝１／Ｔｓである。

次に、二領域間位相一致度算出部１４１は、脈波元信号ｗｉ（ｔ）の算出に使用した複数の計測領域ｒｉ（ｋ）の中から二つの計測領域ｒｕ（ｋ）、ｒｖ（ｋ）のペアを選択し、二つの計測領域ｒｕ（ｋ）、ｒｖ（ｋ）のペアにおける基底成分（周波数成分）の位相の一致度である二領域間位相一致度ｃｕｖ（ｔ）を算出する。二領域間位相一致度ｃｕｖ（ｔ）は、例えば、計測領域ｕの位相∠Ｆｕ（ｆ，ｔ）と、計測領域ｖの位相∠Ｆｖ（ｆ，ｔ）との差の絶対値として算出される。周波数成分毎に位相差の絶対値を求めることで、各周波数成分における位相の一致度を算出することができる。
なお、この場合、位相差の絶対値が小さいほど位相の一致度が高く、位相差の絶対値が大きいほど位相の一致度は低くなる。周波数成分毎の位相の一致度を算出し、並べたものを二領域間位相一致度ｃｕｖ（ｔ）とする。
そして、二領域間位相一致度算出部１４１は、周波数成分毎の二領域間位相一致度ｃｕｖ（ｔ）をまとめることにより、二領域間位相一致度情報Ｎ（ｔ）を生成する。

なお、二領域間位相一致度算出部１４１は、全ての周波数成分に対して位相の一致度を算出しなくてもよく、特定の条件を満たす周波数成分に対してのみそれを算出してもよい。例えば、周波数成分のパワー（大きさ）が極端に小さい場合は、脈波成分ではなくノイズ成分とみなすことができるため、二領域間位相一致度算出部１４１は、該当する周波数成分については、位相の一致度を算出しないようにする。もしくは、疑似的に位相の一致度が低いものとして、二領域間位相一致度算出部１４１は、該当する周波数成分の位相の一致度に定数を与えてもよい。

位相一致度合算部１４２は、二領域間位相一致度情報Ｎ（ｔ）が与えられ、二領域間位相一致度ｃｕｖ（ｔ）を基底成分毎に合算して、計測領域ｒｉ（ｋ）間における基底成分毎の位相一致度を示す位相一致度情報Ｃ（ｔ）を生成する。位相一致度情報Ｃ（ｔ）は、脈波推定部１５０に与えられる。位相一致度情報Ｃ（ｔ）は、例えば、二領域間位相一致度情報Ｎ（ｔ）に含まれる二領域間位相一致度ｃｕｖ（ｔ）を周波数成分毎に足し算することで算出される。

なお、位相一致度情報Ｃ（ｔ）の算出方法は成分毎の足し算に限るものではなく、掛け算等が使用されてもよい。
また、二領域間位相一致度算出部１４１が、脈波元信号ｗｉ（ｔ）の算出に使用した複数の計測領域ｒｉ（ｋ）の中から二つの計測領域ｒｕ（ｋ）、ｒｖ（ｋ）からなる一つのペアのみを選択する場合には、位相一致度合算部１４２を設ける必要はなく、位相一致度合算部１４２は、二領域間位相一致度情報Ｎ（ｔ）を位相一致度情報Ｃ（ｔ）として脈波推定部１５０に与えればよい。

図１に戻り、脈波推定部１５０は、脈波元信号情報Ｗ（ｔ）と、位相一致度情報Ｃ（ｔ）とに基づいて、脈波を推定し、推定された脈波を示す脈波情報である脈波推定結果Ｐ（ｔ）を出力する。脈波情報とは、例えば、推定した脈波の時系列データであってもよいし、脈拍数であってもよい。ここでは、説明を簡便にするため、脈波情報は、脈拍数（１分間当たりのはく数）を示すものとする。

例えば、脈波推定結果Ｐ（t）として、脈拍数を出力する場合は、脈波推定部１５０は、周波数成分毎の位相一致度情報Ｃ（ｔ）のうち、最も位相の一致度が高い基底成分である周波数成分を特定し、特定された周波数成分に基づいて、脈波を推定する。具体的には、脈波推定部１５０は、最も位相の一致度が高い周波数成分が脈波に相当するものとし、脈波に相当する周波数成分の周波数を脈拍数として出力する。

以上に記載された肌領域検出部１１０、計測領域設定部１２０、脈波元信号抽出部１３０、位相一致度算出部１４０及び脈波推定部１５０の一部又は全部は、例えば、図５（ａ）に示されているように、メモリ１と、メモリ１に格納されているプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ２とにより構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。

また、肌領域検出部１１０、計測領域設定部１２０、脈波元信号抽出部１３０、位相一致度算出部１４０及び脈波推定部１５０の一部又は全部は、例えば、図５（ｂ）に示されているように、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）又はＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路３で構成することもできる。

図６は、実施の形態１に係る脈波推定装置１００の動作を示すフローチャートである。
図６に示されている動作は、撮像画像が入力される１フレーム毎に、すなわち１フレーム期間に一度行われる。
まず、肌領域検出部１１０は、後述する撮像装置から入力情報として与えられたフレームＩｍ（ｋ）から、被験者の肌領域を検出し、検出された肌領域を示す肌領域情報Ｓ（ｋ）を生成する（Ｓ１０）。生成された肌領域情報Ｓ（ｋ）は、計測領域設定部１２０に与えられる。

次に、計測領域設定部１２０は、フレームＩｍ（ｋ）と、肌領域情報Ｓ（ｋ）とを受け取り、肌領域情報Ｓ（ｋ）で示される肌領域の中から、脈波信号を抽出するための複数の計測領域ｒｉ（ｋ）を設定し、設定された計測領域ｒｉ（ｋ）を示す計測領域情報Ｒ（ｋ）を生成する（Ｓ１１）。生成された計測領域情報Ｒ（ｋ）は、脈波元信号抽出部１３０に与えられる。

次に、脈波元信号抽出部１３０は、フレームＩｍ（ｋ）と、計測領域情報Ｒ（ｋ）とを受け取り、計測領域情報Ｒ（ｋ）で示される各計測領域ｒｉ（ｋ）内の輝度値に基づいて、脈波の元となる脈波元信号ｗｉ（ｔ）を抽出し、抽出された脈波元信号ｗｉ（ｔ）を示す脈波元信号情報Ｗ（ｔ）を生成する（Ｓ１２）。生成された脈波元信号情報Ｗ（ｔ）は、位相一致度算出部１４０と、脈波推定部１５０とに与えられる。

次に、位相一致度算出部１４０は、脈波元信号情報Ｗ（ｔ）を受け取り、脈波元信号情報Ｗ（ｔ）で示される脈波元信号ｗｉ（ｔ）に含まれる基底成分について、計測領域ｒｉ（ｋ）間における位相の一致度を算出し、基底成分毎の位相の一致度を示す位相一致度情報Ｃ（ｔ）を生成する（Ｓ１３）。位相一致度情報Ｃ（ｔ）は、脈波推定部１５０に与えられる。

次に、脈波推定部１５０は、脈波元信号情報Ｗ（ｔ）と、位相一致度情報Ｃ（ｔ）とに基づいて、脈波を推定し、推定された脈波を示す脈波推定結果Ｐ（ｔ）を出力する（Ｓ１４）。

続いて、実施の形態１に係る脈波推定装置１００による効果を、図７〜図９を用いて説明する。

図７は、被験者の顔、撮像装置１６０、及び、環境光の光源１６１の位置関係を示す概略図である。
図７に示されているように、被験者の顔の肌領域に、計測領域Ａ及び計測領域Ｂが配置されているものとする。

図８（ａ）〜（ｃ）は、図７に示されている撮像装置１６０によって被験者の顔を撮像して得られた画像の例を示している。
図８（ａ）に示されている画像は、被験者の顔が撮像装置１６０の中心に位置している時の例である。このような位置を基準位置とする。
図８（ｂ）に示されている画像は、被験者の顔が撮像装置１６０の中心よりも右側に位置している時の例である。このような位置を右位置とする。
図８（ｃ）に示されている画像は、被験者の顔が撮像装置１６０の中心よりも左側に位置している時の例である。このような位置を左位置とする。

計測領域Ａは、顔が右位置の場合は基準位置と比べて明るくなり、顔が左位置の場合は基準位置と比べて暗くなる。
計測領域Ｂは、顔が右位置の場合は基準位置と比べて暗くなり、左位置の場合は基準位置と比べて明るくなる。

図９（ａ）〜（ｄ）は、被験者の顔が、基準位置、右位置、基準位置、左位置、基準位置、右位置、基準位置、及び、左位置の順に動いた場合の計測領域Ａ、Ｂにおける輝度値平均の変化を示している。

図９（ａ）は、被験者の顔が上記のように動いた場合の計測領域Ａの顔の動き成分の輝度値平均の変化を示し、図９（ｂ）は、被験者の顔が上記のように動いた場合の計測領域Ａの顔の脈波成分の輝度値平均の変化を示している。
図９（ｃ）は、被験者の顔が上記のように動いた場合の計測領域Ｂの顔の動き成分の輝度値平均の変化を示し、図９（ｄ）は、被験者の顔が上記のように動いた場合の計測領域Ｂの顔の脈波成分の輝度値平均の変化を示している。

図９（ａ）〜（ｄ）に示すように、被験者の顔が動くと、それに応じて計測領域における輝度値平均が変化する。その際、顔の動き成分の輝度値変化の周波数は、計測領域によって近い値となるが、位相は異なる。
例えば、図９（ａ）及び（ｃ）に示されているように、計測領域Ａと計測領域Ｂとでは、明るくなるタイミングと暗くなるタイミングとが異なる、言い換えると、計測領域Ａが明るいときに、計測領域Ｂは暗くなるため、輝度値変化を信号成分として見たときに、各周波数成分の位相が異なる。

一方、図９（ｂ）及び（ｄ）に示されているように、脈波成分の輝度値変化の周波数及び位相は、どの計測領域であっても近い値となる。
すなわち、顔の動きによる輝度値変化と脈波による輝度値変化とについて、位相が異なるか、近い値となるかの違いがあるため、各計測領域における基底成分の位相の一致度を比較することで、顔の動きによる輝度値変化の成分と、脈波による輝度値変化の成分とを弁別することができる。
特に、位相の一致度が高い基底成分を脈波成分として選定することで、顔の動きの影響を抑制し、精度良く脈波を推定することができる。

計測領域における輝度値変化においては、上述のような特徴があることから、実施の形態１に係る脈波推定装置１００によれば、計測領域間で抽出された脈波元信号の基底成分に対し位相の一致度に基づいて脈波を推定することで、顔の動きによる精度低下を抑制し、精度良く脈波を推定できる。

また、複数の計測領域から二つの領域のペアを生成し、各ペアに対し基底成分の一致度を算出及び合算していくことで、複数の計測領域間における基底成分の位相一致度を算出することができることから、より高精度に脈波を推定することができる。

なお、実施の形態１では、画像データをグレースケール画像として説明したが、画像データはこれに限るものではない。例えば、ＲＧＢ画像を画像データとして用いてもよい。また、前述のグレースケール画像は、近赤外光（例えば、光の波長８５０ｎｍや９４０ｎｍ等）を受光できる撮像装置によって取得された画像データであってもよい。この場合、近赤外光の照明装置を使って被験者を照らし、撮像することで夜間でも、実施の形態１に係る脈波推定装置１００により脈波を推定することができる。

なお、実施の形態１では、図７に示されているように、環境光が上から照らされるものとして説明したが、これに限るものではない。例えば、環境光は横から照らされるものとしてもよい。

なお、実施の形態１では、脈波推定結果Ｐ（t）は、脈拍数であるものとして説明したが、これに限るものではない。脈波推定部１５０は、例えば、成分毎の位相一致度情報Ｃ（ｔ）のうち、最も位相の一致度が高い成分が脈波に相当するものとし、該当する周波数成分のデータを用いて逆フーリエ変換し、脈波を合成してもよい。

なお、実施の形態１では、画像データに含まれる被験者の数を１人としたが、これに限るものではない。２人以上の場合には、各被験者に対して、脈波を推定すればよい。

実施の形態２．
図１に示されているように、実施の形態２に係る脈波推定装置２００は、肌領域検出部１１０と、計測領域設定部１２０と、脈波元信号抽出部１３０と、位相一致度算出部２４０と、脈波推定部１５０とを備える。
実施の形態２に係る脈波推定装置２００の、肌領域検出部１１０、計測領域設定部１２０、脈波元信号抽出部１３０、及び、脈波推定部１５０は、実施の形態１に係る脈波推定装置１００の、肌領域検出部１１０、計測領域設定部１２０、脈波元信号抽出部１３０、及び、脈波推定部１５０と同様である。
なお、脈波推定装置２００は、実施の形態２に係る情報処理方法である脈波推定方法を実行することができる装置である。

実施の形態２における位相一致度算出部２４０は、脈波元信号情報Ｗ（ｔ）で示される複数の脈波元信号から二つの脈波元信号のペアを複数ペア選択する。そして、位相一致度算出部２４０は、実施の形態１と同様に、選択された複数のペアの各々から、対応する基底成分同士において位相が一致している程度を示す複数の一致度を算出する。そして、位相一致度算出部２４０は、複数のペアの各々に重み係数を設定し、複数のペアの各々で算出された複数の一致度を、その重み係数を用いて重み付けをして、対応する基底成分毎に合算した値を、複数の位相一致度として特定する。

ここで、位相一致度算出部２４０は、複数のペアの各々から算出された複数の一致度に、位相の一致の程度の高いものが含まれているほど、重みが重くなるように重み係数を設定することができる。
また、位相一致度算出部２４０は、複数のペアの各々に対応する二つの計測領域ｒｕ（ｋ）、ｒｖ（ｋ）の距離が長いほど、重みが重くなるように重み係数を設定することもできる。

図１０は、実施の形態２における位相一致度算出部２４０の構成を概略的に示すブロック図である。
位相一致度算出部２４０は、二領域間位相一致度算出部１４１と、位相一致度合算部２４２と、重み係数算出部２４３とを備える。
実施の形態２における位相一致度算出部２４０の二領域間位相一致度算出部１４１は、実施の形態１における位相一致度算出部１４０の二領域間位相一致度算出部１４１と同様である。但し、実施の形態２における二領域間位相一致度算出部１４１は、二領域間位相一致度情報Ｎ（ｔ）を、位相一致度合算部２４２と、重み係数算出部２４３とに与える。

重み係数算出部２４３は、二領域間位相一致度情報Ｎ（ｔ）を受け取り、二領域間位相一致度情報Ｎ（ｔ）で示される各二領域間位相一致度ｃｕｖ（ｔ）に対する重み係数ｄｕｖ（ｔ）を算出し、算出された重み係数ｄｕｖ（ｔ）を示す重み情報Ｄ（ｔ）を生成する。重み情報Ｄ（ｔ）は、位相一致度合算部２４２に与えられる。

重み情報Ｄ（ｔ）は、二領域間位相一致度情報Ｎ（ｔ）に含まれる各二領域間位相一致度ｃｕｖ（ｔ）に対する重み係数ｄｕｖ（ｔ）を含むことができる。重み係数ｄｕｖ（ｔ）は、例えば、「０」から「１」の間の値をとる。例えば、重み係数ｄｕｖ（ｔ）が「０」のときは、該当する二領域間位相一致度ｃｕｖ（ｔ）に対する重みは小さく、重み係数ｄｕｖ（ｔ）が「１」のときは、該当する二領域間位相一致度ｃｕｖ（ｔ）に対する重みは大きい。重み係数ｄｕｖ（ｔ）が「０．５」のときは、「０」と「１」との中間程度の重みである。

重み係数ｄｕｖ（ｔ）は、例えば、二領域間位相一致度ｃｕｖ（ｔ）に基づいて決定される。上述したように、二領域間位相一致度ｃｕｖ（ｔ）として、各計測領域ｒｉ（ｋ）で取得された基底成分の位相差の絶対値が用いられた場合、二領域間位相一致度ｃｕｖ（ｔ）の各要素は、二つの計測領域ｒｕ（ｋ）、ｒｖ（ｋ）間で基底成分の位相が一致している程小さい値となる。そのため、二領域間位相一致度ｃｕｖ（ｔ）が小さい値を含んでいる程、二つの計測領域ｒｕ（ｋ）、ｒｖ（ｋ）間で位相がより一致している基底成分が存在することになる。すなわち、二領域間位相一致度ｃｕｖ（ｔ）が小さい値を含んでいる程、対応する重み係数ｄｕｖ（ｔ）を大きく設定することで、脈波成分を含む二つの計測領域ｒｕ（ｋ）、ｒｖ（ｋ）のペアの情報を用いて計測領域ｒｉ（ｋ）間の位相の一致度を算出することができる。

以上を踏まえると、位相が一致している程、重みを大きく設定するには、例えば、二領域間位相一致度ｃｕｖ（ｔ）の最小値に基づいて、対応する重み係数ｄｕｖ（ｔ）を決定するのが望ましい。
以下では、重み係数ｄｕｖ（ｔ）を決定する方法として、二領域間位相一致度ｃｕｖ（ｔ）の最小値を用いる方法について説明する。

二領域間位相一致度ｃｕｖ（ｔ）が取り得る最大値をｃ_ｍａｘ、最小値をｃ_ｍｉｎとする。また、対応する二領域間位相一致度ｃｕｖ（ｔ）における最小値をｃｕｖ_ｍｉｎ（ｔ）とすると、重み係数ｄｕｖ（ｔ）は、下記の（１）式で算出される。

ｄｕｖ（ｔ）＝１．０−（ｃｕｖ_ｍｉｎ（ｔ）−ｃ_ｍｉｎ）／（ｃ_ｍａｘ−ｃ_ｍｉｎ）
（１）

上述の式で重み係数ｄｕｖ（ｔ）を計算することで、位相が一致している程、言い換えると、対応する二領域間位相一致度ｃｕｖ（ｔ）が小さい値を含んでいる程、重み係数ｄｕｖ（ｔ）を大きく設定することができる。

重み係数算出部２４３は、各二領域間位相一致度ｃｕｖ（ｔ）に対して算出した重み係数ｄｕｖ（ｔ）をまとめて、それらを示す重み情報Ｄ（ｔ）を生成する。重み情報Ｄ（ｔ）は、位相一致度合算部２４２に与えられる。

位相一致度合算部２４２は、二領域間位相一致度情報Ｎ（ｔ）と、重み情報Ｄ（ｔ）とを受け取り、計測領域間における基底成分毎の位相一致度情報Ｃ（ｔ）を生成し、生成された位相一致度情報Ｃ（ｔ）を脈波推定部１５０に与える。

具体的には、位相一致度合算部２４２は、二領域間位相一致度情報Ｎ（ｔ）で示される二領域間位相一致度ｃｕｖ（ｔ）を、基底成分毎に、対応する重み情報Ｄ（ｔ）で示される重み係数ｄｕｖ（ｔ）を用いて重み付けを行って、加算する。
重みづけ加算は、下記の（２）式で示されるように行われる。
Σｕ, ｖ （ｄｕｖ（ｔ）×ｃｕｖ（ｔ）） （２）

（２）式で示されているように、位相一致度合算部２４２は、二領域間位相一致度情報Ｎ（ｔ）で示される二領域間位相一致度ｃｕｖ（ｔ）に、対応する重み情報Ｄ（ｔ）を乗算して、基底成分毎に加算することで、計測領域ｒｉ（ｋ）間における基底成分毎の位相の一致度を示す位相一致度情報Ｃ（ｔ）を生成する。位相一致度情報Ｃ（ｔ）は、脈波推定部１５０に与えられる。

以上のように、実施の形態２に係る脈波推定装置２００によれば、二領域間位相一致度ｃｕｖ（ｔ）の最小値に基づいて重み係数ｄｕｖ（ｔ）を計算すること、言い換えると、二領域間位相一致度ｃｕｖ（ｔ）の最小値が小さいほど、重み係数ｄｕｖ（ｔ）が大きくなるように計算することで、より位相の揃った計測領域ｒｉ（ｋ）のペアに重きを置いて計測領域ｒｉ（ｋ）間における位相一致度を算出できる。このため、実施の形態２は、より高精度に脈波を推定することができる。

なお、実施の形態２では、重み係数ｄｕｖ（ｔ）は、二領域間位相一致度ｃｕｖ（ｔ）の最小値に基づいて算出されたが、重み係数ｄｕｖ（ｔ）の算出方法は、このような方法に限るものではない。例えば、二つの計測領域ｒｕ（ｋ）、ｒｖ（ｋ）間の距離に応じて、対応する重み係数ｄｕｖ（ｔ）が決定されてもよい。輝度値平均の変化に含まれる、顔の動き成分については、二領域間位相一致度ｃｕｖ（ｔ）の算出に用いた二領域間の距離の大きい方が、位相の違いが出やすくなる。そのため、重み係数算出部２４３は、計測領域ｒｉ（ｋ）の画像上の位置から、二つの計測領域ｒｕ（ｋ）、ｒｖ（ｋ）間の距離を算出し、算出された距離に応じて重み係数ｄｕｖ（ｔ）を設定する。その際、重み係数算出部２４３は、距離が大きいほど大きい値となるように重み係数ｄｕｖ（ｔ）を設定する。

上述した、二領域間位相一致度ｃｕｖ（ｔ）の最小値に基づいて算出する方法、又は、二つの計測領域ｒｕ（ｋ）、ｒｖ（ｋ）間の距離に応じて算出する方法といった、二つの重み係数算出方法以外の方法を用いて重み係数ｄｕｖ（ｔ）が算出されてもよく、又は、複数の方法を組み合わせて、総合的に重み係数ｄｕｖ（ｔ）が決定されてもよい。

実施の形態３．
図１１は、実施の形態３に係る情報処理装置としての脈波推定装置３００の構成を概略的に示すブロック図である。
脈波推定装置３００は、実施の形態３に係る情報処理方法である脈波推定方法を実行することができる装置である。
図１１に示されるように、脈波推定装置３００は、肌領域検出部１１０と、計測領域設定部１２０と、脈波元信号抽出部１３０と、位相一致度算出部３４０と、脈波推定部１５０と、変動情報取得部３７０とを備える。
実施の形態３に係る脈波推定装置３００の、肌領域検出部１１０、計測領域設定部１２０、脈波元信号抽出部１３０、及び、脈波推定部１５０は、実施の形態１に係る脈波推定装置１００の、肌領域検出部１１０、計測領域設定部１２０、脈波元信号抽出部１３０、及び、脈波推定部１５０と同様である。

変動情報取得部３７０は、計測領域情報Ｒ（ｋ）から各計測領域ｒｉ（ｋ）の変動を特定し、特定された変動を示す変動情報Ｍ（ｔ）を生成する。変動情報Ｍ（ｔ）は、位相一致度算出部３４０に与えられる。

変動情報Ｍ（ｔ）は、各計測領域ｒｉ（ｋ）の画像上の動き、サイズの変化又は形状の変化等を示す要素情報ｍｉ（ｔ）を含むことができる。
画像上の動きは、例えば、ｅ（ｅは２以上の整数）番目のフレームＩｍ（ｅ）における計測領域ｒｉ（ｅ）の画像上の位置と、ｅ−１番目のフレームＩｍ（ｅ−１）における対応する計測領域ｒｉ（ｅ−１）の画像上の位置との差を示した２次元ベクトルである。

計測領域ｒｉ（ｅ）、ｒｉ（ｅ−１）の画像上の位置は、例えば、計測領域ｒｉ（ｅ）、ｒｉ（ｅ−１）の重心位置を用いることができる。重心位置を用いる場合は、計測領域ｒｉ（ｅ）、ｒｉ（ｅ−１）を構成する４つの頂点の重心座標を重心位置として用いればよい。

サイズの変化は、例えば、ｅ番目のフレームＩｍ（ｅ）における計測領域ｒｉ（ｅ）の面積と、ｅ−１番目のフレームＩｍ（ｅ−１）における対応する計測領域ｒｉ（ｅ−１）の面積との差である。
形状の変化は、例えば、ｅ番目のフレームＩｍ（ｅ）における計測領域ｒｉ（ｅ）の４つの辺の合計の長さに対する各辺の長さの比（４辺あるため、４つの値となる）と、ｋ−１番目のフレームＩｍ（ｅ−１）における対応する計測領域ｒｉ（ｅ−１）の４つの辺の合計の長さに対する各辺の長さの比との差を示した４次元ベクトルである。

要素情報ｍｉ（ｔ）は、例えば、上記のような情報のＴｐ分の時系列データであり、例えば、過去Ｔｐ＋１分の計測領域情報Ｒ（ｋ−Ｔｐ）、Ｒ（ｋ−Ｔｐ＋１），・・・，Ｒ（ｋ）に基づいて抽出される。
説明を簡便にするため、以下の説明では、要素情報ｍｉ（ｔ）は各計測領域ｒｉ（ｋ）の重心の動きを示した２次元ベクトルで構成されたＴｐ分の時系列データとし、変動情報Ｍ（ｔ）は、それらをまとめた情報であるものとする。
なお、要素情報ｍｉ（ｔ）は、Ｔｐ分の時系列データである必要はなく、任意の数のデータで構成されていてもよい。

実施の形態３における位相一致度算出部３４０も、実施の形態２と同様に、二つの脈波元信号からなるペアを複数ペア選択して、各々のペアから、対応する基底成分同士において位相が一致している程度を示す複数の一致度を算出する。そして、位相一致度算出部３４０は、複数のペアの各々に重み係数を設定し、複数のペアの各々で算出された複数の一致度を、その重み係数を用いて重み付けをして、対応する基底成分毎に合算した値を、複数の位相一致度として特定する。

実施の形態３では、位相一致度算出部３４０は、変動情報Ｍ（ｔ）に基づいて、複数のペアの各々に対応する二つの計測領域ｒｕ（ｋ）、ｒｖ（ｋ）が配置されている方向が、被験者が動く方向に近いほど、重みが重くなるように重み係数を設定することができる。
また、位相一致度算出部３４０は、変動情報Ｍ（ｔ）に基づいて、複数のペアの各々に対応する二つの計測領域ｒｕ（ｋ）、ｒｖ（ｋ）のサイズの変化の仕方が近いほど、重みが重くなるように重み係数を設定することもできる。
さらに、位相一致度算出部３４０は、変動情報Ｍ（ｔ）に基づいて、複数のペアの各々に対応する二つの計測領域ｒｕ（ｋ）、ｒｖ（ｋ）の形状の変化の仕方が近いほど、重みが重くなるように重み係数を設定することもできる。

図１２は、位相一致度算出部３４０の構成を概略的に示すブロック図である。
位相一致度算出部３４０は、二領域間位相一致度算出部１４１と、位相一致度合算部２４２と、重み係数算出部３４３とを備える。
実施の形態３における位相一致度算出部３４０の二領域間位相一致度算出部１４１は、実施の形態１における位相一致度算出部１４０の二領域間位相一致度算出部１４１と同様である。但し、実施の形態３における二領域間位相一致度算出部１４１は、二領域間位相一致度情報Ｎ（ｔ）を、位相一致度合算部２４２と、重み係数算出部３４３とに与える。
実施の形態３における位相一致度算出部３４０の位相一致度合算部２４２は、実施の形態２における位相一致度算出部２４０の位相一致度合算部２４２と同様である。但し、実施の形態３における位相一致度合算部２４２は、重み係数算出部３４３から重み情報Ｄ（ｔ）を取得する。

重み係数算出部３４３は、二領域間位相一致度情報Ｎ（ｔ）と、変動情報Ｍ（ｔ）とを受け取り、二領域間位相一致度情報Ｎ（ｔ）で示される各二領域間位相一致度ｃｕｖ（ｔ）に対する重み係数ｄｕｖ（ｔ）を、変動情報Ｍ（ｔ）を用いて算出し、算出された重み係数ｄｕｖ（ｔ）を示す重み情報Ｄ（ｔ）を生成する。重み情報Ｄ（ｔ）は、位相一致度合算部２４２に与えられる。

変動情報Ｍ（ｔ）に基づいて重み係数ｄｕｖ（ｔ）を算出する方法を、図１３〜図１４を用いて説明する。
図１３は、被験者の顔、撮像装置１６０、及び、環境光の光源１６１の位置関係を示す概略図である。
図１３に示されているように、被験者の顔の肌領域に、計測領域Ａ、計測領域Ｂ及び計測領域Ｃが配置されているものとする。

図１４（ａ）〜（ｃ）は、図１３に示されている撮像装置１６０によって被験者の顔を撮像して得られた画像の例を示している。
図１４（ａ）に示されている画像は、被験者の顔が撮像装置１６０の中心に位置している時の例である。このような位置を基準位置とする。
図１４（ｂ）に示されている画像は、被験者の顔が撮像装置１６０の中心よりも右側に位置している時の例である。このような位置を右位置とする。
図１４（ｃ）に示されている画像は、被験者の顔が撮像装置１６０の中心よりも左側に位置している時の例である。このような位置を左位置とする。

計測領域Ａ及び計測領域Ｃは、顔が右位置の場合は基準位置と比べて明るく、顔が左位置の場合は基準位置と比べて暗くなる。
計測領域Ｂは、顔が右位置の場合は基準位置と比べて暗くなり、左位置の場合は基準位置と比べて明るくなる。

図１４（ａ）〜（ｃ）に示されているように、顔の位置が左右に変化した場合、計測領域Ａ及び計測領域Ｂのように、画像における横方向の位置関係にある計測領域では、輝度の変化の仕方に違いが生じる。
一方、計測領域Ａ及び計測領域Ｃのように、画像における縦方向の位置関係にある計測領域では、輝度の変化の仕方が似ている。
すなわち、顔の移動方向と同じ方向の位置関係にある計測領域では輝度の変化の仕方が異なり、顔の移動方向と垂直方向の位置関係にある計測領域では輝度の変化の仕方が似ている。

図１５（ａ）〜（ｆ）は、被験者の顔が、基準位置、右位置、基準位置、左位置、基準位置、右位置、基準位置、及び、左位置の順に動いた場合の計測領域Ａ、Ｂ、Ｃにおける輝度値平均の変化を示している。

図１５（ａ）は、被験者の顔が上記のように動いた場合の計測領域Ａの顔の動き成分の輝度値平均の変化を示し、図１５（ｂ）は、被験者の顔が上記のように動いた場合の計測領域Ａの顔の脈波成分の輝度値平均の変化を示している。
図１５（ｃ）は、被験者の顔が上記のように動いた場合の計測領域Ｂの顔の動き成分の輝度値平均の変化を示し、図１５（ｄ）は、被験者の顔が上記のように動いた場合の計測領域Ｂの顔の脈波成分の輝度値平均の変化を示している。
図１５（ｅ）は、被験者の顔が上記のように動いた場合の計測領域Ｃの顔の動き成分の輝度値平均の変化を示し、図１５（ｆ）は、被験者の顔が上記のように動いた場合の計測領域Ｃの顔の脈波成分の輝度値平均の変化を示している。

顔の位置が左右に変化した場合、図１５（ａ）及び図１５（ｃ）に示されているように、画像における横方向の位置関係にある計測領域（計測領域Ａと計測領域Ｂ）では、輝度値平均に含まれる顔の動き成分の位相は異なっている。
一方、図１５（ａ）及び図１５（ｅ）に示されているように、画像における縦方向の位置関係にある計測領域（計測領域Ａと計測領域Ｃ）では、輝度値平均に含まれる顔の動き成分の位相は近くなる。

図１２に戻り、重み係数算出部３４３は、上述した特徴を用いて、変動情報Ｍ（ｔ）に基づいて重み係数ｄｕｖ（ｔ）を算出する。具体的には、計測領域ｒｕ（ｋ）、ｒｖ（ｋ）のペアが、変動情報Ｍ（ｔ）に含まれる２次元ベクトルと同じ方向の位置関係にある場合には、二領域間位相一致度ｃｕｖ（ｔ）に対する重み係数ｄｕｖ（ｔ）を大きく設定する。一方、計測領域ｒｕ（ｋ）、ｒｖ（ｋ）のペアが、垂直方向の位置関係にある場合には、重み係数ｄｕｖ（ｔ）を小さく設定する。

重み係数ｄｕｖ（ｔ）を算出するにあたっては、まず、重み係数算出部３４３は、変動情報Ｍ（ｔ）に含まれている代表的な動きベクトルである代表ベクトルＭｓ（ｔ）（２次元ベクトル）を特定する。例えば、重み係数算出部３４３は、代表ベクトルＭｓ（ｔ）として、例えば、変動情報Ｍ（ｔ）に含まれている２次元ベクトルの最大値を特定すればよい。

代表ベクトルＭｓ（ｔ）を算出するためには、まず、重み係数算出部３４３は、変動情報Ｍ（ｔ）に含まれるＲｎ個の各計測領域の要素情報ｍｉ（ｔ）について平均値ｍ＿ａｖｅ（ｔ）（Ｔｐ個の２次元ベクトルを持つデータ）を算出する。次に、重み係数算出部３４３は、平均値ｍ＿ａｖｅ（ｔ）に含まれる２次元ベクトルの中から、最もベクトルの長さが大きい２次元ベクトルを選択し、選択ベクトルＭ＿ｍａｘ（ｔ）とする。そして、重み係数算出部３４３は、選択ベクトルＭ＿ｍａｘ（ｔ）を単位ベクトル（長さ１のベクトル）に変換したものを代表ベクトルＭｓ（ｔ）とする。

続いて、重み係数算出部３４３は、各二領域間位相一致度ｃｕｖ（ｔ）に対応する計測領域間の相対的な位置関係を示す２次元ベクトルｐｕｖ（ｔ）を算出する。２次元ベクトルｐｕｖ（ｔ）は、例えば、二領域間位相一致度ｃｕｖ（ｔ）の元となる２つの計測領域ｒｕ（ｋ）、ｒｖ（ｋ）間の座標値の差を計算した２次元ベクトルｐｕｖ＿ｔ（ｔ）を、単位ベクトルに変換したものである。

最後に、重み係数算出部３４３は、２次元ベクトルｐｕｖ（ｔ）と、代表ベクトルＭｓ（ｔ）とから重み係数ｄｕｖ（ｔ）を算出する。重み係数ｄｕｖ（ｔ）は、例えば、２次元ベクトルｐｕｖ（ｔ）と、代表ベクトルＭｓ（ｔ）との内積の絶対値として算出される。具体的には、次の（３）式で、重み係数ベクトルｄｕｖ（ｔ）が算出される。
ｄｕｖ（ｔ）＝｜ｐｕｖ（ｔ）・Ｍｓ（ｔ）｜ （３）

（３）式中の「・」はベクトルの内積を表している。内積の絶対値は、同じ長さのベクトル同士の内積の絶対値であれば、２つのベクトルが垂直関係に近ければ０に近い値となり、平行関係に近ければ正の方向に大きな値となる。ここで、２次元ベクトルｐｕｖ（ｔ）と、代表ベクトルＭｓ（ｔ）とは、共に長さ１の単位ベクトルであるため、その内積は、垂直関係に近ければ「０」に近い値となり、平行関係に近ければ「１」に近い値となる。

このため、（３）式によれば、代表ベクトルＭｓ（ｔ）と、同じ位置関係に計測領域ｒｕ（ｋ）、ｒｖ（ｋ）がある場合、すなわち、代表ベクトルＭｓ（ｔ）と、２次元ベクトルｐｕｖ（ｔ）とが平行に近い場合は、重み係数ｄｕｖ（ｔ）が大きくなる。一方で、これらが垂直に近い関係にある場合は、重み係数ｄｕｖ（ｔ）が小さくなる。
重み係数算出部３４３は、各二領域間位相一致度ｃｕｖ（ｔ）に対し算出した重み係数ｄｕｖ（ｔ）をまとめたものを、重み情報Ｄ（ｔ）として位相一致度合算部２４２に与える。

以上のように、実施の形態３に係る脈波推定装置３００によれば、顔の動き方向と、計測領域ｒｉ（ｋ）との位置関係に応じて、動き成分の位相のずれ度合いが変化するため、計測領域ｒｉ（ｋ）の動きベクトルに基づいて重み係数を算出することで、より動き成分を除去した脈波を推定することができる。

なお、実施の形態３では、要素情報ｍｉ（ｔ）を各計測領域ｒｉ（ｋ）の重心の動きを示す２次元ベクトルとしたが、これに限るものではない。上述したように、計測領域ｒｉ（ｋ）の４つの頂点の動きを使用してもよいし、計測領域ｒｉ（ｋ）のサイズ又は形状の変化を用いてもよいし、それらを組み合わせて使用してもよい。

例えば、重み係数算出部３４３は、変動情報Ｍ（ｔ）に含まれている計測領域ｒｕ（ｋ）、ｒｖ（ｋ）のサイズの変化の仕方が類似していれば、重み係数ｄｕｖ（ｔ）を大きくなるように設定し、それらのサイズの変化の仕方が類似していなければ、重み係数ｄｕｖ（ｔ）を小さく設定すればよい。それらのサイズの変化の仕方が類似していないということは、計測領域ｒｕ（ｋ）、ｒｖ（ｋ）の各々が異なる動き方をしているということである。従って、それらのサイズの変化の仕方が類似していない場合には、動き成分の位相のずれ度合いが大きくなり、脈波成分と動き成分との弁別が付き易くなる。

なお、それらのサイズの変化の仕方が類似しているか否かは、類似度を用いて判断すればよい。類似度は、計測領域ｒｕ（ｋ）、ｒｖ（ｋ）の各々のサイズ変化の時系列データを使って判断される。例えば、重み係数算出部３４３は、あるフレームのサイズを「１」としたときに、後続のフレームにおける計測領域のサイズがどのように遷移しているかを特定する。例えば、重み係数算出部３４３は、１フレーム目から５フレーム目に掛けて「１」、「０．９」、「０．８」、「０．８」及び「０．９」と遷移したという時系列データを特定する。

そして、重み係数算出部３４３は、これらの時系列データを各計測領域ｒｉ（ｋ）で特定し、計測領域ｒｕ（ｋ）、ｒｖ（ｋ）のペアで、これらの時系列データの相関値を計算する。相関値は、変化が類似していれば「１」、類似していなければ「−１」となるように、「−１」から「１」の値を取る。重み係数ｄｕｖ（ｔ）は、相関値が小さいほど大きく、相関値が大きいほど小さく設定するのがよいため、重み係数算出部３４３は、例えば、下記の（４）式で、重み係数ｄｕｖ（ｔ）を算出する。
重み係数ｄｕｖ（ｔ）＝１−（二つの計測領域ｒｕ（ｋ）、ｒｖ（ｋ）の相関値）
（４）

また、重み係数算出部３４３は、変動情報Ｍ（ｔ）に含まれている計測領域ｒｕ（ｋ）、ｒｖ（ｋ）の形状の変化の仕方が類似していれば、重み係数ｄｕｖ（ｔ）を大きくなるように設定し、それらの形状の変化の仕方が類似していなければ、重み係数ｄｕｖ（ｔ）を小さくなるように設定すればよい。形状の変化の仕方が類似しているか否かは、類似度により判断され、類似度は、計測領域ｒｕ（ｋ）、ｒｖ（ｋ）の形状の変化を示す４次元ベクトルの変化の時系列データを使って判断される。

例えば、重み係数算出部３４３は、計測領域ｒｕ（ｋ）、ｒｖ（ｋ）の各々の形状の変化を示す４次元ベクトルの各々の要素から、相関値を算出する。ここでは、４つの相関値が算出されるため、重み係数算出部３４３は、算出された４つの相関値を平均値を用いて、下記の（５）式により、重み係数ｄｕｖ（ｔ）を算出する。
重み係数ｄｕｖ（ｔ）＝１−（二つの計測領域ｒｕ（ｋ）、ｒｖ（ｋ）の平均相関値）
（５）

なお、重み係数算出部３４３は、例えば、「サイズの変化に基づき算出した重み係数」と「形状変化に基づき算出した重み係数」の平均値を、計測領域ｒｕ（ｋ）、ｒｖ（ｋ）のペアに対する最終的な重み係数ｄｕｖ（ｔ）としてもよい。

実施の形態４．
図１に示されているように、実施の形態４に係る脈波推定装置４００は、肌領域検出部１１０と、計測領域設定部１２０と、脈波元信号抽出部１３０と、位相一致度算出部４４０と、脈波推定部１５０とを備える。
実施の形態４に係る脈波推定装置４００の、肌領域検出部１１０、計測領域設定部１２０、脈波元信号抽出部１３０、及び、脈波推定部１５０は、実施の形態１に係る脈波推定装置１００の、肌領域検出部１１０、計測領域設定部１２０、脈波元信号抽出部１３０、及び、脈波推定部１５０と同様である。
なお、脈波推定装置４００は、実施の形態４に係る情報処理方法である脈波推定方法を実行することができる装置である。

実施の形態４における位相一致度算出部４４０は、脈波元信号情報Ｗ（ｔ）で示される複数の脈波元信号から二つの脈波元信号のペアを複数ペア選択する。そして、位相一致度算出部４４０は、実施の形態１と同様に、選択された複数のペアの各々から、対応する基底成分同士において位相が一致している程度を示す複数の一致度を算出する。そして、位相一致度算出部４４０は、複数のペアの各々に重み係数を設定し、複数のペアの各々で算出された複数の一致度を、その重み係数を用いて重み付けをして、対応する基底成分毎に合算した値を、複数の位相一致度として特定する。

ここで、位相一致度算出部４４０は、複数のペアの各々から算出された複数の一致度の中で、位相の一致の程度の高い計測領域に対応する一致度の重みが大きくなるように重み係数を設定することができる。また、脈波元信号ｗｉ（ｔ）の振幅の大きさに応じて、計測領域ｒｉに対応する一致度の重み係数を設定することができる。

図１０に示されているように、実施の形態４における位相一致度算出部４４０は、二領域間位相一致度算出部１４１と、位相一致度合算部２４２と、重み係数算出部４４３とを備える。
実施の形態４における位相一致度算出部４４０の二領域間位相一致度算出部１４１は、実施の形態１における位相一致度算出部１４０の二領域間位相一致度算出部１４１と同様である。但し、実施の形態４における二領域間位相一致度算出部１４１は、二領域間位相一致度情報Ｎ（ｔ）を、位相一致度合算部２４２と、重み係数算出部４４３とに与える。

重み係数算出部４４３は、二領域間位相一致度情報Ｎ（ｔ）を受け取り、二領域間位相一致度情報Ｎ（ｔ）で示される各二領域間位相一致度ｃｕｖ（ｔ）に対する重み係数ｄｕｖ（ｔ）を算出し、算出された重み係数ｄｕｖ（ｔ）を示す重み情報Ｄ（ｔ）を生成する。重み情報Ｄ（ｔ）は、位相一致度合算部２４２に与えられる。

重み情報Ｄ（ｔ）は、二領域間位相一致度情報Ｎ（ｔ）に含まれる各二領域間位相一致度ｃｕｖ（ｔ）に対する重み係数ｄｕｖ（ｔ）を含むことができる。重み係数ｄｕｖ（ｔ）は、例えば、「０」から「１」の間の値をとる。例えば、重み係数ｄｕｖ（ｔ）が「０」のときは、該当する二領域間位相一致度ｃｕｖ（ｔ）に対する重みは小さく、重み係数ｄｕｖ（ｔ）が「１」のときは、該当する二領域間位相一致度ｃｕｖ（ｔ）に対する重みは大きい。重み係数ｄｕｖ（ｔ）が「０．５」のときは、「０」と「１」との中間程度の重みである。

重み係数ｄｕｖ（ｔ）は、例えば、計測領域ｒｕに関連する二領域間位相一致度ｃｕｉ（ｔ）の代表値ｅｕ（ｔ）と、計測領域ｒｖに関連する二領域間位相一致度ｃｖｉ（ｔ）の代表値ｅｖ（ｔ）に基づいて決定される（ｉ＝１、２、・・・、Ｒｎ）。計測領域ｒｕに関連する二領域間位相一致度の代表値ｅｕ（ｔ）は、例えば、計測領域ｒｕに関連する二領域間位相一致度ｃｕｉ（ｔ）の平均値とする。具体的には、二領域間位相一致度ｃｕ１（ｔ）、ｃｕ２（ｔ）、・・・、ｃｕＲｎ（ｔ）について、周波数成分毎の位相の一致度の平均値を算出したものを計測領域ｒｕに関連する二領域間位相一致度の代表値ｅｕ（ｔ）とする。計測領域ｒｕの脈波元信号ｗｕ（ｔ）に含まれる脈波信号の成分が強い時には、計測領域ｒｕに関連する二領域間位相一致度ｃｕｉは、いずれの周波数成分においても、位相の一致度は大きくなる。一方で、計測領域ｒｕの脈波元信号ｗｕ（ｔ）に含まれる脈波信号の成分が弱い時には、計測領域ｒｕに関連する二領域間位相一致度ｃｕｉは、いずれの周波数成分においても、位相の一致度は小さくなる。すなわち、計測領域ｒｕに関連する代表値ｅｕ（ｔ）が大きい場合は、計測領域ｒｕに対応する重み係数ｄｕｉを大きく設定し、代表値ｅｕ（ｔ）が小さい場合は、計測領域ｒｕに対応する重み係数ｄｕｉを小さく設定することで、脈波信号の成分の強い、言い換えれば、他の計測領域と位相の一致する成分を持つ計測領域に重きをおくことができる。

重み係数ｄｕｖ（ｔ）は、計測領域ｒｕに関連する二領域間位相一致度の代表値ｅｕ（ｔ）と、計測領域ｒｕに関連する二領域間位相一致度の代表値ｅｖ（ｔ）とから算出する。

重み係数ｄｕｖ（ｔ）を算出するにあたっては、まず、計測領域ｒｕに対する重み係数ｄｕ（ｔ）と計測領域ｒｖに対する重み係数ｄｖ（ｔ）を算出する。重み係数ｄｕ（ｔ）とｄｖ（ｔ）の算出方法は同様のため、ここでは、ｄｕ（ｔ）の算出方法を説明する。

二領域間位相一致度の代表値ｅｕ（ｔ）が取り得る最大値をｅ_ｍａｘ、最小値をｅ_ｍｉｎとする。重み係数ｄｕ（ｔ）は下記の（６）式で算出される。最大値をｅ_ｍａｘ及び最小値をｅ_ｍｉｎは、予め定められているものとする。

ｄｕ（ｔ）＝１．０−（ｅｕ（ｔ）−ｅ_ｍｉｎ）／（ｅ_ｍａｘ−ｅ_ｍｉｎ）
（６）

同様にｄｖ（ｔ）を算出したのち、重み係数ｄｕｖ（ｔ）はｄｕ（ｔ）とｄｖ（ｔ）との最小値として算出する。すなわち、ｄｕｖ（ｔ）＝ｍｉｎ（ｄｕ（ｔ），ｄｖ（ｔ））とする。

上述の式で重み係数ｄｕｖ（ｔ）を計算することで、脈波信号の成分の強い、言い換えれば、他の計測領域と位相の一致する成分を持つ計測領域に関連する重み係数を大きく設定することができる。

以上のように、実施の形態４に係る脈波推定装置４００によれば、位相一致度算出部４４０が、複数のペアの各々から算出された複数の一致度を用いて、そのペアに含まれている二つの計測領域の代表値を算出し、その代表値が高いほど、重みが重くなるように重み係数を設定することができる。なお、複数のペアの各々から算出された複数の一致度に対する各計測領域の代表値とは、例えば、計測領域ｒｕに関連する二領域間位相一致度ｃｕｉ（ｔ）の代表値ｅｕ（ｔ）であり、計測領域ｒｖに関連する二領域間位相一致度ｃｖｉ（ｔ）の代表値ｅｖ（ｔ）である。このため、実施の形態４は、より高精度に脈拍を推定することができる。

重み係数算出部４４３は、各二領域間位相一致度ｃｕｖ（ｔ）に対して算出した重み係数ｄｕｖ（ｔ）をまとめて、それらを示す重み情報Ｄ（ｔ）を生成する。重み情報Ｄ（ｔ）は、位相一致度合算部２４２に与えられる。

位相一致度合算部２４２は、二領域間位相一致度情報Ｎ（ｔ）と、重み情報Ｄ（ｔ）とを受け取り、計測領域間における基底成分毎の位相一致度情報Ｃ（ｔ）を生成し、生成された位相一致度情報Ｃ（ｔ）を脈波推定部１５０に与える。

位相一致度合算部２４２は、二領域間位相一致度情報Ｎ（ｔ）で示される二領域間位相一致度ｃｕｖ（ｔ）に、対応する重み情報Ｄ（ｔ）を乗算して、基底成分毎に加算することで、計測領域ｒｉ（ｋ）間における基底成分毎の位相の一致度を示す位相一致度情報Ｃ（ｔ）を生成する。位相一致度情報Ｃ（ｔ）は、脈波推定部１５０に与えられる。

脈波推定部１５０は、脈波元信号情報Ｗ（ｔ）と、位相一致度情報Ｃ（ｔ）とに基づいて、脈波を推定し、推定された脈波を示す脈波情報である脈波推定結果Ｐ（ｔ）を出力する。例えば、脈波推定結果Ｐ（t）として、脈拍数を出力する場合は、脈波推定部１５０は、周波数成分毎の位相一致度情報Ｃ（ｔ）のうち、最も位相の一致度が高い基底成分である周波数成分を特定し、特定された周波数成分に基づいて、脈波を推定する。具体的には、脈波推定部１５０は、最も位相の一致度が高い周波数成分が脈波に相当するものとし、脈波に相当する周波数成分の周波数を脈拍数として出力する。

なお、実施の形態４においては、計測領域ｒｕに関連する二領域間位相一致度の代表値ｅｕ（ｔ）を計測領域ｒｕに関連する二領域間位相一致度ｃｕｉ（ｔ）の平均値としたがこれに限ることではない。例えば、中央値や最小値を用いても良いし、周波数成分毎に位相の一致度が閾値を上回った回数としても良い。

なお、実施の形態４においては、二領域間位相一致度のみに基づいて、各計測領域に対する重みの程度を決定したが、これに限ることではない。例えば、非特許文献１に記載されているように、脈波元信号ｗｉ（ｔ）の最大値と最小値との差、又は、パワースペクトルにおけるＳＮＲ（Ｓｉｇｎａｌ−Ｎｏｉｓｅ−Ｒａｔｉｏ）に基づいて各計測領域に対する重み係数を算出しても良いし、これらを組み合わせても良い。組み合わせる方法としては、例えば、計測領域ｒｕに対して、パワースペクトルにおけるＳＮＲによって算出した重み係数と、二領域間位相一致度に基づいて算出した重み係数との平均値を、計測領域に対する重み係数ｄｕ（ｔ）とする。

なお、実施の形態４においては、最も位相の一致度が高い周波数成分が脈波に相当するものとし、脈波に相当する周波数成分の周波数を脈拍数として出力したが、位相が一致していても、信号の振幅が想定よりも大きい場合又は小さい場合には、対応する周波数成分を除いた上で、最も位相の一致度が高い周波数成分を脈拍数として出力しても良い。
脈波に相当する周波数成分の振幅は、フレームＩｍ（ｔ）における肌領域の明るさ（輝度値）、又は、被験者の肌のトーン、厚さ若しくは血流量に応じて変化する。その中でも、フレームＩｍ（ｔ）における肌領域の明るさの影響が大きく、肌領域の明るさに基づいて、脈波に相当する周波数成分の振幅を推測することができる。例えば、全計測領域の平均輝度値Ｉ_ａｖｅ（ｔ）に基づいて決定される周波数成分の振幅に対する閾値θＨ（Ｉ_ａｖｅ（ｔ））とθＬ（Ｉ_ａｖｅ（ｔ））とを用いて、振幅が閾値θＨ以上かつ閾値θＬ以下の周波数成分のみを対象に、最も位相の一致度が高い周波数成分を特定する。
このように、振幅が所定の範囲内の周波数成分から脈拍数を推定することで、より高精度に脈拍数を推定することができる。

１００，２００，３００，４００ 脈波推定装置、 １１０ 肌領域検出部、 １２０ 計測領域設定部、 １３０ 脈波元信号抽出部、 １４０，２４０，３４０，４４０ 位相一致度算出部、 １４１ 二領域間位相一致度算出部、 １４２，２４２ 位相一致度合算部、 ２４３，３４３，４４３ 重み係数算出部、 １５０ 脈波推定部、 １６０ 撮像装置、 １６１ 光源、 ３７０ 変動情報取得部。

Claims (11)

1. 予め定められた期間における映像を示す複数のフレームの各々から、人の肌を含む領域である肌領域を検出する肌領域検出部と、
   前記肌領域に複数の計測領域を設定する計測領域設定部と、
   前記複数の計測領域の各々から、前記予め定められた期間における輝度の変化を示す脈波元信号を抽出することで、前記複数の計測領域の各々に各々が対応する複数の前記脈波元信号を抽出する脈波元信号抽出部と、
   前記複数の脈波元信号の各々を構成する複数の基底成分の各々の位相が、対応する基底成分同士において一致している程度を示す位相一致度を算出することで、前記複数の脈波元信号の各々に各々が対応する複数の前記位相一致度を算出する位相一致度算出部と、
   前記複数の位相一致度の内、前記位相が一致している程度が最も高い位相一致度を特定し、前記特定された位相一致度に対応する基底成分に基づいて、前記人の脈波を推定する脈波推定部と、を備え、
   前記位相一致度算出部は、前記複数の脈波元信号から第１の脈波元信号及び第２の脈波元信号として用いる複数のペアを選択し、前記複数のペアの各々において、前記第１の脈波元信号を構成する前記複数の基底成分の各々と、前記第２の脈波元信号を構成する前記複数の基底成分の各々との間で、対応する基底成分同士において前記位相が一致している程度を示す二領域間位相一致度を算出することで、前記複数の基底成分の各々に各々が対応する複数の前記二領域間位相一致度を算出し、前記複数のペアにおいて算出された前記複数の二領域間位相一致度、前記複数の脈波元信号における前記基底成分の大きさ、前記計測領域の配置、前記計測領域のサイズ、及び、前記計測領域の形状の少なくとも一つに基づいて、重み係数を設定し、前記複数のペアにおいて算出された前記複数の二領域間位相一致度を、前記重み係数を用いて重み付けをして、対応する基底成分毎に合算することで、前記複数の位相一致度を算出すること
   を特徴とする情報処理装置。
2. 前記位相一致度算出部は、前記複数のペアの各々から算出された前記複数の二領域間位相一致度に、前記第１の脈波元信号を構成する前記複数の基底成分の各々と、前記第２の脈波元信号を構成する前記複数の基底成分の各々との間で、対応する基底成分同士において前記位相が一致している程度の高いものが含まれているほど、重みが重くなるように前記重み係数を設定すること
   を特徴とする請求項１に記載の情報処理装置。
3. 前記位相一致度算出部は、前記複数のペアの各々に対応する二つの前記計測領域の距離が長いほど、重みが重くなるように前記重み係数を設定すること
   を特徴とする請求項１に記載の情報処理装置。
4. 前記位相一致度算出部は、前記複数のペアの各々に対応する二つの前記計測領域が配置されている方向が、前記人が動く方向に近いほど、重みが重くなるように前記重み係数を設定すること
   を特徴とする請求項１に記載の情報処理装置。
5. 前記位相一致度算出部は、前記複数のペアの各々に対応する二つの前記計測領域のサイズの変化の仕方が近いほど、重みが重くなるように前記重み係数を設定すること
   を特徴とする請求項１に記載の情報処理装置。
6. 前記位相一致度算出部は、前記複数のペアの各々に対応する二つの前記計測領域の形状の変化の仕方が近いほど、重みが重くなるように前記重み係数を設定すること
   を特徴とする請求項１に記載の情報処理装置。
7. 前記位相一致度算出部は、前記複数のペアの各々から算出された前記複数の二領域間位相一致度を用いて、前記複数のペアの各々に対応する二つの前記計測領域の各々の代表値を算出し、前記代表値が高いほど、重みが重くなるように前記重み係数を設定すること
   を特徴とする請求項１に記載の情報処理装置。
8. 前記基底成分は、前記脈波元信号の周波数成分であること
   を特徴とする請求項１から７の何れか一項に記載の情報処理装置。
9. 前記基底成分は、前記脈波元信号の周波数成分であり、
   前記二領域間位相一致度は、前記第１の脈波元信号を構成する前記周波数成分と、前記第２の脈波元信号を構成する対応する前記周波数成分との位相差の絶対値であること
   を特徴とする請求項１から７の何れか一項に記載の情報処理装置。
10. コンピュータを、
    予め定められた期間における映像を示す複数のフレームの各々から、人の肌を含む領域である肌領域を検出する肌領域検出部、
    前記肌領域に複数の計測領域を設定する計測領域設定部、
    前記複数の計測領域の各々から、前記予め定められた期間における輝度の変化を示す脈波元信号を抽出することで、前記複数の計測領域の各々に各々が対応する複数の前記脈波元信号を抽出する脈波元信号抽出部、
    前記複数の脈波元信号の各々を構成する複数の基底成分の各々の位相が、対応する基底成分同士において一致している程度を示す位相一致度を算出することで、前記複数の脈波元信号の各々に各々が対応する複数の前記位相一致度を算出する位相一致度算出部、及び、
    前記複数の位相一致度の内、前記位相が一致している程度が最も高い位相一致度を特定し、前記特定された位相一致度に対応する基底成分に基づいて、前記人の脈波を推定する脈波推定部、として機能させ、
    前記位相一致度算出部は、前記複数の脈波元信号から第１の脈波元信号及び第２の脈波元信号として用いる複数のペアを選択し、前記複数のペアの各々において、前記第１の脈波元信号を構成する前記複数の基底成分の各々と、前記第２の脈波元信号を構成する前記複数の基底成分の各々との間で、対応する基底成分同士において前記位相が一致している程度を示す二領域間位相一致度を算出することで、前記複数の基底成分の各々に各々が対応する複数の前記二領域間位相一致度を算出し、前記複数のペアにおいて算出された前記複数の二領域間位相一致度、前記複数の脈波元信号における前記基底成分の大きさ、前記計測領域の配置、前記計測領域のサイズ、及び、前記計測領域の形状の少なくとも一つに基づいて、重み係数を設定し、前記複数のペアにおいて算出された前記複数の二領域間位相一致度を、前記重み係数を用いて重み付けをして、対応する基底成分毎に合算することで、前記複数の位相一致度を算出すること
    を特徴とするプログラム。
11. 肌領域検出部が、予め定められた期間における映像を示す複数のフレームの各々から、人の肌を含む領域である肌領域を検出し、
    計測領域設定部が、前記肌領域に複数の計測領域を設定し、
    脈波元信号抽出部が、前記複数の計測領域の各々から、前記予め定められた期間における輝度の変化を示す脈波元信号を抽出することで、前記複数の計測領域の各々に各々が対応する複数の前記脈波元信号を抽出し、
    位相一致度算出部が、前記複数の脈波元信号の各々を構成する複数の基底成分の各々の位相が、対応する基底成分同士において一致している程度を示す位相一致度を算出することで、前記複数の脈波元信号の各々に各々が対応する複数の前記位相一致度を算出し、
    脈波推定部が、前記複数の位相一致度の内、前記位相が一致している程度が最も高い位相一致度を特定し、前記特定された位相一致度に対応する基底成分に基づいて、前記人の脈波を推定し、
    前記位相一致度算出部は、前記複数の脈波元信号から第１の脈波元信号及び第２の脈波元信号として用いる複数のペアを選択し、前記複数のペアの各々において、前記第１の脈波元信号を構成する前記複数の基底成分の各々と、前記第２の脈波元信号を構成する前記複数の基底成分の各々との間で、対応する基底成分同士において前記位相が一致している程度を示す二領域間位相一致度を算出することで、前記複数の基底成分の各々に各々が対応する複数の前記二領域間位相一致度を算出し、前記複数のペアにおいて算出された前記複数の二領域間位相一致度、前記複数の脈波元信号における前記基底成分の大きさ、前記計測領域の配置、前記計測領域のサイズ、及び、前記計測領域の形状の少なくとも一つに基づいて、重み係数を設定し、前記複数のペアにおいて算出された前記複数の二領域間位相一致度を、前記重み係数を用いて重み付けをして、対応する基底成分毎に合算することで、前記複数の位相一致度を算出すること
    を特徴とする情報処理方法。

Images