JPWO2018179150A1

JPWO2018179150A1 - 心拍推定装置

Info

Publication number: JPWO2018179150A1
Application number: JP2019508436A
Authority: JP
Inventors: 旭美梅松; 剛範辻川
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2017-03-29
Filing date: 2017-03-29
Publication date: 2019-11-07
Anticipated expiration: 2037-03-29
Also published as: JP6717424B2; WO2018179150A1

Abstract

本発明の心拍推定装置（１０００）は、撮像装置（Ｃ１）により被験者が連続的に撮影された画像（１１０）から前記被験者の顔領域を含む関心領域を検出する関心領域検出部（１０１）と、前記関心領域内の各光波長成分の輝度値を算出する輝度値算出部（１０２）と、独立成分分析の分離行列において、緑色の前記光波長成分の輝度値にかかる係数の重みを大きくした心拍成分を強調する係数を用いて、前記輝度値に対して独立成分分析を適用し、心拍成分を抽出する心拍成分強調部（１０３）と、前記心拍成分から心拍数を算出する心拍算出部（１０４）とを備える。

Description

本発明は心拍推定装置に関する。本発明は、特に、顔映像から心拍数を精度良く推定する装置に関する。

心拍の検出には心電計やウェアラブルセンサ等の生体に装着する計測機器が用いられることが多い。こうした計測機器を装着して生活するのは煩わしいという問題がある。そこで、生体に計測機器が接触していない状態でも心拍の検出を可能にするために、カメラで撮影した顔映像などから非接触で心拍を検出する方式が提案されている。

例えば、血液中に含まれるヘモグロビンが緑色の光を吸収する特性に着目し、顔をカメラで撮影し、血流から生じる顔表面の輝度変化を捉えることで心拍を推定する方法が知られている。顔表面の輝度変化には心拍成分が含まれているため、顔領域の平均輝度値を算出し、その時間応答波形をＦＦＴ（Fast Fourier Transform、高速フーリエ変換）処理する。その結果得られたスペクトルの最大値を、心拍数として推定する。

この種の方法の一例が非特許文献１に記載されている。非特許文献１によれば、顔領域内の赤成分（Ｒ）、緑成分（Ｇ）、青成分（Ｂ）の各平均値を算出して独立成分分析(Independent component analysis、ICA)で処理した後に、１つの成分波形（第２成分波形）の周波数分析で得たピーク周波数から心拍数を推定する。

しかし、独立成分分析には、分離された独立信号の出現する順番を特定できない性質がある。すなわち、心拍信号を最も多く含むと推定される独立信号が、独立成分分析により、分離された複数の出力成分（第一出力成分〜第三出力成分）のいずれであるかを特定することができない。つまり、ＩＣＡ後の出力成分には成分間の順序不定性が存在する。

非特許文献1では、第二出力成分を心拍成分として決定しているが、実際には、第一から第三出力成分までのいずれかに心拍成分が含まれており、それはＩＣＡを施すたびに異なる出力成分に心拍成分が出力されている。心拍成分を含む出力成分を特定できないと、時間方向で追随すべき出力成分も特定できず、心拍推定精度の向上には限界がある。

非特許文献1では、第二出力成分を心拍成分として決定しているが、実際には、第一から第三出力成分までのいずれかに心拍成分が含まれている。心拍成分を含む出力成分はＩＣＡを施すたびに異なる。心拍成分を含む出力成分を特定できないと、時間方向で追随すべき出力成分も特定できず、心拍推定精度の向上には限界がある。

特許文献1では、非特許文献1の原理を用いてＩＣＡを適用することにより、心拍数を推定する。特許文献1では、ＩＣＡ後の独立信号である出力信号に対して、スペクトル分布の波形類似度に基づいて、類似度が高い独立信号のスペクトル分布をペアリングして、区分化する。区分化されたスペクトル分布それぞれのピーク周波数を追跡し、一定時間経過後に周波数値軸上で出現位置が収束したピーク周波数の周波数値をもとに心拍数を推定する。このようにすることで、時間軸方向の連続性は担保される。なお、ここで言う「心拍」とは、血液の体積の変動、すなわち血流の増減を表す指標を指し、いわゆる心拍数や心拍波形などが含まれる。

特許05672144号公報

"Non-contact, automated cardiac pulse measurements using video imaging and blind source separation", OPTICS EXPRESS Vol.18, No.10, 2010 (MIT)

特許文献1の方式では、出力成分の時間方向でのペアリングが出来ても、そもそもどの出力成分に心拍成分が多く含まれるかを特定することができない。そのため、ペアリングされた出力成分が心拍成分を最も多く含む出力成分であるのか判断ができない。

このように、特許文献1によれば、ＩＣＡ後の出力成分を時間方向でペアリングできたとしても、そもそもどの出力成分に心拍成分が表れるかを特定できないので、心拍推定精度が低い。なお、ＩＣＡには独立成分分析だけでなく、独立ベクトル分析を含むものとする。

本発明はこのような状況に鑑みてなされたものであり、本発明が解決しようとする課題は、心拍成分が表れる出力成分を特定可能であって、出力成分方向の時間方向連続性を担保可能な心拍推定装置、方法、プログラムを提供することである。

上述の課題を解決するため、本発明は、その一態様として、時間的に連続した複数の画像のそれぞれから被験者の顔領域を含む関心領域を検出する関心領域検出部と、前記関心領域内の画像に含まれる輝度値を、予め定められた光波長成分の夫々について算出する輝度値算出部と、前記予め定められた光波長成分のそれぞれにかかる係数の一組を行とする分離行列を用いて前記輝度値に対して独立成分分析を行うことにより、心拍成分を強調する心拍成分強調部と、前記心拍成分強調部によって強調した心拍成分に基づいて、心拍数を算出する心拍算出部とを備え、前記分離行列は、緑色の前記光波長成分の輝度値にかかる係数の絶対値が、他の色の前記光波長成分の輝度値にかかる係数の絶対値よりも大きい係数からなる、心拍成分強調係数からなる行を含む心拍推定装置を提供する。

また、本発明は、他の一態様として、時間的に連続した複数の画像のそれぞれから被験者の顔領域を含む関心領域を検出する関心領域検出段階と、前記関心領域内の画像に含まれる輝度値を、予め定められた光波長成分の夫々について算出する輝度値算出段階と、前記予め定められた光波長成分のそれぞれにかかる係数の一組を行とする分離行列を用いて前記輝度値に対して独立成分分析を行うことにより、心拍成分を強調する心拍成分強調段階と、前記心拍成分強調段階によって強調した心拍成分に基づいて、心拍数を算出する心拍算出段階とを含み、前記分離行列は、緑色の前記光波長成分の輝度値にかかる係数の絶対値が、他の色の前記光波長成分の輝度値にかかる係数の絶対値よりも大きい係数からなる、心拍成分強調係数からなる行を含む心拍推定方法を提供する。

また、本発明は、他の一態様として、時間的に連続した複数の画像のそれぞれから被験者の顔領域を含む関心領域を検出する関心領域検出手段と、前記関心領域内の画像に含まれる輝度値を、予め定められた光波長成分の夫々について算出する輝度値算出手段と、前記予め定められた光波長成分のそれぞれにかかる係数の一組を行とする分離行列を用いて前記輝度値に対して独立成分分析を行うことにより、心拍成分を強調する心拍成分強調手段と、前記心拍成分強調手段によって強調した心拍成分に基づいて、心拍数を算出する心拍算出手段とをコンピュータに実行させるプログラムであって、前記分離行列は、緑色の前記光波長成分の輝度値にかかる係数の絶対値が、他の色の前記光波長成分の輝度値にかかる係数の絶対値よりも大きい係数からなる、心拍成分強調係数からなる行を含むプログラムを提供する。

本発明によれば、心拍推定に有利な固定係数をＩＣＡの混合行列の初期値として用いることにより、心拍成分が表れる出力成分を特定することができる。

また、本発明によれば、出力成分方向の時間方向連続性も担保できる。これにより、勤務中や運転中など日常生活中の被験者の動きや表情変化などを含む顔映像から、心拍を精度良く推定することができる。

本発明の第１実施形態である心拍推定装置１０００の構成を示すブロック図である。心拍推定装置１０００の関心領域検出部１０１の構成を示すブロック図である。心拍推定装置１０００の動作について説明するためのフローチャートである。本発明の第２実施形態である心拍推定装置２０００の構成を示すブロック図である。本発明の第３実施形態である心拍推定装置３０００の構成を示すブロック図である。本発明の第４実施形態である状態検出装置１００００の構成を示すブロック図である。

次に、本発明の実施の形態について図面を参照して詳細に説明する。

［第１実施形態］
本発明の第１実施形態としての心拍推定装置１０００について図１を用いて説明する。心拍推定装置１０００は、勤務中や運転中など日常生活中の被験者が映る顔映像から心拍を精度良く推定する装置である。図１に示すように心拍推定装置１０００は、関心領域検出部１０１と輝度値算出部１０２と心拍成分強調部１０３と心拍算出部１０４を含む。
＜撮像装置Ｃ１＞
第1のカメラである撮像装置Ｃ１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を搭載する撮像装置である。例えば、撮像装置Ｃ１には、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）などの複数の受光素子を搭載することができる。

撮像装置Ｃ１は、時間的に連続した一連の画像を撮影し、出力する。出力する画像は静止画像であっても動画であってもよい。即ち、連続的に静止画像を撮影することにより、一連の複数の静止画像データを生成し、出力することとしてもよい。或いは、動画として撮影し、出力することとしてもよい。

撮像装置Ｃ１の実装例としては、デジタルカメラやＷｅｂカメラを、外部端子を介して心拍推定装置１０００に接続することとしてもよい。なお、画像データ１１０を入力するデバイスはカメラ以外でもよく、また、画像データ１１０は、ビデオ、ＤＶＤなどのメディアやハードディスク上に格納されている動画ファイルから切り出した画像データであってもよい。

また、他の実装例としては、カメラを製造時に搭載した装置を心拍推定装置１０００として用いる場合には、そのカメラ或いはアウトカメラを撮像装置Ｃ１として用いることとしてもよい。このような装置の例としては所謂インカメラ、アウトカメラ等のカメラを備えるスマートホンがある。

画像データ１１０は、例えば、横６４０画素×縦４８０画素の矩形で与えられる。１つの画素は、明るさの階調値（輝度）で与えられる。例えば、整数ｉ、ｊで示される座標（ｉ，ｊ）の画素の輝度（Ｉ）の階調値は、８ｂｉｔのディジタル値Ｉ（ｉ，ｊ）などで与えられる。画像データ１１０がカラー画像である場合には、例えば、１つの画素は、Ｒ、Ｇ、Ｂの階調値で与えられる。このとき、整数ｉ、ｊで示される座標（ｉ，ｊ）の画素のＲ、Ｇ、Ｂの階調値は、例えばそれぞれ、ディジタル値Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ）で与えられる。

１つの画素を表す色のうち、分離に用いる色の数が後述する分離行列Ｗの列の数に対応する。本実施形態では、色の数がＲＧＢの３色であり、分離に用いるのも同じくＲＧＢの３色のため、１つの画素を表す色の数と分離行列Ｗの列の数とが一致している。しかし、本発明では、１つの画素を表す色の数と、分離に用いる色の数は必ずしも一致しなくともよい。例えば、ＲＧＢの３色に加えて、シアン、マゼンタの合計５色で１つの画素を表し、これら５色のうち、ＲＧＢの３色のみを分離に用いることとしてもよい。この場合、１つの画素を表す色の数は５であり、分離行列Ｗの列の数は３である。

なお、画像データ１１０の階調値は、ＲＧＢの組み合わせ、またはＲＧＢ値を変換して求まる他の表色系（ＨＳＶ表色系、ＹＵＶ表色系など）を使用してもよい。以下、画像データ１１０がカラー画像であり、１つの画素がR、G、Bの階調値で与えられることを仮定する。
＜関心領域検出部１０１＞
関心領域検出部１０１では、撮像装置Ｃ１から得られた映像信号である画像データ１１０を入力とする。図２のように、関心領域検出部１０１は顔検出部１０１−１と顔特徴点検出部１０１−２から構成される。

顔検出部１０１−１では、画像データ１１０に含まれている人の顔の位置や大きさを検出して、顔を含む顔領域を抽出する。顔検出には、対象となる顔の位置と大きさを検出する既存の顔検出技術を用いる。次に、顔特徴点検出部１０１−２で顔特徴点検出を行う。顔検出によって検出された顔領域から特徴点を検出する。例えば、顔特徴点として、目、鼻、口、及び顔の輪郭等を検出する。なお、顔特徴点検出には検出された顔領域から特徴点を検出する任意のアルゴリズムを用いることができる。例えば、Ｈａａｒ特徴とＡｄａＢｏｏｓｔを利用した特徴点検出アルゴリズムを用いることができる。このようにして任意の特徴点検出アルゴリズムを用いて、顔領域画像からp個（pは１以上の整数）の特徴点の座標（ｕp，ｖp）を検出する。

次に、関心領域（ROI：Region of interest）の決定を行う。得られた顔特徴点から、顔特徴点を囲む領域を関心領域として決定する。その際に全ての顔特徴点を用いても良いし、一部の顔特徴点を用いてもよい。関心領域検出部１０１は決定した関心領域の画像データを出力する。
＜輝度値算出部１０２＞
輝度値算出部１０２は関心領域検出部１０１から得られた顔部分領域である関心領域の画像データを入力とする。輝度値算出部１０２では、関心領域に対して、その領域の各画素におけるＲ、Ｇ、Ｂの輝度の階調値を求める。輝度の階調値から、関心領域のＲ、Ｇ、Ｂの各色成分について関心領域内の輝度の平均値を算出する。例えば、30fps（30フレーム/秒）で画像を取得していた場合には、1フレームごとの領域内平均値を算出する。ここで、フレームtにおける座標（i, j）におけるR、G、Bの輝度の階調値をRt（i, j）、Gt（i, j）、Bt（i, j）とする。関心領域の大きさがi=i_s〜i_e、j=j_s〜j_eの範囲内の座標であると仮定する。i_s、i_e、j_s、j_eはそれぞれ、画像データの画素のx座標の開始位置、x座標の終了位置、y座標の開始位置、y座標の終了位置を示す。その場合、関心領域内のG信号の輝度の平均値Gt_aveは下記の式(1)で算出する。

RとBに対しても同様に平均値Rt_ave、Bt_aveを計算できる。上記の例は、関心領域が矩形の場合を示しているが、これに限らない。輝度値算出部１０２は関心領域内のR、G、Bの輝度の平均値Rt_ave、Gt_ave、Bt_aveを輝度値として出力する。
＜心拍成分強調部１０３＞
心拍成分強調部１０３は輝度値算出部１０２から得られた関心領域内のR、G、Bの輝度の平均値Rt_ave、Gt_ave、Bt_aveを入力とする。心拍信号強調には、独立成分分析を用いる。独立成分分析は、多変量解析の一手法であって、情報源となる信号が独立であると仮定し、複数の観測値の信号から、信号源を独立な成分に分離して抽出する計算手段である。

独立成分分析のなかで、例えばブラインド信号分離法では、次のように定式化される。時刻tにおけるn個の信号源をs(t)とし、これらを未知とすると、次の式(2)で表される。

ここで

は転置行列を表す。また、観測値x(t)がm×nの未知の混合行列Aを用いて、信号源s(t)から生成されるものとする。即ち、次の式(3)、(4)

とする。時刻t=1,2,…において、観測値の系列x(1),x(2),…が観測された場合に、信号源の系列s(1),s(2),…を推定する。すなわち独立成分分析では、信号源の独立性を仮定し、分離行列の推定値Wを用いて、分離信号を求める。推定分離信号

は以下の式(5)、(6)で与えられる。

分離行列Wを正しく推定できれば、WAは単位行列となり、信号源sと一致する。

以下、nを3として説明する。関心領域内のR、G、Bの輝度の平均値Rt_ave、Gt_ave、Bt_aveに対して、ある一定時間1〜Tまで、例えばT=900（30fps(frames per second)の場合には30秒間）のR、G、Bの輝度の平均値のデータを取得する。Gの輝度の平均値のデータをGaveとすると、取得したデータは式(7)のようにかける。

同様にR、Bに関しても、Rave、Baveを取得する。次に、その3つのR、G、Bの輝度の平均値のデータRave、Gave、Baveに対して、正規化を行う。正規化の方法としては、式(8)のように各色の輝度の平均値のデータ列の30秒の平均値で割る。

このようにして得られた正規化後のR、G、Bの輝度の平均値のデータをRnormalize、Gnormalize、Bnormalizeとして、独立成分分析の入力、つまり観測信号x(t)とする。

独立成分分析には、分離された独立信号の出現する順番が不定となる性質がある。つまり、心拍信号を最も多く含むと推定される独立信号が、独立成分分析により、分離された複数の出力成分（第一成分〜第三成分）のいずれであるかを特定することができない。

本発明では、心拍信号を最も多く含む出力後の独立信号を定めるために、分離行列Wのいずれか一行の係数を心拍強調可能な値に設定する。特に血液中に含まれるヘモグロビンは、緑色の光を吸収する特性があるため、緑色成分（G）に血流から生じる変化が最も表れている可能性が高い。分離行列Wは下記の式(10)のように書ける。

ここで、第一出力成分に心拍成分を出力する例で、下記説明を行う。w11、w12、w13の係数はそれぞれ、Rnormalize、Gnormalize、Bnormalizeにかかる係数である。心拍強調可能な係数として、緑色の波長成分の輝度値にかかる係数の重み或いは係数の絶対値を大きくするような値を選び、w11、w12、w13に設定する。例えば、w11=-1.5、w12=3、w13=-1.5を用いる。ここで、R、G、Bそれぞれの光波長成分の輝度値にかかる係数の和は0になることが望ましい。

また、N個（R、G、Bの場合はＮ＝３）の光波長成分の輝度値が得られている場合、緑色（Ｇ）の光波長成分の輝度値と緑色以外の光波長成分（Ｒ，Ｂ）にかかる係数の比が（Ｎ−１）：−１になるように設定することが望ましい。

それ以外のw21〜w33の係数は任意の値を用いて良い。より望ましいw21〜w33の係数としては、[w11, w12, w13]の係数ベクトルに対して、正規直交になる係数を用いる。[w11, w12, w13]の係数ベクトルに対して正規直交になるw21〜w33の係数は例えば、グラム・シュミットの正規直交化法を用いて求める。

N個の光波長成分があったと仮定した際に、それぞれの光波長成分から得られた信号を、C(1)〜C(N)とすると、観測信号x(t)は式(11)のように書ける。

ここでC(2)が緑色の波長成分と仮定し、第一出力成分に心拍成分を出力する分離行列Wの一例は、例えば下記で求められる。

ここで、kは同一行のなかで0以外の数字が入っている個数である。混合行列Wをｌ行n列とすると、下記のようにまとめられる。ｌはｌ＞ｍなる自然数である。

ここでm=2としたものが式(12)に相当する。緑色成分が強調されるように、2列目の重みが大きくなる行を1行目のみに作り、他の行は2列目の重みが他の列と比較して小さくなるように係数を設定する。左記を満たすような1行目に直交する行列を2行目以降に用いた混合行列Wを設定する。実際には、[w11, w12,…, w1N]の係数ベクトルに対する、正規直交な係数ベクトルは複数取ることができるため、式(12)に限らないが、緑色成分Gnormalizeにかかる係数を大きくする一例として上記から求められる係数を用いることが望ましい。例えば、N=3の場合には、式(13)の数字を用いればよい。

このように分離行列Ｗを設定することで、心拍成j分を強調する成分が第一成分として出力でき、独立成分分析後に得られる第一出力成分が心拍信号を多く含む信号になることを決定できる。同様に、第二成分、第三成分に出力したい場合には、それぞれ、w11〜w1Nの代わりに、w21〜w2N、w31〜w3Nに対して、心拍強調可能な係数を定めればよい。

このように決定した分離行列Wを少なくとも初期値として用いて、独立成分分析を施し、出力信号成分

を得る。この場合に、出力信号成分のうち、第一出力成分

に心拍成分が多く含まれているため、心拍成分強調部１０３は得られた第一の出力信号成分を出力する。

このように、本発明では心拍成分が含まれる出力成分を決定することができるため、最も多く心拍成分が含まれている出力成分を特定でき、その特定の出力成分、上記の例の場合には第一出力成分を追随することで時間方向の不連続性も解決でき、顔映像からより精度よく心拍を推定することが可能になる。
＜心拍算出部１０４＞
心拍算出部１０４は、心拍成分強調部１０３で得られた第一の出力信号成分を入力とする。まず、所定の時間長の第一の出力信号成分に対して、例えば、フーリエ変換などの周波数領域への変換を施し、周波数スペクトルに変換する。以下では、周波数スペクトルの一態様として、パワースペクトルが求められる場合を例示して説明を行うこととする。なお、周波数スペクトルへの変換には、離散フーリエ変換（ＤＦＴ：Discrete Fourier Transform）、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）や離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）、ウェーブレット変換などの任意の変換方法を用いることができる。所定の時間長は、３０秒間(30fpsなら900フレーム)や１分間(30fpsなら1800フレーム)とする。この時間長は、心拍成分強調部１０３で用いた時間長を用いても良いし、それに限らない。

得られた周波数スペクトルにおいて、人間の心拍数の取りうる範囲に対応する周波数領域、例えば、心拍数４０〜２４０[bpm：beats per minute]の範囲に対応する周波数領域(約０．７〜４[Hz])の周波数スペクトルの最大値を求める。求めた最大値に対応する周波数をfとすると、心拍数HRはHR=60fとして算出する。心拍算出部１０４はこのように算出された心拍数を顔映像から推定した推定心拍数として、出力する。

このような構成をとることにより、非接触でありながら、顔映像から心拍数を高精度に推定することが可能になる。

次に、心拍推定装置１０００の動作について説明する。図３に示されるように、撮像装置Ｃ１を用いて画像データを取得する（ステップ（Ｓｔｅｐ：以下、単にＳと称する）１０１）。撮像装置Ｃ１は取得した画像データを関心領域検出部１０１へ出力する。

関心領域検出部１０１は、入力された画像データに基づいて、所定の時間（たとえば、1フレーム）毎に顔領域を検出する（Ｓ１０２）。次に、関心領域検出部１０１は検出した顔領域から顔特徴点を検出する（Ｓ１０３）。次に、関心領域検出部１０１は、検出した顔特徴点を基に、関心領域を決定（Ｓ１０４）し、輝度値算出部１０２に出力する。

輝度値算出部１０２は、関心領域内の輝度値を算出し、心拍成分強調部１０３に出力する（Ｓ１０５）。

心拍成分強調部１０３では、一定フレーム数の入力があったかを確認し、一定フレーム数以上の輝度値が算出出来ている場合（Ｓ１０６、ＹＥＳ）に、独立成分分析を施す（Ｓ１０７）。具体的には、例えば一定時間として３０フレーム毎秒で映像を取得している場合には、３０秒分の９００フレームのＲ、Ｇ、Ｂの輝度値から、事前に定めた分離行列Wを用いて、独立成分分析を実施して、心拍算出部１０４に求めた成分を出力する。

最後に、心拍算出部１０４は、心拍成分強調部１０３による独立成分分析の出力成分から心拍数を算出する（Ｓ１０８）。そして、心拍数を出力し、処理が終了する。

一方、一定フレーム数以上の輝度値が算出出来ていない場合（Ｓ１０６、ＮＯ）は、心拍推定装置１０００はＳ１０１以降の処理を繰り返す。以上で、心拍推定装置１０００の処理が終了する。

以上、第１実施形態によれば、分離行列Wの一行の係数を心拍強調可能な値に設定することにより、心拍信号を最も多く含む出力後の独立信号を定めることができる。心拍推定に有利な固定係数をＩＣＡの混合行列の初期値として用いることにより、心拍成分が表れる出力成分を特定することができる。

また、出力成分方向の時間方向連続性も担保できる。これにより、勤務中や運転中など日常生活中の被験者の動きや表情変化などを含む顔映像から、心拍を精度良く推定することができる。

［第１実施形態の変形例1］
第１実施形態の変形例1は図１のブロック図と構成は同様であるが、処理が異なるので以下説明する。本変形例１では、心拍成分強調部１０３で用いる混合行列Wの初期値を関心領域以外の輝度値の情報から決定する。
＜撮像装置Ｃ１＞
本変形例１における撮像装置Ｃ１は、図1と同様であるため説明を省略する。
＜関心領域検出部１０１＞
関心領域検出部１０１では、撮像装置Ｃ１から得られた映像信号である画像データ１１０を入力とする。第１実施形態と異なり、本変形例１では、関心領域検出部１０１の出力が決定した関心領域の画像データに加えて、関心領域以外の画像データも出力する。
＜輝度値算出部１０２＞
輝度値算出部１０２は関心領域検出部１０１から得られた顔部分領域である関心領域の画像データと関心領域以外の画像データを入力とする。本変形例１では、第１実施形態での関心領域内のR、G、Bの輝度の平均値Rt_ave、Gt_ave、Bt_aveを輝度値として算出することに加え、関心領域以外の領域のR、G、Bの輝度の平均値Rt_ave_bg、Gt_ave_bg、Bt_ave_bgも輝度値として算出する。輝度値算出部１０２は関心領域内のR、G、Bの輝度の平均値Rt_ave、Gt_ave、Bt_aveである輝度値と、関心領域以外のR、G、Bの輝度の平均値Rt_ave_bg、Gt_ave_bg、Bt_ave_bgである輝度値を出力する。
＜心拍成分強調部１０３＞
心拍成分強調部１０３は関心領域内のR、G、Bの輝度の平均値Rt_ave、Gt_ave、Bt_aveと、関心領域以外のR、G、Bの輝度の平均値Rt_ave_bg、Gt_ave_bg、Bt_ave_bgを入力とする。心拍信号強調には、第１実施形態と同様に独立成分分析を用いる。

本変形例1では、混合行列Wに用いる初期値を、関心領域以外の輝度値も用いて決定する。関心領域も関心領域以外も同じ光源を共有していると仮定できるため、照明変動は関心領域以外(背景)の輝度変化と関心領域の輝度変化には相関があると考えられる。そのため、例えば、心拍変動が最も表れやすい緑色に着目し、関心領域内の輝度値から関心領域以外の輝度の定数倍(式(14)のh)を引いた値G_HRを求める。

hの決定には、例えば、Normalized Least Mean Square (NLMS) adaptive filterを用いて決定する。ここで求めたhを分離行列Wの係数として用いる。観測信号をx(t)として、下記の式(15)、(16)を用いて独立成分分析を施す。

係数をこのような値に設定することで、照明環境に頑健な心拍数の推定が可能になる。心拍成分強調部１０３は得られた第一の出力信号成分を出力する。
＜心拍算出部１０４＞
本変形例１における心拍算出部１０４の動作は、図1と同様であるため、説明を省略する。

以上、第１実施形態の変形例１によれば、関心領域以外の輝度値も用いる。このため、照明環境に頑健な心拍数の推定が可能になる

［第１実施形態の変形例２］
第１実施形態の変形例２は図１のブロック図と構成は同様であるが、処理が異なるので以下説明する。本変形例２では、心拍成分強調部１０３で用いる独立成分分析を施す対象の信号を関心領域以外の輝度値の情報から補正して用いる。
＜撮像装置Ｃ１＞
本変形例２における撮像装置Ｃ１は、図1と同様であるため説明を省略する。
＜関心領域検出部１０１＞
本変形例２における関心領域検出部１０１は、第１実施形態の変形例1と同様、関心領域検出部１０１の出力が決定した関心領域の画像データに加えて、関心領域以外の画像データも出力する。
＜輝度値算出部１０２＞
輝度値算出部１０２は関心領域検出部１０１から得られた顔部分領域である関心領域の画像データと関心領域以外の画像データを入力とする。本変形例２における輝度値算出部１０２の動作は、第１実施形態の変形例1と同様であるため、説明を省略する。
＜心拍成分強調部１０３＞
心拍成分強調部１０３は関心領域内のR、G、Bの輝度の平均値Rt_ave、Gt_ave、Bt_aveである輝度値と、関心領域以外のR、G、Bの輝度の平均値Rt_ave_bg、Gt_ave_bg、Bt_ave_bgである輝度値を入力とする。心拍信号強調には、第１実施形態と同様に独立成分分析を用いる。

本変形例２では、関心領域以外の輝度値を用いてRt_ave、Gt_ave、Bt_aveを補正し、その信号に対して独立成分分析を施す。関心領域も関心領域以外も同じ光源を共有していると仮定できるため、照明変動は関心領域以外(背景)の輝度変化と関心領域の輝度変化には相関があると考えられる。そのため、例えば、心拍変動が最も表れやすい緑色に着目し、関心領域内の輝度値から関心領域以外の輝度の定数倍(式(14)のh)を引いた値G_HRを求める。hの決定には、例えば、Normalized Least Mean Square (NLMS) adaptive filterを用いて決定する。Rt_ave、Bt_aveも同様にR_HR、B_HRを定める。

このR_HR、G_HR、B_HRを観測信号x(t)として、混合行列Wの係数は第１実施形態と同様の係数を用いて、独立成分分析を施す。観測信号x(t)に照明変動を除いた信号を用いることで、照明環境に頑健で高精度な心拍数の推定が可能になる。
心拍成分強調部１０３は得られた第一の出力信号成分を出力する。
＜心拍算出部１０４＞
本変形例２における心拍算出部１０４の動作は、図1と同様であるため、説明を省略する。

以上、第１実施形態の変形例２によれば、関心領域以外の輝度値を用いて信号を補正することにより、照明環境に頑健な心拍数の推定が可能になる。

［第２実施形態］
本発明の第２実施形態としての心拍推定装置２０００について、図４を用いて説明する。図４は本発明の第２の実施形態に係る心拍推定装置の構成を示すブロック図である。
心拍推定装置２０００は、勤務中や運転中など日常生活中の被験者が映る顔映像から心拍を精度良く推定する装置である。図４に示すように心拍推定装置２０００は、関心領域検出部１０１と輝度値算出部１０２と心拍成分強調部２０１と心拍算出部１０４を含む。＜撮像装置Ｃ１＞
第２実施形態における撮像装置Ｃ１は、図1と同様であるため説明を省略する。
＜関心領域検出部１０１＞
第２実施形態における関心領域検出部１０１は、図１と同様であるため、説明を省略する。
＜輝度値算出部１０２＞
第２実施形態における輝度値算出部１０２は、図１と同様であるため、説明を省略する。
＜心拍成分強調部２０１＞
心拍成分強調部２０１は心拍成分強調処理部２０１−１と保存部２０１−２を備える。心拍成分強調処理部２０１−１は心拍成分を強調する。保存部２０１−２は式(10)の分離行列の係数を保存する。

まず、心拍成分強調処理部２０１−１は輝度値算出部１０２から得られた関心領域内のR、G、Bの輝度の平均値Rt_ave、Gt_ave、Bt_aveを入力とする。心拍信号強調には、第１実施形態と同様に独立成分分析を用いる。

ここでも第１実施形態と同様、第一出力成分に心拍成分を出力する例で説明を行う。式(10)の分離行列Wについて、初期値を第１実施形態のようにw11=1.5、w12=-3、w13=1.5を正規化した値、例えば、[w11, w12, w13]=[0.408248, -0.81649655, 0.408248]に定めたとする。[w21, w22, w23]、[w31, w32, w33]は[w11, w12, w13]に正規直交する係数ベクトルとする。このように定めたWに対して、独立成分分析の更新において、出力成分が定まる傾向が見られるまで、分離行列Wの第一行目を固定したままにする。出力成分が定まった段階で、第一行目を解放する。その際、第二行目と第三行目も解放して、第一行目から第三行目まですべてを再学習してもよい。ただし、第二行目と第三行目は出力成分が定まった時点での値に固定したまま、第一行目のみを再学習することが望ましい。つまり、N行の場合には、固定した行を再学習する際には残りのN-1行を固定することが望ましい。

このようにすることで、心拍成分以外の成分は第二、第三成分に出力される可能性が高まり、心拍成分以外の出力成分が定まった段階で、再度心拍成分を強調する係数を再学習することで、環境に頑健な分離行列の決定ができる。そのため、照明変動や肌色の個人差によらず、環境に頑健に心拍成分を分離することが可能になる。

なお、出力成分が定まったかどうかの判定には、例えば、出力成分間の相関を用いて、出力成分間の相関が振動し出したら、独立成分分析の学習は収束していると判定する。

保存部２０１−２には、分離行列Wの初期値として与えた値を保存しておく。

次に、独立成分分析の学習後に得られる分離行列Wに対して、初期値として与えた[w11,
w12, w13]に最も近い分離行列Wにかかる出力成分を、心拍成分の出力成分として選択する。その際に、保存部２０１−２に格納されている初期値で定めた心拍を強調する係数ベクトルを呼び出して、学習後に得られる分離行列Wの各行ベクトルと比較する。比較の方法としては、例えば、初期値で定めたベクトルと学習後の分離行列Wの書く行ベクトルとのコサイン類似度を用いて、1に近い行ベクトルにかかる出力成分を出力とする。心拍成分強調部２０１は選択した行ベクトルにかかる出力信号成分を出力する。
＜心拍算出部１０４＞
心拍算出部１０４は、心拍成分強調部２０１で選択した行ベクトルにかかる出力信号成分を入力とする。第２実施形態における心拍算出部１０４の動作は、図１と同様であるため、説明を省略する。

このように、第２実施形態では心拍成分を固定し学習を行う。これにより、心拍成分以外の成分は第二、第三成分に出力される可能性が高まる。また、心拍成分以外の出力成分が定まった段階で、再度心拍成分を強調する係数を再学習することで、環境に頑健な分離行列の決定ができる。そのため、照明変動や肌色の個人差によらず、環境に頑健に心拍成分を分離が可能になる。

［第２実施形態の変形例］
第２実施形態の変形例は、図4のブロック図と構成は同様であるが、処理が異なるので下記に説明する。
＜撮像装置Ｃ１＞
第２実施形態の変形例における撮像装置Ｃ１は、図４と同様であるため説明を省略する。
＜関心領域検出部１０１＞
第２実施形態の変形例における関心領域検出部１０１は、図４と同様であるため、説明を省略する。
＜輝度値算出部１０２＞
第２実施形態の変形例における輝度値算出部１０２は、図４と同様であるため、説明を省略する。
＜心拍成分強調部２０１＞
心拍成分強調部２０１は心拍成分強調処理部２０１−１と保存部２０１−２から構成される。心拍成分強調処理部２０１−１は、心拍成分強調を行う。保存部２０１−２は式(10)の分離行列の係数が保存されている。第２実施形態の変形例における心拍成分強調部２０１の動作は、図４と同様である。

ただし、本変形例は、心拍推定の対象となる人や、心拍推定を行う環境に応じた分離行列Wの係数を用いて心拍推定を行う点で上述の第２実施形態と異なる。本変形例では、分離行列Wの係数を人毎或いは環境毎に別々に保存部２０１−２に保存する。心拍成分強調処理部２０１−１は、心拍推定の対象となる人や、心拍推定を行う環境に対応する分離行列Wの係数を保存部２０１−２から読み出して独立成分分析を行う。

人毎に最適な分離行列Wの係数は、例えば、心電図やウェアラブルセンサなどの脈波もしくは正解心拍数の結果と、本発明の映像からの推定心拍手法に基づく、複数の分離行列Wから推定した推定心拍数の結果とを照らし合わせ、最も差が小さいものを最適な係数として保持しておく。

環境毎に最適な分離行列Wの係数は、例えば、オフィス環境、家庭環境、車内環境、屋外環境で最適な係数をそれそれで取得して、保存しておき、人や環境に合わせた係数を用いる。
＜心拍算出部１０４＞
第２実施形態における心拍算出部１０４の動作は、図４と同様であるため説明を省略する。

以上、第２実施形態の変形例によれば、人毎や環境毎に定めた値を分離行列Wに用いる。このため個人差や環境の違いに頑健な心拍推定が可能になる

［第３実施形態］
本発明の第３実施形態としての心拍推定装置３０００について、図５を用いて説明する。心拍推定装置３０００は、勤務中や運転中など日常生活中の被験者が映る顔映像から心拍を精度良く推定する装置である。図５に示すように心拍推定装置３０００は、関心領域検出部３０１と信頼領域決定部３０２と輝度値算出部３０３と心拍成分フィルタ部３０４と心拍成分強調部３０５と心拍算出部３０６と外れ値除去部３０７を含む。
＜撮像装置Ｃ１＞
第３実施形態における撮像装置Ｃ１は、図１の第１実施形態と同様であるため説明を省略する。
＜関心領域検出部３０１＞
第３実施形態における関心領域検出部３０１の動作は、図１の関心領域検出部１０１と同様であるため、説明を省略する。関心領域検出部３０１は関心領域の画像データと顔特徴点の座標を出力する。
＜信頼領域決定部３０２＞
信頼領域決定部３０２は関心領域検出部３０１から得られた顔部分領域である関心領域の画像データと顔特徴点の座標を入力とする。信頼領域決定部３０２は、関心領域の画像データから関心領域の部分領域における信頼度を決定する。具体的には、関心領域のうち、心拍を高精度に推定できる部分領域の信頼度は高く、心拍の推定精度が低い部分領域の信頼度は低くなるように決定する。

まず、関心領域を顔特徴点の座標（ｕｐ，ｖｐ）を基に、Ｍ箇所（Ｍは１以上の整数）の顔部分領域に分ける。次に、部分領域ごとに信頼度を決定する。ここで、信頼度の決定方法の例として望ましい方法を３つ述べる。ただし、これらはあくまで一例であり、これに限らない。

１つは、生理的に脈拍の変化が取りやすいと考えられる領域の信頼度を高くする。人間の生理的な性質を考慮すると、顔領域のうち、特に血流量が多い箇所は顎から頬にかけての顔面動脈付近である。この顔面動脈を含む部分領域の信頼度を高く設定する。信頼度を例えば、0〜1までの値として、0だと信頼度が低い、1だと信頼度が高いとしておき、顎から頬にかけての顔面動脈を含む領域の信頼度を1、それ以外を0とする。なお、ここでは説明を簡単にするため、信頼度を0と1にするとしたが、顔面動脈からの距離をもとに信頼度を0.5などと設定してもよい。その他の生理的に脈拍の変化が取りやすい領域としては、皮膚の薄い領域がある。例えば、まぶたや目の下の領域は他の領域と比較して1/2〜1/4程度皮膚が薄いと言われている。そのため上記の領域を含む部分領域の信頼度を高く設定するのでも良い。

２つめに、平らな領域の信頼度を高くすることも心拍推定には効果的である。これは、凹凸のある領域は被験者の動きによる輝度変化が大きくなるため、心拍推定精度の低下が大きいためである。顔領域の中で平らな領域は額である。右目と左目の顔特徴点の位置から、左目と右目の間の画素数をPとして、P/4上部の領域から、P×2/Pで囲まれる領域を額領域として決定する。得られた額領域の信頼度を高くする。その他の平らな領域の決定法として、隣り合う画素値の輝度勾配を基に、輝度勾配が少ない箇所を平らな領域として決定するのでもよい。

３つめに、部分領域ごとの輝度値の分散から信頼度を算出する。ある一定時間1〜Tまで、例えばT=900、つまり30fpsの場合に30秒分のR、G、Bの輝度の平均値のデータを取得して、G成分ならその分散値G_νを下記の式(17)によって算出する。μは各色の輝度の平均値のデータ列の30秒の平均値とする。同様に、R_ν、B_νを算出する。

得られた分散値に対して、ある閾値以下かどうか判定し、閾値以下である場合に、信頼度を高く設定する。また、分散値の逆数をそのまま信頼度としても用いても良い。

顔の領域のなかで、動きの激しい領域、例えば、口元などは分散値が高くなる傾向がある。動きが激しいと、輝度変化も大きいため、心拍推定に用いると誤差が大きくなる可能性がある。そのため、分散値を基に信頼度を決定することで、心拍推定に有利な部分領域を抽出することが可能になる。

以上のように、信頼領域決定部１０２は、顔部分領域とその領域の信頼度を出力する。＜輝度値算出部３０３＞
輝度値算出部３０３は信頼領域決定部３０２から得られた顔部分領域とその領域の信頼度を入力とする。まず、輝度の階調値から、関心領域のＲ、Ｇ、Ｂの各色成分について顔部分領域内の輝度の平均値を算出する。例えば、30fps（30フレーム/秒）で画像を取得していた場合には、1フレームごとの平均値を算出する。ここで、フレームtにおける座標（i, j）におけるR、G、Bの輝度の階調値をRt（i, j）、Gt（i, j）、Bt（i, j）とする。関心領域の大きさがi=i_s〜i_e、j=j_s〜j_eの範囲内の座標であると仮定する。i_s、i_e、j_s、j_eはそれぞれ、画像データの画素のx座標の開始位置、x座標の終了位置、y座標の開始位置、y座標の終了位置を示す。その場合、関心領域内のG信号の輝度の平均値Gt_aveは式(1)で算出する。

RとBに対しても同様に平均値Rt_ave、Bt_aveを計算することができる。次に、Rt_ave、Gt_ave、Bt_aveに信頼領域決定部３０２で決定した信頼度をかける。簡単な例として、顔特徴点が、ｐ＝４、Ｍ＝３として右目、左目、鼻、口の中央の位置4箇所とする。信頼領域決定部３０２にて、その際の（ア)顔部分領域を右目、鼻、口を頂点とする三角形の領域、(イ)右目、鼻、左目を頂点とする三角形の領域、(ウ)左目、鼻、口を頂点とする三角形の領域の3箇所に顔部分領域を分けたとする。信頼領域決定部３０２にてそれぞれの(ア)と(ウ)の信頼度を1とし、(イ)が0として信頼度が得られたとする。この場合には、(ア)と(ウ)の領域のRt_ave、Gt_ave、Bt_aveには1をかけ、(イ)の領域のRt_ave、Gt_ave、Bt_aveには0をかけ、Rt_ave_r、Gt_ave_r、Bt_ave_rを得る。

最後に、(ア)〜(ウ)の部分ごとに求められたRt_ave_r、Gt_ave_r、Bt_ave_rの平均を求め、輝度値算出部３０３の出力として、顔部分領域に対する信頼度を加味したR、G、Bの輝度の平均値Rt_AVE、Gt_AVE、Bt_AVEを輝度値として出力する。
＜心拍成分フィルタ部３０４＞
心拍成分フィルタ部３０４は顔部分領域に対する信頼度を加味したR、G、Bの輝度の平均値Rt_AVE、Gt_AVE、Bt_AVEを入力とする。心拍成分フィルタ部３０４では心拍成分のみを通すようなバンドパスフィルタを設計し、フィルタをかけることで、心拍成分以外の信号を減衰させる。

例えば、周波数スペクトルにおいて、人間の心拍数の取りうる範囲に対応する周波数領域、心拍数４０〜２４０[bpm：beats per minute]の範囲に対応する周波数領域(約０．７〜４[Hz])のみ通過するバンドパスフィルタをかける。その後、逆フーリエ変換を施し、時間領域の信号に戻し、Rt_AVE、Gt_AVE、Bt_AVEにバンドパスフィルタをかけた信号を得る。心拍成分フィルタ部３０４はバンドパスフィルタをかけた信号を出力する。

なお、呼吸信号を強調したい場合には、上記の周波数帯域ではなく、約０．０５〜１[Hz]の周波数帯域のバンドパスフィルタをかける。
＜心拍成分強調部３０５＞
心拍成分強調部３０５はバンドパスフィルタをかけた信号を入力として、独立成分分析を施す。第３実施形態における心拍成分強調部３０５の動作は、図４の心拍成分強調部２０１と同様であるため、説明を省略する。
＜心拍算出部３０６＞
第３実施形態における心拍算出部３０６は、図１の心拍算出部１０４と同様であるため、説明を省略する。
＜外れ値除去部３０７＞
外れ値除去部３０７は心拍算出部３０６から得られた心拍数を入力とする。外れ値除去部３０７では得られた心拍数の中から、生理的に起こりえない変化を除去する。具体的には、得られた心拍数の時系列で、例えば、1秒間で12bpm以上変化した心拍数を除く。除いた後の値には、前の時刻の心拍数か、前後の時刻の平均した心拍数で補完する。

このように外れ値を除去することで、輝度値からの心拍推定を誤った際にも、補正することが可能になり、顔映像から心拍数を高精度に推定することが可能になる。

このような構成をとることにより、非接触でありながら、顔映像から心拍数を高精度に推定することが可能になる

［第３実施形態の変形例１］
第３実施形態の変形例１は、図５のブロック図と構成は同様であるが、処理が異なるので下記に説明する。
＜撮像装置Ｃ１＞
第３実施形態の変形例１における撮像装置Ｃ１は、上述の第３実施形態と同様であるため説明を省略する。
＜関心領域検出部３０１＞
第３実施形態の変形例１における関心領域検出部３０１は、上述の第３実施形態と同様であるため、説明を省略する。
＜信頼領域決定部３０２＞
第３実施形態の変形例１における信頼領域決定部３０２は、上述の第３実施形態と同様であるため、説明を省略する。
＜輝度値算出部３０３＞
輝度値算出部３０３は信頼領域決定部３０２から得られた顔部分領域とその領域の信頼度を入力とする。輝度値算出部３０３はＭ個の顔部分領域ごとに求められた信頼度を加味したRt_ave_r、Gt_ave_r、Bt_ave_rを出力する。
＜心拍成分フィルタ部３０４＞
心拍成分フィルタ部３０４は輝度値算出部３０３から得られたＭ個の顔部分領域ごとに求められたRt_ave_r、Gt_ave_r、Bt_ave_rを入力とする。心拍成分フィルタ部３０４ではRt_ave_r、Gt_ave_r、Bt_ave_rに対して、心拍成分のみを通すようなバンドパスフィルタを設計し、フィルタをかけることで、心拍成分以外の信号を減衰させる。心拍成分フィルタ部３０４はＭ個のRt_ave_r、Gt_ave_r、Bt_ave_rに対して、バンドパスフィルタをかけた信号を出力する。
＜心拍成分強調部３０５＞
第３実施形態の変形例１における心拍成分強調部３０５は、上述の第３実施形態と同様であるため、説明を省略する。心拍成分強調部３０５はＭ個の顔部分領域ごとのバンドパスフィルタをかけた信号を観測信号x(t)としてＭ個の顔部分領域ごとに、独立成分分析を施す。心拍成分強調部３０５は、Ｍ個の顔部分領域ごとの第一の出力成分を出力する。
＜心拍算出部３０６＞
第３実施形態の変形例１における心拍算出部３０６は、Ｍ個の顔部分領域ごとの第一の出力成分を入力として、第３実施形態で説明した心拍算出部３０６の心拍数算出法で、Ｍ個の部分領域ごとの心拍数を算出する。算出したＭ個の結果の心拍数の多数決を取り、最も多かった心拍数を心拍算出部３０６の出力とする。また、多数決に限らず、Ｍ個の部分領域ごとの心拍数の平均値や中央値から、心拍数を算出し、心拍算出部３０６の出力としても良い。
＜外れ値除去部３０７＞
外れ値除去部３０７は心拍算出部３０６から得られた心拍数を入力とする。第３実施形態の変形例１における心拍算出部３０７は、上述の第３実施形態と同様であるため、説明を省略する。

以上、第３実施形態の変形例１によれば、Ｍ個の複数領域からの心拍算出結果を用いることにより、映像から心拍数を高精度に算出することができる。

［第３実施形態の変形例２］
第３実施形態の変形例２は、図５のブロック図と構成は同様であるが、処理が異なるので下記に説明する。
＜撮像装置Ｃ１＞
第３実施形態の変形例２における撮像装置Ｃ１は、上述の第３実施形態と同様であるため説明を省略する。
＜関心領域検出部３０１＞
第３実施形態の変形例２における関心領域検出部３０１は、上述の第３実施形態と同様であるため、説明を省略する。
＜信頼領域決定部３０２＞
第３実施形態の変形例２における信頼領域決定部３０２は、上述の第３実施形態と同様であるため、説明を省略する。
＜輝度値算出部３０３＞
輝度値算出部３０３は信頼領域決定部３０２から得られた顔部分領域とその領域の信頼度を入力とする。輝度値算出部３０３はＭ個の顔部分領域ごとに求められた信頼度を加味したRt_ave_r、Gt_ave_r、Bt_ave_rを出力する。
＜心拍成分フィルタ部３０４＞
心拍成分フィルタ部３０４は輝度値算出部３０３から得られたＭ個の顔部分領域ごとに求められたRt_ave_r、Gt_ave_r、Bt_ave_rを入力とする。心拍成分フィルタ部３０４ではRt_ave_r、Gt_ave_r、Bt_ave_rに対して、心拍成分のみを通すようなバンドパスフィルタを設計し、フィルタをかけることで、心拍成分以外の信号を減衰させる。心拍成分フィルタ部３０４はＭ個のRt_ave_r、Gt_ave_r、Bt_ave_rに対して、バンドパスフィルタをかけた信号を出力する。
＜心拍成分強調部３０５＞
第３実施形態の変形例１における心拍成分強調部３０５は、上述の第３実施形態と同様であるため、説明を省略する。心拍成分強調部３０５はＭ個の顔部分領域ごとのバンドパスフィルタをかけた信号を観測信号x(t)としてＭ個の顔部分領域ごとに、独立成分分析を施す。Ｍ個の部分領域の第一出力成分の中で、共通信号を抽出する。共通信号の抽出方法としては、正準相関分析などを用いる。得られた共通信号を心拍成分強調部３０５の出力とする。
＜心拍算出部３０６＞
心拍算出部３０６は心拍成分強調部３０５の出力である共通信号を入力とする。第３実施形態の変形例２における心拍算出部３０６は、上述の第３実施形態と同様であるため、説明を省略する。
＜外れ値除去部３０７＞
第３実施形態の変形例２における心拍算出部３０７は、上述の第３実施形態と同様であるため、説明を省略する。

以上、第３実施形態の変形例２によれば、顔の複数領域から共通信号を抽出して心拍信号を強調することができる。このため映像から心拍成分を高精度に算出することができる。

［第４実施形態］
ここでは、第１〜３実施形態の心拍推定装置で得られた心拍数を応用する例として、状態検出装置１００００を説明する。状態検出装置１００００は、勤務中や運転中など日常生活中の被験者が映る顔映像から心拍を精度良く推定することで、被験者の状態を精度よく推定する装置である。図６に示すように状態検出装置１００００は、心拍推定装置４０００と状態検出部４０１とを含む。
＜心拍推定装置４０００＞
実施形態４における心拍推定装置４０００は第１〜３実施形態、或いは、これら実施形態の変形例として説明した心拍推定装置１０００、２０００、３０００のいずれかである。心拍推定装置４０００は、第１〜第３実施形態で説明した測定を、一定期間、一定の間隔で繰り返して、心拍数の組、例えば、心拍数の時間的な変化を出力する。例えば、一定間隔の時刻t0, t1, t2, ..., tc（tcは現在時刻）のそれぞれにおいて心拍数B1, B2, ..., Bcを求め、時系列B1, B2, ..., Bcを出力する。
＜状態検出部４０１＞
状態検出部４０１は心拍推定装置４０００が出力する心拍数を入力とし、人の状態を示す情報を出力する。状態検出部４０１では、心拍推定装置４０００から得られた心拍数の時系列B1, B2, ..., Bcに基づいて、時刻tcにおける状態を検出する。状態の例としては、眠気や疲労度、ストレス、感情等である。ここではストレス状態を例に説明する。

ストレス状態の検出には、得られた心拍数の時系列をフーリエ変換などを用いて、周波数領域に変換する。得られた周波数領域のＬＦ（Low Frequency）値と、測定対象者のＨＦ（High Frequency）値からＬＦ／ＨＦ値を算出する。そして、ＬＦ／ＨＦ値の算出値と、ＬＦ／ＨＦ値の基準値とを比較した結果に基づいて、ストレス状態を判定する。

なお、ＬＦ値は、測定対象者の交感神経の働きを示す値であって、血圧の変動と同期した脳幹の周期的活動（０．０４〜０．１５Ｈｚ、約１０秒周期）に代表される周期的活動に関する値をいう。ＨＦ値とは、測定対象者の副交感神経の働きを示す値であって、呼吸と同期した脳幹の周期的活動（０．１５〜０．４Ｈｚ、約４秒周期）に代表される周期的活動に関する値をいう。ここでＬＦ／ＨＦ値の基準値は、一般的に0.8〜2の値では正常、2以上の場合にはストレス負荷の大きい状態とされている。

状態検出部４０１では人の状態を検出した結果、上記の例ではＬＦ／ＨＦ値や基準値と照らし合わせたストレス状態検出結果を出力する。ストレス状態検出結果とは、例えば、ＬＦ／ＨＦ値が2以上の場合には高ストレス、0.8〜2では正常、0.8以下では低ストレスという結果のことを指す。

サービスのイメージとしては、例えば、このように出されたストレス値を、オフィスのワーカーに対しての日々のストレスチェックに用いる。PCの前に座り、作業をしている間に、PCに付属するカメラから取得した映像から算出した心拍を基に、ストレス状態を測定する。測定したストレス状態をPCに表示したり、スマホでユーザーに通知したりする。ストレスが高い場合には、測定したストレス状態と併せて、休息を促すようなメッセージ、例えば「疲れているので、10分間リフレッシュしましょう」などを表示させることで、ユーザーに休憩を促す。このようにユーザー自身がストレス状態を把握し、ストレスケアを行うことで、生産性の低下を防げるとともに、疾病や休職の予防につながる。

その他にも施設の入場ゲートにてカメラを設置し、そのカメラに映る人物の映像から心拍数を測定し、得られた心拍から感情を推定することで、異常な心理状態の把握が可能になる。このように人の異常な心理状態を把握することで、例えば、一見異常でなくても、心理状態が異常な不審者の検出が可能になり、監視の効率化、安全の維持につながる。

被験者の顔映像から高精度に心拍の推定が可能になることで、心拍数から算出される覚醒度、眠気、疲労度やストレス、感情などが、非接触かつ低負荷で精度よく測定できるようになる。

上記の実施形態の一部又は全部は以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
時間的に連続した複数の画像のそれぞれから被験者の顔領域を含む関心領域を検出する関心領域検出部と、
前記関心領域内の画像に含まれる輝度値を、予め定められた光波長成分の夫々について算出する輝度値算出部と、
前記予め定められた光波長成分のそれぞれにかかる係数の一組を行とする分離行列を用いて前記輝度値に対して独立成分分析を行うことにより、心拍成分を強調する心拍成分強調部と、
前記心拍成分強調部によって強調した心拍成分に基づいて、心拍数を算出する心拍算出部とを備え、
前記分離行列は、緑色の前記光波長成分の輝度値にかかる係数の絶対値が、他の色の前記光波長成分の輝度値にかかる係数の絶対値よりも大きい係数からなる、心拍成分強調係数からなる行を含む
心拍推定装置。

（付記２）
前記分離行列は、いずれか一行が前記心拍成分強調係数からなり、
前記心拍成分強調係数は、前記光波長成分の輝度値にかかる各係数の和がゼロであり、
前記分離行列の各行は、前記光波長成分の輝度値に係るN個（Nは自然数）の係数からなり、
前記心拍成分強調係数は、緑色の前記光波長成分の輝度値にかかる係数と、緑色以外の前記光波長成分の輝度値にかかる係数との比が(N-1):(-1)であり、
前記心拍成分強調部は前記輝度値を正規化した値に対して独立成分分析を行う
付記１に記載の心拍推定装置。

（付記３）
前記心拍成分強調部は、前記分離行列において、前記心拍成分強調係数を少なくとも初期値に用いて、独立成分分析を適用する、付記１または付記２に記載の心拍推定装置。

（付記４）
前記心拍成分強調部は、前記分離行列において、前記心拍成分強調係数からなる行ベクトルを除いた行に前記心拍成分強調係数からなる行ベクトルに対して正規直交になる行ベクトルを用いる、付記１乃至付記３のいずれかに記載の心拍推定装置。

（付記５）
前記心拍成分強調部は、独立成分分析を適用する際の、前記分離行列の更新において、独立成分分析の出力成分が定まる傾向が見られるまで前記心拍成分強調係数を固定する、付記１乃至付記４のいずれかに記載の心拍推定装置。

（付記６）
前記心拍成分強調部は、前記分離行列において、前記関心領域と前記関心領域以外の前記光波長成分の輝度値の差分を基に、前記心拍成分強調係数を定める、付記１、付記３乃至付記５のいずれかに記載の心拍推定装置。

（付記７）
前記心拍成分強調部は、学習後の前記分離行列において、前記心拍成分強調係数に最も近い前記分離行列の行にかかる出力成分を、心拍成分の出力成分として選択する、付記１乃至付記６のいずれかに記載の心拍推定装置。

（付記８）
前記関心領域を部分領域に分割し、その信頼度を算出する信頼領域決定部を更に備え、
前記輝度値算出部は、前記信頼値を参照して輝度値を算出する
付記１乃至付記７のいずれかに記載の心拍推定装置。

（付記９）
前記輝度値算出部の出力から、人間の心拍数が取り得る範囲に基づいて予め定められた周波数領域のみを通過させる心拍成分フィルタ部を更に備える、付記１乃至付記８のいずれかに記載の心拍推定装置。

（付記１０）
人間の生理に基づいて予め定められた、生理的に起こりえない変化を、前記心拍算出部の出力から除去する外れ値除去部を更に備える、付記１乃至付記９のいずれかに記載の心拍推定装置。

（付記１１）
付記１乃至付記１０のいずれかに記載の心拍推定装置と、
前記心拍推定装置の出力に基づいて、人の状態を判定する状態検出部と
を備える、状態検出装置。

（付記１２）
時間的に連続した複数の画像のそれぞれから被験者の顔領域を含む関心領域を検出する関心領域検出段階と、
前記関心領域内の画像に含まれる輝度値を、予め定められた光波長成分の夫々について算出する輝度値算出段階と、
前記予め定められた光波長成分のそれぞれにかかる係数の一組を行とする分離行列を用いて前記輝度値に対して独立成分分析を行うことにより、心拍成分を強調する心拍成分強調段階と、
前記心拍成分強調段階によって強調した心拍成分に基づいて、心拍数を算出する心拍算出段階とを含み、
前記分離行列は、緑色の前記光波長成分の輝度値にかかる係数の絶対値が、他の色の前記光波長成分の輝度値にかかる係数の絶対値よりも大きい係数からなる、心拍成分強調係数からなる行を含む
心拍推定方法。

（付記１３）
前記分離行列は、いずれか一行が前記心拍成分強調係数からなり、
前記心拍成分強調係数は、前記光波長成分の輝度値にかかる各係数の和がゼロであり、
前記分離行列の各行は、前記光波長成分の輝度値に係るN個（Nは自然数）の係数からなり、
前記心拍成分強調係数は、緑色の前記光波長成分の輝度値にかかる係数と、緑色以外の前記光波長成分の輝度値にかかる係数との比が(N-1):(-1)であり、
前記心拍成分強調部は前記輝度値を正規化した値に対して独立成分分析を行う
付記１２に記載の心拍推定方法。

（付記１４）
前記心拍成分強調段階は、前記分離行列において、前記心拍成分強調係数を少なくとも初期値に用いて、独立成分分析を適用する、付記１２または付記１３に記載の心拍推定方法。

（付記１５）
前記心拍成分強調段階は、前記分離行列において、前記心拍成分強調係数からなる行ベクトルを除いた行に前記心拍成分強調係数からなる行ベクトルに対して正規直交になる行ベクトルを用いる、付記１２乃至付記１４のいずれかに記載の心拍推定方法。

（付記１６）
前記心拍成分強調段階は、独立成分分析を適用する際の、前記分離行列の更新において、独立成分分析の出力成分が定まる傾向が見られるまで前記心拍成分強調係数を固定する、付記１２乃至付記１５のいずれかに記載の心拍推定方法。

（付記１７）
前記心拍成分強調段階は、前記分離行列において、前記関心領域と前記関心領域以外の前記光波長成分の輝度値の差分を基に、前記心拍成分強調係数を定める、付記１２、付記１４乃至付記１６のいずれかに記載の心拍推定方法。

（付記１８）
前記心拍成分強調段階は、学習後の前記分離行列において、前記心拍成分強調係数に最も近い前記分離行列の行にかかる出力成分を、心拍成分の出力成分として選択する、付記１２乃至付記１７のいずれかに記載の心拍推定方法。

（付記１９）
前記関心領域を部分領域に分割し、その信頼度を算出する信頼領域決定段階を更に含み、
前記輝度値算出段階は、前記信頼値を参照して輝度値を算出する
付記１２乃至付記１８のいずれかに記載の心拍推定方法。

（付記２０）
前記輝度値算出段階の出力から、人間の心拍数が取り得る範囲に基づいて予め定められた周波数領域のみを通過させる心拍成分フィルタ段階を更に含む、付記１２乃至付記１９のいずれかに記載の心拍推定方法。

（付記２１）
人間の生理に基づいて予め定められた、生理的に起こりえない変化を、前記心拍算出段階の出力から除去する外れ値除去段階を更に含む、付記１２乃至付記２０のいずれかに記載の心拍推定方法。

（付記２２）
付記１２乃至付記２１のいずれかに記載の心拍推定方法によって心拍を推定する段階と、
前記推定した心拍に基づいて、人の状態を判定する段階と
を含む、状態検出方法。

（付記２３）
時間的に連続した複数の画像のそれぞれから被験者の顔領域を含む関心領域を検出する関心領域検出手段と、
前記関心領域内の画像に含まれる輝度値を、予め定められた光波長成分の夫々について算出する輝度値算出手段と、
前記予め定められた光波長成分のそれぞれにかかる係数の一組を行とする分離行列を用いて前記輝度値に対して独立成分分析を行うことにより、心拍成分を強調する心拍成分強調手段と、
前記心拍成分強調手段によって強調した心拍成分に基づいて、心拍数を算出する心拍算出手段とをコンピュータに実行させるプログラムであって、
前記分離行列は、緑色の前記光波長成分の輝度値にかかる係数の絶対値が、他の色の前記光波長成分の輝度値にかかる係数の絶対値よりも大きい係数からなる、心拍成分強調係数からなる行を含む
プログラム。

（付記２４）
前記分離行列は、いずれか一行が前記心拍成分強調係数からなり、
前記心拍成分強調係数は、前記光波長成分の輝度値にかかる各係数の和がゼロであり、
前記分離行列の各行は、前記光波長成分の輝度値に係るN個（Nは自然数）の係数からなり、
前記心拍成分強調係数は、緑色の前記光波長成分の輝度値にかかる係数と、緑色以外の前記光波長成分の輝度値にかかる係数との比が(N-1):(-1)であり、
前記心拍成分強調部は前記輝度値を正規化した値に対して独立成分分析を行う
付記２３に記載のプログラム。

（付記２５）
前記心拍成分強調手段は、前記分離行列において、前記心拍成分強調係数を少なくとも初期値に用いて、独立成分分析を適用する、付記２３または付記２４に記載のプログラム。

（付記２６）
前記心拍成分強調手段は、前記分離行列において、前記心拍成分強調係数からなる行ベクトルを除いた行に前記心拍成分強調係数からなる行ベクトルに対して正規直交になる行ベクトルを用いる、付記２３乃至付記２５のいずれかに記載のプログラム。

（付記２７）
前記心拍成分強調手段は、独立成分分析を適用する際の、前記分離行列の更新において、独立成分分析の出力成分が定まる傾向が見られるまで前記心拍成分強調係数を固定する、付記２３乃至付記２６のいずれかに記載のプログラム。

（付記２８）
前記心拍成分強調手段は、前記分離行列において、前記関心領域と前記関心領域以外の前記光波長成分の輝度値の差分を基に、前記心拍成分強調係数を定める、付記２３、付記２５乃至付記２７のいずれかに記載のプログラム。

（付記２９）
前記心拍成分強調手段は、学習後の前記分離行列において、前記心拍成分強調係数に最も近い前記分離行列の行にかかる出力成分を、心拍成分の出力成分として選択する、付記２３乃至付記２８のいずれかに記載のプログラム。

（付記３０）
前記関心領域を部分領域に分割し、その信頼度を算出する信頼領域決定手段を更にコンピュータに実行させ、
前記輝度値算出手段は、前記信頼値を参照して輝度値を算出する
付記２３乃至付記２９のいずれかに記載のプログラム。

（付記３１）
前記輝度値算出手段の出力から、人間の心拍数が取り得る範囲に基づいて予め定められた周波数領域のみを通過させる心拍成分フィルタ手段を更にコンピュータに実行させる、付記２３乃至付記３０のいずれかに記載のプログラム。

（付記３２）
人間の生理に基づいて予め定められた、生理的に起こりえない変化を、前記心拍算出手段の出力から除去する外れ値除去手段を更にコンピュータに実行させる、付記２３乃至付記３１のいずれかに記載のプログラム。

（付記３３）
前記心拍推定装置の出力に基づいて、人の状態を判定する状態検出手段を更にコンピュータに実行させる付記２３乃至付記３２のいずれかに記載のプログラム。

１０１、３０１関心領域検出部
１０１−１顔検出部
１０１−２顔特徴点検出部
１０２、３０３輝度値算出部
１０３、２０１、３０５心拍成分強調部
１０４、３０６心拍算出部
１１０画像データ
２０１−１心拍成分強調処理部
２０１−２保存部
３０２信頼領域決定部
３０４心拍成分フィルタ部
３０７外れ除去部
４０１状態検出部
１０００、２０００、３０００、４０００心拍推定装置
１００００状態検出装置

Claims

時間的に連続した複数の画像のそれぞれから被験者の顔領域を含む関心領域を検出する関心領域検出部と、
前記関心領域内の画像に含まれる輝度値を、予め定められた光波長成分の夫々について算出する輝度値算出部と、
前記予め定められた光波長成分のそれぞれにかかる係数の一組を行とする分離行列を用いて前記輝度値に対して独立成分分析を行うことにより、心拍成分を強調する心拍成分強調部と、
前記心拍成分強調部によって強調した心拍成分に基づいて、心拍数を算出する心拍算出部とを備え、
前記分離行列は、緑色の前記光波長成分の輝度値にかかる係数の絶対値が、他の色の前記光波長成分の輝度値にかかる係数の絶対値よりも大きい係数からなる、心拍成分強調係数からなる行を含む
心拍推定装置。
前記分離行列は、いずれか一行が前記心拍成分強調係数からなり、
前記心拍成分強調係数は、前記光波長成分の輝度値にかかる各係数の和がゼロであり、
前記分離行列の各行は、前記光波長成分の輝度値に係るN個（Nは自然数）の係数からなり、
前記心拍成分強調係数は、緑色の前記光波長成分の輝度値にかかる係数と、緑色以外の前記光波長成分の輝度値にかかる係数との比が(N-1):(-1)であり、
前記心拍成分強調部は前記輝度値を正規化した値に対して独立成分分析を行う
請求項１に記載の心拍推定装置。
前記心拍成分強調部は、前記分離行列において、前記心拍成分強調係数を少なくとも初期値に用いて、独立成分分析を適用する、請求項１または請求項２に記載の心拍推定装置。
前記心拍成分強調部は、前記分離行列において、前記心拍成分強調係数からなる行ベクトルを除いた行に前記心拍成分強調係数からなる行ベクトルに対して正規直交になる行ベクトルを用いる、請求項１乃至請求項３のいずれかに記載の心拍推定装置。
前記心拍成分強調部は、独立成分分析を適用する際の、前記分離行列の更新において、独立成分分析の出力成分が定まる傾向が見られるまで前記心拍成分強調係数を固定する、請求項１乃至請求項４のいずれかに記載の心拍推定装置。
前記心拍成分強調部は、前記分離行列において、前記関心領域と前記関心領域以外の前記光波長成分の輝度値の差分を基に、前記心拍成分強調係数を定める、請求項１、請求項３乃至請求項５のいずれかに記載の心拍推定装置。
前記心拍成分強調部は、学習後の前記分離行列において、前記心拍成分強調係数に最も近い前記分離行列の行にかかる出力成分を、心拍成分の出力成分として選択する、請求項１乃至請求項６のいずれかに記載の心拍推定装置。
前記関心領域を部分領域に分割し、その信頼度を算出する信頼領域決定部を更に備え、
前記輝度値算出部は、前記信頼値を参照して輝度値を算出する
請求項１乃至請求項７のいずれかに記載の心拍推定装置。
時間的に連続した複数の画像のそれぞれから被験者の顔領域を含む関心領域を検出する関心領域検出段階と、
前記関心領域内の画像に含まれる輝度値を、予め定められた光波長成分の夫々について算出する輝度値算出段階と、
前記予め定められた光波長成分のそれぞれにかかる係数の一組を行とする分離行列を用いて前記輝度値に対して独立成分分析を行うことにより、心拍成分を強調する心拍成分強調段階と、
前記心拍成分強調段階によって強調した心拍成分に基づいて、心拍数を算出する心拍算出段階とを含み、
前記分離行列は、緑色の前記光波長成分の輝度値にかかる係数の絶対値が、他の色の前記光波長成分の輝度値にかかる係数の絶対値よりも大きい係数からなる、心拍成分強調係数からなる行を含む
心拍推定方法。
時間的に連続した複数の画像のそれぞれから被験者の顔領域を含む関心領域を検出する関心領域検出手段と、
前記関心領域内の画像に含まれる輝度値を、予め定められた光波長成分の夫々について算出する輝度値算出手段と、
前記予め定められた光波長成分のそれぞれにかかる係数の一組を行とする分離行列を用いて前記輝度値に対して独立成分分析を行うことにより、心拍成分を強調する心拍成分強調手段と、
前記心拍成分強調手段によって強調した心拍成分に基づいて、心拍数を算出する心拍算出手段とをコンピュータに実行させるプログラムであって、
前記分離行列は、緑色の前記光波長成分の輝度値にかかる係数の絶対値が、他の色の前記光波長成分の輝度値にかかる係数の絶対値よりも大きい係数からなる、心拍成分強調係数からなる行を含む
プログラム。