JP6349075B2

JP6349075B2 - 心拍数測定装置及び心拍数測定方法

Info

Publication number: JP6349075B2
Application number: JP2013241591A
Authority: JP
Inventors: 利浩北島; エドワード村上; 相彦崔
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2013-11-22
Filing date: 2013-11-22
Publication date: 2018-06-27
Anticipated expiration: 2033-11-22
Also published as: US10383532B2; KR20150059631A; JP2015100432A; KR102322028B1; US20150148687A1

Description

人体に非接触で心拍数を測定する技術に関する。

ビデオカメラでキャプチャされた画像に基づいて被験者の心拍数を求める方法が知られている。例えば、特許文献１においては、顔画像の領域内の赤緑青の各平均値を算出してから、独立成分分析（independent component analysis, ＩＣＡ）によって処理した後に、１つの成分波形の周波数分析で得たピーク周波数から心拍数を測定する。

米国特許出願公開第２０１１／０２５１４９３号明細書

従来の心拍数測定方法では、被験者の顔が動いた場合や瞬きをした場合、会話のために口を動かした場合等に、心拍数が正確に測定できないという問題がある。

本発明は上記課題を解決するためになされたものであり、顔の動きがある場合でも被験者の心拍数を測定し得る。

さまざまな実施形態によれば、被験者の心拍数を測定する装置であって、前記被験者の画像における前記被験者の顔を認識する顔認識器と、前記画像における前記顔の器官を検出する顔器官検出器と、前記器官の位置に基づいて前記被験者の顔の画像から定められた領域を切り出す対象領域切り出し器と、前記定められた領域中の画素群の輝度信号と、前記被験者の心拍に対応する心拍成分以外の、ノイズ成分の信号との差分を取ることによって、前記ノイズ成分が低減された差分信号を求めるノイズ低減器と、前記差分信号に基づいて前記被験者の心拍数を検出する心拍数検出器と、を備えた心拍数測定装置が提供される。

さまざまな実施形態によれば、電子装置を用いて被験者の心拍数を測定する方法であって、前記被験者の画像における前記被験者の顔を認識するステップと、前記画像における前記顔の器官を検出するステップと、前記器官の位置に基づいて前記被験者の顔の画像から定められた領域を切り出すステップと、前記定められた領域中の画素群の輝度信号と、前記被験者の心拍に対応する心拍成分以外の、ノイズ成分の信号との差分を取ることによって、前記ノイズ成分が低減された差分信号を求めるステップと、前記差分信号に基づいて前記被験者の心拍数を検出するステップと、を備えた心拍数測定方法が提供される。

さまざまな実施形態によれば、顔の動きがある場合でも被験者の心拍数を測定し得る。

被験者の顔の動画に基づいて被験者の心拍数を測定できるシステムを示す図である。ビデオカメラが撮像した動画の１枚のフレームを示す図である。フレームの中の被験者の顔を示す図である。被験者の顔器官を示す図である。被験者の顔の一部である対象領域を示す図である。対象領域の画素群のＧ（緑）成分の平均値を時系列データとして表したグラフを示す図である。対象領域の画素群のＲ（赤）成分の平均値を時系列データとして表したグラフを示す図である。時系列データから時系列データを引いた差分信号を時系列データとして表したグラフを示す図である。時系列データを周波数領域で表した周波数スペクトルを示す図である。対象領域の画素群のＧ成分の平均値を時系列データとして表したグラフを示す図である。時系列データに対して移動平均を行って得られた結果を時系列データとして表したグラフを示す図である。時系列データから時系列データを引いた差分信号を時系列データとして表したグラフを示す図である。時系列データを周波数領域で表した周波数スペクトルを示す図である。システムのハードウェアを示すブロック図である。ノイズ低減器の動作を実現するプログラムのフローチャートである。

語句の定義
被験者は、心拍数測定の対象となる人間であり、典型的には、心拍数を測定する心拍数測定装置（単にシステムともいう）のユーザである。しかし被験者は、システムのユーザ以外の人間であってもよい。

顔の動きは、動画を構成するそれぞれのフレームに対する顔の位置の変化、顔の向きの変化、及び顔の表情の変化等を含む。顔の動きによる輝度値の変化は、体動ノイズとも呼ばれる。

ＲＧＢ表色系は、赤（Ｒ）成分、緑（Ｇ）成分、及び青（Ｂ）成分によって表現される色空間である。単に「Ｒ成分」、「Ｇ成分」、及び「Ｂ成分」という時は、それぞれＲＧＢ表色系の原色である赤成分、緑成分、及び青成分を意味する。

ＨＳＶ表色系は、色相、彩度、及び明度によって表現される色空間である。ＹＵＶ表色系は、輝度信号Y、及び2つの色差信号によって表現される色空間である。

平均という語は、重み付けをして平均を取る加重（異重）平均と、そのような重み付けをしない単純平均とを含む。

プロセッサは、典型的にはＣＰＵ（中央処理装置）であるが、これには限定されず、さまざまな実施形態によるプログラムを実行できる任意の適切なハードウェアであればよい。このハードウェアは、複数のプロセッサを含んでもよい。

さまざまな実施形態によるプログラムを記憶するハードウェアは、単一のメモリでもよく、複数のメモリであってもよい。

「又は」という語は、排他的な論理和に加えて、積をも含む。したがって例えば「Ｐ又はＱ」は、「Ｐ」、「Ｑ」、及び「Ｐ及びＱ」を含む。

システムの概略
図１は、被験者の顔の動画に基づいて被験者の心拍数を測定できるシステム１００を示す図である。心拍数測定システム１００は、例えば、テレビ、携帯電話等のような電子装置の一部であり得る。システム１００は、ビデオカメラ１０２から被験者の顔が含まれる動画データを受け取る。ビデオカメラ１０２は、システム１００に含まれてもよい。例えばビデオカメラ１０２は、テレビの筐体内に設けられてもよい。代替として、ビデオカメラ１０２は、携帯電話機の筐体内に設けられてもよい。

ビデオカメラ１０２は、典型的にはＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサを有し、これによって動画を撮像し、出力する。ビデオカメラ１０２は、他の種類のイメージセンサを利用してもよい。撮像された動画は、時系列に並んだフレーム群によって表現される。

ビデオカメラ１０２が出力する動画の解像度は、例えば、フルハイビジョン相当（１９２０画素×１０８０画素）であり、フレームレートは、３０フレーム／秒である。しかし解像度はこれには限定されずビデオカメラ１０２は、より低解像度（例えば６４０画素×４８０画素）であってもよく、より高解像度であってもよい。またフレームレートも３０フレーム／秒には限定されず、他の任意の適切なフレームレートであってもよい。

システム１００は、被験者の顔の動画に基づいて被験者の心拍数を測定し、表示装置１１４に出力する。表示装置１１４は、例えば、テレビの液晶ディスプレイであってもよく、携帯電話機の液晶ディスプレイであってもよい。代替として表示装置１１４は、心拍数を表示するためのＬＥＤ（発光ダイオード）を用いた表示器であってもよい。

動画からの顔認識
図２は、ビデオカメラ１０２が撮像した動画の１枚のフレーム２１０を示す図である。顔認識器１０４は、ビデオ信号１２０をビデオカメラ１０２から受け取る。ビデオ信号１２０は、典型的にはデジタルビデオ信号であり、ＲＧＢ表色系の三原色で動画を表現する。しかしビデオ信号１２０は、これには限定されず、ＨＳＶ表色系又はＹＵＶ表色系の三原色で動画を表現してもよい。ビデオ信号１２０が、後述するノイズ低減器１１０で用いられる色に対応する画素データを持たない時は、ノイズ低減器１１０で用いられる色に対応する画素データに持つようビデオ信号１２０を変換すればよい。そのような信号変換器は、例えばビデオカメラ１０２と顔認識器１０４との間に設けられてもよく、顔認識器１０４に含まれてもよい。

フレーム２１０は、例えば、ビデオカメラ１０２がフルハイビジョン動画を撮像する場合は、横１９２０画素、縦１０８０画素である。しかしビデオカメラ１０２が撮像する動画のフレームの解像度（すなわち縦横の画素数）は、これには限定されず、後述の対象領域を取得できる程度の解像度があればよい。

ビデオ信号１２０が表す動画のうちの１枚のフレーム２１０は、例えば、被験者の顔２１２、被験者の体２１４、及び被験者以外の物（前景、背景２１６等）を含む。顔認識器１０４は、フレーム２１０の中から被験者の顔２１２を識別する。

図３は、フレーム２１０の中の被験者の顔３１０（図２の２１２）を示す図である。顔認識器１０４は、ビデオ信号１２０が表す動画のそれぞれのフレームにおいて、被験者の顔３１０を認識する。顔認識には、任意の適切な既知の顔認識手法が用いられ得る。顔認識器１０４が、あるフレーム中に人間の顔が存在すると判断する時は、その顔が被験者の顔３１０であると想定し、その顔３１０に対応する顔領域３２０を決定する。

図４は、被験者の顔３１０の顔器官を示す図である。顔器官検出器１０６は、顔領域３２０を表す信号を顔認識器１０４から受け取り、顔領域３２０内にある被験者の顔器官を検出する。例として顔器官は、目４１０、鼻４１２、及び口４１４であるが、これらに限定されない。顔器官検出器１０６は、目４１０、鼻４１２、及び口４１４の位置を表すデータを対象領域切り出し器１０８に出力する。

対象領域切り出し
図５は、被験者の顔３１０の一部である対象領域５１０を示す図である。対象領域切り出し器１０８は、被験者の目４１０、鼻４１２、及び口４１４の位置を表すデータを顔器官検出器１０６から受け取る。対象領域切り出し器１０８は、例えば、被験者の顔器官（例えば目４１０、及び口４１４）の位置に基づいて、心拍数測定に用いられる対象領域５１０をフレーム２１０から切り出す。対象領域切り出し器１０８は、目４１０、及び口４１４に加えて、又はこれら顔器官の代わりに、例えば鼻４１２に基づいて対象領域５１０を切り出してもよい。対象領域５１０は、例えば横１００画素、縦１００画素であり得るが、この具体的な値には限定されず、図示されるような長方形の領域であってもよい。

対象領域５１０は、顔の中でも表情による動きが比較的少ない領域であるため、心拍数の測定には適する。加えて、対象領域５１０は、被験者の顔３１０の中央に位置するので被験者の顔がフレーム２１０内で動いても心拍数測定に与える影響が比較的、小さい。さまざまな実施形態において、対象領域５１０は、好ましくは、目４１０の下端を結ぶ水平な直線、口４１４の上端を通る水平な直線、及び目４１０の目尻を通る鉛直な直線に囲まれた長方形である。

対象領域切り出し器１０８は、典型的には対象領域５１０内の画素値データをノイズ低減器１１０に出力する。代替として、対象領域切り出し器１０８は、フレーム２１０に対する対象領域５１０の位置を表すデータをノイズ低減器１１０に出力してもよい。この場合は、ノイズ低減器１１０は、後述の輝度値の平均を取るために、ビデオ信号１２０の画素データが記憶されたビデオメモリにアクセスすればよい。

ノイズ低減
ノイズ低減器１１０は、対象領域５１０の画素値データを対象領域切り出し器１０８から受け取り、心拍成分以外の、ノイズ成分が低減された信号８１０を出力する。具体的には、ノイズ低減器１１０は、対象領域５１０の画素群の輝度値の平均を表す輝度信号と、ノイズ成分の信号との差分をとり、これを差分信号として出力する。

画素値変化の心拍成分は、被験者の心臓の拍動によって生じる。画素値変化のノイズ成分は、典型的には、被験者の顔の動き、又は被験者の顔を照らす環境光の強度変化によって生じる。ノイズ成分は、対象領域５１０の画素群の輝度値を変化させるので、心拍成分を検出する妨げとなり得る。そのためノイズ成分は、除去又は低減することが好ましい。典型的にはノイズ成分は、心拍成分よりも低い周波数成分を主にもつ。

図６は、対象領域５１０の画素群（例えば横１００画素、縦１００画素）のＧ成分の平均値を時系列データ６１０として表したグラフ６００を示す図である。ノイズ低減器１１０は、対象領域５１０の画素群の輝度値から時系列データ６１０を生成する。以下の説明で時系列データ（例えば６１０）は、例として１／３０秒の時間間隔でサンプリングされたＧ成分平均値である。これはビデオ信号１２０のフレームレートが３０フレーム／秒だからである。しかしサンプリングレートは、これには限定されず、動画のフレームレートに応じて任意の適切なサンプリングレートが用いられ得る。区間６２０で被験者の顔３１０がフレームに対して動いたために、時系列データ６１０にも大きな変動が見られる。

図７は、対象領域５１０の画素群のＲ成分の平均値を時系列データ７１０として表したグラフ７００を示す図である。ノイズ低減器１１０は、対象領域５１０の画素群の輝度値から時系列データ７１０を生成する。グラフ６００及びグラフ７００は、ビデオ信号１２０の同じ時間期間から得られた時系列データである。区間６２０と同様に、区間７２０で被験者の顔３１０がフレームに対して動いたために、時系列データ７１０にも大きな変動が見られる。

図８は、時系列データ７１０から時系列データ６１０を引いた差分信号を時系列データ８１０として表したグラフ８００を示す図である。ノイズ低減器１１０は、時系列データ７１０から時系列データ６１０を引いた差分信号を時系列データ８１０として生成し、心拍数検出器１１２に出力する。区間８２０で被験者の顔３１０が動いたにもかかわらず、時系列データ８１０には大きな変動が見られない。これは、被験者の顔の動きによるノイズ成分が（Ｒ成分−Ｇ成分）の差分演算によって低減したからである。この差分演算は、顔の動きによるノイズ成分だけを低減するのではなく、被験者の顔を照らす環境光の強度変化によるノイズ成分をも低減し得る。

被験者の心臓の拍動によって血管中を流れる酸化ヘモグロビンの量が増えた瞬間には、被験者の顔でＧ成分が吸収される。このため、顔で反射したビデオ信号１２０のＲＧＢ成分の中では、Ｇ成分が心拍成分を最も多く含む。これに対してＲ成分は、心拍成分をＧ成分ほど多くは含まないので、これら２つの成分の差分を取ることによってノイズ成分が相殺される。なお、心拍数の測定のためには、差分信号の符号を考慮する必要はない。したがって２つの成分の差分を取る時には差の絶対値を考えれば十分である。

上述の例では、ノイズ成分を低減するために、（Ｒ成分−Ｇ成分）の差分演算を利用した。代替として、（Ｂ成分−Ｇ成分）の差分演算を利用してもよい。この差分演算もノイズ成分を低減できるという効果を有する。

心拍数検出
図９は、時系列データ８１０を周波数領域で表した周波数スペクトル９００を示す図である。心拍数検出器１１２は、高速フーリエ変換により、正規化された差分成分（時系列データ８１０）を周波数成分に変換する。周波数帯域は、心拍数として取り得る範囲９２０、範囲９２０より周波数が低い範囲９１０、及び範囲９２０より周波数が高い範囲９３０の３つの範囲に区分できる。心拍数検出器１１２は、範囲９２０内でのピーク９２２を検出し、ピーク９２２に対応する周波数９２４を心拍数として表示装置１１４に出力する。図９の例ではピーク９２２の周波数９２４は、０．８５Ｈｚである。よって心拍数ＨＲは、ＨＲ＝０．８５×６０＝５１（ｂｐｍ、毎分脈拍）となる。

上述のように、ノイズ低減器１１０は、ノイズ成分を（Ｒ成分−Ｇ成分）の差分演算によって低減することができる。

ピーク検出
ピーク周波数９２４を検出するために、簡単には、平面上の座標のうちy座標値が最も
大きい点がピークであるとみなすことができる。これに対して、心拍数検出器１１２は、より高い精度でピーク周波数を検出するために、好ましくは、直線フィッティング又は曲線フィッティングを利用する。これらフィッティングは、(x-1, y), (x, y), (x+1, y)の平面上の３点から、ピークに対応するx座標を求める手法である。

直線フィッティングの一例として、以下の式による等角直線フィッティングが用いられ得る。

もしSAD(x+1, y)<SAD(x-1, y)ならxsub=(SAD(x+1, y)-SAD(x-1, y))/2(SAD(x, y)-SAD(x-1, y))とする。

もしSAD(x+1, y)≧<SAD(x-1, y)ならxsub=(SAD(x+1, y)-SAD(x-1, y))/2(SAD(x, y)-SAD(x+1, y))とする。

ここでSADは、絶対誤差の総和（Sum of Absolute Differences）を表し、xsubはピーク周波数を表す。

曲線フィッティングの一例としては、以下の式によるパラボラフィッティングが用いられ得る。

xsub=(SAD(x-1, y)-SAD(x+1, y))/(2(SAD(x-1, y)-4SAD(x, y)+2SAD(x+1, y))
このようにピークを求める時に直線フィッティング又は曲線フィッティングを用いれば、ピーク周波数を決定時の分解能を改善し得る。

移動平均
代替として、ノイズ低減器１１０は、移動平均との差分演算によってノイズ成分を低減してもよい。

図１０は、対象領域５１０の画素群のＧ成分の平均値を時系列データ１０１０として表したグラフ１０００を示す図である。ノイズ低減器１１０は、対象領域５１０の画素群の輝度値から時系列データ１０１０を生成する。

図１１は、時系列データ１０１０に対して移動平均を行って得られた結果を時系列データ１１１０として表したグラフ１１００を示す図である。ノイズ低減器１１０は、時系列データ１０１０から時系列データ１１１０を生成する。例として、時系列データ１０１０に対して、連続する５つのサンプリング点を用いた移動平均を、２０回繰り返し行うことによって、時系列データ１１１０は得られる。

図１２は、時系列データ１０１０から時系列データ１１１０を引いた差分信号を時系列データ１２１０として表したグラフ１２００を示す図である。ノイズ低減器１１０は、時系列データ１０１０から時系列データ１１１０を引いた差分信号を時系列データ１２１０として出力する。この時系列データ１２１０は、時系列データ８１０に対応する。

図１３は、時系列データ１２１０を周波数領域で表した周波数スペクトル１３００を示す図である。移動平均を利用する場合も、心拍数検出器１１２は、図９を用いて説明したのと同様に動作する。すなわち、高速フーリエ変換により、正規化された差分成分（時系列データ１２１０）を周波数成分に変換する。周波数帯域は、心拍数として取り得る範囲１３２０、範囲１３２０より周波数が低い範囲１３１０、及び範囲１３２０より周波数が高い範囲１３３０の３つの範囲に区分できる。心拍数検出器１１２は、範囲１３２０内でのピーク１３２２を検出し、ピーク１３２２の周波数１３２４を心拍数として表示装置１１４に出力する。

上述のように時系列データと、移動平均がとられた時系列データとによって差分演算を行えば、被験者の顔を照射する光の周波数成分が変化してもその影響を受けにくいという効果を奏する。

システムのハードウェア
図１４は、システム１００のハードウェアを示すブロック図である。心拍数を測定するシステム１００は、例えばテレビ、携帯電話等の任意の適切な電子装置、又はそのような電子装置の一部であり得る。システム１００は、プログラム実行部１４００等を含む。システム１００には、例えば、ビデオカメラ１０２、表示装置１１４等が結合される。ビデオカメラ１０２及び表示装置１１４は、システム１００の筐体内に組み込まれてもよい。

プログラム実行部１４００は、典型的にはＣＰＵ１４０２、ＲＯＭ１４０４、ＲＡＭ１４０６、信号処理部１４０８、及び画像処理部１４１０によって構成される。プログラム実行部１４００は、本明細書で説明するさまざまな動作をＣＰＵ１４０２によって実行することにより、それぞれの動作に対応する構成を実現する。具体的には、プログラム実行部１４００は、図１に示される各構成を少なくとも実現する。プログラム実行部１４００は、プログラムを実行するのに必要な他のさまざまな構成を有してもよい。逆にプログラム実行部１４００は、上記構成のうちの一部を省略してもよい。

ＣＰＵ１４０２は、システム１００の各構成要素とバス１４２０を介して接続され、制御信号やデータをやりとりすることによって、その全体の動作を制御する。ＣＰＵ１４０２は、ＲＡＭ１４０６に記憶されたプログラムを構成する要素群を実行することによって、所望の動作を実現する。具体的にはＣＰＵ１４０２は、図１に示される構成を実現する。

ＣＰＵ１４０２は、レジスタに対してＡＬＵ（Arithmetic Logic Unit）を用いて加減
乗除等の算術演算や、論理和、論理積、論理否定等の論理演算、ビット和、ビット積、ビット反転、ビットシフト、ビット回転等のビット演算等を行うことができる。ＣＰＵ１４０２は、マルチメディア処理のための加減乗除等の飽和演算、及び三角関数等ベクトル演算を高速に行えるように構成されてもよい。ＣＰＵ１４０２は、演算を高速に行うためにコプロセッサを備えてもよい。

ＲＯＭ１４０４は、電源投入直後に実行されるＩＰＬ（initial program loader）を記憶する。ＣＰＵ１４０２は、ＩＰＬを実行することによって、ＲＯＭ１４０４に記録されたプログラムを読み出す。ＣＰＵ１４０２は、読み出されたプログラムをＲＡＭ１４０６に記憶させ、プログラムの実行に必要な処理を行う。ＲＯＭ１４０４は、システム１００の制御に必要なオペレーティングシステムのプログラム及び各種データを記憶する。

ＲＡＭ１４０６は、データやプログラムを一時的に記憶する。ＲＡＭ１４０６は、ＲＯＭ１４０４及び記録媒体１４４２から読み出したプログラム、プログラムに付随するデータ、通信に関連するデータ等を記憶する。ＣＰＵ１４０２は、ＲＡＭ１４０６に変数領域を設け、変数領域に格納された値に対して直接に演算を行ってもよい。ＣＰＵ１４０２は、ＲＡＭ１４０６に記憶された値をいったんレジスタに格納してからレジスタに対して演算を行い、演算結果をメモリに書き戻してもよい。

インタフェース１４３０は、コントローラ１４３２によって検出されたユーザの操作に関連付けられたデータを、バス１４２０を介してＣＰＵ１４０２等に送る。信号処理部１４０８及び画像処理部１４１０は、バス１４２０を通してＣＰＵ１４０２と接続される。ＣＰＵ１４０２は、プログラムからの命令を解釈し、各種のデータ処理及び制御を行う。例えば、ＣＰＵ１４０２は、信号処理部１４０８に対して、画像データを処理するように命令する。信号処理部１４０８は、例えば画像信号から対象領域の画素を切り出すこと、対象領域の画素値の平均を計算すること等のさまざまな計算や、画像及び音声データの生成を行う。

記録媒体１４４２は、任意の適切なコンピュータ読み取り可能な記録媒体であり、本発明によるプログラム、及びプログラムに付随するデータを記録してもよい。ドライブ１４４０は、ＣＰＵ１４０２の制御によって、記録媒体１４４２からプログラム及び付随するデータを読み出す。ＣＰＵ１４０２は、読み出されたプログラム及びデータをバス１４２０を介して、ＲＡＭ１４０６に転送し、一時的に記憶する。

画像出力部１４６０は、測定された心拍数を表示装置１１４上に表示する画像処理等を実行する。

音声出力部１４７０は、典型的にはデジタルアナログ変換器を有する。音声出力部１４７０は、例えば、測定された心拍数に応じた音声を出力する。表示装置１１４は、例えば、液晶ディスプレイであり得る。

プログラム実行部１４００は、上述の構成要素に加えて他のハードウェア又はソフトウェアの要素をさらに備えてもよい。例えばプログラム実行部１４００は、単一のＣＰＵ１４０２の代わりに複数のＣＰＵを用いることによって並列処理を行い、計算速度を高速化してもよい。逆に、プログラム実行部１４００は、上述の構成要素の一部を含まなくてもよい。画像出力部１４６０は、典型的にはデジタルアナログ変換器、フレームメモリを
有する。このフレームメモリは、例えば画像処理部１４１０によって処理された画像データを記憶する。

ネットワークインタフェース１４５０は、ネットワーク１４５２を通して外部装置１４５６と通信するのに用いられる。例えば、被験者の心拍数を表すデータは、外部装置１４５６に伝達され得る。このような構成によって、例えば、被験者の心拍数を、被験者自身による心拍測定を介在させることなく、遠隔地にいる医療関係者に伝えることが可能となる。逆に、システム１００は、ネットワーク１４５２に接続することなく、単体で心拍測定を行うプログラムを実行し、被験者自身が自分の心拍数を表示装置１１４によって知る構成であってもよい。

本発明によるプログラムは、典型的にはＲＯＭ１４０４からＲＡＭ１４０６にロードされる。しかしこれには限られず、本発明によるプログラムの全部又は一部が、ネットワーク１４５２を介して、遠隔地にあるコンピュータ（例えばサーバ）からロードされてもよい。また本発明によるプログラムに関連して用いられるデータの全部又は一部が、ネットワーク１４５２を介して、遠隔地にあるコンピュータ（例えばサーバ）からロードされてもよい。

システムのソフトウェア
図１５は、ノイズ低減器１１０の動作を実現するプログラムのフローチャート１５００である。フローチャート１５００で表されるプログラムは、例えば、ＲＯＭ１４０４又は記録媒体１４４２からＲＡＭ１４０６上にロードされ、一時的に記憶される。その後、プログラムは、ＣＰＵ１４０２によって実行され、心拍数を表すデータがバス１４２０を介して出力される。出力されたデータは、例えば、表示装置１１４上に表示されることによってユーザである被験者に提示される。

ここでは、図６〜図９を用いて説明した（Ｒ成分−Ｇ成分）の差分演算を実現するプログラムを例として説明する。しかしこれには限定されず、さまざまな実施形態によるプログラムは、例えば、図１０〜図１３を用いて説明した、Ｇ成分と、移動平均が施されたＧ成分との差分演算を実現してもよい。

プログラムは、１５１０において任意のトリガによって起動され得る。例えば、被験者自身がシステム１００のコントローラ１４３２（例えばスイッチ）を操作することによってプログラムを起動できる。

１５１２において、対象領域５１０の画素値データのうちＧ成分の平均値を求める。例えば、対象領域５１０が縦１００画素、横１００画素からなる場合、合計で１００００画素のＧ成分の平均値を求める。対象領域５１０は、ビデオ信号１２０のそれぞれのフレームについて設けられているので、Ｇ成分の平均値である時系列データ６１０も時間依存の変数である。

１５１４において、対象領域５１０の画素値データのうちＲ成分の平均値を求める。例えば、対象領域５１０が縦１００画素、横１００画素からなる場合、合計で１００００画素のＲ成分の平均値を求める。対象領域５１０は、ビデオ信号１２０のそれぞれのフレームについて設けられているので、Ｒ成分の平均値である時系列データ７１０も時間依存の変数である。

１５１６において、時系列データ７１０から時系列データ６１０を減ずることによって、差分信号である時系列データ８１０を求める。時系列データ６１０及び時系列データ７１０は、心拍数による周波数成分（大まかには１Ｈｚのオーダー）を後で抽出できる程度に長い時間期間について取得する必要がある。例えば、時系列データ６１０及び時系列データ７１０は、数秒のオーダーのビデオ信号１２０に基づく。

１５１８において、時系列データ８１０を時間領域から周波数領域に変換し、周波数スペクトル９００を求める。この変換は例えば高速フーリエ変換によって行われ得る。

１５２０において、周波数スペクトルのうち低域及び高域に存在し得るノイズ成分を無視して、中域に存在するはずの心拍数に対応するピークを検出する。

１５２２において、検出されたピークの周波数に基づいて心拍数を求め、適当な形態（例えば表示装置１１４上での画像表示）によって出力する。

１５２４において、プログラムを終了する。必要に応じて、プログラムの制御を１５２４から１５１０に戻すことによって、心拍数測定の処理を繰り返してもよい。加えて、１５２２において、妥当な心拍数が測定されなかった時に、測定エラーの旨をユーザに知らせ、プログラムの制御を１５１０に戻すことによって測定を再び行ってもよい。

フローチャート１５００に示す複数の処理は図示される順に実行される必要はなく、適宜、同時に実行されたり、パイプライン処理されたりしてもよい。フローチャート１５００で表されるプログラムの動作は、全てがハードウェア及びソフトウェアの組み合わせによって実行される必要はなく、ハードウェアだけによって実現されてもよい。

ノイズ低減器１１０がハードウェア及びソフトウェアの組み合わせによって典型的には実現されるのと同様に、システム１００の他の要素もハードウェア及びソフトウェアの組み合わせによって典型的には実現され得る。しかしシステム１００の他の要素の動作は、全てがハードウェア及びソフトウェアの組み合わせによって実行される必要はなく、ハードウェアだけによって実現されてもよい。例えば、システム１００の全体又は一部は、ＡＳＩＣ（特定用途向け集積回路）を用いて実現されてもよい。

代替として、１５１２及び１５１４において、Ｇ成分と、（Ｒ成分＋Ｂ成分）／２とをそれぞれ求め、１５１６において、これらの差分を取ってもよい。Ｒ成分及びＢ成分の平均を取ることによって、被験者の動きによるノイズ成分に加えて、環境光によるノイズ成分も低減されやすくなるからである。

代替として、１５１２及び１５１４において、ＲＧＢ表色系、ＨＳＶ表色系、又はＹＵＶ表色系の原色のうちの２つの成分をそれぞれ求め、１５１６において、これらの差分を取ってもよい。

代替として、１５１２及び１５１４において、近赤外線領域の光を被験者に照射し、反射光の成分と、それに移動平均を行って得られた成分とをそれぞれ求め、１５１６において、これらの差分を取ってもよい。これにより、環境光の影響を受けることが少なくなるという効果が得られる。さらなる代替として遠赤外線領域の光、又はＲＧＢ表色系の原色である青色の光を被験者に照射してもよい。

上述のさまざまな実施形態によれば、独立成分分析と比較して、測定開始時点においてノイズ成分（特に顔の動きによるノイズ成分）が存在しても心拍数を正しく検出できるという効果を有する。

当業者には理解されるように、上述のさまざまなハードウェア及びソフトウェアの要素群は、その一部が省略されてもよい。逆に、付加的な要素が用いられてもよい。ハードウェア及びソフトウェアの要素群のうちの一部の要素群をまとめて単一の要素として実現してもよい。逆に、ハードウェア及びソフトウェアの要素群のうちの一つの要素を異なる複数の要素群として実現してもよい。

顔の動きがある場合でも被験者の心拍数を測定し得る心拍数測定装置及び心拍数測定方法を提供できる。

１０２ビデオカメラ
１０４顔認識器
１０６顔器官検出器
１０８対象領域切り出し器
１１０ノイズ低減器
１１２心拍数検出器
１１４表示装置
１２０ビデオ信号
３２０顔領域を表すデータ
４１０目の位置を表すデータ
４１２鼻の位置を表すデータ
４１４口の位置を表すデータ
５１０対象領域
８１０ノイズが低減された信号
９２４周波数スペクトルのピークの周波数

Claims

被験者の心拍数を測定する装置であって、
前記被験者の画像における前記被験者の顔を認識する顔認識器と、
前記画像における前記顔の器官を検出する顔器官検出器と、
前記器官の位置に基づいて前記被験者の顔の画像から定められた領域を切り出す対象領域切り出し器と、
前記定められた領域中の画素群の輝度値の平均を表す輝度信号と、前記被験者の心拍に対応する心拍成分以外の、ノイズ成分の信号との差分を取ることによって、前記ノイズ成分が低減された差分信号を求めるノイズ低減器と、
前記差分信号に基づいて前記被験者の心拍数を検出する心拍数検出器と、
を備え、
前記ノイズ低減器は、
前記心拍成分及び前記ノイズ成分として、ＲＧＢ表色系、ＨＳＶ表色系若しくはＹＵＶ表色系の原色又は近赤外線領域の色を用い、かつ、
前記輝度信号の時間方向の移動平均を行い、前記ノイズ成分として、当該移動平均によって得られた信号を用いる、
心拍数測定装置。
前記ノイズ低減器は、
前記心拍成分及び前記ノイズ成分として、ＲＧＢ表色系の原色である緑を用いる
請求項１に記載の心拍数測定装置。
前記心拍数検出器は、
前記差分信号を周波数スペクトルに変換し、前記心拍成分を含む周波数帯域におけるピークを求めることによって、前記ピークに対応する周波数を前記被験者の心拍数として出力する
請求項１に記載の心拍数測定装置。
前記心拍数検出器は、
直線フィッティング又は曲線フィッティングを用いることによって分解能を改善させる請求項１に記載の心拍数測定装置。
電子装置を用いて被験者の心拍数を測定する方法であって、
前記被験者の画像における前記被験者の顔を認識するステップと、
前記画像における前記顔の器官を検出するステップと、
前記器官の位置に基づいて前記被験者の顔の画像から定められた領域を切り出すステップと、
前記定められた領域中の画素群の輝度値の平均を表す輝度信号と、前記被験者の心拍に対応する心拍成分以外の、ノイズ成分の信号との差分を取ることによって、前記ノイズ成分が低減された差分信号を求めるステップと、
前記差分信号に基づいて前記被験者の心拍数を検出するステップと、
を備え、
前記差分信号を求めるステップでは、
前記心拍成分及び前記ノイズ成分として、ＲＧＢ表色系、ＨＳＶ表色系若しくはＹＵＶ表色系の原色又は近赤外線領域の色を用い、かつ、
前記輝度信号の時間方向の移動平均を行い、前記ノイズ成分として、当該移動平均によって得られた信号を用いる
心拍数測定方法。
１つ以上のプロセッサによって実行されるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
被験者の画像における前記被験者の顔を認識すること、
前記画像における前記顔の器官を検出すること、
前記器官の位置に基づいて前記被験者の顔の画像から定められた領域を切り出すこと、
前記定められた領域中の画素群の輝度値の平均を表す輝度信号と、前記被験者の心拍に対応する心拍成分以外の、ノイズ成分の信号との差分を取ることによって、前記ノイズ成分が低減された差分信号を求めること、及び
前記差分信号に基づいて前記被験者の心拍数を検出すること
を前記１つ以上のプロセッサに実現させるためのプログラムを記録し、
前記差分信号を求めることは、
前記心拍成分及び前記ノイズ成分として、ＲＧＢ表色系、ＨＳＶ表色系若しくはＹＵＶ表色系の原色又は近赤外線領域の色を用いること、及び、
前記輝度信号の時間方向の移動平均を行い、前記ノイズ成分として、当該移動平均によって得られた信号を用いることを含む、
コンピュータ読み取り可能な記録媒体。
１つ以上のプロセッサを備える電子装置に設けられた１つ以上のメモリ内に格納され、前記１つ以上のプロセッサによって実行されるプログラムであって、
被験者の画像における前記被験者の顔を認識すること、
前記画像における前記顔の器官を検出すること、
前記器官の位置に基づいて前記被験者の顔の画像から定められた領域を切り出すこと、
前記定められた領域中の画素群の輝度値の平均を表す輝度信号と、前記被験者の心拍に対応する心拍成分以外の、ノイズ成分の信号との差分を取ることによって、前記ノイズ成分が低減された差分信号を求めること、及び
前記差分信号に基づいて前記被験者の心拍数を検出すること
を前記１つ以上のプロセッサに実現させ、
前記差分信号を求めることは、
前記心拍成分及び前記ノイズ成分として、ＲＧＢ表色系、ＨＳＶ表色系若しくはＹＵＶ表色系の原色又は近赤外線領域の色を用いること、及び、
前記輝度信号の時間方向の移動平均を行い、前記ノイズ成分として、当該移動平均によって得られた信号を用いることを含む、
プログラム。