JP6323809B2 - 生体情報推定装置及び生体情報推定方法 - Google Patents

Description

本発明は、人の生体情報を推定する生体情報推定装置及び生体情報推定方法に関する。

従来、人の生体情報を推定するバイタルセンシング技術は、例えば在宅医療や健康管理の分野にとどまらず、運転中の眠気検知、ゲーム中のユーザの心理状態の取得、監視システムでの異常者検知等、多岐にわたる分野への応用が期待されている。現在、生体情報をセンシングする機器は、人の身体に接触させて使うタイプが主流であり、ユーザ自身が装着する必要があるため、応用範囲が限定されてしまう。

このため、非接触でセンシングするための取り組みの一つとして、カメラの撮像により得られた画像から生体情報の一例としての脈拍を推定する技術が提案されている。この技術を用いることで、ユーザに自ら意識させることなく生体情報をセンシングすることができ、応用範囲の拡大が期待できる。例えば、監視カメラで撮影しながら、ストレスにより脈拍変動が大きくなった不審人物を検知することが可能である。また、１つのカメラに写る複数人を同時にセンシング可能であることも大きなメリットである。接触型と比べ、ユーザ毎に対して個別の機器を用意する必要がなく、体に取り付ける煩わしさも低減できる。

ここで、カメラを用いた脈拍推定技術に関する先行技術として、例えば特許文献１に示す脈拍計測装置が知られている。この脈拍計測装置は、撮像された入力画像の特徴量を算出し、算出された特徴量から脈波のピーク間隔を検出し、検出された脈波のピーク間隔から脈拍数を算出する。また、脈拍計測装置は、算出された脈拍数のうち、有効なピーク間隔の割合を示す採用率に基づいた有効なピーク間隔を有する脈拍数と真の脈拍数との推定最大誤差が規定値以下となるように、単位時間あたりに撮像されるフレーム数を示すフレームレートを制御する。

特開２０１０−５１５９２号公報

しかし、上述した特許文献１では、カメラのフレームレートは最適に担保されるが、カメラから入力される画像がコマ落ちする（言い換えると、入力される画像が欠落してしまい入力されなくなる）と、フレームレートが変動するので、ユーザの脈拍数の適正な計測が困難になってしまう。

本発明は、上述した状況に鑑みて、ユーザが撮像された画像データのフレームのコマ落ちが発生した場合でも、取得した画像データに含まれるユーザの肌色領域の画像処理により、ユーザの脈拍数を非接触で高精度に推定する生体情報推定装置及び生体情報推定方法を提供することを目的とする。

本発明は、人が撮像された画像データを入力する画像入力部と、前記画像入力部により入力された前記画像データの所定範囲の信号を抽出する抽出部と、異なる係数を用いて、前記抽出部により抽出された前記所定範囲の信号のうち前記異なる係数に対応する各信号を出力する複数のフィルタ部と、各々の前記フィルタ部に対応して設けられ、対応する前記フィルタ部の１周期分の出力と前記１周期分の出力に対応する前記画像データのフレームの入力間隔とを基に、前記人の脈拍値を推定する複数の推定部と、前記複数のフィルタ部の出力に応じて、前記複数の推定部により推定された前記複数の脈拍値からいずれかを選択して出力する出力部と、を備える、生体情報推定装置である。

また、本発明は、生体情報推定装置における生体情報推定方法であって、人が撮像された画像データを入力するステップと、入力された前記画像データの所定範囲の信号を抽出するステップと、異なる係数を有する複数のフィルタ部を用いて、抽出された前記所定範囲の信号のうち前記異なる係数に対応する各信号を出力するステップと、各々の前記フィルタ部の１周期分の出力と前記１周期分の出力に対応する前記画像データのフレームの入力間隔とを基に、前記人の脈拍値を推定するステップと、前記複数のフィルタ部の出力に応じて、推定された前記複数の脈拍値からいずれかを選択して出力するステップと、を有する、生体情報推定方法である。

本発明によれば、ユーザが撮像された画像データのフレームのコマ落ちが発生した場合でも、取得した画像データに含まれるユーザの肌色領域の画像処理により、ユーザの脈拍数を非接触で高精度に推定することができる。

（Ａ）人の心臓の収縮と光の血管における吸収量との関係の一例を模式的に示す図、（Ｂ）光の強度の時系列変化の一例を示す図 ヘモグロビンにおける光の波長毎の吸収率の一例を示す図 （Ａ）第１の実施形態の生体情報推定装置の内部構成の一例を示すブロック図、（Ｂ）各実施形態の生体情報推定装置の動作概要の一例を模式的に示す図 従来のカメラを用いた脈拍算出方法の一例を示す図 図４に示す脈拍算出方法における課題の説明図 第１の実施形態の生体情報推定装置における脈拍算出方法の一例を示す図 各推定モジュール部内の波形検定部の動作例を示す説明図 第１の実施形態の生体情報推定装置の動作手順の一例を説明するフローチャート 第２の実施形態の生体情報推定装置の内部構成の一例を示すブロック図 １周期分の観測波形のピークがサンプリング位置から外れている場合の課題の説明図 各推定モジュール部の補間部の動作の第１例を示す説明図 各推定モジュール部の補間部の動作の第２例を示す説明図 各推定モジュール部の補間部の動作の第３例を示す説明図 第２の実施形態の生体情報推定装置の動作手順の一例を説明するフローチャート

以下、本発明に係る生体情報推定装置及び生体情報推定方法を具体的に開示した各実施形態について、図面を参照して説明する。各実施形態の生体情報推定装置は、例えば接触タイプの専用の脈拍数測定器を用いることなく、対象物（例えば人。以下同様。）が撮像された画像データを用いて、生体情報の一例として、人の脈拍数を非接触で推定する。

より具体的には、各実施形態の生体情報推定装置は、人が撮像された画像データのフレームを入力し、入力された画像データの所定範囲（例えば肌色領域）の信号（画素値）を抽出し、異なるフィルタ係数を用いて、抽出された所定範囲の信号のうち異なる係数に対応する各信号を各フィルタ部において出力する。また、生体情報推定装置は、各フィルタ部の少なくとも１周期分の出力信号と少なくとも１周期分の出力信号に対応する画像データのフレームの入力間隔とを基に、人の脈拍値を各フィルタ部に対応する推定モジュール部において推定し、各フィルタ部の出力信号に応じて、複数の推定モジュール部において推定された複数の脈拍値からいずれかを選択して出力する。

各実施形態の生体情報推定装置は、例えばデスクトップ型又はラップトップ型のＰＣ（Personal Computer）、スマートフォン、携帯電話機、タブレット端末、ＰＤＡ（Personal Digital Assistant）等のデータ通信端末であり、対象物の一例としての人を撮像するためのカメラ機能を有していてもよい。

先ず、各実施形態の生体情報推定装置における脈拍数の推定原理について、図１（Ａ）及び（Ｂ）を参照して説明する。図１（Ａ）は、人の心臓の収縮と光の血管における吸収量との関係の一例を模式的に示す図である。図１（Ｂ）は、光の強度の時系列変化の一例を示す図である。

図１（Ａ）では、人の心臓の収縮（systole）に同期して血管の容積が変化することが示されている。心臓の収縮に応じて血管の容積が増大すると、光（例えば図２に示す特定波長域の光）の吸収量が増大するので、光の強度（Light intensity）も減少する（図１（Ｂ）参照）。なお、脈波とは、血液が心臓の収縮により大動脈に押し出された時に発生した血管内の圧力変化が末梢方向に伝わっていく時の波の動きを示す。

図１（Ｂ）では、横軸は時間を示し、縦軸は光の吸収量の変化によって得られた信号（光電脈波）の強度を示す。つまり、図１（Ｂ）において、ピークが現れている時は光の吸収量が少ないので血管の容積が増大していない状態になっており、極小値が現れている時には光の吸収量が多いので血管の容積が増大している状態となっている。なお、心臓と末梢部分との距離によって完全には同期しておらず多少の遅延は見られるが、心臓の収縮と光電脈波の強度の変化とは基本的に同期して変動している。

図２は、ヘモグロビンにおける光の波長毎の吸収率の一例を示す図である。図２では、例えばヘモグロビン（血液）は４００ｎｍの波長（つまり緑色）を吸収し易いことが示されている。なお、以下の各実施形態では緑色の光の成分の吸収率が高いことを利用して説明するが、他には例えば赤色の光（例えば１０００ｎｍを超える波長）の成分の反射率が高いことを利用して説明してもよい。

（第１の実施形態）
以下、第１の実施形態の生体情報推定装置の構成について、図３（Ａ）を参照して説明する。図３（Ａ）は、第１の実施形態の生体情報推定装置１０の内部構成の一例を示すブロック図である。図３（Ｂ）は、各実施形態の生体情報推定装置１０，１０Ａの動作概要の一例を模式的に示す図である。

図３（Ａ）に示す生体情報推定装置１０は、カメラＣＭと、画像入力部１と、肌色抽出部２と、複数（例えば３個）のフィルタＦ１，Ｆ２，Ｆ３と、複数（例えば３個）の推定モジュール部Ｍ１，Ｍ２，Ｍ３と、信頼度判定部５と、セレクタ６と、脈拍出力部７とを含む構成である。推定モジュール部Ｍ１はフィルタＦ１に対応して設けられ、推定モジュール部Ｍ２はフィルタＦ２に対応して設けられ、推定モジュール部Ｍ３はフィルタＦ３に対応して設けられている。

カメラＣＭは、所定のフレームレート（例えば１０ｆｐｓ：frame per second）で対象物である人を撮像して画像入力部１に出力する。なお、カメラＣＭは生体情報推定装置１０の内部に含まれなくてもよく、例えば生体情報推定装置１０とはネットワークを介して接続されてもよい。ネットワークは、無線ネットワーク又は有線ネットワークをインターフェースとして接続されるインターネット又はイントラネットである。無線ネットワークは、例えば無線ＬＡＮ（Local Area Network）、無線ＷＡＮ（Wide Area Network）、３Ｇ、ＬＴＥ（Long Term Evolution）又はＷｉＧｉｇ（Wireless Gigabit）である。有線ネットワークは、例えばＩＥＥＥ８０２．３又はイーサネット（登録商標）（ＥＴＨＥＲＮＥＴ（登録商標））である。

画像入力部１は、所定のフレームレートでカメラＣＭにより人が撮像された画像データのフレームをカメラＣＭから連続的に入力（取得）して肌色抽出部２に出力する。なお、カメラＣＭと生体情報推定装置１０とが別体で構成されている場合には、画像入力部１は、カメラＣＭから送信された画像データのフレームを連続的に受信する。

抽出部の一例としての肌色抽出部２は、画像入力部１により入力された画像データの各フレーム内の所定範囲（例えば図３（Ｂ）に示す肌色領域ＦＬ１）の信号（例えば画素値、輝度値）を、少なくとも１周期（周期は既知）分のフレーム数を用いて抽出する。ここで、肌色抽出部２により抽出された時系列の信号は、例えば図３（Ｂ）に示す人の顔の紙面下側に示されたノイズ信号が含まれた原信号である。肌色抽出部２は、抽出された所定範囲の信号を各フィルタ部Ｆ１〜Ｆ３に出力する。

フィルタ部Ｆ１，Ｆ２，Ｆ３は、それぞれ異なるフィルタ係数を用いたバンドパスフィルタを用いて構成され、それぞれの動作はフィルタ係数が異なること以外は共通であるため、フィルタ部Ｆ１の動作を例示して説明する。フィルタ部Ｆ１は、肌色抽出部２から出力された所定範囲の信号（画素値）を平均化することで、例えばカメラＣＭの撮像時に含まれたノイズ信号を除去する。

この平均化により人の脈波が抽出され得るが、まだ身体の動き成分やノイズの残留成分が含まれている可能性が高いので、フィルタ部Ｆ１は、フィルタ部Ｆ１に対応するフィルタ係数を用いて、脈波の基本周波数以外の周波数成分をカットする。フィルタ部Ｆ１の出力は、推定モジュール部Ｍ１に入力される。

フィルタ部Ｆ１のフィルタ係数は、例えば３０〜６０ｂｐｍの信号がフィルタ部Ｆ１を通過するように予め設定されている。なお、フィルタ部Ｆ２のフィルタ係数は、例えば５０〜９０ｂｐｍの信号がフィルタ部Ｆ２を通過するように予め設定されている。また、フィルタ部Ｆ３のフィルタ係数は、例えば７０〜１２０ｂｐｍの信号がフィルタ部Ｆ３を通過するように予め設定されている。

一般に安静時の成人の脈拍は６０〜８０ｂｐｍであるが、被験者が徐脈又は頻脈を有する場合や、運動や緊張時の影響も考慮し、各フィルタ部Ｆ１〜Ｆ３では通過対象範囲が３０〜１２０ｂｐｍと設定されている。また、３個のフィルタ部Ｆ１〜Ｆ３を用いて各フィルタ部Ｆ１〜Ｆ３の出力信号の帯域が３個に分割されていることで、各フィルタ部Ｆ１〜Ｆ３の出力信号が正弦波に近づき（図３（Ｂ）に示すマルチバンドフィルタの各波形参照）、各フィルタ部Ｆ１〜Ｆ３の出力を用いた脈波の推定精度を向上することができる。

推定モジュール部Ｍ１は、波形検定部Ｍ１ａと脈拍推定部Ｍ１ｂとを含む構成である。以下、推定モジュール部Ｍ１，Ｍ２，Ｍ３の構成は同様であるため、推定モジュール部Ｍ１の動作を例示して説明する。

検定部の一例としての波形検定部Ｍ１ａは、フィルタ部Ｆ１の少なくとも１周期分の出力信号が入力され、フィルタ部Ｆ１においてカットできなかったノイズ信号の区間を検出するために、入力された少なくとも１周期分の出力信号のうち所定条件（つまり、数式（１）、数式（２））を満たす信号（つまり、ノイズ信号）の区間があるか否かを判断する（図７参照）。波形検定部Ｍ１ａは、所定条件を満たすと判断した出力信号の区間を無効（invalid）区間として排除する。図７は、各推定モジュール部Ｍ１，Ｍ２，Ｍ３内の波形検定部の動作例を示す説明図である。

図７では、例えばフィルタ部Ｆ１の少なくとも１周期分の出力信号の振幅の時系列的な変化が示されており、Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６，Ｐ７は、例えば波形検定部Ｍ１ａに含まれるＡＤＣ（Analog Digital Converter）によりＡＤ変換されたサンプル値である。ＭＰＡ（Mean peak to peak amplitude）は、各サンプル値Ｐ１〜Ｐ７のピーク間の振幅の平均値を示す。ＰＰＡ（Peak to peak amplitude）は、各サンプル値Ｐ１〜Ｐ７のピーク間の振幅の最大値を示す。

数式（１）によれば、波形検定部Ｍ１ａは、フィルタ部Ｆ１の少なくとも１周期分の出力信号の振幅が所定値（例えばゼロ）に比べて極端に大きい信号を排除することができる。また、数式（２）によれば、波形検定部Ｍ１ａは、フィルタ部Ｆ１の少なくとも１周期分の出力信号の振幅が所定値（例えばゼロ）に比べて極端に小さい信号を排除することができる。波形検定部Ｍ１ａは、所定条件（つまり、数式（１）、数式（２））を満たす信号の区間があると判断した場合には、該当する信号の区間を排除した少なくとも１周期分の信号を脈拍推定部Ｍ１ｂ及び信頼度判定部５に出力する。

一方、波形検定部Ｍ１ａは、所定条件（つまり、数式（１）、数式（２））を満たす信号の区間がないと判断した場合には、フィルタ部Ｆ１の少なくとも１周期分の出力信号をそのまま脈拍推定部Ｍ１ｂ及び信頼度判定部５に出力する。波形検定部Ｍ１ａの処理は、人の脈波の振幅が一定幅の中で緩やかに変化するという知見を利用しており、数式（１）、数式（２）を満たす信号は外乱ノイズである可能性が高いことになる。なお、他の推定モジュール部Ｆ２，Ｆ３内の波形検定部（不図示）からも同様な出力信号が信頼度判定部５に入力される。

推定部の一例としての脈拍推定部Ｍ１ｂは、フィルタ部Ｆ１の少なくとも１周期分の出力信号又は波形検定部Ｍ１ａの少なくとも１周期分の出力信号を基に、数式（３）に従って、人の脈拍値（Pulse rate）を算出してセレクタ６に出力する（図６参照）。図６は、第１の実施形態の生体情報推定装置１０における脈拍算出方法の一例を示す図である。

ここで、従来のカメラを用いた脈拍算出方法の課題について、図４及び図５を参照して説明する。図４は、従来のカメラを用いた脈拍算出方法の一例を示す図である。図５は、図４に示す脈拍算出方法における課題の説明図である。

図４では、横軸は時間を示し、縦軸（不図示）はカメラにより撮像された画像の肌色領域の緑色の１周期分の信号ＷＶ０（つまり、画素値）を示し、例えば８ビットで示す場合には０〜２５５で示される。また、図４及び図５では、例えば各サンプル値の差分（つまり、直前のサンプル値との差分）との算出結果を用いて、単調増加時のゼロ点通過時点から次の単調増加時のゼロ点通過時点までの信号が１周期分の信号ＷＶ０として抽出されている。

図４に示す脈拍数の算出例として、カメラのフレームレートが１０ｆｐｓ、１周期分の信号ＷＶ０に対応するフレームカウント（つまり、１周期分の信号ＷＶ０が得られるために必要な画像データのフレーム数）が９であった場合、脈拍数は１０×６０÷９≒６７ｂｐｍとなる。

図５では、図４と同様に、横軸は時間を示し、縦軸（不図示）はカメラにより撮像された画像の肌色領域の緑色の１周期分の信号ＷＶ０（つまり、画素値）を示し、例えば８ビットで示す場合には０〜２５５で示される。ここで、カメラから渡される画像データのフレームのコマ落ち（つまり、フレームの取得側における受信ロス又はフレーム欠落）が発生した場合には、１周期分の信号ＷＶ０に対応するフレームカウントが８となり、本来算出されるべき脈拍数とは異なる脈拍数が算出されてしまい、誤差が発生する。つまり、コマ落ちが発生すると、脈拍数は１０×６０÷８＝７５ｂｐｍとなり、６７ｂｐｍとの差分（８ｂｐｍ）が誤差として発生する。

そこで、本実施形態を含む各実施形態の生体情報推定装置１０，１０Ａは、脈拍推定部Ｍ１ｂにおいて、１周期分の信号ＷＶ０に対応するフレームカウントを用いず、１周期分の信号ＷＶ０が得られるまでに画像入力部１が入力する画像データのフレームの入力間隔（例えばカメラＣＭからの入力間隔又は受信間隔）の和を用いて、数式（３）に従って、脈拍数を算出する。

図６では、図４と同様に、横軸は時間を示し、縦軸（不図示）は肌色抽出部２により抽出された信号を示す。言い換えると、図６に示す信号は、カメラＣＭにより撮像された画像の肌色領域の緑色の１周期分の信号ＷＶ０（つまり、画素値）を示し、例えば８ビットで示す場合には０〜２５５で示される。脈拍推定部Ｍ１ｂは、１周期分の信号ＷＶ０が得られるために必要な画像データのフレームの入力間隔ｔ_０，ｔ_１，ｔ_２，ｔ_３，ｔ_４，ｔ_５，ｔ_６，ｔ_７の和（＝０．０１＋０．０１＋０．０２＋０．０１＋０．０１＋０．０１＋０．０１＋０．０１）を上述した数式（３）に示すＰＷＩ（Pulse Wave Interval、脈波間隔）として用いる。

従って、図６において第３番目のフレームのコマ落ちが発生した場合には、１周期分の信号ＷＶ０が得られるために必要な画像データのフレーム数が８になるが、脈拍推定部Ｍ１ｂは、第２番目のフレームを入力してから次のフレーム（図６に示す第４番目のフレーム）を入力するまでの入力間隔ｔ_２を含む、１周期分の信号ＷＶ０が得られるために必要な画像データのフレームの入力間隔ｔ_０，ｔ_１，ｔ_２，ｔ_３，ｔ_４，ｔ_５，ｔ_６，ｔ_７の和を用いることで、図４においてコマ落ちが発生していない場合と同様に適正な脈拍数を算出することができる（数式（３）参照）。

判定部の一例としての信頼度判定部５は、所定条件（数式（２）、数式（３））を満たす各々のフィルタ部Ｆ１，Ｆ２，Ｆ３の出力信号の区間が排除された各々の推定モジュール部Ｍ１，Ｍ２、Ｍ３からの少なくとも１周期分の出力信号、又は所定条件を満たさない各々のフィルタ部Ｆ１，Ｆ２，Ｆ３の出力信号（言い換えると、各々のフィルタ部Ｆ１，Ｆ２，Ｆ３の出力信号がそのまま各々の推定モジュール部Ｍ１，Ｍ２，Ｍ３から出力された信号）を基に、無効区間の最も少ない推定モジュール部からの少なくとも１周期分の出力信号を判定する。信頼度判定部５は、判定結果（即ち、いずれかの推定モジュール部に関する情報）をセレクタ６に出力する。

信頼度判定部５は、信頼度として例えば、無効区間がない場合に信頼度「１００」を付与し、数式（１）を満たす無効区間の数、数式（２）を満たす無効区間の数、又は数式（１）及び数式（２）の両方を満たす無効区間の数に応じて、所定の算出方法（例えば無効区間の数と無効区間の判断の元になった数式（１）、数式（２）毎の所定の重み係数（既知）を用いて乗算して「１００」から減点する方法）に従って信頼度を付与する。

出力部の一例としてのセレクタ６は、信頼度判定部５から出力された判定結果を基に、各々の推定モジュール部Ｍ１，Ｍ２，Ｍ３からの出力（即ち、各々の推定モジュール部Ｍ１，Ｍ２，Ｍ３において推定された各脈拍数に関する情報）のうち、信頼度判定部５の判定結果に対応する推定モジュール部の出力（脈拍数に関する情報）を選択して脈拍出力部７に出力する。

例えば図３（Ｂ）に示すように、推定モジュール部Ｍ１において推定された脈拍数が「７０」で信頼度判定部５により判定された信頼度が「６０」であり、推定モジュール部Ｍ２において推定された脈拍数が「７６」で信頼度判定部５により判定された信頼度が「８０」であり、推定モジュール部Ｍ３において推定された脈拍数が「７８」で信頼度判定部５により判定された信頼度が「７０」であるとする。この場合、セレクタ６は、最も信頼度が高い「８０」が得られた脈拍数「７６」を脈拍出力部７に出力する。

出力部の一例としての脈拍出力部７は、セレクタ６により選択された脈拍数に関する情報を出力する。脈拍出力部７は、例えば生体情報推定装置１０がディスプレイ（不図示）を有する場合には、セレクタ６により選択された脈拍数に関する情報をディスプレイに表示させる。また、脈拍出力部７は、例えば生体情報推定装置１０がスピーカ（不図示）を有する場合には、セレクタ６により選択された脈拍数に関する情報をスピーカから出力させる。

次に、本実施形態の生体情報推定装置１０の動作手順の一例について、図８を参照して説明する。図８は、第１の実施形態の生体情報推定装置１０の動作手順の一例を説明するフローチャートである。

図８において、画像入力部１は、所定のフレームレートでカメラＣＭにより人が撮像された画像データのフレームをカメラＣＭから連続的に入力（取得）して肌色抽出部２に出力する（ＳＴ１）。肌色抽出部２は、画像入力部１により入力された画像データの各フレーム内の所定範囲（例えば図３（Ｂ）に示す肌色領域ＦＬ１）の信号（例えば画素値、輝度値）を、少なくとも１周期（周期は既知）分のフレーム数を用いて抽出する（ＳＴ２）。肌色抽出部２は、抽出された所定範囲の信号を各フィルタ部Ｆ１〜Ｆ３に出力する。

ステップＳＴ３では、フィルタ部Ｆ１〜Ｆ３におけるフィルタ係数が選択される（ＳＴ３）。なお、上述したように、フィルタ部Ｆ１には、例えば３０〜６０ｂｐｍの信号がフィルタ部Ｆ１を通過するようにフィルタ係数が予め設定されている。フィルタ部Ｆ２には、例えば５０〜９０ｂｐｍの信号がフィルタ部Ｆ２を通過するようにフィルタ係数が予め設定されている。同様に、フィルタ部Ｆ３には、例えば７０〜１２０ｂｐｍの信号がフィルタ部Ｆ３を通過するようにフィルタ係数が予め設定されている。図３では、説明を分かり易くするために、ステップＳＴ３からステップＳＴ７までの処理が時系列となるように示されているが、生体情報推定装置１０ではこれらの各処理はパラレル（並行）に行われている。

フィルタ部Ｆ１は、フィルタ処理の一例として、肌色抽出部２から出力された所定範囲の信号（画素値）を平均化することで、例えばカメラＣＭの撮像時に含まれたノイズ信号を除去する（ＳＴ４）。また、フィルタ部Ｆ１は、フィルタ処理の他の一例として、フィルタ部Ｆ１に対応するフィルタ係数を用いて、脈波の基本周波数以外の周波数成分をカットする（ＳＴ４）。フィルタ部Ｆ１の出力は、推定モジュール部Ｍ１に入力される。

波形検定部Ｍ１ａは、フィルタ部Ｆ１の少なくとも１周期分の出力信号を基に、フィルタ部Ｆ１においてカットできなかったノイズ信号の区間を検出するために、入力された少なくとも１周期分の出力信号のうち所定条件（つまり、数式（１）、数式（２））を満たす信号の区間があるか否かの判断により波形を検定する（ＳＴ５）。

波形検定部Ｍ１ａは、所定条件を満たすと判断した出力信号の区間を無効（invalid）区間として排除し、該当する信号の区間を排除した少なくとも１周期分の信号を脈拍推定部Ｍ１ｂ及び信頼度判定部５に出力する。一方、波形検定部Ｍ１ａは、所定条件（つまり、数式（１）、数式（２））を満たす信号の区間がないと判断した場合には、フィルタ部Ｆ１の少なくとも１周期分の出力信号をそのまま脈拍推定部Ｍ１ｂ及び信頼度判定部５に出力する。

脈拍推定部Ｍ１ｂは、フィルタ部Ｆ１の少なくとも１周期分の出力信号又は波形検定部Ｍ１ａの少なくとも１周期分の出力信号を基に、数式（３）に従って、人の脈拍値（Pulse rate）を算出してセレクタ６に出力する（ＳＴ６）。

ステップＳＴ７において、各フィルタ部Ｆ１〜Ｆ３及び各推定モジュール部Ｍ１〜Ｍ３においてそれぞれの処理が終了していない場合には（ＳＴ７、ＮＯ）、各フィルタ部Ｆ１〜Ｆ３及び各推定モジュール部Ｍ１〜Ｍ３においてそれぞれの処理が終了するまで、ステップＳＴ３〜ステップＳＴ７までの処理が終了するまで、生体情報推定装置１０の動作は待機状態となる。

一方、各フィルタ部Ｆ１〜Ｆ３及び各推定モジュール部Ｍ１〜Ｍ３においてそれぞれの処理が終了した場合には（ＳＴ７、ＹＥＳ）、信頼度判定部５は、所定条件（数式（２）、数式（３））を満たす各々のフィルタ部Ｆ１，Ｆ２，Ｆ３の出力信号の区間が排除された各々の推定モジュール部Ｍ１，Ｍ２、Ｍ３からの少なくとも１周期分の出力信号、又は所定条件を満たさない各々のフィルタ部Ｆ１，Ｆ２，Ｆ３の出力信号を基に、無効区間の最も少ない推定モジュール部からの少なくとも１周期分の出力信号を判定する（ＳＴ８）。信頼度判定部５は、判定結果（即ち、いずれかの推定モジュール部に関する情報）をセレクタ６に出力する。

セレクタ６は、信頼度判定部５から出力された判定結果を基に、各々の推定モジュール部Ｍ１，Ｍ２，Ｍ３からの出力（即ち、各々の推定モジュール部Ｍ１，Ｍ２，Ｍ３において推定された各脈拍数に関する情報）のうち、信頼度判定部５の判定結果に対応する推定モジュール部の出力（脈拍数に関する情報）を選択して脈拍出力部７に出力する（ＳＴ９）。脈拍出力部７は、セレクタ６により選択された脈拍数に関する情報を出力する（ＳＴ９）。

以上により、本実施形態の生体情報推定装置１０は、入力された画像データの所定範囲（例えば人の肌色領域ＦＬ１）の信号を抽出し、異なる係数（例えばフィルタ係数）を用いて、抽出された所定範囲の信号のうち異なる係数に対応する各信号を複数のフィルタ部Ｆ１〜Ｆ３において出力する。生体情報推定装置１０は、各フィルタ部Ｆ１〜Ｆ３に対応して設けられた各推定モジュール部Ｍ１〜Ｍ３において、対応するフィルタ部の少なくとも１周期分の出力信号と少なくとも１周期分の出力信号に対応する画像データのフレームの入力間隔とを基に、人の脈拍値を推定し、複数のフィルタ部Ｆ１〜Ｆ３の出力信号に応じて、推定された複数の脈拍値からいずれかを選択して出力する。

これにより、生体情報推定装置１０は、ユーザが撮像された画像データのフレームがコマ落ちした場合でも、画像データに含まれるユーザの肌色領域の画像処理（例えば所定のフィルタ係数を用いたノイズ除去処理）により得られた少なくとも１周期の信号に対応する画像データの複数のフレームの入力間隔と血液が特定波長域の光を吸収する性質とを用いて、ユーザの脈拍数を推定するので、例えば接触タイプの専用の脈拍数測定器を用いることなく、ユーザの脈拍数を非接触で高精度に推定することができる。

また、生体情報推定装置１０は、各フィルタ部に対応する推定モジュール部において、所定条件を満たすフィルタ部の出力信号の区間を無効区間として排除し、無効区間が排除された少なくとも１周期の出力信号と少なくとも１周期の出力信号に対応する画像データのフレームの入力間隔とを基に、人の脈拍値を推定する。

これにより、生体情報推定装置１０は、所定条件を満たすフィルタ部の出力信号の区間（例えば振幅が所定値に比べて極端に大きい信号や極端に小さい信号の区間）を無効区間として排除することができるので、例えば外乱ノイズによる影響を抑制することができ、無効区間が排除された少なくとも１周期分の出力信号に対応する画像データのフレームの入力間隔を用いて、人の脈拍値を高精度に推定することができる。

また、生体情報推定装置１０は、所定条件を満たす各フィルタ部の出力信号の区間が排除された少なくとも１周期分の出力信号を基に、無効区間の最も少ない、少なくとも１周期分の出力信号を判定し、この判定された少なくとも１周期分の出力信号に対応して推定された人の脈拍値を選択する。

これにより、生体情報推定装置１０は、無効区間の最も少ない（言い換えると、外乱ノイズの影響を最も受けていない）少なくとも１周期分の出力信号を用いた人の脈拍値を選択することができる。

（第２の実施形態）
図９は、第２の実施形態の生体情報推定装置１０Ａの内部構成の一例を示すブロック図である。図１０は、１周期分の観測波形のピークがサンプリング位置から外れている場合の課題の説明図である。図９に示す生体情報推定装置１０Ａでは、図３（Ａ）に示す生体情報推定装置１０の各部と同一の構成については同一の符号を用いて説明を簡略化又は省略し、異なる内容について説明する。

図９に示す生体情報推定装置１０Ａは、カメラＣＭと、画像入力部１と、肌色抽出部２と、複数（例えば３個）のフィルタＦ１，Ｆ２，Ｆ３と、複数（例えば３個）の推定モジュール部Ｍ１Ｒ，Ｍ２Ｒ，Ｍ３Ｒと、信頼度判定部５と、セレクタ６と、脈拍出力部７とを含む構成である。推定モジュール部Ｍ１ＲはフィルタＦ１に対応して設けられ、推定モジュール部Ｍ２ＲはフィルタＦ２に対応して設けられ、推定モジュール部Ｍ３ＲはフィルタＦ３に対応して設けられている。

推定モジュール部Ｍ１Ｒは、補間部Ｍ１ｃと波形検定部Ｍ１ａと脈拍推定部Ｍ１ｂとを含む構成である。補間部Ｍ１ｃは、フィルタ部Ｆ１の少なくとも１周期分の出力信号が入力され、フィルタ部Ｆ１の少なくとも１周期分の出力信号を基に、フィルタ部Ｆ１の少なくとも１周期分の出力信号が所定値（例えばゼロ）となる位置（時刻）の差分（時間差）を補間（例えば線形補間）し、補間後の少なくとも１周期分の出力信号を波形検定部Ｍ１ａ及び脈拍推定部Ｍ１ｂに出力する。本実施形態では、波形検定部Ｍ１ａ及び脈拍推定部Ｍ１ｂでは、補間部Ｍ１ｃの出力が用いられる。以下、推定モジュール部Ｍ１Ｒ，Ｍ２Ｒ，Ｍ３Ｒの構成は同様であるため、推定モジュール部Ｍ１Ｒの動作を例示して説明する。

ここで、図１０を参照し、１周期分の観測波形のピークがサンプリング位置から外れている場合の課題について説明する。図１０では、横軸は時間を示し、縦軸（不図示）は肌色抽出部２により抽出された信号ＷＶ０を示す。言い換えると、図１０に示す信号は、カメラＣＭにより撮像された画像の肌色領域ＦＬ１の緑色の１周期分の信号ＷＶ０（つまり、画素値）を示し、例えば８ビットで示す場合には０〜２５５で示される。

図１０において、Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６，Ｓ７は、例えば波形検定部Ｍ１ａに含まれるＡＤＣによりＡＤ変換されたサンプル値であり、Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５，Ｔ６，Ｔ７はＡＤＣによりＡＤ変換されたサンプリング時刻である。図１０に示す信号ＷＶ０の１周期は、正確に言うと、信号ＷＶ０のピークと次のピークとの間の時間（直線ＡＳ１参照）であるが、信号ＷＶ０のピークがサンプリング位置（サンプリング時刻におけるサンプル値）から外れていると誤差が発生してしまう。具体的には、図１０に示す信号ＷＶ０の１周期は、ピーク値であるサンプル値Ｓ２のサンプリング時刻Ｔ２と次のピーク値であるサンプル値Ｓ７のサンプリング時刻Ｔ７との間の時間（直線ＮＴ１参照）となってしまうので、直線ＡＳ１と直線ＮＴ１との差分に応じた誤差が発生することになり、フィルタ部Ｆ１〜Ｆ３に入力される信号に誤差が生じているので、人の脈拍の推定精度が劣化することになる。

そこで、本実施形態では、各々の推定モジュール部Ｍ１Ｒ〜ＭＲ３は、上述した数式（３）に示すＰＷＩ（脈波間隔）をより正確に求めるために、各々の推定モジュール部Ｍ１Ｒ〜ＭＲ３に入力された信号（即ち、各々のフィルタ部Ｆ１〜Ｆ３の出力信号）を補間することで、１周期分の信号ＷＶ０を導出する（図１１、図１２、図１３参照）。

（第１の補間例）
図１１は、各推定モジュール部の補間部Ｍ１ｃの動作の第１例を示す説明図である。図１１では、横軸は時間を示し、縦軸（不図示）は肌色抽出部２により抽出された信号ＷＶ１を示す。言い換えると、図１１に示す信号は、カメラＣＭにより撮像された画像の肌色領域ＦＬ１の緑色の１周期分の信号ＷＶ１（つまり、画素値）を示し、例えば８ビットで示す場合には０〜２５５で示される。

図１１に示す第１の補間例では、補間部Ｍ１ｃは、例えば単調増加時又は単調減少時の信号ＷＶ１が所定値（例えばゼロ）を通過する横軸上の少なくとも２個の位置（時刻）の差分（時間差）を補間（即ち、線形補間処理）し、少なくとも１周期分の信号ＷＶ１を推定する。図１１に示す直線ＡＳ１及び直線ＮＴ１は、図１０に示す直線ＡＳ１及び直線ＮＴ１と同一であるため、説明を省略し、図１２及び図１３においても同様である。

より具体的には、補間部Ｍ１ｃは、例えば単調増加時の信号ＷＶ１がゼロを通過する位置と次の単調増加時の信号ＷＶ１がゼロを通過する位置との差分（直線ＰＲ１参照）を推定するために、第１番目の単調増加時の信号ＷＶ１の少なくとも２個の位置（点Ａ０（０，ａ０）と点Ａ１（１，ａ１））を通過する直線がゼロを通過する位置（直線ＰＲ１の左端）と、第２番目の単調増加時の信号ＷＶ１の少なくとも２個の位置（点Ｂ０（０，ｂ０）と点Ｂ１（１，ｂ１））を通過する直線がゼロを通過する位置（直線ＰＲ１の右端）とを求める。ａ０，ａ１，ｂ０，ｂ１は、それぞれ信号ＷＶ１上の位置であってサンプル値である。図１１では、単調増加時の信号ＷＶ１上の点を用いて説明しているが、単調減少時の信号ＷＶ１上の点を用いても同様である。

点Ａ０の横軸上の位置と直線ＰＲ１の左端との間の距離ｐ０は、補間部Ｍ１ｃの線形補間によって、数式（４）により示される。同様に、点Ｂ０の横軸上の位置と直線ＰＲ１の右端との間の距離ｐ１は、補間部Ｍ１ｃの線形補間によって、数式（５）により示される。これにより、補間部Ｍ１ｃは、直線ＰＲ１の長さを算出することができ、直線ＡＳ１との誤差が大きい直線ＮＴ１に比べて、直線ＡＳ１との誤差を低減することができるので、脈拍数の推定精度を向上することができる。

（第２の補間例）
図１２は、各推定モジュール部の補間部Ｍ１ｃの動作の第２例を示す説明図である。図１２では、横軸は時間を示し、縦軸（不図示）は肌色抽出部２により抽出された信号ＷＶ１を示す。言い換えると、図１１に示す信号は、カメラＣＭにより撮像された画像の肌色領域ＦＬ１の緑色の１周期分の信号ＷＶ１（つまり、画素値）を示し、例えば８ビットで示す場合には０〜２５５で示される。

図１２に示す第２の補間例では、補間部Ｍ１ｃは、例えば最初のピークが得られる単調増加時又は単調減少時の信号ＷＶ１上の２点を通過する直線と、その直線の傾きを反転させた傾きと単調減少時又は単調増加時の信号ＷＶ１上の１点を通過する直線との交点を求める。更に、補間部Ｍ１ｃは、同様に次のピークが得られる単調増加時又は単調減少時の信号ＷＶ１上の２点を通過する直線と、その直線の傾きを反転させた傾きと単調減少時又は単調増加時の信号ＷＶ１上の１点を通過する直線との交点を求める。補間部Ｍ１ｃは、これら２個の交点を用いて補間（即ち、等角直線フィッティング）し、少なくとも１周期分の信号ＷＶ１を推定する。

より具体的には、補間部Ｍ１ｃは、例えば単調増加時の信号ＷＶ１上の２点（点Ａ０（０，ａ０）と点Ａ１（１，ａ１））を通過する直線Ｌ０と、その直線Ｌ０の傾きを反転させた傾きと単調減少時の信号ＷＶ１上の１点（点Ａ２（２，ａ２））を通過する直線Ｌ１との交点を求める。更に、補間部Ｍ１ｃは、同様にして、例えば単調増加時の信号ＷＶ１上の２点（点Ｂ０（０，ｂ０）と点Ｂ１（１，ｂ１））を通過する直線Ｍ０と、その直線Ｍ０の傾きを反転させた傾きと単調減少時の信号ＷＶ１上の１点（点Ｂ２（２，ｂ２））を通過する直線Ｍ１との交点を求める。ａ０，ａ１，ａ２，ｂ０，ｂ１，ｂ２は、それぞれ信号ＷＶ１上の位置であってサンプル値である。図１２では、直線Ｌ０，ＭＯに対しては単調増加時、直線Ｌ１，Ｍ１に対しては単調減少時の信号ＷＶ１上の点を用いて説明しているが、単調増加時を単調減少時に読み替えても同様である。

点Ａ１の横軸上の位置と直線Ｌ０と直線Ｌ１との交点の横軸上の位置との間の距離ｐ０は、補間部Ｍ１ｃの等角直線フィッティングによって、数式（６）により示される。同様に、直線Ｍ０と直線Ｍ１との交点の横軸上の位置と点Ｂ１の横軸上の位置との間の距離ｐ１は、補間部Ｍ１ｃの等角直線フィッティングによって、数式（７）により示される。これにより、補間部Ｍ１ｃは、直線ＰＲ２の長さを算出することができ、直線ＡＳ１との誤差が大きい直線ＮＴ１に比べて、直線ＡＳ１との誤差を低減することができるので、脈拍数の推定精度を向上することができる。

（第３の補間例）
図１３は、各推定モジュール部の補間部Ｍ１ｃの動作の第３例を示す説明図である。図１３では、横軸は時間を示し、縦軸（不図示）は肌色抽出部２により抽出された信号ＷＶ１を示す。言い換えると、図１３に示す信号は、カメラＣＭにより撮像された画像の肌色領域ＦＬ１の緑色の１周期分の信号ＷＶ１（つまり、画素値）を示し、例えば８ビットで示す場合には０〜２５５で示される。

図１３に示す第３の補間例では、補間部Ｍ１ｃは、最初のピークが得られる信号ＷＶ１上の３点を通過する２次曲線の頂点と、次のピークが得られる信号ＷＶ１上の３点を通過する２次曲線の頂点を用いて補間（即ち、パラボラフィッティング）し、少なくとも１周期分の信号ＷＶ１を推定する。

より具体的には、補間部Ｍ１ｃは、例えば最初のピークが得られる信号ＷＶ１上の３点（点Ａ０（０，ａ０）と点Ａ１（１，ａ１）と点Ａ２（２，ａ２））を通過する２次曲線Ｒ０の頂点の横軸上の位置と、次のピークが得られる信号ＷＶ１上の３点（点Ｂ０（０，ｂ０）と点Ｂ１（１，ｂ１）と点Ｂ２（２，ｂ２））を通過する２次曲線Ｒ１の頂点の横軸上の位置とを求める。ａ０，ａ１，ａ２，ｂ０，ｂ１，ｂ２は、それぞれ信号ＷＶ１上の位置であってサンプル値である。

点Ａ１の横軸上の位置と２次曲線Ｒ０の頂点の横軸上の位置との間の距離ｐ０は、補間部Ｍ１ｃのパラボラフィッティングによって、数式（８）により示される。同様に、２次曲線Ｒ１の頂点の横軸上の位置と点Ｂ１の横軸上の位置との間の距離ｐ１は、補間部Ｍ１ｃの等角直線フィッティングによって、数式（９）により示される。これにより、補間部Ｍ１ｃは、直線ＰＲ３の長さを算出することができ、直線ＡＳ１との誤差が大きい直線ＮＴ１に比べて、直線ＡＳ１との誤差を低減することができるので、脈拍数の推定精度を向上することができる。

図１４は、第２の実施形態の生体情報推定装置１０Ａの動作手順の一例を説明するフローチャートである。図１４では、第１の実施形態の生体情報推定装置１０の動作手順と異なる内容について説明し、同一の動作については同一のステップ番号を付与して説明を簡略化又は省略する。

図１４において、ステップＳＴ４の後、補間部Ｍ１ｃは、フィルタ部Ｆ１の少なくとも１周期分の出力信号が入力され、フィルタ部Ｆ１の少なくとも１周期分の出力信号を基に、フィルタ部Ｆ１の少なくとも１周期分の出力信号が所定値（例えばゼロ）となる位置（時刻）の差分（時間差）を補間（例えば線形補間）し、補間後の少なくとも１周期分の出力信号を波形検定部Ｍ１ａ及び脈拍推定部Ｍ１ｂに出力する（ＳＴ１０）。波形検定部Ｍ１ａ及び脈拍推定部Ｍ１ｂでは、補間部Ｍ１ｃの出力が用いられる。

例えば、波形検定部Ｍ１ａは、補間部Ｍ１ｃからの少なくとも１周期分の出力信号が入力され、フィルタ部Ｆ１においてカットできなかったノイズ信号の区間を検出するために、入力された少なくとも１周期分の出力信号のうち所定条件（つまり、数式（１）、数式（２））を満たす信号（つまり、ノイズ信号）の区間があるか否かを判断する（ＳＴ５）。また、脈拍推定部Ｍ１ｂは、補間部Ｍ１ｃからの少なくとも１周期分の出力信号又は波形検定部Ｍ１ａの少なくとも１周期分の出力信号を基に、数式（３）に従って、人の脈拍値（Pulse rate）を算出してセレクタ６に出力する（ＳＴ６）。ステップＳＴ５やステップＳＴ６の処理の詳細については第１の実施形態と同一であるため、説明を省略する。ステップＳＴ６以降の処理については、図８と同様であるため、説明を省略する。

以上により、本実施形態の生体情報推定装置１０Ａは、各推定モジュール部Ｍ１Ｒ，Ｍ２Ｒ，Ｍ３Ｒに対応する各フィルタ部Ｆ１，Ｆ２，Ｆ３の少なくとも１周期分の出力信号を基に、フィルタ部Ｆ１，Ｆ２，Ｆ３の少なくとも１周期分の出力信号が所定値（例えばゼロ）となる時間差を補間し、補間後のフィルタ部の少なくとも１周期分の出力信号を出力する。

これにより、生体情報推定装置１０Ａは、フィルタ部Ｆ１，Ｆ２，Ｆ３の少なくとも１周期分の出力信号を高精度に得ることができるので、１周期分の出力信号のピークがサンプリング位置から外れている場合でも、本来得られるべき正確な出力信号のピーク間の時間差と実際に得られたフィルタ部の出力信号のピーク間の時間差との誤差を極小化することができるので、より正確な人の脈拍値を推定することができる。

最後に、本発明に係る生体情報推定装置及び生体情報推定方法の構成、作用、効果についてそれぞれ列挙する。

本発明の一実施形態は、人が撮像された画像データを入力する画像入力部と、前記画像入力部により入力された前記画像データの所定範囲の信号を抽出する抽出部と、異なる係数を用いて、前記抽出部により抽出された前記所定範囲の信号のうち前記異なる係数に対応する各信号を出力する複数のフィルタ部と、各々の前記フィルタ部に対応して設けられ、対応する前記フィルタ部の少なくとも１周期分の出力信号と前記少なくとも１周期分の出力信号に対応する前記画像データのフレームの入力間隔とを基に、前記人の脈拍値を推定する複数の推定部と、前記複数のフィルタ部の出力信号に応じて、前記複数の推定部により推定された前記複数の脈拍値からいずれかを選択して出力する出力部と、を備える、生体情報推定装置である。

この構成では、生体情報推定装置は、入力された画像データの所定範囲（例えば人の肌色領域）の信号を抽出し、異なる係数（例えばフィルタ係数）を用いて、抽出された所定範囲の信号のうち異なる係数に対応する各信号を複数のフィルタ部において出力する。生体情報推定装置は、各フィルタ部に対応して設けられた各推定部において、対応するフィルタ部の少なくとも１周期分の出力信号と少なくとも１周期分の出力信号に対応する画像データのフレームの入力間隔とを基に、人の脈拍値を推定し、複数のフィルタ部の出力信号に応じて、推定された複数の脈拍値からいずれかを選択して出力する。

これにより、生体情報推定装置は、ユーザが撮像された画像データのフレームがコマ落ちした場合でも、画像データに含まれるユーザの肌色領域の画像処理（例えば所定のフィルタ係数を用いたノイズ除去処理）により得られた少なくとも１周期の信号に対応する画像データの複数のフレームの入力間隔と血液が特定波長域の光を吸収する性質とを用いて、ユーザの脈拍数を推定するので、例えば接触タイプの専用の脈拍数測定器を用いることなく、ユーザの脈拍数を非接触で高精度に推定することができる。

また、本発明の一実施形態は、前記推定部は、前記推定部に対応する前記フィルタ部の少なくとも１周期分の出力信号のうち、所定条件を満たす前記フィルタの出力信号の区間を無効区間として排除する検定部と、前記無効区間が排除された前記検定部の少なくとも１周期分の出力信号と前記検定部の少なくとも１周期分の出力信号に対応する前記画像データのフレームの入力間隔とを基に、前記人の脈拍値を推定する脈拍推定部と、を有する、生体情報推定装置である。

この構成では、生体情報推定装置は、各フィルタ部に対応する推定部において、所定条件を満たすフィルタ部の出力信号の区間を無効区間として排除し、無効区間が排除された少なくとも１周期の出力信号と少なくとも１周期の出力信号に対応する画像データのフレームの入力間隔とを基に、人の脈拍値を推定する。

これにより、生体情報推定装置は、所定条件を満たすフィルタ部の出力信号の区間（例えば振幅が所定値に比べて極端に大きい信号や極端に小さい信号の区間）を無効区間として排除することができるので、例えば外乱ノイズによる影響を抑制することができ、無効区間が排除された少なくとも１周期分の出力信号に対応する画像データのフレームの入力間隔を用いて、人の脈拍値を高精度に推定することができる。

また、本発明の一実施形態は、前記所定条件を満たす各々の前記フィルタの出力信号の区間が排除された各々の前記検定部の少なくとも１周期分の出力信号を基に、前記無効区間の最も少ない前記検定部の少なくとも１周期分の出力信号を判定する判定部、を更に備え、前記出力部は、前記無効区間の最も少ない前記検定部の少なくとも１周期分の出力信号に対応して前記脈拍推定部により推定された前記人の脈拍値を選択する、生体情報推定装置である。

この構成では、生体情報推定装置は、所定条件を満たす各フィルタ部の出力信号の区間が排除された少なくとも１周期分の出力信号を基に、無効区間の最も少ない、少なくとも１周期分の出力信号を判定し、この判定された少なくとも１周期分の出力信号に対応して推定された人の脈拍値を選択する。

これにより、生体情報推定装置は、無効区間の最も少ない（言い換えると、外乱ノイズの影響を最も受けていない）少なくとも１周期分の出力信号を用いた人の脈拍値を選択することができる。

また、本発明の一実施形態は、前記推定部は、前記推定部に対応する前記フィルタ部の少なくとも１周期分の出力信号を基に、前記フィルタ部の少なくとも１周期分の出力信号が所定値となる時間差を補間し、補間後の前記フィルタ部の少なくとも１周期分の出力信号を出力する補間部、を更に有する、生体情報推定装置である。

この構成では、生体情報推定装置は、各推定部に対応する各フィルタ部の少なくとも１周期分の出力信号を基に、フィルタ部の少なくとも１周期分の出力信号が所定値（例えばゼロ）となる時間差を補間し、補間後のフィルタ部の少なくとも１周期分の出力信号を出力する。

これにより、生体情報推定装置は、フィルタ部の少なくとも１周期分の出力信号を高精度に得ることができるので、１周期分の出力信号のピークがサンプリング位置から外れている場合でも、本来得られるべき正確な出力信号のピーク間の時間差と実際に得られたフィルタ部の出力信号のピーク間の時間差との誤差を極小化することができるので、より正確な人の脈拍値を推定することができる。

また、本発明の一実施形態は、生体情報推定装置における生体情報推定方法であって、人が撮像された画像データを入力するステップと、入力された前記画像データの所定範囲の信号を抽出するステップと、異なる係数を有する複数のフィルタ部を用いて、抽出された前記所定範囲の信号のうち前記異なる係数に対応する各信号を出力するステップと、各々の前記フィルタ部の少なくとも１周期分の出力信号と前記少なくとも１周期分の出力信号に対応する前記画像データのフレームの入力間隔とを基に、前記人の脈拍値を推定するステップと、前記複数のフィルタ部の出力信号に応じて、推定された前記複数の脈拍値からいずれかを選択して出力するステップと、を有する、生体情報推定方法である。

この方法では、生体情報推定装置は、入力された画像データの所定範囲（例えば人の肌色領域）の信号を抽出し、異なる係数（例えばフィルタ係数）を用いて、抽出された所定範囲の信号のうち異なる係数に対応する各信号を複数のフィルタ部において出力する。生体情報推定装置は、各フィルタ部に対応して設けられた各推定部において、対応するフィルタ部の少なくとも１周期分の出力信号と少なくとも１周期分の出力信号に対応する画像データのフレームの入力間隔とを基に、人の脈拍値を推定し、複数のフィルタ部の出力信号に応じて、推定された複数の脈拍値からいずれかを選択して出力する。

これにより、生体情報推定装置は、ユーザが撮像された画像データのフレームがコマ落ちした場合でも、画像データに含まれるユーザの肌色領域の画像処理（例えば所定のフィルタ係数を用いたノイズ除去処理）により得られた少なくとも１周期の信号に対応する画像データの複数のフレームの入力間隔と血液が特定波長域の光を吸収する性質とを用いて、ユーザの脈拍数を推定するので、例えば接触タイプの専用の脈拍数測定器を用いることなく、ユーザの脈拍数を非接触で高精度に推定することができる。

以上、図面を参照して各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。

本発明は、ユーザが撮像された画像データのフレームのコマ落ちが発生した場合でも、取得した画像データに含まれるユーザの肌色領域の画像処理により、ユーザの脈拍数を非接触で高精度に推定する生体情報推定装置及び生体情報推定方法として有用である。

１ 画像入力部
２ 肌色抽出部
５ 信頼度判定部
６ セレクタ
７ 脈拍出力部
１０、１０Ａ 生体情報推定装置
ＣＭ カメラ
Ｆ１、Ｆ２、Ｆ３ フィルタ
ＦＬ１ 肌色領域
Ｍ１、Ｍ２、Ｍ３、Ｍ１Ｒ、Ｍ２Ｒ、Ｍ３Ｒ 推定モジュール
Ｍ１ａ 波形検定部
Ｍ１ｂ 脈拍推定部
Ｍ１ｃ 補間部

Claims (5)

1. 人が撮像された画像データを入力する画像入力部と、
   前記画像入力部により入力された前記画像データの所定範囲の信号を抽出する抽出部と、
   異なる係数を用いて、前記抽出部により抽出された前記所定範囲の信号のうち前記異なる係数に対応する各信号を出力する複数のフィルタ部と、
   各々の前記フィルタ部に対応して設けられ、対応する前記フィルタ部の少なくとも１周期分の出力信号と前記少なくとも１周期分の出力信号に対応する前記画像データのフレームの入力間隔とを基に、前記人の脈拍値を推定する複数の推定部と、
   前記複数のフィルタ部の出力信号に応じて、前記複数の推定部により推定された前記複数の脈拍値からいずれかを選択して出力する出力部と、を備える、
   生体情報推定装置。
2. 請求項１に記載の生体情報推定装置であって、
   前記推定部は、前記推定部に対応する前記フィルタ部の少なくとも１周期分の出力信号のうち、所定条件を満たす前記フィルタ部の出力信号の区間を無効区間として排除する検定部と、
   前記無効区間が排除された前記検定部の少なくとも１周期分の出力信号と前記検定部の少なくとも１周期分の出力信号に対応する前記画像データのフレームの入力間隔とを基に、前記人の脈拍値を推定する脈拍推定部と、を有する、
   生体情報推定装置。
3. 請求項２に記載の生体情報推定装置であって、
   前記所定条件を満たす各々の前記フィルタ部の出力信号の区間が排除された各々の前記検定部の少なくとも１周期分の出力信号を基に、前記無効区間の最も少ない前記検定部の少なくとも１周期分の出力信号を判定する判定部、を更に備え、
   前記出力部は、前記無効区間の最も少ない前記検定部の少なくとも１周期分の出力信号に対応して前記脈拍推定部により推定された前記人の脈拍値を選択する、
   生体情報推定装置。
4. 請求項１に記載の生体情報推定装置であって、
   前記推定部は、前記推定部に対応する前記フィルタ部の少なくとも１周期分の出力信号を基に、前記フィルタ部の少なくとも１周期分の出力信号が所定値となる時間差を補間し、補間後の前記フィルタ部の少なくとも１周期分の出力信号を出力する補間部、を更に有する、
   生体情報推定装置。
5. 生体情報推定装置における生体情報推定方法であって、
   人が撮像された画像データを入力するステップと、
   入力された前記画像データの所定範囲の信号を抽出するステップと、
   異なる係数を有する複数のフィルタ部を用いて、抽出された前記所定範囲の信号のうち前記異なる係数に対応する各信号を出力するステップと、
   各々の前記フィルタ部の少なくとも１周期分の出力信号と前記少なくとも１周期分の出力信号に対応する前記画像データのフレームの入力間隔とを基に、前記人の脈拍値を推定するステップと、
   前記複数のフィルタ部の出力信号に応じて、推定された前記複数の脈拍値からいずれかを選択して出力するステップと、を有する、
   生体情報推定方法。

Images