JP5446443B2 - 心拍数測定装置および心拍数測定方法 - Google Patents

Description

本発明は、心拍数測定装置および心拍数測定方法に関するものである。

従来、被測定者の鼻腔の温度の時間変化を赤外線カメラで測定することにより、被測定者に接触することなく、被測定者の呼吸の回数や呼吸の強弱等を測定する技術が知られている（特許文献１）。

特開平９−２５３０７１号公報

しかしながら、従来技術は、被測定者の呼吸の測定を目的とするものであり、被測定者の心拍数を測定することはできなかった。

本発明が解決しようとする課題は、生体に接触することなく、生体の心拍数を測定可能な心拍数測定装置を提供することである。

本発明は、生体の鼻突部、左右一対の耳朶部、または左右一対の頬部のうち少なくとも１つの部位の温度データと、生体の額部の温度データとの差分に基づく温度情報から、生体の心拍に対応する周波数帯域の周波数成分を抽出し、この周波数成分に基づき、生体の心拍数を測定することにより、上記課題を解決する。

本発明によれば、生体の１または２以上の部位の温度情報から、周波数成分を取得することができるため、生体に接触することなく、生体の心拍数を測定することができる。

第１実施形態に係る心拍数計測システムの構成を示す図である。 第１実施係に係る心拍数計測処理を示すフローチャートである。 赤外線カメラにより撮像された熱画像の一例を示す図である。 図３に示す熱画像のうち、ユーザの鼻腔部周辺を拡大して示した拡大図である。 鼻突部の温度情報の一例を示す図である。 図５に示す鼻突部の温度情報からフーリエ変換により変換された周波数成分を示す図である。 図６に示す周波数成分から心拍に相当する周波数帯域の周波数成分をバンドパスフィルターにより抽出し、抽出された周波数成分から再変換された温度情報の一例を示す図である。 ウェーブレット変換により、ユーザの心拍数を計測する方法を説明するための図である。 耳朶部の温度情報の一例を示す図である。 図９に示す耳朶部の温度情報からフーリエ変換により変換された周波数成分を示す図である。 第２実施形態に係る心拍数測定処理を示すフローチャートである。 第３実施形態に係る心拍数測定処理を示すフローチャートである。 第４実施形態に係る心拍数測定処理を示すフローチャート（その１）である。 第４実施形態に係る心拍数測定処理を示すフローチャート（その２）である。 第５実施形態に係る心拍数測定処理を示すフローチャートである。 複数のセルに分割されたユーザの顔部を示す図である。 第６実施形態に係る心拍数測定処理を示すフローチャートである。 第７実施形態における赤外線カメラの設置例を示す図である。 第７実施形態に係る心拍数測定処理を示すフローチャートである。 ユーザの左側に設置された赤外線カメラにより撮像された熱画像の一例を示す図である。 第８実施形態に係る心拍数測定システムを示す構成図である。 第８実施形態に係る心拍数測定処理を示すフローチャートである。 可視光カメラを用いてユーザの部位を特定する方法を説明するための図であって、可視光カメラにより撮像された輝度画像を示す図である。 可視光カメラを用いてユーザの部位を特定する方法を説明するための図であって、赤外線カメラにより撮像された熱画像を示す図である。

≪第１実施形態≫
以下、本発明の実施形態を図面に基づいて説明する。本実施形態の心拍数測定システムは、例えば、車両に搭載され、ユーザの心拍数を測定するものである。心拍数測定システムにより測定されたユーザの心拍数は、例えば、ユーザの運転状態を推定する際などに用いられる。

図１は、本実施形態の心拍数測定システムの構成を示す図である。図１に示すように、心拍数測定システムは、ユーザの表面（皮膚）温度を検出するための赤外線カメラ１０およびユーザの心拍数を測定するためのコントローラ２０を備える。

赤外線カメラ１０は、図１に示すように、ユーザの正面位置、例えば、ユーザの前方６０ｃｍの位置に設置され、ユーザの顔部を中心とした範囲の温度データを検出する。赤外線カメラ１０は、撮像素子を備え、赤外線カメラ１０の撮像範囲における温度データを検出することができる。また、赤外線カメラ１０の撮像素子上には複数の画素（ピクセル）を備え、例えば、赤外線カメラの撮像素子としては、画素数３２０×２４０を有するものが用いられる。撮像素子上の各画素は、各画素が撮像する範囲における温度データを検出することができる。また、赤外線カメラ１０は、例えば、フレームレート１／３０ｆｓ、放射率１．０に設定されており、ユーザの表面（皮膚）の温度データを周期的に検出する。赤外線カメラ１０は、各画素において検出された複数の温度データを、順次、コントローラ２０に送信する。

コントローラ２０は、ユーザの心拍数を測定するためのプログラムを格納したＲＯＭ（Read Only Memory）と、このＲＯＭに格納されたプログラムを実行するＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）とから構成される。

コントローラ２０は、ＲＯＭに格納したプログラムをＣＰＵにより実行することにより、温度データ取得機能、特定機能、平均温度算出機能、記憶機能、温度情報取得機能、変換機能、抽出機能、および計測機能の各機能を実現する。以下に、コントローラ２０が備える各機能について説明する。

コントローラ２０の温度データ取得機能は、赤外線カメラ１０の各画素において検出された温度データを、赤外線カメラ１０から取得する。上述したように、赤外線カメラ１０は、複数の画素を有し、各画素において温度データを検出するため、温度データ取得機能は、赤外線カメラ１０から、複数の温度データを取得することになる。

コントローラ２０の特定機能は、温度データ取得機能により取得された温度データに基づいて、ユーザの所定部位を特定し、取得した温度データがユーザのどの部位に基づく温度データであるかを特定する。なお、特定機能により、赤外線カメラ１０で検出された温度データが、ユーザのどの部位に基づく温度データであるかを特定する方法については後述する。

コントローラ２０の記憶機能は、ユーザの所定部位の平均温度データを、コントローラ２０のＲＡＭに記憶する。記憶機能により記憶されるユーザの所定部位の平均温度データは、コントローラ２０の平均温度算出機能により算出されたユーザの所定部位の平均温度データである。すなわち、平均温度算出機能は、赤外線カメラ１０の全ての画素で検出された温度データのうち、特定機能により特定されたユーザの所定部位において検出された複数の温度データから平均温度データを算出し、記憶機能は、平均温度算出機能により算出された平均温度データを、時系列に沿って記憶する。記憶機能により記憶された所定部位の平均温度データの時系列データは、コントローラ２０の温度情報取得機能により、該所定部位の温度情報として取得される。

コントローラ２０の変換機能は、温度情報取得機能により取得されたユーザの部位の温度情報を周波数成分に変換し、コントローラ２０の抽出機能は、温度情報から変換された周波数成分から、心拍に相当する周波数帯域の周波数成分を抽出する。ここで、人などの表面（皮膚）温度は、体を循環する血液変動による影響を受ける。すなわち、血管の収縮変動に応じて、表面（皮膚）温度が変化する。抽出機能は、ユーザの所定部位の温度情報から変換された周波数成分の中から、心拍に相当する周波数帯域の周波数成分を抽出することにより、血管の収縮成分を抽出するものである。変換機能および抽出機能により、温度情報を周波数成分に変換し、変換された周波数成分の中から、心拍に相当する周波数帯域の周波数成分を抽出する方法については後述する。

コントローラ２０の計測機能は、抽出機能により抽出された周波数成分に基づいて、ユーザの心拍数を計測する。計測機能によるユーザの心拍数の計測方法については後述する。

次に、図２を参照して、本実施形態における心拍数計測処理について説明する。図２は、第１実施形態に係る心拍数計測処理を示すフローチャートである。以下においては、ユーザの顔部のうち鼻の中心部付近である鼻突部の温度データに基づいて、ユーザの心拍数を計測する方法について説明する。なお、図２に示す心拍数計測処理は、コントローラ２０により、一定時間間隔で実行される。

ステップＳ１０１では、温度データ取得機能により、赤外線カメラ１０において検出された温度データが取得される。図３は、赤外線カメラ１０により撮像された熱画像の一例を示す図である。図３においては、温度の低い温度データを検出した画素を薄い色、温度の高い温度データを検出された画素を濃い色として、検出された温度データの温度の高低を白黒の濃淡で表している。すなわち、図３においては、ユーザの顔部の温度は、背景温度Ｔ_ｂと比べ濃い色で表示されているので、ユーザの顔部の温度は、背景温度Ｔ_ｂよりも高い温度であることを示している。温度データ取得機能は、赤外線カメラ１０で検出された温度データの全て、例えば図３に示す例では、ユーザの顔部を撮像する画素において検出された温度データの他に、ユーザの顔部以外の部分を撮像する画素で検出された温度データをも取得する。

ステップＳ１０２では、取得された温度データに基づいて、複数の画素で撮像された温度データのうち、ユーザの顔部のうち鼻の中心部付近である鼻突部に基づく各温度データが特定される。以下において、ユーザの鼻突部に基づく温度データを特定する方法の一例について説明する。

まず、特定機能は、ユーザの鼻突部の温度データを特定するために、ユーザの左右一対の鼻腔部の特定を行う。例えば、特定機能は、図３に示すように、赤外線カメラ１０により撮像された熱画像から、ユーザの顔部の中心部分を求める一方で、ユーザの顔部以外の部分であって背景の温度と判断できる背景温度Ｔ_ｂを検出する。そして、赤外線カメラ１０により撮像された熱画像において、ユーザの顔部の中心部分から最も近い位置にあり、かつ、背景温度Ｔ_ｂに近い温度データを検出した画素を２箇所検出することで、ユーザの鼻腔部を特定する。図３に示すように、鼻腔部は顔部の中心付近に位置し、また鼻腔部の温度データは、ユーザの呼吸により、他の顔部の部分と比べて低い温度として検出されるためである。なお、ユーザの鼻腔部の検出精度を向上させるため、ユーザの鼻腔部を特定する際には、ユーザの顔部の中心部分から近い位置にあり、かつ、背景温度Ｔ_ｂに近い温度データを検出する複数の画素が連続する部分を鼻腔部と特定することが好適である。

次に、特定された左右一対の鼻腔部に基づいて、ユーザの鼻突部が特定される。図４は、図３に示す熱画像のうち、ユーザの鼻腔部周辺を拡大して示した拡大図である。なお、図４においても、図３と同様に、温度の高低を白黒の濃淡で表している。図４に示すように、鼻突部は、鼻の中心部周辺の部位をいう。まず、特定機能は、鼻突部を特定するために、特定した左右一対の鼻腔部の間の中心位置をＹ軸方向に通る中心線を求め、その一方で、左右一対の鼻腔部の上限（上端）を通るＸ軸方向の上限線を求める。そして、特定機能は、図４に示すように、左右一対の鼻腔部の中心線を中心としてＸ軸方向に所定範囲広がった領域であり、左右一対の鼻腔部の上限線よりも上に位置してＹ軸方向に所定範囲広がった領域を鼻突部として特定する。これにより、特定機能は、特定された鼻突部を撮像する画素において検出された各温度データを、鼻突部に基づく温度データと特定することができる。

ステップＳ１０３では、平均温度算出機能により、ステップＳ１０２において特定されたユーザの鼻突部に基づく各温度データから、ユーザの鼻突部の平均温度データが算出される。赤外線カメラ１０は撮像素子上に複数の画素を備えており、ステップＳ１０２において、ユーザの鼻突部を撮像する複数の画素により、ユーザの鼻突部の温度データが複数検出される。ステップＳ１０３では、ユーザの鼻突部を撮像する複数の画素において検出された各温度データから、ユーザの鼻突部の平均温度データが算出される。

ステップＳ１０４では、記憶機能により、ステップＳ１０３で算出された鼻突部の平均温度データが、コントローラ２０のＲＡＭに記憶される。ここで、図５は、ユーザの鼻突部の温度情報の一例を示す図である。赤外線カメラ１０は、設定されたフレームレートで撮度データを検出し、検出された温度データを順次、コントローラ２０に送信する。そして、赤外線カメラ１０からの温度データの送信に応じて、ステップＳ１０１〜１０４までの処理が行われる。そのため、ステップＳ１０４では、鼻突部の平均温度データが時系列に沿って記憶されることになる。ステップＳ１０５では、温度情報取得機能により、時系列に沿って記憶された鼻突部の平均温度データが、ユーザの鼻突部の温度情報として取得される。

ステップＳ１０６では、変換機能により、ユーザの鼻突部の温度情報が、周波数成分に変換される。続くステップＳ１０７では、ユーザの鼻突部の温度情報から変換された周波数成分の中から、心拍に相当する周波数帯域の周波数成分が抽出される。そして、ステップＳ１０８では、計測機能により、抽出された周波数成分に基づいて、ユーザの心拍数が計測される。ステップＳ１０６〜ステップＳ１０８までの処理は、例えば、フーリエ変換、バンドパスフィルター処理、またはウェーブレット変換などの手法を用いて行われる。以下において、各手法を用いて、ユーザの心拍数を計測する方法について具体的に説明する。

まず、フーリエ変換を用いて、ユーザの心拍数を計測する方法について説明する。

図６は、フーリエ変換により、図５に示す鼻突部の温度情報から変換された周波数成分を示す図である。変換機能は、図５に示す鼻突部の温度情報を、フーリエ変換することで、図６に示すように、鼻突部の温度情報を周波数成分に変換する。

抽出機能は、変換機能によりユーザの鼻突部の温度情報から変換された周波数成分の中から、心拍に相当する周波数帯域、例えば、０．８〜１．５Ｈｚの周波数帯域において、パワースペクトル強度が最大となる周波数を抽出する。例えば、図６に示す例に関して、抽出機能は、心拍に相当する周波数帯域である周波数０．８Ｈｚ〜１．５Ｈｚの周波数帯域において、パワースペクトル強度が最大となる周波数である周波数ｆ１を抽出する。

次いで、計測機能は、抽出機能により抽出された周波数に基づいて、ユーザの心拍数を計測する。例えば、図６に示す例に関して、計測機能は、この検出された周波数ｆ１に基づき、下記式（１）により、心拍数（拍／分）を計測する。
心拍数（拍／分） ＝ ｆ１×６０ … （１）
すなわち、周波数ｆ１は、心拍に相当する周波数と想定されるため、１分当たりの周波数ｆ１を算出することで、ユーザの心拍数を計測することができる。

なお、計測手段により心拍数を計測する際には、図６に示すように、パワースペクトル強度が最大となる周波数ｆ１を用いて心拍数を計測するのではなく、心拍に相当する周波数帯域である周波数０．８Ｈｚ〜１．５Ｈｚの周波数帯域において重心となる周波数ｆ２を検出し、検出された周波数ｆ２を用い、下記式（２）に基づいて、心拍数（拍／分）を計測してもよい。
心拍数（拍／分） ＝ ｆ２×６０ … （２）

次に、バンドパスフィルター処理により、ユーザの心拍数を計測する方法について説明する。

まず、変換機能により、鼻突部の温度情報をフーリエ変換し、図６に示すように、鼻突部の温度情報が周波数成分に変換される。次に、抽出機能は、変換された周波数成分の中から、心拍に相当する周波数０．８Ｈｚ〜１．５Ｈｚの周波数帯域の周波数成分を、バンドパスフィルターにより抽出する。そして、抽出機能は、抽出された周波数成分を対して、逆フーリエ変換を行い、抽出された周波数成分を鼻突部の温度情報に再変換する。

図７は、図６に示す周波数成分から心拍に相当する周波数帯域の周波数成分をバンドパスフィルターで抽出し、抽出された周波数成分を逆フーリエ変換により再変換した鼻突部の温度情報の一例を示す図である。なお、図７において、バンドパスフィルター処理により抽出した後の鼻突部の温度情報を実線で示しており、また、鼻突部の温度情報との比較のため、指先に取り付けた脈波形を用いて計測した指尖脈波を一点鎖線で示している。

計測機能は、測定時間ｔ秒の間、実線で示す鼻突部の温度情報のピーク数ｎを検出し、下記式（３）によりユーザの心拍数を計測する。
心拍数（拍／分） ＝ （６０／ｔ）×ｎ … （３）
なお、温度情報においてピークであるかの判断基準は、適宜決定することができ、例えば、所定時間における温度上昇率が一定値以上となった後に、所定時間における温度下降率が一定値以上となった場合に、ピークであると判断することができる。

また、図７には、指尖脈波が一点鎖線で表示されている。図７に示すように、指尖脈波と、バンドパスフィルター処理後の鼻突部の温度情報とは、ほぼ一致しており、鼻突部の温度情報に基づいて、ユーザの心拍数が適切に測定できることがわかる。

次に、ウェーブレット変換を用いて、ユーザの心拍数を計測する方法について説明する。

図８は、ウェーブレット変換により、ユーザの心拍数を計測する方法を説明するための図である。なお、図８中の左側の図である温度情報Ｓは、鼻突部の温度情報の一例を示している。

まず、変換機能は、ウェーブレット変換により、図８の左図に示す鼻突部の温度情報Ｓについて多重解像度分解を行い、図８の中央に示す階層ｄ１からｄ５までの周波数成分を得る。この階層ｄ１からｄ５の周波数成分は、温度情報Ｓ＝ｄ１＋ｄ２＋ｄ３＋ｄ４＋ｄ５の関係にあり、階層ｄ１が温度情報Ｓの最も高い周波数帯域に対応する周波数成分を示しており、また階層ｄ５が温度情報Ｓの最も低い周波数帯域の周波数成分を示している。このように、図８に示す階層ｄ５から階層ｄ１は、階層ｄ５から階層ｄ１に向かって、温度情報Ｓのうち低い周波数帯域の周波数成分を抽出したものから、高い周波数帯域に対応する周波数成分を抽出したものとなっている。

ここで、鼻突部の温度情報Ｓを多重解像度分解して得られた階層ｄ１からｄ５の周波数成分のうち、階層ｄ２およびｄ３の周波数成分は、鼻突部の温度情報Ｓから心拍に相当する周波数帯域の周波数成分を抽出したものである。そこで、抽出機能は、階層ｄ１からｄ５までの周波数成分のうち、階層ｄ２およびｄ３の周波数成分を抽出する。そして、抽出機能は、心拍に相当する周波数帯域である階層ｄ２およびｄ３の周波数成分について、逆ウェーブレット変換を行い、図８の右図に示す温度情報に再変換する。

図８の右図に示す温度情報Ｓ’は、図８の左図に示す鼻突部の温度情報Ｓから、心拍に対応する周波数帯域の周波数成分を抽出して求めた温度情報である。計測機能により、測定時間ｔ秒間の温度情報Ｓ’におけるピーク数ｎをカウントすることで、上記式（３）に基づいて、ユーザの心拍数（拍／分）を適切に計測することができる。

このように、フーリエ変換、バンドパスフィルター処理、ウェーブレット変換などを用いて、鼻突部の温度情報から心拍に相当する周波数帯域の周波数成分を抽出し、抽出した周波数成分に基づいて、ユーザの心拍数を計測することができる。

以上のように、本実施形態では、赤外線カメラ１０によりユーザの表面（皮膚）の温度データを検出し、検出された温度データの時系列データである温度情報に基づいて、ユーザの心拍数が測定される。ここで、生体の表面（皮膚）温度は、体内を循環する血液の変動による影響を受ける。すなわち、血管の収縮変動により、生体の表面（皮膚）温度は微小変化する。そのため、赤外線カメラ１０によりユーザの表面（皮膚）の温度データを検出し、検出された温度データから求められる温度情報に基づいて、血管の収縮成分を抽出することで、ユーザに接触することなく、ユーザの心拍数を測定することができる。

特に、本実施形態では、フーリエ変換、バンドパスフィルター処理、またはウェーブレット変換を用いて、温度情報から心拍に相当する周波数帯域の周波数成分を抽出し、抽出された周波数成分に基づいて、ユーザの心拍数を測定する。これにより、赤外線カメラ１０により検出された温度データに基づく温度情報から、ユーザの心拍に起因しない温度変動成分（ノイズ）を取り除くことができ、ユーザの心拍数の測定精度を向上させることができる。

さらに、本実施形態では、ユーザの顔部、特に鼻突部の温度データに基づいて、ユーザの心拍数が計測される。鼻突部は、血管吻合部であり、皮膚表面に毛細血管が集中する部位である。そのため、ユーザの鼻突部の温度データを検出することで、毛細血管の収縮変動による温度変化を適切に検出することができ、その結果、ユーザの心拍数を適切に測定することができる。

なお、第１実施形態では、ユーザの鼻突部の温度情報に基づいて、ユーザの心拍数を計測しているが、他の部位、例えば、ユーザの左右一対の耳朶部または左右一対の頬部の温度データを検出し、これら部位の温度データから求めた温度情報に基づいて、ユーザの心拍数を測定してもよい。図９は、ユーザの耳朶部において取得された温度情報の一例を示す図である。そして、図１０は、図９に示すユーザの耳朶部の温度情報を、フーリエ変換により変換して求めた周波数成分を示す図である。例えば、赤外線カメラ１０により、ユーザの耳朶部の温度データを所定時間検出することで、図９に示すようなユーザの耳朶部の温度情報を取得することができる。図１０に示す例に関して、心拍に相当する周波数帯域、例えば、０．８Ｈｚ〜１．５Ｈｚの周波数帯域のうち、周波数ｆ３において、パワーベクトル強度が最大となっている。そのため、計測機能は、ユーザの心拍数を、周波数ｆ３×６０（拍／分）として計測する。例えば、周波数ｆ３が１．１５Ｈｚである場合には、ユーザの心拍数は、１．１５×６０＝６９（拍／分）として計測される。

耳朶部は、毛細血管が集中する末梢部位であり、この末梢部位の毛細血管の収縮は、体温変化に微小な変化を与える。そのため耳朶部の温度データを検出することで、鼻突部と同様に、血管の収縮成分を適切に抽出することができ、ユーザに接触することなく、ユーザの心拍数を測定することができる。また、頬部も、顔部の中で血管が集中する部位であり、頬部の温度変化を検出することで、鼻突部または耳朶部と同様に、血管の収縮成分を抽出することができ、ユーザに接触することなく、ユーザの心拍数を測定することができる。

≪第２実施形態≫
続いて、本発明の第２実施形態について説明する。図１１は、第２実施形態に係る心拍数測定処理を示すフローチャートである。第２実施形態のコントローラ２０は、第１実施形態のコントローラ２０の機能に加えて、ユーザの鼻突部において検出した温度データと、ユーザの額部において検出した温度データとの差を差分データとして算出する温度データ算出機能を備え、図１１に示すフローチャットに従ってユーザの心拍数を測定すること以外は、第１実施形態と同様の構成を有する。以下においては、図１１に示すフローチャートを参照して、第２実施形態に係る心拍数測定処理について説明する。なお、図１１に示す心拍数計測処理も、コントローラ２０により、一定時間間隔で実行される。

ステップＳ２０１では、第１実施形態のステップＳ１０１と同様に、赤外線カメラ１０の全ての画素において検出された温度データが取得される。そして、ステップＳ２０２においては、取得された温度データから、ユーザの鼻突部に基づく各温度データとともに、ユーザの額部に基づく各温度データが特定される。なお、ユーザの鼻突部および額部を特定する方法としては、特に限定されず、例えば、第１実施形態のステップＳ１０２と同様に、ユーザの鼻腔部を特定し、ユーザの鼻腔部に基づいて、ユーザの鼻突部および額部を特定してよい。

ステップＳ２０３では、平均温度算出機能により、ユーザの鼻突部および額部において検出された各温度データから、鼻突部の平均温度データＴ_ｎおよび額部の平均温度データＴ_ｈが算出される。

そして、ステップＳ２０４では、温度データ算出機能により、額部の平均温度データＴ_ｈとユーザの鼻突部の平均温度データＴ_ｎとの差が、差分データＴ_ｈ−Ｔ_ｎとして算出される。次に、ステップＳ２０５では、ステップＳ２０４で算出された差分データが、コントローラ２０のＲＡＭに記憶される。

ステップＳ２０６〜ステップＳ２０９では、第１実施形態のステップＳ１０５〜Ｓ１０８と同様の処理が行われる。すなわち、時系列に沿って記憶された差分データが温度情報として取得され（ステップＳ２０６）、取得された温度情報が周波数成分に変換される（ステップＳ２０７）。そして、温度情報から変換された周波数成分のうち心拍に相当する周波数帯域の周波数成分が抽出され（ステップＳ２０８）、抽出された周波数成分に基づいて、ユーザの心拍数が計測される（ステップＳ２０９）。

以上のように、第２実施形態では、鼻突部の平均温度データと、額部の平均温度データとの差から差分データを算出し、この差分データに基づいて、ユーザの心拍数が計測される。人の体温は、個人差、病気、または慨日リズムにより変動する場合がある一方、額部は脳の近くに位置するため、額部の温度変動は比較的安定している。そこで、第２実施形態では、額部の温度データと鼻突部の温度データとの差分データを求めることで、第１実施形態の効果に加えて、ユーザの鼻突部において検出される温度データにおける個人差や状態差の影響を低減することができ、ユーザの心拍数の測定精度を向上させることができる。

なお、第２実施形態においては、ユーザの鼻突部の温度データとユーザの額部の温度データとの差から差分データを求め、この差分データに基づいて、ユーザの心拍数を測定しているが、ユーザの心拍数を測定するために、例えば、ユーザの耳朶部の温度データとユーザの額部の温度データとの差から差分データを求めてもよいし、ユーザの頬部の温度データとユーザの額部の温度データとの差から差分データを求めてよい。

≪第３実施形態≫
続いて、本発明の第３実施形態について説明する。図１２は、第３実施形態に係る心拍数測定処理を示すフローチャートである。第３実施形態のコントローラ２０は、第１実施形態のコントローラ２０の機能に加えて、ユーザの鼻突部、左右一対の耳朶部、左右一対の頬部の複数の部位で求めた平均温度データの和を加算データとして算出する温度データ算出機能を備え、図１２に示すフローチャットに従って、ユーザの心拍数を測定すること以外は、第１実施形態と同様の構成を有する。以下においては、図１２に示すフローチャートを参照して、第３実施形態に係る心拍数測定処理について説明する。なお、図１２に示す心拍数計測処理も、コントローラ２０により、一定時間間隔で実行される。

ステップＳ３０１では、第１実施形態のステップＳ１０１と同様に、赤外線カメラ１０の全ての画素において検出された温度データが取得される。次いで、ステップＳ３０２では、取得された温度データのうち、ユーザの鼻突部に基づく各温度データに加えて、左右一対の耳朶部および左右一対の頬部に基づく各温度データが特定される。なお、ユーザの鼻突部、左右一対の耳朶部、左右一対の頬部の特定方法は、任意の方法を用いればよく、特に限定されない。

ステップＳ３０３では、ユーザの鼻突部、左右一対の耳朶部、左右一対の頬部に基づく各温度データから、それぞれの部位における平均温度データが算出される。ステップＳ３０４では、算出されたユーザの鼻突部、左右一対の耳朶部、および左右一対の頬部の平均温度データの和から加算データが算出される。そして、ステップＳ３０５では、算出された加算データが、コントローラ２０のＲＡＭに記憶される。

ステップＳ３０６〜ステップＳ３０９では、第１実施形態のステップＳ１０５〜Ｓ１０８と同様の処理が行われる。すなわち、時系列に沿って記憶された加算データが温度情報として取得され（ステップＳ３０６）、取得された温度情報が周波数成分に変換される（ステップＳ３０７）。そして、温度情報から変換された周波数成分のうち心拍に相当する周波数帯域の周波数成分が抽出され（ステップＳ３０８）、抽出された周波数成分に基づいて、ユーザの心拍数が計測される（ステップＳ３０９）。

以上のように、第３実施形態では、ユーザの鼻突部、左右一対の耳朶部、左右一対の頬部の平均温度データを算出し、算出された複数の部位の平均温度データの和から算出される加算データに基づいて、ユーザの心拍数が計測される。このように、ユーザの鼻突部、左右一対の耳朶部、および左右一対の頬部の平均温度データの加算データに基づいて、ユーザの心拍数を測定することで、第１実施形態の効果に加えて、ユーザの鼻突部、左右一対の耳朶部、および左右一対の頬部のそれぞれの部位において検出された温度データに含まれる心拍に起因しない周波数成分（ノイズ）の影響を低減することができ、かつ、ユーザの心拍に対応する周波数成分を強調することができる。その結果、ユーザの心拍数の測定精度を高めることができる。

なお、温度データ算出機能により、ユーザの各部位の平均温度データを加算する際には、加算される各部位の平均温度データを正規化し、正規化された各部位の平均温度データの和から、加算データを算出してもよい。

≪第４実施形態≫
続いて、本発明の第４実施形態について説明する。図１３Ａおよび図１３Ｂは、第４実施形態に係る心拍数測定処理を示すフローチャートである。第４実施形態のコントローラ２０は、第１実施形態のコントローラ２０の機能に加えて、ユーザの顔の向きを推定し、推定されたユーザの顔の向きに応じて、ユーザの鼻突部、左右一対の耳朶部、左右一対の頬部の部位の中から周波数成分を抽出するための部位を選択する選択機能と、選択機能により選択された部位の平均温度データの和から加算データを算出する温度データ算出機能を備え、図１３Ａおよび図１３Ｂに係るフローチャートに従って、ユーザの心拍数を測定すること以外は、第１実施形態と同様の構成を有する。以下においては、図１３Ａおよび図１３Ｂに示すフローチャートを参照して、第４実施形態に係る心拍数測定処理について説明する。なお、図１３Ａおよび図１３Ｂに示す心拍数計測処理も、コントローラ２０により、一定時間間隔で実行される。

ステップＳ４０１では、第１実施形態のステップＳ１０１と同様に、赤外線カメラ１０の全ての画素において検出された温度データが取得される。次いで、ステップＳ４０２では、取得された温度データのうち、ユーザの鼻突部に基づく各温度データに加えて、左右一対の耳朶部および左右一対の頬部に基づく各温度データが特定される。そして、ステップＳ４０３では、ユーザの鼻突部、左右一対の耳朶部、および左右一対の頬部に基づく各温度データから、それぞれの部位の平均温度データが算出される。続くステップＳ４０４では、算出されたユーザの鼻突部、左右一対の耳朶部、および左右一対の頬部の平均温度データがコントローラ２０のＲＡＭにそれぞれ記憶される。

ステップＳ４０５では、選択機能により、ユーザの顔の向きが推定される。ユーザの顔の向きを推定する方法は、特に限定されないが、例えば、ＲＡＭに記憶されたユーザの顔が正面を向いている際の画像と、現在のユーザの顔の画像との差分から、オプティカルフローを求めることで、ユーザの顔の向きを推定できる。なお、ユーザの顔が正面を向いているかの判断は、例えば、所定時間にわたって撮像されたユーザの顔の画像から、ユーザが向いている傾向の大きい方向を正面と推定してもよいし、所定のテンプレートを予め用意し、このテンプレートに近似する方向を正面と推定してもよい。

ステップＳ４０６では、選択機能により、推定されたユーザの顔の向きが下向であるか判断される。ユーザの顔の向きが下向きであると判断された場合は、ステップＳ４０７に進み、選択機能により、ユーザの鼻突部、左右一対の耳朶部、左右一対の頬部の部位の中から、周波数成分を抽出するための部位として左右一対の耳朶部が選択される。そして、温度データ算出機能により、選択された左右一対の耳朶部の平均温度データが加算される。一方、ステップＳ４０６において、ユーザの顔の向きが下向きではないと判断された場合は、ステップＳ４０８に進む。

ステップＳ４０８では、選択機能により、推定されたユーザの顔の向きが右向きであるか判断される。ユーザの顔の向きが右向きであると判断された場合は、ステップＳ４０９に進み、選択機能により、ユーザの鼻突部、左右一対の耳朶部、左右一対の頬部の部位の中から、周波数成分を抽出するための部位として左頬部、左耳朶部が選択される。そして、温度データ算出機能により、選択された左頬部、左耳朶部の平均温度データが加算される。一方、ステップＳ４０８において、ユーザの顔の向きが右向きではないと判断された場合は、ステップＳ４１０に進む。

ステップＳ４１０では、選択機能により、推定されたユーザの顔の向きが左向きであるか判断される。ユーザの顔の向きが左向きであると判断された場合は、ステップＳ４１１に進み、選択機能により、ユーザの鼻突部、左右一対の耳朶部、左右一対の頬部の部位の中から、周波数成分を抽出するための部位として右頬部、右耳朶部が選択される。そして、温度データ算出機能により、選択された右頬部、右耳朶部の平均温度データが加算される。一方、ステップＳ４１０において、ユーザの顔の向きが左向きではないと判断された場合は、ステップＳ４１２に進む。

ステップＳ４１２では、ユーザの顔の向きが下向き、右向きまたは左向きのいずれでもないと判断されているため、ユーザの顔の向きが正面であると推定される。そして、ステップＳ４１３に進み、選択機能により、周波数成分を抽出するための部位としてユーザの鼻突部、左右一対の耳朶部、左右一対の頬部の全ての部位が選択される。そして、温度データ算出機能により、選択されたユーザの鼻突部、左右一対の耳朶部、左右一対の頬部の全ての部位の平均温度データが加算される。

なお、ステップＳ４０６からステップＳ４１３までのユーザの顔向きを判断する処理は、この順番としなくてもよく、例えば、ステップＳ４１２のユーザの顔の向きが正面であるかを初めに判断してもよい。

ステップＳ４１４では、ユーザの顔の向きに応じて選択された部位の平均温度データの和から算出された加算データが、コントローラ２０のＲＡＭに記憶される。ステップＳ４１５〜ステップＳ４１８では、第１実施形態のステップＳ１０５〜Ｓ１０８と同様の処理が行われる。すなわち、ユーザの顔の向きに応じて選択された部位の温度データの和から算出された加算データの時系列データが温度情報として取得され（ステップＳ４１５）、取得された温度情報が周波数成分に変換される（ステップＳ４１６）。そして、温度情報から変換された周波数成分のうち心拍に相当する周波数帯域の周波数成分が抽出され（ステップＳ４１７）、抽出された周波数成分に基づいて、ユーザの心拍数が計測される（ステップＳ４１８）。

以上のように、第４実施形態においては、ユーザの顔の向きを推定し、推定されたユーザの顔の向きに応じて、ユーザの鼻突部、左右一対の耳朶部、左右一対の頬部の中から、周波数成分を抽出するための部位が選択され、選択された部位の平均温度データの和から加算データが算出される。このように、第４実施形態においては、ユーザの顔の向きを推定することで、第１実施形態の効果に加えて、仮に、ユーザが顔を傾けた場合でも、ユーザの表面（皮膚）の温度データを適切に検出できる部位を選択し、選択された部位の温度データに基づいて、ユーザの心拍数を適切に測定することができる。例えば、ユーザが顔を右方向に向けている場合に、周波数成分を抽出するための部位として左耳朶部および左頬部を選択し、選択された左耳朶部および左頬部の平均温度データの和から加算データを算出することで、ユーザが顔を右方向に向けているため、ユーザの正面に設置される赤外線カメラ１０で、ユーザの鼻突部、右耳朶部、および右頬部の温度データを適切に検出することができない場合であっても、ユーザの心拍数を適切に測定することができる。

≪第５実施形態≫
続いて、本発明の第５実施形態について説明する。図１４は、第５実施形態に係る心拍数測定処理を示すフローチャートである。第５実施形態のコントローラ２０は、第１実施形態のコントローラ２０の機能に加えて、顔部を複数のセルに分割し、各セルの平均温度データを求めるセル温度算出機能と、複数のセルのうち周波数成分の抽出に用いるセルを選択する選択機能とを備え、図１４に示すフローチャートに従って、ユーザの心拍数を測定すること以外は、第１実施形態と同様の構成を有する。以下においては、図１４に示すフローチャートを参照して、第５実施形態に係る心拍数測定処理について説明する。なお、図１４に示す心拍数計測処理も、コントローラ２０により、一定時間間隔で実行される。

ステップＳ５０１では、第１実施形態のステップＳ１０１と同様に、赤外線カメラ１０により検出された温度データが取得される。

ステップＳ５０２では、赤外線カメラ１０により撮像された熱画像のうちユーザの顔部が特定され、セル温度算出機能により、特定されたユーザの顔部が複数のセルに分割される。ここで、図１５は、複数のセルに分割されたユーザの顔部を示す図である。なお、図１５においても、図３と同様に、温度の高低を白黒の濃淡で表している。図１５に示す例では、セル温度算出機能は、ユーザの顔部を、６×７個のセルで分割している。また、各セルは、他のセルと同じ大きさの領域となるに分割される。なお、図１５に示すユーザの顔部の分割は一例であって、ユーザの顔部を分割するセルの数は特に限定されず、また、セルの大きさ（各セルの画素数）も特に限定されない。

ステップＳ５０３では、セル温度算出機能により、所定の基準温度よりも所定温度以上低い温度データを検出した画素が特定される。これにより、人の表面（皮膚）の温度とは判断されない温度データを検出した画素を特定することができる。図１５に示すように、赤外線カメラ１０により人の顔部の温度データを検出する場合には、例えば、一般的に人の平熱またはそれに近いと考えられる３６．５度が基準温度とされる。そして、セル温度算出機能は、各画素において検出された温度データが、この基準温度３６．５度よりも所定温度以上低いか判断し、この基準温度３６．５度よりも所定温度以上低い場合に、この画素で検出した温度データは、人の表面（皮膚）温度ではないと判断する。そして、ステップＳ５０４では、セル温度算出機能により、人の皮膚の温度ではないと判断された温度データを除いて、各セルにおける平均温度データが算出される。例えば、図１５に示すように、ユーザが眼鏡を着用している場合、この眼鏡を撮像する画素において検出される温度データは、基準温度３６．５度よりも所定温度以上低い温度として検出され、眼鏡を撮像する画素で検出された温度データを除いて、各セルの平均温度データが算出される。

ステップＳ５０５では、算出された各セルの平均温度データがコントローラ２０のＲＡＭに記憶される。そして、ステップＳ５０６では、各セルの平均温度データの時系列データが温度情報として取得され、ステップＳ５０７で、取得された各セルの温度情報が周波数成分に変換される。次に、ステップＳ５０８では、選択機能が、セルの温度情報から変換された周波数成分のうち、心拍に相当する周波数帯域である周波数０．８〜１．５Ｈｚにおいて、パワースペクトル強度が最大となる周波数の値を最大強度として求める。

ステップＳ５０９では、選択機能により、全てのセルの中から、最大強度の大きさが大きい上位ｎ個のセルが選択される。次いで、ステップＳ５１０において、選択された上位ｎ個のセルの周波数成分から、心拍に相当する周波数帯域の周波数成分が抽出され、ステップＳ５１１では、抽出された上位ｎ個のセルの周波数成分が温度情報に再変換される。

ステップＳ５１２では、再変換された上位ｎ個のセルの温度情報において、各時点における温度データ同士を加算することで、上位ｎ個のセルの温度データの和からなる時系列データが温度情報として算出される。そして、ステップＳ５１３では、算出された時系列データに基づいて、ユーザの心拍数が計測される。

以上のように、第５実施形態では、ユーザの顔部を複数のセルに分割し、分割された複数のセルの中から、心拍に相当する周波数帯域におけるパワースペクトル強度の値が大きな上位ｎ個のセルを選択し、選択されたセルの周波数成分に基づいて、ユーザの心拍数が計測される。このように、第５実施形態では、複数のセルの周波数成分のうち、心拍に相当する周波数成分が良好に検出されたセルを選択して、ユーザの心拍数を測定することができるため、第１実施形態の効果に加えて、ユーザの心拍数の計測精度を向上することができる。

さらに、第５実施形態では、セル内の複数の画素において検出された温度データのうち、ユーザの表面（皮膚）温度と判断できない温度データを除いて、セルの平均温度データが算出される。このように、ユーザの表面（皮膚）温度と判断できない温度データを除いて、ユーザの表面（皮膚）の温度と判断される温度データのみからセルの平均温度データを算出することで、例えば、図１５に示すように、ユーザが、ユーザの顔部に、眼鏡などの人工物を着用している場合でも、ユーザの表面（皮膚）の温度データに基づいて、ユーザの心拍数を適切に測定することができる。

≪第６実施形態≫
続いて、本発明の第６実施形態について説明する。図１６は、第６実施形態に係る心拍数測定処理を示すフローチャートである。第６実施形態のコントローラ２０は、第１実施形態のコントローラ２０の機能に加えて、顔部を複数のセルに分割し、各セルの平均温度データを求めるセル温度算出機能と、各セルの温度情報の相関を判断して、周波数成分の抽出に用いるセルを選択する選択機能と、セルの温度データの和から加算データを算出する温度データ算出機能を備え、図１６に示すフローチャートに従って、ユーザの心拍数を測定すること以外は、第１実施形態と同様の構成を有する。以下においては、図１６に示すフローチャートを参照して、第６実施形態に係る心拍数測定処理について説明する。なお、図１６に示す心拍数計測処理は、コントローラ２０により、一定時間間隔で実行される。

ステップＳ６０１では、第１実施形態のステップＳ１０１と同様に、赤外線カメラ１０により検出された温度データが取得される。

ステップＳ６０２では、ユーザの顔部が特定され、セル温度算出機能により、図１５に示すように、ユーザの顔部が複数のセルに分割される。そして、ステップＳ６０３では、セル温度算出機能により、人の表面（皮膚）の温度とは判断されない温度データを検出した画素を特定するため、所定の基準温度よりも所定温度以上低い温度データを検出した画素が特定される。次のステップＳ６０４では、セル温度算出機能により、人の表面（皮膚）温度ではないと判断された温度データを除いて、セルの平均温度データが算出される。

ステップＳ６０５では、各セルにおいて算出された平均温度データが、コントローラ２０のＲＡＭに記憶される。そして、ステップＳ６０６では、各セルにおいて算出された平均温度データの時系列データが温度情報として取得される。

ステップＳ６０７では、選択機能により、独立成分分析、または独立成分分析に主成分分析を組み合わせた手法により、各セルの温度情報の相関が判断される。そして、相関が低いと判断されたセルの温度情報が除かれる。続くステップＳ６０８では、選択機能により、相関が低いと判断されたセルを除いたセルの温度情報が選択される。そして、温度データ算出機能により、選択された温度情報において、各時点における温度データ同士を加算して、加算データの時系列データを算出する。

ステップＳ６０９〜ステップＳ６１２では、第１実施形態のステップＳ１０５〜Ｓ１０８と同様の処理が行われる。すなわち、加算データの時系列データが温度情報として取得され（ステップＳ６０９）、温度情報が周波数成分に変換され（ステップＳ６１０）る。そして、温度情報から変換された周波数成分のうち心拍に相当する周波数帯域の周波数成分が抽出され（ステップＳ６１１）、抽出された周波数成分に基づいて、ユーザの心拍数が計測される（ステップＳ６１２）。

以上のように、第６実施形態では、独立成分分析、または独立成分分析に主成分分析を組み合わせた手法により、複数のセルの温度情報の中から、相関の低いセルの温度情報を除いたセルの温度情報が選択され、選択されたセルの温度情報に基づいて、ユーザの心拍数が計測される。これにより、第６実施形態では、第１実施形態の効果に加えて、相関の低いセルの温度情報を除いて、ユーザの心拍数を計測することができ、ユーザの心拍数の測定精度を向上させることができる。

≪第７実施形態≫
続いて、本発明の第７実施形態について説明する。図１７は、第７実施形態における赤外線カメラの設置例を示す図であり、また、図１８は、第７実施形態に係る心拍数測定処理を示すフローチャートである。第７実施形態では、図１７に示すように、ユーザの手の甲の温度データを検出するための赤外線カメラ１１〜１３がユーザの右側、左側、および頭上側のそれぞれの位置に設けられており、図１８に示すフローチャートに従って、ユーザの心拍数を測定すること以外は、第１実施形態と同様の構成を有する。

図１７に示すように、ユーザの右側位置に設置された赤外線カメラ１１はユーザの右側からユーザの左手の甲を、ユーザの左側に設置された赤外線カメラ１２はユーザの左側からユーザの右手の甲を、またユーザの頭上側に設置された赤外線カメラ１３はユーザの頭上側の位置からユーザの右手および左手の甲を、それぞれ異なる角度で撮像する。図１９は、図１７に示すユーザの左側に設置された赤外線カメラ１２により撮像された熱画像の一例を示す図である。なお、図１９においても、図３と同様に、温度の高低を白黒の濃淡で表している。図１９に示すように、ユーザの左側に設置された赤外線カメラ１２は、ハンドルを握るユーザの左手の甲の温度データを検出することができる。

次に、図１８に示すフローチャートを参照して、第７実施形態に係る心拍数測定処理について説明する。なお、図１８に示す心拍数計測処理は、コントローラ２０により、一定時間間隔で実行される。

ステップＳ７０１では、例えば図１９に示すように、それぞれの赤外線カメラ１１〜１３の全ての画素において検出された温度データが取得される。そして、ステップＳ７０２では、それぞれの赤外線カメラ１１〜１３から取得された温度データのうち、ユーザの手の甲に基づく各温度データが特定される。続くステップＳ７０３では、ユーザの手の甲に基づく各温度データから、ユーザの手の甲の平均温度データが算出され、ステップＳ７０４で、算出されたユーザの手の甲の平均温度データが、コントローラ２０のＲＡＭに記憶される。

ステップＳ７０５では、時系列に沿って記憶されたユーザの手の甲の平均温度データが、ユーザの手の甲の温度情報として取得される。ここで、ユーザはハンドルを操作するためにユーザの手を動かす場合があるため、温度情報を取得する際には、例えば、ユーザの手の動きに応じて、ユーザの手の甲を撮像する画素の割合が最も高い赤外線カメラにより検出されたユーザの手の甲の温度情報を取得するようにしてもよく、また複数の赤外線カメラ１１〜１３のそれぞれにおいて検出されたユーザの手の甲の平均温度データの和から加算データを算出し、算出された加算データに基づいて、温度情報を取得してもよい。

ステップＳ７０６〜ステップＳ７０８では、第１実施形態のステップＳ１０６〜Ｓ１０８と同様の処理が行われる。すなわち、温度情報が周波数成分に変換され（ステップＳ７０６）、温度情報から変換された周波数成分のうち心拍に相当する周波数帯域の周波数成分が抽出され（ステップＳ７０７）、抽出された周波数成分に基づいて、ユーザの心拍数が計測される（ステップＳ７０８）。

以上のように、第７実施形態においては、ユーザの手の甲の温度データを検出し、ユーザの手の甲の温度データから求めたユーザの手の甲の温度情報に基づいて、ユーザの心拍数が測定される。手の甲は血管が集中する部位であり、ユーザの手の甲の温度情報から、血管の収縮成分を抽出することできる。そのため、ユーザの手の甲の温度を検出することで、ユーザに接触することなく、ユーザの心拍数を測定することができる。

さらに、手の甲は、人の顔部の中の鼻突部、一対の耳朶部、または一対の頬部と比べて、特定することが容易である。そのため、人の顔部の中の鼻突部、一対の耳朶部、または一対の頬部の温度データに基づいてユーザの心拍数を測定する場合と比べて、容易に、ユーザの手の甲の温度データに基づいてユーザの心拍数を測定することができる。

なお、第７実施形態における赤外線カメラ１１〜１３の設置方法は一例であって、適宜設置してよい。また、設置されるカメラの数も限定されず、例えば、赤外線カメラをユーザの左側位置およびユーザの右側位置だけに設置してもよいし、あるいは赤外線カメラを３つよりも多く設置してもよい。

≪第８実施形態≫
続いて、本発明の第８実施形態について説明する。図２０は、第８実施形態に係る心拍数測定システムを示す構成図である。また図２１は、第８実施形態に係る心拍数測定処理を示すフローチャートである。第８実施形態では、図２０に示すように、可視光カメラ３０がユーザの前方位置に設けられており、ユーザの顔部を撮像する。そして、第８実施形態では、第１実施形態のコントローラ２０の機能に加えて、ユーザの顔部の所定部位を撮像する可視光カメラ３０の画素の位置座標を検出する位置座標検出機能と、検出された画素の位置座標を参照して、赤外線カメラ１０の各画素において検出された温度データがユーザのいずれの部位に基づく温度データであるかを特定するマッチング機能と、ユーザの複数の部位において算出された平均温度データの和を加算データとして算出する温度データ算出機能とを備え、図２１に示すフローチャートに従って、ユーザの心拍数を測定すること以外は、第１実施形態と同様の構成を有する。

可視光カメラ３０は、撮像素子上に複数の画素を備え、輝度画像を撮像するものであり、例えば、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが挙げられる。また、可視光カメラ３０と赤外線カメラ１０の画角、画素数、およびフレームレートは同じに設定されており、可視光カメラ３０と赤外線カメラ１０との撮像範囲および撮像時間は略一致する。可視光カメラ３０の各画素において撮像された画像情報は、コントローラ２０に送信される。

次に、図２１に示すフローチャートを参照して、第８実施形態に係る心拍数測定処理について説明する。なお、図２１に示す心拍数計測処理も、コントローラ２０により、一定時間間隔で実行される。

ステップＳ８０１では、位置座標検出機能により、可視光カメラ３０の各画素で撮像された画像情報が取得される。そして、ステップＳ８０２では、位置座標検出機能により、可視光カメラ３０により撮像された輝度画像に基づいて、ユーザの鼻突部、左右一対の耳朶部、左右一対の頬部が特定される。可視光カメラ３０により撮像された輝度画像に基づいて、これらのユーザの部位を特定する方法は、特に限定されず、例えば、論文（T. F. Cootes, G, J, Edwards, and C. J. Taylor, Active Appearance Model, Proc. European Conf. on Computer Version, Vol.2, p484-498, (1998)）による手法や、FSE(Face Sensing Engine／http://www.oki.com/jp/fse/：沖電気工業株式会社開発)による手法を用いる方法が挙げられる。

図２２および図２３は、可視光カメラ３０により撮像された輝度画像を用いて、ユーザの各部位を特定する方法を説明するための図である。図２２は、可視光カメラ３０により撮像された輝度画像を示した図であり、ユーザの顔の特徴点（図中において四角で囲われた部分）およびこの特徴点から特定されるユーザの鼻突部、左右一対の耳朶部、左右一対の頬部（図中において斜線で示された部分）が示されている。また、図２３は、赤外線カメラ１０により撮像された熱画像を示す図であり、ユーザの鼻突部、左右一対の耳朶部、左右一対の頬部（図中において斜線で示された部分）が示されている。なお、図２３においても、図３と同様に、温度の高低を白黒の濃淡で表している。位置座標検出機能は、可視光カメラ３０により撮像された輝度画像を上記手法により処理することで、図２２に示すように、ユーザの鼻、目、耳、口などの顔の特徴点を検出することができる。そして、位置座標検出機能は、検出されたユーザの鼻、目、耳、口などの顔の特徴点に基づいて、ユーザの鼻突部、左右一対の耳朶部、および左右一対の頬部を特定する。例えば、位置座標検出機能は、ユーザの鼻と特定された位置の中心周辺を鼻突部として特定し、また目、鼻、耳と特定された位置の間を頬部として特定し、また耳と特定された領域のうち３分の１の下部領域を耳朶部として特定する。そして、位置座標検出機能は、ユーザの鼻突部、左右一対の耳朶部、および左右一対の頬部と特定された部位を撮像する可視光カメラ３０の画素の位置座標を検出する。

ステップＳ８０３では、第１実施形態のステップＳ１０１と同様に、赤外線カメラ１０により検出された温度データが取得される。なお、ステップＳ８０１およびステップＳ８０２と、ステップＳ８０３とを、同時に行ってもよく、またステップＳ８０３を、ステップＳ８０１およびステップＳ８０２よりも先に行ってもよい。

ステップＳ８０４では、マッチング機能により、ステップＳ８０２において検出された位置座標が参照され、図２３に示すように、赤外線カメラ１０において検出された温度データのうち、ユーザの鼻突部、左右一対の耳朶部、および左右一対の頬部に基づく各温度データが特定される。

ステップＳ８０５では、ステップＳ８０４において特定されたユーザの鼻突部、左右一対の耳朶部、および左右一対の頬部の温度データから、これら部位の平均温度データが算出される。そして、ステップＳ８０６では、温度データ算出機能により、算出された鼻突部、耳朶部、および頬部の平均温度データの和から加算データが算出される。次に、ステップＳ８０７では、算出された加算データがコントローラ２０のＲＡＭに記憶される。

ステップＳ８０８〜ステップＳ８１１では、第１実施形態のステップＳ１０５〜Ｓ１０８と同様の処理が行われる。すなわち、時系列に沿って記憶された加算データが温度情報として取得され（ステップＳ８０８）、取得された温度情報が周波数成分に変換される（ステップＳ８０９）。そして、温度情報から変換された周波数成分のうち心拍に相当する周波数帯域の周波数成分が抽出され（ステップＳ８１０）、抽出された周波数成分に基づいて、ユーザの心拍数が計測される（ステップＳ８１１）。

以上のように、第８実施形態では、可視光カメラ３０と赤外線カメラ１０とが撮像する範囲および時間を略一致させ、可視光カメラ３０で撮像された輝度画像からユーザの鼻突部、耳朶部、および頬部を特定することで、これら部位を撮像する可視光カメラ３０の位置座標を参照して、赤外線カメラ１０の各画素で検出された温度データが、ユーザのどの部位に基づく温度データであるかを特定する。可視光カメラ３０は、赤外線カメラ１０と比べて、ユーザの体が動いた場合にも、ユーザの体の動きを追行して、ユーザの部位を特定する性能に優れている。そのため、可視光カメラ３０の輝度画像から特定されたユーザの鼻突部、耳朶部、および頬部を撮像する画素の位置座標を参照して、赤外線カメラ１０の各画素で検出された温度データがユーザのどの部位に基づく温度データであるかを特定することで、第１実施形態の効果に加えて、仮に、ユーザの体が動いた場合であっても、ユーザの鼻突部、左右一対の耳朶部、および左右一対の頬部に基づく温度データを適切に検出することができ、これにより、ユーザの心拍数を適切に測定することができる。

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

また、本発明は、上述した実施形態に限られず、また上述した実施形態を組み合わせて実施してもよい。実施形態を組み合わせるに際しては、例えば、ユーザの運転状況に応じて、最適な実施形態を選択して組み合わせることが好適である。

例えば、ユーザの顔が傾く、手が動くなどにより、ユーザの部位の一定割合以上の画素において温度データを検出することができない場合は、その部位において検出した温度データは除いて、他の部位において検出した温度データの和から加算データを算出し、算出された加算データに基づいて、ユーザの心拍数を測定してもよい。これにより、ユーザの顔が傾く、手が動くなどの場合でも、適切に温度データが検出された部位の温度情報に基づいて、ユーザの心拍数を適切に測定できる。

また、上述した実施形態において、心拍に相当する周波数帯域として、０．８〜１．５Ｈｚの周波数帯域を用いたが、心拍に相当する周波数帯域は、０．８〜１．５Ｈｚに限定されるものではなく適宜設定できる。

また、第５実施形態および第６実施形態においては、ユーザの顔部を複数のセルに分割して、各セルにおいて検出された温度データに基づいて、ユーザの心拍数を測定しているが、第７実施形態において、ユーザの手の甲の温度データを検出する際にも、ユーザの手の甲を複数のセルに分割して、各セルの温度データを検出し、検出された温度データに基づいて、ユーザの心拍数を測定してもよい。

なお、上述した実施形態の赤外線カメラ１０〜１３は本発明の取得手段に、変換機能および抽出機能は本発明の抽出手段に、計測機能は本発明の計測手段に、温度データ算出機能は本発明の算出手段に、選択機能は本発明の選択手段に、特定機能は本発明の特定手段にそれぞれ相当する。

１０〜１３…赤外線カメラ
２０…コントローラ
３０…可視光カメラ

Claims (8)

1. 生体の鼻突部、左右一対の耳朶部、または左右一対の頬部のうち少なくとも１つの部位と、生体の額部とを含む部位の温度データを取得する取得手段と、
   前記鼻突部、耳朶部、または頬部のうち少なくとも１つの部位の温度データと、前記生体の額部の温度データとの差から差分データを算出し、前記差分データに基づいて算出した温度情報から、前記生体の心拍に相当する周波数帯域の周波数成分に対応する周波数データを抽出する抽出手段と、
   前記抽出手段により抽出された周波数データに基づいて、前記生体の心拍数を計測する計測手段と、を備えることを特徴とする心拍数測定装置。
2. 請求項１に記載の心拍数測定装置であって、
   前記生体の鼻突部、左右一対の耳朶部、または左右一対の頬部のうち２以上の部位の温度データの和から加算データを算出し、前記加算データに基づいて、前記温度情報を算出する算出手段をさらに備えることを特徴とする心拍数測定装置。
3. 請求項１または２に記載の心拍数測定装置であって、
   前記抽出手段は、フーリエ変換、バンドパスフィルター処理、またはウェーブレット変換により、前記温度情報から前記周波数データを抽出することを特徴とする心拍数測定装置。
4. 請求項１〜３のいずれかに記載の心拍数測定装置であって、
   顔の向きに応じて、前記生体の鼻突部、左右の耳朶部、または左右の頬部の各部位の温度データの中から、前記差分データの算出に用いる温度データを選択する選択手段をさらに備えることを特徴とする心拍数測定装置。
5. 請求項４に記載の心拍数測定装置であって、
   前記選択手段は、前記生体の鼻突部、左右の耳朶部、または左右の頬部の各部位の温度データから、前記差分データの算出に用いる温度データを選択する際に、前記生体の心拍数に対する相関が低いと判断される部位の温度データを除外して、前記選択を行うことを特徴とする心拍数測定装置。
6. 請求項１〜５のいずれかに記載の心拍数測定装置であって、
   前記部位を特定するための特定手段をさらに有することを特徴とする心拍数測定装置。
7. 請求項６に記載の心拍数測定装置であって、
   前記特定手段は、可視光カメラで撮像した画像情報に基づいて、前記部位を特定することを特徴とする心拍数測定装置。
8. 生体の鼻突部、左右一対の耳朶部、または左右一対の頬部のうち少なくとも１つの部位の温度データと、生体の額部の温度データとの差分に基づく温度情報から、前記生体の心拍に対応する周波数帯域の周波数成分を抽出し、前記周波数成分に基づき、前記生体の心拍数を測定することを特徴とする心拍数測定方法。
   

Images