JP6832506B2 - 脈波計測装置、及び、脈波計測方法 - Google Patents

Description

本開示は、脈波計測装置、及び、脈波計測方法に関する。

特許文献１には、自動車内のルームミラーとして２枚のミラーを重ねたものを用いてユーザの目の付近の赤外画像を撮像するための技術が開示されている。この技術では、ユーザに近い方のミラーにより可視光を反射するとともに赤外光を透過し、ユーザから遠い方のミラーにより赤外光を反射することで、ユーザの目の付近の赤外画像を撮像する。これにより、ユーザがミラーを通してカメラを視認することがないようにしている。

特開２００６−２４８３６５号公報

しかし、特許文献１に開示される従来技術では、ユーザの目を中心に撮像することを目的として、２枚のミラーを使用する。２枚のミラーを使用する構成は煩雑であり、また、高コスト化を招く。

そこで、本開示の非限定的で例示的な一態様は、より簡易な構成によりユーザを撮像して脈波を計測する脈波計測装置を提供する。

本開示の一態様に係る脈波計測装置は、第１表面を有する可視光受光部と、脈波算出部を含み、前記可視光受光部を含む車両が側面視された場合、前記第１表面は、第１反射光の第１光路と第２反射光の第２光路との間の第１領域に位置し、前記車両のシートに着座したユーザの目は第１光を出射し、前記ユーザの頬は第２光を出射し、前記車両の室内フロントミラーの上端は前記第１光を反射して前記第１反射光を出力し、前記上端は前記第２光を反射して前記第２反射光を出力し、前記脈波算出部は、前記第１表面を介して前記可視光受光部が受光した可視光の波形に基づいて前記ユーザの脈波を算出し、算出した脈波を出力する。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性の記録媒体を含む。

本開示によれば、より簡易な構成によりユーザを撮像して脈波を計測することができる。開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。

図１は、実施の形態における脈波計測装置の構成を示すブロック図である。 図２は、実施の形態における脈波計測装置が配置される車両内を上から見た模式図である。 図３は、実施の形態における脈波計測装置によりユーザの脈波を計測する場面を示す説明図である。 図４Ａは、実施の形態における、車両の側面視における、ユーザがルームミラーを通して視認することができる領域を示す説明図である。 図４Ｂは、実施の形態におけるルームミラーの上端部、下端部、左端部及び右端部の説明図である。 図５は、実施の形態における、車両の側面視における、ユーザの頬をルームミラーを通して撮像することができる可視光撮像部が設置され得る領域を示す説明図である。 図６Ａは、実施の形態における、車両の側面視における、ユーザの頬をルームミラーを通して撮像することができ、かつ、ユーザから視認されない可視光撮像部が設置され得る領域を示す説明図である。 図６Ｂは、図６Ａに示される領域について、ユーザの目及び頬がそれぞれ有限の大きさを有する領域であると考える場合の説明図である。 図７は、実施の形態における、車両の上面視における、ユーザがルームミラーを通して視認することができる領域を示す説明図である。 図８は、実施の形態における、車両の上面視における、ユーザの頬をルームミラーを通して撮像することができる可視光撮像部が配置され得る領域を示す説明図である。 図９Ａは、実施の形態における、車両の上面視における、可視光撮像部が設置され得る領域を示す図である。 図９Ｂは、実施の形態における、車両の上面視における、可視光撮像部が設置され得る領域を示す部分拡大図である。 図９Ｃは、図９Ａに示される領域について、ユーザの目及び頬がそれぞれ有限の大きさを有する領域であると考える場合の説明図である。 図１０は、実施の形態における、カメラを設置する方法について説明する図である。 図１１Ａは、実施の形態における、ユーザが眼鏡をかけている場合の、カメラの設置する方法について説明する図である。 図１１Ｂは、実施の形態における、車両のタイプごとの可視光撮像部の設置位置の例を示す説明図である。 図１２は、実施の形態における可視光画像および赤外光画像の輝度変化の一例を示すグラフである。 図１３は、実施の形態における脈波タイミングの算出の一例を示すグラフである。 図１４は、時系列で取得した心拍間隔時間の例を示すグラフである。 図１５は、脈波から変曲点を抽出する方法を説明するためのグラフである。 図１６は、可視光波形において、頂点から底点までの間の傾きを演算する方法を説明するための可視光波形を示すグラフである。 図１７は、赤外光光源の光量の異なるレベルごとに、赤外光カメラで人の肌画像を取得した場合の赤外光波形を示すグラフである。 図１８は、第１心拍間隔時間と、第２心拍間隔時間とのそれぞれを時系列順のデータでプロットしたものを示すグラフである。 図１９は、心拍間隔時間が適切であるか否かの判定の具体例について説明するための図である。 図２０は、可視光波形においてピーク点の過剰取得が行われ、対応する赤外光波形においてピーク点の過剰取得が行われなかった場合の例を説明するための図である。 図２１は、変曲点を用いて相関度を算出する場合を説明するための図である。 図２２は、ピーク点の数が過剰であるのに、第１所定期間におけるピーク点の数が第１の閾値を超えているという条件に当てはまらない例を説明するための図である。 図２３は、光源の光量の調整中に取得したピーク点を、可視光波形と赤外光波形との間の相関度の演算に使用しないことを説明するための例を示す図である。 図２４は、脈波計測装置を用いて、可視光光源の光量を０になるまで減少させ、かつ、赤外光光源の光量を適切な光量まで増加させる最も簡単なステップの例を示す図である。 図２５は、可視光波形および赤外光波形のそれぞれにおいて、当該波形から連続する２つ以上の所定の特徴点が第２所定期間内に抽出されるまで、光源制御を待機することを説明するための図である。 図２６は、提示装置への表示例を示す図である。 図２７は、実施の形態における脈波計測装置の初期設定の処理の流れを示すフローチャートである。 図２８は、実施の形態における脈波計測装置の処理の流れを示すフローチャートである。 図２９は、実施の形態の変形例における脈波計測装置の構成を示すブロック図である。

上記問題を解決するために、本開示の一態様に係る脈波計測装置は、ユーザから出射され、車両のルームミラーにより反射された光の光路上の領域を含む領域から、前記ユーザが前記ルームミラーで目視できる領域を除いた領域に設けられる可視光受光部と、前記可視光受光部が受光した可視光の波形に基づいて前記ユーザの脈波を算出し、算出した脈波を出力する脈波算出部とを備える。

これによれば、可視光受光部がルームミラーを通してユーザの画像を取得することができ、かつ、ユーザが可視光受光部を視認することがない。よって、ユーザは、可視光受光部であるカメラに気をとられることなく運転することができ、また、脈波計測装置は、運転中のユーザの脈波を取得することができる。ここでルームミラーは、一般に、ユーザにより運転（具体的には後方視野の確保等）のために調整されている。よって、ユーザは、脈波の取得のためにルームミラーの姿勢を調整する必要も生じない。また、このルームミラーは、一般に車両に搭載されているルームミラーであり、それを超える特別な性能又は機能を有するものではない。このように、脈波計測装置は、より簡易な構成によりユーザを撮像して脈波を計測することができる。

例えば、前記脈波計測装置は、さらに、前記ユーザから出射され、前記ルームミラーにより反射された光の光路上の領域を含む領域から、前記ユーザが前記ルームミラーで目視できる領域を除いた領域に設けられる赤外光受光部を備え、前記脈波算出部は、前記可視光受光部が受光した可視光の波形と、前記赤外光受光部が受光した赤外光の波形とに基づいて前記脈波を算出する。

上記態様によれば、赤外光受光部も可視光受光部と同様に、ルームミラーを通してユーザの画像を取得することができ、かつ、ユーザは、赤外光受光部を視認することがない。よって、ユーザは、赤外光受光部であるカメラに気をとられることなく運転することができ、また、脈波計測装置は、運転中のユーザの脈波を取得することができる。

また、本開示の一態様に係る脈波計測装置は、第１表面を有する可視光受光部と、脈波算出部を含み、前記可視光受光部を含む車両が側面視された場合、前記第１表面は、第１反射光の第１光路と第２反射光の第２光路との間の第１領域に位置し、前記車両のシートに着座したユーザの目は第１光を出射し、前記ユーザの頬は第２光を出射し、前記車両の室内フロントミラーの上端は前記第１光を反射して前記第１反射光を出力し、前記上端は前記第２光を反射して前記第２反射光を出力し、前記脈波算出部は、前記第１表面を介して前記可視光受光部が受光した可視光の波形に基づいて前記ユーザの脈波を算出し、算出した脈波を出力する。

上記態様によれば、可視光受光部がルームミラーを通してユーザの頬の画像を取得することができ、かつ、ユーザが可視光受光部を視認することがないということが、車両の側面視における可視光受光部の設置位置により具体的に実現される。

例えば、前記脈波計測装置は、さらに、前記第１領域に位置する第２表面を有する赤外光受光部を備え、前記脈波算出部は、前記第２表面を介して前記赤外光受光部が受光した赤外光の波形にさらに基づいて前記脈波を算出する。

上記態様によれば、赤外光受光部がルームミラーを通してユーザの頬の画像を取得することができ、かつ、ユーザが赤外光受光部を視認することがないということが、車両の側面視における赤外光受光部の設置位置により具体的に実現される。

また、本開示の一態様に係る脈波計測装置は、第１表面を有する可視光受光部と、脈波算出部を含み、（ａ）前記可視光受光部を含む右ハンドルの車両が上面視された場合、前記第１表面は、第１反射光の第１光路と第２反射光の第２光路との間の第１領域に位置し、前記車両の前記右ハンドルに最も近いシートに着座したユーザの左目は第１光を出射し、前記ユーザの左頬は第２光を出射し、前記車両の室内フロントミラーの右端は前記第１光を反射して前記第１反射光を出力し、前記右端は前記第２光を反射して前記第２反射光を出力し、前記右端は前記車両の室内フロントミラーの左端より、前記右ハンドルに近く、又は、（ｂ）前記可視光受光部を含む左ハンドルの車両が上面視された場合、前記第１表面は、第３反射光の第３光路と第４反射光の第４光路との間の第２領域に位置し、前記車両の前記左ハンドルに最も近いシートに着座した前記ユーザの右目は第３光を出射し、前記ユーザの右頬は第４光を出射し、前記左端は前記第３光を反射して前記第３反射光を出力し、前記左端は前記第４光を反射して前記第４反射光を出力し、前記左端は前記右端より、前記右ハンドルに近く、前記脈波算出部は、前記第１表面を介して前記可視光受光部が受光した可視光の波形に基づいて前記ユーザの脈波を算出し、算出した脈波を出力する。

上記態様によれば、可視光受光部がルームミラーを通してユーザの頬の画像を取得することができ、かつ、ユーザが可視光受光部を視認することがないということが、車両の上面視における可視光受光部の設置位置により具体的に実現される。

例えば、前記脈波計測装置は、さらに、前記第１領域に位置する第２表面を有する赤外光受光部を備え、前記脈波算出部は、前記第２表面を介して前記赤外光受光部が受光した赤外光の波形にさらに基づいて前記脈波を算出する。

上記態様によれば、赤外光受光部がルームミラーを通してユーザの頬の画像を取得することができ、かつ、ユーザが赤外光受光部を視認することがないということが、車両の上面視における赤外光受光部の設置位置により具体的に実現される。

例えば、前記脈波計測装置は、さらに、前記ユーザが着座する席より、前記車両の左右方向の中央に近い位置に配置される赤外光光源を備える。

上記態様によれば、脈波計測装置は、赤外光受光部によりユーザを赤外光で撮像するための照射光（赤外光）を、ユーザの顔のうち、ユーザの脈波の計測に適した領域に照射することができる。ユーザの脈波の計測に適した領域は、例えば、ユーザの顔のうちの頬を含む領域である。また、車両の左右方向の中央には、一般にカーナビゲーション装置又はエアコンのコントローラなどが配置されているので、これらの装置に赤外光光源を追加したり、これらの装置の近傍に赤外光光源を配置したりすることが比較的容易であるという利点がある。車両の信号配線及び電力配線が集約されていることも理由の１つである。

例えば、前記第１表面の前記位置は、前記車両の側面視において、前記第１光路より車両の上方、かつ、前記車両の前方へ第一距離進んだ位置である。

上記態様によれば、可視光受光部がルームミラーを通してユーザの頬の画像を取得することができ、かつ、ユーザが可視光受光部を視認することがないということが、具体的に実現される。特に、ユーザの目から出射されてルームミラーの上端部により反射された光の光路上の位置は、ユーザ自身がルームミラーを確認して印を付すことができる位置である。よって、ユーザ自身が可視光受光部の位置を容易に決定することができる効果がある。

例えば、前記脈波計測装置は、さらに、前記ユーザが眼鏡を着用しているか否かを画像処理により判定する判定部と、前記ユーザが眼鏡をかけていると前記判定部が判定した場合に、前記第１表面は、車両の側面視において、前記第１光路より車両の上方、かつ、前記車両の前方へ、前記第一距離より大きい第二距離進んだ位置に位置させる可動部とを備える。

上記態様によれば、ユーザが眼鏡を着用している場合であってもユーザの脈波を適切に計測することができる。ユーザが眼鏡を着用していると、脈波の計測のための画像において、頬に眼鏡のフレームが重なる可能性があり、その重なりを防ぐためである。

また、本開示の一態様に係る脈波計測方法は、（ａ）第１表面を有する可視光受光部が、前記第１表面を介して可視光を受光し、前記可視光受光部を含む車両が側面視された場合、前記第１表面は、第１反射光の第１光路と第２反射光の第２光路との間の第１領域に位置し、前記車両のシートに着座したユーザの目は第１光を出射し、前記ユーザの頬は第２光を出射し、前記車両の室内フロントミラーの上端は前記第１光を反射して前記第１反射光を出力し、前記上端は前記第２光を反射して前記第２反射光を出力し、（ｂ）脈波算出部が、前記受光した可視光の波形に基づいて前記ユーザの脈波を算出し、算出した脈波を出力する。

これによれば、上記脈波計測装置と同様の効果を奏する。

また、本開示の一態様に係る脈波計測方法は、（ａ）第１表面を有する可視光受光部が、前記第１表面を介して可視光を受光し、（ａ−１）前記可視光受光部を含む右ハンドルの車両が上面視された場合、前記第１表面は、第１反射光の第１光路と第２反射光の第２光路との間の第１領域に位置し、前記車両の前記右ハンドルに最も近いシートに着座したユーザの左目は第１光を出射し、前記ユーザの左頬は第２光を出射し、前記車両の室内フロントミラーの右端は前記第１光を反射して前記第１反射光を出力し、前記右端は前記第２光を反射して前記第２反射光を出力し、前記右端は前記車両の室内フロントミラーの左端より、前記右ハンドルに近く、又は、（ａ−２）前記可視光受光部を含む左ハンドルの車両が上面視された場合、前記第１表面は、第３反射光の第３光路と第４反射光の第４光路との間の第２領域に位置し、前記車両の前記左ハンドルに最も近いシートに着座したユーザの右目は第３光を出射し、前記ユーザの右頬は第４光を出射し、前記左端は前記第３光を反射して前記第３反射光を出力し、前記左端は前記第４光を反射して前記第４反射光を出力し、前記左端は前記右端より、前記右ハンドルに近く、（ｂ）脈波算出部が、前記第１表面を介して前記受光した可視光の波形に基づいて前記ユーザの脈波を算出し、算出した脈波を出力する。

これによれば、上記脈波計測装置と同様の効果を奏する。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態）
本実施の形態において、簡易な構成によりユーザを撮像して脈波を計測する脈波計測装置、及び、脈波計測方法（言い換えれば脈波計測装置の制御方法）について説明する。具体的には、本実施の形態の脈波計測装置は、車両に設置されたルームミラーを利用して、非接触でユーザの可視光領域と赤外光領域とにおける脈波を取得する。なお、脈波計測装置は、複数の装置により構成された脈波計測システムとして実現されてもよい。

なお、本実施の形態において、車両の運転者（ユーザ）によってルームミラーの姿勢が調整されることを前提とする。この調整は、車両後方の視野を確保するために運転者が一般的に行う調整であり、本実施の形態に示す脈波計測装置を使用するために行うものではない。

本実施の形態に係る脈波計測装置１４０について説明する。図１は、本実施の形態における脈波計測装置１４０の構成を示すブロック図である。図２と図３は、本実施の形態における脈波計測装置１４０がユーザに利用される様子を示す模式図である。

図１に示すように、脈波計測装置１４０は、可視光光源１０１と、可視光撮像部１０２と、赤外光撮像部１０３と、赤外光光源１０４と、可視光波形演算部１０５と、赤外光波形演算部１０６と、相関度演算部１０７と、光源制御部１０８と、生体情報算出部１０９と、情報提示部１１０とを備える。

可視光光源１０１は、可視光を出射し、ユーザの肌（体表面）を可視光で照射する。

可視光撮像部１０２は、可視光領域においてユーザの肌を撮像する。可視光撮像部１０２は、可視光受光部に相当する。可視光撮像部１０２の表面の一部は可視光受光部の第１表面に相当する。可視光撮像部１０２はこの表面の一部から可視光を取り込む。

赤外光撮像部１０３は、赤外光領域においてユーザの肌を撮像する。赤外光撮像部１０３は、赤外光受光部に相当する。赤外光撮像部１０３の表面の一部は赤外光受光部の第２表面に相当する。赤外光撮像部１０３はこの表面の一部から赤外光を取り込む。

赤外光光源１０４は、ユーザの肌を赤外光で照射する。

可視光波形演算部１０５は、可視光撮像部１０２が可視光で撮像した画像から脈波の波形を抽出する。

赤外光波形演算部１０６は、赤外光撮像部１０３が赤外光で撮像した画像から脈波の波形を抽出する。

相関度演算部１０７は、可視光で得られた脈波（以降、可視光脈波ともいう）の波形と、赤外光で得られた脈波（以降、赤外光脈波ともいう）の波形とを比較し、その相関度を演算する。

光源制御部１０８は、可視光撮像部１０２が受光した可視光から抽出される波形と、赤外光撮像部１０３が受光した赤外光から抽出される波形とに基づいて、可視光光源１０１と赤外光光源１０４とを制御する。

生体情報算出部１０９は、可視光脈波と赤外光脈波とからユーザの脈波を示す脈波情報を算出する。

情報提示部１１０は、生体情報算出部１０９が算出した脈波情報を提示する。

なお、脈波計測装置１４０は、発光装置１２０と脈波撮像装置１３０とを備え、発光装置１２０が上記の可視光光源１０１と、赤外光光源１０４と、情報提示部１１０とを備え、脈波撮像装置１３０が上記の可視光撮像部１０２と、赤外光撮像部１０３と、可視光波形演算部１０５と、赤外光波形演算部１０６と、相関度演算部１０７と、光源制御部１０８と、生体情報算出部１０９とを備える構成としてもよく、以降ではこの構成を説明する。

図１に示すこれらの機能ブロック図については、後で詳細に説明する。

図２と図３は、車両内に脈波計測装置１４０を設置する方法の一例を示す。図２は、脈波計測装置１４０が配置される車両内を上から見た模式図である。図３は、本実施の形態における脈波計測装置１４０によりユーザＵの脈波を計測する場面を示す説明図である。

なお、車両の進行方向を「前」又は「前方」といい、車両の進行方向の反対方向を「後」又は「後方」ということもある。また、車両の運転手にとっての左、右及び左右方向を、それぞれ、左、右及び左右方向といい、車両の運転手にとっての上、下及び上下方向を、単に上、下及び上下方向ということもある。

図２に示されるように、脈波計測装置１４０が備える発光装置１２０と脈波撮像装置１３０とが車両内に配置されている。

発光装置１２０は、上記のとおり、可視光光源１０１と、赤外光光源１０４と、情報提示部１１０とを備えている。特に、可視光光源１０１と赤外光光源１０４とは、例えば、カーナビゲーション装置等の表示画面の縁（ベゼル）部分に埋め込まれていてもよい。なお、情報提示部１１０は、発光装置１２０の内部に含まれていなくてもよい。その場合、発光装置１２０と通信可能に接続されたスマートフォン等の移動端末の表示画面を情報提示部１１０として用いてもよい。また、可視光光源１０１は、例えば、可視光を出射するカーナビゲーション装置の表示画面であってもよい。その場合、ユーザＵの脈波を取得するために、カーナビゲーション装置の表示画面の輝度を自在に変更させてもよい。

また、図２に示すように、車両内の前方に発光装置１２０が設置され、車両内の中心付近に脈波撮像装置１３０が設置される。

図３に示すように、可視光光源１０１と赤外光光源１０４とは、例えば、カーナビゲーション装置の表示画面の縁部分のうち、ユーザＵに比較的近い位置に位置している。脈波計測装置１４０は、ルームミラーＭを通して（ルームミラーＭ越しに）ユーザＵの一方の頬を撮像する。脈波計測装置１４０が撮像する頬は、ユーザＵの左右の頬のうちルームミラーＭに近い方（車両が右ハンドル車であれば左頬、車両が左ハンドル車であれば右頬）である。よって、上記のように可視光光源１０１と赤外光光源１０４とが、カーナビゲーション装置の左右方向の中央ではなくユーザＵに近い位置に位置していることで、ユーザＵのルームミラーＭに近い方の頬を照射しやすいという利点がある。これにより、可視光光源１０１と赤外光光源１０４とは、ユーザＵの脈波をより取得しやすい方の頬に、より確実に各波長帯の光を照射することができる。ルームミラーＭを室内フロントミラーともいう。

また、図３より、脈波撮像装置１３０は、可視光撮像部１０２と赤外光撮像部１０３として、２つのイメージセンサを備えている。可視光撮像部１０２は可視光撮像部１０２の表面の一部である第１表面（表面１０２Ａ）から可視光を取り込み、赤外光撮像部１０３は赤外光撮像部１０３の表面の一部である第２表面（表面１０３Ａ）から赤外光を取り込む。なお、第１表面と第２表面は交わる領域を有してもよく、有しなくてもよい。また、第１表面と第２表面は完全に一致してもよい。ここで、第１表面は、第１反射光の第１光路と第２反射光の第２光路との間の第１領域に位置する。また、車両のシートに着座したユーザの目は第１光を出射し、ユーザの頬は第２光を出射する。車両の室内フロントミラーの上端は第１光を反射して第１反射光を出力し、上記上端は第２光を反射して第２反射光を出力する。

また、脈波撮像装置１３０は、可視光撮像部１０２を含む右ハンドルの車両が上面視された場合、第１表面は、第１反射光の第１光路と第２反射光の第２光路との間の第１領域に位置するとしてもよい。車両の右ハンドルに最も近いシートに着座したユーザの左目は第１光を出射し、ユーザの左頬は第２光を出射する。車両の室内フロントミラーの右端は第１光を反射して第１反射光を出力し、上記右端は第２光を反射して第２反射光を出力する。上記右端は車両の室内フロントミラーの左端より、右ハンドルに近い。

また、脈波撮像装置１３０は、可視光撮像部１０２を含む左ハンドルの車両が上面視された場合、第１表面は、第３反射光の第３光路と第４反射光の第４光路との間の第２領域に位置し、車両の左ハンドルに最も近いシートに着座したユーザの右目は第３光を出射し、ユーザの右頬は第４光を出射する。上記左端は第３光を反射して第３反射光を出力し、上記左端は第４光を反射して第４反射光を出力する。上記左端は上記右端より、右ハンドルに近い。

また、脈波撮像装置１３０は、その筐体の中に、可視光波形演算部１０５と、赤外光波形演算部１０６と、相関度演算部１０７と、光源制御部１０８と、生体情報算出部１０９とを備える。また、得られた情報を発光装置１２０に送信することで、発光装置１２０における情報提示部１１０に生体情報等を表示する。

上記の各構成要素について以降で詳細に説明する。

（可視光光源１０１）
可視光光源１０１は、ユーザＵに対して可視光領域の光を照射する。可視光光源１０１が照射する光の光量は、光源制御部１０８によって調整される。具体的には、可視光光源１０１は、４００ｎｍ〜８００ｎｍの波長域の光を放出する。可視光光源１０１は、例えば、白色ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等、又は、カーナビゲーション装置の表示画面により実現される。

また、可視光光源１０１が備えられた発光装置１２０は、従来のカーナビゲーション装置と同様、車両のダッシュボードの中心付近に設置される。この場合、ダッシュボードの中心付近に設置された可視光光源１０１により可視光を照射すると、ユーザＵの頬のあたりに光が当たる。ユーザＵの頬は、ユーザＵの顔の中でも脈波を正確に取得しやすい部位であるので、上記のように可視光を照射することで、ユーザＵの脈波を正確に取得することができる利点がある。

具体的には、発光装置１２０は、ユーザＵの顔のうちの左右のどちらか半分、例えばユーザＵがドライバーであり、車両が右ハンドル車の場合にはユーザＵの顔の左側の半分（左ハンドル車の場合には、ユーザＵの顔の右側の半分）に光を照射する。可視光撮像部１０２がルームミラーＭを通してユーザＵの顔を撮像する場合、ユーザＵの正面よりもやや横側から撮像することになる。このようにすると、撮像の対象に目又は鼻等の特徴的な部位がないので、ユーザＵのより正確な脈波を取得しやすい利点がある。

なお、可視光光源１０１の照射量の制御は、光源制御部１０８によって行うとしたが、これに限ったものではない。例えば、ユーザＵ自身がコントローラを用いて、光の照射量を手動で制御してもよい。また、可視光光源１０１から照射される光の方向をユーザＵ自身が調整してもよい。例えば、ユーザＵ自身が発光装置１２０の傾きを調整し、照射される可視光及び赤外光がユーザＵに当たるようにするために、発光装置１２０の裏側にユニバーサルジョイント機構等を備え、ユーザＵ自らの手で発光装置１２０の姿勢を変化させられるようにしてもよい。これにより、脈波計測装置１４０は、車両の運転者の顔の位置が変化する場合に対応することができる。特に、男性と女性とでは、運転時の顔の車両に対する位置が異なる場合が多い。そこで、運転者が発光装置１２０の姿勢を自由に変更できるようにすることで、脈波計測装置１４０は、ユーザＵのより正確な脈波を計測することが可能になる。

また、本実施の形態においては、カーナビゲーション装置の表示画面の縁部分に可視光光源１０１を設置するとしているが、カーナビゲーション装置の表示画面自体を可視光光源１０１としてもよい。一般に、カーナビゲーション装置の表示画面は、地図及び／又は現在地を確認するために利用されることが多く、また、カーナビゲーション装置は、車両の上面視において車両内の中心位置に設置される場合が多い。したがって、ユーザＵが運転している際、カーナビゲーション装置が発する可視光は、主に、ユーザＵの顔の横部分に照射される。

また、従来通りのカーナビゲーション装置によるナビゲーションの際の表示画面の光量で、ユーザＵの頬から脈波が取得できない場合には、カーナビゲーション装置の表示画面の光量を多くしてもよい。これにより、ユーザＵがカーナビゲーション装置によって地図の確認をしているときでも、脈波計測装置１４０は、カーナビゲーション装置からの可視光を用いて、より正確な脈波を取得しやすくなる。

なお、発光装置１２０は、車両のダッシュボードの中心付近に設置されるとしたが、これに限ったものではない。例えば、ユーザＵの目の前に設置されてもよい。このとき、可視光光源１０１は、ユーザＵの正面から、顔の左右のいずれか一方の半分ではなく、顔全体に光を照射してもよい。これにより、ユーザＵの顔のうち脈波が取得できる範囲が広くなり、脈波計測装置１４０は、より正確に可視光脈波及び赤外光脈波を取得できるようになる。

例えば、発光装置１２０がダッシュボードの中心付近に設置されている場合には、主にユーザＵの顔の左右のうち、車両の左右方向の中央に近い方（つまり、車両の窓から遠い方）だけが照らされるが、光の照射量が足りなくてユーザＵの脈波を取得することができないこともある。このとき、発光装置１２０がユーザＵの目の前に設置されていると、ユーザＵの顔の左右のうち、車両の左右方向の中央から遠い方（つまり、車両窓に近い方）についても、脈波を取得する対象領域とすることができるので、測定される脈波がより正確なものとなる利点がある。

可視光光源１０１が出射する光の光量について説明する。可視光光源１０１は、周囲が、ユーザＵの顔から可視光により脈波を取得するのが難しい明るさであるとき（例えば、夜間、又は、車両がトンネル内に位置しているとき）に車両のエンジンを始動した場合、又は、運転中に周囲がユーザＵの顔から可視光により脈波を取得するのが難しい明るさになったときに起動する。

例えば、可視光光源１０１がエンジン始動時に起動する場合は、その起動の前には、可視光光源１０１が出射する光の光量は０である。そして、可視光光源１０１は、エンジン始動と同時に光量を、車両内の照度が例えば１０００ルクスになるまで上げて、可視光波形演算部１０５が取得する可視光脈波と、赤外光波形演算部１０６が取得する赤外光脈波とが一致するように、各光源の光量を制御する。なお、可視光脈波と赤外光脈波との相関度の演算手法、及び、光源制御の具体的な手法については、後述の相関度演算部１０７と光源制御部１０８にて説明する。

また、例えば、運転中に周囲が暗くなり、可視光脈波を取得できなくなる場合、周囲が暗くなる前の車両内の照度は５０ルクス程度である。これは、ユーザＵがカーナビゲーション装置のナビゲーション機能を使用する場合の照度の一例である。この状態において、可視光波形演算部１０５が可視光脈波を取得することができなくなった場合、光源制御部１０８から可視光光源１０１に対して、車両内の照度が例えば１０００ルクスになるまで光量を上げる。その後、エンジン始動時と同様に、可視光脈波と赤外光脈波との波形を比較し、赤外光脈波が取得できるように、可視光光源１０１と赤外光光源１０４とを制御する。これにより、車両内に屋外光が入りにくいトンネル、又は、屋内駐車場においても、脈波計測装置１４０により脈波を検出することができるようになる。特に、車両が比較的長い時間トンネル内に位置しているとき（具体的には、距離が比較的長いトンネルを走行している時、又は、トンネルの長さに関わらず渋滞等によりトンネル内で低速走行又は停止しているとき等）においてユーザＵの心拍情報を抽出することができるようになる。

なお、エンジン始動時に周囲環境が暗くなった時に、車両内の照度が１０００ルクスになるように可視光光源１０１を制御するとしたが、これに限ったものではない。ユーザＵの顔から脈波が取得できる照度であればよいので、より小さい値（例えば５００ルクス）でもよい。一方、照度が大きくなりすぎると、車両内が明るすぎる状態になり、ユーザＵがまぶしさを感じて事故の原因となり得る。このことを考慮すると、可視光光源１０１が照射する光による車両内の明るさは、５００ルクス〜２５００ルクス程度の範囲に収められるのがよい。また、一度脈波を取得したことがあるユーザＵの場合、脈波を取得したときの可視光波形演算部１０５と、光源制御部１０８による制御の下で脈波を取得した際の照度を記憶しておいて、記憶しておいたその照度になるように可視光光源１０１の光量を設定してもよい。これにより、脈波の取得にかかる時間削減、及び、毎回の光量調節の手間の削減という利点がある。同じユーザＵであれば、顔表面の色の特徴等が毎回同じである可能性が高いので、一度記憶した照度でユーザＵの顔を照らせば、脈波を取得できる可能性が高いことを利用したものである。

また、可視光光源１０１は、可視光波形演算部１０５により、可視光脈波を取得でき、かつ、その取得した時の脈波のピーク−ボトム間の傾きが最も大きかった時の、可視光光源１０１における光量を記録し、可視光光源１０１の光量を脈波の取得のために大きくするたびに、その光量を記録した値になるようにしてもよい。

なお、可視光光源１０１は、ユーザＵ自身により発光装置１２０の姿勢等を調整し、ユーザＵの顔に光が当たるようにするとしたが、これに限ったものではない。ユーザＵが運転しているときに可視光光源１０１が照射する光がユーザＵの目に向けられると、ユーザＵが眩しさを感じて事故の要因となり得る。したがって、例えば、ユーザＵにあらかじめ発光装置１２０の姿勢を調整する機会がある場合には、ユーザＵの頬は相対的に強い照度になり、ユーザＵの目の付近は相対的に弱い照度になるように設定してもよい。また、可視光光源１０１が発する光束の中心を、頬の中心部分より下側に位置するように設定してもよい。これにより、ユーザＵの運転を妨げることなく、照度の調整が可能になる。

また、ユーザＵが車両を運転しているときに急激に光量が大きくなる場合は、前もって可視光撮像部１０２で顔認識を行っておき、顔認識結果に基づいてユーザＵの頬から顎周辺に可視光を最初に照射し、その後徐々に照射範囲を上に移動させ、ユーザＵの目に照射する前に止めるようにしてもよい。これは、顔認識結果として得られた目の位置の輝度値の信号のベースが上がらないようにすることで実現され得る。

（可視光撮像部１０２）
可視光撮像部１０２は、可視光光源１０１により可視光が照射された照射対象を可視光領域において撮像する。可視光撮像部１０２は、ユーザＵから出射され、車両のルームミラーＭにより反射された光の光路上の領域を含む領域から、ユーザＵがルームミラーＭで目視できる領域を除いた領域に設けられる。また、可視光撮像部１０２は、ユーザＵの頬から出射されて、車両のルームミラーＭにより反射された光の光路上の位置のうち、ユーザＵの目から出射されてルームミラーＭにより反射された光の光路上の位置を除く位置に設けられる、ということもできる。可視光撮像部１０２は、可視光受光部に相当する。

可視光撮像部１０２は、具体的には、撮像対象を可視光領域（例えば、カラー）で撮像することにより得られた可視光画像を脈波計測装置１４０の可視光波形演算部１０５に出力する。可視光撮像部１０２は、例えば、撮像対象を撮像することにより得られた肌画像を可視光画像として出力する。肌画像は、撮像対象の同一の箇所を時間的に連続する複数のタイミングで撮像された画像であり、例えば、動画または複数枚の静止画で構成される。

可視光撮像部１０２は、画像を撮像することで肌画像を取得してもよいし、他の装置等により撮像された肌画像のデータを取得することで肌画像を取得してもよい。可視光撮像部１０２は、画像を撮像する場合、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ）などのイメージセンサを備える可視光カメラ等により実現される。

可視光撮像部１０２は、イメージセンサに対し、フィルタを適用することで、可視光、すなわち、４００―８００ｎｍの波長帯の光を捉え、ＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）の３種類の信号を取得する。

また、可視光撮像部１０２は、車両内のおよそ中心位置に設置される脈波撮像装置１３０に備えられる。以下、車両の側面視及び上面視それぞれについて、可視光撮像部１０２の設置位置を説明する。

まず、車両の側面視における可視光撮像部１０２の設置位置について図４Ａ〜図６を用いて説明する。

図４Ａは、車両の側面視における、ユーザＵがルームミラーＭを通して視認することができる領域を示す説明図である。ルームミラーＭは、一般的に、ドライバーであるユーザＵの頭の位置より上に設置されている。また、一般に、ルームミラーＭの向きは下向き、つまり、ルームミラーＭの反射面の法線ベクトルが、水平方向より下向きである。これは、ドライバーがリアガラスを通して車両の後方を見るためである。

図４Ａにおいて、ユーザＵがルームミラーＭを通して視認することができる領域は、光路Ｐ１と光路Ｐ２とに挟まれた領域Ｒ１である。言い換えれば、ユーザＵは、ルームミラーＭを通して領域Ｒ１内を視認することができ、つまり、領域Ｒ１外を視認することができない。

ここで、光路Ｐ１は、ユーザＵの目から出射されてルームミラーＭの上端により反射された光の光路である。光路Ｐ１は、ルームミラーＭの法線Ｎと、角度θ１の角をなす。また、光路Ｐ２は、ユーザＵの目から出射されてルームミラーＭの下端により反射された光の光路である。光路Ｐ２は、ルームミラーＭの法線Ｎと、角度θ２の角をなす。

なお、ルームミラーＭの上端及び下端とは、それぞれ、上端部及び下端部を指すことにしてもよい。ここで、ルームミラーＭの上端部及び下端部とは、それぞれ、ルームミラーＭの反射面のうち上端及び下端から数ｍｍ程度の範囲を意味するものとする（図４Ｂ参照）。

図５は、本実施の形態における、車両の側面視における、ユーザＵの頬をルームミラーＭを通して撮像することができる可視光撮像部１０２が設置され得る領域を示す説明図である。

図５において、ユーザＵの頬を撮像することができる可視光撮像部１０２の位置は、光路Ｐ３と光路Ｐ４とに挟まれた領域Ｒ２である。言い換えれば、領域Ｒ２内に設置された可視光撮像部１０２は、ユーザＵの頬を撮像することができる。

ここで、光路Ｐ３は、ユーザＵの頬から出射されてルームミラーＭの上端部により反射された光の光路である。光路Ｐ３は、ルームミラーＭの法線Ｎと、角度θ３の角をなす。また、光路Ｐ４は、ユーザＵの頬から出射されてルームミラーＭの下端部により反射された光の光路である。光路Ｐ４は、ルームミラーＭの法線Ｎと、角度θ４の角をなす。

図６Ａは、本実施の形態における、車両の側面視における、ユーザＵの頬をルームミラーＭを通して撮像することができ、かつ、ユーザＵから視認されない可視光撮像部１０２（より詳細には、第１表面つまり表面１０２Ａ）が設置され得る領域を示す説明図である。なお、図６Ａにおける光路、角度及び領域は、図４Ａ及び図５で示した同一符号のものと同じである。

図６Ａにおいて、ユーザＵの頬をルームミラーＭを通して撮像することができ、かつ、ユーザＵから視認されない領域は、光路Ｐ１と光路Ｐ３とに挟まれた領域Ｒ３である。言い換えれば、領域Ｒ３は、領域Ｒ２のうち、領域Ｒ１を除く領域である。

よって、領域Ｒ３内に可視光撮像部１０２を設置すると、可視光撮像部１０２はルームミラーＭを通してユーザＵの頬の画像を取得することができ、かつ、ユーザＵは、可視光撮像部１０２を視認することがなくなる。よって、ユーザＵは、可視光撮像部１０２に気をとられることなく運転することができ、また、脈波計測装置１４０は、運転中のユーザＵの脈波を取得することができる。

なお、図６Ａでは、ユーザの目及び頬を点とみなした場合について説明したが、ユーザの目及び頬がそれぞれ有限の大きさを有する領域であると考える場合には、以下のような説明が成立する。

図６Ｂは、図６Ａに示される領域について、ユーザの目及び頬がそれぞれ有限の大きさを有する領域であると考える場合の説明図である。

ユーザの目及び頬がそれぞれ有限の大きさを有する領域であると考える場合、上記説明における光路Ｐ１は、ユーザＵの目の下端から出射されてルームミラーＭの上端により反射された光の光路であるとする。また、上記説明における光路Ｐ３は、ユーザＵの頬の下端から出射されてルームミラーＭの上端部により反射された光の光路であるとする。このように設定される光路Ｐ１及びＰ３により、好適領域である領域Ｒ３が設定される。

次に、車両の上面視における可視光撮像部１０２の設置位置について図７〜図９Ｃを用いて説明する。なお、ここでは、車両が右ハンドル車である場合について説明する。車両が左ハンドル車である場合には、下記説明における左右を反転させて読みかえるものとする。

図７において、ユーザＵがルームミラーＭを通して視認することができる領域は、光路Ｐ５と光路Ｐ６とに挟まれた領域Ｒ４である。領域Ｒ４は、ユーザＵの左目及び右目の少なくとも一方によって見える領域の最大限である。言い換えれば、ユーザＵは、ルームミラーＭを通して領域Ｒ４内を視認することができ、つまり、領域Ｒ４外を視認することができない。

ここで、光路Ｐ５は、ユーザＵの左目から出射されてルームミラーＭの右端により反射された光の光路である。光路Ｐ５は、ルームミラーＭの法線Ｎと、角度θ５の角をなす。また、光路Ｐ６は、ユーザＵの右目から出射されてルームミラーＭの左端により反射された光の光路である。光路Ｐ６は、ルームミラーＭの法線Ｎと、角度θ６の角をなす。

なお、ルームミラーＭの左端及び右端とは、それぞれ、左端部及び右端部を指すことにしてもよい。ここで、ルームミラーＭの左端部及び右端部とは、それぞれ、ルームミラーＭの反射面のうち左端及び右端から数ｍｍ程度の範囲を意味するものとする（図４Ｂ参照）。

図８は、本実施の形態における、車両の上面視における、ユーザＵの頬をルームミラーＭを通して撮像することができる可視光撮像部１０２が設置され得る領域を示す説明図である。

図８において、ユーザＵの頬を撮像することができる可視光撮像部１０２の位置は、光路Ｐ７と光路Ｐ８とに挟まれた領域Ｒ５である。言い換えれば、領域Ｒ５内に設置された可視光撮像部１０２は、ユーザＵの頬を撮像することができる。

ここで、光路Ｐ７は、ユーザＵの頬から出射されてルームミラーＭの右端部により反射された光の光路である。光路Ｐ７は、ルームミラーＭの法線Ｎと、角度θ７の角をなす。また、光路Ｐ８は、ユーザＵの頬から出射されてルームミラーＭの左端部により反射された光の光路である。光路Ｐ８は、ルームミラーＭの法線Ｎと、角度θ８の角をなす。

図９Ａ及び図９Ｂは、本実施の形態における、車両の上面視における、ユーザＵの頬をルームミラーＭを通して撮像することができ、かつ、ユーザＵから視認されない可視光撮像部１０２（より詳細には、第１表面つまり表面１０２Ａ）が設置され得る領域を示す説明図である。図９Ａが車両全体を示した図であり、図９ＢがルームミラーＭ付近の部分拡大図である。なお、図９Ａ及び図９Ｂにおける光路、角度及び領域は、図７及び図８で示した同一符号のものと同じである。

図９Ａ及び図９Ｂにおいて、ユーザＵの頬をルームミラーＭを通して撮像することができ、かつ、ユーザＵから視認されない領域は、光路Ｐ５と光路Ｐ７とに挟まれた領域Ｒ６である。言い換えれば、領域Ｒ６は、領域Ｒ５のうち、領域Ｒ４を除く領域である。

よって、領域Ｒ６内に可視光撮像部１０２を設置すると、可視光撮像部１０２はルームミラーＭを通してユーザＵの頬の画像を取得することができ、かつ、ユーザＵは、可視光撮像部１０２を視認することがなくなる。よって、ユーザＵは、可視光撮像部１０２に気をとられることなく運転することができ、また、脈波計測装置１４０は、運転中のユーザＵの脈波を取得することができる。

以上のように、車両の側面視における領域Ｒ３（図６Ａ）内に、又は、車両の上面視における領域Ｒ６（図９Ａ及び図９Ｂ）内に、可視光撮像部１０２が設置されることで、ユーザＵは、可視光撮像部１０２であるカメラに意識を向けることなく運転でき、かつ、脈波計測装置１４０は、運転中のユーザＵの脈波を取得することができる。なお、「車両の側面視における領域Ｒ３、又は、車両の上面視における領域Ｒ６」とは、言い換えれば、車両の側面視における領域Ｒ３と、車両の上面視における領域Ｒ６との和集合である領域である。なお、この領域を「好適領域」ともいう。

なお、図９Ａ及び図９Ｂでは、ユーザの目及び頬を点とみなした場合について説明したが、ユーザの目及び頬がそれぞれ有限の大きさを有する領域であると考える場合には、以下のような説明が成立する。

図９Ｃは、図９Ａ及び図９Ｂに示される領域について、ユーザの目及び頬がそれぞれ有限の大きさを有する領域であると考える場合の説明図である。

ユーザの目及び頬がそれぞれ有限の大きさを有する領域であると考える場合、上記説明における光路Ｐ５は、ユーザＵの左目の左端（左目の目尻）から出射されてルームミラーＭの右端により反射された光の光路であるとする。また、上記説明における光路Ｐ７は、ユーザＵの頬の左端から出射されてルームミラーＭの右端部により反射された光の光路であるとする。このように設定される光路Ｐ５及びＰ７により、好適領域である領域Ｒ６が設定される。

なお、可視光撮像部１０２は、車両の側面視における位置を限定し、上面視では可視光撮像部１０２がユーザＵの目を撮像できる位置に設置してもよい。上面視における領域Ｒ６（図９Ａ及び図９Ｂ）に可視光撮像部１０２を設置した場合、車両の天井が比較的低い場合や、ユーザＵの座高が比較的高い場合には、可視光撮像部１０２から見てルームミラーＭがユーザＵの頭の陰になり、ルームミラーＭを撮像できない可能性がある。このとき、可視光撮像部１０２の設置位置は、側面視においてユーザＵの目を撮像できない領域であって、ユーザＵの頬を撮像できる領域に限定し、上面視においてユーザＵの頭の陰にならずに、ユーザＵの頬を撮像できる領域に限定してもよい。これにより、ドライバーが座高の高いユーザに代わった場合であっても、設置位置をずらすことで、頬から脈波を取得することができる。

次に、可視光撮像部１０２の設置方法について説明する。可視光撮像部１０２は、前述のように、ユーザＵによりルームミラーＭを通して視認されない位置に設置する必要がある。以下に示す方法によれば、ユーザＵがルームミラーＭを通して視認する領域に基づいて、可視光撮像部１０２が設置されるべき位置が決定される。

まず、図１０に示すように、ユーザＵがルームミラーＭの上端部を通して視認する位置に印２００が付される。つまり、印２００は、ユーザＵの目から出射されてルームミラーＭの上端部により反射された光の光路Ｐ１上の位置、例えば、光路Ｐ１と車両の内部空間の天井との交点に付される。なお、印２００は、マーカなどにより着色されるものであってもよいし、シールなどが貼り付けられるものであってもよいし、ネジ又はフックなどの結合部材又は係合部材であってもよい。

次に、印２００にアーム２０２が取り付けられる。アーム２０２は、一端が印２００に固定され、他端に可視光撮像部１０２であるカメラが取り付けられる。アーム２０２は、例えば、所定の長さ（図１１Ａの（ａ）における長さＬ、例えば１０ｃｍ程度）を有する棒体である。なお、上記所定の長さは、第一距離に相当する。なお、印２００が結合部材又は係合部材であると、アーム２０２の一端を印２００に固定するのが容易になるという利点がある。

このようにして、可視光撮像部１０２は、アーム２０２を用いて、光路Ｐ１上の位置から、光路Ｐ１より車両の上方、かつ、車両の前方へ第一距離進んだ位置に設けられる。

さらに、印２００がユーザＵにとって視界の妨げになる場合は、カメラの設置後に印２００が取り外されてもよい。

この設置方法は、ユーザＵ自身が１人で行うことができる利点がある。ユーザＵ自身で印２００をつけ、印２００を基準にカメラを前方へ取り付けることで、カメラを好適領域に容易に設置することができる。また、設置後には、ユーザＵがルームミラーＭを通して後続車両を視認することができることを確認する際に、脈波計測装置１４０は、脈波を取得することができているかをチェックし、その結果を情報提示部１１０により提示してもよい。これによって、ユーザＵはルームミラーＭを通した視界を調整しながら、脈波計測装置１４０が脈波を取得できているか否かを知り、必要に応じて改善のための行動をとることができる。

さらに、調整完了後には、可視光撮像部１０２は、調整が完了した位置における姿勢、より具体的には、上下方向の角度と、左右方向の角度とを記憶してもよい。例えば、可視光撮像部１０２は、２つの方向の角度センサを備えてもよい。また、可視光波形演算部１０５が脈波を取得することができたことを確認でき、ルームミラーＭの調整が完了した際の角度を、脈波計測装置１４０が記憶してもよい。このとき、ユーザＵの顔、もしくは目や鼻の画像と一緒に上記角度を保存することで、同じユーザが後から乗車した際に、その記憶したカメラの角度に自動的に設定してもよい。これにより、ユーザＵが乗車するたびにルームミラーＭの角度を調整する量が少なくなり、ユーザＵの手間を減らすことができる。

さらに、ユーザＵが眼鏡Ｇをかけている場合、頬の領域に眼鏡Ｇが重なってしまう可能性がある（図１１Ａ参照）。そのため、眼鏡ＧをかけていないユーザＵに比べて、眼鏡ＧをかけているユーザＵの場合には、頬の比較的下側の領域を可視光撮像部１０２で撮像することで脈波を取得してもよい。

図１１Ａの（ａ）は、ユーザＵが眼鏡Ｇをかけていない場合の可視光撮像部１０２（より詳細には、第１表面つまり表面１０２Ａ）の位置を示しており、図１１Ａの（ｂ）は、ユーザＵが眼鏡Ｇをかけている場合の可視光撮像部１０２の位置を示している。

図１１Ａの（ａ）と（ｂ）との比較から、図１１Ａの（ｂ）では、ユーザＵが眼鏡Ｇをかけていることにより、可視光撮像部１０２が撮像する頬の領域が下方に位置している。そのため、眼鏡ＧをかけたユーザＵの脈波を取得するための可視光撮像部１０２は、眼鏡ＧをかけていないユーザＵの場合と比較して、前方に設置される必要がある。

そこで、脈波計測装置１４０は、ユーザＵが眼鏡Ｇを着用している場合には、アーム２０２の長さを、上記所定の長さより長い長さ（図１１Ａの（ｂ）における長さＬ’、例えば２０ｃｍ）にして可視光撮像部１０２のカメラを設置してもよい。また、アーム２０２の長さを伸縮等の機構により可変とする構成を採用してもよい。なお、上記所定の長さより長い長さは、第二距離に相当する。なお、ユーザＵが眼鏡Ｇを着用しているか否かは、例えば可視光撮像部１０２が撮像するユーザＵの顔画像に対する画像処理によって判断可能である。

より具体的には、脈波計測装置１４０は、ユーザＵが眼鏡Ｇを着用しているか否かを画像処理により判定する判定部（不図示）と、ユーザＵが眼鏡Ｇをかけていると判定部が判定した場合に、車両の側面視において、光路Ｐ３上の位置から、光路Ｐ３より車両の上方、かつ、車両の前方へ、第一距離より大きい第二距離だけ進んだ位置に位置させる可動部（不図示）とを備えてもよい。

これにより、眼鏡ＧをかけているユーザＵであっても、カメラを気にすることなく運転することができ、また、脈波計測装置１４０は、運転中のユーザＵの脈波情報を取得することができる。

なお、車両にはさまざまなタイプの車両がある。車両のタイプごとに、車両の形状及びユーザの目及び頬の位置が異なるので、可視光撮像部１０２の設置位置が異なる。そこで、車両のタイプごとの可視光撮像部１０２の設置位置について例を挙げて説明する。

図１１Ｂは、本実施の形態における、車両のタイプごとの可視光撮像部１０２の設置位置の例を示す説明図である。図１１Ｂにおいて、（ａ）は、セダンタイプの車両における領域Ｒ３を示しており、（ｂ）は、ボックスカータイプの車両における領域Ｒ３を示しており、（ｃ）は、スポーツカータイプの車両における領域Ｒ３を示している。

図１１Ｂの（ａ）に示されるセダンタイプの車両については、これまでに説明した通りである。

図１１Ｂの（ｂ）に示されるボックスカータイプの車両の場合、セダンタイプの車両に比べて車両内の天井が高く、また、ルームミラーの位置が高い。そして、可視光撮像部１０２が設置され得る好適領域である領域Ｒ３は、セダンタイプの車両に比べて狭い。

図１１Ｂの（ｃ）に示されるスポーツカータイプの車両の場合、セダンタイプの車両に比べて車両内の天井が低く、また、ルームミラーの角度が下向きである。そして、可視光撮像部１０２が設置され得る好適領域である領域Ｒ３は、セダンタイプの車両に比べて広い。

このように、好適領域である領域３は、車両のタイプごとに異なる。可視光撮像部１０２は、車両のタイプごとに異なる位置に設置され、ユーザを撮像することができる。

（赤外光撮像部１０３）
赤外光撮像部１０３は、赤外光光源１０４により赤外光が照射された照射対象を赤外光領域において撮像する。赤外光撮像部１０３は、ユーザＵから出射され、ルームミラーＭにより反射された光の光路上の領域を含む領域から、ユーザＵがルームミラーＭで目視できる領域を除いた領域に設けられる。また、赤外光撮像部１０３は、ユーザＵの頬から出射されて、ルームミラーＭにより反射された光の光路上の位置のうち、ユーザＵの目から出射されてルームミラーＭにより反射された光の光路上の位置を除く位置に設けられる、ということもできる。赤外光撮像部１０３は、赤外光受光部に相当する。

赤外光撮像部１０３は、具体的には、照射対象としてユーザＵの肌を赤外光領域（例えば、モノクロ）で撮像することにより得られた赤外光画像を脈波計測装置１４０の赤外光波形演算部１０６に出力する。赤外光撮像部１０３は、可視光撮像部１０２で撮像する部位と同じ部位を撮像する。赤外光撮像部１０３は、例えば、人の顔または手を含む肌を撮像することにより得られた肌画像を赤外光画像として出力する。これは、赤外光撮像部１０３においても可視光撮像部１０２が撮像した部位と同じ部位を撮像することで、可視光領域と赤外光領域とにおいて、同様の脈波を取得することができ、特徴量を比較しやすいからである。

なお、同じ部位の撮像方法としては、可視光撮像部１０２と赤外光撮像部１０３とで同じ大きさの関心領域（ＲＯＩ）を設定する。そして、可視光撮像部１０２と赤外光撮像部１０３とで撮像された当該ＲＯＩ内の画像について、例えば、パターン認識を用いて比較することで、同じ部位を撮像しているか否かを判断してもよい。また、可視光撮像部１０２により得られた可視光画像と、赤外光撮像部１０３により得られた赤外光画像とのそれぞれにおいて顔認識を行い、目、鼻、口などにおける特徴点の座標と大きさを取得し、目、鼻、口などの大きさの比を考慮して、目、鼻、口などの特徴点からの座標（相対的な位置）を演算することで同じ部位を特定してもよい。

赤外光撮像部１０３により得られる肌画像は、可視光撮像部１０２により得られる肌画像と同様に、人の顔または手を含む肌のうちの同一の箇所を時間的に連続する複数のタイミングで撮像された画像であり、例えば、動画または複数枚の静止画で構成される。

赤外光撮像部１０３の設置位置は、可視光撮像部１０２と同様に定められる。つまり、赤外光撮像部１０３は、車両の側面視における領域Ｒ３（図６Ａ）内、又は、車両の上面視においては領域Ｒ６（図９Ａ及び図９Ｂ）内、つまり、好適領域内に設置される。これにより、ユーザＵは、赤外光撮像部１０３であるカメラに意識を向けることなく運転でき、かつ、脈波計測装置１４０は、運転中のユーザＵの脈波を取得することができる。

なお、脈波撮像装置１３０の筐体の中に、可視光撮像部１０２と赤外光撮像部１０３とが並べて配置されてもよい。赤外光撮像部１０３が、できる限り可視光撮像部１０２と同じ部位の画像を取得する方が、より適切な脈波の取得がなされるからである。

なお、赤外光撮像部１０３と可視光撮像部１０２とを並べて配置することを意図したときに、赤外光撮像部１０３又は可視光撮像部１０２が、好適領域から逸脱してしまうことがあり得る。その場合、赤外光撮像部１０３及び可視光撮像部１０２の上下方向の高さを揃えて、左右方向に並べて設置してもよい。例えば、好適領域の上下方向の幅がカメラ１台分程度しかない場合、２つのカメラ（赤外光撮像部１０３及び可視光撮像部１０２）を左右方向に並べて配置してもよい。これにより、赤外光撮像部１０３及び可視光撮像部１０２の一方のカメラしか設置できない事態を回避することができ、可視光による撮像から赤外光による撮像への切り替えが可能になる。

また、赤外光撮像部１０３の設置方法は、前述した可視光撮像部１０２の設置方法と同じである。

（赤外光光源１０４）
赤外光光源１０４は、ユーザＵに対して赤外光を照射する。赤外光光源１０４が照射する光の光量は、光源制御部１０８によって調整される。具体的には、赤外光光源１０４は、８００ｎｍ〜２５００ｎｍの波長域の光を放出する、例えば、赤外ＬＥＤ等により実現される。

なお、人の目に赤外光を照射し続けると、視力が下がる可能性があるので、ユーザＵの顔においてＲＯＩを限定して照射してもよい。例えば、ユーザＵの顔に光を照射する場合、特に頬において脈波が取得しやすいが、この際、赤外光撮像部１０３が撮像した画像で顔認識を行い、目の下の部分に照射してもよい。また、赤外光のパワーが所定の閾値以上であり、所定の時間以上経っている場合は、光量を抑えるようにしてもよい。

また、可視光光源１０１と同様に、駆動部を備え、光源制御部１０８において、赤外光の光量が所定の閾値を超えており、かつ、赤外光波形演算部１０６において、脈波の特徴点を取得できていない場合、赤外光撮像部１０３で得られた画像に対し顔認識プログラムを用いてユーザＵの顔を特定し、顔の方向に光の照射方向を変更してもよい。

また、前述したように、赤外光の場合は、ユーザＵの視力に影響を及ぼすため、ユーザＵの顔認識から頬の場所を特定し、ユーザＵの頬に赤外光が照射するように、照射領域を絞ってもよい。

赤外光光源１０４は、例えば、ユーザＵが着座する席（運転席）より、車両の左右方向の中心線に近い位置に配置されてもよい。例えば、赤外光光源１０４は、ユーザＵが利用するカーナビゲーション装置の表示画面の縁部分に設置される。こうすることで、ユーザＵが運転中に正面（前方）を向いている場合、ユーザＵの横から光を照射することができるので、脈波が取得しやすくなるという特徴を持つ。

（可視光波形演算部１０５）
可視光波形演算部１０５は、可視光撮像部１０２から可視光画像を取得し、取得した可視光画像からユーザＵの可視光脈波を示す波形である可視光波形を抽出する。可視光波形演算部１０５は、抽出した可視光波形における所定の特徴点である第１特徴点を複数抽出してもよい。所定の特徴点は、例えば、ユーザＵの脈波の１周期分の波形における頂点または底点であるピーク点である。なお、可視光波形演算部１０５は、脈波算出部に相当する。

可視光波形演算部１０５は、可視光波形の特徴点として、脈波のタイミングを取得し、隣り合う脈波のタイミングから心拍間隔時間を演算する。つまり、可視光波形演算部１０５は、抽出した複数の第１特徴点のそれぞれについて、当該第１特徴点に隣接する他の第１特徴点との間の時間を第１心拍間隔時間として算出する。

具体的には、可視光波形演算部１０５は、撮像されたタイミングがそれぞれ対応づけられた複数の可視光画像から抽出される輝度の時間変化に基づいて、可視光波形を抽出する。つまり、可視光撮像部１０２から取得される複数の可視光画像のそれぞれは、可視光撮像部１０２において当該可視光画像が撮像された時刻（ｔｉｍｅ ｐｏｉｎｔ）と対応づけられている。可視光波形演算部１０５は、可視光波形の所定の特徴点の間隔を取得することで、ユーザＵの脈波のタイミング（以下、脈波タイミングともいう）を取得する。そして、可視光波形演算部１０５は、得られた複数の脈波タイミングのそれぞれについて、当該脈波タイミングと一つ後の脈波タイミングとの間隔を心拍間隔時間として算出する。

例えば、可視光波形演算部１０５は、抽出した可視光波形を用いて、最も輝度の変化の大きいタイミングを特定し、特定したタイミングを脈波タイミングとして特定する。または、可視光波形演算部１０５は、予め保持している顔または手のパターンを用いて、複数の可視光画像における顔または手の位置を特定し、特定した位置の輝度の時間的な変化を用いて可視光波形を特定する。可視光波形演算部１０５は、特定した可視光波形を用いて、脈波タイミングを算出する。ここで、脈波タイミングとは、輝度の時間波形、すなわち脈波の時間波形における所定の特徴点における時刻である。所定の特徴点は、例えば、輝度の時間波形におけるピーク位置（頂点の時刻）である。ピーク位置は、例えば、山登り法、自己相関法、および微分関数を用いた方法を含む公知の局所探索法を用いて、特定できる。

一般に、脈波は、心臓の拍動に伴い末梢血管系内の血圧または体積の変化である。つまり、脈波は、心臓が収縮することにより、心臓から血液が送り出され、顔または手などに到達したとき血管の体積の変化である。このように、顔または手などにおける血管の体積が変化すると、血管を通過する血液の量が変化することとなり、ヘモグロビンなどの血液中の成分の量に依存して肌の色が変化する。このため、撮像した画像における顔または手の輝度は、脈波に応じて変化する。つまり、顔または手を複数のタイミングで撮像した画像から得られる顔または手の輝度の時間変化を用いれば、血液の移動に関する情報を取得できる。このように、可視光波形演算部１０５は、時系列で撮像した複数の画像から血液の移動に関する情報を演算することで、脈波タイミングを取得する。

可視光領域における脈波タイミングの取得では、可視光画像中の緑色の波長域の輝度が撮像された画像が用いられてもよい。可視光領域において撮像された画像において、緑色近辺の波長域の輝度に、脈波による変化が大きく現れるためである。複数の画素を含む可視光画像において、多くの血液が流入している状態の顔または手に相当する画素の緑色の波長域における輝度は、少ない血液が流入している状態の顔または手に相当する画素の緑色の波長域の輝度と比べて小さい。

図１２の（ａ）は、本実施の形態における可視光画像の輝度変化、特に緑色における輝度変化の一例を示すグラフである。具体的には、図１２の（ａ）は、可視光撮像部１０２によって撮像された可視光画像におけるユーザＵの頬の領域の緑色成分（Ｇ）の輝度変化を示す。図１２の（ａ）のグラフにおいて、横軸は時間を示し、縦軸は緑色成分（Ｇ）の輝度を示す。図１２の（ａ）に示す輝度変化は、脈波に起因して輝度が周期的に変化していることがわかる。

日常環境下、すなわち可視光領域で肌が撮像される場合、照明による散乱光または様々な要因によって、可視光画像はノイズを含む。よって、可視光波形演算部１０５は、可視光撮像部１０２から取得した可視光画像にフィルタ等による信号処理を施し、脈波に起因する肌の輝度変化を多く含む可視光画像を得てもよい。信号処理に用いるフィルタの例は、ローパスフィルタである。つまり、可視光波形演算部１０５は、本実施の形態では、ローパスフィルタを通した緑色成分（Ｇ）の輝度変化を用いて、可視光波形の抽出処理を行う。

図１３の（ａ）は、本実施の形態における脈波タイミングの算出の一例を示すグラフである。図１３の（ａ）のグラフにおいて、横軸は時間を示し、縦軸は輝度を示す。図１３の（ａ）のグラフの時間波形おいて、時刻ｔ１〜ｔ５のそれぞれの点は、変曲点または頂点である。当該グラフの時間波形における各点は、特徴点としての、変曲点と、ピーク点（頂点および底点）とを含む。なお、頂点とは、時間波形において上に凸の極大値における点であり、底点とは、時間波形において下に凸の極小値における点である。時間波形に含まれる上記の各点において、前後の時刻の点のいずれよりも輝度が大きい点（頂点）における時刻、または、前後の時刻の点のいずれよりも輝度が小さい点（底点）の時刻が脈波タイミングである。

図１３の（ａ）に示すグラフの輝度時間波形を用いて、頂点の位置を特定する方法、つまりピーク探索の方法を説明する。可視光波形演算部１０５は、当該輝度の時間波形において、現在の参照点を時刻ｔ２の点とする。可視光波形演算部１０５は、時刻ｔ２の点と、一つ前の時刻ｔ１の点とを比較し、かつ、時刻ｔ２の点と、一つ後の時刻ｔ３の点とを比較する。可視光波形演算部１０５は、参照点の輝度が、一つ前の時刻の点および一つ後の時刻の点のそれぞれの輝度よりも大きい場合、正と判定する。つまり、この場合、可視光波形演算部１０５は、参照点がピーク点（頂点）であって、その参照点の時刻が脈波タイミングであると判定する。

一方で、可視光波形演算部１０５は、参照点の輝度が、一つ前の時刻の点および一つ後の時刻の点の少なくとも一方の輝度よりも小さい場合、否と判定する。つまり、この場合、可視光波形演算部１０５は、参照点がピーク点（頂点）ではなく、その参照点の時刻が脈波タイミングではないと判定する。

図１３の（ａ）において、時刻ｔ２の点の輝度は時刻ｔ１の点の輝度より大きいが、時刻ｔ２の点の輝度は時刻ｔ３の点の輝度よりは小さいため、可視光波形演算部１０５は、時刻ｔ２の点を否と判定する。次に、可視光波形演算部１０５は、参照点を一つインクリメントし、次の時刻ｔ３の点を参照点とする。時刻ｔ３の点の輝度は、時刻ｔ３の一つ前の時刻ｔ２の点および時刻ｔ３の一つ後の時刻ｔ４の点のそれぞれの輝度より大きいため、可視光波形演算部１０５は、時刻ｔ３の点を正と判定する。可視光波形演算部１０５は、正と判定した点の時刻を脈波タイミングとして相関度演算部１０７に出力する。これにより、図１３の（ｂ）に示すように、白丸印の時刻が脈波タイミングとして特定される。

また、可視光波形演算部１０５は、脈波タイミングの特定において、一般的な心拍数（例えば６０ｂｐｍから１８０ｂｐｍ）の知識に基づき、心拍間隔時間が例えば３３３ｍｓから１０００ｍｓまでの間であることを考慮して脈波タイミングを特定してもよい。可視光波形演算部１０５は、一般的な心拍間隔時間を考慮することにより、全ての点において上述の輝度の比較を行う必要がなく、一部の点において輝度の比較を行えば、適切な脈波タイミングを特定できる。つまり、最近に取得された脈波タイミングから３３３ｍｓ以降１０００ｍｓ以前の範囲にある各点を参照点として用いて上述の輝度の比較を行えばよい。この場合、その範囲以前の点を参照点として用いた輝度の比較を行うことなく、次の脈波タイミングを特定できる。したがって、日常環境時にロバストな脈波タイミングの取得が可能となる。

可視光波形演算部１０５は、さらに、得られた隣り合う脈波タイミングの時間差を算出することで心拍間隔時間を算出する。心拍間隔時間は、時系列で変動する。このため、同一の期間において取得した赤外光波形から特定した脈波の心拍間隔時間と比較することで、可視光波形と赤外光波形の所定の特徴点における相関度の演算に利用することができる。

図１４は、時系列で取得した心拍間隔時間の例を示すグラフである。図１４のグラフにおいて、横軸は時系列に取得した心拍間隔時間に対応付けられたデータナンバーを示し、縦軸は心拍間隔時間を示す。図１４に示すように、心拍間隔時間は、時刻によって変動しているのがわかる。なお、データナンバーとは、データ（ここでは心拍間隔時間）がメモリに記憶された順番を示す。つまり、ｎ番目（ｎは自然数）に記録された心拍間隔時間に対応するデータナンバーは「ｎ」となる。

可視光波形演算部１０５は、さらに、可視光波形において、脈波タイミング直後の変曲点の時刻を抽出してもよい。具体的には、可視光波形演算部１０５は、可視光波形の輝度値の一次微分を算出することで可視光微分輝度の極小点を取得し、その極小点となる時刻を変曲点の時刻（以下、変曲点タイミングと言う）を算出する。つまり、可視光波形演算部１０５は、所定の特徴点として、頂点から底点までの間の変曲点を複数抽出してもよい。

また、可視光波形演算部１０５は、変曲点タイミングの算出においても、一般的な心拍数の知識に基づき、心拍間隔時間が例えば、３３３ｍｓから１０００ｍｓまでの間であることを考慮して変曲点タイミングを算出してもよい。これにより、可視光波形にまったく心拍とは関係のない変曲点が含まれていたとしても、当該変曲点を特定することがないため、より正確に変曲点タイミングを算出することができる。

図１５は、脈波から変曲点を抽出する方法を説明するためのグラフである。具体的には、図１５の（ａ）は、可視光画像から得られた可視光波形を示すグラフであり、図１５の（ｂ）は、図１５の（ａ）の一次微分値をプロットしたグラフである。図１５の（ａ）では、丸印がピーク点のうちの頂点を表し、Ｘ印が変曲点を表す。図１５の（ｂ）では、丸印が図１５の（ａ）における頂点に対応する点を示し、Ｘ印が図１５の（ａ）における変曲点に対応する点を示す。図１５の（ａ）のグラフにおいて、横軸は時間を示し、縦軸は輝度値を示す。また、図１５の（ｂ）のグラフにおいて、横軸は時間を示し、縦軸は、輝度値の微分係数を示す。

可視光波形の抽出では、前述のように特に緑色の光が撮像された可視光画像を用いる。この可視光波形の抽出の原理を説明する。脈波に応じて顔または手などの血管中の血液量が増減した場合、血中のヘモグロビンの量が血液量に応じて増減する。つまり、血管中の血液量の増減に応じて、緑色の波長域の光を吸収するヘモグロビンの量が増減する。このため、可視光撮像部１０２において撮像された可視光画像では、血液量の増減に応じて、血管付近の肌の色が変化することになり、可視光の特に緑色成分の輝度値が変動する。具体的には、ヘモグロビンが緑色の光を吸収するため、可視光画像における輝度値は、ヘモグロビンに吸収された分減少する。

さらに、可視光波形は、底点から頂点までの勾配よりも、頂点から次の底点までの勾配の方が急であるという特徴を持つ。したがって、底点から頂点までの間では、比較的ノイズの影響を受けやすい。一方で、頂点から次の底点までの間では、勾配が急なため、ノイズの影響を受けにくい。このため、頂点から底点までの間に存在する変曲点タイミングもまた、ノイズの影響を受けにくく、比較的安定して取得しやすいという特徴をもつ。以上のことから、可視光波形演算部１０５は、頂点から底点までに存在する変曲点間の時間差を、心拍間隔時間として算出してもよい。

また、前述した可視光波形のピーク点は、変曲点の直前において微分係数が０になる部分である。具体的には、図１５の（ｂ）に示すように、変曲点であるＸ印の直前の微分係数が０となる点の時刻が図１５の（ａ）の頂点を示す丸印の時刻となっているのがわかる。この特徴を用いて、可視光波形演算部１０５は、可視光波形から取得する頂点を変曲点の直前の頂点に限定してもよい。

可視光波形演算部１０５は、さらに、可視光波形の頂点から底点までの傾きを算出する。つまり、可視光波形演算部１０５は、可視光波形において、心拍間隔時間で定義されるユーザＵの脈波の１周期分の波形における頂点から底点までの傾きを算出する。傾きはできるだけ大きい方がいい。これは、傾きが大きければ大きいほど、より可視光波形における頂点の尖度が大きくなり、フィルタ処理等による脈波タイミングの時間ずれが、小さくなるからである。

図１６は、可視光波形において、頂点から底点までの間の傾きを演算する方法を説明するための可視光波形を示すグラフである。図１６のグラフにおいて、横軸は時間を示し、縦軸は輝度値を示し、丸印は頂点を示し、三角印は底点を示す。可視光波形演算部１０５では、頂点（丸印）とその次にある底点（三角印）とを直線で結び、その直線の傾きを算出する。ここで算出した傾きは、可視光光源１０１における光源が発する光の光量、可視光撮像部１０２で取得するユーザＵの肌の部位などに応じて異なる。したがって、脈波がクリアに取得できる、例えば、心拍間隔時間が３３３ｍｓから１０００ｍｓまでの間で取得し続けられるように、可視光光源１０１の光量、可視光撮像部１０２におけるユーザＵの部位に対応するＲＯＩをそれぞれ設定し、傾き情報を記録し、赤外光の脈波における傾き情報と比較することができる。また、可視光波形演算部１０５は、初期状態、すなわち、可視光光源１０１がＯＮになってから、光源制御部１０８によって、可視光光源１０１の可視光の光量または赤外光光源１０４の赤外光の光量を変化させるまでの状態における、可視光波形における頂点から底点までの間の傾きを第１の傾きＡとしてメモリに記録する。脈波計測装置１４０は、可視光波形と赤外光波形との間の特徴点を比較しながら、徐々に可視光光源１０１の光量を０にしていき、赤外光光源１０４の光量を増加させていくことを特徴としている。このように、可視光の光量を徐々に減少させるため、可視光波形の頂点から底点までの傾きが最も大きくなるのは、初期状態である。

（赤外光波形演算部１０６）
赤外光波形演算部１０６は、赤外光撮像部１０３から赤外光画像を取得し、取得した赤外光画像からユーザＵの脈波を示す波形である赤外光波形を抽出する。赤外光波形演算部１０６は、抽出した赤外光波形における所定の特徴点である第２特徴点を複数抽出してもよい。所定の特徴点は、例えば、ユーザＵの脈波の１周期分の波形における頂点または底点であるピーク点である。

赤外光波形演算部１０６は、赤外光波形の特徴点として、可視光波形演算部１０５と同様に、脈波のタイミングを取得し、隣り合う脈波のタイミングから心拍間隔時間を演算する。つまり、赤外光波形演算部１０６は、抽出した複数の第２特徴点のそれぞれについて、当該第２特徴点に隣接する他の第２特徴点との間の時間を第２心拍間隔時間として算出する。具体的には、赤外光波形演算部１０６は、複数の赤外光画像から抽出される輝度の時間変化に基づいて、赤外光波形を抽出する。つまり、赤外光撮像部１０３から取得される複数の赤外光画像のそれぞれは、赤外光撮像部１０３において当該赤外光画像が撮像された時刻（ｔｉｍｅ ｐｏｉｎｔ）と対応付けられている。赤外光波形演算部１０６は、赤外光波形の所定の特徴点の間隔を取得することで、ユーザＵの脈波タイミングを取得する。そして、赤外光波形演算部１０６は、得られた複数の脈波タイミングのそれぞれについて、当該脈波タイミングと一つ後の脈波タイミングとの間隔を心拍間隔時間として算出する。

ここで、赤外光波形演算部１０６は、可視光波形演算部１０５と同様に、赤外光波形の所定の特徴点としてのピーク位置を、例えば、山登り法、自己相関法、および微分関数を用いた方法を含む公知の局所探索法を用いて、特定できる。

一般に、赤外光画像では、可視光画像と同様に、ヘモグロビンなどの血液中の成分の量に依存して、画像における肌領域、例えば、顔または手の輝度が変化する。つまり、顔または手を複数のタイミングで撮像した画像から得られる顔または手の輝度の時間変化を用いれば、血液の移動に関する情報を取得できる。このように、赤外光波形演算部１０６は、時系列で撮像した複数の画像から血液の移動に関する情報を演算することで、脈波タイミングを取得する。

赤外光領域における脈波タイミングの取得では、赤外光画像中の８００ｎｍ以上の波長域の輝度が撮像された画像が用いられてもよい。赤外光領域において撮像された画像において、８００〜９５０ｎｍ近辺の波長域の輝度に、脈波による変化が大きく現れるためである。

図１２の（ｂ）は、本実施の形態における赤外光画像の輝度変化の一例を示すグラフである。具体的には、図１２の（ｂ）は、赤外光撮像部１０３によって撮像された赤外光画像におけるユーザＵの頬の領域の輝度変化を示す。図１２の（ｂ）のグラフにおいて、横軸は時間を示し、縦軸は輝度を示す。図１２の（ｂ）に示す輝度変化は、脈波に起因して輝度が周期的に変化していることがわかる。

しかし、赤外光領域で肌を撮像する場合、可視光領域で肌を撮像する場合に比べ、ヘモグロビンによる赤外光の吸収量が少ない。つまり、体動等の様々な要因によって、赤外光領域で撮像された赤外光画像はノイズを含みやすい。よって、撮像された赤外光画像にフィルタ等による信号処理を施し、適切な光量の赤外光をユーザＵの肌領域に照射することで、脈波に起因する肌の輝度変化を多く含む赤外光画像を得てもよい。信号処理に用いるフィルタの例は、ローパスフィルタである。つまり、赤外光波形演算部１０６は、本実施の形態では、ローパスフィルタを通した赤外光の輝度変化を用いて、赤外光波形の抽出処理を行う。なお、赤外光光源１０４による赤外光の光量の決定方法については、相関度演算部１０７または、光源制御部１０８において記述する。

次に、赤外光波形演算部１０６における、ピーク探索の方法について説明する。赤外光波形におけるピーク探索は、可視光波形におけるピーク探索と同様の方法を利用できる。

赤外光波形演算部１０６は、脈波タイミングの特定において、可視光波形演算部１０５と同様に、一般的な心拍数（例えば６０ｂｐｍから１８０ｂｐｍ）の知識に基づき、心拍間隔時間が例えば３３３ｍｓから１０００ｍｓまでの間であることを考慮して脈波タイミングを特定してもよい。赤外光波形演算部１０６は、一般的な心拍間隔時間を考慮することにより、全ての点において上述の輝度の比較を行う必要がなく、一部の点において輝度の比較を行えば、適切な脈波タイミングを特定できる。つまり、最近に取得された脈波タイミングから３３３ｍｓ以降１０００ｍｓ以前の範囲にある各点を参照点として用いて上述の輝度の比較を行えばよい。この場合、その範囲以前の点を参照点として用いた輝度の比較を行うことなく、次の脈波タイミングを特定できる。

赤外光波形演算部１０６は、可視光波形演算部１０５と同様に、得られた隣り合う脈波タイミングの時間差を算出することで心拍間隔時間を算出する。また、赤外光波形演算部１０６は、さらに、赤外光波形において、脈波タイミング直後の変曲点の時刻を抽出してもよい。具体的には、赤外光波形演算部１０６は、赤外光波形の輝度値の一次微分を算出することで赤外光微分輝度の極小点を取得し、その極小点となる時刻を変曲点の時刻（変曲点タイミング）を算出する。つまり、赤外光波形演算部１０６は、所定の特徴点として、頂点から底点までの間の変曲点を複数抽出してもよい。

また、赤外光波形演算部１０６は、可視光波形演算部１０５と同様に、赤外光波形の頂点から底点までの傾きについての演算を行う。

以上のように、赤外光波形演算部１０６は、可視光波形演算部１０５と同様の処理を行うことで、所定の特徴点を第２特徴点として複数抽出する。しかし、赤外光波形は、可視光波形と比較すると、光源から出る赤外光の光量によって、大きく変化する。つまり、赤外光波形は、可視光波形よりも光源の光量の影響を受けやすい。

図１７は、赤外光光源の光量の異なるレベルごとに、赤外光カメラで人の肌画像を取得した場合の赤外光波形を示すグラフである。図１７では、（ａ）から（ｄ）まで、順に赤外光光源における光量のレベルを増加させている。すなわち、光源レベルは、光源レベル１が最も光量が少なく、光源レベルが増加する毎に光量が多くなり、光源レベル４が最も光量が多いことを示している。なお、光源レベルは、レベルが１増加するごとに光源の制御電圧が約０．５Ｖ増加することを示す。また、図１７の各グラフにおける丸印は、脈波のピーク位置（頂点）を示している。図１７の（ａ）のように、光源における光量が少ないと、赤外光光源からの赤外光よりもノイズが多くなり、脈波タイミングの特定が難しい。一方で、図１７の（ｃ）や（ｄ）のように、光源における光量が多いと、脈波に応じた肌の輝度の変化が光源の光量に埋もれてしまい、脈波の形が小さくなり、脈波タイミングの特定が難しい。

ところで、可視光を照射し可視光領域で撮像した画像を用いて脈波を取得する場合、ユーザＵの目にとって強すぎない光量で可視光を照射しても、その照射量で十分に脈波を取得できる。しかしながら、赤外光を照射し赤外光領域で撮像した画像を用いて脈波を取得する場合、赤外光の光量を制御しても、上述したように、ノイズを含んだり赤外光の光量が多くなりすぎたりする。このため、かなり絞られた光量の範囲内でしか、脈波の取得は難しい。また、赤外光光源の光量を所定の値に予め決めていても、取得する肌の部位及び／または、ユーザＵの肌質、肌の色等によっても変化するため、予め適切な光量を決めておくことは難しい。したがって、次に述べる相関度演算部１０７によって、可視光波形と赤外光波形とが一致するように、可視光の光量を絞りながら、赤外光の光量を適切な値になる制御を行う必要がある。

（相関度演算部１０７）
相関度演算部１０７は、可視光波形演算部１０５から得られた可視光波形と、赤外光波形演算部１０６から得られた赤外光波形との間の相関度を演算する。そして、相関度演算部１０７は、算出した相関度に応じて、可視光光源１０１および赤外光光源１０４における各光量を調整する指令を決定し、決定した指令を光源制御部１０８に送る。

相関度演算部１０７は、特徴量として、可視光波形から算出した複数の第１心拍間隔時間と、赤外光波形から算出した複数の第２心拍間隔時間とを、可視光波形演算部１０５および赤外光波形演算部１０６からそれぞれ取得する。そして、相関度演算部１０７は、時系列において互いに対応する、複数の第１心拍間隔時間と、複数の第２心拍間隔時間との間の相関度を演算する。

図１８は、第１心拍間隔時間と、第２心拍間隔時間とのそれぞれを時系列順のデータでプロットしたものを示すグラフである。図１８のグラフにおいて、横軸は時系列におけるデータナンバーを示し、縦軸は各データナンバーに対応する心拍間隔時間を示す。なお、ここで、データナンバーとは、各心拍間隔時間のデータが記録されたメモリに記憶された順番を示す。つまり、第１心拍間隔時間において、ｎ番目（ｎは自然数）に記録された心拍間隔時間に対応するデータナンバーは「ｎ」となる。また、第２心拍間隔時間において、ｎ番目（ｎは自然数）に記録された心拍間隔時間に対応するデータナンバーは「ｎ」となる。さらに、第１心拍間隔時間と第２心拍間隔時間とは、同一のタイミングにおける脈波が計測された結果であるので、原則として計測誤差がない限り、データナンバーが同一であればほぼ同じタイミングにおける脈波を計測した結果といえる。つまり、複数の第１心拍間隔時間および複数の第２心拍間隔時間とは、時系列で互いに対応する１組の第１心拍間隔時間および第２心拍間隔時間とを含む。

相関度演算部１０７は、相関法を用いて、複数の第１心拍間隔時間および複数の第２心拍間隔時間の相関度の演算を行う。相関度演算部１０７は、例えば、相関度としての相関係数が第２の閾値、例えば、０．８以上であれば、複数の第１心拍間隔時間と、複数の第２心拍間隔時間がほぼ一致しているとして判断し、光源制御部１０８に、ほぼ一致していることを示す信号として、例えば、「ＴＲＵＥ」の信号を送信する。一方で、相関度演算部１０７は、相関係数が第２の閾値、例えば、０．８よりも小さい値であれば、複数の第１心拍間隔時間と、複数の第２心拍間隔時間とが一致していないと判断し、光源制御部１０８に、一致していないことを示す信号として、例えば、「ＦＡＬＳＥ」の信号を送信する。

また、相関度演算部１０７は、第１心拍間隔時間および第２心拍間隔時間の相関度だが適切かを判断し、さらに、各心拍間隔時間が適切であるかを判定し、判定結果を光源制御部１０８に送信してもよい。相関度演算部１０７は、具体的には、複数の第１心拍間隔時間および複数の第２心拍間隔時間のうちで、時系列で互いに対応する第１心拍間隔時間および第２心拍間隔時間との間の絶対誤差が第３の閾値（例えば２００ｍｓ）を超えているか否かを判定する。相関度演算部１０７は、例えば、データナンバーが同一の第１心拍間隔時間および第２心拍間隔時間の絶対誤差を算出し、当該絶対誤差が第３の閾値を超えているか否かを判定する。そして、相関度演算部１０７は、例えば、当該絶対誤差が第３の閾値を超えると判定した場合、可視光波形および赤外光波形のうちのいずれかのピーク点の数が過剰であると判定する。そして、相関度演算部１０７は、ピーク点の数が過剰である方の波形（可視光波形または赤外光波形）を光源制御部１０８に送信する。なお、絶対誤差の演算は下記の式１により得られる。

ｅ＝ＲＲＩ_ＲＧＢ−ＲＲＩ_ＩＲ・・・（式１）

式１において、ｅは、対応する第１心拍間隔時間および第２心拍間隔時間との絶対誤差を示し、ＲＲＩ_ＲＧＢは第１心拍間隔時間を示し、ＲＲＩ_ＩＲは第２心拍間隔時間を示す。

また、相関度演算部１０７は、ｅが（−１）×第３の閾値（例えば、−２００ｍｓ）より小さければ、可視光におけるピーク点の数が過剰であると判定し、ｅが第３の閾値（例えば、２００ｍｓ）より大きければ、赤外光におけるピーク点の数が過剰であると判定する。そして、相関度演算部１０７は、判定結果として、ピーク点の数が過剰である方の波形が可視光波形か赤外光波形かを示す情報を、光源制御部１０８に送信する。このように、２つの波形の対応する心拍間隔時間のずれから、どちらか波形においてピーク点を過剰に取得しいている、もしくは、ピーク点の取得に失敗していることを特定できる。

相関度演算部１０７は、例えば、対応する第１心拍間隔時間および第２心拍間隔時間の絶対誤差が第３の閾値を超えており、かつ、可視光波形において、ピーク点が過剰に取得されていると判定した場合、光源制御部１０８に当該判定の結果を示す「Ｆａｌｓｅ，ＲＧＢ」の信号を送信する。なお、相関度演算部１０７は、絶対誤差が第３の閾値を超えており、かつ、赤外光波形において、ピーク点が過剰に取得されていると判定した場合、光源制御部１０８に当該判定の結果を示す「Ｆａｌｓｅ，ＩＲ」の信号を送信する。

図１９は、心拍間隔時間が適切であるか否かの判定の具体例について説明するための図である。図１９の（ａ）は、取得された複数の心拍間隔時間が適切でない場合を示すグラフである。図１９の（ｂ）は、図１９の（ａ）に対応した、可視光波形または赤外光波形の一例を示すグラフである。図１９の（ａ）のグラフにおいて、横軸は時系列におけるデータナンバーを示し、縦軸は各データナンバーに対応する心拍間隔時間を示す。図１９の（ｂ）のグラフにおいて、横軸は時間を示し、縦軸は画像における輝度を示す。

図１９の（ａ）において、点線で囲んだ二点の心拍間隔時間が適切でない部分である。心拍間隔時間は、一般的にゆらぎながら変動するが、急激に値が変動することはほぼない。例えば、図１９の（ａ）に示すように点線で囲んだ部分以外の領域では、平均値が約９５０ｍｓであり、その分散は約５０ｍｓである。しかし、点線で囲まれた２点の心拍間隔時間は、約６００〜７００ｍｓと急激に値が変化している。これは、図１９の（ｂ）における破線が引かれた部分がピーク点として取得されていることが原因で起こる。すなわち、可視光波形演算部１０５または赤外光波形演算部１０６においてピーク点が過剰に取得されたことによって起こる。

可視光波形演算部１０５または赤外光波形演算部１０６のどちらかにおいて、図１９に示したような結果が得られた場合、複数の第１心拍間隔時間および複数の第２心拍間隔時間のデータ数を比較すると、データ数が一致しなくなる。

図２０にその様子を示す。図２０は、可視光波形においてピーク点の過剰取得が行われ、対応する赤外光波形においてピーク点の過剰取得が行われなかった場合の例を説明するための図である。

複数の第１または第２心拍間隔時間のデータは、例えば、（データＮｏ、心拍間隔時間）という形式で記憶する。可視光波形において取得される複数の第１心拍間隔時間を示すデータは、例えば、（ｘ、ｔ２０−ｔ１１）、（ｘ＋１、ｔ１２−ｔ２０）、（ｘ＋２、ｔ１３−ｔ１２）となる。また、赤外光波形において取得される複数の第２心拍間隔時間を示すデータは、例えば、（ｘ、ｔ１２−ｔ１１）、（ｘ＋１、ｔ１３−ｔ１２）となる。これにより、可視光波形および赤外光波形のそれぞれにおいて取得されたデータを比較すると、同じ時間区間ｔ１１〜ｔ１３の間で取得されたデータであるのに、データ数がずれてしまっている。これにより、その後の第１心拍間隔時間および第２心拍間隔時間の間のデータの対応関係が全てずれ、心拍間隔時間の時間変動の相関度がずれることになる。

したがって、相関度演算部１０７は、可視光波形演算部１０５と赤外光波形演算部１０６とで得られた、第１または第２心拍間隔時間の各データナンバーにおける心拍間隔時間の絶対誤差が、第３の閾値、例えば、２００ｍｓ以上であるとき、ピーク点の数が多い方の脈波ピークを一つ削除する。そして、相関度演算部１０７は、削除したピークに対応するデータナンバーから以降のデータナンバー一つ分ずつ減らす処理を行う。

つまり、相関度演算部１０７は、上記のように、ピーク点（つまり、所定の特徴点）が過剰に取得されていると判定した場合、所定の特徴点が多い方の波形（可視光波形または赤外光波形）における心拍間隔時間の演算の基準となった所定の特徴点を当該心拍間隔時間の演算対象から除外してもよい。つまり、相関度演算部１０７は、ｅが（−１）×第３の閾値より小さければ、当該ｅを算出するのに用いたＲＲＩ_ＲＧＢの演算の基準となったピーク点を第１心拍間隔時間の演算対象から除外する。相関度演算部１０７は、ｅが第３の閾値より大きければ、当該ｅを算出するのに用いたＲＲＩ_ＩＲの演算の基準となったピーク点を第２心拍間隔時間の演算対象から除外する。

また、ピーク点の過剰取得は、取得した波形（可視光波形または赤外光波形）においてノイズが多いことにより起きる。このため、過剰取得した方の波形が可視光波形であるか、赤外光波形であるかを把握し、例えば、上述したように「ＦＡＬＳＥ，ＲＧＢ」というような信号を生成し、生成した信号を光源制御部１０８に送信する。つまり、光源制御部１０８は、「ＦＡＬＳＥ，ＲＧＢ」の信号を受信すれば、可視光波形と赤外光波形との間の心拍間隔時間が一致していないこと、および、一致していない原因は可視光波形であることを把握できる。このように、可視光波形と赤外光波形とのピーク点の取得におけるデータずれを把握でき、把握した結果を示す情報を光源制御部１０８に送信できるため、可視光波形および赤外光波形におけるユーザＵの脈波をより正確に取得することが可能になる。

なお、相関度演算部１０７では、第１心拍間隔時間と第２心拍間隔時間との相関度の判定において、第２の閾値を０．８として判定したが、これに限るものではない。具体的には、ユーザＵが計測したい生体情報の正確性に応じて、第２の閾値を変えてもよい。例えば、ユーザＵが睡眠時における赤外光での脈波抽出を厳密に行うことで、睡眠中の生体情報、例えば、心拍及び／または血圧等の情報をより正確に取得したい場合、判定基準とする第２の閾値を大きくし、例えば０．９等の値にしてもよい。

また、基準としている相関係数の第２の閾値を調整した場合、調整した第２の閾値に応じて、情報提示部１１０に、取得データの信頼度として表示してもよい。例えば、可視光波形と赤外光波形との間での特徴量がなかなか一致せず、睡眠時等に、可視光の光源からの光量を低減できない場合、基準となる相関係数の第２の閾値を、例えば、０．６等の０．８よりも小さい値に変更してもよい。その際、相関度に関する正確性は、小さくなるので、提示装置４０に信頼度が小さくなったことを表示してもよい。

相関度演算部１０７は、可視光波形および赤外光波形から時系列で取得した第１および第２心拍間隔時間の相関係数が第２の閾値より小さい場合、または、可視光波形演算部１０５および赤外光波形演算部１０６において、第１所定期間のピーク点を過剰取得した場合、可視光波形および赤外光波形のそれぞれの変曲点を用いて、可視光波形と赤外光波形との相関度を判定してもよい。具体的には、前述したように、可視光波形および赤外光波形における第１および第２心拍間隔時間の相関係数が、第２の閾値、例えば、０．８より小さい場合、または、可視光波形演算部１０５および赤外光波形演算部１０６で取得したピーク点の数が、第１所定区間（例えば、５秒間）において一致せず、少なくとも一方の波形におけるピーク点の数が第１の閾値（例えば、１０個）を超えていた場合、可視光波形と赤外光波形との両方の波形における変曲点を使用し、各波形において変曲点間の時間間隔情報の相関度を判定してもよい。

つまり、相関度演算部１０７は、可視光波形または赤外光波形のうちのピーク点の数が第１所定期間において、第１の閾値を超えるか否かを判定する。相関度演算部１０７は、当該ピーク点の数が第１所定期間において第１の閾値を超えると判定した場合、次の処理を行ってもよい。つまり、相関度演算部１０７は、可視光波形演算部１０５に、可視光波形における頂点から底点までの間の変曲点を第１特徴点として複数抽出させる。また、相関度演算部１０７は、赤外光波形演算部１０６に、赤外光波形における頂点から底点までの間の変曲点を第２特徴点として複数抽出させる。また、相関度演算部１０７は、可視光波形演算部１０５に、抽出した複数の第１特徴点のそれぞれについて、当該第１特徴点に隣接する他の第１特徴点との間の時間を第１心拍間隔時間として算出させる。また、相関度演算部１０７は、赤外光波形演算部１０６に、抽出した複数の第２特徴点のそれぞれについて、当該第２特徴点に隣接する他の第２特徴点との間の時間を第２心拍間隔時間として算出させる。そして、相関度演算部１０７は、時系列において互いに対応する、複数の第１心拍間隔時間と、複数の第２心拍間隔時間との間の相関度を、相関度として演算する。

図２１は、変曲点を用いて相関度を算出する場合を説明するための図である。図２１の（ａ）は、可視光波形において取得されたピーク点（頂点）を示すグラフであり、図２１の（ｂ）は、赤外光波形において取得されたピーク点（頂点）を示すグラフである。図２１の（ａ）および（ｂ）において、共に横軸は時間を示し、縦軸は輝度を示し、黒丸は取得された頂点を示し、白丸は取得された変曲点を示す。

図２１の（ａ）では、可視光波形において、過剰にピーク点を取得しており、第１所定期間（５秒間）において、ピーク点が、第１の閾値以上または第１の閾値を超える、１０個または１１個存在するのがわかる。一方で、図２１の（ｂ）では、赤外光波形において、ピーク点は一定の心拍間隔時間で取得されており、分散が１００ｍｓ以下である。この時、可視光波形および赤外光波形における第１および第２心拍間隔時間を示す時系列のデータナンバーがずれることになる。

したがって、相関度演算部１０７は、可視光波形演算部１０５と赤外光波形演算部１０６とより取得した、各脈波の頂点−底点間に存在する変曲点を利用して、可視光波形および赤外光波形の間の相関度を演算してもよい。相関度演算部１０７は、例えば、変曲点を用いて算出した第１心拍間隔時間と第２心拍間隔時間とを可視光波形演算部１０５および赤外光波形演算部１０６に算出させ、当該第１および第２心拍間隔時間の間の相関度度を演算する。具体的な演算法としては、可視光波形と赤外光波形との変曲点間の心拍間隔時間の相関及び／または絶対誤差によって評価する。

なお、相関度演算部１０７では、可視光波形または赤外光波形における心拍間隔時間の相関係数が第２の閾値より小さい場合、または、可視光波形または赤外光波形におけるピーク点の数が第１所定期間において、少なくとも一方の波形におけるピーク点の数が、第１の閾値より多い場合、変曲点間の心拍間隔時間を用いて、可視光波形および赤外光波形の間の相関度を演算するとしたが、これに限るものではない。例えば、相関度演算部１０７は、ピーク点を用いず、最初から変曲点間の心拍間隔時間を用いて、可視光波形および赤外光波形の間の相関度を演算してもよい。これにより、可視光波形または赤外光波形からピーク点を精度よく取得できていない場合であっても、変曲点間の心拍間隔時間を算出することで、心拍間隔時間に類似した時間を算出できる。ただし、変曲点間の心拍間隔時間は、ピーク点から取得できる心拍間隔時間に比べて、ノイズはのりにくいが、変曲点が頂点−底点間で変動しやすいという特徴を持つ。すなわち、頂点−頂点の心拍間隔時間が安定しており、例えば、分散が１００ｍｓ以内となりやすく、変曲点−変曲点間の心拍間隔時間よりも、時間誤差が小さくなる傾向にある。したがって、本開示においては、特に断りがない限り、ピーク点から演算する心拍間隔時間を優先して使用する。

また、相関度演算部１０７は、上記とは別に、次の条件を満たした場合、変曲点間の心拍間隔時間をピーク点から演算する心拍間隔時間の代わりに、相関度の演算に用いてもよい。その条件とは、例えば、複数の心拍間隔時間および複数の心拍間隔時間のうち、可視光波形および赤外光波形のうちのピーク点の数が少ない方の波形に対応する心拍間隔時間の分散が第４の閾値（例えば、１００ｍｓ）以下であることである。これは、第１所定期間におけるピーク点の数で、過剰にピーク点が取得されたか否かを判定する場合、実は、ピーク点の数が過剰であるのに、第１所定期間におけるピーク点の数が第１の閾値を超えているという条件にあてはまらず、過剰に取得されたピーク点を見過ごす可能性がある。

例えば、図２２は、ピーク点の数が過剰であるのに、第１所定期間におけるピーク点の数が第１の閾値を超えているという条件に当てはまらない例を説明するための図である。図２２の（ａ）および（ｂ）において、共に横軸は時間を示し、縦軸は輝度を示し、黒丸は取得された頂点を示し、白丸は取得された変曲点を示す。

図２２の（ａ）に示すように、可視光波形において、５秒間で取得されたピーク点の数が８個であった場合、第１所定期間におけるピーク点の数が第１の閾値を超えているという条件にはあてはまらないが、図２２の（ｂ）に示す赤外光波形において取得されたピーク点の数とは異なる数のピーク点が取得されている。このとき、前述したように、一つでもピーク点を過剰に取得すると、第１心拍間隔時間および第２心拍間隔時間におけるデータナンバーが一つずつずれていくという問題がある、そこで、可視光波形または赤外光波形のいずれか一方の心拍間隔時間がほぼ一定であることが示すことができれば、当該波形のピーク点の数に応じて、調整（削除）することができる。ピーク点の調整の詳細は、図２０を用いて説明したとおりである。

なお、相関度演算部１０７は、可視光波形および赤外光波形の両方の波形において、第１所定期間での心拍間隔時間の分散が第４の閾値を超える場合、両方の波形から適切な脈波タイミングが取得できないと判定し、光源制御部１０８に、両方の波形から適切な脈波タイミングが取得できないことを示す「Ｆａｌｓｅ，Ｂｏｔｈ」の信号を送信する。

相関度演算部１０７は、脈波計測装置１４０を使用開始時、かつ、可視光波形演算部１０５によって、第１所定期間でピーク点が適切に取得できていた場合（すなわち、心拍間隔時間の分散が第４の閾値より小さい場合）に、可視光波形の頂点−底点間の傾きを第１の傾きＡとして可視光波形演算部１０５に演算させた結果をメモリに記憶させる。そして、相関度演算部１０７は、光源制御部１０８によって、可視光光源１０１または赤外光光源１０４における光量が変化するたびに、赤外光波形の頂点−底点間の第２の傾きが第１の傾きＡになるように、光源制御部１０８に指令を送る。さらに、相関度演算部１０７は、光源制御部１０８において、光源の光量の調整中に取得したピーク点を、可視光波形と赤外光波形との間の相関度の演算に使用しなくてもよい。

図２３は、光源の光量の調整中に取得したピーク点を、可視光波形と赤外光波形との間の相関度の演算に使用しないことを説明するための例を示す図である。図２３のグラフにおいて、横軸は時間を示し、縦軸は輝度を示し、斜線の領域で光源の光量を調整している様子を示している。また、白丸および黒丸は、取得されたピーク点を示す。

図２３に示すように、光源の光量を調整することで、可視光波形または赤外光波形の輝度のゲインが変化し、それに応じてピーク点の尖度も変化する。尖度が変化した後のピーク点に対して、可視光波形演算部１０５または赤外光波形演算部１０６においてフィルタをかけると、フィルタをかける前の生波形のピークの尖度によって、ピーク点の位置が時間軸において前後に変化する。生体情報として心拍数を算出する程度であれば、この誤差は問題にならないが、脈波伝播時間から血圧を算出する場合等では、この誤差による影響は大きい。したがって、本開示の脈波計測装置１４０では、制御信号により可視光光源１０１または赤外光光源１０４の光量を制御している間において取得された可視光波形または赤外光波形から所定の特徴点（つまり、ピーク点）を抽出しなくてもよい。

なお、相関度演算部１０７は、可視光波形および赤外光波形における心拍間隔時間の相関係数が、第２の閾値より小さい場合、いずれか一方または両方の波形のピーク点の数が過剰であるとして、心拍間隔時間の誤差及び／または各心拍間隔時間の分散を算出し、所定の条件を満たした場合、波形の頂点から底点までの間の変曲点間の心拍間隔時間を用いるとしたが、これに限らない。相関度演算部１０７は、例えば、第１心拍間隔時間および第２心拍間隔時間の相関係数が第２の閾値より小さくても、両波形におけるピーク点は適切に取得できている（例えば、両波形の心拍間隔時間における分散が共に、第４の閾値以下である）場合、光源制御部１０８に、「Ｆａｌｓｅ」の信号を送信する。

このように、相関度演算部１０７は、演算した相関度と、可視光波形および赤外光波形からの所定の特徴点の抽出結果とに応じた信号（例えば、「Ｔｒｕｅ」、「Ｆａｌｓｅ」、「Ｆａｌｓｅ，ＲＧＢ」、「Ｆａｌｓｅ，ＩＲ」および「Ｆａｌｓｅ，Ｂｏｔｈ」のいずれか）を光源制御部１０８に送信する。

（光源制御部１０８）
光源制御部１０８は、相関度演算部１０７から受信した信号に応じて、可視光光源１０１と赤外光光源１０４とが出射する可視光と赤外光との光量を制御する。

また、光源制御部１０８は、例えば、「Ｆａｌｓｅ，ＩＲ」の信号を受信した場合、赤外光波形演算部１０６が赤外光波形において所定の特徴点を適切に取得できていないと判断できる。つまり、例えば、「Ｆａｌｓｅ，ＩＲ」の信号は赤外光波形にノイズが多いということを示している。このため、可視光光源１０１における光源の量は調整せず、赤外光光源１０４における光源の量を増加させる。

また、光源制御部１０８は、「Ｆａｌｓｅ，ＲＧＢ」の信号を受信した場合、可視光波形演算部１０５が可視光波形において所定の特徴点を適切に取得できていないと判断できる。また、光源制御部１０８は、この場合、赤外光波形演算部１０６が赤外光波形において所定の特徴点を適切に取得できているか否かを判断できない。したがって、光源制御部１０８は、例えば、赤外光波形において、第１所定期間の心拍間隔時間の分散が第４の閾値以下であれば、可視光光源１０１における光源の光量を減少させ、赤外光光源１０４における光源の光量を赤外光波形の頂点から底点までの間の傾きがＡになるまで、増加させる。また、光源制御部１０８は、赤外光波形における上記分散が第４の閾値を超えていれば、共に信号が取得できていないと判定し、信号を「Ｆａｌｓｅ，Ｂｏｔｈ」に変更する。

また、光源制御部１０８は、「ＦＡＬＳＥ，Ｂｏｔｈ」の信号を受信した場合、可視光波形においても、赤外光波形においても所定の特徴点が取得できていないと判断できる。光源制御部１０８は、この場合、可視光波形の頂点から底点までの傾きが第１の傾きＡになるまで、可視光光源１０１の光量を増加させる。なお、光源制御部１０８は、可視光波形の初期の光量がメモリに記憶されていれば、当該初期の光量になるまで可視光光源１０１の光量を増加させてもよい。また、光源制御部１０８は、赤外光光源１０４の光量を０まで減少させる。つまり、光源制御部１０８は、可視光波形および赤外光波形の両方において、所定の特徴点が取得できない場合、最も確実に取得できる状態である、可視光光源１０１の光量および赤外光光源１０４の光量を初期状態とし、再度光量の調整を行う。

つまり、光源制御部１０８は、複数の第１心拍間隔時間の分散が第４の閾値を超えており、かつ、複数の第２心拍間隔時間の分散が第４の閾値を超えている場合であって、時系列において互いに対応する第１心拍間隔時間および第２心拍間隔時間の差が第５の閾値（（−１）×第３の閾値）より小さい場合、可視光光源１０１における可視光の光量を減少させ、かつ、赤外光光源１０４における赤外光の光量を増加させ、赤外光の光量の増加では、赤外光波形における第２の傾きが、メモリに記憶している第１の傾きＡになるまで、赤外光の光量を増加させる。

また、光源制御部１０８は、複数の第１心拍間隔時間の分散が第４の閾値を超えており、かつ、複数の第２心拍間隔時間の分散が第４の閾値を超えている場合であって、時系列において互いに対応する第１心拍間隔時間および第２心拍間隔時間の差が第６の閾値（つまり第３の閾値）より大きい場合、赤外光光源１０４における赤外光の光量を増加させ、赤外光の光量の増加では、赤外光波形における第２の傾きが、メモリに記憶している第１の傾きＡになるまで、赤外光の光量を増加させる。

また、光源制御部１０８は、複数の第１心拍間隔時間の分散が第４の閾値を超えており、かつ、複数の第２心拍間隔時間の分散が第４の閾値を超えている場合であって、時系列において互いに対応する第１心拍間隔時間および第２心拍間隔時間の差が第５の閾値から第６の閾値までの間の値である場合、可視光光源１０１における可視光の光量を増加させ、かつ、赤外光光源１０４における赤外光の光量を減少させる。

なお、光源制御部１０８は、「Ｆａｌｓｅ，Ｂｏｔｈ」等の、可視光波形および赤外光波形の両方において、所定の特徴点が取得できなかった場合以外は、赤外光光源１０４の光量を赤外光波形の第２の傾きが第１の傾きＡになるまで増加させるとしたが、これに限らない。光源制御部１０８は、例えば、ＲＯＩにおける平均輝度値が、第７の閾値、例えば２４０を超えている場合、光源の光量が強すぎることにより、ユーザＵの肌から撮像される画像がノイズ情報に埋もれてしまう。このため、光源制御部１０８は、この場合、赤外光波形の第２の傾きが第１の傾きＡを超えていると考えられるので、第２の傾きが第１の傾きＡになるまで、赤外光の光量を減少させてもよい。

図２４は、脈波計測装置１４０を用いて、可視光光源１０１の光量を０になるまで減少させ、かつ、赤外光光源１０４の光量を適切な光量まで増加させる最も簡単なステップの例を示す図である。図２４における（ａ）〜（ｄ）の全てのグラフにおいて、横軸は時間を示し、縦軸は輝度を示す。また、図２４では、可視光波形をＲＧＢと表記し、赤外光波形をＩＲと表記している。

図２４の（ａ）は、ユーザＵが脈波計測装置１４０で可視光光源１０１をＯＮにした初期状態において、取得された可視光波形および赤外光波形を示す図である。図２２の（ａ）の可視光波形は、図２４の（ａ）〜（ｄ）の可視光波形のうちで、頂点から底点までの傾きが最も大きい波形である。したがって、この時の可視光波形の頂点から底点までの傾きを第１の傾きＡとして、メモリに記憶する。

また、この時、赤外光光源１０４はＯＦＦとなっている。このため、赤外光波形は、ほとんど取得されない。この状態では、相関度演算部１０７は、光源制御部１０８に、例えば、「Ｆａｌｓｅ，ＩＲ」という信号を送信する。したがって、光源制御部１０８では、赤外光光源１０４における赤外光光源１０４の光量を増加させる。この時、赤外光光源１０４の光量を増加させるにつれて、赤外光波形演算部１０６では、赤外光波形の所定の特徴点が取得できるようになり、第２の心拍間隔時間が取得できる。また、取得した第２心拍間隔時間の分散は、第４の閾値以内に収まるようになる。そして、図２４の（ｂ）に示すように、第２心拍間隔時間の分散を第４の閾値以内に収まった状態を維持しながら、赤外光波形の頂点−底点間の第２の傾きが第１の傾きＡになるまで、赤外光光源１０４の光量を増加させる。第２の傾きが第１の傾きＡとなった場合、相関度演算部１０７は、光源制御部１０８に、例えば、「ＴＲＵＥ，ＡＭＰ＝Ａ」の信号を送信する。このため、光源制御部１０８は、「ＴＲＵＥ，ＡＭＰ＝Ａ」の信号を受信した時点で、光源の調整を一度中止する。

次に、図２４の（ｂ）の状態から、光源制御部１０８は、可視光光源１０１における可視光源の光量を減少させていく。図２４の（ｃ）は、赤外光波形演算部１０６において、心拍間隔時間の分散が第４の閾値以下であり、可視光光源１０１における光源がＯＦＦとなっている状態である。また、図２４の（ｄ）は、さらに、可視光光源１０１における光源がＯＦＦとなっており、かつ、赤外光波形における第２の傾きが第１の傾きＡとなっている状態、すなわち、最終的に目指す状態である。

図２４の（ｂ）の状態から図２４の（ｃ）の状態になる過程では、可視光の光量を一定間隔ずつ、例えば、１Ｗずつ減少させていく。そして、可視光の光量を減少させるたびに、赤外光波形演算部１０６および相関度演算部１０７は、赤外光波形において所定の特徴点が適切に取得できているか確認する。また、赤外光波形演算部１０６および相関度演算部１０７は、赤外光波形において所定の特徴点が適切に取得できていることが確認できれば、図２４の（ｄ）に示すように、赤外光光源１０４の光源における光量を、赤外光波形における第２の傾きが第１の傾きＡになるまで増加させる。

したがって、図２４の（ｂ）の状態から図２４の（ｃ）の状態になる過程では、相関度演算部１０７は、光源制御部１０８に対して、「Ｔｒｕｅ」の信号、もしくは、「Ｆａｌｓｅ，ＩＲ」の信号を送信し、光源制御部１０８は、「Ｆａｌｓｅ，ＩＲ」の信号を受信する度に「Ｔｒｕｅ」になるまで、赤外光光源１０４の光量を調整する。そして、光源制御部１０８は、可視光光源１０１の光量を減少させることで、相関度演算部１０７から「Ｆａｌｓｅ，ＲＧＢ」を受信すると、この過程を終了する。

または、図２４の（ｃ）の状態から図２４の（ｄ）の状態になる過程において、相関度演算部１０７は、光源制御部１０８に対し、「Ｆａｌｓｅ，ＲＧＢ」の信号を送信し、光源制御部１０８は、赤外光光源１０４における光源の光量を赤外光波形における第２の傾きが第１の傾きＡになるまで増加させ続け、例えば、可視光波形が取得できず、かつ、第２の傾きが第１の傾きＡになったことを示す「Ｆａｌｓｅ，ＲＧＢ，ＡＭＰ＝Ａ」の信号を相関度演算部１０７から受信すれば、光源制御部１０８による光源の光量の制御を終了する。

また、光源制御部１０８は、可視光波形演算部１０５または赤外光波形演算部１０６において、可視光波形または赤外光波形のそれぞれ、当該波形から連続する２つ以上の所定の特徴点が取得できた後に、光源の制御を行うという特徴を持つ。つまり、光源制御部１０８は、可視光波形および赤外光波形のそれぞれにおいて、当該波形から連続する２つ以上の所定の特徴点が第２所定期間内に抽出されるまで、可視光光源１０１における可視光の光量を制御する制御信号、または、赤外光光源１０４における赤外光の光量を制御する制御信号の出力を待機する。

図２５は、可視光波形および赤外光波形のそれぞれにおいて、当該波形から連続する２つ以上の所定の特徴点が第２所定期間内に抽出されるまで、光源制御を待機することを説明するための図である。図２５におけるグラフは、可視光波形または赤外光波形を示す。図２５のグラフにおいて、横軸は時間を示し、縦軸は輝度を示す。

光源制御部１０８は、可視光光源１０１、または、赤外光光源１０４の光量を変化させると、可視光波形または赤外光波形の輝度のゲインが変化する。そして、輝度のゲインが変化すると、脈波タイミングの位置がずれるため、心拍間隔時間等のタイミングの算出において、大きな誤差が生じる。また、本開示では、可視光波形と赤外光波形との相関度の判定材料として、心拍間隔時間を主に用いており、心拍間隔時間を算出するためには２つの連続するピーク点が必要である。したがって、図２５に示すように、光源制御部１０８は、可視光波形または赤外光波形において、連続してピーク点が２つ以上取れていることを確認した後、光源量を調整する。

（生体情報算出部１０９）
生体情報算出部１０９は、可視光波形演算部１０５で取得された可視光波形または赤外光波形演算部１０６で取得された赤外光波形のそれぞれの特徴量のいずれか一方を用いて、ユーザＵの生体情報を算出する。生体情報算出部１０９は、具体的には、可視光光源１０１がＯＮであり、かつ、可視光波形演算部１０５において可視光波形を取得できる場合、可視光波形演算部１０５から第１心拍間隔時間を取得する。そして、生体情報算出部１０９は、第１心拍間隔時間を用いて、例えば心拍数、ストレス指数などの生体情報を算出する。

一方で、生体情報算出部１０９は、可視光光源１０１がＯＦＦである、または、可視光波形演算部１０５において可視光波形が取得できない場合であって、赤外光波形演算部１０６において赤外光波形が取得できる場合、赤外光波形演算部１０６から第２心拍間隔時間を取得する。そして、生体情報算出部１０９は、第２心拍間隔時間を用いて、同様に、例えば心拍数、ストレス指数などの生体情報を算出する。

なお、生体情報算出部１０９は、可視光波形演算部１０５および赤外光波形演算部１０６の両方において各波形（可視光波形および赤外光波形）の特徴量（心拍間隔時間）が抽出できている場合、可視光波形演算部１０５からの第１心拍間隔時間を用いて、生体情報を算出する。これは、赤外光よりも可視光の方が、体動等のノイズへのロバスト性があり、信頼性が高いからである。

なお、算出する生体情報は、心拍数やストレス指数としたが、これに限ったものではない。例えば、得られた脈波から加速度脈波を算出し、動脈硬化指数を算出してもよい。また、２箇所の異なるユーザＵの部位から脈波のタイミングを正確に取得し、その時間差（脈波伝播時間）から血圧を推定してもよい。また、心拍間隔時間の変動から、交感神経、副交感神経の優位性を算出し、ユーザＵの眠気を算出してもよい。

（情報提示部１１０）
情報提示部１１０は、可視光撮像部１０２が撮像したユーザＵの顔画像を提示し、ユーザＵの顔が可視光撮像部１０２に映るように、ユーザＵへの指示を提示する。また、情報提示部１１０は、生体情報算出部１０９より得た生体情報を提示する。具体的には、情報提示部１１０は、生体情報算出部１０９より得た心拍数、ストレス指数、又は、ユーザＵの眠気情報等を、表示画面に表示する。なお、情報提示部１１０が上記情報を提示する表示画面は、脈波計測装置１４０に専用に設けられたものでもよいし、カーナビゲーション装置の表示画面と兼用してもよい。カーナビゲーション装置の表示画面と兼用する場合には、脈波計測装置１４０は、表示する情報をカーナビゲーション装置へ送信する送信部（不図示）を備える。なお、カーナビゲーション装置の表示画面と兼用する場合、上記のとおり、この表示画面が可視光光源１０１としての機能をさらに兼用することもできる利点がある。

また、情報提示部１１０は、ユーザＵの移動体端末と通信することで、ユーザＵの移動体端末に情報提示してもよい。また、脈波計測装置１４０が情報記憶部（不図示）を備え、得られた生体情報を情報記憶部に記録して蓄積し、後にユーザＵ自身が睡眠中及び／またはその前後の生体情報を確認できるようにしてもよい。

なお、情報提示部１１０は、生体情報算出部１０９より得た生体情報を提示するとしたが、これに限らない。情報提示部１１０は、例えば可視光光源１０１が照射する光の光量、又は、赤外光光源１０４が照射する光の光量を常に提示してもよい。また、情報提示部１１０は、相関度演算部１０７より、現在時点での一致度を、例えば、信頼度として％表示で提示してもよい。具体的には、情報提示部１１０は、可視光波形と赤外光波形との間の相関係数を提示してもよい。

図２６に情報提示部１１０の表示例を示す。図２６では、情報提示部１１０は、ユーザＵの心拍数、ストレス指数、眠気指数、現在の脈波取得信頼度（現時点における取得される脈波の信頼度）、及び、可視光光源１０１と赤外光光源１０４との光量の比、及び、ユーザＵの覚醒状態を表示している。ここで、現在の脈波取得信頼度は、可視光脈波と赤外光脈波との心拍間隔時間の一致度における相関係数を示す。また、可視光光源１０１と赤外光光源１０４との光量の比は、現時点における可視光光源１０１の光量と赤外光光源１０４の光量の強さの比である。ユーザＵの覚醒状態は、上記の各情報から判定される、ユーザＵの運転における覚醒状態であり、例えば、心拍数６５以下、ストレス指数４０以下、眠気指数が４０以下である場合に「ＧＯＯＤ」とする。なお、これらの表示内容は、表示すること加えて、例えば、音声等で知らせてもよい。また、ユーザＵの覚醒指数が低下した場合等にはアラーム音で警告等をしてもよい。ユーザＵは車両を運転しているので、情報を視覚データとして得るより音声等で得る方が適切であることもあるからである。

図２７に、本実施の形態における脈波計測装置１４０の初期設定の処理の流れを示すフローチャートを示す。

ステップＳ１０１において、ユーザＵが、ルームミラーＭを通した後方視野を確保するためにルームミラーＭを調節する。この調節は、車両に脈波計測装置１４０が設置されているか否かに関係なく、ユーザＵが車両を適切に運転するために行う行動である。

ステップＳ１０２において、可視光撮像部１０２又は赤外光撮像部１０３において、ユーザＵの脈波を取得することができているか否かを判定する。ユーザＵの脈波を取得することができていると判定した場合には、ステップＳ１０３へ進み、取得することができていないと判定した場合には、ステップＳ１０１（ルームミラーＭの再調整）に進む。

ステップＳ１０３において、脈波計測装置１４０は、可視光撮像部１０２の姿勢を記憶する。可視光撮像部１０２の姿勢は、具体的には、可視光撮像部１０２の上下方向の向きと、左右方向の向きとで規定される。次回も同じユーザが乗車した場合に、調整量を少なくするためである。

図２５に、本実施の形態における脈波計測装置１４０の処理の流れを示すフローチャートを示す。

ステップＳ２０１において、可視光光源１０１は、ユーザＵが車両に乗車したこと、ルームミラーＭを調整したこと、または、ユーザＵ自身による明示的なＯＮ操作により、起動する。

ステップＳ２０２において、可視光撮像部１０２は、ユーザＵの顔や手などの肌画像を撮像し、可視光波形演算部１０５により、可視光脈波のピーク−ボトム間の傾きを算出し、記録する。

ステップＳ２０３において、赤外光光源１０４は、光源制御部１０８による制御に基づいて、出射する赤外光の光量を上げる。

ステップＳ２０４において、相関度演算部１０７は、可視光波形演算部１０５と赤外光波形演算部１０６とにより取得した心拍間隔時間等の特徴量の相関度を演算する。

ステップＳ２０５において、ステップＳ２０４で得た相関度と脈波ピーク取得率から、光源制御部１０８によって、可視光光源１０１が出射する可視光の光量と、赤外光光源１０４が出射する赤外光の光量を調節する。

ステップＳ２０６において、可視光光源１０１の電源がＯＦＦになっているか否かを判定する。可視光光源１０１の電源がＯＦＦになっていると判定した場合（ステップＳ１０６でＹｅｓ）には処理を終了する。一方、可視光光源１０１の電源がＯＦＦになっていない（つまりＯＮになっている）と判定した場合（ステップＳ１０６でＮｏ）には、ステップＳ２０４に進む。

なお、以上で説明した脈波計測装置１４０は、可視光脈波と赤外光脈波とを用いて適切にユーザの脈波を計測するものである。本開示は、脈波計測装置１４０のすべての構成要素を必須とするわけではなく、その一部の構成要素で効果を発揮し得る。本開示において効果を発揮する最小限の構成について、以下の変形例にて説明する。

（実施の形態の変形例）
本変形例において、上記実施の形態における脈波計測装置の必須の構成要素を示す。

図２９は、本変形例における脈波計測装置１４０Ａの構成を示すブロック図である。

図２９に示されるように、脈波計測装置１４０Ａは、可視光受光部１０２Ｂと、脈波算出部１０９Ａとを備える。可視光受光部１０２Ｂを含む車両が側面視された場合、第１表面（つまり表面１０２Ａ）は、第１反射光の第１光路と第２反射光の第２光路との間の第１領域に位置する。車両のシートに着座したユーザの目は第１光を出射し、ユーザの頬は第２光を出射する。車両の室内フロントミラー（つまりルームミラーＭ）の上端は第１光を反射して第１反射光を出力する。上記上端は第２光を反射して第２反射光を出力する。脈波算出部１０９Ａは、第１表面を介して可視光受光部１０２Ｂが受光した可視光の波形に基づいてユーザの脈波を算出し、算出した脈波を出力する。

なお、可視光受光部１０２Ｂは、実施の形態における可視光撮像部１０２に相当する。また、脈波算出部１０９Ａは、実施の形態における可視光波形演算部１０５と生体情報算出部１０９とに相当する。脈波計測装置１４０Ａは、上記の構成をとることで、より簡易な構成によりユーザを撮像して脈波を計測することができる。

以上のように、本実施の形態に係る脈波計測装置は、可視光受光部がルームミラーを通してユーザの画像を取得することができ、かつ、ユーザが可視光受光部を視認することがない。よって、ユーザは、可視光受光部であるカメラに気をとられることなく運転することができ、また、脈波計測装置は、運転中のユーザの脈波を取得することができる。ここでルームミラーは、一般に、ユーザにより運転（具体的には後方視野の確保等）のために調整されている。よって、ユーザは、脈波の取得のためにルームミラーの姿勢を調整する必要も生じない。また、このルームミラーは、一般に車両に搭載されているルームミラーであり、それを超える特別な性能又は機能を有するものではない。このように、脈波計測装置は、より簡易な構成によりユーザを撮像して脈波を計測することができる。

また、赤外光受光部も可視光受光部と同様に、ルームミラーを通してユーザの画像を取得することができ、かつ、ユーザは、赤外光受光部を視認することがない。よって、ユーザは、赤外光受光部であるカメラに気をとられることなく運転することができ、また、脈波計測装置は、運転中のユーザの脈波を取得することができる。

また、可視光受光部がルームミラーを通してユーザの頬の画像を取得することができ、かつ、ユーザが可視光受光部を視認することがないということが、車両の側面視における可視光受光部の位置により具体的に実現される。

また、赤外光受光部がルームミラーを通してユーザの頬の画像を取得することができ、かつ、ユーザが赤外光受光部を視認することがないということが、車両の側面視における赤外光受光部の位置により具体的に実現される。

上記態様によれば、可視光受光部がルームミラーを通してユーザの頬の画像を取得することができ、かつ、ユーザが可視光受光部を視認することがないということが、車両の上面視における可視光受光部の位置により具体的に実現される。

上記態様によれば、赤外光受光部がルームミラーを通してユーザの頬の画像を取得することができ、かつ、ユーザが赤外光受光部を視認することがないということが、車両の上面視における赤外光受光部の位置により具体的に実現される。

また、脈波計測装置は、赤外光受光部によりユーザを赤外光で撮像するための照射光（赤外光）を、ユーザの顔のうち、ユーザの脈波の計測に適した領域に照射することができる。ユーザの脈波の計測に適した領域は、例えば、ユーザの顔のうちの頬を含む領域である。また、車両の左右方向の中央には、一般にカーナビゲーション装置又はエアコンのコントローラなどが配置されているので、これらの装置に赤外光光源を追加したり、これらの装置の近傍に赤外光光源を配置したりすることが比較的容易であるという利点がある。車両の信号配線及び電力配線が集約されていることも理由の１つである。

また、可視光受光部がルームミラーを通してユーザの頬の画像を取得することができ、かつ、ユーザが可視光受光部を視認することがないということが、具体的に実現される。特に、ユーザの目から出射されてルームミラーの上端部により反射された光の光路上の位置は、ユーザ自身がルームミラーを確認して印を付すことができる位置である。よって、ユーザ自身が可視光受光部の位置を容易に決定することができる効果がある。

また、ユーザが眼鏡を着用している場合であってもユーザの脈波を適切に計測することができる。ユーザが眼鏡を着用していると、脈波の計測のための画像において、頬に眼鏡のフレームが重なる可能性があり、その重なりを防ぐためである。

なお、脈波計測装置等に含まれる各構成要素は、回路でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。つまり、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。

また、各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の脈波計測方法などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、ユーザから出射され、車両のルームミラーにより反射された光の光路上の領域を含む領域から、前記ユーザが前記ルームミラーで目視できる領域を除いた領域に設けられる可視光受光部によって、可視光を受光する可視光受光ステップと、前記可視光受光ステップで受光した可視光の波形に基づいて前記ユーザの脈波を算出し、算出した脈波を出力する脈波算出ステップとを含む脈波計測方法を実行させる。

以上、一つまたは複数の態様に係る脈波計測装置等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

例えば、上記実施の形態において、特定の構成要素が実行する処理を特定の構成要素の代わりに別の構成要素が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。

本開示は、車両内において非接触でユーザの脈波を取得する脈波計測装置などとして有用である。

１０１ 可視光光源
１０２ 可視光撮像部
１０２Ａ、１０３Ａ 表面
１０２Ｂ 可視光受光部
１０３ 赤外光撮像部
１０４ 赤外光光源
１０５ 可視光波形演算部
１０６ 赤外光波形演算部
１０７ 相関度演算部
１０８ 光源制御部
１０９ 生体情報算出部
１０９Ａ 脈波算出部
１１０ 情報提示部
１２０ 発光装置
１３０ 脈波撮像装置
１４０、１４０Ａ 脈波計測装置
２００ 印
２０２ アーム
Ｇ 眼鏡
Ｍ ルームミラー
Ｎ 法線
Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８ 光路
Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６ 領域
Ｕ ユーザ

Claims (9)

1. 第１表面を有する可視光受光部と、
   脈波算出部を含み、
   前記可視光受光部を含む車両が側面視された場合、前記第１表面は、第１反射光の第１光路と第２反射光の第２光路との間の第１領域に位置し、
   前記車両のシートに着座したユーザの目は第１光を出射し、前記ユーザの頬は第２光を出射し、
   前記車両の室内フロントミラーの上端は前記第１光を反射して前記第１反射光を出力し、
   前記上端は前記第２光を反射して前記第２反射光を出力し、
   前記脈波算出部は、前記第１表面を介して前記可視光受光部が受光した可視光の波形に基づいて前記ユーザの脈波を算出し、算出した脈波を出力する
   脈波計測装置。
2. 前記脈波計測装置は、さらに、
   前記第１領域に位置する第２表面を有する赤外光受光部を備え、
   前記脈波算出部は、前記第２表面を介して前記赤外光受光部が受光した赤外光の波形にさらに基づいて前記脈波を算出する
   請求項１に記載の脈波計測装置。
3. 第１表面を有する可視光受光部と、
   脈波算出部を含み、
   （ａ）前記可視光受光部を含む右ハンドルの車両が上面視された場合、前記第１表面は、第１反射光の第１光路と第２反射光の第２光路との間の第１領域に位置し、前記車両の前記右ハンドルに最も近いシートに着座したユーザの左目は第１光を出射し、前記ユーザの左頬は第２光を出射し、前記車両の室内フロントミラーの右端は前記第１光を反射して前記第１反射光を出力し、前記右端は前記第２光を反射して前記第２反射光を出力し、前記右端は前記車両の室内フロントミラーの左端より、前記右ハンドルに近く、又は、
   （ｂ）前記可視光受光部を含む左ハンドルの車両が上面視された場合、前記第１表面は、第３反射光の第３光路と第４反射光の第４光路との間の第２領域に位置し、前記車両の前記左ハンドルに最も近いシートに着座した前記ユーザの右目は第３光を出射し、前記ユーザの右頬は第４光を出射し、前記左端は前記第３光を反射して前記第３反射光を出力し、前記左端は前記第４光を反射して前記第４反射光を出力し、前記左端は前記右端より、前記右ハンドルに近く、
   前記脈波算出部は、前記第１表面を介して前記可視光受光部が受光した可視光の波形に基づいて前記ユーザの脈波を算出し、算出した脈波を出力する
   脈波計測装置。
4. 前記脈波計測装置は、さらに、
   前記第１領域に位置する第２表面を有する赤外光受光部を備え、
   前記脈波算出部は、前記第２表面を介して前記赤外光受光部が受光した赤外光の波形にさらに基づいて前記脈波を算出する
   請求項３に記載の脈波計測装置。
5. 前記脈波計測装置は、さらに、
   前記ユーザが着座する席より、前記車両の左右方向の中央に近い位置に配置される赤外光光源を備える
   請求項１〜４のいずれか１項に記載の脈波計測装置。
6. 前記第１表面の前記位置は、
   前記車両の側面視において、前記第１光路より車両の上方、かつ、前記車両の前方へ第一距離進んだ位置である
   請求項１又は２に記載の脈波計測装置。
7. 前記脈波計測装置は、さらに、
   前記ユーザが眼鏡を着用しているか否かを画像処理により判定する判定部と、
   前記ユーザが眼鏡をかけていると前記判定部が判定した場合に、前記第１表面は、車両の側面視において、前記第１光路より車両の上方、かつ、前記車両の前方へ、前記第一距離より大きい第二距離進んだ位置に位置させる可動部とを備える
   請求項６に記載の脈波計測装置。
8. （ａ）第１表面を有する可視光受光部が、前記第１表面を介して可視光を受光し、
   前記可視光受光部を含む車両が側面視された場合、前記第１表面は、第１反射光の第１光路と第２反射光の第２光路との間の第１領域に位置し、前記車両のシートに着座したユーザの目は第１光を出射し、前記ユーザの頬は第２光を出射し、前記車両の室内フロントミラーの上端は前記第１光を反射して前記第１反射光を出力し、前記上端は前記第２光を反射して前記第２反射光を出力し、
   （ｂ）脈波算出部が、前記受光した可視光の波形に基づいて前記ユーザの脈波を算出し、算出した脈波を出力する
   脈波計測方法。
9. （ａ）第１表面を有する可視光受光部が、前記第１表面を介して可視光を受光し、
   （ａ−１）前記可視光受光部を含む右ハンドルの車両が上面視された場合、前記第１表面は、第１反射光の第１光路と第２反射光の第２光路との間の第１領域に位置し、前記車両の前記右ハンドルに最も近いシートに着座したユーザの左目は第１光を出射し、前記ユーザの左頬は第２光を出射し、前記車両の室内フロントミラーの右端は前記第１光を反射して前記第１反射光を出力し、前記右端は前記第２光を反射して前記第２反射光を出力し、前記右端は前記車両の室内フロントミラーの左端より、前記右ハンドルに近く、又は、
   （ａ−２）前記可視光受光部を含む左ハンドルの車両が上面視された場合、前記第１表面は、第３反射光の第３光路と第４反射光の第４光路との間の第２領域に位置し、前記車両の前記左ハンドルに最も近いシートに着座したユーザの右目は第３光を出射し、前記ユーザの右頬は第４光を出射し、前記左端は前記第３光を反射して前記第３反射光を出力し、前記左端は前記第４光を反射して前記第４反射光を出力し、前記左端は前記右端より、前記右ハンドルに近く、
   （ｂ）脈波算出部が、前記第１表面を介して前記受光した可視光の波形に基づいて前記ユーザの脈波を算出し、算出した脈波を出力する
   脈波計測方法。

Images