JP6846626B2 - 脈波計測装置および脈波計測方法 - Google Patents
脈波計測装置および脈波計測方法 Download PDFInfo
- Publication number
- JP6846626B2 JP6846626B2 JP2017102800A JP2017102800A JP6846626B2 JP 6846626 B2 JP6846626 B2 JP 6846626B2 JP 2017102800 A JP2017102800 A JP 2017102800A JP 2017102800 A JP2017102800 A JP 2017102800A JP 6846626 B2 JP6846626 B2 JP 6846626B2
- Authority
- JP
- Japan
- Prior art keywords
- infrared light
- visible light
- waveform
- lighting device
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Description
本開示は、非接触で人の脈波を計測する脈波計測装置および脈波計測方法に関する。
特許文献１には、ミリ波、可視光、赤外光等を用いて、非接触状態で心拍および睡眠深度を計測する技術が開示されている。
また、特許文献２には、撮影装置において、赤外光を被写体に照射した赤外撮影モードから通常撮影モードへの切り替えを良好に行う技術が開示されている。
しかし、特許文献１や特許文献２に開示されている技術では、更なる改善が必要とされていた。
本開示の一態様に係る脈波計測装置は、プロセッサを備える脈波計測装置であって、前記プロセッサは、前記脈波計測装置の外部に設けられた照明装置から、第１対応関係を規定する第１制御パターンを取得し、前記第１対応関係は、複数の指示それぞれに対応する前記照明装置が出力する可視光の色温度を示し、前記脈波計測装置が保持する第１色温度を示す情報に対応する第１指示を、前記第１制御パターンを参照して決定し、前記第１指示を前記照明装置に出力し、前記照明装置により前記第１指示に対応した色温度を有する可視光を照射されたユーザを可視光領域において撮像して複数の第１可視光画像を取得し、前記複数の第１可視光画像から第１の複数の色相を演算し、前記第１の複数の色相から第１色相波形を抽出し、前記第１色相波形の振幅が所定の色相範囲に属さない場合、前記第１色温度と異なる第２色温度に対応する第２指示を、前記第１制御パターンを参照して決定し、前記第２指示を前記照明装置に出力し、前記照明装置により前記第２指示に対応した色温度を有する可視光を照射された前記ユーザを前記可視光領域において撮像して複数の第２可視光画像を取得し、前記複数の第２可視光画像から第２の複数の色相を演算し、前記第２の複数の色相から第２色相波形を抽出し、前記第２色相波形の振幅が前記所定の色相範囲に属する場合、第１処理行い、前記第１処理は、赤外光光源により赤外光を照射された前記ユーザを赤外光領域において撮像することにより得られた複数の第１赤外光画像を取得し、取得した前記複数の第２可視光画像から、前記ユーザの脈波を示す波形である第１可視光波形を抽出し、取得した前記複数の第１赤外光画像から、前記ユーザの脈波を示す波形である第１赤外光波形を抽出し、抽出した前記第１可視光波形と、抽出した前記第１赤外光波形との間の相関度を演算し、前記相関度に応じて、前記赤外光光源が発する赤外光の光量を制御する赤外光制御信号を前記赤外光光源に出力し、前記相関度に応じて、前記照明装置が発する可視光の光量を制御する可視光制御信号を前記照明装置に出力し、前記照明装置により前記可視光制御信号に基づく可視光を照射されたユーザを可視光領域において撮像することにより得られた複数の第３可視光画像を取得し、赤外光光源により前記赤外光制御信号に基づく赤外光を照射された前記ユーザを赤外光領域において撮像することにより得られた複数の第２赤外光画像を取得し、取得した前記複数の第３可視光画像から、前記ユーザの脈波を示す波形である第２可視光波形を抽出し、取得した前記複数の第２赤外光画像から、前記ユーザの脈波を示す波形である第２赤外光波形を抽出し、前記第２可視光波形の特徴量および前記第２赤外光波形の特徴量の少なくとも一方から、第１生体情報を算出し、算出した前記第１生体情報を出力することを含む。
なお、この包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性の記録媒体を含む。
本開示によれば、更なる改善を実現することができる。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。
（本開示の基礎となった知見）
本発明者は、「背景技術」の欄において記載した技術に関し、以下の問題が生じることを見出した。
本発明者は、「背景技術」の欄において記載した技術に関し、以下の問題が生じることを見出した。
特許文献１では、暗室で脈波を取得する場合において赤外光源の光量の調整について開示されていないため、暗室かつ非接触による心拍や脈波の計測が難しいという問題がある。
また、特許文献２では、可視光の輝度と赤外光の輝度との比を用いてモードの切り替えを用いているが、暗室における脈波計測に当該モードの切り替えを適用した場合、輝度の比による切り替えでは、容易に脈波を計測できないという問題がある。
そこで、本開示は、暗室において精度よく脈波計測が可能な脈波計測装置等を提供する。
本開示の一態様に係る脈波計測装置は、プロセッサを備える脈波計測装置であって、前記プロセッサは、前記脈波計測装置の外部に設けられた照明装置から、第１対応関係を規定する第１制御パターンを取得し、前記第１対応関係は、複数の指示それぞれに対応する前記照明装置が出力する可視光の色温度を示し、前記脈波計測装置が保持する第１色温度を示す情報に対応する第１指示を、前記第１制御パターンを参照して決定し、前記第１指示を前記照明装置に出力し、前記照明装置により前記第１指示に対応した色温度を有する可視光を照射されたユーザを可視光領域において撮像して複数の第１可視光画像を取得し、前記複数の第１可視光画像から第１の複数の色相を演算し、前記第１の複数の色相から第１色相波形を抽出し、前記第１色相波形の振幅が所定の色相範囲に属さない場合、前記第１色温度と異なる第２色温度に対応する第２指示を、前記第１制御パターンを参照して決定し、前記第２指示を前記照明装置に出力し、前記照明装置により前記第２指示に対応した色温度を有する可視光を照射された前記ユーザを前記可視光領域において撮像して複数の第２可視光画像を取得し、前記複数の第２可視光画像から第２の複数の色相を演算し、前記第２の複数の色相から第２色相波形を抽出し、前記第２色相波形の振幅が前記所定の色相範囲に属する場合、第１処理行い、前記第１処理は、赤外光光源により赤外光を照射された前記ユーザを赤外光領域において撮像することにより得られた複数の第１赤外光画像を取得し、取得した前記複数の第２可視光画像から、前記ユーザの脈波を示す波形である第１可視光波形を抽出し、取得した前記複数の第１赤外光画像から、前記ユーザの脈波を示す波形である第１赤外光波形を抽出し、抽出した前記第１可視光波形と、抽出した前記第１赤外光波形との間の相関度を演算し、前記相関度に応じて、前記赤外光光源が発する赤外光の光量を制御する赤外光制御信号を前記赤外光光源に出力し、前記相関度に応じて、前記照明装置が発する可視光の光量を制御する可視光制御信号を前記照明装置に出力し、前記照明装置により前記可視光制御信号に基づく可視光を照射されたユーザを可視光領域において撮像することにより得られた複数の第３可視光画像を取得し、赤外光光源により前記赤外光制御信号に基づく赤外光を照射された前記ユーザを赤外光領域において撮像することにより得られた複数の第２赤外光画像を取得し、取得した前記複数の第３可視光画像から、前記ユーザの脈波を示す波形である第２可視光波形を抽出し、取得した前記複数の第２赤外光画像から、前記ユーザの脈波を示す波形である第２赤外光波形を抽出し、前記第２可視光波形の特徴量および前記第２赤外光波形の特徴量の少なくとも一方から、第１生体情報を算出し、算出した前記第１生体情報を出力することを含む。
これによれば、複数の第１可視光画像から得られる色相波形の振幅が所定の色相範囲に属するように、外部に設けられた照明装置の色温度を調整し、照明装置の色温度を調整した後において得られる複数の第２可視光画像および複数の第１赤外光画像からユーザの脈波を抽出する。このため、輝度変化によるノイズの影響をほとんど受けていない明瞭な第１色相波形および第２色相波形を得ることができる。
また、これによれば、複数の第２可視光画像から得られた第１可視光波形と、複数の第１赤外光画像から得られた第１赤外光波形との相関度を演算し、相関度に応じて照明装置の光量および赤外光光源が発する赤外光の光量を制御する。このため、例えば市販の照明装置を利用した場合であっても、可視光の光量の調整と赤外光光量の調整とを適切に行うことができ、精度よく生体情報を算出できる。
また、前記所定の色相範囲は、色相が０度以上６０度以下の範囲であってもよい。また、前記所定の色相範囲は、色相が３０度を基準とする色相範囲であってもよい。
このように、ユーザの肌表面の色みを白から赤っぽく、特に、色相Ｈの値が例えば３０度付近になるように、照明装置の色温度を変更することで、より体動や環境ノイズに対して、ロバストに第１色相波形および第２色相波形を取得することができる。このため、輝度変化によるノイズの影響をほとんど受けていない明瞭な第１色相波形および第２色相波形を得ることができる。
また、前記プロセッサは、前記相関度の演算において、（１）複数の第１単位波形に含まれる複数の第１単位時間における複数の第１ピーク点を抽出し、前記複数の第１ピーク点は、前記複数の第１単位波形に含まれる複数の第１の最大値点または前記複数の第１単位波形に含まれる複数の第１の最小値点であり、前記第１可視光波形は前記複数の第１単位波形を含み、前記複数の第１の最大値点と前記複数の第１単位波形とはそれぞれ対応し、前記複数の第１の最小値点と前記複数の第１単位波形とはそれぞれ対応し、前記複数の第１単位波形と前記複数の第１単位時間とはそれぞれ対応し、（２）複数の第２単位波形に含まれる複数の第２単位時間における複数の第２ピーク点を抽出し、前記複数の第２ピーク点は、前記複数の第２単位波形に含まれる複数の第２の最大値点または前記複数の第２単位波形に含まれる複数の第２の最小値点であり、前記第１赤外光波形は前記複数の第２単位波形を含み、前記複数の第２の最大値点と前記複数の第２単位波形とはそれぞれ対応し、前記複数の第２の最小値点と前記複数の第２単位波形とはそれぞれ対応し、前記複数の第２単位波形と前記複数の第２単位時間とはそれぞれ対応し、（３）前記複数の第１単位時間に基づいて複数の第１心拍間隔時間を算出し、前記複数の第１心拍間隔時間は第１時間と第２時間との間の時間であり、前記複数の第１単位時間は前記第１時間と前記第２時間とを含み、前記複数の第１単位時間に含まれる時間は前記第１時間と前記第２時間との間には存在せず、（４）前記複数の第２単位時間に基づいて複数の第２心拍間隔時間を算出し、前記複数の第２心拍間隔時間は第３時間と第４時間との間の時間であり、前記複数の第２単位時間は前記第３時間と前記第４時間とを含み、前記複数の第２単位時間に含まれる時間は前記第３時間と前記第４時間との間には存在せず、以下の（式１）を用いて、前記相関度を演算してもよい。
このため、第１可視光波形と第１赤外光波形との間の相関度を算出することができる。
また、前記プロセッサは、前記第１可視光波形の特徴量および前記第１赤外光波形の特徴量の少なくとも一方から、第２生体情報を算出し、算出した前記第２生体情報を出力してもよい。
このため、可視光または赤外光の光量の調整前に取得された、第１可視光波形の特徴量および第１赤外光波形の特徴量の少なくとも一方から、第２生体情報を算出し、算出した第２生体情報を出力することができる。
また、前記プロセッサは、前記照明装置が、さらに、オンオフの一段階で光量を調整する第２制御パターンにより調光される装置である場合、前記赤外光制御信号の出力において、前記赤外光光源が発する赤外光の光量を予め定められた第１変化量だけ大きくする制御信号を、前記赤外光制御信号として前記赤外光光源に出力し、前記可視光制御信号の出力において、前記照明装置をオフにする制御信号を、前記可視光制御信号として前記照明装置に出力してもよい。
このため、照明装置が一段階で光量を調整する照明装置であっても、適切に可視光の光量の調整と赤外光の光量の調整とを行うことができる。
また、前記プロセッサは、前記照明装置が、さらに、第１可視光光量と、前記第１可視光光量よりも小さい第２可視光光量との二段階で光量を調整する第３制御パターンにより調光される装置である場合、前記赤外光制御信号の出力において、前記赤外光光源が発する赤外光の光量を第１赤外光光量から予め定められた第２変化量だけ大きくした第２赤外光光量に制御する制御信号を、前記赤外光制御信号として前記赤外光光源に出力し、前記照明装置を前記第１可視光光量から前記第２可視光光量に変化させる制御信号を、前記可視光制御信号として前記照明装置に出力し、前記第１および第２赤外光画像から得られる赤外光の輝度変化と、前記第２および第３可視光画像から得られる可視光の輝度変化とに応じて、前記赤外光の光量における第３変化量を決定し、前記第２赤外光光量から、決定した前記第３変化量だけ大きくした第３赤外光光量に制御する制御信号を、前記赤外光制御信号として前記赤外光光源に出力し、前記照明装置をオフにする二段階目の制御信号を、前記可視光制御信号として前記照明装置に出力してもよい。
これによれば、脈波計測装置は、照明装置が二段階で光量を調整する照明装置である場合、一段階目の調光において可視光の輝度の減少量を取得し、取得した減少量に応じて、赤外光光源の光量を増加させることで、より効果的に、赤外光波形を取得することができる。
また、前記プロセッサは、前記照明装置が、さらに、無段階で光量を調整する第４制御パターンにより調光される装置である場合において、演算した前記相関度が所定の閾値以上の場合、前記赤外光制御信号の出力において、前記赤外光光源における赤外光の光量を増加させる制御信号を前記赤外光制御信号として前記赤外光光源に出力し、前記可視光制御信号の出力において、前記照明装置における可視光の光量を減少させる制御信号を前記可視光制御信号として前記照明装置に出力し、前記第３可視光画像の取得、前記第２可視光波形の抽出、前記第２赤外光画像の取得、および、前記第２赤外光波形の抽出の後にさらに、前記相関度の演算を繰り返し行い、前記照明装置の光量が第２の閾値以下となり、かつ、繰り返し行われた前記相関度の演算の結果、前記相関度が前記所定の閾値以上となった場合に、前記照明装置をオフにする制御信号を、前記可視光制御信号として前記照明装置に出力してもよい。
これによれば、可視光をオフにするまで線形に減少させる場合と比較して、より早くオフにすることができ、快適な睡眠への導入を行うことができる。
また、前記プロセッサは、前記照明装置が、無段階で光量を調整する第４制御パターンにより調光される装置である場合において、（ｉ）演算した前記相関度が所定の閾値以上の場合、前記赤外光制御信号の出力において、前記赤外光光源における赤外光の光量を第１速度で増加させる制御信号を前記赤外光制御信号として前記赤外光光源に出力し、前記可視光制御信号の出力において、前記照明装置における可視光の光量を第２速度で減少させる制御信号を前記可視光制御信号として前記照明装置に出力し、前記第３可視光画像の取得、前記第２可視光波形の抽出、前記第２赤外光画像の取得、および、前記第２赤外光波形の抽出の後にさらに、前記相関度の演算を繰り返し行う通常処理と、（ｉｉ）演算した前記相関度が所定の閾値以上の場合、前記赤外光制御信号の出力において、前記赤外光光源における赤外光の光量を前記第１速度よりも２倍以上速い第３速度で増加させる制御信号を前記赤外光制御信号として前記赤外光光源に出力し、前記可視光制御信号の出力において、前記照明装置における可視光の光量を前記第２速度よりも２倍以上速い第４速度で減少させる制御信号を前記可視光制御信号として前記照明装置に出力し、前記第３可視光画像の取得、前記第２可視光波形の抽出、前記第２赤外光画像の取得、および、前記第２赤外光波形の抽出の後にさらに、前記相関度の演算を繰り返し行う短時間処理と、のいずれかの処理を実行してもよい。
このため、切り替え制御にかかる時間を短縮することができる。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
（実施の形態）
本実施の形態において、ユーザの可視光画像および赤外光画像のそれぞれからユーザの脈波を取得し、取得した２つの脈波の特徴量の相関度に基づいて、光源を制御する脈波計測装置について説明する。
本実施の形態において、ユーザの可視光画像および赤外光画像のそれぞれからユーザの脈波を取得し、取得した２つの脈波の特徴量の相関度に基づいて、光源を制御する脈波計測装置について説明する。
［１−１．構成］
［１−１−１．脈波計測システム］
本実施の形態に係る脈波計測システムの構成について説明する。
［１−１−１．脈波計測システム］
本実施の形態に係る脈波計測システムの構成について説明する。
図１は、本実施の形態における脈波計測システム１がユーザＵに利用される様子を示す模式図である。図２は、脈波計測装置１０のハードウェア構成の一例を示すブロック図である。
脈波計測システム１は、脈波計測装置１０と、照明装置３０とにより構成される。脈波計測システム１は、さらに、携帯端末２００により構成されてもよい。脈波計測装置１０と、照明装置３０と、携帯端末２００とは、互いに通信可能に接続されている。
脈波計測装置１０は、可視光カメラ２２と、赤外光ＬＥＤ２３と、赤外光カメラ２４と、脈波演算装置１００とを備える。なお、脈波計測装置１０は、脈波演算装置１００を備える構成であってもよい。
脈波計測装置１０は、図２に示すように、筐体２０を有し、筐体２０のうち光を照射する側の面（例えば下面）に図２に示す各構成要素が配置されている。具体的には、脈波計測装置１０には、例えば、筐体２０の上部の側面に、可視光カメラ２２、赤外光ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）２３および赤外光カメラ２４が並んで配置されている。また、脈波計測装置１０は、可視光カメラ２２および赤外光カメラ２４により撮像された画像を用いて、ユーザの脈波を取得し、取得した２つの脈波の相関度に基づいて、照明装置３０および赤外光ＬＥＤ２３の光量の制御を行う脈波演算装置１００を備える。
可視光カメラ２２は、可視光線を撮像するカメラである。可視光カメラ２２は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｉｍａｇｅ
Ｓｅｎｓｏｒ）などのイメージセンサを備えるカメラである。可視光カメラ２２は、イメージセンサに対し、ＲＧＢのカラーフィルタを適用することで、可視光、すなわち、４００〜８００ｎｍの波長域に存在する光を、当該イメージセンサにＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）の３種類の信号として取得させる。
Ｓｅｎｓｏｒ）などのイメージセンサを備えるカメラである。可視光カメラ２２は、イメージセンサに対し、ＲＧＢのカラーフィルタを適用することで、可視光、すなわち、４００〜８００ｎｍの波長域に存在する光を、当該イメージセンサにＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）の３種類の信号として取得させる。
赤外光ＬＥＤ２３は、赤外線を照射する光源である。赤外線は、赤外光領域（例えば、８００〜２５００ｎｍ）の波長域の光である。赤外光ＬＥＤ２３は、複数の砲弾型のＬＥＤにより構成されてもよいし、複数の表面実装型（ＳＭＤ：Ｓｕｒｆａｃｅ Ｍｏｕｎｔ
Ｄｅｖｉｃｅ）のＬＥＤにより構成されてもよいし、ＣＯＢ（Ｃｈｉｐ Ｏｎ Ｂｏａｒｄ）型のＬＥＤにより構成されてもよい。なお、赤外光ＬＥＤ２３は、複数のＬＥＤにより構成されていてもよい。
Ｄｅｖｉｃｅ）のＬＥＤにより構成されてもよいし、ＣＯＢ（Ｃｈｉｐ Ｏｎ Ｂｏａｒｄ）型のＬＥＤにより構成されてもよい。なお、赤外光ＬＥＤ２３は、複数のＬＥＤにより構成されていてもよい。
赤外光カメラ２４は、赤外線を撮像するカメラである。赤外光カメラ２４は、可視光領域の一部を含む波長領域（例えば、７００ｎｍ〜９００ｎｍ）の電磁波を撮像するカメラであってもよい。赤外光カメラ２４は、赤外光ＬＥＤ２３に隣接する位置に配置されている。赤外光カメラ２４は、可視光カメラ２２とは異なるフィルタを備えることで、赤外光、すなわち、８００ｎｍ以上の波長域に存在する光を、当該イメージセンサにモノクロの１種類の信号として取得させる。
脈波演算装置１００は、筐体２０の内部に配置されている。脈波演算装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、メインメモリ１０２、ストレージ１０３および通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）１０４を備える。
ＣＰＵ１０１は、ストレージ１０３などに記憶された制御プログラムを実行するプロセッサである。
メインメモリ１０２は、ＣＰＵ１０１が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域（主記憶装置）である。
ストレージ１０３は、制御プログラム、各種データなどを保持する不揮発性の記憶領域（補助記憶装置）である。
通信ＩＦ１０４は、ネットワークを介して他の機器との間でデータを送受信する通信インタフェースである。具体的には、通信ＩＦ１０４は、照明装置３０、可視光カメラ２２、赤外光ＬＥＤ２３および赤外光カメラ２４に、これらの機器を制御するための制御信号を出力する。また、通信ＩＦ１０４は、可視光カメラ２２および赤外光カメラ２４のそれぞれにおいて撮像された撮像データを取得する。
また、通信ＩＦ１０４は、照明装置３０に制御信号を送信する通信インタフェースであってもよい。具体的には、通信ＩＦ１０４は、赤外線によって制御信号を照明装置３０に送信する通信インタフェースであってもよい。
また、通信ＩＦ１０４は、携帯端末２００と通信接続できる通信インタフェースであってもよい。具体的には、通信ＩＦ１０４は、ＩＥＥＥ８０２．１１ａ、ｂ、ｇ、ｎ規格に適合した無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）インタフェースであってもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格に適合した無線通信インタフェースであってもよい。
［１−１−２．照明装置］
照明装置３０のハードウェア構成について図３を用いて説明する。
照明装置３０のハードウェア構成について図３を用いて説明する。
図３は、実施の形態に係る照明装置３０のハードウェア構成の一例を示すブロック図である。
照明装置３０は、可視光線を照射する光源であり、可視光ＬＥＤ３１と、コントローラ３２とを備える。照明装置３０は、リモコンなどにより送信される所定の制御信号を受信し、当該所定の制御信号に応じた光量の光を照射する装置である。照明装置３０は、例えば、市販されているシーリングライト、ペンダントライト、ブラケットライト、スタンドライト、フットライト、スポットライト、ダウンライトなどの照明器具であってもよいし、リモコンからの制御信号を受け付けることができるように構成されたＬＥＤ電球、直管形ＬＥＤランプ、丸形（環形）ＬＥＤランプなどの装置であってもよい。
可視光ＬＥＤ３１は、例えば白色ＬＥＤである。可視光線は、可視光領域（例えば、４００〜８００ｎｍ）の波長域の光である。可視光ＬＥＤ３１は、例えば、筐体の下面に円環状に配置されている。なお、可視光ＬＥＤ３１は、複数の砲弾型のＬＥＤにより構成されてもよいし、複数の表面実装型（ＳＭＤ：Ｓｕｒｆａｃｅ Ｍｏｕｎｔ Ｄｅｖｉｃｅ）のＬＥＤにより構成されてもよいし、ＣＯＢ（Ｃｈｉｐ Ｏｎ Ｂｏａｒｄ）型のＬＥＤにより構成されてもよい。また、可視光ＬＥＤ３１は、円環状に配置されていなくてもよい。なお、照明装置は、可視光ＬＥＤ３１の代わりに蛍光灯、電球形蛍光灯、電球などを光源として有する構成の装置であってもよい。
コントローラ３２は、所定のリモコン、脈波計測装置１０または携帯端末２００により送信された制御信号を受信し、受信した制御信号に応じて可視光ＬＥＤ３１の光量を調整する。コントローラ３２は、例えば、マイクロコントローラおよび通信モジュールなどにより実現される。通信モジュールは、赤外線による制御信号を受信してもよいし、無線ＬＡＮによる制御信号を受信してもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）による制御信号を受信してもよい。
［１−１−３．携帯端末］
携帯端末２００のハードウェア構成について図４を用いて説明する。
携帯端末２００のハードウェア構成について図４を用いて説明する。
図４は、実施の形態１に係る携帯端末のハードウェア構成の一例を示すブロック図である。
図４に示すように、携帯端末２００は、ＣＰＵ２０１と、メインメモリ２０２と、ストレージ２０３と、ディスプレイ２０４と、通信ＩＦ２０５と、入力ＩＦ２０６とを備える。携帯端末２００は、例えば、スマートフォン、タブレット端末などの通信可能な情報端末である。
ＣＰＵ２０１は、ストレージ２０３などに記憶された制御プログラムを実行するプロセッサである。
メインメモリ２０２は、ＣＰＵ２０１が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域（主記憶装置）である。
ストレージ２０３は、制御プログラム、各種データなどを保持する不揮発性の記憶領域（補助記憶装置）である。
ディスプレイ２０４は、ＣＰＵ２０１での処理結果を表示する表示装置である。ディスプレイ２０４は、例えば、液晶ディスプレイ、有機ＥＬディスプレイである。
通信ＩＦ２０５は、脈波計測装置１０と通信する通信インタフェースである。通信ＩＦ２０５は、例えば、ＩＥＥＥ８０２．１１ａ、ｂ、ｇ、ｎ規格に適合した無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）インタフェースであってもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格に適合した無線通信インタフェースであってもよい。また、通信ＩＦ２０５は、第３世代移動通信システム（３Ｇ）、第４世代移動通信システム（４Ｇ）、または、ＬＴＥ（登録商標）などのような移動通信システムで利用される通信規格に適合した無線通信インタフェースであってもよい。
入力ＩＦ２０６は、例えば、ディスプレイ２０４の表面に配置され、ディスプレイ２０４に表示されるＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）へのユーザからの入力を受け付けるタッチパネルである。入力ＩＦ２０６は、例えば、テンキーまたはキーボードなどの入力装置であってもよい。
図５および図６は、脈波計測装置１０の使用例を説明するための図である。
携帯端末２００は、例えば、図５に示すように、脈波計測装置１０を操作するためのＵＩをディスプレイ２０４に表示してもよい。また、携帯端末２００は、当該ＵＩへの入力に応じて、制御信号を脈波計測装置１０に送信してもよい。
脈波計測システム１では、ユーザが照明装置３０や赤外光ＬＥＤ２３のＯＮ／ＯＦＦを切り替える手段として携帯端末２００を利用できる。例えば、脈波計測装置１０を制御するためのリモコンアプリを携帯端末２００において起動することで、当該携帯端末２００を脈波計測装置１０および照明装置３０のリモコンとして使用できる。図５の（ａ）に示すように、ユーザは「照明ＯＮ」を選択することで、照明装置３０をＯＮにすることができる。
図６の（ａ）は、照明装置３０がＯＮであるときのイメージ例である。また、ユーザが「赤外ＯＮ」を選択すると、照明装置３０がＯＮであるか、ＯＦＦであるかに関わらず、赤外光光源をＯＮにすることができる。例えば、図６の（ｂ）は、照明装置３０がＯＦＦであるが、赤外光ＬＥＤ２３がＯＮである状態を示す。赤外光照明の場合、ユーザはまぶしくないため、通常通り睡眠を行うことができるという特徴がある。さらに、ユーザが「ＯＦＦ」を選択すると、照明装置３０も赤外光ＬＥＤ２３もＯＦＦとなり、ユーザにはどの光も照射されなくなる。
そして、図５の（ｂ）に示すＵＩにおいて、ユーザが「通常モード」を選択した際は、照明装置３０がＯＮ、かつ、赤外光ＬＥＤ２３がＯＦＦの状態から、徐々に照明装置３０の光量を減少させてＯＦＦにしていき、かつ、赤外光ＬＥＤ２３をＯＮにして光量を徐々に上げていくことで、最適な赤外光ＬＥＤ２３の光量を決め、ユーザが睡眠中であっても脈波を取得できるようになる。
また、ユーザが「時短モード」を選択した際は、ユーザが「通常モード」を選択した差異よりも、照明装置３０の光量を減少させる速度を２倍以上速くし、赤外光ＬＥＤ２３の光量を増加させる速度を２倍以上速くする。これにより、通常モードの場合よりも、照明装置３０がＯＮとなっている期間を短くすることができる。時短モードの詳細な説明については、後述する。
［１−２．機能構成］
次に、脈波計測装置１０の機能構成について図７を用いて説明する。
次に、脈波計測装置１０の機能構成について図７を用いて説明する。
図７は、本実施の形態における脈波計測装置の機能構成の一例を示すブロック図である。
図７に示すように、脈波計測装置１０は、可視光撮像部１２２と、赤外光光源１２３と、赤外光撮像部１２４と、脈波演算装置１００とを備える。
可視光撮像部１２２は、照明装置３０により可視光が照射された照射対象を可視光領域において撮像する。可視光撮像部１２２は、具体的には、照射対象としてユーザの肌を可視光領域（例えば、カラー）で撮像することにより得られた可視光画像を脈波演算装置１００の可視光波形演算部１１１に出力する。可視光撮像部１２２は、例えば、人の顔または手を含む肌を撮像することにより得られた肌画像を可視光画像として出力する。可視光撮像部１２２は、例えば、複数の異なるタイミングで撮像した複数の可視光画像を可視光波形演算部１１１に出力する。肌画像は、人の顔または手を含む肌のうちの同一の箇所を時間的に連続する複数のタイミングで撮像された画像であり、例えば、動画または複数枚の静止画で構成される。可視光撮像部１２２は、例えば、可視光カメラ２２により実現される。
赤外光光源１２３は、ユーザに対して赤外光を照射し、その照射する光量は、脈波演算装置１００の光源制御部１１５によって調整される。赤外光光源１２３は、例えば、赤外光ＬＥＤ２３により実現される。
赤外光撮像部１２４は、赤外光光源１２３により赤外光が照射された照射対象を赤外光領域において撮像する。赤外光撮像部１２４は、具体的には、照射対象としてユーザの肌を赤外光領域（例えば、モノクロ）で撮像することにより得られた赤外光画像を脈波演算装置１００の赤外光波形演算部１１２に出力する。赤外光撮像部１２４は、例えば、複数の異なるタイミングで撮像した複数の赤外光画像を赤外光波形演算部１１２に出力する。赤外光撮像部１２４は、可視光撮像部１２２で撮像する部位と同じ部位を撮像する。赤外光撮像部１２４は、例えば、人の顔または手を含む肌を撮像することにより得られた肌画像を赤外光画像として出力する。これは、赤外光撮像部１２４においても可視光撮像部１２２が撮像した部位と同じ部位を撮像することで、可視光領域と赤外光領域とにおいて、同様の脈波を取得することができ、特徴量を比較しやすいからである。
なお、同じ部位の撮像方法としては、可視光撮像部１２２と赤外光撮像部１２４とで同じ大きさの関心領域（ＲＯＩ）を設定する。そして、可視光撮像部１２２と赤外光撮像部１２４とで撮像された当該ＲＯＩ内の画像について、例えば、パターン認識を用いて比較することで、同じ部位を撮像しているか否かを判断してもよい。また、可視光撮像部１２２により得られた可視光画像と、赤外光撮像部１２４により得られた赤外光画像とのそれぞれにおいて顔認識を行い、目、鼻、口などにおける特徴点の座標と大きさを取得し、目、鼻、口などの大きさの比を考慮して、目、鼻、口などの特徴点からの座標（相対的な位置）を演算することで同じ部位を特定してもよい。
赤外光撮像部１２４により得られる肌画像は、可視光撮像部１２２により得られる肌画像と同様に、人の顔または手を含む肌のうちの同一の箇所を時間的に連続する複数のタイミングで撮像された画像であり、例えば、動画または複数枚の静止画で構成される。赤外光撮像部１２４は、例えば、赤外光カメラ２４により実現される。
脈波演算装置１００は、可視光波形演算部１１１と、赤外光波形演算部１１２と、相関度演算部１１３と、制御パターン取得部１１４と、光源制御部１１５と、生体情報算出部１１６とを備える。以下、脈波演算装置１００の各構成要素について順に説明する。
（可視光波形演算部）
可視光波形演算部１１１は、可視光撮像部１２２から可視光画像を取得し、取得した可視光画像からユーザの脈波を示す波形である可視光波形を抽出する。可視光波形演算部１１１は、照明装置３０の光量の制御が行われる前において取得した第１可視光画像から、第１可視光波形を抽出する。また、可視光波形演算部１１１は、照明装置３０の光量の制御が行われた後において取得した第２可視光画像から、第２可視光波形を抽出する。なお、照明装置３０の光量の制御が行われるとは、後述する光源制御部１１５により、照明装置３０における可視光の光量を減少させる可視光制御信号、または、照明装置３０における可視光の光量を増加させる可視光制御信号が照明装置３０に出力されることを指す。このように、可視光撮像部１２２から取得される複数の可視光画像には、照明装置３０の光量の制御が行われる前において取得される第１可視光画像と、照明装置３０の光量の制御が行われた後において取得される第２可視光画像とが含まれる。また、複数の可視光画像から抽出される可視光波形には、第１可視光画像から抽出される第１可視光波形と、第２可視光画像から抽出される第２可視光波形とが含まれる。
可視光波形演算部１１１は、可視光撮像部１２２から可視光画像を取得し、取得した可視光画像からユーザの脈波を示す波形である可視光波形を抽出する。可視光波形演算部１１１は、照明装置３０の光量の制御が行われる前において取得した第１可視光画像から、第１可視光波形を抽出する。また、可視光波形演算部１１１は、照明装置３０の光量の制御が行われた後において取得した第２可視光画像から、第２可視光波形を抽出する。なお、照明装置３０の光量の制御が行われるとは、後述する光源制御部１１５により、照明装置３０における可視光の光量を減少させる可視光制御信号、または、照明装置３０における可視光の光量を増加させる可視光制御信号が照明装置３０に出力されることを指す。このように、可視光撮像部１２２から取得される複数の可視光画像には、照明装置３０の光量の制御が行われる前において取得される第１可視光画像と、照明装置３０の光量の制御が行われた後において取得される第２可視光画像とが含まれる。また、複数の可視光画像から抽出される可視光波形には、第１可視光画像から抽出される第１可視光波形と、第２可視光画像から抽出される第２可視光波形とが含まれる。
可視光波形演算部１１１は、抽出した第１可視光波形における所定の特徴点である第１特徴点を複数抽出してもよい。具体的には、可視光波形演算部１１１は、第１可視光波形を脈波の周期である脈波周期単位の複数の第１単位波形に分割したとき、複数の第１単位波形のそれぞれについて、当該第１単位波形における最大値である第１頂点、および、当該第１単位波形における最小値である第１底点の一方である第１ピーク点を抽出することで、第１可視光波形から複数の第１ピーク点を抽出する。なお、第１ピーク点は、第１特徴点の一例である。
可視光波形演算部１１１は、可視光波形の特徴点として、脈波のタイミングを取得し、隣り合う脈波のタイミングから心拍間隔時間を演算する。つまり、可視光波形演算部１１１は、抽出した複数の第１特徴点のそれぞれについて、当該第１特徴点に隣接する他の第１特徴点との間の時間を第１心拍間隔時間として算出する。例えば、可視光波形演算部１１１は、抽出した複数の第１ピーク点のそれぞれについて、当該第１ピーク点での第１時刻と、当該第１ピーク点に時系列で隣接する他の第１ピーク点での第２時刻との間の時間間隔である第１心拍間隔時間を算出することで、複数の前記第１心拍間隔時間を算出する。
具体的には、可視光波形演算部１１１は、撮像されたタイミングがそれぞれ対応づけられた複数の可視光画像から抽出される輝度の時間変化に基づいて、可視光波形を抽出する。つまり、可視光撮像部１２２から取得される複数の可視光画像のそれぞれは、可視光撮像部１２２において当該可視光画像が撮像された時刻（ｔｉｍｅ ｐｏｉｎｔ）と対応づけられている。可視光波形演算部１１１は、可視光波形の所定の特徴点の間隔を取得することで、ユーザの脈波のタイミング（以下、脈波タイミングともいう）を取得する。そして、可視光波形演算部１１１は、得られた複数の脈波タイミングのそれぞれについて、当該脈波タイミングと一つ後の脈波タイミングとの間隔を心拍間隔時間として算出する。
また、可視光波形演算部１１１は、抽出した第２可視光波形における所定の特徴点である第３特徴点を複数抽出してもよい。具体的には、可視光波形演算部１１１は、第２可視光波形を脈波周期単位の複数の第３単位波形に分割したとき、複数の第３単位波形のそれぞれについて、当該第３単位波形における最大値である第３頂点、および、当該第３単位波形における最小値である第３底点の一方である第３ピーク点を抽出することで、第２可視光波形から複数の前記第３ピーク点を抽出してもよい。なお、第３ピーク点は、第３特徴点の一例である。
可視光波形演算部１１１は、抽出した複数の第３ピーク点のそれぞれについて、当該第３ピーク点での第５時刻と、当該第３ピーク点に時系列で隣接する他の第３ピーク点での第６時刻との間の時間間隔である第３心拍間隔時間を算出することで、複数の前記第３心拍間隔時間を算出してもよい。
例えば、可視光波形演算部１１１は、抽出した可視光波形を用いて、最も輝度の変化の大きいタイミングを特定し、特定したタイミングを脈波タイミングとして特定する。または、可視光波形演算部１１１は、予め保持している顔または手のパターンを用いて、複数の可視光画像における顔または手の位置を特定し、特定した位置の輝度の時間的な変化を用いて可視光波形を特定する。可視光波形演算部１１１は、特定した可視光波形を用いて、脈波タイミングを算出する。ここで、脈波タイミングとは、輝度の時間波形、すなわち脈波の時間波形における所定の特徴点における時刻である。所定の特徴点は、例えば、輝度の時間波形におけるピーク位置（頂点または底点の時刻）である。ピーク位置は、例えば、山登り法、自己相関法、および微分関数を用いた方法を含む公知の局所探索法を用いて、特定できる。可視光波形演算部１１１は、例えば、ＣＰＵ１０１、メインメモリ１０２およびストレージ１０３などにより実現される。
一般に、脈波は、心臓の拍動に伴い末梢血管系内の血圧または体積の変化である。つまり、脈波は、心臓が収縮することにより、心臓から血液が送り出され、顔または手などに到達したとき血管の体積の変化である。このように、顔または手などにおける血管の体積が変化すると、血管を通過する血液の量が変化することとなり、ヘモグロビンなどの血液中の成分の量に依存して肌の色が変化する。このため、撮像した画像における顔または手の輝度は、脈波に応じて変化する。つまり、顔または手を複数のタイミングで撮像した画像から得られる顔または手の輝度の時間変化を用いれば、血液の移動に関する情報を取得できる。このように、可視光波形演算部１１１は、時系列で撮像した複数の画像から血液の移動に関する情報を演算することで、脈波タイミングを取得する。
可視光領域における脈波タイミングの取得では、可視光画像中の緑色の波長域の輝度が撮像された画像が用いられてもよい。可視光領域において撮像された画像において、緑色近辺の波長域の輝度に、脈波による変化が大きく現れるためである。複数の画素を含む可視光画像において、多くの血液が流入している状態の顔または手に相当する画素の緑色の波長域における輝度は、少ない血液が流入している状態の顔または手に相当する画素の緑色の波長域の輝度と比べて小さい。
図８の（ａ）は、本実施の形態における可視光画像の輝度変化、特に緑色における輝度変化の一例を示すグラフである。具体的には、図８の（ａ）は、可視光撮像部１２２によって撮像された可視光画像におけるユーザの頬の領域の緑色成分（Ｇ）の輝度変化を示す。図８の（ａ）のグラフにおいて、横軸は時間を示し、縦軸は緑色成分（Ｇ）の輝度を示す。図８の（ａ）に示す輝度変化は、脈波に起因して輝度が周期的に変化していることがわかる。
日常環境下、すなわち可視光領域で肌が撮像される場合、照明による散乱光または様々な要因によって、可視光画像はノイズを含む。よって、可視光波形演算部１１１は、可視光撮像部１２２から取得した可視光画像にフィルタ等による信号処理を施し、脈波に起因する肌の輝度変化を多く含む可視光画像を得てもよい。信号処理に用いるフィルタの例は、ローパスフィルタである。つまり、可視光波形演算部１１１は、本実施の形態では、ローパスフィルタを通した緑色成分（Ｇ）の輝度変化を用いて、可視光波形の抽出処理を行う。
図９の（ａ）は、本実施の形態における脈波タイミングの算出の一例を示すグラフである。図９の（ａ）のグラフにおいて、横軸は時間を示し、縦軸は輝度を示す。図９の（ａ）のグラフの時間波形おいて、時刻ｔ１〜ｔ５のそれぞれの点は、変曲点または頂点である。当該グラフの時間波形における各点は、特徴点としての、変曲点と、ピーク点（頂点および底点）とを含む。なお、頂点とは、時間波形において上に凸の極大値における点であり、底点とは、時間波形において下に凸の極小値における点である。時間波形に含まれる上記の各点において、前後の時刻の点のいずれよりも輝度が大きい点（頂点）における時刻、または、前後の時刻の点のいずれよりも輝度が小さい点（底点）の時刻が脈波タイミングである。
図９の（ａ）に示すグラフの輝度時間波形を用いて、頂点の位置を特定する方法、つまりピーク探索の方法を説明する。可視光波形演算部１１１は、当該輝度の時間波形において、現在の参照点を時刻ｔ２の点とする。可視光波形演算部１１１は、時刻ｔ２の点と、一つ前の時刻ｔ１の点とを比較し、かつ、時刻ｔ２の点と、一つ後の時刻ｔ３の点とを比較する。可視光波形演算部１１１は、参照点の輝度が、一つ前の時刻の点および一つ後の時刻の点のそれぞれの輝度よりも大きい場合、正と判定する。つまり、この場合、可視光波形演算部１１１は、参照点がピーク点（頂点）であって、その参照点の時刻が脈波タイミングであると判定する。
一方で、可視光波形演算部１１１は、参照点の輝度が、一つ前の時刻の点および一つ後の時刻の点の少なくとも一方の輝度よりも小さい場合、否と判定する。つまり、この場合、可視光波形演算部１１１は、参照点がピーク点（頂点）ではなく、その参照点の時刻が脈波タイミングではないと判定する。
図９の（ａ）において、時刻ｔ２の点の輝度は時刻ｔ１の点の輝度より大きいが、時刻ｔ２の点の輝度は時刻ｔ３の点の輝度よりは小さいため、可視光波形演算部１１１は、時刻ｔ２の点を否と判定する。次に、可視光波形演算部１１１は、参照点を一つインクリメントし、次の時刻ｔ３の点を参照点とする。時刻ｔ３の点の輝度は、時刻ｔ３の一つ前の時刻ｔ２の点および時刻ｔ３の一つ後の時刻ｔ４の点のそれぞれの輝度より大きいため、可視光波形演算部１１１は、時刻ｔ３の点を正と判定する。可視光波形演算部１１１は、正と判定した点の時刻を脈波タイミングとして相関度演算部１１３に出力する。これにより、図９の（ｂ）に示すように、白丸印の時刻が脈波タイミングとして特定される。
また、可視光波形演算部１１１は、脈波タイミングの特定において、一般的な心拍数（例えば６０ｂｐｍから１８０ｂｐｍ）の知識に基づき、心拍間隔時間が例えば３３３ｍｓから１０００ｍｓまでの間であることを考慮して脈波タイミングを特定してもよい。可視光波形演算部１１１は、一般的な心拍間隔時間を考慮することにより、全ての点において上述の輝度の比較を行う必要がなく、一部の点において輝度の比較を行えば、適切な脈波タイミングを特定できる。つまり、最近に取得された脈波タイミングから３３３ｍｓ以降１０００ｍｓ以前の範囲にある各点を参照点として用いて上述の輝度の比較を行えばよい。この場合、その範囲以前の点を参照点として用いた輝度の比較を行うことなく、次の脈波タイミングを特定できる。したがって、日常環境時にロバストな脈波タイミングの取得が可能となる。
可視光波形演算部１１１は、さらに、得られた隣り合う脈波タイミングの時間差を算出することで心拍間隔時間を算出する。心拍間隔時間は、時系列で変動する。このため、同一の期間において取得した赤外光波形から特定した脈波の心拍間隔時間と比較することで、可視光波形と赤外光波形の所定の特徴点における相関度の演算に利用することができる。
図１０は、時系列で取得した心拍間隔時間の例を示すグラフである。図１０のグラフにおいて、横軸は時系列に取得した心拍間隔時間に対応付けられたデータナンバーを示し、縦軸は心拍間隔時間を示す。図１０に示すように、心拍間隔時間は、時刻によって変動しているのがわかる。なお、データナンバーとは、データ（ここでは心拍間隔時間）がメモリに記憶された順番を示す。つまり、ｎ番目（ｎは自然数）に記録された心拍間隔時間に対応するデータナンバーは「ｎ」となる。
可視光波形演算部１１１は、さらに、可視光波形において、脈波タイミング直後の変曲点の時刻を抽出してもよい。具体的には、可視光波形演算部１１１は、可視光波形の輝度値の一次微分を算出することで可視光微分輝度の極小点を取得し、その極小点となる時刻を変曲点の時刻（以下、変曲点タイミングと言う）を算出する。つまり、可視光波形演算部１１１は、所定の特徴点として、頂点から底点までの間の変曲点を複数抽出してもよい。
また、可視光波形演算部１１１は、変曲点タイミングの算出においても、一般的な心拍数の知識に基づき、心拍間隔時間が例えば、３３３ｍｓから１０００ｍｓまでの間であることを考慮して変曲点タイミングを算出してもよい。これにより、可視光波形にまったく心拍とは関係のない変曲点が含まれていたとしても、当該変曲点を特定することがないため、より正確に変曲点タイミングを算出することができる。
図１１は、脈波から変曲点を抽出する方法を説明するためのグラフである。具体的には、図１１の（ａ）は、可視光画像から得られた可視光波形を示すグラフであり、図１１の（ｂ）は、図１１の（ａ）の一次微分値をプロットしたグラフである。図１１の（ａ）では、丸印がピーク点のうちの頂点を表し、Ｘ印が変曲点を表す。図１１の（ｂ）では、丸印が図１１の（ａ）における頂点に対応する点を示し、Ｘ印が図１１の（ａ）における変曲点に対応する点を示す。図１１の（ａ）のグラフにおいて、横軸は時間を示し、縦軸は輝度値を示す。また、図１１の（ｂ）のグラフにおいて、横軸は時間を示し、縦軸は、輝度値の微分係数を示す。
可視光波形の抽出では、前述のように特に緑色の光が撮像された可視光画像を用いる。この可視光波形の抽出の原理を説明する。脈波に応じて顔または手などの血管中の血液量が増減した場合、血中のヘモグロビンの量が血液量に応じて増減する。つまり、血管中の血液量の増減に応じて、緑色の波長域の光を吸収するヘモグロビンの量が増減する。このため、可視光撮像部１２２において撮像された可視光画像では、血液量の増減に応じて、血管付近の肌の色が変化することになり、可視光の特に緑色成分の輝度値が変動する。具体的には、ヘモグロビンが緑色の光を吸収するため、可視光画像における輝度値は、ヘモグロビンに吸収された分だけ減少する。
さらに、可視光波形は、底点から頂点までの勾配よりも、頂点から次の底点までの勾配の方が急であるという特徴を持つ。したがって、底点から頂点までの間では、比較的ノイズの影響を受けやすい。一方で、頂点から次の底点までの間では、勾配が急なため、ノイズの影響を受けにくい。このため、頂点から底点までの間に存在する変曲点タイミングもまた、ノイズの影響を受けにくく、比較的安定して取得しやすいという特徴をもつ。以上のことから、可視光波形演算部１１１は、頂点から底点までに存在する変曲点間の時間差を、心拍間隔時間として算出してもよい。
また、前述した可視光波形のピーク点は、変曲点の直前において微分係数が０になる部分である。具体的には、図１１の（ｂ）に示すように、変曲点であるＸ印の直前の微分係数が０となる点の時刻が図１１の（ａ）の頂点を示す丸印の時刻となっているのがわかる。この特徴を用いて、可視光波形演算部１１１は、可視光波形から取得する頂点を変曲点の直前の頂点だけに限定してもよい。
可視光波形演算部１１１は、さらに、可視光波形の頂点から底点までの傾きを算出する。可視光波形演算部１１１は、複数の第１頂点のうちの一の第１頂点と、複数の第１底点のうちの、当該一の第１頂点の時系列における直後の一の第１底点とを結ぶ第１直線の第１の傾きを算出する。可視光波形における上記傾きは、照明装置３０の輝度を調整することにより、できるだけ大きい値である方がよい。これは、傾きが大きければ大きいほど、より可視光波形における頂点の尖度が大きくなり、フィルタ処理等による脈波タイミングの時間ずれが、小さくなるからである。
図１２は、可視光波形の傾きを演算する方法を説明するための可視光波形を示すグラフである。図１２のグラフにおいて、横軸は時間を示し、縦軸は輝度値を示し、丸印は頂点を示し、三角印は底点を示す。可視光波形演算部１１１では、頂点（丸印）とその次にある底点（三角印）とを直線で結び、その直線の傾きを算出する。ここで算出した傾きは、照明装置３０における光源が発する光の光量、可視光撮像部１２２で取得するユーザの肌の部位などに応じて異なる。したがって、脈波がクリアに取得できる、例えば、心拍間隔時間が３３３ｍｓから１０００ｍｓまでの間で取得し続けられるように、照明装置３０の光量、可視光撮像部１２２におけるユーザの部位に対応するＲＯＩをそれぞれ設定し、傾き情報を記録し、赤外光の脈波における傾き情報と比較することができる。また、可視光波形演算部１１１は、初期状態、すなわち、照明装置３０がＯＮになってから、光源制御部１１５によって、照明装置３０の可視光の光量または赤外光光源１２３の赤外光の光量を変化させるまでの状態における、可視光波形における頂点から底点までの間の傾きを第１の傾きＡとしてメモリ（例えばストレージ１０３）に記録する。脈波計測装置１０は、可視光波形と赤外光波形との間の特徴点を比較しながら、徐々に照明装置３０の光量を０にしていき、赤外光光源１２３の光量を増加させていくことを特徴としている。このように、可視光の光量を徐々に減少させるため、可視光波形の頂点から底点までの傾きが最も大きくなるのは、初期状態である。
（赤外光波形演算部）
赤外光波形演算部１１２は、赤外光撮像部１２４から赤外光画像を取得し、取得した赤外光画像からユーザの脈波を示す波形である赤外光波形を抽出する。赤外光波形演算部１１２は、赤外光光源１２３の光量の制御が行われる前において取得した第１赤外光画像から、第１赤外光波形を抽出する。また、赤外光波形演算部１１２は、赤外光光源１２３の光量の制御が行われた後において取得した第２赤外光画像から、第２赤外光波形を抽出する。なお、赤外光光源１２３の光量の制御が行われるとは、後述する光源制御部１１５により、赤外光光源１２３における赤外光の光量を増加させる赤外光制御信号、または、赤外光光源１２３における赤外光の光量を減少させる赤外光制御信号が赤外光光源１２３に出力されることを指す。このように、赤外光撮像部１２４から取得される複数の赤外光画像には、赤外光光源１２３の光量の制御が行われる前において取得される第１赤外光画像と、赤外光光源１２３の光量の制御が行われた後において取得される第２赤外光画像とが含まれる。
赤外光波形演算部１１２は、赤外光撮像部１２４から赤外光画像を取得し、取得した赤外光画像からユーザの脈波を示す波形である赤外光波形を抽出する。赤外光波形演算部１１２は、赤外光光源１２３の光量の制御が行われる前において取得した第１赤外光画像から、第１赤外光波形を抽出する。また、赤外光波形演算部１１２は、赤外光光源１２３の光量の制御が行われた後において取得した第２赤外光画像から、第２赤外光波形を抽出する。なお、赤外光光源１２３の光量の制御が行われるとは、後述する光源制御部１１５により、赤外光光源１２３における赤外光の光量を増加させる赤外光制御信号、または、赤外光光源１２３における赤外光の光量を減少させる赤外光制御信号が赤外光光源１２３に出力されることを指す。このように、赤外光撮像部１２４から取得される複数の赤外光画像には、赤外光光源１２３の光量の制御が行われる前において取得される第１赤外光画像と、赤外光光源１２３の光量の制御が行われた後において取得される第２赤外光画像とが含まれる。
赤外光波形演算部１１２は、抽出した第１赤外光波形における所定の特徴点である第２特徴点を複数抽出してもよい。具体的には、赤外光波形演算部１１２は、第１赤外光波形を脈波周期単位の複数の第２単位波形に分割したとき、複数の第２単位波形のそれぞれについて、当該第２単位波形おける最大値である第２頂点、および、当該第２単位波形における最小値である第２底点の一方である第２ピーク点を抽出することで、第１赤外光波形から複数の第２ピーク点を抽出する。なお、第２ピーク点は、第２特徴点の一例である。
赤外光波形演算部１１２は、赤外光波形の特徴点として、可視光波形演算部１１１と同様に、脈波のタイミングを取得し、隣り合う脈波のタイミングから心拍間隔時間を演算する。つまり、赤外光波形演算部１１２は、抽出した複数の第２特徴点のそれぞれについて、当該第２特徴点に隣接する他の第２特徴点との間の時間を第２心拍間隔時間として算出する。具体的には、赤外光波形演算部１１２は、複数の赤外光画像から抽出される輝度の時間変化に基づいて、赤外光波形を抽出する。つまり、赤外光撮像部１２４から取得される複数の赤外光画像のそれぞれは、赤外光撮像部１２４において当該赤外光画像が撮像された時刻（ｔｉｍｅ ｐｏｉｎｔ）と対応付けられている。例えば、赤外光波形演算部１１２は、抽出した複数の第２ピーク点のそれぞれについて、当該第２ピーク点での第３時刻と、当該第２ピーク点に時系列で隣接する他の第２ピーク点での第４時刻との間の時間間隔である第２心拍間隔時間を算出することで、複数の第２心拍間隔時間を算出する。
赤外光波形演算部１１２は、抽出した第２赤外光波形における所定の特徴点である第４特徴点を複数抽出してもよい。具体的には、赤外光波形演算部１１２は、第２赤外光波形を脈波周期単位の複数の第４単位波形に分割したとき、複数の第４単位波形のそれぞれについて、当該第４単位波形おける最大値である第４頂点、および、当該第４単位波形における最小値である第４底点の一方である第４ピーク点を抽出することで、第２赤外光波形から複数の第４ピーク点を抽出してもよい。なお、第４ピーク点は、第４特徴点の一例である。
赤外光波形演算部１１２は、抽出した複数の第４ピーク点のそれぞれについて、当該第４ピーク点での第７時刻と、当該第４ピーク点に時系列で隣接する他の第４ピーク点での第８時刻との間の時間間隔である第４心拍間隔時間を算出することで、複数の第４心拍間隔時間を算出ししてもよい。
ここで、赤外光波形演算部１１２は、可視光波形演算部１１１と同様に、赤外光波形の所定の特徴点としてのピーク位置を、例えば、山登り法、自己相関法、および微分関数を用いた方法を含む公知の局所探索法を用いて、特定できる。また、赤外光波形演算部１１２は、可視光波形演算部１１１と同様に、例えば、ＣＰＵ１０１、メインメモリ１０２およびストレージ１０３などにより実現される。
一般に、赤外光画像では、可視光画像と同様に、ヘモグロビンなどの血液中の成分の量に依存して、画像における肌領域、例えば、顔または手の輝度が変化する。つまり、顔または手を複数のタイミングで撮像した画像から得られる顔または手の輝度の時間変化を用いれば、血液の移動に関する情報を取得できる。このように、赤外光波形演算部１１２は、時系列で撮像した複数の画像から血液の移動に関する情報を演算することで、脈波タイミングを取得する。
赤外光領域における脈波タイミングの取得では、赤外光画像中の８００ｎｍ以上の波長域の輝度が撮像された画像が用いられてもよい。赤外光領域において撮像された画像において、８００〜９５０ｎｍ近辺の波長域の輝度に、脈波による変化が大きく現れるためである。
図８の（ｂ）は、本実施の形態における赤外光画像の輝度変化の一例を示すグラフである。具体的には、図８の（ｂ）は、赤外光撮像部１２４によって撮像された赤外光画像におけるユーザの頬の領域の輝度変化を示す。図８の（ｂ）のグラフにおいて、横軸は時間を示し、縦軸は輝度を示す。図８の（ｂ）に示す輝度変化は、脈波に起因して輝度が周期的に変化していることがわかる。
しかし、赤外光領域で肌を撮像する場合、可視光領域で肌を撮像する場合に比べ、ヘモグロビンによる赤外光の吸収量が少ない。つまり、体動等の様々な要因によって、赤外光領域で撮像された赤外光画像はノイズを含みやすい。よって、撮像された赤外光画像にフィルタ等による信号処理を施し、適切な光量の赤外光をユーザの肌領域に照射することで、脈波に起因する肌の輝度変化を多く含む赤外光画像を得てもよい。信号処理に用いるフィルタの例は、ローパスフィルタである。つまり、赤外光波形演算部１１２は、本実施の形態では、ρバスフィルタを通した赤外光の輝度変化を用いて、赤外光波形の抽出処理を行う。なお、赤外光光源１２３による赤外光の光量の決定方法については、相関度演算部１１３または、光源制御部１１５において記述する。
次に、赤外光波形演算部１１２における、ピーク探索の方法について説明する。赤外光波形におけるピーク探索は、可視光波形におけるピーク探索と同様の方法を利用できる。
赤外光波形演算部１１２は、脈波タイミングの特定において、可視光波形演算部１１１と同様に、一般的な心拍数（例えば６０ｂｐｍから１８０ｂｐｍ）の知識に基づき、心拍間隔時間が例えば３３３ｍｓから１０００ｍｓまでの間であることを考慮して脈波タイミングを特定してもよい。赤外光波形演算部１１２は、一般的な心拍間隔時間を考慮することにより、全ての点において上述の輝度の比較を行う必要がなく、一部の点において輝度の比較を行えば、適切な脈波タイミングを特定できる。つまり、最近に取得された脈波タイミングから３３３ｍｓ以降１０００ｍｓ以前の範囲にある各点を参照点として用いて上述の輝度の比較を行えばよい。この場合、その範囲以前の点を参照点として用いた輝度の比較を行うことなく、次の脈波タイミングを特定できる。
赤外光波形演算部１１２は、可視光波形演算部１１１と同様に、得られた隣り合う脈波タイミングの時間差を算出することで心拍間隔時間を算出する。また、赤外光波形演算部１１２は、さらに、赤外光波形において、脈波タイミング直後の変曲点の時刻を抽出してもよい。そして、例えば、赤外光波形演算部１１２は、赤外光波形の輝度値の一次微分を算出することで赤外光微分輝度の極小点を取得し、その極小点となる時刻を変曲点の時刻（変曲点タイミング）を算出する。つまり、赤外光波形演算部１１２は、所定の特徴点として、頂点から底点までの間の変曲点を複数抽出してもよい。
また、赤外光波形演算部１１２は、可視光波形演算部１１１と同様に、赤外光波形の頂点から底点までの傾きについての演算を行う。つまり、赤外光波形演算部１１２は、第２赤外光波形における、複数の第４頂点のうちの一の第４頂点と、複数の第４底点のうちの、当該一の第４頂点の時系列における直後の一の第４底点とを結ぶ第２直線の傾きである第２の傾きを算出する。
以上のように、赤外光波形演算部１１２は、可視光波形演算部１１１と同様の処理を行うことで、所定の特徴点を第２特徴点として複数抽出する。しかし、赤外光波形は、可視光波形と比較すると、光源から出る赤外光の光量によって、大きく変化する。つまり、赤外光波形は、可視光波形よりも光源の光量の影響を受けやすい。
図１３は、赤外光光源の光量の異なるレベルごとに、赤外光カメラで人の肌画像を取得した場合の赤外光波形を示すグラフである。図１３では、（ａ）から（ｄ）まで、順に赤外光光源における光量のレベルを増加させている。すなわち、光源レベルは、光源レベル１が最も光量が少なく、光源レベルが増加する毎に光量が多くなり、光源レベル４が最も光量が多いことを示している。なお、光源レベルは、レベルが１増加するごとに光源の制御電圧が約０．５Ｖ増加することを示す。また、図１３の各グラフにおける丸印は、脈波のピーク位置（頂点）を示している。図１３の（ａ）のように、光源における光量が少ないと、赤外光光源からの赤外光よりもノイズが多くなり、脈波タイミングの特定が難しい。一方で、図１３の（ｃ）や（ｄ）のように、光源における光量が多いと、脈波に応じた肌の輝度の変化が光源の光量に埋もれてしまい、脈波の形が小さくなり、脈波タイミングの特定が難しい。
ところで、可視光を照射し可視光領域で撮像した画像を用いて脈波を取得する場合、ユーザの目にとって強すぎない光量で可視光を照射しても、その照射量で十分に脈波を取得できる。しかしながら、赤外光を照射し赤外光領域で撮像した画像を用いて脈波を取得する場合、赤外光の光量を制御しても、上述したように、ノイズを含んだり赤外光の光量が多くなりすぎたりする。このため、かなり絞られた光量の範囲内でしか、脈波の取得は難しい。また、赤外光光源の光量だけ所定の値に予め決めていても、取得する肌の部位や、ユーザの肌質、肌の色等によっても変化するため、予め適切な光量を決めておくことは難しい。したがって、次に述べる相関度演算部１１３によって、可視光波形と赤外光波形とが一致するように、可視光の光量を絞りながら、赤外光の光量を適切な値になる制御を行う必要がある。
（相関度演算部）
相関度演算部１１３は、可視光波形演算部１１１から得られた可視光波形と、赤外光波形演算部１１２から得られた赤外光波形との間の相関度を演算する。そして、相関度演算部１１３は、算出した相関度に応じて、照明装置３０および赤外光光源１２３における各光量を調整する指令を決定し、決定した指令を光源制御部１１５に送る。
相関度演算部１１３は、可視光波形演算部１１１から得られた可視光波形と、赤外光波形演算部１１２から得られた赤外光波形との間の相関度を演算する。そして、相関度演算部１１３は、算出した相関度に応じて、照明装置３０および赤外光光源１２３における各光量を調整する指令を決定し、決定した指令を光源制御部１１５に送る。
相関度演算部１１３は、第１可視光波形から算出した複数の第１心拍間隔時間と、第１赤外光波形から算出した複数の第２心拍間隔時間とを、可視光波形演算部１１１および赤外光波形演算部１１２からそれぞれ取得する。そして、相関度演算部１１３は、時系列において互いに対応する、複数の第１心拍間隔時間と、複数の第２心拍間隔時間との間の第１相関度を演算する。
また、相関度演算部１１３は、第２可視光波形から算出した複数の第３心拍間隔時間と、第２赤外光波形から算出した複数の第４心拍間隔時間とを、可視光波形演算部１１１および赤外光波形演算部１１２からそれぞれ取得する。そして、相関度演算部１１３は、時系列において互いに対応する、複数の第３心拍間隔時間と、複数の第４心拍間隔時間との間の第２相関度を演算してもよい。
図１４は、第１心拍間隔時間と、第２心拍間隔時間とのそれぞれを時系列順のデータでプロットしたものを示すグラフである。図１４のグラフにおいて、横軸は時系列におけるデータナンバーを示し、縦軸は各データナンバーに対応する心拍間隔時間を示す。なお、ここで、データナンバーとは、各心拍間隔時間のデータが記録されたメモリに記憶された順番を示す。つまり、第１心拍間隔時間において、ｎ番目（ｎは自然数）に記録された心拍間隔時間に対応するデータナンバーは「ｎ」となる。また、第２心拍間隔時間において、ｎ番目（ｎは自然数）に記録された心拍間隔時間に対応するデータナンバーは「ｎ」となる。さらに、第１心拍間隔時間と第２心拍間隔時間とは、同一のタイミングにおける脈波が計測された結果であるので、原則として計測誤差がない限り、データナンバーが同一であればほぼ同じタイミングにおける脈波を計測した結果といえる。つまり、複数の第１心拍間隔時間および複数の第２心拍間隔時間とは、時系列で互いに対応する１組の第１心拍間隔時間および第２心拍間隔時間とを含む。
相関度演算部１１３は、相関法を用いて、複数の第１心拍間隔時間および複数の第２心拍間隔時間の相関度の演算を行う。具体的には、相関度演算部１１３は、以下の（式１）を用いて、時系列において互いに対応する、複数の第１心拍間隔時間と、複数の第２心拍間隔時間との間の第１相関係数を、第１相関度として演算する。
また、相関度演算部１１３は、以下の（式２）を用いて、時系列において互いに対応する、複数の第３心拍間隔時間と、複数の第４心拍間隔時間との間の第２相関係数を、第２相関度として演算する。
相関度演算部１１３は、例えば、第１相関係数が第２の閾値（所定の閾値）、例えば、０．８以上であれば、複数の第１心拍間隔時間と、複数の第２心拍間隔時間がほぼ一致しているとして判断し、光源制御部１１５に、ほぼ一致していることを示す信号として、例えば、「ＴＲＵＥ」の信号を送信する。一方で、相関度演算部１１３は、相関係数が第２の閾値、例えば、０．８よりも小さい値であれば、複数の第１心拍間隔時間と、複数の第２心拍間隔時間とが一致していないと判断し、光源制御部１１５に、一致していないことを示す信号として、例えば、「ＦＡＬＳＥ」の信号を送信する。相関度演算部１１３は、第１相関係数と同様に第２相関係数に対しても上記の処理を行う。
また、相関度演算部１１３は、第１心拍間隔時間および第２心拍間隔時間の相関度だけでなく、各心拍間隔時間が適切であるかを判定し、判定結果を光源制御部１１５に送信してもよい。相関度演算部１１３は、具体的には、複数の第１心拍間隔時間および複数の第２心拍間隔時間のうちで、時系列で互いに対応する第１心拍間隔時間および第２心拍間隔時間との間の絶対誤差が第３の閾値（例えば２００ｍｓ）を超えているか否かを判定する。相関度演算部１１３は、例えば、データナンバーが同一の第１心拍間隔時間および第２心拍間隔時間の絶対誤差を算出し、当該絶対誤差が第３の閾値を超えているか否かを判定する。そして、相関度演算部１１３は、例えば、当該絶対誤差が第３の閾値を超えると判定した場合、可視光波形および赤外光波形のうちのいずれかのピーク点の数が過剰であると判定する。そして、相関度演算部は、ピーク点の数が過剰である方の波形（可視光波形または赤外光波形）を光源制御部１１５に送信する。なお、絶対誤差の演算は下記の式３により得られる。
ｅ＝ＲＲＩＲＧＢ−ＲＲＩＩＲ・・・（式３）
式１において、ｅは、対応する第１心拍間隔時間および第２心拍間隔時間との絶対誤差を示し、ＲＲＩＲＧＢは第１心拍間隔時間を示し、ＲＲＩＩＲは第２心拍間隔時間を示す。
また、相関度演算部１１３は、ｅが（−１）×第３の閾値（例えば、−２００ｍｓ）より小さければ、可視光におけるピーク点の数が過剰であると判定し、ｅが第３の閾値（例えば、２００ｍｓ）より大きければ、赤外光におけるピーク点の数が過剰であると判定する。そして、相関度演算部１１３は、判定結果として、ピーク点の数が過剰である方の波形が可視光波形か赤外光波形かを示す情報を、光源制御部１１５に送信する。このように、２つの波形の対応する心拍間隔時間のずれから、どちらか波形においてピーク点を過剰に取得しいている、もしくは、ピーク点の取得に失敗していることを特定できる。
相関度演算部１１３は、例えば、対応する第１心拍間隔時間および第２心拍間隔時間の絶対誤差が第３の閾値を超えており、かつ、可視光波形において、ピーク点が過剰に取得されていると判定した場合、光源制御部１１５に当該判定の結果を示す「Ｆａｌｓｅ，ＲＧＢ」の信号を送信する。なお、相関度演算部１１３は、絶対誤差が第３の閾値を超えており、かつ、赤外光波形において、ピーク点が過剰に取得されていると判定した場合、光源制御部１１５に当該判定の結果を示す「Ｆａｌｓｅ，ＩＲ」の信号を送信する。
図１５は、心拍間隔時間が適切であるか否かの判定の具体例について説明するための図である。図１５の（ａ）は、取得された複数の心拍間隔時間が適切でない場合を示すグラフである。図１５の（ｂ）は、図１５の（ａ）に対応した、可視光波形または赤外光波形の一例を示すグラフである。図１５の（ａ）のグラフにおいて、横軸は時系列におけるデータナンバーを示し、縦軸は各データナンバーに対応する心拍間隔時間を示す。図１５の（ｂ）のグラフにおいて、横軸は時間示し、縦軸は画像における輝度を示す。
図１５の（ａ）において、点線で囲んだ二点の心拍間隔時間が適切でない部分である。心拍間隔時間は、一般的にゆらぎながら変動するが、急激に値が変動することはほぼない。例えば、図１５の（ａ）に示すように点線で囲んだ部分以外の領域では、平均値が約９５０ｍｓであり、その標準偏差は約５０ｍｓである。しかし、点線で囲まれた２点の心拍間隔時間は、約６００〜７００ｍｓと急激に値が変化している。これは、図１５の（ｂ）における破線が引かれた部分がピーク点として取得されていることが原因で起こる。すなわち、可視光波形演算部１１１または赤外光波形演算部１１２においてピーク点が過剰に取得されたことによって起こる。
可視光波形演算部１１１または赤外光波形演算部１１２のどちらかにおいて、図１５に示したような結果が得られた場合、複数の第１心拍間隔時間および複数の第２心拍間隔時間のデータ数を比較すると、データ数が一致しなくなる。
図１６にその様子を示す。図１６は、可視光波形においてピーク点の過剰取得が行われ、対応する赤外光波形においてピーク点の過剰取得が行われなかった場合の例を説明するための図である。
複数の第１または第２心拍間隔時間のデータは、例えば、（データＮｏ、心拍間隔時間）という形式でストレージ１０３に格納する。可視光波形において取得される複数の第１心拍間隔時間を示すデータは、例えば、（ｘ、ｔ２０−ｔ１１）、（ｘ＋１、ｔ１２−ｔ２０）、（ｘ＋２、ｔ１３−ｔ１２）となる。また、赤外光波形において取得される複数の第２心拍間隔時間を示すデータは、例えば、（ｘ、ｔ１２−ｔ１１）、（ｘ＋１、ｔ１３−ｔ１２）となる。これにより、可視光波形および赤外光波形のそれぞれにおいて取得されたデータを比較すると、同じ時間区間ｔ１１〜ｔ１３の間で取得されたデータであるのに、データ数がずれてしまっている。これにより、その後の第１心拍間隔時間および第２心拍間隔時間の間のデータの対応関係が全てずれ、心拍間隔時間の時間変動の相関度がずれることになる。
したがって、相関度演算部１１３は、可視光波形演算部１１１と赤外光波形演算部１１２とで得られた、第３または第４心拍間隔時間の各データナンバーにおける心拍間隔時間の絶対誤差が、第３の閾値、例えば、２００ｍｓ以上であるとき、ピーク点の数が多い方の脈波ピークを一つ削除する。そして、相関度演算部１１３は、削除したピークに対応するデータナンバーから以降のデータナンバーを一つ分ずつ減らす処理を行う。
相関度演算部１１３は、上記のように、ピーク点（つまり、所定の特徴点）が過剰に取得されていると判定した場合、所定の特徴点が多い方の波形（可視光波形または赤外光波形）における心拍間隔時間の演算の基準となった所定の特徴点を当該心拍間隔時間の演算対象から除外してもよい。つまり、相関度演算部１１３は、ｅが（−１）×第３の閾値より小さければ、当該ｅを算出するのに用いたＲＲＩＲＧＢの演算の基準となったピーク点を第１心拍間隔時間の演算対象から除外する。相関度演算部１１３は、ｅが第３の閾値より大きければ、当該ｅを算出するのに用いたＲＲＩＩＲの演算の基準となったピーク点を第２心拍間隔時間の演算対象から除外する。
つまり、相関度演算部１１３は、複数の第３心拍間隔時間および複数の第４心拍間隔時間のうち、時系列で互いに対応する第３心拍間隔時間および第４心拍間隔時間との間の絶対誤差が第３の閾値を超えているか否かを判定する。そして、相関度演算部１１３は、絶対誤差が第３の閾値を超えていると判定した場合、複数の第３ピーク点の数と、複数の第４ピーク点の数とを比較する。相関度演算部１１３は、第３の閾値を超えていると判定された第３心拍間隔時間および第４心拍間隔時間のうち、比較の結果、数が多いと判定された方のピーク点により算出された心拍間隔時間を特定する。相関度演算部１１３は、特定した心拍間隔時間の演算の基準となったピーク点を当該心拍間隔時間の演算対象から除外する。
また、ピーク点の過剰取得は、取得した波形（可視光波形または赤外光波形）においてノイズが多いことにより起きる。このため、過剰取得した方の波形が可視光波形であるか、赤外光波形であるかを把握し、例えば、上述したように「ＦＡＬＳＥ，ＲＧＢ」というような信号を生成し、生成した信号を光源制御部１１５に送信する。つまり、光源制御部１１５は、「ＦＡＬＳＥ，ＲＧＢ」の信号を受信すれば、可視光波形と赤外光波形との間の心拍間隔時間が一致していないこと、および、一致していない原因は可視光波形であることを把握できる。このように、可視光波形と赤外光波形とのピーク点の取得におけるデータずれを把握でき、把握した結果を示す情報を光源制御部１１５に送信できるため、可視光波形および赤外光波形におけるユーザの脈波をより正確に取得することが可能になる。
なお、相関度演算部１１３では、第１心拍間隔時間と第２心拍間隔時間との相関度の判定において、第２の閾値を０．８として判定したが、これに限るものではない。具体的には、ユーザが計測したい生体情報の正確性に応じて、第２の閾値を変えてもよい。例えば、ユーザが睡眠時における赤外光での脈波抽出を厳密に行うことで、睡眠中の生体情報、例えば、心拍や血圧等の情報をより正確に取得したい場合、判定基準とする第２の閾値を大きくし、例えば０．９等の値にしてもよい。
また、基準としている相関係数の第２の閾値を調整した場合、調整した第２の閾値に応じて、提示装置４０に、取得データの信頼度として表示してもよい。例えば、可視光波形と赤外光波形との間での特徴量がなかなか一致せず、睡眠時等に、可視光の光源からの光量を低減できない場合、基準となる相関係数の第２の閾値を、例えば、０．６等の０．８よりも小さい値に変更してもよい。その際、相関度に関する正確性は、小さくなるので、提示装置４０に信頼度が小さくなったことを表示してもよい。
相関度演算部１１３は、可視光波形および赤外光波形から時系列で取得した第１および第２心拍間隔時間の相関係数が第２の閾値より小さい場合、または、可視光波形演算部１１１および赤外光波形演算部１１２において、第１所定期間のピーク点を過剰取得した場合、可視光波形および赤外光波形のそれぞれの変曲点を用いて、可視光波形と赤外光波形との相関度を判定してもよい。つまり、時系列において互いに対応する、第１変曲点を用いて算出した複数の第３心拍間隔時間と、第２変曲点を用いて算出した複数の第４心拍間隔時間との間の相関係数を、（式２）を用いることで第２相関係数として演算してもよい。
具体的には、前述したように、可視光波形および赤外光波形における第１および第２心拍間隔時間の相関係数が、第２の閾値、例えば、０．８より小さい場合、または、可視光波形演算部１１１および赤外光波形演算部１１２で取得したピーク点の数が、第１所定区間（例えば、５秒間）において一致せず、少なくとも一方の波形におけるピーク点の数が第１の閾値（例えば、１０個）を超えていた場合、可視光波形と赤外光波形との両方の波形における変曲点を使用し、各波形において変曲点間の時間間隔情報の相関度を判定してもよい。
つまり、相関度演算部１１３は、複数の第３ピーク点の数または複数の第４ピーク点の数が第１所定期間において、第１の閾値を超えるか否かを判定する第１０判定を行う。相関度演算部１１３は、第３ピーク点の数または第４ピーク点の数が第１所定期間において第１の閾値を超えると判定した場合、次の処理を行ってもよい。
つまり、相関度演算部１１３は、可視光波形演算部１１１に、複数の第３頂点のそれぞれについて、当該第３頂点と、複数の第３底点のうちの、当該第３頂点の時系列における直後の第３底点との間の変曲点である第１変曲点を抽出することで、複数の前記第１変曲点を抽出させる。また、相関度演算部１１３は、赤外光波形演算部１１２に、複数の第４頂点のそれぞれについて、当該第４頂点と、複数の第４底点のうちの、当該第４頂点の時系列における直後の第４底点との間の変曲点である第２変曲点を抽出することで、複数の第２変曲点を抽出させる。また、相関度演算部１１３は、可視光波形演算部１１１に、抽出した複数の第１変曲点のそれぞれについて、当該第１変曲点での第９時刻と、当該第１変曲点に隣接する他の第１変曲点での第１０時刻との間の時間間隔を第３心拍間隔時間として算出させる。また、相関度演算部１１３は、赤外光波形演算部１１２に、抽出した複数の第２変曲点のそれぞれについて、当該第２変曲点での第７時刻と、当該第２変曲点に隣接する他の第２変曲点での第８時刻との間の時間間隔を前記第４心拍間隔時間として算出させる。そして、相関度演算部１１３は、時系列において互いに対応する、第１変曲点を用いて算出した複数の第３心拍間隔時間と、第２変曲点を用いて算出した複数の第４心拍間隔時間との間の第２相関係数を、（式２）を用いることで第２相関度として演算する。
また、相関度演算部１１３は、第１０判定の結果に関わらず、次の場合に、上記のように、第１変曲点を用いて算出した複数の第３心拍間隔時間と、第２変曲点を用いて算出した複数の第４心拍間隔時間との間の第２相関係数を、（式２）を用いることで第２相関度として演算してもよい。その場合とは、比較の結果、数が少ないと判定された方のピーク点により算出された心拍間隔時間の標準偏差が前記第４の閾値以下である場合である。
図１７は、変曲点を用いて相関度を算出する場合を説明するための図である。図１７の（ａ）は、可視光波形において取得されたピーク点（頂点）を示すグラフであり、図１７の（ｂ）は、赤外光波形において取得されたピーク点（頂点）を示すグラフである。図１７の（ａ）および（ｂ）において、共に横軸は時間を示し、縦軸は輝度を示し、黒丸は取得された頂点を示し、白丸は取得された変曲点を示す。
図１７の（ａ）では、可視光波形において、過剰にピーク点を取得しており、第１所定期間（５秒間）において、ピーク点が、第１の閾値以上または第１の閾値を超える、１０個または１１個存在するのがわかる。一方で、図１７の（ｂ）では、赤外光波形において、ピーク点は一定の心拍間隔時間で取得されており、標準偏差が１００ｍｓ以下である。この時、可視光波形および赤外光波形における第１および第２心拍間隔時間を示す時系列のデータナンバーがずれることになる。
したがって、相関度演算部１１３は、可視光波形演算部１１１と赤外光波形演算部１１２とより取得した、各脈波の頂点−底点間に存在する変曲点を利用して、可視光波形および赤外光波形の間の相関度を演算してもよい。相関度演算部１１３は、例えば、変曲点を用いて算出した第１心拍間隔時間と第２心拍間隔時間とを可視光波形演算部１１１および赤外光波形演算部１１２に算出させ、当該第１および第２心拍間隔時間の間の相関度を演算する。具体的な演算法としては、可視光波形と赤外光波形との変曲点間の心拍間隔時間の相関または絶対誤差によって評価する。
なお、相関度演算部１１３では、可視光波形または赤外光波形における心拍間隔時間の相関係数が第２の閾値より小さい場合、または、可視光波形または赤外光波形におけるピーク点の数が第１所定期間において、少なくとも一方の波形におけるピーク点の数が、第１の閾値より多い場合、変曲点間の心拍間隔時間を用いて、可視光波形および赤外光波形の間の相関度を演算するとしたが、これに限るものではない。例えば、相関度演算部１１３は、ピーク点を用いず、最初から変曲点間の心拍間隔時間を用いて、可視光波形および赤外光波形の間の相関度を演算してもよい。これにより、可視光波形または赤外光波形からピーク点を精度よく取得できていない場合であっても、変曲点間の心拍間隔時間を算出することで、心拍間隔時間に類似した時間を算出できる。ただし、変曲点間の心拍間隔時間は、ピーク点から取得できる心拍間隔時間に比べて、ノイズはのりにくいが、変曲点が頂点−底点間で変動しやすいという特徴を持つ。すなわち、頂点−頂点の心拍間隔時間が安定しており、例えば、標準偏差が１００ｍｓ以内となりやすく、変曲点−変曲点間の心拍間隔時間よりも、時間誤差が小さくなる傾向にある。したがって、本開示においては、特に断りがない限り、ピーク点から演算する心拍間隔時間を優先して使用する。
また、相関度演算部１１３は、上記とは別に、次の条件を満たした場合、変曲点間の心拍間隔時間をピーク点から演算する心拍間隔時間の代わりに、相関度の演算に用いてもよい。その条件とは、例えば、複数の心拍間隔時間および複数の心拍間隔時間のうち、可視光波形および赤外光波形のうちのピーク点の数が少ない方の波形に対応する心拍間隔時間の標準偏差が第４の閾値（例えば、１００ｍｓ）以下であることである。これは、第１所定期間におけるピーク点の数で、過剰にピーク点が取得されたか否かを判定する場合、実は、ピーク点の数が過剰であるのに、第１所定期間におけるピーク点の数が第１の閾値を超えているという条件にあてはまらず、過剰に取得されたピーク点を見過ごす可能性がある。
例えば、図１８は、ピーク点の数が過剰であるのに、第１所定期間におけるピーク点の数が第１の閾値を超えているという条件に当てはまらない例を説明するための図である。図１８の（ａ）および（ｂ）において、共に横軸は時間を示し、縦軸は輝度を示し、黒丸は取得された頂点を示し、白丸は取得された変曲点を示す。
図１８の（ａ）に示すように、可視光波形において、５秒間で取得されたピーク点の数が８個であった場合、第１所定期間におけるピーク点の数が第１の閾値を超えているという条件にはあてはまらないが、図１８の（ｂ）に示す赤外光波形において取得されたピーク点の数とは異なる数のピーク点が取得されている。このとき、前述したように、一つでもピーク点を過剰に取得すると、第１心拍間隔時間および第２心拍間隔時間におけるデータナンバーが一つずつずれていくという問題がある、そこで、可視光波形または赤外光波形のいずれか一方の心拍間隔時間がほぼ一定であることが示すことができれば、当該波形のピーク点の数に応じて、調整（削除）することができる。ピーク点の調整の詳細は、図１６を用いて説明したとおりである。
なお、相関度演算部１１３は、可視光波形および赤外光波形の両方の波形において、第１所定期間での心拍間隔時間の標準偏差が第４の閾値を超える場合、両方の波形から適切な脈波タイミングが取得できないと判定し、光源制御部１１５に、両方の波形から適切な脈波タイミングが取得できないことを示す「Ｆａｌｓｅ，Ｂｏｔｈ」の信号を送信する。
相関度演算部１１３は、脈波計測装置１０を使用開始時、かつ、可視光波形演算部１１１によって、第１所定期間でピーク点が適切に取得できていた場合（すなわち、心拍間隔時間の標準偏差が第４の閾値より小さい場合）に、可視光波形の頂点−底点間の傾きを第１の傾きＡとして可視光波形演算部１１１に演算させた結果をメモリに記憶させる。そして、相関度演算部１１３は、光源制御部１１５によって、照明装置３０または赤外光光源１２３における光量が変化するたびに、赤外光波形の頂点−底点間の第２の傾きが第１の傾きＡになるように、光源制御部１１５に指令を送る。さらに、相関度演算部１１３は、光源制御部１１５において、光源の光量の調整中に取得したピーク点を、可視光波形と赤外光波形との間の相関度の演算に使用しなくてもよい。
図１９は、光源の光量の調整中に取得したピーク点を、可視光波形と赤外光波形との間の相関度の演算に使用しないことを説明するための例を示す図である。図１９のグラフにおいて、横軸は時間を示し、縦軸は輝度を示し、斜線の領域で光源の光量を調整している様子を示している。また、白丸および黒丸は、取得されたピーク点を示す。
図１９に示すように、光源の光量を調整することで、可視光波形または赤外光波形の輝度のゲインが変化し、それに応じてピーク点の尖度も変化する。尖度が変化した後のピーク点に対して、可視光波形演算部１１１または赤外光波形演算部１１２においてフィルタをかけると、フィルタをかける前の生波形のピークの尖度によって、ピーク点の位置が時間軸において前後に変化する。生体情報として心拍数を算出する程度であれば、この誤差は問題にならないが、脈波伝播時間から血圧を算出する場合等では、この誤差による影響は大きい。したがって、本開示の脈波計測装置１０では、第１〜第４制御信号により照明装置３０または赤外光光源１２３の光量を制御している間において取得された可視光波形または赤外光波形から所定の特徴点（つまり、ピーク点）を抽出しなくてもよい。
つまり、可視光波形演算部１１１は、複数の第１ピーク点の抽出において、可視光制御信号により照明装置３０の光量を制御している期間を除く期間において取得された第１可視光波形から複数の第１ピーク点を抽出する。また、可視光波形演算部１１１は、複数の第３ピーク点の抽出において、第３制御信号により照明装置３０の光量を制御している期間を除く期間において取得された第２可視光波形から複数の第３ピーク点を抽出する。
また、赤外光波形演算部１１２は、複数の第２ピーク点の抽出において、赤外光制御信号により赤外光光源１２３の光量を制御している期間を除く期間において取得された第１赤外光波形から複数の第２ピーク点を抽出する。また、赤外光波形演算部１１２は、複数の第４ピーク点の抽出において、第４制御信号により赤外光光源１２３の光量を制御している期間を除く期間において取得された第２赤外光波形から複数の第４ピーク点を抽出する。
なお、相関度演算部１１３は、可視光波形および赤外光波形における心拍間隔時間の相関係数が、第２の閾値より小さい場合、いずれか一方または両方の波形のピーク点の数が過剰であるとして、心拍間隔時間の誤差や各心拍間隔時間の標準偏差を算出し、所定の条件を満たした場合、波形の頂点から底点までの間の変曲点間の心拍間隔時間を用いるとしたが、これに限らない。相関度演算部１１３は、例えば、第１心拍間隔時間および第２心拍間隔時間の相関係数が第２の閾値より小さくても、両波形におけるピーク点は適切に取得できている（例えば、両波形の心拍間隔時間における標準偏差が共に、第４の閾値以下である）場合、光源制御部１１５に、「Ｆａｌｓｅ」の信号を送信する。
このように、相関度演算部１１３は、演算した相関度と、可視光波形および赤外光波形からの所定の特徴点の抽出結果とに応じた信号（例えば、「Ｔｒｕｅ」、「Ｆａｌｓｅ」、「Ｆａｌｓｅ，ＲＧＢ」、「Ｆａｌｓｅ，ＩＲ」および「Ｆａｌｓｅ，Ｂｏｔｈ」のいずれか）を光源制御部１１５に送信する。
上記に説明したように、相関度演算部１１３は、第１心拍間隔時間および第２心拍間隔時間に基づいて、以下の判定を行う。
つまり、相関度演算部１１３は、第１標準偏差が第４の閾値を超えており、かつ、前記第２標準偏差が前記第４の閾値を超えているか否かを判定する第２判定を行う。また、相関度演算部１１３は、第２判定の結果、第１標準偏差が第４の閾値を超えており、かつ、第２標準偏差が第４の閾値を超えていると判定した場合、複数の第１心拍間隔時間のうちの一の第１心拍間隔時間と、複数の第２心拍間隔時間のうちの、当該一の第１心拍間隔時間に時系列において対応する一の第２心拍間隔時間との第１時間差が第５の閾値未満であるか否かの第３判定、および、第５の閾値よりも大きい第６の閾値より第１時間差が大きいか否かの第４判定を行う。
一方、相関度演算部１１３は、第３判定および第４判定の結果、第１時間差が第５の閾値よりも小さいと判定した場合、第２標準偏差が第４の閾値以下であるか否かを判定する第５判定を行う。
また、相関度演算部１１３は、第３心拍間隔時間および第４心拍間隔時間に基づいて、以下の判定を行ってもよい。
つまり、相関度演算部１１３は、第３標準偏差が第４の閾値を超えており、かつ、第４標準偏差が第４の閾値を超えているか否かを判定する第６判定を行う。また、相関度演算部１１３は、第６判定の結果、第３標準偏差が第４の閾値を超えており、かつ、第４標準偏差が前記第４の閾値を超えていると判定した場合、複数の第３心拍間隔時間のうちの一の第３心拍間隔時間と、複数の第４心拍間隔時間のうちの、当該一の第３心拍間隔時間に時系列において対応する一の第４心拍間隔時間との第２時間差が第５の閾値未満であるか否かの第７判定、および、第６の閾値より前記第２時間差が大きいか否かの第８判定を行う。
一方、相関度演算部１１３は、第７判定および第８判定の結果、第２時間差が第５の閾値よりも小さいと判定した場合、第４標準偏差が第４の閾値以下であるか否かを判定する第９判定を行う。
（制御パターン取得部）
制御パターン取得部１１４は、脈波計測装置１０の外部にある照明装置３０を調光するための制御パターンであって、当該照明装置３０に予め定められた制御パターンを取得する。制御パターン取得部１１４は、取得した制御パターンを光源制御部１１５に送信する。具体的には、制御パターン取得部１１４は、様々な機種の照明装置３０の制御パターンを機種毎に複数記憶しており、照明装置３０を認識するたびに、記憶している複数の制御パターンと認識した照明装置３０とのマッチングを行い、認識した照明装置３０を制御するための制御パターンを選択する。
制御パターン取得部１１４は、脈波計測装置１０の外部にある照明装置３０を調光するための制御パターンであって、当該照明装置３０に予め定められた制御パターンを取得する。制御パターン取得部１１４は、取得した制御パターンを光源制御部１１５に送信する。具体的には、制御パターン取得部１１４は、様々な機種の照明装置３０の制御パターンを機種毎に複数記憶しており、照明装置３０を認識するたびに、記憶している複数の制御パターンと認識した照明装置３０とのマッチングを行い、認識した照明装置３０を制御するための制御パターンを選択する。
制御パターン取得部１１４は、例えば、各種メーカーの品番とその品番に対応する照明装置を制御するための制御パターンを記憶していてもよい。これにより、例えば、ユーザが初めて脈波計測装置１０を使用するときに、制御パターン取得部１１４は、照明装置３０の品番の入力を受け付けることで、受け付けた品番に対応する制御パターンを選択することで、当該制御パターンを取得するようにしてもよい。なお、ユーザからの入力は、脈波計測装置１０が入力ボタンなどの入力ＩＦを有していれば脈波計測装置１０が受け付けてもよいし、携帯端末２００により起動されたリモコンアプリ経由で受け付けてもよい。後者の場合、脈波計測装置１０は、携帯端末２００に入力された品番を携帯端末２００から受信する。これにより、制御パターン取得部１１４は、各品番に応じた制御パターンを認識でき、また、品番に応じた、制御信号を選択することができる。
なお、制御パターンは、ＯＮ、ＯＦＦ信号でなく、照明装置の種類による、例えば、二段階の制御パターンや、多段階の照明変化パターン、さらには、色温度を変化させられるかが判定でき、本装置が自動的に、照明装置を認識することができる。つまり、制御パターンは、照明装置３０の機種に応じた制御パターンを含み、第１制御パターン、第２制御パターン、第３制御パターンおよび第４制御パターンの少なくともいずれかを含んでいてもよい。第１制御パターンは、光量および色温度を調整する制御パターンである。第２制御パターンは、例えば、オンオフの一段階で光量を調整する制御パターンである。第３制御パターンは、第１可視光光量と、第１可視光光量よりも小さい第２可視光光量との二段階で光量を調整する制御パターンである。第４制御パターンは、無段階で光量を調整する制御パターンである。
（光源制御部）
光源制御部１１５は、相関度演算部１１３から受信した、相関度および抽出結果に応じた信号に応じて、照明装置３０の可視光の光量、および、赤外光光源１２３における赤外光の光量の少なくとも一方を、増加させるか、減少させるか、維持するかのいずれかに決定し、決定結果に応じた第１〜第４制御信号を照明装置３０および赤外光光源１２３に出力する。
光源制御部１１５は、相関度演算部１１３から受信した、相関度および抽出結果に応じた信号に応じて、照明装置３０の可視光の光量、および、赤外光光源１２３における赤外光の光量の少なくとも一方を、増加させるか、減少させるか、維持するかのいずれかに決定し、決定結果に応じた第１〜第４制御信号を照明装置３０および赤外光光源１２３に出力する。
また、光源制御部１１５は、制御パターン取得部１１４より、照明装置３０の調光に用いられる制御パターンを取得し、取得した制御パターンに応じて、照明装置３０の光源である可視光ＬＥＤ３１の光量を調整するタイミングと、当該光量とを決定する。具体的には、光源制御部１１５は、赤外光光源１２３が発する赤外光の光量の制御に応じて、制御パターン取得部１１４が取得した制御パターンを用いて、照明装置３０が照射する光量を制御する可視光制御信号を照明装置に出力する。
光源制御部１１５は、「Ｆａｌｓｅ」の信号を受信した場合、可視光波形および赤外光波形における第１および第２心拍間隔時間の相関係数が第２の閾値より小さいが、各波形の心拍間隔時間は適切に取得できていると判断できる。このとき、光源制御部１１５は、可視光波形に対して、赤外光波形の信号が弱く、各波形における所定の特徴点は取得できる状態であるが、例えば、ピーク点の尖度が小さいため、フィルタ処理等により、毎回ピークの位置がずれている場合と判断できる。したがって、この場合、光源制御部１１５は、赤外光光源１２３における光量を赤外光波形の頂点から底点までの第２の傾きがメモリに記憶している第１の傾きＡになるまで、増加させる。
また、光源制御部１１５は、「ＴＲＵＥ」の信号を受信した場合、可視光波形および赤外光波形における所定の特徴点が一致していることを示していると判断できる。このため、光源制御部１１５は、照明装置３０における可視光の光量を下げて、赤外光光源１２３における赤外光の光量を赤外光波形の頂点から底点までの第２の傾きがメモリに記憶している第１の傾きＡになるまで増加させる。つまり、光源制御部１１５は、相関度が第２の閾値以上の場合、可視光光源における可視光の光量を減少させ、赤外光光源における赤外光の光量を増加させる。また、赤外光の光量の増加では、赤外光波形における第２の傾きが、メモリ（ストレージ１０３）に記憶している第１の傾きＡになるまで、赤外光の光量を増加させる。
なお、第３可視光画像の取得、第２可視光波形の抽出、第２赤外光画像の取得、第２赤外光波形の抽出、および、第２相関係数の演算は、脈波演算装置１００の各処理部において、繰り返し行われる。光源制御部１１５は、繰り返し行われる第２相関係数の演算において、第２の傾きと、メモリに記憶している第１の傾きとが比較され、第２の傾きが、第１の傾きになるまで、赤外光制御信号を赤外光光源１２３に出力する。
また、光源制御部１１５は、例えば、「Ｆａｌｓｅ，ＩＲ」の信号を受信した場合、赤外光波形演算部１１２が赤外光波形において所定の特徴点を適切に取得できていないと判断できる。つまり、例えば、「Ｆａｌｓｅ，ＩＲ」の信号は赤外光波形にノイズが多いということを示している。このため、照明装置３０における光量は調整せず、赤外光光源１２３における光量を増加させる。
つまり、光源制御部１１５は、第３判定および第４判定の結果、第１時間差であるが絶対誤差ｅが、第６の閾値（２００〔ｍｓ〕）より大きいと判定された場合、赤外光制御信号を赤外光光源１２３に出力する。また、光源制御部１１５は、第７判定および第８判定の結果、第２時間差であるが絶対誤差ｅが、第６の閾値（２００〔ｍｓ〕）より大きいと判定された場合、赤外光制御信号を赤外光光源１２３に出力する。光源制御部１１５は、赤外光制御信号を赤外光光源１２３に出力することで赤外光光源１２３における光量を増加させる。
また、光源制御部１１５は、「Ｆａｌｓｅ，ＲＧＢ」の信号を受信した場合、可視光波形演算部１１１が可視光波形において所定の特徴点を適切に取得できていないと判断できる。また、光源制御部１１５は、この場合、赤外光波形演算部１１２が赤外光波形において所定の特徴点を適切に取得できているか否かを判断できない。したがって、光源制御部１１５は、例えば、赤外光波形において、第１所定期間の心拍間隔時間の標準偏差が第４の閾値以下であれば、照明装置３０における光源の光量を減少させ、赤外光光源１２３における光源の光量を赤外光波形の頂点から底点までの間の傾きがＡになるまで、増加させる。また、光源制御部１１５は、赤外光波形における上記標準偏差が第４の閾値を超えていれば、共に信号が取得できていないと判定し、信号を「Ｆａｌｓｅ，Ｂｏｔｈ」に変更する。
つまり、光源制御部１１５は、第５判定の結果、第２標準偏差が第４の閾値以下であると判定した場合、可視光制御信号を照明装置３０に出力し、かつ、赤外光制御信号を赤外光光源１２３に出力する。光源制御部１１５は、第２標準偏差が第４の閾値より大きいと判定した場合、第３制御信号を照明装置３０に出力し、かつ、第４制御信号を赤外光光源に出力する。なお、第５判定は、上述したように、第３判定および第４判定の結果、第１時間差が第５の閾値よりも小さいと判定した場合に行われる、第２標準偏差が第４の閾値以下であるか否かの判定である。
また、光源制御部１１５は、第９判定の結果、第４標準偏差が第４の閾値以下であると判定した場合、可視光制御信号を照明装置３０に出力し、かつ、赤外光制御信号を赤外光光源１２３に出力する。光源制御部１１５は、第９判定の結果、第４標準偏差が第４の閾値より大きいと判定した場合、第３制御信号を照明装置３０に出力し、かつ、第４制御信号を赤外光光源１２３に出力する。なお、第９判定は、上述したように、第７判定および第８判定の結果、第２時間差が第５の閾値よりも小さいと判定した場合に行われる、第４標準偏差が第４の閾値以下であるか否かの判定である。
また、光源制御部１１５は、「ＦＡＬＳＥ，Ｂｏｔｈ」の信号を受信した場合、可視光波形においても、赤外光波形においても所定の特徴点が取得できていないと判断できる。光源制御部１１５は、この場合、可視光波形の頂点から底点までの傾きが第１の傾きＡになるまで、照明装置３０の光量を増加させる。なお、光源制御部１１５は、可視光波形の初期の光量がメモリに記憶されていれば、当該初期の光量になるまで照明装置３０の光量を増加させてもよい。また、光源制御部１１５は、赤外光光源１２３の光量を０まで減少させる。つまり、光源制御部１１５は、可視光波形および赤外光波形の両方において、所定の特徴点が取得できない場合、最も確実に取得できる状態である、照明装置３０の光量および赤外光光源１２３の光量を初期状態とし、再度光量の調整を行う。
つまり、光源制御部１１５は、第３判定および第４判定の結果、第１時間差である絶対誤差ｅが第５の閾値以上第６の閾値以下であると判定された場合、第３制御信号を照明装置３０に出力し、かつ、第４制御信号を赤外光光源１２３に出力する。また、光源制御部１１５は、第７判定および第８判定の結果、第２時間差である絶対誤差ｅが第５の閾値以上第６の閾値以下であると判定された場合、第３制御信号を照明装置３０に出力し、かつ、第４制御信号を赤外光光源１２３に出力する。光源制御部１１５は、第３制御信号を照明装置３０に出力することで、照明装置３０の光量を増加させ、第４制御信号を赤外光光源１２３に出力することで、赤外光光源１２３の光量を減少させる。
つまり、光源制御部１１５は、複数の第１心拍間隔時間の標準偏差が第４の閾値を超えており、かつ、複数の第２心拍間隔時間の標準偏差が第４の閾値を超えている場合であって、時系列において互いに対応する第１心拍間隔時間および第２心拍間隔時間の差が第５の閾値（（−１）×第３の閾値）より小さい場合、照明装置３０における可視光の光量を減少させ、かつ、赤外光光源１２３における赤外光の光量を増加させ、赤外光の光量の増加では、赤外光波形における第２の傾きが、メモリに記憶している第１の傾きＡになるまで、赤外光の光量を増加させる。
また、光源制御部１１５は、複数の第１心拍間隔時間の標準偏差が第４の閾値を超えており、かつ、複数の第２心拍間隔時間の標準偏差が第４の閾値を超えている場合であって、時系列において互いに対応する第１心拍間隔時間および第２心拍間隔時間の差が第６の閾値（つまり第３の閾値）より大きい場合、赤外光光源１２３における赤外光の光量を増加させ、赤外光の光量の増加では、赤外光波形における第２の傾きが、メモリに記憶している第１の傾きＡになるまで、赤外光の光量を増加させる。
また、光源制御部１１５は、複数の第１心拍間隔時間の標準偏差が第４の閾値を超えており、かつ、複数の第２心拍間隔時間の標準偏差が第４の閾値を超えている場合であって、時系列において互いに対応する第１心拍間隔時間および第２心拍間隔時間の差が第５の閾値から第６の閾値までの間の値である場合、照明装置３０における可視光の光量を増加させ、かつ、赤外光光源１２３における赤外光の光量を減少させる。
なお、光源制御部１１５は、「Ｆａｌｓｅ，Ｂｏｔｈ」等の、可視光波形および赤外光波形の両方において、所定の特徴点が取得できなかった場合以外は、赤外光光源１２３の光量を赤外光波形の第２の傾きが第１の傾きＡになるまで増加させるとしたが、これに限らない。光源制御部１１５は、例えば、ＲＯＩにおける平均輝度値が、第７の閾値、例えば２４０を超えている場合、光源の光量が強すぎることにより、ユーザの肌から撮像される画像がノイズ情報に埋もれてしまう。なお、平均輝度の「２４０」は、輝度を示す０から２５５の値のうちの「２４０」であり、大きい値ほど輝度が大きいことを示す。このため、光源制御部１１５は、この場合、赤外光波形の第２の傾きが第１の傾きＡを超えていると考えられるので、第２の傾きが第１の傾きＡになるまで、赤外光の光量を減少させてもよい。
図２０は、脈波計測装置を用いて、可視光光源の光量を０になるまで減少させ、かつ、赤外光光源の光量を適切な光量まで増加させる最も簡単なステップの例を示す図である。図２０における（ａ）〜（ｄ）の全てのグラフにおいて、横軸は時間を示し、縦軸は輝度を示す。また、図２０では、可視光波形をＲＧＢと表記し、赤外光波形をＩＲと表記している。
図２０の（ａ）は、ユーザが脈波計測装置１０で照明装置３０をＯＮにした初期状態において、取得された可視光波形および赤外光波形を示す図である。図２０の（ａ）の可視光波形は、図２０の（ａ）〜（ｄ）の可視光波形のうちで、頂点から底点までの傾きが最も大きい波形である。したがって、この時の可視光波形の頂点から底点までの傾きを第１の傾きＡとして、メモリに記憶する。
また、この時、赤外光光源１２３はＯＦＦとなっている。このため、赤外光波形は、ほとんど取得されない。この状態では、相関度演算部１１３は、光源制御部１１５に、例えば、「Ｆａｌｓｅ，ＩＲ」という信号を送信する。したがって、光源制御部１１５では、赤外光光源１２３における赤外光光源１２３の光量を増加させる。この時、赤外光光源１２３の光量を増加させるにつれて、赤外光波形演算部１１２では、赤外光波形の所定の特徴点が取得できるようになり、第２の心拍間隔時間が取得できる。また、取得した第２心拍間隔時間の標準偏差は、第４の閾値以内に収まるようになる。そして、図２０の（ｂ）に示すように、第２心拍間隔時間の標準偏差を第４の閾値以内に収まった状態を維持しながら、赤外光波形の頂点−底点間の第２の傾きが第１の傾きＡになるまで、赤外光光源１２３の光量を増加させる。第２の傾きが第１の傾きＡとなった場合、相関度演算部１１３は、光源制御部１１５に、例えば、「ＴＲＵＥ，ＡＭＰ＝Ａ」の信号を送信する。このため、光源制御部１１５は、「ＴＲＵＥ，ＡＭＰ＝Ａ」の信号を受信した時点で、光源の調整を一度中止する。
次に、図２０の（ｂ）の状態から、光源制御部１１５は、照明装置３０における可視光源の光量を減少させていく。図２０の（ｃ）は、赤外光波形演算部１１２において、心拍間隔時間の標準偏差が第４の閾値以下であり、照明装置３０における光源がＯＦＦとなっている状態である。また、図２０の（ｄ）は、さらに、照明装置３０における光源がＯＦＦとなっており、かつ、赤外光波形における第２の傾きが第１の傾きＡとなっている状態、すなわち、最終的に目指す状態である。
図２０の（ｂ）の状態から図２０の（ｃ）の状態になる過程では、可視光の光量を一定間隔ずつ、例えば、１Ｗずつ減少させていく。そして、可視光の光量を減少させるたびに、赤外光波形演算部１１２および相関度演算部１１３は、赤外光波形において所定の特徴点が適切に取得できているか確認する。また、赤外光波形演算部１１２および相関度演算部１１３は、赤外光波形において所定の特徴点が適切に取得できていることが確認できれば、図２０の（ｄ）に示すように、赤外光光源１２３の光源における光量を、赤外光波形における第２の傾きが第１の傾きＡになるまで増加させる。
したがって、図２０の（ｂ）の状態から図２０の（ｃ）の状態になる過程では、相関度演算部１１３は、光源制御部１１５に対して、「Ｔｒｕｅ」の信号、もしくは、「Ｆａｌｓｅ，ＩＲ」の信号を送信し、光源制御部１１５は、「Ｆａｌｓｅ，ＩＲ」の信号を受信する度に「Ｔｒｕｅ」になるまで、赤外光光源１２３の光量を調整する。そして、光源制御部１１５は、照明装置３０の光量を減少させることで、相関度演算部１１３から「Ｆａｌｓｅ，ＲＧＢ」を受信すると、この過程を終了する。
または、図２０の（ｃ）の状態から図２０の（ｄ）の状態になる過程において、相関度演算部１１３は、光源制御部１１５に対し、「Ｆａｌｓｅ，ＲＧＢ」の信号を送信し、光源制御部１１５は、赤外光光源１２３における光源の光量を赤外光波形における第２の傾きが第１の傾きＡになるまで増加させ続け、例えば、可視光波形が取得できず、かつ、第２の傾きが第１の傾きＡになったことを示す「Ｆａｌｓｅ，ＲＧＢ，ＡＭＰ＝Ａ」の信号を相関度演算部１１３から受信すれば、光源制御部１１５による光源の光量の制御を終了する。
また、光源制御部１１５は、可視光波形演算部１１１または赤外光波形演算部１１２において、可視光波形または赤外光波形のそれぞれ、当該波形から連続する２つ以上の所定の特徴点が取得できた後に、光源の制御を行うという特徴を持つ。つまり、光源制御部１１５は、赤外光制御信号の出力において、第１可視光波形から連続する２つ以上の第１ピーク点が第２所定期間内に抽出されるまで、または、第２可視光波形から連続する２つ以上の第３ピーク点が第２所定期間内に抽出されるまで、赤外光制御信号の出力を待機する。また、光源制御部１１５は、赤外光制御信号の出力において、第１赤外光波形から連続する２つ以上の第２ピーク点が第２所定期間内に抽出されるまで、または、第２赤外光波形から連続する２つ以上の第４ピーク点が第２所定期間内に抽出されるまで、赤外光制御信号の出力を待機する。
図２１は、可視光波形および赤外光波形のそれぞれにおいて、当該波形から連続する２つ以上の所定の特徴点が第２所定期間内に抽出されるまで、光源制御を待機することを説明するための図である。図２１におけるグラフは、可視光波形または赤外光波形を示す。図２１のグラフにおいて、横軸は時間を示し、縦軸は輝度を示す。
光源制御部１１５は、照明装置３０、または、赤外光光源１２３の光量を変化させると、可視光波形または赤外光波形の輝度のゲインが変化する。そして、輝度のゲインが変化すると、脈波タイミングの位置がずれるため、心拍間隔時間等のタイミングの算出において、大きな誤差が生じる。また、本開示では、可視光波形と赤外光波形との相関度の判定材料として、心拍間隔時間を主に用いており、心拍間隔時間を算出するためには２つの連続するピーク点が必要である。したがって、図２１に示すように、光源制御部１１５は、可視光波形または赤外光波形において、連続してピーク点が２つ以上取れていることを確認した後、光源量を調整する。
ここまで、照明装置３０が、完全に調光制御可能である場合（つまり、第４制御パターンによって調光可能な照明装置である場合）の、光源制御部１１５における制御方法について説明した。次に、照明装置３０が、第２制御パターンによって調光可能な照明装置である場合、第３制御パターンによって調光可能な照明装置である場合について、それぞれ説明する。
基本的な制御手法については、照明制御パターン記憶部１１０における説明の通りであるが、相関度演算部１１３での判定に対する、光源の制御方法で特徴的な場合について説明する。
照明装置３０は、無段階で光量を調整する第４制御パターンの場合と比較して、オンオフの一段階で光量を調整する第２制御パターン、もしくは、第１可視光光量と第２可視光光量との二段階で光量を調整する第３制御パターンにより調光される装置である場合は、可視光の光量を任意の光量に自在に変えることができない。
そこで、光源制御部１１５は、例えば、相関度演算部１１３から、「ＴＲＵＥ」の信号を受け取った場合、赤外光の光源を赤外光波形における第２の傾きが第１の傾きＡになるまで増加させ、そこからさらに、赤外光波形の所定の特徴点（つまり、ピーク点）が検出できる範囲まで、増加させるための制御信号を、赤外光制御信号として赤外光光源１２３に出力する。
光源制御部１１５は、赤外光制御信号を出力した後、照明装置３０における照明の光量を一段階を下げる制御信号を可視光制御信号として出力する。
具体的には、光源制御部１１５は、照明装置３０が第２制御パターンにより調光される装置である場合、照明装置３０をオンの状態からオフの状態にさせる制御信号を可視光制御信号として出力する。
また、光源制御部１１５は、照明装置３０が第３制御パターンにより調光される装置である場合、照明装置３０の光量が第１可視光光量であれば、第１可視光光量から第１可視光光量よりも小さい第２可視光光量に変更する制御信号を可視光制御信号として出力する。また、光源制御部１１５は、照明装置３０が第３制御パターンにより調光される装置である場合、照明装置３０の光量が第２可視光光量であれば照明装置３０をオフの状態にさせる制御信号を可視光制御信号として出力する。
《第１制御パターン》
次に、照明装置３０の調光が光量および色温度を調整によって行われる場合について説明する。
次に、照明装置３０の調光が光量および色温度を調整によって行われる場合について説明する。
照明装置３０が、光量および色温度を調整する第４制御パターンにより調光される装置である場合、まず、照明装置３０が照射する可視光の色温度を所定の色温度以下、例えば、２５００Ｋ以下にしてから、上述した光源の切り替え制御を行う。
図２２は、色温度の変化による、可視光撮像部１２２における、ユーザの顔の見え方の違いを説明するための図である。図２２の（ａ）は、日常の照明、例えば、昼白色（５０００Ｋ程度）の時の、ユーザの顔が撮像された画像の一例を示す図であり、図２２の（ｂ）は、色温度を低くし、電球色（２５００Ｋ程度）を照射した際のユーザの顔が撮像された画像の一例を示す図である。このとき、脈波計測装置１０では、使用するアルゴリズムを変更し、ＲＧＢの輝度信号から可視光波形を取得するのではなく、ＲＧＢの輝度信号から演算した色相Ｈの色相信号を用いる。
図２３は、ＲＧＢの輝度信号から色相Ｈの色相信号を演算する演算処理について説明するための図である。図２３の（ａ）〜（ｃ）は、可視光撮像部１２２によって、取得できる各ＲＧＢ信号（可視光波形）を示すグラフである。図２３の（ａ）〜（ｃ）のそれぞれにおいて、横軸は時間を示し、縦軸は各ＲＧＢの輝度を示す。また、図２３の（ｄ）は、これら３つの信号から演算した色相Ｈの信号（色相波形）を示すグラフである。図２３の（ｄ）において、横軸は時間を示し、縦軸は色相環における角度を示す。なお、色相環における０度は、Ｒ信号においてゲインがあり、他のＧ信号およびＢ信号は０である状態である。また、色相信号は、ＲＧＢの輝度信号から式３により演算される。
式３において「Ｒ」はＲ信号（赤色信号）の輝度値、「Ｂ」はＢ信号（青色信号）の輝度値、「Ｇ」はＧ信号（緑信号）の輝度値である。
式３は、色における輝度信号がＲ＞Ｇ＞Ｂの順になっている場合の式であるが、ユーザの肌の色は、基本的にこの関係を満たしており、上記の式３を使用することができる。このように、式２を用いてＲＧＢの輝度信号を色相信号に変換すると、図２４に示すように、ユーザの肌の色は、色相環において、０度以上６０度以下の色相範囲に存在する色として表される。つまり、ＲＧＢの輝度信号ではなく、色相Ｈの色相信号を用いることで、ＲＧＢの輝度信号に含まれる輝度成分を打ち消すことができ、色み成分の変化を得ることができる。このため、輝度変化によるノイズの影響を少なくできる。
つまり、光源制御部１１５は、照明装置３０の色温度を予め定められた温度（例えば、２５００Ｋ）に調整する制御信号を、色温度制御信号として照明装置３０に出力する。そして、可視光波形演算部１１１は、色温度制御信号の出力の後において取得した第３可視光画像から得られた色相を、式３を用いて演算し、演算した色相を用いて可視光波形を抽出する。
さらに、色温度を２５００Ｋ以下とする制御を最初に行うことで、電球色のような赤っぽい光をユーザの頬にあてることになる。これにより、可視光撮像部１２２で撮像した結果、ユーザの肌表面の色み変化は、色相環の３０度付近で振動する結果が得られるようになる。このとき、３０度の軸は、ＲＧＢのＧ信号の軸と垂直に交わるという特徴を持っているため、脈波の変化が現れやすいＧ信号の変化に最も影響を受けやすい。よって、ユーザの肌表面の色みを白から赤っぽく、特に、色相Ｈの値が３０度付近になるように、照明装置３０の色温度を変更することで、より体動や環境ノイズに対して、ロバストに可視光波形を取得することができる。
つまり、可視光波形演算部１１１は、色温度制御信号の出力の後において、照明装置３０により色温度が予め定められた温度の可視光を照射されたユーザを可視光領域において撮像することにより得られた第３可視光画像を取得する。そして、可視光波形演算部１１１は、取得した第３可視光画像の色相を演算し、演算した色相からユーザの脈波を示す波形である色相波形を抽出する。光源制御部１１５は、抽出された色相波形が所定の基準値（例えば、色相環における３０度）を基準とする色相範囲（例えば、０度以上６０度以下の範囲）に収まるように照明装置３０の色温度を調整する制御信号を、色温度制御信号として照明装置３０に出力する。
ここで、図２５は、異なる色相範囲に変換した場合に取得される色相波形を示す図である。図２５の（ａ）は、色相環について示す。図２５の（ｂ）は、抽出された色相波形が色相環における９０度を基準とする６０度以上１２０度以下の色相範囲に収まるように照明装置３０の色温度を調整した場合に取得される色相波形を示す。図２５の（ｃ）は、抽出された色相波形が色相環における３０度を基準とする０度以上６０度以下の色相範囲に収まるように照明装置３０の色温度を調整した場合に取得される色相波形を示す。図２５の（ｄ）は、抽出された色相波形が色相環における９０度を基準とする−６０度以上０度以下の色相範囲に収まるように照明装置３０の色温度を調整した場合に取得される色相波形を示す。
図２５に示されるように、抽出された色相波形が色相環における３０度を基準とする０度以上６０度以下の色相範囲に収まるように照明装置３０の色温度を調整した場合に、他の色相範囲に色温度を調整した場合と比較して、輝度変化によるノイズの影響をほとんど受けていない明瞭な波形を得ることができていることが分かる。
また、さらに、電球色は、ユーザにとって、リラックス効果を与え、眠りやすくする効果があるため、ユーザにとっても、色温度を白（５０００Ｋ）から、赤（２５００Ｋ）に変更することは、メリットがある。
照明装置３０が出力する可視光の色温度の調整は以下のように行ってもよい。
まず、制御パターン取得部１１４は脈波計測装置１０の外部に設けられた照明装置３０から、第１対応関係を規定する第１制御パターンを取得する。第１対応関係は、複数の指示と照明装置３０が出力する可視光の複数の色温度を示す。複数の指示と複数の色温度は１対１の関係である。脈波演算装置１００は予め保持する第１色温度を示す情報を保持する。次に、光源制御部１１５は、第１色温度に対応する第１指示を、第１制御パターンに規定される第１対応関係を参照して決定する。次に、光源制御部１１５は、第１指示を照明装置３０に出力する。次に、照明装置３０は第１指示に対応した色温度を有する可視光をユーザに照射する。次に、可視光撮像部１２２は第１指示に対応した色温度を有する可視光を照射されたユーザを可視光領域において撮像して複数の第１可視光画像を取得する。次に、可視光波形演算部１１１は複数の第１可視光画像から第１の複数の色相を演算し、第１の複数の色相からユーザの脈波を示す波形である第１色相波形を抽出する。色相波形を抽出の詳細は図２３など用いてすでに詳述した。光源制御部１１５は、第１色相波形の振幅が所定の色相範囲に属するか否かを判断し、属すると判断した場合、処理は上述した光源の切り替え制御に移る。光源制御部１１５は、第１色相波形の振幅が所定の色相範囲に属するか否かを判断し、属さないと判断した場合、以下の処理に移る。光源制御部１１５は、第１色温度と異なる第２色温度に対応する第２指示を、第１制御パターンを参照して決定し、第２指示を照明装置３０に出力する。次に、照明装置３０は第２指示に対応した色温度を有する可視光をユーザに照射する。次に、可視光撮像部１２２は第２指示に対応した色温度を有する可視光を照射されユーザを可視光領域において撮像して複数の第４可視光画像を取得する。可視光波形演算部１１１は複数の第４可視光画像から第２の複数の色相を演算し、演算した第２の複数の色相からユーザの脈波を示す波形である第２色相波形を抽出する。色相波形の抽出の詳細は図２３など用いてすでに詳述した。次に、光源制御部１１５は、第２色相波形の振幅が所定の色相範囲に属するかを判断する。光源制御部１１５は、第２色相波形の振幅が所定の色相範囲に属すると判断し場合、処理は上述した光源の切り替え制御に移る。光源切り替えの制御において、相関度演算部１１３は複数の第４可視光画像を用いてユーザの脈波を示す波形である可視光波形と抽出し、この可視光波形と複数の赤外光画像を用いて抽出するユーザの脈波を示す波形である赤外光波形から相関度を求めてもよい。
《第２制御パターン》
図２６は、照明装置が第２制御パターンにより調光される装置である場合の可視光光源の光量を０になるまで減少させ、かつ、赤外光光源の光量を適切な光量まで増加させる光源の切り替え制御について説明するための図である。図２６の（ａ）は、可視光光源である照明装置３０と赤外光光源１２３とのそれぞれにおける各光量に応じた電圧の変化を示すグラフである。図２６の（ａ）のグラフにおいて、横軸は時間を示し、縦軸は光量に応じた電圧を示す。図２６の（ｂ）および（ｃ）は、共に、図２６の（ａ）のように各光源に印加する電圧を変化させた場合の、可視光波形および赤外光波形を示す。図２６の（ｂ）および（ｃ）のグラフにおいて、横軸は時間を示し、縦軸は輝度を示す。
図２６は、照明装置が第２制御パターンにより調光される装置である場合の可視光光源の光量を０になるまで減少させ、かつ、赤外光光源の光量を適切な光量まで増加させる光源の切り替え制御について説明するための図である。図２６の（ａ）は、可視光光源である照明装置３０と赤外光光源１２３とのそれぞれにおける各光量に応じた電圧の変化を示すグラフである。図２６の（ａ）のグラフにおいて、横軸は時間を示し、縦軸は光量に応じた電圧を示す。図２６の（ｂ）および（ｃ）は、共に、図２６の（ａ）のように各光源に印加する電圧を変化させた場合の、可視光波形および赤外光波形を示す。図２６の（ｂ）および（ｃ）のグラフにおいて、横軸は時間を示し、縦軸は輝度を示す。
また、可視光を照射する光源である照明装置３０から赤外光光源１２３への光源の切り替え制御において、光源の切り替えが完了する完了時間をＴとしている。この完了時間Ｔは、例えば、切り替えを開始してから２分から１０分程度の時間である。これにより、より正確に、可視光波形と赤外光波形とを取得し、比較することができる。
図２６に示すように照明装置３０の調光の段階が一段階である場合、照明装置３０は、照射される可視光はオンかオフかのいずれかで調光される。したがって、脈波計測装置１０は、照明装置３０がオンである状態で赤外光光源１２３における光量を調整することで、赤外光の下でユーザの脈波を取得できる状態の光量に調整する必要がある。具体的には、光源制御部１１５は、赤外光光源１２３が発する赤外光の光量を予め定められた第１変化量だけ大きくする制御信号を、赤外光制御信号とし赤外光光源１２３に出力する。赤外光光源１２３は、当該赤外光制御信号を受信すると、第１変化量だけ光量が増加するように、図２６の（ａ）に示すような所定の電圧が印加され、図２６の（ｂ）および（ｃ）に示すように第１変化量だけ光量が増加する。
なお、赤外光撮像部１２４のハードウェアである赤外光カメラ２４は可視光領域の波長帯の光の影響も受ける。このため、脈波計測装置１０は、照明装置３０をオフにする前に、予め赤外光撮像部１２４における、照明装置３０をオフにすることによる輝度の減少を予測し、赤外光光源１２３における光量を増加させる必要がある。
そして、光源制御部１１５は、照明装置３０をオフにする制御信号を、可視光制御信号として照明装置３０に出力する。照明装置３０は、可視光制御信号を受信すると、オフになり、可視光を照射しない状態となる。このように、脈波計測装置１０は、照明装置３０をオフにした場合であっても、赤外光光源１２３における光量を予め増加させているため、効果的に赤外光波形の特徴点（例えば、ピーク点のタイミング等）を取得することができる。
なお、光源制御部１１５は、赤外光光源１２３の光量の調整を、数を重ねることで学習してもよい。例えば、図２２の（ｃ）に示すように、上記の切り替え制御を１回行っただけでは、赤外光光源１２３での光量の増加量が足りなかったせいで、照明装置３０での可視光がオフになった時に、赤外光波形の特徴点（例えばピーク点）を取得できない場合がある。この場合、光源制御部１１５は、赤外光波形の特徴点が取得できるまで、赤外光光源１２３における光量をさらに増加させる。そして、光源制御部１１５は、赤外光波形の特徴量が取得できた場合における、照明装置３０がオフになる直前の赤外光の光量と、照明装置３０がオフになった後、さらに増加させた赤外光光源１２３の光量とを記憶し、それらの光量の和を、次回の切り替え制御において照明装置３０をオフにする直前に設定する赤外光光源１２３の光量としてもよい。これにより、脈波計測装置１０は、毎回の赤外光波形の取得を失敗する確率を減少させることができ、より効果的にユーザの睡眠中の脈波を取得することができる。
《第３制御パターン》
次に、照明装置３０の調光の段階が二段階である場合について説明する。
次に、照明装置３０の調光の段階が二段階である場合について説明する。
図２７は、照明装置が第３制御パターンにより調光される装置である場合の光源の切り替え制御について説明するための図である。図２７の（ａ）は、可視光光源である照明装置３０と赤外光光源１２３とのそれぞれにおける各光量に応じた電圧の変化を示すグラフである。図２７の（ａ）において、横軸は時間を示し、縦軸は光量に応じた電圧を示す。図２７の（ｂ）は、図２７の（ａ）のように各光源に印加する電圧を変化させた場合の、可視光波形および赤外光波形を示す。図２７の（ｂ）において、横軸は時間を示し、縦軸は輝度を示す。また、図２６と同様に、切り替え制御における完了時間をＴとしている。
図２７の（ａ）および（ｂ）に示すように、照明装置３０の調光の段階が二段階である場合、可視光が第１可視光光量から第２可視光光量に一段階下がっても、第２可視光光量は０ではないため、可視光波形が取得できる状態である。したがって、二段階である場合、まず、最初の一段階の調光を行う。つまり、光源制御部１１５は、赤外光光源１２３が発する赤外光の光量を第１赤外光光量から予め定められた第２変化量だけ大きくした第２赤外光光量に制御する制御信号を、赤外光制御信号として赤外光光源１２３に出力する。そして、光源制御部１１５は、照明装置３０を第１可視光光量から第２可視光光量に変化させる制御信号を、可視光制御信号として照明装置３０に出力する。
赤外光光源１２３は、当該赤外光制御信号を受信すると、第２変化量だけ光量が増加するように、図２７の（ａ）の一段階目の変化に示すような所定の電圧が印加され、図２７の（ｂ）に示すように第２変化量だけ光量が増加する。また、照明装置３０は、当該可視光制御信号を受信すると、第１可視光光量から第２可視光光量に光量を変化させる。
このとき、脈波計測装置１０では、一段階目の調光において、照明装置３０における電圧の降下による、可視光の輝度の減少量を把握できる。それによって、次の一段階の調光において、電圧降下による可視光の輝度降下を予測することができる。
つまり、光源制御部１１５は、赤外光制御信号を出力する前後の第１および第２赤外光画像から得られる赤外光の輝度変化と、可視光制御信号を出力する前後の第１および第３可視光画像から得られる可視光の輝度変化とに応じて、赤外光光源１２３の赤外光の光量における第３変化量を決定する。
なお、第１赤外光画像は、赤外光制御信号が出力される前に赤外光撮像部１２４により撮像された赤外光画像であり、第２赤外光画像は、赤外光制御信号が出力された後に赤外光撮像部１２４により撮像された赤外光画像である。また、第２可視光画像は、可視光制御信号が出力される前に可視光撮像部１２２により撮像された可視光画像であり、第３可視光画像は、可視光制御信号が出力された後に可視光撮像部１２２により撮像された可視光画像である。
ここで決定する第３変化量は、例えば、照明装置３０が二段階目の調光によってオフとされたときに赤外光画像に影響しうる赤外光の輝度変化と同等以上の値であってもよい。そして、光源制御部１１５は、第２赤外光光量から、決定した第３変化量だけ大きくした第３赤外光光量に制御する制御信号を、赤外光制御信号として赤外光光源１２３に出力する。その後、光源制御部１１５は、照明装置３０をオフにする二段階目の制御信号を、可視光制御信号として照明装置３０に出力する。
赤外光光源１２３は、当該赤外光制御信号を受信すると、第３変化量だけ光量が増加するように、図２７の（ａ）の二段階目の変化に示すような所定の電圧が印加され、図２７の（ｂ）に示すように第３変化量だけ光量が増加する。照明装置３０は、当該可視光制御信号を受信すると、オフになり、可視光を照射しない状態となる。
このように、脈波計測装置１０は、照明装置３０が第３制御パターンにより調光される装置である場合、一段階目の調光において可視光の輝度の減少量を取得し、取得した減少量に応じて、赤外光光源１２３の光量を増加させることで、より効果的に、赤外光波形を取得することができる。
また、照明装置３０が、調光する段階が三段階からさらに多くなる多段階になればなるほど、上記と同様の原理を一段階毎に繰り返すことにより、より効果的に赤外光波形を取得できる。
なお、光源制御部１１５は、「ＦＡＬＳＥ、ＢＯＴＨ」の信号を受け取った場合、照明装置３０における可視光の光量を一番明るい光量に戻した後、赤外光光源１２３の光量を、再び赤外光波形の第２の傾きが第１の傾きＡになるまで、大きくする処理を繰り返す。
《第４制御パターン》
次に、照明装置３０の調光の段階が無段階である場合について説明する。
次に、照明装置３０の調光の段階が無段階である場合について説明する。
図２８は、照明装置が第４制御パターンにより調光される装置である場合の光源の切り替え制御の一例について説明するための図である。図２８の（ａ）は、可視光光源である照明装置３０と赤外光光源１２３とのそれぞれにおける各光量に応じた電圧の変化を示すグラフである。図２８の（ａ）において、横軸は時間を示し、縦軸は光量に応じた電圧を示す。図２８の（ｂ）は、図２８の（ａ）のように各光源に印加する電圧を変化させた場合の、可視光波形および赤外光波形を示す。図２８の（ｂ）において、横軸は時間を示し、縦軸は輝度を示す。
図２８の（ａ）に示すように、照明装置３０の調光の段階が無段階である場合、可視光の光量は、印加する電圧を線形的に下げていくと、線形的に減少し、完了時間Ｔで電源がオフになる。一方で、赤外光光源１２３における赤外光の光量は、印加する電圧を線形的に上げていくと、線形的に増加しているのがわかる。このとき、可視光波形は、図２８の（ｂ）に示すように、電圧の変化に応じて減少し、赤外光波形は、電圧の変化に応じて増加する。したがって、照明装置３０が、第４制御パターンにより調光される装置である場合、可視光波形の取得から赤外光波形の取得にうまく切り替えが行えなかった場合であっても、線形的に増減させることができるため、微調整をしながら、赤外光における脈波を取得することができる。さらに、段階がある場合の照明装置と異なり微調整が可能なため、より可視光における可視光波形の特徴点を捉えながら、赤外光における赤外光波形の特徴点を取得することができる。
なお、照明装置３０の調光の段階が無段階である場合、可視光を線形に減少させ、赤外光を線形に増加させるとしたが、これに限るものではない。例えば、図２９に示すように、光源制御部１１５は、照明装置３０による照度が所定の閾値、例えば、５０〜２００ルクスであり、赤外光波形演算部１１２において、赤外光波形の特徴点が取得できた場合、照度が所定の閾値となるように輝度が制御されている照明装置３０をオフとしてもよい。このように制御することで、可視光をオフにするまで線形に減少させる場合と比較して、より早くオフにすることができ、快適な睡眠への導入を行うことができる。
ここで、図２９は、照明装置の照度が所定の閾値である場合に、オフにする切り替え制御の一例を示す図である。図２９の（ａ）は、可視光光源である照明装置３０と赤外光光源１２３とのそれぞれにおける各光量に応じた電圧の変化を示すグラフである。図２９の（ａ）において、横軸は時間を示し、縦軸は光量に応じた電圧を示す。図２９の（ｂ）は、図２９の（ａ）のように各光源に印加する電圧を変化させた場合の、可視光波形および赤外光波形を示す。図２９の（ｂ）において、横軸は時間を示し、縦軸は輝度を示す。
つまり、この場合、脈波計測装置１０は、相関度演算部１１３が演算した相関度が所定の閾値（第２の閾値）以上の場合に、赤外光光源１２３における赤外光の光量を増加させる制御信号を赤外光制御信号として赤外光光源１２３に出力し、照明装置３０における可視光の光量を減少させる制御信号を可視光制御信号として照明装置３０に出力し、第３可視光画像の取得、第２可視光波形の抽出、第２赤外光画像の取得、および、第２赤外光波形の抽出の後にさらに、相関度の演算を繰り返し行う。なお、第２可視光波形は、第３可視光画像から抽出した、ユーザの脈波を示す波形である。第２赤外光波形は、第２赤外光画像から抽出した、ユーザの脈波を示す波形である。
そして、光源制御部１１５は、照明装置３０の光量が第２の閾値以下となり、かつ、繰り返し行われた相関度の演算の結果、相関度が所定の閾値以上となった場合に、照明装置３０をオフにする制御信号を、可視光制御信号として照明装置に出力してもよい。なおこの場合の第２の閾値とは、照度が所定の閾値の場合の照明装置３０による光量である。
また、照明装置３０は、より効果的に可視光を照射する光源である照明装置３０から赤外光光源１２３への光源の切り替え制御を行うために、切り替えにかかる完了時間をＴとして設定したが、これに限るものではない。特に、照明装置３０の調光の段階が無段階である場合は、ユーザによる指示に応じて、調整時間を早めた切り替え制御を行ってもよい。ユーザの中には、寝る時に毎回光源の切り替えのために完了時間Ｔ（例えば、２分から１０分もの間）、可視光を制御されるのは、苦痛を感じる人がいる。したがって、図５の（ｂ）に示したように、例えば、「通常モード」と「時短モード」との２種類の切り替え制御を用意してもよい。「通常モード」がユーザにより選択された場合、脈波計測装置１０は、通常設定されている完了時間Ｔをかけて、切り替え制御を行う。また、「時短モード」がユーザにより選択された場合、可視光波形や赤外光波形が取得されることの正確性よりも早さを重視し、例えば、切り替えにかかる完了時間をＴ／３（例えば、３０秒から３分程度）とし、この間に取得された可視光波形および赤外光波形を用いることで、切り替え制御を行ってもよい。
つまり、脈波計測装置１０は、通常モードにおける通常処理と、時短モードにおける短時間処理との、いずれかの処理を実行する。通常処理とは、演算した相関度が所定の閾値以上の場合に、赤外光光源１２３における赤外光の光量を第１速度で増加させる制御信号を赤外光制御信号として出力し、照明装置３０における可視光の光量を第２速度で減少させる制御信号を可視光制御信号として出力し、第３可視光画像の取得、第２可視光波形の抽出、第２赤外光画像の取得、および、第２赤外光波形の抽出の後にさらに、相関度の演算を繰り返し行う処理である。短時間処理とは、演算した相関度が所定の閾値以上の場合に、赤外光光源１２３における赤外光の光量を第１速度よりも２倍以上速い第３速度で増加させる制御信号を赤外光制御信号として出力し、照明装置３０における可視光の光量を第２速度よりも２倍以上速い第４速度で減少させる制御信号を可視光制御信号として出力し、第３可視光画像の取得、第２可視光波形の抽出、第２赤外光画像の取得、および、第２赤外光波形の抽出の後にさらに、相関度の演算を繰り返し行う処理である。
図３０は、短縮した完了時間において切り替え制御を行う場合の一例を示す図である。図３０の（ａ）は、可視光光源である照明装置３０と赤外光光源１２３とのそれぞれにおける各光量に応じた電圧の変化を示すグラフである。図３０の（ａ）において、横軸は時間を示し、縦軸は光量に応じた電圧を示す。図３０の（ｂ）は、図３０の（ａ）のように各光源に印加する電圧を変化させた場合の、可視光波形および赤外光波形を示す。図３０の（ｂ）において、横軸は時間を示し、縦軸は輝度を示す。
図３０の（ａ）に示すように、照明装置３０から照射される光量は、切り替え制御開始から完了時間Ｔ／３でオフになっている。このとき、図３０の（ｂ）に示すように、可視光波形のピーク数は、完了時間がＴの通常モードでの切り替え制御において取得される可視光波形のピーク数よりも少ない。したがって、時短モードの場合、切り替え制御において赤外光波形を取得するために比較する可視光波形の特徴点のデータ数が減る。このため、切り替え制御の正確度が減ってしまうが、切り替え制御にかかる時間を短縮することができる。この時短モードで切り替え制御を行うことにより、ユーザは、早く寝たい日等は、素早く切り替えを行い、睡眠に入ることができる。
（生体情報算出部）
生体情報算出部１１６は、可視光波形演算部１１１で取得された可視光波形または赤外光波形演算部１１２で取得された赤外光波形のそれぞれの特徴量のいずれか一方を用いて、ユーザの生体情報を算出する。生体情報算出部１１６は、具体的には、照明装置３０がＯＮであり、かつ、可視光波形演算部１１１において可視光波形を取得できる場合、可視光波形演算部１１１から第１心拍間隔時間を取得する。そして、生体情報算出部１１６は、第１心拍間隔時間を用いて、例えば心拍数、ストレス指数などの生体情報を算出する。
生体情報算出部１１６は、可視光波形演算部１１１で取得された可視光波形または赤外光波形演算部１１２で取得された赤外光波形のそれぞれの特徴量のいずれか一方を用いて、ユーザの生体情報を算出する。生体情報算出部１１６は、具体的には、照明装置３０がＯＮであり、かつ、可視光波形演算部１１１において可視光波形を取得できる場合、可視光波形演算部１１１から第１心拍間隔時間を取得する。そして、生体情報算出部１１６は、第１心拍間隔時間を用いて、例えば心拍数、ストレス指数などの生体情報を算出する。
一方で、生体情報算出部１１６は、照明装置３０がＯＦＦである、または、可視光波形演算部１１１において可視光波形が取得できない場合であって、赤外光波形演算部１１２において赤外光波形が取得できる場合、赤外光波形演算部１１２から第２心拍間隔時間を取得する。そして、生体情報算出部１１６は、第２心拍間隔時間を用いて、同様に、例えば心拍数、ストレス指数などの生体情報を算出する。
なお、生体情報算出部１１６は、可視光波形演算部１１１および赤外光波形演算部１１２の両方において各波形（可視光波形および赤外光波形）の特徴量（心拍間隔時間）が抽出できている場合、可視光波形演算部１１１からの第１心拍間隔時間を用いて、生体情報を算出する。これは、赤外光よりも可視光の方が、体動等のノイズへのロバスト性があり、信頼性が高いからである。
なお、生体情報算出部１１６は、取得された可視光波形の特徴量を用いて生体情報を算出してもよいし、取得された赤外光波形の特徴量を用いて生体情報を算出してもよい。また、生体情報算出部１１６は、光源制御部１１５から第２制御情報が出力された後に取得された第２可視光波形の特徴量を用いてユーザの生体情報を算出してもよいし、光源制御部１１５から第２制御情報が出力される前に取得された第１可視光波形の特徴量を用いてユーザの生体情報を算出してもよい。同様に、生体情報算出部１１６は、光源制御部１１５から赤外光制御信号が出力された後に取得された第２赤外光波形の特徴量を用いてユーザの生体情報を算出してもよいし、光源制御部１１５から赤外光制御信号が出力される前に取得された第１赤外光波形の特徴量を用いてユーザの生体情報を算出してもよい。
なお、生体情報算出部１１６は、取得された可視光波形の特徴量を用いて生体情報を算出してもよいし、取得された赤外光波形の特徴量を用いて生体情報を算出してもよい。また、生体情報算出部１１６は、光源制御部１１５から第２制御情報が出力された後に取得された第２可視光波形の特徴量を用いてユーザの生体情報を算出してもよいし、光源制御部１１５から第２制御情報が出力される前に取得された第１可視光波形の特徴量を用いてユーザの生体情報を算出してもよい。同様に、生体情報算出部１１６は、光源制御部１１５から赤外光制御信号が出力された後に取得された第２赤外光波形の特徴量を用いてユーザの生体情報を算出してもよいし、光源制御部１１５から赤外光制御信号が出力される前に取得された第１赤外光波形の特徴量を用いてユーザの生体情報を算出してもよい。
なお、算出する生体情報は、心拍数やストレス指数としたが、これに限ったものではない。例えば、得られた脈波から加速度脈波を算出し、動脈硬化指数を算出してもよい。また、２箇所の異なるユーザの部位から脈波のタイミングを正確に取得し、その時間差（脈波伝播時間）から血圧を推定してもよい。また、心拍間隔時間の変動から、交感神経、副交感神経の優位性を算出し、睡眠深度を算出してもよい。
なお、生体情報算出部１１６は、ストレス指数としては、ＬＦ／ＨＦの数値に応じて、「ストレスが高い」、「ストレスが低い」などを示す情報を出力してもよい。
また、生体情報算出部１１６は、睡眠深度として、特許文献３に示すように、求めることができる。睡眠深度は、具体的には、ＬＦ、ＨＦおよび体動の有無に基づいて、判定できる。なお、睡眠深度とは、被験者の脳の活動状態の程度を示す指標である。例えば、睡眠深度として、ノンレム睡眠、レム睡眠のいずれに該当するかを判定してもよい。さらにノンレム睡眠においてはさらに浅睡眠、深睡眠のいずれに該当するかを判定してもよい。
なお、生体情報算出部１１６は、判定された睡眠深度の段階毎に段階に応じた数値を付与することで、当該数値を睡眠深度として出力してもよい。
なお、ＬＦ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ）およびＨＦ（Ｈｉ Ｆｒｅｑｕｅｎｃｙ）は、特許文献３に示すような処理を行うことで得られる。つまり、脈拍間隔データ（心拍間隔時間）を例えばＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）にて周波数スペクトル分布に変換する。次に、得られた周波数スペクトル分布より、ＬＦ，ＨＦを得る。具体的には、複数のパワースペクトルのピーク値とピーク値を中心として前後等間隔の１点との３点の合計値の算術平均をとってＬＦ、ＨＦとする。なお、周波数解析法としてＦＦＴ法の他の例としては、ＡＲモデル、最大エントロピー法、ウェーブレット法などを用いることができる。
（提示装置）
提示装置４０は、生体情報算出部１１６から受診した、生体情報を提示する装置である。提示装置４０は、具体的には、生体情報算出部１１６より得た心拍数やストレス指数、睡眠深度等の生体情報を提示する装置である。提示装置４０は、例えば、携帯端末２００により実現され、携帯端末２００のディスプレイ２０４に生体情報を示すグラフィックを表示してもよいし、携帯端末２００の図示しないスピーカから生体情報を示す音声を出力してもよい。
提示装置４０は、生体情報算出部１１６から受診した、生体情報を提示する装置である。提示装置４０は、具体的には、生体情報算出部１１６より得た心拍数やストレス指数、睡眠深度等の生体情報を提示する装置である。提示装置４０は、例えば、携帯端末２００により実現され、携帯端末２００のディスプレイ２０４に生体情報を示すグラフィックを表示してもよいし、携帯端末２００の図示しないスピーカから生体情報を示す音声を出力してもよい。
なお、提示装置４０は、脈波計測装置１０にディスプレイが内蔵されている場合、当該ディスプレイによって実現してもよいし、脈波計測装置１０にスピーカが内蔵されている場合、当該スピーカによって実現してもよい。
なお、提示装置４０は、生体情報算出部１１６より得た生体情報を提示するとしたが、これに限らない。提示装置４０は、例えば、常に、照明装置３０における光源の光量や、赤外光光源１２３における光源の光量を提示してもよい。また、提示装置４０は、相関度演算部１１３より、現在時点での一致度を、例えば、信頼度として％表示で提示してもよい。具体的には、提示装置４０は、可視光波形と赤外光波形との間の相関係数を提示してもよい。
図３１は、提示装置への表示例を示す図である。図３１に示すように、提示装置４０は、心拍数、ストレス指数、睡眠深度、また、現在の信頼度（すなわち、可視光波形および赤外光波形の心拍間隔時間の相関係数）を示すグラフィックを表示する。また、提示装置４０は、現時点における可視光光源および赤外光光源の光量の比も表示してもよい。また、提示装置４０は、これらのパラメータからユーザの睡眠状態がどのような状態なのかを心拍数、ストレス指数および睡眠深度の各数値と、睡眠状態とが予め対応付けられたテーブルを参照することで睡眠状態を判定し、判定した睡眠状態を表示してもよい。提示装置４０は、例えば、心拍数６５以下、ストレス指数４０以下、睡眠深度が７０以上だと「ＧＯＯＤ」と表示する。なお、提示装置４０は、上記の生体情報などの提示内容を、算出した直後に表示しなくてもよい。つまり、ユーザは、基本的に睡眠を行っているため、算出することにより得られた生体情報などの提示内容をすぐに提示するのではなく、例えば、記録（蓄積）しておき、ユーザが、例えば次の日の朝に、起きた時点で、当該提示内容を提示してもよい。これにより、ユーザは起きてすぐに、いい睡眠が取れたのかどうかを確認できる。
［１−３．動作］
次に、本実施の形態に係る脈波計測装置１０の動作について説明する。図３２は、本実施の形態における脈波計測装置１０の処理の流れを示すフローチャートである。
次に、本実施の形態に係る脈波計測装置１０の動作について説明する。図３２は、本実施の形態における脈波計測装置１０の処理の流れを示すフローチャートである。
まず、照明装置３０は、ユーザが部屋に入室または、ユーザ自身がコントロールを制御することにより、起動する。
まず、光源制御部１１５は、照明装置３０から第４制御パターンを取得する（Ｓ００１）。
光源制御部１１５は、取得した第４制御パターンに基づいて可視光制御信号を照明装置３０に出力することで、照明装置３０の可視光の色温度を、抽出された色相波形が所定の基準値（例えば、色相環における３０度）を基準とする色相範囲（例えば、０度以上６０度以下の範囲）に収まるように照明装置３０の色温度を調整する（Ｓ００２）。
可視光波形演算部１１１は、照明装置３０により可視光を照射されたユーザを可視光領域において撮像することにより得られた第２可視光画像を取得する（Ｓ００３）。
赤外光波形演算部１１２は、赤外光光源１２３により赤外光を照射されたユーザを赤外光領域において撮像することにより得られた第１赤外光画像を取得する（Ｓ００４）。
可視光波形演算部１１１は、取得した第２可視光画像から、ユーザの脈波を示す波形である第１可視光波形を抽出する（Ｓ００５）。可視光波形演算部１１１は、可視光波形において所定の特徴点である第１特徴点を複数抽出する。そして、可視光波形演算部１１１は、可視光波形の特徴量として、第１心拍間隔時間を算出する。また、可視光波形演算部１１１は、この時の可視光波形の頂点から底点までの傾きを第１の傾きＡとしてメモリに記憶させる。
赤外光波形演算部１１２は、取得した第１赤外光画像から、ユーザの脈波を示す波形である第１赤外光波形を抽出する（Ｓ００６）。赤外光波形演算部１１２は、赤外光波形において所定の特徴点である第２特徴点を複数抽出する。そして、赤外光波形演算部１１２は、赤外光波形の特徴量として、第２心拍間隔時間を算出する。
そして、相関度演算部１１３は、ピーク点の判定を行う（Ｓ００７）。具体的には、相関度演算部１１３は、可視光波形において抽出された第１特徴点について、過剰取得されたピーク点がないか否かを判定する。また、相関度演算部１１３は、赤外光波形において抽出された第２特徴点について、過剰取得されたピーク点がないか否かを判定する。なお、相関度演算部１１３によるピーク点の判定処理の詳細は、後述する。
次に相関度演算部１１３は、可視光波形および赤外光波形の相関度を演算する（Ｓ００８）。なお、相関度演算部１１３による相関度の演算処理の詳細は、後述する。
次に、光源制御部１１５は、各光源の光量の調整を行う（Ｓ００９）。光源制御部１１５は、光量の調整の結果に応じて、各光源の光量を制御するための制御信号を出力する。なお、光源制御部１１５による照明装置３０および赤外光光源１２３の光量の調整処理の詳細は、後述する。
次に、各光源の調整が行われた後において、ステップＳ００１０〜Ｓ０１３として、ステップＳ００３〜ステップＳ００６の処理を繰り返す。
次に、生体情報算出部１１６は、可視光波形の特徴量および赤外光波形の特徴量の少なくとも一方から、生体情報を算出する（Ｓ０１４）。
次に、生体情報算出部１１６は、算出した生体情報を提示装置４０へ出力する（Ｓ０１５）。
図３３は、本実施の形態におけるピーク点の過剰取得判定処理の詳細を示すフローチャートである。
相関度演算部１１３は、第１心拍間隔時間の標準偏差ＳＤＲＧＢを算出する（Ｓ１０１）。
次に、相関度演算部１１３は、標準偏差ＳＤＲＧＢが第４の閾値以下であるか否かを判定する（Ｓ１０２）。
相関度演算部１１３は、標準偏差ＳＤＲＧＢが第４の閾値以下であると判定した場合（Ｓ１０２でＹｅｓ）、第２心拍間隔時間の標準偏差ＳＤＩＲを算出する（Ｓ１０３）。
そして、相関度演算部１１３は、標準偏差ＳＤＩＲが第４の閾値以下であるか否かを判定する（Ｓ１０４）。
このように、相関度演算部１１３は、ステップＳ１０２およびステップＳ１０４の少なくとも一方を行うことで、算出した標準偏差ＳＤＲＧＢが第４の閾値を超えており、かつ、算出した標準偏差ＳＤＩＲが前記第４の閾値を超えているか否かを判定する第２判定を行う。
相関度演算部１１３は、標準偏差ＳＤＩＲが第４の閾値以下であると判定した場合（Ｓ１０４でＹｅｓ）、「Ｆａｌｓｅ」の信号を光源制御部１１５に送信する（Ｓ１０５）。
一方で、相関度演算部１１３は、標準偏差ＳＤＲＧＢが第４の閾値を超えると判定した場合（Ｓ１０２でＮｏ）、または、標準偏差ＳＤＩＲが第４の閾値を超えると判定した場合（Ｓ１０４でＮｏ）、対応する第１心拍間隔時間と第２心拍間隔時間との間の絶対誤差ｅを算出する（Ｓ１０６）。
相関度演算部１１３は、絶対誤差ｅが−２００〔ｍｓ〕より小さいか否かを判定する（Ｓ１０７）。
相関度演算部１１３は、絶対誤差ｅが−２００〔ｍｓ〕より小さいと判定した場合（Ｓ１０７でＹｅｓ）、「Ｆａｌｓｅ，ＲＧＢ」の信号を光源制御部１１５に送信する（Ｓ１０９）。
一方で、相関度演算部１１３は、絶対誤差ｅが−２００〔ｍｓ〕以上であると判定した場合（Ｓ１０７でＮｏ）、絶対誤差ｅが２００〔ｍｓ〕より大きいか否かを判定する（Ｓ１０８）。
つまり、相関度演算部１１３は、第２判定の結果、標準偏差ＳＤＲＧＢが第４の閾値を超えており、かつ、標準偏差ＳＤＩＲが第４の閾値を超えていると判定した場合、時系列において互いに対応する第１心拍間隔時間および第２心拍間隔時間の絶対誤差ｅ（時間差）が第５の閾値未満であるか否かの第３判定、および、第５の閾値よりも大きい第６の閾値より時間差が大きいか否かの第４判定を行う。
相関度演算部１１３は、絶対誤差ｅが２００〔ｍｓ〕より大きいと判定した場合（Ｓ１０８でＹｅｓ）、「Ｆａｌｓｅ，ＩＲ」の信号を光源制御部１１５に送信する（Ｓ１１０）。
相関度演算部１１３は、絶対誤差ｅが２００〔ｍｓ〕以下であると判定した場合（Ｓ１０８でＮｏ）、「Ｆａｌｓｅ，Ｂｏｔｈ」の信号を光源制御部１１５に送信する（Ｓ１１１）。
図３４は、本実施の形態における相関度の演算処理の詳細を示すフローチャートである。
まず、相関度演算部１１３は、複数の第１心拍間隔時間と複数の第２心拍間隔時間との相関度を演算する（Ｓ２０１）。
相関度演算部１１３は、演算することにより得られた相関度が第２の閾値より大きいか否かを判定する（Ｓ２０２）。つまり、相関度演算部１１３は、演算した相関度が第２の閾値以上であるか否かを判定する第１判定を行う。
相関度演算部１１３は、相関度が第２の閾値より大きいと判定した場合（Ｓ２０２でＹｅｓ）、「Ｔｒｕｅ」の信号を光源制御部１１５に送信する（Ｓ２０３）。
一方で、相関度演算部１１３は、相関度が第２の閾値以下で有ると判定した場合（Ｓ２０２でＮｏ）、「Ｆａｌｓｅ」の信号を光源制御部１１５に送信する（Ｓ２０４）。
図３５は、本実施の形態における光量の調整処理の詳細を示すフローチャートである。
光源制御部１１５は、相関度演算部１１３から受信した信号が、「Ｔｒｕｅ」、「Ｆａｌｓｅ」、「Ｆａｌｓｅ，ＩＲ」、「Ｆａｌｓｅ，ＲＧＢ」および「Ｆａｌｓｅ，Ｂｏｔｈ」の信号のいずれの信号であるかを判定する（Ｓ３０１）。
光源制御部１１５は、受信した信号が「Ｔｒｕｅ」の信号である場合、可視光の光量を減少させ、かつ、赤外光の光量を増加させる（Ｓ３０２）。
光源制御部１１５は、受信した信号が「Ｆａｌｓｅ」または「Ｆａｌｓｅ，ＩＲ」の信号である場合、赤外光の光量を増加させる（Ｓ３０３）。つまり、光源制御部１１５は、絶対誤差ｅが第６の閾値より大きいと相関度演算部１１３により判定された場合、「Ｆａｌｓｅ，ＩＲ」の信号を受信するため、赤外光光源１２３における赤外光の光量を増加させる制御信号を赤外光制御信号として赤外光光源１２３に出力する。
光源制御部１１５は、ステップＳ３０２またはステップＳ３０３において、赤外光の光量を増加させた場合、赤外光波形の第２の傾きがメモリに記憶している第１の傾きＡに等しいか否かを判定する（Ｓ３０４）。また、光源制御部１１５は、さらに、ステップＳ３０２において、可視光の光量を減少させた場合、可視光の光量が０であるか否かを判定してもよい。
光源制御部１１５は、第２の傾きが第１の傾きに等しいと判定すれば（Ｓ３０４でＹｅｓ）、光量の調整処理を終了する。また、光源制御部１１５は、さらに、可視光の光量が０であると判定すれば、光量の調整処理を終了してもよい。
光源制御部１１５は、受信した信号が「Ｆａｌｓｅ，ＲＧＢ」である場合、標準偏差ＳＤＩＲが第４の閾値以下であるか否かを判定する（Ｓ３０５）。つまり、光源制御部１１５は、絶対誤差ｅが第５の閾値よりも小さいと相関度演算部１１３により判定された場合、標準偏差ＳＤＩＲが第４の閾値以下であるか否かを判定する第５判定を行う。
光源制御部１１５は、標準偏差ＳＤＩＲが第４の閾値以下であると判定した場合（Ｓ３０５でＹｅｓ）、ステップＳ３０２の処理を行う。つまり、光源制御部１１５は、標準偏差ＳＤＩＲが第４の閾値以下であると相関度演算部１１３により判定された場合、照明装置３０における可視光の光量を減少させる可視光制御信号を照明装置３０に出力し、かつ、赤外光光源１２３における赤外光の光量を増加させる赤外光制御信号を赤外光光源１２３に出力する。
光源制御部１１５は、受信した信号が「Ｆａｌｓｅ，Ｂｏｔｈ」である場合、または、標準偏差ＳＤＩＲが第４の閾値より大きいと判定した場合（Ｓ３０５でＮｏ）、可視光の光量を増加させて初期の光量に戻し、かつ、赤外光の光量を減少させ赤外光光源１２３をＯＦＦにする（Ｓ３０６）。つまり、光源制御部１１５は、絶対誤差ｅが第５の閾値以上第６の閾値以下であると相関度演算部１１３により判定された場合、「Ｆａｌｓｅ，Ｂｏｔｈ」の信号を受信するため、照明装置３０における可視光の光量を増加させる制御信号を可視光制御信号として照明装置３０に出力し、かつ、赤外光光源１２３における赤外光の光量を減少させる制御信号を赤外光制御信号として赤外光光源１２３に出力する。または、光源制御部１１５は、標準偏差ＳＤＩＲが第４の閾値より大きいと相関度演算部１１３により判定された場合、照明装置３０における可視光の光量を増加させる制御信号を可視光制御信号として照明装置３０に出力し、かつ、赤外光光源１２３における赤外光の光量を減少させる制御信号を赤外光制御信号として赤外光光源１２３に出力する。
光源制御部１１５は、ステップＳ３０４において第２の傾きが第１の傾きＡと異なると判定した場合（Ｓ３０４でＮｏ）またはステップＳ３０６が終了した場合、ステップＳ００１に戻る。つまり、脈波計測装置１０は、この場合、照明装置３０における可視光の光量、および、赤外光光源１２３における赤外線の光量の変更を行ってもステップＳ３０４の判定条件を満たさない場合、ステップＳ００１に戻り、可視光画像の取得、赤外光画像の取得、可視光波形の抽出、赤外光波形の抽出、および、相関度の演算を繰り返し、繰り返し行われた相関度の演算の結果に応じて、赤外光制御信号の出力、および、可視光制御信号の出力を行う。つまり、可視光画像の取得、赤外光画像の取得、可視光波形の抽出、赤外光波形の抽出、相関度の演算、赤外光制御信号の出力、および、可視光制御信号の出力は、ステップＳ３０４の判定条件を満たすまで繰り返し行われる。なお、２回目以降の処理で繰り返し取得された可視光画像を第３可視光画像とし、２回目以降の処理で繰り返し取得された赤外光画像を第２赤外光画像とし、２回目以降の処理で繰り返し抽出された可視光波形を第２可視光波形とし、２回目以降の処理で繰り返し抽出された赤外光波形を第２赤外光波形とする。
例えば、第２可視光画像は、可視光制御信号が出力される前に可視光撮像部１２２により撮像された可視光画像であり、第３可視光画像は、可視光制御信号が出力された後に可視光撮像部１２２により撮像された可視光画像である。また、第１赤外光画像は、赤外光制御信号が出力される前に赤外光撮像部１２４により撮像された赤外光画像であり、第２赤外光画像は、赤外光制御信号が出力された後に赤外光撮像部１２４により撮像された赤外光画像である。
［１−４．効果など］
本実施の形態に係る脈波計測装置１０によれば、赤外光光源１２３が発する赤外光の光量の制御に応じて、照明装置３０に予め定められた制御パターンを用いて、照明装置３０が照射する光量を制御する。このため、例えば市販の照明装置を利用した場合であっても、可視光の光量の調整と赤外光光量の調整とを適切に行うことができ、精度よく生体情報を算出できる。
本実施の形態に係る脈波計測装置１０によれば、赤外光光源１２３が発する赤外光の光量の制御に応じて、照明装置３０に予め定められた制御パターンを用いて、照明装置３０が照射する光量を制御する。このため、例えば市販の照明装置を利用した場合であっても、可視光の光量の調整と赤外光光量の調整とを適切に行うことができ、精度よく生体情報を算出できる。
また、脈波計測装置１０によれば、第１可視光波形の特徴量および第１赤外光波形の特徴量の少なくとも一方から、第２生体情報を算出し、算出した第２生体情報を出力する。
このため、可視光または赤外光の光量の調整前に取得された、第１可視光波形の特徴量および第１赤外光波形の特徴量の少なくとも一方から、第２生体情報を算出し、算出した第２生体情報を出力することができる。
また、脈波計測装置１０によれば、照明装置３０が、オンオフの一段階で光量を調整する第１制御パターンにより調光される装置である場合、赤外光光源が発する赤外光の光量を予め定められた第１変化量だけ大きくする制御信号を、赤外光制御信号として赤外光光源１２３に出力し、照明装置３０をオフにする制御信号を、可視光制御信号として照明装置３０に出力する。
このため、照明装置３０が一段階で光量を調整する照明装置であっても、適切に可視光の光量の調整と赤外光の光量の調整とを行うことができる。
また、脈波計測装置１０によれば、照明装置３０が、第１可視光光量と、第１可視光光量よりも小さい第２可視光光量との二段階で光量を調整する第２制御パターンにより調光される装置である場合、赤外光光源１２３が発する赤外光の光量を第１赤外光光量から予め定められた第２変化量だけ大きくした第２赤外光光量に制御する制御信号を、赤外光制御信号として赤外光光源１２３に出力し、照明装置３０を第１可視光光量から第２可視光光量に変化させる制御信号を、可視光制御信号として照明装置３０に出力し、第１および第２赤外光画像から得られる赤外光の輝度変化と、第１および第３可視光画像から得られる可視光の輝度変化とに応じて、赤外光の光量における第３変化量を決定し、第２赤外光光量から、決定した第３変化量だけ大きくした第３赤外光光量に制御する制御信号を、赤外光制御信号として前記赤外光光源に出力し、照明装置３０をオフにする二段階目の制御信号を、可視光制御信号として照明装置３０に出力する。
これによれば、脈波計測装置１０は、照明装置３０が第２制御パターンにより調光される装置である場合、一段階目の調光において可視光の輝度の減少量を取得し、取得した減少量に応じて、赤外光光源の光量を増加させることで、より効果的に、赤外光波形を取得することができる。
また、脈波計測装置１０によれば、照明装置３０が、無段階で光量を調整する第３制御パターンにより調光される装置である場合において、演算した相関度が所定の閾値以上の場合に、赤外光制御信号の出力では、赤外光光源における赤外光の光量を増加させる制御信号を赤外光制御信号として赤外光光源に出力し、可視光制御信号の出力では、照明装置３０における可視光の光量を減少させる制御信号を可視光制御信号として照明装置３０に出力し、第３可視光画像の取得、第２可視光波形の抽出、第２赤外光画像の取得、および、第２赤外光波形の抽出の後にさらに、相関度の演算を繰り返し行い、照明装置の光量が第２の閾値以下となり、かつ、繰り返し行われた相関度の演算の結果、相関度が所定の閾値以上となった場合に、照明装置３０をオフにする制御信号を、可視光制御信号として照明装置３０に出力する。
これによれば、可視光をオフにするまで線形に減少させる場合と比較して、より早くオフにすることができ、快適な睡眠への導入を行うことができる。
また、脈波計測装置１０によれば、照明装置３０が、無段階で光量を調整する第３制御パターンにより調光される装置である場合において、（ｉ）演算した相関度が所定の閾値以上の場合に、赤外光制御信号の出力では、赤外光光源１２３における赤外光の光量を第１速度で増加させる制御信号を赤外光制御信号として赤外光光源に出力し、可視光制御信号の出力では、照明装置における可視光の光量を第２速度で減少させる制御信号を可視光制御信号として照明装置に出力し、第３可視光画像の取得、第２可視光波形の抽出、第２赤外光画像の取得、および、第２赤外光波形の抽出の後にさらに、相関度の演算を繰り返し行う通常処理と、（ｉｉ）演算した相関度が所定の閾値以上の場合に、赤外光制御信号の出力では、赤外光光源における赤外光の光量を第１速度よりも２倍以上速い第３速度で増加させる制御信号を赤外光制御信号として赤外光光源に出力し、可視光制御信号の出力では、照明装置における可視光の光量を第２速度よりも２倍以上速い第４速度で減少させる制御信号を可視光制御信号として照明装置３０に出力し、第３可視光画像の取得、第２可視光波形の抽出、第２赤外光画像の取得、および、第２赤外光波形の抽出の後にさらに、相関度の演算を繰り返し行う短時間処理と、のいずれかの処理を実行する。
このため、切り替え制御にかかる時間を短縮することができる。
また、脈波計測装置１０によれば、照明装置３０が、光量および色温度を調整する第４制御パターンにより調光される装置である場合、照明装置３０の色温度を予め定められた温度に調整する制御信号を、可視光制御信号として照明装置３０に出力し、可視光制御信号の出力の後において取得した第３可視光画像から得られた色相を用いて、第２可視光波形を抽出する。また、脈波計測装置１０では、可視光制御信号の出力の後において、照明装置３０により色温度が前記予め定められた温度の可視光を照射されたユーザを可視光領域において撮像することにより得られた第３可視光画像を取得し、取得した第３可視光画像の色相から、ユーザの脈波を示す波形である色相波形を抽出し、抽出した色相波形が所定の基準値を基準とする範囲に収まるように照明装置の色温度を調整する制御信号を、可視光制御信号として照明装置３０に出力する。
これによれば、ユーザの肌表面の色みを白から赤っぽく、特に、色相Ｈの値が例えば３０度付近になるように、照明装置の色温度を変更することで、より体動や環境ノイズに対して、ロバストに可視光波形を取得することができる。
また、脈波計測装置１０によれば、ユーザの脈波が撮像された可視光画像から得られた可視光波形と、同一の脈波が撮像された赤外光画像赤外光波形から得られた赤外光波形との相関度を演算し、相関度に応じて赤外光光源が発する赤外光の光量を制御する。このため、赤外光光量の調整を適切に行うことができ、睡眠中などの暗闇状態であっても、ユーザの生体情報を取得することができる。これにより、人に接触する生体センサを設けることなく、非接触での睡眠時の生体モニタリング等が可能になる。
また、脈波計測装置１０によれば、相関度演算部１１３は、可視光波形から算出した第１心拍間隔時間と、赤外光波形から算出した第２心拍間隔時間とを比較することで、相関度を演算する。このため、可視光波形と赤外光波形との間の相関度を容易に演算できる。
また、脈波計測装置１０によれば、赤外光光源の光量を調整した後の赤外光波形における第２の傾きとメモリに記憶している第１の傾きＡとを比較するため、赤外光光源の光量が適切な光量になったか否かを判定できる。
また、脈波計測装置１０によれば、絶対誤差ｅが第３の閾値を超えている場合、第３の閾値を超えていると判定された第１心拍間隔時間および第２心拍間隔時間のうち、所定の特徴点が多い方の波形における心拍間隔時間の演算の基準となった所定の特徴点を当該心拍間隔時間の演算対象から除外する。このため、過剰に取得されたピーク点を削除することができ、適切な値の第１心拍間隔時間または第２心拍間隔時間を求めることができる。
また、脈波計測装置１０によれば、演算した相関度と、可視光波形および赤外光波形からの所定の特徴点の抽出結果とに応じて、可視光光源および赤外光光源における光量をそれぞれ、増加させるか、減少させるか、維持するかのいずれかに決定し、決定結果に応じた制御信号を可視光光源および赤外光光源に出力する。これにより、適切に可視光光源および赤外光光源の光量を調整することができる。
また、脈波計測装置１０によれば、制御信号により照明装置３０または赤外光光源１２３の光量を制御している間において取得された可視光波形または赤外光波形から所定の特徴点を抽出しない。このため、所定の特徴点を適切に抽出でき、精度よく生体情報を算出できる。
また、脈波計測装置１０によれば、可視光波形および赤外光波形のそれぞれにおいて、当該波形から連続する２つ以上の所定の特徴点が第２所定期間内に抽出されるまで、照明装置３０における可視光の光量を制御する制御信号、または、赤外光光源における赤外光の光量を制御する制御信号の出力を待機する。このため、所定の特徴点を適切に抽出でき、精度よく生体情報を算出できる。
［１−５．変形例］
［１−５−１．変形例１］
上記実施の形態では、制御パターン取得部１１４は、ユーザにより入力された照明装置３０の品番に応じて、当該照明装置３０に対応する制御パターンを脈波計測装置１０のストレージ１０３に記憶されている複数の制御パターンの中から選択することで、当該制御パターンを取得するとしたが、これに限るものではない。制御パターン取得部１１４は、例えば、赤外線によって、照明装置３０と通信を行うことで、当該照明装置３０の制御パターンを読み取ってもよい。具体的には、脈波計測装置１０は、赤外線等により複数の制御パターンに含まれる制御信号を送信することで、送信した信号に対する照明装置３０の反応を、照明装置３０の光量変化に応じて制御パターン取得部１１４にて判定することで、当該照明装置３０に対応する制御パターンを特定してもよい。これにより、ユーザにより品番の入力を受け付けなくても、照明装置３０の制御パターンを自動的に特定できる。
［１−５−１．変形例１］
上記実施の形態では、制御パターン取得部１１４は、ユーザにより入力された照明装置３０の品番に応じて、当該照明装置３０に対応する制御パターンを脈波計測装置１０のストレージ１０３に記憶されている複数の制御パターンの中から選択することで、当該制御パターンを取得するとしたが、これに限るものではない。制御パターン取得部１１４は、例えば、赤外線によって、照明装置３０と通信を行うことで、当該照明装置３０の制御パターンを読み取ってもよい。具体的には、脈波計測装置１０は、赤外線等により複数の制御パターンに含まれる制御信号を送信することで、送信した信号に対する照明装置３０の反応を、照明装置３０の光量変化に応じて制御パターン取得部１１４にて判定することで、当該照明装置３０に対応する制御パターンを特定してもよい。これにより、ユーザにより品番の入力を受け付けなくても、照明装置３０の制御パターンを自動的に特定できる。
具体的には、脈波計測装置１０は、図３６に示す動作を行ってもよい。
図３６は、変形例における制御パターン認識処理のフローチャートである。
脈波計測装置１０では、光源制御部１１５が照明装置３０に所定の制御信号を送信する（Ｓ４０１）。光源制御部１１５は、複数種類の制御信号を照明装置３０に送信する。例えば、光源制御部１１５は、「００００」から「１１１１」までの１６ビットの信号を送信する。
次に、可視光波形演算部１１１は、取得した可視光画像から照明装置３０の光量変化を取得する（Ｓ４０２）。
そして、光源制御部１１５は、可視光波形演算部１１１が取得した光量変化に応じて、予め記憶されている複数の制御パターンのうちで最適な制御パターンを選択するマッチング処理を行う（Ｓ４０３）。
光源制御部１１５は、マッチング処理によって最適な制御パターンを認識するまで、マッチング処理を行う（Ｓ４０４）。
［１−５−２．変形例２］
上記実施の形態では、ユーザは、切り替え制御において、脈波取得の正確性を重視するか、照明装置３０のオフまでの速さを重視するかを選択できるとしたが、これに限るものではない。例えば、ユーザの使用回数に応じて、自動的に光源の制御方法を変えてもよい。
上記実施の形態では、ユーザは、切り替え制御において、脈波取得の正確性を重視するか、照明装置３０のオフまでの速さを重視するかを選択できるとしたが、これに限るものではない。例えば、ユーザの使用回数に応じて、自動的に光源の制御方法を変えてもよい。
具体的には、初期設定時または一度設定を行ってから、１０回程度使用した場合には、正確性を重視し、じっくりと可視光と赤外光の光源を切り替えながら、正確な脈波が取得できるようにしてもよい。
また、一方で、一度設定してから数回は、ほとんど環境や条件等が変わらないことが考えられるため、あらかじめ、光源の切り替え制御における可視光および赤外光の光量を記憶しておき、記憶した光量の周辺で微調整することで、速さを重視した制御（つまり、時短モードによる切り替え制御）を行ってもよい。
このように、最低限必要なときに、正確性を重視してしっかり脈波を比較することで、ユーザの睡眠を邪魔することなく、正確に生体センシングができるようになる。
以上のように、本開示は、外部の照明装置に対して、その制御手段を獲得し、付随の赤外光光源との切り替えを行うことができるので、ユーザは照明がある場所ならばどこでも、睡眠中の生体センシングを行うことができるようになる。
［１−５−３．変形例３］
上記実施の形態では、特に言及していないが、照明装置３０は、光量０から起動する場合、光量をあらかじめ設定した初期値になるように制御してもよい。これにより、ユーザが好みの照度、または、ユーザによって、脈波が取得しやすい照度があった場合、すぐにその状態にすることができる。
上記実施の形態では、特に言及していないが、照明装置３０は、光量０から起動する場合、光量をあらかじめ設定した初期値になるように制御してもよい。これにより、ユーザが好みの照度、または、ユーザによって、脈波が取得しやすい照度があった場合、すぐにその状態にすることができる。
［１−５−４．変形例４］
また、可視光波形演算部１１１により、可視光波形が取得でき、かつ、可視光波形の頂点−底点間の傾きが最も大きかった時の、照明装置３０の光量を記録し、ユーザが部屋に入るたびに、照明装置３０の光量が記録した値になるように制御してもよい。
また、可視光波形演算部１１１により、可視光波形が取得でき、かつ、可視光波形の頂点−底点間の傾きが最も大きかった時の、照明装置３０の光量を記録し、ユーザが部屋に入るたびに、照明装置３０の光量が記録した値になるように制御してもよい。
［１−５−５．変形例５］
また、上記実施の形態では特に言及していないが、赤外光は、人の目に照射し続けると、視力が下がる可能性がある。このため、赤外光光源１２３は、ユーザの顔のうちで、人の目を除く領域にＲＯＩを限定して、赤外光を照射してもよい。赤外光光源１２３は、例えば、ユーザの顔に光を照射する場合、特に頬において脈波が取得しやすい。このため、光源制御部１１５は、例えばユーザの目の下の部分を特定し、当該部分に向けて赤外光光源１２３に赤外光を照射させてもよい。光源制御部１１５は、例えば、赤外光撮像部１２４により撮像された画像を解析することでユーザの顔認識を行い、顔認識の結果を用いて、ユーザの目の下の部分を特定する。また、光源制御部１１５は、赤外光光源１２３から照射されている赤外光のパワーが所定の閾値以上であり、かつ、所定の時間以上経っている場合、赤外光の光量を所定の光量未満に抑えるように赤外光光源１２３の光量を調整してもよい。また、前述したように、赤外光の場合、ユーザの視力に影響を及ぼすため、ユーザの顔認識から頬の場所を特定し、ユーザの頬に赤外光が照射するように、照射領域を絞ってもよい。
また、上記実施の形態では特に言及していないが、赤外光は、人の目に照射し続けると、視力が下がる可能性がある。このため、赤外光光源１２３は、ユーザの顔のうちで、人の目を除く領域にＲＯＩを限定して、赤外光を照射してもよい。赤外光光源１２３は、例えば、ユーザの顔に光を照射する場合、特に頬において脈波が取得しやすい。このため、光源制御部１１５は、例えばユーザの目の下の部分を特定し、当該部分に向けて赤外光光源１２３に赤外光を照射させてもよい。光源制御部１１５は、例えば、赤外光撮像部１２４により撮像された画像を解析することでユーザの顔認識を行い、顔認識の結果を用いて、ユーザの目の下の部分を特定する。また、光源制御部１１５は、赤外光光源１２３から照射されている赤外光のパワーが所定の閾値以上であり、かつ、所定の時間以上経っている場合、赤外光の光量を所定の光量未満に抑えるように赤外光光源１２３の光量を調整してもよい。また、前述したように、赤外光の場合、ユーザの視力に影響を及ぼすため、ユーザの顔認識から頬の場所を特定し、ユーザの頬に赤外光が照射するように、照射領域を絞ってもよい。
［１−５−６．変形例６］
また、上記実施の形態では、脈波計測装置１０における脈波演算装置１００は、脈波計測装置１０に内蔵されているが、これに限らない。例えば、脈波演算装置１００は、外部のサーバ装置として実現されてもよいし、携帯端末２００により実現されてもよいし、ＰＣなどの情報端末により実現されてもよい。つまり、この場合、可視光撮像部１２２および赤外光撮像部１２４から撮像された画像を取得でき、かつ、照明装置３０および赤外光光源１２３の光量を制御できる構成であれば、脈波演算装置１００は、どの装置により実現されてもよい。
また、上記実施の形態では、脈波計測装置１０における脈波演算装置１００は、脈波計測装置１０に内蔵されているが、これに限らない。例えば、脈波演算装置１００は、外部のサーバ装置として実現されてもよいし、携帯端末２００により実現されてもよいし、ＰＣなどの情報端末により実現されてもよい。つまり、この場合、可視光撮像部１２２および赤外光撮像部１２４から撮像された画像を取得でき、かつ、照明装置３０および赤外光光源１２３の光量を制御できる構成であれば、脈波演算装置１００は、どの装置により実現されてもよい。
［１−５−７．変形例７］
また、脈波計測装置等に含まれる各構成要素は、回路でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。つまり、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。
また、脈波計測装置等に含まれる各構成要素は、回路でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。つまり、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。
また、各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の表示制御方法などを実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、コンピュータに、プロセッサおよびメモリを備える脈波計測装置が実行する脈波計測方法であって、前記脈波計測装置の外部に設けられた照明装置から、第１対応関係を規定する第１制御パターンを取得し、前記第１対応関係は、複数の指示それぞれに対応する前記照明装置が出力する可視光の色温度を示し、前記脈波計測装置が保持する第１色温度を示す情報に対応する第１指示を、前記第１制御パターンを参照して決定し、前記第１指示を前記照明装置に出力し、前記照明装置により前記第１指示に対応した色温度を有する可視光を照射されたユーザを可視光領域において撮像して複数の第１可視光画像を取得し、前記複数の第１可視光画像から第１の複数の色相を演算し、前記第１の複数の色相から第１色相波形を抽出し、前記第１色相波形の振幅が所定の色相範囲に属さない場合、前記第１色温度と異なる第２色温度に対応する第２指示を、前記第１制御パターンを参照して決定し、前記第２指示を前記照明装置に出力し、前記照明装置により前記第２指示に対応した色温度を有する可視光を照射された前記ユーザを前記可視光領域において撮像して複数の第２可視光画像を取得し、前記複数の第２可視光画像から第２の複数の色相を演算し、前記第２の複数の色相から第２色相波形を抽出し、前記第２色相波形の振幅が前記所定の色相範囲に属する場合、第１処理行い、前記第１処理は、赤外光光源により赤外光を照射された前記ユーザを赤外光領域において撮像することにより得られた複数の第１赤外光画像を取得し、取得した前記複数の第２可視光画像から、前記ユーザの脈波を示す波形である第１可視光波形を抽出し、取得した前記複数の第１赤外光画像から、前記ユーザの脈波を示す波形である第１赤外光波形を抽出し、抽出した前記第１可視光波形と、抽出した前記第１赤外光波形との間の相関度を演算し、前記相関度に応じて、前記赤外光光源が発する赤外光の光量を制御する赤外光制御信号を前記赤外光光源に出力し、前記相関度に応じて、前記照明装置が発する可視光の光量を制御する可視光制御信号を前記照明装置に出力し、前記照明装置により前記可視光制御信号に基づく可視光を照射されたユーザを可視光領域において撮像することにより得られた複数の第３可視光画像を取得し、赤外光光源により前記赤外光制御信号に基づく赤外光を照射された前記ユーザを赤外光領域において撮像することにより得られた複数の第２赤外光画像を取得し、取得した前記複数の第３可視光画像から、前記ユーザの脈波を示す波形である第２可視光波形を抽出し、取得した前記複数の第２赤外光画像から、前記ユーザの脈波を示す波形である第２赤外光波形を抽出し、前記第２可視光波形の特徴量および前記第２赤外光波形の特徴量の少なくとも一方から、第１生体情報を算出し、算出した前記第１生体情報を出力することを含む脈波計測方法を実行させる。
以上、一つまたは複数の態様に係る脈波計測装置等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
例えば、上記実施の形態において、特定の構成要素が実行する処理を特定の構成要素の代わりに別の構成要素が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
本開示は、精度よく生体情報を算出できる脈波計測装置などとして有用である。
１ 脈波計測システム
１０ 脈波計測装置
２０ 筐体
２２ 可視光カメラ
２３ 赤外光ＬＥＤ
２４ 赤外光カメラ
３０ 照明装置
３１ 可視光ＬＥＤ
３２ コントローラ
４０ 提示装置
１００ 脈波演算装置
１０１ ＣＰＵ
１０２ メインメモリ
１０３ ストレージ
１０４ 通信ＩＦ
１１１ 可視光波形演算部
１１２ 赤外光波形演算部
１１３ 相関度演算部
１１４ 制御パターン取得部
１１５ 光源制御部
１１６ 生体情報算出部
１２１ 可視光光源
１２２ 可視光撮像部
１２３ 赤外光光源
１２４ 赤外光撮像部
２００ 携帯端末
２０１ ＣＰＵ
２０２ メインメモリ
２０３ ストレージ
２０４ ディスプレイ
２０５ 通信ＩＦ
２０６ 入力ＩＦ
１０ 脈波計測装置
２０ 筐体
２２ 可視光カメラ
２３ 赤外光ＬＥＤ
２４ 赤外光カメラ
３０ 照明装置
３１ 可視光ＬＥＤ
３２ コントローラ
４０ 提示装置
１００ 脈波演算装置
１０１ ＣＰＵ
１０２ メインメモリ
１０３ ストレージ
１０４ 通信ＩＦ
１１１ 可視光波形演算部
１１２ 赤外光波形演算部
１１３ 相関度演算部
１１４ 制御パターン取得部
１１５ 光源制御部
１１６ 生体情報算出部
１２１ 可視光光源
１２２ 可視光撮像部
１２３ 赤外光光源
１２４ 赤外光撮像部
２００ 携帯端末
２０１ ＣＰＵ
２０２ メインメモリ
２０３ ストレージ
２０４ ディスプレイ
２０５ 通信ＩＦ
２０６ 入力ＩＦ
Claims (12)
- プロセッサを備える脈波計測装置であって、
前記プロセッサは、
前記脈波計測装置の外部に設けられた照明装置から、第１対応関係を規定する第１制御パターンを取得し、前記第１対応関係は、複数の指示それぞれに対応する前記照明装置が出力する可視光の色温度を示し、前記脈波計測装置が保持する第１色温度を示す情報に対応する第１指示を、前記第１制御パターンを参照して決定し、前記第１指示を前記照明装置に出力し、前記照明装置により前記第１指示に対応した色温度を有する可視光を照射されたユーザを可視光領域において撮像して複数の第１可視光画像を取得し、
前記複数の第１可視光画像から第１の複数の色相を演算し、前記第１の複数の色相から第１色相波形を抽出し、
前記第１色相波形の振幅が所定の色相範囲に収まるように前記照明装置の色温度を調整し、調整後の第２色温度に対応する第２指示を、前記第１制御パターンを参照して決定し、前記第２指示を前記照明装置に出力し、
前記照明装置により前記第２指示に対応した色温度を有する可視光を照射された前記ユーザを前記可視光領域において撮像して複数の第２可視光画像を取得し、
第１処理を行い、
前記第１処理は、
赤外光光源により赤外光を照射された前記ユーザを赤外光領域において撮像することにより得られた複数の第１赤外光画像を取得し、
取得した前記複数の第２可視光画像から、前記ユーザの脈波を示す波形である第１可視光波形を抽出し、
取得した前記複数の第１赤外光画像から、前記ユーザの脈波を示す波形である第１赤外光波形を抽出し、
抽出した前記第１可視光波形と、抽出した前記第１赤外光波形との間の相関度を演算し、
前記相関度に応じて、前記赤外光光源が発する赤外光の光量を制御する赤外光制御信号を前記赤外光光源に出力し、
前記相関度に応じて、前記照明装置が発する可視光の光量を制御する可視光制御信号を前記照明装置に出力し、
前記照明装置により前記可視光制御信号に基づく可視光を照射されたユーザを可視光領域において撮像することにより得られた複数の第３可視光画像を取得し、
赤外光光源により前記赤外光制御信号に基づく赤外光を照射された前記ユーザを赤外光領域において撮像することにより得られた複数の第２赤外光画像を取得し、
取得した前記複数の第３可視光画像から、前記ユーザの脈波を示す波形である第２可視光波形を抽出し、
取得した前記複数の第２赤外光画像から、前記ユーザの脈波を示す波形である第２赤外光波形を抽出し、
前記第２可視光波形の特徴量および前記第２赤外光波形の特徴量の少なくとも一方から、第１生体情報を算出し、
算出した前記第１生体情報を出力することを含む、
脈波計測装置。 - 前記所定の色相範囲は、色相が０度以上６０度以下の範囲である
請求項１に記載の脈波計測装置。 - 前記所定の色相範囲は、色相が３０度を基準とする色相範囲である
請求項２に記載の脈波計測装置。 - 前記プロセッサは、前記相関度の演算において、
（１）複数の第１単位波形に含まれる複数の第１単位時間における複数の第１ピーク点を抽出し、前記複数の第１ピーク点は、前記複数の第１単位波形に含まれる複数の第１の最大値点または前記複数の第１単位波形に含まれる複数の第１の最小値点であり、前記第１可視光波形は前記複数の第１単位波形の全てを含み、前記複数の第１の最大値点と前記複数の第１単位波形とはそれぞれ対応し、前記複数の第１の最小値点と前記複数の第１単位波形とはそれぞれ対応し、前記複数の第１単位波形と前記複数の第１単位時間とはそれぞれ対応し、
（２）複数の第２単位波形に含まれる複数の第２単位時間における複数の第２ピーク点を抽出し、前記複数の第２ピーク点は、前記複数の第２単位波形に含まれる複数の第２の最大値点または前記複数の第２単位波形に含まれる複数の第２の最小値点であり、前記第１赤外光波形は前記複数の第２単位波形の全てを含み、前記複数の第２の最大値点と前記複数の第２単位波形とはそれぞれ対応し、前記複数の第２の最小値点と前記複数の第２単位波形とはそれぞれ対応し、前記複数の第２単位波形と前記複数の第２単位時間とはそれぞれ対応し、
（３）前記複数の第１単位時間に基づいて複数の第１心拍間隔時間を算出し、前記複数の第１心拍間隔時間は第１時間と第２時間との間の時間であり、前記複数の第１単位時間は前記第１時間と前記第２時間とを含み、前記複数の第１単位時間に含まれる時間は前記第１時間と前記第２時間との間には存在せず、
（４）前記複数の第２単位時間に基づいて複数の第２心拍間隔時間を算出し、前記複数の第２心拍間隔時間は第３時間と第４時間との間の時間であり、前記複数の第２単位時間は前記第３時間と前記第４時間とを含み、前記複数の第２単位時間に含まれる時間は前記第３時間と前記第４時間との間には存在せず、
以下の（式１）を用いて、前記相関度を演算する
請求項１から３のいずれか１項に記載の脈波計測装置。
- 前記プロセッサは、
前記第１可視光波形の特徴量および前記第１赤外光波形の特徴量の少なくとも一方から、第２生体情報を算出し、
算出した前記第２生体情報を出力する
請求項１から４のいずれか１項に記載の脈波計測装置。 - 前記プロセッサは、
前記照明装置が、さらに、オンオフの一段階で光量を調整する第２制御パターンにより調光される装置である場合、
前記赤外光制御信号の出力において、前記赤外光光源が発する赤外光の光量を予め定められた第１変化量だけ大きくする制御信号を、前記赤外光制御信号として前記赤外光光源に出力し、
前記可視光制御信号の出力において、前記照明装置をオフにする制御信号を、前記可視光制御信号として前記照明装置に出力する
請求項１から５のいずれか１項に記載の脈波計測装置。 - 前記プロセッサは、
前記照明装置が、さらに、第１可視光光量と、前記第１可視光光量よりも小さい第２可視光光量との二段階で光量を調整する第３制御パターンにより調光される装置である場合、
前記赤外光制御信号の出力において、前記赤外光光源が発する赤外光の光量を第１赤外光光量から予め定められた第２変化量だけ大きくした第２赤外光光量に制御する制御信号を、前記赤外光制御信号として前記赤外光光源に出力し、
前記照明装置を前記第１可視光光量から前記第２可視光光量に変化させる制御信号を、前記可視光制御信号として前記照明装置に出力し、
前記第１および第２赤外光画像から得られる赤外光の輝度変化と、前記第２および第３可視光画像から得られる可視光の輝度変化とに応じて、前記赤外光の光量における第３変化量を決定し、
前記第２赤外光光量から、決定した前記第３変化量だけ大きくした第３赤外光光量に制御する制御信号を、前記赤外光制御信号として前記赤外光光源に出力し、
前記照明装置をオフにする二段階目の制御信号を、前記可視光制御信号として前記照明装置に出力する
請求項１から６のいずれか１項に記載の脈波計測装置。 - 前記プロセッサは、
前記照明装置が、さらに、無段階で光量を調整する第４制御パターンにより調光される装置である場合において、
演算した前記相関度が所定の閾値以上の場合、
前記赤外光制御信号の出力において、前記赤外光光源における赤外光の光量を増加させる制御信号を前記赤外光制御信号として前記赤外光光源に出力し、
前記可視光制御信号の出力において、前記照明装置における可視光の光量を減少させる制御信号を前記可視光制御信号として前記照明装置に出力し、
前記第３可視光画像の取得、前記第２可視光波形の抽出、前記第２赤外光画像の取得、および、前記第２赤外光波形の抽出の後にさらに、前記相関度の演算を繰り返し行い、
前記照明装置の光量が第２の閾値以下となり、かつ、繰り返し行われた前記相関度の演算の結果、前記相関度が前記所定の閾値以上となった場合に、前記照明装置をオフにする制御信号を、前記可視光制御信号として前記照明装置に出力する
請求項１から６のいずれか１項に記載の脈波計測装置。 - 前記プロセッサは、
前記照明装置が、無段階で光量を調整する第４制御パターンにより調光される装置である場合において、
（ｉ）演算した前記相関度が所定の閾値以上の場合、
前記赤外光制御信号の出力において、前記赤外光光源における赤外光の光量を第１速度で増加させる制御信号を前記赤外光制御信号として前記赤外光光源に出力し、
前記可視光制御信号の出力において、前記照明装置における可視光の光量を第２速度で減少させる制御信号を前記可視光制御信号として前記照明装置に出力し、
前記第３可視光画像の取得、前記第２可視光波形の抽出、前記第２赤外光画像の取得、および、前記第２赤外光波形の抽出の後にさらに、前記相関度の演算を繰り返し行う通常処理と、
（ｉｉ）演算した前記相関度が所定の閾値以上の場合、
前記赤外光制御信号の出力において、前記赤外光光源における赤外光の光量を前記第１速度よりも２倍以上速い第３速度で増加させる制御信号を前記赤外光制御信号として前記赤外光光源に出力し、
前記可視光制御信号の出力において、前記照明装置における可視光の光量を前記第２速度よりも２倍以上速い第４速度で減少させる制御信号を前記可視光制御信号として前記照明装置に出力し、
前記第３可視光画像の取得、前記第２可視光波形の抽出、前記第２赤外光画像の取得、および、前記第２赤外光波形の抽出の後にさらに、前記相関度の演算を繰り返し行う短時間処理と、のいずれかの処理を実行する
請求項１から６のいずれか１項に記載の脈波計測装置。 - 脈波計測装置の脈波計測方法であって、
前記脈波計測装置の外部に設けられた照明装置から、第１対応関係を規定する第１制御パターンを取得し、前記第１対応関係は、複数の指示それぞれに対応する前記照明装置が出力する可視光の色温度を示し、
前記脈波計測装置が保持する第１色温度を示す情報に対応する第１指示を、前記第１制御パターンを参照して決定し、
前記第１指示を前記照明装置に出力し、
前記照明装置により前記第１指示に対応した色温度を有する可視光を照射されたユーザを可視光領域において撮像して複数の第１可視光画像を取得し、
前記複数の第１可視光画像から第１の複数の色相を演算し、前記第１の複数の色相から第１色相波形を抽出し、
前記第１色相波形の振幅が所定の色相範囲に収まるように前記照明装置の色温度を調整し、調整後の第２色温度に対応する第２指示を、前記第１制御パターンを参照して決定し、前記第２指示を前記照明装置に出力し、
前記照明装置により前記第２指示に対応した色温度を有する可視光を照射された前記ユーザを前記可視光領域において撮像して複数の第２可視光画像を取得し、
第１処理を行い、
前記第１処理は、
赤外光光源により赤外光を照射された前記ユーザを赤外光領域において撮像することにより得られた複数の第１赤外光画像を取得し、
取得した前記複数の第２可視光画像から、前記ユーザの脈波を示す波形である第１可視光波形を抽出し、
取得した前記複数の第１赤外光画像から、前記ユーザの脈波を示す波形である第１赤外光波形を抽出し、
抽出した前記第１可視光波形と、抽出した前記第１赤外光波形との間の相関度を演算し、
前記相関度に応じて、前記赤外光光源が発する赤外光の光量を制御する赤外光制御信号を前記赤外光光源に出力し、
前記相関度に応じて、前記照明装置が発する可視光の光量を制御する可視光制御信号を前記照明装置に出力し、
前記照明装置により前記可視光制御信号に基づく可視光を照射されたユーザを可視光領域において撮像することにより得られた複数の第３可視光画像を取得し、
赤外光光源により前記赤外光制御信号に基づく赤外光を照射された前記ユーザを赤外光領域において撮像することにより得られた複数の第２赤外光画像を取得し、
取得した前記複数の第３可視光画像から、前記ユーザの脈波を示す波形である第２可視光波形を抽出し、
取得した前記複数の第２赤外光画像から、前記ユーザの脈波を示す波形である第２赤外光波形を抽出し、
前記第２可視光波形の特徴量および前記第２赤外光波形の特徴量の少なくとも一方から、第１生体情報を算出し、
算出した前記第１生体情報を出力する
ことを含む
脈波計測方法。 - 脈波計測装置の脈波計測方法であって、
前記脈波計測装置の外部に設けられた照明装置から、第１対応関係を規定する第１制御パターンを取得し、前記第１対応関係は、複数の指示それぞれに対応する前記照明装置が出力する可視光の色温度を示し、
前記脈波計測装置が保持する第１色温度を示す情報に対応する第１指示を、前記第１制御パターンを参照して決定し、
前記第１指示を前記照明装置に出力し、
前記照明装置により前記第１指示に対応した色温度を有する可視光を照射されたユーザを可視光領域において撮像して複数の第１可視光画像を取得し、
前記複数の第１可視光画像から第１の複数の色相を演算し、前記第１の複数の色相から第１色相波形を抽出し、
前記第１色相波形の振幅が所定の色相範囲に収まるように前記照明装置の色温度を調整し、調整後の第２色温度に対応する第２指示を、前記第１制御パターンを参照して決定し、前記第２指示を前記照明装置に出力し、
前記照明装置により前記第２指示に対応した色温度を有する可視光を照射された前記ユーザを前記可視光領域において撮像して複数の第２可視光画像を取得し、
第１処理を行い、
前記第１処理は、
赤外光光源により赤外光を照射された前記ユーザを赤外光領域において撮像することにより得られた複数の第１赤外光画像を取得し、
取得した前記複数の第２可視光画像から、前記ユーザの脈波を示す波形である第１可視光波形を抽出し、
取得した前記複数の第１赤外光画像から、前記ユーザの脈波を示す波形である第１赤外光波形を抽出し、
抽出した前記第１可視光波形と、抽出した前記第１赤外光波形との間の相関度を演算し、
前記相関度に応じて、前記赤外光光源が発する赤外光の光量を制御する赤外光制御信号を前記赤外光光源に出力し、
前記相関度に応じて、前記照明装置が発する可視光の光量を制御する可視光制御信号を前記照明装置に出力し、
前記照明装置により前記可視光制御信号に基づく可視光を照射されたユーザを可視光領域において撮像することにより得られた複数の第３可視光画像を取得し、
赤外光光源により前記赤外光制御信号に基づく赤外光を照射された前記ユーザを赤外光領域において撮像することにより得られた複数の第２赤外光画像を取得し、
取得した前記複数の第３可視光画像から、前記ユーザの脈波を示す波形である第２可視光波形を抽出し、
取得した前記複数の第２赤外光画像から、前記ユーザの脈波を示す波形である第２赤外光波形を抽出し、
前記第２可視光波形の特徴量および前記第２赤外光波形の特徴量の少なくとも一方から、第１生体情報を算出し、
算出した前記第１生体情報を出力する
ことを含む脈波計測方法をコンピュータに実行させるプログラム。 - 脈波計測装置の脈波計測方法であって、
前記脈波計測装置の外部に設けられた照明装置から、第１対応関係を規定する第１制御パターンを取得し、前記第１対応関係は、複数の指示それぞれに対応する前記照明装置が出力する可視光の色温度を示し、
前記脈波計測装置が保持する第１色温度を示す情報に対応する第１指示を、前記第１制御パターンを参照して決定し、
前記第１指示を前記照明装置に出力し、
前記照明装置により前記第１指示に対応した色温度を有する可視光を照射されたユーザを可視光領域において撮像して複数の第１可視光画像を取得し、
前記複数の第１可視光画像から第１の複数の色相を演算し、前記第１の複数の色相から第１色相波形を抽出し、
前記第１色相波形の振幅が所定の色相範囲に収まるように前記照明装置の色温度を調整し、調整後の第２色温度に対応する第２指示を、前記第１制御パターンを参照して決定し、前記第２指示を前記照明装置に出力し、
前記照明装置により前記第２指示に対応した色温度を有する可視光を照射された前記ユーザを前記可視光領域において撮像して複数の第２可視光画像を取得し、
第１処理を行い、
前記第１処理は、
赤外光光源により赤外光を照射された前記ユーザを赤外光領域において撮像することにより得られた複数の第１赤外光画像を取得し、
取得した前記複数の第２可視光画像から、前記ユーザの脈波を示す波形である第１可視光波形を抽出し、
取得した前記複数の第１赤外光画像から、前記ユーザの脈波を示す波形である第１赤外光波形を抽出し、
抽出した前記第１可視光波形と、抽出した前記第１赤外光波形との間の相関度を演算し、
前記相関度に応じて、前記赤外光光源が発する赤外光の光量を制御する赤外光制御信号を前記赤外光光源に出力し、
前記相関度に応じて、前記照明装置が発する可視光の光量を制御する可視光制御信号を前記照明装置に出力し、
前記照明装置により前記可視光制御信号に基づく可視光を照射されたユーザを可視光領域において撮像することにより得られた複数の第３可視光画像を取得し、
赤外光光源により前記赤外光制御信号に基づく赤外光を照射された前記ユーザを赤外光領域において撮像することにより得られた複数の第２赤外光画像を取得し、
取得した前記複数の第３可視光画像から、前記ユーザの脈波を示す波形である第２可視光波形を抽出し、
取得した前記複数の第２赤外光画像から、前記ユーザの脈波を示す波形である第２赤外光波形を抽出し、
前記第２可視光波形の特徴量および前記第２赤外光波形の特徴量の少なくとも一方から、第１生体情報を算出し、
算出した前記第１生体情報を出力する
ことを含む脈波計測方法をコンピュータに実行させるプログラムを格納するコンピュータ読み取り可能な非一時的な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/672,295 US20180085014A1 (en) | 2016-09-23 | 2017-08-09 | Pulse wave measuring apparatus, method for measuring pulse waves, and recording medium |
| CN201710748536.5A CN107865644B (zh) | 2016-09-23 | 2017-08-28 | 脉搏波计测装置、脉搏波计测方法、程序以及记录介质 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016185686 | 2016-09-23 | ||
| JP2016185686 | 2016-09-23 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018051288A JP2018051288A (ja) | 2018-04-05 |
| JP6846626B2 true JP6846626B2 (ja) | 2021-03-24 |
Family
ID=61834509
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017102800A Active JP6846626B2 (ja) | 2016-09-23 | 2017-05-24 | 脈波計測装置および脈波計測方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6846626B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113155292A (zh) * | 2021-03-30 | 2021-07-23 | 新疆爱华盈通信息技术有限公司 | 人脸测温方法、人脸测温仪及存储介质 |
| CN117690159A (zh) * | 2023-12-07 | 2024-03-12 | 武汉星巡智能科技有限公司 | 基于多模态数据融合的婴幼儿趴睡监测方法、装置及设备 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007130182A (ja) * | 2005-11-09 | 2007-05-31 | Toshiba Corp | 照明制御装置、照明制御システム、照明制御方法および照明制御プログラム |
| JP4760342B2 (ja) * | 2005-11-30 | 2011-08-31 | 株式会社デンソー | 生体状態検出装置 |
| US8203260B2 (en) * | 2007-04-13 | 2012-06-19 | Intematix Corporation | Color temperature tunable white light source |
| BR112015008744A2 (pt) * | 2012-10-23 | 2017-07-04 | Koninklijke Philips Nv | dispositivo de obtenção de informações de sinais vitais de um ser vivo; e método de obtenção de informações de sinais vitais de um ser vivo |
| JP6270287B2 (ja) * | 2012-11-23 | 2018-01-31 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 生理的情報を抽出するデバイス及び方法 |
| EP3188652A4 (en) * | 2014-10-14 | 2018-05-23 | East Carolina University | Methods, systems and computer program products for determining hemodynamic status parameters using signals derived from multispectral blood flow and perfusion imaging |
| JP7165886B2 (ja) * | 2016-08-26 | 2022-11-07 | パナソニックＩｐマネジメント株式会社 | 脈波計測装置および脈波計測方法 |
-
2017
- 2017-05-24 JP JP2017102800A patent/JP6846626B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018051288A (ja) | 2018-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107865644B (zh) | 脉搏波计测装置、脉搏波计测方法、程序以及记录介质 | |
| CN107773225B (zh) | 脉搏波计测装置、脉搏波计测方法以及记录介质 | |
| JP2018068431A (ja) | 脈波演算装置および脈波演算方法 | |
| CN104755021B (zh) | 用于获得生物的生命体征信息的装置和方法 | |
| JP6449312B2 (ja) | 光線治療処理の間のバイタルサインのカメラベースのモニタリング | |
| CN107439056B (zh) | 照明控制装置 | |
| JP2016513521A (ja) | 対象のバイタルサインを決定する装置及び方法 | |
| JP2012519527A (ja) | 生体の存在を検出するデバイス及びシステムの機能を制御する方法 | |
| KR20180097403A (ko) | 전자 장치의 생체 정보 획득 방법 및 이를 위한 전자 | |
| JP6583668B2 (ja) | 照明装置及び照明システム | |
| JP2017505178A5 (ja) | ||
| WO2018100875A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| JP6846626B2 (ja) | 脈波計測装置および脈波計測方法 | |
| KR20140122849A (ko) | 휴대용 기기 이용한 스트레스 체크 및 치유 시스템 및 방법 | |
| CN114126160B (zh) | 一种智能灯具的控制方法和控制系统 | |
| KR20130033331A (ko) | 감성 조명제어장치 및 방법 | |
| CN104933394B (zh) | 个人认证装置和指静脉认证装置 | |
| JP2018038553A (ja) | 車載表示装置、車載表示装置の制御方法、及び、プログラム | |
| US20140288382A1 (en) | Lighting System with Monitoring Function | |
| JP7165886B2 (ja) | 脈波計測装置および脈波計測方法 | |
| JP6761976B2 (ja) | 自律神経の揺らぎの利用方法およびシステム | |
| WO2015170720A1 (ja) | 画像認識装置および画像認識方法 | |
| JP7117635B2 (ja) | 点灯装置、照明器具および照明システム | |
| Han et al. | Smart sleep care system for quality sleep | |
| JP7009068B2 (ja) | 照明装置、照明器具及び電子機器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191202 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201023 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201027 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210126 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210203 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6846626 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |