JP7174359B2 - 脈波検出装置、及び脈波検出プログラム - Google Patents

Description

本発明は、脈波検出装置、及び脈波検出プログラムに関し、例えば、対象者の脈波を検出するものに関する。

対象者の健康状態や生理的な状態を把握するためには、脈波の検出が重要である。通常、脈波は、対象者に器具を装着して検出するが、もっと手軽に検出したいとの要望が高く、非接触で対象者の脈波を検出する生体センシングの技術が盛んに研究されている。
これにより、例えば、車両の運転者の脈拍をモニタリングして、より交通安全を推進することができる。

このように、非接触で脈拍を検出する技術に非特許文献１の技術がある。この技術は、対象者の腕をカメラで撮影し、そのカメラ映像から脈拍を検出する。血流により体表面の輝度や色が変化するため、映像を画像処理することにより脈拍を検出することができる。

ところで、車両の運転者の脈波を夜間に測定する場合など、可視光が使えない場合は、赤外線の輝度変化を用いて脈波を検出することができる。
赤外線は、ＬＥＤで容易に発光させることができる上、対象者にとってまぶしくなく、このような用途に適している。

しかし、例えば、前方車両のランプやトンネルの照明などの環境光による光外乱や、対象者の動きによる動き外乱があると、輝度が安定しないため、脈波が適切に測定できないという問題があった。
可視光であれば、色度を用いることも可能であるが、単一周波数の赤外線は輝度しかないため、外乱により測定できない状況が頻発し、このため何らかの対策が求められていた。

"Ｎｏｎ－ｃｏｎｔａｃｔ ｍｏｎｉｔｏｒｉｎｇ ｔｅｃｈｎｉｑｕｅｓ － Ｐｒｉｎｃｉｐｌｅｓ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ，" Ｄ． Ｔｅｉｃｈｍａｎｎ， Ｃ． Ｂｒｕｓｅｒ， Ｂ． Ｅｉｌｅｂｒｅｃｈｔ， Ａ． Ａｂｂａｓ， Ｎ． Ｂｌａｎｉｋ， ａｎｄ Ｓ． Ｌｅｏｎｈａｒｄｔ， Ｃｏｎ． Ｐｒｏｃ． ＩＥＥＥ Ｅｎｇ．， Ｍｅｄ． Ｂｉｏｌ． Ｓｏｃ． ３４ｔｈ Ａｎｎ． Ｉｎｔ． Ｃｏｎｆ．， Ｓａｎ Ｄｉｅｇｏ， ＣＡ， ＵＳＡ， ２０１２， ｐｐ． １３０２－１３０５．

本発明は、外乱の存在する中、赤外線を用いて脈波を検出することを目的とする。

（１）本発明によれば、請求項１に記載の発明では、対象者を波長が異なる複数波長の赤外線で照明する照明手段と、前記赤外線が照射された前記対象者を動画で撮像する撮像手段と、前記動画で撮像された、前記対象者における体表面の前記波長が異なる赤外線ごとの輝度を組み合わせることにより、前記体表面の色度相当成分を取得する色度相当成分取得手段と、前記取得した色度相当成分を用いて前記対象者の脈波を取得する脈波取得手段と、前記取得した脈波を出力する出力手段と、を具備したことを特徴とする脈波検出装置を提供する。
（２）請求項２に記載の発明では、前記照明手段は、第１の波長の赤外線と、第２の波長の赤外線で前記対象者を照明する、ことを特徴とする請求項１に記載の脈波検出装置を提供する。
（３）請求項３に記載の発明では、前記色度相当成分取得手段は、前記第１の波長の赤外線の輝度を一方の座標軸とし、前記第２の波長の赤外線の輝度を他方の座標軸とする平面において、前記体表面の輝度の明暗方向に垂直な成分を色度相当成分として取得することを特徴とする請求項２に記載の脈波検出装置を提供する。
（４）請求項４に記載の発明では、前記撮像手段は、前記第１の波長の赤外線による動画を撮像する第１のカメラと、前記第２の波長の赤外線による動画を撮像する第２のカメラと、を用いて前記動画を撮像することを特徴とする請求項２、又は請求項３に記載の脈波検出装置を提供する。
（５）請求項５に記載の発明では、前記撮像手段は、前記第１の波長の赤外線用のフィルタと、前記第２の波長の赤外線用のフィルタと、をイメージセンサに搭載した単一のカメラを用いて前記動画を撮像することを特徴とする請求項２、又は請求項３に記載の脈波検出装置を提供する。
（６）請求項６に記載の発明では、前記照明手段は、前記第１の波長の赤外線と前記第２の波長の赤外線を交互に点滅させ、前記撮像手段は、前記点滅に同期した前記体表面の画像を取得することにより、前記第１の波長の赤外線による動画と、前記第２の波長の赤外線による動画を撮像することを特徴とする請求項２から請求項５までのうちの何れか１の請求項に記載の脈波検出装置を提供する。
（７）請求項７に記載の発明では、前記照明手段は、前記第１の波長の赤外線と前記第２の波長の赤外線を同時に消灯する所定の消灯時間をおきながら前記第１の波長の赤外線と前記第２の波長の赤外線を交互に点滅させ、前記撮像手段は、前記消灯時間と前記点滅に同期する、前記赤外線を消灯した環境光による前記体表面の画像、前記第１の波長の赤外線による前記体表面の画像、及び、前記第２の波長の赤外線による前記体表面の画像を取得することにより前記動画を撮像し、前記色度相当成分取得手段は、前記環境光による画像を用いて前記第１の波長の赤外線による画像、及び前記第２の波長の赤外線による画像の輝度を補正した後、前記色度相当成分を取得することを特徴とする請求項６に記載の脈波検出装置を提供する。
（８）請求項８に記載の発明では、照明手段により波長が異なる第１の波長の赤外線と第２の波長の赤外線で照明された対象者を撮像した動画を取得する動画取得機能と、前記動画で撮像した、前記対象者における体表面の前記第１の波長の赤外線と前記第２の波長の赤外線ごとの輝度を組み合わせることにより、前記体表面の色度相当成分を取得する色度相当成分取得機能と、前記取得した色度相当成分を用いて前記対象者の脈波を取得する脈波取得機能と、前記取得した脈波を出力する出力機能と、をコンピュータに実現させる脈波検出プログラムを提供する。

本発明によれば、複数の波長の赤外線を組み合わせて色度相当成分を構成することにより、外乱の存在する中、赤外線を用いて脈波を検出することができる。

第１の実施の形態の脈波検出装置の構成を示した図である。 脈波検出装置が脈波を検出する仕組みを説明するための図である。 赤外線色度を生成する方法を説明するための図である。 回転行列Θを説明するための図である。 Θの計算処理を説明するためのフローチャートである。 脈波検出処理を説明するためのフローチャートである。 第２の実施の形態を説明するための図である。 第３の実施の形態を説明するための図である。 Θの計算方法を説明するためのフローチャートである。 脈波検出処理を説明するためのフローチャートである。 第４の実施の形態を説明するための図である。 脈波検出処理を説明するためのフローチャートである。

（１）実施形態の概要
脈波検出装置１（図１）は、対象者１１を２種類の波長の赤外線で照明し、その反射光によって赤外線の波長ごとの動画を生成する。
脈波検出装置１は、２種類の赤外線の輝度から色度に相当する赤外線色度を作成する。赤外線色度には、可視光による色度と同様に脈波信号が含まれているため、脈波検出装置１は、これを抽出して対象者１１の脈波の信号を検出する。
色度による脈波検出は、外乱に対して頑強性を有するため、例えば、車両の車内など、環境光が変化したり、対象者１１が動いたりする環境下であっても脈波を検出することができる。

（２）実施形態の詳細
（第１の実施の形態）
図１は、第１の実施の形態の脈波検出装置１の構成を示した図である。
脈波検出装置１は、例えば、車両に搭載され、搭乗者（ドライバや助手席の乗客などの対象者）の脈波を監視し、ドライバの体調、緊張状態などの生理的な状態を把握する。
また、医療現場や災害現場などで患者や被災者の脈波を検出・監視したり、家庭や商業施設に設置して、利用者が手軽に脈波を検出するのに利用することができる。

脈波検出装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４、表示部５、入力部６、出力部７、カメラ８ａ、カメラ８ｂ、ＬＥＤ９ａ、ＬＥＤ９ｂ、記憶部１０などから構成されており、対象者１１（脈波検出装置１の検出対象者）の脈波（脈波、脈拍）を検出する。
以下では、カメラ８ａ、カメラ８ｂやＬＥＤ９ａ、ＬＥＤ９ｂを特に区別しない場合は、単にカメラ８、ＬＥＤ９と記す。他の構成要素も同様とする。
ＣＰＵ２は、記憶部１０やＲＯＭ３などに記憶されたプログラムに従って、各種の情報処理や制御を行う中央処理装置である。
第１の実施の形態では、カメラ８が撮影した動画を画像処理して対象者１１の脈波を検出・推定する。

ＲＯＭ３は、読み取り専用メモリであって、脈波検出装置１を動作させるための基本的なプログラムやパラメータなどが記憶されている。
ＲＡＭ４は、読み書きが可能なメモリであって、ＣＰＵ２が動作する際のワーキングメモリを提供する。
第１の実施の形態では、動画を構成するフレーム画像（１コマの静止画像）を展開して記憶したり、計算結果を記憶したりすることにより、ＣＰＵ２が、フレーム画像に写った体表面から脈波を検出するのを支援する。
当該体表面は、顔や手足など体表面が露出しているところならよいが、第１の実施の形態では、一例として顔の表面（顔面）から脈波を検出する。

表示部５は、液晶画面などの表示デバイスを用いて構成されており、脈波検出装置１の操作画面や脈波の表示など、脈波検出装置１の運用に必要な情報を表示する。
入力部６は、表示デバイスに重畳して設置されたタッチパネルなどの入力デバイスを用いて構成されており、画面表示に対するタッチの有無などから各種の情報の入力を受け付ける。

出力部７は、各種の情報を外部装置に出力するインターフェースであり、例えば、検出した脈波を出力したり、あるいは、脈波に変化が現れた場合にアラームを出力することができる。
また出力部７は、車両を制御する制御装置などの他の制御機器に出力することができる。出力部７から脈波の出力を受けた制御機器では、例えば、ドライバの眠気や緊張状態等を判断し、ドライバに向けた制御、例えば、眠気を覚醒させるためにハンドルやシートを振動させる制御、警告音やメッセージの出力などを行うことが出来る。また、車両に対する制御として、脈波に基づいて判断したドライバの緊張状態に応じて、車間距離制御、車速制御、又はブレーキ制御の少なくとも１つを行うことも可能である。例えば、制御機器は、ドライバが所定値を超える高い緊張状態にあると判断した場合には、車間距離を基準値よりも大きくとるように制御し、車速を所定車速以下となるように制御し、所定車速以上であれば自動ブレーキ操作による減速処理等を行う。
表示部５や出力部７は、脈波を出力する出力手段として機能している。

ＬＥＤ９ａとＬＥＤ９ｂは、それぞれ、波長が７４０ｎｍの赤外線（以下、赤外線Ｒ＿７４０）と、波長が８５０ｎｍの赤外線（以下、赤外線Ｒ＿８５０）を発光するＬＥＤ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）であって、対象者１１の顔付近をこれらの赤外線で照明する照明装置である。
ＬＥＤ９ａとＬＥＤ９ｂは、対象者を複数波長の赤外線で照明する照明手段として機能し、当該照明手段は、第１の波長の赤外線（赤外線Ｒ＿７４０）と、第２の波長の赤外線（赤外線Ｒ＿８５０）で対象者を照明する。

カメラ８ａ、カメラ８ｂは、動画を撮影（撮像）するための赤外線カメラであって、レンズで構成された光学系と、これによって結像した像を電気信号に変換する赤外線イメージセンサを用いて構成されている。
カメラ８は、対象者１１の顔前方に設置され、対象者１１の顔付近が撮影画面となるように設定されており、赤外線が照射された対象者を動画で撮像する撮像手段として機能している。

カメラ８は、対象者１１を所定のフレームレートにて撮影し、これら時系列的に連続するフレーム画像（静止画像）で構成された動画を出力する。
フレーム画像は、画像を構成する最小単位である画素（ピクセル）の配列により構成されており、各画素はＬＥＤ９が照射する周波数帯域の赤外線を検出する。

より詳細には、カメラ８ａは、赤外線Ｒ＿７４０をフィルタリングするためのバンドパスフィルタ（赤外線Ｒ＿７４０を透過させる赤外線フィルタ）を備えており、カメラ８ｂは、赤外線Ｒ＿８５０をフィルタリングするためのバンドパスフィルタ（赤外線Ｒ＿８５０を透過させる赤外線フィルタ）を備えている。
これにより、ＬＥＤ９ａ、ＬＥＤ９ｂで対象者１１を照明しながら、カメラ８ａは、赤外線Ｒ＿７４０による動画を撮影し、カメラ８ｂは、赤外線Ｒ＿８５０による動画を撮影する。
このように、撮像手段は、第１の波長の赤外線による動画を撮像する第１のカメラと、第２の波長の赤外線による動画を撮像する第２のカメラと、を用いて動画を撮像する。

赤外線Ｒ＿７４０と赤外線Ｒ＿８５０を用いて動画を撮影するのは、後述の色度相当成分を構成する際に、適度に波長が離れている方が好ましいためである。
また、体表面から脈波を検出するのに適しており、更に、対象者１１にとってまぶしくないという利点もある。
これらの周波数のほかに、波長が９４０ｎｍの赤外線も好適に用いることができる。
なお、カメラ８とＬＥＤ９は、カメラ８とＬＥＤ９が一体となった、照明付きカメラとしてもよい。

記憶部１０は、ハードディスクやＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記憶媒体を用いて構成されており、ＣＰＵ２が脈波を検出するための脈波検出プログラム１２やその他のプログラム、及びデータを記憶している。
ＣＰＵ２が脈波検出プログラム１２に従って検出した脈波は、ＲＡＭ４に一時保存され、必要に応じて外部に出力されたり、記憶部１０に保存される。

脈波検出プログラム１２は、ＣＰＵ２に脈波検出処理を行わせるプログラムである。
ＣＰＵ２は、脈波検出プログラム１２を実行することにより、動画撮影した対象者１１の顔から脈波の検出を行う。

後述するように、脈波検出装置１は、色度による脈波検出機能を有しているため、昼間は可視光の色度による脈波検出を行い、夜間は赤外線の色度相当成分による脈波の検出を行うといった運用が可能である。
この場合、照度センサによって車内の明るさを検出し、可視光による検出と赤外線による検出を自動的に切り替えるように構成することができる。
昼間は光外乱の原因となる太陽などの赤外線源が多いため、このように可視光と赤外線を組み合わせると、より広範な環境下で昼夜を問わずに脈波を検出することができる。

図２は、脈波検出装置１が脈波を検出する仕組みを説明するための図である。
脈波検出装置１は、ＬＥＤ９ａとＬＥＤ９ｂによって、赤外線Ｒ＿７４０と赤外線Ｒ＿８５０を対象者１１の顔付近に連続して照射しつつ、カメラ８ａとカメラ８ｂによって対象者１１の顔付近を動画撮影する。

上述したように、カメラ８ａは、赤外線Ｒ＿７４０によって撮像されたフレーム画像２１ａによる動画を生成し、カメラ８ｂは、赤外線Ｒ＿８５０によって撮像されたフレーム画像２１ｂによる動画を生成する。

単一波長の赤外線による画像は、輝度しか成分を持たないが、このように複数種類の波長の赤外線を組み合わせることにより、ＲＧＢ成分に相当する成分を赤外線領域に構成することができる。
即ち、ＲＧＢ色空間は、赤色波長、緑色波長、青色波長の３種類の波長の電磁波を組み合わせた色空間であるところ、第１の実施の形態で用いる色空間は、７４０ｎｍの波長の赤外線と、８５０ｎｍの波長の赤外線の２種類の電磁波を組み合わせた色空間（波長７４０ｎｍ－波長８５０ｎｍ空間）と見ることができる。

ところで、ＲＧＢ色空間は、ＹＩＱ色空間（輝度と色度で構成された色空間）に変換することができる。
そのため、ＲＧＢ信号をＹＩＱ信号に変換して、これから色度信号を抽出して、色度信号から脈波を検出することができる。
脈波検出において、色度は外乱に対して頑強性を有することが知られており、色度からの脈波を検出する公知技術もある。
そこで、脈波検出装置１は、フレーム画像２１ａとフレーム画像２１ｂの２種類の赤外線で構成されるＲＧＢ色空間相当の波長７４０ｎｍ－波長８５０ｎｍ空間をＹＩＱ色空間相当の輝度・色度空間に変換し、変換後の色度相当成分から脈波を検出する。

このように、脈波検出装置１は、複数種類の波長の赤外線を組み合わせることにより、赤外線領域に色度成分に相当する成分を作り出すことができる。
そして、色度相当成分からは、色度から脈波を検出する公知技術を用いて、脈波を検出することができる。
以下では、これら複数波長の赤外線で作成する色度に相当するものを赤外線色度と記す。

図３は、赤外線Ｒ＿７４０と赤外線Ｒ＿８５０を関係づけて、これらから赤外線色度を生成する方法を説明するための図である。
図３（ａ）は、カメラ８ａが撮影したフレーム画像２１ａと、カメラ８ｂが撮影したフレーム画像２１ｂを示している。

カメラ８は、所定の窓期間（例えば、１０秒間）の間、対象者１１を撮影し、複数枚のフレーム画像２１を時系列的に生成する。
カメラ８ａとカメラ８ｂの動作は同期しており、撮影方法には、カメラ８ａとカメラ８ｂで交互に１フレームずつ撮影する場合と、カメラ８ａとカメラ８ｂで同時に撮影する場合がある。
脈波検出装置１は、赤外線Ｒ＿７４０と赤外線Ｒ＿８５０を色と見立てて、ある時点における対象者１１の顔の色を刻々と撮影したいため、なるべく同時に撮影したフレーム画像２１ａとフレーム画像２１ｂを組み合わせて赤外線色度を得たい。

そこで、脈波検出装置１は、交互に撮影する場合には、時系列的に隣接するフレーム画像２１ａとフレーム画像２１ｂの組から赤外線色度を取得し、同時に撮影する場合には、同時に撮影したフレーム画像２１ａとフレーム画像２１ｂの組から赤外線色度を取得する。

脈波検出装置１は、これらフレーム画像２１において、対象者１１の顔を公知技術によって検出し、これを楕円で囲んで測定領域２２を設定する。そして、脈波検出装置１は、測定領域２２の輝度をフレーム画像２１ごとに平均する。
脈波検出装置１は、所定の窓期間の間、上記の処理を行い、複数のフレーム画像２１ａとフレーム画像２１ｂ、及び測定領域２２ａと測定領域２２ｂを取得する。

図３（ｂ）のグラフ５１は、対応するフレーム画像２１における、測定領域２２ａの平均輝度と測定領域２２ｂの平均輝度を座標値として、赤外線Ｒ＿７４０の輝度を横軸とし、赤外線Ｒ＿８５０の輝度を縦軸とする平面（以下、赤外線平面と呼ぶ）にプロットしたものである。このプロットした点がＲＧＢ信号に対応する信号（成分）を表している。
グラフ５１では赤外線の輝度を、値が０（最低輝度）から２５５（最高輝度）までの範囲のうちの一部を表している。
ここで、グラフ５１は事前実験データに基づいて作成している。例えば、工場で行う事前実験例１として、顔またはカメラ８やＬＥＤ９が前後動く時にＲ＿８５０、Ｒ＿７４０を測定している。また、走行中に行う事前実験例２として、例えば、顔は前に見ている、顔の動きは前後のみ、Ｒ＿７４０とＲ＿８５０の変化量はある基準（例：±５）を超える、環境光外乱が少ない時、等のある条件の時に測定している。

これらプロットした点は、赤外線Ｒ＿７４０の座標軸と後述の角度θをなす直線５２に沿って分布する。
実験によると、脈波による信号は、赤外線平面上で直線５２とある角度をなす矢線５３の方向に振動する。

図３（ｃ）は、赤外線平面と色度輝度平面の関係を示した図である。
直線５２をｘ軸とすると、ｘ軸の正方向は、輝度の明暗が明るくなる方向であり、負方向は、暗くなる方向である。このように、ｘ軸は色度輝度平面上で輝度の方向を表し、これに垂直なｙ軸は赤外線色度を表している。
これら輝度と赤外線色度を座標軸とする平面を色度輝度平面と呼ぶことにする。

ここで、赤外線Ｒ＿７４０の軸とｘ軸のなす角度θを求めれば、回転行列によって赤外線平面の成分を色度輝度平面の成分に変換することができる。
脈波を表す成分は、上述の通り脈拍に従って矢線５３の方向に振動するところ、これをｙ軸に投影したｙの値が赤外線色度の成分に対応する。
そこで、脈波検出装置１は、赤外線平面上の成分を回転行列によって回転することにより変換し、赤外線色度を抽出する。

このように、脈波検出装置１は、動画で撮像された、対象者における体表面の赤外線ごとの輝度を組み合わせることにより、当該体表面の色度相当成分を取得する色度相当成分取得手段を備えている。
そして、当該色度相当成分取得手段は、第１の波長の赤外線（赤外線Ｒ＿７４０）の輝度を一方の座標軸とし、第２の波長の赤外線（赤外線Ｒ＿８５０）の輝度を他方の座標軸とする平面において、体表面の輝度の明暗方向に垂直な成分を色度相当成分として取得している。

図４は、座標変換を行う回転行列Θを説明するための図である。
図４（ａ）のΘは、式（１）で表される回転行列であって、角度θによる回転を表している。角度θは、式（２）の－ａｔａｎ（β１）で表される。ここで、ａｔａｎはアークタンジェントである。β１は、直線５２の傾きであって、β１が求まれば、Θが決定される。
ここで、Θは、図４（ｃ）の式（９）に示したように、赤外線Ｒ＿７４０と赤外線Ｒ＿８５０による波長７４０ｎｍ－波長８５０ｎｍ空間を赤外線輝度と赤外線色度による輝度・色度空間に変換する２行２列の行列である。なお、赤外線輝度は、輝度・色度空間における輝度である。
一方、式（１０）は、ＲＧＢ色空間からＹＩＱ色空間への変換式を表しており、ＲＧＢ色空間は、成分が３つあるため３行３列の行列を用いて変換する。
このように、脈波検出装置１は、式（１０）と類似の変換によって赤外線による色空間を変換する。
なお、３波長の赤外線を用いて輝度色度空間を構成する場合は、式（１０）と同様な３行３列の行列を用いて変換する。

図４（ｂ）は、最小二乗法によりβ１を決定する計算方法を説明するための図である。
まず、式（３）、式（４）に示したように、窓期間中に収集したｉ番目のフレーム画像２１ｂの平均輝度（測定領域２２ｂの輝度）をｙｉとし、フレーム画像２１ａの平均輝度（測定領域２２ａの輝度）をｘｉとして、式（５）に示したβ０を切片、β１を傾きとしてｘｉからｙｉを定める一次式を作成する。

ここで、ｉ番目のフレーム画像２１ａとフレーム画像２１ｂは、カメラ８ａ、８ｂで交互に撮影する場合は、隣接する撮影時刻のフレーム画像２１ａとフレーム画像２１ｂの組であり、同時に撮影する場合は、同じ撮影時刻のフレーム画像２１ａとフレーム画像２１ｂの組である。
このように脈波検出装置１は、撮影時刻に基づいて組にしたフレーム画像２１ａとフレーム画像２１ｂを式（５）によって関連づける。

フレーム画像２１の組の数をｎとすると、式（５）は、ｙ１からｙｎまで生成され、これを行列形式で表すと式（６）のようになる。
式（７）で示したように、ｙｉで構成される列ベクトルをＹ、１の列ベクトルと、ｘｉの列ベクトルで構成される行列をＸ、β０とβ１で構成される列ベクトルをＢとすると、最小二乗法により、Ｂは、式（８）で表される。ここで、上付きの文字の－１は逆行列を表し、上付き文字のＴは転置行列を表す。式（８）によってβ１が求まり、式（１）によってΘが求まる。

数式の背景は以上の通りであるが、脈波検出装置１は、ｙｉとｘｉの値を式（８）に代入してβ１を計算し、これを式（２）に代入してθを求め、これを式（１）に代入して回転行列Θを算出する。

脈波検出装置１は、以上に説明した原理に基づいて、Θの計算→赤外線色度の抽出→脈波の検出の順に処理を行って脈波の検出を行う。以下、これらの手順について説明する。
図５は、脈波検出装置１が行うΘの計算処理を説明するためのフローチャートである。
以下の処理は、ＣＰＵ２が脈波検出プログラム１２に従って行うものである。この例では、脈波検出装置１は、カメラ８ａとカメラ８ｂで交互に対象者１１を撮影する。

まず、脈波検出装置１は、カメラ８ａによって赤外線Ｒ＿７４０によるフレーム画像２１ａを撮影して画像データをＲＡＭ４に記憶する（ステップ５）。
次に、脈波検出装置１は、フレーム画像２１ａで輝度の高いところを探索する公知技術を用いて顔を検出し、検出した顔を楕円で囲む測定領域２２ａを設定してＲＡＭ４に記憶する（ステップ１０）。
次に、脈波検出装置１は、測定領域２２ａの各画素の輝度を足して画素数で割ることにより輝度の平均値（ｏｒｉｇ＿Ｒ＿７４０）を計算してＲＡＭ４に記憶する（ステップ１５）。以下では、ｏｒｉｇ＿Ｒ＿７４０のように、略称を括弧にて示す。

次に、脈波検出装置１は、同様にして、カメラ８ｂで赤外線Ｒ＿８５０によるフレーム画像２１ｂを撮影して（ステップ２０）、測定領域２２ｂを設定し（ステップ２５）、輝度の平均値（ｏｒｉｇ＿Ｒ＿８５０）を計算してＲＡＭ４に記憶する（ステップ３０）。
そして、脈波検出装置１は、撮影を開始してからの経過時間ｔが窓期間以上であるか否かを判断し（ステップ３５）、窓期間未満である場合は（ステップ３５；Ｎ）、ステップ５に戻って撮影を継続する。窓期間は、例えば、１０秒とする。

一方、窓期間以上である場合（ステップ３５；Ｙ）、脈波検出装置１は、窓期間の間にＲＡＭ４に記憶した各測定領域２２ａのｏｒｉｇ＿Ｒ＿７４０を平均することにより、ｏｒｉｇ＿Ｒ＿７４０の時間平均であるｍｅａｎ＿Ｒ＿７４０を計算してＲＡＭ４に記憶する（ステップ４０）。

次に、脈波検出装置１は、ＲＡＭ４に記憶した各測定領域２２ａのｏｒｉｇ＿Ｒ＿７４０からｍｅａｎ＿Ｒ＿７４０を減算し（ステップ４５）、これをバンドパスフィルタでフィルタ処理して（ステップ５０）、平均値からかけ離れたｏｒｉｇ＿Ｒ＿７４０を処理対象から除く。

次に、脈波検出装置１は、同様にしてｏｒｉｇ＿Ｒ＿８５０の時間平均値ｍｅａｎ＿Ｒ＿８５０を計算して（ステップ５５）、ｏｒｉｇ＿Ｒ＿８５０からｍｅａｎ＿Ｒ＿８５０を減算し（ステップ６０）、これをバンドパスフィルタでフィルタ処理する（ステップ６５）。

次に、脈波検出装置１は、フィルタ処理で残ったｏｒｉｇ＿Ｒ＿７４０とｏｒｉｇ＿Ｒ＿８５０の組を用いて、図４（ｂ）に記載の式（７）のベクトルＸとベクトルＹを生成してＲＡＭ４に記憶する（ステップ７０）。
更に、脈波検出装置１は、式（８）に従って、最小二乗法を実行してβ１を計算し（ステップ７５）、これを用いて回転行列Θを生成してＲＡＭ４に記憶する（ステップ８０）。

図６は、脈波検出装置１が行う脈波検出処理を説明するためのフローチャートである。
脈波検出装置１は、脈波検出処理で赤外線色度の抽出、及び脈波の検出を行う。この例でも脈波検出装置１は、カメラ８ａとカメラ８ｂで交互に対象者１１を撮影してフレーム画像を生成する。

まず、脈波検出装置１は、回転マッピング（赤外線平面上の点の座標値を色度輝度平面上の座標値に変換するマッピング）に用いる回転行列ΘをＲＡＭ４に記憶する（ステップ１０５）。
次に、脈波検出装置１は、カメラ８ａで対象者１１の顔を撮影し、赤外線Ｒ＿７４０によるフレーム画像２１ａを生成してＲＡＭ４に記憶する（ステップ１１０）。
次に、脈波検出装置１は、ＲＡＭ４に記憶したフレーム画像２１ａに対して測定領域２２ａを設定してＲＡＭ４に記憶する（ステップ１１５）。

そして、脈波検出装置１は、同様に、カメラ８ｂで対象者１１の顔を撮影して、赤外線Ｒ＿８５０によるフレーム画像２１ｂを生成してＲＡＭ４に記憶し（ステップ１２０）、記憶したフレーム画像２１ｂに対して測定領域２２ｂを設定してＲＡＭ４に記憶する（ステップ１２５）。
次に、脈波検出装置１は、測定領域２２ａと測定領域２２ｂの対応する画素ごとに、輝度の組み合わせを赤外線平面にプロットし、これらの点を回転行列Θによって回転することにより色度輝度平面にマッピングをする（即ち、色度輝度平面における座標値に変換する）（ステップ１３０）。

次に、脈波検出装置１は、マッピングした各点のｙ座標値により、各画素の赤外線色度成分を抽出する（ステップ１３５）。
脈波検出装置１は、この処理を各画素について行い、これによって赤外線色度成分（信号）で構成されたフレーム画像２１ｃ（図示せず）を生成してＲＡＭ４に記憶する。
即ち、フレーム画像２１の各画素の画素値は、色度輝度平面上におけるｙ座標値で構成されている。

次に、脈波検出装置１は、回転前の元のフレーム画像２１ａ（フレーム画像２１ｂでもよい）から対象者１１の顔を検出し（ステップ１４０）、対象者１１の顔の形状の輝度マスクを作成してＲＡＭ４に記憶する（ステップ１４５）。
輝度マスクは、対象者１１の顔領域の画素で１の値をとり、他の領域の画素で０の値をとるデータである。

次に、脈波検出装置１は、赤外線色度成分で構成されたフレーム画像２１ｃと輝度マスクの論理積を計算することにより、輝度マスクの１の値の部分だけを抜き出し、これによってフレーム画像２１ｃに対する処理の範囲を顔領域に限定する（ステップ１５０）。
次に、脈波検出装置１は、当該顔領域の赤外線色度を平均して、その平均値をＲＡＭ４に記憶する（ステップ１５５）。この平均した赤外線色度信号に脈波信号が入っている。

そして、脈波検出装置１は、撮影を開始してからの経過時間ｔが窓期間以上であるか否かを判断し（ステップ１６０）、窓期間未満である場合は（ステップ１６０；Ｎ）、ステップ１１０に戻って撮影を継続する。

一方、窓期間（例えば、１０秒）以上である場合（ステップ１６０；Ｙ）、脈波検出装置１は、ＲＡＭ４に記憶した赤外線色度成分の平均値を時系列に沿ってフーリエ変換するなどして、脈波を検出し（ステップ１６５）、処理を終了する。この脈波の検出には、公知技術を用いる。
このように、脈波検出装置１は、色度相当成分を用いて対象者の脈波を取得する脈波取得手段を備えている。この脈波からは、例えば、脈波の波形、脈拍数、心拍数を得ることができる。

ここで、カメラ８ａとカメラ８ｂで交互に撮影する場合に、赤外線平面にプロットするためのフレーム画像２１ａとフレーム画像２１ｂの組み合わせ方法について補足する。
例えば、フレーム画像２１ａ１、フレーム画像２１ｂ１、フレーム画像２１ａ２、フレーム画像２１ｂ２、フレーム画像２１ａ３、フレーム画像２１ｂ３、フレーム画像２１ａ４、フレーム画像２１ｂ４、・・・と交互に撮影した場合、（フレーム画像２１ａ１、フレーム画像２１ｂ１）、（フレーム画像２１ａ２、フレーム画像２１ｂ２）、・・・といったように撮影時刻が隣接するフレーム画像２１をペアにするやり方のほか、（フレーム画像２１ａ１、フレーム画像２１ｂ１）、（フレーム画像２１ａ２、フレーム画像２１ｂ１）、（フレーム画像２１ａ２、フレーム画像２１ｂ２）、・・・といったように、ある１つのフレーム画像２１に対して、その前後のフレーム画像２１を組にしてもよい。

以上に説明した第１の実施の形態により、次のような効果を得ることができる。
（１）複数種類の波長の赤外線を利用することにより赤外線色度信号を作成して、これから脈波を測定することができる。
（２）赤外線色度による脈波の検出は光外乱や動き外乱に対してロバストであるため、これら外乱がある場合でも脈波を検出することができる。
（３）公知技術による輝度による脈波の検出装置を利用することができる。
（４）昼間は可視光による色度から脈波を検出し、夜間は赤外線色度から脈波を検出するといったように環境によって照明を切り替えつつ、色度からの脈波の検出機構を共用することにより、脈波検出装置１の製造コストを削減しながら脈波検出装置１の使用環境の範囲を広げることができる。

なお、第１の実施の形態では、７４０ｎｍの赤外線と、８５０ｎｍの赤外線の２種類の波長の赤外線を用いて赤外線色度信号を作成したが、更に、９４０ｎｍの赤外線を発光するＬＥＤ９を追加して、３種類の赤外線、あるいは更に多種類の赤外線によって赤外線色度信号を構成してもよい。
また、第１の実施の形態は、使用する赤外線の周波数をこれらに限定するものではなく、任意の周波数の赤外線を用いることができる。

（第２の実施の形態）
図７は、第２の実施の形態を説明するための図である。
第２の実施の形態の脈波検出装置１は、カメラ８が１台であるほかは、第１の実施の形態と同じである。
図７に示したように、カメラ８が有するイメージセンサ３１の表面には、拡大図に示したように、市松模様（格子模様）状に赤外線Ｒ＿７４０用のバンドパスフィルタ３２と赤外線Ｒ＿８５０用のバンドパスフィルタ３３が設置されている。

バンドパスフィルタ３２とバンドパスフィルタ３３は、同じ大きさの正方形形状に形成されており、イメージセンサ３１の表面を隙間なく覆っている。
バンドパスフィルタ３２とバンドパスフィルタ３３は、イメージセンサ３１の画素ごとに形成してもよいし、複数の画素に渡って形成してもよい。

脈波検出装置１は、バンドパスフィルタ３２で覆われた部分の画素信号からフレーム画像２１ａを生成し、バンドパスフィルタ３３で覆われた部分の画素信号からフレーム画像２１ｂを生成する。
第２の実施の形態では、フレーム画像２１ａとフレーム画像２１ｂを同時に撮影することができるため、撮影時刻のずれによる赤外線色度の不確定性がなくなり、赤外線色度の精度を高めることができる。

このように、第２の実施の形態の脈波検出装置１が備える撮像手段は、第１の波長の赤外線用のフィルタと、第２の波長の赤外線用のフィルタと、をイメージセンサに搭載した単一のカメラを用いて動画を撮像している。

第２の実施の形態では、イメージセンサ３１に２種類の赤外線フィルタを搭載することにより、フレーム画像２１ａとフレーム画像２１ｂを同時に撮影したが、このほかに、カメラ８ａとカメラ８ｂを同じタイミングで撮影するように同期させて動画撮影させることによって、フレーム画像２１ａによる動画とフレーム画像２１ｂによる動画を個別に作成することもできる。

（第３の実施の形態）
図８は、第３の実施の形態を説明するための図である。
第３の実施の形態の脈波検出装置１は、カメラ８が１台であるほかは、第１の実施の形態の構成と同じである。
カメラ８には、７４０ｎｍ以上の波長の赤外線を透過するバンドパスフィルタが装着されている。
これにより、カメラ８は、赤外線Ｒ＿７４０によるフレーム画像２１ａと、赤外線Ｒ＿８５０によるフレーム画像２１ｂの両方を撮影することができる。

図８（ａ）に示したように、脈波検出装置１は、カメラ８のフレームレートに同期してＬＥＤ９ａとＬＥＤ９ｂを交互に点灯・消灯（オン・オフ）させ、カメラ８は、赤外線Ｒ＿７４０によるフレーム画像２１ａと赤外線Ｒ＿８５０によるフレーム画像２１ｂを交互に生成する。図では、点灯状態にあるＬＥＤ９に星印を付してあり、他方のＬＥＤ９は消灯状態となっている。
そして、脈波検出装置１は、図８（ｂ）に示したように、フレーム画像２１ａとフレーム画像２１ｂから赤外線色度で構成されたフレーム画像２１ｃを生成し、これから脈波を検出する。

図９は、第３の実施の形態に係るΘの計算方法を説明するためのフローチャートである。
第１の実施の形態（図５）と同じステップには、同じステップ番号を付し、説明を簡略化・省略する。以下、他のフローチャートも同様とする。
まず、脈波検出装置１は、ＬＥＤ９ａを点灯して赤外線Ｒ＿７４０を発光させる（ステップ２０５）。このときＬＥＤ９ｂは、消灯している。ステップ５～ステップ１５は、第１の実施の形態と同じである。

そして、脈波検出装置１は、ＬＥＤ９ａを消灯し（ステップ２１０）、次いで、ＬＥＤ９ｂを点灯して赤外線Ｒ＿８５０を発光させる（ステップ２１５）。ステップ２０～ステップ３０は、第１の実施の形態と同じである。
次いで、脈波検出装置１は、ＬＥＤ９ｂを消灯して（ステップ２２０）ステップ３５に移行する。後は、第１の形態と同じである。

図１０は、第３の実施の形態の脈波検出装置１が行う脈波検出処理を説明するためのフローチャートである。
脈波検出装置１は、Θを読み込んだ後（ステップ１０５）、ＬＥＤ９ａを点灯して赤外線Ｒ＿７４０を発光させる（ステップ３０５）。このときＬＥＤ９ｂは、消灯している。
ステップ１１０、１１５は、第１の実施の形態と同じである。

そして、脈波検出装置１は、ＬＥＤ９ａを消灯し（ステップ３１０）、次いで、ＬＥＤ９ｂを点灯して赤外線Ｒ＿８５０を発光させる（ステップ３１５）。ステップ１２０、１２５は、第１の実施の形態と同じである。

次いで、脈波検出装置１は、ＬＥＤ９ｂを消灯する（ステップ３２０）。これ以降の処理（ステップ１３０～ステップ１６５）は第１の実施の形態と同じである。
第３の実施の形態によれば、１台のカメラ８で２種類の赤外線による動画を撮影することができる。

このように、第３の実施の形態の脈波検出装置１が備える照明手段は、第１の赤外線と第２の赤外線を交互に点滅させ、撮像手段は、当該点滅に同期した体表面の画像を取得することにより、第１の赤外線による動画と、第２の赤外線による動画を撮像する。

（第４の実施の形態）
図１１は、第４の実施の形態を説明するための図である。
第４の実施の形態の脈波検出装置１の構成は、第３の実施の形態と同じである。
図１１（ａ）に示したように、第４の実施の形態の脈波検出装置１は、カメラ８（図示せず）のフレームレートに同期して、ＬＥＤ９ａを点灯してＬＥＤ９ｂを消灯した状態、ＬＥＤ９ａとＬＥＤ９ｂを消灯した状態、及びＬＥＤ９ｂを点灯してＬＥＤ９ａを消灯した状態を順に繰り返す。

これにより、脈波検出装置１は、・・・、赤外線Ｒ＿７４０によるフレーム画像２１ａ、環境光によるフレーム画像２１ｄ、赤外線Ｒ＿８５０によるフレーム画像２１ｂ、・・・の順によるフレーム画像２１の生成を繰り返す。

脈波検出装置１は、フレーム画像２１ａの輝度からフレーム画像２１ｄの輝度を画素ごとに減じて輝度補正したフレーム画像２１ａを生成し、更に、フレーム画像２１ｂの輝度からフレーム画像２１ｄの輝度を画素ごとに減じて輝度補正したフレーム画像２１ｂを生成する。
そして、脈波検出装置１は、補正後のフレーム画像２１ａとフレーム画像２１ｂから赤外線色度で構成されたフレーム画像２１ｃを生成し、これから脈波を検出する。

図１２は、第４の実施の形態の脈波検出装置１が行う脈波検出処理を説明するためのフローチャートである。
脈波検出装置１は、ステップ１０５からステップ１１０までは、第３の実施の形態（図１０）と同じである。なお、Θの生成方法も第３の実施の形態と同じである。

そして、脈波検出装置１は、ＬＥＤ９ａを消灯する（ステップ３１０）。
次に、脈波検出装置１は、カメラ８で対象者１１の顔を撮影し、環境光によるフレーム画像２１ｄを生成してＲＡＭ４に記憶する（ステップ４０５）。
次に、脈波検出装置１は、１コマ後に撮影したフレーム画像２１ｄを用いてフレーム画像２１ａの輝度補正を行ってＲＡＭ４に記憶する（ステップ４１０）。
そしてＲＡＭ４に記憶した輝度補正後のフレーム画像２１ａに測定領域２２ａを設定してＲＡＭ４に記憶する（ステップ１１５）。

ステップ３１５とステップ１２０は、第３の実施の形態と同じである。
次に、脈波検出装置１は、１コマ前に撮影したフレーム画像２１ｄを用いてフレーム画像２１ｂの輝度補正を行ってＲＡＭ４に記憶する（ステップ４１５）。
そしてＲＡＭ４に記憶した輝度補正後のフレーム画像２１ｂに測定領域２２ｂを設定してＲＡＭ４に記憶する（ステップ１２５）。
次のステップ３２０以降の他のステップは、第３の実施の形態と同じである。
第４の実施の形態によれば、環境光による輝度を補正することができるため、光外乱の影響を低減した脈波の検出を行うことができる。

このように、第４の実施の形態の脈波検出装置１が備える照明手段は、第１の赤外線と第２の赤外線を同時に消灯する所定の消灯時間をおきながら第１の赤外線と第２の赤外線を交互に点滅させ、撮像手段は、消灯時間と点滅に同期する、赤外線を消灯した環境光による体表面の画像、第１の赤外線による体表面の画像、及び、第２の赤外線による体表面の画像を取得することにより動画を撮像し、色度相当成分取得手段は、環境光による画像を用いて第１の赤外線による画像、及び第２の赤外線による画像の輝度を補正した後、色度相当成分を取得している。

１ 脈波検出装置
２ ＣＰＵ
３ ＲＯＭ
４ ＲＡＭ
５ 表示部
６ 入力部
７ 出力部
８ カメラ
９ ＬＥＤ
１０ 記憶部
１１ 対象者
１２ 脈波検出プログラム
２１ フレーム画像
２２ 測定領域
３１ イメージセンサ
３２、３３ バンドパスフィルタ
５１ グラフ
５２ 直線
５３ 矢線

Claims (8)

1. 対象者を波長が異なる複数波長の赤外線で照明する照明手段と、
   前記赤外線が照射された前記対象者を動画で撮像する撮像手段と、
   前記動画で撮像された、前記対象者における体表面の前記波長が異なる赤外線ごとの輝度を組み合わせることにより、前記体表面の色度相当成分を取得する色度相当成分取得手段と、
   前記取得した色度相当成分を用いて前記対象者の脈波を取得する脈波取得手段と、
   前記取得した脈波を出力する出力手段と、
   を具備したことを特徴とする脈波検出装置。
2. 前記照明手段は、第１の波長の赤外線と、第２の波長の赤外線で前記対象者を照明する、
   ことを特徴とする請求項１に記載の脈波検出装置。
3. 前記色度相当成分取得手段は、前記第１の波長の赤外線の輝度を一方の座標軸とし、前記第２の波長の赤外線の輝度を他方の座標軸とする平面において、前記体表面の輝度の明暗方向に垂直な成分を色度相当成分として取得することを特徴とする請求項２に記載の脈波検出装置。
4. 前記撮像手段は、前記第１の波長の赤外線による動画を撮像する第１のカメラと、前記第２の波長の赤外線による動画を撮像する第２のカメラと、を用いて前記動画を撮像することを特徴とする請求項２、又は請求項３に記載の脈波検出装置。
5. 前記撮像手段は、前記第１の波長の赤外線用のフィルタと、前記第２の波長の赤外線用のフィルタと、をイメージセンサに搭載した単一のカメラを用いて前記動画を撮像することを特徴とする請求項２、又は請求項３に記載の脈波検出装置。
6. 前記照明手段は、前記第１の波長の赤外線と前記第２の波長の赤外線を交互に点滅させ、
   前記撮像手段は、前記点滅に同期した前記体表面の画像を取得することにより、前記第１の波長の赤外線による動画と、前記第２の波長の赤外線による動画を撮像することを特徴とする請求項２から請求項５までのうちの何れか１の請求項に記載の脈波検出装置。
7. 前記照明手段は、前記第１の波長の赤外線と前記第２の波長の赤外線を同時に消灯する所定の消灯時間をおきながら前記第１の波長の赤外線と前記第２の波長の赤外線を交互に点滅させ、
   前記撮像手段は、前記消灯時間と前記点滅に同期する、前記赤外線を消灯した環境光による前記体表面の画像、前記第１の波長の赤外線による前記体表面の画像、及び、前記第２の波長の赤外線による前記体表面の画像を取得することにより前記動画を撮像し、
   前記色度相当成分取得手段は、前記環境光による画像を用いて前記第１の波長の赤外線による画像、及び前記第２の波長の赤外線による画像の輝度を補正した後、前記色度相当成分を取得することを特徴とする請求項６に記載の脈波検出装置。
8. 照明手段により波長が異なる第１の波長の赤外線と第２の波長の赤外線で照明された対象者を撮像した動画を取得する動画取得機能と、
   前記動画で撮像した、前記対象者における体表面の前記第１の波長の赤外線と前記第２の波長の赤外線ごとの輝度を組み合わせることにより、前記体表面の色度相当成分を取得する色度相当成分取得機能と、
   前記取得した色度相当成分を用いて前記対象者の脈波を取得する脈波取得機能と、
   前記取得した脈波を出力する出力機能と、
   をコンピュータに実現させる脈波検出プログラム。

Images