JP7204077B2 - 脈波検出装置、車両装置、及び脈波検出プログラム - Google Patents

Description

本発明は、脈波検出装置、車両装置、及び脈波検出プログラムに関し、例えば、対象者の脈拍数を検出するものに関する。

対象者の健康状態や生理的な状態を把握するためには、脈波の検出が重要である。通常、脈波は、対象者に器具を装着して検出するが、もっと手軽に検出したいとの要望が高く、非接触で対象者の脈波を検出する技術が盛んに研究されている。
これにより、例えば、車両の運転者の脈波をモニタリングして、より交通安全を推進することができる。

このように、非接触で脈波を検出する技術に非特許文献１の技術がある。この技術は、対象者の腕をカメラで撮影し、そのカメラ映像から脈波を検出する。血流により体表面の輝度や色が変化するため、映像を画像処理することにより脈拍を検出することができる。
また、特許文献１の技術では、顔の向きが左右に変わることで検出領域が小さくなる場合、顔の中で比較的検出領域を広く取れる部分に検出領域を変更して脈波を推定している。

ところで、カメラで対象者の脈波を検出する際には、入射光源が必要であるが、環境明度が不足している場合は、照明で照らす必要がある。
しかし、照明に対する対象者の位置が一定であれば、脈波を検出することができるが、対象者が動くと対象者から反射する光の輝度が大きく影響を受けるため脈波の測定ができなくなるという問題があった。

特開２０１４－１９８２０１号公報

"Ｎｏｎ－ｃｏｎｔａｃｔ Ｍｏｎｉｔｏｒｉｎｇ Ｔｅｃｈｎｉｑｕｅｓ － Ｐｒｉｎｃｉｐｌｅｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，" Ｄ． Ｔｅｉｃｈｍａｎｎ， Ｃ． Ｂｒｕｓｅｒ， Ｂ． Ｅｉｌｅｂｒｅｃｈｔ， Ａ． Ａｂｂａｓ， Ｎ． Ｂｌａｎｉｋ， ａｎｄ Ｓ． Ｌｅｏｎｈａｒｄｔ， Ｐｒｏｃ． ＩＥＥＥ Ｅｎｇ．， Ｍｅｄ． Ｂｉｏｌ． Ｓｏｃ． ３４ｔｈ Ａｎｎ． Ｉｎｔ． Ｃｏｎｆ．， Ｓａｎ Ｄｉｅｇｏ， ＣＡ， ＵＳＡ， ２０１２， ｐｐ． １３０２－１３０５．

本発明は、対象者が照明に対して移動することにより輝度が変化する場合であっても脈波を適切に検出することを目的とする。

（１）請求項１に記載の発明では、対象者の体表面を撮影した動画を取得する動画取得手段と、前記取得した動画から前記体表面が写っている領域を取得する領域取得手段と、前記取得した領域の輝度を取得する輝度取得手段と、前記取得した動画における、或１のフレーム画像から得られる前記体表面の位置を基準とする、他のフレーム画像で得られる前記体表面の相対的な前後位置と前記領域の輝度の対応関係を用いて前記取得した輝度を補正する補正手段と、前記領域の前記補正した輝度の変化に基づいて前記対象者の脈波を取得する脈波取得手段と、を具備し、前記体表面は顔であり、前記領域取得手段は、前記領域として顔領域を取得し、前記補正手段は、前記顔の前後位置を前記顔領域の大きさによって取得する、ことを特徴とする脈波検出装置を提供する。
（２）請求項２に記載の発明では、対象者の体表面を撮影した動画を取得する動画取得手段と、前記取得した動画から前記体表面が写っている領域を取得する領域取得手段と、前記取得した領域の輝度を取得する輝度取得手段と、前記取得した動画における、或１のフレーム画像から得られる前記体表面の位置を基準とする、他のフレーム画像で得られる前記体表面の相対的な前後位置と前記領域の輝度の対応関係を用いて前記取得した輝度を補正する補正手段と、前記領域の前記補正した輝度の変化に基づいて前記対象者の脈波を取得する脈波取得手段と、を具備し、前記体表面は顔であり、前記領域取得手段は、前記領域として顔領域を取得し、前記顔を含む前記顔より大きい顔検出領域を取得する顔検出領域取得手段を具備し、前記領域取得手段は、前記取得した顔検出領域における輝度の分布を用いて前記顔領域を取得する、ことを特徴とする脈波検出装置を提供する。
（３）請求項３に記載の発明では、対象者の体表面を撮影した動画を取得する動画取得手段と、前記取得した動画から前記体表面が写っている領域を取得する領域取得手段と、前記取得した領域の輝度を取得する輝度取得手段と、前記取得した動画における、或１のフレーム画像から得られる前記体表面の位置を基準とする、他のフレーム画像で得られる前記体表面の相対的な前後位置と前記領域の輝度の対応関係を用いて前記取得した輝度を補正する補正手段と、前記領域の前記補正した輝度の変化に基づいて前記対象者の脈波を取得する脈波取得手段と、を具備し、前記体表面は顔であり、前記領域取得手段は、前記領域として顔領域を取得し、前記補正手段は、前記取得した顔領域に当該顔領域に含まれない閉領域がある場合に、当該閉領域を前記顔領域の大きさに含める、ことを特徴とする脈波検出装置を提供する。
（４）請求項４に記載の発明では、前記補正手段は、前記顔の前後位置を前記顔領域の大きさによって取得する、ことを特徴とする請求項２、又は請求項３に記載の脈波検出装置を提供する。
（５）請求項５に記載の発明では、前記顔を含む前記顔より大きい顔検出領域を取得する顔検出領域取得手段を具備し、前記領域取得手段は、前記取得した顔検出領域における輝度の分布を用いて前記顔領域を取得する、ことを特徴とする請求項３に記載の脈波検出装置を提供する。
（６）請求項６に記載の発明では、前記顔を赤外線で照明する照明手段と、前記赤外線で照明した顔を赤外線にて動画撮影する動画撮影手段と、を具備し、前記動画取得手段は、前記動画撮影手段から前記動画を取得する、ことを特徴とする請求項１から請求項５のうちのいずれか１の請求項に記載の脈波検出装置を提供する。
（７）請求項７に記載の発明では、対象者の顔を赤外線で照明する照明手段と、前記赤外線で照明した顔を赤外線にて動画撮影する動画撮影手段と、前記動画撮影手段から前記対象者の顔を撮影した動画を取得する動画取得手段と、前記取得した動画から前記顔が写っている顔領域を取得する領域取得手段と、前記取得した顔領域の輝度を取得する輝度取得手段と、前記取得した動画における、或１のフレーム画像から得られる前記顔の位置を基準とする、他のフレーム画像で得られる前記顔の相対的な前後位置と前記顔領域の輝度の対応関係を用いて前記取得した輝度を補正する補正手段と、前記顔領域の前記補正した輝度の変化に基づいて前記対象者の脈波を取得する脈波取得手段と、環境明度を取得する環境明度取得手段と、前記取得した環境明度が所定値未満となった場合に、前記照明手段による照明と、前記動画撮影手段による動画撮影を開始する開始手段と、を具備したことを特徴とする脈波検出装置を提供する。
（８）請求項８に記載の発明では、前記環境明度が所定値以上の場合に前記脈波を取得する第２の脈波取得手段を具備し、前記開始手段は、前記取得した環境明度が所定値未満となった場合に、前記第２の脈波取得手段による前記脈波の取得を停止した後、前記照明手段による照明と、前記動画撮影手段による動画撮影を開始することを特徴とする請求項７に記載の脈波検出装置を提供する。
（９）請求項９に記載の発明では、請求項１から請求項８までのうちの何れか１の請求項に記載の脈波検出装置を具備した車両装置を提供する。
（１０）請求項１０に記載の発明では、対象者の体表面を撮影した動画を取得する動画取得機能と、前記取得した動画から前記体表面が写っている領域を取得する領域取得機能と、前記取得した領域の輝度を取得する輝度取得機能と、前記取得した動画における、或１のフレーム画像から得られる前記体表面の位置を基準とする、他のフレーム画像で得られる前記体表面の相対的な前後位置と前記領域の輝度の対応関係を用いて前記取得した輝度を補正する補正機能と、前記領域の前記補正した輝度の変化に基づいて前記対象者の脈波を取得する脈波取得機能と、をコンピュータで実現し、前記体表面は顔であり、前記領域取得機能は、前記領域として顔領域を取得し、前記補正機能は、前記顔の前後位置を前記顔領域の大きさによって取得する、ことを特徴とする脈波検出プログラムを提供する。

本発明によれば、対象者の位置によって輝度を補正することにより、脈波を適切に検出することができる。

本実施の形態の概要を説明するための図である。 脈波検出装置の構成を示した図である。 脈波検出処理の手順を説明するためのフローチャートである。 データ取得処理の手順を説明するためのフローチャートである。 脈拍数検出処理の手順を説明するためのフローチャートである。 フローチャートを補足説明するための図である。 ＲとｓＲＯＩの関係式の算出方法を説明するための図である。 Ｒの補正式を説明するための図である。 Ｒの補正実験を説明するための図である。 Ｒの補正実験を説明するための図である。 エラー率を計測した実験結果を説明するための図である。

（１）実施形態の概要
図１は、本実施の形態の概要を説明するための図である。
フレーム画像２０１は、脈波検出の対象者（例えば、車両の運転席に着席している運転者）の顔を運転席前方に設置した赤外線の照明で照らし、これを赤外線カメラで撮影した動画の１フレーム画像を示している。
また、フレーム画像２０２は、対象者が頭部を後方に動かした際に撮影したフレーム画像を示している。
フレーム画像２０２で撮影した顔は、照明装置から後方に離れるためフレーム画像２０１で撮影した顔より輝度が小さくなり、カメラから後方に離れるため顔の大きさも小さくなる。
グラフ２０４は、動画撮影した顔の補正前の輝度信号Ｒの時間変化を示している。
時点２０５では、フレーム画像２０１から輝度を検出しており、時点２０６ではフレーム画像２０２から輝度を検出している。

一般に、対象者の脈拍は、体表面の輝度の変化に表れるため輝度信号ＲをＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）などによりフーリエ変換して周波数成分を計算すると、周波数成分のピークから脈拍の周波数を得ることができる。
ところが、グラフ２０４の場合、輝度の検出中に、時点２０５から時点２０６に至る過程で対象者が頭部を後方に動かしたため、顔面部の輝度の連続性が損なわれており、これをフーリエ変換するとグラフ２０８に示したように脈拍数ピークがノイズに埋もれて顔の前後動による外乱ピークが検出されてしまう。
なお、グラフ２０８では、縦軸はＦＦＴによる周波数成分のレベルを示しており、横軸は周波数をｂｐｍ（ｂｅａｔ ｐｅｒ ｍｉｎｕｔｅ：１分あたりの脈拍数）単位で示している。

ところで、顔がカメラや照明装置に近づくと輝度が高くなると共に顔の面積が大きくなり、逆に顔がカメラや照明装置から遠のくと輝度が低くなると共に顔の面積も小さくなる。
このように輝度と顔の大きさが相関関係を有するために、後述の脈波検出装置１（図２）は、フレーム画像から顔を検出し、顔面の大きさによって顔の輝度を補正する。
これは、顔の輝度は照明と顔の距離に依存するのに対し、照明から顔までの距離を顔の大きさによって間接的に計測していることになる。

グラフ２１０は、顔の大きさによって輝度を補正した補正後の輝度信号Ｒ′を示している。グラフ２０４との対応は破線で示してある。
補正後の輝度信号Ｒ′を周波数領域に変換すると、グラフ２１２に示したように脈拍数ピークを明確に観測することができる。
このように、脈波検出装置１は、フレーム画像における対象者の顔の大きさと輝度の変化の相関関係を用いて、フレーム画像に写った顔の輝度の大きさを当該顔の大きさにより補正した後、当該補正後の輝度信号から対象者の脈拍数を推定・測定する。

（２）実施形態の詳細
図２は、本実施の形態の脈波検出装置１の構成を示した図である。
脈波検出装置１は、例えば、車両に搭載され、搭乗者（ドライバや助手席の乗客などの対象者）の脈波を監視し、ドライバの体調、緊張状態などの生理的な状態を把握する。
また、医療現場や災害現場などで患者や被災者の脈波を検出・監視するのに用いることもできる。

脈波検出装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４、表示部５、入力部６、出力部７、カメラ８、照明９、記憶部１０などから構成されており、対象者１１（脈波検出装置１のユーザであり脈波検出の対象者）の脈波を検出（あるいは、推定）する。
ＣＰＵ２は、記憶部１０やＲＯＭ３などに記憶されたプログラムに従って、各種の情報処理や制御を行う中央処理装置である。
本実施の形態では、カメラ８が撮影した動画を画像処理して対象者１１の脈波を脈拍数にて検出する。

ＲＯＭ３は、読み取り専用メモリであって、脈波検出装置１を動作させるための基本的なプログラムやパラメータなどが記憶されている。
ＲＡＭ４は、読み書きが可能なメモリであって、ＣＰＵ２が動作する際のワーキングメモリを提供する。
本実施の形態では、動画を構成するフレーム画像（１コマの静止画像）を展開して記憶したり、計算結果を記憶したりすることにより、ＣＰＵ２が、フレーム画像の皮膚部分から脈波を検出するのを支援する。
当該皮膚部分は、顔や手足など体表面が露出しているところならよいが、本実施の形態では、一例として顔の表面（顔面）から脈波を検出する。

表示部５は、液晶画面などの表示デバイスを用いて構成されており、脈波検出装置１の操作画面や脈拍数の表示など、脈波検出装置１の運用に必要な情報を表示する。
入力部６は、表示デバイスに重畳して設置されたタッチパネルなどの入力デバイスを用いて構成されており、画面表示に対するタッチの有無などから各種の情報の入力を受け付ける。

出力部７は、各種の情報を外部装置に出力するインターフェースであり、例えば、検出した脈拍数を出力したり、あるいは、脈拍数に変化が現れた場合にアラームを出力することができる。
また出力部７は、車両を制御する制御装置などの他の制御機器に出力することができる。出力部７から脈拍数の出力を受けた制御機器では、例えば、ドライバの眠気や緊張状態等を判断し、ドライバに向けた制御、例えば、眠気を覚醒させるためにハンドルやシートを振動させる制御、警告音やメッセージの出力などを行うことが出来る。また、車両に対する制御として、脈拍数に基づいて判断したドライバの緊張状態に応じて、車間距離制御、車速制御、又はブレーキ制御の少なくとも１つを行うことも可能である。例えば、制御機器は、ドライバが所定値を超える高い緊張状態にあると判断した場合には、車間距離を基準値よりも大きくとるように制御し、車速を所定車速以下となるように制御し、所定車速以上であれば自動ブレーキ操作による減速処理等を行う。

カメラ８は、赤外線カメラであって、レンズで構成された光学系と、これによって結像した像を電気信号に変換する赤外線イメージセンサを用いて構成されており、対象者１１の顔付近が撮影画面となるように設置されている。
カメラ８は、対象者１１を所定のフレームレートにて撮影し、これら連続するフレーム画像（静止画像）で構成された動画を出力する。
フレーム画像は、画像を構成する最小単位である画素（ピクセル）の配列により構成されており、各画素は照明９が照射する周波数帯域の赤外線を検出する。

また、カメラ８は、対象者１１の顔前方に設置されていることから、対象者１１が顔を前後移動すると、撮影された顔の大きさが変化する。
より詳細には、対象者１１が顔を前方に移動すると顔がカメラ８に接近するため、顔の大きさが大きくなり、対象者１１が顔を後方に移動すると顔がカメラ８から遠ざかるため、顔の大きさが小さくなる。

照明９は、所定の周波数帯域の赤外線を対象に照射する照明装置であって、対象者１１の顔の前方に設置されており、対象者１１の顔を前方から照明する。
そのため、対象者１１が顔を前方に移動すると顔が照明９に接近して顔で反射する赤外線の輝度が増大し、顔を後方に移動すると顔が照明９から遠ざかって顔で反射する赤外線の輝度が減少する。

なお、カメラ８と照明９は、カメラ８と照明９が一体となった、照明付きカメラとしてもよい。
また、脈波検出装置１は、赤外線により対象者１１の脈波を検出するが、可視光を用いるなど、他の周波数帯域における光を用いてもよい。この場合は、カメラ８と照明９を当該光に適合したもので構成する。

記憶部１０は、ハードディスクやＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記憶媒体を用いて構成されており、ＣＰＵ２が脈波を検出するための脈波検出プログラム１２やその他のプログラム、及びデータを記憶している。
ＣＰＵ２が脈波検出プログラム１２に従って検出した脈波のデータは、ＲＡＭ４に一時保存され、必要に応じて外部に出力されたり、記憶部１０に保存される。

脈波検出プログラム１２は、ＣＰＵ２に脈波検出処理を行わせるプログラムである。
ＣＰＵ２は、脈波検出プログラム１２を実行することにより、動画におけるユーザの皮膚部分の特定、顔の大きさに基づく輝度の補正、及び特定した皮膚部分からの脈波（ここでは脈拍数）の検出を行う。

以下、脈波検出装置１が行う脈波検出処理について説明する。
図３は、脈波検出装置１が行う脈波検出処理の手順を説明するためのフローチャートである。
以下の処理は、ＣＰＵ２が脈波検出プログラム１２に従って行うものである。
まず、ＣＰＵ２は、最低輝度基準と最高輝度基準をＲＡＭ４に記憶することにより、輝度基準を設定する（ステップ５）。

脈波検出装置１は、輝度を、例えば、０（最低輝度）から２５５（最高輝度）まで段階的に計測するが、ここでは、一例として最低輝度基準を１０５とし最高輝度基準を２５５とした。
最低輝度基準と最高輝度基準は、フレーム画像から体表面に該当する画素を識別する際の基準となる輝度であって、最適値が予めパラメータとして脈波検出プログラム１２に設定されている。
これら顔の輝度を検出するのに適した輝度基準を用いることにより、顔の輝度の検出精度を高めることができる。

次に、ＣＰＵ２は、数理形態クロージング用の構成を定義するパラメータをＲＡＭ４に記憶することにより、当該数理形態クロージングの構成を定義する（ステップ１０）。
後述するように、最低輝度基準と最高輝度基準の範囲にある領域を顔領域として検出すると、一般にいびつな形となる。
これを脈波検出や顔の大きさを検出するのに適した形状に整形するのが数理形態クロージングである。

次に、ＣＰＵ２は、照明９を駆動して対象者１１の顔を照らすと共にカメラ８を駆動して対象者１１の顔を動画撮影することにより脈波の検出を開始する。
このように、脈波検出装置１は、顔を赤外線で照明する照明手段と、赤外線で照明した顔を赤外線にて動画撮影する動画撮影手段を備えている。

次に、ＣＰＵ２は、カメラ８が撮影した動画データからフレーム画像を取得してＲＡＭ４に記憶する（ステップ１５）。
このように、脈波検出装置１は、対象者１１の体表面（ここでは、一例として顔）を撮影した動画を取得する動画取得手段を備えている。
そして、当該動画取得手段は、動画撮影手段（カメラ８）から動画を取得している。

次に、ＣＰＵ２は、フレーム画像を取得した時間（日時刻）をＲＡＭ４に記録する（ステップ２０）。
この時間は、後に輝度をフーリエ解析する際の時間軸における時刻を規定するものである。
なお、フレーム画像に画像取得時間が記録されている場合はこれを用いてもよいし、ＣＰＵ２が自己のクロックを用いて計測した時間を付与してもよい。

次に、ＣＰＵ２は、ＲＡＭ４に記憶したフレーム画像において顔を検出して、検出した顔の位置と大きさをＲＡＭ４に記憶する（ステップ２５）。
より詳細には、図６のフレーム画像３１に示したように、ＣＰＵ２は、矩形３２によって顔を検出する。顔の検出アルゴリズムは、顔検出技術で一般的に用いられているものを使用する。

図３に戻り、次に、ＣＰＵ２は、顔を検出できたか否かを判断する（ステップ３０）。
顔を検出できた場合（ステップ３０；Ｙ）、ＣＰＵ２は、脈波の検出に必要なデータを取得する後述のデータ取得処理を行う（ステップ３５）。
一方、顔を検出できなかった場合（ステップ３０；Ｎ）、ＣＰＵ２は、例えば、顔を検出できなかった旨を示すフラグをＲＡＭ４に立てるなどして顔を検出できなかった状況を記録する（ステップ６０）。

ＣＰＵ２は、データ取得処理を行った後、データを取得するデータ取得期間が終了したか否かを判断する（ステップ４０）。
データ取得期間が終了していない場合（ステップ４０；Ｎ）、ＣＰＵ２は、ステップ１５に戻って、次のフレーム画像について同様の処理を行う。

一方、データ取得期間が終了した場合（ステップ４０；Ｙ）、ＣＰＵ２は、ステップ４５の処理に移行する。
データ取得期間は、脈波検出に用いる動画の長さを規定する期間であり、本実施の形態では、一例として、３０秒間の動画から脈波を検出する。

データ取得期間が終了した後（ステップ４０；Ｙ）、又は顔を検出できなかった状況を記録した後（ステップ６０）、ＣＰＵ２は、ＲＡＭ４にアクセスしてステップ３５で取得したデータがあるか否かを判断する（ステップ４５）。
より詳細には、ＣＰＵ２は、ＲＡＭ４にアクセスして、ステップ３５で取得した輝度信号があるか否かを確認することにより当該判断を行う。

ＲＡＭ４にデータがない場合（ステップ４５；Ｎ）、これはステップ３０で顔が検出できなかった場合であり、ＣＰＵ２は、ＲＡＭ４から顔を検出できなかった状況の記録を読み取って不測定情報（測定が失敗した旨を示す情報）を作成し、これを表示部５や出力部７に出力して（ステップ６５）、処理を終了する。

一方、ＲＡＭ４にデータがある場合（ステップ４５；Ｙ）、ＣＰＵ２は、後述するように、取得したデータを用いて顔の相対的な前後位置から輝度信号Ｒを補正した後、当該補正後の輝度信号Ｒ′を用いて脈拍数を検出する脈拍数検出処理を行って、当該検出した脈拍数をＲＡＭ４に記憶する（ステップ５０）。
ここで顔の相対的な前後位置は、或１のフレーム画像から得られる顔の位置を基準とする他のフレーム画像で得られる顔の位置の前後をいう。この相対的な前後位置は、各フレーム画像から得られるＢｌｏｂＦｉｌｌ４５（後述する）の大きさにより求まる。
そして、ＣＰＵ２はＲＡＭ４に記憶した脈拍数を表示部５や出力部７に出力して（ステップ５５）、処理を終了する。

このように、脈波検出装置１は、体表面（顔）の相対的な前後位置と体表面が写っている領域の輝度の対応関係を用いて、先に取得した輝度を補正する補正手段と、当該領域の当該補正した輝度の変化に基づいて対象者１１の脈波を取得する脈波取得手段とを備えている。

図４は、図３のステップ３５で示したデータ取得処理の手順を説明するためのフローチャートである。
まず、ＣＰＵ２は、図３のステップ２５で検出した顔のうち、最も大きい顔を処理対象として選択し、選択結果（即ち、選択した顔を他の顔から識別する情報）をＲＡＭ４に記憶する（ステップ１０５）。

これは、対象者１１の周囲に第三者が存在して、これら第三者の顔も認識してしまった場合に対象者１１の顔（カメラ８の前に位置するため最も大きい）を選択するものである。
特に、脈波検出装置１を車両の運転者に対して使用する場合、運転席に座っている人物の顔が最も大きく写るため、この処理によって運転者の顔を選択することができる。

次に、ＣＰＵ２は、選択した顔に対して楕円マスクを作成して、当該楕円マスクを特定するデータをＲＡＭ４に記憶する（ステップ１１０）。
ここで、当該楕円マスクを特定するデータは、楕円マスクの形状やフレーム画像における楕円マスクの位置などを特定する座標値などのパラメータで構成されている。
以下では、このような処理を、楕円マスクをＲＡＭ４に記憶するなどと略記することにする。

ここで、図６のフレーム画像３５は、矩形３２によって認識した対象者１１の顔に対して楕円マスク３６を作成したところを示している。
このように、ＣＰＵ２は、対象者１１の顔を内部に包含するように、当該顔を含む楕円領域を設定することにより楕円マスク３６を設定する。
なお、本実施の形態では、一例として楕円マスクを用いたが、矩形などの他の形状のマスクを用いることも可能である。

ＣＰＵ２は、設定した楕円マスク３６の内部にて顔の領域を特定し、当該領域の輝度から脈波を検出する。この楕円マスク３６によって脈波を検出する領域を限定すると、良好に脈波検出が行えることは本願発明者が試行錯誤の末発見したものである。
このように、脈波検出装置１は、顔を含む当該顔より大きい顔検出領域（楕円マスクなど）を取得する顔検出領域取得手段を備えている。

図４に戻り、次に、ＣＰＵ２は、フレーム画像から輝度マスクを作成してＲＡＭ４に記憶する（ステップ１１５）。
輝度マスクは、フレーム画像において、画素輝度が最低輝度基準以上かつ最高輝度基準以下となる画素で構成された領域であり、ＣＰＵ２は、フレーム画像の各画素の輝度を調べて輝度マスクを作成する。

次には、ＣＰＵ２は、ＲＡＭ４に記憶した楕円マスクと輝度マスクを用いて合計マスクを取得し、当該合計マスクをＲＡＭ４に記憶する（ステップ１２０）。
合計マスクは、輝度マスクのうち、楕円マスクに含まれている部分であり、ＣＰＵ２は、楕円マスクと輝度マスクの論理積をとってその値が真となる画素によって合計マスクを作成する。

次に、ＣＰＵ２は、合計マスクを塊にまとめ（ステップ１２５）、まとめた塊のうち、最も大きい塊を選択し、最も大きい塊を新たな合計マスクとしてＲＡＭ４に記憶する（ステップ１３０）。
例えば、楕円マスクの位置には、分断された顔が写っている場合や、別のものが写っている場合がある。すなわち、顔の中心部分に対して耳や額などの一部が髪の毛で分断されて写っている場合や、少し離れた位置に手が写っている場合などが存在する。このような場合、顔の中心部分、耳、額、手などが別々の合計マスクとして認識されてしまう。
そこで、各合計マスクの周縁相互の距離が所定閾値以下である一群の合計マスクを、１つ合計マスクとして扱うために塊にまとめている（ステップ１２５）。
その一方で、顔から少し離れた位置に存在する手の合計マスクの塊を除外して、顔の合計マスクの塊を使用するために、最も大きい塊を選択している（ステップ１３０）。
このようにＣＰＵ２は、合計マスクを塊にまとめてグループ化することにより顔や手などの部位ごとの塊にまとめ、最も大きい塊が顔である可能性が高いので、最も大きい合計マスクを選択している。

なお、手などの顔以外の体表面からも脈波は検出できるが、脈波検出装置１は、顔の大きさによって照明と顔との距離を間接的に計測して輝度を補正するため、顔に他の部位が混入すると、顔の大きさが実際より大きくなって輝度補正が困難となる。
そこで、最も大きい合計マスクを選択することにより、このような問題を回避することができる。

次に、ＣＰＵ２は、ＲＡＭ４に記憶した最も大きい合計マスクからＢｌｏｂマスクを作成してＲＡＭ４に記憶し（ステップ１３５）、更にＢｌｏｂマスクからＢｌｏｂＦｉｌｌを作成してＲＡＭ４に記憶する（ステップ１４０）。
ＢｌｏｂマスクとＢｌｏｂＦｉｌｌの内容は、以下の通りである。

図６に示した合計マスク４１は、ステップ１３０でＣＰＵ２がＲＡＭ４に記憶した最も大きい合計マスクである。一般に合計マスクはいびつな形をしている。
そこで、ＣＰＵ２は、ステップ１０（図３）で記憶した数理形態クロージング用の構成を定義するパラメータをＲＡＭ４から読み出し、これに基づいて合計マスク４１を脈波検出に適したなめらかな形状４２に整形してＢｌｏｂマスク４４を作成する。ＣＰＵ２は、Ｂｌｏｂマスク４４を脈波の検出に用いる。

また、Ｂｌｏｂマスク４４では、目や口などの部分でＢｌｏｂマスク４４に含まれない閉領域が形成される場合がある。
これら閉領域は、顔の面積に含まれるため、ＣＰＵ２は、これらの閉領域をマスクに含めたＢｌｏｂＦｉｌｌ４５を作成し、これを顔の大きさの判定に用いる。
ＣＰＵ２は、脈波の検出にはＢｌｏｂマスク４４を用い、顔の大きさの検出にはＢｌｏｂＦｉｌｌ４５を用いる。
このように、脈波検出装置１が備える補正手段は、顔領域に当該顔領域に含まれない閉領域がある場合に、当該閉領域をＢｌｏｂＦｉｌｌによって顔領域の大きさに含める。

図４に戻り、ＣＰＵ２は、Ｂｌｏｂマスク（ステップ１３５）とＢｌｏｂＦｉｌｌ（ステップ１４０）を作成した後、評価画像を作成してＲＡＭ４に記憶する（ステップ１４５）。
評価画像は、フレーム画像のうち、脈波の検出に用いる部分の領域を構成する画像であって、ＣＰＵ２は、フレーム画像からＢｌｏｂマスク４４に該当する領域をフレーム画像から抜き出すことにより評価画像を作成する。

より具体的には、ＣＰＵ２は、Ｂｌｏｂマスクとフレーム画像によって論理積を計算し、真となる部分の画素を抽出することによりフレーム画像からＢｌｏｂマスクに該当する部分を取り出して評価画像とする。
このように、Ｂｌｏｂマスクは、フレーム画像から評価画像を抜き出す抜き型のような働きをしており、ＣＰＵ２は、評価画像を構成する画素の輝度から脈波を検出する。

このように、脈波検出装置１は、動画から体表面（ここでは顔）が写っている領域（評価画像）を取得する領域取得手段と当該取得した領域の輝度を取得する輝度取得手段を備えている。
そして、当該領域取得手段は、顔検出領域（楕円マスク）における輝度の分布を用いて顔領域を取得している。

次に、ＣＰＵ２は、ＲＡＭ４に記憶した評価画像を構成する各画素の輝度の値を合計し、当該輝度の合計値をＲＡＭ４に記憶し（ステップ１５０）、更に、ＲＡＭ４に記憶してあるＢｌｏｂマスクの画素数を取得する（ステップ１５５）。
そして、ＣＰＵ２は、ＲＡＭ４に記憶した輝度の合計値をＲＡＭ４に記憶したＢｌｏｂマスクの画素数で割って、評価画像の輝度の平均値を計算することにより補正前の輝度信号Ｒを算出してＲＡＭ４に記憶する（ステップ１６０）。

次に、ＣＰＵ２は、ｓＲＯＩ（ｓｉｚｅ ｏｆ Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）を算出してＲＡＭ４に記憶し（ステップ１６５）、メインルーチンにリターンする。
ｓＲＯＩは、フレーム画像に対する測定領域（顔の大きさ）の割合であって、ＣＰＵ２は、ＢｌｏｂＦｉｌｌの画素数をフレーム画像の画素数で除することによりｓＲＯＩを計算する。

ｓＲＯＩは、フレーム画像における顔の大きさの割合を％で表しており、対象者１１の顔の前後位置を表している（ｓＲＯＩが大きいほど照明９と顔の距離が近い）。
後述するように、ＣＰＵ２は、ｓＲＯＩの値によって補正前の輝度信号Ｒを補正し、補正後の輝度信号Ｒ′を生成する。
このように、補正手段は、顔の前後位置を顔領域の大きさによって取得している。
なお、ｓＲＯＩは、フレーム画像に対する測定領域の割合であるところ、フレーム画像の画素数は固定されているため、評価画像の画素数をｓＲＯＩとすることもできる。

図５は、図３のステップ５０で示した脈拍数検出処理の手順を説明するためのフローチャートである。
まず、ＣＰＵ２は、ＲＡＭ４からデータ取得期間（３０秒間）の間に取得した補正前の輝度信号ＲとｓＲＯＩを読み出す。
そして、ＣＰＵ２は、後述するように最小二乗法を用いて輝度信号ＲとｓＲＯＩの関係式を算出してＲＡＭ４に記憶する（ステップ２０５）。

次に、ＣＰＵ２は、ｓＲＯＩを当該関係式に適用して輝度信号Ｒを補正することにより補正後の輝度信号Ｒ′を算出して、当該輝度信号Ｒ′をＲＡＭ４に記憶する（ステップ２１０）。
そして、ＣＰＵ２は、輝度信号Ｒ′をフーリエ変換して輝度信号Ｒ′の周波数成分を算出し、これをＲＡＭ４に記憶する（ステップ２１５）。

次に、ＣＰＵ２は、ＲＡＭ４に記憶した輝度信号Ｒ′の周波数成分において最大ピークを特定する（ステップ２２０）。
そして、ＣＰＵ２は、当該最大ピークの周波数ｆを特定し、これを対象者１１の脈拍数としてＲＡＭ４に記憶して（ステップ２２５）、メインルーチンにリターンする。

図７は、図５のステップ２０５に係る輝度信号ＲとｓＲＯＩの関係式の算出方法を説明するための図である。
ＲＡＭ４は、３０秒分の輝度信号Ｒを記憶しており、これを時間の順にＲ（０）、Ｒ（１）、・・・、Ｒ（ｉ）、・・・とする。
同様にＲＡＭ４が記憶するｓＲＯＩも時間の順に、ｓＲＯＩ（０）、ｓＲＯＩ（１）、ｓＲＯＩ（２）、・・・、ｓＲＯＩ（ｉ）、・・・とする。
輝度信号Ｒ（ｉ）とｓＲＯＩ（ｉ）は、同じフレーム画像から取得するため、時間的に対応しており、同時刻での値である。

ここで、式（１）と式（２）で示したようにｙｉ＝Ｒ（ｉ）、ｘｉ＝ｓＲＯＩ（ｉ）とおいて、式（３）で示したｙｉ＝β０＋β１×ｘｉなる線形の関係が成り立つと仮定すると、式（４）が成立する。求めたいのはβ０とβ１であり、式（４）は、最小二乗法の行列表現となっている。

式（４）を式（５）のようにＹ＝Ｘ×Ｂとおくと、式（６）によってＢについて解くことができる。式中の上付き文字で表したＴと－１は、それぞれ転置行列と逆行列を意味する。
ＣＰＵ２は、ＲＡＭ４に記憶した輝度信号ＲとｓＲＯＩからＸ、Ｙを生成し、式（６）を計算することにより、β０とβ１を算出する。これによって、輝度信号ＲとｓＲＯＩの関係式ｙｉ＝β０＋β１×ｘｉが定まる。

図８は、図５のステップ２１０に係る輝度信号Ｒの補正式を説明するための図である。
ｙｉとｘｉは、図７と同じである。ここで、式（７）に示したように、補正後の輝度信号であるＲ（０）′、Ｒ（１）′、・・・、Ｒ（ｉ）′、・・・をｙｉ′と表すと、式（８）が成立し、これが輝度信号Ｒの補正式である。これを行列で表すと式（９）となり、これにｙｉとｘｉを代入するとｙｉ′、即ち、補正後の輝度信号Ｒ′を計算することができる。

図９は、輝度信号Ｒの補正実験を説明するための図である。
この実験は、対象者１１を暗くした屋内に置き、脈波検出装置１で対象者１１の脈波を検出したものである。
これにより対象者１１を外部から任意に振動させた場合の補正の効果を検証することができる。

散布図５１は、ｘ軸（横軸）をｓＲＯＩ、ｙ軸（縦軸）を輝度信号Ｒとし、（ｘｉ、ｙｉ）をプロットした図である。
これらのデータを式（３）によって直線近似した直線５２（回帰直線）がＲとｓＲＯＩの関係式を規定しており、直線５２のｙ切片がβ０、傾きがβ１となる。

グラフ５３は、３０秒間の輝度信号Ｒの時間変化を表したものである。これをＦＦＴにてフーリエ変換すると、顔の前後動による外乱ピーク５６が８０［ｂｐｍ］付近に大きく現れて６５［ｂｐｍ］付近にある脈拍数ピーク５５が埋もれてしまう。
グラフ５８は、３０秒間のｓＲＯＩの時間変化を表したものである。対象者１１を振動させる要因がないため規則正しく変動している。これをフーリエ変換すると顔の前後動による外乱ピーク６０が８０［ｂｐｍ］付近に現れる。
グラフ６２は、３０秒間の間における補正後の輝度信号Ｒ′の時間変化を表したものである。これをフーリエ変換すると、６５［ｂｐｍ］付近に脈拍数ピーク６４が明確に現れる。
このように、ｓＲＯＩを用いて輝度信号Ｒを補正すると、外乱に埋もれていた脈拍数信号を外乱から適切にフィルタリングして抽出することができる。

図１０は、更なる輝度信号Ｒの補正実験を説明するための図である。
この実験は、対象者１１を暗くした車内に置いて、車両を走行させながら脈波検出装置１で対象者１１の脈波を検出したものである。
これにより対象者１１に外部から振動を加えた場合の補正の効果を検証することができる。

散布図７１は、ｘ軸（横軸）をｓＲＯＩ、ｙ軸（縦軸）をＲとし、（ｘｉ、ｙｉ）をプロットした図である。
これらのデータを式（３）によって直線近似した直線７２がＲとｓＲＯＩの関係式を規定しており、直線７２のｙ切片がβ０、傾きがβ１となる。

グラフ７３は、３０秒間の輝度信号Ｒの時間変化を表したものである。車両が揺れるため、先の実験のグラフ５３に比べて不規則で乱雑な信号となっている。これをＦＦＴにてフーリエ変換すると、様々な周波数でピークが現れる。
グラフ７８は、３０秒間のｓＲＯＩの時間変化を表したものである。対象者１１が車両走行により揺れるため、グラフ５８に比べて不規則で乱雑な信号となっている。これをＦＦＴにてフーリエ変換すると、様々な周波数でピークが現れる。
グラフ８２は、３０秒間の間における補正後の輝度信号Ｒ′の時間変化を表したものである。これをフーリエ変換すると、６５［ｂｐｍ］付近に脈拍数ピーク８４が明確に現れる。
このように、車両の走行によって対象者１１が揺れ動く場合であっても、ｓＲＯＩを用いて輝度信号Ｒを補正すると、外乱に埋もれていた脈拍数信号を外乱から適切にフィルタリングして抽出することができる。

図１１は、脈波検出装置１によるエラー率を計測した実験結果を説明するための図である。
実験は走行している暗い車内で行い、３０秒間の動画から取得した１１１個のサンプル（ｘｉ、ｙｉ）を用いて計測した。
また、本実験では、対象者１１の脈拍数を脈波検出装置１で検出すると同時に他の装置で精密に計測しておき、両者の比較から、脈波検出装置１による検出値のエラーが５［ｂｐｍ］未満であった場合、５［ｂｐｍ］以上１０［ｂｐｍ］未満であった場合、・・・・の各場合の発生確率（割合）をヒストグラムで表した。

グラフ９１は、Ｒの補正がない場合を表しており、グラフ９２は、輝度信号Ｒの補正がある場合を表している。
グラフ９１に示したように、輝度信号Ｒを補正しない場合は、最も精度よく計測できている０～５［ｂｐｍ］のビンが６０％であるのに対し、グラフ９２に示したように輝度信号Ｒを補正した場合は８４％に達している。
この実験結果により、顔の大きさに応じて輝度を補正する技術は、きわめて有効であることがわかる。

（変形例）
本変形例では、脈波検出装置１を搭載した車両装置について説明する。
説明した脈波検出装置１は、自然光による赤外線が存在する環境下では、これが外乱となるため、夜間での運用に適している。
そのため、当該車両装置は、車外の環境明度が所定の基準値未満となった場合に、脈波検出装置１を駆動して運転者の脈波を検出する。

この場合、当該車両装置は、環境明度を取得する環境明度取得手段と、当該環境明度が所定値未満となった場合に、照明手段による照明と、動画撮影手段による動画撮影を開始する開始手段を備えている。

更に、当該車両装置は、例えば、本願の出願人が特開２０１６－１９３０２２で提案している脈波検出装置のように、自然光で脈波を検出する第２の脈波検出装置を搭載することも可能である。
この場合、当該車両装置は、車外の環境明度が所定の基準値未満になった場合に、脈波の検出を第２の脈波検出装置から脈波検出装置１に切り替える。

この場合、当該車両装置は、環境明度が所定値以上の場合に脈波を取得する第２の脈波取得手段を備え、取得した環境明度が所定値未満となった場合に、第２の脈波取得手段による脈波の取得を停止した後、照明手段による照明と、動画撮影手段による動画撮影を開始する開始手段を備えている。

以上に説明したように、脈波検出装置１は、予め求めた顔の前後位置（顔領域の大きさ）に対する輝度との関係によって、測定領域（顔）の輝度変化を当該関係に応じて補正し、該補正した輝度変化に基づいて脈拍を推定することにより顔の前後動による外乱に埋もれた脈拍数を検出することができる。
これによって、顔の前後位置が変わっても高い脈波の検出精度を実現することができる。

１ 脈波検出装置
２ ＣＰＵ
３ ＲＯＭ
４ ＲＡＭ
５ 表示部
６ 入力部
７ 出力部
８ カメラ
９ 照明
１０ 記憶部
１１ 対象者
１２ 脈波検出プログラム
３１、３５ フレーム画像
３２ 矩形
３６ 楕円マスク
４１ 合計マスク
４２ 形状
４４ Ｂｌｏｂマスク
４５ ＢｌｏｂＦｉｌｌ
５１ 散布図
５２ 直線
５３、５８、６２ グラフ
５５、６４ 脈拍数ピーク
５６、６０ 外乱ピーク
７１ 散布図
７２ 直線
７３、７８、８２ グラフ
８４ 脈拍数ピーク
９１、９２ グラフ
２０１、２０２ フレーム画像
２０４、２０８、２１０、２１２ グラフ
２０５、２０６ 時点

Claims (10)

1. 対象者の体表面を撮影した動画を取得する動画取得手段と、
   前記取得した動画から前記体表面が写っている領域を取得する領域取得手段と、
   前記取得した領域の輝度を取得する輝度取得手段と、
   前記取得した動画における、或１のフレーム画像から得られる前記体表面の位置を基準とする、他のフレーム画像で得られる前記体表面の相対的な前後位置と前記領域の輝度の対応関係を用いて前記取得した輝度を補正する補正手段と、
   前記領域の前記補正した輝度の変化に基づいて前記対象者の脈波を取得する脈波取得手段と、を具備し、
   前記体表面は顔であり、前記領域取得手段は、前記領域として顔領域を取得し、
   前記補正手段は、前記顔の前後位置を前記顔領域の大きさによって取得する、
   ことを特徴とする脈波検出装置。
2. 対象者の体表面を撮影した動画を取得する動画取得手段と、
   前記取得した動画から前記体表面が写っている領域を取得する領域取得手段と、
   前記取得した領域の輝度を取得する輝度取得手段と、
   前記取得した動画における、或１のフレーム画像から得られる前記体表面の位置を基準とする、他のフレーム画像で得られる前記体表面の相対的な前後位置と前記領域の輝度の対応関係を用いて前記取得した輝度を補正する補正手段と、
   前記領域の前記補正した輝度の変化に基づいて前記対象者の脈波を取得する脈波取得手段と、を具備し、
   前記体表面は顔であり、前記領域取得手段は、前記領域として顔領域を取得し、
   前記顔を含む前記顔より大きい顔検出領域を取得する顔検出領域取得手段を具備し、
   前記領域取得手段は、前記取得した顔検出領域における輝度の分布を用いて前記顔領域を取得する、
   ことを特徴とする脈波検出装置。
3. 対象者の体表面を撮影した動画を取得する動画取得手段と、
   前記取得した動画から前記体表面が写っている領域を取得する領域取得手段と、
   前記取得した領域の輝度を取得する輝度取得手段と、
   前記取得した動画における、或１のフレーム画像から得られる前記体表面の位置を基準とする、他のフレーム画像で得られる前記体表面の相対的な前後位置と前記領域の輝度の対応関係を用いて前記取得した輝度を補正する補正手段と、
   前記領域の前記補正した輝度の変化に基づいて前記対象者の脈波を取得する脈波取得手段と、を具備し、
   前記体表面は顔であり、前記領域取得手段は、前記領域として顔領域を取得し、
   前記補正手段は、前記取得した顔領域に当該顔領域に含まれない閉領域がある場合に、当該閉領域を前記顔領域の大きさに含める、
   ことを特徴とする脈波検出装置。
4. 前記補正手段は、前記顔の前後位置を前記顔領域の大きさによって取得する、
   ことを特徴とする請求項２、又は請求項３に記載の脈波検出装置。
5. 前記顔を含む前記顔より大きい顔検出領域を取得する顔検出領域取得手段を具備し、
   前記領域取得手段は、前記取得した顔検出領域における輝度の分布を用いて前記顔領域を取得する、
   ことを特徴とする請求項３に記載の脈波検出装置。
6. 前記顔を赤外線で照明する照明手段と、
   前記赤外線で照明した顔を赤外線にて動画撮影する動画撮影手段と、を具備し、
   前記動画取得手段は、前記動画撮影手段から前記動画を取得する、
   ことを特徴とする請求項１から請求項５のうちのいずれか１の請求項に記載の脈波検出装置。
7. 対象者の顔を赤外線で照明する照明手段と、
   前記赤外線で照明した顔を赤外線にて動画撮影する動画撮影手段と、
   前記動画撮影手段から前記対象者の顔を撮影した動画を取得する動画取得手段と、
   前記取得した動画から前記顔が写っている顔領域を取得する領域取得手段と、
   前記取得した顔領域の輝度を取得する輝度取得手段と、
   前記取得した動画における、或１のフレーム画像から得られる前記顔の位置を基準とする、他のフレーム画像で得られる前記顔の相対的な前後位置と前記顔領域の輝度の対応関係を用いて前記取得した輝度を補正する補正手段と、
   前記顔領域の前記補正した輝度の変化に基づいて前記対象者の脈波を取得する脈波取得手段と、
   環境明度を取得する環境明度取得手段と、
   前記取得した環境明度が所定値未満となった場合に、前記照明手段による照明と、前記動画撮影手段による動画撮影を開始する開始手段と、
   を具備したことを特徴とする脈波検出装置。
8. 前記環境明度が所定値以上の場合に前記脈波を取得する第２の脈波取得手段を具備し、
   前記開始手段は、前記取得した環境明度が所定値未満となった場合に、前記第２の脈波取得手段による前記脈波の取得を停止した後、前記照明手段による照明と、前記動画撮影手段による動画撮影を開始することを特徴とする請求項７に記載の脈波検出装置。
9. 請求項１から請求項８までのうちの何れか１の請求項に記載の脈波検出装置を具備した車両装置。
10. 対象者の体表面を撮影した動画を取得する動画取得機能と、
    前記取得した動画から前記体表面が写っている領域を取得する領域取得機能と、
    前記取得した領域の輝度を取得する輝度取得機能と、
    前記取得した動画における、或１のフレーム画像から得られる前記体表面の位置を基準とする、他のフレーム画像で得られる前記体表面の相対的な前後位置と前記領域の輝度の対応関係を用いて前記取得した輝度を補正する補正機能と、
    前記領域の前記補正した輝度の変化に基づいて前記対象者の脈波を取得する脈波取得機能と、をコンピュータで実現し、
    前記体表面は顔であり、前記領域取得機能は、前記領域として顔領域を取得し、
    前記補正機能は、前記顔の前後位置を前記顔領域の大きさによって取得する、
    ことを特徴とする脈波検出プログラム。

Images