WO2016159151A1 - 脈波検出装置、及び脈波検出プログラム - Google Patents

Abstract

　明度の変化に対してロバスト性のある脈拍検出を行う。　脈波検出装置１は、動画のフレーム画像をＲＧＢ成分からＹＩＱ成分に色変換し、予めＱ成分で用意してあるユーザの目の色を用いて、目の部分を特定する。そして、脈波検出装置１は、目の部分のＹ値によって撮影環境の明度を検出する。次に、脈波検出装置１は、フレーム画像の皮膚の部分のＱ値の平均から脈波信号Ｑｍを検出し、更に、これから目の部分のＹ値の平均値Ｙｅを減算することにより明度の変化分を補正して、明度補正後のＱｍを出力する。これにより、ユーザが車両などで移動することにより明度が変化するような場合でも、良好に脈波を検出することができる。

Description

脈波検出装置、及び脈波検出プログラム

　本発明は、脈波検出装置、及び脈波検出プログラムに関し、例えば、画像処理を用いて脈波を検出するものに関する。

　人間の生理学的な状態を把握するうえで脈波の検出はきわめて重要であり、これを遠隔から非接触にて検出する技術が求められている。
　このような技術として、非特許文献のマサチューセッツ工科大学で行われた研究がある。
　この技術は、ウェブカメラで被験者の顔を動画撮影し、その動画をラップトップコンピュータで撮影後に（即ち、リアルタイム処理ではなく、後からの処理にて）解析して脈波を検出したものである。
　本研究は、従来レーザやドップラレーダなどの特殊な高価な装置を用いて脈波を検出していたのに対して、安価な汎用機器と簡便な方法を用いて脈波の非接触検出を実現したものである。

　ここで、図１６を用いてこの技術の概要について説明する。
　まず、図１６（ａ）に示したように、動画の画面に矩形形状の評価領域１０１を設定して、被験者の顔が評価領域１０１に入るように着席してもらい、静止した状態の顔を動画で撮影する。実験は、屋内で行われ、窓から入る日光が光源として用いられる。
　得られた動画をＲ成分、Ｇ成分、Ｂ成分の各成分に分離して平均すると図１６（ｂ）に示したように脈波がのった変動が得られる。
　これら各成分には、ヘモグロビンの光の吸収特性などに応じて重みづけされた脈波信号が含まれており、これに対してＩＣＡ（Ｉｎｄｅｐｅｎｄｅｎｔ　Ｃｏｍｐｏｎｅｎｔ　Ａｎａｌｙｓｉｓ；独立成分分析）などを行うと脈波が得られる。

　このように動画から脈波が得られるのは、被験者の心臓の鼓動に伴って血管の体積が変化することにより、日光が皮膚を透過する光学距離が変化し、これが顔からの反射光の変化として現れるからである。

　しかし、この技術は、実験室の理想的な環境下で行われたものであり、例えば、脈波検出装置を車両に搭載してドライバの脈波を検出するなどの実用場面で利用する場合、明度の変化が外乱要素となって脈拍の検出が困難となるという問題があった。

Ａｄｖａｎｃｅｍｅｎｔｓ　ｉｎ　Ｎｏｎｃｏｎｔａｃｔ，Ｍｕｌｔｉｐａｒａｍｅｔｅｒ　Ｐｈｙｓｉｏｌｏｇｉｃａｌ　Ｍｅａｓｕｒｅｍｅｎｔｓ　Ｕｓｉｎｇ　ａ　Ｗｅｂｃａｍ，Ｍｉｎｇ－Ｚｈｅｒ　Ｐｏｈ，Ｄａｎｉｅｌ　Ｊ．ＭｃＤｕｆｆ，ａｎｄ　Ｒｏｓａｌｉｎｄ　Ｗ．Ｐｉｃａｒｄ，ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｂｉｏｍｅｄｉｃａｌ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｖｏｌ．５８，Ｎｏ．１，Ｊａｎｕａｒｙ　２０１１

　本発明は、明度の変化に対してロバスト性のある脈拍検出を行うことを目的とする。

（１）本発明は、前記目的を達成するために、請求項１に記載の発明では、対象者の顔を含む領域を撮影した動画を取得する動画取得手段と、前記動画に写っている前記対象者の目の部分を特定する目部分特定手段と、前記動画の撮影環境の変化によって生じた明度の変化を、前記特定した目の部分の所定の色空間成分の変化から取得する明度変化取得手段と、前記取得した明度の変化を用いて前記動画の明度を補正する明度補正手段と、前記補正された前記対象者の皮膚の部分における所定の色空間成分の時間変化から前記対象者の脈波を取得する脈波取得手段と、前記取得した脈波を出力する出力手段と、を具備したことを特徴とする脈波検出装置を提供する。
（２）請求項２に記載の発明では、前記取得した動画に写っている前記対象者の皮膚の部分を特定する皮膚部分特定手段を備え、前記脈波取得手段は、前記特定した皮膚の部分における所定の色空間成分の時間変化から前記対象者の脈波を取得することを特徴とする請求項１に記載の脈波検出装置を提供する。
（３）請求項３に記載の発明では、前記対象者の目の部分を特定するための基準となる色空間成分である基準成分を登録する基準成分登録手段を備え、前記目部分特定手段は、前記動画において所定の色空間成分が前記登録した基準成分に対応する部分を前記目の部分として特定することを特徴とする請求項２に記載の脈波検出装置を提供する。
（４）請求項４に記載の発明では、前記皮膚部分特定手段が、前記動画において所定の色空間成分が予め登録した所定の基準成分に対応する部分を前記皮膚の部分として特定することを特徴とする請求項２、又は請求項３に記載の脈波検出装置を提供する。
（５）請求項５に記載の発明では、前記明度変化取得手段が明度の変化を取得するために用いる色空間成分、前記脈波取得手段が前記脈波を取得するために用いる色空間成分、及び、前記皮膚部分特定手段が前記皮膚の部分を特定するために用いる色空間成分は、異なる色空間成分であることを特徴とする請求項２、請求項３、又は請求項４に記載の脈波検出装置を提供する。
（６）請求項６に記載の発明では、前記明度変化取得手段が明度の変化を取得するために用いる色空間成分と前記脈波取得手段が前記脈波を取得するために用いる色空間成分は、それぞれ、明度成分（Ｙ）、及び色度成分（Ｉ、Ｑ）から成るＹＩＱ色空間の前記明度成分（Ｙ）と前記色度成分（Ｑ）であり、前記皮膚部分特定手段が前記皮膚の部分を特定するために用いる色空間成分は、色成分（Ｈ）、彩度成分（Ｓ）、及び明度成分（Ｖ）から成るＨＳＶ色空間の前記色成分（Ｈ）であることを特徴とする請求項５に記載の脈波検出装置を提供する。
（７）請求項７に記載の発明では、色空間を変換する色空間変換手段を備え、前記脈波取得手段、前記明度変化取得手段、及び前記皮膚部分特定手段は、前記取得した動画を前記色空間変換手段で変換した色空間にて色空間成分を取得することを特徴とする請求項２から請求項６までのうちの何れか１の請求項に記載の脈波検出装置を提供する。
（８）請求項８に記載の発明では、前記対象者の顔を撮影した顔画像を取得する顔画像取得手段と、前記取得した顔画像において、顔認識処理により、前記顔の目の領域を特定する領域特定手段を備え、前記基準成分登録手段は、前記特定した領域の色空間成分を前記基準成分として登録することを特徴とする請求項３に記載の脈波検出装置を提供する。
（９）請求項９に記載の発明では、前記基準成分登録手段は、前記特定した領域における色空間成分の分布に対して所定の統計処理を施した値を前記基準成分として登録することを特徴とする請求項８に記載の脈波検出装置を提供する。
（１０）請求項１０に記載の発明では、前記目部分特定手段が、前記動画の画素単位で前記目の部分を特定することを特徴とする請求項１から請求項７までのうちの何れか１の請求項に記載の脈波検出装置を提供する。
（１１）請求項１１に記載の発明では、前記明度補正手段が、前記動画の画素単位で前記補正を行うことを特徴とする請求項１から請求項１０までのうちの何れか１の請求項に記載の脈波検出装置を提供する。
（１２）請求項１２に記載の発明では、前記対象者が、輸送機器の搭乗者であって、前記出力した脈波を用いて前記搭乗者の体調を監視する監視手段を具備したことを特徴とする請求項１から請求項１１までのうちの何れか１の請求項に記載の脈波検出装置を提供する。
（１３）請求項１３に記載の発明では、対象者の顔を含む領域を撮影した動画を取得する動画取得機能と、前記動画に写っている前記対象者の目の部分を特定する目部分特定機能と、前記動画の撮影環境の変化によって生じた明度の変化を、前記特定した目の部分の所定の色空間成分の変化から取得する明度変化取得機能と、前記取得した明度の変化を用いて前記動画の明度を補正する明度補正機能と、前記補正された前記対象者の皮膚の部分における所定の色空間成分の時間変化から前記対象者の脈波を取得する脈波取得機能と、前記取得した脈波を出力する出力機能と、をコンピュータで実現する脈波検出プログラムを提供する。

（１）請求項１に記載の発明によれば、対象者の目の部分から明度の変化を取得して動画の明度を補正することができる。
（２）請求項２に記載の発明によれば、動画に写っている外乱要素を除外して皮膚の部分だけ取り出し、そこから脈波を検出することができるため、脈波検出の精度を高めることができる。
（３）請求項３に記載の発明によれば、動画に写っている外乱要素を除外して目の部分だけ取り出し、明度の補正精度を向上させることができる。
（４）請求項４に記載の発明によれば、基準成分との対比により動画から容易に皮膚の部分を抽出することができる。
（５）請求項５に記載の発明によれば、（明度の変化、皮膚、及び脈波では、光で観察する対象が異なるため）観察対象に適した色空間成分の組み合わせを採用することにより外乱要素に対するロバスト性を向上させることができる。
（６）請求項６に記載の発明によれば、明度の変化の検出に好適であることが見いだされたＹ成分と、皮膚の部分の特定に好適であることが見いだされたＨ成分と、脈波検出に好適であることが見いだされたＱ成分を組み合わせることにより、外乱要素に対するロバスト性をより向上させることができる。
（７）請求項７に記載の発明によれば、色空間変換処理を外部装置ではなく、脈波検出装置内部に備えることにより、処理速度が向上し、動画からリアルタイムで脈波を検出することが容易となる。
（８）請求項８に記載の発明によれば、対象者自身から目の色の基準値を採取することにより、人ごとの微妙な目の色の差異が含まれた基準値を容易に取得することができる。
（９）請求項９に記載の発明によれば、個人差が大きい目の色の分布の偏りを統計処理によって均すことができ、これによって、基準成分の信頼性を向上させることができる。
（１０）請求項１０に記載の発明によれば、閉曲線で囲んだ（目の部分に該当しない画素も散在する）領域ではなく、画素ごとに目の部分を抽出するため、評価対象から外乱要素として作用する画素を除外することができ、検出精度を高めることができる。
（１１）請求項１１に記載の発明によれば、閉曲線で囲んだ領域を代表値で補正するのではなく、画素ごとに補正することができるため、検出精度を高めることができる。
（１２）請求項１２に記載の発明によれば、輸送機器の搭乗者の体調を監視することができる。
（１３）請求項１３に記載の発明によれば、脈波検出プログラムを流通させ、これを汎用のコンピュータにインストールすることにより、容易かつ安価に脈波検出装置を構成することができる。

脈波検出装置の構成を示した図である。 色空間を説明するための図である。 動画から脈波を検出する仕組みを説明するための図である。 全体的な処理の手順を説明するためのフローチャートである。 皮膚色データ採取処理の手順を説明するためのフローチャートである。 脈波検出処理の手順を説明するためのフローチャートである。 実験による結果を表した図である。 明度の変化の補正方法を説明するための図である。 第２実施形態における全体的な処理の手順を説明するためのフローチャートである。 目色データ採取処理の手順を説明するためのフローチャートである。 明度変化対策処理の手順を説明するためのフローチャートである。 クロミナンスのばらつきを説明するための図である。 第３実施形態における全体的な処理の手順を説明するためのフローチャートである。 カメラ特性データ更新処理の手順を説明するためのフローチャートである。 カメラ特性対策処理の手順を説明するためのフローチャートである。 従来技術を説明するための図である。

（１）実施形態の概要
　第１の実施の形態では、脈波検出装置１は、動画のフレーム画像をＲＧＢ成分からＨＳＶ成分に色変換し、予めＨ成分で用意してあるユーザの皮膚の色を用いて、皮膚の部分を特定する。Ｈ成分を用いたのは、皮膚の特定に関してはＨ成分を用いるとロバスト性が向上するためである。

　次に、脈波検出装置１は、フレーム画像の皮膚の部分をＹＩＱ成分に変換し、各画素のＱ値を平均したＱｍを脈波信号とする。Ｑ成分を用いたのは、脈波信号の検出に関してはＱ成分を用いるとロバスト性が向上するためである。
　脈波検出装置１は、上記の処理を各フレーム画像に対して行って脈波信号Ｑｍの時系列的な変化を取得し、これを脈波として出力する。

　このように、脈波検出装置１は、動画において皮膚の部分を評価領域（ＲＯＩ；Ｒｅｇｉｏｎ　ｏｆ　Ｉｎｔｅｒｅｓｔ）に設定することができるため、背景などの外乱要素を脈波検出対象から除外して良好に脈波を検出することができる。

　第２の実施の形態では、脈波検出装置１は、動画のフレーム画像をＲＧＢ成分からＹＩＱ成分に色変換し、予めＱ成分で用意してあるユーザの目の色を用いて、目の部分を特定する。
　そして、脈波検出装置１は、目の部分のＹ値によって撮影環境の明度を検出する。目の部分には、脈波信号が現れないので、明度の検出対象として利用することができる。

　次に、脈波検出装置１は、フレーム画像の皮膚の部分のＱ値の平均から脈波信号Ｑｍを検出し、更に、これから目の部分のＹ値の平均値Ｙｅを減算することにより明度の変化分を補正して、明度補正後のＱｍを出力する。
　これにより、ユーザが車両などで移動することにより明度が変化するような場合でも、良好に脈波を検出することができる。

　第３の実施の形態では、脈波検出装置１は、カメラ特性に起因する画素の特性のばらつきを補正するカメラ特性データを備える。そして、フレーム画像の皮膚の部分のＱ値をカメラ特性データによって補正する。
　脈波検出装置１は、ユーザの動きによって皮膚の部分が画面内を移動することにより生じる皮膚の部分のＱ値の変化を用いてカメラ特性データを更新していく。
　また、脈波検出装置１は、補正対象の色を皮膚の色に限定しており、これによって複雑なアルゴリズムや計算が不要となるため、計算負荷が低くなり、動画のリアルタイム処理を良好に行うことができる。

（２）実施形態の詳細
（第１の実施の形態）
　図１は、本実施の形態に係る脈波検出装置１の構成を示した図である。
　脈波検出装置１は、例えば、車両に搭載され、搭乗者（ドライバや助手席の乗客など）の脈波を監視し、ドライバの体調、緊張状態などの生理的な状態を把握する。
　また、医療現場や災害現場などで患者や被災者の脈波を検出・監視するのに用いることもできる。

　脈波検出装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）４、表示部５、入力部６、出力部７、カメラ８、記憶部９などから構成されており、ユーザ１０（脈波検出の対象者）の脈波を検出（あるいは、推定）する。

　ＣＰＵ２は、記憶部９やＲＯＭ３などに記憶されたプログラムに従って、各種の情報処理や制御を行う中央処理装置である。
　本実施の形態では、カメラ８が撮影した動画を画像処理してユーザ１０の脈波を検出する。

　ＲＯＭ３は、読み取り専用メモリであって、脈波検出装置１を動作させるための基本的なプログラムやパラメータなどが記憶されている。
　ＲＡＭ４は、読み書きが可能なメモリであって、ＣＰＵ２が動作する際のワーキングメモリを提供する。
　本実施の形態では、動画を構成するフレーム画像（１コマの静止画像）を展開して記憶したり、計算結果を記憶したりすることにより、ＣＰＵ２が、フレーム画像の皮膚の部分（以下、皮膚部分）から脈波を検出するのを支援する。

　表示部５は、液晶画面などの表示デバイスを用いて構成されており、脈波検出装置１の操作画面や脈波の表示など、脈波検出装置１の運用に必要な情報を表示する。
　入力部６は、表示デバイスに重畳して設置されたタッチパネルなどの入力デバイスを用いて構成されており、画面表示に対するタッチの有無などから各種の情報の入力を受け付ける。

　出力部７は、各種の情報を外部装置に出力するインターフェースであり、例えば、検出した脈波を出力したり、脈波から得られた脈拍を出力したり、あるいは、脈波に変化が現れた場合にアラームを出力することができる。
　また出力部７は、車両を制御する制御装置などの他の制御機器に出力することができる。出力部７から脈波や脈拍の出力を受けた制御機器では、例えば、ドライバの眠気や緊張状態等（後述する）を判断し、ドライバに向けた制御、例えば、眠気を覚醒させるためにハンドルやシートを振動させる制御、警告音やメッセージの出力などを行うことが出来る。また、車両に対する制御として、脈波に基づいて判断したドライバの緊張状態に応じて、車間距離制御、車速制御、又はブレーキ制御の少なくとも１つを行うことも可能である。例えば、制御機器は、ドライバが所定値を超える高い緊張状態にあると判断した場合には、車間距離を基準値よりも大きくとるように制御し、車速を所定車速以下となるように制御し、所定車速以上であれば自動ブレーキ操作による減速処理等を行う。

　カメラ８は、レンズで構成された光学系と、これによって結像した像を電気信号に変換するイメージセンサを用いて構成されており、ユーザ１０の顔付近が撮影画面となるように設置されている。

　カメラ８としては、高価なものを使用することも可能であるが、脈波検出装置１では、ウェブカメラなどの汎用品を用いた。
　脈波検出装置１では、汎用品のカメラ８によっても脈波を良好に検出することができるため、コストを低減することができる。

　カメラ８は、被写体を所定のフレームレートにて撮影し、これら連続するフレーム画像（静止画像）で構成された動画を出力する。
　フレーム画像は、画像を構成する最小単位である画素（ピクセル）の配列により構成されており、各画素は、ＲＧＢ空間の色成分（Ｒ値、Ｇ値、Ｂ値）により配色されている。

　記憶部９は、ハードディスクやＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの記憶媒体を用いて構成されており、ＣＰＵ２が脈波を検出するためのプログラムやデータを記憶している。

　記憶部９には、脈波検出プログラム１２、ユーザデータベース１４、カメラ特性データ１５などが記憶されている。
　なお、これらのうち、カメラ特性データ１５は、第３の実施の形態で用いるデータであるので、後ほど説明する。

　脈波検出プログラム１２は、ＣＰＵ２に脈波検出処理を行わせるプログラムである。
　ＣＰＵ２は、脈波検出プログラムを実行することにより、動画におけるユーザの皮膚部分の特定、及び特定した皮膚部分からの脈波の検出を行う。

　ユーザデータベース１４は、脈波検出装置１を利用するユーザを登録したデータベースである。
　ユーザデータベース１４では、ユーザ１、ユーザ２、・・・などとユーザごとに登録データが記憶されている。
　そして、登録データには、顔データ、皮膚色データ、目色データ、・・・といったユーザに固有な情報が登録されている。

　顔データは、ユーザの顔の特徴をデータ化したものであり、カメラ８の前に着席したユーザを顔認識して識別するために用いられる。
　皮膚色データは、フレーム画像でユーザの皮膚部分を特定するための皮膚の色の基準となるデータである。フレーム画像と皮膚色データの対比により皮膚部分が特定される。
　目色データは、第２の実施の形態で用いるデータであるので、後ほど説明する。

　図２は、色空間を説明するための図である。
　脈波検出装置１は、脈波の検出を行うに際して、フレーム画像の色空間を変換する（色変換と呼ばれる）ため、まず、これについて説明する。
　一般にカラー画像は、３つの色成分によって表現される。より詳細には、画像の各画素に付随する色情報は、３つの色成分を軸として張られる色空間の中の点の座標値として表される。
　汎用のビデオカメラでは、色成分としてＲＧＢ空間のＲ成分、Ｇ成分、Ｂ成分を用いることが多く、従来技術でも、ビデオ信号に含まれるＲ、Ｇ、Ｂ成分をそのまま用いて脈波の検出を行っている。

　これに対し、本願発明者は、試行錯誤を繰り返し、外乱要素に対してよりロバストな（耐性のある）色成分を探索した。
　その結果、皮膚部分の特定には、ＨＳＶ空間のＨ成分が適しており、脈波検出には、ＹＩＱ空間のＱ成分が適していることを見いだした。
　そこで、脈波検出装置１では、目的に応じて色成分を使い分けることとした。
　このように、観察対象によって光の反射特性が異なるため、対象に応じた最適な組み合わせを選ぶことにより外乱に対するロバスト性を高めることができる。

　図２（ａ）は、ＲＧＢ空間を示した図である。
　ＲＧＢ空間は、ＲＧＢ成分を表す互いに直交するＲ軸、Ｇ軸、Ｂ軸で構成されている。
　ＲＧＢ空間では、Ｒ値（赤）、Ｇ値（緑）、Ｂ値（青）によって色情報が表され、ＲＧＢ空間の点の座標値によって画素のＲＧＢ値が規定される。
　ＲＧＢ方式は、最も一般的なカラーモデルであって、カメラ８もＲＧＢ方式にて動画を出力する。

　図２（ｂ）は、ＨＳＶ空間を示した図である。
　ＨＳＶ空間は、円形の底面を有する円錐で表され、円錐面方向の回転角がＨ成分を表し、底面における中心からの距離がＳ成分を表し、円錐の頂点から底面へ引いた垂線の距離がＶ成分を表している。
　ＨＳＶ空間では、Ｈ値（色）、Ｓ値（彩度）、Ｖ値（明度）によって色情報が表され、ＨＳＶ空間の点の座標値によって画素のＨＳＶ値が規定される。
　ＨＳＶ方式は、主にコンピュータグラフィックなどで用いられている。

　なお、ＨＳＶ空間は図２（ｂ）で示した円錐で表す場合のほか、円柱で表すことも可能である。この場合も円錐で表した場合と同様に、色相（Ｈ）は円柱の外周に沿って変化し、彩度（Ｓ）は中心からの距離に伴って変化し、明度（Ｖ）は頂点から底へ向かって変化する。

　図２（ｃ）は、ＹＩＱ空間を示した図である。
　ＹＩＱ空間は、ＹＩＱ成分を表す互いに直交するＹ軸、Ｉ軸、Ｑ軸で構成されている。
　ＹＩＱ空間では、Ｙ値（明度）、Ｉ値（色度：暖色系）、Ｑ値（色度：寒色系）によって色情報が表され、ＹＩＱ空間の点の座標値によって画素のＹＩＱ値が規定される。
　Ｙ値は、正の値をとり、Ｉ値とＱ値は、正負の値をとることができる。
　ＹＩＱ方式は、ＮＴＳＣ信号を生成するコンポーネント信号の方式として、主にビデオ機器内で用いられる。

　図３は、動画から脈波を検出する仕組みを説明するための図である。
　図３（ａ）は、脈波検出装置１が、ユーザの顔から皮膚色データを採取する方法を示した図である。
　脈波検出装置１は、カメラ８でユーザの顔の静止画像３０を撮影し、鼻を検出して鼻領域２０を設定する。鼻の検出は、一般的な顔認識技術を用いて行う。
　そして、脈波検出装置１は、鼻領域２０の色空間をＲＧＢ空間からＨＳＶ空間に変換し、各画素のＨ値から皮膚色データを生成する。

　皮膚色データを採取する領域を鼻領域２０としたのは、顔認識で特定が容易であり、かつ、標準的な皮膚の色が露出しているからである。
　鼻の他に、例えば、額や頬など、他の領域から皮膚色データを採取するように構成することもできる。

　図３（ｂ）は、フレーム画像３１から脈波信号を抽出する方法を説明するための図である。
　フレーム画像３１には、皮膚部分のほか、髪２１、眉毛２２、目２３、唇２４、背景２５などが写し込まれている。
　これら皮膚以外の部分は、脈波信号が含まれていないか、又は、脈波信号を検出するのに適していない部分であり、脈波検出処理において精度低下を来す外乱要素として作用する。

　そこで、脈波検出装置１は、フレーム画像３１を色変換してＨＳＶ画像３２を生成し、皮膚色データに対応する部分を皮膚部分２６として特定する。
　皮膚部分２６は、画素単位で特定され、首などの皮膚が露出している部分は全て特定される。
　このように、外乱要素を除去しつつ、脈波信号が含まれる部分を最大限確保することにより、脈波検出精度を高めることができる。

　脈波検出装置１は、ＨＳＶ画像３２での皮膚部分２６の位置から、フレーム画像３１における皮膚部分を抽出し、ＹＩＱ画像に変換する。その結果、ＹＩＱ空間における皮膚部分２６ａが得られる。
　脈波検出装置１は、皮膚部分２６ａの各画素のＱ値を平均してＱｍを算出し、Ｑｍを脈波信号として出力する。

　なお、本実施の形態では、フレーム画像３１をＹＩＱ画像に変換して皮膚部分２６ａを得たが、ＨＳＶ画像３２の皮膚部分２６をＹＩＱ画像に変換して皮膚部分２６ａを得ることも可能である。

　図３（ｃ）は、動画から検出された脈波を示した図である。
　脈波検出装置１は、各フレーム画像から出力した脈波信号Ｑｍを時系列的に（フレーム画像の順に）並べて脈波３５を形成する。
　このように、脈波検出装置１は、各フレーム画像でユーザの皮膚部分を特定することにより、ユーザの動きに合わせて皮膚部分を追跡・抽出しながら脈波を検出することができる。これにより、次のような特徴が得られる。

（リアルタイム処理との適合性）
　従来技術では、被験者が評価領域１０１に顔を合わせた状態で静止したまま動画を撮影する。撮影中に顔が評価領域１０１からはずれる可能性もあるため、撮影し終わった動画を解析している。
　これに対し、脈波検出装置１は、動画の各フレーム画像において皮膚部分２６を特定するため、評価領域がユーザの皮膚に固定されたまま動画内で移動する。
　顔が動いても皮膚部分が評価領域からはずれることがないためリアルタイムで脈波を検出することができる。

　また、仮に各フレーム画像でユーザの顔を顔認識して追跡する場合、コンピュータの高い処理能力が必要とされるうえ、顔認識が失敗する可能性も高い。
　これに対し、脈波検出装置１は、ＨＳＶ画像を皮膚色データと対比して皮膚部分を特定する簡単な処理で皮膚部分を追跡することができる。そのため、リアルタイム処理に適している。

　更に、簡単で低負荷な処理で脈波を検出するため、リアルタイム処理してもコンピュータの処理能力に起因して生じるフレーム画像の脱落（所謂コマ落ち）を抑制することができる。
　処理できたフレーム画像の間隔は、脈波の測定間隔（サンプリングレート）となるため、コマ落ちを防ぐことにより測定間隔が広がるのを防ぐことができる。
　これによって脈波の高い時間分解能を維持することができ、脈波の検出精度が向上する。

　また、顔認識処理は、皮膚色データ登録時に行うだけで、皮膚色データは、既に登録してあるものを使うため、現場で顔認識に失敗して皮膚色データが採取できず、脈拍検出できないという事態を回避することができ、測定の信頼性が向上する。
　脈波の検出は、対象者の現在の生理状態を監視する場合に用いられることが主であり、リアルタイム処理できることは重要である。

（背景の除去）
　従来技術では、評価領域１０１を被験者の顔の形状に一致させることが困難なため、背景などの外乱要素が評価領域１０１に入り、脈波の検出精度が低下する可能性がある。
　これに対し、脈波検出装置１では、評価領域と皮膚部分２６が常に一致するため、顔以外の背景などの外乱要素が評価領域に入ることを防ぐことができ、これによって、正確な脈波検出を行うことができる。

（脈波と関係ない顔の部分の除去）
　従来技術では、被験者の顔が評価領域１０１に正しく設定されている場合であっても脈波と関係のない顔の部分（髪、目、口など）が評価領域に入っているため、これらが外乱要素となって脈波の検出精度に影響する可能性がある。
　これに対し、脈波検出装置１では、これらの顔の要素が皮膚部分２６から除外されるため、脈波の検出精度を高めることができる。
　更に、ユーザが瞬きしたり、口を開閉したりしても、顔の動きに合わせて皮膚部分２６が動的に設定されるため、顔の動きによる外乱要素も評価領域から除外することができる。

　図４は、脈波検出装置１が行う全体的な処理の手順を説明するためのフローチャートである。
　以下の処理は、ＣＰＵ２が、脈波検出プログラム１２に従って行うものである。
　まず、ＣＰＵ２は、カメラ８の画像の変化からユーザが指定位置に着席したことを検出すると、ユーザの顔の画像を取得してＲＡＭ４に記憶する（ステップ５）。
　この画像は、静止画像として撮影してもよいし、動画のフレーム画像から取り出してもよい。
　このように、脈波検出装置１は、対象者の少なくとも皮膚を含む領域を撮影した動画を取得する動画取得手段を備え、当該皮膚を含む領域は、対象者の顔を含んでいる。

　次に、ＣＰＵ２は、ＲＡＭ４に記憶した顔の画像を顔認識し、これをユーザデータベース１４の顔データと照合することにより検索する（ステップ１０）。
　顔が検索された場合、ＣＰＵ２は、当該ユーザを登録済みであると判断し（ステップ１５；Ｙ）、ユーザデータベース１４から当該ユーザの皮膚色データを取得してＲＡＭ４に記憶する（ステップ２０）。

　一方、顔が検索されなかった場合、ＣＰＵ２は、当該ユーザを未登録であると判断し（ステップ１５；Ｎ）、皮膚色データ採取処理を行って、顔の画像から皮膚色データを採取する（ステップ２５）。
　そして、脈波検出装置１は、顔の画像から顔データを形成し、顔データと皮膚色データを対応づけてユーザデータベース１４に記憶することによりユーザ登録を行う（ステップ２７）。

　ＣＰＵ２は、皮膚色データを取得すると、カメラ８から送信されてくる動画からフレーム画像を取得してＲＡＭ４に記憶する（ステップ３０）。
　次に、ＣＰＵ２は、ＲＡＭ４に記憶したフレーム画像から脈波を検出する脈波検出処理を行う（ステップ３５）。

　次に、ＣＰＵ２は、脈波の検出を継続するか否かを判断する（ステップ４０）。
　脈波の検出を継続する場合（ステップ４０；Ｙ）、脈波検出装置１は、ステップ３０に戻って、動画の次のフレーム画像に対して脈波検出処理を行う。
　一方、ユーザが停止ボタンを押すなどして脈波の検出を継続しない場合（ステップ４０；Ｎ）、脈波検出装置１は、処理を終了する。

　図５は、ステップ２５の皮膚色データ採取処理の手順を説明するためのフローチャートである。
　まず、ＣＰＵ２は、ＲＡＭ４から顔の画像を読み出して、これを顔認識し（ステップ５０）、そして、鼻を検出する（ステップ５５）。
　次に、ＣＰＵ２は、検出した鼻に皮膚色データ採取用の鼻領域を設定する（ステップ６０）。

　このように、脈波検出装置１は、対象者の顔を撮影した画像を取得する顔画像取得手段と、顔認識処理により、顔の皮膚が露出した所定の領域（鼻の領域）を特定する領域特定手段を備えている。

　次に、ＣＰＵ２は、鼻領域の色空間をＲＧＢ空間からＨＳＶ空間に色変換し（ステップ６５）、各画素のＨ値を取得する（ステップ７０）。
　次に、ＣＰＵ２は、各画素のＨ値を平均してＨｍを算出し（ステップ７５）、更に、Ｈ値の標準偏差σを算出する（ステップ８０）。

　次に、ＣＰＵ２は、ＨｍとσからＨ値の下限値Ｈｌｏ＝Ｈｍ－ｎ×σを算出してＲＡＭ４に記憶する（ステップ８５）。ｎについては後述する。
　更に、ＣＰＵ２は、Ｈ値の上限値Ｈｌｏ＝Ｈｍ＋ｎ×σを算出してＲＡＭ４に記憶する（ステップ９０）。
　そして、ＣＰＵ２は、Ｈ値の下限値と上限値を皮膚色データとして出力し（ステップ９５）、メインルーチン（図５）にリターンする。

　出力された皮膚色データ（ＨｌｏとＨｈｉ）は、対象者の皮膚の部分を特定するための基準となる色空間成分である基準成分として機能し、ステップ２７（図４）のユーザ登録で登録される。
　このように、脈波検出装置１は、基準成分を登録する基準成分登録手段を備えており、鼻領域の色空間成分に対して平均値と標準偏差による統計処理を施して登録している。

　ｎは、σの乗数であり、Ｈｍを中心としたＨ値の幅を規定する。後述するように、脈波検出装置１は、フレーム画像からＨ値がこの幅の間にある部分を皮膚部分として特定するため、実験などによりｎを適当な値に調節することができる。
　例えば、ｎ＝３とすると、Ｈ値がＨｍ±３σの範囲にある部分が皮膚部分として特定される。

　図６は、ステップ３５（図５）の脈波検出処理の手順を説明するためのフローチャートである。
　まず、ＣＰＵ２は、ＲＡＭ４に記憶されているフレーム画像の色空間をＲＧＢ空間からＨＳＶ空間に変換し、変換したＨＳＶ画像をＲＡＭ４に記憶する（ステップ１００）。
　次に、ＣＰＵ２は、画素の順番を数えるカウンタｉをｉ＝０に設定する（ステップ１０３）。

　次に、ＣＰＵ２は、ＲＡＭ４に記憶したＨＳＶ画像の各画素のうち、ｉ番目の画素のＨ値であるＨｉを取得する（ステップ１０５）。
　そして、ＣＰＵ２は、ＨｉがＨｌｏ＜Ｈｉ＜Ｈｈｉを満たしているか否か、即ち、Ｈｉが皮膚色データの範囲に入っているか否かを判断する（ステップ１１０）。
　ＣＰＵ２は、Ｈｉがこの範囲にある場合、当該画素と皮膚色データが対応すると判断する。
　Ｈｉが当該不等式を満たしている場合、即ち、Ｈｉが皮膚色データに対応する場合（ステップ１１０；Ｙ）、ＣＰＵ２は、当該画素の位置座標をＲＡＭ４に記憶する（ステップ１１５）。

　ステップ１１５で位置座標を記憶した後、又は、ステップ１１０でＨｉが皮膚色データの範囲になかった場合（ステップ１１０；Ｎ）、ＣＰＵ２は、ＨＳＶ画像の全ての画素についてステップ１１０の判断を行ったか否かを判断する（ステップ１２０）。

　まだ、判断していない画素がある場合（ステップ１２０；Ｎ）、ＣＰＵ２は、ｉを１つインクリメントしてｉ＝ｉ＋１に更新し（ステップ１２３）、ステップ１０５に戻って次の画素に対して同様の処理を繰り返す。
　以上のステップ１００～ステップ１２３を行うことにより皮膚部分に対応する位置座標がＲＡＭ４に記憶される。

　次に、ＣＰＵ２は、フレーム画像でＲＡＭ４に記憶した位置座標に位置する画素を特定することにより、フレーム画像における評価対象画素を取得する（ステップ１２５）。
　このように、脈波検出装置１は、動画に写っている対象者の皮膚の部分（評価対象画素）を特定する皮膚部分特定手段を備えている。
　また、この特定は、動画において所定の色空間成分が登録した基準成分に対応する部分を画素単位で皮膚の部分とすることにより行われている。

　次に、ＣＰＵ２は、評価対象画素の色空間をＲＧＢ空間からＹＩＱ空間に色変換する（ステップ１３０）。
　そして、ＣＰＵ２は、各画素のＱ値を平均して平均値Ｑｍを算出し（ステップ１３５）、これを脈波信号として出力し（ステップ１４０）、メインルーチン（図４）にリターンする。

　評価対象画素のＱ値には、脈波信号がのっており、これを平均化してＱｍとすることにより、ノイズの影響を低減することができる。
　以上の処理によって、１つのフレーム画像から脈波信号Ｑｍを検出したが、これを連続する各フレーム画像について行い、脈波信号Ｑｍをフレーム画像の順に並べると、脈波信号Ｑｍの時間変化によって図３（ｃ）に示した脈波が得られる。
　このように、脈波検出装置１は、皮膚の部分における所定の色空間成分の時間変化から脈波を取得する脈波取得手段と、これを出力する出力手段を備えている。

　以上に説明したように、脈波検出装置１は、皮膚部分の特定をＨＳＶ空間のＨ成分で行い、脈波検出をＹＩＱ空間のＱ成分で行う。
　このため、皮膚部分特定手段が皮膚の部分を特定するために用いる色空間成分と、脈波取得手段が脈波を取得するために用いる色空間成分は、異なる色空間成分である。
　そして、脈波検出装置１は、動画の色空間を変換する色空間変換手段を備え、皮膚部分特定手段と脈波取得手段は、色空間変換手段で変換した色空間にて色空間成分を取得している。
　更に、脈波検出装置１には、脈波によって、輸送機器の搭乗者の体調を監視する監視手段を備えることができる。

　なお、本実施形態では、フレーム画像から皮膚部分を抽出した後に当該抽出した皮膚部分をＲＧＢ空間からＹＩＱ空間に色変換したが、フレーム画像の全体をＹＩＱ空間に色変換してから皮膚部分を抽出するようにしてもよい。

（第２の実施の形態）
　従来技術では、実験室の窓から差し込む日光による安定した明度の下で脈波の検出が行われている。
　一方、脈波検出装置１を車両や医療現場で用いる場合、どのような撮影環境で使用されるかは様々であり、脈波検出中に特に明度が変化することが予想される。特に車両において運転者や搭乗者などの脈波を検出する場合には、車両の走行位置や向きの変化や時間帯などにより、明度の変化が頻繁に起こりやすい。
　そこで、脈波検出装置１が実際に使用される際に生じる明度変化によって検出結果に影響が生じるか否かについて調べた。すなわち、本願発明者は、蛍光灯による照明の下で脈波の検出を行いながら、団扇で被験者の顔に影を作って明度を変化させてみた。

　図７は、当該実験による結果を表した図である。
　図７（ａ）は、環境の明度が変化しない場合の脈波信号Ｑｍの時間変化である。
　図に示したように、脈波がきれいに検出されている。

　一方、図７（ｂ）は、被験者の顔に団扇で影を作ることにより明度だけ変化させた場合の脈波信号Ｑｍの時間変化である。
　期間４１は、影のない期間であり、期間４２は、影のある期間である。
　図に示したように、脈波信号Ｑｍが明度の変化によって大きく変化し、この変化にＱｍの変化が埋もれてしまって脈波の検出が困難となる。

　このような問題に対して本願発明者が研究したところ、目の部分（以下、目部分）には、脈波信号Ｑｍが現れないことを発見した。
　皮膚部分からは、明度の変化が重畳された脈波信号Ｑｍが検出され、目部分からは、脈波の含まれない明度の変化（あるいは、明度の大きさ）が検出されるため、前者から後者を減算することにより、明度の変化を補正することができる。
　また、本願発明者は、明度の変化の検出には、ＹＩＱ空間のＹ成分が好適であることを見い出したため、本実施の形態では、Ｙ成分により明度の変化を検出する。
　更に、脈波信号Ｑｍと明度のＹ値は、同じ色空間に属するため、単に減算すればよい。

　図８の各図は、明度の変化の補正方法を説明するための図である。
　図８（ａ）は、明度の変化の検出に用いられる目部分４５を示した図である。
　目部分４５は、色が濃く略中央の瞳孔部分４８、瞳孔部分４８の周囲の虹彩部分４７、白に近く虹彩部分４７の更に外側の白目部分４６、から構成されている。

　脈波検出装置１は、眼部分４５の中のＱ値の最小値をＱｌｏとし、眼部分４５の中のＱ値の最大値をＱｈｉとして、これらを目色データとして登録する。
　なお、脈波検出装置１は、白目部分４６のＱ値をＱｌｏとし、瞳孔部分４８のＱ値をＱｈｉとして、これらを目色データとして登録するようにしてもよい。
　後述するように、脈波検出装置１は、目色データを用いてユーザの顔の目領域から目部分４５を抽出し、当該抽出した目部分４５のＹ値の変化から明度の変化を検出する。

　図８（ｂ）は、明度信号５１を示した図である。
　脈波検出装置１は、目部分４５から検出したＹ値を平均して、明度信号Ｙｍを生成する。これを時系列的にプロットすると明度信号５１が得られる。
　図に示した例では、期間４２で顔に影を作ったので、期間４２の明度が期間４１よりも小さくなっている。

　図８（ｃ）は、補正前脈波信号５２を示した図である。
　補正前脈波信号５２は、明度の変化を補正する前の脈波信号Ｑｍを時系列的にプロットしたものである。
　補正前の脈波信号５２では、図８（ｃ）に示す様に、明度の低下の影響を受け、期間４２における脈波信号Ｑｍも低下している。

　図８（ｄ）は、補正後脈波信号５３を示した図である。
　脈波検出装置１は、補正前の脈波信号Ｑｍから明度信号Ｙｍを減算することにより、補正後脈波信号５３を生成する。これを時系列的にプロットすると補正後脈波信号５３が得られる。
　補正後脈波信号５３では、明度の変化による影響が除去されているため、明度が低下した期間４２においても適切な脈波が得られる。

　図８（ｅ）（ｆ）は、脈波検出装置１が動画のフレーム画像で目部分４５を特定する方法を説明するための図である。
　まず、脈波検出装置１は、図８（ｅ）に示したように、フレーム画像に対して顔認識処理を行い、目部分４５を含む目領域５５を抽出する。
　そして、脈波検出装置１は、目領域５５に対して目色データを適用して目部分４５を抽出する。

　このように、目領域５５から目部分４５を抽出したのは、次の理由による。
　フレーム画像に対して目色データを適用すると、例えば、背景などでたまたま目色データに対応する部分が抽出されてしまうのに対し、目領域５５は、皮膚部分と目部分４５から構成され、目色データに対応する部分は目部分４５だけであるので、確実に目部分４５を特定できるからである。

　また、顔認識によって、目部分４５を直接特定することも可能であるが、顔認識の精度を高める必要があるうえ、失敗率も高まるので、このように、画像認識では大まかに目領域５５を特定することにした。

　図９は、脈波検出装置１が行う全体的な処理の手順を説明するためのフローチャートである。
　第１の実施の形態と同じステップには、同じステップ番号を付し、説明を簡略化、又は省略する。
　ユーザが登録ユーザであった場合（ステップ１５；Ｙ）、ＣＰＵ２は、ユーザデータベース１４から皮膚色データを取得し（ステップ２０）、更に目色データを取得する（ステップ１５０）。

　一方、登録ユーザでなかった場合（ステップ１５；Ｎ）、ＣＰＵ２は、皮膚色データ採取処理を行い（ステップ２５）、更に目色データ採取処理を行って（ステップ１５５）、顔データ、皮膚色データ、目色データなどをユーザデータベース１４に記憶することによりユーザ登録する（ステップ２７）。

　ＣＰＵ２は、フレーム画像を取得して（ステップ３０）、脈波検出処理を行い（ステップ３５）、補正前の脈波信号Ｑｍを検出する。
　次に、ＣＰＵ２は、補正前の脈波信号Ｑｍに対して明度変化対策処理を行い（ステップ１６０）、補正後の脈波信号Ｑｍを出力する。

　図１０は、ステップ１５５の目色データ採取処理の手順を説明するためのフローチャートである。
　まず、ＣＰＵ２は、皮膚色データ採取処理で使用した顔の画像を顔認識し（ステップ１８０）、目部分を検出する（ステップ１８５）。
　このように脈波検出装置１は、顔画像において、顔認識処理により、顔の目の領域（この場合目部分）を特定する領域特定手段を備えている。
　次に、ＣＰＵ２は、目部分を評価域に設定し（ステップ１９０）、目部分に含まれる全ての画素の色空間をＲＧＢ空間からＹＩＱ空間に変換する（ステップ２００）。

　次に、ＣＰＵ２は、目部分に含まれる画素ごとにＱ値を取得してＲＡＭ４に記憶する（ステップ２０５）。
　そして、ＣＰＵ２は、ＲＡＭ４に記憶したＱ値のうち最低値をＱｌｏとし（ステップ２１０）、更に、最高値をＱｈｉとし（ステップ２１５）、これを目色データとして、当該ユーザの顔データと皮膚色データに対応づけてユーザデータベース１４に登録し（ステップ２２０）、メインルーチン（図９）にリターンする。

　このように、脈波検出装置１は、当該特定した領域の色空間成分を目の部分を特定するための基準となる基準成分（ＱｌｏとＱｈｉ）として登録する基準成分登録手段を備えている。
　そして、基準成分登録手段は、特定した領域における色空間成分の分布に対して最小値と最大値を特定する統計処理を施した値を登録している。

　図１１は、ステップ１６０の明度変化対策処理の手順を説明するためのフローチャートである。
　まず、脈波検出装置１のＣＰＵ２は、ＲＡＭ４に記憶されているフレーム画像で顔認識を行って顔を検出し（ステップ２３０）、更に、目領域を検出し（ステップ２３５）、検出した目領域を評価域に設定する（ステップ２４０）。
　次に、ＣＰＵ２は、目領域の色空間をＲＧＢ空間からＹＩＱ空間に変換してＲＡＭ４に記憶する（ステップ２４５）。

　次に、ＣＰＵ２は、カウンタｊを０に設定し（ステップ２５０）、目領域のｊ番目の画素のＱ値であるＱｊをＲＡＭ４から取得する（ステップ２５３）。
　そして、ＣＰＵ２は、ＱｊとＱｌｏ、Ｑｈｉとの大小関係を判断する（ステップ２５５）。
　ＱｊがＱｌｏ＜Ｑｊ＜Ｑｈｉならば（ステップ２５５；Ｙ）、ＣＰＵ２は、当該画素が目部分に含まれると判断し、当該画素のＹ値を取得してＲＡＭ４に記憶する（ステップ２６０）。

　Ｙ値を取得した後、又は、ＱｊがＱｌｏ＜Ｑｊ＜Ｑｈｉを満たさなかった場合（ステップ２５５；Ｎ）、ＣＰＵ２は、全ての画素について判断したか否かを判断する（ステップ２６５）。
　まだ、判断していない画素がある場合（ステップ２６５；Ｎ）、ＣＰＵ２は、ｊを１つインクリメントしてｊ＝ｊ＋１に更新し（ステップ２７０）、その後ステップ２５３に戻って次の画素に対して同様の処理を繰り返す。

　以上の処理によって、目領域から皮膚部分を除いた目部分の各画素のＹ値が得られる。
　このように、脈波検出装置１は、動画において所定の色空間成分が登録した基準成分に対応する部分を目の部分として特定することにより、動画に写っている目の部分を画素単位で特定する目部分特定手段を備えている。

　ＣＰＵ２は、このようにして全ての画素のＹ値をＲＡＭ４に記憶すると、これを平均して平均値Ｙｅを算出する（ステップ２７５）。
　平均値Ｙｅは、撮影環境の明度に対応し、これと前後するフレーム画像のＹｅとの差が明度の変化を表す。
　そのため各フレーム画像から、それぞれの明度の平均値Ｙｅを減算することにより、明度の変化分を補正することができる。
　このように、脈波検出装置１は、動画の撮影環境の変化によって生じた明度の変化を目の部分の所定の色空間成分の変化から取得する明度変化取得手段を備えている。

　次に、ＣＰＵ２は、補正前の脈波信号Ｑｍを取得して（ステップ２７６）、これから平均値Ｙｅを減算して補正後の脈波信号Ｑｍを算出し（ステップ２７７）、算出した補正後の脈波信号Ｑｍを出力して（ステップ２７８）、メインルーチン（図９）にリターンする。
　このように、脈波検出装置１は、明度の変化を用いて動画の明度を画素単位で補正する明度補正手段と、補正された皮膚の部分における所定の色空間成分の時間変化から脈波を取得する脈波取得手段を備えている。
　また、脈波検出装置１は、Ｙ成分で明度の変化を取得し、Ｈ成分で皮膚部分を特定し、Ｑ成分で脈波を検出しており、異なる色成分で処理を行っている。
　そして、脈波検出装置１は、これら色空間を変換する色空間変換手段を備えている。

　以上に説明した第２の実施の形態により、次のような効果を得ることができる。
（１）外光の変化やユーザの動きなど、撮影環境の変化により明度が変化した場合でも脈波を検出することができる。
（２）顔の皮膚から脈波を検出しながら、同時に目から明度の変化を検出することができる。
（３）特別な装置がなくても明度の変化を補正することができる。
　なお、本実施形態では、フレーム画像から皮膚部分を抽出してから当該皮膚部分の明度の補正を行ったが、フレーム画像の全体に対して明度の補正を行った後、皮膚部分を抽出するようにしてもよい。

　（第３の実施の形態）
　例えば、汎用品のカメラ８を用いる場合、人間が動画を鑑賞する場合には分からないが、脈波を検出するのには障害となる程度の画素ごとの特性のばらつきが存在する。
　本実施の形態では、色成分によって脈波を検出するため、クロミナンス（色質）特性のばらつきによる影響を受ける。

　図１２は、カメラ特性によるクロミナンスのばらつきを説明するための図である。
　図１２（ａ）は、カメラ８の画素のクロミナンス特性のばらつきを濃淡で表した図である。
　このようにクロミナンス特性が一様でないため、画面内でユーザが動くと、クロミナンスの値が変化して、脈波検出の精度に影響がでる。

　図１２（ｂ）は、画面内で被験者に動いてもらい、画面の左領域６１、中央領域６２、右領域６３で検出した脈波を比較した図である。
　図に示したように、本来なら同じレベルで脈波が検出されるべきところ、クロミナンスの差によってレベルの高さに差が生じている。

　従来では、カメラのクロミナンス特性の補正は、例えば、専門家がキャリブレーション用のチャートを用いて、色々な色に対して行っていた。これは、専門知識が必要なうえ、工数も掛かり、一般のユーザでは困難である。
　また、色々な色に対する補正がなされるため、補正処理が複雑であり、脈波をリアルタイム処理すると、コマ落ちが生じて処理に係るフレームレートが低下する可能性がある。

　そこで、本実施の形態では、補正対象色をユーザの顔の色に限定すると共に、画面内におけるユーザの動きによって生じる各画素ごとのクロミナンスの平均値をカメラ特性データとして記憶する。
　カメラ特性データを用いてクロミナンスの変化を補正することにより正確な脈波を検出することができる。

　また、ユーザが画面内で動くことにより皮膚部分が画面を掃く（スイープする）が、脈波検出装置１は、皮膚の部分が掃いた領域の画素を逐次補正していく。
　このように、本実施の形態では、画面内でのユーザの動きに伴って自動的に補正値を作成することができる。

　図１３は、脈波検出装置１が行う全体的な処理の手順を説明するためのフローチャートである。
　第１の実施の形態、及び第２の実施の形態と同じステップには、同じステップ番号を付し、説明を簡略化、又は省略する。
　ステップ５～ステップ３０の後、ＣＰＵ２は、脈波検出処理を行った後（ステップ３５）、カメラ特性データ更新処理を行う（ステップ３０５）。

　そして、ＣＰＵ２は、更新した最新のカメラ特性データを取得し（ステップ３１０）、これを用いて、脈波信号Ｑｍに対してカメラ特性対処理による補正を行う（ステップ３１５）。
　その後、ＣＰＵ２は、カメラ特性による補正が行われた脈波信号Ｑｍに対して明度変化対策処理を行う（ステップ１６０）。

　図１４は、ステップ３０５（図１３）のカメラ特性データ更新処理の手順を説明するためのフローチャートである。
　ステップ２３０～２６５は、図６のステップ１００～１３０と同じである。
　即ち、ＣＰＵ２は、フレーム画像において皮膚部分に該当する画素を評価対象画素に指定し、その色空間をＲＧＢ空間からＹＩＱ空間に変換する（ステップ２６５）。

　次に、ＣＰＵ２は、評価対象画素のうち、位置座標（ｘ、ｙ）にある画素を選択し（選択方法は任意のアルゴリズムで行ってよい）、そのＱ値を取得してＲＡＭ４に記憶する（ステップ２７０）。
　次に、ＣＰＵ２は、カメラ特性データ１５から、当該位置座標に対する最新の補正値（即ち、前回補正までの最新値）Ｑｃ（ｘ、ｙ、ｋ）を取得してＲＡＭ４に記憶する（ステップ２７５）。
　ここで、ｋは画素ごとに設定されるカウンタであり、前回までの当該画素の補正回数を表すパラメータである。

　次に、ＣＰＵ２は、ＲＡＭ４に記憶したこれらの値を用いて、新しいＱｃ値を、次の式で計算し、その結果をＲＡＭ４に記憶する（ステップ２８０）。

　Ｑｃ（ｘ、ｙ、ｋ＋１）＝｛Ｑｃ（ｘ、ｙ、ｋ）×ｋ＋Ｑ（ｘ、ｙ）｝／（ｋ＋１）

　次に、ＣＰＵ２は、カメラ特性データ１５のＱｃ（ｘ、ｙ、ｋ）をＱｃ（ｘ、ｙ、ｋ＋１）で更新する（ステップ２８５）。
　このように、脈波検出装置１は、補正値を上記の式による統計処理を用いて画素ごとに更新するため、顔の移動に伴って皮膚の部分に生じる色空間成分の変化に対して所定の統計処理を施すことにより補正値を画素ごとに更新する更新手段を備えている。

　次に、ＣＰＵ２は、全ての評価対象画素についてＱｃ値を更新したか否かを判断する（ステップ２９０）。
　まだ、更新していない画素がある場合（ステップ２９０；Ｎ）、ＣＰＵ２は、次の評価対象画素（ｘ、ｙ）を選択し（ステップ２９５）、その後ステップ２７０に戻り、全ての画素について更新した場合（ステップ２９０；Ｙ）、更新処理を終了してメインルーチン（図１３）にリターンする。

　図１５は、ステップ３１５（図１３）のカメラ特性対策処理の手順を説明するためのフローチャートである。
　ＣＰＵ２は、フレーム画像で評価対象画素に設定された画素ごとにＱ値からＱｃを減算してＱａ（カメラ特性対策によって補正されたＱ値）を算出し（ステップ３８０）、Ｑａの平均値を算出して、これを脈波信号Ｑｍとして（ステップ３８５）、メインルーチンにリターンする。

　このように脈波検出装置１は、カメラの特性に起因して動画に生じる所定の色空間成分のばらつきを画素ごとに当該画素に対応する補正値を用いて補正するばらつき補正手段と、補正された皮膚の部分における色空間成分の時間変化から脈波を取得する脈波取得手段と、脈波を出力する出力手段を備えている。
　更に、脈波検出装置１は、ステップ３０５（図１３）のカメラ特性データ更新処理とステップ３１５（図１３）のカメラ特性対策処理を同じループ処理にて行うことにより、補正値を更新している間に最新の補正値を用いてばらつきを補正し、最新の補正値で補正された皮膚の部分から脈波を取得している。

　以上に説明したように、脈波検出装置１は、カメラ特性を補正しつつ、最新の補正値を用いて脈波信号Ｑｍを出力する。
　また、カメラ特性対策処理は、一定程度補正値が収束した場合には、補正を終了するように構成することができる。
　その場合は、少なくとも脈波信号の変動よりもカメラ特性による変動が小さくなるまで補正を継続する。

　このようにカメラ特性データ１５を完成させ、以降は、これを使用することにより、脈波検出においてカメラ特性データ更新処理を行う必要が無くなる。これによってＣＰＵ２の負荷が低減し、その分を他の処理に充てることができる。
　この場合、脈波検出装置１は、カメラの特性に起因する色空間成分のばらつきの大きさが、少なくとも、脈波による色空間成分の変化の大きさよりも小さい値に収束した場合に補正値の更新を完了する。

　第３の実施の形態によれば、次のような効果を得ることができる。
（１）脈波検出装置１を利用しながらカメラ特性を検出して補正することができる。そのため、事前の調節が必要ない。
（２）ユーザの動きに伴って補正値を作成していくので、例えば、車両に搭載して搭乗者を対象とするのに適している。
（３）補正の対象とする色を顔の色に限定したため、複雑なキャリブレーション計算は必要なく、動画処理中のコマ落ちを抑制することができる。
（４）コマ落ちの抑制の結果、脈波の時間分解能が向上する。このため、リアルタイム処理に適しており、また、パルス間隔（脈の間隔）解析の精度も向上する。

　次に、説明した第１の実施形態から第３の実施形態における、脈波検出装置１による処理（図４、図９、図１３）を開始するタイミングについて説明する。
　各実施形態において、脈波検出装置１による脈派検出処理を次の何れかのタイミングで開始する。各開始タイミングとしては、タイミング１をデフォルトとし、ユーザが任意のタイミングで変更できるようにしてもよい。
（１）タイミング１
　脈波の監視対象である運転者が運転席に着座したことを検出した場合に処理を開始する。
　なお、ドライバ以外の搭乗者（助手席や後部座席の乗客）も脈波の監視対象としている場合には、対象となる搭乗者席のいずれかに着座したことを検出した場合に処理を開始する。
　この場合、搭乗者の検出については、対象となる席（座面や背もたれ部分など）に荷重センサを配置し閾値以上の荷重を検出した場合、シートベルトが着用された場合、イグニッションキーがオンされた場合（運転席用）、のいずれかの場合に着座したと判断する。

（２）タイミング２
　脈波検出装置１の何れかに、開始ボタンを配置し、搭乗者の何れかが開始ボタンを選択した場合に処理を開始する。
　この場合の開始ボタンとしては、表示部５と入力部６により構成する。すなわち、脈波検出装置１は、表示部５に開始ボタンを画像表示し、該当部分がタッチされたことを入力部６のタッチパネルが検出した場合に処理を開始する。
　また、入力部６として独立したハードスイッチを設けておくようにしてもよい。
　なお、場合開始ボタンは、監視対象となる各搭乗者毎に設けるようにしてもよい。

（３）タイミング３
　脈波検出装置１が搭載されている車両の運転席のドアが開いた場合に処理を開始する。
　なお、ドライバ以外の搭乗者も監視対象となっている場合には、該当する搭乗者に対応するドアが開いた場合にも処理を開始する。
　ドアの開閉については、ドア部に開閉センサ（接触センサ）等の周知の技術により検出する。
　このタイミング３によれば、他のタイミングに比べて、脈波の監視開始をいち早く行うことが可能になる。
　とくに、ドアが開いた後搭乗者が着座するまでの間に、皮膚色データの取得などの、脈波検出処理（ステップ３５）以前の処理を完了することができるため、より長い時間脈波を検出することができる。

　次に検出した脈波の利用法について説明する。すなわち、本実施形態の脈波検出装置１で検出した脈波を利用し、眠気、緊張状態、疲れなどの覚醒状態といった運転者の状態を判断して対応することができる。
　例えば、脈波から運転者の眠気を検出する技術として、例えば、特開平２０１４－２０６７８「眠気予測装置及び眠気予測システム」がある。一例として、この技術を用いることにより、運転者の脈波から眠気の有無を監視することができる。
　詳細には、脈波検出装置１から検出された脈波を用いて運転者の脈拍とＨＦを測定する。ＨＦとは、心拍間隔の変動量（心拍数の揺らぎ）を示す公知の指標である。
　運転者の眠気は、次の眠気数値Ｚによって計算可能である。

　Ｚ＝Ｐ×１０＋（Ｑ－１）×１００

　Ｐは通常時の値に対する脈拍の低下量（単にはｂｐｍ）であり、Ｑは所定期間（例えば、過去５００秒）におけるＨＦの増加率である。
　眠気の兆候がある状態では、交感神経活動が亢進状態から抑制状態へ変わるため、脈拍数が低下する。また、眠気が生じる状態では、副交感神経が亢進状態へと変わることで脈拍数が下がりＨＦが上昇する。

　脈波検出装置１は、脈波、脈波から求めた脈拍、ＨＦ、眠気数値Ｚ等を監視し、眠気の兆候が見られた場合や眠気が生じた場合に振動や音声を出力することによって、運転者の注意を喚起することができる。
　また、脈拍は、眠気のほか、緊張状態、疲労等に応じても変化するため、脈波検出装置１は、これらの概念を含んだ運転者の覚醒度を脈波によって監視することが出可能である。

　以上、３つの実施の形態について説明したが、第１の実施の形態によれば、次の構成を得ることができる。
（１）第１０１の構成
　対象者の少なくとも皮膚を含む領域を撮影した動画を取得する動画取得手段と、前記取得した動画に写っている前記対象者の皮膚の部分を特定する皮膚部分特定手段と、前記特定した皮膚の部分における所定の色空間成分の時間変化から前記対象者の脈波を取得する脈波取得手段と、前記取得した脈波を出力する出力手段と、を具備したことを特徴とする脈波検出装置。
（２）第１０２の構成
　前記対象者の少なくとも皮膚を含む領域は、前記対象者の顔を含んでいることを特徴とする第１０１の構成の脈波検出装置。
（３）第１０３の構成
　前記対象者の皮膚の部分を特定するための基準となる色空間成分である基準成分を登録する基準成分登録手段を備え、前記皮膚部分特定手段は、前記動画において所定の色空間成分が前記登録した基準成分に対応する部分を前記皮膚の部分として特定することを特徴とする第１０１の構成、又は第１０２の構成の脈波検出装置。
（４）第１０４の構成
　前記皮膚部分特定手段が前記皮膚の部分を特定するために用いる色空間成分と、前記脈波取得手段が前記脈波を取得するために用いる色空間成分は、異なる色空間成分であることを特徴とする第１０１の構成、第１０２の構成、又は第１０３の構成の脈波検出装置。
（５）第１０５の構成
　前記皮膚部分特定手段が前記皮膚の部分を特定するために用いる色空間成分は、色成分（Ｈ）、彩度成分（Ｓ）、及び明度成分（Ｖ）から成るＨＳＶ色空間の前記色成分（Ｈ）であり、前記脈波取得手段が前記脈波を取得するために用いる色空間成分は、明度成分（Ｙ）、及び色度成分（Ｉ、Ｑ）から成るＹＩＱ色空間の前記色度成分（Ｑ）であることを特徴とする第１０４の構成の脈波検出装置。
（６）第１０６の構成
　動画の色空間を変換する色空間変換手段を備え、前記皮膚部分特定手段と前記脈波取得手段は、前記取得した動画を前記色空間変換手段で変換した色空間にて色空間成分を取得することを特徴とする第１０１の構成から第１０５の構成までのうちの何れか１の構成の脈波検出装置。
（７）第１０７の構成
　前記対象者の顔を撮影した顔画像を取得する顔画像取得手段と、前記取得した顔画像において、顔認識処理により、前記顔の皮膚が露出した所定の領域を特定する領域特定手段を備え、前記基準成分登録手段は、前記特定した領域の色空間成分を前記基準成分として登録することを特徴とする第１０３の構成の脈波検出装置。
（８）第１０８の構成
　前記所定の領域は、前記対象者の鼻の領域であることを特徴とする第１０７の構成の脈波検出装置。
（９）第１０９の構成
　前記基準成分登録手段は、前記特定した領域における色空間成分の分布に対して所定の統計処理を施した値を前記基準成分として登録することを特徴とする第１０７の構成、又は第１０８の構成の脈波検出装置。
（１０）第１１０の構成
　前記皮膚部分特定手段は、前記動画の画素単位で前記皮膚の部分を特定することを特徴とする第１０１の構成から第１０９の構成までのうちの何れか１の構成の脈波検出装置。
（１１）第１１１の構成
　前記対象者は、輸送機器の搭乗者であって、前記出力した脈波を用いて前記搭乗者の体調を監視する監視手段を具備したことを特徴とする第１０１の構成から第１１０の構成までのうちの何れか１の構成の脈波検出装置。
（１２）第１１２の構成
　対象者の少なくとも皮膚を含む領域を撮影した動画を取得する動画取得機能と、前記取得した動画に写っている前記対象者の皮膚の部分を特定する皮膚部分特定機能と、前記特定した皮膚の部分における所定の色空間成分の時間変化から前記対象者の脈波を取得する脈波取得機能と、前記取得した脈波を出力する出力機能と、をコンピュータで実現する脈波検出プログラム。

　以上の構成により、次のような効果を得ることができる。
（１）第１０１の構成によれば、動画に写っている外乱要素を除外して皮膚の部分だけ取り出し、そこから脈波を検出することができるため、脈波検出の精度を高めることができる。
（２）第１０２の構成によれば、日常的に皮膚が露出していて撮影の容易な顔から脈波を検出することができる。
（３）第１０３の構成によれば、基準成分との対比により動画から容易に皮膚の部分を抽出することができる。
（４）第１０４の構成によれば、（皮膚と脈波では、光で観察する対象が異なるため）観察対象に適した色空間成分の組み合わせを採用することにより外乱要素に対するロバスト性を向上させることができる。
（５）第１０５の構成によれば、皮膚の部分の特定に好適であることが見いだされたＨ成分と、脈波検出に好適であることが見いだされたＱ成分を組み合わせることにより、外乱要素に対するロバスト性をより向上させることができる。
（６）第１０６の構成によれば、色変換処理を外部装置ではなく、脈波検出装置内部に備えることにより、処理速度が向上し、動画からリアルタイムで脈波を検出することが容易となる。
（７）第１０７の構成によれば、対象者自身から皮膚の色の基準成分を採取することにより、人ごとの微妙な皮膚色の差異が含まれた基準値を容易に取得することができる。
（８）第１０８の構成によれば、皮膚が露出していて場所特定が容易な鼻の領域から皮膚の色の基準値を採取することができる。
（９）第１０９の構成によれば、個人差が大きい皮膚の色の分布の偏りを統計処理によって均すことができ、これによって、基準成分の信頼性を向上させることができる。
（１０）第１１０の構成によれば、閉曲線で囲んだ（皮膚の部分に該当しない画素も散在する）領域ではなく、画素ごとに皮膚の部分を抽出するため、評価対象から外乱要素として作用する画素を除外することができ、検出精度を高めることができる。
（１１）第１１１の構成によれば、輸送機器の搭乗者の体調を監視することができる。
（１２）第１１２の構成によれば、脈波検出プログラムを流通させ、これを汎用のコンピュータにインストールすることにより、容易かつ安価に脈波検出装置を構成することができる。

　第３の実施の形態によれば、次の構成を得ることができる。
（１）第３０１の構成
　所定のカメラで対象者の少なくとも皮膚を含む領域を撮影した動画を取得する動画取得手段と、前記取得した動画に写っている前記対象者の皮膚の部分を特定する皮膚部分特定手段と、前記カメラの特性に起因して前記動画に生じる所定の色空間成分のばらつきを補正するばらつき補正手段と、前記補正された前記皮膚の部分における前記色空間成分の時間変化から前記対象者の脈波を取得する脈波取得手段と、前記取得した脈波を出力する出力手段と、を具備したことを特徴とする脈波検出装置。
（２）第３０２の構成
　前記対象者の少なくとも皮膚を含む領域は、前記対象者の顔を含んでいることを特徴とする第３０１の構成の脈波検出装置。
（３）第３０３の構成
　前記顔の移動に伴って前記皮膚の部分に生じる前記色空間成分の変化に対して所定の統計処理を施すことにより前記補正に用いる補正値を更新する更新手段を具備したことを特徴とする第３０２の構成の脈波検出装置。
（４）第３０４の構成
　前記更新手段は、前記動画を構成する画素ごとに前記補正値を更新し、前記ばらつき補正手段は、前記画素ごとに当該画素に対応する補正値を用いて前記色空間成分を補正することを特徴とする第３０３の構成の脈波検出装置。
（５）第３０５の構成
　前記更新手段は、前記カメラの特性に起因する前記色空間成分のばらつきの大きさが、少なくとも、前記対象者の脈波による前記色空間成分の変化の大きさよりも小さい値に収束した場合に前記更新を完了することを特徴とする第３０３の構成、又は第３０４の構成の脈波検出装置。
（６）第３０６の構成
　前記ばらつき補正手段は、前記更新手段が前記補正値を更新している間に最新の補正値を用いて前記ばらつきを補正し、前記脈波取得手段は、前記最新の補正値で補正された前記皮膚の部分から前記脈波を取得することを特徴とする第３０３の構成、第３０４の構成、又は第３０５の構成の脈波検出装置。
（７）第３０７の構成
　前記動画の撮影環境の変化によって生じた明度の変化を取得する明度変化取得手段と、前記取得した明度の変化を用いて前記動画の明度を補正する明度補正手段と、を備え、前記脈波取得手段は、前記明度補正手段で更に補正された前記皮膚の部分における前記色空間成分の時間変化から前記対象者の脈波を取得することを特徴とする第３０１の構成から第３０６の構成までのうちの何れか１の構成の脈波検出装置。
（８）第３０８の構成
　前記ばらつき補正手段による補正の対象となる色空間成分と前記脈波取得手段が前記脈波を取得するために用いる色空間成分は、明度成分（Ｙ）、及び色度成分（Ｉ、Ｑ）から成るＹＩＱ色空間の前記色度成分（Ｑ）であることを特徴とする第３０１の構成から第３０７の構成までのうちの何れか１の構成の脈波検出装置。
（９）第３０９の構成
　前記対象者は、輸送機器の搭乗者であって、前記出力した脈波を用いて前記搭乗者の体調を監視する監視手段を具備したことを特徴とする第３０１の構成から第３０８の構成までのうちの何れか１の構成の脈波検出装置。
（１０）第３１０の構成
　所定のカメラで対象者の少なくとも皮膚を含む領域を撮影した動画を取得する動画取得機能と、前記取得した動画に写っている前記対象者の皮膚の部分を特定する皮膚部分特定機能と、前記カメラの特性に起因して前記動画に生じる所定の色空間成分のばらつきを補正するばらつき補正機能と、前記補正された前記皮膚の部分における前記色空間成分の時間変化から前記対象者の脈波を取得する脈波取得機能と、前記取得した脈波を出力する出力機能と、をコンピュータで実現する脈波検出プログラム。

　以上の構成により、次のような効果を得ることができる。
（１）第３０１の構成によれば、カメラの特性に起因して前記動画に生じる所定の色空間成分のばらつきを補正することにより、脈波を良好に検出することができる。
（２）第３０２の構成によれば、日常的に皮膚が露出していて撮影の容易な顔から脈波を検出することができる。
（３）第３０３の構成によれば、顔の移動によって生じる色空間成分の変化で補正値を更新するが、その際に、統計処理によって補正値のばらつきを均すことができる。
（４）第３０４の構成によれば、領域を代表値で補正するのではなく、画素ごとに補正することにより、補正の精度を高めることができる。
（５）第３０５の構成によれば、色空間成分のばらつきが脈波の変動より小さくなるまで補正を収束させることにより、脈波の検出が良好に行えるようになる。
（６）第３０６の構成によれば、補正をしながら脈波の検出を行うことができる。
（７）第３０７の構成によれば、更に、明度の変化を行うことにより、環境変化に対するロバスト性が向上し、明度が変化する環境においても脈波を検出することができる。
（８）第３０８の構成によれば、脈波検出のための色空間成分を、脈波検出に好適であることが見いだされたＱ成分とすることにより、外乱要素に対するロバスト性を向上させることができる。
（９）第３０９の構成によれば、輸送機器の搭乗者の体調を監視することができる。
（１０）第３１０の構成によれば、脈波検出プログラムを流通させ、これを汎用のコンピュータにインストールすることにより、容易かつ安価に脈波検出装置を構成することができる。

　１　脈波検出装置
　２　ＣＰＵ
　３　ＲＯＭ
　４　ＲＡＭ
　５　表示部
　６　入力部
　７　出力部
　８　カメラ
　９　記憶部
　１０　ユーザ
　１２　脈波検出プログラム
　１４　ユーザデータベース
　１５　カメラ特性データ
　２０　鼻領域
　２１　髪
　２２　眉毛
　２３　目
　２４　唇
　２５　背景
　２６　皮膚部分
　３０　静止画像
　３１　フレーム画像
　３２　ＨＳＶ画像
　３５　脈波
　４１、４２　期間
　４５　目部分
　４６　白目部分
　４７　虹彩部分
　４８　瞳孔部分
　５１　明度信号
　５２　補正前脈波信号
　５３　補正後脈波信号
　５５　目領域
　６１　左領域
　６２　中央領域
　６３　右領域
　１０１　評価領域
　１０２　背景

Claims (13)

1. 　対象者の顔を含む領域を撮影した動画を取得する動画取得手段と、
   　前記動画に写っている前記対象者の目の部分を特定する目部分特定手段と、
   　前記動画の撮影環境の変化によって生じた明度の変化を、前記特定した目の部分の所定の色空間成分の変化から取得する明度変化取得手段と、
   　前記取得した明度の変化を用いて前記動画の明度を補正する明度補正手段と、
   　前記補正された前記対象者の皮膚の部分における所定の色空間成分の時間変化から前記対象者の脈波を取得する脈波取得手段と、
   　前記取得した脈波を出力する出力手段と、
   　を具備したことを特徴とする脈波検出装置。
2. 　前記取得した動画に写っている前記対象者の皮膚の部分を特定する皮膚部分特定手段を備え、
   　前記脈波取得手段は、前記特定した皮膚の部分における所定の色空間成分の時間変化から前記対象者の脈波を取得することを特徴とする請求項１に記載の脈波検出装置。
3. 　前記対象者の目の部分を特定するための基準となる色空間成分である基準成分を登録する基準成分登録手段を備え、
   　前記目部分特定手段は、前記動画において所定の色空間成分が前記登録した基準成分に対応する部分を前記目の部分として特定することを特徴とする請求項２に記載の脈波検出装置。
4. 　前記皮膚部分特定手段は、前記動画において所定の色空間成分が予め登録した所定の基準成分に対応する部分を前記皮膚の部分として特定することを特徴とする請求項２、又は請求項３に記載の脈波検出装置。
5. 　前記明度変化取得手段が明度の変化を取得するために用いる色空間成分、前記脈波取得手段が前記脈波を取得するために用いる色空間成分、及び、前記皮膚部分特定手段が前記皮膚の部分を特定するために用いる色空間成分は、異なる色空間成分であることを特徴とする請求項２、請求項３、又は請求項４に記載の脈波検出装置。
6. 　前記明度変化取得手段が明度の変化を取得するために用いる色空間成分と前記脈波取得手段が前記脈波を取得するために用いる色空間成分は、それぞれ、明度成分（Ｙ）、及び色度成分（Ｉ、Ｑ）から成るＹＩＱ色空間の前記明度成分（Ｙ）と前記色度成分（Ｑ）であり、
   　前記皮膚部分特定手段が前記皮膚の部分を特定するために用いる色空間成分は、色成分（Ｈ）、彩度成分（Ｓ）、及び明度成分（Ｖ）から成るＨＳＶ色空間の前記色成分（Ｈ）であることを特徴とする請求項５に記載の脈波検出装置。
7. 　色空間を変換する色空間変換手段を備え、
   　前記脈波取得手段、前記明度変化取得手段、及び前記皮膚部分特定手段は、前記取得した動画を前記色空間変換手段で変換した色空間にて色空間成分を取得することを特徴とする請求項２から請求項６までのうちの何れか１の請求項に記載の脈波検出装置。
8. 　前記対象者の顔を撮影した顔画像を取得する顔画像取得手段と、
   　前記取得した顔画像において、顔認識処理により、前記顔の目の領域を特定する領域特定手段を備え、
   　前記基準成分登録手段は、前記特定した領域の色空間成分を前記基準成分として登録することを特徴とする請求項３に記載の脈波検出装置。
9. 　前記基準成分登録手段は、前記特定した領域における色空間成分の分布に対して所定の統計処理を施した値を前記基準成分として登録することを特徴とする請求項８に記載の脈波検出装置。
10. 　前記目部分特定手段は、前記動画の画素単位で前記目の部分を特定することを特徴とする請求項１から請求項７までのうちの何れか１の請求項に記載の脈波検出装置。
11. 　前記明度補正手段は、前記動画の画素単位で前記補正を行うことを特徴とする請求項１から請求項１０までのうちの何れか１の請求項に記載の脈波検出装置。
12. 　前記対象者は、輸送機器の搭乗者であって、前記出力した脈波を用いて前記搭乗者の体調を監視する監視手段を具備したことを特徴とする請求項１から請求項１１までのうちの何れか１の請求項に記載の脈波検出装置。
13. 　対象者の顔を含む領域を撮影した動画を取得する動画取得機能と、
    　前記動画に写っている前記対象者の目の部分を特定する目部分特定機能と、
    　前記動画の撮影環境の変化によって生じた明度の変化を、前記特定した目の部分の所定の色空間成分の変化から取得する明度変化取得機能と、
    　前記取得した明度の変化を用いて前記動画の明度を補正する明度補正機能と、
    　前記補正された前記対象者の皮膚の部分における所定の色空間成分の時間変化から前記対象者の脈波を取得する脈波取得機能と、
    　前記取得した脈波を出力する出力機能と、
    　をコンピュータで実現する脈波検出プログラム。

Images