JP7822347B2 - 脈波推定装置及び脈波推定方法 - Google Patents

Description

本開示は、脈波推定装置及び脈波推定方法に関する。

被験者に負担を掛けず、非接触に被験者の脈波を推定する手法として、カメラで被験者の顔を撮像し、被験者の顔表面の微小な輝度変化から脈波を推定する手法がある（例えば非特許文献１）。この手法では、例えば被験者の顔画像上に複数の計測領域を設定し、設定した各計測領域で取得された輝度信号の周波数パワースペクトルが算出される。そして、各計測領域で算出された周波数パワースペクトルのピーク周波数に応じて被験者の脈波を推定する。また、推定した脈波を合成し、合成した脈波の周波数パワースペクトルのピークから脈拍数を推定することも行われる。

Mayank Kumar, et al. , "DistancePPG: Robust non-contact vital signs monitoring using a camera", Biomedical optics express, 6(5), 1565-1588, 2015

しかしながら、上記の手法では、カメラの設置レイアウトの変更等により被験者を撮像した画像の解像度が低下すると分解能が低下し、脈波の推定精度が低下する課題があった。

本開示は、上記のような課題を解決するためになされたもので、脈波の推定精度の低下を抑制可能な脈波推定装置を得ることを目的とする。

本開示に係る脈波推定装置は、人を撮像した撮像画像を取得する撮像画像取得部と、撮像画像から人の肌領域を検出する肌領域検出部と、撮像画像における肌領域を所定に分割してなる領域を、輝度変化を示す輝度信号を抽出するための複数の計測領域として設定する計測領域設定部と、撮像画像上の計測領域における輝度変化に基づき、輝度信号を抽出する輝度信号抽出部と、抽出された輝度信号に基づいて人の脈波を推定する脈波推定部と、を備え、計測領域設定部は、設定した複数の計測領域のうち、画素数が予め定められた基準値以上である計測領域の割合が閾値未満である場合、当該割合が閾値以上となるように計測領域の再設定を行うものであり、当該再設定後の計測領域あたりの画素数を、再設定前の計測領域あたりの画素数よりも増加させることを特徴とする。

本開示によれば、上記のように構成したので、脈波の推定精度の低下を抑制可能となる。

実施の形態１に係る脈波推定装置の構成例を示す図である。 図２Ａ、図２Ｂ及び図２Ｃは、実施の形態１における計測領域設定部による計測領域の設定方法の一例について説明するための図である。 図３Ａ及び図３Ｂは、実施の形態１における計測領域設定部による計測領域の設定例について説明するための図である。 実施の形態１に係る脈波推定装置の動作例を示すフローチャートである。 実施の形態１における計測領域設定部による処理の詳細を説明するためのフローチャートである。 実施の形態１における計測領域設定部による計測領域の再設定例について説明するための図である。 図７Ａ、図７Ｂ、図７Ｃ及び図７Ｄは、実施の形態１における計測領域設定部による計測領域の再設定例について説明するための図である。 図８Ａ及び図８Ｂは、実施の形態１に係る脈波推定装置のハードウェア構成例を示す図である。

以下、実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１は、実施の形態１に係る脈波推定装置１の構成例を示す図である。脈波推定装置１は、人を撮像した撮像画像に基づき、当該人の脈波を推定する。以下の説明では、脈波推定装置１が脈波を推定する対象となる人を「被験者」ともいう。

脈波推定装置１は、予め定められたフレームレートＦｒで、少なくとも被験者の肌を含む領域である肌領域が存在する範囲を撮像した、一連のフレームＩｍ（ｋ）からなる撮像画像を取得する。ここで、ｋは、それぞれフレームに割り当てられるフレーム番号を示す。例えば、フレームＩｍ（ｋ）の次のタイミングで与えられるフレームは、フレームＩｍ（ｋ＋１）である。そして、脈波推定装置１は、フレームＩｍ（ｋ）毎に、被験者の脈波を推定し、推定した脈波を示す情報（以下「脈波情報」という。）である脈波推定結果Ｐ（ｔ）を出力する。脈波情報は、例えば、後述する脈波推定部１６が推定した被験者の脈波の時系列データであってもよいし、被験者の脈拍数であってもよい。

なお、撮像画像に含まれる人である被験者の数は、１人であっても複数人であってもよい。以下の説明では、説明を簡単にするため、撮像画像に含まれる被験者の数は１人であるものとして説明する。また、以下の説明では、一例として、脈波推定装置１は車両（図示省略）に搭載されているものとし、被験者は車両のドライバであるものとする。つまり、脈波推定装置１は、車両のドライバの脈波を推定する。

脈波推定装置１は、例えば図１に示すように、撮像画像取得部１１と、肌領域検出部１２と、計測領域設定部１３と、輝度信号抽出部１４と、輝度信号セグメント生成部１５と、脈波推定部１６とを含んで構成される。

撮像画像取得部１１は、被験者であるドライバを撮像した撮像画像を取得する。具体的には、撮像画像取得部１１は、車両に搭載されている撮像装置（図示省略）が車両のドライバを撮像した撮像画像を取得する。なお、撮像装置は、ドライバの肌領域が存在する範囲を撮像可能に設置されている。撮像画像取得部１１は、取得した撮像画像を、肌領域検出部１２に出力する。

肌領域検出部１２は、撮像画像取得部１１が取得した撮像画像に含まれるフレームＩｍ（ｋ）から、被験者であるドライバの肌領域を検出する。そして、肌領域検出部１２は、検出した肌領域を示す情報を、肌領域情報Ｓ（ｋ）とし、この肌領域情報Ｓ（ｋ）を検出したフレームＩｍ（ｋ）とともに、計測領域設定部１３に出力する。

なお、以下の説明では、肌領域は、フレームＩｍ（ｋ）上におけるドライバの顔の位置及び顔のサイズを表す矩形領域を示す情報であるものとして説明する。なお、ドライバの顔の検出は、公知の手段を利用して実現することができる。例えば、肌領域検出部１２は、Ｈａａｒ－ｌｉｋｅ特徴量を使用したカスケード型の顔検出器を使用して、ドライバの顔を囲う矩形領域を抽出することができる。

ただし、肌領域は、ドライバの顔以外の部位に対応する領域であってもよい。例えば、肌領域は、ドライバの目、眉、鼻、口、おでこ、頬又は顎等のような、顔に属する部位に対応する領域であってもよい。また、肌領域は、ドライバの頭、肩、手、首又は足等のような、顔以外の身体部位に対応する領域であってもよい。また、肌領域は、１つの領域でなく複数の領域であってもよい。

計測領域設定部１３は、肌領域検出部１２から出力されたフレームＩｍ（ｋ）と肌領域情報Ｓ（ｋ）とを取得する。また、計測領域設定部１３は、車両に搭載された制御装置（不図示）から、車両レイアウト情報を取得する。車両レイアウト情報には、少なくとも、車両に設置された撮像装置とドライバとの位置関係を示す情報が含まれる。例えば、車両レイアウト情報には、車両において撮像装置が設置されている位置を示す情報、当該撮像装置の向きを示す情報、及び、車両において撮像装置が設置されている位置を基準とした、ドライバが着座するシートの位置を示す情報等が含まれる。

計測領域設定部１３は、上記取得したフレームＩｍ（ｋ）、肌領域情報Ｓ（ｋ）、及び車両レイアウト情報に基づき、フレームＩｍ（ｋ）上の肌領域情報Ｓ（ｋ）で示される肌領域を所定に分割し、当該分割して得られる領域を、輝度変化を示す輝度信号を抽出するための複数の計測領域として設定する。

計測領域設定部１３は、複数の計測領域を設定すると、設定した複数の計測領域を示す計測領域情報Ｒ（ｋ）を生成する。計測領域情報Ｒ（ｋ）は、Ｒｎ（正の整数）個の計測領域の撮像画像上における位置及びサイズを示す情報を含む。各計測領域は、計測領域ｆｉ（ｋ）（ｉ＝１，２，・・・，Ｒｎ）とする。実施の形態１では、計測領域ｆｉ（ｋ）は、四辺形とし、計測領域ｆｉ（ｋ）の位置及びサイズは、撮像画像上における、四辺形の４つの頂点の座標値とする。

ここで、図２Ａ、図２Ｂ及び図２Ｃは、実施の形態１に係る脈波推定装置１における、計測領域設定部１３による計測領域の設定方法の一例について説明するための図である。図２を用いて、計測領域設定部１３が複数の計測領域を設定する方法の一例について説明する。

まず、図２Ａ及び図２Ｂに示されているように、計測領域設定部１３は、肌領域情報Ｓ（ｋ）で示されている肌領域ｓｒにおいて、目尻、目頭、鼻及び口等の顔器官のランドマークをＬｎ（正の整数）個検出する。図２Ａ及び図２Ｂでは、ランドマークは丸で示されている。計測領域設定部１３は、検出したランドマークの座標値を格納したベクトルをＬ（ｋ）とする。なお、計測領域設定部１３は、Ｃｏｎｓｔｒａｉｎｅｄ Ｌｏｃａｌ Ｍｏｄｅｌ（ＣＬＭ）と呼ばれるモデルを用いる等、公知の手段を用いて顔器官を検出すればよい。

次に、計測領域設定部１３は、検出したランドマークを基準にして、計測領域ｆｉ（ｋ）の四辺形の頂点座標を設定する。例えば、計測領域設定部１３は、図２Ｃに示されているような四辺形の頂点座標を設定し、Ｒｎ個の計測領域ｆｉ（ｋ）を設定する。

計測領域設定部１３が肌領域ｓｒの頬に対応する部分に計測領域ｆｉ（ｋ）を設定する例を挙げて説明すると、計測領域設定部１３は、顔の輪郭のランドマークＬＡ１と、鼻のランドマークＬＡ２を選択する。計測領域設定部１３は、まず、鼻のランドマークＬＡ２を選択し、当該鼻のランドマークＬＡ２から最も近い顔の輪郭のランドマークＬＡ１を選択すればよい。そして、計測領域設定部１３は、ランドマークＬＡ１とランドマークＬＡ２との間の線分を４等分するように補助ランドマークａ１、ａ２、ａ３を設定する。

同様に、計測領域設定部１３は、顔の輪郭のランドマークＬＢ１と、鼻のランドマークＬＢ２とを選択する。また、計測領域設定部１３は、ランドマークＬＢ１とランドマークＬＢ２との間の線分を４等分するように補助ランドマークｂ１、ｂ２、ｂ３を設定する。なお、ランドマークＬＢ１、ＬＢ２は、それぞれ、例えば、ランドマークＬＡ１、ＬＡ２に隣接する顔の輪郭又は鼻のランドマークから選択されればよい。

計測領域設定部１３は、補助ランドマークａ１、ｂ１、ｂ２、ａ２で囲まれる四辺形領域を一つの計測領域Ｒ１として設定する。補助ランドマークａ１、ｂ１、ｂ２、ａ２は、それぞれ、計測領域Ｒ１に対応する頂点座標となる。計測領域設定部１３は、同様に、補助ランドマークａ２、ｂ２、ｂ３、ａ３で囲まれる一つの計測領域Ｒ２及び当該計測領域Ｒ２の頂点座標を設定する。

なお、ここでは、頬の対応する部分に計測領域ｆｉ（ｋ）を設定する例を説明したが、計測領域設定部１３は、例えば、頬の他の部分、及び、あごに対応する部分の肌領域ｓｒに対しても同様に、計測領域ｆｉ（ｋ）及び当該計測領域ｆｉ（ｋ）の頂点座標を設定する。なお、図２Ｃでは図示していないが、計測領域設定部１３は、ドライバの肌領域ｓｒの額に対応する部分、又は、鼻先に対応する部分に、計測領域ｆｉ（ｋ）を設定してもよい。

このようにして、計測領域設定部１３は、例えば図３Ａに示すように、肌領域情報Ｓ（ｋ）で示される肌領域のうち、ドライバＤＲの左右の頬に対応する領域を所定に分割し、計測領域ｆｉ（ｋ）（ｉ＝１，２，３，…，ｎ）を設定する。この場合、計測領域ｆｉ（ｋ）は、肌領域情報Ｓ（ｋ）で示される肌領域に対し、例えばＵ字状に設定される。

なお、計測領域設定部１３は、ドライバの顔向きに応じて、計測領域をどこに設定するかを適宜決定してもよい。例えば、計測領域設定部１３は、ドライバが正面よりやや右を向いている場合、例えば図３Ｂに示すように、肌領域のうち、ドライバの左の頬に対応する領域（撮像装置から近い側の領域）にのみ、計測領域ｆｉ（ｋ）を設定してもよい。この場合、計測領域は、肌領域情報Ｓ（ｋ）で示される肌領域に対し、例えばＪ字状に設定される。なお、計測領域設定部１３は、ドライバの顔向きを既知の手法により判断すればよい。以下の説明では、計測領域設定部１３が肌領域に対して最初に設定した計測領域を「初期計測領域」ともいう。

また、計測領域設定部１３は、上記取得した車両のレイアウト情報と、予め決定しておいたドライバの顔向きの角度範囲とから、設定する可能性がある最大の計測領域数を決定しておいてもよい。

例えば、計測領域設定部１３は、ドライバＤＲが図３Ｂに示すように正面よりやや右を向いており、撮像装置がドライバＤＲを斜め前から撮像したような場合、設定する最大の計測領域数を例えば２８としておけばよい。そして、計測領域設定部１３は、実際に撮像装置がドライバＤＲを斜め前から撮像した際の肌領域情報Ｓ（ｋ）で示される肌領域に対しては、２８個の計測領域を初期計測領域として設定すればよい。

同様に、計測領域設定部１３は、ドライバＤＲが図３Ａに示すように正面を向いており、撮像装置がドライバＤＲを正面から撮像したような場合は、設定する最大の計測領域数を例えば４０としておけばよい。そして、計測領域設定部１３は、実際に撮像装置がドライバＤＲを正面から撮像した際の肌領域情報Ｓ（ｋ）で示される肌領域に対しては、４０個の計測領域を初期計測領域として設定すればよい。

計測領域設定部１３は、上記のように初期計測領域を設定すると、設定したそれぞれの初期計測領域に含まれる画素数を算出する。そして、計測領域設定部１３は、設定した複数の初期計測領域のうち、画素数が予め定められた基準値以上である初期計測領域の割合を算出し、当該算出した割合が閾値未満である場合、当該割合が閾値以上となるように計測領域の再設定を行う。なお、この計測領域の再設定の詳細については後述する。

計測領域設定部１３は、設定及び再設定した複数の計測領域ｆｉ（ｋ）を示す計測領域情報Ｒ（ｋ）を、輝度信号抽出部１４に出力する。

輝度信号抽出部１４は、計測領域設定部１３から出力された計測領域情報Ｒ（ｋ）に基づいて、計測領域情報Ｒ（ｋ）が示す各計測領域ｆｉ（ｋ）から、輝度変化を示す輝度信号を抽出する。

例えば、輝度信号抽出部１４は、現フレームで計測領域設定部１３により設定された各計測領域ｆｉ（ｋ）内に含まれる画素の輝度値を平均した値を、計測領域毎に算出する。そして、輝度信号抽出部１４は、算出した計測領域毎の輝度値の平均値を示す情報を、輝度信号情報Ｇｉ（ｋ）とする。同様に、輝度信号抽出部１４は、現フレームよりも１つ前のフレームで計測領域設定部１３により設定された各計測領域ｆｉ（ｋ－１）内に含まれる画素の輝度値を平均した値を、計測領域毎に算出する。そして、輝度信号抽出部１４は、算出した計測領域毎の輝度値の平均値を示す情報を、輝度信号情報Ｇｉ（ｋ－１）とする。

そして、輝度信号抽出部１４は、輝度信号情報Ｇｉ（ｋ）と輝度信号情報Ｇｉ（ｋ－１）との差分を算出する。具体的には、輝度信号抽出部１４は、輝度信号情報Ｇｉ（ｋ）と輝度信号情報Ｇｉ（ｋ－１）との間で、対応する計測領域間の輝度値の平均値の差分を算出する。このとき、輝度信号抽出部１４は、輝度信号情報Ｇｉ（ｋ）と輝度信号情報Ｇｉ（ｋ－１）との間で、対応する計測領域が存在しない場合、その計測領域については差分を算出しない。

そして、輝度信号抽出部１４は、算出した輝度信号情報Ｇｉ（ｋ）と輝度信号情報Ｇｉ（ｋ－１）との差分を示す情報を、輝度信号セグメント情報Ｗ（ｔ）として、輝度信号セグメント生成部１５に出力する。このとき、輝度信号抽出部１４は、現フレーム（ｋ）における被験者の顔向きを示す情報と、前フレーム（ｋ－１）における被験者の顔向きを示す情報とを、輝度信号セグメント情報Ｗ（ｔ）に含める。

ここで、ｔは、現フレーム（ｋ）と前フレーム（ｋ－１）との時間差に対応する番号を示す。例えば、輝度信号情報Ｇｉ（ｋ）と輝度信号情報Ｇｉ（ｋ－１）との差分を示す輝度信号セグメント情報をＷ（ｔ）とするとき、輝度信号情報Ｇｉ（ｋ＋１）と輝度信号情報Ｇｉ（ｋ）との差分を示す輝度信号セグメント情報はＷ（ｔ＋１）となる。

なお、上記の説明では、輝度信号抽出部１４は、算出した計測領域毎の輝度値の平均値を示す情報を、輝度信号情報Ｇｉ（ｋ）とする場合を例に説明した。しかしながら、輝度信号抽出部１４はこれに限らず、例えば算出した計測領域毎の輝度値の分散を示す情報を、輝度信号情報Ｇｉ（ｋ）としてもよい。

輝度信号セグメント生成部１５は、輝度信号抽出部１４から出力された輝度信号セグメント情報Ｗ（ｔ）を、脈波の推定に必要な所定時間分の情報が蓄積されるまで、メモリなどの記憶部に蓄積（記憶）していく。これにより、輝度信号セグメント生成部１５は、時系列上の輝度値の変化の様子を計測領域毎に表した時系列輝度信号（輝度信号セグメント）を生成する。

そして、輝度信号セグメント生成部１５は、生成した計測領域毎の時系列輝度信号のうち、後述する脈波推定部１６で脈波の推定に使用される時系列輝度信号を選定する。例えば、輝度信号セグメント生成部１５は、生成した計測領域毎の時系列輝度信号のうち、輝度信号セグメント情報Ｗ（ｔ）に含まれるドライバＤＲの現フレーム（ｋ）及び前フレーム（ｋ－１）における顔の向きと、予め定められた基準となる顔の向きとのずれが、所定範囲以内（例えば「－５度」から「＋５度」の範囲）である時系列輝度信号を、被験者の脈波の推定に用いる時系列輝度信号として選定する。

このように、輝度信号セグメント生成部１５が時系列輝度信号を選定するのは以下の理由による。すなわち、基本的に脈波推定では、同じ計測領域内での輝度変化を捉えることで脈波（脈拍）を捉えるが、輝度の変化は血流以外を原因としても起こり得る。特に、被験者であるドライバＤＲの顔向きが変化する場合には、ドライバＤＲの顔に対して光の入ってくる向きが変わり、それにより輝度が大きく変化することになる。そのため、脈波推定では、基準の顔向きよりも大きく外れた顔向きのときの輝度値（輝度信号）は脈波の推定に使用しないようにするのが望ましい。そこで、輝度信号セグメント生成部１５は、上記のようなドライバＤＲの顔向きを条件として、被験者の脈波の推定に用いる時系列輝度信号を選定する。

輝度信号セグメント生成部１５は、選定した時系列輝度信号を示す情報を、セグメント情報Ｘ（ｔ）として脈波推定部１６に出力する。

脈波推定部１６は、輝度信号セグメント生成部１５から出力されたセグメント情報Ｘ（ｔ）に基づいて、被験者の脈波を推定する。例えば、脈波推定部１６は、輝度信号セグメント生成部１５から出力されたセグメント情報Ｘ（ｔ）に含まれる、計測領域ｆｉ（ｋ）毎の輝度値の平均値の差分を合算し、１つの脈波信号情報を算出する。そして、脈波推定部１６は、当該算出した脈波信号情報に対し、フーリエ変換を行い、周波数パワースペクトルにおけるピーク周波数に基づき、被験者の脈波を推定する。

なお、上記の説明では、脈波推定装置１が輝度信号セグメント生成部１５を備える例について説明したが、輝度信号セグメント生成部１５は必須の構成ではなく、省略されていてもよい。その場合、脈波推定部１６は、輝度信号抽出部１４から出力された輝度信号セグメント情報Ｗ（ｔ）を、脈波の推定に必要な所定時間分の情報が蓄積されるまで、メモリなどの記憶部に蓄積（記憶）し、蓄積した情報に基づいて被験者の脈波を推定すればよい。

次に、図１に示す脈波推定装置１の動作例について説明する。図４は、脈波推定装置１の動作例を表すフローチャートである。

まず、撮像画像取得部１１は、被験者であるドライバＤＲを撮像した撮像画像を取得する（ステップＳＴ１）。撮像画像取得部１１は、取得した撮像画像を、肌領域検出部１２に出力する。

次に、肌領域検出部１２は、ステップＳＴ１にて撮像画像取得部１１が取得した撮像画像に含まれるフレームＩｍ（ｋ）から肌領域を検出する（ステップＳＴ２）。肌領域検出部１２は、検出した肌領域を示す肌領域情報Ｓ（ｋ）を生成し、生成した肌領域情報Ｓ（ｋ）を、フレームＩｍ（ｋ）とともに、計測領域設定部１３に出力する。

次に、計測領域設定部１３は、フレームＩｍ（ｋ）、肌領域情報Ｓ（ｋ）、及び車両レイアウト情報に基づき、フレームＩｍ（ｋ）上の肌領域情報Ｓ（ｋ）で示される肌領域を所定に分割し、当該分割して得られる領域を、輝度変化を示す輝度信号を抽出するための複数の計測領域として設定する（ステップＳＴ３）。

ここで、計測領域設定部１３による処理の詳細について、図５に示すフローチャートを参照しながら説明する。

まず、計測領域設定部１３は、フレームＩｍ（ｋ）上の肌領域情報Ｓ（ｋ）で示される肌領域を所定に分割し、当該分割して得られる領域を、輝度変化を示す輝度信号を抽出するための複数の計測領域（初期計測領域）として設定する（ステップＳＴ３１）。

次に、計測領域設定部１３は、設定した初期計測領域のそれぞれに含まれる画素数を算出する。そして、計測領域設定部１３は、設定した複数の初期計測領域のうち、画素数が予め定められた基準値以上である初期計測領域の割合を算出し、当該算出した割合が閾値以上あるか否かを判定する（ステップＳＴ３２）。

その結果、当該算出した割合が閾値以上であれば（ステップＳＴ３２；ＹＥＳ）、計測領域設定部１３は処理を終了する。その後、処理は図４に示すステップＳＴ４へ戻る。一方、当該算出した割合が閾値以上でなければ（ステップＳＴ３２；ＮＯ）、計測領域設定部１３は、当該割合が閾値以上となるように計測領域の再設定を行う（ステップＳＴ３３）。

なお、上記基準値及び閾値は、脈波推定に求められる精度等に応じて、例えば脈波推定装置１の管理者により適宜設定されればよい。例えば、脈波推定装置１の管理者は、脈波推定に求められる精度が高いほど、上記基準値及び閾値を大きく設定する。例えば、上記閾値を「１００％」に設定した場合、計測領域設定部１３は、設定した初期計測領域のうち、画素数が予め定められた基準値未満である初期計測領域が１つでもあれば、計測領域の再設定を行う。また、例えば、上記閾値を「５０％」に設定した場合、計測領域設定部１３は、設定した初期計測領域のうち、画素数が予め定められた基準値以上である初期計測領域が半数以上あれば、計測領域の再設定は行わない。

計測領域設定部１３は、例えば以下の３通りの方法で、計測領域の再設定を行う。
（方法１）
例えば、計測領域設定部１３は、上記割合を閾値以上とすべく、初期計測領域を設定した際の肌領域の分割数を減じることにより、計測領域の再設定を行う。例えば、初期計測領域が図３Ｂのように２８個設定された場合において、上記割合が閾値以上でなければ、計測領域設定部１３は、図６に示すように、肌領域の分割数を８に減じることにより、計測領域の再設定を行う。また、このとき計測領域設定部１３は、図６に示す再設定後の計測領域あたりの画素数を、図３Ｂに示す再設定前の計測領域あたりの画素数よりも増加させる。

ここで、計測領域設定部１３は、肌領域の分割数を減じる際、図３Ｂに示した複数の初期計測領域のうち、隣接する初期計測領域同士をいくつか併合することにより、肌領域の分割数を減じさせてもよい。あるいは、計測領域設定部１３は、図３Ｂに示した複数の初期計測領域を破棄し、初期計測領域の設定時よりも少ない分割数で肌領域を分割し直すことにより、計測領域を設定し直してもよい。

（方法２）
例えば、計測領域設定部１３は、上記割合を閾値以上とすべく、複数の初期計測領域のうち、隣接する所定個の初期計測領域に跨る新たな計測領域を設定することにより、計測領域の再設定を行う。例えば、初期計測領域が図３Ｂのように２８個設定された場合において、上記割合が閾値以上でなければ、計測領域設定部１３は、図７Ａ～図７Ｄに示すように、２８個の初期計測領域のうち、隣接する２個又は４個の初期計測領域に跨る新たな計測領域を設定することにより、計測領域の再設定を行う。この例では、ｆｉ（１）からｆｉ（１３）までの１３個の計測領域が新たに設定されている。

また、このとき１３個の新たな計測領域は、互いに重複することを許容される。例えば計測領域ｆｉ（９）は、計測領域ｆｉ（１）及びｆｉ（３）と重複し、計測領域ｆｉ（１０）は、計測領域ｆｉ（２）及びｆｉ（４）と重複している。

また、この場合でも、計測領域設定部１３は、図７Ａ～図７Ｄに示す再設定後の計測領域あたりの画素数を、図３Ｂに示す再設定前の計測領域あたりの画素数よりも増加させる。

（方法３）
例えば、計測領域設定部１３は、方法１と方法２とを組み合わせてもよい。例えば、計測領域設定部１３は、上記割合を閾値以上とすべく、肌領域の分割数を減じるとともに、当該分割数を減じることで得られた複数の計測領域のうち、隣接する所定個の計測領域に跨る新たな計測領域を設定することにより、計測領域の再設定を行ってもよい。例えば、図６に示した８個の計測領域のうち、隣接する２個の計測領域に跨る新たな計測領域を設定してもよい。

計測領域設定部１３は、以上の方法１～３のいずれかにより、計測領域の再設定を行う。その後、処理は図４に示すステップＳＴ４へ戻る。

次に、実施の形態１に係る脈波推定装置１の効果について説明する。脈波推定装置１は、上記のように、計測領域の再設定を行うことにより、脈波の推定精度の低下を従来よりも抑制することができる。

例えば、従来の脈波推定手法では、被験者であるドライバＤＲを撮像する撮像装置の設置レイアウトが変更されたり、撮像装置自体が変更されたことにより、ドライバＤＲを撮像した画像の解像度が低下すると、分解能が低下し、脈波の推定精度が低下する場合があった。また、従来の脈波推定手法では、ドライバＤＲが車両のシートを後方に下げたり、顔向きを変えたことにより、ドライバＤＲの顔が撮像装置から遠のく方向に移動した場合も、ドライバＤＲを撮像した画像の解像度が低下し、同様の問題が発生する場合があった。

これに対し、脈波推定装置１では、計測領域設定部１３により設定された複数の計測領域のうち、画素数が予め定められた基準値以上である計測領域の割合が閾値未満である場合、当該割合が閾値以上となるように、動的に計測領域の再設定が行われる。これにより、脈波推定装置１では、再設定後に画素数が基準値以上となる計測領域の割合が閾値以上となり、分解能の低下が抑制され、脈波の推定精度の低下が抑制される。

また、脈波推定装置１では、計測領域設定部１３により上記方法２が採用された場合、次のような効果も奏する。例えば、計測領域設定部１３は、上記方法１のように、肌領域の分割数を減じることにより計測領域を再設定した場合、再設定後の計測領域の一部に、局所的な外光が映り込んでしまうと、その計測領域は脈波の推定に使用できないため、脈波の推定に使用できる計測領域が減少し、ロバスト性が低下するおそれがある。

この点、上記方法２では、計測領域設定部１３は、隣接する所定個の初期計測領域に跨る新たな計測領域を、互いに重複することを許容しつつ再設定するため、計測領域のサイズ（計測領域内の画素数）を確保しつつ、脈波の推定に使用できる計測領域数も確保することができ、方法１に比べてロバスト性の低下を抑制することができる。

また、脈波推定装置１では、計測領域設定部１３により上記方法３が採用された場合、方法１又は方法２が単独で採用された場合よりも、再設定後の計測領域のサイズ（計測領域内の画素数）を増加させることができるとともに、方法１で問題となるロバスト性の低下も抑制することができる。

次に、図８を参照して、実施の形態１に係る脈波推定装置１のハードウェア構成例を説明する。脈波推定装置１における撮像画像取得部１１、肌領域検出部１２、計測領域設定部１３、輝度信号抽出部１４、輝度信号セグメント生成部１５、及び脈波推定部１６の各機能は、処理回路により実現される。処理回路は、図８Ａに示すように、専用のハードウェアであってもよいし、図１４Ｂに示すように、メモリ５３に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）ともいう）５２であってもよい。

処理回路が専用のハードウェアである場合、処理回路５１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。撮像画像取得部１１、肌領域検出部１２、計測領域設定部１３、輝度信号抽出部１４、輝度信号セグメント生成部１５、及び脈波推定部１６の各部の機能それぞれを処理回路５１で実現してもよいし、各部の機能をまとめて処理回路５１で実現してもよい。

処理回路がＣＰＵ５２の場合、撮像画像取得部１１、肌領域検出部１２、計測領域設定部１３、輝度信号抽出部１４、輝度信号セグメント生成部１５、及び脈波推定部１６の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア及びファームウェアはプログラムとして記述され、メモリ５３に格納される。処理回路は、メモリ５３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、脈波推定装置１は、処理回路により実行されるときに、例えば図４に示した各ステップが結果的に実行されることになるプログラムを格納するためのメモリを備える。また、これらのプログラムは、撮像画像取得部１１、肌領域検出部１２、計測領域設定部１３、輝度信号抽出部１４、輝度信号セグメント生成部１５、及び脈波推定部１６の手順及び方法をコンピュータに実行させるものであるともいえる。ここで、メモリ５３としては、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、又はＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお、撮像画像取得部１１、肌領域検出部１２、計測領域設定部１３、輝度信号抽出部１４、輝度信号セグメント生成部１５、及び脈波推定部１６の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、撮像画像取得部１１については専用のハードウェアとしての処理回路でその機能を実現し、肌領域検出部１２、計測領域設定部１３、輝度信号抽出部１４、輝度信号セグメント生成部１５、及び脈波推定部１６については処理回路がメモリ５３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。

以上のように、この実施の形態１によれば、脈波推定装置１は、人を撮像した撮像画像を取得する撮像画像取得部１１と、撮像画像から人の肌領域を検出する肌領域検出部１２と、撮像画像における肌領域を所定に分割してなる領域を、輝度変化を示す輝度信号を抽出するための複数の計測領域として設定する計測領域設定部１３と、撮像画像上の計測領域における輝度変化に基づき、輝度信号を抽出する輝度信号抽出部１４と、抽出された輝度信号に基づいて人の脈波を推定する脈波推定部１６と、を備え、計測領域設定部１３は、設定した複数の計測領域のうち、画素数が予め定められた基準値以上である計測領域の割合が閾値未満である場合、当該割合が閾値以上となるように計測領域の再設定を行う。これにより、実施の形態１に係る脈波推定装置１は、脈波の推定精度の低下を抑制可能となる。

また、計測領域設定部１３は、上記割合が閾値未満である場合、撮像画像における肌領域の分割数を減じることにより、計測領域の再設定を行う。これにより、実施の形態１に係る脈波推定装置１は、計測領域を簡易に再設定することができる。

また、計測領域設定部１３は、上記割合が閾値未満である場合、設定した複数の計測領域のうち、隣接する所定個の計測領域に跨る新たな計測領域を設定することにより、計測領域の再設定を行う。これにより、実施の形態１に係る脈波推定装置１は、計測領域を簡易に再設定することができる。

また、上記新たな計測領域は、複数設定可能であり、かつ互いに重複可能である。これにより、実施の形態１に係る脈波推定装置１は、計測領域のサイズを確保しつつ、脈波の推定に使用できる計測領域数も確保することができる。

また、計測領域設定部１３は、上記割合が閾値未満である場合、撮像画像における肌領域の分割数を減じるとともに、当該分割数を減じることで得られた複数の計測領域のうち、隣接する所定個の計測領域に跨る新たな計測領域を設定することにより、計測領域の再設定を行う。これにより、実施の形態１に係る脈波推定装置１は、再設定後の計測領域のサイズを増加させることができる。

また、計測領域設定部１３は、再設定後の計測領域あたりの画素数を、再設定前の計測領域あたりの画素数よりも増加させる。これにより、実施の形態１に係る脈波推定装置１は、分解能の低下を抑制でき、脈波の推定精度の低下を抑制できる。

また、脈波推定装置１は、輝度信号抽出部１４により抽出された輝度信号のうち、人の脈波の推定に用いる輝度信号を選定する輝度信号セグメント生成部１５を備え、脈波推定部１６は、輝度信号セグメント生成部１５により選定された輝度信号に基づいて人の脈波を推定する。これにより、実施の形態１に係る脈波推定装置１は、脈波の推定精度の低下を効果的に抑制できる。

また、輝度信号セグメント生成部１５は、輝度信号抽出部１４により抽出された輝度信号のうち、当該輝度信号が抽出された際の人の顔の向きと、予め定められた基準となる顔の向きとのずれが所定範囲以内である輝度信号を、人の脈波の推定に用いる輝度信号として選定する。これにより、実施の形態１に係る脈波推定装置１は、人の顔向きを条件として、脈波の推定に用いる時系列輝度信号を選定することができる。

以上、好ましい実施の形態等について詳説したが、上述した実施の形態等に制限される
ことはなく、特許請求の範囲に記載された範囲を逸脱することなく、上述した実施の形態
等に種々の変形及び置換を加えることができる。

以下、本開示の諸態様を付記としてまとめて記載する。

（付記１）
人を撮像した撮像画像を取得する撮像画像取得部と、
前記撮像画像から前記人の肌領域を検出する肌領域検出部と、
前記撮像画像における前記肌領域を所定に分割してなる領域を、輝度変化を示す輝度信号を抽出するための複数の計測領域として設定する計測領域設定部と、
前記撮像画像上の前記計測領域における輝度変化に基づき、前記輝度信号を抽出する輝度信号抽出部と、
前記抽出された輝度信号に基づいて前記人の脈波を推定する脈波推定部と、を備え、
前記計測領域設定部は、
前記設定した複数の計測領域のうち、画素数が予め定められた基準値以上である計測領域の割合が閾値未満である場合、当該割合が閾値以上となるように計測領域の再設定を行うことを特徴とする脈波推定装置。
（付記２）
前記計測領域設定部は、
前記割合が閾値未満である場合、前記撮像画像における前記肌領域の分割数を減じることにより、計測領域の再設定を行う
ことを特徴とする付記１記載の脈波推定装置。
（付記３）
前記計測領域設定部は、
前記割合が閾値未満である場合、前記設定した複数の計測領域のうち、隣接する所定個の計測領域に跨る新たな計測領域を設定することにより、計測領域の再設定を行う
ことを特徴とする付記１記載の脈波推定装置。
（付記４）
前記新たな計測領域は、複数設定可能であり、かつ互いに重複可能であることを特徴とする付記３記載の脈波推定装置。
（付記５）
前記計測領域設定部は、
前記割合が閾値未満である場合、前記撮像画像における前記肌領域の分割数を減じるとともに、当該分割数を減じることで得られた複数の計測領域のうち、隣接する所定個の計測領域に跨る新たな計測領域を設定することにより、計測領域の再設定を行う
ことを特徴とする付記１記載の脈波推定装置。
（付記６）
前記計測領域設定部は、
前記再設定後の計測領域あたりの画素数を、再設定前の計測領域あたりの画素数よりも増加させる
ことを特徴とする付記１から付記５のうちのいずれか１項に記載の脈波推定装置。
（付記７）
前記輝度信号抽出部により抽出された輝度信号のうち、前記人の脈波の推定に用いる輝度信号を選定する輝度信号セグメント生成部を備え、
前記脈波推定部は、前記輝度信号セグメント生成部により選定された輝度信号に基づいて前記人の脈波を推定する
ことを特徴とする付記１から付記６のうちのいずれか１項に記載の脈波推定装置。
（付記８）
前記輝度信号セグメント生成部は、
前記輝度信号抽出部により抽出された輝度信号のうち、当該輝度信号が抽出された際の前記人の顔の向きと、予め定められた基準となる顔の向きとのずれが所定範囲以内である輝度信号を、前記人の脈波の推定に用いる輝度信号として選定する
ことを特徴とする付記７記載の脈波推定装置。
（付記９）
脈波推定装置による脈波推定方法であって、
撮像画像取得部が、人を撮像した撮像画像を取得するステップと、
肌領域検出部が、前記撮像画像から前記人の肌領域を検出するステップと、
計測領域設定部が、前記撮像画像における前記肌領域を所定に分割してなる領域を、輝度変化を示す輝度信号を抽出するための複数の計測領域として設定するステップと、
輝度信号抽出部が、前記撮像画像上の前記計測領域における輝度変化に基づき、前記輝度信号を抽出するステップと、
脈波推定部が、前記抽出された輝度信号に基づいて前記人の脈波を推定するステップと、を有し、
前記計測領域設定部は、
前記設定した複数の計測領域のうち、画素数が予め定められた基準値以上である計測領域の割合が閾値未満である場合、当該割合が閾値以上となるように計測領域の再設定を行うことを特徴とする脈波推定方法。

本開示は、脈波の推定精度の低下を抑制可能となり、脈波推定装置に用いるのに適している。

１ 脈波推定装置、１１ 撮像画像取得部、１２ 肌領域検出部、１３ 計測領域設定部、１４ 輝度信号抽出部、１５ 輝度信号セグメント生成部、１６ 脈波推定部、５１ 処理回路、５２ ＣＰＵ、５３ メモリ、ａ１～ａ３ 補助ランドマーク、ｂ１～ｂ３ 補助ランドマーク、ＤＲ ドライバ、ｆｉ 計測領域、ＬＡ１～ＬＡ２ ランドマーク、ＬＢ１～ＬＢ２ ランドマーク、ｓｒ 肌領域。

Claims (7)

1. 人を撮像した撮像画像を取得する撮像画像取得部と、
   前記撮像画像から前記人の肌領域を検出する肌領域検出部と、
   前記撮像画像における前記肌領域を所定に分割してなる領域を、輝度変化を示す輝度信号を抽出するための複数の計測領域として設定する計測領域設定部と、
   前記撮像画像上の前記計測領域における輝度変化に基づき、前記輝度信号を抽出する輝度信号抽出部と、
   前記抽出された輝度信号に基づいて前記人の脈波を推定する脈波推定部と、を備え、
   前記計測領域設定部は、
   前記設定した複数の計測領域のうち、画素数が予め定められた基準値以上である計測領域の割合が閾値未満である場合、当該割合が閾値以上となるように計測領域の再設定を行うものであり、当該再設定後の計測領域あたりの画素数を、再設定前の計測領域あたりの画素数よりも増加させる
   ことを特徴とする脈波推定装置。
2. 前記計測領域設定部は、
   前記割合が閾値未満である場合、前記撮像画像における前記肌領域の分割数を減じることにより、計測領域の再設定を行う
   ことを特徴とする請求項１記載の脈波推定装置。
3. 前記計測領域設定部は、
   前記割合が閾値未満である場合、前記設定した複数の計測領域のうち、隣接する所定個の計測領域に跨る新たな計測領域を設定することにより、計測領域の再設定を行う
   ことを特徴とする請求項１記載の脈波推定装置。
4. 前記新たな計測領域は、複数設定可能であり、かつ互いに重複可能であることを特徴とする請求項３記載の脈波推定装置。
5. 前記計測領域設定部は、
   前記割合が閾値未満である場合、前記撮像画像における前記肌領域の分割数を減じるとともに、当該分割数を減じることで得られた複数の計測領域のうち、隣接する所定個の計測領域に跨る新たな計測領域を設定することにより、計測領域の再設定を行う
   ことを特徴とする請求項１記載の脈波推定装置。
6. 前記輝度信号抽出部により抽出された輝度信号のうち、当該輝度信号が抽出された際の前記人の顔の向きと、予め定められた基準となる顔の向きとのずれが所定範囲以内である輝度信号を、前記人の脈波の推定に用いる輝度信号として選定する輝度信号セグメント生成部を備え、
   前記脈波推定部は、前記輝度信号セグメント生成部により選定された輝度信号に基づいて前記人の脈波を推定する
   ことを特徴とする請求項１記載の脈波推定装置。
7. 脈波推定装置による脈波推定方法であって、
   撮像画像取得部が、人を撮像した撮像画像を取得するステップと、
   肌領域検出部が、前記撮像画像から前記人の肌領域を検出するステップと、
   計測領域設定部が、前記撮像画像における前記肌領域を所定に分割してなる領域を、輝度変化を示す輝度信号を抽出するための複数の計測領域として設定するステップと、
   輝度信号抽出部が、前記撮像画像上の前記計測領域における輝度変化に基づき、前記輝度信号を抽出するステップと、
   脈波推定部が、前記抽出された輝度信号に基づいて前記人の脈波を推定するステップと、を有し、
   前記計測領域設定部は、
   前記設定した複数の計測領域のうち、画素数が予め定められた基準値以上である計測領域の割合が閾値未満である場合、当該割合が閾値以上となるように計測領域の再設定を行うものであり、当該再設定後の計測領域あたりの画素数を、再設定前の計測領域あたりの画素数よりも増加させることを特徴とする脈波推定方法。