JP6892231B2 - 瞼開閉検出装置および瞼開閉検出方法 - Google Patents

Description

本発明の実施形態は、瞼開閉検出装置および瞼開閉検出方法に関する。

最近、自動車などの車両には、車室内に運転者の顔を撮影するためのカメラ（以下、車室内用カメラという）を搭載したものが増えてきている。車室内用カメラの出力にもとづいて生成される運転者の顔の画像は、たとえば運転者の瞼の開閉を判定し居眠りを検出するために利用することができる。

運転者を被写体として撮像した画像から被写体の瞼の開閉を判定する方法として、たとえば時系列的に連続して得た画像を用いて瞼の開閉を判定する方法も開発されている。

しかし、また、時系列的に連続して得た画像を用いる方法では、所定のフレームレートで入力される画像を処理するため、高性能なプロセッサを用いる必要があり、安価なマイコン等を用いることが難しい。

また、瞼開閉判定の準備として、被検体の顔画像から目の検出が行われるが、目の検出の際には、一般に、開いた目と閉じた目の両方を学習した辞書が用いられる。しかし、この種の辞書では、形状が異なる画像をともに正確として学習しているために、目の位置を正確に求めることが難しい。

特表２０１５−５０１１１５号公報

本発明は、上述した事情を考慮してなされたもので、時系列的に連続した画像を用いずとも、正確に目の位置を検出することにより高精度に被写体の瞼の開閉判定を行なうことができる瞼開閉検出装置および瞼開閉検出方法を提供することを目的とする。

本発明の一実施形態に係る瞼開閉検出装置は、上述した課題を解決するために、被写体の顔を撮像した撮像素子の出力にもとづいて生成された前記被写体の顔画像から、初期位置検出辞書を用いて目の領域を検出する初期検出部と、前記初期検出部により検出された前記目の領域を包含する領域から、開いた目の画像を正解、目の周辺の画像を不正解として学習した開眼用位置検出辞書を用いて、前記被写体の瞼が開いていたと仮定した場合の目の位置である仮開眼位置を検出する仮開眼位置識別器と、前記初期検出部により検出された前記目の領域を包含する領域から、閉じた目の画像を正解、目の周辺の画像を不正解として学習した閉眼用位置検出辞書を用いて、前記被写体の瞼が閉じていたと仮定した場合の目の位置である仮閉眼位置を検出する仮閉眼位置識別器と、前記仮開眼位置識別器の出力および前記仮閉眼位置識別器の出力にもとづいて、前記被写体の瞼の開閉の判定結果を出力する開閉判定部と、を備えたものである。

本発明の一実施形態に係る瞼開閉検出装置を含む車室内用カメラが設置された車両の一例を示す外観図。 （ａ）は、車室内用カメラの一構成例を示す側面図であり、（ｂ）は正面図。 本実施形態に係る瞼開閉検出装置のプロセッサによる実現機能例を示す概略的なブロック図。 主識別器の一構成例を示す機能ブロック図。 図４に示す主識別器により、時系列的に連続した画像を用いずとも、正確に目の位置を検出することにより高精度に被写体の瞼の開閉判定を行なう際の手順を示すフローチャート。 主識別器による特徴量算出処理を説明するための図。 主識別器による仮開眼位置検出処理および仮閉眼位置検出処理を説明するための図。 主識別器による第１開閉判定処理を説明するための図。 主識別器による第２開閉判定処理を説明するための図。

本発明に係る瞼開閉検出装置および瞼開閉検出方法の実施の形態について、添付図面を参照して説明する。

図１は、本発明の一実施形態に係る瞼開閉検出装置１０を含む車室内用カメラ４が設置された車両１の一例を示す外観図である。図１にはカメラ光軸をｚ軸、水平軸をｘ軸とする場合の例を示した。なお、瞼開閉検出装置１０は被写体の顔画像にもとづいて被写体の瞼開閉を検出できればよく、顔画像を取得可能であれば、カメラの一部として設けられずともよい。以下の説明では、瞼開閉検出装置１０が車室内用カメラ４の一部として設けられる場合の例について示す。

この場合、図１に示すように、車室内用カメラ４は車両１の運転席に座った運転者Ｄの顔Ｆを撮影できる位置に設けられるとよい。図１には、車室内用カメラ４が車両１のステアリングコラムカバー２の上面に設けられる場合の例を示したが、ダッシュボード３の上面、インストルメンタルパネル内などに設けられてもよい。より好ましくは、車室内用カメラ４は、運転者Ｄの顔Ｆを正面から撮影できるよう、カメラ光軸が運転者Ｄの顔Ｆの正中線と交わるように設けられることが好ましく、たとえばハンドル（ステアリングホイール）の回転軸を通るｙｚ平面上にカメラ光軸が位置するように設けられるとよい。

図２（ａ）は、車室内用カメラ４の一構成例を示す側面図であり、（ｂ）は正面図である。車室内用カメラ４は、プロセッサを備えた瞼開閉検出装置１０、光源１１、レンズ１２、フィルタ１３、および撮像素子１４を有する。

光源１１は、たとえば複数設けられる。以下の説明では、光源１１がたとえば８８０ｎｍや９４０ｎｍをピーク波長にもつ近赤外光を発光する近赤外光光源である場合の例について示す。なお、光源１１として、近赤外光光源にかえて可視光光源や紫外光光源を使用してもよい。

レンズ１２は、撮像素子１４に集光し、運転者Ｄの顔Ｆの像を撮像素子１４に結ぶために用いられる。フィルタ１３は、光源１１が発光する光を透過する。撮像素子１４は、少なくとも光源１１の発光波長を検出可能な感度を有し、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサにより構成される。撮像素子１４は、瞼開閉検出装置１０に制御されて、フィルタ１３を介して被写体を撮像して被写体の顔画像の画像データを生成し、瞼開閉検出装置１０に与える。

なお、撮像素子１４は、可視光域と近赤外域との両方の感度を有したものを使用してもよい。この場合、フィルタ１３は、たとえば可視光を遮り近赤外光を透過させるための第１の位置と、可視光を遮らない第２の位置との２つの位置のいずれかで位置決め可能に構成されるとよい。瞼開閉の検出技術において、被写体のまばたきを誘発してしまうことから、被写体が眩しさを感じることは好ましくない。この点、近赤外光を利用することにより、夜間やトンネルなど顔Ｆの照度が不足する場合でも、被写体が眩しさを感じることなく鮮明な顔画像を取得することができる。

続いて、瞼開閉検出装置１０のプロセッサによる機能実現部の構成および動作について説明する。

図３は、本実施形態に係る瞼開閉検出装置１０のプロセッサによる実現機能例を示す概略的なブロック図である。

瞼開閉検出装置１０は、たとえばプロセッサおよびＲＡＭならびにＲＯＭをはじめとする記憶媒体により構成される。瞼開閉検出装置１０のプロセッサは、ＲＯＭをはじめとする記憶媒体に記憶された瞼開閉検出プログラムおよびこのプログラムの実行のために必要なデータをＲＡＭへロードし、このプログラムに従って、時系列的に連続した画像を用いずとも、正確に目の位置を検出することにより高精度に被写体の瞼の開閉判定を行なう処理を実行する。

瞼開閉検出装置１０のＲＡＭは、プロセッサが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。瞼開閉検出装置１０のＲＯＭをはじめとする記憶媒体は、たとえば車室内用カメラ４の起動プログラム、瞼開閉検出プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。なお、ＲＯＭをはじめとする記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどの、プロセッサにより読み取り可能な記録回路を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部は、ネットワークを介してまたは光ディスクなどの可搬型記憶媒体を介して更新されてもよい。

なお、本実施形態において、「プロセッサ」という文言は、たとえば、専用または汎用のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、または、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（たとえば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、およびＦＰＧＡ）等の回路を意味するものとする。プロセッサは、記憶媒体に保存されたプログラムを読み出して実行することにより、各種機能を実現する。

また、本実施形態では瞼開閉検出装置１０の単一のプロセッサが各機能を実現する場合の例について示したが、複数の独立したプロセッサを組み合わせて瞼開閉検出装置１０を構成し、各プロセッサが各機能を実現してもよい。また、プロセッサが複数設けられる場合、プログラムを記憶する記憶媒体はプロセッサごとに個別に設けられてもよいし、１つの記憶媒体が全てのプロセッサの機能に対応するプログラムを一括して記憶してもよい。

図３に示すように、瞼開閉検出装置１０のプロセッサは、ＲＯＭをはじめとする記憶媒体に記憶された瞼開閉検出プログラムによって、少なくとも画像生成部２１、初期検出部２２および主識別器２３として機能する。これらの各機能実現部２１−２３は、それぞれプログラムの形態で記憶媒体に記憶されている。

図４は、主識別器２３の一構成例を示す機能ブロック図である。図４に示すように、主識別器２３は、輝度補正部３１、特徴量算出部３２、仮開眼位置識別器３３、仮閉眼位置識別器３４、第１開閉識別器３５、第２開閉識別器３６および開閉判定部３７を有する。以下の説明において、主識別器２３としては、正解と不正解を学習した識別器により構成することができ、たとえばＣｏＨＯＧ識別器により構成できる。

図５は、図４に示す主識別器２３により、時系列的に連続した画像を用いずとも、正確に目の位置を検出することにより高精度に被写体の瞼の開閉判定を行なう際の手順を示すフローチャートである。図５において、Ｓに数字を付した符号はフローチャートの各ステップを示す。

まず、ステップＳ１において、画像生成部２１は、撮像素子１４を制御して顔Ｆを撮像し、撮像素子１４の出力にもとづいて顔画像を生成する。

次に、ステップＳ２において、初期検出部２２は、被写体の顔画像から、たとえば輝度勾配方向共起ヒストグラム（ＣｏＨＯＧ：Co-occurrence Histograms of Oriented Gradients）を用いた処理（以下、ＣｏＨＯＧ処理という）により、初期位置検出辞書を用いて目の領域を検出する。

初期検出部２２が用いる初期位置検出辞書は、目の画像を正解（ポジティブデータ）、目の周辺部分を不正解（ネガティブデータ）として学習した辞書である。すなわち、初期位置検出辞書は、瞼が開いた画像も閉じた画像も、ともに正解として学習させた辞書である。一方、主識別器２３が用いる開眼用位置検出辞書および閉眼用位置検出辞書は、初期位置検出辞書よりも解像度の高い入力画像により作成される。また、開眼用位置検出辞書は、瞼が開いた画像のみを正解とし、目の周辺部分を不正解として学習させた辞書である。閉眼用位置検出辞書は、瞼が閉じた画像のみを正解とし、目の周辺部分を不正解として学習させた辞書である。

このため、初期位置検出辞書は、開眼用位置検出辞書および閉眼用位置検出辞書に比べ、位置ずれに強いが、精度には劣る。このため、初期位置検出辞書は、顔画像などの広い領域から目の領域を大まかに検出するのに適している。一方、開眼用位置検出辞書および閉眼用位置検出辞書は、位置ずれに弱い一方で、狭い領域から目の領域を高精度に検出するのに適している。したがって、本実施形態では、まず、初期検出部２２により初期位置検出辞書を用いて顔画像から大まかに目の領域を検出させておく。そして、この検出された目の領域を包含する領域について、主識別器２３により開眼用位置検出辞書および閉眼用位置検出辞書を用いて高精度に目の領域を検出させる。

なお、本実施形態におけるこれらの辞書は全て、ポジティブとネガティブを逆に学習しても構わない。逆に学習した場合は、尤度にもとづく判定結果を反転させればよいだけである。

次に、ステップＳ３において、主識別器２３の輝度補正部３１は、初期検出部２２により検出された目の領域に対して輝度ヒストグラムを平坦化する輝度補正処理を行う。輝度補正処理を行うことにより、環境光に対するロバスト性が高まる。

図６は、主識別器２３による特徴量算出処理を説明するための図である。

ステップＳ４において、特徴量算出部３２は、初期検出部２２により検出された目の領域を包含する走査領域を切り出し、主識別器２３の辞書サイズに応じてサイズを正規化する（図６の上側参照）。

次に、ステップＳ５において、特徴量算出部３２は、切り出した走査領域で、この走査領域より小さい走査枠をずらしながら走査し、各走査位置でたとえばＣｏＨＯＧ特徴量などの特徴量を求める。このとき、走査位置の数だけ複数の特徴量が計算される（図６の下側参照）。

図７は、主識別器２３による仮開眼位置検出処理および仮閉眼位置検出処理を説明するための図である。

ステップＳ６において、仮開眼位置識別器３３は、走査領域をこの領域よりも小さい走査枠で走査し、各走査位置の特徴量を開眼用位置検出辞書と照合して各走査位置で尤度を求め、被写体の瞼が開いていたと仮定した場合の目の位置である仮開眼位置を検出する。

次に、ステップＳ７において、仮閉眼位置識別器３４は、同様に各走査位置の特徴量を閉眼用位置検出辞書と照合して各走査位置で尤度を求め、被写体の瞼が閉じていたと仮定した場合の目の位置である仮閉眼位置を検出する。

上述の通り、開眼用位置検出辞書は、初期位置検出辞書に比べ、高精細な（高解像度な）、開いた目のデータセットを用いて作成され、瞼が開いていると仮定した場合の目の、より高精度な位置（仮開眼位置）を検出するために用いられる。同様に、閉眼用位置検出辞書は、初期位置検出辞書に比べ、高精細な（高解像度な）、閉じた目のデータセットを用いて作成され、瞼が閉じていると仮定した場合の目の、より高精度な位置（仮閉眼位置）を検出するために用いられる。

また、仮開眼位置および仮閉眼位置の検出方法としては、たとえば特徴量と辞書とを照合した時の尤度が高い座標を採用する方法や、閾値以上の尤度の座標について尤度で重みづけ平均をとった座標を採用するといった方法を用いることができる。

以上のステップＳ３−７の手順により、仮開眼位置および仮閉眼位置を高精度に検出することができる。

図８は、主識別器２３による第１開閉判定処理を説明するための図である。

ステップＳ６およびＳ７において、すでに各走査位置における特徴量と辞書とを照合した尤度が求められている。このため、開閉判定部３７は、ステップＳ８においてこれらの尤度にもとづいて瞼の開閉判定を行う。

たとえば、開閉判定部３７は、仮開眼位置識別器３３の尤度が閾値以下であれば、瞼が閉じているとの判定結果を出力してもよいし、仮閉眼位置識別器３４の尤度が閾値以下であれば、瞼が開いていると判定結果を出力してもよい。また、いずれの尤度も閾値以下であれば、判定不能を出力してもよい。なんらかの判定結果を出力した場合は（ステップＳ９のＹＥＳ）、一連の手順は終了となる。一方、なんらの判定結果も出力できない場合は（ステップＳ９のＮＯ）、ステップＳ１０に進む。

ステップＳ１０において、第１開閉識別器３５は、仮開眼位置で開眼用開閉判定辞書（第１開閉判定辞書）と照合し、開眼尤度を求める。また、ステップＳ１１において、第２開閉識別器３６は、仮閉眼位置で閉眼用開閉判定辞書（第２開閉判定辞書）と照合し、閉眼尤度を求める。

そして、ステップＳ１１において、開閉判定部３７は、開眼尤度および閉眼尤度にもとづいて第２開閉判定処理を行なう。

図９は、主識別器２３による第２開閉判定処理を説明するための図である。

第１開閉識別器３５および第２開閉識別器３６は、それぞれ複数かつ同数の要素識別器により構成され、この要素識別器はひとつずつペアで動作する。ペアとなる第１開閉識別器３５の要素識別器および第２開閉識別器３６の要素識別器の用いる開眼用開閉判定辞書および閉眼用開閉判定辞書は、互いにポジティブとネガティブを入れ替えただけのものである。

複数の要素識別器はそれぞれ、ブロックサイズや輝度閾値などの辞書作成パラメータが互いに異なる開閉判定辞書を用いる。たとえばブロックサイズが小さいと、識別能力は高くなるが、回転や形状変化には弱くなる。一方、ブロックサイズが大きいと、識別能力は落ちるものの形状変化に強くなる。最適な辞書作成パラメータ値はシーンごとに異なるため、１つの代表値に固定してしまうと判定結果の信頼性がシーンごとに変わってしまう。本実施形態に係る開閉判定部３７は、辞書作成パラメータが互いに異なる開閉判定辞書を用いる複数の要素識別器を用いる。そして、第１開閉識別器３５を構成する複数の要素識別器のそれぞれが求めた尤度および第２開閉識別器３６を構成する複数の要素識別器のそれぞれが求めた尤度を用いて被写体の瞼の開閉を判定することで、安定して正確な判定結果を得ることができる（図９参照）。

本実施形態に係る主識別器２３は、初期検出部２２が検出した目の領域にもとづいて、開いた目のみを正解として学習した仮開眼位置識別器３３および閉じた目のみを正解として学習した仮閉眼位置識別器３４を用いて、再度目の位置（開いていると仮定した場合の仮開眼位置、閉じていると仮定した場合の仮閉眼位置）を検出することで、高精度に目の位置を求めることができる。

初期検出部２２による目の領域の検出では、閉じた目と開いた目が混ざっている初期位置検出辞書を用いるため、位置検出精度が低くなってしまう。一方、主識別器２３を用いる方法では、目の位置の検出精度を高めることができるため、瞼開閉判定辞書との照合した時のスコアの信頼性が向上し、瞼開閉の判定結果の信頼性が向上する。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

４…車室内用カメラ
１０…瞼開閉検出装置
１４…撮像素子
２２…初期検出部
３１…輝度補正部
３３…仮開眼位置識別器
３４…仮閉眼位置識別器
３５…第１開閉識別器
３６…第２開閉識別器
３７…開閉判定部

Claims (9)

1. 被写体の顔を撮像した撮像素子の出力にもとづいて生成された前記被写体の顔画像から、開いた目の画像と閉じた目の画像とを含む目の画像を正解、目の周辺の画像を不正解として学習した初期位置検出辞書を用いて目の領域を検出する初期検出部と、
   前記初期検出部により検出された前記目の領域を包含する領域から、開いた目の画像を正解、目の周辺の画像を不正解として学習した開眼用位置検出辞書を用いて、前記被写体の瞼が開いていたと仮定した場合の目の位置である仮開眼位置を検出する仮開眼位置識別器と、
   前記初期検出部により検出された前記目の領域を包含する領域から、閉じた目の画像を正解、目の周辺の画像を不正解として学習した閉眼用位置検出辞書を用いて、前記被写体の瞼が閉じていたと仮定した場合の目の位置である仮閉眼位置を検出する仮閉眼位置識別器と、
   前記仮開眼位置識別器の出力および前記仮閉眼位置識別器の出力にもとづいて、前記被写体の瞼の開閉の判定結果を出力する開閉判定部と、
   を備えた瞼開閉検出装置。
2. 前記仮開眼位置識別器は、
   前記開眼用位置検出辞書を用いて、前記目の領域を包含する領域を、この領域より小さい走査枠で走査して各走査位置の尤度を求めて、求めた尤度にもとづいて前記仮開眼位置を求め、
   前記仮閉眼位置識別器は、
   前記閉眼用位置検出辞書を用いて、前記目の領域を包含する領域を前記走査枠で走査して各走査位置の尤度を求め、求めた尤度にもとづいて前記仮閉眼位置を求め、
   前記開閉判定部は、
   前記仮開眼位置識別器の求めた尤度および前記仮閉眼位置識別器の求めた尤度にもとづいて、前記被写体の瞼の開閉を判定する、
   請求項１記載の瞼開閉検出装置。
3. 正解および不正解の一方を開いた目、他方を閉じた目として学習した第１開閉判定辞書を用いて、前記仮開眼位置について尤度を求める第１開閉識別器と、
   前記第１開閉判定辞書とは正解と不正解とを反転して学習した第２開閉判定辞書を用いて、前記仮閉眼位置について尤度を求める第２開閉識別器と、
   をさらに備え、
   前記開閉判定部は、
   前記第１開閉識別器が求めた尤度および前記第２開閉識別器が求めた尤度を用いて前記被写体の瞼の開閉を判定する、
   請求項１または２に記載の瞼開閉検出装置。
4. 前記第１開閉識別器および前記第２開閉識別器は、
   それぞれ輝度勾配方向共起ヒストグラムを用いた識別器である、
   請求項３記載の瞼開閉検出装置。
5. 前記第１開閉識別器および前記第２開閉識別器はそれぞれ、
   互いにブロックサイズが異なる開閉判定辞書を用いる複数の開閉識別器により構成され、
   前記開閉判定部は、
   前記第１開閉識別器を構成する複数の開閉識別器のそれぞれが求めた尤度および前記第２開閉識別器を構成する複数の開閉識別器のそれぞれが求めた尤度を用いて前記被写体の瞼の開閉を判定する、
   請求項４記載の瞼開閉検出装置。
6. 前記仮開眼位置識別器および前記仮閉眼位置識別器による処理の前に、前記目の領域を包含する領域について輝度ヒストグラムを平坦化するよう輝度補正する輝度補正部、
   をさらに備えた請求項１ないし５のいずれか１項に記載の瞼開閉検出装置。
7. 前記撮像素子は、
   近赤外光で照明された前記被写体の顔を撮像する、
   請求項１ないし６のいずれか１項に記載の瞼開閉検出装置。
8. 請求項１ないし７のいずれか１項に記載の瞼開閉検出装置と、
   前記撮像素子と、
   を備えた車室内用カメラ。
9. 被写体の瞼の開閉を検出する瞼開閉検出方法であって、
   前記被写体の顔を撮像した撮像素子の出力にもとづいて前記被写体の顔画像を生成するステップと、
   前記顔画像から、開いた目の画像と閉じた目の画像とを含む目の画像を正解、目の周辺の画像を不正解として学習した初期位置検出辞書を用いて目の領域を検出するステップと、
   前記目の領域を包含する領域から、開いた目の画像を正解、目の周辺の画像を不正解として学習した開眼用位置検出辞書を用いて、前記被写体の瞼が開いていたと仮定した場合の目の位置である仮開眼位置を検出するステップと、
   前記目の領域を包含する領域から、閉じた目の画像を正解、目の周辺の画像を不正解として学習した閉眼用位置検出辞書を用いて、前記被写体の瞼が閉じていたと仮定した場合の目の位置である仮閉眼位置を検出するステップと、
   検出された前記仮開眼位置および前記仮閉眼位置にもとづいて、前記被写体の瞼の開閉の判定結果を出力するステップと、
   を有する瞼開閉検出方法。

Images