JP7212251B2

JP7212251B2 - 眼の開閉検出装置、乗員監視装置

Info

Publication number: JP7212251B2
Application number: JP2018233287A
Authority: JP
Inventors: 一輝三浦
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2018-12-13
Filing date: 2018-12-13
Publication date: 2023-01-25
Anticipated expiration: 2038-12-13
Also published as: WO2020121650A1; JP2020095499A

Description

本発明は、たとえば居眠り運転を防止するために運転者の眼の開閉状態を検出する装置に関する。

車両に搭載されるドライバモニタでは、カメラで撮像した運転者の顔の画像を解析し、眼の開閉状態（開眼状態または閉眼状態）に基づいて、居眠り運転の有無を監視するようにしている。詳しくは、画像の解析結果から、眼の開閉状態を表すパラメータである開閉度を算出する（たとえば特許文献１～３）。そして、この開閉度をあらかじめ設定された閾値と比較し、その比較結果に基づいて眼の開閉状態を判定する。判定の結果、閉眼状態が一定時間以上継続している場合は、運転者が居眠りをしていると判断し、音声などによる警報を出力する。

ところで、眼の開閉状態には、眼が完全に開いている状態と、眼が完全に閉じている状態だけでなく、その中間の状態つまり眼が細まった状態（細眼状態）も存在する。ドライバモニタでは、居眠り運転を未然に防止するために、細眼状態が一定時間以上継続した場合は、運転者が眠気を催している、つまり居眠り予兆状態にあるとみて、警報信号を出力することが行われている。しかしながら、車両のフロントガラスを介して直射日光が入射したような場合、運転者は眩しさを感じて眼を細めることが多い。したがって、この細眼状態が一定時間以上継続すると、運転者が眠気を催していないにもかかわらず、ドライバモニタから誤って警報信号が出力されることとなる。

特許文献４には、細眼状態が笑顔に基づくものである場合は開眼状態と判定することが記載されている。特許文献５には、眼付近の領域の光量を測定し、当該光量と眼の開閉度とに基づいて、運転者の眼に直射光が当たっているか否かを判定することが記載されている。特許文献６には、前方監視カメラで撮像された車両前方の画像から所定範囲の視界画像を抽出し、当該視界画像の輝度に基づいて運転者の眼に強い光が照射されている状態を検出することが記載されている。しかるに、これらの文献には、直射光に基因する細眼状態に対して誤警報を防止するための具体的手段は開示されていない。

特開２０１０－１３４４９０号公報特許第３１４３８１９号公報特開２０００－１２３１８８号公報特開２０１６－１１５１２０号公報特開２００６－２５１９２６号公報特開２００７－２７６７６６号公報

本発明の課題は、直射光の存在下での細眼状態を、眠気による細眼状態と区別して検出できるようにし、直射光に基因する細眼状態に対して、誤って警報信号が出力されるのを防止することにある。

本発明による眼の開閉検出装置は、被写体の顔を撮像する撮像部と、この撮像部が撮像した顔画像に対して所定の処理を行い、当該顔画像から被写体の眼を抽出する画像処理部と、この画像処理部で抽出された眼の画像に基づいて、眼の開閉状態を表す開閉度を算出する開閉度算出部と、顔画像における所定領域の輝度情報に応じた重みを算出する重み算出部と、開閉度算出部で算出された開閉度に対して、前記重みにより重み付けを行い、当該重み付けがされた開閉度に基づいて眼の開閉状態を判定する開閉状態判定部と、顔画像における所定領域の輝度の分布を示すヒストグラムを算出するヒストグラム算出部と、輝度の階級に対応して重みが設定された重みテーブルとを備えている。重み算出部は、重みテーブルを参照して、ヒストグラム算出部が算出したヒストグラムにおける度数が最大の階級に対応する重みを選択するとともに、ヒストグラムにおける度数が最大の階級と、当該階級に隣接しかつ当該階級より上の階級との間の、度数の傾きを算出し、この傾きに基づいて、当該傾きの絶対値が小さくなるほど値が大きくなる重み係数をさらに算出する。開閉状態判定部は、重みに重み係数を乗じることにより、開閉度に対する重み付けを行う。

また、本発明による乗員監視装置は、車両の乗員の顔を撮像する撮像部と、この撮像部が撮像した顔画像に対して所定の処理を行い、当該顔画像から乗員の眼を抽出する画像処理部と、この画像処理部で抽出された眼の画像に基づいて、眼の開閉状態を表す開閉度を算出する開閉度算出部と、顔画像における所定領域の輝度情報に応じた重みを算出する重み算出部と、開閉度算出部で算出された開閉度に対して、前記重みにより重み付けを行い、当該重み付けがされた開閉度に基づいて眼の開閉状態を判定する開閉状態判定部と、この開閉状態判定部での判定結果に基づいて警報信号を出力する警報出力部と、前述のヒストグラム算出部と、前述の重みテーブルとを備えている。重み算出部は、前記と同様にして重みを選択するとともに重み係数を算出し、開閉状態判定部は、重みに重み係数を乗じることにより、開閉度に対する重み付けを行う。

本発明においては、開閉度算出部で算出された眼の開閉度に対し、顔画像における所定領域の輝度情報に応じた重みと重み係数により重み付けを行い、当該重み付けがされた開閉度に基づいて眼の開閉状態を判定する。このため、直射光の状態に応じて補正された開閉度に基づいて、眼の開閉状態が検出されるので、直射光の眩しさによる細眼状態を、眠気による細眼状態と区別して検出することが可能となる。その結果、直射光が当たっている状態で眼を細めた場合に、これを居眠りの予兆と誤判定して警報が出力されるのを防止することができる。

本発明による眼の開閉検出装置は、被写体の顔に光を照射する発光部をさらに備えていてもよい。そして、撮像部は、発光部が発光していない状態で撮像した第１画像と、発光部が発光した状態で撮像した第２画像とを生成し、画像処理部は、第２画像と第１画像との差分である差分画像に基づいて、顔画像における所定領域を抽出し、ヒストグラム算出部は、第１画像における所定領域のヒストグラムを算出してもよい。

本発明による眼の開閉検出装置において、前記の所定領域は、被写体の眼の周辺領域であってもよい。

本発明による乗員監視装置において、警報出力部は、開閉状態判定部で眼の開閉状態が閉眼状態であると判定され、かつ、当該閉眼状態が所定時間以上継続した場合に、警報信号を出力してもよい。

本発明によれば、直射光の存在下での細眼状態を、眠気による細眼状態と区別して検出できるので、直射光に基因する細眼状態に対して、誤って警報信号が出力されるのを防止することができる。

本発明を適用したドライバモニタのブロック図である。カメラで顔を撮像する様子を示す図である。撮像画像における顔領域を示す図である。直射光がない場合のオフ画像、オン画像、差分画像を模式的に示す図である。直射光がある場合のオフ画像、オン画像、差分画像を模式的に示す図である。顔領域におけるピクセルを示す図である。重みテーブルを示す図である。重み係数のグラフである。重み係数の算出に用いる傾きを説明する図である。直射光が当たっていない場合の輝度のヒストグラムの例である。直射光が当たっている場合の輝度のヒストグラムの例である。開眼状態、細眼状態、閉眼状態を模式的に示す図である。ドライバモニタの動作を示すフローチャートである。他の実施形態における眼の周辺領域を示す図である。他の実施形態における重みテーブルを示す図である。

本発明の実施形態につき、図面を参照しながら説明する。各図において、同一の部分または対応する部分には、同一符号を付してある。以下では、本発明を車両に搭載されるドライバモニタに適用した例を挙げる。

まず、図１を参照して、ドライバモニタの構成について説明する。図１において、ドライバモニタ１００は、図２の車両５０に搭載されており、カメラ１、画像処理部２、制御部３、ＬＥＤ駆動回路４、および通信部５を備えている。ドライバモニタ１００は、本発明の「眼の開閉検出装置」および「乗員監視装置」の一例である。

カメラ１は、撮像部１１と発光部１２とから構成される。撮像部１１は、ＣＭＯＳイメージセンサのような撮像素子（図示省略）と、レンズなどの光学部品（図示省略）とを有している。発光部１２は、カメラ１の被写体に対して光を照射する発光素子（図示省略）を有している。本例では、発光素子として、近赤外光を発するＬＥＤが用いられる。

図２に示すように、カメラ１は、車室内のシート５２に着座した運転者５３の顔Ｆと対向する位置に設置されている。点線は、カメラ１の撮像範囲を表している。本例では、カメラ１は運転席のインストルメントパネル５１に設置されているが、カメラ１の設置場所はこれに限定されない。たとえば、フロントガラス５４の上部などにカメラ１を設けてもよい。カメラ１の撮像部１１（図１）は運転者５３の顔Ｆを撮像し、発光部１２（図１）は運転者５３の顔に近赤外光を照射する。運転者５３は、本発明における「被写体」および「乗員」の一例である。

撮像部１１は、発光部１２が発光していない状態で撮像した画像（以下、「オフ画像」という。）と、発光部１２が発光した状態で撮像した画像（以下、「オン画像」という。）とを生成し、それぞれの画像データを、画像処理部２へ出力する。オフ画像は、本発明における「第１画像」に相当し、オン画像は、本発明における「第２画像」に相当する。

図４（ａ）および図５（ａ）は、オフ画像の例を模式的に示している。図４（ａ）は、顔Ｆに太陽光などの直射光が当たっていない状態で撮像されたオフ画像であり、図５（ａ）は、顔Ｆに直射光が当たっている状態で撮像されたオフ画像である。直射光がない場合の図４（ａ）のオフ画像は、直射光がある場合の図５（ａ）のオフ画像に比べて暗い画像となる。

図４（ｂ）および図５（ｂ）は、オン画像の例を模式的に示している。図４（ｂ）は、顔Ｆに直射光が当たっていない状態で撮像されたオン画像であり、図５（ｂ）は、顔Ｆに直射光が当たっている状態で撮像されたオン画像である。図４（ｂ）のオン画像は、発光部１２からの光照射があるため、図４（ａ）のオフ画像より明るい画像となっている。一方、直射光がある場合の図５（ｂ）のオン画像は、直射光に発光部１２からの光照射が加わるので、図５（ａ）のオフ画像より明るいが、両画像とも直射光の影響が大きいため、図４のオフ画像とオン画像ほど明度差は顕著ではない。

画像処理部２は、撮像部１１から取得したオン画像とオフ画像との差分を演算して得られる画像（以下、「差分画像」という。）を生成する。図４（ｃ）および図５（ｃ）は、差分画像の例を模式的に示している。図４（ｃ）は、直射光がない場合の差分画像であり、図５（ｃ）は、直射光がある場合の差分画像である。図４（ｃ）の差分画像は、オン画像とオフ画像との差分が大きいため、明るい画像となるのに対し、図５（ｃ）の差分画像は、オン画像とオフ画像との差分が小さいため、暗い画像となる。

さらに、画像処理部２は、この差分画像に基づいて、図３に示すように、撮像画像Ｇにおける顔Ｆの領域Ｚ（以下、「顔領域Ｚ」という。）を抽出する。そして、この顔領域Ｚにおける眼、鼻、口などの特徴点を抽出したり、顔Ｆの向きを検出したり、視線の方向を検出したりする。これらの処理は公知の手法を用いて行われ、それらの詳細はよく知られているので、ここでは説明を省略する。

図１に戻って、制御部３は、ＣＰＵやメモリなどから構成される。制御部３には、開閉度算出部３１、ヒストグラム算出部３２、重み算出部３３、開閉状態判定部３４、警報出力部３５、および重みテーブル３６が備わっている。開閉度算出部３１～警報出力部３５のそれぞれの機能は、実際にはＣＰＵが実行するソフトウェアプログラムによって実現されるが、図１では便宜上、ハードウェアのブロックで示している。また、重みテーブル３６は、フラッシュメモリのような記憶素子に記憶されている。

開閉度算出部３１は、画像処理部２で検出された眼の画像に基づいて、眼の開閉状態を表す開閉度を算出する。眼の開閉度としては、たとえば、前掲の特許文献１のような眼の縦幅と横幅の比、特許文献２のような上瞼と眼球の境界から下瞼と眼球の境界までの距離、特許文献３のような眼全体の面積に対する上瞼の面積の比などを用いることができる。もちろん、これら以外の定義に従う開閉度を用いてもよい。

ここでは、簡単のために、画像解析により得られる開閉度が０～１００の値をとるものとし、開閉度が大きいほど開眼の度合いが大きくなり、開閉度が小さいほど閉眼の度合いが大きくなるものとする。開閉度１００は完全な開眼状態を表し、開閉度０は完全な閉眼状態を表す。また、一例として、開閉度５０±αは細眼状態を表す（αはあらかじめ定められた値）。

図１２は、眼の開閉状態の例を模式的に示している。（ａ）は、開閉度が１００の場合で、上記のとおり完全な開眼状態を表している。（ｂ）は、開閉度が７０の場合で、細眼状態を表している。（ｃ）は、開閉度が３０の場合で、（ｂ）よりもさらに細眼となった状態を表している。（ｄ）は、開閉度が０の場合で、上記のとおり完全な閉眼状態を表している。

運転者が眠気を催してくると、眼の状態は、図１２の（ｂ）や（ｃ）のような細眼状態となるが、運転者の顔に直射光が当たっているときにも、眩しさのために、このような細眼状態は生じうる。したがって、細眼状態が一定時間以上続いた場合に、居眠りの予兆とみなされて警報が出力されるシステムでは、直射光の眩しさが原因で細眼状態になった場合であっても、警報が出力されてしまうおそれがある。本発明は、後で詳述するように、直射光の輝度に応じて開閉度に重み付けを施すことにより、この問題を解決するものである。

再び図１に戻って、ヒストグラム算出部３２は、オフ画像の顔領域Ｚ（図３）における輝度分布すなわちヒストグラムを算出する。重み算出部３３は、開閉度算出部３１が算出した開閉度に対して、輝度に応じた重み付けを行うためのパラメータを算出する。開閉状態判定部３４は、重み付けがされた開閉度に基づいて、眼の開閉状態を判定し、その結果に応じて居眠り運転の有無を判断する。これらの処理内容については、後で詳しく説明する。

警報出力部３５は、開閉状態判定部３４において居眠り運転と判断された場合に、そのことを報知するための警報信号を出力する。この警報信号は、通信部５を介して、車両に搭載されているＥＣＵ（Electronic Control Unit）２００へ送信される。重みテーブル３６には、輝度に応じた重みの値が記憶されている（後述の図７）。

ＬＥＤ駆動回路４は、発光部１２のＬＥＤを駆動するための回路であり、ＬＥＤに所定の駆動電流を供給して、ＬＥＤを発光させる。ＬＥＤの光量や発光時間は、制御部３によって制御される。

通信部５は、ドライバモニタ１００をＥＣＵ２００に接続するためのインターフェイスなどから構成されている。通信部５は、ＣＡＮ（Controller Area Network）を介してＥＣＵ２００と接続され、ＥＣＵ２００との間で信号やデータの授受を行う。なお、図１ではＥＣＵ２００が１つだけ図示されているが、実際には、制御対象に応じて複数のＥＣＵが車両に搭載されており、通信部５は、それらのうちの所定のＥＣＵに接続される。

次に、ドライバモニタ１００で眼の開閉状態を検出する具体的な方法について説明する。

図６は、図３の顔領域Ｚにおけるピクセル（画素）を模式的に示している。ここでの画像は、発光部１２を発光させずに撮像したオフ画像である。画像上の顔領域Ｚは、撮像部１１の撮像素子の配列に対応した多数のピクセルＰから構成される。ヒストグラム算出部３２は、ピクセル単位で輝度情報を取得する。輝度情報は、各ピクセルＰに対応する各撮像素子で光電変換された電流の値に応じた輝度値である。

ヒストグラム算出部３２は、ピクセル単位で取得した輝度値に基づき、顔領域Ｚにおける輝度の分布を示すヒストグラムを算出する。図１０は、直射光が当たっていない場合のヒストグラムの例である。図１１は、直射光が当たっている場合のヒストグラムの例であり、（ａ）は直射光が弱い状態、（ｂ）は直射光が強い状態を示している。

本例では、輝度値は０～２５５の２５６階調に分けられ、それらがさらに１６階調ごとに区分されている。以下、この区分を「階級」という。各ピクセルＰの輝度は、横軸のいずれかの階級に属し、当該階級に属するピクセルＰの数（合計）が、縦軸の度数を表している。

図７に示すように、重みテーブル３６には、輝度の階級に対応して、重みＷｍが設定されている。それぞれの重みＷｍは、各階級の最頻値に応じた値となっている。階級０～３１は、直射光が当っていない正常な状態であり、この場合は重み付けの必要がないため、重みはＷｍ＝１．０となっている。階級が３２以上の場合は、直射光が当っている状態であり、この場合は輝度に応じた重み付けを行うため、階級に応じて重みＷｍの値が大きくなる。ここでは、重みＷｍの最大値が４．０となっているが、これは一例に過ぎない。なお、階級１９２～２５５に対しては、重みＷｍが設定されていない。これは、当該範囲では直射光が強すぎて、オン画像とオフ画像との間で明るさの差がないことから、それらの差分を取ると顔画像が真っ暗になって眼を検出できず、眼の開閉状態の判定がそもそも不可能なためである。

重み算出部３３は、重み付けを行うためのパラメータとして、重みテーブル３６から得られる重みＷｍに加えて、図８に示した重み係数Ｗｇをさらに算出する。図８にあるように、重み係数Ｗｇは、Ｗｇ＝２^ａ＋１で表される。ここで、ａは図９に示されている傾きであり、この傾きａは、度数が最大の階級（図９では１６～３１）と、当該階級に隣接しかつ当該階級より上の階級（図９では３２～４７）との間の、度数の傾き（２つの度数値を結んだ直線の傾き）である。なお、隣接する階級の度数が同じである場合は、大きい方の（上位側の）階級とそれに隣接する次の階級との間で、傾きａを求める。したがって、傾きａは正の値や０となることはなく、必ず負の値となる（ａ＜０）。

開閉状態判定部３４は、重み算出部３３で算出された重みＷｍおよび重み係数Ｗｇを用いて、開閉度算出部３１が算出した眼の開閉度Ｘに重み付けを行うことで、当該開閉度Ｘを補正する。具体的には、開閉度Ｘの補正値Ｙを、次式により算出する。
Ｙ＝Ｘ・Ｗｍ・Ｗｇ・・・（１）
この補正された開閉度Ｙが、眼の開閉状態の判定に用いられる判定用の開閉度となる。

このように眼の開閉度を補正するのは、直射光に基因する細眼状態を、眠気に基因する細眼状態と区別して検出するためである。前述のように、車両５０のフロントガラス５４から太陽光などの直射光が入射して、運転者５３の顔Ｆに当たっている場合、運転者５３が眩しさのために細眼状態になると（たとえば図１２（ｃ））、居眠りの予兆とみなされて誤って警報が出力されるおそれがある。そこで、本発明では、開閉度算出部３１が算出した眼の開閉度Ｘに対して、まず直射光の輝度に応じた重みＷｍ（図７）による重み付けを行う。そして、輝度の大きい直射光に対しては、前記の（１）式において大きな重みＷｍで重み付けをすることで、開閉度Ｙの値を大きくする。これによって、運転者５３が直射光により眼を細めても、開閉度Ｙが大きな値となっているので、眩しさによる細眼状態を、居眠りの予兆と誤判定することが防止される。

さらに、本発明では、重みＷｍに加えて重み係数Ｗｇを用いることで、二重の重み付けを行う。これは次のような理由による。最大度数の階級と次の階級との傾きａの絶対値が大きい場合（ａが０から遠い場合）は、最大度数の輝度だけが目立つのに対し、傾きａの絶対値が小さい場合（ａが０に近い場合）は、最大度数の輝度と次度数の輝度が共に目立つことになる。したがって、後者の場合は、前者の場合に比べて強い直射光が当たっている。そこで、図８のような、傾きａが０に近いほど（つまり直射光が強いほど）大きな値となる重み係数Ｗｇを、重みＷｍに乗じることによって、眼の開閉度をより高精度に補正することができる。

開閉状態判定部３４は、前記（１）式により算出した判定用の開閉度Ｙ（補正値）を、所定の閾値と比較することにより、運転者５３の眼の開閉状態を判定する。一例として、閾値を５０とした場合、開閉度Ｙが５０≦Ｙ≦１００の範囲にある場合（閾値以上）、開閉状態判定部３４は、運転者５３が開眼状態であると判定する。また、開閉度Ｙが０≦Ｙ＜５０の範囲にある場合（閾値未満）、開閉状態判定部３４は、運転者５３が閉眼状態であると判定する。なお、細眼状態は、開閉度Ｙの値によって、閉眼状態か開眼状態のいずれかに振り分けられる。

開閉状態判定部３４は、さらに、運転者５３の眼の開閉状態を閉眼状態と判定した場合、この閉眼状態が継続する時間を計測し、閉眼状態が所定時間以上継続すると、運転者５３が居眠り状態または居眠り予兆状態にあると判断する。開閉状態判定部３４でこの判断が下されると、警報出力部３５は、運転者５３を覚醒させるための警報信号を出力する。前述したように、この警報信号は、通信部５を介してＥＣＵ２００へ送信される。ＥＣＵ２００では、警報信号を受信すると、運転者５３に対して居眠りの警告を与えるための処理（たとえば、音声出力やブザー鳴動など）が行われる。

図１３は、以上説明したドライバモニタ１００の動作を示したフローチャートである。

図１３において、ステップＳ１では、カメラ１が、発光部１２のＬＥＤを発光させずに運転者５３の顔Ｆを撮像し、オフ画像を生成する。ステップＳ２では、カメラ１が、発光部１２のＬＥＤを発光させて運転者５３の顔Ｆを撮像し、オン画像を生成する。ステップＳ１とステップＳ２の順序は、入れ替えてもよい。

ステップＳ３では、画像処理部２が、カメラ１から取得したオン画像とオフ画像の差分を演算し、差分画像を生成する。そして、画像処理部２は、ステップＳ４において、差分画像に基づいて顔領域Ｚ（図３）を抽出するとともに、眼、鼻、口などの特徴点を抽出する。

ステップＳ５では、開閉度算出部３１が、ステップＳ４で検出された眼の画像に基づいて、眼の開閉度Ｘを算出する。ステップＳ６では、ヒストグラム算出部３２が、オフ画像の顔領域Ｚにおけるヒストグラム（輝度分布）を算出する。ステップＳ７では、重み算出部３３が、重みテーブル３６（図７）を参照して、ヒストグラムにおける最大度数の階級に対応する重みＷｍを取得する。また、重み算出部３３は、ステップＳ８において、最大度数の階級とその次の階級との傾きａ（図９）を算出するとともに、ステップＳ９において、重み係数Ｗｇ＝２^ａ＋１（図８）を演算する。

次に、ステップＳ１０において、開閉状態判定部３４は、ステップＳ５、Ｓ７、Ｓ９で得られた開閉度Ｘ、重みＷｍ、重み係数Ｗｇを用いて、前記の式（１）により開閉度Ｘの補正値Ｙを演算する（Ｙ＝Ｘ・Ｗｍ・Ｗｇ）。この補正値Ｙが判定用の開閉度であることは、前述したとおりである。続くステップＳ１１では、開閉状態判定部３４が、補正値Ｙと閾値との比較結果に基づいて、眼の開閉状態（開眼または閉眼）を判定する。そして、ステップＳ１２において、開閉状態判定部３４は、閉眼状態が所定時間以上継続しているか否かを判定する。

判定の結果、閉眼状態が所定時間以上継続している場合は（ステップＳ１２：ＹＥＳ）、ステップＳ１３へ進んで、警報出力部３５が警報信号を出力する。また、閉眼状態が所定時間以上継続していない場合は（ステップＳ１２：ＮＯ）、ステップＳ１３を省略して最初に戻る。なお、ステップＳ１１で開眼状態と判定された場合も、ステップＳ１２の判定はＮＯとなって、ステップＳ１３を省略して最初に戻る。

上述した実施形態によると、開閉度算出部３１で算出された眼の開閉度Ｘに対し、顔領域Ｚの輝度分布に応じた重みＷｍおよび重み係数Ｗｇにより重み付けを行い、当該重み付けがされた開閉度Ｙに基づいて、運転者５３の眼の開閉状態を判定する。このため、直射光の状態に応じて補正された開閉度Ｙに基づいて、眼の開閉状態が検出されるので、直射光の眩しさによる細眼状態を、眠気による細眼状態と区別して検出することが可能となる。その結果、運転者５３が直射光の当たっている状態で眼を細めた場合に、開閉状態判定部３４が居眠りの予兆と誤判定して、警報出力部３５から警報信号が出力されるのを防止することができる。

本発明では、以上述べた実施形態以外にも、以下のような種々の実施形態を採用することができる。

図６においては、顔領域Ｚの全領域に含まれるピクセルＰにつき、輝度情報を取得する例を挙げたが、顔領域Ｚの一部領域に含まれるピクセルＰにつき、輝度情報を取得してもよい。たとえば、図１４に示したように、顔領域Ｚにおける眼の周辺領域Ｑに含まれるピクセルについて、輝度情報を取得するようにしてもよい。これは次のような理由による。

フロントガラス５４（図２）の上部に設けられているサンバイザー（図示省略）をおろして日除けをする場合には、運転者５３の眼の周辺領域の輝度が低下する。したがって、顔領域Ｚに含まれる全ピクセルの輝度に基づいてヒストグラムを算出すると、開閉度Ｙの値が小さくなって、眼の開閉状態を誤判定するおそれがある。そこで、眼の周辺領域Ｑのピクセルの輝度に基づいてヒストグラムを算出することで、そのような不具合を解消することができる。なお、サンバイザーがおろされたことを検知するセンサを設け、当該センサから検知信号が出力された場合に、輝度情報を取得する領域を、顔領域Ｚから眼の周辺領域Ｑへ自動的に切り替えるようにしてもよい。

図７の重みテーブル３６においては、ヒストグラムの階級を１６階調ごとに区分した例を挙げたが、本発明はこれに限定されない。たとえば、図１５に示したように、ヒストグラムの階級を４８階調ごとに区分して、輝度の階級を「低」「中」「高」「算出不能」の４ランクに分類し、「低」「中」「高」のランクについて重みＷｍを設定してもよい。

図６や図１４においては、個々のピクセル単位で輝度情報（輝度値）を取得する例を挙げたが、本発明はこれに限定されない。たとえば、複数のピクセルをブロック化し、ブロック単位で輝度情報を取得するようにしてもよい。この場合、１ブロックに含まれる各ピクセルの輝度値の最大値を当該ブロックの輝度情報としてもよく、あるいは、各ピクセルの輝度値の平均値を当該ブロックの輝度情報としてもよい。

図３においては、撮像画像Ｇにおける顔領域Ｚが、運転者の顔Ｆと同じ形状である例を挙げたが、顔領域Ｚは、顔Ｆを含む四角形、菱形、楕円形、円形などの領域であってもよい。

図８においては、重み係数ＷｇをＷｇ＝２^ａ＋１として算出する例を挙げたが、これは一例であって、重み係数Ｗｇを他の演算式により算出してもよい。

前記の実施形態では、車両の乗員として運転者５３を例に挙げたが、カメラ１の被写体となる乗員は、運転者以外の者であってもよい。

前記の実施形態では、本発明を車両に搭載されるドライバモニタ１００に適用した例を挙げたが、本発明は、車両以外の用途にも適用することができる。

１カメラ
１１撮像部
１２発光部
２画像処理部
３制御部
４ＬＥＤ駆動回路
５通信部
３１開閉度算出部
３２ヒストグラム算出部
３３重み算出部
３４開閉状態判定部
３５警報出力部
３６重みテーブル
５３運転者
１００ドライバモニタ（眼の開閉検出装置、乗員監視装置）
Ｆ顔
Ｇ撮像画像
Ｐピクセル（画素）
Ｑ眼の周辺領域
Ｚ顔領域

Claims

被写体の顔を撮像する撮像部と、
前記撮像部が撮像した顔画像に対して所定の処理を行い、当該顔画像から前記被写体の眼を抽出する画像処理部と、
前記画像処理部で抽出された眼の画像に基づいて、眼の開閉状態を表す開閉度を算出する開閉度算出部と、
前記顔画像における所定領域の輝度情報に応じた重みを算出する重み算出部と、
前記開閉度算出部で算出された開閉度に対して、前記重みにより重み付けを行い、当該重み付けがされた開閉度に基づいて眼の開閉状態を判定する開閉状態判定部と、
前記顔画像における所定領域の輝度の分布を示すヒストグラムを算出するヒストグラム算出部と、
前記輝度の階級に対応して前記重みが設定された重みテーブルと、を備え、
前記重み算出部は、
前記重みテーブルを参照して、前記ヒストグラム算出部が算出したヒストグラムにおける度数が最大の階級に対応する重みを選択するとともに、
前記ヒストグラムにおける度数が最大の階級と、当該階級に隣接しかつ当該階級より上の階級との間の、度数の傾きを算出し、
前記傾きに基づいて、当該傾きの絶対値が小さくなるほど値が大きくなる重み係数をさらに算出し、
前記開閉状態判定部は、
前記重みに前記重み係数を乗じることにより、前記開閉度に対する重み付けを行う、ことを特徴とする眼の開閉検出装置。
請求項１に記載の眼の開閉検出装置において、
前記度数の傾きをａ（ａ＜０）、前記重み係数をＷｇとしたとき、重み係数ＷｇはＷｇ＝２ ^ａ＋１である、ことを特徴とする眼の開閉検出装置。
請求項１または請求項２に記載の眼の開閉検出装置において、
前記被写体の顔に光を照射する発光部をさらに備え、
前記撮像部は、前記発光部が発光していない状態で撮像した第１画像と、前記発光部が発光した状態で撮像した第２画像とを生成し、
前記画像処理部は、前記第２画像と前記第１画像との差分である差分画像に基づいて、前記顔画像における前記所定領域を抽出し、
前記ヒストグラム算出部は、前記第１画像における前記所定領域のヒストグラムを算出する、ことを特徴とする眼の開閉検出装置。
請求項１ないし請求項３のいずれかに記載の眼の開閉検出装置において、
前記所定領域は、前記被写体の眼の周辺領域である、ことを特徴とする眼の開閉検出装置。
車両の乗員の顔を撮像する撮像部と、
前記撮像部が撮像した顔画像に対して所定の処理を行い、当該顔画像から前記乗員の眼を抽出する画像処理部と、
前記画像処理部で抽出された眼の画像に基づいて、眼の開閉状態を表す開閉度を算出する開閉度算出部と、
前記顔画像における所定領域の輝度情報に応じた重みを算出する重み算出部と、
前記開閉度算出部で算出された開閉度に対して、前記重みにより重み付けを行い、当該重み付けがされた開閉度に基づいて眼の開閉状態を判定する開閉状態判定部と、
前記開閉状態判定部での判定結果に基づいて警報信号を出力する警報出力部と、
前記顔画像における所定領域の輝度の分布を示すヒストグラムを算出するヒストグラム算出部と、
前記輝度の階級に対応して前記重みが設定された重みテーブルと、を備え、
前記重み算出部は、
前記重みテーブルを参照して、前記ヒストグラム算出部が算出したヒストグラムにおける度数が最大の階級に対応する重みを選択するとともに、
前記ヒストグラムにおける度数が最大の階級と、当該階級に隣接しかつ当該階級より上の階級との間の、度数の傾きを算出し、
前記傾きに基づいて、当該傾きの絶対値が小さくなるほど値が大きくなる重み係数をさらに算出し、
前記開閉状態判定部は、
前記重みに前記重み係数を乗じることにより、前記開閉度に対する重み付けを行う、ことを特徴とする乗員監視装置。
請求項５に記載の乗員監視装置において、
前記警報出力部は、前記開閉状態判定部で眼の開閉状態が閉眼状態であると判定され、かつ、当該閉眼状態が所定時間以上継続した場合に、前記警報信号を出力する、ことを特徴とする乗員監視装置。