JP5418579B2

JP5418579B2 - 開閉眼検出装置

Info

Publication number: JP5418579B2
Application number: JP2011267127A
Authority: JP
Inventors: 敦志村
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2011-12-06
Filing date: 2011-12-06
Publication date: 2014-02-19
Anticipated expiration: 2031-12-06
Also published as: US20130142389A1; JP2013120442A; US9082012B2

Description

本発明は、開閉眼検出装置に関する。

従来、車両の運転者の顔を撮像して得られる顔画像から、運転者の眼の開度を検出する眼の状態検出装置が知られている（特許文献１参照）。この眼の状態検出装置は、学習により得られた開閉眼検出基準値を用いて、目の開度を検出する。

特開２００１−２２５６６６号公報

特許文献１記載の発明では、開閉眼検出基準値を学習するときの目の状態が、特異的な状態（例えば、運転者が長時間継続的に閉眼している常態）である場合、不適切な開閉眼検出基準値が設定され、結果として、眼の開度を正確に検出できなくなってしまう。

本発明は以上の点に鑑みなされたものであり、上述した課題を解決できる開閉眼検出装置を提供することを目的とする。

本発明の開閉眼検出装置は、運転者の顔画像を取得する顔画像取得手段と、顔画像から運転者の開眼量を算出する開眼量算出手段と、開眼量と所定の基準開眼量分布との対比結果に応じて、運転者の開眼度を算出する開眼度算出手段とを備える。

よって、本発明の開閉眼検出装置は、運転者の開眼度を算出し、例えば、その算出結果に応じて、警報を発する等の処理を行うことができる。
また、本発明の開閉眼検出装置は、開眼量を順次記憶する記憶手段と、記憶手段に記憶された開眼量の群を、記憶手段に記憶された順に従って複数のグループに分け、各グループにおける開眼量の分布を算出し、その開眼量の分布の各グループ間におけるばらつきが、所定の範囲内に収まっていることを条件として、複数のグループに属する開眼量の分布を、基準開眼量分布として設定する基準開眼量分布設定手段を備える。

本発明の開閉眼検出装置は、基準開眼量分布を設定する条件を上記のように定めているため、不適切な基準開眼量分布を設定し、開眼度の算出が不正確になってしまうようなことがない。例えば、過去に記憶された開眼量の中に、運転者が長期間にわたって継続的に閉眼しているときの開眼量が含まれている場合、仮に、その開眼量の記憶に基づいて基準開眼量分布を算出すれば、不適切な基準開眼量分布が登録され、結果として開眼度の算出が不正確になってしまうが、本発明の開閉眼検出装置のように、「開眼量の分布の各グループ間におけるばらつきが、所定の範囲内に収まっていること」という条件を定めておけば、上記の事例の場合、各グループのうち、運転者が長期間にわたって継続的に閉眼しているときの開眼量を含むグループは、他のグループとは最頻値が大きく異なるので、上記の条件を満たさず、不適切な基準開眼量分布が設定されてしまうことがない。

本発明の開閉眼検出装置は、基準開眼量分布設定手段により設定された基準開眼量分布と、その基準開眼量分布の設定後に算出された開眼量の分布との差が、所定値以上となったとき、基準開眼量分布設定手段により、基準開眼量分布を再設定することが好ましい。

この場合、一旦、不適切な基準開眼量分布が設定された場合でも、その後、適切な基準開眼量分布に差し替えることが可能になる。例えば、各グループに記憶された開眼量が全て閉眼状態において記憶されたものであり、閉眼状態に対応する開眼量のみを含む不適切な基準開眼量分布が登録された場合を想定すると、基準開眼量分布の設定後に算出された開眼量の正常な分布の最頻値と、不適切な基準開眼量分布の最頻値との違いは大きいので、基準開眼量分布が設定され直すことになる。

また、例えば、基準開眼量分布設定手段により設定された基準開眼量分布における最頻値よりも、その基準開眼量分布の設定後に算出された開眼量の分布の最頻値の方が大きく、且つ両者の差が所定値以上となったとき、基準開眼量分布設定手段により、基準開眼量分布を再設定するようにしてもよい。

前記基準開眼量分布設定手段は、例えば、各グループにおける開眼量の最頻値を算出し、その最頻値の各グループ間におけるばらつきが、所定の範囲内に収まっていることを条件として、複数のグループに属する開眼量の分布を、基準開眼量分布として設定することができる。こうすることにより、基準開眼量分布の設定が容易となる。

前記基準開眼量分布設定手段によって基準開眼量分布が設定されていない場合、開眼度算出手段は、記憶手段に記憶された開眼量の分布を、基準開眼量分布の代わりに使用することができる。この場合、例えば、開閉眼検出装置の動作開始直後等、基準開眼量分布が未だ設定されていないときでも、運転者の開眼度を算出することができる。

前記開眼度算出手段は、例えば、基準開眼量分布における最頻値Ｓ１、及び最頻値Ｓ１を含むピークよりも小さい閾値Ｓ２に対する開眼量の相対的な大きさにより、運転者の開眼度を算出することができる。こうすることにより、開眼度の算出が容易になる。

開閉眼検出装置１の構成を表すブロック図である。開閉眼検出装置１が実行する処理の全体を表すフローチャートである。開眼量を表す説明図であって、（１）は開眼量が大きい状態を表し、（２）は開眼量が小さい状態を表す。警報処理を行う条件を表す説明図である。開眼度算出処理を表すフローチャートである。学習を完了できるか否かの判断方法を表す説明図であって、（１）はＡ〜Ｃセットの分布を表し、（２）は各セットを合わせた分布を表す。開眼量から開眼度を算出する方法を表す説明図であって、（１）は基準開眼量分布が正常な場合を表し、（２）は基準開眼量分布が不適切な場合を表す。再学習すべき状態を表す説明図である。

本発明の実施形態を図面に基づいて説明する。
１．開閉眼検出装置１の構成
開閉眼検出装置１の構成を図１に基づいて説明する。図１は、開閉眼検出装置１の構成を表すブロック図である。

開閉眼検出装置１は、撮像部（顔画像取得手段）３、顔部品検出部５、開眼量取得部（開眼量算出手段）７、開眼度算出部（開眼度算出手段）９、閉眼検知部（開眼度算出手段）１１、及び警報部１３を備え、開眼度算出部９は、学習部（記憶手段、基準開眼量分布設定手段）１５、学習継続検出部（基準開眼量分布設定手段）１７、算出部１９、及び再学習判定部２１を備える。

開閉眼検出装置１は車載装置である。撮像部３は、車室内に取り付けられたカメラであり、運転者の顔を含む画像（顔画像）を取得する。開眼量取得部７、開眼度算出部９、及び閉眼検知部１１は、コンピュータにより実現される手段であり、後述する処理を実行する。警報部１３は、車室内に設置されたスピーカであり、警報音を発することができる。

２．開閉眼検出装置１が実行する処理
開閉眼検出装置１が実行する処理を図２〜図８に基づいて説明する。図２は、開閉眼検出装置１が所定時間ごとに繰り返し実行する処理の全体を表すフローチャートであり、図３は、開眼量を表す説明図であり、図４は、警報処理を行う条件を表す説明図であり、図５は、開眼度算出処理を表すフローチャートであり、図６は、学習を完了できるか否かの判断方法を表す説明図であり、図７は、開眼量から開眼度を算出する方法を表す説明図であり、図８は、再学習すべき状態を表す説明図である。

図２のステップ１０では、撮像部３により、運転者の顔画像を取得する。
ステップ２０では、顔部品検出部５により、前記ステップ１０で取得した顔画像において、周知の画像解析技術を用いて、運転者の眼の位置、及び上下の瞼の位置を検出する。

ステップ３０では、開眼量取得部７により、前記ステップ２０で検出した眼の位置、及び上下の瞼の位置に基づき、開眼量を算出する。この開眼量は、図３（１）、（２）に示すように、眼１００における上下の瞼間距離１０１であってもよいし、上瞼１０３の湾曲度であってもよい。開眼量は、周知の画像解析技術（例えば特開２００７−１５１７９８号公報に記載された技術等）により算出できる。

ステップ４０では、開眼度算出部９により、前記ステップ３０で算出した開眼量から、開眼度を算出する。なお、ステップ４０については後に詳述する。
ステップ５０では、閉眼検知部１１により、図４に示すように、前記ステップ４０で算出した開眼度と、閉眼閾値（予め設定された定数）とを対比する。

ステップ６０では、前記ステップ４０で算出した開眼度が閉眼閾値以下となった状態（閉眼）が所定時間以上継続しているという条件が充足された場合、警報部１３が警報音を発する。一方、上記条件が充足されない場合は、警報音を発しない。その後、本処理を終了する。

次に、前記ステップ４０の開眼度算出処理を説明する。図５のステップ１１０では、学習完了フラグがＯＦＦであるか否かを判断する。学習完了フラグは、後述するステップ１３０において「学習を完了できる」と判断された場合にＯＮになる。また、「学習を完了できる」と未だ判断されていない場合や、後述するステップ１９０において「再学習すべき」と判断された場合はＯＦＦとなる。学習完了フラグがＯＦＦの場合はステップ１２０に進み、ＯＮの場合はステップ２１０に進む。

ステップ１２０では、学習処理を行う。この学習処理とは、直近の前記ステップ３０で算出した開眼量を、学習部１５が備える記憶媒体（図示略）に記憶する。なお、この記憶媒体は、過去３Ｎ秒間（Ｎは正の値をとる定数）において算出された開眼量を順次記憶しており、このステップ１２０の学習処理は、既に記憶されている開眼量の他に、直近の前記ステップ３０で算出した開眼量を追加して記憶する処理である。

ステップ１３０では、学習継続判定部１７により、学習を完了できるか否かを判断する。具体的には、以下のように行う。学習部１５に記憶されている開眼量の群を、Ａ〜Ｃの３セットに分ける。Ａセットは、３Ｎ秒前から２Ｎ秒前までの期間に記憶された開眼量のグループであり、Ｂセットは、２Ｎ秒前からＮ秒前までの期間に記憶された開眼量のグループであり、Ｃセットは、Ｎ秒前から現時点までの期間に記憶された開眼量のグループである。

そして、図６（１）に示すように、各セットにおいて、開眼量の分布を算出する。この分布は、横軸が開眼量であり、縦軸が頻度である。この分布は、通常、開眼状態を表す大きいピークと、閉眼状態を表す小さいピークとを有する。開眼量の最頻値は、大きいピークの中央に位置する。Ａ〜Ｃセットにおける最頻値のばらつきが、所定の範囲内に収まっている（つまり、Ａ〜Ｃセットのうちで最大の最頻値と、最小の最頻値との差が所定値以下である）ならば、学習を完了できると判断し、ばらつきが所定の範囲内に収まっていない場合は、学習を完了できないと判断する。また、Ａ〜Ｃセットのうちのいずれかのセットにおいて、開眼量の記憶数が所定の下限値に達していない場合も、学習を完了できないと判断する。学習を完了できると判断した場合はステップ１４０に進み、学習を完了できないと判断した場合はステップ１６０へ進む。

ステップ１４０では、学習完了フラグをＯＮにする。
ステップ１５０では、学習結果を登録する。具体的には以下のように行う。Ａ〜Ｃセットに記憶されている全ての開眼量について、図６（２）に示すように、１つの分布を算出する。この分布の横軸は開眼量であり、縦軸は頻度である。この分布を基準開眼量分布として登録する。

ステップ１６０では、前記ステップ３０で算出した開眼量から、開眼度を算出する。具体的には以下のように行う。Ａ〜Ｃセットに記憶されている全ての開眼量について、図７（１）に示すように、１つの分布を算出する。図７（１）における横軸は開眼量であり、縦軸は頻度である。なお、この開眼量分布は、基準開眼量分布が既に登録されている場合は、基準開眼量分布である。一方、基準開眼量分布が未だ登録されていない場合、上記の開眼量分布は、その時点でＡ〜Ｃセットに記憶されている全ての開眼量の分布である。

図７（１）に示す開眼量分布において、最頻値をＳ１とし、最頻値Ｓ１よりもｎσだけ小さい値を閾値Ｓ２とする。ｎは整数であり、閾値Ｓ２が後述する位置となるように適宜選択する。開眼量分布が正常なものであれば、最頻値Ｓ１は、開眼状態を表す大きいピークの中心に位置し、閾値Ｓ２は、開眼状態を表す大きいピークよりも、開眼量が小さい側に位置する。

開眼度は、次のように定義される。
(i)最頻値Ｓ１における開眼度は１００である。
(ii)閾値Ｓ２における開眼度は０である。
(iii)最頻値Ｓ１と閾値Ｓ２との間では、線形に（又は非線形に）補完して開眼度を定める。

上記の定義に従い、前記ステップ３０で算出した開眼量から、開眼度を算出する。
ステップ１７０では、学習完了フラグがＯＮであるか否かを判断する。学習完了フラグがＯＮの場合はステップ１８０に進み、ＯＦＦの場合はステップ１９０に進む。

ステップ１８０では監視処理を行う。この監視処理とは、基準開眼量分布が登録された後、所定期間内に記憶された開眼量の分布（以下、監視分布とする）を算出する処理である。

ステップ１９０では、再学習すべきか否かを判断する。具体的には、以下のように行う。前記ステップ１８０で算出した監視分布の最頻値と、基準開眼量分布の最頻値とを対比し、もし、図８に示すように、監視分布の最頻値の方が、基準開眼量分布の最頻値よりも大きく、且つその差が所定値以上であるという条件が満たされれば、再学習すべきであると判断し、ステップ２００に進む。一方、上記の条件が満たされなければ、再学習の必要はないと判断し、本処理を終了する。

前記ステップ１１０において学習完了フラグがＯＮと判断された場合はステップ２１０に進み、前記ステップ１６０と同様に開眼度を算出する。ただし、本ステップ１６０では、基準開眼量分布が登録済みであるので、開眼度の算出には基準開眼量分布を用いる。

３．開閉眼検出装置１が奏する効果
（１）開閉眼検出装置１は、運転者の開眼度を算出し、その開眼度に応じて警報を発することができる。その結果、車両の安全性が向上する。
（２）開閉眼検出装置１は、開眼度の算出に用いる基準開眼量分布を学習により取得する（前記ステップ１２０）が、その学習の完了条件を前記ステップ１３０のように定めている。そのため、不適切な基準開眼量分布を登録し、開眼度の算出が不正確になってしまうようなことがない。例えば、過去に記憶された開眼量の中に、運転者が長期間にわたって継続的に閉眼しているときの開眼量が含まれている場合、その開眼量の記憶に基づいて基準開眼量分布を算出すれば、不適切な基準開眼量分布が登録され、結果として開眼度の算出が不正確になってしまうが、前記ステップ１３０のように完了条件を定めておけば、上記の事例の場合、Ａ〜Ｃセットのうち、運転者が長期間にわたって継続的に閉眼しているときの開眼量を含むセットは、他のセットとは最頻値が大きく異なるので、前記ステップ１３０でＮＯと判断され、不適切な基準開眼量分布が登録されてしまうことがない。
（３）開閉眼検出装置１は、基準開眼量分布を登録した後、監視処理（前記ステップ１８０）、及び再学習すべきか否かの判断（前記ステップ１９０）を行い、再学習すべきと判断した場合は、基準開眼量分布を再設定する（前記ステップ２００、１１０、１２０）。そのため、一旦、不適切な基準開眼量分布が登録された場合でも、その後、適切な基準開眼量分布に差し替えることが可能になる。例えば、Ａ〜Ｃセットに記憶された開眼量が全て閉眼状態において記憶されたものであり、図７（２）に示すように、閉眼状態に対応する開眼量のみを含む不適切な基準開眼量分布が登録された場合を想定する。その後、監視処理（前記ステップ１８０）により、図７（１）に示すような正常な開眼量の分布（監視分布）が得られると、図８に示すように、不適切な基準開眼量分布の最頻値よりも監視分布の最頻値の方が大きく、且つそれらの違いは大きいので、前記ステップ１９０においてＹＥＳと判断され、基準開眼量分布が設定され直すことになる。
（４）開閉眼検出装置１は、基準開眼量分布が設定されていない場合でも、その時点で記憶されている開眼量の分布を用いて、開眼度を算出することができる。

尚、本発明は前記実施形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。

１・・・開閉眼検出装置、３・・・撮像部、５・・・顔部品検出部、
７・・・開眼量取得部、９・・・開眼度算出部、１１・・・閉眼検知部、
１３・・・警報部、１５・・・学習部、１７・・・学習継続判定部、
１９・・・算出部、２１・・・再学習判定部、１００・・・眼、
１０１・・・瞼間距離、１０３・・・上瞼、Ｓ１・・・最頻値、
Ｓ２・・・閾値

Claims

運転者の顔画像を取得する顔画像取得手段と、
前記顔画像から前記運転者の開眼量を算出する開眼量算出手段と、
前記開眼量と、所定の基準開眼量分布との対比結果に応じて、前記運転者の開眼度を算出する開眼度算出手段と、
を備える開閉眼検出装置であって、
前記開眼量を順次記憶する記憶手段と、
前記記憶手段に記憶された前記開眼量の群を、前記記憶手段に記憶された順に従って複数のグループに分け、各グループにおける開眼量の分布を算出し、その開眼量の分布の各グループ間におけるばらつきが、所定の範囲内に収まっていることを条件として、前記複数のグループに属する開眼量の分布を、前記基準開眼量分布として設定する基準開眼量分布設定手段と、
を備えることを特徴とする開閉眼検出装置。
前記基準開眼量分布設定手段により設定された前記基準開眼量分布と、その基準開眼量分布の設定後に算出された前記開眼量の分布との差が、所定値以上となったとき、前記基準開眼量分布設定手段により、前記基準開眼量分布を再設定することを特徴とする請求項１記載の開閉眼検出装置。
前記基準開眼量分布設定手段は、前記各グループにおける開眼量の最頻値を算出し、その最頻値の各グループ間におけるばらつきが、所定の範囲内に収まっていることを条件として、前記複数のグループに属する開眼量の分布を、前記基準開眼量分布として設定することを特徴とする請求項１又は２記載の開閉眼検出装置。
前記基準開眼量分布設定手段によって前記基準開眼量分布が設定されていない場合、前記開眼度算出手段は、前記記憶手段に記憶された開眼量の分布を、前記基準開眼量分布の代わりに使用することを特徴とする請求項１〜３のいずれか１項に記載の開閉眼検出装置。
前記開眼度算出手段は、前記基準開眼量分布における最頻値Ｓ１、及び前記最頻値Ｓ１を含むピークよりも小さい閾値Ｓ２に対する前記開眼量の相対的な大きさにより、前記運転者の開眼度を算出することを特徴とする請求項１〜４のいずれか１項に記載の開閉眼検出装置。