JPH1063850A

JPH1063850A - 顔画像における目の検出方法

Info

Publication number: JPH1063850A
Application number: JP8221611A
Authority: JP
Inventors: Makoto Nishida; 誠西田
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 1996-08-22
Filing date: 1996-08-22
Publication date: 1998-03-06
Anticipated expiration: 2016-08-22
Also published as: JP3422183B2

Abstract

(57)【要約】【課題】人の顔を撮影した顔画像から目を迅速に検出
する。【解決手段】顔画像から鼻穴を検出し、この鼻穴の位
置に基づき目の存在するであろう領域を特定する。この
領域内で、上下方向に明度が急峻に変化するエッジを抽
出し、このエッジの形状によって目を検出する。また、
一度検出されていた目を見失った場合、前回鼻穴が検出
されていたか、また検出されていない状況がどれぐらい
継続しているかに基づき、鼻穴および目の少なくとも一
方の探索範囲を拡げて、鼻穴・目の探索を行う。たとえ
ば、前回鼻穴が検出されていれば探索領域は小さく設定
され（領域２０ｃ）、検出されていなければ大きく設定
される（領域２０ｂ）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、人の顔を撮影して
得た顔画像における目を検出する方法に関する。

【０００２】

【従来の技術】近年、自動車など車両の運転者の居眠り
を防止する装置の開発が行われており、その一部は実用
に供されている。この居眠り運転防止装置の一例とし
て、運転者の目の動き、たとえば目の閉じている時間に
基づき居眠り状態を判定する装置がある。この場合、運
転者の目の動きを捕らえるために、運転者の顔を撮影
し、この顔の中から目を特定する必要がある。

【０００３】特開平７−１８２０１２号公報には、顔を
含む画像を２値化処理して顔領域を抽出し、この顔領域
の中にある黒画素の複数の塊どうしの相対位置および個
々の黒画素の塊の縦横比から目を特定する技術が開示さ
れている。黒画素の塊は、眉、目、鼻穴などであり、左
右の眉および目の幅より外に鼻穴は存在しない、目は眉
の下にある、などの相対位置から目の候補が選ばれ、さ
らにこの候補の縦横比から目が確定される。

【０００４】

【発明が解決しようとする課題】上記公報によれば、目
を検出するために、黒画素の塊どうしの相対位置を確認
する処理が必要であり、演算処理が複雑であるという問
題があった。また、眉、目などのうちいずれかの要素が
欠落した場合、目の検出が不可能になり、また眼鏡フレ
ームや影が黒画素の塊として存在する場合にも目の検出
が不可能になるという問題があった。

【０００５】本発明は前述の問題点を解決するためにな
されたものであり、目の検出を短時間で行い得る顔画像
における目の検出方法を供することを目的とする。

【０００６】

【課題を解決するための手段】前述の目的を達成するた
めに、本発明にかかる顔画像における目の検出方法は、
人の顔を撮影して顔画像を得る撮像ステップと、前記顔
画像から鼻穴を検出する鼻穴検出ステップと、前記鼻穴
の位置を基準に目の探索を行う領域を設定する探索領域
設定ステップと、前記探索領域内で目の検出を行う目の
検出ステップとを有している。

【０００７】この構成によれば、検出しやすい鼻穴を基
準として目の探索領域を設定しているので、目の探索領
域、すなわち目が存在する可能性の高い領域を迅速かつ
確実に特定することができる。

【０００８】また、前記目の検出は、上下方向における
明度が急峻に変化するエッジを抽出し、このエッジが略
楕円状に連続する部分を目として検出するものとするこ
とができる。または、上から下に向けて明度が急峻に低
下する負エッジと、上から下に向けて明度が急峻に上昇
する正エッジとが上下方向に隣接するエッジペアを抽出
するものとすることもできる。

【０００９】略楕円形状のエッジにより目の検出を行う
ことによって、眉、眼鏡のフレームなどの目以外の要素
を排除して、確実に目を検出することができる。また、
上下方向に隣接する負エッジと正エッジのペアを目とし
て検出する場合には、より速やかに検出をすることがで
きる。

【００１０】さらに、前記探索領域設定ステップにおい
て、二つの鼻穴の向きの変化に応じて前記探索領域の位
置が変更されるものとすることができる。これによれ
ば、運転者が首を傾げたときなどにも確実に目の検出を
行うことができる。

【００１１】さらに、前記探索領域設定ステップにおい
て、前記鼻穴検出ステップにおける鼻穴の検出の継続状
況に応じて前記探索領域の大きさが変更されるものとす
ることができる。これによれば、鼻穴の検出ができなく
なったときには、運転者の顔の位置または向きが大きく
変わった場合であり、このときには目の探索領域も大き
くすることによって、確実に目の検出を行うことができ
る。

【００１２】さらに、前記鼻穴検出ステップは、前記撮
影された顔画像を所定のしきい値によって２値化処理
し、鼻穴位置を検出するものであり、当該鼻穴位置に基
づいて目の探索を行ったときに、前記目の検出ステップ
で目を検出できなかった場合には、前記２値化処理のた
めのしきい値が変更され、再度鼻穴の検出を行うものと
することができる。これによれば、２値化処理に用いら
れるしきい値を適切な値とすることができる。

【００１３】

【発明の実施の形態】以下、本発明にかかる顔画像にお
ける目の検出方法の好適な実施の形態（以下実施形態と
記す）を図面に従って説明する。

【００１４】図１は、本発明を用いた居眠り運転防止装
置の概略構成を示すブロック図である。赤外線投光器１
０は、運転者の顔を含む領域に赤外線を放射し、電荷結
合素子（ＣＣＤ）カメラ１２で運転者の顔を含む領域を
撮影する。このＣＣＤカメラ１２のレンズの前には赤外
線波長（８７０ｎｍ付近）を中心に透過する光学フィル
タが設置されている。ＣＣＤカメラ１２で撮られた画像
は瞬き認識部１４に送られ、１回の瞬きの時間すなわち
継続して目を閉じている時間（閉眼時間）が計時され
る。居眠り判定部１６は閉眼時間の長さから居眠り状態
を判定し、居眠りを始めた場合、警報部１８により警報
を発し運転者に注意を促す。

【００１５】基本フロー図２は、本居眠り運転防止装置の、特に瞬き認識部１４
にかかる基本のフローチャートが示されている。本装置
が起動されると、運転者の目がどこにあるのかが検出さ
れる（Ｓ１００）。この初回探索のステップは、運転者
の体格、運転席の位置などにより運転者の顔の位置が大
きく変わるので、比較的広い探索領域を設定し、まず鼻
穴の検出が行われる。鼻穴と目の位置関係は、運転者に
よってそれほど変化しないので、鼻穴の位置から目があ
ると推定される領域を定め、この領域内で目の検出が行
われる。目が検出されると、このときの鼻穴の位置と、
鼻穴と目の位置関係が記憶される。

【００１６】目が検出されると、目の追跡が行われる
（Ｓ２００）。一旦、鼻穴の位置が分かってしまえば、
運転者がよほど大きな動作をしない限り、鼻穴の位置は
さほど変わらないので、鼻穴探索の領域を大幅に狭め鼻
穴の探索を行う。鼻穴が検出された場合、鼻穴と目の位
置関係より目の探索領域を定め、目の検出を行う。この
ときの、目の探索領域は、初回探索のときの領域よりも
小さくすることができる。

【００１７】そして、目が検出されれば（Ｓ３００）、
この目が閉じているか、開いているかが判断される（Ｓ
４００）。一方、目が検出されなかった場合、目を再度
発見するための再探索制御が開始される（Ｓ５００）。
この再探索においては、鼻穴を見失ってからの経過時間
に対応して異ならせたいくつかの探索領域が設定され
る。鼻穴を見失ってからの経過時間が短い場合は、鼻穴
や目の探索領域を狭めに設定し、経過時間が長くなる
と、探索領域を広めに設定する。鼻穴を見失ってから時
間があまり経過していない場合には、鼻穴や目の位置が
大きく変化していることはないと思われるので、領域を
狭くすることによって、再発見までの時間を短縮するこ
とができる。

【００１８】そして、ステップＳ２００からステップＳ
５００が繰り返され、そのたびごとに目が閉じているか
判定される。そして、この閉じた状態が連続する時間が
居眠り判定部１６により計時され、この連続時間に基づ
き居眠り状態が判定される。以下、初回探索ステップＳ
１００、追跡ステップＳ２００、瞬き判定ステップＳ４
００および再探索ステップＳ５００の詳細を説明する。

【００１９】初回探索ルーチン図３には、本装置が起動した直後の初回探索ステップＳ
１００の詳細な制御フローチャートが示されている。ま
ず、鼻穴探索領域の設定が行われる（Ｓ１０２）。初回
の探索においては、運転者の鼻穴の位置は、運転者の体
格、シート位置などによって大きく異なるので、鼻穴探
索領域２０ａは図４（ａ）に示すように、運転者の顔全
体が含まれるように設定される。次に、第１タイマが所
定の値、たとえば２分にセットされる（Ｓ１０４）。こ
の第１タイマは、後述するように、目の探索において、
２値化しきい値を変更しながら同じ領域を検索する時間
を計時するタイマである。さらに、第２タイマが所定の
値、たとえば１０分にセットされる（Ｓ１０６）。第２
タイマは、初回探索の時間を計時するタイマであり、１
０分経過しても目を発見できなかった場合は、何らかの
異常があるので運転者に警告する。なお、初回探索時に
は、運転者はまだ居眠り状態とはなっていないと考えら
れるので、充分な時間をかけて目の探索が行われる。

【００２０】次に、顔画像を２値化する際のしきい値の
設定が行われる（Ｓ１０８）。一方、代表的な鼻穴の形
状のテンプレートと顔画像との一致性を見て、一致性が
所定値を超える候補を選出する（Ｓ１１０）。そして、
選出された各候補を含む領域でステップＳ１０８で設定
したしきい値を用いて２値化処理を行い、黒領域を抽出
する（Ｓ１１２）。そして、ほぼ水平に並ぶ２つの黒領
域を鼻穴として検出する（Ｓ１１４）。このとき、鼻穴
が見付からなかったらステップＳ１０８に戻り（Ｓ１１
６）、２値化のしきい値を設定し直して（変更して）再
び鼻穴を検索する。

【００２１】ステップＳ１１６で鼻穴が検出された場合
は、当該鼻穴の位置に基づき、目の探索領域２２が設定
される（Ｓ１１８）。鼻穴の位置が分かれば目の存在す
る領域は、個人差があるもののほぼ特定できる。したが
って、目の探索領域２２は、図５（ａ）に示すようにや
や広めの領域２２ａが設定される。また、眉が目として
誤検出されないように、最初の探索領域２２ａは眉に掛
からないようやや下ぎみに設定される。

【００２２】次に、前述の目の探索領域２２ａの中で、
上下方向に明度が急峻に変化するエッジを抽出する（Ｓ
１２０）。エッジは上から下に向けて明度が急峻に低下
する負エッジと、逆に上から下に向けて明度が急峻に上
昇する正エッジがあり、目の場合、上に負エッジ、下に
正エッジとなるペアが形成される。この正負エッジのペ
アを目の候補として選出する（Ｓ１２２）。そして、こ
の選出された候補が全体として略楕円形状となっている
かが判断される（Ｓ１２４）。略楕円形状であると判断
された場合は、これが目であると決定され、鼻穴に対す
る位置が記憶され（Ｓ１２６）、このルーチンが終了す
る。

【００２３】ステップＳ１２４で正負エッジペアが略楕
円形状でない場合、第１および第２タイマをカウントダ
ウンし（Ｓ１２８）、第１タイマが０となっていなけれ
ば（Ｓ１３０）、ステップＳ１０８に戻って、２値化の
しきい値を変更して再度鼻穴の検出からやり直す。第１
タイマが０、すなわち２分が経過しても目が検出できな
いときは（Ｓ１３０）、さらに第２タイマが０であるか
が判断される（Ｓ１３２）。そして、第２タイマが０、
すなわち１０分が経過しても目が検出できない場合に
は、運転者がサングラスやマスクをしているか、カメラ
前に障害物があるためであると考えられるので、運転者
にこの旨警告し（Ｓ１３４）、フローを終了する。

【００２４】第２タイマが０となっていなければ（Ｓ１
３２）、鼻穴位置に基づき設定される目の探索領域２２
ａを上にずらす処理が行われ（Ｓ１３６）、第１タイマ
に再び２分がセットされる（Ｓ１３８）。前述したよう
に、ステップＳ１１８で設定される目の探索領域２２ａ
は、眉を検出しないように下ぎみに設定されているの
で、運転者によっては目がもっと上にある可能性があ
る。そこで、ステップＳ１３６にて探索領域を上にずら
している。少しずつ上にずらすことによって、目のみを
抽出し、眉を目として誤検出しないようにしている。

【００２５】以上の初回探索ルーチンにおいては、２値
化画像において特徴的な鼻穴を検出し、この位置を基準
にして目を検出しているので確実に目の検出を行うこと
ができる。鼻穴は、ほぼ水平に並び、ほぼ丸い２つの黒
領域として検出することができ、また個人差も少ないの
で、検出が容易である。また、鼻穴と目の位置関係も、
鼻穴右斜め上には左目があるなどと、ある程度特定でき
るので、この位置関係を持って目の探索領域を精度よく
特定することができる。

【００２６】さらに、目の検出は、２値化処理を行わず
エッジ検出により行っている。これは、照明や車室外か
らの光の影響を受けてもエッジは残るので、確実に検出
ができるためである。このエッジ検出そのものは、やや
処理時間が長くなるが、前述のように鼻穴位置から目の
検索領域を限定しているので、全体としても処理時間に
大きな影響を与えることはない。

【００２７】また、ステップＳ１０８で設定している２
値化処理に用いられるしきい値は、目の検出をもって、
その値が適切であったかの判定がなされる。すなわち、
ある鼻穴の候補に対して目が検出されなければ、この候
補は鼻穴ではなかったと判断される。したがって、しき
い値を変更して初回探索を行い、目が検出できたときの
しきい値を採用することにより、適切なしきい値を設定
することができる。よって、しきい値が不適切で眼鏡の
縁や目を鼻穴と誤認することは、最終的には防止するこ
とができる。

【００２８】追跡ルーチン図６には、初回探索ステップＳ１００に続いて行われる
追跡ステップＳ２００の詳細なフローチャートが示され
ている。初回探索で鼻穴および目が検出されると、これ
らを追跡するルーチンが開始される。前回の探索におい
て、検出された鼻穴の位置に基づき、この周囲に所定の
大きさの鼻穴探索領域２０を設定する（Ｓ２０２）。こ
の領域は、図４（ｃ）に示されるように、鼻を含む横長
の長方形の領域である。この領域２０ｃは、前述の初回
探索のときの領域２０ａより小さく、また後述する再探
索時の第２のモードの領域２０ｂより小さく設定されて
いる。これは、前回鼻穴が検出されているのであれば、
今回それほど大きな範囲を探索しなくても鼻穴を検出す
ることができるはず、という前提に基づいている。ま
た、探索領域２０ｃを横に広く設定しているのは、運転
中の動作において、首を横に振る動作の方が縦に振る動
作より早いので、横方向に広めに領域を採って、鼻穴の
横の動きに対応するためである。

【００２９】そして、この鼻穴探索領域２０ｃ内を２値
化処理し、黒領域を抽出する（Ｓ２０４）。そして、ほ
ぼ水平に並ぶ２つの黒領域を鼻穴として検出する（Ｓ２
０６）。鼻穴が検出されなかったならば（Ｓ２０８）、
追跡ルーチンを終了する。鼻穴が検出された場合、前回
の鼻穴と目の位置関係より目の探索領域２２ｂの設定を
行う（Ｓ２１０）。この探索領域２２ｂは、図５（ｂ）
に示されるように、目の大きさよりやや大きく、初回探
索時の領域２２ａよりやや小さい。これは前回の探索に
おいて、鼻穴と目の位置関係が分かっていること、そし
て前回の鼻穴位置が分かっているので目の位置は、かな
り正確に特定できるからである。そして、この探索領域
２２ｂ内で、初回探索と同様に、エッジの抽出を行う
（Ｓ２１２）。さらに、正負のエッジが上下方向に隣接
しているエッジペアを探し（Ｓ２１４）、このエッジペ
アがあればこの位置および鼻穴の位置を記憶する（Ｓ２
１８）。エッジペアがなければ（Ｓ２１６）、追跡ルー
チンを終了する。

【００３０】以上、追跡ルーチンでは、前回の鼻穴位置
も目の位置およびこれらの関係も分かっているので、鼻
穴および目の探索領域２０ｃ，２２ｂを初回探索時の領
域２０ａ，２２ａより小さく設定することができる。初
回探索時には、前述のように確実に鼻穴および目を検出
することが重要であったが、追跡時には速やかに目を検
出することが要求される。本装置においては、閉眼状態
の連続時間をもって居眠り判定を行っているので、追跡
に時間がかかると、この判定が不正確または不可能にな
ってしまう。そこで、速やかに目の検出を行うために、
まず２値化画像で最も特徴的な鼻穴の検出を行い、この
鼻穴を基準に目の探索領域２２ｂを絞り込んでいる。そ
して、処理時間が長くなりがちなエッジ検出の時間の短
縮を図っている。

【００３１】瞬き判定ルーチン図７には、瞬き判定ステップＳ４００の制御フローチャ
ートが示されている。追跡ステップＳ２００において検
出された目のエッジペアが読み出され（Ｓ４０２）、こ
の各々のペアの上下方向の距離の最大値をそのときの目
の開度とする（Ｓ４０４）。そして、この目の開度が所
定のしきい値と比較され（Ｓ４０６）、しきい値未満の
場合は閉眼状態と判定され（Ｓ４０８）、しきい値以上
である場合は、開眼状態と判定される（Ｓ４１０）。こ
の開眼・閉眼の判定は、前述の居眠り判定部１６に送ら
れ、ここで居眠り判定が行われる。

【００３２】再探索ルーチン図８には、再探索ステップＳ５００の制御フローチャー
トが示されている。追跡ステップＳ２００で、鼻穴また
は目が検出できなかったとき、速やかに鼻穴や目を発見
して居眠り判定に支障がないようにしなければならな
い。したがって、初回探索ルーチンを用いて再度鼻穴や
目の検出を行うわけにはいかない。初回探索ルーチン
は、前述のように時間がかかっても確実に鼻穴および目
の検出を行うのが目的のルーチンであり、短時間で再発
見をするには不向きである。言い換えれば、再探索ルー
チンを別途設けることによって、初回探索ルーチンに時
間をかけて確実に鼻穴および目の探索を行う。また、再
探索ルーチンにおいては、鼻穴の探索領域と目の探索領
域の設定の違いにより、３種類の探索モードを有してお
り、適切なモードを選択することにより、より早く、よ
り正確に鼻穴および目の発見がなされるようにしてい
る。

【００３３】第１の再探索モードは、前回の追跡モード
で鼻穴が検出されているが、目が検出されなかった場合
に対応するモードである。このモードは、鼻穴が検出さ
れているので顔の動きはそれほど大きくない場合のもの
であり、主に照明の条件などにより瞬間的に目を検出す
ることができなかった場合に対応している。したがっ
て、鼻穴や目の探索領域も追跡ルーチンのときに用いら
れた狭い領域、図４（ｃ）および図５（ｂ）の領域２０
ｃ，２２ｂが用いられる。

【００３４】第２の再探索モードは、前回の追跡モード
で鼻穴が検出されなかった場合に対応するモードであ
る。このときには顔が動いている可能性が高く、鼻穴や
目の探索領域は、追跡ルーチンの場合より大きく設定さ
れる。すなわち、図４（ｂ）に示されるように、第２再
探索モード時の鼻穴の探索領域２０ｂは、第１再探索モ
ードの領域２０ｃより大きい。しかし、初回探索時の領
域２０ａよりは小さい。また、図５（ａ）に示されるよ
うに、第２再探索モード時の目の探索領域２２ａは、第
１再探索モードの領域２２ｂより大きく、また初回探索
時の領域と同じ大きさである。

【００３５】第３の再探索モードは、第１再探索モード
において所定時間探索したにもかかわらず、目を発見で
きなかった場合に対応するモードである。この場合、鼻
穴の探索領域は、第１再探索モードと同様の領域２０ｃ
に設定され、目の探索領域のみ拡大し、第２再探索モー
ドと同様の領域２２ａに設定される。

【００３６】再探索ルーチンが開始されると、車体に設
置された加速度センサより上下方向の加速度が読み込ま
れ（Ｓ５０２）、上下方向加速度が予め定められたしき
い値と比較され（Ｓ５０４）、しきい値以下であると判
断された場合、さらに前回の追跡ルーチンにおいて、鼻
穴が検出されたかが判断される（Ｓ５０６）。そして、
鼻穴があった場合、すなわち前回追跡ルーチンで鼻穴は
検出されたにもかかわらず、ステップＳ２１６で目（エ
ッジペア）が検出できなかった場合は、第１再探索モー
ドが設定される（Ｓ５０８）。そして、第１再探索モー
ドタイマがセットされる（Ｓ５１０）。このときのセッ
ト時間は、第１再探索モードから第３探索モードに移行
する時間であり、運転者の意識レベルに応じて変えられ
る。運転者の動作は覚醒状態では早く、意識レベルの低
下に伴って遅くなるので、意識レベルの低下している場
合は、タイマの設定時間を長くとっても鼻穴を見失う可
能性は低い。第１再探索モードタイマのセット時間は、
通常の意識レベルにおいてはたとえば２００ｍ秒に設定
される。

【００３７】一方、ステップＳ５０４で車体の上下方向
の加速度が所定のしきい値より大きい場合、および前回
の追跡ルーチンにおいて鼻穴が検出されなかった場合
は、第２の再探索モードが設定される（Ｓ５１２）。

【００３８】ステップＳ５１０，Ｓ５１２において、第
１または第２再探索モードが設定されると、次に設定さ
れている再探索モードが第２探索モードであるかが判断
される（Ｓ５１４）。第２再探索モードでない場合、前
回の鼻穴位置を中心に鼻穴探索領域２０ｃが設定される
（Ｓ５１６）。この領域２０ｃは、前述のように追跡ル
ーチンの鼻穴探索領域と同じものである。そして、この
領域内で２値化処理を行い黒領域を抽出する（Ｓ５１
８）。

【００３９】一方、ステップＳ５１４にて第２再探索モ
ードであると判断された場合は、初回探索において、検
出された鼻穴の位置を中心に鼻穴探索領域２０ｂを設定
する（Ｓ５２０）。この領域２０ｂは、前述のように、
追跡ルーチンや第１再探索モード時の領域２０ｃに対し
てやや大きく、初回探索時に比べて小さく設定されてい
る。そして、この領域２０ｂ内で、テンプレートマッチ
ングにより鼻穴の候補を選出し（Ｓ５２２）、各候補に
おいて２値化処理を行い黒領域の抽出を行う（Ｓ５２
４）。この２値化処理時のしきい値は、初回探索ルーチ
ンにおいて、目が発見できたときの値を用いており、適
切な値を用いて２値化処理を行うことができる。

【００４０】そして、ステップＳ５１８，Ｓ５２４で抽
出された黒領域のうち、ほぼ水平に並ぶ二つの黒領域を
鼻穴として選定する（Ｓ５２６）。このとき、鼻穴を選
定することができなかった場合（Ｓ５２８）、第２探索
モードが設定され（Ｓ５３０）、ステップＳ５１４に戻
る。一方、ステップＳ５２８で鼻穴ありと判断された場
合、第１再探索モードが設定されているかが判断される
（Ｓ５３２）。第１再探索モードが設定されていれば、
目の探索領域を領域２２ｂすなわち小さい領域に設定す
る（Ｓ５３４）。また、第１探索モード以外が設定され
ている場合、領域２２ａすなわち大きい領域に設定する
（Ｓ５３６）。よって、後述する第３再探索モードが設
定されている場合は、ステップＳ５３６において領域２
２ａに設定される。

【００４１】ステップＳ５３４，Ｓ５３６にて目の探索
領域が設定されると、初回探索ルーチンのステップＳ１
２０と同様にエッジ抽出が行われる（Ｓ５３８）。そし
て、第１探索モードの場合は（Ｓ５４０）、追跡ルーチ
ンのステップＳ２１４〜Ｓ２１８と同様に、正負のエッ
ジペアを探索して（Ｓ５４２）、エッジペアがあった場
合（Ｓ５４４）これの位置および鼻穴の位置を記憶する
（Ｓ５４６）。一方、ステップＳ５４０で第１再探索モ
ード以外のモードが設定されていると判断された場合、
初回探索ルーチンのステップＳ１２２〜Ｓ１２６と同様
に、正負のエッジペアが目の候補として選出され（Ｓ５
４８）、これらの候補が楕円形状に配列している場合
（Ｓ５５０）、この候補が目として検出され、その位置
および鼻穴の位置が記憶される（Ｓ５５２）。以上、ス
テップＳ５４６，Ｓ５５２において鼻穴および目の位置
が検出されると、本ルーチンは終了する。

【００４２】一方、目が検出されなかった場合は、さら
に探索が続けられる。ステップＳ５４４において、エッ
ジペアがないと判断された場合、第１再探索モードタイ
マをカウントダウンし（Ｓ５５４）、このタイマが０と
なっているかが判断される（Ｓ５５６）。そして、タイ
マが０でない場合は、そのままステップＳ５１４に戻っ
て再度第１再探索モードで探索が行われる。タイマが０
となっていれば、第３探索モードが設定される（Ｓ５５
８）。第３再探索モードは、鼻穴が検出されているにも
かかわらず、第１探索モードで所定時間内に目が発見で
きなかったとき、目の探索領域を拡げるものであり、こ
れによって目を検出する可能性が高くなる。第３再探索
モード設定後、ステップＳ５１４に戻り再び探索が行わ
れる。また、第１再探索モード以外のモードで目が検出
できなかった場合は、ステップＳ５５０からステップＳ
５１４に戻り、再探索が行われる。

【００４３】以上のように、再探索ルーチンにおいて
は、前回まで鼻穴が検出されているか、また鼻穴が検出
されていても目が検出されない時間がどの程度継続して
いるかによって、鼻穴および目の探索領域の大きさを変
えている。これによって、顔が大きくは動いていないと
考えられる時には、探索領域を絞り込んで短時間で再発
見ができるようにし、一方、顔が大きく動いていると考
えられるときには、探索領域を拡げて発見確率を増して
いる。また、初回探索時と独立した再探索ルーチンを設
けることによって、再探索時の目の発見までに要する時
間を短縮することができる。

【００４４】顔が傾いたときの目の位置の推定本実施形態においては、鼻穴の位置に基づき目の位置を
推定し、この推定された位置を中心に目の探索領域を設
定しているが、特に運転者が顔を傾けたときの目の位置
の推定方法について以下に説明する。

【００４５】図９には、顔が傾いたときの鼻穴の位置と
目の位置の関係が示されている。水平状態（ａ）におい
て、二つの鼻穴の中点Ｎ₀（Ｘ_N0，Ｙ_N0）に対して目の
位置Ｅ₀（Ｘ_E0，Ｙ_E0）は、距離ｒで方向θ₀にある。
このとき、距離ｒ、方向θ₀は、次の式で表される。

【数１】ｒ＝｛（Ｘ_E0−Ｘ_N0）²＋（Ｙ_E0−Ｙ_N0）²｝^1/2 θ₀＝ｔａｎ^-1｛（Ｙ_N0−Ｙ_E0）／（Ｘ_E0−Ｘ_N0）｝顔が傾いた場合、（ｂ）に示すように、二つの鼻穴の配
列の向きが水平からややずれる。この場合、鼻穴位置Ｎ
₀が変化しなくても、目の位置がずれる。二つの鼻穴の
方向が水平から角度δずれたとすれば、鼻穴位置Ｎ
₁（Ｘ_N1，Ｙ_N1）と目の位置Ｅ₁（Ｘ_E1，Ｙ_E1）は次式
で示される関係となる。

【数２】Ｘ_E1＝Ｘ_N1＋ｒ・ｃｏｓ（θ₀−δ）Ｙ_E1＝Ｙ_N1−ｒ・ｓｉｎ（θ₀−δ）目の位置を上式のように推定し、ここを中心に目の探索
領域を設定することによって、より確実に目を検出する
ことができる。

【図面の簡単な説明】

【図１】本発明にかかる実施形態である居眠り運転防
止装置の概略構成を示すブロック図である。

【図２】本実施形態の瞬き判定および目を検出するた
めの基本となる制御フローチャートである。

【図３】本実施形態の初回の目探索ルーチンの制御フ
ローチャートである。

【図４】鼻穴の探索領域を示す図である。

【図５】目の探索領域を示す図である。

【図６】本実施形態の追跡ルーチンの制御フローチャ
ートである。

【図７】本実施形態の瞬き判定ルーチンの制御フロー
チャートである。

【図８】本実施形態の再探索ルーチンの制御フローチ
ャートである。

【図９】本実施形態において、顔が傾いた場合の目の
位置の推定を説明するための図である。

【符号の説明】

１０赤外線投光器、１２ＣＣＤカメラ、１４瞬き
認識部、１６居眠り判定部、１８警報部。

【手続補正書】

【提出日】平成８年９月１２日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】０００３

【補正方法】変更

【補正内容】

【０００３】特開平７−１８１０１２号公報には、顔を
含む画像を２値化処理して顔領域を抽出し、この顔領域
の中にある黒画素の複数の塊どうしの相対位置および個
々の黒画素の塊の縦横比から目を特定する技術が開示さ
れている。黒画素の塊は、眉、目、鼻穴などであり、左
右の眉および目の幅より外に鼻穴は存在しない、目は眉
の下にある、などの相対位置から目の候補が選ばれ、さ
らにこの候補の縦横比から目が確定される。

Claims

【特許請求の範囲】

【請求項１】人の顔を撮影して顔画像を得る撮像ステ
ップと、前記顔画像から鼻穴を検出する鼻穴検出ステッ
プと、前記鼻穴の位置を基準に目の探索を行う領域を設
定する探索領域設定ステップと、前記探索領域内で目の
検出を行う目の検出ステップと、を有する顔画像におけ
る目の検出方法。
【請求項２】請求項１記載の顔画像における目の検出
方法において、前記目の検出は、上下方向における明度
が急峻に変化するエッジを抽出し、このエッジが略楕円
状に連続する部分を目として検出するものである、顔画
像における目の検出方法。
【請求項３】請求項１記載の顔画像における目の検出
方法において、前記目の位置検出は、上から下に向けて
明度が急峻に低下する負エッジと、上から下に向けて明
度が急峻に上昇する正エッジとが上下方向に隣接するエ
ッジペアを抽出するものである、顔画像における目の検
出方法。
【請求項４】請求項１から３のいずれかに記載の顔画
像における目の検出方法において、前記探索領域設定ス
テップでは、二つの鼻穴の配列の向きの変化に応じて前
記探索領域の位置が変更される、顔画像における目の検
出方法。
【請求項５】請求項１から４のいずれかに記載の顔画
像における目の検出方法において、前記探索領域設定ス
テップでは、前記鼻穴検出ステップにおける鼻穴の検出
の継続状況に応じて前記探索領域の大きさが変更され
る、顔画像における目の検出方法。
【請求項６】請求項１から５のいずれかに記載の顔画
像における目の検出方法において、前記鼻穴検出ステッ
プは、前記撮影された顔画像を所定のしきい値によって
２値化処理し、鼻穴を検出するものであり、当該鼻穴の
位置に基づいて目の探索を行ったときに、前記目の検出
ステップで目を検出できなかった場合には、前記２値化
処理のためのしきい値が変更され、再度鼻穴の検出を行
う、顔画像における目の検出方法。