JPH06262958A - 開口を開閉する運動体の閉じ検出装置 - Google Patents

Abstract

(57)【要約】 【目的】 検知精度を高くする。個体差による検知精度
の低下を改善する。 【構成】 ドライバの顔を撮影する２次元撮像手段
(3)；該２次元撮像手段(3)が撮影した画像上の、両眼を
検出する開口検出手段(6,8)；開口検出手段(6,8)が検出
した各眼の各開度(W1,W2)を算出する開度演算手段(6,
8)；開度演算手段(6,8)が算出した開度(W1,W2)の積(W=W
1×W2)を生成する開度情報演算手段(6,8)；該積(W=W1×
W2)の、短い時間区間(0.1sec)の第１平均値(W3)および
長い時間区間(1sec)の第２平均値(W30)を算出する平均
値演算手段(6,8)；および、第２平均値(W30)に対する第
１平均値(W3)の割合い(W3/W30)が設定値(0.7)未満にな
ると閉検知情報(F=1)を生成する閉検知手段(6,8)を備え
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、２次元撮像装置の前方
の特定物を、撮影画像上で検出する画像認識に関し、特
に、少くとも２以上の実質上同形の開口と各開口をそれ
ぞれが開閉する少くとも２以上の運動体を含むものの、
該運動体の閉じを検出する装置に関する。

【０００２】

【従来の技術】例えば、特公平３−１４６５６号公報に
は、ドライバ（運転者）の居眠り運転防止のために、ド
ライバの目に赤外線を照射しその反射光を検出し、反射
光検出値に基づいてまばたきを判定し、まばたき頻度に
基づいてドライバの居眠りを検知する技術が提示されて
いる。また、特公平４−２８４号公報には、車両上ドラ
イバ（運転者）の顔をカメラで撮影し、撮影画像上にお
いて目および口を認識する技術が開示されている。ドラ
イバの顔部を照明する照明灯の明るさは、画像デ−タに
基づいて目および口を認識するのに最適に調整される。
画像データはフレームメモリに格納されると共に、２値
化される。２値データに基づいてドライバの目および口
が検出される。目の閉じ時間が長いと、ドライバが居眠
りをしていると見なして警報が発っせられる。

【０００３】

【発明が解決しようとする課題】特公平３−１４６５６
号公報に提示の居眠り警報装置は、めがねに装備されて
おり、ドライバは該めがねを掛けなければならない。特
公平４−２８４号公報の居眠り警報装置は、ドライバに
特別なものを付ける必要はなく、ドライバの顔をビデオ
カメラで撮影し、撮影画像上で目を検出および追跡し
て、目の開度（開，閉）を算出し、開度に基づいて目を
閉じているか否かを判定するが、目（上瞼と下瞼の間の
目空間）の大きさ（開き）に大きな個人差があり、例え
ば、どんぐり目は開きが大きく、これに合せて閉眼検知
用の開度閾値を設定すると、きれ長の非常に細い目は、
それが開いていても閉眼と検出してしまう。その結果、
不特定多数に対しては閉眼検知精度が低く、個人宛てに
閉眼検知用の開度閾値を設定せざるを得ない。すなわち
汎用性が低い。

【０００４】本発明は、検知精度を高くすることを第１
の目的とし、個体差による検知精度の低下を改善するこ
とを第２の目的とする。

【０００５】

【課題を解決するための手段】本発明の閉じ検出装置
は、少くとも２以上の実質上同形の開口と各開口をそれ
ぞれが開閉する少くとも２以上の運動体を含むものを撮
影する２次元撮像手段(3)；該２次元撮像手段(3)が撮影
した画像上の、各開口を検出する開口検出手段(6,8)；
開口検出手段(6,8)が検出した各開口の各開度(W1,W2)を
算出する開度演算手段(6,8)；開度演算手段(6,8)が算出
した各開度(W1,W2)によって定まり、各開度(W1,W2)が大
きい程大きい値の開度情報(W=W1×W2)を生成する開度情
報演算手段(6,8)；該開度情報(W=W1×W2)の、比較的に
短い時間区間(0.1sec)の第１平均値(W3)および比較的に
長い時間区間(1sec)の第２平均値(W30)を算出する平均
値演算手段(6,8)；および、第２平均値(W30)に対する第
１平均値(W3)の割合い(W3/W30)が設定値(0.7)未満にな
ると閉検知情報(F=1)を生成する閉検知手段(6,8)を備え
る。なお、カッコ内の記号は、図面に示し後述する実施
例の対応要素又は対応事項に付したものである。

【０００６】

【作用】開度情報演算手段(6,8)が生成する開度情報(W=
W1×W2)は、各開度(W1,W2)の一方(W1)を他方で増幅した
ものとなるので、開度情報(W=W1×W2)は各開度(W1,W2)
を強調した値となり、各(W1,W2)の比較的に小さな変化
に対して大きな変化を示す。したがってこの開度情報(W
=W1×W2)に基づいた閉じているか否かの判定の精度が向
上する。ところで例えば眼のまばたきのように、開口
(上瞼と下瞼の間)を開閉する運動体(上瞼)の一往復動が
速く、その繰返し周期(実質上開いている時間)が長い場
合、開度情報(W=W1×W2;開度W1,W2でも同様)の、比較的
に長い時間区間(1sec)の第２平均値(W30)は、開口が開
いているときの開度の重みがきわめて高く、大略、開口
が開いているときの開度情報に対応する。これに対し
て、比較的に短い時間区間(0.1sec)の第１平均値(W3)
は、いわゆる瞬時値であるので、この値は、開口が開い
ているときには第２平均値(W30)に極く近い値となる
が、まばたきの閉期間のときには、第２平均値(W30)よ
り極めて小さい値となる。したがって、第２平均値(W3
0)に対する第１平均値(W3)の割合い(W3/W30)は、第１平
均値(W3)が目を開いているときのものであると大きく
（１に近く）、まばたきの閉のときのものであると小さ
い（０に近い）。この割合い(W3/W30)は個人差が小さ
く、また、覚醒時と眠気時とではまばたきの速度（往復
動速度）および頻度（単位時間当りのまばたき回数）が
変化するが、上述の割合い(W3/W30)の変化は少い。した
がって、閉検知手段(6,8)が生成する閉検知情報(F=1)の
信頼性が高い。すなわち、個人差による検出エラ−が少
くなり、また同一人に関しての時間経過に伴なう検出精
度の変動が少くなる。

【０００７】本発明の他の目的および特徴は、図面を参
照した以下の実施例の説明より明らかになろう。

【０００８】

【実施例】図１に、一実施例の構成を示す。この実施例
は車両上ドライバの顔を撮影して撮像画像中の目を検出
し、時系列で目を追跡して、目の開，閉を認識し、所定
時間以上継続して目が閉じられている(居眠り)とブザー
５を付勢するものである。ＣＣＤカメラ３およびドライ
バの少なくとも顔部を照明する照明灯４は、図２に示す
ように、一体に構成されてインスツルメントパネル２
に、上下および左右に指向方向を調整自在に固着されて
いる。ＣＣＤカメラ３の側面には警報を発生するブザー
５およびブザー５の警報を止めるストップスイッチＳＳ
Ｗが設けられている。照明灯４は、発光ダイオードから
構成される赤外線照明であり、ＣＣＤカメラ３は赤外線
領域における感度を有している。赤外線照明は、普通光
による照明と異なりドライバにまぶしさを与えることが
ないのでドライバの前方視認をむつかしくすることがな
い。したがって照明灯４は常時点灯してもよい。図２に
おいて、符号１は車両の走行方向制御のためドライバが
操作するステアリングホイールである。

【０００９】再度図１を参照する。ブザー５はブザーコ
ントローラ１９によりオン／オフ付勢される。このブザ
ー５は後述するように、ドライバが目を閉じた状態が所
定時間以上継続すると（居眠りと見なして）付勢され
る。また照明灯４は赤外線ランプコントローラ１８によ
り点灯付勢される。ブザーコントローラ１９，赤外線ラ
ンプコントローラ１８，その他出力（ラジオ，エアコ
ン，ワイパ，ヘッドライト等を制御するコントローラ）
には、マイクロプロセッサ６が、インターフェイス１３
を介してオン／オフ指示信号等を与える。

【００１０】ＣＣＤカメラ３は、２次元ＣＣＤを備える
ものであり、このＣＣＤカメラ３に、インターフェイス
１６を介して、マイクロプロセッサ６が、オン／オフ信
号を与える。ＣＣＤカメラ３は、撮影した映像信号（ビ
デオ信号：アナログ）を繰り返してＡ／Ｄコンバータ１
７に出力すると共に、画素同期パルスをＡ／Ｄコンバー
タ１７にＡ／Ｄ変換同期パルスとして与えると共に、フ
レーム同期パルス，ライン同期パルスおよび画素同期パ
ルスをインターフェイス１６を介してマイクロプロセッ
サ６に与える。

【００１１】マイクロプロセッサ６は、画像データの１
フレーム分を読込むときには、フレーム同期パルスに同
期してフレームメモリ（ＲＡＭ）１２に書込みを指示
し、ライン同期パルスおよび画素同期パルスに同期して
フレームメモリ１２の書込アドレスを進める。フレーム
メモリ１２には、この例ではＣＣＤカメラ３が１画面を
横５１２画素，縦４８５画素分割で撮影するので、５１
２×４８５画素分の２５６階調の画像デ−タを記憶しう
る画像メモリを使用する。

【００１２】Ａ／Ｄコンバータ１７は、ビデオ信号を８
ビット（２５６階調）のデジタルデータに変換する。す
なわち、フレームメモリ１２に書込まれる画像データ
は、一画素（以下ドット）当り８ビット（２５６階調）
の、明るさを示すデ−タである。したがってマイクロプ
ロセッサ６はフレームメモリ１２の値を読み出すこと
で、画面上の任意の位置の明るさを知ることができる。

【００１３】マイクロプロセッサ６には、各種画像処理
および判定用の演算を行うためにもう１つのマイクロプ
ロセッサ８が接続されており、また通常のコンピュータ
システム制御用のＲＯＭ９およびＲＡＭ１０，バスコン
トローラ１５および前述のフレームメモリ１２が接続さ
れている。

【００１４】図３に、マイクロプロセッサ６および８の
動作の概要（メインルーチン）を示し、動作の詳細（サ
ブルーチン）を図４〜図１５に示す。以下これらの図面
を参照して、設定されたプログラムに基づいたマイクロ
プロセッサ６および８の制御動作を説明する。

【００１５】まず動作の概要を図３を参照して説明す
る。電源が投入されるとマイクロプロセッサ６は、初期
化を行う（ステップ１：以下カッコ内ではステップとい
う語を省略する）。これにおいては、入出力ポートを初
期化して、内部レジスタ，フラグ等をクリアし、ＣＣＤ
カメラ３および赤外線ランプコントローラ１８にオンを
示す付勢信号を与え、ブザーコントローラ１９にオフを
示す信号を与える。またマイクロプロセッサ６は、図１
６に示すように、フレームメモリ１２に書込む画像デ−
タの一画面分布に対して、画面の中央付近に横２５個，
縦１７個，の総計４２５個の注目点（カーソル）を縦，
横１５ドット間隔で配置する。この間隔は、画面上で人
の目の大きさがどの程度になるかによって変わるが、図
１７に示すように、ＣＣＤカメラ３の撮影画面上で１つ
の目の縦方向の最大幅は３０ドット，横方向は４０〜５
０ドットであるため、１つの目の領域に少くとも１個の
注目点が存在するように、本実施例では１５ドット間隔
としている。図１６のように、フレームメモリ１２に書
込まれる画像の横方向をｘ軸，縦方向をｙ軸とした場合
（画像の左上端座標（０，０），右下端座標（５１１，
４８４））、４２５個の注目点の左上端座標を（６８，
２００），右下端座標を（４２８，４４０）となるよう
注目点を配置し、その座標データ（Ｘ_m，Ｙ_n）を、図１
８に示すような、ＲＡＭ(メモリ)１０（図１）のメモリ
テーブルのアドレスＡ_nmに書込む。

【００１６】ただし、Ｘ_m＝６８＋１５（ｍ−１）；１
≦ｍ≦２５， Ｙ_n＝２００＋１５（ｎ−１）；１≦ｎ≦１７，であ
る。

【００１７】そして初期化から所定時間（照明ランプ４
の明るさが安定し、ドライバの顔が運転時の位置に静止
するのを待っ時間）の後、ＣＣＤカメラ３からのフレー
ム同期パルスに同期して、１フレーム分の画像データ
の、フレームメモリ１２への書込みを開始し、１フレー
ム分の画像データ（１ドット当り８ビットの多階調デー
タ）をメモリ１２に書込む（２）。

【００１８】次にマイクロプロセッサ６は、各々の注目
点を中心とした小領域を設定し、該領域内で最も暗い点
に注目点の座標を更新する（３）。この操作を４２５個
の注目点のすべてについて行う。この内容は、図４を参
照して後述する。

【００１９】次にマイクロプロセッサ６は、座標更新後
の注目点について、周辺に他の注目点が存在しない孤立
点を消去したり、ある注目点の近傍の他の注目点を１つ
にまとめる処理等を行い、最終的に注目点の数Ｎが人の
目の数，すなわち注目点が２個であるか否かの判定を行
う（４）。この内容は、図５〜１２を参照して後述す
る。最終的に注目点の数Ｎが２でない場合には、ステッ
プ２に戻る。

【００２０】注目点が２個であれば、注目点の座標は人
の両目の位置を示すものとみなして、毎フレームをメモ
リ１２に書込むごとに該注目点を追跡して、時系列的に
両目の開閉状態を検知してドライバが居眠り，あるいは
脇見をしているか否かの判断を行う（５）。この内容は
図１３および図１４を参照して後述する。追跡処理中
に、追跡不能となるとステップ１の初期化に戻る。

【００２１】図４を参照して、「小領域での暗点検出」
（３）の内容を説明する。これは、注目点を中心に縦横
方向に±１０ドット範囲の小領域を設定し、小領域内で
一番暗い点を示す座標に注目点の座標を更新する処理で
ある。

【００２２】まず、マイクロプロセッサ６はレジスタ
ｍ，ｎに１をセットし（３１）、図１８に示すメモリの
アドレスＡ_nmの座標データＸ_m，Ｙ_nを読み出す（３
２）。最初はアドレスＡ₁₁の座標データＸ₁，Ｙ₁が読み
出される。次にレジスタｘ₁にＸ_m−１０をｙ₁にＹ_n−１
０をセットして小領域の左上端の座標を設定し（３
３）、レジスタｘ₂にＸ_m＋１０をｙ₂にＹ_n＋１０をセッ
トして小領域の右下端の座標を設定する（３４）。そし
て、領域，ｘ₁≦ｘ≦ｘ₂＆ｙ₁≦ｙ≦ｙ₂内においてフレ
ームメモリ１２のデータを読み出して明るさ値の最も暗
い点を検出し、その座標をメモリのアドレスＡ_nmに更新
メモリする（３５）。次に、レジスタｍを１インクレメ
ント（３６）し、ステップ３７でｍの値が２５より大き
くなるまではステップ３２〜３６の処理を繰り返す。す
なわち、これにより２５個の注目点の座標（Ｘ₁，
Ｙ₁），（Ｘ₂，Ｙ₁），・・，（Ｘ₂₅，Ｙ₁）が更新され
る。レジスタｍが２５より大きくなると（３７）、ｍの
値を１にセットしレジスタｎを１インクレメントし（３
８）、ステップ３９でｎの値が１７より大きくなるまで
はステップ３２〜３８の処理を繰り返す。これにより注
目点の座標（Ｘ₁，Ｙ₂），（Ｘ₂，Ｙ₂），・・，
（Ｘ₂₅，Ｙ₂），（Ｘ₁，Ｙ₃），（Ｘ₂，Ｙ₃），・・，
（Ｘ₂₅，Ｙ₃），・・・が更新され、総計４２５個の注
目点の座標が更新されると（ステップ３９でＹＥＳ）リ
ターンする。これにより、初期化で等間隔で配置された
注目点は人の目，眉や髪の毛等、暗い部分に移動する。

【００２３】図５を参照して、「判定」（４）の制御動
作を説明する。判定では、黒目には複数の注目点が集ま
っているので孤立点を削除する、「孤立点の削除」（４
１），注目点の周辺に複数の注目点がある場合に一つの
注目点に統合する、「注目点近傍の他注目点の削除」
（４２），注目点を中心とする縦方向と横方向の平均階
調を比較して縦階調の方が暗い注目点を削除する、「十
字階調差による削除」（４３），予め検出した目のテン
プレート画像との比較を行って比較誤差の大きい注目点
を削除する、「テンプレートマッチングによる削除」
（４４），注目点を中心とする右上斜め方向と左上斜め
方向の平均階調を比較して比較誤差の大きい注目点を削
除する、「斜め方向階調差による削除」（４５），残存
する注目点をステップ３と同様の処理により小領域内で
最暗点に移動させる、「小領域での暗点検出」（４
６），互いに位置の近い注目点を統合する、「近傍注目
点の統合」（４７），の処理を行い、最終的に残存する
注目点の数Ｎが両目に対応して２であるか否かを判定す
る、「注目点数の判定」（４８）を実行する。

【００２４】図６を参照して、「孤立点の削除」（４
１）の制御動作を更に詳細に説明する。まず、マイクロ
プロセッサ６はレジスタｍ₁，ｎ₁に１をセットし(410
1)、レジスタｍ₁，ｎ₁の値をレジスタｍ，ｎにセットし
て(4102)、メモリのアドレスＡ_nmの座標データＸ_m，Ｙ_n
を読み出す(4103)。ｍ₁，ｎ₁は注目点を示すレジスタで
ある。最初はアドレスＡ₁₁の座標データＸ₁，Ｙ₁が読み
出される。次にレジスタｘ₁にＸ_m−１０をｙ₁にＹ_n−１
０をセットして他の注目点の存在の有無を検出する領域
の左上端の座標を設定し（4104）、レジスタｘ₂にＸ_m＋
１０をｙ₂にＹ_n＋１０をセットして検出領域の右下端の
座標を設定する（4105）。

【００２５】次に、レジスタｍ₂，ｎ₂に１をセットする
(4106)。レジスタｍ₂，ｎ₂はｍ₁，ｎ₁で示す注目点に対
する他の注目点を示すレジスタである。次にｍ₁＝ｍ₂＆
ｎ₁＝ｎ₂であるか、すなわち注目点と他の注目点とが同
一のものであるか否かをチェックする（4107）。同一の
ものであれば、孤立点の削除の必要はないため後述する
ステップ4112に進むが、同一でなければレジスタｍ，ｎ
にｍ₂，ｎ₂をセットし(4108)、メモリのアドレスＡ_nmに
データが存在するか否かをチェックし(4109)、データが
なければステップ4112に進むが、データが有ればその座
標データＸ_m，Ｙ_nを読み出す(4110)。最初は、レジスタ
ｍ₁，ｎ₁およびｍ₂，ｎ₂には１がセットされるためステ
ップ4112に進みｍ₂が１インクレメントされ、ステップ4
107に戻るので、注目点としてアドレスＡ₁₁の座標デー
タＸ₁，Ｙ₁と、他の注目点としてアドレスＡ₂₁の座標デ
ータＸ₂，Ｙ₁が読み出される。

【００２６】次に、他の注目点の座標データＸ_m，Ｙ_nが
注目点の検出領域内に存在するか否かをチェックし(411
1)、存在すれば注目点は孤立点ではないのでそのまま残
置するが、検出領域内に存在しなければ、他の全ての注
目点についても検出領域内に在存するか否かを一つ存在
することが検知されるまで行う。すなわち、ｍ₂が25よ
り大きくなるまでｍ₂を1インクレメントし(4112,411
3)、25より大きくなるとｍ₂を1にセットしｎ₂を1インク
レメントし(4114)、ｎ₂が17より大きくなるまでステッ
プ4107〜4111の処理を繰り返す(4115)。そして、注目点
を中心とする検出領域にその他の注目点が全く存在しな
い場合に(ステップ4115でYES)、レジスタｍ，ｎにｍ₁，
ｎ₁をセットして(4116)、メモリのアドレスＡ_nmの座標
データを消去する(4117)。

【００２７】座標データの消去あるいは検出領域に一つ
他の注目点が存在すると、注目点を示すレジスタｍ₁を1
インクレメントし(4118)、ステップ4102に戻り上述の処
理を残置する(ステップ4109でYES)全ての注目点に関し
て繰り返す(4118〜4121〜4102〜4118・・・)。そして全注
目点について孤立点か否かの判定を終了すると(4121でY
ES)、リターンする。すなわち注目点を中心とする±10
ドット領域内に他の注目点があるか否か判定し、他の注
目点が全く存在しないと、基準となる注目点はメモリ10
から消去される。これにより、人の目，眉や髪の毛等、
暗い部分に移動した注目点は残置されるが、それ以外の
注目点はメモリテーブルから消去される。図７を参照し
て、「注目点近傍の他注目点の削除」（４２）の制御動
作を更に詳細に説明する。まず、マイクロプロセッサ６
はレジスタｍ₁，ｎ₁に１をセットし(4201)、レジスタｍ
₁，ｎ₁の値をレジスタｍ，ｎにセットして(4202)、メモ
リのアドレスＡ_nmにデータが存在するか否かをチェック
する(4203)。これは「孤立点の削除」(41)処理によってデ
ータがメモリ10から消去されている場合があるからであ
る。なおｍ₁，ｎ₁は基準となる注目点を示すレジスタで
ある。データがなければステップ4217に進むが、データ
が有ればその座標データＸ_m，Ｙ_nを読み出す(4204)。次
に、レジスタｘ₁にＸ_m−５をｙ₁にＹ_n−５をセットして
他の注目点の存在の有無を検出する領域の左上端の座標
を設定し（4205）、レジスタｘ₂にＸ_m＋５をｙ₂にＹ_n＋
５をセットして検出領域の右下端の座標を設定する（42
06）。

【００２８】次に、レジスタｍ₂にｍ₁+1を,ｎ₂にｎ₁を
セットする(4207)。「孤立点の削除」(41)と同様にｍ₂,ｎ
₂に1をセットしないのは、メモリのアドレスＡ_nmに残置
しているデータは、それ以前の注目点に対して検出領域
外のものであり、重複して検出する必要がないからであ
る。よって、基準となる注目点を示すレジスタｍ₁，ｎ₁
に対し、検出領域に存在するか否かの対象となる他の注
目点のレジスタｍ₂,ｎ₂はｍ₁，ｎ₁より大きいものをチ
ェックすればよい。

【００２９】次に、レジスタｍ，ｎにｍ₂,ｎ₂をセット
し(4208)、メモリのアドレスＡ_nmにデータが存在するか
否かをチェックし(4209)、データがなければステップ42
12に進むが、データが有ればその座標データＸ_m，Ｙ_nを
読み出す(4210)。

【００３０】次に、他の注目点の座標データＸ_m，Ｙ_nが
注目点の検出領域内に存在するか否かをチェックし(421
1)、存在すればその点は注目点の近傍であるためメモリ
のアドレスＡ_nmの座標データを消去する(4216)。一方、
検出領域外であればその点は残置する。これら処理を
「孤立点の削除」(41)と同様に全ての残存している注目点
について行う(4212〜4215〜4217〜4220〜4202〜4212,・・
・)。そして全注目点について孤立点か否かの判定を終了
すると(4220でYES)、リターンする。すなわち、注目点
を中心として±5ドット領域内の他の注目点はメモリ10
から消去し、領域内には注目点を一とする。これによ
り、人の目，眉や髪の毛等、暗い部分に移動した注目点
のうち近傍の注目点は一とされ、注目点の残存数は減少
する。

【００３１】図８を参照して、「十字階調差による削
除」（４３）の制御動作を更に詳細に説明する。まず、
マイクロプロセッサ６はレジスタｍ，ｎに１をセットし
(4301)、メモリのアドレスＡ_nmにデータが存在するか否
かをチェックする(4302)。データがなければステップ43
10に進むが、データが有ればその座標データＸ_m，Ｙ_nを
読み出し(4303)、レジスタｘ₁にＸ_m−２０をｙ₁にＹ_n−
２０をセットし（4304）、レジスタｘ₂にＸ_m＋２０をｙ
₂にＹ_n＋２０をセットする（4305）。

【００３２】次に、領域，ｙ＝Ｙ_n＆ｘ₁≦ｘ≦ｘ₂、す
なわち注目点を中心に横方向±２０ドットにおける各点
の明るさ値を検出し、その総和をレジスタＴ_Hにセット
し（4306)、領域，ｘ＝Ｘ_m＆ｙ₁≦ｙ≦ｙ₂、すなわち注
目点を中心に縦方向±２０ドットにおける各点の明るさ
値を検出し、その総和をレジスタＴ_Vにセットする（430
7)。そして、Ｔ_HとＴ_Vを比較し(4308)、縦階調Ｔ_Hの方
が横階調Ｔ_Vより大きい場合のみ注目点をメモリのアド
レスＡ_nmから消去する(4309)。

【００３３】この処理を「注目点近傍の他注目点の削除」
(42)の終了時に残存する全注目点に関して行う(4310〜4
313〜4302〜4310,・・・)。すなわち、図１７で示すよう
に、人の目の大きさは縦方向より横方向が長く、横階調
の方が縦階調より暗いので、注目点のうち縦階調の方が
暗いものは人の目の位置にあるものでないとしてメモリ
10から消去する。これにより、人の目や眉以外の特に髪
の毛等の暗い部分に移動した注目点の残存数は減少す
る。

【００３４】図９を参照して、「テンプレートマッチン
グによる削除」（４４）の制御動作を更に詳細に説明す
る。まず、マイクロプロセッサ６はレジスタｍ，ｎに１
をセットし(4401)、メモリのアドレスＡ_nmにデータが存
在するか否かをチェックする(4402)。データがなければ
ステップ4408に進むが、データが有ればその座標データ
Ｘ_m，Ｙ_nを読み出し(4403)、レジスタｘ₁にＸ_m−３０を
ｙ₁にＹ_n−２０をセットし（4404）、レジスタｘ₂にＸ_m
＋３０をｙ₂にＹ_n＋２０をセットする（4405）。 次
に、領域，ｘ₁≦ｘ≦ｘ₂＆ｙ₁≦ｙ≦ｙ₂、内の各点の明
るさ値と、各点の位置に対応するテンプレートの領域，
ｘ₀−３０≦ｘ≦ｘ₀＋３０＆ｙ₀−２０≦ｙ≦ｙ₀＋２
０、内の各点の明るさ値の差の絶対値の総和を検出し、
レジスタＴ_nmにセットする（4406)。すなわち、注目点
を中心に縦方向±20ドット,横方向±30ドット範囲にお
ける各点(2400=60×40個)の階調度と、予め読み込んで
おいた人の目の中心(ｘ₀,ｙ₀)に同じく縦方向±20ドッ
ト,横方向±30ドット範囲における各点(2400=60×40個)
の階調度を、対応する各点,(Ｘ_m−３０,Ｙ_n−２０)と
(ｘ₀−３０,ｙ₀−２０),(Ｘ_m−２９,Ｙ_n−２０)と(ｘ₀
−２９,ｙ₀−２０)，(Ｘ_m−２８,Ｙ_n−２０)と(ｘ₀−２
８,ｙ₀−２０)，・・・，（Ｘ_m,Ｙ_n）と（ｘ₀,ｙ₀)，・
・・，（Ｘ_m＋３０,Ｙ_n＋２０)と(ｘ₀＋３０,ｙ₀＋２
０)，につきそれぞれ比較する。そして、セットしたＴ
_nmをアドレスＡ_nm対応でセーブする(4407)。

【００３５】この処理を「十字階調差による削除」(43)の
終了時に残存する全注目点に関して行う(4408〜4411〜4
402〜4408,・・・)。次に、総和グループ中の最大値と最小
値を検出し、それらの中間値Ｔ₀を算出し(4412)、総和
が中間値Ｔ₀より大きいアドレスの座標データをメモリ
から消去する(4413)。これにより、人の目以外の眉や髪
の毛等の暗い部分に移動した注目点の残存数は減少す
る。

【００３６】図１０を参照して、「斜め方向階調差によ
る削除」（４５）の制御動作を更に詳細に説明する。こ
れは前述の「十字階調差による削除」（４３）の注目点
を中心とする縦横方向の十字を４５度回転した位置にお
ける階調差による削除を行う処理である。まず、マイク
ロプロセッサ６はレジスタｍ，ｎに１をセットし(450
1)、メモリのアドレスＡ_nmにデータが存在するか否かを
チェックする(4502)。データがなければステップ4512に
進むが、データが有ればその座標データＸ_m，Ｙ_ｎを読
み出し（４５０３）、レジスタｘ₁にＸ_m−２０をｙ₁に
Ｙ_n−２０をセットし（4504）、レジスタｘ₂にＸ_m＋２
０をｙ₂にＹ_n＋２０をセットする（4505）。

【００３７】次に、（ｘ₁，ｙ₁）と（ｘ₂，ｙ₂）を結ぶ
直線上，すなわち注目点の中心を通る左斜め上〜右斜め
下方向における各点の明るさ値を検出し、その総和をレ
ジスタＴ_RDにセットし（4506)、（ｘ₁，ｙ₂）と（ｘ₂，
ｙ₁）を結ぶ直線上，すなわち注目点の中心を通る右斜
め上〜左斜め下方向における各点の明るさ値を検出し、
その総和をレジスタＴ_RUにセットする（4507)。そし
て、Ｔ_RDとＴ_RUを比較し(4508)、両者の差がいずれか小
さい方の階調和の＋20％の範囲にあるか否かをチェック
し(4509,4510)、範囲外の場合の注目点をメモリのアド
レスＡ_nmから消去する(4511)。

【００３８】この処理を「テンプレートマッチングによ
る削除」(44)の終了時に残存する全注目点に関して行う
(4512〜4515〜4502〜4512,・・・)。すなわち、人の黒目の
中心に位置する注目点は、Ｔ_RDとＴ_RUの差はほとんどな
いので、差の大きい注目点をメモリ10から消去する。こ
れにより、人の目の縁や眉の縁に移動した注目点の残存
数は減少する。

【００３９】その後、残存する注目点をステップ４６
（図５）で、小領域，注目点を中心として縦横方向±２
０ドットの範囲内で注目点を最暗点に移動させる、「小
領域での暗点検出」（４６）を実行する。この処理（図
示しない）はステップ３（図４）と同様であるが、領域
範囲が±２０ドット（図４では±１０ドット）である
点，および図４のステップ３１とステップ３２の間に
「メモリのアドレスＡ_nmにデータ有？」の判定処理を設
け、存在すればステップ３２に進むが存在しなければス
テップ３６に進むようにする点において異なる。

【００４０】図１１を参照して、「近傍注目点の統合」
（４７）の制御動作を更に詳細に説明する。「注目点近
傍の他注目点の削除」（４２）では、注目点を中心とす
る縦横方向±５ドット範囲内の他の注目点を削除した
が、「近傍注目点の統合」（４７）では、縦横方向±２
０ドット範囲内に他の注目点が存在する場合には、両点
の中間位置に注目点を移動させて他の注目点を削除す
る。また、「注目点近傍の他注目点の削除」（４２）で
は基準となる注目点を示すレジスタｍ₁，ｎ₁に対し、検
出領域に存在するか否かの対象となる他の注目点のレジ
スタｍ₂,ｎ₂はｍ₁，ｎ₁より大きいものをチェックすれ
ばよかったが、「近傍注目点の統合」（４７）では基準
となる注目点は移動するため、基準となる注目点に対し
残っている全ての注目点についてチェックする。

【００４１】まず、マイクロプロセッサ６はレジスタｍ
₁，ｎ₁に１をセットし(4701)、レジスタｍ₁，ｎ₁の値を
レジスタｍ，ｎにセットして(4702)、メモリのアドレス
Ａ_nmにデータが存在するか否かをチェックし(4703)、デ
ータがなければステップ4722に進むが、データが有れば
メモリのアドレスＡ_nmの座標データＸ_m1，Ｙ_n1を読み出
す(4704)。ｍ₁，ｎ₁は基準となる注目点を示すレジスタ
である。次にレジスタｘ₁にＸ_m1−２０をｙ₁にＹ_n1−２
０をセットして他の注目点の存在の有無を検出する領域
の左上端の座標を設定し（4705）、レジスタｘ₂にＸ_m1
＋２０をｙ₂にＹ_n1＋２０をセットして検出領域の右下
端の座標を設定する（4706）。

【００４２】次に、レジスタｍ₂，ｎ₂に１をセットする
(4707)。レジスタｍ₂，ｎ₂はｍ₁，ｎ₁で示す注目点に対
する他の注目点を示すレジスタである。次にｍ₁＝ｍ₂＆
ｎ₁＝ｎ₂であるか、すなわち注目点と他の注目点とが同
一のものであるか否かをチェックする（4708）。同一の
ものであれば、統合する必要はないため後述するステッ
プ4718に進むが、同一でなければレジスタｍ，ｎに
ｍ₂，ｎ₂をセットし(4709)、メモリのアドレスＡ_nmにデ
ータが存在するか否かをチェックし(4710)、データがな
ければステップ4718に進むが、データが有ればその座標
データＸ_m2，Ｙ_n2を読み出す(4711)。

【００４３】次に、他の注目点の座標データＸ_m2，Ｙ_n2
が注目点の検出領域内に存在するか否かをチェックし(4
712)、存在しなければ統合する必要はないのそのまま残
置するが、検出領域内に存在すれば、両注目点を統合す
る。すなわち、基準となる注目点と対象となる注目点の
中間位置(Ｘ_i，Ｙ_i)を計算し(Ｘ_i＝(Ｘ_m1＋Ｘ_m2)／２，
Ｙ_i＝(Ｙ_m1＋Ｙ_m2)／２）、中間位置(Ｘ_i，Ｙ_i)に注目
点を移動してメモリのアドレスＡ_nmの座標データを更新
メモリし(4713〜4715)、対象となる注目点の座標データ
をメモリのアドレスＡ_nmから消去する(4716,4717)。

【００４４】この処理を残存する全注目点について行う
(4718〜4725〜4702〜4718,・・・)。これにより、注目点は
人の黒目の中心部を示す位置に近づく。

【００４５】図１２を参照して、「注目点数の判定」
（４８）の制御動作を更に詳細に説明する。まず、マイ
クロプロセッサ６はレジスタｍ，ｎに１，およびＮに０
をそれぞれをセットし(4801)、メモリのアドレスＡ_nmに
データが存在するか否かをチェックする(4802)。データ
がなければステップ4805に進むが、データが有ればレジ
スタＮを１インクレメントし(4803)、Ｎが２以下である
か否かをチェックする（4804)。Ｎが２以下であるとメ
モリの全領域についてデータが存在するか否かをチェッ
クする(4805〜4809〜4802〜4805,・・・)。すなわち、メモ
リ10に存在するデータの数,すなわち注目点の数は人の
目の数(=2)であるか否かをチェックする。このチェック
の途中にＮが２より大きくなると（ステップ4804NO)，
あるいは全領域についてチェック終了時にＮが２でない
と(ステップ4810NO;Ｎ=0又は1のとき)両目の位置を注目
点によって特定することができなかったとして、図３の
ステップ２に戻り１フレーム画像の入力し、Ｎが２とな
るまで上述の「小領域での暗点検出」（３）および「判
定」（４）を繰り返す。

【００４６】これにより、Ｎが２であれば両目の位置は
注目点によって特定されるので、メモリにある座標デー
タ(ｍ₁，ｎ₁)および(ｍ₂，ｎ₂)をセーブする(4811)。図
１９に、最終的に残った２個の注目点が人の両目の位置
を特定する状態を示す。

【００４７】図１３および図１４に、図３に示す「追
跡」（５）の内容を示す。これにおいてマイクロプロセ
ッサ６はまず、１フレーム画像データをフレームメモリ
１２に書込む(501)。そしてレジスタｍ，ｎにｍ₁，ｎ₁
をセットする,すなわち人の両目のうち、いずれ一方の
目の位置を示す注目点のアドレスを示す値をセットする
(502)。そして、メモリのアドレスからその目の位置を
示す座標データＸ_m，Ｙ_nを読み出す(503)。次に、「小領
域での暗点検出」(3)と同様に小領域(この場合は注目点
を中心として縦横方向±20ドットの範囲)を設定、すな
わちレジスタｘ₁にＸ_m−２０をｙ₁にＹ_n−２０をセット
して小領域の左上端の座標を設定し(504)、レジスタｘ₂
にＸ_m＋２０をｙ₂にＹ_n＋２０をセットして検出領域の
右下端の座標を設定する（505）。そして、領域，ｘ₁≦
ｘ≦ｘ₂＆ｙ₁≦ｙ≦ｙ₂内においてフレームメモリ１２
のデータを読み出して明るさ値の最も暗い点を検出し、
その座標をメモリのアドレスＡ_nmに更新メモリする（50
6）。これにより一方の目の時系列的に変化する位置が
検出される。次に、目の開閉状態をチェックする。すな
わち、最暗点に移動した後の注目点を中心とする縦方向
±20ドット範囲における明るさ値の最大値Ｔ_(max)と最
小値Ｔ_(min)を検出し、その平均値を算出し、レジスタ
Ｔ_AVにセットする（507）。そしてＴ_AV以下の明るさ値
を示す縦（ｙ）方向の幅Ｗ₁を検出する（508)。図１３
に示す模式図において縦方向の幅は、Ｗ₁＝｜ｙ′−
ｙ″｜となる。

【００４８】同様の処理を他方の目についても行い縦
（ｙ）方向の幅Ｗ₂を検出する（509〜515)。これにより
時系列的に変化する両目の開閉度が検出される。

【００４９】次に、「瞬き判定」５１６で、瞼が閉じて
いるか否かを判定する。この内容は図１５を参照して後
述する。この「瞬き判定」５１６で、瞼が開いていると
判定すると、ステップ501に戻り上述の処理(501〜516〜
501,・・・)を続行するが、瞼が閉じているとこれを表わす
「１」をレジスタＦに書込み、内部タイマをスタ−トす
る(518,519)。すでに瞼閉を検知しタイマをスタ−トし
ているときには、タイマがタィムオーバしたかをチェッ
クし(520)、タイムオーバしていないとステップ501に戻
り処理を繰り返すが、タイムオーバしているとドライバ
は居眠り状態あるいは脇見運転中であると判定しブザー
コントローラ19を介してブザ−を付勢する。ブザ−を付
勢した後は、ドライバ（運転者）からのストップ指示
(ストップスイッチＳＳＷをドライバがオン)があるまで
警報を発し続ける(521〜522)。なお、タイマがタイムオ
−バするまでに、瞼の開を検知するとレジスタＦに瞼開
検知を表わす「０」を書込む（レジスタＦをクリアす
る）。これにより、例えばドライバの自然のまばたき
等、一時的に瞼を閉じる状態(タイマのセット時間未満)
では警報は発せられない。警報オンの状態で、ドライバ
からのストップ指示があるとステップ１の初期化に戻る
（図３）。

【００５０】なお、「追跡」中に目の検出に失敗するこ
とがあるが、そのときには上述の「居眠り状態あるいは
脇見運転中」との判定結果となり、ブザ−５が付勢され
る。したがってブザ−５は、「追跡」中に目の検出に失
敗したとき、ならびに、監視対象のドライバが「居眠り
状態あるいは脇見運転中」のときに鳴動する。

【００５１】次に「瞬き判定」５１６の内容を図１５を
参照して説明する。ここではまず、図１３のステップ５
０８で算出した右目の開き幅Ｗ１（画素数）および図１
３のステップ５０８で算出した左目の開き幅Ｗ２（画素
数）の積Ｗを算出する（５１６１）。

【００５２】幅Ｗ１，Ｗ２は小さい値であるので、まば
たきによる幅Ｗ１，Ｗ２それぞれの変化量は画面上では
小さいが、Ｗ＝Ｗ１×Ｗ２は、いわば開き幅の２乗に相
当するのでまばたきによるＷの変化はきわめて大きい値
となる。すなわち、Ｗは、開き幅Ｗ１，Ｗ２を強調した
値である。

【００５３】テ−ブルＷｈ（メモリの１領域）のアドレ
ス２９のデ−タをアドレス３０に、アドレス２８のデ−
タをアドレス２９に書込むという具合に、テ−ブルＷｈ
のデ−タ（のアドレス）をシフトして、このシフトによ
り開いたアドレス１に、今回算出した値Ｗを書込む（５
１６２）。

【００５４】この「瞬き判定」５１６が含まれる「追
跡」５は、1/30sec周期で繰返し実行するので、テ−ブ
ルＷｈのアドレス１には今回算出したＷ値が、アドレス
２には今回より1/30sec前の算出値が、・・・そしてア
ドレス３０には1sec前の算出値が格納されている。

【００５５】上述のように今回算出値をアドレス１に書
込むと、テ−ブルＷｈのアドレス１〜３０のデ−タの平
均値Ｗ３０（現在から過去1secの間のＷの平均値）を算
出し（５１６３）、更に、テ−ブルＷｈのアドレス１〜
３のデ−タの平均値Ｗ３（現在から過去0.1secの間のＷ
の平均値）を算出する（５１６４）。そして、Ｗ３０×
０．７がＷ３より大きい（０．７＞Ｗ３／Ｗ３０）と目
が閉じていると決定し、Ｗ３０×０．７がＷ３以上であ
る（０．７≦Ｗ３／Ｗ３０）と目が開いていると決定す
る（５１６５）。

【００５６】Ｗ３０は、過去1secの間のＷの平均値であ
り、まばたきで目が閉じている時間は極く短く、まばた
きの周期は長いので、Ｗ３０は、目が開いている開度の
時系列平均値に対応する。ところがＷ３は過去0.1secの
間のＷの平均値（いわば瞬時値）であり、まばたきで目
が閉じていたときには極く小さい値となり、目が開いて
いたときにはＷ３０に近い値となる。上記判定（閉：
０．７＞Ｗ３／Ｗ３０／開：０．７≦Ｗ３／Ｗ３０）の
しきい値０．７は実験により求めた。

【００５７】上述の実施例では、左，右の目の開度（縦
幅）によって定まる開度情報Ｗは、左，右の目の開度Ｗ
１とＷ２の積としたが、強調度は少々落ちるが、Ｗ＝Ｗ
１＋Ｗ２としても、強調効果があり、後過程での比（Ｗ
３／Ｗ３０）に基づいた目の閉じを判定精度が高いこと
と相伴って、信頼性が従来よりも高い閉検知が実現す
る。更に、上述の実施例では、人の目の検出のため小領
域内で最暗点を検出し、注目点を最暗点に移動させた
が、最も明るい点，あるいは所定の明るさの値に設定し
てもよく、所望の画像のテンプレートマッチング，階調
差による削除処理等を実行すれば、撮影対象は人の目に
限らず、他の物体あるいはその一部等、撮影画像上で特
徴ある暗パタ−ン又は明パタ−ンをもたらすものであっ
てもよい。

【００５８】また上記実施例では、メモリテ−ブルに予
め所定ピッチで分散させた注目点の座標を書込むが、こ
の書込みは省略し、代りに、例えば第１注目点（６８，
２００）を指定してその座標デ−タを座標レジスタに書
込み、その周縁の最暗部を検出してその座標をメモリテ
−ブルに書込み、次に座標レジスタのｘ座標デ−タを１
５ドット分インクリメントして第２注目点座標とする具
合に、座標デ−タを順次インクリメントして順次に注目
点を指定してもよい。また、上記実施例ではメモリテ−
ブルに注目点の座標デ−タを保持するが、ＲＡＭ１０又
は別途のメモリに１フレ−ム２値デ−タテ−ブルを割り
当てて、そのアドレスを多階調デ−タを書込むフレ−ム
メモリ１２のアドレスと一対一に対応付けて、注目点の
座標に対応する２値デ−タテ−ブルアドレスに、「注目
点」を示す「１」を書込むことにより注目点位置情報を
２値デ−タテ−ブルに保持し、注目点を確認（サ−チ又
は読出し）するときには、アドレスを順次に更新して２
値デ−タテ−ブルのデ−タを順次に読出し、読出しデ−
タが「１」（注目点）のときの読出しアドレスをセ−ブ
（注目点のアドレスとして摘出）すればよい。

【００５９】

【発明の効果】以上の通り本発明では、開度情報演算手
段(6,8)が生成する開度情報(W=W1×W2)は、各開度(W1,W
2)の一方(W1)を他方で増幅したものとなるので、開度情
報(W=W1×W2)は各開度(W1,W2)を強調した値となり、各
(W1,W2)の比較的に小さな変化に対して大きな変化を示
す。したがってこの開度情報(W=W1×W2)に基づいた閉じ
ているか否かの判定の精度が向上する。

【００６０】例えば眼のまばたきのように、開口(上瞼
と下瞼の間)を開閉する運動体(上瞼)の一往復動が速
く、その繰返し周期(実質上開いている時間)が長い場
合、開度情報(W=W1×W2;開度W1,W2でも同様)の、比較的
に長い時間区間(1sec)の第２平均値(W30)は、開口が開
いているときの開度の重みがきわめて高く、大略、開口
が開いているときの開度情報に対応する。これに対し
て、比較的に短い時間区間(0.1sec)の第１平均値(W3)
は、いわゆる瞬時値であるので、この値は、開口が開い
ているときには第２平均値(W30)に極く近い値となる
が、まばたきの閉期間のときには、第２平均値(W30)よ
り極めて小さい値となる。したがって、第２平均値(W3
0)に対する第１平均値(W3)の割合い(W3/W30)は、第１平
均値(W3)が目を開いているときのものであると大きく
（１に近く）、まばたきの閉のときのものであると小さ
い（０に近い）。この割合い(W3/W30)は個人差が小さ
く、また、覚醒時と眠気時とではまばたきの速度（往復
動速度）および頻度（単位時間当りのまばたき回数）が
変化するが、上述の割合い(W3/W30)の変化は少い。した
がって、閉検知手段(6,8)が生成する閉検知情報(F=1)の
信頼性が高い。すなわち、個人差による検出エラ−が少
くなり、また同一人に関しての時間経過に伴なう検出精
度の変動が少くなる。

【図面の簡単な説明】

【図１】 本発明の一実施例の構成を示すブロック図で
ある。

【図２】 図１に示すＣＣＤカメラ３，照明ランプ４お
よびブザー５の配置外観を示す斜視図である。

【図３】 図１に示すマイクロプロセッサ６の制御動作
の概要を示すフローチャートである。

【図４】 図３に示す「小領域での暗点検出」（３）の
制御動作を示すフローチャートである。

【図５】 図３に示す「判定」（４）の制御動作を示す
フローチャートである。

【図６】 図５に示す「孤立点の削除」（４１）の制御
動作を示すフローチャートである。

【図７】 図５に示す「注目点近傍の他注目点の削除」
（４２）の制御動作を示すフローチャートである。

【図８】 図５に示す「十字階調差による削除」（４
３）の制御動作を示すフローチャートである。

【図９】 図５に示す「テンプレートマッチングによる
削除」（４４）の制御動作を示すフローチャートであ
る。

【図１０】 図５に示す「斜め方向階調差による削除」
（４５）の制御動作を示すフローチャートである。

【図１１】 図５に示す「近傍注目点の統合」（４７）
の制御動作を示すフローチャートである。

【図１２】 図５に示す「注目点数の判定」（４８）の
制御動作を示すフローチャートである。

【図１３】 図３に示す「追跡」（５）の制御動作を示
すフローチャートである。

【図１４】 図３に示す「追跡」（５）の制御動作を示
すフローチャートである。

【図１５】 図１４に示す「瞬き判定」（５１６）の内
容を示すフロ−チャ−トである。

【図１６】 フレームメモリ１２に書込む画像データの
一画面分布に４２５個の注目点を配置した様子を示す状
態図である。

【図１７】 人の目の縦方向と横方向の大きさを示すブ
ロック図である。

【図１８】 図１に示すＲＡＭ１０のメモリテーブルの
内容を示すブロック図である。

【図１９】 ２個の注目点が人の両目の位置を特定する
様子を示す状態図である。

【符号の説明】

３：ＣＣＤカメラ ４：照明ランプ ５：ブザー ６，８：マイクロ
プロセッサ ７：アドレスバス＆コントロールバス ９：ＲＯＭ １０：ＲＡＭ １２：フレームメモリ １７：Ａ／Ｄコン
バータ １８：赤外線ランプコントローラ １９：ブザーコン
トローラ ＳＳＷ：ストップスイッチ

Claims (1)

【特許請求の範囲】
1. 【請求項１】少くとも２以上の実質上同形の開口と各開
   口をそれぞれが開閉する少くとも２以上の運動体を含む
   ものを撮影する２次元撮像手段；該２次元撮像手段が撮
   影した画像上の、各開口を検出する開口検出手段；開口
   検出手段が検出した各開口の各開度を算出する開度演算
   手段；開度演算手段が算出した各開度によって定まり、
   各開度が大きい程大きい値の開度情報を生成する開度情
   報演算手段；該開度情報の、比較的に短い時間区間の第
   １平均値および比較的に長い時間区間の第２平均値を算
   出する平均値演算手段；および、 第２平均値に対する第１平均値の割合いが設定値未満に
   なると閉検知情報を生成する閉検知手段；を備える、開
   口を開閉する運動体の閉じ検出装置。