JPH06270710A - 居眠り運転警報装置 - Google Patents

Abstract

(57)【要約】 【目的】 ビデオカメラの撮影画面上で眼像を検出する
居眠り運転警報装置の、居眠り検知をより確実にする。 【構成】 車両上ドライバを撮影する２次元撮像手段
(3)；警報手段(19,5)；前記２次元撮像手段(3)が撮影し
た画像上の、眼像を検出する像検出手段(6,8)；前記２
次元撮像手段(3)が繰返し撮影する画面上における眼像
の位置を追跡する追跡手段(6,8)；前記２次元撮像手段
(3)が繰返し撮影した、時間的に前後する異なった画面
上の、前記追跡手段(6,8)が追跡した位置(黒目の中心)
を中心とする所定領域の画像情報の相違度(DIF)を算出
し該相違度(DIF)より瞬きの有無を判定する瞬き判定手
段(6,8)；および、瞬き判定手段(6,8)の瞬き無し判定が
所定時間(DT)の間継続すると前記警報手段(19,5)を付勢
する警報制御手段(6,8)；を備える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、車両上ドライバ（運転
者）の居眠り運転を防止するための警報装置に関し、特
に、ドライバの顔をビデオカメラで撮影し画像処理によ
り画像上の眼像を検出し眼像を時系列で監視して、ドラ
イバの居眠りを自動検出する装置に関する。

【０００２】

【従来の技術】例えば、特公平３−１４６５６号公報に
は、ドライバ（運転者）の居眠り運転防止のために、ド
ライバの目に赤外線を照射しその反射光を検出し、反射
光検出値に基づいてまばたきを判定し、まばたき頻度に
基づいてドライバの居眠りを検知する技術が提示されて
いる。居眠り検知装置は、めがねに装備されている。ま
た、特公平４−２８４号公報には、車両上ドライバ（運
転者）の顔をビデオカメラで撮影し、撮影画像上におい
て目および口を認識する技術が開示されている。これ
は、ドライバに特別なものを付ける必要はなく、ビデオ
カメラの撮影画面上で目を検出および追跡して、目の開
度（開，閉）を算出し、開度に基づいて目を閉じている
か否かを判定する。ドライバの顔部を照明する照明灯の
明るさは、画像デ−タに基づいて目および口を認識する
のに最適に調整される。画像データはフレームメモリに
格納されると共に、２値化される。２値データに基づい
てドライバの目および口が検出される。目の閉じ時間が
長いと、ドライバが居眠りをしていると見なして警報が
発っせられる。

【０００３】

【発明が解決しようとする課題】しかし、ビデオカメラ
の撮影画面上で目の開度を算出する態様では、撮影画面
の明るさおよび像コントラストがドライバの顔の照明の
明るさに影響され易いのでこれを回避するために照明灯
の明るさが調整されるが、対向車のヘッドライト光照射
や反射光，道沿いの建物の反射光照射等の走行環境によ
り、ドライバの顔の明るさは大きく変化する。これら外
部光の明るさの変化に対して顔の明るさの変化は、車内
の照明灯の明るさを強くすることにより抑制できるが、
抑制効果は比較的に小さい。その結果、目の開度算出値
がばらつく。特に、ドライバがめがねを掛けている場合
には、顔の向きが少し変わるとめがねのレンズによる反
射の影響で、眼領域の明るさが大きく変化し、目の開度
算出値のばらつきが大きくなるとか、目の開度算出値に
基づいた居眠り判定がエラ−となる確率が高くなる。本
発明は、ビデオカメラの撮影画面上で眼像を検出する居
眠り運転警報装置の、居眠り検知をより確実にすること
を目的とする。

【０００４】

【課題を解決するための手段】本発明の居眠り運転警報
装置は、車両上ドライバを撮影する２次元撮像手段
(3)；警報手段(19,5)；前記２次元撮像手段(3)が撮影し
た画像上の、眼像を検出する像検出手段(6,8)；前記２
次元撮像手段(3)が繰返し撮影する画面上における眼像
の位置を追跡する追跡手段(6,8)；前記２次元撮像手段
(3)が繰返し撮影した、時間的に前後する異なった画面
上の、前記追跡手段(6,8)が追跡した位置(黒目の中心)
を中心とする所定領域の画像情報の相違度(DIF)を算出
し該相違度(DIF)より瞬きの有無を判定する瞬き判定手
段(6,8)；および、瞬き判定手段(6,8)の瞬き無し判定が
所定時間(DT)の間継続すると前記警報手段(19,5)を付勢
する警報制御手段(6,8)；を備える。なお、カッコ内の
記号は、図面に示し後述する実施例の対応要素又は対応
事項を示す。

【０００５】

【作用】居眠りに落ちると瞼が閉じるので、２次元撮像
手段(3)が繰返し撮影した、時間的に前後する異なった
画面上の、眼像の位置(追跡位置)を中心とする所定領域
の画像情報の相違度(DIF)は低い。覚醒時には、目を開
いているときには相違度(DIF)は低いが、瞬きのときに
はそれが一瞬であるので相違度(DIF)が高くなる。瞬き
判定手段(6,8)はこれに従って、相違度(DIF)が高いとき
には瞬きと判定し、相違度(DIF)が低いときには瞬きな
しと判定する。そして、瞬き判定手段(6,8)の瞬き無し
判定が所定時間(DT)の間継続すると、警報制御手段(6,
8)が警報手段(19,5)を付勢する。これにより警報が発っ
せられる。

【０００６】対向車の反射光,ヘッドライト等がドライ
バに当った場合、当った瞬間には明るさの急変に応じて
瞬き判定手段(6,8)がこの急変を瞬きと判定する確率は
高いかも知れないが、その後強い光が当っている間は瞬
きなしと判定することになる。ドライバがめがねをかけ
ている場合の、めがねレンズの反射により撮影画面の明
るさが変化する場合も同様である。いずれの場合も、瞬
き相当の速さの明るさ変化があると瞬き判定手段(6,8)
は瞬き有りと判定するが、このような変化が無くしかも
瞬きが無い状態が所定時間(DT)継続すると、警報が発っ
せられる。めがねレンズの反射により目の開度算出精度
が低い場合でも、２次元撮像手段(3)が繰返し撮影し
た、時間的に前後する異なった画面上の、眼を中心とす
る所定領域の画像情報の相違度(DIF)は瞬きの時に大き
く上昇するので、瞬き検知精度は高い。 本発明の他の
目的および特徴は、図面を参照した以下の実施例の説明
より明らかになろう。

【０００７】

【実施例】図１に、一実施例の構成を示す。この実施例
は車両上ドライバの顔を撮影して撮像画像中の目を検出
し、時系列で目を追跡して、目の開，閉を認識し、所定
時間以上継続して目が閉じられている(居眠り)とブザー
５を付勢するものである。ＣＣＤカメラ３およびドライ
バの少なくとも顔部を照明する照明灯４は、図２に示す
ように、一体に構成されてインスツルメントパネル２
に、上下および左右に指向方向を調整自在に固着されて
いる。ＣＣＤカメラ３の側面には警報を発生するブザー
５およびブザー５の警報を止めるストップスイッチＳＳ
Ｗが設けられている。照明灯４は、発光ダイオードから
構成される赤外線照明であり、ＣＣＤカメラ３は赤外線
領域における感度を有している。赤外線照明は、普通光
による照明と異なりドライバにまぶしさを与えることが
ないのでドライバの前方視認をむつかしくすることがな
い。したがって照明灯４は常時点灯してもよい。図２に
おいて、符号１は車両の走行方向制御のためドライバが
操作するステアリングホイールである。

【０００８】再度図１を参照する。ブザー５はブザーコ
ントローラ１９によりオン／オフ付勢される。このブザ
ー５は後述するように、ドライバが目を閉じた状態が所
定時間以上継続すると（居眠りと見なして）付勢され
る。また照明灯４は赤外線ランプコントローラ１８によ
り点灯付勢される。ブザーコントローラ１９，赤外線ラ
ンプコントローラ１８，その他出力（ラジオ，エアコ
ン，ワイパ，ヘッドライト等を制御するコントローラ）
には、マイクロプロセッサ６が、インターフェイス１３
を介してオン／オフ指示信号等を与える。

【０００９】ＣＣＤカメラ３は、２次元ＣＣＤを備える
ものであり、このＣＣＤカメラ３に、インターフェイス
１６を介して、マイクロプロセッサ６が、オン／オフ信
号を与える。ＣＣＤカメラ３は、撮影した映像信号（ビ
デオ信号：アナログ）を繰り返してＡ／Ｄコンバータ１
７に出力すると共に、画素同期パルスをＡ／Ｄコンバー
タ１７にＡ／Ｄ変換同期パルスとして与えると共に、フ
レーム同期パルス，ライン同期パルスおよび画素同期パ
ルスをインターフェイス１６を介してマイクロプロセッ
サ６に与える。

【００１０】マイクロプロセッサ６は、画像データの１
フレーム分を読込むときには、フレーム同期パルスに同
期してフレームメモリ（ＲＡＭ）１２に書込みを指示
し、ライン同期パルスおよび画素同期パルスに同期して
フレームメモリ１２の書込アドレスを進める。フレーム
メモリ１２には、この例ではＣＣＤカメラ３が１画面を
横５１２画素，縦４８５画素分割で撮影するので、５１
２×４８５画素分の２５６階調の画像デ−タを記憶しう
る画像メモリを使用する。

【００１１】Ａ／Ｄコンバータ１７は、ビデオ信号を８
ビット（２５６階調）のデジタルデータに変換する。す
なわち、フレームメモリ１２に書込まれる画像データ
は、一画素（以下ドット）当り８ビット（２５６階調）
の、明るさを示すデ−タである。したがってマイクロプ
ロセッサ６はフレームメモリ１２の値を読み出すこと
で、画面上の任意の位置の明るさを知ることができる。

【００１２】マイクロプロセッサ６には、各種画像処理
および判定用の演算を行うためにもう１つのマイクロプ
ロセッサ８が接続されており、また通常のコンピュータ
システム制御用のＲＯＭ９およびＲＡＭ１０，バスコン
トローラ１５および前述のフレームメモリ１２が接続さ
れている。

【００１３】図３に、マイクロプロセッサ６および８の
動作の概要（メインルーチン）を示し、動作の詳細（サ
ブルーチン）を図４〜図１５に示す。以下これらの図面
を参照して、設定されたプログラムに基づいたマイクロ
プロセッサ６および８の制御動作を説明する。

【００１４】まず動作の概要を図３を参照して説明す
る。電源が投入されるとマイクロプロセッサ６は、初期
化を行う（ステップ１：以下カッコ内ではステップとい
う語を省略する）。これにおいては、入出力ポートを初
期化して、内部レジスタ，フラグ等をクリアし、ＣＣＤ
カメラ３および赤外線ランプコントローラ１８にオンを
示す付勢信号を与え、ブザーコントローラ１９にオフを
示す信号を与える。またマイクロプロセッサ６は、図１
６に示すように、フレームメモリ１２に書込む画像デ−
タの一画面分布に対して、画面の中央付近に横２５個，
縦１７個，の総計４２５個の注目点（カーソル）を縦，
横１５ドット間隔で配置する。この間隔は、画面上で人
の目の大きさがどの程度になるかによって変わるが、図
１７に示すように、ＣＣＤカメラ３の撮影画面上で１つ
の目の縦方向の最大幅は３０ドット，横方向は４０〜５
０ドットであるため、１つの目の領域に少くとも１個の
注目点が存在するように、本実施例では１５ドット間隔
としている。図１６のように、フレームメモリ１２に書
込まれる画像の横方向をｘ軸，縦方向をｙ軸とした場合
（画像の左上端座標（０，０），右下端座標（５１１，
４８４））、４２５個の注目点の左上端座標を（６８，
２００），右下端座標を（４２８，４４０）となるよう
注目点を配置し、その座標データ（Ｘ_m，Ｙ_n）を、図１
８に示すような、ＲＡＭ(メモリ)１０（図１）のメモリ
テーブルのアドレスＡ_nmに書込む。

【００１５】 ただし、Ｘ_m＝６８＋１５（ｍ−１）；１≦ｍ≦２５， Ｙ_n＝２００＋１５（ｎ−１）；１≦ｎ≦１７，であ
る。

【００１６】そして初期化から所定時間（照明ランプ４
の明るさが安定し、ドライバの顔が運転時の位置に静止
するのを待っ時間）の後、ＣＣＤカメラ３からのフレー
ム同期パルスに同期して、１フレーム分の画像データ
の、フレームメモリ１２への書込みを開始し、１フレー
ム分の画像データ（１ドット当り８ビットの多階調デー
タ）をメモリ１２に書込む（２）。

【００１７】次にマイクロプロセッサ６は、各々の注目
点を中心とした小領域を設定し、該領域内で最も暗い点
に注目点の座標を更新する（３）。この操作を４２５個
の注目点のすべてについて行う。この内容は、図４を参
照して後述する。

【００１８】次にマイクロプロセッサ６は、座標更新後
の注目点について、周辺に他の注目点が存在しない孤立
点を消去したり、ある注目点の近傍の他の注目点を１つ
にまとめる処理等を行い、最終的に注目点の数Ｎが人の
目の数，すなわち注目点が２個であるか否かの判定を行
う（４）。この内容は、図５〜１２を参照して後述す
る。最終的に注目点の数Ｎが２でない場合には、ステッ
プ２に戻る。

【００１９】注目点が２個であれば、注目点の座標は人
の両目の位置を示すものとみなして、毎フレームをメモ
リ１２に書込むごとに該注目点を追跡して、時系列的に
両目の開閉状態を検知してドライバが居眠り，あるいは
脇見をしているか否かの判断を行う（５）。この内容は
図１３および図１４を参照して後述する。追跡処理中
に、追跡不能となるとステップ１の初期化に戻る。

【００２０】図４を参照して、「小領域での暗点検出」
（３）の内容を説明する。これは、注目点を中心に縦横
方向に±１０ドット範囲の小領域を設定し、小領域内で
一番暗い点を示す座標に注目点の座標を更新する処理で
ある。

【００２１】まず、マイクロプロセッサ６はレジスタ
ｍ，ｎに１をセットし（３１）、図１７に示すメモリの
アドレスＡ_nmの座標データＸ_m，Ｙ_nを読み出す（３
２）。最初はアドレスＡ₁₁の座標データＸ₁，Ｙ₁が読み
出される。次にレジスタｘ₁にＸ_m−１０をｙ₁にＹ_n−１
０をセットして小領域の左上端の座標を設定し（３
３）、レジスタｘ₂にＸ_m＋１０をｙ₂にＹ_n＋１０をセッ
トして小領域の右下端の座標を設定する（３４）。そし
て、領域，ｘ₁≦ｘ≦ｘ₂＆ｙ₁≦ｙ≦ｙ₂内においてフレ
ームメモリ１２のデータを読み出して明るさ値の最も暗
い点を検出し、その座標をメモリのアドレスＡ_nmに更新
メモリする（３５）。次に、レジスタｍを１インクレメ
ント（３６）し、ステップ３７でｍの値が２５より大き
くなるまではステップ３２〜３６の処理を繰り返す。す
なわち、これにより２５個の注目点の座標（Ｘ₁，
Ｙ₁），（Ｘ₂，Ｙ₁），・・，（Ｘ₂₅，Ｙ₁）が更新され
る。レジスタｍが２５より大きくなると（３７）、ｍの
値を１にセットしレジスタｎを１インクレメントし（３
８）、ステップ３９でｎの値が１７より大きくなるまで
はステップ３２〜３８の処理を繰り返す。これにより注
目点の座標（Ｘ₁，Ｙ₂），（Ｘ₂，Ｙ₂），・・，
（Ｘ₂₅，Ｙ₂），（Ｘ₁，Ｙ₃），（Ｘ₂，Ｙ₃），・・，
（Ｘ₂₅，Ｙ₃），・・・が更新され、総計４２５個の注
目点の座標が更新されると（ステップ３９でＹＥＳ）リ
ターンする。これにより、初期化で等間隔で配置された
注目点は人の目，眉や髪の毛等、暗い部分に移動する。

【００２２】図５を参照して、「判定」（４）の制御動
作を説明する。判定では、黒目には複数の注目点が集ま
っているので孤立点を削除する、「孤立点の削除」（４
１），注目点の周辺に複数の注目点がある場合に一つの
注目点に統合する、「注目点近傍の他注目点の削除」
（４２），注目点を中心とする縦方向と横方向の平均階
調を比較して縦階調の方が暗い注目点を削除する、「十
字階調差による削除」（４３），予め検出した目のテン
プレート画像との比較を行って比較誤差の大きい注目点
を削除する、「テンプレートマッチングによる削除」
（４４），注目点を中心とする右上斜め方向と左上斜め
方向の平均階調を比較して比較誤差の大きい注目点を削
除する、「斜め方向階調差による削除」（４５），残存
する注目点をステップ３と同様の処理により小領域内で
最暗点に移動させる、「小領域での暗点検出」（４
６），互いに位置の近い注目点を統合する、「近傍注目
点の統合」（４７），の処理を行い、最終的に残存する
注目点の数Ｎが両目に対応して２であるか否かを判定す
る、「注目点数の判定」（４８）を実行する。

【００２３】図６を参照して、「孤立点の削除」（４
１）の制御動作を更に詳細に説明する。まず、マイクロ
プロセッサ６はレジスタｍ₁，ｎ₁に１をセットし(410
1)、レジスタｍ₁，ｎ₁の値をレジスタｍ，ｎにセットし
て(4102)、メモリのアドレスＡ_nmの座標データＸ_m，Ｙ_n
を読み出す(4103)。ｍ₁，ｎ₁は注目点を示すレジスタで
ある。最初はアドレスＡ₁₁の座標データＸ₁，Ｙ₁が読み
出される。次にレジスタｘ₁にＸ_m−１０をｙ₁にＹ_n−１
０をセットして他の注目点の存在の有無を検出する領域
の左上端の座標を設定し（4104）、レジスタｘ₂にＸ_m＋
１０をｙ₂にＹ_n＋１０をセットして検出領域の右下端の
座標を設定する（4105）。

【００２４】次に、レジスタｍ₂，ｎ₂に１をセットする
(4106)。レジスタｍ₂，ｎ₂はｍ₁，ｎ₁で示す注目点に対
する他の注目点を示すレジスタである。次にｍ₁＝ｍ₂＆
ｎ₁＝ｎ₂であるか、すなわち注目点と他の注目点とが同
一のものであるか否かをチェックする（4107）。同一の
ものであれば、孤立点の削除の必要はないため後述する
ステップ4112に進むが、同一でなければレジスタｍ，ｎ
にｍ₂，ｎ₂をセットし(4108)、メモリのアドレスＡ_nmに
データが存在するか否かをチェックし(4109)、データが
なければステップ4112に進むが、データが有ればその座
標データＸ_m，Ｙ_nを読み出す(4110)。最初は、レジスタ
ｍ₁，ｎ₁およびｍ₂，ｎ₂には１がセットされるためステ
ップ4112に進みｍ₂が１インクレメントされ、ステップ4
107に戻るので、注目点としてアドレスＡ₁₁の座標デー
タＸ₁，Ｙ₁と、他の注目点としてアドレスＡ₂₁の座標デ
ータＸ₂，Ｙ₁が読み出される。

【００２５】次に、他の注目点の座標データＸ_m，Ｙ_nが
注目点の検出領域内に存在するか否かをチェックし(411
1)、存在すれば注目点は孤立点ではないのでそのまま残
置するが、検出領域内に存在しなければ、他の全ての注
目点についても検出領域内に在存するか否かを一つ存在
することが検知されるまで行う。すなわち、ｍ₂が25よ
り大きくなるまでｍ₂を1インクレメントし(4112,411
3)、25より大きくなるとｍ₂を1にセットしｎ₂を1インク
レメントし(4114)、ｎ₂が17より大きくなるまでステッ
プ4107〜4111の処理を繰り返す(4115)。そして、注目点
を中心とする検出領域にその他の注目点が全く存在しな
い場合に(ステップ4115でYES)、レジスタｍ，ｎにｍ₁，
ｎ₁をセットして(4116)、メモリのアドレスＡ_nmの座標
データを消去する(4117)。

【００２６】座標データの消去あるいは検出領域に一つ
他の注目点が存在すると、注目点を示すレジスタｍ₁を1
インクレメントし(4118)、ステップ4102に戻り上述の処
理を残置する(ステップ4109でYES)全ての注目点に関し
て繰り返す(4118〜4121〜4102〜4118・・・)。そして全注
目点について孤立点か否かの判定を終了すると(4121でY
ES)、リターンする。すなわち注目点を中心とする±10
ドット領域内に他の注目点があるか否か判定し、他の注
目点が全く存在しないと、基準となる注目点はメモリ10
から消去される。これにより、人の目，眉や髪の毛等、
暗い部分に移動した注目点は残置されるが、それ以外の
注目点はメモリテーブルから消去される。図７を参照し
て、「注目点近傍の他注目点の削除」（４２）の制御動
作を更に詳細に説明する。まず、マイクロプロセッサ６
はレジスタｍ₁，ｎ₁に１をセットし(4201)、レジスタｍ
₁，ｎ₁の値をレジスタｍ，ｎにセットして(4202)、メモ
リのアドレスＡ_nmにデータが存在するか否かをチェック
する(4203)。これは「孤立点の削除」(41)処理によってデ
ータがメモリ10から消去されている場合があるからであ
る。なおｍ₁，ｎ₁は基準となる注目点を示すレジスタで
ある。データがなければステップ4217に進むが、データ
が有ればその座標データＸ_m，Ｙ_nを読み出す(4204)。次
に、レジスタｘ₁にＸ_m−５をｙ₁にＹ_n−５をセットして
他の注目点の存在の有無を検出する領域の左上端の座標
を設定し（4205）、レジスタｘ₂にＸ_m＋５をｙ₂にＹ_n＋
５をセットして検出領域の右下端の座標を設定する（42
06）。

【００２７】次に、レジスタｍ₂にｍ₁+1を,ｎ₂にｎ₁を
セットする(4207)。「孤立点の削除」(41)と同様にｍ₂,ｎ
₂に1をセットしないのは、メモリのアドレスＡ_nmに残置
しているデータは、それ以前の注目点に対して検出領域
外のものであり、重複して検出する必要がないからであ
る。よって、基準となる注目点を示すレジスタｍ₁，ｎ₁
に対し、検出領域に存在するか否かの対象となる他の注
目点のレジスタｍ₂,ｎ₂はｍ₁，ｎ₁より大きいものをチ
ェックすればよい。

【００２８】次に、レジスタｍ，ｎにｍ₂,ｎ₂をセット
し(4208)、メモリのアドレスＡ_nmにデータが存在するか
否かをチェックし(4209)、データがなければステップ42
12に進むが、データが有ればその座標データＸ_m，Ｙ_nを
読み出す(4210)。

【００２９】次に、他の注目点の座標データＸ_m，Ｙ_nが
注目点の検出領域内に存在するか否かをチェックし(421
1)、存在すればその点は注目点の近傍であるためメモリ
のアドレスＡ_nmの座標データを消去する(4216)。一方、
検出領域外であればその点は残置する。これら処理を
「孤立点の削除」(41)と同様に全ての残存している注目点
について行う(4212〜4215〜4217〜4220〜4202〜4212,・・
・)。そして全注目点について孤立点か否かの判定を終了
すると(4220でYES)、リターンする。すなわち、注目点
を中心として±5ドット領域内の他の注目点はメモリ10
から消去し、領域内には注目点を一とする。これによ
り、人の目，眉や髪の毛等、暗い部分に移動した注目点
のうち近傍の注目点は一とされ、注目点の残存数は減少
する。

【００３０】図８を参照して、「十字階調差による削
除」（４３）の制御動作を更に詳細に説明する。まず、
マイクロプロセッサ６はレジスタｍ，ｎに１をセットし
(4301)、メモリのアドレスＡ_nmにデータが存在するか否
かをチェックする(4302)。データがなければステップ43
10に進むが、データが有ればその座標データＸ_m，Ｙ_nを
読み出し(4303)、レジスタｘ₁にＸ_m−２０をｙ₁にＹ_n−
２０をセットし（4304）、レジスタｘ₂にＸ_m＋２０をｙ
₂にＹ_n＋２０をセットする（4305）。

【００３１】次に、領域，ｙ＝Ｙ_n＆ｘ₁≦ｘ≦ｘ₂、す
なわち注目点を中心に横方向±２０ドットにおける各点
の明るさ値を検出し、その総和をレジスタＴ_Hにセット
し（4306)、領域，ｘ＝Ｘ_m＆ｙ₁≦ｙ≦ｙ₂、すなわち注
目点を中心に縦方向±２０ドットにおける各点の明るさ
値を検出し、その総和をレジスタＴ_Vにセットする（430
7)。そして、Ｔ_HとＴ_Vを比較し(4308)、縦階調Ｔ_Hの方
が横階調Ｔ_Vより大きい場合のみ注目点をメモリのアド
レスＡ_nmから消去する(4309)。

【００３２】この処理を「注目点近傍の他注目点の削除」
(42)の終了時に残存する全注目点に関して行う(4310〜4
313〜4302〜4310,・・・)。すなわち、図16で示すように、
人の目の大きさは縦方向より横方向が長く、横階調の方
が縦階調より暗いので、注目点のうち縦階調の方が暗い
ものは人の目の位置にあるものでないとしてメモリ10か
ら消去する。これにより、人の目や眉以外の特に髪の毛
等の暗い部分に移動した注目点の残存数は減少する。

【００３３】図９を参照して、「テンプレートマッチン
グによる削除」（４４）の制御動作を更に詳細に説明す
る。まず、マイクロプロセッサ６はレジスタｍ，ｎに１
をセットし(4401)、メモリのアドレスＡ_nmにデータが存
在するか否かをチェックする(4402)。データがなければ
ステップ4408に進むが、データが有ればその座標データ
Ｘ_m，Ｙ_nを読み出し(4403)、レジスタｘ₁にＸ_m−３０を
ｙ₁にＹ_n−２０をセットし（4404）、レジスタｘ₂にＸ_m
＋３０をｙ₂にＹ_n＋２０をセットする（4405）。 次
に、領域，ｘ₁≦ｘ≦ｘ₂＆ｙ₁≦ｙ≦ｙ₂、内の各点の明
るさ値と、各点の位置に対応するテンプレートの領域，
ｘ₀−３０≦ｘ≦ｘ₀＋３０＆ｙ₀−２０≦ｙ≦ｙ₀＋２
０、内の各点の明るさ値の差の絶対値の総和を検出し、
レジスタＴ_nmにセットする（4406)。すなわち、注目点
を中心に縦方向±20ドット,横方向±30ドット範囲にお
ける各点(2400=60×40個)の階調度と、予め読み込んで
おいた人の目の中心(ｘ₀,ｙ₀)に同じく縦方向±20ドッ
ト,横方向±30ドット範囲における各点(2400=60×40個)
の階調度を、対応する各点,(Ｘ_m−３０,Ｙ_n−２０)と
(ｘ₀−３０,ｙ₀−２０),(Ｘ_m−２９,Ｙ_n−２０)と(ｘ₀
−２９,ｙ₀−２０)，(Ｘ_m−２８,Ｙ_n−２０)と(ｘ₀−２
８,ｙ₀−２０)，・・・，（Ｘ_m,Ｙ_n）と（ｘ₀,ｙ₀)，・
・・，（Ｘ_m＋３０,Ｙ_n＋２０)と(ｘ₀＋３０,ｙ₀＋２
０)，につきそれぞれ比較する。そして、セットしたＴ
_nmをアドレスＡ_nm対応でセーブする(4407)。

【００３４】この処理を「十字階調差による削除」(43)の
終了時に残存する全注目点に関して行う(4408〜4411〜4
402〜4408,・・・)。次に、総和グループ中の最大値と最小
値を検出し、それらの中間値Ｔ₀を算出し(4412)、総和
が中間値Ｔ₀より大きいアドレスの座標データをメモリ
から消去する(4413)。これにより、人の目以外の眉や髪
の毛等の暗い部分に移動した注目点の残存数は減少す
る。

【００３５】図１０を参照して、「斜め方向階調差によ
る削除」（４５）の制御動作を更に詳細に説明する。こ
れは前述の「十字階調差による削除」（４３）の注目点
を中心とする縦横方向の十字を４５度回転した位置にお
ける階調差による削除を行う処理である。まず、マイク
ロプロセッサ６はレジスタｍ，ｎに１をセットし(450
1)、メモリのアドレスＡ_nmにデータが存在するか否かを
チェックする(4502)。データがなければステップ4512に
進むが、データが有ればその座標データＸ_m，Ｙ_nを読み
出し(4503)、レジスタｘ₁にＸ_m−２０をｙ₁にＹ_n−２０
をセットし（4504）、レジスタｘ₂にＸ_m＋２０をｙ₂に
Ｙ_n＋２０をセットする（4505）。

【００３６】次に、（ｘ₁，ｙ₁）と（ｘ₂，ｙ₂）を結ぶ
直線上，すなわち注目点の中心を通る左斜め上〜右斜め
下方向における各点の明るさ値を検出し、その総和をレ
ジスタＴ_RDにセットし（4506)、（ｘ₁，ｙ₂）と（ｘ₂，
ｙ₁）を結ぶ直線上，すなわち注目点の中心を通る右斜
め上〜左斜め下方向における各点の明るさ値を検出し、
その総和をレジスタＴ_RUにセットする（4507)。そし
て、Ｔ_RDとＴ_RUを比較し(4508)、両者の差がいずれか小
さい方の階調和の＋20％の範囲にあるか否かをチェック
し(4509,4510)、範囲外の場合の注目点をメモリのアド
レスＡ_nmから消去する(4511)。

【００３７】この処理を「テンプレートマッチングによ
る削除」(44)の終了時に残存する全注目点に関して行う
(4512〜4515〜4502〜4512,・・・)。すなわち、人の黒目の
中心に位置する注目点は、Ｔ_RDとＴ_RUの差はほとんどな
いので、差の大きい注目点をメモリ10から消去する。こ
れにより、人の目の縁や眉の縁に移動した注目点の残存
数は減少する。

【００３８】その後、残存する注目点をステップ４６
（図５）で、小領域，注目点を中心として縦横方向±２
０ドットの範囲内で注目点を最暗点に移動させる、「小
領域での暗点検出」（４６）を実行する。この処理（図
示しない）はステップ３（図４）と同様であるが、領域
範囲が±２０ドット（図４では±１０ドット）である
点，および図４のステップ３１とステップ３２の間に
「メモリのアドレスＡ_nmにデータ有？」の判定処理を設
け、存在すればステップ３２に進むが存在しなければス
テップ３６に進むようにする点において異なる。

【００３９】図１１を参照して、「近傍注目点の統合」
（４７）の制御動作を更に詳細に説明する。「注目点近
傍の他注目点の削除」（４２）では、注目点を中心とす
る縦横方向±５ドット範囲内の他の注目点を削除した
が、「近傍注目点の統合」（４７）では、縦横方向±２
０ドット範囲内に他の注目点が存在する場合には、両点
の中間位置に注目点を移動させて他の注目点を削除す
る。また、「注目点近傍の他注目点の削除」（４２）で
は基準となる注目点を示すレジスタｍ₁，ｎ₁に対し、検
出領域に存在するか否かの対象となる他の注目点のレジ
スタｍ₂,ｎ₂はｍ₁，ｎ₁より大きいものをチェックすれ
ばよかったが、「近傍注目点の統合」（４７）では基準
となる注目点は移動するため、基準となる注目点に対し
残っている全ての注目点についてチェックする。

【００４０】まず、マイクロプロセッサ６はレジスタｍ
₁，ｎ₁に１をセットし(4701)、レジスタｍ₁，ｎ₁の値を
レジスタｍ，ｎにセットして(4702)、メモリのアドレス
Ａ_nmにデータが存在するか否かをチェックし(4703)、デ
ータがなければステップ4722に進むが、データが有れば
メモリのアドレスＡ_nmの座標データＸ_m1，Ｙ_n1を読み出
す(4704)。ｍ₁，ｎ₁は基準となる注目点を示すレジスタ
である。次にレジスタｘ₁にＸ_m1−２０をｙ₁にＹ_n1−２
０をセットして他の注目点の存在の有無を検出する領域
の左上端の座標を設定し（4705）、レジスタｘ₂にＸ_m1
＋２０をｙ₂にＹ_n1＋２０をセットして検出領域の右下
端の座標を設定する（4706）。

【００４１】次に、レジスタｍ₂，ｎ₂に１をセットする
(4707)。レジスタｍ₂，ｎ₂はｍ₁，ｎ₁で示す注目点に対
する他の注目点を示すレジスタである。次にｍ₁＝ｍ₂＆
ｎ₁＝ｎ₂であるか、すなわち注目点と他の注目点とが同
一のものであるか否かをチェックする（4708）。同一の
ものであれば、統合する必要はないため後述するステッ
プ4718に進むが、同一でなければレジスタｍ，ｎに
ｍ₂，ｎ₂をセットし(4709)、メモリのアドレスＡ_nmにデ
ータが存在するか否かをチェックし(4710)、データがな
ければステップ4718に進むが、データが有ればその座標
データＸ_m2，Ｙ_n2を読み出す(4711)。

【００４２】次に、他の注目点の座標データＸ_m2，Ｙ_n2
が注目点の検出領域内に存在するか否かをチェックし(4
712)、存在しなければ統合する必要はないのそのまま残
置するが、検出領域内に存在すれば、両注目点を統合す
る。すなわち、基準となる注目点と対象となる注目点の
中間位置(Ｘ_i，Ｙ_i)を計算し(Ｘ_i＝(Ｘ_m1＋Ｘ_m2)／２，
Ｙ_i＝(Ｙ_m1＋Ｙ_m2)／２）、中間位置(Ｘ_i，Ｙ_i)に注目
点を移動してメモリのアドレスＡ_nmの座標データを更新
メモリし(4713〜4715)、対象となる注目点の座標データ
をメモリのアドレスＡ_nmから消去する(4716,4717)。

【００４３】この処理を残存する全注目点について行う
(4718〜4725〜4702〜4718,・・・)。これにより、注目点は
人の黒目の中心部を示す位置に近づく。

【００４４】図１２を参照して、「注目点数の判定」
（４８）の制御動作を更に詳細に説明する。まず、マイ
クロプロセッサ６はレジスタｍ，ｎに１，およびＮに０
をそれぞれをセットし(4801)、メモリのアドレスＡ_nmに
データが存在するか否かをチェックする(4802)。データ
がなければステップ4805に進むが、データが有ればレジ
スタＮを１インクレメントし(4803)、Ｎが２以下である
か否かをチェックする（4804)。Ｎが２以下であるとメ
モリの全領域についてデータが存在するか否かをチェッ
クする(4805〜4809〜4802〜4805,・・・)。すなわち、メモ
リ10に存在するデータの数,すなわち注目点の数は人の
目の数(=2)であるか否かをチェックする。このチェック
の途中にＮが２より大きくなると（ステップ4804NO)，
あるいは全領域についてチェック終了時にＮが２でない
と(ステップ4810NO;Ｎ=0又は1のとき)両目の位置を注目
点によって特定することができなかったとして、図３の
ステップ２に戻り１フレーム画像の入力し、Ｎが２とな
るまで上述の「小領域での暗点検出」（３）および「判
定」（４）を繰り返す。

【００４５】これにより、Ｎが２であれば両目の位置は
注目点によって特定されるので、メモリにある座標デー
タ(ｍ₁，ｎ₁)および(ｍ₂，ｎ₂)をセーブする(4811)。図
１９に、最終的に残った２個の注目点が人の両目の位置
を特定する状態を示す。

【００４６】図１３および図１４に、図３に示す「追
跡」（５）の制御動作を更に詳細に説明する。まず、マ
イクロプロセッサ６は１フレーム画像データをフレーム
メモリ１２に書込む(501)。そしてレジスタｍ，ｎに
ｍ₁，ｎ₁をセットする。すなわち人の両目のうち、いず
れか一方の目の位置を示す注目点のアドレスを示す値を
セットする(502)。そして、メモリのアドレスからその
目の位置を示す座標データＸ_m，Ｙ_nを読み出す(503)。
次に、「小領域での暗点検出」(3)と同様に小領域(この場
合は注目点を中心として縦横方向±20ドットの範囲)を
設定、すなわちレジスタｘ₁にＸ_m−２０をｙ₁にＹ_n−２
０をセットして小領域の左上端の座標を設定し(504)、
レジスタｘ₂にＸ_m＋２０をｙ₂にＹ_n＋２０をセットして
検出領域の右下端の座標を設定する（505）。そして、
領域，ｘ₁≦ｘ≦ｘ₂＆ｙ₁≦ｙ≦ｙ₂内においてフレーム
メモリ１２のデータを読み出して明るさ値の最も暗い点
を検出し、その座標をメモリのアドレスＡ_nmに更新メモ
リする（506）。これにより一方の目の時系列的に変化
する位置が検出される。次に、目の開閉状態をチェック
する。すなわち、最暗点に移動した後の注目点を中心と
する縦方向±20ドット範囲における明るさ値の最大値Ｔ
_(max)と最小値Ｔ_(min)を検出し、その平均値を算出し、
レジスタＴ_AVにセットする（507）。そしてＴ_AV以下の
明るさ値を示す縦（ｙ）方向の幅Ｗ₁を検出する（50
8)。図１３に示す模式図において縦方向の幅は、Ｗ₁＝
｜ｙ′−ｙ″｜となる。

【００４７】同様の処理を他方の目についても行い縦
（ｙ）方向の幅Ｗ₂を検出する（509〜515)。これにより
時系列的に変化する両目の開度が検出される。

【００４８】次に、図１４を参照すると、瞬きがあるか
を「瞬き判定」ＴＤＥで判定する。この内容を図１５に
示す。ここでは、図１３のステップ５１３でメモリのア
ドレスＡn2m2に格納した左眼の黒目の中心（図１７参
照）の座標を中心とする横８０×縦４０画素の領域（今
回撮影画面上の左眼存在領域）を特定して、この領域の
各画素の画像デ−タ（画素の明るさを表わす階調デ−
タ）と、セクションメモリ（前回の撮影画面の、左眼の
黒目の中心の座標を中心とする横８０×縦４０画素の領
域の画像デ−タを格納した、メモリ上の一領域）の各画
素の階調デ−タを、該領域内で同一位置にある画素のも
の同志を対応付けて、両者の差（階調差）を算出し、各
画素宛ての差の総和ＤＩＦを算出する（図１５のＴ
１）。そして今回の左眼領域（左眼の黒目中心を中心と
する横８０×縦４０画素）の階調デ−タを、セクション
メモリに書込む（Ｔ２）。

【００４９】ビデオカメラ３は、１秒間に１０回撮影画
面を更新し、これに同期してこの「瞬き判定」ＴＤＥが
含まれる「追跡」５が実行されるので、「瞬き判定」Ｔ
ＤＥは0.1sec周期で繰返し実行される。したがって、上
述の左眼領域の前回撮影画面の階調デ−タと今回撮影画
面の階調デ−タの差の総和ＤＩＦは、0.1sec前後の左眼
領域の画像の相違度を表わすものである。ところで瞬き
（瞼の一往復動）時間は0.1sec周期前後であるので、瞬
きがあったときならびにドライバの顔の照明等が急激に
変化したときにＤＩＦは大きな値となる。明るさが、そ
の高低にかかわらず安定しておりしかも瞬きが無い間
は、ＤＩＦの値は小さく変化も小さい。次に、このＤＩ
Ｆが瞬き相当値のものであるかをチェックして（Ｔ
３）、そうであるとＤＴタイマをスタ−トする（Ｔ
４）。ＤＴタイマの時限値ＤＴは、この実施例では５秒
である。５秒未満のピッチ（周期）で瞬きが繰返えされ
ると、ＤＴタイマが瞬きがある都度スタ−ト（再スタ−
ト）される（Ｔ４）ので、ＤＴタイマはタイムオ−バし
ない。５秒間瞬きが検知されないと、ＤＴタイマがタイ
ムオ−バ（５秒の計時完了）し、これがステップＴ５で
認知される。すなわち、ＤＴタイマのタイムオ−バが
「瞬き無し」を表わし、タイムオ−バなし（計時中）は
「瞬き有り」を意味する。

【００５０】再度図１４を参照する。上述の「瞬き無
し」になると、ブザ−コントロ−ラ１９にブザ−オン信
号を与え、これによりブザ−５が鳴動する。ドライバが
ストップ指示(ストップスイッチＳＳＷをドライバがオ
ン)を入力するとブザ−５を停止する（５２３）。すな
わち、「瞬き無し」になると、ドライバがストップ指示
を入力するまで警報を発し続ける(521〜522)。

【００５１】更に図１４を参照する。上述の「瞬き有
り」のときには、両目の幅Ｗ₁およびＷ₂が所定値Ｗ₀以
下であるか否かをチェックし(516)、いずれかの目が所
定値Ｗ₀より大きいとドライバは正常(居眠り状態あるい
は脇見運転ではない)と判定し、ステップ501に戻り上述
の処理(501〜516〜501,・・・)を続行するが、この途中に
両目の幅Ｗ₁およびＷ₂が所定値Ｗ₀以下であると、タイ
マの作動の有無を示すフラグＦが０(作動していない)で
あるかチェックし(517)、フラグＦが０であればマイク
ロプロセッサ６は内部タイマをオンし(518)、フラグＦ
に１をセットしタイマ作動中を示す(519)。そして、タ
イマがオーバしたかをチェックし(520)、タイマがオー
バしていないとステップ501に戻り処理を繰り返すが、
タイマがオーバしているとドライバは居眠り状態あるい
は脇見運転中であると判定しブザーコントローラ19を介
して、ドライバからのストップ指示(ストップスイッチ
ＳＳＷをドライバがオン)があるまで警報を発し続ける
(521〜522)。なお、一旦タイマがオンされてタイマがオ
ーバしていない間に、ドライバのいずれかの目の幅が所
定値Ｗ₀より大きくなると(516)フラグは０にセットされ
るため(524)、例えばドライバの自然のまだたき等、一
時的に目を閉じる状態(タイマのセット時間未満)では警
報は発せられない。警報オンの状態で、ドライバからの
ストップ指示があるとステップ１の初期化に戻る（図
３）。

【００５２】なお、「追跡」中に目の検出に失敗するこ
とがあるが、そのときには上述の「居眠り状態あるいは
脇見運転中」との判定結果となり、ブザ−５が付勢され
る。したがってブザ−５は、「追跡」中に目の検出に失
敗したとき、ならびに、監視対象のドライバが「居眠り
状態あるいは脇見運転中」のときに鳴動する。

【００５３】上述の実施例では、「瞬き判定」ＴＤＥ
で、左眼領域（左黒目中心を中心に横８０×縦４０画
素）を瞬き判定対象にしている。これは右ハンドル車を
適用対象車と想定したことによる。右ハンドル車の場
合、ドライバの顔の右半分が右窓に近く、対向車等の反
射，ヘッドライトを受け易いが、左半分は車室内中央側
にあるので、車外からの光の影響が少く、その分「瞬き
判定」の判定精度が高い。したがって、左ハンドル車を
適用対象とするときには、右目領域を瞬き判定対象にす
るのが好ましい。

【００５４】上述の実施例では、人の目の検出のため小
領域内で最暗点を検出し、注目点を最暗点に移動させた
が、最も明るい点，あるいは所定の明るさの値に設定し
てもよく、所望の画像のテンプレートマッチング，階調
差による削除処理等を実行すれば、撮影対象は人の目に
限らず、他の物体あるいはその一部等、撮影画像上で特
徴ある暗パタ−ン又は明パタ−ンをもたらすものであっ
てもよい。

【００５５】なお上記実施例では、メモリテ−ブルに予
め所定ピッチで分散させた注目点の座標を書込むが、こ
の書込みは省略し、代りに、例えば第１注目点（６８，
２００）を指定してその座標デ−タを座標レジスタに書
込み、その周縁の最暗部を検出してその座標をメモリテ
−ブルに書込み、次に座標レジスタのｘ座標デ−タを１
５ドット分インクリメントして第２注目点座標とする具
合に、座標デ−タを順次インクリメントして順次に注目
点を指定してもよい。また、上記実施例ではメモリテ−
ブルに注目点の座標デ−タを保持するが、ＲＡＭ１０又
は別途のメモリに１フレ−ム２値デ−タテ−ブルを割り
当てて、そのアドレスを多階調デ−タを書込むフレ−ム
メモリ１２のアドレスと一対一に対応付けて、注目点の
座標に対応する２値デ−タテ−ブルアドレスに、「注目
点」を示す「１」を書込むことにより注目点位置情報を
２値デ−タテ−ブルに保持し、注目点を確認（サ−チ又
は読出し）するときには、アドレスを順次に更新して２
値デ−タテ−ブルのデ−タを順次に読出し、読出しデ−
タが「１」（注目点）のときの読出しアドレスをセ−ブ
（注目点のアドレスとして摘出）すればよい。

【００５６】

【発明の効果】例えばドライバのめがねレンズの反射や
外部光により、２次元撮像手段(3)による撮影画面上の
目の開度算出値の誤差が大きくなる場合でも、瞬き検知
精度が高い。

【図面の簡単な説明】

【図１】 本発明の一実施例の構成を示すブロック図で
ある。

【図２】 図１に示すＣＣＤカメラ３，照明ランプ４お
よびブザー５の配置外観を示す斜視図である。

【図３】 図１に示すマイクロプロセッサ６の制御動作
の概要を示すフローチャートである。

【図４】 図３に示す「小領域での暗点検出」（３）の
制御動作を示すフローチャートである。

【図５】 図３に示す「判定」（４）の制御動作を示す
フローチャートである。

【図６】 図５に示す「孤立点の削除」（４１）の制御
動作を示すフローチャートである。

【図７】 図５に示す「注目点近傍の他注目点の削除」
（４２）の制御動作を示すフローチャートである。

【図８】 図５に示す「十字階調差による削除」（４
３）の制御動作を示すフローチャートである。

【図９】 図５に示す「テンプレートマッチングによる
削除」（４４）の制御動作を示すフローチャートであ
る。

【図１０】 図５に示す「斜め方向階調差による削除」
（４５）の制御動作を示すフローチャートである。

【図１１】 図５に示す「近傍注目点の統合」（４７）
の制御動作を示すフローチャートである。

【図１２】 図５に示す「注目点数の判定」（４８）の
制御動作を示すフローチャートである。

【図１３】 図３に示す「追跡」（５）の制御動作を示
すフローチャートである。

【図１４】 図３に示す「追跡」（５）の制御動作を示
すフローチャートである。

【図１５】 図１４に示す「瞬き判定」（ＴＤＥ）の内
容を示すフロ−チャ−トである。

【図１６】 フレームメモリ１２に書込む画像データの
一画面分布に４２５個の注目点を配置した様子を示す状
態図である。

【図１７】 人の目の縦方向と横方向の大きさを示すブ
ロック図である。

【図１８】 図１に示すＲＡＭ１０のメモリテーブルの
内容を示すブロック図である。

【図１９】 ２個の注目点が人の両目の位置を特定する
様子を示す状態図である。

【符号の説明】

３：ＣＣＤカメラ ４：照明ランプ ５：ブザー ６，８：マイクロ
プロセッサ ７：アドレスバス＆コントロールバス ９：ＲＯＭ １０：ＲＡＭ １２：フレームメモリ １７：Ａ／Ｄコン
バータ １８：赤外線ランプコントローラ １９：ブザーコン
トローラ ＳＳＷ：ストップスイッチ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁵ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０８Ｂ 21/00 Ｑ 9177−5Ｇ Ｈ０４Ｎ 5/225 Ｃ

Claims (1)

【特許請求の範囲】
1. 【請求項１】車両上ドライバを撮影する２次元撮像手
   段；警報手段；前記２次元撮像手段が撮影した画像上
   の、眼像を検出する像検出手段；前記２次元撮像手段が
   繰返し撮影する画面上における眼像の位置を追跡する追
   跡手段；前記２次元撮像手段が繰返し撮影した、時間的
   に前後する異なった画面上の、前記追跡手段が追跡した
   位置を中心とする所定領域の画像情報の相違度を算出し
   該相違度より瞬きの有無を判定する瞬き判定手段；およ
   び、 瞬き判定手段の瞬き無し判定が所定時間の間継続すると
   前記警報手段を付勢する警報制御手段；を備える居眠り
   運転警報装置。