JPH06270712A - 脇見運転警報装置 - Google Patents

Abstract

(57)【要約】 【目的】 車両運転者の脇見を自動検出する。脇見検出
精度を向上する。 【構成】 車両上ドライバを撮影する２次元撮像手段
(3)；該２次元撮像手段(3)が撮影した画像上の、顔像の
所定部位を検出する像検出手段(6,8)；該所定部位の、
明るさの水平方向の傾きを算出する勾配検出手段(6,
8)；前記車両の進行方向を検出する方向検出手段(21,2
0)；前記明るさの傾きと前記車両進行方向に基づいてド
ライバの顔の向きと車両進行方向の一致／不一致を検出
する脇見判定手段(6,8)；警報手段(19,5)；および、前
記脇見判定手段(6,8)の不一致の検出に従って前記警報
手段(19,5)を付勢する警報制御手段(6,8)；を備える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、車両上の運転警報装置
に関し、特に、ドライバの顔をビデオカメラで撮影し画
像処理により画像上の顔の特定部位を検出し特定部位の
運動を時系列で監視して、車両走行の安全性が損なわれ
るようなドライバの行状に対して自動的に警報を発っす
る警報装置に関する。

【０００２】

【従来の技術】例えば、特公平３−１４６５６号公報に
は、ドライバ（運転者）の居眠り運転防止のために、ド
ライバの目に赤外線を照射しその反射光を検出し、反射
光検出値に基づいてまばたきを判定し、まばたき頻度に
基づいてドライバの居眠りを検知する技術が提示されて
いる。居眠り検知装置は、めがねに装備されている。ま
た、特公平４−２８４号公報には、車両上ドライバ（運
転者）の顔をカメラで撮影し、撮影画像上において目お
よび口を認識する技術が開示されている。これは、ドラ
イバに特別なものを付ける必要はなく、ドライバの顔を
ビデオカメラで撮影し、撮影画像上で目を検出および追
跡して、目の開度（開，閉）を算出し、開度に基づいて
目を閉じているか否かを判定する。ドライバの顔部を照
明する照明灯の明るさは、画像デ−タに基づいて目およ
び口を認識するのに最適に調整される。画像データはフ
レームメモリに格納されると共に、２値化される。２値
データに基づいてドライバの目および口が検出される。
目の閉じ時間が長いと、ドライバが居眠りをしていると
見なして警報が発っせられる。実開平３−２４４２９号
公報には、ドライバのめがねに赤外線発器器を装備し、
ドライバの前方の赤外線リニアイメ−ジセンサでドライ
バの顔の動きを監視するモニタ装置が提示されている。

【０００３】

【発明が解決しようとする課題】車両運転では、ドライ
バの居眠りのみならず脇見が車両走行の安全性を損なう
ことがあり、脇見を自動検知し警報を発っする装置があ
れば、車両運転の安全性がより向上すると期待される。
実開平３−２４４２９号公報のモニタ装置は、赤外線発
光源をドライバが頭部に装備しなければならずこれがド
ライバにわずらわしいものとばかりでなく、装着のしか
たによって顔の向きと赤外線放射方向がばらつき、検出
誤差のばらつきが大きいと推察する。

【０００４】本発明は、車両運転者が格別な物を装着す
る必要のない、車両運転者の脇見に対して自動的に警報
を発っする脇見運転警報装置を提供することを目的とす
る。

【０００５】

【課題を解決するための手段】本発明の脇見運転警報装
置は、車両上ドライバを撮影する２次元撮像手段(3)；
該２次元撮像手段(3)が撮影した画像上の、顔像の所定
部位を検出する像検出手段(6,8)；該所定部位の、明る
さの水平方向の傾きを算出する勾配検出手段(6,8)；前
記車両の進行方向を検出する方向検出手段(21,20)；前
記明るさの傾きと前記車両進行方向に基づいてドライバ
の顔の向きと車両進行方向の一致／不一致を検出する脇
見判定手段(6,8)；警報手段(19,5)；および、前記脇見
判定手段(6,8)の不一致の検出に従って前記警報手段(1
9,5)を付勢する警報制御手段(6,8)；を備える。なお、
カッコ内の記号は、図面に示し後述する実施例の対応要
素又は対応事項に付したものである。

【０００６】

【作用】車両上ドライバの脇見の場合、ドライバの顔の
向きが車両前方から右又は左にずれ、２次元撮像手段
(3)でドライバを撮影していると、顔の各部位の明るさ
が変化し、画像上で水平方向の明るさ分布が変わる。例
えば右を向いたときには、顔の左半分は大略で明るくな
り右半分は大略で暗くなる。勾配検出手段(6,8)が、像
検出手段(6,8)が検出した所定部位の明るさの水平方向
の傾きを算出する。ところで、車両がタ−ンしていると
きには、車両の前後方向長手軸（車軸）と車両の進行方
向とは異なり、ドライバはタ−ン方向を見るので、撮影
画像上で顔の向きはタ−ン方向（右又は左）に向いたも
のとなる。すなわち、道路のカ−ブでは、直進走行の場
合の脇見の場合と同様な、眼像の位置変化を生ずる。本
発明の脇見運転警報装置では、方向検出手段(21,20)が
車両の進行方向を検出し、脇見判定手段(6,8)が、明る
さの水平方向の傾きより顔像の向きを判定して顔の向き
と車両進行方向の一致／不一致を検出する。一致の場合
は例え顔が車軸に対して右又は左を向いていても、それ
はカ−ブ走行によるものである。しかして警報制御手段
(6,8)が、不一致の検出に従って警報手段(19,5)を付勢
するので、ドライバの顔の向きが車両進行方向と異なる
ときに、警報が自動的に発っせられる。

【０００７】ところで、ドライバがル−ムミラ−（車内
のバックミラ−）又はサイドミラ−（車外のドアミラ−
又はボンネットミラ−）を見るときには、ドライバの顔
の向きが車両進行方向から外れる。この後方確認又は側
方確認は短時間である。そこで本発明の好ましい実施例
では、警報制御手段(6,8)は、不一致の検出に応答して
計時を開始し不一致の検出が継続すると設定時間(1秒)
後に警報手段(19,5)を付勢するものとする。これによれ
ば、短時間(1秒未満)の脇見や短時間(1秒未満)の後方確
認又は側方確認の場合には警報は発っせられない。後方
確認又は側方確認でもそれが設定時間(1秒)以上になる
と警報が発っせられる。

【０００８】本発明の他の目的および特徴は、図面を参
照した以下の実施例の説明より明らかになろう。

【０００９】

【実施例】図１に、一実施例の構成を示す。この実施例
は車両上ドライバの顔を撮影して撮像画像中の目を検出
し、時系列で目を追跡して、目の開，閉を認識し、所定
時間以上継続して目が閉じられている(居眠り)とブザー
５を付勢するものである。ＣＣＤカメラ３およびドライ
バの少なくとも顔部を照明する照明灯４は、図２に示す
ように、一体に構成されてインスツルメントパネル２
に、上下および左右に指向方向を調整自在に固着されて
いる。ＣＣＤカメラ３の側面には警報を発生するブザー
５およびブザー５の警報を止めるストップスイッチＳＳ
Ｗが設けられている。照明灯４は、発光ダイオードから
構成される赤外線照明であり、ＣＣＤカメラ３は赤外線
領域における感度を有している。赤外線照明は、普通光
による照明と異なりドライバにまぶしさを与えることが
ないのでドライバの前方視認をむつかしくすることがな
い。したがって照明灯４は常時点灯してもよい。図２に
おいて、符号１は車両の走行方向制御のためドライバが
操作するステアリングホイールである。

【００１０】再度図１を参照する。ブザー５はブザーコ
ントローラ１９によりオン／オフ付勢される。このブザ
ー５は後述するように、ドライバが目を閉じた状態が所
定時間以上継続すると（居眠りと見なして）付勢され
る。また照明灯４は赤外線ランプコントローラ１８によ
り点灯付勢される。ブザーコントローラ１９，赤外線ラ
ンプコントローラ１８，その他出力（ラジオ，エアコ
ン，ワイパ，ヘッドライト等を制御するコントローラ）
には、マイクロプロセッサ６が、インターフェイス１３
を介してオン／オフ指示信号等を与える。

【００１１】車両上には角速度検出器２１が搭載されて
おり、この検出器２１は角速度検出回路２０により励振
付勢され、車両の右方向タ−ンのときには正極性の、左
方向タ−ンのときには負極性の回転角速度信号を発生
し、検出回路２０がこの角速度信号を校正処理（波形整
形および増幅）して、パラレルインタ−フェイス１３に
与える。インタ−フェイス１３は、回転角速度信号の極
性を判別し極性を表わす信号をマイクロプロセッサ６に
与える。

【００１２】ＣＣＤカメラ３は、２次元ＣＣＤを備える
ものであり、このＣＣＤカメラ３に、インターフェイス
１６を介して、マイクロプロセッサ６が、オン／オフ信
号を与える。ＣＣＤカメラ３は、撮影した映像信号（ビ
デオ信号：アナログ）を繰り返してＡ／Ｄコンバータ１
７に出力すると共に、画素同期パルスをＡ／Ｄコンバー
タ１７にＡ／Ｄ変換同期パルスとして与えると共に、フ
レーム同期パルス，ライン同期パルスおよび画素同期パ
ルスをインターフェイス１６を介してマイクロプロセッ
サ６に与える。

【００１３】マイクロプロセッサ６は、画像データの１
フレーム分を読込むときには、フレーム同期パルスに同
期してフレームメモリ（ＲＡＭ）１２に書込みを指示
し、ライン同期パルスおよび画素同期パルスに同期して
フレームメモリ１２の書込アドレスを進める。フレーム
メモリ１２には、この例ではＣＣＤカメラ３が１画面を
横５１２画素，縦４８５画素分割で撮影するので、５１
２×４８５画素分の２５６階調の画像デ−タを記憶しう
る画像メモリを使用する。

【００１４】Ａ／Ｄコンバータ１７は、ビデオ信号を８
ビット（２５６階調）のデジタルデータに変換する。す
なわち、フレームメモリ１２に書込まれる画像データ
は、一画素（以下ドット）当り８ビット（２５６階調）
の、明るさを示すデ−タである。したがってマイクロプ
ロセッサ６はフレームメモリ１２の値を読み出すこと
で、画面上の任意の位置の明るさを知ることができる。

【００１５】マイクロプロセッサ６には、各種画像処理
および判定用の演算を行うためにもう１つのマイクロプ
ロセッサ８が接続されており、また通常のコンピュータ
システム制御用のＲＯＭ９およびＲＡＭ１０，バスコン
トローラ１５および前述のフレームメモリ１２が接続さ
れている。

【００１６】図３に、マイクロプロセッサ６および８の
動作の概要（メインルーチン）を示し、動作の詳細（サ
ブルーチン）を図４〜図１５に示す。以下これらの図面
を参照して、設定されたプログラムに基づいたマイクロ
プロセッサ６および８の制御動作を説明する。

【００１７】まず動作の概要を図３を参照して説明す
る。電源が投入されるとマイクロプロセッサ６は、初期
化を行う（ステップ１：以下カッコ内ではステップとい
う語を省略する）。これにおいては、入出力ポートを初
期化して、内部レジスタ，フラグ等をクリアし、ＣＣＤ
カメラ３および赤外線ランプコントローラ１８にオンを
示す付勢信号を与え、ブザーコントローラ１９にオフを
示す信号を与える。またマイクロプロセッサ６は、図１
６に示すように、フレームメモリ１２に書込む画像デ−
タの一画面分布に対して、画面の中央付近に横２５個，
縦１７個，の総計４２５個の注目点（カーソル）を縦，
横１５ドット間隔で配置する。この間隔は、画面上で人
の目の大きさがどの程度になるかによって変わるが、図
１７に示すように、ＣＣＤカメラ３の撮影画面上で１つ
の目の縦方向の最大幅は３０ドット，横方向は４０〜５
０ドットであるため、１つの目の領域に少くとも１個の
注目点が存在するように、本実施例では１５ドット間隔
としている。図１６のように、フレームメモリ１２に書
込まれる画像の横方向をｘ軸，縦方向をｙ軸とした場合
（画像の左上端座標（０，０），右下端座標（５１１，
４８４））、４２５個の注目点の左上端座標を（６８，
２００），右下端座標を（４２８，４４０）となるよう
注目点を配置し、その座標データ（Ｘ_m，Ｙ_n）を、図１
８に示すような、ＲＡＭ(メモリ)１０（図１）のメモリ
テーブルのアドレスＡ_nmに書込む。

【００１８】 ただし、Ｘ_m＝６８＋１５（ｍ−１）；１≦ｍ≦２５， Ｙ_n＝２００＋１５（ｎ−１）；１≦ｎ≦１７，であ
る。

【００１９】そして初期化から所定時間（照明ランプ４
の明るさが安定し、ドライバの顔が運転時の位置に静止
するのを待っ時間）の後、ＣＣＤカメラ３からのフレー
ム同期パルスに同期して、１フレーム分の画像データ
の、フレームメモリ１２への書込みを開始し、１フレー
ム分の画像データ（１ドット当り８ビットの多階調デー
タ）をメモリ１２に書込む（２）。

【００２０】次にマイクロプロセッサ６は、各々の注目
点を中心とした小領域を設定し、該領域内で最も暗い点
に注目点の座標を更新する（３）。この操作を４２５個
の注目点のすべてについて行う。この内容は、図４を参
照して後述する。

【００２１】次にマイクロプロセッサ６は、座標更新後
の注目点について、周辺に他の注目点が存在しない孤立
点を消去したり、ある注目点の近傍の他の注目点を１つ
にまとめる処理等を行い、最終的に注目点の数Ｎが人の
目の数，すなわち注目点が２個であるか否かの判定を行
う（４）。この内容は、図５〜１２を参照して後述す
る。最終的に注目点の数Ｎが２でない場合には、ステッ
プ２に戻る。

【００２２】注目点が２個であれば、注目点の座標は人
の両目の位置を示すものとみなして、毎フレームをメモ
リ１２に書込むごとに該注目点を追跡して、時系列的に
両目の開閉状態を検知してドライバが居眠り，あるいは
脇見をしているか否かの判断を行う（５）。この内容は
図１３および図１４を参照して後述する。追跡処理中
に、追跡不能となるとステップ１の初期化に戻る。

【００２３】図４を参照して、「小領域での暗点検出」
（３）の内容を説明する。これは、注目点を中心に縦横
方向に±１０ドット範囲の小領域を設定し、小領域内で
一番暗い点を示す座標に注目点の座標を更新する処理で
ある。

【００２４】まず、マイクロプロセッサ６はレジスタ
ｍ，ｎに１をセットし（３１）、図１８に示すメモリの
アドレスＡ_nmの座標データＸ_m，Ｙ_nを読み出す（３
２）。最初はアドレスＡ₁₁の座標データＸ₁，Ｙ₁が読み
出される。次にレジスタｘ₁にＸ_m−１０をｙ₁にＹ_n−１
０をセットして小領域の左上端の座標を設定し（３
３）、レジスタｘ₂にＸ_m＋１０をｙ₂にＹ_n＋１０をセッ
トして小領域の右下端の座標を設定する（３４）。そし
て、領域，ｘ₁≦ｘ≦ｘ₂＆ｙ₁≦ｙ≦ｙ₂内においてフレ
ームメモリ１２のデータを読み出して明るさ値の最も暗
い点を検出し、その座標をメモリのアドレスＡ_nmに更新
メモリする（３５）。次に、レジスタｍを１インクレメ
ント（３６）し、ステップ３７でｍの値が２５より大き
くなるまではステップ３２〜３６の処理を繰り返す。す
なわち、これにより２５個の注目点の座標（Ｘ₁，
Ｙ₁），（Ｘ₂，Ｙ₁），・・，（Ｘ₂₅，Ｙ₁）が更新され
る。レジスタｍが２５より大きくなると（３７）、ｍの
値を１にセットしレジスタｎを１インクレメントし（３
８）、ステップ３９でｎの値が１７より大きくなるまで
はステップ３２〜３８の処理を繰り返す。これにより注
目点の座標（Ｘ₁，Ｙ₂），（Ｘ₂，Ｙ₂），・・，
（Ｘ₂₅，Ｙ₂），（Ｘ₁，Ｙ₃），（Ｘ₂，Ｙ₃），・・，
（Ｘ₂₅，Ｙ₃），・・・が更新され、総計４２５個の注
目点の座標が更新されると（ステップ３９でＹＥＳ）リ
ターンする。これにより、初期化で等間隔で配置された
注目点は人の目，眉や髪の毛等、暗い部分に移動する。

【００２５】図５を参照して、「判定」（４）の制御動
作を説明する。判定では、黒目には複数の注目点が集ま
っているので孤立点を削除する、「孤立点の削除」（４
１），注目点の周辺に複数の注目点がある場合に一つの
注目点に統合する、「注目点近傍の他注目点の削除」
（４２），注目点を中心とする縦方向と横方向の平均階
調を比較して縦階調の方が暗い注目点を削除する、「十
字階調差による削除」（４３），予め検出した目のテン
プレート画像との比較を行って比較誤差の大きい注目点
を削除する、「テンプレートマッチングによる削除」
（４４），注目点を中心とする右上斜め方向と左上斜め
方向の平均階調を比較して比較誤差の大きい注目点を削
除する、「斜め方向階調差による削除」（４５），残存
する注目点をステップ３と同様の処理により小領域内で
最暗点に移動させる、「小領域での暗点検出」（４
６），互いに位置の近い注目点を統合する、「近傍注目
点の統合」（４７），の処理を行い、最終的に残存する
注目点の数Ｎが両目に対応して２であるか否かを判定す
る、「注目点数の判定」（４８）を実行する。

【００２６】図６を参照して、「孤立点の削除」（４
１）の制御動作を更に詳細に説明する。まず、マイクロ
プロセッサ６はレジスタｍ₁，ｎ₁に１をセットし(410
1)、レジスタｍ₁，ｎ₁の値をレジスタｍ，ｎにセットし
て(4102)、メモリのアドレスＡ_nmの座標データＸ_m，Ｙ_n
を読み出す(4103)。ｍ₁，ｎ₁は注目点を示すレジスタで
ある。最初はアドレスＡ₁₁の座標データＸ₁，Ｙ₁が読み
出される。次にレジスタｘ₁にＸ_m−１０をｙ₁にＹ_n−１
０をセットして他の注目点の存在の有無を検出する領域
の左上端の座標を設定し（4104）、レジスタｘ₂にＸ_m＋
１０をｙ₂にＹ_n＋１０をセットして検出領域の右下端の
座標を設定する（4105）。

【００２７】次に、レジスタｍ₂，ｎ₂に１をセットする
(4106)。レジスタｍ₂，ｎ₂はｍ₁，ｎ₁で示す注目点に対
する他の注目点を示すレジスタである。次にｍ₁＝ｍ₂＆
ｎ₁＝ｎ₂であるか、すなわち注目点と他の注目点とが同
一のものであるか否かをチェックする（4107）。同一の
ものであれば、孤立点の削除の必要はないため後述する
ステップ4112に進むが、同一でなければレジスタｍ，ｎ
にｍ₂，ｎ₂をセットし(4108)、メモリのアドレスＡ_nmに
データが存在するか否かをチェックし(4109)、データが
なければステップ4112に進むが、データが有ればその座
標データＸ_m，Ｙ_nを読み出す(4110)。最初は、レジスタ
ｍ₁，ｎ₁およびｍ₂，ｎ₂には１がセットされるためステ
ップ4112に進みｍ₂が１インクレメントされ、ステップ4
107に戻るので、注目点としてアドレスＡ₁₁の座標デー
タＸ₁，Ｙ₁と、他の注目点としてアドレスＡ₂₁の座標デ
ータＸ₂，Ｙ₁が読み出される。

【００２８】次に、他の注目点の座標データＸ_m，Ｙ_nが
注目点の検出領域内に存在するか否かをチェックし(411
1)、存在すれば注目点は孤立点ではないのでそのまま残
置するが、検出領域内に存在しなければ、他の全ての注
目点についても検出領域内に在存するか否かを一つ存在
することが検知されるまで行う。すなわち、ｍ₂が25よ
り大きくなるまでｍ₂を1インクレメントし(4112,411
3)、25より大きくなるとｍ₂を1にセットしｎ₂を1インク
レメントし(4114)、ｎ₂が17より大きくなるまでステッ
プ4107〜4111の処理を繰り返す(4115)。そして、注目点
を中心とする検出領域にその他の注目点が全く存在しな
い場合に(ステップ4115でYES)、レジスタｍ，ｎにｍ₁，
ｎ₁をセットして(4116)、メモリのアドレスＡ_nmの座標
データを消去する(4117)。

【００２９】座標データの消去あるいは検出領域に一つ
他の注目点が存在すると、注目点を示すレジスタｍ₁を1
インクレメントし(4118)、ステップ4102に戻り上述の処
理を残置する(ステップ4109でYES)全ての注目点に関し
て繰り返す(4118〜4121〜4102〜4118・・・)。そして全注
目点について孤立点か否かの判定を終了すると(4121でY
ES)、リターンする。すなわち注目点を中心とする±10
ドット領域内に他の注目点があるか否か判定し、他の注
目点が全く存在しないと、基準となる注目点はメモリ10
から消去される。これにより、人の目，眉や髪の毛等、
暗い部分に移動した注目点は残置されるが、それ以外の
注目点はメモリテーブルから消去される。図７を参照し
て、「注目点近傍の他注目点の削除」（４２）の制御動
作を更に詳細に説明する。まず、マイクロプロセッサ６
はレジスタｍ₁，ｎ₁に１をセットし(4201)、レジスタｍ
₁，ｎ₁の値をレジスタｍ，ｎにセットして(4202)、メモ
リのアドレスＡ_nmにデータが存在するか否かをチェック
する(4203)。これは「孤立点の削除」(41)処理によってデ
ータがメモリ10から消去されている場合があるからであ
る。なおｍ₁，ｎ₁は基準となる注目点を示すレジスタで
ある。データがなければステップ4217に進むが、データ
が有ればその座標データＸ_m，Ｙ_nを読み出す(4204)。次
に、レジスタｘ₁にＸ_m−５をｙ₁にＹ_n−５をセットして
他の注目点の存在の有無を検出する領域の左上端の座標
を設定し（4205）、レジスタｘ₂にＸ_m＋５をｙ₂にＹ_n＋
５をセットして検出領域の右下端の座標を設定する（42
06）。

【００３０】次に、レジスタｍ₂にｍ₁+1を,ｎ₂にｎ₁を
セットする(4207)。「孤立点の削除」(41)と同様にｍ₂,ｎ
₂に1をセットしないのは、メモリのアドレスＡ_nmに残置
しているデータは、それ以前の注目点に対して検出領域
外のものであり、重複して検出する必要がないからであ
る。よって、基準となる注目点を示すレジスタｍ₁，ｎ₁
に対し、検出領域に存在するか否かの対象となる他の注
目点のレジスタｍ₂,ｎ₂はｍ₁，ｎ₁より大きいものをチ
ェックすればよい。

【００３１】次に、レジスタｍ，ｎにｍ₂,ｎ₂をセット
し(4208)、メモリのアドレスＡ_nmにデータが存在するか
否かをチェックし(4209)、データがなければステップ42
12に進むが、データが有ればその座標データＸ_m，Ｙ_nを
読み出す(4210)。

【００３２】次に、他の注目点の座標データＸ_m，Ｙ_nが
注目点の検出領域内に存在するか否かをチェックし(421
1)、存在すればその点は注目点の近傍であるためメモリ
のアドレスＡ_nmの座標データを消去する(4216)。一方、
検出領域外であればその点は残置する。これら処理を
「孤立点の削除」(41)と同様に全ての残存している注目点
について行う(4212〜4215〜4217〜4220〜4202〜4212,・・
・)。そして全注目点について孤立点か否かの判定を終了
すると(4220でYES)、リターンする。すなわち、注目点
を中心として±5ドット領域内の他の注目点はメモリ10
から消去し、領域内には注目点を一とする。これによ
り、人の目，眉や髪の毛等、暗い部分に移動した注目点
のうち近傍の注目点は一とされ、注目点の残存数は減少
する。

【００３３】図８を参照して、「十字階調差による削
除」（４３）の制御動作を更に詳細に説明する。まず、
マイクロプロセッサ６はレジスタｍ，ｎに１をセットし
(4301)、メモリのアドレスＡ_nmにデータが存在するか否
かをチェックする(4302)。データがなければステップ43
10に進むが、データが有ればその座標データＸ_m，Ｙ_nを
読み出し(4303)、レジスタｘ₁にＸ_m−２０をｙ₁にＹ_n−
２０をセットし（4304）、レジスタｘ₂にＸ_m＋２０をｙ
₂にＹ_n＋２０をセットする（4305）。

【００３４】次に、領域，ｙ＝Ｙ_n＆ｘ₁≦ｘ≦ｘ₂、す
なわち注目点を中心に横方向±２０ドットにおける各点
の明るさ値を検出し、その総和をレジスタＴ_Hにセット
し（4306)、領域，ｘ＝Ｘ_m＆ｙ₁≦ｙ≦ｙ₂、すなわち注
目点を中心に縦方向±２０ドットにおける各点の明るさ
値を検出し、その総和をレジスタＴ_Vにセットする（430
7)。そして、Ｔ_HとＴ_Vを比較し(4308)、縦階調Ｔ_Hの方
が横階調Ｔ_Vより大きい場合のみ注目点をメモリのアド
レスＡ_nmから消去する(4309)。

【００３５】この処理を「注目点近傍の他注目点の削除」
(42)の終了時に残存する全注目点に関して行う(4310〜4
313〜4302〜4310,・・・)。すなわち、図１７で示すよう
に、人の目の大きさは縦方向より横方向が長く、横階調
の方が縦階調より暗いので、注目点のうち縦階調の方が
暗いものは人の目の位置にあるものでないとしてメモリ
10から消去する。これにより、人の目や眉以外の特に髪
の毛等の暗い部分に移動した注目点の残存数は減少す
る。

【００３６】図９を参照して、「テンプレートマッチン
グによる削除」（４４）の制御動作を更に詳細に説明す
る。まず、マイクロプロセッサ６はレジスタｍ，ｎに１
をセットし(4401)、メモリのアドレスＡ_nmにデータが存
在するか否かをチェックする(4402)。データがなければ
ステップ4408に進むが、データが有ればその座標データ
Ｘ_m，Ｙ_nを読み出し(4403)、レジスタｘ₁にＸ_m−３０を
ｙ₁にＹ_n−２０をセットし（4404）、レジスタｘ₂にＸ_m
＋３０をｙ₂にＹ_n＋２０をセットする（4405）。 次
に、領域，ｘ₁≦ｘ≦ｘ₂＆ｙ₁≦ｙ≦ｙ₂、内の各点の明
るさ値と、各点の位置に対応するテンプレートの領域，
ｘ₀−３０≦ｘ≦ｘ₀＋３０＆ｙ₀−２０≦ｙ≦ｙ₀＋２
０、内の各点の明るさ値の差の絶対値の総和を検出し、
レジスタＴ_nmにセットする（4406)。すなわち、注目点
を中心に縦方向±20ドット,横方向±30ドット範囲にお
ける各点(2400=60×40個)の階調度と、予め読み込んで
おいた人の目の中心(ｘ₀,ｙ₀)に同じく縦方向±20ドッ
ト,横方向±30ドット範囲における各点(2400=60×40個)
の階調度を、対応する各点,(Ｘ_m−３０,Ｙ_n−２０)と
(ｘ₀−３０,ｙ₀−２０),(Ｘ_m−２９,Ｙ_n−２０)と(ｘ₀
−２９,ｙ₀−２０)，(Ｘ_m−２８,Ｙ_n−２０)と(ｘ₀−２
８,ｙ₀−２０)，・・・，（Ｘ_m,Ｙ_n）と（ｘ₀,ｙ₀)，・
・・，（Ｘ_m＋３０,Ｙ_n＋２０)と(ｘ₀＋３０,ｙ₀＋２
０)，につきそれぞれ比較する。そして、セットしたＴ
_nmをアドレスＡ_nm対応でセーブする(4407)。

【００３７】この処理を「十字階調差による削除」(43)の
終了時に残存する全注目点に関して行う(4408〜4411〜4
402〜4408,・・・)。次に、総和グループ中の最大値と最小
値を検出し、それらの中間値Ｔ₀を算出し(4412)、総和
が中間値Ｔ₀より大きいアドレスの座標データをメモリ
から消去する(4413)。これにより、人の目以外の眉や髪
の毛等の暗い部分に移動した注目点の残存数は減少す
る。

【００３８】図１０を参照して、「斜め方向階調差によ
る削除」（４５）の制御動作を更に詳細に説明する。こ
れは前述の「十字階調差による削除」（４３）の注目点
を中心とする縦横方向の十字を４５度回転した位置にお
ける階調差による削除を行う処理である。まず、マイク
ロプロセッサ６はレジスタｍ，ｎに１をセットし(450
1)、メモリのアドレスＡ_nmにデータが存在するか否かを
チェックする(4502)。データがなければステップ4512に
進むが、データが有ればその座標データＸ_m，Ｙ_nを読み
出し(4503)、レジスタｘ₁にＸ_m−２０をｙ₁にＹ_n−２０
をセットし（4504）、レジスタｘ₂にＸ_m＋２０をｙ₂に
Ｙ_n＋２０をセットする（4505）。

【００３９】次に、（ｘ₁，ｙ₁）と（ｘ₂，ｙ₂）を結ぶ
直線上，すなわち注目点の中心を通る左斜め上〜右斜め
下方向における各点の明るさ値を検出し、その総和をレ
ジスタＴ_RDにセットし（4506)、（ｘ₁，ｙ₂）と（ｘ₂，
ｙ₁）を結ぶ直線上，すなわち注目点の中心を通る右斜
め上〜左斜め下方向における各点の明るさ値を検出し、
その総和をレジスタＴ_RUにセットする（4507)。そし
て、Ｔ_RDとＴ_RUを比較し(4508)、両者の差がいずれか小
さい方の階調和の＋20％の範囲にあるか否かをチェック
し(4509,4510)、範囲外の場合の注目点をメモリのアド
レスＡ_nmから消去する(4511)。

【００４０】この処理を「テンプレートマッチングによ
る削除」(44)の終了時に残存する全注目点に関して行う
(4512〜4515〜4502〜4512,・・・)。すなわち、人の黒目の
中心に位置する注目点は、Ｔ_RDとＴ_RUの差はほとんどな
いので、差の大きい注目点をメモリ10から消去する。こ
れにより、人の目の縁や眉の縁に移動した注目点の残存
数は減少する。

【００４１】その後、残存する注目点をステップ４６
（図５）で、小領域，注目点を中心として縦横方向±２
０ドットの範囲内で注目点を最暗点に移動させる、「小
領域での暗点検出」（４６）を実行する。この処理（図
示しない）はステップ３（図４）と同様であるが、領域
範囲が±２０ドット（図４では±１０ドット）である
点，および図４のステップ３１とステップ３２の間に
「メモリのアドレスＡ_nmにデータ有？」の判定処理を設
け、存在すればステップ３２に進むが存在しなければス
テップ３６に進むようにする点において異なる。

【００４２】図１１を参照して、「近傍注目点の統合」
（４７）の制御動作を更に詳細に説明する。「注目点近
傍の他注目点の削除」（４２）では、注目点を中心とす
る縦横方向±５ドット範囲内の他の注目点を削除した
が、「近傍注目点の統合」（４７）では、縦横方向±２
０ドット範囲内に他の注目点が存在する場合には、両点
の中間位置に注目点を移動させて他の注目点を削除す
る。また、「注目点近傍の他注目点の削除」（４２）で
は基準となる注目点を示すレジスタｍ₁，ｎ₁に対し、検
出領域に存在するか否かの対象となる他の注目点のレジ
スタｍ₂,ｎ₂はｍ₁，ｎ₁より大きいものをチェックすれ
ばよかったが、「近傍注目点の統合」（４７）では基準
となる注目点は移動するため、基準となる注目点に対し
残っている全ての注目点についてチェックする。

【００４３】まず、マイクロプロセッサ６はレジスタｍ
₁，ｎ₁に１をセットし(4701)、レジスタｍ₁，ｎ₁の値を
レジスタｍ，ｎにセットして(4702)、メモリのアドレス
Ａ_nmにデータが存在するか否かをチェックし(4703)、デ
ータがなければステップ4722に進むが、データが有れば
メモリのアドレスＡ_nmの座標データＸ_m1，Ｙ_n1を読み出
す(4704)。ｍ₁，ｎ₁は基準となる注目点を示すレジスタ
である。次にレジスタｘ₁にＸ_m1−２０をｙ₁にＹ_n1−２
０をセットして他の注目点の存在の有無を検出する領域
の左上端の座標を設定し（4705）、レジスタｘ₂にＸ_m1
＋２０をｙ₂にＹ_n1＋２０をセットして検出領域の右下
端の座標を設定する（4706）。

【００４４】次に、レジスタｍ₂，ｎ₂に１をセットする
(4707)。レジスタｍ₂，ｎ₂はｍ₁，ｎ₁で示す注目点に対
する他の注目点を示すレジスタである。次にｍ₁＝ｍ₂＆
ｎ₁＝ｎ₂であるか、すなわち注目点と他の注目点とが同
一のものであるか否かをチェックする（4708）。同一の
ものであれば、統合する必要はないため後述するステッ
プ4718に進むが、同一でなければレジスタｍ，ｎに
ｍ₂，ｎ₂をセットし(4709)、メモリのアドレスＡ_nmにデ
ータが存在するか否かをチェックし(4710)、データがな
ければステップ4718に進むが、データが有ればその座標
データＸ_m2，Ｙ_n2を読み出す(4711)。

【００４５】次に、他の注目点の座標データＸ_m2，Ｙ_n2
が注目点の検出領域内に存在するか否かをチェックし(4
712)、存在しなければ統合する必要はないのそのまま残
置するが、検出領域内に存在すれば、両注目点を統合す
る。すなわち、基準となる注目点と対象となる注目点の
中間位置(Ｘ_i，Ｙ_i)を計算し(Ｘ_i＝(Ｘ_m1＋Ｘ_m2)／２，
Ｙ_i＝(Ｙ_m1＋Ｙ_m2)／２）、中間位置(Ｘ_i，Ｙ_i)に注目
点を移動してメモリのアドレスＡ_nmの座標データを更新
メモリし(4713〜4715)、対象となる注目点の座標データ
をメモリのアドレスＡ_nmから消去する(4716,4717)。

【００４６】この処理を残存する全注目点について行う
(4718〜4725〜4702〜4718,・・・)。これにより、注目点は
人の黒目の中心部を示す位置に近づく。

【００４７】図１２を参照して、「注目点数の判定」
（４８）の制御動作を更に詳細に説明する。まず、マイ
クロプロセッサ６はレジスタｍ，ｎに１，およびＮに０
をそれぞれをセットし(4801)、メモリのアドレスＡ_nmに
データが存在するか否かをチェックする(4802)。データ
がなければステップ4805に進むが、データが有ればレジ
スタＮを１インクレメントし(4803)、Ｎが２以下である
か否かをチェックする（4804)。Ｎが２以下であるとメ
モリの全領域についてデータが存在するか否かをチェッ
クする(4805〜4809〜4802〜4805,・・・)。すなわち、メモ
リ10に存在するデータの数,すなわち注目点の数は人の
目の数(=2)であるか否かをチェックする。このチェック
の途中にＮが２より大きくなると（ステップ4804NO)，
あるいは全領域についてチェック終了時にＮが２でない
と(ステップ4810NO;Ｎ=0又は1のとき)両目の位置を注目
点によって特定することができなかったとして、図３の
ステップ２に戻り１フレーム画像の入力し、Ｎが２とな
るまで上述の「小領域での暗点検出」（３）および「判
定」（４）を繰り返す。

【００４８】これにより、Ｎが２であれば両目の位置は
注目点によって特定されるので、メモリにある座標デー
タ(ｍ₁，ｎ₁)および(ｍ₂，ｎ₂)をセーブする(4811)。図
１９に、最終的に残った２個の注目点が人の両目の位置
を特定する状態を示す。

【００４９】図１３および図１４に、図３に示す「追
跡」（５）の内容を示す。これにおいてマイクロプロセ
ッサ６はまず、１フレーム画像データをフレームメモリ
１２に書込む(501)。そしてレジスタｍ，ｎにｍ₁，ｎ₁
をセットする。すなわち人の両目のうち、いずれか一方
の目の位置を示す注目点のアドレスを示す値をセットす
る(502)。そして、メモリのアドレスからその目の位置
を示す座標データＸ_m，Ｙ_nを読み出す(503)。次に、「小
領域での暗点検出」(3)と同様に小領域(この場合は注目
点を中心として縦横方向±20ドットの範囲)を設定、す
なわちレジスタｘ₁にＸ_m−２０をｙ₁にＹ_n−２０をセッ
トして小領域の左上端の座標を設定し(504)、レジスタ
ｘ₂にＸ_m＋２０をｙ₂にＹ_n＋２０をセットして検出領域
の右下端の座標を設定する（505）。そして、領域，ｘ₁
≦ｘ≦ｘ₂＆ｙ₁≦ｙ≦ｙ₂内においてフレームメモリ１
２のデータを読み出して明るさ値の最も暗い点を検出
し、その座標をメモリのアドレスＡ_nmに更新メモリする
（506）。これにより一方の目の時系列的に変化する位
置が検出される。次に、目の開閉状態をチェックする。
すなわち、最暗点に移動した後の注目点を中心とする縦
方向±20ドット範囲における明るさ値の最大値Ｔ_(max)
と最小値Ｔ_(min)を検出し、その平均値を算出し、レジ
スタＴ_AVにセットする（507）。そしてＴ_AV以下の明る
さ値を示す縦（ｙ）方向の幅Ｗ₁を検出する（508)。図
１３に示す模式図において縦方向の幅は、Ｗ₁＝｜ｙ′
−ｙ″｜となる。

【００５０】同様の処理を他方の目についても行い縦
（ｙ）方向の幅Ｗ₂を検出する（509〜515)。これにより
時系列的に変化する両目の開閉度が検出される。

【００５１】図１４を参照する。次に、両目の幅Ｗ₁お
よびＷ₂が所定値Ｗ₀以下であるか否かをチェックし(51
6)、いずれかの目が所定値Ｗ₀より大きいとドライバは
正常(居眠り状態ではない)と判定し、「脇見判定」５２
５を実行しそしてステップ501に戻り上述の処理(501〜5
16〜501,・・・)を続行する。「脇見判定」５２５の内容は
図１５を参照して後述する。両目の幅Ｗ₁およびＷ₂が所
定値Ｗ₀以下になると、タイマの作動の有無を示すフラ
グＦが０(作動していない)であるかチェックし(517)、
フラグＦが０であればマイクロプロセッサ６は内部タイ
マをオンし(518)、フラグＦに１をセットしタイマ作動
中を示す(519)。そして、タイマがオーバしたかをチェ
ックし(520)、タイマがオーバしていないとステップ501
に戻り処理を繰り返すが、タイマがオーバしているとド
ライバは居眠り状態であると判定しブザーコントローラ
19を介して、ドライバからのストップ指示(ストップス
イッチＳＳＷをドライバがオン)があるまで警報を発し
続ける(521〜522)。なお、一旦タイマがオンされてタイ
マがオーバしていない間に、ドライバのいずれかの目の
幅が所定値Ｗ₀より大きくなると(516)フラグは０にセッ
トされるため(524)、例えばドライバの自然のまだたき
等、一時的に目を閉じる状態(タイマのセット時間未満)
では警報は発せられない。警報オンの状態で、ドライバ
からのストップ指示があるとステップ１の初期化に戻る
（図３）。

【００５２】次に、図１５を参照して「脇見判定」５２
５の内容を説明する。ここではまず、図１３のステップ
５１３でメモリのアドレスＡn2m2に書込んだ位置デ−タ
（左黒目の中心位置座標Ｘｍ，Ｙｎ）の上領域〔図１７
に示す(Ｘｍ−２０，Ｙｎ−２０）〜(Ｘｍ＋２０，Ｙｎ
−２０）〕の左点(Ｘｍ＋２０，Ｙｎ−２０）の階調デ
−タから右点(Ｘｍ−２０，Ｙｎ−２０）の階調デ−タ
の差ＩＣＵ（＝左点の明るさ−右点の明るさ；顔が左向
のとき正値で右向のときは負値）を算出する（５２５
１）。次に、アドレスＡn2m2の位置デ−タ（Ｘｍ，Ｙ
ｎ）の下領域〔図１７に示す(Ｘｍ−２０，Ｙｎ＋２
０）〜(Ｘｍ＋２０，Ｙｎ＋２０）〕の左点(Ｘｍ＋２
０，Ｙｎ＋２０）の階調デ−タから右点(Ｘｍ−２０，
Ｙｎ＋２０）の階調デ−タの差ＩＣＬ（＝左点の明るさ
−右点の明るさ；顔が左向のとき正値で右向のときは負
値）を算出する（５２５２）。そして、それらの和ＳＰ
（＝ＩＣＵ＋ＩＣＬ；顔が左を向いているとき正値で右
向きのときは負値）を算出する（５２５３）。

【００５３】次に、角速度検出器２１が検出している角
速度信号Ｗｊの正（右タ−ン），負（左タ−ン）を判定
し（５２５４）、この判定結果とＳＰ≧５０かＳＰ≦−
５０かの判定に基づいて、Ｘdif≧５０（顔が車両前方
より左向き）かつＷｊ≧０（車両は直進又は右タ−ン）
であると左脇見と判定し、Ｘdif≦−５０（顔が車両前
方より右向）かつＷｊ≦０（車両は直進又は左タ−ン）
であると右脇見と判定する（５２５５，５２５６）。い
ずれでもないと脇見でないと判定する。右脇見又は左脇
見と判定すると、レジスタＦｓａのデ−タをチェックし
て、それが０（この直前は脇見と判定していない）であ
ると、ドライバが脇見を始めたので、これを表わすため
にレジスタＦｓａに１を書込んで（５２６１，５２６
２）、１秒タイマをスタ−トする（５２６３）。脇見と
判定しレジスタＦｓａのデ−タをチェックしたときにそ
れが１（すでに脇見と判定し１秒タイマをスタ−トして
いる）であると、１秒タイマがタイムオ−バしているか
をチェックし、タイムオ−バしているとブザ−５を鳴ら
す（５２６４，５２６５）。なお、その後脇見でなくな
ると、ステップ５２５７でレジスタＦｓａがクリアされ
ブザ−の鳴動が止められる（５２５８）。１秒タイマが
タイムオ−バする前（ブザ−はオフ）に脇見でなくなる
と、ステップ５２５７でレジスタＦｓａがクリアされ、
ブザ−の鳴動は生じない。これは、サイドミラ−（ドア
ミラ−）や室内ミラ−（バックミラ−）を一瞬視認する
目の動きに対してブザ−を鳴らさないようにするためで
ある。なお、サイドミラ−（ドアミラ−）又は室内ミラ
−（バックミラ−）を連続して１秒以上見ているとブザ
−が鳴る。

【００５４】なお、「追跡」中に目の検出に失敗するこ
とがあるが、そのときには上述の「居眠り状態」との判
定結果となり、ブザ−５が付勢される。したがってブザ
−５は、「追跡」中に目の検出に失敗したとき、ならび
に、監視対象のドライバが「居眠り状態あるいは脇見運
転中」のときに鳴動する。

【００５５】上述の実施例では、角速度検出器２１によ
り車両進行方向を検出するが、角速度検出器２１に代え
てあるいはそれに加えて、ステアリングホイ−ルの操舵
角センサを用いて、それが検出する操舵角より車両進向
方向を検出してもよい。

【００５６】また、上述の実施例では、人の目の検出の
ため小領域内で最暗点を検出し、注目点を最暗点に移動
させたが、最も明るい点，あるいは所定の明るさの値に
設定してもよく、所望の画像のテンプレートマッチン
グ，階調差による削除処理等を実行すれば、撮影対象は
人の目に限らず、他の物体あるいはその一部等、撮影画
像上で特徴ある暗パタ−ン又は明パタ−ンをもたらすも
のであってもよい。

【００５７】また上記実施例では、メモリテ−ブルに予
め所定ピッチで分散させた注目点の座標を書込むが、こ
の書込みは省略し、代りに、例えば第１注目点（６８，
２００）を指定してその座標デ−タを座標レジスタに書
込み、その周縁の最暗部を検出してその座標をメモリテ
−ブルに書込み、次に座標レジスタのｘ座標デ−タを１
５ドット分インクリメントして第２注目点座標とする具
合に、座標デ−タを順次インクリメントして順次に注目
点を指定してもよい。また、上記実施例ではメモリテ−
ブルに注目点の座標デ−タを保持するが、ＲＡＭ１０又
は別途のメモリに１フレ−ム２値デ−タテ−ブルを割り
当てて、そのアドレスを多階調デ−タを書込むフレ−ム
メモリ１２のアドレスと一対一に対応付けて、注目点の
座標に対応する２値デ−タテ−ブルアドレスに、「注目
点」を示す「１」を書込むことにより注目点位置情報を
２値デ−タテ−ブルに保持し、注目点を確認（サ−チ又
は読出し）するときには、アドレスを順次に更新して２
値デ−タテ−ブルのデ−タを順次に読出し、読出しデ−
タが「１」（注目点）のときの読出しアドレスをセ−ブ
（注目点のアドレスとして摘出）すればよい。

【００５８】

【発明の効果】以上の通り本発明では、車両上ドライバ
を撮影した画像上の顔像の所定部位の左右方向の明るさ
の傾きを検出してドライバの脇見を自動検出する。車両
タ−ンにより、車両の前後方向長手軸に対してドライバ
の視線がタ−ン方向にずれる場合にこれを脇見と誤警報
することがない。ドライバの視線が車両進行方向と異な
るときに、警報が自動的に発っせられる。

【図面の簡単な説明】

【図１】 本発明の一実施例の構成を示すブロック図で
ある。

【図２】 図１に示すＣＣＤカメラ３，照明ランプ４お
よびブザー５の配置外観を示す斜視図である。

【図３】 図１に示すマイクロプロセッサ６の制御動作
の概要を示すフローチャートである。

【図４】 図３に示す「小領域での暗点検出」（３）の
制御動作を示すフローチャートである。

【図５】 図３に示す「判定」（４）の制御動作を示す
フローチャートである。

【図６】 図５に示す「孤立点の削除」（４１）の制御
動作を示すフローチャートである。

【図７】 図５に示す「注目点近傍の他注目点の削除」
（４２）の制御動作を示すフローチャートである。

【図８】 図５に示す「十字階調差による削除」（４
３）の制御動作を示すフローチャートである。

【図９】 図５に示す「テンプレートマッチングによる
削除」（４４）の制御動作を示すフローチャートであ
る。

【図１０】 図５に示す「斜め方向階調差による削除」
（４５）の制御動作を示すフローチャートである。

【図１１】 図５に示す「近傍注目点の統合」（４７）
の制御動作を示すフローチャートである。

【図１２】 図５に示す「注目点数の判定」（４８）の
制御動作を示すフローチャートである。

【図１３】 図３に示す「追跡」（５）の制御動作を示
すフローチャートである。

【図１４】 図３に示す「追跡」（５）の制御動作を示
すフローチャートである。

【図１５】 図１４に示す「脇見判定」（５２５）の内
容を示すフロ−チャ−トである。

【図１６】 フレームメモリ１２に書込む画像データの
一画面分布に４２５個の注目点を配置した様子を示す状
態図である。

【図１７】 人の目の縦方向と横方向の大きさを示すブ
ロック図である。

【図１８】 図１に示すＲＡＭ１０のメモリテーブルの
内容を示すブロック図である。

【図１９】 ２個の注目点が人の両目の位置を特定する
様子を示す状態図である。

【符号の説明】

３：ＣＣＤカメラ ４：照明ランプ ５：ブザー ６，８：マイク
ロプロセッサ ７：アドレスバス＆コントロールバス ９：ＲＯＭ １０：ＲＡＭ １２：フレーム
メモリ １７：Ａ／Ｄコンバータ １８：赤外線ラ
ンプコントローラ １９：ブザーコントローラ ＳＳＷ：ストッ
プスイッチ

Claims (2)

【特許請求の範囲】
1. 【請求項１】車両上ドライバを撮影する２次元撮像手
   段；該２次元撮像手段が撮影した画像上の、顔像の所定
   部位を検出する像検出手段； 該所定部位の、明るさの
   水平方向の傾きを算出する勾配検出手段；前記車両の進
   行方向を検出する方向検出手段；前記明るさの傾きと前
   記車両進行方向に基づいてドライバの顔の向きと車両進
   行方向の一致／不一致を検出する脇見判定手段；警報手
   段；および、 前記脇見判定手段の不一致の検出に従って前記警報手段
   を付勢する警報制御手段；を備える脇見運転警報装置。
2. 【請求項２】警報制御手段は、前記脇見判定手段の不一
   致の検出に応答して計時を開始し不一致の検出が継続す
   ると設定時間後に警報手段を付勢する、請求項１記載の
   脇見運転警報装置。