JPH06348980A - 車両上ドライバの眼を監視する装置 - Google Patents

Abstract

(57)【要約】 【目的】 眼検出のための画像デ−タ処理時間を低減す
る。 【構成】 車両上ドライバの少くとも眼を含む部位を撮
影するための２次元撮像手段(3)；車両上ドライバの少
くとも眼を含む部位の温度を検出するための放射温度計
(23)；放射温度計(23)をアジマス方向(Az)およびエレベ
−ション方向(EL)に走査駆動する走査手段(22,24,28)；
放射温度計(23)の検出温度(Mt(i,j))を前記走査方向の
それぞれで所定ピッチで読込み、読込んだ検出温度(Mt
(i,j))が設定値(Ts)以上の領域(ΣMr(i,j))を検出する
高温域検出手段(6)；および、２次元撮像手段(3)が撮影
した画面の、前記高温域検出手段(6)が検出した領域内
の画像を、前記ドライバの眼位置の検出のために処理す
る画像情報処理手段(6,8)；を備える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、車両上ドライバ（運転
者）を２次元撮像装置で撮影し、撮影画面の画像処理に
より眼位置を検出する監視装置に関し、特に、これに限
定する意図ではないが、車両上ドライバの居眠り検出装
置に関する。

【０００２】

【従来の技術】特公平４−２８４号公報には、車両上ド
ライバ（運転者）の顔をカメラで撮影し、撮影画像上に
おいて目および口を認識し追跡して、目の開度（開，
閉）を算出し、開度に基づいて目を閉じているか否かを
判定する。ドライバの顔部を照明する照明灯の明るさ
は、画像デ−タに基づいて目および口を認識するのに最
適に調整される。画像データはフレームメモリに格納さ
れると共に、２値化される。２値データに基づいてドラ
イバの目および口が検出される。目の閉じ時間が長い
と、ドライバが居眠りをしていると見なして警報が発っ
せられる。

【０００３】

【発明が解決しようとする課題】画像上眼像を抽出すな
わち検出する信頼度は、ドライバの顔の照明具合，画像
処理モ−ドおよび画像認識ロジックに左右される。ま
た、ドライバの顔の造作によっても左右される場合もあ
る。例えば、前記特公平４−２８４号公報に開示の眼検
出では、２値デ−タが照明の明るさに影響され易いので
これを回避するために照明灯の明るさを調整するが、昼
／夜，晴／曇り／雨／雪，等の自然環境、ならびに、ト
ンネル内走行，対向車のヘッドライト光照射，道沿いの
建物の反射光等、走行環境によりドライバの顔の明るさ
は大きく変化する。これら外部光の明るさの変化に対し
て顔の明るさの変化は、車内のドライバ照明光を強くす
ることにより抑制できるが、抑制効果は比較的に小さ
い。その結果、所要の画像認識が出来なくなる場合があ
る。そこで発明者は、画面上の画像濃度勾配に沿って自
動的に最暗点を探索するデ−タ処理を用いる、画面上の
眼の認識方法を開発した（特願平４−３２４１３０
号）。これにおいては、２次元撮像手段で得る画像信号
（アナログ）を多階調画像デ−タに変換してメモリに読
込み、メモリ上で所定ピッチで又はランダムに注目点を
指定して各注目点をそれを中心とする所定範囲内の最も
暗い（黒い）位置に移し、孤立した注目点は消去し互に
近い注目点は間引き、残った注目点の集合と注目点近傍
の多階調画像デ−タに、眼像の特徴に従って予め定めた
判別ロジックで眼像（眼位置）を抽出（検出）する。

【０００４】多階調画像デ−タは中間濃度をも表現する
ので、照明の明るさが変化するとそれが表わす画像上
で、黒で表われる眼（瞳＋上瞼の影）の濃度は変化する
が、眼と認識される形状の変化は小さい。上記の、注目
点の位置の変更により、所定ピッチ又はランダムに指定
した注目点（サンプリング点）が、その周縁の最も暗い
（又は明るい）位置にシフトする。すなわち、適当にば
らまいた、眼があると仮定（調査）する位置（サンプリ
ング点）が、自動的に暗い位置にシフトする。画像上の
眼は特定形状であってある黒面積を有するので、このシ
フトにより、注目点が、頭髪，眉毛，鼻穴，口等の暗い
部位に収束シフトすると共に眼にも同様に収束シフトす
る。これにより、全注目点の内の数個の注目点が、眼の
特徴の１つである「暗い」に向けて自動的に移されたこ
とになり、全注目点の内の数個の注目点が眼の位置にあ
る確率が高くなる。少くとも１個の注目点を確実に眼に
収束させるためには、最初に所定ピッチ又はランダムに
指定する注目点（サンプリング点）の数は多い程良い。

【０００５】この、画面上の画像濃度勾配に沿って自動
的に最暗点を探索するデ−タ処理や、その他の画像処理
を用いる場合、処理対象点（例えば上述の注目点）を高
密度に設定し、精細な処理ロジックを用いることによ
り、眼検出の信頼度が向上しドライバの顔の照明具合の
変動による誤検出を大きく低減することができる。

【０００６】ところが、処理対象点数を増やせば増やす
ほど、また処理ロジックを精細にするほど、画像デ−タ
処理時間が長くなり、特に多値画像デ−タを処理する場
合これが顕著になる。

【０００７】本発明は、眼検出のための画像デ−タ処理
時間を低減することを目的とする。

【０００８】

【課題を解決するための手段】本発明の、車両上ドライ
バの眼を監視する装置は、車両上ドライバの少くとも眼
を含む部位を撮影するための２次元撮像手段(3)；車両
上ドライバの少くとも眼を含む部位の温度を検出するた
めの放射温度計(23)；放射温度計(23)をアジマス方向(A
z)およびエレベ−ション方向(EL)に走査駆動する走査手
段(22,24,28)；放射温度計(23)の検出温度(Mt(i,j))を
前記走査方向のそれぞれで所定ピッチで読込み、読込ん
だ検出温度(Mt(i,j))が設定値(Ts)以上の領域(ΣMr(i,
j))を検出する高温域検出手段(6)；および、２次元撮像
手段(3)が撮影した画面の、前記高温域検出手段(6)が検
出した領域内の画像を、前記ドライバの眼位置の検出の
ために処理する画像情報処理手段(6,8)；を備える。な
お、カッコ内の記号等は、図面に示し後述する実施例の
対応要素もしくは対応事項を示す。

【０００９】

【作用】２次元撮像手段(3)が車両上ドライバを撮影
し、放射温度計(23)が車両上ドライバの温度を検出す
る。走査手段(22,24,28)が放射温度計(23)をアジマス方
向(Az)およびエレベ−ション方向(EL)に走査駆動し、高
温域検出手段(6)が、放射温度計(23)の検出温度を前記
走査方向(Az,EL)のそれぞれで所定ピッチで読込み、読
込んだ検出温度(Mt(i,j))が設定値(Ts)以上の領域(ΣMr
(i,j))を検出する。そして画像情報処理手段(6,8)が、
２次元撮像手段(3)が撮影した画面の、前記高温域検出
手段(6)が検出した領域内の画像を処理し、眼像(瞳像)
を検出する。

【００１０】設定値(Ts)を人の顔の温度よりわずかに低
い値としておくことにより、高温域検出手段(6)が検出
した領域(ΣMr(i,j))は実質上ドライバの顔像域とな
り、したがって画像情報処理手段(6,8)が眼検出のため
に処理する画像デ−タは実質上顔像域内のものとなり、
処理対象デ−タ数（ピクセル数）が大幅に低減し、その
分眼検出のためのデ−タ処理時間が低減する。

【００１１】本発明の他の目的および特徴は、図面を参
照した以下の実施例の説明より明らかになろう。

【００１２】

【実施例】図１に、一実施例の構成を示す。この実施例
は車両上ドライバの顔を撮影して撮像画像中の眼を検出
し、時系列で眼を追跡して、目の開，閉を認識し、所定
時間以上継続して目が閉じられている(居眠り)とブザー
５を付勢するものである。ＣＣＤカメラ３およびドライ
バの少なくとも顔部を照明する照明灯４は、図２の
（ａ）に示すように、一体に構成されてインスツルメン
トパネル２に、上下および左右に指向方向を調整自在に
固着されている。ＣＣＤカメラ３の左側面には警報を発
生するブザー５およびブザー５の警報を止めるストップ
スイッチＳＳＷが設けられている。照明灯４は、発光ダ
イオードから構成される赤外線照明であり、ＣＣＤカメ
ラ３は赤外線領域における感度を有している。赤外線照
明は、普通光による照明と異なりドライバにまぶしさを
与えることがないのでドライバの前方視認をむつかしく
することがない。したがって照明灯４は常時点灯しても
よい。ＣＣＤカメラ３の右側面には、温度測定装置ＴＭ
Ｄがカメラ３と一体に装備されている。図２の（ａ）に
おいて、符号１は車両の走行方向制御のためドライバが
操作するステアリングホイールである。温度測定装置Ｔ
ＭＤの外ケ−ス内の要素外観を図２の（ｂ）に示す。

【００１３】再度図１を参照する。ブザー５はブザーコ
ントローラ１９によりオン／オフ付勢される。このブザ
ー５は後述するように、ドライバが目を閉じた状態が所
定時間以上継続すると（居眠りと見なして）付勢され
る。また照明灯４は赤外線ランプコントローラ１８によ
り点灯付勢される。ブザーコントローラ１９，赤外線ラ
ンプコントローラ１８，その他出力（ラジオ，エアコ
ン，ワイパ，ヘッドライト等を制御するコントローラ）
には、マイクロプロセッサ６が、インターフェイス１３
を介してオン／オフ指示信号等を与える。

【００１４】ＣＣＤカメラ３は、２次元ＣＣＤを備える
ものであり、このＣＣＤカメラ３に、インターフェイス
１６を介して、マイクロプロセッサ６が、オン／オフ信
号を与える。ＣＣＤカメラ３は、撮影した映像信号（ビ
デオ信号：アナログ）を繰り返してＡ／Ｄコンバータ１
７に出力すると共に、画素同期パルスをＡ／Ｄコンバー
タ１７にＡ／Ｄ変換同期パルスとして与えると共に、フ
レーム同期パルス，ライン同期パルスおよび画素同期パ
ルスをインターフェイス１６を介してマイクロプロセッ
サ６に与える。

【００１５】温度測定装置ＴＭＤは、図２の（ｂ）をも
参照すると、焦電型赤外線センサを内蔵する放射温度計
２３を、ギア（タ−ンテ−ブル）２１上でステッピング
モ−タ２２で上向き方向（エレベ−ション）ＥＬに走査
駆動し、ギア２５を介してギア２１をステッピングモ−
タ２４で回転駆動して放射温度計２３を左右方向（アジ
マス）Ａｚに走査駆動するものである。ＥＬ走査および
Ａｚ走査の基点検出のためのリミットスイッチ２６およ
び２７が装備されている。

【００１６】図１を参照すると、マイクロプロセッサ６
は、画像データの１フレーム分を読込むときには、フレ
ーム同期パルスに同期してフレームメモリ（ＲＡＭ）１
２に書込みを指示し、ライン同期パルスおよび画素同期
パルスに同期してフレームメモリ１２の書込アドレスを
進める。フレームメモリ１２には、この例ではＣＣＤカ
メラ３が１画面を横５１２画素，縦４８５画素分割で撮
影するので、５１２×４８５画素分の２５６階調の画像
デ−タを記憶しうる画像メモリを使用する。

【００１７】Ａ／Ｄコンバータ１７は、ビデオ信号を８
ビット（２５６階調）のデジタルデータに変換する。す
なわち、フレームメモリ１２に書込まれる画像データ
は、一画素（以下ドット）当り８ビット（２５６階調）
の、明るさを示す階調デ−タである。したがってマイク
ロプロセッサ６はフレームメモリ１２の値を読み出すこ
とで、画面上の任意の位置の明るさを知ることができ
る。

【００１８】マイクロプロセッサ６は、眼を検出するた
めに１フレ−ムの、上述の階調デ−タをフレ−ムメモリ
１２に書込むと、走査コントロ−ラ２８に測温を指示す
る。走査コントロ−ラ２８はこれに応答してＡｚおよび
ＥＬ方向に放射温度計２３を走査し、温度検出コントロ
−ラ２９が焦電型赤外線センサ−の検出信号を温度デ−
タに変換して出力し、マイクロプロセッサ６が該温度デ
−タを読込む。１回の空間走査の間、マイクロプロセッ
サ６は４２点の温度デ−タを読込み、各点の温度が設定
値Ｔs（＝３４°Ｃ）以上であるかをチェックして、Ｔs
以上の空間領域を画像処理対象域に設定する。

【００１９】マイクロプロセッサ６には、各種画像処理
および判定用の演算を行うためにもう１つのマイクロプ
ロセッサ８が接続されており、また通常のコンピュータ
システムのＲＯＭ９，ＲＡＭ１０およびバスコントロー
ラ１５に加えて、前述のフレームメモリ１２が接続され
ている。

【００２０】図３に、マイクロプロセッサ６および８の
動作の概要（メインルーチン）を示し、動作の詳細（サ
ブルーチン）を図４〜図１５に示す。以下これらの図面
を参照して、設定されたプログラムに基づいたマイクロ
プロセッサ６および８の制御動作を説明する。

【００２１】まず動作の概要を図３を参照して説明す
る。電源が投入されるとマイクロプロセッサ６は、初期
化を行う（ステップ１：以下カッコ内ではステップとい
う語を省略する）。これにおいては、入出力ポートを初
期化して、内部レジスタ，フラグ等をクリアし、ＣＣＤ
カメラ３および赤外線ランプコントローラ１８にオンを
示す付勢信号を与え、ブザーコントローラ１９にオフを
示す信号を与える。またマイクロプロセッサ６は、図１
６に示すように、フレームメモリ１２に書込む画像デ−
タの一画面分布に対して、画面の中央付近に横２５個，
縦１７個，の総計４２５個の注目点（カーソル）を縦，
横１５ドット間隔で配置する。この間隔は、画面上で人
の眼の大きさがどの程度になるかによって変わるが、図
１７に示すように、ＣＣＤカメラ３の撮影画面上で１つ
の目の縦方向の最大幅は３０ドット，横方向は４０〜５
０ドットであるため、１つの目の領域に少くとも１個の
注目点が存在するように、本実施例では１５ドット間隔
としている。図１６のように、フレームメモリ１２に書
込まれる画像の横方向をｘ軸，縦方向をｙ軸とした場合
（画像の左上端座標（０，０），右下端座標（５１１，
４８４））、４２５個の注目点の左上端のものの座標を
（６８，２００），右下端のものの座標を（４２８，４
４０）として、これらの座標（６８，２００）および
（４２８，４４０）を対角コ−ナとする矩形領域（以下
では初期カ−ソル分散領域という）に注目点を分散さ
せ、各注目点の座標データ（Ｘ_m，Ｙ_n）を、図１８に示
すような、ＲＡＭ(メモリ)１０（図１）のメモリテーブ
ルのアドレスＡ_nmに書込む。

【００２２】ただし、Ｘ_m＝６８＋１５（ｍ−１）；１
≦ｍ≦２５，Ｙ_n＝２００＋１５（ｎ−１）；１≦ｎ≦
１７，である。

【００２３】そして初期化から所定時間（照明ランプ４
の明るさが安定し、ドライバの顔が運転時の位置に静止
するのを待っ時間）の後、ＣＣＤカメラ３からのフレー
ム同期パルスに同期して、１フレーム分の画像データ
の、フレームメモリ１２への書込みを開始し、１フレー
ム分の画像データ（１ドット当り８ビットの多階調デー
タ）をメモリ１２に書込む（２）。

【００２４】次にマイクロプロセッサ６は、走査コント
ロ−ラ２８に測温（１回の空間走査）を指示する。本実
施例では、測温領域を図２０に示す、点（６１，１９
３）と（４８１，４６３）を対角コ−ナとする矩形領域
に定め、この矩形領域を仮想上、横ｘ方向（Ａｚが対
応）を７分割、縦ｙ方向（ＥＬが対応）を６分割して、
７×６個の小領域Ｍr(1,1)〜Ｍr(7,6)とし、小領域Ｍr
(1,1)〜Ｍr(7,6)それぞれの中心位置Ｍc(1,1)〜Ｍc(7,
6)の、合計４２点で温度を測定する。すなわち、放射温
度計２３の視野中心線上に各中心位置Ｍc(1,1)〜Ｍc(7,
6)があるときの温度測定デ−タを読込む。図２０に示す
初期カ−ソル分散領域は、図１６に示すものと同一であ
り、小領域Ｍr(1,1)〜Ｍr(7,6)のそれぞれは、ｘ方向で
は４個、ｙ方向では３個の注目点（図１６および図２０
に丸印で示す）が分布した矩形領域であり、各点Ｍc(1,
1)〜Ｍc(7,6)の温度測定デ−タは各小領域Ｍr(1,1)〜Ｍ
r(7,6)の平均温度を表わすと見なす。本実施例で用いて
いる放射温度計２３は、その測定原理上その視野角内に
ある領域の平均温度を表わす温度信号を発生し、放射温
度計２３の視野中心線を空間上のある点から他の点に移
したとき、該他の点の温度(上記平均温度)に温度信号が
変化し安定するまでの時間は100msec以下である。

【００２５】図１および図２に示すスイッチ２６および
２７が共に、ＥＬ基点およびＡｚ基点を検出（スイッチ
閉）しているとき、放射温度計２３の視野（中心線）が
第１測温点Ｍc(1,1)を指向している（待機状態）。走査
コントロ−ラ２８は、マイクロコンピュ−タ６から測温
指示を受けると、そこで100msecタイマをスタ−トして
そのタイムオ−バを待ち、タイムオ−バすると出力同期
パルスを発生してそれを温度コントロ−ラ２９とマイク
ロコンピュ−タ６に与える。温度コントロ−ラ２９はこ
の出力同期パルスに応答して温度検出信号をデジタル変
換してマイクロコンピュ−タ６に温度デ−タＭt(i,j)，
ｉ＝１，ｊ＝１を出力しコンピュ−タ６がそれを読込
む。走査コントロ−ラ２８は出力同期パルスを出力する
とＡｚ方向に１ステップ分放射温度計２３を走査駆動す
る（これにより温度測定点がＭc(2,1)となる)。そして1
00msecタイマをスタ−トしてそのタイムオ−バを待ち、
タイムオ−バすると出力同期パルスを発生する。これに
応答して、温度コントロ−ラ２９が温度検出信号をデジ
タル変換し、温度デ−タＭt(i,j)，ｉ＝2，ｊ＝１をマ
イクロコンピュ−タ６が読込む。以下同様にＡｚ方向の
ステップ走査と温度デ−タの読込みを、第１ライン第７
測温点Ｍc(7,1)まで行なう。この点Ｍc(7,1)で100msec
を経過し出力同期パルスを発生すると走査コントロ−ラ
２８はＡｚ方向に７ステップ分（スイッチ２７が閉とな
るまで）放射温度計２３を戻し駆動し、かつ、１ステッ
プ分ＥＬ方向に走査駆動する（これにより温度測定点が
Ｍc(1,2)となる)。そして100msecタイマをスタ−トして
そのタイムオ−バを待ち、タイムオ−バすると出力同期
パルスを発生する。以下同様に、Ａｚ方向のステップ走
査，Ａｚ方向の戻し駆動とＥＬ方向のステップ走査を行
なって、最後の点Ｍc(7,6)まで温度デ−タの読込みを行
なう。最後の点Ｍc(7,6)で100msecを経過し出力同期パ
ルスを発生すると走査コントロ−ラ２８は開始点(待機
位置)Ｍc(1,1)に放射温度計２３の姿勢を戻す。すなわ
ち、Ａｚ，ＥＬ方向にスイッチ２７，２６が閉になるま
で戻し駆動する。そしてまたマイクロコンピュ−タ６か
ら測温指示が到来するのを待つ。マイクロプロセッサ６
および走査コントロ−ラ２８は以上の制御動作を、図３
の測温デ−タ読込みＴＭＳにおいて実行する。

【００２６】測温デ−タ読込みＴＭＳにおいて４２点Ｍ
c(1,1)〜Ｍc(7,6)の測温デ−タＭt(i,j)，ｉ＝１〜７，
ｊ＝１〜６を読込むとマイクロコンピュ−タ６は、各温
度デ−タＭt(i,j)が設定値Ｔs（この実施例ではＴs＝３
４°Ｃ）であるかをチェックし、Ｔs以上であった測温
デ−タＭt(i,j)を得た領域Ｍr(i,j)を規定するデ−タ
（該領域の対角コ−ナの座標デ−タ）を、メモリ上に割
り当てた探索テ−ブル（メモリ領域）に書込む。これが
図３に示す探索領域の設定ＲＤＳの内容である。なおこ
の処理ＲＤＳに進入したときには、マイクロプロセッサ
６は、まず探索テ−ブルをクリアする（以前のデ−タを
消去する）。この処理ＲＤＳにより、Ｔs以上の温度領
域を示す情報が探索テ−ブル上に設定されたことにな
る。

【００２７】次にマイクロプロセッサ６は、探索テ−ブ
ルにある領域内の各々の注目点を中心とした小領域を設
定し、該領域内で最も暗い点に注目点の座標を更新する
（３）。この操作を４２５個の注目点のすべてについて
行う。この内容は、図４を参照して後述する。

【００２８】次にマイクロプロセッサ６は、座標更新後
の注目点について、周辺に他の注目点が存在しない孤立
点を消去したり、ある注目点の近傍の他の注目点を１つ
にまとめる処理等を行い、最終的に注目点の数Ｎが人の
目の数，すなわち注目点が２個であるか否かの判定を行
い、かつ２個であるとそれらが所定の領域ＥＣＲにある
かの判定等を行なう（４）。この内容は、図５〜図１３
を参照して後述する。最終的に注目点の数Ｎが２でない
場合には、ステップ２に戻る。

【００２９】注目点が２個でしかも所定領域ＥＣＲ内に
あれば、注目点の座標は人の両目の位置を示すものとみ
なして、毎フレームをメモリ１２に書込むごとに該注目
点を追跡して、時系列的に両目の開閉状態を検知してド
ライバが居眠り，あるいは脇見をしているか否かの判断
を行う（５）。この内容は図１４および図１５を参照し
て後述する。追跡処理中に、追跡不能となるとステップ
１の初期化に戻る。

【００３０】図４を参照して、「小領域での暗点検出」
（３）の内容を説明する。これは、注目点を中心に縦横
方向に±１０ドット範囲の小領域を設定し、小領域内で
一番暗い点を示す座標に注目点の座標を更新する処理で
ある。

【００３１】まず、マイクロプロセッサ６はレジスタ
ｍ，ｎに１をセットし（３１）、図１８に示すメモリの
アドレスＡ_nmの座標データＸ_m，Ｙ_nを読み出す（３
２）。最初はアドレスＡ₁₁の座標データＸ₁，Ｙ₁が読み
出される。次にこの座標デ−タＸ_m，Ｙ_nが、探索テ−ブ
ルにある領域（図２０Ｍr(1,1)〜Ｍr(7,6)の内、温度測
定デ−タがＴs以上であった領域)の上にあるかをチェッ
クする（ＲＣＨ）。該領域上にないと、メモリのアドレ
スＡ_nmの座標デ−タＸ_m，Ｙ_nを消去する（アドレスＡ_nm
のデ−タをクリア）。この消去により、座標デ−タ
Ｘ_m，Ｙ_nで指定される位置（図面上のピクセル）に関す
る、注目点のシフト処理（図４の３３〜３５）ならびに
シフト処理以降の処理は省略（スキップ）される。

【００３２】座標データＸ_m，Ｙ_nが探索テ−ブル上の領
域に属するものであったときには、レジスタｘ₁にＸ_m−
１０をｙ₁にＹ_n−１０をセットして小領域の左上端の座
標を設定し（３３）、レジスタｘ₂にＸ_m＋１０をｙ₂に
Ｙ_n＋１０をセットして小領域の右下端の座標を設定す
る（３４）。そして、領域，ｘ₁≦ｘ≦ｘ₂＆ｙ₁≦ｙ≦
ｙ₂内においてフレームメモリ１２のデータを読み出し
て明るさ値の最も暗い点を検出し、その座標をメモリの
アドレスＡ_nmに更新メモリする（３５）。次に、レジス
タｍを１インクレメント（３６）し、ステップ３７でｍ
の値が２５より大きくなるまではステップ３２〜３６の
処理を繰り返す。すなわち、これにより２５個の注目点
の座標（Ｘ₁，Ｙ₁），（Ｘ₂，Ｙ₁），・・，（Ｘ₂₅，Ｙ
₁）のうち、Ｔs未満の温度域にある注目点の座標は消去
され、Ｔs以上の温度域にある注目点の座標は更新され
る。レジスタｍが２５より大きくなると（３７）、ｍの
値を１にセットしレジスタｎを１インクレメントし（３
８）、ステップ３９でｎの値が１７より大きくなるまで
はステップ３２〜３８の処理を繰り返す。これにより注
目点の座標（Ｘ₁，Ｙ₂），（Ｘ₂，Ｙ₂），・・，
（Ｘ₂₅，Ｙ₂），（Ｘ₁，Ｙ₃），（Ｘ₂，Ｙ₃），・・，
（Ｘ₂₅，Ｙ₃），・・・が消去又は更新され、総計４２
５個の注目点のうち、Ｔs未満の温度域にある注目点は
削除されＴs以上の温度域にある注目点の座標が更新さ
れる。これにより、初期化で等間隔で配置された注目点
(図１６および図２０の丸印)のうちの、Ｔs以上の温度
域にある、少数の注目点が、人の目，眉や髪の毛等、暗
い部分に移動する。以下においては、このように残存し
かつ暗い部分に移動した注目点を対象にして処理が行な
われる。

【００３３】図５を参照して、「判定」（４）の処理内
容を説明する。判定では、黒目には複数の注目点が集ま
っているので孤立点を削除する、「孤立点の削除」（４
１），注目点の周辺に複数の注目点がある場合に一つの
注目点に統合する、「注目点近傍の他注目点の削除」
（４２），注目点を中心とする縦方向と横方向の平均階
調を比較して縦階調の方が暗い注目点を削除する、「十
字階調差による削除」（４３），予め検出した目のテン
プレート画像との比較を行って比較誤差の大きい注目点
を削除する、「テンプレートマッチングによる削除」
（４４），注目点を中心とする右上斜め方向と左上斜め
方向の平均階調を比較して比較誤差の大きい注目点を削
除する、「斜め方向階調差による削除」（４５），残存
する注目点をステップ３と同様の処理により小領域内で
最暗点に移動させる、「小領域での暗点検出」（４
６），互いに位置の近い注目点を統合する、「近傍注目
点の統合」（４７），最終的に残存する注目点の数Ｎが
両目に対応して２であるか否かを判定する、「注目点数
の判定」（４８）、および、眼と判定した２つの像が共
に所定領域ＥＣＲにありかつ相互に人の眼対応の位置関
係にあるかをチェックする「注目点検証」（４９）、を
実行する。

【００３４】図６を参照して、「孤立点の削除」（４
１）の処理内容を更に詳細に説明する。まず、マイクロ
プロセッサ６はレジスタｍ₁，ｎ₁に１をセットし(410
1)、レジスタｍ₁，ｎ₁の値をレジスタｍ，ｎにセットし
て(4102)、メモリのアドレスＡ_nmの座標データＸ_m，Ｙ_n
を読み出す(4103)。ｍ₁，ｎ₁は注目点を示すレジスタで
ある。最初はアドレスＡ₁₁の座標データＸ₁，Ｙ₁が読み
出される。なお、座標デ−タが無い場合にはアドレスを
進める。以下同様である。

【００３５】次にレジスタｘ₁にＸ_m−１０をｙ₁にＹ_n−
１０をセットして他の注目点の存在の有無を検出する領
域の左上端の座標を設定し（4104）、レジスタｘ₂にＸ_m
＋１０をｙ₂にＹ_n＋１０をセットして検出領域の右下端
の座標を設定する（4105）。次に、レジスタｍ₂，ｎ₂に
１をセットする(4106)。レジスタｍ₂，ｎ₂はｍ₁，ｎ₁で
示す注目点に対する他の注目点を示すレジスタである。
次にｍ₁＝ｍ₂＆ｎ₁＝ｎ₂であるか、すなわち注目点と他
の注目点とが同一のものであるか否かをチェックする
（4107）。同一のものであれば、孤立点の削除の必要は
ないため後述するステップ4112に進むが、同一でなけれ
ばレジスタｍ，ｎにｍ₂，ｎ₂をセットし(4108)、メモリ
のアドレスＡ_nmにデータが存在するか否かをチェックし
(4109)、データがなければステップ4112に進むが、デー
タが有ればその座標データＸ_m，Ｙ_nを読み出す(4110)。
最初は、レジスタｍ₁，ｎ₁およびｍ₂，ｎ₂には１がセッ
トされるためステップ4112に進みｍ₂が１インクレメン
トされ、ステップ4107に戻るので、注目点としてアドレ
スＡ₁₁の座標データＸ₁，Ｙ₁と、他の注目点としてアド
レスＡ₂₁の座標データＸ₂，Ｙ₁が読み出される。

【００３６】次に、他の注目点の座標データＸ_m，Ｙ_nが
注目点の検出領域内に存在するか否かをチェックし(411
1)、存在すれば注目点は孤立点ではないのでそのまま残
置するが、検出領域内に存在しなければ、他の全ての注
目点についても検出領域内に在存するか否かを一つ存在
することが検知されるまで行う。すなわち、ｍ₂が25よ
り大きくなるまでｍ₂を1インクレメントし(4112,411
3)、25より大きくなるとｍ₂を1にセットしｎ₂を1インク
レメントし(4114)、ｎ₂が17より大きくなるまでステッ
プ4107〜4111の処理を繰り返す(4115)。そして、注目点
を中心とする検出領域にその他の注目点が全く存在しな
い場合に(ステップ4115でYES)、レジスタｍ，ｎにｍ₁，
ｎ₁をセットして(4116)、メモリのアドレスＡ_nmの座標
データを消去する(4117)。

【００３７】座標データの消去あるいは検出領域に一つ
他の注目点が存在すると、注目点を示すレジスタｍ₁を1
インクレメントし(4118)、ステップ4102に戻り上述の処
理を残置する(ステップ4109でYES)全ての注目点に関し
て繰り返す(4118〜4121〜4102〜4118・・・)。そして全注
目点について孤立点か否かの判定を終了すると(4121でY
ES)、リターンする。すなわち注目点を中心とする±10
ドット領域内に他の注目点があるか否か判定し、他の注
目点が全く存在しないと、基準となる注目点はメモリ10
から消去される。これにより、人の目，眉や髪の毛等、
暗い部分に移動した注目点は残置されるが、それ以外の
注目点はメモリテーブルから消去される。図７を参照し
て、「注目点近傍の他注目点の削除」（４２）の処理内
容を更に詳細に説明する。まず、マイクロプロセッサ６
はレジスタｍ₁，ｎ₁に１をセットし(4201)、レジスタｍ
₁，ｎ₁の値をレジスタｍ，ｎにセットして(4202)、メモ
リのアドレスＡ_nmにデータが存在するか否かをチェック
する(4203)。これは「孤立点の削除」(41)処理によってデ
ータがメモリ10から消去されている場合があるからであ
る。なおｍ₁，ｎ₁は基準となる注目点を示すレジスタで
ある。データがなければステップ4217に進むが、データ
が有ればその座標データＸ_m，Ｙ_nを読み出す(4204)。次
に、レジスタｘ₁にＸ_m−５をｙ₁にＹ_n−５をセットして
他の注目点の存在の有無を検出する領域の左上端の座標
を設定し（4205）、レジスタｘ₂にＸ_m＋５をｙ₂にＹ_n＋
５をセットして検出領域の右下端の座標を設定する（42
06）。

【００３８】次に、レジスタｍ₂にｍ₁+1を,ｎ₂にｎ₁を
セットする(4207)。「孤立点の削除」(41)と同様にｍ₂,ｎ
₂に1をセットしないのは、メモリのアドレスＡ_nmに残置
しているデータは、それ以前の注目点に対して検出領域
外のものであり、重複して検出する必要がないからであ
る。よって、基準となる注目点を示すレジスタｍ₁，ｎ₁
に対し、検出領域に存在するか否かの対象となる他の注
目点のレジスタｍ₂,ｎ₂はｍ₁，ｎ₁より大きいものをチ
ェックすればよい。

【００３９】次に、レジスタｍ，ｎにｍ₂,ｎ₂をセット
し(4208)、メモリのアドレスＡ_nmにデータが存在するか
否かをチェックし(4209)、データがなければステップ42
12に進むが、データが有ればその座標データＸ_m，Ｙ_nを
読み出す(4210)。

【００４０】次に、他の注目点の座標データＸ_m，Ｙ_nが
注目点の検出領域内に存在するか否かをチェックし(421
1)、存在すればその点は注目点の近傍であるためメモリ
のアドレスＡ_nmの座標データを消去する(4216)。一方、
検出領域外であればその点は残置する。これら処理を
「孤立点の削除」(41)と同様に全ての残存している注目点
について行う(4212〜4215〜4217〜4220〜4202〜4212,・・
・)。そして全注目点について孤立点か否かの判定を終了
すると(4220でYES)、リターンする。すなわち、注目点
を中心として±5ドット領域内の他の注目点はメモリ10
から消去し、領域内には注目点を一とする。これによ
り、人の目，眉や髪の毛等、暗い部分に移動した注目点
のうち近傍の注目点は一とされ、注目点の残存数は減少
する。

【００４１】図８を参照して、「十字階調差による削
除」（４３）の処理内容を更に詳細に説明する。まず、
マイクロプロセッサ６はレジスタｍ，ｎに１をセットし
(4301)、メモリのアドレスＡ_nmにデータが存在するか否
かをチェックする(4302)。データがなければステップ43
10に進むが、データが有ればその座標データＸ_m，Ｙ_nを
読み出し(4303)、レジスタｘ₁にＸ_m−２０をｙ₁にＹ_n−
２０をセットし（4304）、レジスタｘ₂にＸ_m＋２０をｙ
₂にＹ_n＋２０をセットする（4305）。

【００４２】次に、領域，ｙ＝Ｙ_n＆ｘ₁≦ｘ≦ｘ₂、す
なわち注目点を中心に横方向±２０ドットにおける各点
の明るさ値を検出し、その総和をレジスタＴ_Hにセット
し（4306)、領域，ｘ＝Ｘ_m＆ｙ₁≦ｙ≦ｙ₂、すなわち注
目点を中心に縦方向±２０ドットにおける各点の明るさ
値を検出し、その総和をレジスタＴ_Vにセットする（430
7)。そして、Ｔ_HとＴ_Vを比較し(4308)、縦階調Ｔ_Hの方
が横階調Ｔ_Vより大きい場合のみ注目点をメモリのアド
レスＡ_nmから消去する(4309)。

【００４３】この処理を「注目点近傍の他注目点の削除」
(42)の終了時に残存する全注目点に関して行う(4310〜4
313〜4302〜4310,・・・)。すなわち、図１７に示すよう
に、人の目の大きさは縦方向より横方向が長く、横階調
の方が縦階調より暗いので、注目点のうち縦階調の方が
暗いものは人の目の位置にあるものでないとしてメモリ
10から消去する。これにより、人の目や眉以外の特に髪
の毛等の暗い部分に移動した注目点の残存数は減少す
る。

【００４４】図９を参照して、「テンプレートマッチン
グによる削除」（４４）の処理内容を更に詳細に説明す
る。まず、マイクロプロセッサ６はレジスタｍ，ｎに１
をセットし(4401)、メモリのアドレスＡ_nmにデータが存
在するか否かをチェックする(4402)。データがなければ
ステップ4408に進むが、データが有ればその座標データ
Ｘ_m，Ｙ_nを読み出し(4403)、レジスタｘ₁にＸ_m−３０を
ｙ₁にＹ_n−２０をセットし（4404）、レジスタｘ₂にＸ_m
＋３０をｙ₂にＹ_n＋２０をセットする（4405）。 次
に、領域，ｘ₁≦ｘ≦ｘ₂＆ｙ₁≦ｙ≦ｙ₂、内の各点の明
るさ値と、各点の位置に対応するテンプレートの領域，
ｘ₀−３０≦ｘ≦ｘ₀＋３０＆ｙ₀−２０≦ｙ≦ｙ₀＋２
０、内の各点の明るさ値の差の絶対値の総和を検出し、
レジスタＴ_nmにセットする（4406)。すなわち、注目点
を中心に縦方向±20ドット,横方向±30ドット範囲にお
ける各点(2400=60×40個)の階調度と、予め読み込んで
おいた人の眼の中心(ｘ₀,ｙ₀)に同じく縦方向±20ドッ
ト,横方向±30ドット範囲における各点(2400=60×40個)
の階調度を、対応する各点,(Ｘ_m−３０,Ｙ_n−２０)と
(ｘ₀−３０,ｙ₀−２０),(Ｘ_m−２９,Ｙ_n−２０)と(ｘ₀
−２９,ｙ₀−２０)，(Ｘ_m−２８,Ｙ_n−２０)と(ｘ₀−２
８,ｙ₀−２０)，・・・，（Ｘ_m,Ｙ_n）と（ｘ₀,ｙ₀)，・
・・，（Ｘ_m＋３０,Ｙ_n＋２０)と(ｘ₀＋３０,ｙ₀＋２
０)，につきそれぞれ比較する。そして、セットしたＴ
_nmをアドレスＡ_nm対応でセーブする(4407)。

【００４５】この処理を「十字階調差による削除」(43)の
終了時に残存する全注目点に関して行う(4408〜4411〜4
402〜4408,・・・)。次に、総和グループ中の最大値と最小
値を検出し、それらの中間値Ｔ₀を算出し(4412)、総和
が中間値Ｔ₀より大きいアドレスの座標データをメモリ
から消去する(4413)。これにより、人の眼以外の眉や髪
の毛等の暗い部分に移動した注目点の残存数は減少す
る。

【００４６】図１０を参照して、「斜め方向階調差によ
る削除」（４５）の処理内容を更に詳細に説明する。こ
れは前述の「十字階調差による削除」（４３）の注目点
を中心とする縦横方向の十字を４５度回転した位置にお
ける階調差による削除を行う処理である。まず、マイク
ロプロセッサ６はレジスタｍ，ｎに１をセットし(450
1)、メモリのアドレスＡ_nmにデータが存在するか否かを
チェックする(4502)。データがなければステップ4512に
進むが、データが有ればその座標データＸ_m，Ｙ_nを読み
出し(4503)、レジスタｘ₁にＸ_m−２０をｙ₁にＹ_n−２０
をセットし（4504）、レジスタｘ₂にＸ_m＋２０をｙ₂に
Ｙ_n＋２０をセットする（4505）。

【００４７】次に、（ｘ₁，ｙ₁）と（ｘ₂，ｙ₂）を結ぶ
直線上，すなわち注目点の中心を通る左斜め上〜右斜め
下方向における各点の明るさ値を検出し、その総和をレ
ジスタＴ_RDにセットし（4506)、（ｘ₁，ｙ₂）と（ｘ₂，
ｙ₁）を結ぶ直線上，すなわち注目点の中心を通る右斜
め上〜左斜め下方向における各点の明るさ値を検出し、
その総和をレジスタＴ_RUにセットする（4507)。そし
て、Ｔ_RDとＴ_RUを比較し(4508)、両者の差がいずれか小
さい方の階調和の＋20％の範囲にあるか否かをチェック
し(4509,4510)、範囲外の場合の注目点をメモリのアド
レスＡ_nmから消去する(4511)。

【００４８】この処理を「テンプレートマッチングによ
る削除」(44)の終了時に残存する全注目点に関して行う
(4512〜4515〜4502〜4512,・・・)。すなわち、人の瞳の中
心に位置する注目点は、Ｔ_RDとＴ_RUの差はほとんどない
ので、差の大きい注目点をメモリ10から消去する。これ
により、人の眼の縁や眉の縁に移動した注目点の残存数
は減少する。

【００４９】その後、残存する注目点をステップ４６
（図５）で、小領域、注目点を中心として縦横方向±２
０ドット、の範囲内で注目点を最暗点に移動させる、
「小領域での暗点検出」（４６）を実行する。この処理
（図示しない）はステップ３（図４）と同様であるが、
領域範囲が±２０ドット（図４では±１０ドット）であ
る点，および図４のステップ３１とステップ３２の間に
「メモリのアドレスＡ_nmにデータ有？」の判定処理を設
け、存在すればステップ３２に進むが存在しなければス
テップ３６に進むようにする点において異なる。

【００５０】図１１を参照して、「近傍注目点の統合」
（４７）の処理内容を更に詳細に説明する。「注目点近
傍の他注目点の削除」（４２）では、注目点を中心とす
る縦横方向±５ドット範囲内の他の注目点を削除した
が、「近傍注目点の統合」（４７）では、縦横方向±２
０ドット範囲内に他の注目点が存在する場合には、両点
の中間位置に注目点を移動させて他の注目点を削除す
る。また、「注目点近傍の他注目点の削除」（４２）で
は基準となる注目点を示すレジスタｍ₁，ｎ₁に対し、検
出領域に存在するか否かの対象となる他の注目点のレジ
スタｍ₂,ｎ₂はｍ₁，ｎ₁より大きいものをチェックすれ
ばよかったが、「近傍注目点の統合」（４７）では基準
となる注目点は移動するため、基準となる注目点に対し
残っている全ての注目点についてチェックする。

【００５１】まず、マイクロプロセッサ６はレジスタｍ
₁，ｎ₁に１をセットし(4701)、レジスタｍ₁，ｎ₁の値を
レジスタｍ，ｎにセットして(4702)、メモリのアドレス
Ａ_nmにデータが存在するか否かをチェックし(4703)、デ
ータがなければステップ4722に進むが、データが有れば
メモリのアドレスＡ_nmの座標データＸ_m1，Ｙ_n1を読み出
す(4704)。ｍ₁，ｎ₁は基準となる注目点を示すレジスタ
である。次にレジスタｘ₁にＸ_m1−２０をｙ₁にＹ_n1−２
０をセットして他の注目点の存在の有無を検出する領域
の左上端の座標を設定し（4705）、レジスタｘ₂にＸ_m1
＋２０をｙ₂にＹ_n1＋２０をセットして検出領域の右下
端の座標を設定する（4706）。

【００５２】次に、レジスタｍ₂，ｎ₂に１をセットする
(4707)。レジスタｍ₂，ｎ₂はｍ₁，ｎ₁で示す注目点に対
する他の注目点を示すレジスタである。次にｍ₁＝ｍ₂＆
ｎ₁＝ｎ₂であるか、すなわち注目点と他の注目点とが同
一のものであるか否かをチェックする（4708）。同一の
ものであれば、統合する必要はないため後述するステッ
プ4718に進むが、同一でなければレジスタｍ，ｎに
ｍ₂，ｎ₂をセットし(4709)、メモリのアドレスＡ_nmにデ
ータが存在するか否かをチェックし(4710)、データがな
ければステップ4718に進むが、データが有ればその座標
データＸ_m2，Ｙ_n2を読み出す(4711)。

【００５３】次に、他の注目点の座標データＸ_m2，Ｙ_n2
が注目点の検出領域内に存在するか否かをチェックし(4
712)、存在しなければ統合する必要はないのでそのまま
残置するが、検出領域内に存在すれば、両注目点を統合
する。すなわち、基準となる注目点と対象となる注目点
の中間位置(Ｘ_i，Ｙ_i)を計算し(Ｘ_i＝(Ｘ_m1＋Ｘ_m2)／
２，Ｙ_i＝(Ｙ_m1＋Ｙ_m2)／２）、中間位置(Ｘ_i，Ｙ_i)に
注目点を移動してメモリのアドレスＡ_nmの座標データを
更新メモリし(4713〜4715)、対象となる注目点の座標デ
ータをメモリのアドレスＡ_nmから消去する(4716,471
7)。

【００５４】この処理を残存する全注目点について行う
(4718〜4725〜4702〜4718,・・・)。これにより、注目点は
人の瞳の中心部に対応する画像上位置に近づく。

【００５５】図１２を参照して、「注目点数の判定」
（４８）の処理内容を更に詳細に説明する。まず、マイ
クロプロセッサ６はレジスタｍ，ｎに１，およびＮに０
をそれぞれをセットし(4801)、メモリのアドレスＡ_nmに
データが存在するか否かをチェックする(4802)。データ
がなければステップ4805に進むが、データが有ればレジ
スタＮを１インクレメントし(4803)、Ｎが２以下である
か否かをチェックする（4804)。Ｎが２以下であるとメ
モリの全領域についてデータが存在するか否かをチェッ
クする(4805〜4809〜4802〜4805,・・・)。すなわち、メモ
リ10に存在するデータの数,すなわち注目点の数は人の
眼の数(=2)であるか否かをチェックする。このチェック
の途中にＮが２より大きくなると（ステップ4804 NO)，
あるいは全領域についてチェック終了時にＮが２でない
と(ステップ4810 NO;Ｎ=0又は1のとき)両眼の位置を注
目点によって特定することができなかったとして、図３
のステップ２に戻り１フレーム画像の入力し、Ｎが２と
なるまで上述の「小領域での暗点検出」（３）および
「判定」（４）を繰り返す。

【００５６】これにより、Ｎが２であれば両眼の位置は
注目点によって特定されるので、メモリにある座標デー
タ(ｍ₁，ｎ₁)および(ｍ₂，ｎ₂)をセーブする(4811)。図
１８に、最終的に残った２個の注目点が人の両眼の位置
を特定する状態を示す。

【００５７】図１３を参照して「注目点の検証」（４
９）の処理内容を更に詳細に説明する。まず、マイクロ
プロセッサ６は、上述の「注目点数の判定」（４８）で
眼と検出した像の中心位置座標（ｍ１，ｎ１）および
（ｍ２，ｎ２）が、はっきりと前方を視認した定常運転
姿勢で彼の眼が位置する画面上の領域に余裕代を加えて
予め（処理プログラム上）設定した、図１９に示す定常
眼領域ＥＣＲ内にあるか否かをチェックし（4901)、該
領域内のときには更に、中心位置座標のｘ（横方向）座
標値の差（ｍ２−ｍ１）が、両眼の瞳の標準間隔（６ｃ
ｍ対応の画素数）±許容値（１ｃｍ対応の画素数）の範
囲内であるかをチェックし（４９０２）、該範囲内のと
きには更に、両眼の瞳のｙ方向（上下方向）の位置差
（│ｎ２−ｎ１│）が、運転中のドライバの顔の一時的
な左，右への傾きや少々の定常的傾斜により生ずる上下
ずれよりも少々大きい値（１ｃｍ対応の画素数）以下で
あるかをチェックする(4903)。いずれのチェックでも領
域内又は範囲内との結果となると、上述の「注目点数の
判定」（４８）で眼と検出した像の中心位置座標（ｍ
１，ｎ１）が正しくその通りのものであると見なして、
フラグレジスタＦをクリア（「０」の書込みと同義）す
る(4904)。このレジスタＦの内容「０」は、正常に眼を
検出していることを意味する。そしてブザ−５の付勢を
停止し（4905)、「判定」４から「追跡」５に進む。な
お、ブザ−５の付勢停止(4905)は、今回の「判定」４の
前の「判定」又は「追跡」で検出エラ−又は追跡エラ−
を生じていた場合に、今回の「判定」４では検出に成功
したのでブザ−５の鳴動を停止する意味がある。今回の
「判定」４に進んだときにブザ−５を付勢していない場
合、付勢していないブザ−の停止制御をすることになる
が、ブザ−制御上問題は生じない。ところで、上述の
「注目点数の判定」（４８）で眼と検出した像の中心位
置座標（ｍ１，ｎ１）および（ｍ２，ｎ２）が、領域Ｅ
ＣＲを外れているか、ｘ座標値の差（ｍ２−ｍ１）が、
両眼の瞳の標準間隔±許容値の範囲を外れているか、又
は、ｙ方向（上下方向）の位置差（│ｎ２−ｎ１│）
が、上述の許容値を越える場合には、ブザ−５を付勢し
(4906)、ブザ−５が付勢か非付勢かを示すフラグＦが０
(作動していない)であるかチェックし(4907)、フラグＦ
が０であればマイクロプロセッサ６は内部タイマをオン
し(4908)、フラグＦに１をセットし(4909)ブザ−付勢中
を示す(4909)。そして、タイマがオーバしたかをチェッ
クし(4910)、タイマがオーバしていないと画像読込み
(図３の２)に戻り、そして「小領域の暗点検出」３を経て
「判定」４を再度実行する。この判定の「注目点の検
証」４９で、再度「眼」と判定した画像の中心座標が、
図１３のチェック４９０１〜４９０３のすべてでＹＥＳ
の結果となると、フラグレジスタＦがクリアされて（49
04)、ブザ−５の付勢が停止される(4905)。しかし、再
度,再々度以下の「注目点の検証」４９でも眼検出がエ
ラ−であるとの結果となり、タイマ−がタイムオ−バす
ると、マイクロプロセッサ６は、「注目点の検証」４９
（の最後のステップ4910)から図１５のステップ５２１
に進み、そしてストップ指示の入力（ＳＳＷオン）を待
つ。ブザ−５の鳴動を止めようとドライバがスイッチＳ
ＳＷを押下するとすなわちストップ指示入力があると、
マイクロプロセッサ６は、ブザ−５を停止し、ステップ
１の初期化（図３）に戻る。

【００５８】図１４および図１５に、図３に示す「追
跡」（５）の処理内容を更に詳細に説明する。なお、
「判定」４で眼を正確に検出した（注目点の検証４９で
眼との検証結果を得た）場合にこの「追跡」５に進むこ
とに注意されたい。まず、マイクロプロセッサ６は、１
フレーム画像データをフレームメモリ１２に書込む(50
1)。そしてレジスタｍ，ｎにｍ₁，ｎ₁をセットする。す
なわち人の両眼のうち、いずれか一方の眼の位置を示す
注目点のアドレスを示す値をセットする(502)。そし
て、メモリのアドレスからその眼の位置を示す座標デー
タＸ_m，Ｙ_nを読み出す(503)。次に、「小領域での暗点検
出」(3)と同様に小領域(この場合は注目点を中心として
縦横方向±20ドットの範囲)を設定、すなわちレジスタ
ｘ₁にＸ_m−２０をｙ₁にＹ_n−２０をセットして小領域の
左上端の座標を設定し(504)、レジスタｘ₂にＸ_m＋２０
をｙ₂にＹ_n＋２０をセットして検出領域の右下端の座標
を設定する（505）。そして、領域，ｘ₁≦ｘ≦ｘ₂＆ｙ₁
≦ｙ≦ｙ₂内においてフレームメモリ１２のデータを読
み出して明るさ値の最も暗い点を検出し、その座標をメ
モリのアドレスＡ_nmに更新メモリする（506）。これに
より一方の眼の時系列的に変化する位置が検出される。
次に、眼の開閉状態をチェックする。すなわち、最暗点
に移動した後の注目点を中心とする縦方向±20ドット範
囲における明るさ値の最大値Ｔ_(max)と最小値Ｔ_(min)を
検出し、その平均値を算出し、レジスタＴ_AVにセットす
る（507）。そしてＴ_AV以下の明るさ値を示す縦（ｙ）
方向の幅Ｗ₁を検出する（508)。図１４に示す模式図に
おいて縦方向の幅は、Ｗ₁＝｜ｙ′−ｙ″｜となる。

【００５９】同様の処理を他方の眼についても行い縦
（ｙ）方向の幅Ｗ₂を検出する（509〜515)。これにより
時系列的に変化する両眼の開閉度が検出される。

【００６０】ここまでの処理により、前回の１フレ−ム
画像デ−タに基づいて検出した眼位置に基づいて、今回
読込んだ（図１４の５０１）１フレ−ム画像上の眼位置
が追跡され、今回読込んだ１フレ−ム画像上の眼位置デ
−タが、図１４のステップ５０２〜５０６の処理により
アドレスＡｎ１ｍ１に、また図１４のステップ５０９〜
５１３の処理によりアドレスＡｎ２ｍ２に格納されてい
る。

【００６１】上述のように眼幅Ｗ１およびＷ２を算出す
るとマイクロプロセッサ６は、図１５の「注目点の検
証」ＥＣＳ２を実行する。この内容は、図１３に示す
「注目点の検証」４９の内容と同様である。ただし、こ
こでは、「注目点の検証」４９のチェックブロック４９
０１の座標デ−タ（ｍ１，ｎ１）はアドレスＡｎ１ｍ１
のデ−タ、座標デ−タ（ｍ２，ｎ２）はアドレスＡｎ２
ｍ２のデ−タとなる。「注目点の検証」ＥＣＳ２を実行
することにより、今回読込んだ（図１４の５０１）１フ
レ−ム画像上で検出（追跡）した「眼」が、正しく眼で
あるかの検証が行なわれる。

【００６２】図１５を参照する。「注目点の検証」ＥＣ
Ｓ２で正しく眼であると判定すると、マイクロプロセッ
サ６は、次に、両眼の幅Ｗ₁およびＷ₂が所定値Ｗ₀以下
であるか否かをチェックし(516)、いずれかの眼が所定
値Ｗ₀より大きいとドライバは正常(居眠り状態あるいは
脇見運転ではない)と判定し、ステップ501に戻り上述の
処理(501〜516〜501,・・・)を続行するが、この途中に両
眼の幅Ｗ₁およびＷ₂が所定値Ｗ₀以下であると、タイマ
の作動の有無を示すフラグＦが０(作動していない)であ
るかチェックし(517)、フラグＦが０であればマイクロ
プロセッサ６は内部タイマをオンし(518)、フラグＦに
１をセットしタイマ作動中を示す(519)。そして、タイ
マがオーバしたかをチェックし(520)、タイマがオーバ
していないとステップ501に戻り処理を繰り返すが、タ
イマがオーバしているとドライバは居眠り状態あるいは
脇見運転中であると判定しブザーコントローラ19を介し
て、ドライバからのストップ指示(ストップスイッチＳ
ＳＷをドライバがオン)があるまで警報を発し続ける(52
1〜522)。なお、一旦タイマがオンされてタイマがオー
バしていない間に、ドライバのいずれかの眼の幅が所定
値Ｗ₀より大きくなると(516)フラグは０にセットされる
ため(524)、例えばドライバの自然のまばたき等、一時
的に眼を閉じる状態(タイマのセット時間未満)では警報
は発せられない。警報オンの状態で、ドライバからのス
トップ指示があるとステップ１の初期化（図３）に戻
る。

【００６３】なお、「追跡」中に眼の検出に失敗するこ
とがあるが、そのときには上述の「注目点の検証」ＥＣ
Ｓ２で眼検出エラ−との判定結果となるか、あるいは、
上述の「居眠り状態あるいは脇見運転中」との判定結果
となり、ブザ−５が付勢される。したがってブザ−５
は、「追跡」中に眼の検出に失敗したとき、ならびに、
監視対象のドライバが「居眠り状態あるいは脇見運転
中」のときに鳴動する。

【００６４】上述の実施例は、人の両眼の開閉に応答し
て、ドライバの居眠り等を検知し所定時間閉じた状態で
あれば警報を発するようにしたが、これに限らず、例え
ば右眼か左眼かの判定を行い（「追跡」（５）において
レジスタｍ₁の値とｍ₂の値を比較）、右眼だけが所定時
間閉じられた状態（意図的なまばたき）であればエアコ
ン制御を行うなど、特公平４−２８４号公報に示した電
気装置の付勢制御を実施しうる。また、人の眼の検出の
ため小領域内で最暗点を検出し、注目点を最暗点に移動
させたが、最も明るい点，あるいは所定の明るさの値に
設定してもよく、所望の画像のテンプレートマッチン
グ，階調差による削除処理等を実行すれば、撮影対象は
人の眼に限らず、他の物体あるいはその一部等、撮影画
像上で特徴ある暗パタ−ン又は明パタ−ンをもたらすも
のであってもよい。

【００６５】なお上記実施例では、メモリテ−ブルに予
め所定ピッチで分散させた注目点の座標を書込むが、こ
の書込みは省略し、代りに、例えば第１注目点（６８，
２００）を指定してその座標デ−タが探索テ−ブルの領
域情報で表わされる領域内にあるかをチェックして領域
内にあるとその座標デ−タを座標レジスタに書込み、そ
の周縁の最暗部を検出してその座標をメモリテ−ブルに
書込み、次に座標レジスタのｘ座標デ−タを１５ドット
分インクリメントして第２注目点座標とする具合に、座
標デ−タを順次インクリメントして順次に注目点を指定
してもよい。また、上記実施例ではメモリテ−ブルに注
目点の座標デ−タを保持するが、ＲＡＭ１０又は別途の
メモリに１フレ−ム２値デ−タテ−ブルを割り当てて、
そのアドレスを多階調デ−タを書込むフレ−ムメモリ１
２のアドレスと一対一に対応付けて、注目点の座標に対
応する２値デ−タテ−ブルアドレスに、「注目点」を示
す「１」を書込むことにより注目点位置情報を２値デ−
タテ−ブルに保持し、注目点を確認（サ−チ又は読出
し）するときには、アドレスを順次に更新して２値デ−
タテ−ブルのデ−タを順次に読出し、読出しデ−タが
「１」（注目点）のときの読出しアドレスをセ−ブ（注
目点のアドレスとして摘出）すればよい。

【００６６】

【発明の効果】２次元撮像手段(3)が車両上ドライバを
撮影し、放射温度計(23)車両上ドライバの温度を検出す
る。走査手段(22,24,28)が放射温度計(23)をアジマス方
向(Az)およびエレベ−ション方向(EL)に走査駆動し、高
温域検出手段(6)が、放射温度計(23)の検出温度を前記
走査方向(Az,EL)のそれぞれで所定ピッチで読込み、読
込んだ検出温度(Mt(i,j))が設定値(Ts)以上の領域(ΣMr
(i,j))を検出する。そして画像情報処理手段(6,8)が、
２次元撮像手段(3)が撮影した画面の、前記高温域検出
手段(6)が検出した領域内の画像を処理し、眼像(瞳像)
を検出する。

【００６７】設定値(Ts)を人の顔の温度よりわずかに低
い値としておくことにより、高温域検出手段(6)が検出
した領域(ΣMr(i,j))は実質上ドライバの顔像域とな
り、したがって画像情報処理手段(6,8)が眼検出のため
に処理する画像デ−タは実質上顔像域内のものとなり、
処理対象デ−タ数（ピクセル数）が大幅に低減し、その
分眼検出のためのデ−タ処理時間が低減する。

【図面の簡単な説明】

【図１】 本発明の一実施例の構成を示すブロック図で
ある。

【図２】 （ａ）は図１に示すＣＣＤカメラ３，照明ラ
ンプ４およびブザー５の配置外観を示す斜視図、（ｂ）
は（ａ）に示す温度測定装置ＴＭＤの外ケ−スの内部の
要素を示す拡大斜視図である。

【図３】 図１に示すマイクロプロセッサ６の処理内容
の概要を示すフローチャートである。

【図４】 図３に示す「小領域での暗点検出」（３）の
処理内容を示すフローチャートである。

【図５】 図３に示す「判定」（４）の処理内容を示す
フローチャートである。

【図６】 図５に示す「孤立点の削除」（４１）の処理
内容を示すフローチャートである。

【図７】 図５に示す「注目点近傍の他注目点の削除」
（４２）の処理内容を示すフローチャートである。

【図８】 図５に示す「十字階調差による削除」（４
３）の処理内容を示すフローチャートである。

【図９】 図５に示す「テンプレートマッチングによる
削除」（４４）の処理内容を示すフローチャートであ
る。

【図１０】 図５に示す「斜め方向階調差による削除」
（４５）の処理内容を示すフローチャートである。

【図１１】 図５に示す「近傍注目点の統合」（４７）
の処理内容を示すフローチャートである。

【図１２】 図５に示す「注目点数の判定」（４８）の
処理内容を示すフローチャートである。

【図１３】 図５に示す「注目点の検証」（４９）の処
理内容を示すフローチャートである。

【図１４】 図３に示す「追跡」（５）の処理内容を示
すフローチャートである。

【図１５】 図３に示す「追跡」（５）の処理内容を示
すフローチャートである。

【図１６】 ＣＣＤカメラ３の撮影画面の大きさを示す
平面図であり、ＣＣＤカメラ３の撮影画面上に予定され
た４２５個の注目点の位置を示す。

【図１７】 人の眼の縦方向と横方向の大きさを示すブ
ロック図である。

【図１８】 図１に示すＲＡＭ１０のメモリテーブルの
内容を示すブロック図である。

【図１９】 ２個の注目点が人の両眼の位置を特定する
様子を示す平面図である。

【図２０】 ＣＣＤカメラ３の撮影画面の大きさを示す
平面図であり、ＣＣＤカメラ３の撮影画面上に予定され
た注目点と、放射温度計２３の温度測定点の分布を示
す。

【符号の説明】

３：ＣＣＤカメラ ４：照明ランプ ５：ブザー ６，８：マイクロ
プロセッサ ７：アドレスバス＆コントロールバス ９：ＲＯＭ １０：ＲＡＭ １２：フレームメモリ １７：Ａ／Ｄコン
バータ １８：赤外線ランプコントローラ １９：ブザーコン
トローラ ＳＳＷ：ストップスイッチ ＴＭＤ：温度測定
装置 ２１：ギア ２２：ステッピン
グモ−タ ２３：放射温度計 ２４：ステッピン
グモ−タ ２５：ギア ２６：スイッチ ２７：スイッチ ２８：走査コント
ロ−ラ ２９：温度検出コントロ−ラ

Claims (4)

【特許請求の範囲】
1. 【請求項１】車両上ドライバの少くとも眼を含む部位を
   撮影するための２次元撮像手段；車両上ドライバの少く
   とも眼を含む部位の温度を検出するための放射温度計；
   放射温度計をアジマス方向およびエレベ−ション方向に
   走査駆動する走査手段； 放射温度計の検出温度を前記
   走査方向のそれぞれで所定ピッチで読込み、読込んだ検
   出温度が設定値以上の領域を検出する高温域検出手段；
   および、 ２次元撮像手段が撮影した画面の、前記高温域検出手段
   が検出した領域内の画像を、前記ドライバの眼位置の検
   出のために処理する画像情報処理手段；を備える、車両
   上ドライバの眼を監視する装置。
2. 【請求項２】前記画像情報処理手段が検出した画面上の
   眼位置に従って前記２次元撮像手段が繰返し撮影する画
   面上における眼位置を追跡する追跡手段；を更に備える
   請求項１記載の、車両上ドライバの眼を監視する装置。
3. 【請求項３】追跡手段が追跡した眼位置の眼像が眼開と
   眼閉のいずれかを検出し、眼閉と検出したときには警報
   手段を付勢する居眠り検出手段；を更に備える請求項１
   又は請求項２記載の、車両上ドライバの眼を監視する装
   置。
4. 【請求項４】画像情報処理手段は、２次元撮像手段で得
   る画像信号を多階調を表わすための画像デ−タに変換し
   て記憶手段に記憶し、所定ピッチ又はランダムに注目点
   を指定して各注目点につき、それを基準にした所定小領
   域内の前記画像デ−タの最大又は最小位置を検出して、
   検出した最大又は最小位置に注目点の位置を変更し、孤
   立注目点を消去し互に近接する注目点は間引き、そし
   て、残った注目点を基準にした所定小領域内の前記画像
   デ−タ、ならびに、眼像の撮影画面上に現われる特徴に
   従って予め定められた判別論理、に従って該所定小領域
   内に眼があるか否かを検出する、請求項１，請求項２又
   は請求項３記載の、車両上ドライバの眼を監視する装
   置。