JPH06266981A

JPH06266981A - 居眠り運転警報装置

Info

Publication number: JPH06266981A
Application number: JP5054348A
Authority: JP
Inventors: Katsuo Suzuki; 木勝雄鈴
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 1993-03-15
Filing date: 1993-03-15
Publication date: 1994-09-22

Abstract

(57)【要約】【目的】居眠り検知精度を高くする。個体差による
検知精度の低下を改善する。検知精度を時系列で安定化
する。【構成】大要では、居眠り判定用パラメ−タ（眼の開
度Ｗｏ，瞬き頻度Ｗｋ，瞬きの間の閉じ時間Ｗｔ）の、
長時間時系列平均値（〔Wo〕，〔Wk〕，〔Wt〕)を、該
判定用パラメ−タ(Ｗｏ，Ｗｋ，Ｗｔ)が居眠り相当値で
あるか否かを判定するためのしきい値に定める。詳しく
は、運転継続時間又は走行距離に対応した係数（α，
β）を算出して、この係数を長時間時系列平均値（〔W
o〕，〔Wk〕，〔Wt〕)に乗じた値（〔Wo〕×α，〔Wk〕
×α，〔Wt〕×β)をしきい値とし、これに判定用パラ
メ−タ(Ｗｏ，Ｗｋ，Ｗｔ）を対比して、居眠りか否か
を判定する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、車両上ドライバ（運転
者）の居眠り運転を防止するための警報装置に関し、特
に、ドライバの顔をビデオカメラで撮影し画像処理によ
り画像上の眼像を検出し眼像を時系列で監視して、ドラ
イバの居眠りを自動検出する装置に関する。

【０００２】

【従来の技術】例えば、特公平３−１４６５６号公報に
は、ドライバ（運転者）の居眠り運転防止のために、ド
ライバの目に赤外線を照射しその反射光を検出し、反射
光検出値に基づいてまばたきを判定し、まばたき頻度に
基づいてドライバの居眠りを検知する技術が提示されて
いる。居眠り検知装置は、めがねに装備されている。ま
た、特公平４−２８４号公報には、車両上ドライバ（運
転者）の顔をカメラで撮影し、撮影画像上において目お
よび口を認識する技術が開示されている。これは、ドラ
イバに特別なものを付ける必要はなく、ドライバの顔を
ビデオカメラで撮影し、撮影画像上で目を検出および追
跡して、目の開度（開，閉）を算出し、開度に基づいて
目を閉じているか否かを判定する。ドライバの顔部を照
明する照明灯の明るさは、画像デ−タに基づいて目およ
び口を認識するのに最適に調整される。画像データはフ
レームメモリに格納されると共に、２値化される。２値
データに基づいてドライバの目および口が検出される。
目の閉じ時間が長いと、ドライバが居眠りをしていると
見なして警報が発っせられる。

【０００３】

【発明が解決しようとする課題】目（上瞼と下瞼の間の
目空間）の大きさ（開き）に大きな個人差があり、例え
ば、どんぐり目は開きが大きく、これに合せて閉眼検知
用の開度閾値を設定すると、きれ長の非常に細い目は、
それが開いていても閉眼と検出してしまう。その結果、
不特定多数に対しては閉眼検知精度が低く、個人宛てに
閉眼検知用の開度閾値を設定せざるを得ない。例えば装
置起動直後に運転者が操作ボ−ドで閉判定用のしきい値
を入力しあるいは調整するとか、更には、運転者が自己
が最も定常的と見なす眼の開度のときに装置のセットス
イッチを操作し、装置はそのときの眼像開度を基準値と
して記憶するとかが考えられる。しかし、長時間の車両
運転では、定常的な眼の開度，瞬き頻度（単位時間当り
の瞬き回数），瞬きの間の眼閉時間等、ドライバの眼の
挙動が変化するので、時系列で居眠り検出精度が変動す
る。

【０００４】本発明は、居眠り検知精度を高くすること
を第１の目的とし、個体差による検知精度の低下を改善
することを第２の目的とし、検知精度を時系列で安定化
することを第３の目的とする。

【０００５】

【課題を解決するための手段】本発明では、まず大略
で、居眠り判定用パラメ−タ（眼の開度Ｗｏ，瞬き頻度
Ｗｋ，瞬きの間の閉じ時間Ｗｔ）の、長時間時系列平均
値（〔Wo〕，〔Wk〕，〔Wt〕)を、該判定用パラメ−タ
(Ｗｏ，Ｗｋ，Ｗｔ)が居眠り相当値であるか否かを判定
するためのしきい値に定める。これにより判定用パラメ
−タの個人差による検出精度のばらつきが低減する。ま
た、長時間の車両運転中の居眠り判定用パラメ−タの変
化による検出精度の変動が少くなる。

【０００６】運転継続時間が長くなると、判定用パラメ
−タの定常値（覚醒時の値）に対する異常値（居眠りと
見なしうる値）の比がシフトする。本発明ではこれに合
せて、運転継続時間又は走行距離に対応した係数（α，
β）を算出して、この係数を長時間時系列平均値（〔W
o〕，〔Wk〕，〔Wt〕)に乗じた値（〔Wo〕×α，〔Wk〕
×α，〔Wt〕×β)をしきい値とし、これに判定用パラ
メ−タ(Ｗｏ，Ｗｋ，Ｗｔ）を対比して、居眠りか否か
を判定する。すなわち、長時間時系列平均値（〔Wo〕，
〔Wk〕，〔Wt〕)に対する判定用パラメ−タ(Ｗｏ，Ｗ
ｋ，Ｗｔ)の比が、該係数以上か否かに基づいて居眠り
か否かを判定する。これにより、長時間の車両運転中
の、判定用パラメ−タの定常値（覚醒時の値）の変化と
居眠りと見なすべき異常値の変化の両者に整合したしき
い値が定まり、居眠り検出精度およびその安定性が更に
高くなる。

【０００７】本発明の居眠り運転警報装置の一態様は、
車両上ドライバを撮影する２次元撮像手段(3)；警報手
段(19,5)；該２次元撮像手段(3)が撮影した画像上の、
眼像を検出する像検出手段(6,8)；該眼像より眼の開度
を算出する開度算出手段(6,8)；該開度の長時間時系列
平均値(〔Wo〕)を算出する手段(6,8)；経過時間を計数
する手段(20)；経過時間に対応した値の係数(α)を算出
する係数演算手段(6,8)；および、前記長時間時系列平
均値(〔Wo〕)と前記係数(α)の積(〔Wo〕×α)より前記
開度算出手段(6,8)が算出した開度が小さいとき前記警
報手段(19,5)を付勢する警報制御手段(6,8)；を備え
る。

【０００８】

【作用】これは、ドライバの眼の開度(Wo)を検出し、そ
の長時間時系列平均値(〔Wo〕)に、経過時間に対応した
値の係数(α)を乗算した値(〔Wo〕×α)より開度(Wo)が
小さいときに、居眠りと判定して警報を発生する。これ
により、眼の開度の個人差による検出精度のばらつきが
低減する。また、長時間の車両運転中の居眠り判定用パ
ラメ−タの変化による検出精度の変動が少くなる。更に
は、長時間の車両運転中の、眼の開度の定常値（覚醒時
の値）の変化と居眠りと見なすべき異常値(眼閉と見な
す値)の変化の両者に整合したしきい値が定まり、居眠
り検出精度およびその安定性が更に高くなる。

【０００９】本発明の他の目的および特徴は、図面を参
照した以下の実施例の説明より明らかになろう。

【００１０】

【実施例】図１に、一実施例の構成を示す。この実施例
は車両上ドライバの顔を撮影して撮像画像中の目を検出
し、時系列で目を追跡して、目の開，閉を認識し、所定
時間以上継続して目が閉じられている(居眠り)とブザー
５を付勢するものである。ＣＣＤカメラ３およびドライ
バの少なくとも顔部を照明する照明灯４は、図２に示す
ように、一体に構成されてインスツルメントパネル２
に、上下および左右に指向方向を調整自在に固着されて
いる。ＣＣＤカメラ３の側面には警報を発生するブザー
５およびブザー５の警報を止めるストップスイッチＳＳ
Ｗが設けられている。照明灯４は、発光ダイオードから
構成される赤外線照明であり、ＣＣＤカメラ３は赤外線
領域における感度を有している。赤外線照明は、普通光
による照明と異なりドライバにまぶしさを与えることが
ないのでドライバの前方視認をむつかしくすることがな
い。したがって照明灯４は常時点灯してもよい。図２に
おいて、符号１は車両の走行方向制御のためドライバが
操作するステアリングホイールである。

【００１１】再度図１を参照する。ブザー５はブザーコ
ントローラ１９によりオン／オフ付勢される。このブザ
ー５は後述するように、ドライバが目を閉じた状態が所
定時間以上継続すると（居眠りと見なして）付勢され
る。また照明灯４は赤外線ランプコントローラ１８によ
り点灯付勢される。ブザーコントローラ１９，赤外線ラ
ンプコントローラ１８，その他出力（ラジオ，エアコ
ン，ワイパ，ヘッドライト等を制御するコントローラ）
には、マイクロプロセッサ６が、インターフェイス１３
を介してオン／オフ指示信号等を与える。

【００１２】入出力バス７にはインタ−フェイス２１を
介して計時カウンタ２０が接続されている。計時カウン
タ２０およびインタ−フェイス２１は、図１に示す装置
の図示しない電源がオン（エンジンキ−スイッチに連動
して、エンジン回転中がオン）になったときに初期化
（クリア）されて、そしてカウンタ２０はＣＰＵ６系の
クロックパルスを分周カウントし、カウント値が２時間
相当値になるとカウントオ−バ信号を発生する。インタ
−フェイス２１はこのカウントオ−バ信号をラッチす
る。ＣＰＵ６は、計時値が必要なときにインタ−フェイ
ス２１を介してカウンタ２０のカウントデ−タを読込む
が、インタ−フェイス２１がカウントオ−バ信号をラッ
チしていると、計時値は２時間以上と判定し、カウント
デ−タの読込みはしない。

【００１３】ＣＣＤカメラ３は、２次元ＣＣＤを備える
ものであり、このＣＣＤカメラ３に、インターフェイス
１６を介して、マイクロプロセッサ６が、オン／オフ信
号を与える。ＣＣＤカメラ３は、撮影した映像信号（ビ
デオ信号：アナログ）を繰り返してＡ／Ｄコンバータ１
７に出力すると共に、画素同期パルスをＡ／Ｄコンバー
タ１７にＡ／Ｄ変換同期パルスとして与えると共に、フ
レーム同期パルス，ライン同期パルスおよび画素同期パ
ルスをインターフェイス１６を介してマイクロプロセッ
サ６に与える。

【００１４】マイクロプロセッサ６は、画像データの１
フレーム分を読込むときには、フレーム同期パルスに同
期してフレームメモリ（ＲＡＭ）１２に書込みを指示
し、ライン同期パルスおよび画素同期パルスに同期して
フレームメモリ１２の書込アドレスを進める。フレーム
メモリ１２には、この例ではＣＣＤカメラ３が１画面を
横５１２画素，縦４８５画素分割で撮影するので、５１
２×４８５画素分の２５６階調の画像デ−タを記憶しう
る画像メモリを使用する。

【００１５】Ａ／Ｄコンバータ１７は、ビデオ信号を８
ビット（２５６階調）のデジタルデータに変換する。す
なわち、フレームメモリ１２に書込まれる画像データ
は、一画素（以下ドット）当り８ビット（２５６階調）
の、明るさを示すデ−タである。したがってマイクロプ
ロセッサ６はフレームメモリ１２の値を読み出すこと
で、画面上の任意の位置の明るさを知ることができる。

【００１６】マイクロプロセッサ６には、各種画像処理
および判定用の演算を行うためにもう１つのマイクロプ
ロセッサ８が接続されており、また通常のコンピュータ
システム制御用のＲＯＭ９およびＲＡＭ１０，バスコン
トローラ１５および前述のフレームメモリ１２が接続さ
れている。

【００１７】図３に、マイクロプロセッサ６および８の
動作の概要（メインルーチン）を示し、動作の詳細（サ
ブルーチン）を図４〜図１５に示す。以下これらの図面
を参照して、設定されたプログラムに基づいたマイクロ
プロセッサ６および８の制御動作を説明する。

【００１８】まず動作の概要を図３を参照して説明す
る。電源が投入されるとマイクロプロセッサ６は、初期
化を行う（ステップ１：以下カッコ内ではステップとい
う語を省略する）。これにおいては、入出力ポートを初
期化して、内部レジスタ，フラグ等をクリアし、ＣＣＤ
カメラ３および赤外線ランプコントローラ１８にオンを
示す付勢信号を与え、ブザーコントローラ１９にオフを
示す信号を与える。またマイクロプロセッサ６は、図１
６に示すように、フレームメモリ１２に書込む画像デ−
タの一画面分布に対して、画面の中央付近に横２５個，
縦１７個，の総計４２５個の注目点（カーソル）を縦，
横１５ドット間隔で配置する。この間隔は、画面上で人
の目の大きさがどの程度になるかによって変わるが、図
１７に示すように、ＣＣＤカメラ３の撮影画面上で１つ
の目の縦方向の最大幅は３０ドット，横方向は４０〜５
０ドットであるため、１つの目の領域に少くとも１個の
注目点が存在するように、本実施例では１５ドット間隔
としている。図１６のように、フレームメモリ１２に書
込まれる画像の横方向をｘ軸，縦方向をｙ軸とした場合
（画像の左上端座標（０，０），右下端座標（５１１，
４８４））、４２５個の注目点の左上端座標を（６８，
２００），右下端座標を（４２８，４４０）となるよう
注目点を配置し、その座標データ（Ｘ_m，Ｙ_n）を、図１
８に示すような、ＲＡＭ(メモリ)１０（図１）のメモリ
テーブルのアドレスＡ_nmに書込む。

【００１９】ただし、Ｘ_m＝６８＋１５（ｍ−１）；１
≦ｍ≦２５，Ｙ_n＝２００＋１５（ｎ−１）；１≦ｎ≦
１７，である。

【００２０】そして初期化から所定時間（照明ランプ４
の明るさが安定し、ドライバの顔が運転時の位置に静止
するのを待っ時間）の後、ＣＣＤカメラ３からのフレー
ム同期パルスに同期して、１フレーム分の画像データ
の、フレームメモリ１２への書込みを開始し、１フレー
ム分の画像データ（１ドット当り８ビットの多階調デー
タ）をメモリ１２に書込む（２）。

【００２１】次にマイクロプロセッサ６は、各々の注目
点を中心とした小領域を設定し、該領域内で最も暗い点
に注目点の座標を更新する（３）。この操作を４２５個
の注目点のすべてについて行う。この内容は、図４を参
照して後述する。

【００２２】次にマイクロプロセッサ６は、座標更新後
の注目点について、周辺に他の注目点が存在しない孤立
点を消去したり、ある注目点の近傍の他の注目点を１つ
にまとめる処理等を行い、最終的に注目点の数Ｎが人の
目の数，すなわち注目点が２個であるか否かの判定を行
う（４）。この内容は、図５〜１２を参照して後述す
る。最終的に注目点の数Ｎが２でない場合には、ステッ
プ２に戻る。

【００２３】注目点が２個であれば、注目点の座標は人
の両目の位置を示すものとみなして、毎フレームをメモ
リ１２に書込むごとに該注目点を追跡して、時系列的に
両目の開閉状態を検知してドライバが居眠り，あるいは
脇見をしているか否かの判断を行う（５）。この内容は
図１３および図１４を参照して後述する。追跡処理中
に、追跡不能となるとステップ１の初期化に戻る。

【００２４】図４を参照して、「小領域での暗点検出」
（３）の内容を説明する。これは、注目点を中心に縦横
方向に±１０ドット範囲の小領域を設定し、小領域内で
一番暗い点を示す座標に注目点の座標を更新する処理で
ある。

【００２５】まず、マイクロプロセッサ６はレジスタ
ｍ，ｎに１をセットし（３１）、図１８に示すメモリの
アドレスＡ_nmの座標データＸ_m，Ｙ_nを読み出す（３
２）。最初はアドレスＡ₁₁の座標データＸ₁，Ｙ₁が読み
出される。次にレジスタｘ₁にＸ_m−１０をｙ₁にＹ_n−１
０をセットして小領域の左上端の座標を設定し（３
３）、レジスタｘ₂にＸ_m＋１０をｙ₂にＹ_n＋１０をセッ
トして小領域の右下端の座標を設定する（３４）。そし
て、領域，ｘ₁≦ｘ≦ｘ₂＆ｙ₁≦ｙ≦ｙ₂内においてフレ
ームメモリ１２のデータを読み出して明るさ値の最も暗
い点を検出し、その座標をメモリのアドレスＡ_nmに更新
メモリする（３５）。次に、レジスタｍを１インクレメ
ント（３６）し、ステップ３７でｍの値が２５より大き
くなるまではステップ３２〜３６の処理を繰り返す。す
なわち、これにより２５個の注目点の座標（Ｘ₁，
Ｙ₁），（Ｘ₂，Ｙ₁），・・，（Ｘ₂₅，Ｙ₁）が更新され
る。レジスタｍが２５より大きくなると（３７）、ｍの
値を１にセットしレジスタｎを１インクレメントし（３
８）、ステップ３９でｎの値が１７より大きくなるまで
はステップ３２〜３８の処理を繰り返す。これにより注
目点の座標（Ｘ₁，Ｙ₂），（Ｘ₂，Ｙ₂），・・，
（Ｘ₂₅，Ｙ₂），（Ｘ₁，Ｙ₃），（Ｘ₂，Ｙ₃），・・，
（Ｘ₂₅，Ｙ₃），・・・が更新され、総計４２５個の注
目点の座標が更新されると（ステップ３９でＹＥＳ）リ
ターンする。これにより、初期化で等間隔で配置された
注目点は人の目，眉や髪の毛等、暗い部分に移動する。

【００２６】図５を参照して、「判定」（４）の制御動
作を説明する。判定では、黒目には複数の注目点が集ま
っているので孤立点を削除する、「孤立点の削除」（４
１），注目点の周辺に複数の注目点がある場合に一つの
注目点に統合する、「注目点近傍の他注目点の削除」
（４２），注目点を中心とする縦方向と横方向の平均階
調を比較して縦階調の方が暗い注目点を削除する、「十
字階調差による削除」（４３），予め検出した目のテン
プレート画像との比較を行って比較誤差の大きい注目点
を削除する、「テンプレートマッチングによる削除」
（４４），注目点を中心とする右上斜め方向と左上斜め
方向の平均階調を比較して比較誤差の大きい注目点を削
除する、「斜め方向階調差による削除」（４５），残存
する注目点をステップ３と同様の処理により小領域内で
最暗点に移動させる、「小領域での暗点検出」（４
６），互いに位置の近い注目点を統合する、「近傍注目
点の統合」（４７），の処理を行い、最終的に残存する
注目点の数Ｎが両目に対応して２であるか否かを判定す
る、「注目点数の判定」（４８）を実行する。

【００２７】図６を参照して、「孤立点の削除」（４
１）の制御動作を更に詳細に説明する。まず、マイクロ
プロセッサ６はレジスタｍ₁，ｎ₁に１をセットし(410
1)、レジスタｍ₁，ｎ₁の値をレジスタｍ，ｎにセットし
て(4102)、メモリのアドレスＡ_nmの座標データＸ_m，Ｙ_n
を読み出す(4103)。ｍ₁，ｎ₁は注目点を示すレジスタで
ある。最初はアドレスＡ₁₁の座標データＸ₁，Ｙ₁が読み
出される。次にレジスタｘ₁にＸ_m−１０をｙ₁にＹ_n−１
０をセットして他の注目点の存在の有無を検出する領域
の左上端の座標を設定し（4104）、レジスタｘ₂にＸ_m＋
１０をｙ₂にＹ_n＋１０をセットして検出領域の右下端の
座標を設定する（4105）。

【００２８】次に、レジスタｍ₂，ｎ₂に１をセットする
(4106)。レジスタｍ₂，ｎ₂はｍ₁，ｎ₁で示す注目点に対
する他の注目点を示すレジスタである。次にｍ₁＝ｍ₂＆
ｎ₁＝ｎ₂であるか、すなわち注目点と他の注目点とが同
一のものであるか否かをチェックする（4107）。同一の
ものであれば、孤立点の削除の必要はないため後述する
ステップ4112に進むが、同一でなければレジスタｍ，ｎ
にｍ₂，ｎ₂をセットし(4108)、メモリのアドレスＡ_nmに
データが存在するか否かをチェックし(4109)、データが
なければステップ4112に進むが、データが有ればその座
標データＸ_m，Ｙ_nを読み出す(4110)。最初は、レジスタ
ｍ₁，ｎ₁およびｍ₂，ｎ₂には１がセットされるためステ
ップ4112に進みｍ₂が１インクレメントされ、ステップ4
107に戻るので、注目点としてアドレスＡ₁₁の座標デー
タＸ₁，Ｙ₁と、他の注目点としてアドレスＡ₂₁の座標デ
ータＸ₂，Ｙ₁が読み出される。

【００２９】次に、他の注目点の座標データＸ_m，Ｙ_nが
注目点の検出領域内に存在するか否かをチェックし(411
1)、存在すれば注目点は孤立点ではないのでそのまま残
置するが、検出領域内に存在しなければ、他の全ての注
目点についても検出領域内に在存するか否かを一つ存在
することが検知されるまで行う。すなわち、ｍ₂が25よ
り大きくなるまでｍ₂を1インクレメントし(4112,411
3)、25より大きくなるとｍ₂を1にセットしｎ₂を1インク
レメントし(4114)、ｎ₂が17より大きくなるまでステッ
プ4107〜4111の処理を繰り返す(4115)。そして、注目点
を中心とする検出領域にその他の注目点が全く存在しな
い場合に(ステップ4115でYES)、レジスタｍ，ｎにｍ₁，
ｎ₁をセットして(4116)、メモリのアドレスＡ_nmの座標
データを消去する(4117)。

【００３０】座標データの消去あるいは検出領域に一つ
他の注目点が存在すると、注目点を示すレジスタｍ₁を1
インクレメントし(4118)、ステップ4102に戻り上述の処
理を残置する(ステップ4109でYES)全ての注目点に関し
て繰り返す(4118〜4121〜4102〜4118・・・)。そして全注
目点について孤立点か否かの判定を終了すると(4121でY
ES)、リターンする。すなわち注目点を中心とする±10
ドット領域内に他の注目点があるか否か判定し、他の注
目点が全く存在しないと、基準となる注目点はメモリ10
から消去される。これにより、人の目，眉や髪の毛等、
暗い部分に移動した注目点は残置されるが、それ以外の
注目点はメモリテーブルから消去される。図７を参照し
て、「注目点近傍の他注目点の削除」（４２）の制御動
作を更に詳細に説明する。まず、マイクロプロセッサ６
はレジスタｍ₁，ｎ₁に１をセットし(4201)、レジスタｍ
₁，ｎ₁の値をレジスタｍ，ｎにセットして(4202)、メモ
リのアドレスＡ_nmにデータが存在するか否かをチェック
する(4203)。これは「孤立点の削除」(41)処理によってデ
ータがメモリ10から消去されている場合があるからであ
る。なおｍ₁，ｎ₁は基準となる注目点を示すレジスタで
ある。データがなければステップ4217に進むが、データ
が有ればその座標データＸ_m，Ｙ_nを読み出す(4204)。次
に、レジスタｘ₁にＸ_m−５をｙ₁にＹ_n−５をセットして
他の注目点の存在の有無を検出する領域の左上端の座標
を設定し（4205）、レジスタｘ₂にＸ_m＋５をｙ₂にＹ_n＋
５をセットして検出領域の右下端の座標を設定する（42
06）。

【００３１】次に、レジスタｍ₂にｍ₁+1を,ｎ₂にｎ₁を
セットする(4207)。「孤立点の削除」(41)と同様にｍ₂,ｎ
₂に1をセットしないのは、メモリのアドレスＡ_nmに残置
しているデータは、それ以前の注目点に対して検出領域
外のものであり、重複して検出する必要がないからであ
る。よって、基準となる注目点を示すレジスタｍ₁，ｎ₁
に対し、検出領域に存在するか否かの対象となる他の注
目点のレジスタｍ₂,ｎ₂はｍ₁，ｎ₁より大きいものをチ
ェックすればよい。

【００３２】次に、レジスタｍ，ｎにｍ₂,ｎ₂をセット
し(4208)、メモリのアドレスＡ_nmにデータが存在するか
否かをチェックし(4209)、データがなければステップ42
12に進むが、データが有ればその座標データＸ_m，Ｙ_nを
読み出す(4210)。

【００３３】次に、他の注目点の座標データＸ_m，Ｙ_nが
注目点の検出領域内に存在するか否かをチェックし(421
1)、存在すればその点は注目点の近傍であるためメモリ
のアドレスＡ_nmの座標データを消去する(4216)。一方、
検出領域外であればその点は残置する。これら処理を
「孤立点の削除」(41)と同様に全ての残存している注目点
について行う(4212〜4215〜4217〜4220〜4202〜4212,・・
・)。そして全注目点について孤立点か否かの判定を終了
すると(4220でYES)、リターンする。すなわち、注目点
を中心として±5ドット領域内の他の注目点はメモリ10
から消去し、領域内には注目点を一とする。これによ
り、人の目，眉や髪の毛等、暗い部分に移動した注目点
のうち近傍の注目点は一とされ、注目点の残存数は減少
する。

【００３４】図８を参照して、「十字階調差による削
除」（４３）の制御動作を更に詳細に説明する。まず、
マイクロプロセッサ６はレジスタｍ，ｎに１をセットし
(4301)、メモリのアドレスＡ_nmにデータが存在するか否
かをチェックする(4302)。データがなければステップ43
10に進むが、データが有ればその座標データＸ_m，Ｙ_nを
読み出し(4303)、レジスタｘ₁にＸ_m−２０をｙ₁にＹ_n−
２０をセットし（4304）、レジスタｘ₂にＸ_m＋２０をｙ
₂にＹ_n＋２０をセットする（4305）。

【００３５】次に、領域，ｙ＝Ｙ_n＆ｘ₁≦ｘ≦ｘ₂、す
なわち注目点を中心に横方向±２０ドットにおける各点
の明るさ値を検出し、その総和をレジスタＴ_Hにセット
し（4306)、領域，ｘ＝Ｘ_m＆ｙ₁≦ｙ≦ｙ₂、すなわち注
目点を中心に縦方向±２０ドットにおける各点の明るさ
値を検出し、その総和をレジスタＴ_Vにセットする（430
7)。そして、Ｔ_HとＴ_Vを比較し(4308)、縦階調Ｔ_Hの方
が横階調Ｔ_Vより大きい場合のみ注目点をメモリのアド
レスＡ_nmから消去する(4309)。

【００３６】この処理を「注目点近傍の他注目点の削除」
(42)の終了時に残存する全注目点に関して行う(4310〜4
313〜4302〜4310,・・・)。すなわち、図１７で示すよう
に、人の目の大きさは縦方向より横方向が長く、横階調
の方が縦階調より暗いので、注目点のうち縦階調の方が
暗いものは人の目の位置にあるものでないとしてメモリ
10から消去する。これにより、人の目や眉以外の特に髪
の毛等の暗い部分に移動した注目点の残存数は減少す
る。

【００３７】図９を参照して、「テンプレートマッチン
グによる削除」（４４）の制御動作を更に詳細に説明す
る。まず、マイクロプロセッサ６はレジスタｍ，ｎに１
をセットし(4401)、メモリのアドレスＡ_nmにデータが存
在するか否かをチェックする(4402)。データがなければ
ステップ4408に進むが、データが有ればその座標データ
Ｘ_m，Ｙ_nを読み出し(4403)、レジスタｘ₁にＸ_m−３０を
ｙ₁にＹ_n−２０をセットし（4404）、レジスタｘ₂にＸ_m
＋３０をｙ₂にＹ_n＋２０をセットする（4405）。次
に、領域，ｘ₁≦ｘ≦ｘ₂＆ｙ₁≦ｙ≦ｙ₂、内の各点の明
るさ値と、各点の位置に対応するテンプレートの領域，
ｘ₀−３０≦ｘ≦ｘ₀＋３０＆ｙ₀−２０≦ｙ≦ｙ₀＋２
０、内の各点の明るさ値の差の絶対値の総和を検出し、
レジスタＴ_nmにセットする（4406)。すなわち、注目点
を中心に縦方向±20ドット,横方向±30ドット範囲にお
ける各点(2400=60×40個)の階調度と、予め読み込んで
おいた人の目の中心(ｘ₀,ｙ₀)に同じく縦方向±20ドッ
ト,横方向±30ドット範囲における各点(2400=60×40個)
の階調度を、対応する各点,(Ｘ_m−３０,Ｙ_n−２０)と
(ｘ₀−３０,ｙ₀−２０),(Ｘ_m−２９,Ｙ_n−２０)と(ｘ₀
−２９,ｙ₀−２０)，(Ｘ_m−２８,Ｙ_n−２０)と(ｘ₀−２
８,ｙ₀−２０)，・・・，（Ｘ_m,Ｙ_n）と（ｘ₀,ｙ₀)，・
・・，（Ｘ_m＋３０,Ｙ_n＋２０)と(ｘ₀＋３０,ｙ₀＋２
０)，につきそれぞれ比較する。そして、セットしたＴ
_nmをアドレスＡ_nm対応でセーブする(4407)。

【００３８】この処理を「十字階調差による削除」(43)の
終了時に残存する全注目点に関して行う(4408〜4411〜4
402〜4408,・・・)。次に、総和グループ中の最大値と最小
値を検出し、それらの中間値Ｔ₀を算出し(4412)、総和
が中間値Ｔ₀より大きいアドレスの座標データをメモリ
から消去する(4413)。これにより、人の目以外の眉や髪
の毛等の暗い部分に移動した注目点の残存数は減少す
る。

【００３９】図１０を参照して、「斜め方向階調差によ
る削除」（４５）の制御動作を更に詳細に説明する。こ
れは前述の「十字階調差による削除」（４３）の注目点
を中心とする縦横方向の十字を４５度回転した位置にお
ける階調差による削除を行う処理である。まず、マイク
ロプロセッサ６はレジスタｍ，ｎに１をセットし(450
1)、メモリのアドレスＡ_nmにデータが存在するか否かを
チェックする(4502)。データがなければステップ4512に
進むが、データが有ればその座標データＸ_m，Ｙ_nを読み
出し(4503)、レジスタｘ₁にＸ_m−２０をｙ₁にＹ_n−２０
をセットし（4504）、レジスタｘ₂にＸ_m＋２０をｙ₂に
Ｙ_n＋２０をセットする（4505）。

【００４０】次に、（ｘ₁，ｙ₁）と（ｘ₂，ｙ₂）を結ぶ
直線上，すなわち注目点の中心を通る左斜め上〜右斜め
下方向における各点の明るさ値を検出し、その総和をレ
ジスタＴ_RDにセットし（4506)、（ｘ₁，ｙ₂）と（ｘ₂，
ｙ₁）を結ぶ直線上，すなわち注目点の中心を通る右斜
め上〜左斜め下方向における各点の明るさ値を検出し、
その総和をレジスタＴ_RUにセットする（4507)。そし
て、Ｔ_RDとＴ_RUを比較し(4508)、両者の差がいずれか小
さい方の階調和の＋20％の範囲にあるか否かをチェック
し(4509,4510)、範囲外の場合の注目点をメモリのアド
レスＡ_nmから消去する(4511)。

【００４１】この処理を「テンプレートマッチングによ
る削除」(44)の終了時に残存する全注目点に関して行う
(4512〜4515〜4502〜4512,・・・)。すなわち、人の黒目の
中心に位置する注目点は、Ｔ_RDとＴ_RUの差はほとんどな
いので、差の大きい注目点をメモリ10から消去する。こ
れにより、人の目の縁や眉の縁に移動した注目点の残存
数は減少する。

【００４２】その後、残存する注目点をステップ４６
（図５）で、小領域，注目点を中心として縦横方向±２
０ドットの範囲内で注目点を最暗点に移動させる、「小
領域での暗点検出」（４６）を実行する。この処理（図
示しない）はステップ３（図４）と同様であるが、領域
範囲が±２０ドット（図４では±１０ドット）である
点，および図４のステップ３１とステップ３２の間に
「メモリのアドレスＡ_nmにデータ有？」の判定処理を設
け、存在すればステップ３２に進むが存在しなければス
テップ３６に進むようにする点において異なる。

【００４３】図１１を参照して、「近傍注目点の統合」
（４７）の制御動作を更に詳細に説明する。「注目点近
傍の他注目点の削除」（４２）では、注目点を中心とす
る縦横方向±５ドット範囲内の他の注目点を削除した
が、「近傍注目点の統合」（４７）では、縦横方向±２
０ドット範囲内に他の注目点が存在する場合には、両点
の中間位置に注目点を移動させて他の注目点を削除す
る。また、「注目点近傍の他注目点の削除」（４２）で
は基準となる注目点を示すレジスタｍ₁，ｎ₁に対し、検
出領域に存在するか否かの対象となる他の注目点のレジ
スタｍ₂,ｎ₂はｍ₁，ｎ₁より大きいものをチェックすれ
ばよかったが、「近傍注目点の統合」（４７）では基準
となる注目点は移動するため、基準となる注目点に対し
残っている全ての注目点についてチェックする。

【００４４】まず、マイクロプロセッサ６はレジスタｍ
₁，ｎ₁に１をセットし(4701)、レジスタｍ₁，ｎ₁の値を
レジスタｍ，ｎにセットして(4702)、メモリのアドレス
Ａ_nmにデータが存在するか否かをチェックし(4703)、デ
ータがなければステップ４７２２に進むが、データが有
ればメモリのアドレスＡ_ｎｍの座標データＸ_m1，Ｙ_n1を
読み出す(4704)。ｍ₁，ｎ₁は基準となる注目点を示すレ
ジスタである。次にレジスタｘ₁にＸ_m1−２０をｙ₁にＹ
_n1−２０をセットして他の注目点の存在の有無を検出す
る領域の左上端の座標を設定し（4705）、レジスタｘ₂
にＸ_m1＋２０をｙ₂にＹ_n1＋２０をセットして検出領域
の右下端の座標を設定する（4706）。

【００４５】次に、レジスタｍ₂，ｎ₂に１をセットする
(4707)。レジスタｍ₂，ｎ₂はｍ₁，ｎ₁で示す注目点に対
する他の注目点を示すレジスタである。次にｍ₁＝ｍ₂＆
ｎ₁＝ｎ₂であるか、すなわち注目点と他の注目点とが同
一のものであるか否かをチェックする（4708）。同一の
ものであれば、統合する必要はないため後述するステッ
プ4718に進むが、同一でなければレジスタｍ，ｎに
ｍ₂，ｎ₂をセットし(4709)、メモリのアドレスＡ_nmにデ
ータが存在するか否かをチェックし(4710)、データがな
ければステップ4718に進むが、データが有ればその座標
データＸ_m2，Ｙ_n2を読み出す(4711)。

【００４６】次に、他の注目点の座標データＸ_m2，Ｙ_n2
が注目点の検出領域内に存在するか否かをチェックし(4
712)、存在しなければ統合する必要はないのそのまま残
置するが、検出領域内に存在すれば、両注目点を統合す
る。すなわち、基準となる注目点と対象となる注目点の
中間位置(Ｘ_i，Ｙ_i)を計算し(Ｘ_i＝(Ｘ_m1＋Ｘ_m2)／２，
Ｙ_i＝(Ｙ_m1＋Ｙ_m2)／２）、中間位置(Ｘ_i，Ｙ_i)に注目
点を移動してメモリのアドレスＡ_nmの座標データを更新
メモリし(4713〜4715)、対象となる注目点の座標データ
をメモリのアドレスＡ_nmから消去する(4716,4717)。

【００４７】この処理を残存する全注目点について行う
(4718〜4725〜4702〜4718,・・・)。これにより、注目点は
人の黒目の中心部を示す位置に近づく。

【００４８】図１２を参照して、「注目点数の判定」
（４８）の制御動作を更に詳細に説明する。まず、マイ
クロプロセッサ６はレジスタｍ，ｎに１，およびＮに０
をそれぞれをセットし(4801)、メモリのアドレスＡ_nmに
データが存在するか否かをチェックする(4802)。データ
がなければステップ4805に進むが、データが有ればレジ
スタＮを１インクレメントし(4803)、Ｎが２以下である
か否かをチェックする（4804)。Ｎが２以下であるとメ
モリの全領域についてデータが存在するか否かをチェッ
クする(4805〜4809〜4802〜4805,・・・)。すなわち、メモ
リ10に存在するデータの数,すなわち注目点の数は人の
目の数(=2)であるか否かをチェックする。このチェック
の途中にＮが２より大きくなると（ステップ4804NO)，
あるいは全領域についてチェック終了時にＮが２でない
と(ステップ4810NO;Ｎ=0又は1のとき)両目の位置を注目
点によって特定することができなかったとして、図３の
ステップ２に戻り１フレーム画像の入力し、Ｎが２とな
るまで上述の「小領域での暗点検出」（３）および「判
定」（４）を繰り返す。

【００４９】これにより、Ｎが２であれば両目の位置は
注目点によって特定されるので、メモリにある座標デー
タ(ｍ₁，ｎ₁)および(ｍ₂，ｎ₂)をセーブする(4811)。図
１９に、最終的に残った２個の注目点が人の両目の位置
を特定する状態を示す。

【００５０】図１３および図１４に、図３に示す「追
跡」（５）の内容を示す。これにおいてマイクロプロセ
ッサ６はまず、１フレーム画像データをフレームメモリ
１２に書込む(501)。そしてレジスタｍ，ｎにｍ₁，ｎ₁
をセットする,すなわち人の両目のうち、いずれ一方の
目の位置を示す注目点のアドレスを示す値をセットする
(502)。そして、メモリのアドレスからその目の位置を
示す座標データＸ_m，Ｙ_nを読み出す(503)。次に、「小領
域での暗点検出」(3)と同様に小領域(この場合は注目点
を中心として縦横方向±20ドットの範囲)を設定、すな
わちレジスタｘ₁にＸ_m−２０をｙ₁にＹ_n−２０をセット
して小領域の左上端の座標を設定し(504)、レジスタｘ₂
にＸ_m＋２０をｙ₂にＹ_n＋２０をセットして検出領域の
右下端の座標を設定する（505）。そして、領域，ｘ₁≦
ｘ≦ｘ₂＆ｙ₁≦ｙ≦ｙ₂内においてフレームメモリ１２
のデータを読み出して明るさ値の最も暗い点を検出し、
その座標をメモリのアドレスＡ_nmに更新メモリする（50
6）。これにより一方の目の時系列的に変化する位置が
検出される。次に、目の開閉状態をチェックする。すな
わち、最暗点に移動した後の注目点を中心とする縦方向
±20ドット範囲における明るさ値の最大値Ｔ_(max)と最
小値Ｔ_(min)を検出し、その平均値を算出し、レジスタ
Ｔ_AVにセットする（507）。そしてＴ_AV以下の明るさ値
を示す縦（ｙ）方向の幅Ｗ₁を検出する（508)。図１３
に示す模式図において縦方向の幅は、Ｗ₁＝｜ｙ′−
ｙ″｜となる。

【００５１】同様の処理を他方の目についても行い縦
（ｙ）方向の幅Ｗ₂を検出する（509〜515)。これにより
時系列的に変化する両目の開閉度が検出される。

【００５２】図１４を参照すると次に、図１３のステッ
プ５０８で算出した右目の開き幅Ｗ１（画素数）および
図１３のステップ５０８で算出した左目の開き幅Ｗ２
（画素数）の積Ｗを算出する（５１６）。幅Ｗ１，Ｗ２
は小さい値であるが、Ｗ＝Ｗ１×Ｗ２は、いわば開き幅
の２乗に相当するのできわめて大きい値となる。すなわ
ち、Ｗは、開き幅Ｗ１，Ｗ２を強調した値である。

【００５３】テ−ブルＷｈ（メモリの１領域）のアドレ
ス２９のデ−タをアドレス３０に、アドレス２８のデ−
タをアドレス２９に書込むという具合に、テ−ブルＷｈ
のデ−タ（のアドレス）をシフトして、このシフトによ
り開いたアドレス１に、今回算出した値Ｗを書込む（５
１７）。

【００５４】このＷ算出（５１６）が含まれる「追跡」
５は、0.1sec周期で繰返し実行するので、テ−ブルＷｈ
のアドレス１には今回算出したＷ値が、アドレス２には
今回より0.1sec前の算出値が、・・・そしてアドレス３
０には3sec前の算出値が格納されている。

【００５５】上述のように今回算出値をアドレス１に書
込むと、テ−ブルＷｈのアドレス１〜３０のデ−タの平
均値Ｗ３０（現在から過去3secの間のＷの平均値）を算
出し（５１８）、更に、テ−ブルＷｈのアドレス１〜３
のデ−タの平均値Ｗ３（現在から過去0.3secの間のＷの
平均値）を算出する（５１９）。そして、Ｗ３０×０．
７がＷ３より大きい（０．７＞Ｗ３／Ｗ３０）と目が閉
じていると決定し、Ｗ３０×０．７がＷ３以上である
（０．７≦Ｗ３／Ｗ３０）と目が開いていると決定する
（５２０）。

【００５６】Ｗ３０は、過去3secの間のＷの平均値であ
り、まばたきで目が閉じている時間は極く短く、まばた
きの周期は長いので、Ｗ３０は、目が開いている開度の
時系列平均値に対応する。ところがＷ３は過去0.3secの
間のＷの平均値（いわば瞬時値）であり、まばたきで目
が閉じていたときには極く小さい値となり、目が開いて
いたときにはＷ３０に近い値となる。上記判定（閉：
０．７＞Ｗ３／Ｗ３０／開：０．７≦Ｗ３／Ｗ３０）の
しきい値０．７は実験により求めた。

【００５７】目が閉じていると判定した場合には、前回
(0.1sec前）は開いていたとの判定であったときには、
時間Ｔpdの間の瞬き回数を計数するための、カウントレ
ジスタＷｋの内容を１インクレメントする（５２２）。
また、目が閉じていると判定した場合には、前回が開か
閉かにかかわらず、時間Ｔpdの間の目の閉じ時間を累算
するためのレジスタＷｓｔの内容を１インクレメントす
る（５２３）。そして、今回目が閉じているか否かにか
かわらず、ステップ５１６で算出した目の開度（強調
値）Ｗを、時間Ｔpdの間の開度（強調値）を累算するた
めのレジスタＷａｌｌの内容に加えて、得た和を該レジ
スタＷａｌｌに更新書込みする（５２４）。そしてＴpd
時限のタイマＴpdがタイムオ−バしたかをチェックする
（５２５）。

【００５８】タイムオ−バしている（レジスタＷｋ，Ｗ
ｓｔ，Ｗａｌｌに、Ｔpd時間の累算を終了した）と、目
の平均開度（強調値ＷのＴpdの間の平均値）Ｗｏを算出
してレジスタＷｏに書込み（５２６）、瞬きの間の目閉
時間平均値（Ｔpdの間の瞬きでの、平均閉じ時間）Ｗｔ
を算出する（５２７）。次に、計測開始（装置電源オ
ン）から現在までの、目開度Ｗｏの長時間時系列平均値
〔Ｗｏ〕，瞬き頻度Ｗｋの長時間時系列平均値〔Ｗｋ〕
および瞬き閉時間Ｗｔの長時間時系列平均値〔Ｗｔ〕を
算出する（５２８）。なお、これにおいて、目開度Ｗｏ
の長時間時系列平均値〔Ｗｏ〕は、電源オンから５分程
度の初期区間では算出値Ｗｏをテ−ブルＷｏに蓄積し、
かつ蓄積分の平均値を算出しそれを平均値〔Ｗｏ〕とす
る。初期区間を過ぎると平均値〔Ｗｏ〕を前回平均値レ
ジスタに書込む。そしてその後は、新たにＷｏを算出す
る毎にステップ５１７と同様にテ−ブルＷｏのデ−タを
シフトして開いたアドレスにＷｏを書込み、テ−ブルＷ
ｏのデ−タの平均値（５分平均値）を算出し、（前回平
均値レジスタの値×７＋５分平均値）／８（重み付け平
均）を長時間時系列平均値〔Ｗｏ〕とし、５分経過毎に
前回平均値レジスタの値を最新に算出した（前回平均値
レジスタの値×７＋５分平均値）／８に更新する。これ
により現在から５分前までのＷｏの平均値を５分以上前
の平均値と重み付け平均した値が、長時間時系列平均値
〔Ｗｏ〕である。瞬き頻度Ｗｋの長時間時系列平均値
〔Ｗｋ〕および瞬き閉時間Ｗｔの長時間時系列平均値
〔Ｗｔ〕の算出も同様である。

【００５９】次に、係数αおよびβを算出する（５２
９）。電源オンからの経過時間Ｔｓｔに対して定められ
ている係数αおよびβの値を図２０に示す。この係数算
出においては、インタ−フェイス２１に、２時間オ−バ
を表わすカウントオ−バ信号がラッチされているかを参
照し、それがあると図２０に示す飽和値を係数αおよび
βの値とする（α＝０．８，β＝１．２）。カウントオ
−バ信号がラッチされていないと、カウンタ２０のカウ
ントデ−タＴｓｔを読んでそれに対応する係数値α＝ｆ
１（Ｔｓｔ），β＝ｆ２（Ｔｓｔ）を算出する。

【００６０】次に、居眠り判定用のしきい値ＷoTH＝
〔Ｗｏ〕×α，ＷkTH＝〔Ｗk〕×α，ＷtTH＝〔Ｗt〕×
βを算出してそれぞれレジスタＷoTH，ＷkTH，ＷtTHに
書込む（５３０）。そして、再度タイマＴpdをスタ−ト
して（５３１）、レジスタＷｋ，ＷｓｔおよびＷａｌｌ
を初期化（クリア）する（５３２）。

【００６１】次に、居眠りであるか否かを判定する（５
３３）。これにおいては、Ｗｏ＜ＷoTH，Ｗｋ＜ＷkTH
又はＷｔ＞ＷtTH のいずれか１つが成立すると居眠
りと判定する。居眠りと判定すると、ブザ−コントロ−
ラ１９を介してブザ−５を付勢する。このブザ−５の鳴
動に答えてドライバがパラレルインタ−フェイス１３に
接続された停止スイッチＳＳＷを操作すると、ブザ−５
の付勢を止める。

【００６２】目の開度は、運転開始初期は大きい（覚醒
度が高い）が運転経過時間（走行距離）が長くなるに従
って小さくなる。一方、瞬きの目閉の開度は、運転経過
時間とは無関係で一定となる。例えば、居眠り判定のし
きい値を目の平均開度の７０％で固定した場合、最初
は、開度が大きいので甘い判定になり、運転時間が長く
なると開度が小さくなるので辛い判定となる。しきい値
をより正確にするために、最初は平均開度の７０％より
小さな値とし、時間の経過によって大きな値になるよう
にすると、時間経過によっても判定の基準（甘さ，辛
さ）が変わることがなくなる。したがって、目の開度に
よる居眠り判定のしきい値ＷoTHを補正する係数αは、
図２０に示すように、時間経過に伴って大きい値となる
ものとしている（補正係数αは、目の開度の時間変化と
逆の特性を持ったものとしている）。瞬き回数（頻度）
も目の開度と同様に、覚醒度が高い運転開始初期には多
く、運転時間が長くなり覚醒度が落ちて来ると少くな
る。したがって、瞬き頻度による居眠り判定のしきい値
ＷkTHを補正する係数も、瞬き頻度の時間変化と逆の特
性を持ったαとしている。

【００６３】瞬き時間は覚醒度が高い運転初期では短
く、運転時間が長く覚醒度が低くなるに従って長くな
る。そこで、瞬き時間による居眠り判定のしきい値ＷtT
Hを補正する係数βは、図２０に示すように、時間経過
に伴って小さな値となるものとしている（補正係数β
は、瞬き時間の時間変化と逆の特性を持ったものとして
いる）。

【００６４】以上に説明した実施例では、装置電源オン
からの経過時間すなわちエンジン回転をスタ−トしてか
らの経過時間に対応して係数α，βの値を定めている
が、これに加えて、又は、これに代えて、装置電源オン
後車両走行開始時点からの走行距離に対応して係数α，
βの値を定めてもよい。経過時間に代えて走行距離に対
応して係数α，βの値を定める実施例を図２１に示し、
この実施例での走行距離に対して定めた係数α，βの値
を示す。この実施例では、装置電源オン時に距離カウン
タ２２が初期化（クリア）され、そして、車輪の所定小
角度の回転につき１パルス現われる車速同期パルスのカ
ウントを開始する。この実施例では、上述の、係数α，
βの算出（５２９）では、カウンタ２２のカウントデ−
タを読んで、それに対応する係数α，βの値（図２２）
を算出する。

【００６５】上述の実施例では、人の目の検出のため小
領域内で最暗点を検出し、注目点を最暗点に移動させた
が、最も明るい点，あるいは所定の明るさの値に設定し
てもよく、所望の画像のテンプレートマッチング，階調
差による削除処理等を実行すれば、撮影対象は人の目に
限らず、他の物体あるいはその一部等、撮影画像上で特
徴ある暗パタ−ン又は明パタ−ンをもたらすものであっ
てもよい。

【００６６】また上記実施例では、メモリテ−ブルに予
め所定ピッチで分散させた注目点の座標を書込むが、こ
の書込みは省略し、代りに、例えば第１注目点（６８，
２００）を指定してその座標デ−タを座標レジスタに書
込み、その周縁の最暗部を検出してその座標をメモリテ
−ブルに書込み、次に座標レジスタのｘ座標デ−タを１
５ドット分インクリメントして第２注目点座標とする具
合に、座標デ−タを順次インクリメントして順次に注目
点を指定してもよい。また、上記実施例ではメモリテ−
ブルに注目点の座標デ−タを保持するが、ＲＡＭ１０又
は別途のメモリに１フレ−ム２値デ−タテ−ブルを割り
当てて、そのアドレスを多階調デ−タを書込むフレ−ム
メモリ１２のアドレスと一対一に対応付けて、注目点の
座標に対応する２値デ−タテ−ブルアドレスに、「注目
点」を示す「１」を書込むことにより注目点位置情報を
２値デ−タテ−ブルに保持し、注目点を確認（サ−チ又
は読出し）するときには、アドレスを順次に更新して２
値デ−タテ−ブルのデ−タを順次に読出し、読出しデ−
タが「１」（注目点）のときの読出しアドレスをセ−ブ
（注目点のアドレスとして摘出）すればよい。

【００６７】

【発明の効果】以上の通り本発明では、まず大略で、居
眠り判定用パラメ−タ（眼の開度Ｗｏ，瞬き頻度Ｗｋ，
瞬きの間の閉じ時間Ｗｔ）の、長時間時系列平均値
（〔Wo〕，〔Wk〕，〔Wt〕)を、該判定用パラメ−タ(Ｗ
ｏ，Ｗｋ，Ｗｔ)が居眠り相当値であるか否かを判定す
るためのしきい値に定めるので判定用パラメ−タの個人
差による検出精度のばらつきが低減する。また、長時間
の車両運転中の居眠り判定用パラメ−タの変化による検
出精度の変動が少くなる。

【００６８】更には、運転継続時間が長くなると、判定
用パラメ−タの定常値（覚醒時の値）に対する異常値
（居眠りと見なしうる値）の比がシフトするのに合せ
て、運転継続時間又は走行距離に対応した係数（α，
β）を算出して、この係数を長時間時系列平均値（〔W
o〕，〔Wk〕，〔Wt〕)に乗じた値（〔Wo〕×α，〔Wk〕
×α，〔Wt〕×β)をしきい値とし、これに判定用パラ
メ−タ(Ｗｏ，Ｗｋ，Ｗｔ）を対比して、居眠りか否か
を判定するので、すなわち、長時間時系列平均値（〔W
o〕，〔Wk〕，〔Wt〕)に対する判定用パラメ−タ(Ｗ
ｏ，Ｗｋ，Ｗｔ)の比が、該係数以上か否かに基づいて
居眠りか否かを判定するので、長時間の車両運転中の、
判定用パラメ−タの定常値（覚醒時の値）の変化と居眠
りと見なすべき異常値の変化の両者に整合したしきい値
が定まり、居眠り検出精度およびその安定性が更に高く
なる。

【図面の簡単な説明】

【図１】本発明の一実施例の構成を示すブロック図で
ある。

【図２】図１に示すＣＣＤカメラ３，照明ランプ４お
よびブザー５の配置外観を示す斜視図である。

【図３】図１に示すマイクロプロセッサ６の制御動作
の概要を示すフローチャートである。

【図４】図３に示す「小領域での暗点検出」（３）の
制御動作を示すフローチャートである。

【図５】図３に示す「判定」（４）の制御動作を示す
フローチャートである。

【図６】図５に示す「孤立点の削除」（４１）の制御
動作を示すフローチャートである。

【図７】図５に示す「注目点近傍の他注目点の削除」
（４２）の制御動作を示すフローチャートである。

【図８】図５に示す「十字階調差による削除」（４
３）の制御動作を示すフローチャートである。

【図９】図５に示す「テンプレートマッチングによる
削除」（４４）の制御動作を示すフローチャートであ
る。

【図１０】図５に示す「斜め方向階調差による削除」
（４５）の制御動作を示すフローチャートである。

【図１１】図５に示す「近傍注目点の統合」（４７）
の制御動作を示すフローチャートである。

【図１２】図５に示す「注目点数の判定」（４８）の
制御動作を示すフローチャートである。

【図１３】図３に示す「追跡」（５）の制御動作を示
すフローチャートである。

【図１４】図３に示す「追跡」（５）の制御動作を示
すフローチャートである。

【図１５】図３に示す「追跡」（５）の制御動作を示
すフローチャートである。

【図１６】フレームメモリ１２に書込む画像データの
一画面分布に４２５個の注目点を配置した様子を示す状
態図である。

【図１７】人の目の縦方向と横方向の大きさを示すブ
ロック図である。

【図１８】図１に示すＲＡＭ１０のメモリテーブルの
内容を示すブロック図である。

【図１９】２個の注目点が人の両目の位置を特定する
様子を示す状態図である。

【図２０】図１５に示すステップ５２９で算出する係
数α，βの値を示すグラフである。

【図２１】本発明のもう１つの実施例の構成を示すブ
ロック図である。

【図２２】図２１に示す実施例で算出される係数α，
βの値を示すグラフである。

【符号の説明】

３：ＣＣＤカメラ４：照明ランプ５：ブザー６，８：マイクロ
プロセッサ７：アドレスバス＆コントロールバス９：ＲＯＭ１０：ＲＡＭ１２：フレームメモリ１７：Ａ／Ｄコン
バータ１８：赤外線ランプコントローラ１９：ブザーコン
トローラＳＳＷ：ストップスイッチ

Claims

【特許請求の範囲】

【請求項１】車両上ドライバを撮影する２次元撮像手
段；警報手段；該２次元撮像手段が撮影した画像上の、
眼像を検出する像検出手段；該眼像より眼の開度を算出
する開度算出手段；該開度の長時間時系列平均値を算出
する手段；経過時間を計数する手段；経過時間に対応し
た値の係数を算出する係数演算手段；および、前記長時間時系列平均値と前記係数の積より前記開度算
出手段が算出した開度が小さいとき前記警報手段を付勢
する警報制御手段；を備える居眠り運転警報装置。
【請求項２】車両上ドライバを撮影する２次元撮像手
段；警報手段；該２次元撮像手段が撮影した画像上の、
眼像を検出する像検出手段；該眼像より眼の開，閉を検
出する開閉検出手段；前記開，閉の繰返し頻度を算出す
る頻度算出手段；該頻度の長時間時系列平均値を算出す
る手段；経過時間を計数する手段；経過時間に対応した
値の係数を算出する係数演算手段；および、前記長時間時系列平均値と前記係数の積より前記頻度算
出手段が算出した頻度が小さいとき前記警報手段を付勢
する警報制御手段；を備える居眠り運転警報装置。
【請求項３】車両上ドライバを撮影する２次元撮像手
段；警報手段；該２次元撮像手段が撮影した画像上の、
眼像を検出する像検出手段；該眼像より眼の開，閉を検
出する開閉検出手段；前記眼の開，閉の一周期における
閉時間を算出する瞬き内閉時間算出手段；該一周期にお
ける閉時間の長時間時系列平均値を算出する手段；経過
時間を計数する手段；経過時間に対応した値の係数を算
出する係数演算手段；および、前記長時間時系列平均値と前記係数の積より瞬き内閉時
間算出手段が算出した一周期における閉時間が大きいと
き前記警報手段を付勢する警報制御手段；を備える居眠
り運転警報装置。
【請求項４】車両上ドライバを撮影する２次元撮像手
段；警報手段；該２次元撮像手段が撮影した画像上の、
眼像を検出する像検出手段；該眼像より眼の開度を算出
する開度算出手段；該開度の長時間時系列平均値を算出
する手段；走行距離を計数する手段；走行距離に対応し
た値の係数を算出する係数演算手段；および、前記長時間時系列平均値と前記係数の積より前記開度算
出手段が算出した開度が小さいとき前記警報手段を付勢
する警報制御手段；を備える居眠り運転警報装置。
【請求項５】車両上ドライバを撮影する２次元撮像手
段；警報手段；該２次元撮像手段が撮影した画像上の、
眼像を検出する像検出手段；該眼像より眼の開，閉を検
出する開閉検出手段；前記開，閉の繰返し頻度を算出す
る頻度算出手段；該頻度の長時間時系列平均値を算出す
る手段；走行距離を計数する手段；走行距離に対応した
値の係数を算出する係数演算手段；および、前記長時間時系列平均値と前記係数の積より前記頻度算
出手段が算出した頻度が小さいとき前記警報手段を付勢
する警報制御手段；を備える居眠り運転警報装置。
【請求項６】車両上ドライバを撮影する２次元撮像手
段；警報手段；該２次元撮像手段が撮影した画像上の、
眼像を検出する像検出手段；該眼像より眼の開，閉を検
出する開閉検出手段；前記眼の開，閉の一周期における
閉時間を算出する瞬き内閉時間算出手段；該一周期にお
ける閉時間の長時間時系列平均値を算出する手段；走行
距離を計数する手段；走行距離に対応した値の係数を算
出する係数演算手段；および、前記長時間時系列平均値と前記係数の積より瞬き内閉時
間算出手段が算出した一周期における閉時間が大きいと
き前記警報手段を付勢する警報制御手段；を備える居眠
り運転警報装置。