JPH06293228A

JPH06293228A - 車上乗員認識装置

Info

Publication number: JPH06293228A
Application number: JP7946393A
Authority: JP
Inventors: Katsuo Suzuki; 木勝雄鈴
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 1993-04-06
Filing date: 1993-04-06
Publication date: 1994-10-21

Abstract

(57)【要約】【目的】認識の誤りによる装置の誤動作を防止する。
無駄な認識動作を減らし、実際に認識が必要な時には短
時間で認識を完了する。【構成】実車速が１０Ｋｍ／ｈ以下の時，操舵角又は
ヨ−レ−トが所定（Ａｘ）以上の時，あるいはシ−トベ
ルトが装着されていない時には、認識処理を禁止する。
通常の走行中以外では、運転者の姿勢変化や予期されな
い動作の発生が多く、誤認識が発生し易いが、そのよう
な時には装置を使用する必要はないので、認識動作を禁
止して、誤認識を防止する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、車上乗員認識装置に関
し、例えば、居眠り運転防止装置や非接触遠隔制御装置
に利用しうる。

【０００２】

【従来の技術】例えば、特開昭６２−２４７４１０号公
報の技術では、車上乗員認識装置を用いた非接触遠隔制
御装置を開示している。即ち、自動車のインスツルメン
トパネル上に配置したテレビカメラによって運転者の顔
を撮影し、テレビカメラが出力する映像信号をデジタル
情報に変換してコンピュ−タに入力し、コンピュ−タで
画像のパタ−ン認識を実施し、顔の目，口などを認識
し、目のまばたきや口の動きに応答して各種車上機器を
遠隔操作することが開示されている。

【０００３】またこの種の車上乗員認識装置は、目の開
き具合いやまばたきを検出することができるので、運転
者の居眠りを検出するのにも応用しうる。居眠り運転防
止装置については、先に本出願人が特許出願した技術が
存在する。

【０００４】

【発明が解決しようとする課題】ところで、従来の車上
乗員認識装置は、装置の電源がオンしている時、即ち自
動車のエンジンがかかっている時には、常時、乗員の顔
の認識及び監視を実施している。

【０００５】ところが、車上乗員認識装置によって監視
される運転者は、運転中でない時、例えば停車中には、
運転中とは全く異なる動作をする機会が多く、例えば後
方を向いたり、横を向いたり、姿勢を大きく変えたりす
る。このような場合、テレビカメラによって撮影される
画像中で、運転者の顔の位置が急激に移動したり、画像
中から顔の一部もしくは全体が欠落することになる。ま
た、車上機器を遠隔操作するための意志とは無関係に、
運転者は、例えば他の同乗者と会話をしたり、あくびを
したり、目を閉じたり、表情を変えたりする機会も多
い。

【０００６】このような場合、車上乗員認識装置の認識
に誤りが生じたり、運転者の意志とは無関係に車上機器
の遠隔操作が働くような誤動作が生じ易い。また、例え
ば運転者が姿勢を大きく変えた場合、目や口の認識が不
可能になるので、再び頭や顔全体の認識を実行する必要
があり、複雑な処理を経て、目や口の位置を認識し、そ
れらの追跡を再開することになるが、運転者が姿勢を元
の位置に戻すと、再び認識をやり直さなければならず、
運転者が姿勢を変える度に、この複雑な処理を繰り返す
ことになり、無駄に実行される処理が多い。このような
無駄な処理を実行していると、運転者が所定の運転姿勢
に戻ってから、目や口の追跡ができる状態に進むまでに
長い時間遅れを生じる場合がある。

【０００７】従って本発明は、車上乗員認識装置の誤動
作を抑制してその信頼性を向上するとともに、無駄な動
作を減らし、動作が必要な時に短い時間で認識を可能に
することを課題とする。

【０００８】

【課題を解決するための手段】上記課題を解決するため
に、第１番の発明では、運転席に着座している運転者の
少なくとも顔を撮影する撮像手段，該撮像手段が出力す
る画像信号から運転者の所定の特徴パタ−ンを認識する
認識手段，及び該認識手段の認識結果に応じて車上機器
を制御する制御手段、を含む車上乗員認識装置におい
て：運転席の近傍に配置された乗員検出手段（２４），
及び該乗員検出手段が運転者の所定の運転着座状態を検
出している時に前記認識手段の動作を許可しそうでなけ
れば認識手段の動作を禁止する認識許可手段（８）を設
ける。

【０００９】また第２番の発明では、運転席に着座して
いる運転者の少なくとも顔を撮影する撮像手段，該撮像
手段が出力する画像信号から運転者の所定の特徴パタ−
ンを認識する認識手段，及び該認識手段の認識結果に応
じて車上機器を制御する制御手段、を含む車上乗員認識
装置において：車速検出手段（２５），及び該車速検出
手段の検出車速が所定以上の時に前記認識手段の動作を
許可しそうでなければ認識手段の動作を禁止する認識許
可手段（８）を設ける。

【００１０】また第３番の発明では、運転席に着座して
いる運転者の少なくとも顔を撮影する撮像手段，該撮像
手段が出力する画像信号から運転者の所定の特徴パタ−
ンを認識する認識手段，及び該認識手段の認識結果に応
じて車上機器を制御する制御手段、を含む車上乗員認識
装置において：ステアリングホイ−ルの舵角もしくは車
上のヨ−レ−トを検出する操舵検出手段（２６，２
７），及び該操舵検出手段が検出した舵角もしくはヨ−
レ−トが所定以下の時に前記認識手段の動作を許可しそ
うでなければ認識手段の動作を禁止する認識許可手段
（８）を設ける。

【００１１】なお上記括弧内に示した記号は、後述する
実施例中の対応する要素の符号を参考までに示したもの
であるが、本発明の各構成要素は実施例中の具体的な要
素のみに限定されるものではない。

【００１２】

【作用】第１番の発明では、乗員検出手段が運転者の所
定の運転着座状態を検出していない時には認識手段の動
作が禁止され、乗員検出手段が運転者の所定の運転着座
状態を検出すると認識手段の動作が許可される。乗員検
出手段としては、例えばシ−トベルトの装着状態を検出
するスイッチを利用することができる。即ち、運転者に
運転の意志がない時には、運転者はシ−トベルトを外
し、運転時と異なる楽な姿勢で着座することになるが、
このような状況では、居眠り運転防止装置や非接触遠隔
制御装置を作動させる必要がなく、認識手段の動作を禁
止することによって、誤動作の発生が防止される。また
無駄な認識動作が減少するので、運転者が所定の運転着
座状態になってからの認識完了（目や口の追跡開始）ま
での所要時間が短縮される。

【００１３】第２番の発明では、車速検出手段の検出車
速が所定未満の時には認識手段の動作を禁止し、検出車
速が所定以上になると認識手段の動作が許可される。例
えば車速が１０Ｋｍ／ｈ未満の場合のように、低速走行
中（発進時，停止時）あるいは停車中には、居眠り運転
防止装置や非接触遠隔制御装置を作動させる必要はな
く、認識手段の動作を禁止することによって、誤動作の
発生が防止される。また無駄な認識動作が減少するの
で、車速が１０Ｋｍ／ｈ以上の定常走行状態になってか
らの認識完了（目や口の追跡開始）までの所要時間が短
縮される。

【００１４】第３番の発明では、操舵検出手段の検出し
た舵角もしくはヨ−レ−トが所定値を越える時には認識
手段の動作を禁止し、舵角もしくはヨ−レ−トが所定以
下になると認識手段の動作が許可される。即ち、舵角も
しくはヨ−レ−トが所定値を越える時には、車輌が急旋
回中であるため、遠心力や車輌の傾きによって、運転者
の姿勢は変化し、運転者の顔の位置は運転席上で横方向
に移動する。このような場合、居眠り運転防止装置や非
接触遠隔制御装置を作動させる必要はなく、認識手段の
動作を禁止することによって、誤動作の発生が防止され
る。また無駄な認識動作が減少するので、舵角もしくは
ヨ−レ−トが所定以下の定常走行状態（例えば直進状
態）に戻ってからの認識完了（目や口の追跡開始）まで
の所要時間が短縮される。

【００１５】

【実施例】図１に、一実施例の居眠り運転防止装置の構
成を示す。この装置は、簡単に言えば、自動車の運転席
に着座しているドライバの顔を撮影し、撮影された画像
の情報を処理してドライバの目の位置を検出し、時系列
で目を追跡して、目の開，閉を認識し、所定時間以上継
続して目が閉じられていると、ドライバが居眠りをして
いるとみなし、ドライバの覚醒を促すために、ボイスコ
イル５を駆動して運転席を振動させる。

【００１６】ＣＣＤカメラ３およびドライバの顔の近傍
を前方から照明する照明灯４は、図２に示すように、一
体に構成されてインスツルメントパネル２上に、上下お
よび左右に指向方向を調整自在に固着されている。ＣＣ
Ｄカメラ３の側面には、覚醒手段であるボイスコイル５
の駆動を停止するためのストップスイッチＳＳＷが設け
られている。照明灯４は、発光ダイオードから構成され
る赤外線照明であり、ＣＣＤカメラ３は赤外線領域にお
ける感度を有している。赤外線照明は、普通光による照
明と異なりドライバにまぶしさを与えることがないので
ドライバの前方視認を難しくすることがない。したがっ
て照明灯４は常時点灯してもよい。図２において、符号
１はステアリングホイールである。

【００１７】再度図１を参照する。ＣＣＤカメラ３は、
２次元イメ−ジセンサを備える撮像装置である。このＣ
ＣＤカメラ３には、インターフェイス１６を介して、マ
イクロプロセッサ６からの制御信号が与えられる。ＣＣ
Ｄカメラ３は、１秒間に３０フレ−ムの周期で、被写体
を撮影し、撮影した画像中の各走査位置の画素濃度（明
るさ）に応じたレベルのアナログ映像信号を走査に同期
して出力する。このアナログ映像信号は、Ａ／Ｄコンバ
ータ１７に印加され、画素毎にその信号レベルがデジタ
ルデ−タに変換される。Ａ／Ｄコンバータ１７が出力す
るデ−タは、フレ−ムメモリ１２に印加され、ＣＣＤカ
メラ３の走査同期信号によって走査位置を計数するアド
レスカウンタが出力するメモリアドレスに順次に記憶さ
れる。フレ−ムメモリ１２は、システムバス７にも接続
されており、マイクロプロセッサ６及び８は、それぞれ
必要に応じて、フレ−ムメモリ１２に書込まれた画像デ
−タを参照したり、変更したりできる。この例ではＣＣ
Ｄカメラ３が１画面を横５１２画素，縦４８５画素分割
で撮影するので、５１２×４８５画素分の２５６階調
（８ビット）の画像デ−タを記憶しうるメモリがフレー
ムメモリ１２に備わっている。

【００１８】システムバス７には、２つのマイクロプロ
セッサ６，８と、ＲＯＭ９，ＲＡＭ１０，バスコントロ
ーラ１５，フレームメモリ１２，及びパラレルインタ−
フェイス１３が接続されている。パラレルインタ−フェ
イス１３には、赤外線ランプコントロ−ラ１８，ランプ
ドライバ２９，リレ−ＲＬ，シ−トベルト検出スイッチ
２４，車速センサ２５，Ａ／Ｄコンバ−タ３０，及びス
トップスイッチＳＳＷが接続されている。赤外線ランプ
コントロ−ラ１８には照明灯４が接続され、ランプドラ
イバ２９には背後照明灯２８が接続されている。

【００１９】背後照明灯２８は、図１９に示すように、
車室内天井の運転席の後方に設置されており、着座状態
の運転者の頭を背後から照明できる。この背後照明灯２
８は、マイクロプロセッサ６及び８によって必要に応じ
て点灯される。シ−トベルト検出スイッチ２４は、シ−
トベルトが装着されたか否かに応じてオン／オフする。
また車速センサ２５は、車輪の回転に応じたパルス信号
を出力する。Ａ／Ｄコンバ−タ３０には、ステアリング
ホイ−ルの操舵位置に応じたアナログ信号を出力する舵
角センサ２６と、自動車のヨ−レ−トに応じたアナログ
信号を出力するヨ−レ−トセンサ２７が接続されてい
る。

【００２０】ボイスコイル５は、図１９に示すように、
運転席のシ−トバック及びシ−トクッション内にそれぞ
れ埋め込まれている。ボイスコイル５の近傍には、固定
された永久磁石５Ｂが配置してあり、ボイスコイル５に
交流電流を通電すると、ボイスコイル５が振動する。こ
の振動によって、運転席に着座している運転者の覚醒を
促すことができる。ボイスコイル５を駆動する電力増幅
器２３の信号入力端子には、振動ピックアップ２１が接
続されている。この振動ピックアップ２１は、自動車の
車体の振動を検出し、振動に応じた波形の電気信号を出
力する。この電気信号が電力増幅器２３で増幅され、ボ
イスコイル５に印加される。従ってこの実施例では、ボ
イスコイル５は車体の振動と良く似た波形で振動する。

【００２１】人間の感覚は、例えば正弦波のような人工
的な振動には鈍感であるが、車体の振動のような自然な
振動に対しては敏感である。つまり、実際の車体の振動
を増幅した信号によってボイスコイル５を振動させるこ
とによって、非常に高い覚醒効果が得られる。

【００２２】電力増幅器２３に供給される電源は、リレ
−ＲＬによってオン／オフ制御される。リレ−ＲＬの状
態は、マイクロプロセッサ６又は８が制御することがで
き、またマニュアルスイッチＭＳの操作により、運転者
がオン／オフすることもできる。通常はリレ−ＲＬはオ
フであるが、リレ−ＲＬがオンすると、電力増幅器２３
に電源が供給され、ボイスコイル５が振動する。

【００２３】図３に、マイクロプロセッサ６および８の
動作の概要（メインルーチン）を示し、各処理ステップ
の詳細（サブルーチン）を図４〜図１４に示す。以下こ
れらの図面を参照して、設定されたプログラムに基づい
たマイクロプロセッサ６および８の制御動作を説明す
る。

【００２４】まず動作の概要を図３を参照して説明す
る。電源が投入されると、マイクロプロセッサ６は、ま
ずステップＳ３１で各種センサの出力する情報を読取
る。次のステップＳ３２では、車速センサ２５によって
検出された実車速を予め定めたしきい値（この例では１
０Ｋｍ／ｈ）と比較し、ステップＳ３３では、舵角セン
サ２６が検出した操舵角を、予め定めたしきい値Ａｘと
比較し、ステップＳ３４では、シ−トベルト検出スイッ
チ２４の状態を調べる。「実車速＞１０Ｋｍ／ｈ」，
「操舵角＜Ａｘ」，及び「シ−トベルト装着済」の全て
の条件が満たされる時にはステップＳ３５に進むが、そ
うでない時にはステップＳ３１に戻る。つまりこの実施
例では、「実車速＞１０Ｋｍ／ｈ」，「操舵角＜Ａ
ｘ」，及び「シ−トベルト装着済」の全ての条件が満た
されない限り、居眠り運転検出のための顔の認識処理に
は進まない。これは、居眠り運転の検出が不要な時の無
駄な処理を省き、誤動作の発生を抑えるためである。即
ち、車速が非常に低い時、あるいは停車中には、居眠り
運転の検出は不要であるし、運転者の姿勢変化などによ
って誤検出が生じ易い。また操舵角がある程度大きい時
には、自動車が旋回中であり、運転者が居眠り運転をし
ている確率は極めて低いし、遠心力や車体の傾きなどに
よって運転者の姿勢変化が大きくなるので、誤検出も生
じ易い。更に、シ−トベルトを装着していない時には、
停車中である確率が高く、運転者が姿勢を変える可能性
も高いので、誤検出が生じ易い。

【００２５】なお、ステップＳ３３では舵角センサ２６
で検出した操舵角を参照しているが、これに代えて、ヨ
−レ−トセンサ２７の出力を参照してもよい。即ち、ヨ
−レ−トセンサ２７が検出したヨ−レ−トが大きい時に
は、自動車が旋回状態であるとみなすことができるの
で、ヨ−レ−トによって操舵角の大小を間接的に知るこ
とができる。

【００２６】ステップＳ３５では、初期化を行う。これ
においては、入出力ポートを初期化し、内部レジスタ，
フラグ等をクリアし、ＣＣＤカメラ３にオンを示す付勢
信号を与える。またマイクロプロセッサ６は、図１５に
示すように、フレームメモリ１２に書込む画像デ−タの
一画面分布に対して、画面の中央付近に横２５個，縦１
７個，の総計４２５個の注目点（カーソル）を縦，横１
５ドット間隔で配置する。この間隔は、画面上で人の目
の大きさがどの程度になるかによって変わるが、図１６
に示すように、ＣＣＤカメラ３の撮影画面上で１つの目
の縦方向の最大幅は３０ドット，横方向は４０〜５０ド
ットであるため、１つの目の領域に少くとも１個の注目
点が存在するように、本実施例では１５ドット間隔とし
ている。図１５のように、フレームメモリ１２に書込ま
れる画像の横方向をｘ軸，縦方向をｙ軸とした場合（画
像の左上端座標（０，０），右下端座標（５１１，４８
４））、４２５個の注目点の左上端座標を（６８，２０
０），右下端座標を（４２８，４４０）となるよう注目
点を配置し、その座標データ（Ｘ_m，Ｙ_n）を、図１７に
示すような、ＲＡＭ(メモリ)１０（図１）のメモリテー
ブルのアドレスＡ_nmに書込む。

【００２７】ただし、Ｘ_m＝６８＋１５（ｍ−１）；１≦ｍ≦２５，Ｙ_n＝２００＋１５（ｎ−１）；１≦ｎ≦１７，であ
る。

【００２８】次のステップＳ３６では、赤外線ランプコ
ントロ−ラ１８を制御して前方の照明灯４を消灯し、ラ
ンプドライバ２９を制御して背後照明灯２８を点灯す
る。続くステップＳ３７では、マイクロプロセッサ６は
フレームメモリ１２に、画像デ−タ書込み指示を与え
る。この指示に応答して、ＣＣＤカメラ３からのフレー
ム同期パルスに同期して、最新の１フレーム分の画像デ
ータが、フレームメモリ１２に書込まれる。

【００２９】この状態では、運転者の背後にある背後照
明灯２８の光がＣＣＤカメラ３に直接入射する。運転者
の頭によって光が遮られた部分、即ち運転者の頭の部分
は暗いが、それ以外の部分は画像中に明るく映し出され
る。つまり、ここでＣＣＤカメラ３により得られる画像
においては、図３中に示されるように、背後照明灯２８
の光が直接当たる明るい部分と暗い運転者の影（シルエ
ット）の部分とが明るさによって明瞭に区分される。

【００３０】次のステップＰＲ２では、フレームメモリ
１２上の画像デ−タを、上から下に向かって水平方向に
順次走査しながら参照し、明るさが所定以下の最初の点
（暗点）を見つけ、その座標を検出する。この点は、図
３から分かるように、運転者の頭の頂部と一致する可能
性が高い。

【００３１】ステップＰＲ３では、ステップＰＲ２で検
出された暗点の座標に基づいて、注目点の座標を決定す
る。即ち、この実施例では、運転者の瞳だけを認識する
ので、それ以外の画像情報は不要であるが、瞳が存在す
る位置は、運転者の頭の頂部の位置からある程度推定で
きるので、認識処理の対象とする画像の領域（ＡＲＥ
Ａ）を、検出された運転者の頭の頂部の位置に基づいて
限定する。実際には、ステップＳ３５の初期化において
決定された多数の注目点のうち、ここで決定した領域
（ＡＲＥＡ）を外れるものは消去する。この処理によっ
て、誤検出の発生が抑制され、更に処理対象の情報量が
減るので、認識所要時間も短縮される。

【００３２】次のステップＳ３Ａでは、赤外線ランプコ
ントロ−ラ１８を制御して前方の照明灯４を点灯し、ラ
ンプドライバ２９を制御して背後照明灯２８を消灯す
る。続くステップＳ３Ｂでは、マイクロプロセッサ６は
フレームメモリ１２に、再び画像デ−タ書込み指示を与
える。この指示に応答して、ＣＣＤカメラ３からのフレ
ーム同期パルスに同期して、最新の１フレーム分の画像
データが、フレームメモリ１２に書込まれる。

【００３３】次のステップＰＲ４では、マイクロプロセ
ッサ６は、各々の注目点を中心とした小領域を設定し、
該領域内で最も暗い画素位置に注目点の座標を更新す
る。この操作を、領域ＡＲＥＡ内の全ての注目点につい
て行う。この内容は、図４を参照して後述する。

【００３４】次のステップＰＲ５では、マイクロプロセ
ッサ６は、座標更新後の注目点について、周辺に他の注
目点が存在しない孤立点を消去したり、ある注目点の近
傍の他の注目点を１つにまとめる処理等を行い、最終的
に注目点の数Ｎが人の目の数，すなわち注目点が２個で
あるか否かの判定を行う。この内容は、図５〜１２を参
照して後述する。最終的に注目点の数Ｎが２でない場合
には、ステップＳ３６に戻る。

【００３５】注目点が２個であれば、ステップＳ３Ｅに
進み、注目点の座標は人の両目の位置を示すものとみな
して、毎フレームをメモリ１２に書込むごとに該注目点
を追跡して、時系列的に両目の開閉状態を検知してドラ
イバが居眠り，あるいは脇見をしているか否かの判断を
行う。この内容は図１３および図１４を参照して後述す
る。追跡処理中に、追跡不能になると、ステップＳ３１
の処理に戻る。

【００３６】図４を参照して、「小領域での暗点検出」
（ＰＲ４）の内容を説明する。これは、注目点を中心に
縦横方向に±１０ドット範囲の小領域を設定し、小領域
内で一番暗い点を示す座標に注目点の座標を更新する処
理である。

【００３７】まず、マイクロプロセッサ６はレジスタ
ｍ，ｎに１をセットし（ステップ３１）、図１７に示す
メモリのアドレスＡ_nmの座標データＸ_m，Ｙ_nを読み出す
（ステップ３２）。最初はアドレスＡ₁₁の座標データＸ
₁，Ｙ₁が読み出される。次にレジスタｘ₁にＸ_m−１０を
ｙ₁にＹ_n−１０をセットして小領域の左上端の座標を設
定し（ステップ３３）、レジスタｘ₂にＸ_m＋１０をｙ₂
にＹ_n＋１０をセットして小領域の右下端の座標を設定
する（ステップ３４）。そして、領域，ｘ₁≦ｘ≦ｘ₂＆
ｙ₁≦ｙ≦ｙ₂内においてフレームメモリ１２のデータを
読み出して明るさ値の最も暗い点を検出し、その座標を
メモリのアドレスＡ_nmに更新メモリする（ステップ３
５）。次に、レジスタｍを１インクレメントし（ステッ
プ３６）、ステップ３７でｍの値が２５より大きくなる
まではステップ３２〜３６の処理を繰り返す。すなわ
ち、これにより２５個の注目点の座標（Ｘ₁，Ｙ₁），
（Ｘ₂，Ｙ₁），・・，（Ｘ₂₅，Ｙ₁）が更新される。レ
ジスタｍが２５より大きくなると（ステップ３７）、ｍ
の値を１にセットしレジスタｎを１インクレメントし
（ステップ３８）、ステップ３９でｎの値が１７より大
きくなるまではステップ３２〜３８の処理を繰り返す。
これにより注目点の座標（Ｘ₁，Ｙ₂），（Ｘ₂，Ｙ₂），
・・，（Ｘ₂₅，Ｙ₂），（Ｘ₁，Ｙ₃），（Ｘ₂，Ｙ₃），
・・，（Ｘ₂₅，Ｙ₃），・・・が更新され、全ての注目
点の座標が更新されると（ステップ３９でＹＥＳ）リタ
ーンする。これにより、初期化で等間隔で配置された注
目点は人の目，眉や髪の毛等、暗い部分に移動する。

【００３８】図５を参照して、「判定」（ＰＲ５）の制
御動作を説明する。判定では、黒目には複数の注目点が
集まっているので孤立点を削除する、「孤立点の削除」
（ステップ４１），注目点の周辺に複数の注目点がある
場合に一つの注目点に統合する、「注目点近傍の他注目
点の削除」（ステップ４２），注目点を中心とする縦方
向と横方向の平均階調を比較して縦階調の方が暗い注目
点を削除する、「十字階調差による削除」（ステップ４
３），予め検出した目のテンプレート画像との比較を行
って比較誤差の大きい注目点を削除する、「テンプレー
トマッチングによる削除」（ステップ４４），注目点を
中心とする右上斜め方向と左上斜め方向の平均階調を比
較して比較誤差の大きい注目点を削除する、「斜め方向
階調差による削除」（ステップ４５），残存する注目点
をステップＰＲ４と同様の処理により小領域内で最暗点
に移動させる、「小領域での暗点検出」（ステップ４
６），互いに位置の近い注目点を統合する、「近傍注目
点の統合」（ステップ４７），の処理を行い、最終的に
残存する注目点の数Ｎが両目に対応して２であるか否か
を判定する、「注目点数の判定」（ステップ４８）を実
行する。

【００３９】図６を参照して、「孤立点の削除」（ステ
ップ４１）の制御動作を更に詳細に説明する。まず、マ
イクロプロセッサ６はレジスタｍ₁，ｎ₁に１をセットし
(ステップ4101)、レジスタｍ₁，ｎ₁の値をレジスタｍ，
ｎにセットして(ステップ4102)、メモリのアドレスＡ_nm
の座標データＸ_m，Ｙ_nを読み出す(ステップ4103)。
ｍ₁，ｎ₁は注目点を示すレジスタである。最初はアドレ
スＡ₁₁の座標データＸ₁，Ｙ₁が読み出される。次にレジ
スタｘ₁にＸ_m−１０をｙ₁にＹ_n−１０をセットして他の
注目点の存在の有無を検出する領域の左上端の座標を設
定し（ステップ4104）、レジスタｘ₂にＸ_m＋１０をｙ₂
にＹ_n＋１０をセットして検出領域の右下端の座標を設
定する（ステップ4105）。

【００４０】次に、レジスタｍ₂，ｎ₂に１をセットする
(ステップ4106)。レジスタｍ₂，ｎ₂はｍ₁，ｎ₁で示す注
目点に対する他の注目点を示すレジスタである。次にｍ
₁＝ｍ₂＆ｎ₁＝ｎ₂であるか、すなわち注目点と他の注目
点とが同一のものであるか否かをチェックする（ステッ
プ4107）。同一のものであれば、孤立点の削除の必要は
ないため後述するステップ4112に進むが、同一でなけれ
ばレジスタｍ，ｎにｍ₂，ｎ₂をセットし(ステップ410
8)、メモリのアドレスＡ_nmにデータが存在するか否かを
チェックし(ステップ4109)、データがなければステップ
4112に進むが、データが有ればその座標データＸ_m，Ｙ_n
を読み出す(ステップ4110)。最初は、レジスタｍ₁，ｎ₁
およびｍ₂，ｎ₂には１がセットされるためステップ4112
に進み、ｍ₂が１インクレメントされ、ステップ4107に
戻るので、注目点としてアドレスＡ₁₁の座標データ
Ｘ₁，Ｙ₁と、他の注目点としてアドレスＡ₂₁の座標デー
タＸ₂，Ｙ₁が読み出される。

【００４１】次に、他の注目点の座標データＸ_m，Ｙ_nが
注目点の検出領域内に存在するか否かをチェックし(ス
テップ4111)、存在すれば注目点は孤立点ではないので
そのまま残置するが、検出領域内に存在しなければ、他
の全ての注目点についても検出領域内に在存するか否か
を一つ存在することが検知されるまで行う。すなわち、
ｍ₂が25より大きくなるまでｍ₂を1インクレメントし(ス
テップ4112,4113)、25より大きくなるとｍ₂を1にセット
しｎ₂を1インクレメントし(ステップ4114)、ｎ₂が17よ
り大きくなるまでステップ4107〜4111の処理を繰り返す
(ステップ4115)。そして、注目点を中心とする検出領域
にその他の注目点が全く存在しない場合に(ステップ411
5でYES)、レジスタｍ，ｎにｍ₁，ｎ₁をセットして(ステ
ップ4116)、メモリのアドレスＡ_nmの座標データを消去
する(ステップ4117)。

【００４２】座標データの消去あるいは検出領域に一つ
他の注目点が存在すると、注目点を示すレジスタｍ₁を1
インクレメントし(ステップ4118)、ステップ4102に戻り
上述の処理を残置する(ステップ4109でYES)全ての注目
点に関して繰り返す(ステップ4118〜4121〜4102〜4118・
・・)。そして全注目点について孤立点か否かの判定を終
了すると(4121でYES)、リターンする。すなわち注目点
を中心とする±10ドット領域内に他の注目点があるか否
か判定し、他の注目点が全く存在しないと、基準となる
注目点はメモリ10から消去される。これにより、人の
目，眉や髪の毛等、暗い部分に移動した注目点は残置さ
れるが、それ以外の注目点はメモリテーブルから消去さ
れる。

【００４３】図７を参照して、「注目点近傍の他注目点
の削除」（ステップ４２）の制御動作を更に詳細に説明
する。まず、マイクロプロセッサ６はレジスタｍ₁，ｎ₁
に１をセットし(ステップ4201)、レジスタｍ₁，ｎ₁の値
をレジスタｍ，ｎにセットして(ステップ4202)、メモリ
のアドレスＡ_nmにデータが存在するか否かをチェックす
る(ステップ4203)。これは「孤立点の削除」(ステップ41)
処理によってデータがメモリ10から消去されている場合
があるからである。なおｍ₁，ｎ₁は基準となる注目点を
示すレジスタである。データがなければステップ4217に
進むが、データが有ればその座標データＸ_m，Ｙ_nを読み
出す(ステップ4204)。次に、レジスタｘ₁にＸ_m−５をｙ
₁にＹ_n−５をセットして他の注目点の存在の有無を検出
する領域の左上端の座標を設定し（ステップ4205）、レ
ジスタｘ₂にＸ_m＋５をｙ₂にＹ_n＋５をセットして検出領
域の右下端の座標を設定する（ステップ4206）。

【００４４】次に、レジスタｍ₂にｍ₁+1を,ｎ₂にｎ₁を
セットする(ステップ4207)。「孤立点の削除」(ステップ4
1)と同様にｍ₂,ｎ₂に1をセットしないのは、メモリのア
ドレスＡ_nmに残置しているデータは、それ以前の注目点
に対して検出領域外のものであり、重複して検出する必
要がないからである。よって、基準となる注目点を示す
レジスタｍ₁，ｎ₁に対し、検出領域に存在するか否かの
対象となる他の注目点のレジスタｍ₂,ｎ₂はｍ₁，ｎ₁よ
り大きいものをチェックすればよい。

【００４５】次に、レジスタｍ，ｎにｍ₂,ｎ₂をセット
し(ステップ4208)、メモリのアドレスＡ_nmにデータが存
在するか否かをチェックし(ステップ4209)、データがな
ければステップ4212に進むが、データが有ればその座標
データＸ_m，Ｙ_nを読み出す(ステップ4210)。

【００４６】次に、他の注目点の座標データＸ_m，Ｙ_nが
注目点の検出領域内に存在するか否かをチェックし(ス
テップ4211)、存在すればその点は注目点の近傍である
ためメモリのアドレスＡ_nmの座標データを消去する(ス
テップ4216)。一方、検出領域外であればその点は残置
する。これら処理を「孤立点の削除」(ステップ41)と同様
に全ての残存している注目点について行う(4212〜4215
〜4217〜4220〜4202〜4212,・・・)。そして全注目点につ
いて孤立点か否かの判定を終了すると(4220でYES)、リ
ターンする。すなわち、注目点を中心として±5ドット
領域内の他の注目点は、メモリ10から消去し、領域内に
は注目点を一とする。これにより、人の目，眉や髪の毛
等、暗い部分に移動した注目点のうち近傍の注目点は一
とされ、注目点の残存数は減少する。

【００４７】図８を参照して、「十字階調差による削
除」（ステップ４３）の制御動作を更に詳細に説明す
る。まず、マイクロプロセッサ６はレジスタｍ，ｎに１
をセットし(ステップ4301)、メモリのアドレスＡ_nmにデ
ータが存在するか否かをチェックする(ステップ4302)。
データがなければステップ4310に進むが、データが有れ
ばその座標データＸ_m，Ｙ_nを読み出し(ステップ4303)、
レジスタｘ₁にＸ_m−２０をｙ₁にＹ_n−２０をセットし
（4304）、レジスタｘ₂にＸ_m＋２０をｙ₂にＹ_n＋２０を
セットする（ステップ4305）。

【００４８】次に、ｙ＝Ｙ_n＆ｘ₁≦ｘ≦ｘ₂の領域、す
なわち注目点を中心に横方向±２０ドットにおける各点
の明るさ値を検出し、その総和をレジスタＴ_Hにセット
し（ステップ4306)、ｘ＝Ｘ_m＆ｙ₁≦ｙ≦ｙ₂の領域、す
なわち注目点を中心に縦方向±２０ドットにおける各点
の明るさ値を検出し、その総和をレジスタＴ_Vにセット
する（ステップ4307)。そして、Ｔ_HとＴ_Vを比較し(ステ
ップ4308)、縦階調Ｔ_Hの方が横階調Ｔ_Vより大きい場合
のみ注目点をメモリのアドレスＡ_nmから消去する(ステ
ップ4309)。

【００４９】この処理を「注目点近傍の他注目点の削除」
(ステップ42)の終了時に残存する全注目点に関して行う
(4310〜4313〜4302〜4310,・・・)。すなわち、図16に示す
ように、人の目の大きさは縦方向より横方向が長く、横
階調の方が縦階調より暗いので、注目点のうち縦階調の
方が暗いものは人の目の位置にあるものでないとしてメ
モリ10から消去する。これにより、人の目や眉以外の特
に髪の毛等の暗い部分に移動した注目点の残存数は減少
する。

【００５０】図９を参照して、「テンプレートマッチン
グによる削除」（ステップ４４）の制御動作を更に詳細
に説明する。まず、マイクロプロセッサ６はレジスタ
ｍ，ｎに１をセットし(ステップ4401)、メモリのアドレ
スＡ_nmにデータが存在するか否かをチェックする(ステ
ップ4402)。データがなければステップ4408に進むが、
データが有ればその座標データＸ_m，Ｙ_nを読み出し(ス
テップ4403)、レジスタｘ₁にＸ_m−３０をｙ₁にＹ_n−２
０をセットし（ステップ4404）、レジスタｘ₂にＸ_m＋３
０をｙ₂にＹ_n＋２０をセットする（ステップ4405）。

【００５１】次に、ｘ₁≦ｘ≦ｘ₂＆ｙ₁≦ｙ≦ｙ₂の領域
内の各点の明るさ値と、各点の位置に対応するテンプレ
ートの、ｘ₀−３０≦ｘ≦ｘ₀＋３０＆ｙ₀−２０≦ｙ≦
ｙ₀＋２０の領域内の各点の明るさ値の差の絶対値の総
和を検出し、レジスタＴ_nmにセットする（ステップ440
6)。すなわち、注目点を中心に縦方向±20ドット、横方
向±30ドット範囲における各点(2400=60×40個)の階調
度と、予め読み込んでおいた人の目の中心(ｘ₀,ｙ₀)に
同じく縦方向±20ドット,横方向±30ドット範囲におけ
る各点(2400=60×40個)の階調度を、対応する各点,(Ｘ_m
−３０,Ｙ_n−２０)と(ｘ₀−３０,ｙ₀−２０),(Ｘ_m−２
９,Ｙ_n−２０)と(ｘ₀−２９,ｙ₀−２０)，(Ｘ_m−２８,
Ｙ_n−２０)と(ｘ₀−２８,ｙ₀−２０)，・・・，（Ｘ_m,
Ｙ_n）と（ｘ₀,ｙ₀)，・・・，（Ｘ_m＋３０,Ｙ_n＋２０)
と(ｘ₀＋３０,ｙ₀＋２０)，につきそれぞれ比較する。
そして、セットしたＴ_nmをアドレスＡ_nm対応でセーブす
る(ステップ4407)。

【００５２】この処理を「十字階調差による削除」(ステ
ップ43)の終了時に残存する全注目点に関して行う(4408
〜4411〜4402〜4408,・・・)。次に、総和グループ中の最
大値と最小値を検出し、それらの中間値Ｔ₀を算出し(ス
テップ4412)、総和が中間値Ｔ₀より大きいアドレスの座
標データを、メモリから消去する(ステップ4413)。これ
により、人の目以外の眉や髪の毛等の暗い部分に移動し
た注目点の残存数は減少する。

【００５３】図１０を参照して、「斜め方向階調差によ
る削除」（ステップ４５）の制御動作を更に詳細に説明
する。これは前述の「十字階調差による削除」（ステッ
プ４３）の注目点を中心とする縦横方向の十字を４５度
回転した位置における階調差による削除を行う処理であ
る。まず、マイクロプロセッサ６はレジスタｍ，ｎに１
をセットし(ステップ4501)、メモリのアドレスＡ_nmにデ
ータが存在するか否かをチェックする(ステップ4502)。
データがなければステップ4512に進むが、データが有れ
ばその座標データＸ_m，Ｙ_nを読み出し(ステップ4503)、
レジスタｘ₁にＸ_m−２０をｙ₁にＹ_n−２０をセットし
（ステップ4504）、レジスタｘ₂にＸ_m＋２０をｙ₂にＹ_n
＋２０をセットする（ステップ4505）。

【００５４】次に、（ｘ₁，ｙ₁）と（ｘ₂，ｙ₂）を結ぶ
直線上，すなわち注目点の中心を通る左斜め上〜右斜め
下方向における各点の明るさ値を検出し、その総和をレ
ジスタＴ_RDにセットし（ステップ4506)、（ｘ₁，ｙ₂）
と（ｘ₂，ｙ₁）を結ぶ直線上，すなわち注目点の中心を
通る右斜め上〜左斜め下方向における各点の明るさ値を
検出し、その総和をレジスタＴ_RUにセットする（ステッ
プ4507)。そして、Ｔ_RDとＴ_RUを比較し(ステップ450
8)、両者の差がいずれか小さい方の階調和の＋20％の範
囲にあるか否かをチェックし(ステップ4509,4510)、範
囲外の場合の注目点をメモリのアドレスＡ_nmから消去す
る(ステップ4511)。

【００５５】この処理を「テンプレートマッチングによ
る削除」(ステップ44)の終了時に残存する全注目点に関
して行う(4512〜4515〜4502〜4512,・・・)。すなわち、人
の黒目の中心に位置する注目点は、Ｔ_RDとＴ_RUの差はほ
とんどないので、差の大きい注目点をメモリ10から消去
する。これにより、人の目の縁や眉の縁に移動した注目
点の残存数は減少する。

【００５６】その後、残存する注目点をステップ４６
（図５）で、小領域，注目点を中心として縦横方向±２
０ドットの範囲内で注目点を最暗点に移動させる、「小
領域での暗点検出」を実行する。この処理（図示しな
い）はステップＰＲ４（図４）と同様であるが、領域範
囲が±２０ドット（図４では±１０ドット）である点，
および図４のステップ３１とステップ３２の間に「メモ
リのアドレスＡ_nmにデータ有？」の判定処理を設け、存
在すればステップ３２に進むが存在しなければステップ
３６に進むようにする点において異なる。

【００５７】図１１を参照して、「近傍注目点の統合」
（ステップ４７）の制御動作を更に詳細に説明する。
「注目点近傍の他注目点の削除」（ステップ４２）で
は、注目点を中心とする縦横方向±５ドット範囲内の他
の注目点を削除したが、「近傍注目点の統合」では、縦
横方向±２０ドット範囲内に他の注目点が存在する場合
には、両点の中間位置に注目点を移動させて他の注目点
を削除する。また、「注目点近傍の他注目点の削除」で
は基準となる注目点を示すレジスタｍ₁，ｎ₁に対し、検
出領域に存在するか否かの対象となる他の注目点のレジ
スタｍ₂,ｎ₂はｍ₁，ｎ₁より大きいものをチェックすれ
ばよかったが、「近傍注目点の統合」では基準となる注
目点は移動するため、基準となる注目点に対し残ってい
る全ての注目点についてチェックする。

【００５８】まず、マイクロプロセッサ６はレジスタｍ
₁，ｎ₁に１をセットし(ステップ4701)、レジスタｍ₁，
ｎ₁の値をレジスタｍ，ｎにセットして(ステップ470
2)、メモリのアドレスＡ_nmにデータが存在するか否かを
チェックし(ステップ4703)、データがなければステップ
4722に進むが、データが有ればメモリのアドレスＡ_nmの
座標データＸ_m1，Ｙ_n1を読み出す(ステップ4704)。
ｍ₁，ｎ₁は基準となる注目点を示すレジスタである。次
にレジスタｘ₁にＸ_m1−２０をｙ₁にＹ_n1−２０をセット
して他の注目点の存在の有無を検出する領域の左上端の
座標を設定し（ステップ4705）、レジスタｘ₂にＸ_m1＋
２０をｙ₂にＹ_n1＋２０をセットして検出領域の右下端
の座標を設定する（ステップ4706）。

【００５９】次に、レジスタｍ₂，ｎ₂に１をセットする
(ステップ4707)。レジスタｍ₂，ｎ₂はｍ₁，ｎ₁で示す注
目点に対する他の注目点を示すレジスタである。次にｍ
₁＝ｍ₂＆ｎ₁＝ｎ₂であるか、すなわち注目点と他の注目
点とが同一のものであるか否かをチェックする（ステッ
プ4708）。同一のものであれば、統合する必要はないた
め後述するステップ4718に進むが、同一でなければレジ
スタｍ，ｎにｍ₂，ｎ₂をセットし(ステップ4709)、メモ
リのアドレスＡ_nmにデータが存在するか否かをチェック
し(ステップ4710)、データがなければステップ4718に進
むが、データが有ればその座標データＸ_m2，Ｙ_n2を読み
出す(ステップ4711)。

【００６０】次に、他の注目点の座標データＸ_m2，Ｙ_n2
が注目点の検出領域内に存在するか否かをチェックし
(ステップ4712)、存在しなければ統合する必要はないの
そのまま残置するが、検出領域内に存在すれば、両注目
点を統合する。すなわち、基準となる注目点と対象とな
る注目点の中間位置(Ｘ_i，Ｙ_i)を計算し(Ｘ_i＝(Ｘ_m1＋
Ｘ_m2)／２，Ｙ_i＝(Ｙ_m1＋Ｙ_m2)／２）、中間位置(Ｘ_i，
Ｙ_i)に注目点を移動してメモリのアドレスＡ_nmの座標デ
ータを更新メモリし(ステップ4713〜4715)、対象となる
注目点の座標データをメモリのアドレスＡ_nmから消去す
る(ステップ4716,4717)。この処理を残存する全注目点
について行う(4718〜4725〜4702〜4718,・・・)。これによ
り、注目点は人の黒目の中心部を示す位置に近づく。

【００６１】図１２を参照して、「注目点数の判定」
（ステップ４８）の制御動作を更に詳細に説明する。ま
ず、マイクロプロセッサ６はレジスタｍ，ｎに１，およ
びＮに０をそれぞれをセットし(ステップ4801)、メモリ
のアドレスＡ_nmにデータが存在するか否かをチェックす
る(ステップ4802)。データがなければステップ4805に進
むが、データが有ればレジスタＮを１インクレメントし
(ステップ4803)、Ｎが２以下であるか否かをチェックす
る（ステップ4804)。Ｎが２以下であるとメモリの全領
域についてデータが存在するか否かをチェックする(ス
テップ4805〜4809〜4802〜4805,・・・)。すなわち、メモ
リ10に存在するデータの数,すなわち注目点の数は人の
目の数(=2)であるか否かをチェックする。このチェック
の途中にＮが２より大きくなると（ステップ4804NO)，
あるいは全領域についてチェック終了時にＮが２でない
と(ステップ4810NO;Ｎ=0又は1のとき)両目の位置を注目
点によって特定することができなかったとして、図３の
ステップＳ３６に戻り１フレーム画像の入力し、Ｎが２
となるまで上述の「小領域での暗点検出」（ＰＲ４）お
よび「判定」（ＰＲ５）を繰り返す。

【００６２】これにより、Ｎが２であれば両目の位置は
注目点によって特定されるので、メモリにある座標デー
タ(ｍ₁，ｎ₁)および(ｍ₂，ｎ₂)をセーブする(ステップ4
811)。図１８に、最終的に残った２個の注目点が、人の
両目の位置を特定する状態を示す。

【００６３】図１３および図１４に、図３に示す「追
跡」（Ｓ３Ｅ）の制御動作を更に詳細に説明する。ま
ず、マイクロプロセッサ６は１フレーム画像データをフ
レームメモリ１２に書込む(ステップ501)。そしてレジ
スタｍ，ｎにｍ₁，ｎ₁をセットする,すなわち人の両目
のうち、いずれ一方の目の位置を示す注目点のアドレス
を示す値をセットする(ステップ502)。そして、メモリ
のアドレスからその目の位置を示す座標データＸ_m，Ｙ_n
を読み出す(ステップ503)。次に、「小領域での暗点検
出」(ＰＲ４)と同様に小領域(この場合は注目点を中心と
して縦横方向±20ドットの範囲)を設定、すなわちレジ
スタｘ₁にＸ_m−２０をｙ₁にＹ_n−２０をセットして小領
域の左上端の座標を設定し(ステップ504)、レジスタｘ₂
にＸ_m＋２０をｙ₂にＹ_n＋２０をセットして検出領域の
右下端の座標を設定する（ステップ505）。そして、ｘ₁
≦ｘ≦ｘ₂＆ｙ₁≦ｙ≦ｙ₂の領域内においてフレームメ
モリ１２のデータを読み出して明るさ値の最も暗い点を
検出し、その座標をメモリのアドレスＡ_nmに更新メモリ
する（ステップ506）。これにより一方の目の時系列的
に変化する位置が検出される。次に、目の開閉状態をチ
ェックする。すなわち、最暗点に移動した後の注目点を
中心とする縦方向±20ドット範囲における明るさ値の最
大値Ｔ_(max)と最小値Ｔ_(min)を検出し、その平均値を算
出し、レジスタＴ_AVにセットする（ステップ507）。そ
してＴ_AV以下の明るさ値を示す縦（ｙ）方向の幅Ｗ₁を
検出する（ステップ508)。図１３に示す模式図において
縦方向の幅は、Ｗ₁＝｜ｙ'−ｙ''｜となる。

【００６４】同様の処理を他方の目についても行い、縦
（ｙ）方向の幅Ｗ₂を検出する（ステップ509〜515)。こ
れにより時系列的に変化する両目の開閉度が検出され
る。

【００６５】次に、両目の幅Ｗ₁およびＷ₂が所定値Ｗ₀
以下であるか否かをチェックし(ステップ516)、いずれ
かの目が所定値Ｗ₀より大きいと、ドライバは正常(居眠
り状態あるいは脇見運転ではない)と判定し、ステップ5
01に戻り上述の処理(ステップ501〜516〜501,・・・)を続
行するが、この途中に両目の幅Ｗ₁およびＷ₂が所定値Ｗ
₀以下であると、タイマの作動の有無を示すフラグＦが
０(作動していない)であるかチェックし(ステップ51
7)、フラグＦが０であればマイクロプロセッサ６は内部
タイマをオンし(ステップ518)、フラグＦに１をセット
する(519)。そして、タイマがオーバしたかをチェック
し(ステップ520)、タイマがオーバしていないとステッ
プ501に戻り処理を繰り返すが、タイマがオーバしてい
るとドライバは居眠り状態あるいは脇見運転中であると
判定する。

【００６６】居眠り状態を検出すると、ステップ５２１
で、リレ−ＲＬを制御して電力増幅器２３に電源を供給
する。これによって、振動ピックアップ２１が検出した
車体の振動を増幅する形でボイスコイル５が振動するの
で、運転者の覚醒を促すことができる。運転者がストッ
プスイッチＳＳＷを操作すると、ステップ５２２から５
２３に進み、リレ−ＲＬを制御して電力増幅器２３の電
源を遮断する。これによってボイスコイル５の振動は止
まる。そしてステップＳ３１の処理に戻る。

【００６７】なお、一旦タイマがオンされてタイマがオ
ーバしていない間に、ドライバのいずれかの目の幅が所
定値Ｗ₀より大きくなると(ステップ516)フラグは０にセ
ットされるため(ステップ524)、例えばドライバの自然
のまばたき等、一時的に目を閉じる状態(タイマのセッ
ト時間未満)では、ボイスコイル５の駆動は実施されな
い。

【００６８】また、追跡の処理中には、「実車速＞１０
Ｋｍ／ｈ」，「｜操舵角｜＜Ａｘ」，「シ−トベルト装
着中」の条件について、それぞれステップ５２５，５２
６及び５２７でチェックされる。いずれかの条件が満た
されなくなると、追跡を中止してステップＳ３１に戻
る。そして「実車速＞１０Ｋｍ／ｈ」，「｜操舵角｜＜
Ａｘ」，「シ−トベルト装着中」の全ての条件が再び満
たされるまで、処理は中止される。

【００６９】なお上記実施例では、「実車速＞１０Ｋｍ
／ｈ」，「｜操舵角｜＜Ａｘ」及び「シ−トベルト装着
中」の３つの条件が全て満足される時にのみ、瞳の検出
及び追跡を実施して居眠り運転の有無を識別している
が、これら３つの条件の１つだけをチェックの対象と
し、その条件が満たされる時に瞳の検出及び追跡の動作
を許可し、条件が満たされない時にはその動作を禁止す
るように条件を緩和しても、装置の誤動作を低減するの
には充分効果的である。

【００７０】また上記実施例では、車上乗員認識装置を
居眠り運転防止装置に適用した例を説明したが、例え
ば、特開昭６２−２４７４１０号公報に示されるよう
な、車上機器の非接触遠隔制御装置に用いる車上乗員認
識装置においても、同様に本発明を実施しうる。

【００７１】

【発明の効果】以上のとおり第１番の発明では、乗員検
出手段が運転者の所定の運転着座状態を検出していない
時には認識手段の動作が禁止され、乗員検出手段が運転
者の所定の運転着座状態を検出すると認識手段の動作が
許可される。即ち、運転者に運転の意志がない時には、
運転者はシ−トベルトを外し、運転時と異なる楽な姿勢
で着座することになるが、このような状況では、居眠り
運転防止装置や非接触遠隔制御装置を作動させる必要が
なく、認識手段の動作を禁止することによって、誤動作
の発生が防止される。また無駄な認識動作が減少するの
で、運転者が所定の運転着座状態になってからの認識完
了（目や口の追跡開始）までの所要時間が短縮される。

【００７２】また第２番の発明では、車速検出手段の検
出車速が所定未満の時には認識手段の動作を禁止し、検
出車速が所定以上になると認識手段の動作が許可され
る。即ち、例えば車速が１０Ｋｍ／ｈ未満の場合のよう
に、低速走行中（発進時，停止時）あるいは停車中に
は、居眠り運転防止装置や非接触遠隔制御装置を作動さ
せる必要はなく、認識手段の動作を禁止することによっ
て、誤動作の発生が防止される。また無駄な認識動作が
減少するので、車速が１０Ｋｍ／ｈ以上の定常走行状態
になってからの、認識完了（目や口の追跡開始）までの
所要時間が短縮される。

【００７３】また第３番の発明では、操舵検出手段の検
出した舵角もしくはヨ−レ−トが所定値を越える時には
認識手段の動作を禁止し、舵角もしくはヨ−レ−トが所
定以下になると認識手段の動作が許可される。即ち、舵
角もしくはヨ−レ−トが所定値を越える時には、車輌が
急旋回中であるため、遠心力や車輌の傾きによって、運
転者の姿勢は変化し、運転者の顔の位置は運転席上で横
方向に移動する。このような場合、居眠り運転防止装置
や非接触遠隔制御装置を作動させる必要はなく、認識手
段の動作を禁止することによって、誤動作の発生が防止
される。また無駄な認識動作が減少するので、舵角もし
くはヨ−レ−トが所定以下の定常走行状態（例えば直進
状態）に戻ってからの認識完了（目や口の追跡開始）ま
での所要時間が短縮される。

【図面の簡単な説明】

【図１】一実施例の居眠り運転防止装置の構成を示す
ブロック図である。

【図２】自動車の車室内のインストルメントパネルを
示す正面図である。

【図３】図１のマイクロプロセッサ６の制御動作を示
すフローチャートである。

【図４】図３の「小領域での暗点検出」の詳細を示す
フローチャートである。

【図５】図３の「判定」の詳細を示すフローチャート
である。

【図６】図５の「孤立点の削除」の詳細を示すフロー
チャートである。

【図７】図５の「注目点近傍の他注目点の削除」の詳
細を示すフローチャートである。

【図８】図５の「十字階調差による削除」の詳細を示
すフローチャートである。

【図９】図５の「テンプレートマッチングによる削
除」の詳細を示すフローチャートである。

【図１０】図５の「斜め方向階調差による削除」の詳
細を示すフローチャートである。

【図１１】図５の「近傍注目点の統合」の詳細を示す
フローチャートである。

【図１２】図５に示す「注目点数の判定」の詳細を示
すフローチャートである。

【図１３】図３の「追跡」の詳細を示すフローチャー
トである。

【図１４】図３の「追跡」の詳細を示すフローチャー
トである。

【図１５】フレームメモリ１２に書込む画像データの
一画面分布に４２５個の注目点を配置した様子を示す模
式図である。

【図１６】人の目の縦方向と横方向の大きさを示す模
式図である。

【図１７】図１に示すＲＡＭ１０のメモリテーブルの
内容を示すメモリマップである。

【図１８】２個の注目点が人の両目の位置を特定する
様子を示す模式図である。

【図１９】車室内の一部分を示す縦断面図である。

【符号の説明】

３：ＣＣＤカメラ４：照明ランプ５：ボイスコイル５Ｂ：永久磁石６，８：マイクロプロセッサ７：システムバス９：ＲＯＭ１０：ＲＡＭ１２：フレームメモリ１７，３０：Ａ／
Ｄコンバータ１８：赤外線ランプコントローラ２１：振動ピックアップ２２：居眠り検出
ユニット２３：電力増幅器２４：シ−トベル
ト検出スイッチ２５：車速センサ２６：舵角センサ２７：ヨ−レ−トセンサ２８：背後照明灯２９：ランプドライバＲＬ：リレ− ＭＳ：マニュアルスイッチＳＳＷ：ストップスイッチ

Claims

【特許請求の範囲】

【請求項１】運転席に着座している運転者の少なくと
も顔を撮影する撮像手段，該撮像手段が出力する画像信
号から運転者の所定の特徴パタ−ンを認識する認識手
段，及び該認識手段の認識結果に応じて車上機器を制御
する制御手段、を含む車上乗員認識装置において：運転
席の近傍に配置された乗員検出手段，及び該乗員検出手
段が運転者の所定の運転着座状態を検出している時に前
記認識手段の動作を許可しそうでなければ認識手段の動
作を禁止する認識許可手段、を設けたことを特徴とす
る、車上乗員認識装置。
【請求項２】運転席に着座している運転者の少なくと
も顔を撮影する撮像手段，該撮像手段が出力する画像信
号から運転者の所定の特徴パタ−ンを認識する認識手
段，及び該認識手段の認識結果に応じて車上機器を制御
する制御手段、を含む車上乗員認識装置において：車速
検出手段，及び該車速検出手段の検出車速が所定以上の
時に前記認識手段の動作を許可しそうでなければ認識手
段の動作を禁止する認識許可手段、を設けたことを特徴
とする、車上乗員認識装置。
【請求項３】運転席に着座している運転者の少なくと
も顔を撮影する撮像手段，該撮像手段が出力する画像信
号から運転者の所定の特徴パタ−ンを認識する認識手
段，及び該認識手段の認識結果に応じて車上機器を制御
する制御手段、を含む車上乗員認識装置において：ステ
アリングホイ−ルの舵角もしくは車上のヨ−レ−トを検
出する操舵検出手段，及び該操舵検出手段が検出した舵
角もしくはヨ−レ−トが所定以下の時に前記認識手段の
動作を許可しそうでなければ認識手段の動作を禁止する
認識許可手段、を設けたことを特徴とする、車上乗員認
識装置。