JPH06278495A - 居眠り運転防止装置 - Google Patents
居眠り運転防止装置Info
- Publication number
- JPH06278495A JPH06278495A JP6899493A JP6899493A JPH06278495A JP H06278495 A JPH06278495 A JP H06278495A JP 6899493 A JP6899493 A JP 6899493A JP 6899493 A JP6899493 A JP 6899493A JP H06278495 A JPH06278495 A JP H06278495A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- point
- interest
- vibration
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
Abstract
(57)【要約】
【目的】 覚醒効果を高める。運転者以外の乗員や乗客
に騒音などの影響が生じるのを防止する。 【構成】 居眠り運転を検出すると、ボイスコイルを振
動させて運転席を振動させる。車体の振動をピックアッ
プ21で検出し、それが出力する信号を増幅してボイス
コイルを駆動する。自然な振動なので、覚醒効果が高
い。運転者の顔を正面に配置したテレビカメラ3で撮影
し、コンピュ−タ6の画像処理によって目を追跡し、目
の開閉状態を識別して居眠りを検出する。
に騒音などの影響が生じるのを防止する。 【構成】 居眠り運転を検出すると、ボイスコイルを振
動させて運転席を振動させる。車体の振動をピックアッ
プ21で検出し、それが出力する信号を増幅してボイス
コイルを駆動する。自然な振動なので、覚醒効果が高
い。運転者の顔を正面に配置したテレビカメラ3で撮影
し、コンピュ−タ6の画像処理によって目を追跡し、目
の開閉状態を識別して居眠りを検出する。
Description
【0001】
【産業上の利用分野】本発明は居眠り運転防止装置に関
する。
する。
【0002】
【従来の技術】自動車による事故の発生を抑制するため
には、居眠り運転の防止が効果的である。従って、居眠
り運転を防止するための技術が、従来より提案されてい
る。従来の居眠り運転防止装置においては、様々な検出
手段を用いて運転者の居眠りを検出し、居眠りが検出さ
れると、例えばブザ−のような警報手段を付勢し、運転
者の覚醒を促すように制御している。
には、居眠り運転の防止が効果的である。従って、居眠
り運転を防止するための技術が、従来より提案されてい
る。従来の居眠り運転防止装置においては、様々な検出
手段を用いて運転者の居眠りを検出し、居眠りが検出さ
れると、例えばブザ−のような警報手段を付勢し、運転
者の覚醒を促すように制御している。
【0003】
【発明が解決しようとする課題】しかしながら、ブザ−
のような警報手段の付勢による覚醒効果は充分とは言え
ない。また、ブザ−が発する大きな音は、運転者以外の
者にとっては騒音である。例えば、観光バスやタクシ−
の運転者が居眠り運転するのを防止するためにブザ−音
を発すると、運転者の覚醒を促すことができても、他の
乗客には迷惑な騒音が聞こえてしまう。
のような警報手段の付勢による覚醒効果は充分とは言え
ない。また、ブザ−が発する大きな音は、運転者以外の
者にとっては騒音である。例えば、観光バスやタクシ−
の運転者が居眠り運転するのを防止するためにブザ−音
を発すると、運転者の覚醒を促すことができても、他の
乗客には迷惑な騒音が聞こえてしまう。
【0004】従って本発明は、運転者の覚醒を促す時
に、運転者以外の乗員及び乗客に迷惑がかかるの避ける
とともに、高い覚醒効果が得られる居眠り運転防止装置
を提供することを課題とする。
に、運転者以外の乗員及び乗客に迷惑がかかるの避ける
とともに、高い覚醒効果が得られる居眠り運転防止装置
を提供することを課題とする。
【0005】
【課題を解決するための手段】上記課題を解決するため
に、本発明の居眠り運転防止装置は、車輌の運転席に装
着された加振手段(5);前記車輌の振動を検出する振
動検出手段(21);前記運転席に着座した運転者の居
眠りを検出する居眠り検出手段(22);及び前記居眠
り検出手段が運転者の居眠りを検出すると、前記振動検
出手段が検出した振動に基づいて前記加振手段を付勢す
る、自動付勢手段(23);を備える。また好ましい態
様では、前記居眠り検出手段は、運転席に着座した運転
者の顔を撮影する撮像手段(3),該撮像手段が出力す
る顔の画像信号を処理して目の位置を認識する認識手段
(8),及び目の開閉状態を検出する開閉検出手段
(8)を備える。
に、本発明の居眠り運転防止装置は、車輌の運転席に装
着された加振手段(5);前記車輌の振動を検出する振
動検出手段(21);前記運転席に着座した運転者の居
眠りを検出する居眠り検出手段(22);及び前記居眠
り検出手段が運転者の居眠りを検出すると、前記振動検
出手段が検出した振動に基づいて前記加振手段を付勢す
る、自動付勢手段(23);を備える。また好ましい態
様では、前記居眠り検出手段は、運転席に着座した運転
者の顔を撮影する撮像手段(3),該撮像手段が出力す
る顔の画像信号を処理して目の位置を認識する認識手段
(8),及び目の開閉状態を検出する開閉検出手段
(8)を備える。
【0006】また好ましい態様では、前記自動付勢手段
は、前記振動検出手段が出力する振動の電気信号を増幅
する増幅手段を備える。
は、前記振動検出手段が出力する振動の電気信号を増幅
する増幅手段を備える。
【0007】なお上記括弧内に示した記号は、後述する
実施例中の対応する要素の符号を参考までに示したもの
であるが、本発明の各構成要素は実施例中の具体的な要
素のみに限定されるものではない。
実施例中の対応する要素の符号を参考までに示したもの
であるが、本発明の各構成要素は実施例中の具体的な要
素のみに限定されるものではない。
【0008】
【作用】本発明によれば、運転者が居眠りをすると、そ
れを居眠り検出手段が検出する。居眠り検出手段が運転
者の居眠りを検出すると、自動付勢手段は、振動検出手
段が検出した振動に基づいて加振手段を付勢する。加振
手段は車輌の運転席に装着されているので、加振手段を
付勢すると、運転席に着座している運転者に振動が伝わ
り、運転者の覚醒が促される。また、振動検出手段は車
輌の振動を検出するので、車輌の振動に似た振動が加振
手段によって生じ、この振動が運転者に伝わる。
れを居眠り検出手段が検出する。居眠り検出手段が運転
者の居眠りを検出すると、自動付勢手段は、振動検出手
段が検出した振動に基づいて加振手段を付勢する。加振
手段は車輌の運転席に装着されているので、加振手段を
付勢すると、運転席に着座している運転者に振動が伝わ
り、運転者の覚醒が促される。また、振動検出手段は車
輌の振動を検出するので、車輌の振動に似た振動が加振
手段によって生じ、この振動が運転者に伝わる。
【0009】例えば、正弦波のような人工的な振動に対
しては人間の感覚は鈍いが、実際の車輌の振動のような
自然な振動に対しては人間の感覚は敏感である。従っ
て、車輌の振動に似た振動を加振手段で発生することに
より、高い覚醒効果が得られる。しかも、この種の振動
は周波数が低く、通常、可聴周波数以下であるので、加
振手段で発生する振動は、運転者以外の乗員及び乗客に
は影響を及ぼさない。
しては人間の感覚は鈍いが、実際の車輌の振動のような
自然な振動に対しては人間の感覚は敏感である。従っ
て、車輌の振動に似た振動を加振手段で発生することに
より、高い覚醒効果が得られる。しかも、この種の振動
は周波数が低く、通常、可聴周波数以下であるので、加
振手段で発生する振動は、運転者以外の乗員及び乗客に
は影響を及ぼさない。
【0010】居眠り検出手段としては、様々なものが利
用可能であるが、後述する実施例では、撮像手段を用い
て運転席に着座した運転者の顔を撮影し、認識手段によ
り撮像手段が出力する顔の画像信号を処理して目の位置
を認識し、更に開閉検出手段により目の開閉状態を検出
して居眠りを検出している。また、自動付勢手段に増幅
手段を設け、振動検出手段が出力する振動の電気信号を
増幅して加振手段を付勢するように構成している。
用可能であるが、後述する実施例では、撮像手段を用い
て運転席に着座した運転者の顔を撮影し、認識手段によ
り撮像手段が出力する顔の画像信号を処理して目の位置
を認識し、更に開閉検出手段により目の開閉状態を検出
して居眠りを検出している。また、自動付勢手段に増幅
手段を設け、振動検出手段が出力する振動の電気信号を
増幅して加振手段を付勢するように構成している。
【0011】
【実施例】図1に、一実施例の居眠り運転防止装置の構
成を示す。この装置は、簡単に言えば、自動車の運転席
に着座しているドライバの顔を撮影し、撮影された画像
の情報を処理してドライバの目の位置を検出し、時系列
で目を追跡して、目の開,閉を認識し、所定時間以上継
続して目が閉じられていると、ドライバが居眠りをして
いるとみなし、ドライバの覚醒を促すために、ボイスコ
イル5を駆動して運転席を振動させる。
成を示す。この装置は、簡単に言えば、自動車の運転席
に着座しているドライバの顔を撮影し、撮影された画像
の情報を処理してドライバの目の位置を検出し、時系列
で目を追跡して、目の開,閉を認識し、所定時間以上継
続して目が閉じられていると、ドライバが居眠りをして
いるとみなし、ドライバの覚醒を促すために、ボイスコ
イル5を駆動して運転席を振動させる。
【0012】CCDカメラ3およびドライバの顔の近傍
を前方から照明する照明灯4は、図2に示すように、一
体に構成されてインスツルメントパネル2上に、上下お
よび左右に指向方向を調整自在に固着されている。CC
Dカメラ3の側面には、覚醒手段であるボイスコイル5
の駆動を停止するためのストップスイッチSSWが設け
られている。照明灯4は、発光ダイオードから構成され
る赤外線照明であり、CCDカメラ3は赤外線領域にお
ける感度を有している。赤外線照明は、普通光による照
明と異なりドライバにまぶしさを与えることがないので
ドライバの前方視認を難しくすることがない。したがっ
て照明灯4は常時点灯してもよい。図2において、符号
1はステアリングホイールである。
を前方から照明する照明灯4は、図2に示すように、一
体に構成されてインスツルメントパネル2上に、上下お
よび左右に指向方向を調整自在に固着されている。CC
Dカメラ3の側面には、覚醒手段であるボイスコイル5
の駆動を停止するためのストップスイッチSSWが設け
られている。照明灯4は、発光ダイオードから構成され
る赤外線照明であり、CCDカメラ3は赤外線領域にお
ける感度を有している。赤外線照明は、普通光による照
明と異なりドライバにまぶしさを与えることがないので
ドライバの前方視認を難しくすることがない。したがっ
て照明灯4は常時点灯してもよい。図2において、符号
1はステアリングホイールである。
【0013】再度図1を参照する。CCDカメラ3は、
2次元イメ−ジセンサを備える撮像装置である。このC
CDカメラ3には、インターフェイス16を介して、マ
イクロプロセッサ6からの制御信号が与えられる。CC
Dカメラ3は、1秒間に30フレ−ムの周期で、被写体
を撮影し、撮影した画像中の各走査位置の画素濃度(明
るさ)に応じたレベルのアナログ映像信号を走査に同期
して出力する。このアナログ映像信号は、A/Dコンバ
ータ17に印加され、画素毎にその信号レベルがデジタ
ルデ−タに変換される。A/Dコンバータ17が出力す
るデ−タは、フレ−ムメモリ12に印加され、CCDカ
メラ3の走査同期信号によって走査位置を計数するアド
レスカウンタが出力するメモリアドレスに順次に記憶さ
れる。フレ−ムメモリ12は、システムバス7にも接続
されており、マイクロプロセッサ6及び8は、それぞれ
必要に応じて、フレ−ムメモリ12に書込まれた画像デ
−タを参照したり、変更したりできる。この例ではCC
Dカメラ3が1画面を横512画素,縦485画素分割
で撮影するので、512×485画素分の256階調
(8ビット)の画像デ−タを記憶しうるメモリがフレー
ムメモリ12に備わっている。
2次元イメ−ジセンサを備える撮像装置である。このC
CDカメラ3には、インターフェイス16を介して、マ
イクロプロセッサ6からの制御信号が与えられる。CC
Dカメラ3は、1秒間に30フレ−ムの周期で、被写体
を撮影し、撮影した画像中の各走査位置の画素濃度(明
るさ)に応じたレベルのアナログ映像信号を走査に同期
して出力する。このアナログ映像信号は、A/Dコンバ
ータ17に印加され、画素毎にその信号レベルがデジタ
ルデ−タに変換される。A/Dコンバータ17が出力す
るデ−タは、フレ−ムメモリ12に印加され、CCDカ
メラ3の走査同期信号によって走査位置を計数するアド
レスカウンタが出力するメモリアドレスに順次に記憶さ
れる。フレ−ムメモリ12は、システムバス7にも接続
されており、マイクロプロセッサ6及び8は、それぞれ
必要に応じて、フレ−ムメモリ12に書込まれた画像デ
−タを参照したり、変更したりできる。この例ではCC
Dカメラ3が1画面を横512画素,縦485画素分割
で撮影するので、512×485画素分の256階調
(8ビット)の画像デ−タを記憶しうるメモリがフレー
ムメモリ12に備わっている。
【0014】システムバス7には、2つのマイクロプロ
セッサ6,8と、ROM9,RAM10,バスコントロ
ーラ15,フレームメモリ12,及びパラレルインタ−
フェイス13が接続されている。パラレルインタ−フェ
イス13には、赤外線ランプコントロ−ラ18,ランプ
ドライバ29,リレ−RL,シ−トベルト検出スイッチ
24,車速センサ25,A/Dコンバ−タ30,及びス
トップスイッチSSWが接続されている。赤外線ランプ
コントロ−ラ18には照明灯4が接続され、ランプドラ
イバ29には背後照明灯28が接続されている。
セッサ6,8と、ROM9,RAM10,バスコントロ
ーラ15,フレームメモリ12,及びパラレルインタ−
フェイス13が接続されている。パラレルインタ−フェ
イス13には、赤外線ランプコントロ−ラ18,ランプ
ドライバ29,リレ−RL,シ−トベルト検出スイッチ
24,車速センサ25,A/Dコンバ−タ30,及びス
トップスイッチSSWが接続されている。赤外線ランプ
コントロ−ラ18には照明灯4が接続され、ランプドラ
イバ29には背後照明灯28が接続されている。
【0015】背後照明灯28は、図19に示すように、
車室内天井の運転席の後方に設置されており、着座状態
の運転者の頭を背後から照明できる。この背後照明灯2
8は、マイクロプロセッサ6及び8によって必要に応じ
て点灯される。シ−トベルト検出スイッチ24は、シ−
トベルトが装着されたか否かに応じてオン/オフする。
また車速センサ25は、車輪の回転に応じたパルス信号
を出力する。A/Dコンバ−タ30には、ステアリング
ホイ−ルの操舵位置に応じたアナログ信号を出力する舵
角センサ26と、自動車のヨ−レ−トに応じたアナログ
信号を出力するヨ−レ−トセンサ27が接続されてい
る。
車室内天井の運転席の後方に設置されており、着座状態
の運転者の頭を背後から照明できる。この背後照明灯2
8は、マイクロプロセッサ6及び8によって必要に応じ
て点灯される。シ−トベルト検出スイッチ24は、シ−
トベルトが装着されたか否かに応じてオン/オフする。
また車速センサ25は、車輪の回転に応じたパルス信号
を出力する。A/Dコンバ−タ30には、ステアリング
ホイ−ルの操舵位置に応じたアナログ信号を出力する舵
角センサ26と、自動車のヨ−レ−トに応じたアナログ
信号を出力するヨ−レ−トセンサ27が接続されてい
る。
【0016】ボイスコイル5は、図19に示すように、
運転席のシ−トバック及びシ−トクッション内にそれぞ
れ埋め込まれている。ボイスコイル5の近傍には、固定
された永久磁石5Bが配置してあり、ボイスコイル5に
交流電流を通電すると、ボイスコイル5が振動する。こ
の振動によって、運転席に着座している運転者の覚醒を
促すことができる。ボイスコイル5を駆動する電力増幅
器23の信号入力端子には、振動ピックアップ21が接
続されている。この振動ピックアップ21は、自動車の
車体の振動を検出し、振動に応じた波形の電気信号を出
力する。この電気信号が電力増幅器23で増幅され、ボ
イスコイル5に印加される。従ってこの実施例では、ボ
イスコイル5は車体の振動と良く似た波形で振動する。
運転席のシ−トバック及びシ−トクッション内にそれぞ
れ埋め込まれている。ボイスコイル5の近傍には、固定
された永久磁石5Bが配置してあり、ボイスコイル5に
交流電流を通電すると、ボイスコイル5が振動する。こ
の振動によって、運転席に着座している運転者の覚醒を
促すことができる。ボイスコイル5を駆動する電力増幅
器23の信号入力端子には、振動ピックアップ21が接
続されている。この振動ピックアップ21は、自動車の
車体の振動を検出し、振動に応じた波形の電気信号を出
力する。この電気信号が電力増幅器23で増幅され、ボ
イスコイル5に印加される。従ってこの実施例では、ボ
イスコイル5は車体の振動と良く似た波形で振動する。
【0017】人間の感覚は、例えば正弦波のような人工
的な振動には鈍感であるが、車体の振動のような自然な
振動に対しては敏感である。つまり、実際の車体の振動
を増幅した信号によってボイスコイル5を振動させるこ
とによって、非常に高い覚醒効果が得られる。
的な振動には鈍感であるが、車体の振動のような自然な
振動に対しては敏感である。つまり、実際の車体の振動
を増幅した信号によってボイスコイル5を振動させるこ
とによって、非常に高い覚醒効果が得られる。
【0018】電力増幅器23に供給される電源は、リレ
−RLによってオン/オフ制御される。リレ−RLの状
態は、マイクロプロセッサ6又は8が制御することがで
き、またマニュアルスイッチMSの操作により、運転者
がオン/オフすることもできる。通常はリレ−RLはオ
フであるが、リレ−RLがオンすると、電力増幅器23
に電源が供給され、ボイスコイル5が振動する。
−RLによってオン/オフ制御される。リレ−RLの状
態は、マイクロプロセッサ6又は8が制御することがで
き、またマニュアルスイッチMSの操作により、運転者
がオン/オフすることもできる。通常はリレ−RLはオ
フであるが、リレ−RLがオンすると、電力増幅器23
に電源が供給され、ボイスコイル5が振動する。
【0019】図3に、マイクロプロセッサ6および8の
動作の概要(メインルーチン)を示し、各処理ステップ
の詳細(サブルーチン)を図4〜図14に示す。以下こ
れらの図面を参照して、設定されたプログラムに基づい
たマイクロプロセッサ6および8の制御動作を説明す
る。
動作の概要(メインルーチン)を示し、各処理ステップ
の詳細(サブルーチン)を図4〜図14に示す。以下こ
れらの図面を参照して、設定されたプログラムに基づい
たマイクロプロセッサ6および8の制御動作を説明す
る。
【0020】まず動作の概要を図3を参照して説明す
る。電源が投入されると、マイクロプロセッサ6は、ま
ずステップS31で各種センサの出力する情報を読取
る。次のステップS32では、車速センサ25によって
検出された実車速を予め定めたしきい値(この例では1
0Km/h)と比較し、ステップS33では、舵角セン
サ26が検出した操舵角を、予め定めたしきい値Axと
比較し、ステップS34では、シ−トベルト検出スイッ
チ24の状態を調べる。「実車速>10Km/h」,
「操舵角<Ax」,及び「シ−トベルト装着済」の全て
の条件が満たされる時にはステップS35に進むが、そ
うでない時にはステップS31に戻る。つまりこの実施
例では、「実車速>10Km/h」,「操舵角<A
x」,及び「シ−トベルト装着済」の全ての条件が満た
されない限り、居眠り運転検出のための顔の認識処理に
は進まない。これは、居眠り運転の検出が不要な時の無
駄な処理を省き、誤動作の発生を抑えるためである。即
ち、車速が非常に低い時、あるいは停車中には、居眠り
運転の検出は不要であるし、運転者の姿勢変化などによ
って誤検出が生じ易い。また操舵角がある程度大きい時
には、自動車が旋回中であり、運転者が居眠り運転をし
ている確率は極めて低いし、遠心力や車体の傾きなどに
よって運転者の姿勢変化が大きくなるので、誤検出も生
じ易い。更に、シ−トベルトを装着していない時には、
停車中である確率が高く、運転者が姿勢を変える可能性
も高いので、誤検出が生じ易い。
る。電源が投入されると、マイクロプロセッサ6は、ま
ずステップS31で各種センサの出力する情報を読取
る。次のステップS32では、車速センサ25によって
検出された実車速を予め定めたしきい値(この例では1
0Km/h)と比較し、ステップS33では、舵角セン
サ26が検出した操舵角を、予め定めたしきい値Axと
比較し、ステップS34では、シ−トベルト検出スイッ
チ24の状態を調べる。「実車速>10Km/h」,
「操舵角<Ax」,及び「シ−トベルト装着済」の全て
の条件が満たされる時にはステップS35に進むが、そ
うでない時にはステップS31に戻る。つまりこの実施
例では、「実車速>10Km/h」,「操舵角<A
x」,及び「シ−トベルト装着済」の全ての条件が満た
されない限り、居眠り運転検出のための顔の認識処理に
は進まない。これは、居眠り運転の検出が不要な時の無
駄な処理を省き、誤動作の発生を抑えるためである。即
ち、車速が非常に低い時、あるいは停車中には、居眠り
運転の検出は不要であるし、運転者の姿勢変化などによ
って誤検出が生じ易い。また操舵角がある程度大きい時
には、自動車が旋回中であり、運転者が居眠り運転をし
ている確率は極めて低いし、遠心力や車体の傾きなどに
よって運転者の姿勢変化が大きくなるので、誤検出も生
じ易い。更に、シ−トベルトを装着していない時には、
停車中である確率が高く、運転者が姿勢を変える可能性
も高いので、誤検出が生じ易い。
【0021】なお、ステップS33では舵角センサ26
で検出した操舵角を参照しているが、これに代えて、ヨ
−レ−トセンサ27の出力を参照してもよい。即ち、ヨ
−レ−トセンサ27が検出したヨ−レ−トが大きい時に
は、自動車が旋回状態であるとみなすことができるの
で、ヨ−レ−トによって操舵角の大小を間接的に知るこ
とができる。
で検出した操舵角を参照しているが、これに代えて、ヨ
−レ−トセンサ27の出力を参照してもよい。即ち、ヨ
−レ−トセンサ27が検出したヨ−レ−トが大きい時に
は、自動車が旋回状態であるとみなすことができるの
で、ヨ−レ−トによって操舵角の大小を間接的に知るこ
とができる。
【0022】ステップS35では、初期化を行う。これ
においては、入出力ポートを初期化し、内部レジスタ,
フラグ等をクリアし、CCDカメラ3にオンを示す付勢
信号を与える。またマイクロプロセッサ6は、図15に
示すように、フレームメモリ12に書込む画像デ−タの
一画面分布に対して、画面の中央付近に横25個,縦1
7個,の総計425個の注目点(カーソル)を縦,横1
5ドット間隔で配置する。この間隔は、画面上で人の目
の大きさがどの程度になるかによって変わるが、図16
に示すように、CCDカメラ3の撮影画面上で1つの目
の縦方向の最大幅は30ドット,横方向は40〜50ド
ットであるため、1つの目の領域に少くとも1個の注目
点が存在するように、本実施例では15ドット間隔とし
ている。図15のように、フレームメモリ12に書込ま
れる画像の横方向をx軸,縦方向をy軸とした場合(画
像の左上端座標(0,0),右下端座標(511,48
4))、425個の注目点の左上端座標を(68,20
0),右下端座標を(428,440)となるよう注目
点を配置し、その座標データ(Xm,Yn)を、図17に
示すような、RAM(メモリ)10(図1)のメモリテー
ブルのアドレスAnmに書込む。
においては、入出力ポートを初期化し、内部レジスタ,
フラグ等をクリアし、CCDカメラ3にオンを示す付勢
信号を与える。またマイクロプロセッサ6は、図15に
示すように、フレームメモリ12に書込む画像デ−タの
一画面分布に対して、画面の中央付近に横25個,縦1
7個,の総計425個の注目点(カーソル)を縦,横1
5ドット間隔で配置する。この間隔は、画面上で人の目
の大きさがどの程度になるかによって変わるが、図16
に示すように、CCDカメラ3の撮影画面上で1つの目
の縦方向の最大幅は30ドット,横方向は40〜50ド
ットであるため、1つの目の領域に少くとも1個の注目
点が存在するように、本実施例では15ドット間隔とし
ている。図15のように、フレームメモリ12に書込ま
れる画像の横方向をx軸,縦方向をy軸とした場合(画
像の左上端座標(0,0),右下端座標(511,48
4))、425個の注目点の左上端座標を(68,20
0),右下端座標を(428,440)となるよう注目
点を配置し、その座標データ(Xm,Yn)を、図17に
示すような、RAM(メモリ)10(図1)のメモリテー
ブルのアドレスAnmに書込む。
【0023】 ただし、Xm=68+15(m−1);1≦m≦25, Yn=200+15(n−1);1≦n≦17,であ
る。
る。
【0024】次のステップS36では、赤外線ランプコ
ントロ−ラ18を制御して前方の照明灯4を消灯し、ラ
ンプドライバ29を制御して背後照明灯28を点灯す
る。続くステップS37では、マイクロプロセッサ6は
フレームメモリ12に、画像デ−タ書込み指示を与え
る。この指示に応答して、CCDカメラ3からのフレー
ム同期パルスに同期して、最新の1フレーム分の画像デ
ータが、フレームメモリ12に書込まれる。
ントロ−ラ18を制御して前方の照明灯4を消灯し、ラ
ンプドライバ29を制御して背後照明灯28を点灯す
る。続くステップS37では、マイクロプロセッサ6は
フレームメモリ12に、画像デ−タ書込み指示を与え
る。この指示に応答して、CCDカメラ3からのフレー
ム同期パルスに同期して、最新の1フレーム分の画像デ
ータが、フレームメモリ12に書込まれる。
【0025】この状態では、運転者の背後にある背後照
明灯28の光がCCDカメラ3に直接入射する。運転者
の頭によって光が遮られた部分、即ち運転者の頭の部分
は暗いが、それ以外の部分は画像中に明るく映し出され
る。つまり、ここでCCDカメラ3により得られる画像
においては、図3中に示されるように、背後照明灯28
の光が直接当たる明るい部分と暗い運転者の影(シルエ
ット)の部分とが明るさによって明瞭に区分される。
明灯28の光がCCDカメラ3に直接入射する。運転者
の頭によって光が遮られた部分、即ち運転者の頭の部分
は暗いが、それ以外の部分は画像中に明るく映し出され
る。つまり、ここでCCDカメラ3により得られる画像
においては、図3中に示されるように、背後照明灯28
の光が直接当たる明るい部分と暗い運転者の影(シルエ
ット)の部分とが明るさによって明瞭に区分される。
【0026】次のステップPR2では、フレームメモリ
12上の画像デ−タを、上から下に向かって水平方向に
順次走査しながら参照し、明るさが所定以下の最初の点
(暗点)を見つけ、その座標を検出する。この点は、図
3から分かるように、運転者の頭の頂部と一致する可能
性が高い。
12上の画像デ−タを、上から下に向かって水平方向に
順次走査しながら参照し、明るさが所定以下の最初の点
(暗点)を見つけ、その座標を検出する。この点は、図
3から分かるように、運転者の頭の頂部と一致する可能
性が高い。
【0027】ステップPR3では、ステップPR2で検
出された暗点の座標に基づいて、注目点の座標を決定す
る。即ち、この実施例では、運転者の瞳だけを認識する
ので、それ以外の画像情報は不要であるが、瞳が存在す
る位置は、運転者の頭の頂部の位置からある程度推定で
きるので、認識処理の対象とする画像の領域(ARE
A)を、検出された運転者の頭の頂部の位置に基づいて
限定する。実際には、ステップS35の初期化において
決定された多数の注目点のうち、ここで決定した領域
(AREA)を外れるものは消去する。この処理によっ
て、誤検出の発生が抑制され、更に処理対象の情報量が
減るので、認識所要時間も短縮される。
出された暗点の座標に基づいて、注目点の座標を決定す
る。即ち、この実施例では、運転者の瞳だけを認識する
ので、それ以外の画像情報は不要であるが、瞳が存在す
る位置は、運転者の頭の頂部の位置からある程度推定で
きるので、認識処理の対象とする画像の領域(ARE
A)を、検出された運転者の頭の頂部の位置に基づいて
限定する。実際には、ステップS35の初期化において
決定された多数の注目点のうち、ここで決定した領域
(AREA)を外れるものは消去する。この処理によっ
て、誤検出の発生が抑制され、更に処理対象の情報量が
減るので、認識所要時間も短縮される。
【0028】次のステップS3Aでは、赤外線ランプコ
ントロ−ラ18を制御して前方の照明灯4を点灯し、ラ
ンプドライバ29を制御して背後照明灯28を消灯す
る。続くステップS3Bでは、マイクロプロセッサ6は
フレームメモリ12に、再び画像デ−タ書込み指示を与
える。この指示に応答して、CCDカメラ3からのフレ
ーム同期パルスに同期して、最新の1フレーム分の画像
データが、フレームメモリ12に書込まれる。
ントロ−ラ18を制御して前方の照明灯4を点灯し、ラ
ンプドライバ29を制御して背後照明灯28を消灯す
る。続くステップS3Bでは、マイクロプロセッサ6は
フレームメモリ12に、再び画像デ−タ書込み指示を与
える。この指示に応答して、CCDカメラ3からのフレ
ーム同期パルスに同期して、最新の1フレーム分の画像
データが、フレームメモリ12に書込まれる。
【0029】次のステップPR4では、マイクロプロセ
ッサ6は、各々の注目点を中心とした小領域を設定し、
該領域内で最も暗い画素位置に注目点の座標を更新す
る。この操作を、領域AREA内の全ての注目点につい
て行う。この内容は、図4を参照して後述する。
ッサ6は、各々の注目点を中心とした小領域を設定し、
該領域内で最も暗い画素位置に注目点の座標を更新す
る。この操作を、領域AREA内の全ての注目点につい
て行う。この内容は、図4を参照して後述する。
【0030】次のステップPR5では、マイクロプロセ
ッサ6は、座標更新後の注目点について、周辺に他の注
目点が存在しない孤立点を消去したり、ある注目点の近
傍の他の注目点を1つにまとめる処理等を行い、最終的
に注目点の数Nが人の目の数,すなわち注目点が2個で
あるか否かの判定を行う。この内容は、図5〜12を参
照して後述する。最終的に注目点の数Nが2でない場合
には、ステップS36に戻る。
ッサ6は、座標更新後の注目点について、周辺に他の注
目点が存在しない孤立点を消去したり、ある注目点の近
傍の他の注目点を1つにまとめる処理等を行い、最終的
に注目点の数Nが人の目の数,すなわち注目点が2個で
あるか否かの判定を行う。この内容は、図5〜12を参
照して後述する。最終的に注目点の数Nが2でない場合
には、ステップS36に戻る。
【0031】注目点が2個であれば、ステップS3Eに
進み、注目点の座標は人の両目の位置を示すものとみな
して、毎フレームをメモリ12に書込むごとに該注目点
を追跡して、時系列的に両目の開閉状態を検知してドラ
イバが居眠り,あるいは脇見をしているか否かの判断を
行う。この内容は図13および図14を参照して後述す
る。追跡処理中に、追跡不能になると、ステップS31
の処理に戻る。
進み、注目点の座標は人の両目の位置を示すものとみな
して、毎フレームをメモリ12に書込むごとに該注目点
を追跡して、時系列的に両目の開閉状態を検知してドラ
イバが居眠り,あるいは脇見をしているか否かの判断を
行う。この内容は図13および図14を参照して後述す
る。追跡処理中に、追跡不能になると、ステップS31
の処理に戻る。
【0032】図4を参照して、「小領域での暗点検出」
(PR4)の内容を説明する。これは、注目点を中心に
縦横方向に±10ドット範囲の小領域を設定し、小領域
内で一番暗い点を示す座標に注目点の座標を更新する処
理である。
(PR4)の内容を説明する。これは、注目点を中心に
縦横方向に±10ドット範囲の小領域を設定し、小領域
内で一番暗い点を示す座標に注目点の座標を更新する処
理である。
【0033】まず、マイクロプロセッサ6はレジスタ
m,nに1をセットし(ステップ31)、図17に示す
メモリのアドレスAnmの座標データXm,Ynを読み出す
(ステップ32)。最初はアドレスA11の座標データX
1,Y1が読み出される。次にレジスタx1にXm−10を
y1にYn−10をセットして小領域の左上端の座標を設
定し(ステップ33)、レジスタx2にXm+10をy2
にYn+10をセットして小領域の右下端の座標を設定
する(ステップ34)。そして、領域,x1≦x≦x2&
y1≦y≦y2内においてフレームメモリ12のデータを
読み出して明るさ値の最も暗い点を検出し、その座標を
メモリのアドレスAnmに更新メモリする(ステップ3
5)。次に、レジスタmを1インクレメントし(ステッ
プ36)、ステップ37でmの値が25より大きくなる
まではステップ32〜36の処理を繰り返す。すなわ
ち、これにより25個の注目点の座標(X1,Y1),
(X2,Y1),・・,(X25,Y1)が更新される。レ
ジスタmが25より大きくなると(ステップ37)、m
の値を1にセットしレジスタnを1インクレメントし
(ステップ38)、ステップ39でnの値が17より大
きくなるまではステップ32〜38の処理を繰り返す。
これにより注目点の座標(X1,Y2),(X2,Y2),
・・,(X25,Y2),(X1,Y3),(X2,Y3),
・・,(X25,Y3),・・・が更新され、全ての注目
点の座標が更新されると(ステップ39でYES)リタ
ーンする。これにより、初期化で等間隔で配置された注
目点は人の目,眉や髪の毛等、暗い部分に移動する。
m,nに1をセットし(ステップ31)、図17に示す
メモリのアドレスAnmの座標データXm,Ynを読み出す
(ステップ32)。最初はアドレスA11の座標データX
1,Y1が読み出される。次にレジスタx1にXm−10を
y1にYn−10をセットして小領域の左上端の座標を設
定し(ステップ33)、レジスタx2にXm+10をy2
にYn+10をセットして小領域の右下端の座標を設定
する(ステップ34)。そして、領域,x1≦x≦x2&
y1≦y≦y2内においてフレームメモリ12のデータを
読み出して明るさ値の最も暗い点を検出し、その座標を
メモリのアドレスAnmに更新メモリする(ステップ3
5)。次に、レジスタmを1インクレメントし(ステッ
プ36)、ステップ37でmの値が25より大きくなる
まではステップ32〜36の処理を繰り返す。すなわ
ち、これにより25個の注目点の座標(X1,Y1),
(X2,Y1),・・,(X25,Y1)が更新される。レ
ジスタmが25より大きくなると(ステップ37)、m
の値を1にセットしレジスタnを1インクレメントし
(ステップ38)、ステップ39でnの値が17より大
きくなるまではステップ32〜38の処理を繰り返す。
これにより注目点の座標(X1,Y2),(X2,Y2),
・・,(X25,Y2),(X1,Y3),(X2,Y3),
・・,(X25,Y3),・・・が更新され、全ての注目
点の座標が更新されると(ステップ39でYES)リタ
ーンする。これにより、初期化で等間隔で配置された注
目点は人の目,眉や髪の毛等、暗い部分に移動する。
【0034】図5を参照して、「判定」(PR5)の制
御動作を説明する。判定では、黒目には複数の注目点が
集まっているので孤立点を削除する、「孤立点の削除」
(ステップ41),注目点の周辺に複数の注目点がある
場合に一つの注目点に統合する、「注目点近傍の他注目
点の削除」(ステップ42),注目点を中心とする縦方
向と横方向の平均階調を比較して縦階調の方が暗い注目
点を削除する、「十字階調差による削除」(ステップ4
3),予め検出した目のテンプレート画像との比較を行
って比較誤差の大きい注目点を削除する、「テンプレー
トマッチングによる削除」(ステップ44),注目点を
中心とする右上斜め方向と左上斜め方向の平均階調を比
較して比較誤差の大きい注目点を削除する、「斜め方向
階調差による削除」(ステップ45),残存する注目点
をステップPR4と同様の処理により小領域内で最暗点
に移動させる、「小領域での暗点検出」(ステップ4
6),互いに位置の近い注目点を統合する、「近傍注目
点の統合」(ステップ47),の処理を行い、最終的に
残存する注目点の数Nが両目に対応して2であるか否か
を判定する、「注目点数の判定」(ステップ48)を実
行する。
御動作を説明する。判定では、黒目には複数の注目点が
集まっているので孤立点を削除する、「孤立点の削除」
(ステップ41),注目点の周辺に複数の注目点がある
場合に一つの注目点に統合する、「注目点近傍の他注目
点の削除」(ステップ42),注目点を中心とする縦方
向と横方向の平均階調を比較して縦階調の方が暗い注目
点を削除する、「十字階調差による削除」(ステップ4
3),予め検出した目のテンプレート画像との比較を行
って比較誤差の大きい注目点を削除する、「テンプレー
トマッチングによる削除」(ステップ44),注目点を
中心とする右上斜め方向と左上斜め方向の平均階調を比
較して比較誤差の大きい注目点を削除する、「斜め方向
階調差による削除」(ステップ45),残存する注目点
をステップPR4と同様の処理により小領域内で最暗点
に移動させる、「小領域での暗点検出」(ステップ4
6),互いに位置の近い注目点を統合する、「近傍注目
点の統合」(ステップ47),の処理を行い、最終的に
残存する注目点の数Nが両目に対応して2であるか否か
を判定する、「注目点数の判定」(ステップ48)を実
行する。
【0035】図6を参照して、「孤立点の削除」(ステ
ップ41)の制御動作を更に詳細に説明する。まず、マ
イクロプロセッサ6はレジスタm1,n1に1をセットし
(ステップ4101)、レジスタm1,n1の値をレジスタm,
nにセットして(ステップ4102)、メモリのアドレスAnm
の座標データXm,Ynを読み出す(ステップ4103)。
m1,n1は注目点を示すレジスタである。最初はアドレ
スA11の座標データX1,Y1が読み出される。次にレジ
スタx1にXm−10をy1にYn−10をセットして他の
注目点の存在の有無を検出する領域の左上端の座標を設
定し(ステップ4104)、レジスタx2にXm+10をy2
にYn+10をセットして検出領域の右下端の座標を設
定する(ステップ4105)。
ップ41)の制御動作を更に詳細に説明する。まず、マ
イクロプロセッサ6はレジスタm1,n1に1をセットし
(ステップ4101)、レジスタm1,n1の値をレジスタm,
nにセットして(ステップ4102)、メモリのアドレスAnm
の座標データXm,Ynを読み出す(ステップ4103)。
m1,n1は注目点を示すレジスタである。最初はアドレ
スA11の座標データX1,Y1が読み出される。次にレジ
スタx1にXm−10をy1にYn−10をセットして他の
注目点の存在の有無を検出する領域の左上端の座標を設
定し(ステップ4104)、レジスタx2にXm+10をy2
にYn+10をセットして検出領域の右下端の座標を設
定する(ステップ4105)。
【0036】次に、レジスタm2,n2に1をセットする
(ステップ4106)。レジスタm2,n2はm1,n1で示す注
目点に対する他の注目点を示すレジスタである。次にm
1=m2&n1=n2であるか、すなわち注目点と他の注目
点とが同一のものであるか否かをチェックする(ステッ
プ4107)。同一のものであれば、孤立点の削除の必要は
ないため後述するステップ4112に進むが、同一でなけれ
ばレジスタm,nにm2,n2をセットし(ステップ410
8)、メモリのアドレスAnmにデータが存在するか否かを
チェックし(ステップ4109)、データがなければステップ
4112に進むが、データが有ればその座標データXm,Yn
を読み出す(ステップ4110)。最初は、レジスタm1,n1
およびm2,n2には1がセットされるためステップ4112
に進み、m2が1インクレメントされ、ステップ4107に
戻るので、注目点としてアドレスA11の座標データ
X1,Y1と、他の注目点としてアドレスA21の座標デー
タX2,Y1が読み出される。
(ステップ4106)。レジスタm2,n2はm1,n1で示す注
目点に対する他の注目点を示すレジスタである。次にm
1=m2&n1=n2であるか、すなわち注目点と他の注目
点とが同一のものであるか否かをチェックする(ステッ
プ4107)。同一のものであれば、孤立点の削除の必要は
ないため後述するステップ4112に進むが、同一でなけれ
ばレジスタm,nにm2,n2をセットし(ステップ410
8)、メモリのアドレスAnmにデータが存在するか否かを
チェックし(ステップ4109)、データがなければステップ
4112に進むが、データが有ればその座標データXm,Yn
を読み出す(ステップ4110)。最初は、レジスタm1,n1
およびm2,n2には1がセットされるためステップ4112
に進み、m2が1インクレメントされ、ステップ4107に
戻るので、注目点としてアドレスA11の座標データ
X1,Y1と、他の注目点としてアドレスA21の座標デー
タX2,Y1が読み出される。
【0037】次に、他の注目点の座標データXm,Ynが
注目点の検出領域内に存在するか否かをチェックし(ス
テップ4111)、存在すれば注目点は孤立点ではないので
そのまま残置するが、検出領域内に存在しなければ、他
の全ての注目点についても検出領域内に在存するか否か
を一つ存在することが検知されるまで行う。すなわち、
m2が25より大きくなるまでm2を1インクレメントし(ス
テップ4112,4113)、25より大きくなるとm2を1にセット
しn2を1インクレメントし(ステップ4114)、n2が17よ
り大きくなるまでステップ4107〜4111の処理を繰り返す
(ステップ4115)。そして、注目点を中心とする検出領域
にその他の注目点が全く存在しない場合に(ステップ411
5でYES)、レジスタm,nにm1,n1をセットして(ステ
ップ4116)、メモリのアドレスAnmの座標データを消去
する(ステップ4117)。
注目点の検出領域内に存在するか否かをチェックし(ス
テップ4111)、存在すれば注目点は孤立点ではないので
そのまま残置するが、検出領域内に存在しなければ、他
の全ての注目点についても検出領域内に在存するか否か
を一つ存在することが検知されるまで行う。すなわち、
m2が25より大きくなるまでm2を1インクレメントし(ス
テップ4112,4113)、25より大きくなるとm2を1にセット
しn2を1インクレメントし(ステップ4114)、n2が17よ
り大きくなるまでステップ4107〜4111の処理を繰り返す
(ステップ4115)。そして、注目点を中心とする検出領域
にその他の注目点が全く存在しない場合に(ステップ411
5でYES)、レジスタm,nにm1,n1をセットして(ステ
ップ4116)、メモリのアドレスAnmの座標データを消去
する(ステップ4117)。
【0038】座標データの消去あるいは検出領域に一つ
他の注目点が存在すると、注目点を示すレジスタm1を1
インクレメントし(ステップ4118)、ステップ4102に戻り
上述の処理を残置する(ステップ4109でYES)全ての注目
点に関して繰り返す(ステップ4118〜4121〜4102〜4118・
・・)。そして全注目点について孤立点か否かの判定を終
了すると(4121でYES)、リターンする。すなわち注目点
を中心とする±10ドット領域内に他の注目点があるか否
か判定し、他の注目点が全く存在しないと、基準となる
注目点はメモリ10から消去される。これにより、人の
目,眉や髪の毛等、暗い部分に移動した注目点は残置さ
れるが、それ以外の注目点はメモリテーブルから消去さ
れる。
他の注目点が存在すると、注目点を示すレジスタm1を1
インクレメントし(ステップ4118)、ステップ4102に戻り
上述の処理を残置する(ステップ4109でYES)全ての注目
点に関して繰り返す(ステップ4118〜4121〜4102〜4118・
・・)。そして全注目点について孤立点か否かの判定を終
了すると(4121でYES)、リターンする。すなわち注目点
を中心とする±10ドット領域内に他の注目点があるか否
か判定し、他の注目点が全く存在しないと、基準となる
注目点はメモリ10から消去される。これにより、人の
目,眉や髪の毛等、暗い部分に移動した注目点は残置さ
れるが、それ以外の注目点はメモリテーブルから消去さ
れる。
【0039】図7を参照して、「注目点近傍の他注目点
の削除」(ステップ42)の制御動作を更に詳細に説明
する。まず、マイクロプロセッサ6はレジスタm1,n1
に1をセットし(ステップ4201)、レジスタm1,n1の値
をレジスタm,nにセットして(ステップ4202)、メモリ
のアドレスAnmにデータが存在するか否かをチェックす
る(ステップ4203)。これは「孤立点の削除」(ステップ41)
処理によってデータがメモリ10から消去されている場合
があるからである。なおm1,n1は基準となる注目点を
示すレジスタである。データがなければステップ4217に
進むが、データが有ればその座標データXm,Ynを読み
出す(ステップ4204)。次に、レジスタx1にXm−5をy
1にYn−5をセットして他の注目点の存在の有無を検出
する領域の左上端の座標を設定し(ステップ4205)、レ
ジスタx2にXm+5をy2にYn+5をセットして検出領
域の右下端の座標を設定する(ステップ4206)。
の削除」(ステップ42)の制御動作を更に詳細に説明
する。まず、マイクロプロセッサ6はレジスタm1,n1
に1をセットし(ステップ4201)、レジスタm1,n1の値
をレジスタm,nにセットして(ステップ4202)、メモリ
のアドレスAnmにデータが存在するか否かをチェックす
る(ステップ4203)。これは「孤立点の削除」(ステップ41)
処理によってデータがメモリ10から消去されている場合
があるからである。なおm1,n1は基準となる注目点を
示すレジスタである。データがなければステップ4217に
進むが、データが有ればその座標データXm,Ynを読み
出す(ステップ4204)。次に、レジスタx1にXm−5をy
1にYn−5をセットして他の注目点の存在の有無を検出
する領域の左上端の座標を設定し(ステップ4205)、レ
ジスタx2にXm+5をy2にYn+5をセットして検出領
域の右下端の座標を設定する(ステップ4206)。
【0040】次に、レジスタm2にm1+1を,n2にn1を
セットする(ステップ4207)。「孤立点の削除」(ステップ4
1)と同様にm2,n2に1をセットしないのは、メモリのア
ドレスAnmに残置しているデータは、それ以前の注目点
に対して検出領域外のものであり、重複して検出する必
要がないからである。よって、基準となる注目点を示す
レジスタm1,n1に対し、検出領域に存在するか否かの
対象となる他の注目点のレジスタm2,n2はm1,n1よ
り大きいものをチェックすればよい。
セットする(ステップ4207)。「孤立点の削除」(ステップ4
1)と同様にm2,n2に1をセットしないのは、メモリのア
ドレスAnmに残置しているデータは、それ以前の注目点
に対して検出領域外のものであり、重複して検出する必
要がないからである。よって、基準となる注目点を示す
レジスタm1,n1に対し、検出領域に存在するか否かの
対象となる他の注目点のレジスタm2,n2はm1,n1よ
り大きいものをチェックすればよい。
【0041】次に、レジスタm,nにm2,n2をセット
し(ステップ4208)、メモリのアドレスAnmにデータが存
在するか否かをチェックし(ステップ4209)、データがな
ければステップ4212に進むが、データが有ればその座標
データXm,Ynを読み出す(ステップ4210)。
し(ステップ4208)、メモリのアドレスAnmにデータが存
在するか否かをチェックし(ステップ4209)、データがな
ければステップ4212に進むが、データが有ればその座標
データXm,Ynを読み出す(ステップ4210)。
【0042】次に、他の注目点の座標データXm,Ynが
注目点の検出領域内に存在するか否かをチェックし(ス
テップ4211)、存在すればその点は注目点の近傍である
ためメモリのアドレスAnmの座標データを消去する(ス
テップ4216)。一方、検出領域外であればその点は残置
する。これら処理を「孤立点の削除」(ステップ41)と同様
に全ての残存している注目点について行う(4212〜4215
〜4217〜4220〜4202〜4212,・・・)。そして全注目点につ
いて孤立点か否かの判定を終了すると(4220でYES)、リ
ターンする。すなわち、注目点を中心として±5ドット
領域内の他の注目点は、メモリ10から消去し、領域内に
は注目点を一とする。これにより、人の目,眉や髪の毛
等、暗い部分に移動した注目点のうち近傍の注目点は一
とされ、注目点の残存数は減少する。
注目点の検出領域内に存在するか否かをチェックし(ス
テップ4211)、存在すればその点は注目点の近傍である
ためメモリのアドレスAnmの座標データを消去する(ス
テップ4216)。一方、検出領域外であればその点は残置
する。これら処理を「孤立点の削除」(ステップ41)と同様
に全ての残存している注目点について行う(4212〜4215
〜4217〜4220〜4202〜4212,・・・)。そして全注目点につ
いて孤立点か否かの判定を終了すると(4220でYES)、リ
ターンする。すなわち、注目点を中心として±5ドット
領域内の他の注目点は、メモリ10から消去し、領域内に
は注目点を一とする。これにより、人の目,眉や髪の毛
等、暗い部分に移動した注目点のうち近傍の注目点は一
とされ、注目点の残存数は減少する。
【0043】図8を参照して、「十字階調差による削
除」(ステップ43)の制御動作を更に詳細に説明す
る。まず、マイクロプロセッサ6はレジスタm,nに1
をセットし(ステップ4301)、メモリのアドレスAnmにデ
ータが存在するか否かをチェックする(ステップ4302)。
データがなければステップ4310に進むが、データが有れ
ばその座標データXm,Ynを読み出し(ステップ4303)、
レジスタx1にXm−20をy1にYn−20をセットし
(4304)、レジスタx2にXm+20をy2にYn+20を
セットする(ステップ4305)。
除」(ステップ43)の制御動作を更に詳細に説明す
る。まず、マイクロプロセッサ6はレジスタm,nに1
をセットし(ステップ4301)、メモリのアドレスAnmにデ
ータが存在するか否かをチェックする(ステップ4302)。
データがなければステップ4310に進むが、データが有れ
ばその座標データXm,Ynを読み出し(ステップ4303)、
レジスタx1にXm−20をy1にYn−20をセットし
(4304)、レジスタx2にXm+20をy2にYn+20を
セットする(ステップ4305)。
【0044】次に、y=Yn&x1≦x≦x2の領域、す
なわち注目点を中心に横方向±20ドットにおける各点
の明るさ値を検出し、その総和をレジスタTHにセット
し(ステップ4306)、x=Xm&y1≦y≦y2の領域、す
なわち注目点を中心に縦方向±20ドットにおける各点
の明るさ値を検出し、その総和をレジスタTVにセット
する(ステップ4307)。そして、THとTVを比較し(ステ
ップ4308)、縦階調THの方が横階調TVより大きい場合
のみ注目点をメモリのアドレスAnmから消去する(ステ
ップ4309)。
なわち注目点を中心に横方向±20ドットにおける各点
の明るさ値を検出し、その総和をレジスタTHにセット
し(ステップ4306)、x=Xm&y1≦y≦y2の領域、す
なわち注目点を中心に縦方向±20ドットにおける各点
の明るさ値を検出し、その総和をレジスタTVにセット
する(ステップ4307)。そして、THとTVを比較し(ステ
ップ4308)、縦階調THの方が横階調TVより大きい場合
のみ注目点をメモリのアドレスAnmから消去する(ステ
ップ4309)。
【0045】この処理を「注目点近傍の他注目点の削除」
(ステップ42)の終了時に残存する全注目点に関して行う
(4310〜4313〜4302〜4310,・・・)。すなわち、図16に示す
ように、人の目の大きさは縦方向より横方向が長く、横
階調の方が縦階調より暗いので、注目点のうち縦階調の
方が暗いものは人の目の位置にあるものでないとしてメ
モリ10から消去する。これにより、人の目や眉以外の特
に髪の毛等の暗い部分に移動した注目点の残存数は減少
する。
(ステップ42)の終了時に残存する全注目点に関して行う
(4310〜4313〜4302〜4310,・・・)。すなわち、図16に示す
ように、人の目の大きさは縦方向より横方向が長く、横
階調の方が縦階調より暗いので、注目点のうち縦階調の
方が暗いものは人の目の位置にあるものでないとしてメ
モリ10から消去する。これにより、人の目や眉以外の特
に髪の毛等の暗い部分に移動した注目点の残存数は減少
する。
【0046】図9を参照して、「テンプレートマッチン
グによる削除」(ステップ44)の制御動作を更に詳細
に説明する。まず、マイクロプロセッサ6はレジスタ
m,nに1をセットし(ステップ4401)、メモリのアドレ
スAnmにデータが存在するか否かをチェックする(ステ
ップ4402)。データがなければステップ4408に進むが、
データが有ればその座標データXm,Ynを読み出し(ス
テップ4403)、レジスタx1にXm−30をy1にYn−2
0をセットし(ステップ4404)、レジスタx2にXm+3
0をy2にYn+20をセットする(ステップ4405)。
グによる削除」(ステップ44)の制御動作を更に詳細
に説明する。まず、マイクロプロセッサ6はレジスタ
m,nに1をセットし(ステップ4401)、メモリのアドレ
スAnmにデータが存在するか否かをチェックする(ステ
ップ4402)。データがなければステップ4408に進むが、
データが有ればその座標データXm,Ynを読み出し(ス
テップ4403)、レジスタx1にXm−30をy1にYn−2
0をセットし(ステップ4404)、レジスタx2にXm+3
0をy2にYn+20をセットする(ステップ4405)。
【0047】次に、x1≦x≦x2&y1≦y≦y2の領域
内の各点の明るさ値と、各点の位置に対応するテンプレ
ートの、x0−30≦x≦x0+30&y0−20≦y≦
y0+20の領域内の各点の明るさ値の差の絶対値の総
和を検出し、レジスタTnmにセットする(ステップ440
6)。すなわち、注目点を中心に縦方向±20ドット、横方
向±30ドット範囲における各点(2400=60×40個)の階調
度と、予め読み込んでおいた人の目の中心(x0,y0)に
同じく縦方向±20ドット,横方向±30ドット範囲におけ
る各点(2400=60×40個)の階調度を、対応する各点,(Xm
−30,Yn−20)と(x0−30,y0−20),(Xm−2
9,Yn−20)と(x0−29,y0−20),(Xm−28,
Yn−20)と(x0−28,y0−20),・・・,(Xm,
Yn)と(x0,y0),・・・,(Xm+30,Yn+20)
と(x0+30,y0+20),につきそれぞれ比較する。
そして、セットしたTnmをアドレスAnm対応でセーブす
る(ステップ4407)。
内の各点の明るさ値と、各点の位置に対応するテンプレ
ートの、x0−30≦x≦x0+30&y0−20≦y≦
y0+20の領域内の各点の明るさ値の差の絶対値の総
和を検出し、レジスタTnmにセットする(ステップ440
6)。すなわち、注目点を中心に縦方向±20ドット、横方
向±30ドット範囲における各点(2400=60×40個)の階調
度と、予め読み込んでおいた人の目の中心(x0,y0)に
同じく縦方向±20ドット,横方向±30ドット範囲におけ
る各点(2400=60×40個)の階調度を、対応する各点,(Xm
−30,Yn−20)と(x0−30,y0−20),(Xm−2
9,Yn−20)と(x0−29,y0−20),(Xm−28,
Yn−20)と(x0−28,y0−20),・・・,(Xm,
Yn)と(x0,y0),・・・,(Xm+30,Yn+20)
と(x0+30,y0+20),につきそれぞれ比較する。
そして、セットしたTnmをアドレスAnm対応でセーブす
る(ステップ4407)。
【0048】この処理を「十字階調差による削除」(ステ
ップ43)の終了時に残存する全注目点に関して行う(4408
〜4411〜4402〜4408,・・・)。次に、総和グループ中の最
大値と最小値を検出し、それらの中間値T0を算出し(ス
テップ4412)、総和が中間値T0より大きいアドレスの座
標データを、メモリから消去する(ステップ4413)。これ
により、人の目以外の眉や髪の毛等の暗い部分に移動し
た注目点の残存数は減少する。
ップ43)の終了時に残存する全注目点に関して行う(4408
〜4411〜4402〜4408,・・・)。次に、総和グループ中の最
大値と最小値を検出し、それらの中間値T0を算出し(ス
テップ4412)、総和が中間値T0より大きいアドレスの座
標データを、メモリから消去する(ステップ4413)。これ
により、人の目以外の眉や髪の毛等の暗い部分に移動し
た注目点の残存数は減少する。
【0049】図10を参照して、「斜め方向階調差によ
る削除」(ステップ45)の制御動作を更に詳細に説明
する。これは前述の「十字階調差による削除」(ステッ
プ43)の注目点を中心とする縦横方向の十字を45度
回転した位置における階調差による削除を行う処理であ
る。まず、マイクロプロセッサ6はレジスタm,nに1
をセットし(ステップ4501)、メモリのアドレスAnmにデ
ータが存在するか否かをチェックする(ステップ4502)。
データがなければステップ4512に進むが、データが有れ
ばその座標データXm,Ynを読み出し(ステップ4503)、
レジスタx1にXm−20をy1にYn−20をセットし
(ステップ4504)、レジスタx2にXm+20をy2にYn
+20をセットする(ステップ4505)。
る削除」(ステップ45)の制御動作を更に詳細に説明
する。これは前述の「十字階調差による削除」(ステッ
プ43)の注目点を中心とする縦横方向の十字を45度
回転した位置における階調差による削除を行う処理であ
る。まず、マイクロプロセッサ6はレジスタm,nに1
をセットし(ステップ4501)、メモリのアドレスAnmにデ
ータが存在するか否かをチェックする(ステップ4502)。
データがなければステップ4512に進むが、データが有れ
ばその座標データXm,Ynを読み出し(ステップ4503)、
レジスタx1にXm−20をy1にYn−20をセットし
(ステップ4504)、レジスタx2にXm+20をy2にYn
+20をセットする(ステップ4505)。
【0050】次に、(x1,y1)と(x2,y2)を結ぶ
直線上,すなわち注目点の中心を通る左斜め上〜右斜め
下方向における各点の明るさ値を検出し、その総和をレ
ジスタTRDにセットし(ステップ4506)、(x1,y2)
と(x2,y1)を結ぶ直線上,すなわち注目点の中心を
通る右斜め上〜左斜め下方向における各点の明るさ値を
検出し、その総和をレジスタTRUにセットする(ステッ
プ4507)。そして、TRDとTRUを比較し(ステップ450
8)、両者の差がいずれか小さい方の階調和の+20%の範
囲にあるか否かをチェックし(ステップ4509,4510)、範
囲外の場合の注目点をメモリのアドレスAnmから消去す
る(ステップ4511)。
直線上,すなわち注目点の中心を通る左斜め上〜右斜め
下方向における各点の明るさ値を検出し、その総和をレ
ジスタTRDにセットし(ステップ4506)、(x1,y2)
と(x2,y1)を結ぶ直線上,すなわち注目点の中心を
通る右斜め上〜左斜め下方向における各点の明るさ値を
検出し、その総和をレジスタTRUにセットする(ステッ
プ4507)。そして、TRDとTRUを比較し(ステップ450
8)、両者の差がいずれか小さい方の階調和の+20%の範
囲にあるか否かをチェックし(ステップ4509,4510)、範
囲外の場合の注目点をメモリのアドレスAnmから消去す
る(ステップ4511)。
【0051】この処理を「テンプレートマッチングによ
る削除」(ステップ44)の終了時に残存する全注目点に関
して行う(4512〜4515〜4502〜4512,・・・)。すなわち、人
の黒目の中心に位置する注目点は、TRDとTRUの差はほ
とんどないので、差の大きい注目点をメモリ10から消去
する。これにより、人の目の縁や眉の縁に移動した注目
点の残存数は減少する。
る削除」(ステップ44)の終了時に残存する全注目点に関
して行う(4512〜4515〜4502〜4512,・・・)。すなわち、人
の黒目の中心に位置する注目点は、TRDとTRUの差はほ
とんどないので、差の大きい注目点をメモリ10から消去
する。これにより、人の目の縁や眉の縁に移動した注目
点の残存数は減少する。
【0052】その後、残存する注目点をステップ46
(図5)で、小領域,注目点を中心として縦横方向±2
0ドットの範囲内で注目点を最暗点に移動させる、「小
領域での暗点検出」を実行する。この処理(図示しな
い)はステップPR4(図4)と同様であるが、領域範
囲が±20ドット(図4では±10ドット)である点,
および図4のステップ31とステップ32の間に「メモ
リのアドレスAnmにデータ有?」の判定処理を設け、存
在すればステップ32に進むが存在しなければステップ
36に進むようにする点において異なる。
(図5)で、小領域,注目点を中心として縦横方向±2
0ドットの範囲内で注目点を最暗点に移動させる、「小
領域での暗点検出」を実行する。この処理(図示しな
い)はステップPR4(図4)と同様であるが、領域範
囲が±20ドット(図4では±10ドット)である点,
および図4のステップ31とステップ32の間に「メモ
リのアドレスAnmにデータ有?」の判定処理を設け、存
在すればステップ32に進むが存在しなければステップ
36に進むようにする点において異なる。
【0053】図11を参照して、「近傍注目点の統合」
(ステップ47)の制御動作を更に詳細に説明する。
「注目点近傍の他注目点の削除」(ステップ42)で
は、注目点を中心とする縦横方向±5ドット範囲内の他
の注目点を削除したが、「近傍注目点の統合」では、縦
横方向±20ドット範囲内に他の注目点が存在する場合
には、両点の中間位置に注目点を移動させて他の注目点
を削除する。また、「注目点近傍の他注目点の削除」で
は基準となる注目点を示すレジスタm1,n1に対し、検
出領域に存在するか否かの対象となる他の注目点のレジ
スタm2,n2はm1,n1より大きいものをチェックすれ
ばよかったが、「近傍注目点の統合」では基準となる注
目点は移動するため、基準となる注目点に対し残ってい
る全ての注目点についてチェックする。
(ステップ47)の制御動作を更に詳細に説明する。
「注目点近傍の他注目点の削除」(ステップ42)で
は、注目点を中心とする縦横方向±5ドット範囲内の他
の注目点を削除したが、「近傍注目点の統合」では、縦
横方向±20ドット範囲内に他の注目点が存在する場合
には、両点の中間位置に注目点を移動させて他の注目点
を削除する。また、「注目点近傍の他注目点の削除」で
は基準となる注目点を示すレジスタm1,n1に対し、検
出領域に存在するか否かの対象となる他の注目点のレジ
スタm2,n2はm1,n1より大きいものをチェックすれ
ばよかったが、「近傍注目点の統合」では基準となる注
目点は移動するため、基準となる注目点に対し残ってい
る全ての注目点についてチェックする。
【0054】まず、マイクロプロセッサ6はレジスタm
1,n1に1をセットし(ステップ4701)、レジスタm1,
n1の値をレジスタm,nにセットして(ステップ470
2)、メモリのアドレスAnmにデータが存在するか否かを
チェックし(ステップ4703)、データがなければステップ
4722に進むが、データが有ればメモリのアドレスAnmの
座標データXm1,Yn1を読み出す(ステップ4704)。
m1,n1は基準となる注目点を示すレジスタである。次
にレジスタx1にXm1−20をy1にYn1−20をセット
して他の注目点の存在の有無を検出する領域の左上端の
座標を設定し(ステップ4705)、レジスタx2にXm1+
20をy2にYn1+20をセットして検出領域の右下端
の座標を設定する(ステップ4706)。
1,n1に1をセットし(ステップ4701)、レジスタm1,
n1の値をレジスタm,nにセットして(ステップ470
2)、メモリのアドレスAnmにデータが存在するか否かを
チェックし(ステップ4703)、データがなければステップ
4722に進むが、データが有ればメモリのアドレスAnmの
座標データXm1,Yn1を読み出す(ステップ4704)。
m1,n1は基準となる注目点を示すレジスタである。次
にレジスタx1にXm1−20をy1にYn1−20をセット
して他の注目点の存在の有無を検出する領域の左上端の
座標を設定し(ステップ4705)、レジスタx2にXm1+
20をy2にYn1+20をセットして検出領域の右下端
の座標を設定する(ステップ4706)。
【0055】次に、レジスタm2,n2に1をセットする
(ステップ4707)。レジスタm2,n2はm1,n1で示す注
目点に対する他の注目点を示すレジスタである。次にm
1=m2&n1=n2であるか、すなわち注目点と他の注目
点とが同一のものであるか否かをチェックする(ステッ
プ4708)。同一のものであれば、統合する必要はないた
め後述するステップ4718に進むが、同一でなければレジ
スタm,nにm2,n2をセットし(ステップ4709)、メモ
リのアドレスAnmにデータが存在するか否かをチェック
し(ステップ4710)、データがなければステップ4718に進
むが、データが有ればその座標データXm2,Yn2を読み
出す(ステップ4711)。
(ステップ4707)。レジスタm2,n2はm1,n1で示す注
目点に対する他の注目点を示すレジスタである。次にm
1=m2&n1=n2であるか、すなわち注目点と他の注目
点とが同一のものであるか否かをチェックする(ステッ
プ4708)。同一のものであれば、統合する必要はないた
め後述するステップ4718に進むが、同一でなければレジ
スタm,nにm2,n2をセットし(ステップ4709)、メモ
リのアドレスAnmにデータが存在するか否かをチェック
し(ステップ4710)、データがなければステップ4718に進
むが、データが有ればその座標データXm2,Yn2を読み
出す(ステップ4711)。
【0056】次に、他の注目点の座標データXm2,Yn2
が注目点の検出領域内に存在するか否かをチェックし
(ステップ4712)、存在しなければ統合する必要はないの
そのまま残置するが、検出領域内に存在すれば、両注目
点を統合する。すなわち、基準となる注目点と対象とな
る注目点の中間位置(Xi,Yi)を計算し(Xi=(Xm1+
Xm2)/2,Yi=(Ym1+Ym2)/2)、中間位置(Xi,
Yi)に注目点を移動してメモリのアドレスAnmの座標デ
ータを更新メモリし(ステップ4713〜4715)、対象となる
注目点の座標データをメモリのアドレスAnmから消去す
る(ステップ4716,4717)。この処理を残存する全注目点
について行う(4718〜4725〜4702〜4718,・・・)。これによ
り、注目点は人の黒目の中心部を示す位置に近づく。
が注目点の検出領域内に存在するか否かをチェックし
(ステップ4712)、存在しなければ統合する必要はないの
そのまま残置するが、検出領域内に存在すれば、両注目
点を統合する。すなわち、基準となる注目点と対象とな
る注目点の中間位置(Xi,Yi)を計算し(Xi=(Xm1+
Xm2)/2,Yi=(Ym1+Ym2)/2)、中間位置(Xi,
Yi)に注目点を移動してメモリのアドレスAnmの座標デ
ータを更新メモリし(ステップ4713〜4715)、対象となる
注目点の座標データをメモリのアドレスAnmから消去す
る(ステップ4716,4717)。この処理を残存する全注目点
について行う(4718〜4725〜4702〜4718,・・・)。これによ
り、注目点は人の黒目の中心部を示す位置に近づく。
【0057】図12を参照して、「注目点数の判定」
(ステップ48)の制御動作を更に詳細に説明する。ま
ず、マイクロプロセッサ6はレジスタm,nに1,およ
びNに0をそれぞれをセットし(ステップ4801)、メモリ
のアドレスAnmにデータが存在するか否かをチェックす
る(ステップ4802)。データがなければステップ4805に進
むが、データが有ればレジスタNを1インクレメントし
(ステップ4803)、Nが2以下であるか否かをチェックす
る(ステップ4804)。Nが2以下であるとメモリの全領
域についてデータが存在するか否かをチェックする(ス
テップ4805〜4809〜4802〜4805,・・・)。すなわち、メモ
リ10に存在するデータの数,すなわち注目点の数は人の
目の数(=2)であるか否かをチェックする。このチェック
の途中にNが2より大きくなると(ステップ4804NO),
あるいは全領域についてチェック終了時にNが2でない
と(ステップ4810NO;N=0又は1のとき)両目の位置を注目
点によって特定することができなかったとして、図3の
ステップS36に戻り1フレーム画像の入力し、Nが2
となるまで上述の「小領域での暗点検出」(PR4)お
よび「判定」(PR5)を繰り返す。
(ステップ48)の制御動作を更に詳細に説明する。ま
ず、マイクロプロセッサ6はレジスタm,nに1,およ
びNに0をそれぞれをセットし(ステップ4801)、メモリ
のアドレスAnmにデータが存在するか否かをチェックす
る(ステップ4802)。データがなければステップ4805に進
むが、データが有ればレジスタNを1インクレメントし
(ステップ4803)、Nが2以下であるか否かをチェックす
る(ステップ4804)。Nが2以下であるとメモリの全領
域についてデータが存在するか否かをチェックする(ス
テップ4805〜4809〜4802〜4805,・・・)。すなわち、メモ
リ10に存在するデータの数,すなわち注目点の数は人の
目の数(=2)であるか否かをチェックする。このチェック
の途中にNが2より大きくなると(ステップ4804NO),
あるいは全領域についてチェック終了時にNが2でない
と(ステップ4810NO;N=0又は1のとき)両目の位置を注目
点によって特定することができなかったとして、図3の
ステップS36に戻り1フレーム画像の入力し、Nが2
となるまで上述の「小領域での暗点検出」(PR4)お
よび「判定」(PR5)を繰り返す。
【0058】これにより、Nが2であれば両目の位置は
注目点によって特定されるので、メモリにある座標デー
タ(m1,n1)および(m2,n2)をセーブする(ステップ4
811)。図18に、最終的に残った2個の注目点が、人の
両目の位置を特定する状態を示す。
注目点によって特定されるので、メモリにある座標デー
タ(m1,n1)および(m2,n2)をセーブする(ステップ4
811)。図18に、最終的に残った2個の注目点が、人の
両目の位置を特定する状態を示す。
【0059】図13および図14に、図3に示す「追
跡」(S3E)の制御動作を更に詳細に説明する。ま
ず、マイクロプロセッサ6は1フレーム画像データをフ
レームメモリ12に書込む(ステップ501)。そしてレジ
スタm,nにm1,n1をセットする,すなわち人の両目
のうち、いずれ一方の目の位置を示す注目点のアドレス
を示す値をセットする(ステップ502)。そして、メモリ
のアドレスからその目の位置を示す座標データXm,Yn
を読み出す(ステップ503)。次に、「小領域での暗点検
出」(PR4)と同様に小領域(この場合は注目点を中心と
して縦横方向±20ドットの範囲)を設定、すなわちレジ
スタx1にXm−20をy1にYn−20をセットして小領
域の左上端の座標を設定し(ステップ504)、レジスタx2
にXm+20をy2にYn+20をセットして検出領域の
右下端の座標を設定する(ステップ505)。そして、x1
≦x≦x2&y1≦y≦y2の領域内においてフレームメ
モリ12のデータを読み出して明るさ値の最も暗い点を
検出し、その座標をメモリのアドレスAnmに更新メモリ
する(ステップ506)。これにより一方の目の時系列的
に変化する位置が検出される。次に、目の開閉状態をチ
ェックする。すなわち、最暗点に移動した後の注目点を
中心とする縦方向±20ドット範囲における明るさ値の最
大値T(max)と最小値T(min)を検出し、その平均値を算
出し、レジスタTAVにセットする(ステップ507)。そ
してTAV以下の明るさ値を示す縦(y)方向の幅W1を
検出する(ステップ508)。図13に示す模式図において
縦方向の幅は、 W1=|y'−y''|となる。
跡」(S3E)の制御動作を更に詳細に説明する。ま
ず、マイクロプロセッサ6は1フレーム画像データをフ
レームメモリ12に書込む(ステップ501)。そしてレジ
スタm,nにm1,n1をセットする,すなわち人の両目
のうち、いずれ一方の目の位置を示す注目点のアドレス
を示す値をセットする(ステップ502)。そして、メモリ
のアドレスからその目の位置を示す座標データXm,Yn
を読み出す(ステップ503)。次に、「小領域での暗点検
出」(PR4)と同様に小領域(この場合は注目点を中心と
して縦横方向±20ドットの範囲)を設定、すなわちレジ
スタx1にXm−20をy1にYn−20をセットして小領
域の左上端の座標を設定し(ステップ504)、レジスタx2
にXm+20をy2にYn+20をセットして検出領域の
右下端の座標を設定する(ステップ505)。そして、x1
≦x≦x2&y1≦y≦y2の領域内においてフレームメ
モリ12のデータを読み出して明るさ値の最も暗い点を
検出し、その座標をメモリのアドレスAnmに更新メモリ
する(ステップ506)。これにより一方の目の時系列的
に変化する位置が検出される。次に、目の開閉状態をチ
ェックする。すなわち、最暗点に移動した後の注目点を
中心とする縦方向±20ドット範囲における明るさ値の最
大値T(max)と最小値T(min)を検出し、その平均値を算
出し、レジスタTAVにセットする(ステップ507)。そ
してTAV以下の明るさ値を示す縦(y)方向の幅W1を
検出する(ステップ508)。図13に示す模式図において
縦方向の幅は、 W1=|y'−y''|となる。
【0060】同様の処理を他方の目についても行い、縦
(y)方向の幅W2を検出する(ステップ509〜515)。こ
れにより時系列的に変化する両目の開閉度が検出され
る。
(y)方向の幅W2を検出する(ステップ509〜515)。こ
れにより時系列的に変化する両目の開閉度が検出され
る。
【0061】次に、両目の幅W1およびW2が所定値W0
以下であるか否かをチェックし(ステップ516)、いずれ
かの目が所定値W0より大きいと、ドライバは正常(居眠
り状態あるいは脇見運転ではない)と判定し、ステップ5
01に戻り上述の処理(ステップ501〜516〜501,・・・)を続
行するが、この途中に両目の幅W1およびW2が所定値W
0以下であると、タイマの作動の有無を示すフラグFが
0(作動していない)であるかチェックし(ステップ51
7)、フラグFが0であればマイクロプロセッサ6は内部
タイマをオンし(ステップ518)、フラグFに1をセット
する(519)。そして、タイマがオーバしたかをチェック
し(ステップ520)、タイマがオーバしていないとステッ
プ501に戻り処理を繰り返すが、タイマがオーバしてい
るとドライバは居眠り状態あるいは脇見運転中であると
判定する。
以下であるか否かをチェックし(ステップ516)、いずれ
かの目が所定値W0より大きいと、ドライバは正常(居眠
り状態あるいは脇見運転ではない)と判定し、ステップ5
01に戻り上述の処理(ステップ501〜516〜501,・・・)を続
行するが、この途中に両目の幅W1およびW2が所定値W
0以下であると、タイマの作動の有無を示すフラグFが
0(作動していない)であるかチェックし(ステップ51
7)、フラグFが0であればマイクロプロセッサ6は内部
タイマをオンし(ステップ518)、フラグFに1をセット
する(519)。そして、タイマがオーバしたかをチェック
し(ステップ520)、タイマがオーバしていないとステッ
プ501に戻り処理を繰り返すが、タイマがオーバしてい
るとドライバは居眠り状態あるいは脇見運転中であると
判定する。
【0062】居眠り状態を検出すると、ステップ521
で、リレ−RLを制御して電力増幅器23に電源を供給
する。これによって、振動ピックアップ21が検出した
車体の振動を増幅する形でボイスコイル5が振動するの
で、運転者の覚醒を促すことができる。運転者がストッ
プスイッチSSWを操作すると、ステップ522から5
23に進み、リレ−RLを制御して電力増幅器23の電
源を遮断する。これによってボイスコイル5の振動は止
まる。そしてステップS31の処理に戻る。
で、リレ−RLを制御して電力増幅器23に電源を供給
する。これによって、振動ピックアップ21が検出した
車体の振動を増幅する形でボイスコイル5が振動するの
で、運転者の覚醒を促すことができる。運転者がストッ
プスイッチSSWを操作すると、ステップ522から5
23に進み、リレ−RLを制御して電力増幅器23の電
源を遮断する。これによってボイスコイル5の振動は止
まる。そしてステップS31の処理に戻る。
【0063】なお、一旦タイマがオンされてタイマがオ
ーバしていない間に、ドライバのいずれかの目の幅が所
定値W0より大きくなると(ステップ516)フラグは0にセ
ットされるため(ステップ524)、例えばドライバの自然
のまだたき等、一時的に目を閉じる状態(タイマのセッ
ト時間未満)では、ボイスコイル5の駆動は実施されな
い。
ーバしていない間に、ドライバのいずれかの目の幅が所
定値W0より大きくなると(ステップ516)フラグは0にセ
ットされるため(ステップ524)、例えばドライバの自然
のまだたき等、一時的に目を閉じる状態(タイマのセッ
ト時間未満)では、ボイスコイル5の駆動は実施されな
い。
【0064】また、追跡の処理中には、「実車速>10
Km/h」,「|操舵角|<Ax」,「シ−トベルト装
着中」の条件について、それぞれステップ525,52
6及び527でチェックされる。いずれかの条件が満た
されなくなると、追跡を中止してステップS31に戻
る。そして「実車速>10Km/h」,「|操舵角|<
Ax」,「シ−トベルト装着中」の全ての条件が再び満
たされるまで、処理は中止される。
Km/h」,「|操舵角|<Ax」,「シ−トベルト装
着中」の条件について、それぞれステップ525,52
6及び527でチェックされる。いずれかの条件が満た
されなくなると、追跡を中止してステップS31に戻
る。そして「実車速>10Km/h」,「|操舵角|<
Ax」,「シ−トベルト装着中」の全ての条件が再び満
たされるまで、処理は中止される。
【0065】なお、上記実施例においては、居眠り運転
を検出した時に、ボイスコイルを用いて運転席を振動さ
せる構成を採用しているが、この種の加振手段は、例え
ば、電気モ−タや空気式アクチュエ−タなど、他の手段
で置き代えることが可能である。
を検出した時に、ボイスコイルを用いて運転席を振動さ
せる構成を採用しているが、この種の加振手段は、例え
ば、電気モ−タや空気式アクチュエ−タなど、他の手段
で置き代えることが可能である。
【0066】
【発明の効果】以上のとおり本発明によれば、運転者が
居眠りをすると、それを居眠り検出手段が検出し、自動
付勢手段が、振動検出手段が検出した振動に基づいて加
振手段を付勢する。加振手段は車輌の運転席に装着され
ているので、加振手段を付勢すると、運転席に着座して
いる運転者に振動が伝わり、運転者の覚醒が促される。
また、振動検出手段は車輌の振動を検出するので、車輌
の振動に似た振動が加振手段によって生じ、この振動が
運転者に伝わる。従って、運転者の覚醒を促すことがで
きる。また特に、本発明では、車輌の振動に似た振動を
加振手段で発生するので、高い覚醒効果が得られる。ま
た、加振手段で発生する振動は、可聴周波数以下の周波
数であるので、加振手段は運転者以外の乗員及び乗客に
は影響を及ぼさず、極めて実用的である。
居眠りをすると、それを居眠り検出手段が検出し、自動
付勢手段が、振動検出手段が検出した振動に基づいて加
振手段を付勢する。加振手段は車輌の運転席に装着され
ているので、加振手段を付勢すると、運転席に着座して
いる運転者に振動が伝わり、運転者の覚醒が促される。
また、振動検出手段は車輌の振動を検出するので、車輌
の振動に似た振動が加振手段によって生じ、この振動が
運転者に伝わる。従って、運転者の覚醒を促すことがで
きる。また特に、本発明では、車輌の振動に似た振動を
加振手段で発生するので、高い覚醒効果が得られる。ま
た、加振手段で発生する振動は、可聴周波数以下の周波
数であるので、加振手段は運転者以外の乗員及び乗客に
は影響を及ぼさず、極めて実用的である。
【図1】 一実施例の居眠り運転防止装置の構成を示す
ブロック図である。
ブロック図である。
【図2】 自動車の車室内のインストルメントパネルを
示す正面図である。
示す正面図である。
【図3】 図1のマイクロプロセッサ6の制御動作を示
すフローチャートである。
すフローチャートである。
【図4】 図3の「小領域での暗点検出」の詳細を示す
フローチャートである。
フローチャートである。
【図5】 図3の「判定」の詳細を示すフローチャート
である。
である。
【図6】 図5の「孤立点の削除」の詳細を示すフロー
チャートである。
チャートである。
【図7】 図5の「注目点近傍の他注目点の削除」の詳
細を示すフローチャートである。
細を示すフローチャートである。
【図8】 図5の「十字階調差による削除」の詳細を示
すフローチャートである。
すフローチャートである。
【図9】 図5の「テンプレートマッチングによる削
除」の詳細を示すフローチャートである。
除」の詳細を示すフローチャートである。
【図10】 図5の「斜め方向階調差による削除」の詳
細を示すフローチャートである。
細を示すフローチャートである。
【図11】 図5の「近傍注目点の統合」の詳細を示す
フローチャートである。
フローチャートである。
【図12】 図5に示す「注目点数の判定」の詳細を示
すフローチャートである。
すフローチャートである。
【図13】 図3の「追跡」の詳細を示すフローチャー
トである。
トである。
【図14】 図3の「追跡」の詳細を示すフローチャー
トである。
トである。
【図15】 フレームメモリ12に書込む画像データの
一画面分布に425個の注目点を配置した様子を示す模
式図である。
一画面分布に425個の注目点を配置した様子を示す模
式図である。
【図16】 人の目の縦方向と横方向の大きさを示す模
式図である。
式図である。
【図17】 図1に示すRAM10のメモリテーブルの
内容を示すメモリマップである。
内容を示すメモリマップである。
【図18】 2個の注目点が人の両目の位置を特定する
様子を示す模式図である。
様子を示す模式図である。
【図19】 車室内の一部分を示す縦断面図である。
3:CCDカメラ 4:照明ランプ 5:ボイスコイル 5B:永久磁石 6,8:マイクロプロセッサ 7:システムバス 9:ROM 10:RAM 12:フレームメモリ 17,30:A/
Dコンバータ 18:赤外線ランプコントローラ 21:振動ピックアップ 22:居眠り検出
ユニット 23:電力増幅器 24:シ−トベル
ト検出スイッチ 25:車速センサ 26:舵角センサ 27:ヨ−レ−トセンサ 28:背後照明灯 29:ランプドライバ RL:リレ− MS:マニュアルスイッチ SSW:ストップスイッチ
Dコンバータ 18:赤外線ランプコントローラ 21:振動ピックアップ 22:居眠り検出
ユニット 23:電力増幅器 24:シ−トベル
ト検出スイッチ 25:車速センサ 26:舵角センサ 27:ヨ−レ−トセンサ 28:背後照明灯 29:ランプドライバ RL:リレ− MS:マニュアルスイッチ SSW:ストップスイッチ
【手続補正書】
【提出日】平成5年10月15日
【手続補正1】
【補正対象書類名】図面
【補正対象項目名】図18
【補正方法】変更
【補正内容】
【図18】
Claims (3)
- 【請求項1】 車輌の運転席に装着された加振手段;前
記車輌の振動を検出する振動検出手段;前記運転席に着
座した運転者の居眠りを検出する居眠り検出手段;及び
前記居眠り検出手段が運転者の居眠りを検出すると、前
記振動検出手段が検出した振動に基づいて前記加振手段
を付勢する、自動付勢手段;を備える居眠り運転防止装
置。 - 【請求項2】 前記居眠り検出手段は、運転席に着座し
た運転者の顔を撮影する撮像手段,該撮像手段が出力す
る顔の画像信号を処理して目の位置を認識する認識手
段,及び目の開閉状態を検出する開閉検出手段を含む、
前記請求項1記載の居眠り運転防止装置。 - 【請求項3】 前記自動付勢手段は、前記振動検出手段
が出力する振動の電気信号を増幅する増幅手段を含む、
前記請求項1記載の居眠り運転防止装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6899493A JPH06278495A (ja) | 1993-03-29 | 1993-03-29 | 居眠り運転防止装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6899493A JPH06278495A (ja) | 1993-03-29 | 1993-03-29 | 居眠り運転防止装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH06278495A true JPH06278495A (ja) | 1994-10-04 |
Family
ID=13389727
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP6899493A Pending JPH06278495A (ja) | 1993-03-29 | 1993-03-29 | 居眠り運転防止装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH06278495A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0920157A (ja) * | 1995-07-10 | 1997-01-21 | Nissan Diesel Motor Co Ltd | 覚醒度低下検出装置 |
JP2009048605A (ja) * | 2007-07-24 | 2009-03-05 | Nissan Motor Co Ltd | 居眠り運転防止装置 |
US20090261979A1 (en) * | 1992-05-05 | 2009-10-22 | Breed David S | Driver Fatigue Monitoring System and Method |
WO2010001962A1 (ja) * | 2008-07-04 | 2010-01-07 | トヨタ自動車株式会社 | 眠気検出装置 |
JP2010134533A (ja) * | 2008-12-02 | 2010-06-17 | Toyota Motor Corp | 眠気検出装置 |
US20140097957A1 (en) * | 1995-06-07 | 2014-04-10 | American Vehicular Sciences Llc | Driver fatigue monitoring system and method |
JP2021026701A (ja) * | 2019-08-08 | 2021-02-22 | 株式会社慶洋エンジニアリング | 居眠り運転防止装置 |
-
1993
- 1993-03-29 JP JP6899493A patent/JPH06278495A/ja active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090261979A1 (en) * | 1992-05-05 | 2009-10-22 | Breed David S | Driver Fatigue Monitoring System and Method |
US8604932B2 (en) * | 1992-05-05 | 2013-12-10 | American Vehicular Sciences, LLC | Driver fatigue monitoring system and method |
US20140097957A1 (en) * | 1995-06-07 | 2014-04-10 | American Vehicular Sciences Llc | Driver fatigue monitoring system and method |
US9129505B2 (en) * | 1995-06-07 | 2015-09-08 | American Vehicular Sciences Llc | Driver fatigue monitoring system and method |
JPH0920157A (ja) * | 1995-07-10 | 1997-01-21 | Nissan Diesel Motor Co Ltd | 覚醒度低下検出装置 |
JP2009048605A (ja) * | 2007-07-24 | 2009-03-05 | Nissan Motor Co Ltd | 居眠り運転防止装置 |
WO2010001962A1 (ja) * | 2008-07-04 | 2010-01-07 | トヨタ自動車株式会社 | 眠気検出装置 |
US8140149B2 (en) | 2008-07-04 | 2012-03-20 | Toyota Jidosha Kabushiki Kaisha | Drowsiness detector |
JP2010134533A (ja) * | 2008-12-02 | 2010-06-17 | Toyota Motor Corp | 眠気検出装置 |
JP2021026701A (ja) * | 2019-08-08 | 2021-02-22 | 株式会社慶洋エンジニアリング | 居眠り運転防止装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2002509321A (ja) | ドライバの眠気を検出し、その眠気を回避する方法および装置 | |
JPH04284B2 (ja) | ||
JP4770385B2 (ja) | 自動サンバイザ | |
WO2011050734A1 (zh) | 疲劳驾驶检测方法、装置及汽车 | |
JPH0468500A (ja) | 車両運転者監視装置 | |
JPH06278495A (ja) | 居眠り運転防止装置 | |
JPH11339200A (ja) | 居眠り運転検出装置 | |
JP2000198369A (ja) | 眼の状態検出装置、居眠り運転警報装置 | |
JPH07296299A (ja) | 画像処理装置およびそれを用いた居眠り警報装置 | |
JPH06293228A (ja) | 車上乗員認識装置 | |
JPH06262959A (ja) | 脇見運転警報装置 | |
JP3312562B2 (ja) | 居眠り状態検出装置 | |
JP2004334786A (ja) | 状態検出装置及び状態検出システム | |
JPH08290726A (ja) | 居眠り警報装置 | |
JPH06270712A (ja) | 脇見運転警報装置 | |
JPH06293227A (ja) | 車上乗員認識装置 | |
US20230126806A1 (en) | Face authentication system, vehicle including the same, and face authentication method | |
JPH06266981A (ja) | 居眠り運転警報装置 | |
JP2001229499A (ja) | 眼の状態検出装置 | |
JPH06348980A (ja) | 車両上ドライバの眼を監視する装置 | |
JPH06262958A (ja) | 開口を開閉する運動体の閉じ検出装置 | |
JP2802635B2 (ja) | 電気装置の付勢制御装置 | |
JP2000301962A (ja) | 眼の状態検出装置、居眠り運転警報装置 | |
JP2985558B2 (ja) | 運転状態検出装置 | |
JPH06270710A (ja) | 居眠り運転警報装置 |