JPH0761256A

JPH0761256A - 車両用前方不注意検知装置

Info

Publication number: JPH0761256A
Application number: JP22952493A
Authority: JP
Inventors: Hiroshi Saito; 浩斎藤
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1993-08-23
Filing date: 1993-08-23
Publication date: 1995-03-07

Abstract

(57)【要約】【目的】簡単な構成で、しかも迅速かつ安定した前方
不注意の検知を行う。【構成】運転者の顔面領域の画像を入力する撮像部１
が運転者の前面に配され、不可視光を発する第１照明灯
２が撮像部１と共軸に、第２照明灯３が光軸外に配設さ
れている。校正用照明灯４の照明による画像から顔面照
度算出部１１が顔面照度を算出し、校正データ作成記憶
部１２が顔面照度と瞳孔面積の関係を示す校正データを
作成する。瞳孔抽出部１０が第１照明灯２で照明した画
像と第２照明灯３で照明した画像の差分画像を基に瞳孔
を抽出し、瞳孔有無判定部１３が校正データを基に瞳孔
抽出部の抽出結果から瞳孔の有無を判定する。前方不注
意判定部１５が所定時間連続して瞳孔が抽出されなかっ
たとき前方不注意と判定し、警報出力部１６から警報が
発せられる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、車両運転者の覚醒度
の低下や脇見等の前方不注意を簡便に検知する車両用前
方不注意検知装置に関する。

【０００２】

【従来の技術】従来のこの種の車両用前方不注意検知装
置としては、例えば特開昭６０−１７８５９６号公報に
示されたものがあり、運転者の前方から、その上体位置
の周期的変動を検出して運転者の覚醒度の低下を判定す
るようになっている。

【０００３】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の車両用前方不注意検知装置にあっては、上体
位置の周期的変動を検出するために、位置計測用のカメ
ラを２台使用するため、装置構成が複雑であり、かつ処
理に時間を要するという問題があった。また、抽出する
特徴を顔面領域としているため、例えば横方向からの直
射光の入射その他、光線状態の悪い場合などが頻繁に発
生するなど不安定状況にさらされ、その結果特徴抽出に
誤差を生じる可能性が高いという問題があった。そのた
め、従来の車両用前方不注意検知装置では、迅速かつ安
定した検知を行うことは困難であった。したがって本発
明は、このような従来の問題点に着目してなされたもの
であり、構成が簡単で、しかも迅速かつ安定した前方不
注意の検知ができる車両用前方不注意検知装置を提供す
ることを目的とする。

【０００４】

【課題を解決するための手段】このため請求項１に記載
の本発明は、図１に示すように、運転者の顔面領域の画
像を入力する撮像部１と、該撮像部と共軸に配設された
不可視光を発する第１照明灯２と、撮像部１の光軸外に
配設された不可視光を発する第２照明灯３とを備える画
像入力手段２０と、前記第１照明灯２で照明した画像と
第２照明灯３で照明した画像の差分データを基に瞳孔領
域を抽出する瞳孔抽出手段２１と、連続して所定回数瞳
孔が抽出されなかったときに前方不注意状態と判定する
前方不注意判定手段２２とを有するものとした。また、
請求項２に記載の発明は、さらに車両の走行速度を検知
する車速検出手段２３を備え、前方不注意判定手段にお
ける前記の所定回数が、車速が高いほど少なく設定され
るものとした。

【０００５】

【作用】請求項１のものにおいて、運転席前方に配設さ
れた撮像部１と共軸の第１照明灯２で照明した画像で
は、通常時には瞳孔が明るく観測される。すなわち入射
光が網膜で反射して外部に出射した網膜反射像が観測さ
れ、覚醒度の低下や脇見等の前方不注意の時には網膜反
射像は観測されない。また、光軸外の第２照明灯３で照
明した画像においては、瞳孔は暗く観測される。すなわ
ち網膜反射像は観測されない。従って、第１照明灯で照
明した画像から第２照明灯で照明した画像を減算した差
分画像では、前方不注意の時には瞳孔が抽出されない。
この瞳孔が抽出されない現象が所定回数連続したとき前
方不注意状態と判定される。請求項２のものでは、さら
に上記所定回数が車速に応じて変化され、高速走行時に
は少ない回数すなわち短時間で前方不注意状態が検知さ
れる。

【０００６】

【実施例】以下、本発明を図面に基づいて説明する。
図２〜図６は本発明の実施例を示す図である。まず、図
２により構成を説明する。車両運転者の眼球１７に向け
て、車両の運転席前方に、運転者の顔面領域を撮影する
ＣＣＤセンサ等を有する撮像部１が設置されている。近
赤外ＬＥＤ等の不可視光を発する第１照明２が、撮像部
１のレンズ中心と共軸系をなすように配置されている。
また、同様に近赤外ＬＥＤ等の不可視光を発する第２照
明３が、撮像部１の光軸外に、運転者の眼球１７方向に
向けて設置されている。さらに、装置を校正するため
の、可視光を発する校正用照明４が設置されている。

【０００７】また、装置全体の動作を制御するため全体
制御部５が設けられ、ステアリング等に内臓された校正
開始を指示するための校正開始スイッチ７が接続されて
いる。上記第１照明２および第２照明３の発光は照明発
光制御部６によって制御される。また、撮像部１で得ら
れた画像出力は、Ａ／Ｄ変換器８でディジタルデータに
変換されたあと、画像メモリ９に保持される。瞳孔抽出
部１０では、画像メモリ９に保持されたディジタル化し
た画像データから瞳孔領域を抽出してその面積を求め、
同じく画像メモリ９に保持された画像データを用いて、
顔面照度算出部１１が運転者の顔面照度を算出する。

【０００８】そして、顔面照度算出部１１で算出した顔
面照度と、瞳孔抽出部１０で抽出した瞳孔面積とを基に
両者の関係を演算した結果が校正データ作成記憶部１２
に記憶されるようになっている。また、校正データ作成
記憶部１２に記憶されている校正データと瞳孔抽出部１
０で抽出した瞳孔面積とは瞳孔有無判定部１３に入力さ
れ、ここで瞳孔の有無が判定される。前方不注意判定部
１５では、瞳孔有無判定部１３の出力を基に、瞳孔が連
続して抽出されなかったときには、車速信号出力部１４
からの車速を勘案して運転者が不注意か否かを判定す
る。そして、不注意の場合には警報出力部１６から警報
が発せられるように構成されている。

【０００９】次に全体制御部５の制御の下で行なわれる
作動の内、まず校正作業について図３および図４のフロ
ーチャートに従って説明する。まず、例えばエンジン始
動等により装置がスタートされると、ステップ１０１で
校正開始スイッチ７が押されたか否かがチェックされ、
押されていれば、全体制御部５から校正作業開始信号が
出力され、ステップ１０２で可視光を発する校正用照明
４が点灯される。校正開始スイッチ７が押されていなけ
れば元に戻り、ステップ１０１でのチェックが繰り返さ
れる。

【００１０】校正用照明４が点灯されると、ステップ１
０３で、照明発光制御部６からの照明発光信号によっ
て、第２照明灯３は消灯したまま第１照明灯２が点灯さ
れるとともに、ステップ１０４において、撮像部１で運
転者の顔面領域の画像が取り込まれる。取り込まれた画
像はステップ１０５でＡ／Ｄ変換器８によりＡ／Ｄ変換
されて、ディジタル画像Ｉ１（ｘ，ｙ）（１≦ｘ≦Ｘ，
１≦ｙ≦Ｙ）が生成され、次のステップ１０６で、画像
メモリ９に格納される。なお、Ｘ、Ｙは画像フレームの
横縦のビット数に対応している。

【００１１】ステップ１０７では、第１照明灯２を消灯
して、第２照明灯３が点灯され、上述と同様に、ステッ
プ１０８で撮像部１により再び運転者の顔面領域の画像
を取り込まれる。そして、取り込まれた画像がステップ
１０９でＡ／Ｄ変換器８でＡ／Ｄ変換されて、ディジタ
ル画像Ｉ２（ｘ，ｙ）（１≦ｘ≦Ｘ，１≦ｙ≦Ｙ）が生
成され、ステップ１１０において、この画像データが画
像メモリ９に格納される。

【００１２】このあとステップ１１１において、瞳孔抽
出部１０で、画像Ｉ１（ｘ，ｙ）から瞳孔領域を抽出す
るために、まずＩ１（ｘ，ｙ）からＩ２（ｘ，ｙ）を減
算する演算を行い、瞳孔領域が強調された差分画像が求
められる。すなわち、共軸系の第１照明灯２および撮像
部１のカメラを用いて得られた画像Ｉ１（ｘ，ｙ）で
は、瞳孔領域が明るく観測される網膜反射像が得られ
る。これは、入射光が網膜で反射して外部に出射したも
のを、撮像部１のカメラで観測しているためである。こ
の網膜反射像は瞳孔の大きさを表している。一方、画像
Ｉ２（ｘ，ｙ）では、網膜反射像は観測されず、瞳孔は
暗く観測される。従って、差分Ｉ１（ｘ，ｙ）−Ｉ２
（ｘ，ｙ）により瞳孔領域が抽出される。

【００１３】次のステップ１１２で、上記差分画像Ｉ１
（ｘ，ｙ）−Ｉ２（ｘ，ｙ）を２値化して、しきい値Ｔ
ｈ１〜Ｔｈ２の間の明るさを持つ画素部分が瞳孔領域と
して抽出される。これによって瞳孔領域のみが抽出され
る。ステップ１１３では、上記抽出された瞳孔領域の面
積（Ｓｒｅｆ）が算出され、ステップ１１４で、面積デ
ータ（Ｓｒｅｆ）が校正データ作成記憶部１２に保持さ
れる。

【００１４】ステップ１１５では校正データが２個得ら
れたか否かがチェックされ、２個あればステップ１１６
に進む。校正データが２個得られていないときには、ス
テップ１１７へ進み、校正用照明灯４の照明光量をアッ
プしたあと、ステップ１１８で、照明光量をアップして
から１秒経過の確認が行なわれる。ここで１秒経過した
ら、ステップ１０３へ戻り、再度上述の校正データの取
得が繰り返される。

【００１５】１秒経過の確認を行なうは、眼に光が入る
か、あるいは急に明るくなれば対光反射により瞳孔が縮
小する現象を考慮したものである。光が取り除かれる
か、急に弱くなれば瞳孔は前の大きさにまで拡大する。
この反射の潜時は０．２〜０．５秒で、応答が最大にな
るまでには１秒程度かかる。なお、光が当たると瞳孔は
まず縮小するが、再び開き、これを繰り返しながらその
明るさに相当した大きさになって落ちつく。

【００１６】校正データが２つ得られたあとのステップ
１１６では、校正データの直線近似が行なわれる。すな
わち、校正用照明４の明るさを変えることによって、運
転者の顔面照度を変えることができる。また、顔面照度
によって運転者の瞳孔面積は変化する。校正データ作成
記憶部１２には、２つの校正データを基に、校正用照明
４と瞳孔面積の関係、すなわち、運転者の顔面照度と瞳
孔面積との関係が求められ記憶される。図５にこの校正
作業で得られたデータの直線近似結果を示す。ここで
は、校正用照明４の明るさと運転者の顔面照度の関係
は、一意に決まるものとしている。以上により、校正作
業が終了する。

【００１７】次に前方不注意の検知動作の流れが、図６
および図７のフローチャートに示される。まず、ステッ
プ２０１において、カウンタＫが０にセットされる。こ
のＫの値は、後述する前方不注意判定において瞳孔が抽
出されなかった回数を示すものである。ステップ２０２
で、照明発光制御部６からの光源発光信号によって、第
２照明灯３は消灯のまま第１照明灯２が点灯されるとと
もに、ステップ２０３で、撮像部１により運転者の顔面
領域の画像が取り込まれる。取り込まれた画像はステッ
プ２０４において、Ａ／Ｄ変換器８でＡ／Ｄ変換され
て、ディジタル化した画像データＩ１（ｘ，ｙ）（１≦
ｘ≦Ｘ，１≦ｙ≦Ｙ）が生成され、ステップ２０５で画
像メモリ９に格納される。

【００１８】次のステップ２０６〜２０９では、今度は
第１照明灯２の消灯、第２照明灯３の点灯に基づいて、
上と同様にしてディジタル化した画像Ｉ２（ｘ，ｙ）
（１≦ｘ≦Ｘ，１≦ｙ≦Ｙ）が生成され、画像メモリに
格納される。ステップ２０２〜２０９が、発明の画像入
力手段を構成している。

【００１９】このあとステップ２１０において、顔面照
度算出部１１で、画像Ｉ１（ｘ，ｙ）全体の平均の明る
さＩが求められる。これは、画像Ｉ１（ｘ，ｙ）全ての
画素の明るさの総和を求め、画素数の総和で割るという
演算操作を行うことによって実施される。次いでステッ
プ２１１では、先に校正データ作成記憶部１２に記憶保
持されたテーブル（図５参照）を参照して、上記の平均
の明るさＩから、その時点で予想される運転者の瞳孔面
積Ｓが求められる。なお、画像の大部分を顔面が占めて
いるので、背景の明るさによる誤差は無視でき、画像Ｉ
１（ｘ，ｙ）全体の平均の明るさＩと運転者の顔面照度
の関係は一意に決まる。

【００２０】次に、ステップ２１２で、瞳孔抽出部１０
において、画像データＩ１（ｘ，ｙ）から画像データＩ
２（ｘ，ｙ）を減算する演算が行なわれ、ステップ２１
３で２値化による瞳孔領域の抽出が行なわれる。ここで
は、しきい値Ｔｈ１〜Ｔｈ２の間の明るさを持つ画素が
抽出され、これによって、瞳孔領域と推定される領域の
みが抽出される。

【００２１】そしてステップ２１４において、瞳孔有無
判定部１３で、上記抽出された領域が瞳孔を示している
か否かが判定される。この判定は、ステップ２１３で抽
出された領域の面積Ｓを求め、これを、先に実施した校
正作業で得た瞳孔の面積Ｓｒｅｆと比較することにより
行ない、Ｓｒｅｆ−ΔＳ＜Ｓ＜Ｓｒｅｆ＋ΔＳ（但し、ΔＳはあらかじめ定めた所定値）であるとき、
当該領域が瞳孔であると判定する。

【００２２】上記抽出領域が瞳孔でないと判定されたと
きは、運転者が前方不注意状態にあるものとして、ステ
ップ２１５に進み、前方不注意判定部１５において非瞳
孔判定回数のカウンタ値Ｋがインクリメントされる。ス
テップ２１４の判定で、抽出領域が瞳孔であるとされた
ときには、ステップ２０１に戻り、上記フローが繰り返
される。

【００２３】一方、ステップ２１５のあとは、ステップ
２１６に進んで、車速信号出力部１４からの車速信号を
勘案して前方不注意判定基準回数Ｕが決定される。そし
て、ステップ２１７において、Ｋ＞Ｕになっているかど
うかがチェックされる。Ｋ＞Ｕになっているときは、運
転者が覚醒度の低下や脇見運転等の前方不注意の状態に
あるものとして、ステップ２１８に進む。すなわち、運
転者が前方不注意の状態にあるか否かの判定は、例えば
３回連続して瞳孔が抽出されなかった時、前方不注意と
する。これは、ステップ２０２からステップ２１７まで
の処理実行時間が例えば０．３秒であるとき、３回連続
して瞳孔が抽出できないとき、すなわち、０．９秒間瞳
孔が捉えられない時、前方不注意と判定することにな
る。

【００２４】ここで、例えば車速が０（停止状態）にあ
るときは、何回連続して瞳孔が抽出されなくとも、全く
支障はないが、車速が１００ｋｍ／ｈのときには、判定
のための連続回数、すなわち覚醒度の低下や脇見などの
前方不注意時間を小さくする必要がある。そこで、上記
ステップ２１６においては、前方不注意判定基準回数
Ｕ、換言すれば判定時間を、車速信号を基に決定するよ
うにしている。このため、前方不注意判定部１５には、
図８に示すような、車速に応じて判定基準回数の変化す
るマップが記憶されており、車速信号出力部１４からの
車速により、そのときそのときで最適な前方不注意判定
基準回数Ｕが得られるようにしてある。上記ステップ２
１０〜２１４が発明の瞳孔抽出手段を構成し、またステ
ップ２１５〜２１７が前方不注意判定手段を構成してい
る。

【００２５】ステップ２１８では、前方不注意判定に基
づいて、警報出力部１６から警報音が発せられ、これに
より運転者に警告が与えられる。このあとはステップ２
０２に戻り、再び上述のフローが繰り返される。また、
先のステップ２１７のチェックでＫ＞Ｕになっていない
場合も、ステップ２０２に戻る。

【００２６】実施例は以上のように構成され、撮像部と
共軸の第１照明灯２と光軸外の第２照明灯３で交互に照
明した画像データの差分データを基に瞳孔領域を抽出す
るようにしたので、瞳孔領域を容易に抽出でき、その検
出の有無により簡単に前方不注意状態が判別できる。ま
た、瞳孔判別に際しては、明るさを変えられる校正用照
明を用いて求めた校正データと比較するので、抽出した
瞳孔領域が瞳孔であるか否かを高精度に判定することが
できる。そしてさらに、前方不注意状態の判定に際し
て、車速に応じて判定基準を変えているから、走行状態
に応じて的確な警報がなされるという効果を有してい
る。なお、本実施例では、校正データ作成において、明
るさの異なる２個の校正用照明４の点灯による校正作業
の結果を直線近似して、校正データを作っているが、照
明の明るさをより多段階に変化させれば、より精度の高
い校正データが得られる。

【００２７】

【発明の効果】以上のとおり、本発明は、運転者の前方
においた撮像部で眼球を観測し、得られた画像を処理し
て瞳孔と推定される領域を抽出し、瞳孔の有無から運転
者の前方不注意の状態を検知するようにしたから、簡単
な信号処理で瞳孔領域の抽出が行えるため、開閉眼を精
度良く認識して前方不注意状態の検知を安定して行うこ
とができる。また、使用する撮像部のカメラは１台で良
いため、装置構造が簡単であるという効果を得ることが
できる。

【図面の簡単な説明】

【図１】本発明の構成を示すブロック図である。

【図２】本発明の実施例の構成を示すブロック図。

【図３】校正作業の流れを示すフローチャートである。

【図４】校正作業の流れを示すフローチャートである。

【図５】校正用照明灯の明るさを変えて得た、運転者の
顔面照度と瞳孔面積の関係を示す図である。

【図６】不注意状態検知の流れを示すフローチャートで
ある。

【図７】不注意状態検知の流れを示すフローチャートで
ある。

【図８】車速に対応させた前方不注意判定基準回数を示
す図である。

【符号の説明】

１撮像部２第１照明灯３第２照明灯４校正用照明灯５全体制御部６照明発光制御部７校正開始スイッチ８Ａ／Ｄ変換器９画像メモリ１０瞳孔抽出部１１顔面照度算出部１２校正データ作成記憶部１３瞳孔有無判定部１４車速信号出力部１５前方不注意判定部１６警報出力部２０画像入力手段２１瞳孔抽出手段２２前方不注意判定手段２３車速検出手段

Claims

【特許請求の範囲】

【請求項１】運転者の顔面領域の画像を入力する撮像
部と、該撮像部と共軸に配設された不可視光を発する第
１照明灯と、撮像部の光軸外に配設された不可視光を発
する第２照明灯とを備える画像入力手段と、前記第１照
明灯で照明した画像と第２照明灯で照明した画像の差分
データを基に瞳孔領域を抽出する瞳孔抽出手段と、連続
して所定回数瞳孔が抽出されなかったときに前方不注意
状態と判定する前方不注意判定手段とを有することを特
徴とする車両用前方不注意検知装置。
【請求項２】運転者の顔面領域の画像を入力する撮像
部と、該撮像部と共軸に配設された不可視光を発する第
１照明灯と、撮像部の光軸外に配設された不可視光を発
する第２照明灯とを備える画像入力手段と、前記第１照
明灯で照明した画像と第２照明灯で照明した画像の差分
データを基に瞳孔領域を抽出する瞳孔抽出手段と、車両
の走行速度を検知する車速検出手段と、連続して所定回
数瞳孔が抽出されなかったときに前方不注意状態と判定
する前方不注意判定手段とを有し、前方不注意判定手段
における前記所定回数が、車速が高いほど少なく設定さ
れることを特徴とする請求項１記載の車両用前方不注意
検知装置。
【請求項３】前記瞳孔抽出手段は、明るさの異なる可
視光照明を運転者の顔面に向けて照射する手段と、当該
照射に基づいて運転者の顔面照度と瞳孔面積の関係を校
正データとして求める手段とを備え、前記瞳孔領域を前
記校正データと比較して該瞳孔領域が瞳孔であるか否か
を判定するものであることを特徴とする請求項１または
２記載の車両用前方不注意検知装置。