JP3109230B2 - 車両運転者の眼球位置検出装置 - Google Patents
車両運転者の眼球位置検出装置Info
- Publication number
- JP3109230B2 JP3109230B2 JP04091715A JP9171592A JP3109230B2 JP 3109230 B2 JP3109230 B2 JP 3109230B2 JP 04091715 A JP04091715 A JP 04091715A JP 9171592 A JP9171592 A JP 9171592A JP 3109230 B2 JP3109230 B2 JP 3109230B2
- Authority
- JP
- Japan
- Prior art keywords
- eyeball
- area
- detecting
- driver
- search area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、車両運転者の眼球位置
を検出する眼球位置検出装置に関する。
を検出する眼球位置検出装置に関する。
【０００２】
【従来の技術】従来の車両運転者の眼球位置検出装置と
しては、例えば、特開昭６０−１５８３０３号、特開昭
６０−１５８３０４号、特開昭６１−７７７０５号およ
び特開昭６１−７７７０６号各公報に記載されているも
のがある。これらは運転者の顔部分を撮影して２枚の画
像として入力し、この画像の明領域にある独立した暗領
域を特異点として抽出し、その特異点を眼として認識す
る構成となっており、運転者の居眠りや、脇見の検出に
利用しようとするものである。また、特開昭６２−２４
７４１０号公報には、車両運転者の眼の状態変化や口の
発声形状を認識することにより、電気装置の付勢制御を
行う装置が提案されている。ここでは処理の高速化を狙
って、一度検出した眼球の中心位置を中心とする上下左
右対称の狭い小領域内で眼球を追跡する構成とされてい
る。
しては、例えば、特開昭６０−１５８３０３号、特開昭
６０−１５８３０４号、特開昭６１−７７７０５号およ
び特開昭６１−７７７０６号各公報に記載されているも
のがある。これらは運転者の顔部分を撮影して２枚の画
像として入力し、この画像の明領域にある独立した暗領
域を特異点として抽出し、その特異点を眼として認識す
る構成となっており、運転者の居眠りや、脇見の検出に
利用しようとするものである。また、特開昭６２−２４
７４１０号公報には、車両運転者の眼の状態変化や口の
発声形状を認識することにより、電気装置の付勢制御を
行う装置が提案されている。ここでは処理の高速化を狙
って、一度検出した眼球の中心位置を中心とする上下左
右対称の狭い小領域内で眼球を追跡する構成とされてい
る。
【０００３】
【発明が解決しようとする課題】しかしながら前者の眼
球位置検出装置では、顔画像の明るい閉領域の中にある
独立した暗領域を抽出するため、眼球位置を検出するた
めに逐次運転者の顔画像を撮影して検出しなければなら
ない。このため処理すべき情報量が多く処理時間が長く
なり、高速な処理装置が必要となる。また後者の装置で
は、狭い小領域内で眼球を追跡する構成であるため、運
転者の眼の中心位置の僅かな変動で眼球が外れた場合、
再び顔画像全体から眼球中心を検出し直す必要がある。
球位置検出装置では、顔画像の明るい閉領域の中にある
独立した暗領域を抽出するため、眼球位置を検出するた
めに逐次運転者の顔画像を撮影して検出しなければなら
ない。このため処理すべき情報量が多く処理時間が長く
なり、高速な処理装置が必要となる。また後者の装置で
は、狭い小領域内で眼球を追跡する構成であるため、運
転者の眼の中心位置の僅かな変動で眼球が外れた場合、
再び顔画像全体から眼球中心を検出し直す必要がある。
【０００４】発明者の車両走行実験による眼球の移動に
ついての研究によれば、走行速度が高速になるほど眼球
移動量が小さくなること、そして眼球の移動範囲には方
向性があることがわかった。しかしこのように眼球の挙
動について上記従来のものでは考慮されておらず、実際
上眼球追跡を連続で行うことができず、顔画像から眼球
中心を検出し直す頻度が多い。このために狙い通りには
処理の高速化になっていないという問題があった。
ついての研究によれば、走行速度が高速になるほど眼球
移動量が小さくなること、そして眼球の移動範囲には方
向性があることがわかった。しかしこのように眼球の挙
動について上記従来のものでは考慮されておらず、実際
上眼球追跡を連続で行うことができず、顔画像から眼球
中心を検出し直す頻度が多い。このために狙い通りには
処理の高速化になっていないという問題があった。
【０００５】したがって本発明は、上記の問題点に鑑
み、検出効率を高め処理時間が短縮される車両運転者の
眼球位置検出装置を提供することを目的とする。
み、検出効率を高め処理時間が短縮される車両運転者の
眼球位置検出装置を提供することを目的とする。
【０００６】
【問題を解決するための手段】このため、請求項１に記
載の発明は、図１に示されるように、車両運転者の顔面
に向けて照射される発光手段１と、該照射に同期して運
転者の顔画像を濃度階調情報として入力する画像入力手
段２と、該画像入力手段により入力された画像を走査し
眼球存在領域を定める眼球存在領域特定手段３と、特定
された眼球存在領域を記憶する記憶手段４と、所定回特
定された複数の前記眼球存在領域の平均位置を算出する
平均位置算出手段７と、該平均位置を基準として所定の
範囲を眼球検索領域として設定する眼球検索領域設定手
段５と、前記眼球検索領域内で運転者の眼球位置を検出
する検出手段６とを有するものとした。
載の発明は、図１に示されるように、車両運転者の顔面
に向けて照射される発光手段１と、該照射に同期して運
転者の顔画像を濃度階調情報として入力する画像入力手
段２と、該画像入力手段により入力された画像を走査し
眼球存在領域を定める眼球存在領域特定手段３と、特定
された眼球存在領域を記憶する記憶手段４と、所定回特
定された複数の前記眼球存在領域の平均位置を算出する
平均位置算出手段７と、該平均位置を基準として所定の
範囲を眼球検索領域として設定する眼球検索領域設定手
段５と、前記眼球検索領域内で運転者の眼球位置を検出
する検出手段６とを有するものとした。
【０００７】請求項５に記載の発明は、上記眼球検索領
域内で眼球位置が検出されなかった結果が所定回数繰り
返されたときには、眼球存在領域特定手段および平均位
置算出手段を再び作動させる再駆動手段を有するものと
した。
域内で眼球位置が検出されなかった結果が所定回数繰り
返されたときには、眼球存在領域特定手段および平均位
置算出手段を再び作動させる再駆動手段を有するものと
した。
【０００８】また、請求項６に記載の発明は、検出対象
の基礎位置変動を検知する基礎検知手段を備え、検出対
象の基礎位置変動が検知されたときには眼球存在領域特
定手段および平均位置算出手段を再び作動させるように
した。
の基礎位置変動を検知する基礎検知手段を備え、検出対
象の基礎位置変動が検知されたときには眼球存在領域特
定手段および平均位置算出手段を再び作動させるように
した。
【０００９】
【作用】複数回求めた眼球存在領域の平均位置を基準に
所定の範囲を眼球検索領域として設定するようにしたか
ら、走行状況に対応して眼球が存在する可能性の高い領
域が検索され、検出の効率が向上する。これにより、眼
球検出がトータルとして実質的に少ない情報量で行なわ
れ、検出時間が短縮されるとともに検出精度が向上す
る。
所定の範囲を眼球検索領域として設定するようにしたか
ら、走行状況に対応して眼球が存在する可能性の高い領
域が検索され、検出の効率が向上する。これにより、眼
球検出がトータルとして実質的に少ない情報量で行なわ
れ、検出時間が短縮されるとともに検出精度が向上す
る。
【００１０】また、請求項５の発明では、眼球検索領域
内で眼球位置が検出されない状況が所定回数継続すると
きには直ちに眼球存在領域特定に戻って最初からやり直
し、眼球検索領域が再設定されるから、眼球位置不検出
によって制御が中断することがない。さらにまた、請求
項６のものでは、運転者が交替したり運転姿勢が変化し
たりした場合に、これを基礎検知手段による検出対象の
基礎位置変動として検知し、直ちに眼球存在領域の特定
からやり直すから、運転者や運転姿勢の変更に迅速に対
応し、常に最適の範囲で眼球検出が行なわれる。
内で眼球位置が検出されない状況が所定回数継続すると
きには直ちに眼球存在領域特定に戻って最初からやり直
し、眼球検索領域が再設定されるから、眼球位置不検出
によって制御が中断することがない。さらにまた、請求
項６のものでは、運転者が交替したり運転姿勢が変化し
たりした場合に、これを基礎検知手段による検出対象の
基礎位置変動として検知し、直ちに眼球存在領域の特定
からやり直すから、運転者や運転姿勢の変更に迅速に対
応し、常に最適の範囲で眼球検出が行なわれる。
【００１１】
【実施例】図２は本発明の実施例を示す。運転者Ｄの正
面に向かって運転者の顔部分を照射する赤外線ストロボ
３００と、この赤外線ストロボ３００の赤外光で照射さ
れる顔部分を撮影する、画像入力手段としてのＣＣＤカ
メラ３０２が運転者正面の運転席のインストルメントパ
ネルに設置されている。赤外線ストロボ３００にタイミ
ング指令回路３０４から発光指令が出力されると、赤外
線ストロボ３００が発光して運転者Ｄの顔部分を照射
し、これと同時にＣＣＤカメラ３０２に対し画像入力指
令が出され、赤外光で照射された顔部分が撮影される。
面に向かって運転者の顔部分を照射する赤外線ストロボ
３００と、この赤外線ストロボ３００の赤外光で照射さ
れる顔部分を撮影する、画像入力手段としてのＣＣＤカ
メラ３０２が運転者正面の運転席のインストルメントパ
ネルに設置されている。赤外線ストロボ３００にタイミ
ング指令回路３０４から発光指令が出力されると、赤外
線ストロボ３００が発光して運転者Ｄの顔部分を照射
し、これと同時にＣＣＤカメラ３０２に対し画像入力指
令が出され、赤外光で照射された顔部分が撮影される。
【００１２】ＣＣＤカメラからの入力画像は、図３に示
すように横（Ｘ）方向５２０画素、縦（Ｙ）方向５００
画素から成り、縦方向に顔部分がほぼいっぱいに入るよ
うに画角が調整されている。ＣＣＤカメラには、撮影し
た入力画像をデジタル量に変換するＡ／Ｄ変換器３０６
を介して画像メモリ３０８が接続されている。画像メモ
リ３０８には、該画像メモリに格納された入力画像デー
タに基づいて眼球の検索範囲を規定する眼球検索範囲規
定回路３１０が接続され、さらに、ここで規定された範
囲内にある画像データを処理して眼の虹彩部分を検出す
る虹彩検出回路３１２が接続されている。この虹彩検出
回路３１２には、その検出結果から運転者の居眠りなど
の有無を判定する回路３１４などが接続される。上記
の、タイミング指令回路３０４の指令によって制御され
る赤外線ストロボ３００とＣＣＤカメラ３０２から画像
メモリ３０８までが、発明の発光手段および画像入力手
段を構成し、眼球検索範囲規定回路３１０が、眼球存在
領域特定手段〜眼球検索領域設定手段を構成する。
すように横（Ｘ）方向５２０画素、縦（Ｙ）方向５００
画素から成り、縦方向に顔部分がほぼいっぱいに入るよ
うに画角が調整されている。ＣＣＤカメラには、撮影し
た入力画像をデジタル量に変換するＡ／Ｄ変換器３０６
を介して画像メモリ３０８が接続されている。画像メモ
リ３０８には、該画像メモリに格納された入力画像デー
タに基づいて眼球の検索範囲を規定する眼球検索範囲規
定回路３１０が接続され、さらに、ここで規定された範
囲内にある画像データを処理して眼の虹彩部分を検出す
る虹彩検出回路３１２が接続されている。この虹彩検出
回路３１２には、その検出結果から運転者の居眠りなど
の有無を判定する回路３１４などが接続される。上記
の、タイミング指令回路３０４の指令によって制御され
る赤外線ストロボ３００とＣＣＤカメラ３０２から画像
メモリ３０８までが、発明の発光手段および画像入力手
段を構成し、眼球検索範囲規定回路３１０が、眼球存在
領域特定手段〜眼球検索領域設定手段を構成する。
【００１３】以上の構成における処理の流れが図４に示
される。まず、ステップ１０において、運転者Ｄの顔を
照射する赤外線ストロボ３００の発光と同期して、ＣＣ
Ｄカメラで顔画像が撮影され、濃度階調情報として画像
メモリ３０８に格納される。画素の階調Ｊ（ｘ，ｙ）
は、明るい部分を白として、Ｊ（ｘ，ｙ）＝２５５か
ら、暗い部分を黒として、Ｊ（ｘ，ｙ）＝０までの、２
５６階調で表現される。次に、ステップ２０〜３０で前
回と今回の画像撮影の間に、運転者の交替の可能性のあ
るドアの開閉や、運転姿勢が変化するシート状態の操作
があったかがチェックされる。これらの開閉あるいは操
作があった場合にはステップ４０を経てステップ５０に
進み、これらがなければ直接ステップ５０へ進む。
される。まず、ステップ１０において、運転者Ｄの顔を
照射する赤外線ストロボ３００の発光と同期して、ＣＣ
Ｄカメラで顔画像が撮影され、濃度階調情報として画像
メモリ３０８に格納される。画素の階調Ｊ（ｘ，ｙ）
は、明るい部分を白として、Ｊ（ｘ，ｙ）＝２５５か
ら、暗い部分を黒として、Ｊ（ｘ，ｙ）＝０までの、２
５６階調で表現される。次に、ステップ２０〜３０で前
回と今回の画像撮影の間に、運転者の交替の可能性のあ
るドアの開閉や、運転姿勢が変化するシート状態の操作
があったかがチェックされる。これらの開閉あるいは操
作があった場合にはステップ４０を経てステップ５０に
進み、これらがなければ直接ステップ５０へ進む。
【００１４】ステップ４０では、眼球存在領域特定カウ
ンタＮが１にリセットされる。ステップ５０〜６０にお
いては、撮影された画像情報から眼球を包含する限定さ
れた小領域として、眼球存在領域が横幅および縦幅をも
って特定される。なお、この眼球存在領域特定処理は、
特願平２−２９９９４７号に詳しい。ステップ５０〜６
０が発明の眼球存在領域特定手段を構成する。
ンタＮが１にリセットされる。ステップ５０〜６０にお
いては、撮影された画像情報から眼球を包含する限定さ
れた小領域として、眼球存在領域が横幅および縦幅をも
って特定される。なお、この眼球存在領域特定処理は、
特願平２−２９９９４７号に詳しい。ステップ５０〜６
０が発明の眼球存在領域特定手段を構成する。
【００１５】次にステップ７０において、上に特定され
た眼球存在領域の座標が、左上の座標（Ｘ1N，Ｙ1N）、
および右下の座標（Ｘ2N，Ｙ2N）として記憶された後、
ステップ８０で、眼球存在領域特定カウンタＮが１０を
越えているかどうかチェックされる。Ｎが１０以下の場
合には、ステップ１２０へ進んでカウンタＮがカウント
アップされ、以降、Ｎが１０を越えるまでステップ１０
〜７０が繰り返される。
た眼球存在領域の座標が、左上の座標（Ｘ1N，Ｙ1N）、
および右下の座標（Ｘ2N，Ｙ2N）として記憶された後、
ステップ８０で、眼球存在領域特定カウンタＮが１０を
越えているかどうかチェックされる。Ｎが１０以下の場
合には、ステップ１２０へ進んでカウンタＮがカウント
アップされ、以降、Ｎが１０を越えるまでステップ１０
〜７０が繰り返される。
【００１６】そして、眼球存在領域の特定が１０回を越
えた後は、ステップ９０に進んで下式により眼球の存在
領域の平均位置が算出される。 Ｘ1ave＝ΣＸ1N／Ｎ Ｙ1ave＝ΣＹ1N／Ｎ Ｘ2ave＝ΣＸ2N／Ｎ Ｙ2ave＝ΣＹ2N／Ｎ この後ステップ１００で，車両の走行速度が計測確認さ
れ、この走行速度に応じてステップ１１０において眼球
検索領域が設定される。なお、ステップ９０が発明の平
均位置算出手段を構成している。
えた後は、ステップ９０に進んで下式により眼球の存在
領域の平均位置が算出される。 Ｘ1ave＝ΣＸ1N／Ｎ Ｙ1ave＝ΣＹ1N／Ｎ Ｘ2ave＝ΣＸ2N／Ｎ Ｙ2ave＝ΣＹ2N／Ｎ この後ステップ１００で，車両の走行速度が計測確認さ
れ、この走行速度に応じてステップ１１０において眼球
検索領域が設定される。なお、ステップ９０が発明の平
均位置算出手段を構成している。
【００１７】ここで、図５は車両走行実験による画像内
ウインドウ毎の眼球の存在率データを示す。ウィンドウ
Ａが眼球存在平均領域であり、他のウィンドウＢ〜Ｉは
ウィンドウＡの横の長さをｘ，縦の長さをｙとして、そ
の半分の長さずつ８方向にそれぞれ移動させたものであ
る。上にウィンドウの位置を示し、下の棒グラフが被験
者２名の一般道路と高速道路走行時の眼球のウィンドウ
内の存在率％を示している。
ウインドウ毎の眼球の存在率データを示す。ウィンドウ
Ａが眼球存在平均領域であり、他のウィンドウＢ〜Ｉは
ウィンドウＡの横の長さをｘ，縦の長さをｙとして、そ
の半分の長さずつ８方向にそれぞれ移動させたものであ
る。上にウィンドウの位置を示し、下の棒グラフが被験
者２名の一般道路と高速道路走行時の眼球のウィンドウ
内の存在率％を示している。
【００１８】これによれば、高速道路走行時はウィンド
ウＡとウィンドウＣを合わせた領域、一般道路走行時は
ウィンドウＡ、Ｂ、Ｃ、およびＥを合わせた領域を眼球
検索領域とすれば、実用上充分であることがわかる。な
お、図では高速道走行時のウィンドウＢ、Ｄ、Ｅ、およ
びＦ内の眼球存在率が高いが、眼球検索領域をずらしウ
ィンドウ数を増やして確認したところ、ウィンドウＢ、
Ｄ、Ｅ、およびＦ内における眼球位置は、専らウィンド
ウＡと重なった領域に存在し、重なっていない領域には
存在しなかった。
ウＡとウィンドウＣを合わせた領域、一般道路走行時は
ウィンドウＡ、Ｂ、Ｃ、およびＥを合わせた領域を眼球
検索領域とすれば、実用上充分であることがわかる。な
お、図では高速道走行時のウィンドウＢ、Ｄ、Ｅ、およ
びＦ内の眼球存在率が高いが、眼球検索領域をずらしウ
ィンドウ数を増やして確認したところ、ウィンドウＢ、
Ｄ、Ｅ、およびＦ内における眼球位置は、専らウィンド
ウＡと重なった領域に存在し、重なっていない領域には
存在しなかった。
【００１９】このような走行実験による知見に基づい
て、ステップ１１０では、運転者の左眼球検索の場合、
左上の座標を（Ｘ1L，Ｙ1L）、右下の座標を（Ｘ2L，Ｙ
2L）とする眼球検索領域が次式により設定される。車両
速度が６０ｋｍ／ｈ未満の場合、 Ｘ1L＝Ｘ1ave−（Ｘ2ave−Ｘ1ave）／２ Ｙ1L＝Ｙ1ave−（Ｙ2ave−Ｙ1ave）／２ Ｘ2L＝Ｘ2ave Ｙ2L＝Ｙ2ave これにより、図６に示されるように、眼球存在領域の平
均位置から顔中央寄りおよび上方へのびる範囲が眼球検
索領域となる。
て、ステップ１１０では、運転者の左眼球検索の場合、
左上の座標を（Ｘ1L，Ｙ1L）、右下の座標を（Ｘ2L，Ｙ
2L）とする眼球検索領域が次式により設定される。車両
速度が６０ｋｍ／ｈ未満の場合、 Ｘ1L＝Ｘ1ave−（Ｘ2ave−Ｘ1ave）／２ Ｙ1L＝Ｙ1ave−（Ｙ2ave−Ｙ1ave）／２ Ｘ2L＝Ｘ2ave Ｙ2L＝Ｙ2ave これにより、図６に示されるように、眼球存在領域の平
均位置から顔中央寄りおよび上方へのびる範囲が眼球検
索領域となる。
【００２０】車両速度が６０ｋｍ／ｈ以上の場合には、
眼球の移動範囲が限定されるため、 Ｘ1L＝Ｘ1ave−（Ｘ2ave−Ｘ1ave）／２ Ｙ1L＝Ｙ1ave Ｘ2L＝Ｘ2ave Ｙ2L＝Ｙ2ave とされ、図７のように、眼球存在領域の平均位置から顔
中央寄りへのびる範囲が眼球検索領域となる。ステップ
１００〜１１０が眼球検索領域設定手段を構成してい
る。
眼球の移動範囲が限定されるため、 Ｘ1L＝Ｘ1ave−（Ｘ2ave−Ｘ1ave）／２ Ｙ1L＝Ｙ1ave Ｘ2L＝Ｘ2ave Ｙ2L＝Ｙ2ave とされ、図７のように、眼球存在領域の平均位置から顔
中央寄りへのびる範囲が眼球検索領域となる。ステップ
１００〜１１０が眼球検索領域設定手段を構成してい
る。
【００２１】ステップ１３０〜１５０では、ステップ１
０〜３０までと同様の処理が行なわれ、前回と今回の画
像撮影の間にドアの開閉やシート状態操作があった場合
には、ステップ４０へ進み、眼球存在領域特定カウンタ
Ｎを１にリセットしたあと、ステップ５０以降の処理へ
戻り、それらがない場合にはステップ１６０へ進む。な
お、ステップ１４０、１５０〜４０、およびステップ２
０〜４０が発明の第２の再駆動手段を構成している。
０〜３０までと同様の処理が行なわれ、前回と今回の画
像撮影の間にドアの開閉やシート状態操作があった場合
には、ステップ４０へ進み、眼球存在領域特定カウンタ
Ｎを１にリセットしたあと、ステップ５０以降の処理へ
戻り、それらがない場合にはステップ１６０へ進む。な
お、ステップ１４０、１５０〜４０、およびステップ２
０〜４０が発明の第２の再駆動手段を構成している。
【００２２】ステップ１６０では、虹彩検出回路におい
て、上記で設定した眼球検索領域の中で眼球検出処理が
行なわれる。この処理は先に提案した特願平２−４０２
５１２号に説明した虹彩検出処理と同じであるから省略
する。ここで虹彩が検出され開眼状態と判定された場合
を、本発明では眼球が検出されたものとする。ステップ
１６０が発明の検出手段を構成している。
て、上記で設定した眼球検索領域の中で眼球検出処理が
行なわれる。この処理は先に提案した特願平２−４０２
５１２号に説明した虹彩検出処理と同じであるから省略
する。ここで虹彩が検出され開眼状態と判定された場合
を、本発明では眼球が検出されたものとする。ステップ
１６０が発明の検出手段を構成している。
【００２３】ステップ１７０で、この眼球検出ができた
か否かがチェックされ、検出できたと判定された場合に
は、ステップ１８０で眼球不検出カウンタＭを０にリセ
ットした後、ステップ１３０へ戻り、次の画像撮影に移
る。また、眼球検出ができなかったと判定されたとき
は、この眼球不検出カウンタＭをカウントアップし、ス
テップ２００において、Ｍが２０回を越えたか否かがチ
ェックされる。Ｍが２０を越えていない間はステップ１
３０の画像撮影以降における眼球検索領域の中での検出
が繰り返される。Ｍが２０を越えた場合には、ステップ
１０へ戻り再度初めから顔画像全体からの検出処理が行
なわれる。上記のステップ１７０〜２００が発明の第１
の再駆動手段を構成している。なお、閉眼状態の場合、
ステップ１６０では眼球不検出となるが、居眠りや瞬き
程度の閉眼時間では、このステップ１７０〜２００にお
ける連続２０回のカウントアップには至らず、ステップ
１０からの処理に戻ることはない。
か否かがチェックされ、検出できたと判定された場合に
は、ステップ１８０で眼球不検出カウンタＭを０にリセ
ットした後、ステップ１３０へ戻り、次の画像撮影に移
る。また、眼球検出ができなかったと判定されたとき
は、この眼球不検出カウンタＭをカウントアップし、ス
テップ２００において、Ｍが２０回を越えたか否かがチ
ェックされる。Ｍが２０を越えていない間はステップ１
３０の画像撮影以降における眼球検索領域の中での検出
が繰り返される。Ｍが２０を越えた場合には、ステップ
１０へ戻り再度初めから顔画像全体からの検出処理が行
なわれる。上記のステップ１７０〜２００が発明の第１
の再駆動手段を構成している。なお、閉眼状態の場合、
ステップ１６０では眼球不検出となるが、居眠りや瞬き
程度の閉眼時間では、このステップ１７０〜２００にお
ける連続２０回のカウントアップには至らず、ステップ
１０からの処理に戻ることはない。
【００２４】この実施例は以上のように構成され、車両
走行実験から得られた運転中の眼球移動範囲に方向性が
あるという特性を利用して、眼球存在領域の平均位置か
ら眼球検索領域を設定し、眼球が検出されている間はそ
の内部のみにおいて、眼球検索を行うこととしたため、
眼球検索時間が短縮されるとともに検出精度が向上す
る。その際、とくに眼球検索領域を走行速度に応じて可
変とし、通常速度のときは広く、高速時は狭く設定する
ようにしたから、常に最適で必要充分な眼球検索範囲が
得られる。
走行実験から得られた運転中の眼球移動範囲に方向性が
あるという特性を利用して、眼球存在領域の平均位置か
ら眼球検索領域を設定し、眼球が検出されている間はそ
の内部のみにおいて、眼球検索を行うこととしたため、
眼球検索時間が短縮されるとともに検出精度が向上す
る。その際、とくに眼球検索領域を走行速度に応じて可
変とし、通常速度のときは広く、高速時は狭く設定する
ようにしたから、常に最適で必要充分な眼球検索範囲が
得られる。
【００２５】さらには、所定回以上眼球検出できない場
合にだけ、眼球検索領域を再設定することで、短時間の
閉眼状態やわき見時には不必要な再設定をすることがな
い一方、ドアの開閉時やシート状態操作時には、直ちに
眼球検索領域の再設定を行なうようにしたから、運転者
の交替や、運転開始初期の運転姿勢の変化に速やかに対
応することができる効果を有する。
合にだけ、眼球検索領域を再設定することで、短時間の
閉眼状態やわき見時には不必要な再設定をすることがな
い一方、ドアの開閉時やシート状態操作時には、直ちに
眼球検索領域の再設定を行なうようにしたから、運転者
の交替や、運転開始初期の運転姿勢の変化に速やかに対
応することができる効果を有する。
【００２６】図８には、ステップ９０における眼球存在
領域平均位置算出の他の例が示される。ここでは、統計
処理により平均位置を求めるために、ステップ８０での
判定値をＮ＝１００とし、ステップ７０で記憶された眼
球存在領域のデータが１００個あるものとする。先ずス
テップ５００において、眼球存在領域の横方向の長さの
平均Ｗave と、縦方向の長さの平均Ｈave が算出され
る。次にステップ５１０〜５２０で、Ｘ1NとＸ2Nの平均
値Ｘ1 ｔave 、Ｘ2 ｔave と標準偏差ＳX1、ＳX2が算出
されるとともに、ステップ５３０〜５４０で、Ｙ1NとＹ
2Nの平均値Ｙ1 ｔave 、Ｙ2 ｔaveと標準偏差ＳY1、ＳY
2が算出される。
領域平均位置算出の他の例が示される。ここでは、統計
処理により平均位置を求めるために、ステップ８０での
判定値をＮ＝１００とし、ステップ７０で記憶された眼
球存在領域のデータが１００個あるものとする。先ずス
テップ５００において、眼球存在領域の横方向の長さの
平均Ｗave と、縦方向の長さの平均Ｈave が算出され
る。次にステップ５１０〜５２０で、Ｘ1NとＸ2Nの平均
値Ｘ1 ｔave 、Ｘ2 ｔave と標準偏差ＳX1、ＳX2が算出
されるとともに、ステップ５３０〜５４０で、Ｙ1NとＹ
2Nの平均値Ｙ1 ｔave 、Ｙ2 ｔaveと標準偏差ＳY1、ＳY
2が算出される。
【００２７】ステップ５５０で、カウンタＮを１、ＮX1
sum を０にセットし、ステップ５６０において、Ｘ1Nが
平均値Ｘ1 ｔave を中心とした標準偏差ＳX1内にあるか
否かが判別される。標準偏差ＳX1内にある場合は、ステ
ップ５７０でそのＸ1NをＸ1sumに累積し、カウンタＮX1
sum をカウントアップして、ステップ５８０に進む。標
準偏差内にないときには、ステップ５７０をスキップし
てステップ５８０に進む。
sum を０にセットし、ステップ５６０において、Ｘ1Nが
平均値Ｘ1 ｔave を中心とした標準偏差ＳX1内にあるか
否かが判別される。標準偏差ＳX1内にある場合は、ステ
ップ５７０でそのＸ1NをＸ1sumに累積し、カウンタＮX1
sum をカウントアップして、ステップ５８０に進む。標
準偏差内にないときには、ステップ５７０をスキップし
てステップ５８０に進む。
【００２８】ステップ５８０では、全てのＸ1Nに関して
処理を終了したかが確認され、終了していない場合は、
ステップ５９０でＮをカウントアップして、ステップ５
６０に戻る。以上のように、ステップ５５０〜５９０の
処理によって、先にステップ７０で記憶された全ての眼
球存在領域の左上のＸ座標Ｘ1Nのうち、標準偏差ＳX1内
にあるものの累積値Ｘ1sumと、累積数ＮX1sum が得られ
るから、次のステップ６００において、これらの平均値
Ｘ1 ｓave が算出される。
処理を終了したかが確認され、終了していない場合は、
ステップ５９０でＮをカウントアップして、ステップ５
６０に戻る。以上のように、ステップ５５０〜５９０の
処理によって、先にステップ７０で記憶された全ての眼
球存在領域の左上のＸ座標Ｘ1Nのうち、標準偏差ＳX1内
にあるものの累積値Ｘ1sumと、累積数ＮX1sum が得られ
るから、次のステップ６００において、これらの平均値
Ｘ1 ｓave が算出される。
【００２９】以下、同様の処理を行い、ステップ６１０
において、他の平均値Ｘ2 ｓave 、Ｙ1 ｓave 、Ｙ2 ｓ
ave が算出される。最後に、ステップ６２０〜６３０
で、以上のようにして算出された眼球存在領域の左右端
の平均値Ｘ1 ｓave とＸ2 ｓave の中点と、上下端の平
均値Ｙ1 ｓave 、Ｙ2 ｓave 中点から、横幅の平均Ｗav
e の半分、縦方向の高さの平均Ｈaveの半分を各々加減
することにより、眼球の存在領域の平均位置の左上の座
標（Ｘ1ave、Ｙ1ave）右下座標（Ｘ2ave、Ｙ2ave）が算
出される。
において、他の平均値Ｘ2 ｓave 、Ｙ1 ｓave 、Ｙ2 ｓ
ave が算出される。最後に、ステップ６２０〜６３０
で、以上のようにして算出された眼球存在領域の左右端
の平均値Ｘ1 ｓave とＸ2 ｓave の中点と、上下端の平
均値Ｙ1 ｓave 、Ｙ2 ｓave 中点から、横幅の平均Ｗav
e の半分、縦方向の高さの平均Ｈaveの半分を各々加減
することにより、眼球の存在領域の平均位置の左上の座
標（Ｘ1ave、Ｙ1ave）右下座標（Ｘ2ave、Ｙ2ave）が算
出される。
【００３０】図９には、眼球検索領域設定の他の例を示
す。先ずステップ７００において、次式によりＸ1L、Ｘ
2L、Ｙ2Lが算出される。 Ｘ1L＝Ｘ1ave−（Ｘ2ave−Ｘ1ave）／２ Ｘ2L＝Ｘ2ave Ｙ2L＝Ｙ2ave
す。先ずステップ７００において、次式によりＸ1L、Ｘ
2L、Ｙ2Lが算出される。 Ｘ1L＝Ｘ1ave−（Ｘ2ave−Ｘ1ave）／２ Ｘ2L＝Ｘ2ave Ｙ2L＝Ｙ2ave
【００３１】次にステップ７１０において、車両の走行
速度Ｖが４０ｋｍ／ｈ未満か否かがチェックされ、４０
ｋｍ／ｈ未満の場合は、ステップ７２０に進み、次式に
よりＹ1Lが算出されて、最も広い眼球検索領域が設定さ
れる。 Ｙ1L＝Ｙ1ave−（Ｙ2ave−Ｙ1ave）／２
速度Ｖが４０ｋｍ／ｈ未満か否かがチェックされ、４０
ｋｍ／ｈ未満の場合は、ステップ７２０に進み、次式に
よりＹ1Lが算出されて、最も広い眼球検索領域が設定さ
れる。 Ｙ1L＝Ｙ1ave−（Ｙ2ave−Ｙ1ave）／２
【００３２】車両の走行速度Ｖが４０ｋｍ／ｈ以上の場
合には、ステップ７３０に進んで、走行速度Ｖが８０ｋ
ｍ／ｈより大きいか否かがチェックされる。８０ｋｍ／
ｈより大きいときには、次式でＹ1Lが算出され、最も狭
い眼球検索領域とされる。 Ｙ1L＝Ｙ1ave
合には、ステップ７３０に進んで、走行速度Ｖが８０ｋ
ｍ／ｈより大きいか否かがチェックされる。８０ｋｍ／
ｈより大きいときには、次式でＹ1Lが算出され、最も狭
い眼球検索領域とされる。 Ｙ1L＝Ｙ1ave
【００３３】また、走行速度Ｖが８０ｋｍ／ｈ未満の場
合、したがって４０〜８０ｋｍ／ｈの間では、次式で算
出されたＹ1Lにより眼球検索領域が設定される。 Ｙ1L＝Ｙ1ave−（Ｙ2ave−Ｙ1ave）×（８０−Ｖ）／８
０ この式により、４０〜８０ｋｍ／ｈでは速度が増加する
に従って、一次的に眼球検索領域が縮小されていく。こ
れにより、眼球検索領域が走行速度にしたがって連続的
に可変とされ、高速、低速走行の２段階に分けたものに
比べより一層の検出時間の短縮が図れる利点がある。
合、したがって４０〜８０ｋｍ／ｈの間では、次式で算
出されたＹ1Lにより眼球検索領域が設定される。 Ｙ1L＝Ｙ1ave−（Ｙ2ave−Ｙ1ave）×（８０−Ｖ）／８
０ この式により、４０〜８０ｋｍ／ｈでは速度が増加する
に従って、一次的に眼球検索領域が縮小されていく。こ
れにより、眼球検索領域が走行速度にしたがって連続的
に可変とされ、高速、低速走行の２段階に分けたものに
比べより一層の検出時間の短縮が図れる利点がある。
【００３４】
【発明の効果】以上のとおり、本発明は、実験より得ら
れた運転中の眼球移動範囲に方向性があるという特性を
利用して、所定回特定された複数の眼球存在領域の平均
位置を基準にして所定の範囲を眼球検索領域とし、眼球
位置が検出される間はこの範囲内だけで眼球検索を行う
ようにしたから、眼球検出時間が短縮されるとともに検
出精度が向上するという効果が得られる。とくに、眼球
検索領域を走行速度によって異ならせ、高速時は比較的
狭い眼球検索領域としたものでは、走行速度にかかわら
ず、常に必要十分な最適範囲の検索が行なわれる。さら
に走行速度にしたがって連続的に可変としたものでは、
より一層の検出時間の短縮が図れる。
れた運転中の眼球移動範囲に方向性があるという特性を
利用して、所定回特定された複数の眼球存在領域の平均
位置を基準にして所定の範囲を眼球検索領域とし、眼球
位置が検出される間はこの範囲内だけで眼球検索を行う
ようにしたから、眼球検出時間が短縮されるとともに検
出精度が向上するという効果が得られる。とくに、眼球
検索領域を走行速度によって異ならせ、高速時は比較的
狭い眼球検索領域としたものでは、走行速度にかかわら
ず、常に必要十分な最適範囲の検索が行なわれる。さら
に走行速度にしたがって連続的に可変としたものでは、
より一層の検出時間の短縮が図れる。
【００３５】また、所定回数以上眼球位置が検出できな
い場合にだけ、眼球検索領域を再設定することにより、
定常的に眼球位置がはずれてしまった場合には自動的に
最初から眼球検索領域が再設定される一方、通常状態で
の短い閉眼状態や横方向確認のための瞬間的な動きによ
って不必要な再設定が防止されるという効果が得られ
る。さらにまた、検出対象の基礎位置変動を検知する手
段を備えることにより、運転者の交替や運転姿勢変更時
には、速やかに再設定され、常に最適の眼球検索領域が
得られる。
い場合にだけ、眼球検索領域を再設定することにより、
定常的に眼球位置がはずれてしまった場合には自動的に
最初から眼球検索領域が再設定される一方、通常状態で
の短い閉眼状態や横方向確認のための瞬間的な動きによ
って不必要な再設定が防止されるという効果が得られ
る。さらにまた、検出対象の基礎位置変動を検知する手
段を備えることにより、運転者の交替や運転姿勢変更時
には、速やかに再設定され、常に最適の眼球検索領域が
得られる。
【図１】本発明の構成を示すブロック図である。
【図２】本発明の実施例を示すブロック図である。
【図３】画像座標系を示す説明図である。
【図４】実施例の動作を示すフローチャートである。
【図５】画像内ウインドウの眼球存在率データを示す図
である。
である。
【図６】眼球存在領域と眼球検索領域の関係を示す説明
図である。
図である。
【図７】眼球存在領域と眼球検索領域の関係を示す説明
図である。
図である。
【図８】眼球存在領域の平均位置算出の他の例を示すフ
ローチャートである。
ローチャートである。
【図９】眼球検索領域設定の他の例を示すフローチャー
トである。
トである。
１ 発光手段 ２ 画像入力手段 ３ 眼球存在領域特定手段 ４ 記憶手段 ５ 眼球検索領域設定手段 ６ 検出手段７ 平均位置算出手段 ３００ 赤外線ストロボ ３０２ ＣＣＤカメラ ３０４ タイミング指令回路 ３０６ Ａ／Ｄ変換器 ３０８ 画像メモリ ３１０ 眼球検索範囲規定回路 ３１２ 虹彩検出回路 ３１４ 居眠り判定回路
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) G01B 11/00 - 11/30 102 B60K 28/00 G06T 1/00 G06T 7/00 G06T 7/60
Claims (7)
- 【請求項１】 車両運転者の顔面に向けて照射される発
光手段と、該照射に同期して運転者の顔画像を濃度階調
情報として入力する画像入力手段と、該画像入力手段に
より入力された画像を走査し眼球存在領域を定める眼球
存在領域特定手段と、特定された眼球存在領域を記憶す
る記憶手段と、所定回特定された複数の前記眼球存在領
域の平均位置を算出する平均位置算出手段と、該平均位
置を基準として所定の範囲を眼球検索領域として設定す
る眼球検索領域設定手段と、前記眼球検索領域内で運転
者の眼球位置を検出する検出手段とを有することを特徴
とする車両運転者の眼球位置検出装置。 - 【請求項２】 前記眼球検索領域設定手段は、車両の走
行速度を検出する手段を有し、前記所定の範囲を前記走
行速度に応じて可変に設定するように構成されたことを
特徴とする請求項１記載の車両運転者の眼球位置検出装
置。 - 【請求項３】 前記所定の範囲を、前記走行速度が高速
のときには小さく、低速のときには大きく設定すること
を特徴とする請求項２記載の車両運転者の眼球位置検出
装置。 - 【請求項４】 前記所定範囲が、前記眼球存在領域の平
均位置から、顔画像中央寄りまたは上方に拡大させるも
のであることを特徴とする請求項１、２または３記載の
車両運転者の眼球位置検出装置。 - 【請求項５】 車両運転者の顔面に向けて照射される発
光手段と、該照射に同期して運転者の顔画像を濃度階調
情報として入力する画像入力手段と、該画像入力手段に
より入力された画像を走査し眼球存在領域を定める眼球
存在領域特定手段と、特定された眼球存在領域を記憶す
る記憶手段と、所定回特定された複数の前記眼球存在領
域の平均位置を算出する平均位置算出手段と、該平均位
置を基準として所定の範囲を眼球検索領域として設定す
る眼球検索領域設定手段と、前記眼球検索領域内で運転
者の眼球位置を検出する検出手段と、前記眼球検索領域
内で眼球位置不検出が所定回数繰り返されたときには前
記眼球存在領域特定手段および平均位置算出手段を再び
作動させる第１の再駆動手段とを有することを特徴とす
る車両運転者の眼球位置検出装置。 - 【請求項６】 車両運転者の顔面に向けて照射される発
光手段と、該照射に同期して運転者の顔画像を濃度階調
情報として入力する画像入力手段と、該画像入力手段に
より入力された画像を走査し眼球存在領域を定める眼球
存在領域特定手段と、特定された眼球存在領域を記憶す
る記憶手段と、所定回特定された複数の前記眼球存在領
域の平均位置を算出する平均位置算出手段と、該平均位
置を基準として所定の範囲を眼球検索領域として設定す
る眼球検索領域設定手段と、前記眼球検索領域内で運転
者の眼球位置を検出する検出手段と、検出対象の基礎位
置変動を検知する基礎検知手段と、検出対象の基礎位置
変動が検知されたときには前記眼球存在領域特定手段お
よび平均位置算出手段を再び作動させる第２の再駆動手
段とを有することを特徴とする車両運転者の眼球位置検
出装置。 - 【請求項７】 前記基礎検知手段が、車両のドアの開閉
検知装置またはシート操作検知装置であることを特徴と
する請求項６記載の車両運転者の眼球位置検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04091715A JP3109230B2 (ja) | 1992-03-17 | 1992-03-17 | 車両運転者の眼球位置検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04091715A JP3109230B2 (ja) | 1992-03-17 | 1992-03-17 | 車両運転者の眼球位置検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05264225A JPH05264225A (ja) | 1993-10-12 |
| JP3109230B2 true JP3109230B2 (ja) | 2000-11-13 |
Family
ID=14034211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04091715A Expired - Fee Related JP3109230B2 (ja) | 1992-03-17 | 1992-03-17 | 車両運転者の眼球位置検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3109230B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10272961A (ja) * | 1997-03-31 | 1998-10-13 | Nissan Diesel Motor Co Ltd | 居眠り警報装置 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4196458B2 (ja) * | 1998-12-11 | 2008-12-17 | 日産自動車株式会社 | 車両用警報装置 |
| SE524003C2 (sv) * | 2002-11-21 | 2004-06-15 | Tobii Technology Ab | Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel |
| JP5073529B2 (ja) * | 2008-02-22 | 2012-11-14 | 株式会社神戸製鋼所 | 表面形状測定装置，表面形状測定方法 |
-
1992
- 1992-03-17 JP JP04091715A patent/JP3109230B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10272961A (ja) * | 1997-03-31 | 1998-10-13 | Nissan Diesel Motor Co Ltd | 居眠り警報装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH05264225A (ja) | 1993-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5218387A (en) | Eye position detecting apparatus | |
| JP4060159B2 (ja) | 車両周辺監視装置 | |
| US7822213B2 (en) | System and method for estimating speaker's location in non-stationary noise environment | |
| JP3922245B2 (ja) | 車両周辺監視装置および方法 | |
| JP3987048B2 (ja) | 車両周辺監視装置 | |
| JP3781370B2 (ja) | 移動装置 | |
| KR101441333B1 (ko) | 인체 부분 검출 장치 및 그 방법 | |
| US20180039852A1 (en) | Imaging apparatus and method, operation apparatus and method, and program and recording medium | |
| JP3636927B2 (ja) | 顔画像処理装置 | |
| JPH0944685A (ja) | 顔画像処理装置 | |
| JP2000073657A (ja) | 自動ドアシステム | |
| JP2008071172A (ja) | 顔認証装置、顔認証方法および入退場管理装置 | |
| KR20140074219A (ko) | 수직 대칭을 이용한 대상물 위치 지정 | |
| JP3312562B2 (ja) | 居眠り状態検出装置 | |
| JP3109230B2 (ja) | 車両運転者の眼球位置検出装置 | |
| JP4739699B2 (ja) | ナンバープレート認識装置及び方法 | |
| JPH04174309A (ja) | 運転車の眼位置検出装置及び状態検出装置 | |
| KR102565897B1 (ko) | 주차장에 진입하는 특수차량의 정보를 인공지능에 의해 인식하여 주차부스로 안내하는 시스템 | |
| JP3779229B2 (ja) | 識別方法、識別装置、及び交通制御システム | |
| CN115995142A (zh) | 基于可穿戴装置的驾驶训练提醒方法及可穿戴装置 | |
| JP2000046546A (ja) | 標識の認識及び測位装置 | |
| JPH11175883A (ja) | 交通量計測装置および信号機制御装置 | |
| JP3939626B2 (ja) | 車両周辺監視装置 | |
| JP2667885B2 (ja) | 移動物体の自動追尾装置 | |
| JP4647648B2 (ja) | 車両周辺監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20000815 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080914 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090914 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |