JPH0732907A - 意識レベル検出装置 - Google Patents

意識レベル検出装置

Info

Publication number
JPH0732907A
JPH0732907A JP17673693A JP17673693A JPH0732907A JP H0732907 A JPH0732907 A JP H0732907A JP 17673693 A JP17673693 A JP 17673693A JP 17673693 A JP17673693 A JP 17673693A JP H0732907 A JPH0732907 A JP H0732907A
Authority
JP
Japan
Prior art keywords
driver
pupil
infrared light
amount
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP17673693A
Other languages
English (en)
Inventor
Junichi Fukuda
準一 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP17673693A priority Critical patent/JPH0732907A/ja
Publication of JPH0732907A publication Critical patent/JPH0732907A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)

Abstract

(57)【要約】 【目的】 運転者の目に入射する赤外光を適当に調整
し、運転者の目へ悪影響を与えることなく、かつどのよ
うな走行環境下でも安定した画像を得て確実に運転者の
意識レベルを検出する。 【構成】 TVカメラ10で赤外ストロボ等の赤外光照
射部24により赤外光が照射された運転者の顔部を撮影
する。得られた顔画像は顔画像処理部12に供給され2
値化される。目情報抽出部14にて運転者の顔画像から
瞳孔に対応する領域を抽出する。抽出された目情報は意
識低下、居眠り判定部16に供給され、瞳孔の大きさや
瞳孔の中心位置により運転者の意識レベルを判定する。
一方、目情報抽出部14からの瞳孔の大きさの情報は瞳
孔の開閉度判定・赤外光照射量決定部20に供給され、
瞳孔の開閉度を評価し、この評価結果に応じて赤外光の
照射量が決定され、赤外光照射部24に供給される。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は意識レベル検出装置、特
にカメラで撮影した運転者の眼部から意識レベルを検出
する装置に関する。
【0002】
【従来の技術】従来より、運転者の顔画像をカメラで撮
影し、得られた画像から眼部を抽出して運転者の眼の動
きをモニタすることにより、居眠り状態やわき見状態を
検出する装置が提案されている。
【0003】例えば、特開平4−24503号公報に開
示された眼位置検出装置では、赤外ストロボからの赤外
光で照射された運転者の顔をTVカメラで撮影し、眼の
存在領域内の黒領域(瞳孔)を検出する構成が提案され
ている。
【0004】ここで、運転者の顔に赤外光を照射するの
は、夜間時においても撮影する必要があるため、及び可
視光を使用すると運転者がまぶしく感じ、運転に支障を
来すためである。また、昼間においても可視光照射より
も赤外光照射の方が安定した画像が得られるためであ
る。
【0005】
【発明が解決しようとする課題】しかしながら、運転者
の目は赤外光を感知しないため、自ら目に入射する赤外
光量の調整を行うことができない。従って、特に夜間に
おいては周囲が暗いために目の瞳孔が開いているため、
昼間と同様の光量の赤外光を照射することは好ましくな
い。
【0006】本発明は上記従来技術の有する課題に鑑み
なされたものであり、その目的は、運転者の目に入射す
る赤外光を適当に調整し、運転者の目へ悪影響を与える
ことなく、かつどのような走行環境下でも安定した画像
を得て確実に意識レベルを検出することができる意識レ
ベル検出装置を提供することにある。
【0007】
【課題を解決するための手段】上記目的を達成するため
に、請求項1記載の意識レベル検出装置は、赤外光を照
射した運転者の顔をカメラで撮影し、得られた画像中の
眼部の状態より運転者の意識レベルを検出する意識レベ
ル検出装置であって、画像から運転者の瞳孔の大きさを
検出する瞳孔検出手段と、検出された瞳孔の大きさに応
じて赤外光の照射量を増減する照射量調整手段とを有す
ることを特徴とする。
【0008】また、上記目的を達成するために、請求項
2記載の意識レベル検出装置は、赤外光を照射した運転
者の顔をカメラで撮影し、得られた画像中の眼部の状態
より運転者の意識レベルを検出する意識レベル検出装置
であって、運転者の眼部に入射する可視光量を検出する
光量検出手段と、検出された可視光量に応じて赤外光の
照射量を増減する照射量調整手段とを有することを特徴
とする。
【0009】また、上記目的を達成するために、請求項
3記載の意識レベル検出装置は、請求項2記載の意識レ
ベル検出装置において、前記光量検出手段は、運転者の
眼部近傍に設けられた照度センサから構成されることを
特徴とする。
【0010】さらに、上記目的を達成するために、請求
項4記載の意識レベル検出装置は、請求項2記載の意識
レベル検出装置において、前記光量検出手段は、車両周
囲の明るさを検出する照度センサから構成されることを
特徴とする。
【0011】
【作用】請求項1記載の意識レベル検出装置において
は、直接的に瞳孔の大きさを得られた画像から検出し、
この瞳孔の大きさに応じて照射赤外光の照射量を増減す
る。すなわち、瞳孔が大きい(開いている)場合には照
射量を減らし、瞳孔が小さい(閉じている)場合には照
射量を増やして目への悪影響を防止する。この構成によ
れば、従来よりあるカメラや画像処理装置をそのまま用
いて瞳孔の大きさを直接的に把握することができるの
で、装置構成を複雑化することなく、かつ確実に赤外光
を最適値に調整できる。
【0012】請求項2記載の意識レベル検出装置におい
ては、瞳孔の大きさを直接検出するのでなく、目に入射
する可視光量を検出する。可視光量が大きい場合には、
瞳孔は小さくなり、可視光量が小さい場合には、瞳孔は
大きくなる。従って、可視光量の大きさにより、関節的
に瞳孔の大きさを評価することができ、可視光量が大き
い場合には照射光量を増やし、可視光量が小さい場合に
は照射光量を減らして目への悪影響を防止する。
【0013】請求項3記載の意識レベル検出装置では、
目に入射する可視光量を検出する手段として、運転者の
眼部近傍に設けた照度センサが用いられる。眼部近傍に
照度センサを設けるには、眼鏡等に照度センサを取り付
けることで実現できる。
【0014】請求項4記載の意識レベル検出装置では、
目に入射する可視光量を、車両周囲の明るさにより間接
的に評価する。車両によっては、車両周囲の明るさを検
出し、薄暮時に自動的にライトをオンするシステムが搭
載されているが、このシステムに用いられる照度センサ
を利用して赤外光の照射量を調整する。
【0015】
【実施例】以下、図面を用いながら本発明の意識レベル
検出装置の好適な実施例について説明する。
【0016】第1実施例 図1には本実施例の構成ブロック図が示されている。T
Vカメラ10が車両の所定位置に設けられ、赤外ストロ
ボ等の赤外光照射部24により赤外光が照射された運転
者の顔部を撮影する。得られた顔画像は顔画像処理部1
2に供給され、デジタル信号に変換された後、白あるい
は黒レベルに2値化される。そして、目情報抽出部14
にて運転者の顔画像から眼部領域のウインドウを設定
し、このウインドウ内の黒レベル、すなわち瞳孔に対応
する領域を抽出する。抽出された目情報は意識低下、居
眠り判定部16に供給され、瞳孔の大きさや瞳孔の中心
位置により運転者の意識レベルを判定し、警報・車両制
御部18に判定結果を出力する。警報・車両制御部18
では、運転者の意識向上を促すために警報を発したり、
自動的にブレーキを作動させる等して、危険を未然に防
止する。
【0017】一方、本実施例では、目情報抽出部14か
らの瞳孔の大きさの情報は瞳孔の開閉度判定・赤外光照
射量決定部20に供給される。決定部20では、瞳孔の
開閉度を評価し、この評価結果に応じて赤外光の照射量
が決定される。そして、決定された照射量の情報が赤外
光照射量制御部22に供給され、制御信号が生成されて
赤外光照射部24に供給される。
【0018】図2は本実施例の動作を示すフローチャー
トである。まず、赤外光照射量制御部22内のメモリに
所定の赤外光照射量を初期設定値として格納する(S1
01)そして、この初期設定赤外光で運転者の顔を照射
してカメラ10で顔画像を入力し(S102)、目情報
抽出部14で瞳孔の大きさを検出する(S103)。瞳
孔の大きさは、眼部画像の黒レベル画素数を計測すれば
よい。瞳孔の大きさと赤外光照射量が安全照射領域内で
あり、かつ、最大照射範囲内であるか否かが判定部20
にて判定される(S104)。図3には瞳孔の大きさと
赤外光照射量との関係が示されており、瞳孔が大きくな
ると、悪影響を与えないために赤外光照射量は減少す
る。一方、余り照射量が小さいと、明瞭な画像を得るこ
とが困難となる。図中斜線部分が前記条件を満たす適正
領域である。判定部20は図3の関係をマップとして記
憶しており、現在の赤外光照射量と瞳孔の大きさがどの
領域に該当するのかを判定する。適正範囲内である場合
には、現在の赤外光照射量を維持し、そうでない場合に
は、赤外光照射量を瞳孔の大きさに見合った許容範囲内
での最大照射量に変更し(S105)、赤外光照射量メ
モリを更新する。次回の撮影からは、更新された最適の
赤外光照射量で撮影されることになる。
【0019】このように、本実施例では瞳孔の大きさを
得られた画像を処理することにより検出し、赤外光照射
量を決定するので、精度よく赤外光を調整することがで
きる。
【0020】なお、本実施例では図3に示すように瞳孔
の大きさと赤外光照射量との関係を線形的に規定した
が、他の関数形により規定することももちろん可能であ
り、網膜に与える赤外光の影響という生理的な側面から
この関係を規定するのが最適であろう。
【0021】第2実施例 図4には本発明の第2実施例の構成ブロック図が示され
ている。なお、顔画像処理部12、目情報抽出部14、
意識低下・居眠り判定部16は前述した第1実施例と同
様であるので省略している。
【0022】本第2実施例では、可視光量に応じて瞳孔
の大きさが変化することに鑑み、別に可視光の光量を検
出するフォトダイオード等の可視光照度センサ26を設
け、この可視光量に応じて赤外光照射量を調整する。可
視光照度センサ26は目に入射する可視光量を検出すべ
く、運転者の眼部近傍に設けられる。具体的には、図5
の破線領域内が適当であり、眼鏡の縁などに設ければよ
い。可視光照度センサ26で検出された可視光量は電気
信号として赤外光照射量決定部28に供給される。赤外
光照射量決定部28では、可視光量に応じた赤外光量を
決定し、赤外光照射量制御部22に供給する。
【0023】図6には本実施例の動作フローチャートが
示されている。まず、前述した第1実施例と同様に、初
期照射量をメモリに格納する(S201)。そして、こ
の照射量で顔画像を撮影するが、この時の顔付近の可視
光量を照度センサ26で検出する(S202)。検出結
果は赤外光照射量決定部28に供給され、可視光量の所
定時間x秒間(例えば5秒間)の平均値を演算する。平
均値とするのは、車両が走行する環境による外乱(例え
ば木漏れ日)の影響をなくすためである。なお、この演
算量は1秒後に更新され、常に最新の可視光量が算出さ
れる(S203)。そして、算出された平均値と赤外光
照射量が安全領域内で、かつ、最大照射量であるか否か
が判定される(S204)。図7には可視光量の平均値
と赤外光照射量との関係を示しており、可視光照射量が
大きい場合には、瞳孔が閉じているので赤外光照射量は
増大できる。一方、赤外光照射量が小さすぎると、明瞭
な画像が得られない。図中斜線領域が適正範囲である。
可視光量,赤外光照射量が適正範囲内である場合には、
現在の赤外光照射量を維持し、そうでない場合には、赤
外光照射量を可視光量の平均値に見合った許容範囲内で
の最大照射量に変更し(S205)、メモリを更新す
る。次回からは、更新された最適赤外光照射量で撮影さ
れる。
【0024】なお、本実施例における可視光量と赤外光
照射量との関係も、図7に示される線形関係でなく、他
の関数形で規定してもよい。可視光量と瞳孔の大きさの
生理的な関係を考慮して規定するのが最適であろう。
【0025】第3実施例 図8には本発明の第3実施例の構成ブロック図が示され
ている。なお、顔画像処理部12、目情報抽出部14、
意識低下・居眠り判定部16は前述した第1、第2実施
例と同様であるので省略している。
【0026】本第3実施例では、車両周囲の明るさを検
出し、検出された明るさに応じて自動的にライトのオ
ン、オフを制御するシステム(以下、コンライトシステ
ムという)を利用して赤外光照射量を調整するものであ
る。コンライトシステムでは、車両の所定位置に照度セ
ンサ29が設けられ、検出された明るさに基づきコンラ
イトのON/OFFを判定部にて判定する。薄暮時、あ
るいは車両がトンネルに進入した場合にはコンライトを
オンする信号を出力する。本実施例では、このコンライ
トON/OFF判定部からの出力信号を赤外光照射量決
定部32に供給する。赤外光照射量決定部32では、コ
ンライトのON/OFF信号に基づいて赤外光照射量を
決定し、赤外光照射量制御部22に供給する構成であ
る。
【0027】図9には本実施例の動作フローチャートが
示されている。前述したように、コンライトON/OF
F判定部30にて周囲の明るさに応じてコンライトのO
N/OFFが判定され、判定結果が赤外光照射量決定部
32に供給される。赤外光照射量決定部32では、判定
結果がコンライトONか、あるいはOFFかを判定し
(S301)、車両周囲が明るく、コンライトOFFの
場合には、赤外光照射量を所定の「強」にセットする
(S302)。一方、薄暮時、あるいはトンネル進入時
等、コンライトONの場合には、赤外光照射量を所定の
「弱」にセットする(S303)。赤外光照射量制御部
22では、赤外光照射量決定部32からの信号に基づ
き、赤外光照射量を「強」あるいは「弱」の2段階で切
り換えて照射量を調整する。なお、「強」及び「弱」の
レベルは、予め測定されている日中及び夜間の瞳孔の大
きさを考慮し、運転者の目に影響を与えない最大照射量
に設定される。
【0028】本実施例では、車両に既設されているコン
ライトシステムを利用でき、別途顔部近傍に照度センサ
等を設ける必要がないので、コスト低減及び運転者への
負担低減の面で利点がある。
【0029】
【発明の効果】以上説明したように、本発明の意識レベ
ル検出装置では、運転者の目に悪影響を与えることな
く、かつ、明瞭な画像を得ることができるので、画像処
理による運転者の意識レベル判定を確実に行うことがで
きる。
【図面の簡単な説明】
【図1】本発明の第1実施例の構成ブロック図である。
【図2】同実施例の動作フローチャートである。
【図3】同実施例の瞳孔の大きさと赤外光照射量との関
係を示すグラフ図である。
【図4】本発明の第2実施例の構成ブロック図である。
【図5】同実施例の照度センサ取付範囲説明図である。
【図6】同実施例の動作フローチャートである。
【図7】同実施例の可視光照射量と赤外光照射量との関
係を示すグラフ図である。
【図8】本発明の第3実施例の構成ブロック図である。
【図9】同実施例の動作フローチャートである。
【符号の説明】
10 TVカメラ 12 顔画像処理部 14 目情報抽出部 16 意識低下・居眠り判定部 18 警報・車両制御部 20 瞳孔の開閉度判定及び赤外光照射量決定部 22 赤外光照射量制御部 24 赤外光照射部 26 可視光照度センサ 28,32 赤外光照射量決定部 30 コンライトON/OFF判定部

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 赤外光を照射した運転者の顔をカメラで
    撮影し、得られた画像中の眼部の状態より運転者の意識
    レベルを検出する意識レベル検出装置であって、 前記画像から運転者の瞳孔の大きさを検出する瞳孔検出
    手段と、 検出された瞳孔の大きさに応じて赤外光の照射量を増減
    する照射量調整手段と、 を有することを特徴とする意識レベル検出装置。
  2. 【請求項2】 赤外光を照射した運転者の顔をカメラで
    撮影し、得られた画像中の眼部の状態より運転者の意識
    レベルを検出する意識レベル検出装置であって、 運転者の眼部に入射する可視光量を検出する光量検出手
    段と、 検出された可視光量に応じて赤外光の照射量を増減する
    照射量調整手段と、を有することを特徴とする意識レベ
    ル検出装置。
  3. 【請求項3】 請求項2記載の意識レベル検出装置にお
    いて、 前記光量検出手段は、運転者の眼部近傍に設けられた照
    度センサから構成されることを特徴とする意識レベル検
    出装置。
  4. 【請求項4】 請求項2記載の意識レベル検出装置にお
    いて、 前記光量検出手段は、車両周囲の明るさを検出する照度
    センサから構成されることを特徴とする意識レベル検出
    装置。
JP17673693A 1993-07-16 1993-07-16 意識レベル検出装置 Pending JPH0732907A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP17673693A JPH0732907A (ja) 1993-07-16 1993-07-16 意識レベル検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP17673693A JPH0732907A (ja) 1993-07-16 1993-07-16 意識レベル検出装置

Publications (1)

Publication Number Publication Date
JPH0732907A true JPH0732907A (ja) 1995-02-03

Family

ID=16018901

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17673693A Pending JPH0732907A (ja) 1993-07-16 1993-07-16 意識レベル検出装置

Country Status (1)

Country Link
JP (1) JPH0732907A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981756A (ja) * 1995-09-14 1997-03-28 Mitsubishi Electric Corp 顔画像処理装置
JPH1035320A (ja) * 1996-07-24 1998-02-10 Hitachi Ltd 車両状況認識方法、車載用画像処理装置および記憶媒体
JP2000351337A (ja) * 1999-06-10 2000-12-19 Mazda Motor Corp 移動体制御装置
JP2010008101A (ja) * 2008-06-24 2010-01-14 Toyota Motor Corp 顔面の覆体及び顔面部位特定方法
JP2012034794A (ja) * 2010-08-05 2012-02-23 Nidek Co Ltd 前眼部撮像装置
WO2017017896A1 (ja) * 2015-07-29 2017-02-02 京セラ株式会社 画像処理装置、撮像装置、運転者監視システム、移動体、および画像処理方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981756A (ja) * 1995-09-14 1997-03-28 Mitsubishi Electric Corp 顔画像処理装置
JPH1035320A (ja) * 1996-07-24 1998-02-10 Hitachi Ltd 車両状況認識方法、車載用画像処理装置および記憶媒体
JP2000351337A (ja) * 1999-06-10 2000-12-19 Mazda Motor Corp 移動体制御装置
JP2010008101A (ja) * 2008-06-24 2010-01-14 Toyota Motor Corp 顔面の覆体及び顔面部位特定方法
JP2012034794A (ja) * 2010-08-05 2012-02-23 Nidek Co Ltd 前眼部撮像装置
WO2017017896A1 (ja) * 2015-07-29 2017-02-02 京セラ株式会社 画像処理装置、撮像装置、運転者監視システム、移動体、および画像処理方法
JPWO2017017896A1 (ja) * 2015-07-29 2018-04-05 京セラ株式会社 画像処理装置、撮像装置、運転者監視システム、移動体、および画像処理方法
EP3331235A4 (en) * 2015-07-29 2018-12-12 Kyocera Corporation Image processing device, image capture device, driver monitoring system, mobile body, and image processing method
US10367979B2 (en) 2015-07-29 2019-07-30 Kyocera Corporation Image processing apparatus, imaging apparatus, driver monitoring system, vehicle, and image processing method

Similar Documents

Publication Publication Date Title
US7916169B2 (en) Face image capture apparatus
JP5761074B2 (ja) 撮像制御装置及びプログラム
JP4687150B2 (ja) 直射光検出装置
JP4462231B2 (ja) 車両用オートライト装置
EP1683668B1 (en) Variable transmissivity window system
CN101951828B (zh) 驾驶员成像装置以及驾驶员成像方法
US8102417B2 (en) Eye closure recognition system and method
US20110035099A1 (en) Display control device, display control method and computer program product for the same
JPH0468500A (ja) 車両運転者監視装置
JP2006248363A (ja) 運転者照明装置、運転者撮影装置および運転者監視装置
JP2002331835A (ja) 直射光防眩装置
JP4687573B2 (ja) 車両用運転支援装置
WO2007092512A2 (en) Driver drowsiness and distraction monitor
WO2019215879A1 (ja) 乗員監視装置及び乗員監視方法
WO2020012546A1 (ja) 車載表示制御装置および車載表示制御プログラム
JPH0732907A (ja) 意識レベル検出装置
JP5352266B2 (ja) 防眩装置
JP3815842B2 (ja) 居眠り警報装置
US20190289185A1 (en) Occupant monitoring apparatus
KR101428229B1 (ko) 차영상 취득 장치 및 방법
KR102270738B1 (ko) 차량용 감광식 미러의 제어 시스템 및 그 제어 방법
JP5182567B2 (ja) 乗員監視装置
JPH0668989U (ja) 後方監視カメラシステム
JPH10105898A (ja) 居眠り運転警報装置
CN116901673A (zh) 车辆玻璃的控制方法及装置