JPH0921611A - 顔画像撮像装置 - Google Patents

Abstract

(57)【要約】 【目的】 運転者が眼鏡を装着していても眼鏡のレンズ
表面反射光の影響を極力抑えて、運転者の顔画像を撮像
できる顔画像撮像装置を得る。 【構成】 ２次元撮像手段により撮像された検出対象者
の顔画像に基づき検出対象者の目を検出する目検出手段
と、少なくとも検出対象者の顔面を光学フィルタを通過
する近赤外光で照明するとともに２次元撮像手段の光軸
と近赤外光の光軸とのなす角度が所定角度以上になるよ
うに配置された近赤外光照明手段と、目検出手段が検出
対象者の目を検出していないとき近赤外光照明手段を励
起する励起手段とを備えた。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は人物の顔画像撮像装置に
関し、特に検出対象者の顔画像を画像処理して顔画像の
特徴領域の状態より検出対象者の状態を検知する人物状
態検出装置に用いる顔画像撮像装置に関する。

【０００２】

【従来の技術】従来、特開平4-68500 号公報あるいは特
開平6-32154 号公報のごとく運転者の顔を車両室内に設
けられたカメラで撮影し、得られた顔画像を処理して顔
の特徴点である目を抽出し、目の開閉状態より車両運転
者の脇見、居眠り運転等の運転状態を検出する運転者状
態検出装置が開示されており、かかる運転者の顔画像撮
像装置として近赤外の波長領域を持つ赤外ストロボやLE
D をカメラの近くに配備して運転者の顔を照明しつつ、
可視光をカットしたフィルタを前面に設けたCCD等の撮
像素子により運転者の顔を撮像するカメラが開示されて
いる。

【０００３】図２５乃至図２８はかかる従来例を示すも
ので、図２５は従来の顔画像撮像装置を含む運転者状態
検出装置の構成図、図２６は各種眼鏡レンズの分光反射
率特性図、図２７は顔画像撮像装置に用いる可視光カッ
トフィルタの分光透過率特性図、図２８は従来の顔画像
撮像装置により撮影された明状態の眼鏡装着時の顔画像
の例である。以下、上図を用いてかかる従来例を説明す
る。

【０００４】図２５において、１００は顔画像撮像部を
示し、１０１は２次元撮像素子でここではCCD を用いた
例を示している。１０２は映像信号処理回路、１０３は
撮像レンズ、１０４は撮像レンズ１０３の前面光軸上に
配置された可視光カットフィルタであり、ここでは図２
７に示すごとく５０％透過波長が７００nmでありこれよ
り以下の波長の光をカットする可視光カットフィルタを
示している。上記CCD １０１、映像信号処理回路１０
２、撮像レンズ１０３、可視光カットフィルタ１０４は
カメラ部１１０を形成している。１０５は映像信号処理
回路１０２の明暗出力が接続された照明制御回路、１０
６は近赤外光源で高輝度の近赤外LED を多数個並べた光
源やハロゲンランプやキセノンランプの前に可視光カッ
トフィルタを設けた光源を示しており、照明制御回路１
０５、近赤外光源１０６を一体としてカメラ部１１０と
は別配置している。１２０は顔画像処理部を示し、１２
１は映像信号処理回路１０２のCCD 撮像タイミング信号
が接続された入力I/F 、１２２は映像信号処理回路１０
２の映像出力が接続されたA/D 変換器、１２３はA/D 変
換器１２２の出力が接続されたゲートアレイやディジタ
ルシグナルプロセッサ（DSP ）からなる画像処理ハード
ウェア（H/W ）、１２４は画像処理H/W と接続された画
像メモリ、１２５はCPU 、１２６はROM 、１２７はRAM
、１２８は出力インタフェース（I/F ）である。 A/D
変換器１２２、画像処理H/W １２３、画像メモリ１２
４、 ROM１２６、 RAM１２７、出力I/F １２８はCPU １
２５とバス１２９で接続されている。１３０は運転者、
１３１は運転者が装着している眼鏡を示している。

【０００５】次に動作につき説明する。運転者１３０の
顔での照明光および外光による反射光は可視光カットフ
ィルタ１０４により７００nm以下の可視光成分がカット
され、近赤外領域の光が撮像レンズ１０３により集光さ
れ運転者１３０の顔画像が映像信号処理回路１０２で制
御されたCCD １０１上に結像される。映像信号処理回路
１０２はCCD １０１上に結像された運転者１３０の顔画
像を映像信号としてA/D 変換器１２２に出力するととも
に、CCD １０１上の平均輝度を演算することで運転者１
３０の顔周囲の明るさを求めて、明暗状態信号を照明制
御回路１０５に出力する。

【０００６】ここで、夜間やトンネル内のごとく太陽光
による照度のない状態では、運転者１３０の撮像が困難
になる。そこで、照明制御回路１０５は、映像信号処理
回路１０２より暗状態信号が出力されると、近赤外光源
１０６を点灯させ、運転者１３０の顔を照明する。ま
た、日中では太陽光の近赤外成分により十分顔が明るく
撮影される。このため、照明制御回路１０５は、映像信
号処理回路１０２より明状態信号が出力されると近赤外
光源１０６を消灯する。

【０００７】運転者１３０の顔画像の映像信号はA/D 変
換器１２２でA/D 変換されてデジタル階調画像に変換さ
れ、画像処理H/W １２３で適当な平滑フィルタを通して
細かなノイズ成分を消した後、２値画像に変換され、画
像メモリ１２４に記憶される。次に、画像メモリ１２４
の２値画像を一部画像処理H/W １２３を用いつつアクセ
スして２値顔画像中より目を抽出し、目の開閉状態を検
出し、目の開閉状態から運転者１３０の居眠り状態を判
定し、居眠り状態と判定された場合に出力I/F１２８よ
り外部に警報信号を送出して運転者１３０に警報する。
これら一連の動作はCCD 撮像タイミング信号にあわせ
て、ROM １２６に記憶された命令によりCPU １２５で制
御され、RAM １２７は制御、演算中の一時的なデータの
記憶に用いられる。

【０００８】

【発明が解決しようとする課題】しかしながら、かかる
従来装置においては昼間時に眼鏡１３１を装着した運転
手の目が眼鏡１３１のレンズでの反射のために撮影不可
能となるといった問題点があった。

【０００９】図２６は眼鏡のガラスレンズおよびプラス
チックレンズの分光反射率特性の例を示している。最近
の眼鏡１３１は眼鏡レンズ表面がほとんど反射防止コー
ティングされており、かかるコートされた眼鏡レンズの
分光反射率はコート無しの場合に比較し図のごとく近赤
外領域になると急激に高くなっている。車両の走行中、
運転者１３０は通常やや上向きかげんで走行する場合が
多い。こうした場合、運転者１３０の眼鏡１３１に白い
雲や外部の景色の一部が映り、従来の撮像装置１００で
撮像される運転者１３０の顔画像は、コート無しの眼鏡
においても目が見えにくいが、特にコートされた眼鏡の
場合には眼鏡レンズの近赤外領域での高い分光反射率の
ために、図２８のごとく眼鏡レンズ表面反射によって目
が全く見えない画像となる。従って、運転者の居眠りあ
るいは脇見などを検出できなくなるという欠点があっ
た。

【００１０】この発明は上記課題を解決するために成さ
れたものであり、運転者が眼鏡を装着していても眼鏡の
レンズ表面反射光の影響を極力抑えて、運転者の顔画像
を撮像できるようにすることを目的としている。

【００１１】また、この発明は、時間平均消費電力を低
減するとともに長い装置寿命を持つ顔画像撮像装置を提
供することを目的としている。

【００１２】

【課題を解決するための手段】この発明に係る顔画像撮
像装置は、２次元撮像手段により撮像された検出対象者
の顔画像に基づき検出対象者の目を検出する目検出手段
と、少なくとも検出対象者の顔面を光学フィルタを通過
する赤外光で照明するとともに２次元撮像手段の光軸と
赤外光の光軸とのなす角度が所定角度以上になるように
配置された赤外光照明手段と、目検出手段が検出対象者
の目を検出していないとき赤外光照明手段を励起する励
起手段とを備えたものである。

【００１３】また、この発明に係る顔画像撮像装置は、
検出対象者の周囲あるいは顔面近傍の明るさを検出し検
出対象者の周囲あるいは顔面近傍が明状態あるいは暗状
態の何れの状態であるかを検出する明暗検出手段を有
し、励起手段は、明暗検出手段が明状態を検出しかつ目
検出手段が検出対象者の目を検出していない状態である
場合に赤外光照明手段を励起するものである。

【００１４】また、この発明に係る顔画像撮像装置は、
２次元撮像手段により撮像された検出対象者の顔面を含
む画像の輝度が所定の輝度以上であるか否かに基づき明
状態あるいは暗状態を判定する明暗検出手段を備えたも
のである。

【００１５】また、この発明に係る顔画像撮像装置は、
赤外光照明手段を励起してから所定時間経過した際に赤
外光照明手段を一旦停止させる励起手段を備えたもので
ある。

【００１６】また、この発明に係る顔画像撮像装置は、
検出対象者の眼鏡装着の有無を検出する眼鏡検出手段を
有し、励起手段は、眼鏡検出手段が眼鏡を検出しかつ目
検出手段が検出対象者の目を検出していない状態である
場合に赤外光照明手段を励起するようにしたものであ
る。

【００１７】また、この発明に係る顔画像撮像装置は、
明暗検出手段が暗状態を検出しているとき検出対象者の
顔面を光学フィルタを通過する赤外光で照明する暗状態
用赤外光照明手段を有し、暗状態用赤外光照明手段と目
検出手段が検出対象者の目を検出していないとき励起さ
れる赤外光照明手段とを分離したものである。

【００１８】また、この発明に係る顔画像撮像装置は、
検出対象者の顔面を含む所定領域を撮像する２次元撮像
手段と、所定の波長域の可視光を通過させる第一の通過
帯域と所定の波長以上の赤外光を通過させる第二の通過
帯域を有するとともに２次元撮像手段の光軸上に配置さ
れた光学フィルタとを備えたものである。

【００１９】また、この発明に係る顔画像撮像装置は、
光学フィルタの第二の通過帯域を所定の波長域の赤外光
のみを通過するものとしたものである。

【００２０】また、この発明に係る顔画像撮像装置は、
所定の波長域の可視光を通過させる第一の通過帯域と所
定の波長以上の赤外光を通過させる第二の通過帯域を有
するとともに２次元撮像手段の光軸上に配置された光学
フィルタと、２次元撮像手段により撮像された検出対象
者の顔画像に基づき検出対象者の目を検出する目検出手
段と、少なくとも検出対象者の顔面を光学フィルタを通
過する赤外光で照明するとともに２次元撮像手段の光軸
と赤外光の光軸とのなす角度が所定角度以上になるよう
に配置された赤外光照明手段と、目検出手段が検出対象
者の目を検出していないとき赤外光照明手段を励起する
励起手段とを備えたものである。

【００２１】また、この発明に係る顔画像撮像装置は、
光学フィルタが第一の通過帯域を有する第一の光学フィ
ルタと第二の通過帯域を有する第二の光学フィルタとか
らなるものであって、検出対象者の周囲あるいは顔面近
傍の明るさを検出し検出対象者の周囲あるいは顔面近傍
が明状態あるいは暗状態の何れの状態であるかを検出す
る明暗検出手段と、この明暗検出手段が明状態を検出し
ているとき２次元撮像手段の光軸上に第一の光学フィル
タを配置すると共に、明暗検出手段が暗状態を検出して
いるとき２次元撮像手段の光軸上に第二の光学フィルタ
を配置するフィルタ交換手段を備えたものである。

【００２２】

【作用】この発明に係る顔画像撮像装置は、目検出手段
が検出対象者の目を検出していないとき赤外光照明手段
を励起して検出対象者の顔面を照明する。

【００２３】また、この発明に係る顔画像撮像装置は、
明暗検出手段が明状態を検出しかつ目検出手段が検出対
象者の目を検出していない状態である場合に赤外光照明
手段を励起して検出対象者の顔面を照明する。

【００２４】また、この発明に係る顔画像撮像装置は、
２次元撮像手段により撮像された検出対象者の顔面を含
む画像の輝度が所定の輝度以上であるか否かに基づき明
状態あるいは暗状態を判定する。

【００２５】また、この発明に係る顔画像撮像装置は、
赤外光照明手段を励起してから所定時間経過した際に赤
外光照明手段を一旦停止させる。

【００２６】また、この発明に係る顔画像撮像装置は、
眼鏡検出手段が眼鏡を検出しかつ目検出手段が検出対象
者の目を検出していない状態である場合に赤外光照明手
段を励起して検出対象者の顔面を照明する。

【００２７】また、この発明に係る顔画像撮像装置は、
明暗検出手段が暗状態を検出しているとき検出対象者の
顔面を光学フィルタを通過する赤外光で照明する暗状態
用赤外光照明手段を有し、暗状態用赤外光照明手段と目
検出手段が検出対象者の目を検出していないとき励起さ
れる赤外光照明手段とが別々に機能する。

【００２８】また、この発明に係る顔画像撮像装置は、
所定の波長域の可視光と所定の波長以上の赤外光とを通
過させ、検出対象者の顔画像を撮像する。

【００２９】また、この発明に係る顔画像撮像装置は、
所定の波長域の可視光と所定の波長域の赤外光とのみに
より、検出対象者の顔画像を撮像する。

【００３０】また、この発明に係る顔画像撮像装置は、
所定の波長域の可視光と所定の波長以上の赤外光とによ
り検出対象者の顔画像を撮像すると共に、該顔画像で目
を検出できなかった場合は赤外光照明手段を励起して検
出対象者の顔面を照明する。

【００３１】また、この発明に係る顔画像撮像装置は、
明暗検出手段が明状態を検出しているとき２次元撮像手
段の光軸上に第一の光学フィルタを配置すると共に、明
暗検出手段が暗状態を検出しているとき２次元撮像手段
の光軸上に第二の光学フィルタを配置する。

【００３２】

【実施例】

実施例１．図１乃至図９はこの発明の顔画像撮像装置の
一実施例を示すものであり、図１は顔画像撮像装置を含
む運転者状態検出装置の構成図、図２は運転者状態検出
のフローチャート、図３は眼鏡を着装した運転者の顔画
像の模式図、図４は目存在領域設定の説明図、図５は運
転者の顔面での光反射の説明図、図６は本発明の顔画像
撮像装置で撮像した明状態の眼鏡装着時の顔画像の例、
図７は目抽出に関するフローチャート、図８は目存在領
域のＸ軸ヒストグラム、図９は候補領域のＸ軸ヒストグ
ラムである。以下、この実施例を図により説明する。

【００３３】図１においてａは顔画像撮像部、ｂは顔画
像処理部、ｃはカメラ部を示している。図において、１
は運転者の顔面を含む所定領域を撮像する２次元撮像手
段としてのCCD で、７６８×４９３の計３８万画素のも
のが用いられている。２はCCD １からの信号を処理する
映像信号処理回路、３はCCD １の前面の光軸上に設けら
れた撮像レンズ、４は撮像レンズ３の更に前面の光軸上
に設けられ撮像レンズ３に入射する可視光をカットする
光学フィルタとしての可視光カットフィルタで、可視光
カットフィルタ４は図２７に示す如き分光特性を有して
いる。なお、CCD １、映像信号処理回路２、撮像レンズ
３、可視光カットフィルタ４からなるカメラ部ｃは運転
席のダッシュボード上あるいはインスツルメントパネル
部等に配置され、運転者の前方より顔縦方向が７６８画
素となる向きで運転者の顔を含めた所定の領域を撮像す
る。このときの撮影角度を顔の正面やや斜め下からとす
るのが目領域抽出のために最も有利である。５は後述す
るCPU からの出力を受け赤外光源を励起あるいは停止す
る励起手段としての照明制御回路、６は照明制御回路５
により励起され運転者の顔面あるいはその周辺を含めた
方向に近赤外光を照射する赤外光照明手段としての近赤
外光源である。近赤外光源６は、近赤外光源６から照射
される近赤外光が運転者の眼鏡のレンズによって反射さ
れた正反射光ｒがカメラ部ｃの撮像レンズ３に直接入射
しない位置に取り付けられている。これは具体的には、
近赤外光源６が照射する近赤外光の光軸とカメラ部ｃの
光軸とのなす角が少なくとも約２０〜３０°以上となる
ようにカメラ部ｃに対して上下左右の離れた位置に近赤
外光源６が配置される。７は運転者の周囲あるいは顔面
の明るさを検出し明るい状態（明状態）であるか、ある
いは暗い状態（暗状態）であるかを検出する明暗検出手
段としての照度センサで、照度センサ７は運転者の周囲
あるいは顔面の明るさを検出するべく、ダッシュボード
や後部窓下部等の場所に設置される。

【００３４】顔画像処理部ｂは、次のものから構成され
る。図において、１０は映像信号処理回路２のCCD 撮像
タイミング信号あるいはシャッタ信号などの種々の信号
を受けると共に照度センサ７からの出力信号を受ける入
力I/F 、１１は映像信号処理回路２の映像出力が接続さ
れたA/D 変換器、１２はA/D 変換器１１の出力が接続さ
れたゲートアレイやディジタルシグナルプロセッサ（DS
P ）からなる画像処理ハードウェア（H/W ）、１３は画
像処理H/W １２と接続された画像メモリ、１４は演算処
理を行うCPU １５からの指令を出力する出力I/F で、照
明制御回路５にその出力の少なくとも１つが接続されて
いる。１６は各種のプログラムあるいは数値が記憶され
ているROM 、１７は演算中の値を一時記憶保持するRAM
、１８は出力I/F であって、後段の種々の機器に接続
される。なお、入力I/F １０、A/D 変換器１１、画像処
理H/W １２、画像メモリ１３、ROM １６、 RAM１７、出
力I/F １８は、CPU １５とバス１９で接続されている。

【００３５】図２は運転者状態検出のフローチャートで
ある。顔撮像装置として、夜間等暗い状態での近赤外光
源の点灯制御を行うものもあるが、実施例１ではこの点
につき詳細な説明を省略する。では、図２を用いて実施
例１の動作を説明する。ステップＳＴ１０の画像入力手
段では、CCD １で撮像した図３に示す原画像の映像信号
VOUTをディジタル階調画像信号に変換して画像処理H/W
１２に出力し、画像処理H/W １２で適当な平滑フィルタ
を通して細かなノイズ成分を消す。ステップＳＴ２０の
浮動２値化手段では、画像処理H/W １２により浮動２値
化して２値画像に変換し、目の縦方向の幅より若干長い
画素長を所定長とし、ステップＳＴ２１で顔縦方向に前
記所定長以上に長い黒ブロックを除去して、図４に示す
ように個人的に大きく異なる髪の領域がほぼ除去された
２値画像２０１をステップＳＴ２２で画像メモリ１３に
入力、記憶する。次に、目抽出手段ＳＴ３０により画像
メモリ１３の２値画像２０１を一部画像処理H/W １２を
用いつつアクセスして顔画像中より目を抽出する。ステ
ップＳＴ３０では後述する目抽出ルーチンが行われる。
ステップＳＴ３０の目検出手段としての目抽出手段で上
記目抽出ルーチンが終了すると、ステップＳＴ３１で目
抽出フラグがONであるか否かを判定する。

【００３６】ここで、図２８のごとく眼鏡レンズ表面反
射によって目が全く見えない顔画像においては目抽出ル
ーチンＳＴ３０で目が検出されないため目検出フラグは
OFFの状態である。かかる目検出フラグOFF の場合に
は、ステップＳＴ３２に進み入力I/F １０より照度セン
サ７の明暗信号を読みとり、前記明暗信号より外界が明
るいか否かを検出する。ここで外界が明状態と判定した
場合、目が抽出されない原因が眼鏡レンズの表面反射で
あるとしてステップＳＴ４０で出力I/F １４より照明制
御回路５に眼鏡反射除去用照明制御信号を送出して近赤
外光源６を点灯制御し、運転者の顔面あるいは顔面を含
む近傍を照明する。

【００３７】さて、ここで眼鏡レンズの表面反射により
目が検出できないときに近赤外光を運転者の顔面に照射
する理由について説明しておく。図５は外界対象物ｉか
らの光束Φｉと近赤外光源６からの光束ΦL が、眼鏡ｇ
を着装した運転手の顔面を照射している場合に、目ｅお
よび眼鏡ｇのレンズでの各反射および透過光束を説明し
た図であり、図においてカメラ部ｃに入る光束Φは、次
の式１で表される。

【００３８】

【数１】

【００３９】ここでΦiRは光束ΦI の眼鏡ｇによる反射
光束、ΦiTは光束ΦI の眼鏡ｇ透過後の運転者ｐの目ｅ
での拡散反射光束、ΦLTは近赤外光源６の放射光束ΦL
の同様な目ｅでの拡散反射光束である。前述したように
近赤外光源６は、その照射光の光軸とカメラ部ｃの光軸
とのなす角度が所定角度以上になるよう配置しているの
で、前述のごとく近赤外光源６の放射光束ΦL の眼鏡ｇ
のレンズによる反射光束ΦLRはカメラ部ｃには入射しな
い。CCD １上の画像輝度を前記眼鏡ｇでの反射光束と目
ｅでの拡散反射光束に分けて記述すると、眼鏡ｇでの反
射光束による輝度φR 、目ｅでの拡散反射光束による輝
度φT は各々、式２のように表される。

【００４０】

【数２】

【００４１】ここで、Ｆ（λ）は光学フィルタ４の分光
透過率特性、Ｒ（λ）はCCD １の分光感度特性である。
画像の全輝度の内、目ｅでの拡散反射光束による輝度φ
T の割合Ｋは、式３で与えられる。

【００４２】

【数３】

【００４３】即ち、上記割合Ｋが大きいほど目ｅが良く
観測できることになる。さて、ここで式３より明らかな
ように、眼鏡ｇでの反射φR のφT に対する割合が大き
く目が確認できない場合、近赤外光源６の点灯によるΦ
LTを加えることによりφT のφR に対する割合が大きく
なる。即ち、眼鏡レンズでの反射があっても近赤外光を
加えることにより目を明瞭に観測できるようになる。図
６は眼鏡ｇのレンズ表面反射により目が観測されない図
２８の画像状態において、上記のごとく近赤外光源６を
点灯させ運転者ｐの顔面を照明したときの画像を示すも
ので、図示のごとく近赤外光源６による照明で目が明瞭
に観測されている。

【００４４】なお、ステップＳＴ３２でＮと判定された
場合は外界が暗状態にある場合で、この場合はステップ
ＳＴ４１に進んで暗状態における照明制御を行う。

【００４５】さて、次に眼鏡ｇの反射の影響を無くする
ために近赤外光源６を励起した後、メインルーチンはス
テップＳＴ１０に戻り前述の処理を順次行う。この次の
ステップＳＴ３１では目が検出されているのでＹと判定
され、今度はステップＳＴ３３に進む。続くステップＳ
Ｔ３３乃至ＳＴ３５は励起した近赤外光源６を停止させ
る処理である。即ち、目が検出できないときにはステッ
プＳＴ４０にて近赤外光源６を励起し、これにより眼鏡
ｇの反射に拘わらず目を検出できるようになる。ところ
で、眼鏡ｇの反射は長時間に亘って続くようなものでは
なく、周囲の状況の変化に応じて比較的短期間でなくな
るものである。そこで、ステップＳＴ３３乃至ＳＴ３５
では、近赤外光源６を励起してから所定時間後に一旦赤
外光の照射を停止させ、次回のステップＳＴ３１で目が
検出されたら眼鏡ｇの反射が無くなったと判断して近赤
外光源６の停止状態を継続させると共に、目が検出でき
なければ眼鏡ｇの反射が続いていると判断して続くステ
ップＳＴ４０で近赤外光源６を再度励起する。

【００４６】具体的には、ステップＳＴ３１で目検出フ
ラグのONを確認すると、ステップＳＴ３３で近赤外光源
６の眼鏡反射除去用照明が行われているか否かを判定
し、眼鏡反射除去用照明が行われている場合にはステッ
プＳＴ３４で照明の経過時間を調べ、所定時間を経過し
ている場合にはステップＳＴ３５で一旦眼鏡反射除去用
照明を消すようにする。かかる所定時間は、眼鏡反射の
持続時間を考慮すると数分以内でよい。かかる方法をと
れば、外界が明るい状態での近赤外光源６の使用時間を
最小限に押さえられる。

【００４７】以上のようにして運転者の目が検出できる
ようになると、これに基づき運転者の状態を検出する。
ステップＳＴ５０の瞬目検出手段では抽出した運転者ｐ
の目ｅの開閉状態より運転者ｐの瞬目を検出する。続く
ステップＳＴ６０の居眠り判定手段では、かかる瞬目の
状態に基づいて居眠りを判定し、居眠り状態に応じて警
報手段ＳＴ７０で運転者ｐに警報を送出して覚醒させ
る。

【００４８】さて、次に前述で省略した目抽出手段ＳＴ
３０の目抽出ルーチンについて説明する。図７におい
て、まずステップＳＴ３０１で２値画像２０１の２値レ
ベルを各々Ｘ軸方向、Ｙ軸方向に積算して画像Ｘ軸ヒス
トグラムSUMX、Ｙ軸ヒストグラムSUMYを図４に示すよう
に求め、各ヒストグラムSUMY、SUMXの重心位置XFC 、YF
C を求めてこれを顔重心座標FC（ XFC、YFC ）とし、ス
テップＳＴ３０２で顔重心FCよりＸ軸方向にXECA、Ｙ軸
方向にYECA離れた点PERを起点としてＸ軸方向長さECA
H、Ｙ軸方向長さECAWの右の候補存在領域２０２を設定
し、同様にして点PEL を起点とした同一の大きさの左の
候補存在領域２０２を設定する。

【００４９】続いて、ステップＳＴ３０３で、図８に示
すように候補存在領域２０２内のＹ軸ヒストグラムSUMY
を求めて、SUMYが所定の閾値SHL 以上の領域を候補領域
帯２０３とする。図では眉に対応する領域帯BER1、眼鏡
枠に対応する領域帯BER2、目に対応する領域帯BER3が候
補領域帯２０３として登録される。但し、図８では片側
の候補存在領域２０２を示しており、当然ながら他側の
候補存在領域２０２も同様に処理される。

【００５０】さらに、ステップＳＴ３０４で、図９に示
すように各候補領域帯２０３内のＸ軸ヒストグラムSUMX
を求めて、ＳＴ３０５でSUMXが同様に所定の別の閾値SH
L 以上の領域を候補領域２０４として設定する。図では
眉に対応する領域BER11 、眼鏡枠に対応する領域BER21
、目に対応する領域BER31 が候補領域２０４として登
録される。ステップＳＴ３０６では、登録された各候補
領域２０４のＸ軸ヒストグラムSUMXよりその最大値SUMX
MAX や最大値からの偏差（SUMXMAX −SUMX）の分散等を
求めて、各候補領域２０４につき目評価関数を演算す
る。図に示すように目領域のSUMXは他の領域に比べ前記
最大値および前記偏差の分散がいずれも大きいという特
徴を持つ。

【００５１】次に、ステップＳＴ３０７で候補領域２０
４を一つずつ呼び出し、ステップＳＴ３０８で評価関数
が目を示す所定範囲内にあるか否かを判定し、候補領域
２０４が目と判定されなかった場合にはステップＳＴ３
０９で候補領域２０４をインクリメントして次の候補領
域につき同様の操作を行う。ステップＳＴ３０７で判定
すべき候補領域２０４がなくなった場合はステップＳＴ
３１２で目検出フラグをOFF した後、処理をメインルー
チンに戻す。ステップＳＴ３０８で目と判定された候補
領域２０４が存在した場合には、ステップＳＴ３１０
で、上記目と判定された候補領域２０４の内最も下の候
補領域２０４を目と同定し、ステップＳＴ３１１で目検
出フラグをONして目抽出ルーチンを終了する。

【００５２】以上のように、かかる実施例によれば、運
転者ｐの着装する眼鏡ｇに外部の景色等が映って反射し
た場合でも目が容易に観測できる。また、眼鏡ｇに外部
の景色が映らない状態では近赤外光源６を使用せずに済
むため、近赤外光源６の使用時間を極力抑えることで、
時間平均消費電力を低減するとともに近赤外光源６の寿
命を延ばすことができるという利点がある。

【００５３】実施例２．上記実施例１においては明暗検
出手段として照度センサ７を用いた場合を示したが、照
度センサ７を用いなくても明暗の判定は可能である。即
ち、明暗検出に外界の明暗状態を用いず運転者ｐの近傍
の明るさ、言い換えれば運転者ｐの顔画像の輝度対応値
より明暗を判定する方法をとっても良い。

【００５４】図１０は映像信号処理回路２のブロック
図、図１１は自動利得制御（Auto Gain Control ）回路
の制御特性図である。まず、映像信号処理回路２の動作
について説明する。図１０において、CCD 制御回路２０
はCCD １の撮像タイミングと画像蓄積時間（以下シャッ
タ時間と呼ぶ）を制御するとともに撮像した画像を映像
信号VOUTとして出力する。AGC 制御回路２２は利得可変
増幅器２１の出力を積分して画像平均輝度Ｌを求め、図
１１のごとく画像平均輝度Ｌに応じたAGC 制御電圧VAGC
を利得可変増幅器２１にフィードバックして利得可変増
幅器２１の利得をAGC 制御電圧VAGCが所定の目標制御電
圧になるよう制御する。利得可変増幅器２１により画像
平均輝度が制御された映像信号VOUTは顔画像処理部ｂの
A/D 変換器１１に入力されディジタル階調画像に変換さ
れる。

【００５５】一方、AGC 制御電圧VAGCは比較回路２５、
比較回路２６において各々図１１に示す下限輝度Ｌl に
対応する電圧Ｖl 、上限輝度Ｌh に対応する電圧Ｖh と
比較され、各比較結果は電子シャッタ制御回路２７に入
力される。太陽の高度、向き、天候、影の有無等車両に
対する外界の明るさ状態が変化して運転者ｐの顔画像の
画像平均輝度ＬがAGC 制御回路２２による制御範囲Ｖl
〜Ｖh を越えて変化した場合、例えば、輝度Ｌが下限輝
度Ｌl を下回った場合には電子シャッタ制御回路２７は
シャッタ時間を１段階増やし、逆に上限輝度Ｌh を上回
った場合にはシャッタ時間を１段階減らして、常にAGC
制御が成立するよう、即ちAGC 制御電圧VAGCがＶｌ〜Ｖ
ｈの範囲内になるようCCD 制御回路２０におけるCCD １
のシャッタ時間を1/60より1/10000 秒まで多段階に制御
するとともに、現状のシャッタ段階をシャッタ信号SSと
して顔画像処理部ｂの入力I/F １０に送出する。また、
画像平均輝度Ｌに対応するAGC 制御電圧VAGCを増幅回路
２３、バッファ２４を介して電圧信号VAGCとして、A/D
変換器１１に送出する。

【００５６】ところで、実施例１では詳細な説明を省略
したが、外界が暗状態であるときの照明制御は次のよう
にして行われる。図１において、CPU １５は入力I/F １
０より照度センサ７の明暗信号と電子シャッタ制御回路
２７からのシャッタ信号SSとを読み取ると共に、A/D 変
換器１１より画像平均輝度対応のAGC 制御電圧VAGCを読
みとり、前記明暗信号より外界が暗い状態と判定した場
合、シャッタ時間が常に1/60秒の範囲でAGC 制御が制御
範囲にはいるような所定の発光量を演算して、出力I/F
１４より照明制御回路５に照明制御信号を送出し近赤外
光源６を点灯する。また、あるいは、前記明暗信号より
外界が暗い状態と判定した場合、図示しないが CPU１５
より出力I/F １４を介して電子シャッタ制御回路２７に
制御信号を送出しシャッタ時間を1/60秒に固定したうえ
で近赤外光源６を点灯するとより好都合である。

【００５７】さて、映像信号処理回路２は以上のように
動作しているので、これを利用して照度センサ７を省略
する。例えば、シャッタ速度が最低の1/60秒となり、か
つAGC 制御電圧VAGCの値をAGC 制御電圧の目標制御電圧
に制御することができずその偏差が大きくなった場合
は、光を受光する画像蓄積時間を最長であって、更に得
られた画像信号を最大に増幅しても目標制御電圧まで達
しない状態であるから、この場合は外界が暗い暗状態で
あると判定できる。また、外界が明るい明状態の判定
は、シャッタ速度が1/60秒よりも短くなることによりな
される。即ち、この状態は画像蓄積時間が1/60秒よりも
短くてもAGC制御電圧VAGCを目標制御電圧に一致させる
ことができる状態であるから、外界は充分明るいとみな
すことができる。さらに、明状態の判定の別の方法とし
て、シャッタ速度が1/60秒でありかつ近赤外光源６の点
灯がされていない状態を明状態であると判定しても良
い。即ち、CPU １５はシャッタ速度が1/60秒でかつAGC
制御電圧VAGCが目標制御電圧に達しないときに近赤外光
源６を任意の発光量で照明する旨述べた。しかし、上記
のようにシャッタ速度が1/60秒でかつ近赤外光源６の点
灯が為されていない状態というのは、近赤外光源６を点
灯させなくてもAGC 制御電圧VAGCを目標電圧に一致させ
ることができる状態であり、よって外界が充分明るい明
状態であると判定できる。

【００５８】よって、実施例２においても実施例１と同
等の効果が得られるとともに、照度センサ７等明るさを
判定する特別のセンサは不要になる。

【００５９】実施例３．実施例３は、運転者の眼鏡の反
射による影響を無くする顔画像撮像装置に関するもので
あって、特に明暗検出手段を無くして簡易的な顔画像撮
像装置を得るものである。

【００６０】即ち、実施例３では明暗検出手段を用い
ず、図２においてステップＳＴ３１で目が非検出の場合
に、ステップ３２を略して近赤外光源６を点灯するよう
にしており、その結果、外界の状態に拘わらず運転者の
目を検出できないときは常に近赤外光を照射するものと
なっている。さて、ここで上述の実施例では、昼間の明
状態では運転者の目を検出できないときに限り近赤外光
源６を励起し夜間などの暗状態ではそのような制御を行
わないようにしているが、実施例３では夜間などの暗状
態でも同様な制御が行われる。即ち、換言すると、上述
の実施例では明暗状態を検出しているので暗状態で運転
者が脇見をしているような場合には眼鏡レンズ反射の影
響除去用の近赤外光を運転者に照射することはないが、
実施例３では眼鏡レンズ反射の心配がない暗状態であっ
ても目を検出できなければ近赤外光を照射してしまうと
いうデメリットを有する。しかしながら、上述のように
構成することにより装置の小型化、簡略化を図ることが
できしかも安価なものとすることができる。従って、実
施例３によれば、眼鏡レンズ反射の影響を受けない簡略
な顔画像撮像装置を得ることができる。

【００６１】実施例４．実施例４は実施例１の変形例
で、目を検出することができず、且つ、眼鏡フレームを
検出したときは、眼鏡レンズの表面反射により目を検出
することができない状態であると判定して近赤外光を運
転者の顔面に照射するものである。図１２、図１３はこ
の発明の実施例４を示すもので、図１２は実施例４にお
ける運転者状態検出のフローチャート、図１３は眼鏡検
出のフローチャートである。以下、かかる実施例を図
１、図９を援用しつつ上図により説明する。

【００６２】図１２において、ステップＳＴ１０よりス
テップＳＴ３０の目抽出手段までを実行した後、ステッ
プＳＴ８０の眼鏡検出手段で運転者ｐが眼鏡ｇを着装し
ているか否かを判定する。この眼鏡検出手段による眼鏡
の検出方法は後にフローチャートを用いて詳しく説明す
る。次に、ステップＳＴ３１で目検出フラグを調査し、
目検出フラグがOFF であった場合、続いてステップＳＴ
８１で眼鏡検出フラグを調査し、眼鏡検出フラグがONで
あった場合は、運転者が眼鏡を装着しており、且つ、目
を検出できない状態であるから、目が抽出されない原因
が眼鏡レンズの表面反射であるとしてステップＳＴ４０
で出力I/F １４より照明制御回路５に眼鏡反射除去用照
明制御信号を送出して近赤外光源６を点灯する。また、
ステップＳＴ３１で目検出フラグがONであった場合に
は、以下実施例１と同様、ステップ３３〜７０を実行す
る。

【００６３】では次に、眼鏡検出手段の動作について説
明する。眼鏡検出は、まず図１３のステップＳＴ８０１
で、上述の実施例１の候補領域２０４のＸ軸ヒストグラ
ムSUMXを用いて眼鏡枠評価関数を演算する。図９に示す
ごとく眼鏡枠のSUMXは眉と同じくほぼ平坦な特性を示
し、したがって前記偏差（SUMXMAX−SUMX）の分散は目
よりずっと小さくなる。また、眼鏡枠に対応する候補領
域の幅EAWは通常眉に比べてやや長くなる。眼鏡枠評価
関数はこれら特徴を考慮して決定されている。次に、ス
テップＳＴ８０２でステップＳＴ３０において目と同定
された以外の候補領域２０４が存在するか否かを判定
し、前記候補領域２０４が存在する場合には、ステップ
ＳＴ８０３で前記眼鏡枠評価関数をもとに候補領域２０
４が眼鏡枠であるか否かを判定し、眼鏡枠でないと判定
した場合にはステップＳＴ８０４で候補領域２０４をイ
ンクリメントして次の候補領域につき同様の操作を行
う。ステップＳＴ８０２で判定すべき候補領域２０４が
なくなった場合はステップＳＴ８０９で眼鏡検出フラグ
をOFF した後、処理をメインルーチンに戻す。

【００６４】次に、ステップＳＴ８０５でステップＳＴ
８０２において左右の候補存在領域２０２内で眼鏡枠と
判定された候補領域２０４の数を調べ、前記数が左右各
２以上であった場合には、２つの判定眼鏡枠の内どちら
かが真の眼鏡枠であるとして、ステップＳＴ８０８で眼
鏡検出フラグをONする。候補存在領域２０２内で眼鏡枠
と判定された目候補領域２０４の数が１以下である場合
には、眉との区別をするため、ステップＳＴ８０６でそ
の候補領域２０４の前記SUMXおよび前記EAW等を用いた
眉評価関数を演算し、ステップＳＴ８０７で前記候補領
域２０４の眉評価関数が所定の範囲内であるか否かを判
定し、所定の範囲内にない場合のみ同様にステップＳＴ
８０８で眼鏡検出フラグをONし、所定の範囲内であるば
あいには眉である可能性があるとしてステップＳＴ８０
９で眼鏡検出フラグをOFF した後、メインルーチンに処
理を戻す。これにより、運転者が眼鏡を装着しているか
否かを判定することができる。

【００６５】従って、かかる実施例においても、実施例
１と同様の効果が得られるとともに、眼鏡の存在を確認
することで、眼鏡レンズ反射で目が見えないと考えられ
る場合にのみ画像上で目が確認できるように確実に近赤
外光源６を点灯させることができ、目の確実な検出及び
時間平均消費電力の低減を図ることができる。

【００６６】実施例５．従来、外界が暗状態の時の照度
不足を補うために暗状態用近赤外光照明手段を備えたも
のがある。これに対し上述の実施例では、更に運転者の
目を確実に検出するための眼鏡レンズ反射の影響除去用
の近赤外光源６を設けており、この近赤外光源６は、眼
鏡レンズ反射の影響除去用の近赤外光照明手段としてだ
けではなく、照明制御回路５の制御プログラムを変更す
ることにより暗状態用近赤外光照明手段をも兼ねること
ができる。ところで、暗状態で顔画像より目を抽出する
ための赤外光の発光量と、昼間の眼鏡レンズ反射の影響
除去のための赤外光の発光量とは大きな差がある。その
ため、両者を兼ね備えた場合は、暗状態において必要以
上の発光量の赤外光を照射することになり電力の無駄で
ある。そこで、実施例５では両者を分離して機能させる
ことにより時間平均消費電力の低減を図っている。

【００６７】図１４、図１５は実施例５を示すもので、
図１４は顔画像撮像装置を含む運転者状態検出装置の構
成図、図１５は暗状態の顔画像の例である。図１４にお
いて、８はカメラ部ｃに近接して近赤外光の放射光軸が
カメラ部ｃの撮像光軸と略平行でかつ近接するよう配置
した同軸近赤外光源であり、ここでは全体としての光出
力が約１０ｍＷ以下程度の小出力のもので中心波長約９
００nmの近赤外LED を用いた場合を示している。９はLE
D 制御回路であり図１０に示す映像信号処理回路２のシ
ャッタ信号SSとAGC 制御電圧VAGCが接続される。また、
入力I/F １０にはシャッタ信号SSがA/D 変換器１１には
映像信号出力VOUTとAGC 制御電圧VAGCが接続されてお
り、照度センサ７は用いていない。

【００６８】では、動作について説明する。外界が暗く
なって運転者ｐ上の輝度が低下すると、図１０のAGC 制
御回路２２、電子シャッタ制御回路２７が働きシャッタ
時間を下げていく。 LED制御回路９はシャッタ時間が1/
60秒となり、かつAGC 制御電圧が所定値以下となった場
合に暗状態と判断して近赤外LED ８を点灯する。近赤外
LED ８は放射光軸がカメラ部ｃの撮像光軸と略同軸であ
るため、図１５に示すように運転者ｐの瞳孔のみを明る
く撮像できる。瞳孔は入射した光を略同方向に反射する
性質を持っているため顔の他の部分に比べ同軸照明状態
の輝度が際だって大きく、したがって顔の造作が画像と
して撮像できないほど弱い近赤外LED ８を用いても瞳孔
だけは図のごとく明るく撮像される。このとき、画像上
の輝度は最大約７〜８mm程度の大きさの瞳孔のみが大き
いため、平均輝度はほとんど上がらない。図示しない
が、かかる暗状態においては、メインルーチンのステッ
プＳＴ２０で運転者ｐの一対の瞳孔のみが白レベルとし
て２値化されるため、CPU は図２のステップＳＴ２１を
省略して画像メモリ１３の２値画像を入力し、目抽出手
段ＳＴ３０において明状態時とは別のアルゴリズムと評
価関数に基づき前記一対の瞳孔を検出して、瞳孔が瞬目
時に瞼により隠れることで瞬目を検出して、同様に居眠
り判断を行う。

【００６９】この実施例においては、上述の実施例で述
べたように、シャッタ速度が1/60秒より短くなるかある
いはシャッタ速度が1/60秒でありかつAGC 制御電圧VAGC
が所定値以上である場合に明状態と判定する。そして、
明状態での画像において実施例１と同様に目が検出され
なかった場合に近赤外光源６を点灯する、あるいは明状
態での画像において実施例４と同様に眼鏡が検出されか
つ目が検出されなかった場合に近赤外光源６を点灯す
る。

【００７０】従って、実施例５によれば、上述の実施例
と同様の効果を奏するとともに、暗状態で通常使用する
低消費電力の近赤外LED ８と眼鏡レンズ反射の影響除去
用の近赤外光源６とを分けることにより、撮像装置全体
の時間平均消費電力をより低減できるとともに、近赤外
光源６の使用が限定されより近赤外光源６を長寿命化す
ることが可能になる。

【００７１】なお上記実施例５においては、暗状態に近
赤外LED ８で運転者ｐの瞳孔を撮像するようにしたが、
カメラ部ｃに近接して放射光軸がカメラ部ｃの撮像光軸
と略平行でかつ近接するよう配置した他の近赤外光源を
用いて瞳孔を撮像するようにしてもよい。

【００７２】実施例６．実施例６は、カメラの光軸上に
光学フィルタを配置することにより、眼鏡レンズによる
反射が起こったとしても目を確実に検出できるようにし
たものである。図１６乃至図１９は実施例６の実施態様
を示すものであって、図１６は実施例６の顔画像撮像装
置を含む運転者状態検出装置の構成図、図１７は撮像部
ａの外観斜視図、図１８は撮像部ａの断面図、図１９は
複合光学フィルタの分光透過率特性図である。

【００７３】図において、４１、４２はカメラ部ｃの撮
像光軸上の撮像レンズ３の前面に重ねて配置した光学フ
ィルタ、５０は撮像部ａのCCD １、撮像レンズ３、光学
フィルタ４１、４２等を支持するハウジングで、近赤外
LED ８もかかるハウジング内に支持されている。５１は
CCD １、映像信号処理回路２、 LED制御回路９が配置さ
れたプリント基板、５２は撮像部ａの出力リードであ
り、近赤外LED ８は実施例５と同じく中心波長約９００
nmのLED を図１７に示すようにレンズの開口３１に近接
してカメラ部ｃの撮像光軸と近赤外光の放射光軸とを略
平行にして光学フィルタ４１の後側に対称形に４カ所設
けている。但し、近赤外LED ８は図１７と異なり光学フ
ィルタ４１を介さずに配置しても良い。

【００７４】次に光学フィルタについて説明する。図１
９に示すように、光学フィルタ４１は図の点線で示すよ
うに長波長透過フィルタ（LPF ）であり、ここでは透過
率５０％点の波長が約５００nmであるLPFを用いた例を
示しており、可視光及び赤外光を含む５００nm以上の波
長の光を透過させるようになっている。また、光学フィ
ルタ４２は帯域除去フィルタ（BRF ）であり、ここで
は透過率５０％点の波長を６５０nm、８５０nmとし、可
視光と近赤外光との狭間の前記６５０〜８５０nm間の波
長帯域を除去するBRF を用いた例を示している。かかる
BRF ４２はガラス、プラスチック等の光学用透明基板上
に誘電膜を多層積層した誘電多層膜フィルタを用い、LP
F ４１は同様な誘電多層膜フィルタか、前記光学用透明
基材に色素を拡散した安価な吸収型のフィルタを用い
る。前記LPF ４１、 BRF４２は図１８の如くの重ね合わ
されて複合光学フィルタ４３を構成し、図中の実線のご
とく眼鏡レンズのコーティングの透過率の高い波長帯約
４００〜７００nmの中央付近と、暗状態での撮像に用い
る近赤外LED ８の中心波長周囲の双方に高い分光透過率
を示す。即ち、複合光学フィルタ４３は、第一の通過帯
域である４００〜７００nmと第二の通過帯域である８５
０nm以上の２つの通過帯域を有している。

【００７５】上記複合光学フィルタ４３により、暗状態
では近赤外LED ８を点灯して前記近赤外LED ８の中心波
長周囲の高い分光透過率により前記実施例５のごとく運
転者ｐの瞳孔を撮像し、運転者の状態、即ち居眠りなど
を検出する。また、明状態では波長５００〜６５０nm間
と８５０nm以上の高い分光透過率により外光の内の前記
２つの波長領域の成分により運転者ｐの顔画像を撮像す
る。ところで、前記従来の可視カットフィルタ４を用い
た場合にはフィルタ４の阻止域での眼鏡レンズの分光反
射率が低く、逆にフィルタ４の透過域での眼鏡レンズの
分光反射率が高いため、目の見え方を示すＫの値が小さ
くなり、図２８に示すごとくほとんど目が撮像できな
い。これに対し本実施例の複合光学フィルタ４３におい
ては、眼鏡レンズの可視波長の分光反射率の低い領域で
高い透過率を持たせているため、前記可視領域での目か
らの拡散反射光束ΦiTがCCD １に効率よく取り込まれ
て、前記割合Ｋが大きくなり、図６に示すごとく目をは
っきりと撮像できる。

【００７６】即ち、かかる実施例においては、眼鏡レン
ズの透過率の高い可視波長域と暗状態の運転者ｐ撮像用
の近赤外照明に対応した近赤外波長域の双方に通過帯域
を持つ複合光学フィルタ４３を用いて、明状態に太陽光
の前記可視と近赤外の通過波長帯域成分で眼鏡ｇを着装
した運転者ｐの顔面を撮像することにより、眼鏡レンズ
の表面反射が存在しても特別の反射除去用照明を用いる
ことなく目を明瞭に撮像できるという利点がある。

【００７７】実施例７．実施例７は実施例６の変形例
で、実施例６に比し更に明瞭な顔画像を得るものであ
る。図２０は実施例７の複合光学フィルタ４５の分光透
過率特性図を示すもので、実施例６の図１９の複合光学
フィルタ４３に、さらに透過率５０％点が約９５０nmの
短波長透過フィルタ（HPF ）４４を重ねて、図示するご
とく、眼鏡レンズのコーティングの透過率の高い波長帯
約４００〜７００nmの中央付近と、暗状態における撮像
に用いる近赤外LED ８の中心波長周囲にのみ透過波長帯
を限定した複合光学フィルタとしている。なお前記HPF
４４は前記BRF ４２と同様に誘電多層膜フィルタを使用
するのがよい。かかる複合光学フィルタ４５を実施例６
と同様にカメラ部ｃの撮像レンズ３の前面に配し、暗状
態では近赤外LED ８を点灯して運転者ｐの瞳孔を撮像す
ると共に、明状態では外光の内の波長５００〜６５０nm
間と８５０〜９５０nm間の成分のみにより運転者ｐの顔
画像を撮像する。ここで、第一の通過帯域は５００〜６
５０nmの波長域であると共に、第二の通過帯域は８５０
〜９５０nmの波長域である。

【００７８】かかる複合光学フィルタ４５の使用によれ
ば、暗状態の撮像に用いる近赤外光の照明の波長域と、
可視領域での目からの拡散反射光束ΦiTを含む可視波長
域との２つの波長域のみの光を透過するので、これら以
外の波長域の外乱光を除去できる。このため、眼鏡レン
ズのさらに長波長側、即ち７００nm以上の波長域で発生
する大きな反射を除去することができ、眼鏡レンズの表
面反射が存在していても目をより明瞭に撮像できるとと
もに、必要以外の波長域の光をカットしているので周囲
に存在するノイズ光がカメラに侵入することが無く暗状
態における運転者ｐの撮像S/N 比を向上できるという利
点がある。

【００７９】実施例８．実施例８は、顔画像装置の簡略
化に関するものである。上記実施例６、７においてはLP
F ４１、BRF ４２、HPF ４４を各々別体のフィルタとし
たが、例えば吸収型LPF ４１の基板の片面に誘電多層膜
を積層してBRF４２を形成したり、透明基板の両面に誘
電多層膜を積層して片面にLPF ４１を、他面にBRF ４２
を形成すれば１枚の基板で図１９の実線に示す分光透過
率特性を持つ複合光学フィルタ４３が形成できる。ま
た、吸収型LPF ４１の基板の両面に誘電多層膜を積層し
て片面にBRF ４２を、他面にHPF ４４を形成すれば１枚
の基板で図２０の実線に示す分光透過率特性を持つ複合
光学フィルタ４５が形成できる。よって、これらの方法
によれば複合光学フィルタ４５を薄型化でき、かつ安価
に製作できるとともに、複数のフィルタの位置合わせと
いう煩わしい問題も発生しない。

【００８０】実施例９．実施例９は上述の実施例の組み
合わせに関するものであって、眼鏡レンズの表面反射が
比較的に強い場合であっても、その影響を受けることが
無いというものである。図示しないが、上記実施例６、
７に示す複合光学フィルタ４３あるいは複合光学フィル
タ４５を、実施例１あるいは実施例５に示すカメラ部ｃ
の光学フィルタ４と置き換えることにより、眼鏡レンズ
反射の影響をさらに低減できる。即ち、前記複合光学フ
ィルタ４３あるいは複合光学フィルタ４５を使用したカ
メラ部ｃを用いて運転者ｐを撮像することにより眼鏡レ
ンズの表面反射の影響をまず減じた上で、さらに実施例
１乃至実施例５と同じく、周囲環境あるいは前記運転者
ｐの顔面近傍が明状態かあるいは運転者ｐの眼鏡が検出
された状態のいずれかの状態でかつ目が検出できない場
合に出力I/F １４を介して照明制御回路５に眼鏡反射除
去用照明制御信号を送出して近赤外光源６を点灯する。

【００８１】かかる実施例によれば、晴天時に白い雲
や、白い壁等が眼鏡レンズに映ったような極めて眼鏡レ
ンズの表面反射の強い状態においても、近赤外光源６を
点灯して、レンズ反射の影響を確実に排除して目を明瞭
に撮像できる。また、通常生じる眼鏡レンズの表面反射
程度では複合光学フィルタ４３あるいは複合光学フィル
タ４５のみで目を明瞭に撮像できるため、目を検出でき
ない状態の発生頻度が少なくなり、これにより近赤外光
源６の明状態での使用頻度が少なくなり寿命をさらに延
伸できるという利点がある。

【００８２】実施例１０．実施例１０は、２つの光学フ
ィルタを切り換えて使用するものであって、これにより
眼鏡レンズ反射の影響除去のための近赤外光源６を設け
ることなく目を明瞭に検出することができるというもの
である。図２１乃至図２４は実施例１０を示すもので、
図２１は実施例１０の顔画像撮像装置を含む運転者状態
検出装置の構成図、図２２は撮像部ａの断面図、図２３
はフィルタ交換部の斜視図、図２４は片側の光学フィル
タ４６の分光透過率特性図である。

【００８３】図において、４６は眼鏡レンズコーティン
グの透過率の高い可視領域にのみ通過帯域を持つ第一の
光学フィルタであって、図２４に示すごとく透過率５０
％波長が５００nm、６５０nmであるバンドパスフィルタ
（BPF ）である。４７は暗状態の運転者ｐの照明用とし
ての近赤外光源の波長域に透過波長を合わせた第二の光
学フィルタであり、例えば近赤外光源として上記実施例
５のごとく中心波長９００nmの近赤外LED ８を用いた場
合には通常の可視カットフィルタを用いても良いが、波
長９００nmを中心とする半値幅１００nm程度のBPFを用
いれば照明光以外の外乱光成分を除去できて有利であ
る。なお、眼鏡レンズコーティングの透過率の高い可視
領域は第一の通過帯域であって、暗状態の運転者ｐの照
明用としての近赤外光源の波長域は第二の通過帯域であ
る。６０は第一の光学フィルタ４６と第二の光学フィル
タ４７を切り換えるフィルタ交換手段であり、撮像部ａ
のハウジング５０内に内蔵されている。第一の光学フィ
ルタ４６と第二の光学フィルタ４７はレンズ３の前面側
に配しても良いが、ここではレンズ３の後面側に配し
て、フィルタ交換手段６０を小型化するとともに、透過
波長帯に応じてフィルタ基板の厚さ、材質即ち屈折率を
換えてレンズ３の実効焦点距離を換えることによりレン
ズ３の色収差を補正している。４８は反射防止コートを
施したガラス等の透明保護部材である。

【００８４】フィルタ交換手段６０は、フィルタを交換
する駆動力を発生するモータ６１と、このモータ６１に
信号を与えるリード６２と、モータ６１の回転を減速す
るギヤボックス６３と、突起状のローラピンを有しギヤ
ボックス６３からの回転力を受けて回動する回転カム板
６４と、Ｌ字状の形状を有しその一面に２つのフィルタ
を支持すると共に他方の面にローラピンを挿入する長穴
を備えたフィルタ支持板６５とから構成されている。

【００８５】実施例１０の動作について説明する。ま
ず、装置リセット時には可視域を通す第一の光学フィル
タ４６が撮像軸上に配置されており、明状態ではかかる
第一の光学フィルタ４６を通して運転者ｐの顔画像がフ
ィルタの透過波長域の成分光で撮影される。この場合、
前記第一の光学フィルタ４６の透過波長域が眼鏡レンズ
の分光反射率の低い波長域に合わせてあるため、運転者
ｐの着装する眼鏡ｇのレンズ表面反射があってもその反
射光は第一の光学フィルタ４６によりカメラへの入射を
阻止される。一方、目からの拡散反射光束ΦiTの内の第
１の光学フィルタ４６の通過帯域の波長成分は第１の光
学フィルタ４６に阻止されることなくカメラへ入射し、
これにより目を明瞭に撮像することができる。外界が暗
くなり、運転者ｐの顔画像の平均輝度が低下すると映像
信号処理回路２はAGC 制御を行うとともにシャッタを開
放側に制御する。かかる状態で実施例５と同様の明暗判
定が行われ、暗状態と判定された場合にはフィルタを第
二の光学フィルタ４７に切り換える。プリント基板５１
上の映像信号処理回路２による明暗信号が暗状態を示す
信号を出力するとCPU １５はリード６２を介してモータ
６１に駆動信号を与え回転させる。モータ６１の回転
は、モータ６１と連結したギアボックス６２で回転数が
下げられ回転カム板６４を半回転させる。この回転運動
は、フィルタ支持板６５の長穴とこの長穴に挿入された
回転カム板６４のローラピンとにより直線運動に変換さ
れ、フィルタ支持板６５を撮像軸に対し垂直に移動させ
て第一の光学フィルタ４６を第二の光学フィルタ４７を
切り換える。また、このとき近赤外LED ８を点灯して運
転者の顔面を照明し瞳孔を撮像する。

【００８６】逆に、外界が暗状態から明状態になった場
合、即ち夜間から朝になった場合は近赤外LED ８の近赤
外光の他に太陽光が加わることになる。従って、第二の
光学フィルタ４７は、近赤外LED ８の照射光と、太陽光
の近赤外光の成分とを通過させる。これにより運転者ｐ
の顔画像の平均輝度が上がり、この輝度の上昇に基づき
映像信号処理回路２が暗状態から明状態になったと判定
し、CPU １５に明状態を示す信号を出力する。CPU １５
は、明状態を示す信号を受け、前述とは逆の方向にモー
タ６１を回転させ、光学フィルタを第二の光学フィルタ
４７から第一の光学フィルタ４６に切り換えるととも
に、近赤外LED ８を消灯する。

【００８７】かかる実施例においては、明状態には眼鏡
レンズの表面反射の影響のない可視波長域のみを用いて
運転者ｐを撮像するため、眼鏡レンズ反射が存在しても
特別の反射除去用照明を用いることなく目を明瞭に撮像
できるとともに、暗状態には運転者ｐを照明する近赤外
光源の波長域のみで運転者ｐを撮像するため、外乱光が
除去され運転者ｐの撮像S/N 比を向上できるという利点
がある。

【００８８】実施例１１．実施例１１は、実施例１と実
施例１０を組み合わせることにより眼鏡レンズの表面反
射の影響を極めて低減させるものである。即ち、実施例
１１では、上記実施例１０に示すフィルタ交換手段６０
を持つカメラ部ｃと、実施例１で説明した照度センサ７
等の明暗検出手段と、照明制御回路５と、眼鏡レンズ反
射の影響を除去するための近赤外光源６とを備えてい
る。従って、明状態には眼鏡レンズコーティングの透過
率の高い可視領域にのみ通過帯域を持つ第一の光学フィ
ルタ４６に切り換えて運転者ｐの顔画像を撮像してレン
ズ表面反射の影響をまず減じた上で、さらに実施例１乃
至実施例５と同じく、周囲環境あるいは前記運転者ｐの
顔面近傍が明状態かあるいは運転者ｐの眼鏡が検出され
た状態のいずれかの状態でかつ目が検出できない場合に
出力I/F １４を介して照明制御回路５に眼鏡反射除去用
照明制御信号を送出して近赤外光源６を点灯する。

【００８９】かかる実施例によれば、実施例９と同様極
めてレンズ表面反射の強い状態においても、近赤外光源
６を点灯して、レンズ反射の影響を確実に排除して目を
明瞭に撮像できるとともに、通常生じるレンズ反射程度
では第一の光学フィルタ４６のみで目を明瞭に撮像でき
るため、近赤外光源６の明状態での使用頻度が少なくな
り寿命をさらに延伸できるという利点がある。

【００９０】なお、上記実施例６乃至実施例１１におい
ては、暗状態に近赤外LED ８で運転者ｐの瞳孔を撮像す
るようにしたが、実施例１のごとくハロゲンランプやキ
セノンランプ等の光源の近赤外域や近赤外LED を多数束
ねた近赤外光源６で運転者の顔を照明して撮像するよう
にしてもよい。

【００９１】また、上記各実施例においては車両の運転
手の居眠り等を検出するための顔画像撮像装置について
示したが、当然のことながら、一般的に検出対象者の顔
画像を画像処理して前記検出対象者の目を検出し前記検
出対象者の状態を検知する人物状態検出装置に用いる顔
画像撮像装置として利用できる。

【００９２】

【発明の効果】この発明は、上述の如き構成を有してい
るので、以下に示すような効果を奏する。

【００９３】この発明に係る顔画像撮像装置によれば、
目検出手段が検出対象者の目を検出していないとき赤外
光照明手段を励起して検出対象者の顔面を照明するの
で、運転者が装着している眼鏡の反射による影響を低減
することができる。

【００９４】また、この発明に係る顔画像撮像装置によ
れば、明暗検出手段が明状態を検出しかつ目検出手段が
検出対象者の目を検出していない状態である場合に赤外
光照明手段を励起して検出対象者の顔面を照明するの
で、消費電力を軽減することができる。

【００９５】また、この発明に係る顔画像撮像装置によ
れば、２次元撮像手段により撮像された検出対象者の顔
面を含む画像の輝度が所定の輝度以上であるか否かに基
づき明状態あるいは暗状態を判定するので、装置の構成
を簡略化することができる。

【００９６】また、この発明に係る顔画像撮像装置によ
れば、赤外光照明手段を励起してから所定時間経過した
際に赤外光照明手段を一旦停止させるので、赤外光照明
手段を必要なときに励起することができる。

【００９７】また、この発明に係る顔画像撮像装置によ
れば、眼鏡検出手段が眼鏡を検出しかつ目検出手段が検
出対象者の目を検出していない状態である場合に赤外光
照明手段を励起して検出対象者の顔面を照明するので、
消費電力を軽減することができる。

【００９８】また、この発明に係る顔画像撮像装置によ
れば、明暗検出手段が暗状態を検出しているとき検出対
象者の顔面を光学フィルタを通過する赤外光で照明する
暗状態用赤外光照明手段を有し、暗状態用赤外光照明手
段と目検出手段が検出対象者の目を検出していないとき
励起される赤外光照明手段とを別々に機能させるので、
消費電力を低減させることができる。

【００９９】また、この発明に係る顔画像撮像装置によ
れば、所定の波長域の可視光と所定の波長以上の赤外光
とを通過させ検出対象者の顔画像を撮像するので、簡単
な構成で運転者が装着している眼鏡の反射の影響を低減
させることができる。

【０１００】また、この発明に係る顔画像撮像装置によ
れば、所定の波長域の可視光と所定の波長域の赤外光と
のみにより検出対象者の顔画像を撮像するので、より明
瞭な画像を得ることができる。

【０１０１】また、この発明に係る顔画像撮像装置によ
れば、所定の波長域の可視光と所定の波長以上の赤外光
とにより検出対象者の顔画像を撮像すると共に、該顔画
像で目を検出できなかった場合は赤外光照明手段を励起
して検出対象者の顔面を照明するので、運転者が装着し
ている眼鏡の反射が比較的に強い場合であってもその影
響を低減させることができる。

【０１０２】また、この発明に係る顔画像撮像装置によ
れば、明暗検出手段が明状態を検出しているとき２次元
撮像手段の光軸上に第一の光学フィルタを配置すると共
に、明暗検出手段が暗状態を検出しているとき２次元撮
像手段の光軸上に第二の光学フィルタを配置するので、
目を明瞭に検出することができると共に運転者が装着し
ている眼鏡の反射の影響を低減させることができる。

【図面の簡単な説明】

【図１】 実施例１の顔画像撮像装置を含む運転者状態
検出装置の構成図である。

【図２】 実施例１の運転者状態検出のフローチャート
である。

【図３】 眼鏡を着装した運転者の顔画像の模式図であ
る。

【図４】 目存在領域設定の説明図である。

【図５】 運転者の顔面での光反射の説明図である。

【図６】 実施例１の顔画像撮像装置で撮像した明状態
の眼鏡装着時の顔画像の例である。

【図７】 目抽出に関するフローチャートである。

【図８】 目存在領域のＸ軸ヒストグラムである。

【図９】 候補領域のＸ軸ヒストグラムである。

【図１０】 映像信号処理回路のブロック図である。

【図１１】 自動利得制御回路の制御特性図である。

【図１２】 実施例４の運転者状態検出のフローチャー
トである。

【図１３】 実施例４の眼鏡検出のフローチャートであ
る。

【図１４】 実施例５の顔画像撮像装置を含む運転者状
態検出装置の構成図である。

【図１５】 暗状態の顔画像の例である。

【図１６】 実施例６の顔画像撮像装置を含む運転者状
態検出装置の構成図である。

【図１７】 実施例６の撮像部ａの外観斜視図である。

【図１８】 実施例６の撮像部ａの断面図である。

【図１９】 複合光学フィルタの分光透過率特性図であ
る。

【図２０】 実施例７の複合光学フィルタの分光透過率
特性図である。

【図２１】 実施例１０の顔画像撮像装置を含む運転者
状態検出装置の構成図である。

【図２２】 実施例１０の撮像部ａの断面図である。

【図２３】 実施例１０のフィルタ交換部の斜視図であ
る。

【図２４】 実施例１０の片側の光学フィルタの分光透
過率特性図である。

【図２５】 従来の顔画像撮像装置を含む運転者状態検
出装置の構成図である。

【図２６】 各種眼鏡レンズの分光反射率特性図であ
る。

【図２７】 従来の顔画像撮像装置に用いる可視光カッ
トフィルタの分光透過率特性図である。

【図２８】 従来の顔画像撮像装置により撮影された明
状態の眼鏡装着時の顔画像の例である。

【符号の説明】

ａ 顔画像撮像部 ｂ 顔画像処理
部 ｃ カメラ部 ｇ 眼鏡 ｐ 運転者 １ CCD ２ 映像信号処理回路 ３ 撮像レンズ ４ 可視カットフィルタ ４３、４５ 複
合光学フィルタ ４６ 第一の光学フィルタ ４７ 第二の光
学フィルタ ５ 照明制御回路 ６ 近赤外光源 ７ 照度センサ ８ 近赤外LED 9 LED 制御回路 １０ 入力I/F １１ A/D 変換器 １２ 画像処理
H/W １３ 画像メモリ １４、１８ 出
力I/F １５ CPU １６ ROM １７ RAM ２０ CCD 制御
回路 ２１ 利得可増幅器 ２２ AGC 制御
回路 ２３ 増幅回路 ２４ バッファ ２５、２６ 比較回路 ２７ 電子シャ
ッタ制御回路 ６０ フィルタ交換手段 １０１ CCD １０２ 映像信号処理回路 １０３ 撮像レ
ンズ １０４ 可視カットフィルタ １０５ 照明制
御回路 １０６ 近赤外光源 １２１ 入力I/
F １２２ A/D 変換器 １２３ 画像処
理H/W １２４ 画像メモリ １２５ CPU １２６ ROM １２７ RAM １２８ 出力I/F １２９ バス

Claims (10)

【特許請求の範囲】
1. 【請求項１】 検出対象者の顔面を含む所定領域を撮像
   する２次元撮像手段と、少なくとも所定の波長域の赤外
   光を通過させる通過帯域を有し前記２次元撮像手段の光
   軸上に配置された光学フィルタと、前記２次元撮像手段
   により撮像された前記検出対象者の顔画像に基づき前記
   検出対象者の目を検出する目検出手段と、少なくとも前
   記検出対象者の顔面を前記光学フィルタを通過する赤外
   光で照明するとともに前記２次元撮像手段の光軸と前記
   赤外光の光軸とのなす角度が所定角度以上になるように
   配置された赤外光照明手段と、前記目検出手段が前記検
   出対象者の目を検出していないとき前記赤外光照明手段
   を励起する励起手段とを備えたことを特徴とする顔画像
   撮像装置。
2. 【請求項２】 検出対象者の周囲あるいは顔面近傍の明
   るさを検出し前記検出対象者の周囲あるいは顔面近傍が
   明状態あるいは暗状態の何れの状態であるかを検出する
   明暗検出手段を有し、励起手段は、前記明暗検出手段が
   明状態を検出しかつ目検出手段が前記検出対象者の目を
   検出していない状態である場合に赤外光照明手段を励起
   することを特徴とする請求項１に記載の顔画像撮像装
   置。
3. 【請求項３】 明暗検出手段は、２次元撮像手段により
   撮像された検出対象者の顔面を含む画像の輝度が所定の
   輝度以上であるか否かに基づき明状態あるいは暗状態を
   判定することを特徴とする請求項２に記載の顔画像撮像
   装置。
4. 【請求項４】 励起手段は、赤外光照明手段を励起して
   から所定時間経過した際に前記赤外光照明手段を一旦停
   止させることを特徴とする請求項１に記載の顔画像撮像
   装置。
5. 【請求項５】 検出対象者の眼鏡装着の有無を検出する
   眼鏡検出手段を有し、励起手段は、前記眼鏡検出手段が
   眼鏡を検出しかつ目検出手段が前記検出対象者の目を検
   出していない状態である場合に赤外光照明手段を励起す
   ることを特徴とする請求項１に記載の顔画像撮像装置。
6. 【請求項６】 明暗検出手段が暗状態を検出していると
   き検出対象者の顔面を光学フィルタを通過する赤外光で
   照明する暗状態用赤外光照明手段を有し、暗状態用赤外
   光照明手段と目検出手段が前記検出対象者の目を検出し
   ていないとき励起される赤外光照明手段とを分離したこ
   とを特徴とする請求項２に記載の顔画像撮像装置。
7. 【請求項７】 検出対象者の顔面を含む所定領域を撮像
   する２次元撮像手段と、所定の波長域の可視光を通過さ
   せる第一の通過帯域と所定の波長以上の赤外光を通過さ
   せる第二の通過帯域を有するとともに前記２次元撮像手
   段の光軸上に配置された光学フィルタとを備えたことを
   特徴とする顔画像撮像装置。
8. 【請求項８】 光学フィルタの第二の通過帯域は、所定
   の波長域の赤外光のみを通過するものであることを特徴
   とする請求項７に記載の顔画像撮像装置。
9. 【請求項９】 検出対象者の顔面を含む所定領域を撮像
   する２次元撮像手段と、所定の波長域の可視光を通過さ
   せる第一の通過帯域と所定の波長以上の赤外光を通過さ
   せる第二の通過帯域を有するとともに前記２次元撮像手
   段の光軸上に配置された光学フィルタと、前記２次元撮
   像手段により撮像された前記検出対象者の顔画像に基づ
   き前記検出対象者の目を検出する目検出手段と、少なく
   とも前記検出対象者の顔面を前記光学フィルタを通過す
   る赤外光で照明するとともに前記２次元撮像手段の光軸
   と前記赤外光の光軸とのなす角度が所定角度以上になる
   ように配置された赤外光照明手段と、前記目検出手段が
   前記検出対象者の目を検出していないとき前記赤外光照
   明手段を励起する励起手段とを備えたことを特徴とする
   顔画像撮像装置。
10. 【請求項１０】 光学フィルタは第一の通過帯域を有す
    る第一の光学フィルタと第二の通過帯域を有する第二の
    光学フィルタとからなるものであって、検出対象者の周
    囲あるいは顔面近傍の明るさを検出し前記検出対象者の
    周囲あるいは顔面近傍が明状態あるいは暗状態の何れの
    状態であるかを検出する明暗検出手段と、この明暗検出
    手段が明状態を検出しているとき２次元撮像手段の光軸
    上に前記第一の光学フィルタを配置すると共に、前記明
    暗検出手段が暗状態を検出しているとき前記２次元撮像
    手段の光軸上に前記第二の光学フィルタを配置するフィ
    ルタ交換手段を備えたことを特徴とする請求項７または
    ９に記載の顔画像撮像装置。