JPH0883344A

JPH0883344A - 画像処理装置及び人物状態判定装置

Info

Publication number: JPH0883344A
Application number: JP22025094A
Authority: JP
Inventors: Mitsuo Shitaya; 光生下谷; Minoru Nishida; 稔西田; Akira Okada; 章岡田; Toshihide Satake; 敏英佐竹; Kenji Ogawa; 賢二小河; Hiroyoshi Suzuki; 尋善鈴木
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1994-09-14
Filing date: 1994-09-14
Publication date: 1996-03-26
Anticipated expiration: 2014-08-23
Also published as: JP2937030B2

Abstract

(57)【要約】【目的】外乱光が大きく変化する条件下でも、検出対
象者の顔面上の特徴や検出対象者の状態を比較的短時間
で検出できる画像処理装置及び人物状態判定装置を提供
する。【構成】検出対象者１の顔の像を入力するＣＣＤカメ
ラ１０、検出対象者１を同軸落射照明する赤外線ＬＥＤ
１３、検出対象者１の周辺の明暗を検出する照度センサ
２０、検出対象者１の撮影画像から顔面上の特徴を、明
暗に応じた２つ以上の画像処理で抽出可能であるととも
に、照度センサ２０が出力する明暗信号により２つ以上
の画像処理の中から１つの画像処理を選択して特徴抽出
を行なう特徴抽出回路４１、抽出された抽出結果を用
い、検出対象者１の覚醒度を判定する覚醒度判定回路５
０、及び判定結果に応じて警報を発生する警報発生回路
５１により居眠り検出装置を構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、検出対象者の顔面上
の特徴を抽出するための画像処理装置と、上記検出対象
者の居眠り状態や脇見状態などの挙動を検出するための
人物状態判定装置に関するものである。

【０００２】

【従来の技術】図３０は、例えば特開昭６０−１５８３
０３号公報に示された従来の運転者撮影装置を用いた目
の位置検出装置の構成図である。図において、１は運転
者、１０ａ、１０ｂはＣＣＤカメラ、１３は赤外線ＬＥ
Ｄ、１４は赤外線ＬＥＤ１３に電流を供給するＬＥＤ駆
動回路、１００は運転者挙動検出回路である。

【０００３】次に動作について説明する。赤外線ＬＥＤ
１３は運転席の運転者１を照射する。運転者１の映像は
運転者１の顔面を含む所定の領域を撮影できる位置に設
置されたＣＣＤカメラ１０ａ、１０ｂに入力される。入
力された画像は運転者挙動検出回路１００に入力され、
目の位置や顔の向きなどがエッジ検出やパターン認識等
の画像処理により抽出されていた。

【０００４】一方、論文「瞳孔の抽出処理と頭部の動き
を許容する視線検出装置の試作」（電子情報通信学会論
文誌Ｄ−ＩＩ Vol.J76-D-II No.3）で示されるよう
に、同軸落射装置で顔面を照射すると、網膜反射像が顕
著に撮影でき、例えば２値化処理のような非常に簡単な
画像処理で目の位置を検出できる（同軸落射照明とは、
カメラの光軸と照明光の照射方向とが同一になる構造に
した照明のことである）。図３１はこの装置を用いて居
眠り検出装置を構成したものであり、特願平５−２８２
５０２号明細書に記載されたものである。図において、
１は検出対象者、１０は検出対象者１の顔面を含む所定
の領域を撮影できる位置に設置されたＣＣＤカメラ、１
１は可視光成分をカットする可視光カットフィルタ、１
２はＣＣＤカメラに対して４５度の角度で設置したハー
フミラー、１３は発光波長８６０ｎｍ、指向角度±２０
度で発光し、ハーフミラー１２に光を反射して検出対象
者１を照明する赤外線ＬＥＤ、１４は赤外線ＬＥＤを駆
動するＬＥＤ駆動回路、３０はＣＣＤカメラから出力さ
れる画像信号を一時記憶する撮影画像メモリである撮影
画像入力メモリ、３１はＣＣＤカメラや撮影画像入力メ
モリ３０などにタイミング信号を与えるタイミング発生
回路、４０は撮影画像入力メモリの内容から瞳孔を抽出
する特徴抽出回路、５０は特徴抽出回路の出力から覚醒
度を判断する覚醒度判定回路、５１は警報を出力する警
報出力回路である。

【０００５】次に動作について説明する。図３１におい
て、光路ｌ1 で照射される赤外線ＬＥＤ１３の照明光
は、ハーフミラー１２で半分の光を反射し、光路ｌ2 で
検出対象者１の顔面を照射する。検出対象者１の画像は
光路ｌ3 でハーフミラー１２を通り、半分の光がＣＣＤ
カメラ１０に到達し、ＣＣＤカメラ１０は検出対象者１
の画像を取り込む。この時、光路ｌ2 とｌ3 の光軸は検
出対象者からみて、同軸になっている（同軸落射照
明）。この時検出対象者の撮影画像は図３２のようにな
る。図３２において、２は眉毛、３は鼻孔、４は虹彩、
５は強膜、６は瞳孔、７は顔表面である。上記のような
構成の同軸落射照明により、瞳孔６は網膜で反射された
光により、あたかも瞳孔が光っているように観察され、
顔の表面や他の特徴点に比べて、著しく輝度が高く映
る。これは網膜が入射光と同一方向に反射光を返す性質
を持つからである。図３３に撮影画像の輝度分布を示
す。図３３下部に示された波形は、得られた顔面画像
（図３３上部）におけるＡ−Ａ線に沿った輝度分布を示
すものであり、瞳孔の位置は明らかに輝度が他の部分と
異なり輝度が高いことがわかる。ＣＣＤカメラ１０が取
り込んだ顔画像は、撮影画像メモリ３０に一旦入力され
る。図３４に本装置による居眠り検出の処理フローを示
す。この処理フローは図３１における特徴抽出回路４０
と覚醒度判定回路５０との動作を示すものである。特徴
抽出回路４０はＳＴ１０で顔画像を入力し、ＳＴ１１で
瞳孔のみを抽出するため、適当な輝度しきい値ｔｈ１で
２値化処理を行う。得られた２値化画像は、図３５に示
すようになる。この画像は瞳孔のみが白領域として２つ
の円となり、他の部分は黒領域となるので、ＳＴ１２で
白画素のＹ軸方向の投影を行い（投影像は図３５の右側
に示す）、ＳＴ１３で投影像の面積を求めることによ
り、瞳孔の見かけ上の大きさが計算できる。ＳＴ１４で
は上記面積が予め定められた値以上の時は開眼、未満の
ときは閉眼と判断する。この開眼閉眼情報は、覚醒度判
定回路５０に入力され、覚醒度判定回路５０はＳＴ２０
で連続して３秒以上閉眼情報が入力されたかどうかを判
断し、３秒以上閉眼状態であったならば、居眠り状態で
あると判断し、ＳＴ２１で警報発生回路５１に警報出力
命令を出力する。閉眼状態が３秒未満の時はＳＴ１０に
処理は移る。

【０００６】

【発明が解決しようとする課題】顔面上の特徴を抽出す
るための従来の画像処理装置は以上のように構成されて
おり、図３０に示す運転者撮影装置では、瞳孔の位置を
検出するために、得られた画像に対し、例えばフィルタ
演算を施し、エッジ検出をし、このエッジ形状より、瞳
孔にあたる円を求めるためのハフ変換処理等を施してパ
ターン認識をし、瞳孔を探していた。また、上記エッジ
検出に際しても雑音等でエッジがうまく検出できないと
円が求まらず、画像処理が複雑で時間がかかるという問
題があった。また、同軸落射を用いた先行技術による上
記居眠り検出装置（図３１）では、外乱光が小さい条件
下で使用する場合は正常に動作するが、車内で使用する
など外乱光の大きい条件では、撮影するための照明光に
比べて１００〜１０００倍以上の非常に強い外乱光（太
陽光）などにより、網膜反射像が取れなくなるという問
題点があった。図３６に上述の外乱光による影響を説明
する説明図を示す。図３６下部に示された波形は、得ら
れた顔面画像（図３６上部）におけるＡ−Ａ線に沿った
輝度分布を示すものであり、曲線Ａは晴天における昼間
の像で、同軸落射により撮像したもの、曲線Ｂは雨天に
おける昼間の像で、同軸落射により撮像したもの、曲線
Ｃは夜間の像で、同軸落射により撮像したものである。
同軸落射のものにおいて、外乱光が大きくなるに従い
（曲線Ｃ；夜間→曲線Ｂ；昼間・雨天→曲線Ａ；昼間・
晴天）、瞳孔６以外の部分の輝度が高くなり、瞳孔の識
別が困難になることがわかる。曲線Ａによる撮影画像は
図３７のようになる。この画像においては、顔表面７に
比べて強膜５はやや暗く映り、強膜５に比べ虹彩４は暗
く、瞳孔６は更に暗く映る。このように上記居眠り検出
装置における画像処理法では外乱光条件が大きく変化す
る条件下で、顔面上の特徴点を抽出できなくなるという
問題があった。

【０００７】この発明は上記のような問題点を解決する
ためになされたもので、車載条件下など外乱光が大きく
変化する条件下でも、検出対象者の顔面上の特徴や検出
対象者の状態を比較的短時間で検出できる画像処理装置
及び人物状態判定装置を得ることを目的とする。

【０００８】

【課題を解決するための手段】この発明の請求項１に係
る画像処理装置は、検出対象者の顔面を含む所定の領域
の像を入力する光入力手段、上記検出対象者を照明し、
上記検出対象者と上記光入力手段とを結ぶ光軸と、照明
光照明方向とが少なくとも上記検出対象者近傍において
ほぼ同軸となるように配置された照明手段、検出対象者
の周辺の明暗を検出する明暗検出手段、及び上記光入力
手段から出力される上記検出対象者の撮影画像から顔面
上の特徴を、明暗に応じた２つ以上の画像処理で抽出可
能であるとともに、上記明暗検出手段が出力する明暗信
号により２つ以上の画像処理の中から１つの画像処理を
選択、または２つ以上の画像処理による抽出結果の中か
ら１つの抽出結果を選択する特徴抽出手段を備えたもの
である。

【０００９】この発明の請求項２に係る画像処理装置
は、検出対象者の顔面を含む所定の領域の像を入力する
とともに、入力した画像の明暗を示す明暗信号を出力す
る光入力手段、上記検出対象者を照明し、上記検出対象
者と上記光入力手段とを結ぶ光軸と、照明光照明方向と
が少なくとも上記検出対象者近傍においてほぼ同軸とな
るように配置された照明手段、及び上記光入力手段から
出力される上記検出対象者の撮影画像から顔面上の特徴
を、明暗に応じた２つ以上の画像処理で抽出可能である
とともに、上記光入力手段が出力する上記明暗信号によ
り２つ以上の画像処理の中から１つの画像処理を選択、
または２つ以上の画像処理による抽出結果の中から１つ
の抽出結果を選択する特徴抽出手段を備えたものであ
る。

【００１０】この発明の請求項３に係る画像処理装置
は、検出対象者の顔面を含む所定の領域の像を入力する
光入力手段、上記検出対象者を照明し、上記検出対象者
と上記光入力手段とを結ぶ光軸と、照明光照明方向とが
少なくとも上記検出対象者近傍においてほぼ同軸となる
ように配置された照明手段、上記検出対象者または他の
人物が明暗に対応して切り替えることにより明暗に対応
した信号を出力するスイッチ、及び上記光入力手段から
出力される上記検出対象者の撮影画像から顔面上の特徴
を、明暗に応じた２つ以上の画像処理で抽出可能である
とともに、上記スイッチが出力する明暗信号により上記
２つ以上の画像処理の中から１つの画像処理を選択、ま
たは上記２つ以上の画像処理による抽出結果の中から１
つの抽出結果を選択する特徴抽出手段を備えたものであ
る。

【００１１】この発明の請求項４に係る画像処理装置
は、検出対象者の顔面を含む所定の領域の像を入力する
光入力手段、上記検出対象者を照明し、上記検出対象者
と上記光入力手段とを結ぶ光軸と、照明光照明方向とが
少なくとも上記検出対象者近傍においてほぼ同軸となる
ように配置された照明手段、上記光入力手段から出力さ
れる上記検出対象者の画像信号を用いて撮影画像の明暗
を判定する明暗度判定手段、及び上記光入力手段から出
力される上記検出対象者の撮影画像から顔面上の特徴
を、明暗に応じた２つ以上の画像処理で抽出可能である
とともに、上記明暗度判定手段が出力する明暗信号によ
り上記２つ以上の画像処理の中から１つの画像処理を選
択、または上記２つ以上の画像処理による抽出結果の中
から１つの抽出結果を選択する特徴抽出手段を備えたも
のである。

【００１２】この発明の請求項５に係る画像処理装置
は、上記各特徴抽出手段が、暗信号が入力された時は網
膜反射像による瞳孔抽出を行い、明信号が入力された時
は鼻孔抽出を行なうようにしたものである。

【００１３】この発明の請求項６に係る画像処理装置
は、検出対象者の顔面を含む所定の領域の像を入力する
光入力手段、上記検出対象者を照明し、上記検出対象者
と上記光入力手段とを結ぶ光軸と、照明光照明方向とが
少なくとも上記検出対象者近傍においてほぼ同軸となる
ように配置された照明手段、及び上記光入力手段から出
力される上記検出対象者の撮影画像から顔面上の特徴
を、明暗に応じた２つ以上の画像処理で抽出可能である
とともに、上記画像処理による抽出結果に応じて最終的
な抽出結果を選択する特徴抽出手段を備えたものであ
る。

【００１４】この発明の請求項７に係る画像処理装置
は、上記特徴抽出手段が、暗用の画像処理により瞳孔が
検出できない場合は、明用の画像処理による抽出結果を
選択するようにしたものである。

【００１５】この発明の請求項８に係る画像処理装置
は、請求項６の特徴抽出手段が、明暗いずれかに応じた
画像処理で抽出された瞳孔の大きさが小さい場合は、明
用の画像処理による抽出結果を選択するようにしたもの
である。

【００１６】この発明の請求項９に係る画像処理装置
は、上記各画像処理装置において、光入力手段の撮影条
件、または照明手段の照明条件の少なくとも一方を制御
する照明撮影制御手段を備え、上記照明撮影制御手段は
明暗検出手段、光入力手段、スイッチ、明暗度判定手
段、または特徴抽出手段のいずれかから明暗情報を取り
出して、上記撮影条件または上記照明条件を変更するよ
うにしたものである。

【００１７】この発明の請求項１０に係る画像処理装置
は、上記照明撮影制御手段が、明暗情報が明の場合は照
明光をオフし、特徴抽出手段は明用の画像処理により撮
影画像から顔面上の特徴を抽出し、明暗情報が暗の場合
は照明光をオンし、上記特徴抽出手段は暗用の画像処理
により撮影画像から顔面上の特徴を抽出するようにした
ものである。

【００１８】この発明の請求項１１に係る人物状態判定
装置は上記各画像処理装置のいずれかと、この画像処理
装置の出力から人物状態を判定する人物状態判定手段と
を備えたものである。

【００１９】

【作用】本発明の請求項１の画像処理装置は、検出対象
者周辺の照度を明暗検出手段で測定することにより、暗
いときは網膜反射像を利用した画像処理を用いて検出対
象者の特徴を抽出し、明るいときは網膜反射像にこだわ
らない画像処理を用いて検出対象者の特徴を抽出するよ
うに動作するので、検出対象者の周辺の明るさが変化し
ても顔面上の特徴を捕まえることができる。

【００２０】また、請求項２の画像処理装置は、入力し
た画像の明暗を示す明暗信号を出力する機能を有する光
入力手段により、検出対象者周辺の明暗情報を得、上記
と同様、明暗に応じた画像処理を選択するように動作す
るので、検出対象者の周辺の明るさが変化しても顔面上
の特徴を捕まえることができる。

【００２１】また、請求項３の画像処理装置は、検出対
象者または他の人物が明暗に対応して切り替えることに
より明暗に対応した信号を出力するスイッチにより、検
出対象者周辺の明暗情報を得、上記と同様、明暗に応じ
た画像処理を選択するように動作するので、検出対象者
の周辺の明るさが変化しても顔面上の特徴を捕まえるこ
とができる。

【００２２】また、請求項４の画像処理装置は、光入力
手段から出力される検出対象者の画像信号を用いて撮影
画像の明暗を判定する明暗度判定手段により、検出対象
者周辺の明暗情報を得、上記と同様、明暗に応じた画像
処理を選択するように動作するので、検出対象者の周辺
の明るさが変化しても顔面上の特徴を捕まえることがで
きる。

【００２３】また、請求項５の画像処理装置は、暗信号
が入力された時は網膜反射像による瞳孔抽出を行い、明
信号が入力された時は鼻孔抽出を行なうようにすること
で、種々の特徴抽出ができる。

【００２４】また、請求項６の画像処理装置は、特徴抽
出手段における画像処理の抽出結果に応じて、一旦抽出
結果を試してから画像処理あるいは抽出結果を選択する
ように動作するので、検出精度が上がる。

【００２５】また、請求項７の画像処理装置は、暗用の
画像処理により瞳孔が検出できない場合は、明用の画像
処理による抽出結果を選択するように動作し、暗用の画
像処理による結果を優先するため検出精度が良い。

【００２６】また、請求項８の画像処理装置は、瞳孔の
大きさを明暗いずれかの画像処理で求め、明暗情報を瞳
孔の大きさから得るようにしている。

【００２７】また、請求項９の画像処理装置は、上述し
た明暗検出手段、光入力手段、スイッチ、明暗度判定手
段、または特徴抽出手段のいずれかから明暗情報を取り
出して、光入力手段の撮影条件、または照明手段の照明
条件を変更する。

【００２８】また、請求項１０の画像処理装置は、明暗
情報が明の場合は照明光をオフにし、明暗情報が暗の場
合は照明光をオンにする。

【００２９】また、請求項１１における人物状態判定装
置は、上記各構成の画像処理装置から出力される抽出結
果をもちいて、瞼の開閉状態や顔の向き等を検出し、居
眠りや脇見等、種々の人物状態を判定する。

【００３０】

【実施例】

実施例１．以下、この発明の一実施例による居眠り検出
装置を図について説明する。図１において、２０は検出
対象者１の周辺に設置され、照度を検出する照度セン
サ、４１は暗用の特徴抽出処理と明用の特徴抽出処理の
２つの画像処理を実施できる特徴抽出回路４１である。
１０〜１４、３０、３１、５０、５１は前記従来例と同
一の動作をする構成要素である。

【００３１】次に動作について説明する。図１におい
て、光路ｌ1 で照射される赤外線ＬＥＤ１３の照明光
は、ハーフミラー１２で半分の光を反射し、光路ｌ2 で
検出対象者１の顔面を照射する。検出対象者１の画像は
光路ｌ3 でハーフミラー１２を通り、半分の光がＣＣＤ
カメラ１０に到達し、ＣＣＤカメラは検出対象者１の画
像を取り込む。この時、光路ｌ2とｌ3 の光軸は検出対
象者からみて、ほぼ同軸あるいは所定の角度以内（２
度）に納まるようになっている（同軸落射照明）。本実
施例では０度としており、ハーフミラー１２がＣＣＤカ
メラ１０の光軸ｌ3 となす角度は４５゜である。ＣＣＤ
カメラ１０から出力される画像信号は、撮影画像メモリ
３０に一旦入力される。

【００３２】図２は特徴抽出回路４１と覚醒度判定回路
５０の動作を示す処理フローである。ＳＴ１０において
顔画像を入力するまでの動作は図３１に示す従来例と同
一の動作をする。ＳＴ５０において照度センサ２０から
明暗信号を入力し、ＳＴ５１で、例えば予め定められた
照度しきい値、例えば照度５００Ｌｘ以下の場合は「暗
い」と判断し、処理はＳＴ１１へ移り前記従来例と同一
の動作により覚醒度を判断する。ＳＴ５１において「明
るい」と判断した場合は、ＳＴ４１において明用の輝度
しきい値ｔｈ２（＜暗用しきい値ｔｈ１）にて２値化処
理を行う。明るい場合の画像は図３７のようになるが、
得られた２値化画像は図３のように眉毛２、眼領域８、
鼻孔３、口領域９が黒色領域となり、その他の部分は白
色領域となる画像になる。次にＳＴ４２、ＳＴ４３にて
眼の領域を抽出する。抽出は、まずＳＴ４２で、図３の
右部分に示すように黒画素のＹ軸方向への輝度投影を行
う。例えば、得られる２値化画像をＧ２（ｘ，ｙ）で表
現すると（ｘ＝０〜２５５、ｙ＝０〜２５５）、Ｙ軸へ
の投影は

【００３３】

【数１】

【００３４】で示される。このとき眉毛２、眼領域８、
鼻孔３、口領域９などが黒画素数の山Ｐ１，Ｐ２，Ｐ
３，Ｐ４として現れる。この山のパターンは眉毛に対応
する山Ｐ１と眼領域に対応する山Ｐ２は大きく、次の鼻
孔に対応する山Ｐ３は小さい山となるので、ＳＴ４３に
て２番目の山Ｐ２を眼領域として特定する。次にＳＴ４
４で眼の開閉判断をする。図４は閉眼の場合の２値化画
像である。このように眼領域の山Ｐ２の面積は瞼を閉じ
ると小さく、眼を開けると大きくなるので、予め定めら
れた値より山Ｐ２の面積が大きい場合は開眼、小さい場
合は閉眼と判断する。以下ＳＴ２０以降の動作は前記従
来例と同一である。

【００３５】なお、上記実施例では明るいとき、２値化
画像における黒画素をＹ軸方向へ輝度投影して眼の領域
を抽出し、眼領域の山の面積により眼の開閉判断をした
が、眼領域の山の幅でもよい。また、暗いときにおいて
も、２値化画像における白画素をＹ軸方向へ輝度投影し
て瞳孔を抽出し、瞳孔の面積により眼の開閉判断をした
が、瞳孔を示す山の幅でもよい。また、明るいときの画
像処理法は上記方法にこだわらず、２値化画像のエッジ
処理等で眼の開閉判断等をしてもよい。

【００３６】以上のように、本実施例では検出対象者周
辺の照度を照度センサで測定することにより、暗いとき
は網膜反射像を利用した画像処理を用いて検出対象者の
特徴を抽出し、明るいときは網膜反射像にこだわらない
画像処理を用いて検出対象者の特徴を抽出するように動
作するので、検出対象者の周辺の明るさが変化しても顔
面上の特徴を常に捕まえ、居眠りを監視することができ
るようになる。

【００３７】実施例２．図５はこの発明の他の実施例に
よる人物状態判定装置であり、顔を左または右に向ける
と顔角度に応じて見かけ上の瞳孔間隔や鼻孔の間隔が狭
くなる。このことから脇見を検出し、警報を与える脇見
検出装置の実施例である。図５において、４１は特徴抽
出回路であり、脇見検出用の特徴を抽出するように動作
する。５２は脇見判定回路である。

【００３８】次に動作を説明する。図６は特徴抽出回路
４１、及び脇見判定回路５２の動作を示すフローチャー
トである。ＳＴ１０において顔画像を入力し、ＳＴ５０
において照度センサ２０から明暗信号を入力する。ＳＴ
５１で、実施例１と同様、例えば予め定められた照度し
きい値以下の場合は「暗い」と判断し、処理はＳＴ１１
へ移り、２値化処理の後ＳＴ１２０で、図７に示すよう
に白画素のＸ軸方向への投影を行なう。ＳＴ１３０では
２つの瞳孔の位置ｘq1、ｘq2を抽出する。即ち、２つの
瞳孔に対応してＸ軸方向への投影像に現われる２つの山
のピークの位置を各々求めることにより、瞳孔の位置が
抽出できる。ＳＴ１４０ではＳＴ１３０で求めた２つの
瞳孔の位置から、瞳孔の見かけ上の間隔ｄppを求め、得
られた見かけ上の間隔から顔の向きを推定する。顔の角
度θfはｃｏｓ（θf）＝ｄpp／Ｄpp から求められる。但し、Ｄppは顔を正面に向けたときの
見かけ上の瞳孔間隔、ｄppは現在の見かけ上の瞳孔間隔
である。

【００３９】一方、ＳＴ５１において、予め定められた
照度しきい値以上の場合は「明るい」と判断し、この場
合は、鼻孔の間隔から顔の角度を推定する。即ち、ＳＴ
４１において実施例１と同様、明用の輝度しきい値ｔｈ
２（＜暗用しきい値ｔｈ１）にて２値化処理を行い、Ｓ
Ｔ４２０で黒画素のＹ軸方向への輝度投影を行う。図３
に示すようにＹ軸へ輝度投影すると鼻孔３は、大きな山
Ｐ１，Ｐ２の下にある小さな黒色の山Ｐ３として現れ
る。ＳＴ４２０ではさらに山Ｐ３の中心ｙp3を求め、鼻
孔抽出の為のウィンドウを設定する。ウィンドウは縦は
ｙp3を中心に例えば上下２ｃｍに対応する画素幅、横は
０〜２５５とする。このウィンドウは図８の上部の様に
なる。その後、Ｘ軸方向への輝度投影をする。黒画素の
Ｘ軸方向への輝度投影は

【００４０】

【数２】

【００４１】で示される。ここで、y0は上下１ｃｍに対
応する画素数である。Ｘ軸方向へ輝度投影すると、図８
の下のように２つの鼻孔に対応する山Ｑ１、Ｑ２が現れ
るので、ＳＴ４５においてＱ１、Ｑ２の鼻孔中心ｘq1，
ｘq2を求めることにより、左右の鼻孔の位置ｎR（ｘq
1、ｙp3）、ｎl（ｘq2、ｙp3）を見つける。ＳＴ４６で
はＳＴ４５で求めた２つの鼻孔の位置から、鼻孔の見か
け上の間隔を求め、得られた見かけ上の間隔から顔の向
きを推定する。顔の角度θfはｃｏｓ（θf）＝ｄnn／Ｄ
nnから求められる。但し、Ｄnnは顔を正面に向けたとき
の見かけ上の鼻孔間隔、ｄnnは現在の見かけ上の鼻孔間
隔である。

【００４２】この顔の向きに関する情報は、脇見判定回
路５２に入力され、脇見判定回路５２はＳＴ２２で、得
られた顔の向きが２０度以上であり、かつこの状態が５
秒以上続いているかどうかを判定し、５秒以上続けば、
脇見状態であると判断し、ＳＴ２３で警報発生回路５１
に警報出力命令を出力する。５秒未満の時はＳＴ１０に
処理は移る。

【００４３】以上のように、本実施例では検出対象者周
辺の照度を照度センサで測定し、暗いときは網膜反射像
を利用して瞳孔を抽出し、明るいときは網膜反射像にこ
だわらない画像処理を用いて鼻孔を抽出することによ
り、明暗に応じて検出精度のよい特徴を抽出するので、
脇見判定の検出精度が向上する。

【００４４】実施例３．図９はこの発明の実施例３によ
る居眠り検出装置を示す構成図である。図９において、
１５はＡＧＣ（オートゲインコントロール）付きのＣＣ
Ｄカメラであり、入力した画像の明暗を示す明暗信号で
あるＡＧＣ信号を外部に出力する機能を持つ。即ち、照
度が高い場合は、光−電気変換後の電気信号増幅のゲイ
ンを小さくし、照度が高い場合は、光−電気変換後の電
気信号増幅のゲインを大きくする機能を有するＣＣＤカ
メラであり、このゲイン情報を外部に出力する。動作は
実施例１と同様であり、照度センサ２０からの明暗信号
の変わりに、このＣＣＤカメラ１５よりゲイン情報に対
応して明暗信号が特徴抽出回路４１に出力される。従っ
て、実施例１の効果に加えて、照度センサを省くことが
できるので安価な装置を提供することができる。

【００４５】実施例４．図１０はこの発明の実施例４に
よる居眠り検出装置を示す構成図である。図１０におい
て、２１は明暗状態に応じて人が切り替える明暗スイッ
チである。即ち、検出対象者または他の人物が、検出対
象者周辺の明暗に対応してスイッチ２１を切り替え、明
暗に対応した信号を出力する。動作は実施例１と同様で
あり、照度センサ２０からの明暗信号の変わりに、この
スイッチ２１より明暗信号が特徴抽出回路４１に出力さ
れる。従って、実施例３と同様、検出精度が向上すると
ともに、照度センサを省くことができるので安価な装置
を提供することができる。

【００４６】なお、上記実施例４では、明暗状態に応じ
て切り替える明暗スイッチ２１を用いたが、上記装置を
自動車に適用し、ライトのオンオフのスイッチを上記明
暗スイッチ２１と兼用して、明暗に対応した信号をとり
だすようにしてもよい。図１１は本実施例による居眠り
検出装置を車載した自動車を示す部分構成図である。図
１１において、２２はヘッドライトのスイッチであり、
オンの時に暗信号を、オフの時に明信号を特徴抽出回路
４１に出力する。このような構成にすることにより、明
暗信号が自動車のライトのオンオフのスイッチと連動
し、運転者が自然に行なう動作により明暗信号を発生す
るため、操作が煩わしくないものが得られる。

【００４７】実施例５．図１２はこの発明の実施例５に
よる居眠り検出装置を示す構成図である。図１２におい
て、４２は撮影画像メモリ３０のデータを入力し、明暗
度を判定する明暗判定回路である。即ち、Ｇ１（ｘ，
ｙ）を画像メモリの内容とすれば、明暗判定回路４２
は、撮影画像の明暗を判定する値Ｇ１totalを次式

【００４８】

【数３】

【００４９】より求め、上記Ｇ１total が予め定められ
値以上の場合「明るい」と判断し、未満の場合「暗い」
と判断する。特徴抽出回路４１は照度センサ２０からの
明暗信号の変わりに、明暗判定回路４２の明暗情報を入
力して、以下実施例１と同様に動作する。

【００５０】このように画像メモリを用いて明暗を検出
することにより、明暗検出のためのセンサが省け、実施
例１の効果に加えて、安価な装置を提供することができ
る。

【００５１】なお、上記実施例ではＧ１totalは画像デ
ータ全体を用いたが、画像の一部分を用いてもよい。

【００５２】また、上記実施例では明暗判定回路４２は
撮影画像メモリ３０のデータを入力して明暗度を判定し
たが、図１３に示すように、ＣＣＤカメラ１０からの画
像信号を入力し、例えば入力される画像信号の１／３０
秒間の積分量に応じて明暗を判定し、特徴抽出回路４１
に明暗信号を出力するようにしてもよい。

【００５３】実施例６．上記各実施例の特徴抽出回路４
１では、明用の画像処理と暗用の画像処理を外部からの
信号を入力して切り換えていたが、外部からの信号によ
らないで、各々の画像処理による抽出結果を用いて１つ
の抽出結果を選択するようにしてもよい。図１４はこの
ような居眠り検出装置を示す構成図である。図１４にお
いて、４３は暗用特徴抽出回路、４４は明用特徴抽出回
路、４５は選択回路である。暗用特徴抽出回路４３は、
撮影画像メモリ３０のデータを入力し、図１５のフロー
に従い、瞼開閉度と瞳孔のＹ座標を抽出する。即ち、あ
る程度暗い環境の場合は実施例１のように瞳孔のみが抽
出できるが、明るい環境では鼻の先端の輝度と瞳孔との
輝度が近くなり、しきい値ｔｈ１で２値化をすると、図
１６のように瞳孔と鼻の先端が白色領域となり、Ｙ軸へ
の輝度投影を行うと、瞳孔による山Ｒ１と鼻の先端によ
る山Ｒ２が現れ、どちらが瞳孔か判断できなくなる。さ
らに明るい環境では多数の白領域が現れるので瞼開閉の
判断はできなくなる。暗用特徴抽出回路４３は特徴抽出
結果として、瞳孔が抽出できる場合は、Ｒ１に対応した
値（Ｙ座標ｙr1、開閉度ｄr1）を、瞳孔を特定できない
場合は検出不能情報を出力する。図１５において、ＳＴ
１０で顔画像を入力し、ＳＴ１１でしきい値ｔｈ１で２
値化処理を行う。ＳＴ１２で白画素のＹ軸方向の投影を
行い、ＳＴ６０で白領域を示すＹ軸投影像の山の数を検
出し、山が２つ以上の場合、瞳孔抽出不能としてＳＴ６
５へいき、瞳孔は検出不能であると判断する。山が１つ
の場合は瞳孔が抽出可能であるためＳＴ１３で投影像の
面積を求めることにより、瞳孔の見かけ上の大きさが計
算できる。ＳＴ６１では上記面積が予め定められた値以
上の時はＳＴ６３へいき、開眼と判断して、投影像から
瞳孔のＹ座標ｙr1と瞼の開閉度にあたる山の幅ｄr1を求
める。上記面積が予め定められた値未満のときはＳＴ６
２で閉眼と判断する。ＳＴ６４ではＳＴ６２、ＳＴ６
３、及びＳＴ６５の結果を選択回路に出力する。

【００５４】一方、明用特徴抽出回路４４は撮影画像メ
モリ３０のデータを入力し、図１７のフローに従い、瞼
開閉度と瞳孔のＹ座標を抽出する。即ち、明るい環境で
は実施例１のように眉、眼領域、鼻孔、口に対応した山
Ｐ１，Ｐ２，Ｐ３，Ｐ４がそれぞれ分離して抽出できる
が、やや暗くなり顔面上のコントラスト比が小さくなっ
てくると、しきい値ｔｈ２で２値化をすると図１８のよ
うに眉、眼領域、鼻孔、口以外に黒領域が現れ、Ｙ軸輝
度投影を行っても眼領域の山Ｐ２を特定できなくなる。
明用特徴抽出回路４４は特徴抽出結果として、検出でき
る場合はＰ２に対応した瞼開閉度を、検出できない場合
は、検出不能情報を出力する。図１７において、ＳＴ１
０で顔画像を入力し、ＳＴ４１でしきい値ｔｈ２で２値
化処理を行う。ＳＴ４２で黒画素のＹ軸方向の投影を行
い、ＳＴ７０で黒領域を示すＹ軸投影像の山を検出し、
山が不明瞭な場合、即ち投影像の黒画素数が０と０とで
囲まれた領域が例えば４つ以下の時、ＳＴ７５で眼領域
は検出不能であると判断する。山が明瞭である場合、即
ち上記領域が４つの時は、ＳＴ４３で２番目の山Ｐ２を
眼領域として特定する。ＳＴ７１では眼領域の山Ｐ２の
面積が予め定められた値より大きいかどうかを判断し、
大きい場合はＳＴ７３において開眼と判断し、投影像か
ら眼領域のＹ座標と瞼の開閉度にあたる山の幅を求め
る。上小さい場合はＳＴ７２において閉眼と判断する。
ＳＴ７４ではＳＴ７２、ＳＴ７３、及びＳＴ７５の結果
を選択回路に出力する。

【００５５】選択回路４５は図１９のフローに従い、暗
用特徴抽出回路４３と明用特徴抽出回路４４の出力結果
から一方の結果を選択する。本実施例では、明用の特徴
抽出結果が検出不能でない限り明用を選択し、明用の特
徴抽出結果が検出不能ならば暗用の検出結果を選択す
る。即ち、ＳＴ８０で暗用特徴抽出回路４３の抽出結果
を入力し、ＳＴ８１で明用特徴抽出回路４４の抽出結果
を入力する。ＳＴ８２では明用の特徴抽出結果が検出可
能であれば、ＳＴ８４で明用の特徴抽出結果を選択し、
明用の特徴抽出結果が検出不能ならばＳＴ８３で暗用の
特徴抽出結果を選択する。ＳＴ８５では選択した抽出結
果を覚醒度判定回路５０に出力し、覚醒度判定回路５
０、及び警報発生回路５１は上記抽出結果を用いて、例
えば図２０に示すフローに従って居眠り状態を判断し、
警報を発生する。図２０において、ＳＴ１００で特徴抽
出回路４１から瞳孔（または眼領域）の位置を入力し、
ＳＴ１０１ではこの位置を記憶する。ＳＴ１０２では上
記位置の５分間のデータを取り、ＳＴ１０３でこの５分
間のデータの平均値を求めることにより、標準瞳孔（眼
領域）高さを計算する。ＳＴ１０４では引続き、特徴抽
出回路４１から瞳孔（または眼領域）の位置を入力し、
ＳＴ１０５で２分間のデータから得られる平均瞳孔（眼
領域）高さを計算する。ＳＴ１０６ではこの平均瞳孔
（眼領域）高さと前記標準瞳孔（眼領域）高さを比較
し、平均瞳孔（眼領域）高さが標準瞳孔（眼領域）高さ
より例えば５ｃｍ以上低い場合は居眠り状態と判断し
て、ＳＴ１０７でブザー（警報）を鳴らすようにする。

【００５６】このように本実施例では明暗状態に係わら
ず、明用と暗用の画像処理で特徴抽出を行ない、成功し
た特徴抽出結果を用いるので、実施例１に比べ、居眠り
判定の検出精度が上がる効果がある。

【００５７】なお、上記実施例では開眼状態において瞳
孔または眼領域のＹ座標及び瞼開閉度も求め、覚醒度判
定回路で瞳孔または眼領域の位置により居眠りを判定し
たが、従来例及び実施例１〜５と同様、開閉状態のみを
抽出結果として出力し、これにより居眠りを判定しても
よい。

【００５８】また、上記実施例６では明用を優先的に選
択したが、暗用を優先的に選択しても良い。

【００５９】また、実施例６では暗用特徴抽出回路４
３、明用特徴抽出回路４４は検出可能、検出不能の判断
により、開眼、閉眼、検出不能の３種類の結果を出力し
たが、暗用特徴抽出回路は（１）瞳孔第１候補の開閉判定結果と位置（２）（１）に加え、瞳孔瞳孔第２候補（図１６でｙ
r2の位置のもの）の開閉判定結果と位置（３）検出不能というように投影像に対応して複数の候補も検出し、
（１）、（２）に対して、それぞれ開閉判断を実行して
も良い。従って検出結果は５種類となり、選択回路４５
は複数の候補を入力する。

【００６０】選択回路４５の動作を図２１に示す。図２
１において、ＳＴ８０で暗用特徴抽出回路４３の抽出結
果を入力し、ＳＴ８１で明用特徴抽出回路４４の抽出結
果を入力する。ＳＴ８６では暗用の特徴抽出結果が検出
不能ならば、ＳＴ８４で明用の特徴抽出結果を選択す
る。一方、ＳＴ８６で暗用の特徴抽出結果が検出可能で
あれば、ＳＴ１１０で第１候補のみ検出したかどうかを
判定し、第１候補のみが検出されたのならば、ＳＴ１１
１で暗用の特徴抽出結果、即ち第１候補を選択する。第
１候補以外も検出されたのならば、ＳＴ８２で、明用の
特徴抽出結果が検出可能かどうかを判定し、検出不能で
あれば、ＳＴ１１２で暗用特徴抽出結果の第１候補と第
２候補のうち、瞳孔の位置が前回の抽出結果に近い方の
候補を選択する。ＳＴ８２で、検出可能と判定されれ
ば、ＳＴ１１３で暗用特徴抽出結果の第１候補と第２候
補のうち、瞳孔の位置が明用特徴抽出結果に近い方の候
補を選択する。ＳＴ８５では選択した抽出結果を覚醒度
判定回路５０に出力する。

【００６１】このように第２候補も抽出してより確かな
抽出結果を選択することにより、検出精度が向上すると
ともに、明暗の中間領域でも特徴をよく捕まえることが
出来、検出不能領域が減る効果がある。

【００６２】実施例７．上記実施例６においては暗用の
画像処理と明用の画像処理を行い、各画像処理における
抽出結果を用いて１つの抽出結果を選択するようにした
が、この選択を実施例１と同様に、照度センサ２０の出
力に応じて選択するようにしてもよい。図２２はこの発
明の実施例７による居眠り検出装置を示す構成図であ
る。図２２において、暗用特徴抽出回路４３と明用特徴
抽出回路４４の動作は実施例６と同一である。選択回路
４５のフローを図２３に示す。図２３において、ＳＴ８
０で暗用特徴抽出回路４３の抽出結果を入力し、ＳＴ８
１で明用特徴抽出回路４４の抽出結果を入力する。ＳＴ
８２で明用の特徴抽出結果が検出可能ならば、ＳＴ８６
で暗用の特徴抽出結果が検出可能かどうかを判定する。
検出可能であれば、ＳＴ８７で照度センサ２０から明暗
信号を入力し、ＳＴ８８では照度センサ２０からの明暗
信号が明信号であるかどうかを判定する。明信号であれ
ばＳＴ８４で明用特徴抽出回路４４の抽出結果を選択す
る。暗信号であればＳＴ８３で暗用特徴抽出回路４３の
抽出結果を選択する。一方、ＳＴ８２で明用の特徴抽出
結果が検出不能ならば、ＳＴ８３で暗用特徴抽出回路４
３の抽出結果を選択する。ＳＴ８５ではＳＴ８３または
ＳＴ８４で選択した抽出結果を覚醒度判定回路５０に出
力する。

【００６３】このようにすることにより、実施例１の効
果に加え、明用と暗用の画像処理の両方で特徴抽出可能
な場合、照度により、より正確な方を選択するので明と
暗の中間での環境において検出精度が上がる。

【００６４】実施例８．上記実施例６では特徴抽出回路
４１は、暗用の画像処理と明用の画像処理を行い、各画
像処理による抽出結果を用いて１つの抽出結果を選択す
るようにしたが、１つの画像処理による抽出結果に応じ
て、明暗いずれかの画像処理を選択し、最終的な抽出結
果を得るようにしてもよい。図２４はこの発明の実施例
８による居眠り検出装置を示す構成図、図２５は特徴抽
出回路４１及び覚醒度判定回路５０のフローである。図
２５において、まずＳＴ９０〜ＳＴ９３で暗用の特徴抽
出を行う。ＳＴ９４では、暗用の特徴抽出で瞳孔を検出
できたかを判定し、検出できていれば、以後ＳＴ１０〜
ＳＴ１４で暗用の特徴抽出を行い、この抽出結果を最終
的な抽出結果としてＳＴ２０で上記各実施例と同様、居
眠り検出を行なう。即ち、連続して３秒以上閉眼情報が
入力されたかどうかを判断し、３秒以上閉眼状態であっ
たならば、居眠り状態であると判断し、ＳＴ２１で警報
発生回路５１に警報出力命令を出力する。閉眼状態が３
秒未満の時はＳＴ１０に処理は移る。一方、ＳＴ９４で
瞳孔が抽出できなければ、以後ＳＴ４０〜ＳＴ４４で明
用の特徴抽出を行い、この抽出結果を最終的な抽出結果
として、ＳＴ４７で居眠り検出を行なう。即ち、連続し
て３秒以上閉眼情報が入力されたかどうかを判断し、３
秒以上閉眼状態であったならば、居眠り状態であると判
断し、ＳＴ４８で警報発生回路５１に警報出力命令を出
力する。閉眼状態が３秒未満の時はＳＴ４０に処理は移
る。

【００６５】このように、本実施例では暗用の画像処理
で特徴抽出が可能かどうかを判定して、以後の画像処理
方法を選択することにより、照度センサ等を用いずに安
価な装置で、実施例１と同様の効果がある。また、暗用
の画像処理を優先するので検出精度がよい。

【００６６】なお、上記実施例８では、暗用の特徴抽出
で瞳孔を検出できるかどうかを、１回の特徴抽出処理だ
けで判定したが、１回だけではたまたま眼を閉じている
場合があるので、例えば２秒ほど暗用の特徴抽出処理を
行い、暗用が使用できるかどうかを判定しても良い。

【００６７】また、実施例８では、暗用の特徴抽出で瞳
孔を検出できるかどうかを判定した後は、明用か暗用か
一方に画像処理を固定したが、明用に固定した後も、例
えば１０分に一回の頻度で暗用の特徴抽出処理を行い、
暗用が使用できるかどうかを再判定しても良い。

【００６８】また、実施例８では、暗用の画像処理で特
徴抽出ができるかどうかを判定したが、明用の画像処理
で特徴抽出ができるかどうかにより、以後の画像処理方
法を選択して、明用の画像処理を優先するようにしても
よい。

【００６９】実施例９．図２６はこの発明の実施例９に
よる居眠り検出装置に係わる特徴抽出回路４１及び覚醒
度判定回路５０のフローである。なお、居眠り検出装置
の構成は図２４と同様の構成である。瞳孔は明るいと小
さく、暗いと大きくなることから、本実施例において
は、明暗いずれかに応じた画像処理で抽出された瞳孔の
大きさが小さい場合は、明用の画像処理、及び明用の画
像処理による抽出結果を選択し、抽出された瞳孔の大き
さが大きい場合は、暗用の画像処理、及び暗用の画像処
理による抽出結果を選択するようにしたものである。図
２６において、まずＳＴ９０〜ＳＴ９３で暗用の画像処
理で瞳孔を抽出し、ＳＴ９５でＹ軸方向の投影像におけ
る幅を検出することにより、瞳孔の径を求め、ＳＴ９６
で瞳孔直径が例えば４ｍｍ以上で有ればＳＴ１０〜ＳＴ
１４で暗用、未満で有ればＳＴ４０〜ＳＴ４４で明用の
画像処理を実行する。以下の動作は各々実施例８と同じ
である。

【００７０】このように、明用あるいは暗用の画像処理
を選択する際に、瞳孔の大きさによって選択しているの
で、特徴抽出の精度が上がるとともに、照度センサ等を
用いずに安価な装置で、実施例１と同様の効果がある。

【００７１】なお、上記実施例では瞳孔の大きさにより
画像処理方法を選択したが、図１４と同様の構成とし、
明用特徴抽出回路と暗用特徴抽出回路の抽出結果を、い
ずれかの回路で得られた瞳孔の大きさにより選択するよ
うにしても同様の効果がある。

【００７２】実施例１０．図２７はこの発明の実施例１
０による居眠り検出装置を示す構成図である。図２７に
おいて、１６はシャッタスピード設定回路であり、照度
センサ２０からの明暗情報を入力し、照度が一定以下だ
とＣＣＤカメラ１０のシャッタスピードを遅くする。ま
た照度が一定以上だとＣＣＤカメラ１０のシャッタスピ
ードを早くする。その他の動作は実施例１と同様であ
る。

【００７３】このように本実施例では、明暗に応じてＣ
ＣＤカメラのシャッタスピードを変更するので、実施例
１の効果に加えて、入力画像の質が向上し、特徴抽出精
度が向上する。

【００７４】実施例１１．図２８はこの発明の実施例１
１による居眠り検出装置を示す構成図である。図２８に
おいて、１７はＣＣＤカメラ１０に装着する光学フィル
タを可視光カットフィルタ１１にするか赤外線カットフ
ィルタ１８にするかを切り替えるフィルタ交換回路であ
る。フィルタ交換回路１７は照度センサ２０からの明暗
情報を入力し、照度が一定以下だと可視光カットフィル
タ１１を選択し、照度が一定以上だと赤外線カットフィ
ルタ１８を選択する。その他の動作は実施例１と同様で
ある。

【００７５】このように本実施例では、明るい場合は可
視光で撮影するのでコントラストの良い画像が得られ、
明用の検出精度が上がる。

【００７６】なお、上記実施例１１では明暗に応じて光
学フィルタを交換したが、可視光カットフィルタを備え
た同軸落射撮影系と、赤外カットフィルタを備えたハー
フミラーのない非同軸の撮影系との２つの撮影系を備
え、暗い時は同軸落射撮影系で撮影し、明るい時は非同
軸の撮影系で撮影するように切り替えても良い。このよ
うにすれば、フィルタ交換の回路が省け、明状態の時ハ
ーフミラーを通さず撮影するので画像の質が上がる。

【００７７】また、上記実施例１０、１１では実施例１
に示した照度センサ２０の明暗情報を基に光入力手段の
撮影条件を制御したが、実施例２ないし９に示した光入
力手段１５、スイッチ２１、明暗度判定手段４２、また
は特徴抽出手段４１のいずれかから明暗情報を取り出し
て、上記撮影条件を変更するようにしてもよい。

【００７８】実施例１２．図２９はこの発明の実施例１
２による居眠り検出装置を示す構成図である。図２９に
おいて、ＬＥＤ駆動回路１４は照度センサ２０からの明
暗情報を入力し、照度が一定以下だと赤外線ＬＥＤ１３
をオンし、照度が一定以上だと赤外線ＬＥＤ１３をオフ
する。その他の動作は実施例１と同様である。

【００７９】このように本実施例では、暗い場合のみ赤
外線で照明するので、検出対象者を煩わせることなく顔
画像を確実に得ることができる。また、明るい場合は照
明しないので消費電力を節約できる。

【００８０】なお、上記実施例１２では明暗に応じて光
学ＬＥＤのオンオフを制御したが、ハーフミラーを移動
する機構を設けて、暗の場合は同軸落射に、明の場合は
ハーフミラーを通さず直接被験者を撮影するようにして
もよい。このようにすれば明状態の時、ハーフミラーを
通さず撮影するので画像の質が上がる。

【００８１】また、上記実施例１２では実施例１に示し
た照度センサ２０の明暗情報を基に照明手段の照明条件
を制御したが、実施例２ないし９に示した光入力手段１
５、スイッチ２１、明暗度判定手段４２、または特徴抽
出手段４１のいずれかから明暗情報を取り出して、上記
照明条件を変更するようにしてもよい。

【００８２】なお、上記各実施例においてカメラはＣＣ
Ｄにこだわらない。例えばＣＩＤカメラでも良い。

【００８３】また、撮影系は一つのカメラで説明した
が、複数の同軸落射照明とカメラのセットでも良い。

【００８４】また、同軸落射照明はハーフミラーの場合
のみを示したが、同軸落射で有ればこのような構造にこ
だわらない。例えばカメラのレンズ中心に発光素子があ
り、運転者を直接照射する構造にしても良い。

【００８５】

【発明の効果】以上のように、この発明の請求項１によ
れば、検出対象者の顔面を含む所定の領域の像を入力す
る光入力手段、上記検出対象者を照明し、上記検出対象
者と上記光入力手段とを結ぶ光軸と、照明光照明方向と
が少なくとも上記検出対象者近傍においてほぼ同軸とな
るように配置された照明手段、検出対象者の周辺の明暗
を検出する明暗検出手段、及び上記光入力手段から出力
される上記検出対象者の撮影画像から顔面上の特徴を、
明暗に応じた２つ以上の画像処理で抽出可能であるとと
もに、上記明暗検出手段が出力する明暗信号により２つ
以上の画像処理の中から１つの画像処理を選択、または
２つ以上の画像処理による抽出結果の中から１つの抽出
結果を選択する特徴抽出手段を備えたので、明るい条件
でも、暗い条件でも検出対象者の顔面上の特徴を比較的
短時間で検出することができる。

【００８６】また、請求項２によれば、検出対象者の顔
面を含む所定の領域の像を入力するとともに、入力した
画像の明暗を示す明暗信号を出力する光入力手段、上記
検出対象者を照明し、上記検出対象者と上記光入力手段
とを結ぶ光軸と、照明光照明方向とが少なくとも上記検
出対象者近傍においてほぼ同軸となるように配置された
照明手段、及び上記光入力手段から出力される上記検出
対象者の撮影画像から顔面上の特徴を、明暗に応じた２
つ以上の画像処理で抽出可能であるとともに、上記光入
力手段が出力する上記明暗信号により２つ以上の画像処
理の中から１つの画像処理を選択、または２つ以上の画
像処理による抽出結果の中から１つの抽出結果を選択す
る特徴抽出手段を備えたので、上記と同様、明るい条件
でも、暗い条件でも検出対象者の顔面上の特徴を比較的
短時間で検出することができる。

【００８７】また、請求項３によれば、検出対象者の顔
面を含む所定の領域の像を入力する光入力手段、上記検
出対象者を照明し、上記検出対象者と上記光入力手段と
を結ぶ光軸と、照明光照明方向とが少なくとも上記検出
対象者近傍においてほぼ同軸となるように配置された照
明手段、上記検出対象者または他の人物が明暗に対応し
て切り替えることにより明暗に対応した信号を出力する
スイッチ、及び上記光入力手段から出力される上記検出
対象者の撮影画像から顔面上の特徴を、明暗に応じた２
つ以上の画像処理で抽出可能であるとともに、上記スイ
ッチが出力する明暗信号により上記２つ以上の画像処理
の中から１つの画像処理を選択、または上記２つ以上の
画像処理による抽出結果の中から１つの抽出結果を選択
する特徴抽出手段を備えたので、上記と同様、明るい条
件でも、暗い条件でも検出対象者の顔面上の特徴を比較
的短時間で検出することができる。

【００８８】また、請求項４によれば、検出対象者の顔
面を含む所定の領域の像を入力する光入力手段、上記検
出対象者を照明し、上記検出対象者と上記光入力手段と
を結ぶ光軸と、照明光照明方向とが少なくとも上記検出
対象者近傍においてほぼ同軸となるように配置された照
明手段、上記光入力手段から出力される上記検出対象者
の画像信号を用いて撮影画像の明暗を判定する明暗度判
定手段、及び上記光入力手段から出力される上記検出対
象者の撮影画像から顔面上の特徴を、明暗に応じた２つ
以上の画像処理で抽出可能であるとともに、上記明暗度
判定手段が出力する明暗信号により上記２つ以上の画像
処理の中から１つの画像処理を選択、または上記２つ以
上の画像処理による抽出結果の中から１つの抽出結果を
選択する特徴抽出手段を備えたので、上記と同様、明る
い条件でも、暗い条件でも検出対象者の顔面上の特徴を
比較的短時間で検出することができる。

【００８９】また、請求項５によれば、各特徴抽出手段
において、暗信号が入力された時は網膜反射像による瞳
孔抽出を行い、明信号が入力された時は鼻孔抽出を行な
うようにしたので、種々の特徴抽出ができる。

【００９０】また、請求項６によれば、検出対象者の顔
面を含む所定の領域の像を入力する光入力手段、上記検
出対象者を照明し、上記検出対象者と上記光入力手段と
を結ぶ光軸と、照明光照明方向とが少なくとも上記検出
対象者近傍においてほぼ同軸となるように配置された照
明手段、及び上記光入力手段から出力される上記検出対
象者の撮影画像から顔面上の特徴を、明暗に応じた２つ
以上の画像処理で抽出可能であるとともに、上記画像処
理による抽出結果に応じて最終的な抽出結果を選択する
特徴抽出手段を備えたので、上記と同様、明るい条件で
も、暗い条件でも検出対象者の顔面上の特徴を比較的短
時間で検出することができ、さらには一旦画像処理を行
なって抽出結果を導き、これにより最終的な抽出結果を
出力するので検出精度が上がる。

【００９１】また、請求項７によれば、暗用の画像処理
により瞳孔が検出できない場合は、明用の画像処理によ
る抽出結果を選択するように動作するので、さらに検出
精度が上がる。

【００９２】また、請求項８によれば、瞳孔の大きさを
明暗いずれかの画像処理で求め、明暗情報を瞳孔の大き
さから得るようにしたので、上記と同様、明るい条件で
も、暗い条件でも検出対象者の顔面上の特徴を比較的短
時間で、精度良く検出することができる。

【００９３】また、請求項９によれば、明暗検出手段、
光入力手段、スイッチ、明暗度判定手段、または特徴抽
出手段のいずれかから明暗情報を取り出して、光入力手
段の撮影条件、または照明手段の照明条件を変更するよ
うにしたので、さらに検出精度が上がる効果がある。

【００９４】また、請求項１０によれば、明暗情報が明
の場合は照明光をオフにし、明暗情報が暗の場合は照明
光をオンにしたので、明るいときに不要な照明電力を使
うことがない。

【００９５】また、請求項１１によれば、上記各構成の
画像処理装置から出力される抽出結果をもちいて、人物
状態を判定するようにしたので、明暗に係わらず人物の
状態を検出する装置が得られる効果がある。

【図面の簡単な説明】

【図１】この発明の実施例１による居眠り検出装置を
示す構成図である。

【図２】この発明の実施例１に係わる特徴抽出回路と
覚醒度判定回路の動作を示すフローチャートである。

【図３】この発明の実施例１による居眠り検出装置の
動作を説明する説明図である。

【図４】この発明の実施例１による居眠り検出装置の
動作を説明する説明図である。

【図５】この発明の実施例２による脇見検出装置を示
す構成図である。

【図６】この発明の実施例２に係わる特徴抽出回路と
脇見判定回路の動作を示すフローチャートである。

【図７】この発明の実施例２による脇見検出装置の動
作を説明する説明図である。

【図８】この発明の実施例２による脇見検出装置の動
作を説明する説明図である。

【図９】この発明の実施例３による居眠り検出装置を
示す構成図である。

【図１０】この発明の実施例４による居眠り検出装置
を示す構成図である。

【図１１】この発明の実施例４による居眠り検出装置
を車載した自動車を示す部分構成図である。

【図１２】この発明の実施例５による居眠り検出装置
を示す構成図である。

【図１３】この発明の実施例５による他の居眠り検出
装置を示す構成図である。

【図１４】この発明の実施例６による居眠り検出装置
を示す構成図である。

【図１５】この発明の実施例６に係わる暗用特徴抽出
回路の動作を示すフローチャートである。

【図１６】この発明の実施例６による居眠り検出装置
の動作を説明する説明図である。

【図１７】この発明の実施例６に係わる明用特徴抽出
回路の動作を示すフローチャートである。

【図１８】この発明の実施例６による居眠り検出装置
の動作を説明する説明図である。

【図１９】この発明の実施例６に係わる選択回路の動
作を示すフローチャートである。

【図２０】この発明の実施例６に係わる覚醒度判定回
路の動作を示すフローチャートである。

【図２１】この発明の実施例６に係わる他の選択回路
の動作を示すフローチャートである。

【図２２】この発明の実施例７による居眠り検出装置
を示す構成図である。

【図２３】この発明の実施例７に係わる選択回路の動
作を示すフローチャートである。

【図２４】この発明の実施例８による居眠り検出装置
を示す構成図である。

【図２５】この発明の実施例８に係わる特徴抽出回路
と覚醒度判定回路の動作を示すフローチャートである。

【図２６】この発明の実施例９に係わる特徴抽出回路
と覚醒度判定回路の動作を示すフローチャートである。

【図２７】この発明の実施例１０による居眠り検出装
置を示す構成図である。

【図２８】この発明の実施例１１による居眠り検出装
置を示す構成図である。

【図２９】この発明の実施例１２による居眠り検出装
置を示す構成図である。

【図３０】従来の目の位置検出装置を示す構成図であ
る。

【図３１】従来の居眠り検出装置を示す構成図であ
る。

【図３２】従来の居眠り検出装置の動作を説明する説
明図である。

【図３３】従来の居眠り検出装置の動作を説明する説
明図である。

【図３４】従来の居眠り検出装置の動作を示すフロー
チャートである。

【図３５】従来の居眠り検出装置の動作を説明する説
明図である。

【図３６】従来の居眠り検出装置の動作を説明する説
明図である。

【図３７】従来の居眠り検出装置の動作を説明する説
明図である。

【符号の説明】

１検出対象者、３鼻孔、６瞳孔、８眼領域、１
０ＣＣＤカメラ、１２ハーフミラー、１３赤外線Ｌ
ＥＤ、１５ＡＧＣ付きＣＣＤカメラ、１６シャッタス
ピード設定回路、１７フィルタ交換回路、１８赤外
線カットフィルタ、２０照度センサ、２１明暗スイ
ッチ、２２ヘッドライトスイッチ、３０撮影画像入
力メモリ、３１タイミング発生回路、４１特徴抽出
回路、４２明暗判定回路、４３暗用特徴抽出回路、
４４明用特徴抽出回路、４５選択回路、５０覚醒度
判定回路、５１警報発生回路、５２脇見判定回路。

───────────────────────────────────────────────────── フロントページの続き (72)発明者佐竹敏英尼崎市塚口本町８丁目１番１号三菱電機株式会社産業システム研究所内 (72)発明者小河賢二姫路市千代田町840番地三菱電機株式会社姫路製作所内 (72)発明者鈴木尋善姫路市千代田町840番地三菱電機株式会社姫路製作所内

Claims

【特許請求の範囲】

【請求項１】検出対象者の顔面を含む所定の領域の像
を入力する光入力手段、上記検出対象者を照明し、上記
検出対象者と上記光入力手段とを結ぶ光軸と、照明光照
明方向とが少なくとも上記検出対象者近傍においてほぼ
同軸となるように配置された照明手段、上記検出対象者
の周辺の明暗を検出する明暗検出手段、及び上記光入力
手段から出力される上記検出対象者の撮影画像から顔面
上の特徴を、明暗に応じた２つ以上の画像処理で抽出可
能であるとともに、上記明暗検出手段が出力する明暗信
号により上記２つ以上の画像処理の中から１つの画像処
理を選択、または上記２つ以上の画像処理による抽出結
果の中から１つの抽出結果を選択する特徴抽出手段を備
えた画像処理装置。
【請求項２】検出対象者の顔面を含む所定の領域の像
を入力するとともに、入力した画像の明暗を示す明暗信
号を出力する光入力手段、上記検出対象者を照明し、上
記検出対象者と上記光入力手段とを結ぶ光軸と、照明光
照明方向とが少なくとも上記検出対象者近傍においてほ
ぼ同軸となるように配置された照明手段、及び上記光入
力手段から出力される上記検出対象者の撮影画像から顔
面上の特徴を、明暗に応じた２つ以上の画像処理で抽出
可能であるとともに、上記光入力手段が出力する上記明
暗信号により上記２つ以上の画像処理の中から１つの画
像処理を選択、または上記２つ以上の画像処理による抽
出結果の中から１つの抽出結果を選択する特徴抽出手段
を備えた画像処理装置。
【請求項３】検出対象者の顔面を含む所定の領域の像
を入力する光入力手段、上記検出対象者を照明し、上記
検出対象者と上記光入力手段とを結ぶ光軸と、照明光照
明方向とが少なくとも上記検出対象者近傍においてほぼ
同軸となるように配置された照明手段、上記検出対象者
または他の人物が明暗に対応して切り替えることにより
明暗に対応した信号を出力するスイッチ、及び上記光入
力手段から出力される上記検出対象者の撮影画像から顔
面上の特徴を、明暗に応じた２つ以上の画像処理で抽出
可能であるとともに、上記スイッチが出力する明暗信号
により上記２つ以上の画像処理の中から１つの画像処理
を選択、または上記２つ以上の画像処理による抽出結果
の中から１つの抽出結果を選択する特徴抽出手段を備え
た画像処理装置。
【請求項４】検出対象者の顔面を含む所定の領域の像
を入力する光入力手段、上記検出対象者を照明し、上記
検出対象者と上記光入力手段とを結ぶ光軸と、照明光照
明方向とが少なくとも上記検出対象者近傍においてほぼ
同軸となるように配置された照明手段、上記光入力手段
から出力される上記検出対象者の画像信号を用いて撮影
画像の明暗を判定する明暗度判定手段、及び上記光入力
手段から出力される上記検出対象者の撮影画像から顔面
上の特徴を、明暗に応じた２つ以上の画像処理で抽出可
能であるとともに、上記明暗度判定手段が出力する明暗
信号により上記２つ以上の画像処理の中から１つの画像
処理を選択、または上記２つ以上の画像処理による抽出
結果の中から１つの抽出結果を選択する特徴抽出手段を
備えた画像処理装置。
【請求項５】請求項１ないし４のいずれかに記載の特
徴抽出手段は、暗信号が入力された時は網膜反射像によ
る瞳孔抽出を行い、明信号が入力された時は鼻孔抽出を
行なうようにした画像処理装置。
【請求項６】検出対象者の顔面を含む所定の領域の像
を入力する光入力手段、上記検出対象者を照明し、上記
検出対象者と上記光入力手段とを結ぶ光軸と、照明光照
明方向とが少なくとも上記検出対象者近傍においてほぼ
同軸となるように配置された照明手段、及び上記光入力
手段から出力される上記検出対象者の撮影画像から顔面
上の特徴を、明暗に応じた２つ以上の画像処理で抽出可
能であるとともに、上記画像処理による抽出結果に応じ
て最終的な抽出結果を選択する特徴抽出手段を備えた画
像処理装置。
【請求項７】請求項６記載の特徴抽出手段は、暗用の
画像処理により瞳孔が検出できない場合は、明用の画像
処理による抽出結果を選択するようにした画像処理装
置。
【請求項８】請求項６記載の特徴抽出手段は、明暗い
ずれかに応じた画像処理で抽出された瞳孔の大きさが小
さい場合は、明用の画像処理による抽出結果を選択する
ようにした画像処理装置。
【請求項９】請求項１ないし８のいずれかに記載の画
像処理装置において、光入力手段の撮影条件、または照
明手段の照明条件の少なくとも一方を制御する照明撮影
制御手段を備え、上記照明撮影制御手段は明暗検出手
段、光入力手段、スイッチ、明暗度判定手段、または特
徴抽出手段のいずれかから明暗情報を取り出して、上記
撮影条件または上記照明条件を変更するようにした画像
処理装置。
【請求項１０】請求項９記載の照明撮影制御手段は、
明暗情報が明の場合は照明光をオフし、特徴抽出手段は
明用の画像処理により撮影画像から顔面上の特徴を抽出
し、明暗情報が暗の場合は照明光をオンし、上記特徴抽
出手段は暗用の画像処理により撮影画像から顔面上の特
徴を抽出するようにした画像処理装置。
【請求項１１】請求項１ないし１０のいずれかに記載
の画像処理装置、及び上記画像処理装置の出力から人物
状態を判定する人物状態判定手段を備えた人物状態判定
装置。