JPH0342337A

JPH0342337A - 車両運転者の運転状態検出装置

Info

Publication number: JPH0342337A
Application number: JP1177558A
Authority: JP
Inventors: Yasushi Ueno; 裕史上野; Takatoshi Seko; 恭俊世古; Tomoko Saito; 斉藤　友子; Hiroshi Saito; 浩斉藤
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1989-07-10
Filing date: 1989-07-10
Publication date: 1991-02-22

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】産業上の利用分野この発明は、運転者の眼が正面を向いているか、開いて
いるか、閉じているかというような運転状態を検出する
装置に関するものである。

従来の技術従来の車両運転状況検出装置としては、例えば、特開昭
６０−１５８３０８号、特開昭６０−１５８３０４号、
特開昭６１−７７７０５号、特開昭６１−７７７０６号
公報に示されているものがある。これらは、車室内に設
けられた赤外線照射手段から運転者の両眼を含む顔面に
赤外線を照射し、この赤外線の反射パターンを車室内に
設けられた赤外線撮像手段で撮像して明暗領域に画像処
理する構造になっている。

発明が解決しようとする課題しかしながら、このような従来の装置は、画像の入力部
がインストルメントパネル上部や助手席側のダツシュボ
ード部に配置されていたため、運転者の顔面画像は下方
若しくは溝方向から撮られており、このため運転者の目
の位置を誤認識したり、眼が開いているかどうかという
ことまで正確に検出できないという問題がある。

そこで、この発明は、運転者の顔面画像を正面から撮れ
るようにして、眼球の虹彩部分を確実に検知することが
できる車両運転者の運転状態検出装置を提供するもので
ある。

課題を解決するための手段運転者の両眼を含む顔面を照射する発光手段と、ウィン
ドウシールドに装着され運転者の顔面画像を反射する画
像反射手段と、反射顔面画像を入力する撮像手段と、入
力画像から眼の存在領域を抽出する眼球存在領域規定手
段と、眼球存在領域規定手段で抽出された眼球存在領域
内で運転者の虹彩部分を検出する虹彩検出手段とを有す
る。

作用運転者を正面からとらえて、運転者の目の位置を正確に
把握し、入力画像から眼球存在領域を抽出することで眼
球位置を測定することができ、更に虹彩相当部分を検出
し、この検出結果から運転者の目が正面を向いているか
、開いているか、閉じているかというような、運転状態
を判別する。

実施例以下、この発明の実施例を図面と共に説明する。

第１〜１１図に示すように、この実施例では大まかには
、発光手段１と画像反射手段２と赤外線の撮像手段３と
同期信号出力手段４と画像メモリ５と参照点指示手段６
と眼球存在領域規定手段７と虹彩検出手段８と運転状態
判別手段９と警報出力手段ＩＯとを備えている。尚、１
１はへ・ノドアップデイスプレィ（ＨＵ　Ｄ）用の照明
ランプを示す。

発光手段１は赤外線ストロボ１２ａ、１２ｂとで構成さ
れ、乗員の顔に赤外線を当てるものである。

画像反射手段２はウィンドウ７−ルドＷに設けられ顔面
画像を反射するものであり、ウィンドウシールドＷ上に
赤外線反射膜１３とＨＯＤ用透明透明表示スクリーン１
４重合させて構成されている。

撮像手段３は、運転者に照射された赤外線の反射パター
ンを撮像して画像信号を出力するものであって、所謂赤
外線カメラ１５である。

同期信号出力手段４は、赤外線ス）ｏボ１２ａ。

１２ｂの照射と画像の入力タイミングを合わせ、かつ、
ＨＵ　Ｄ用の照明うχプ１１と同時に点灯しないように
するための装置である。

画像メモリ５は、撮像手段３から出力された画像信号と
しての画像１　　（ｘ、ｙ）を−時記憶する。

この画像１　　（ｘ、ｙ）は例えば横方向なるＸ方向に
Ｍ画素、縦方向なるＹ方向にＮ画素で構成されている。

参照点指示手段６は運転者の眼の位置検出用の参照点６
ｍ＋６１＋　・・・・・・６ｎを指示するものであって
、複数個のＬＥＤのような発光体または鏡のような反射
体で構成されており、これら発光体または反射体が、発
光手段ｌから照射される赤外線の照射野内で運転者の前
方と側方との視認性を妨げない車室内の部分の１つであ
るヘッドレスト１６の頭部受は面に横一列で等間隔に、
例えば１０個装着されている。

眼球存在領域規定手段７は画像メモリ５に一時記憶され
た画像ｒ　　（ｘ、ｙ）を入力し、この入力画像１　（
ｘ、ｙ）から参照点指示手段６たる発光体または反射体
による参照点６．．６．、・・・・・・６ｎとしての輝
点像にもとづいて運転者の眼の存在領域を抽出する。

虹彩検出手段８は眼球存在領域規定手段７で抽出した眼
球存在領域内で運転者の虹彩相当部分を検出する。

運転状態判別手段９は虹彩検出手段８の検出結果から例
えば正常運転状態、わき見運転状態、居眠り運転状態等
の運転者の運転状態を判別する。

警報出力手段１０は車室内に取り付けられており、運転
状態判別手段９がわき見運転状態、居眠り運転状態を判
別したときにブザー、チャイムあるいは音声等による警
報を発生する。

なお、同期信号出力手段４２画像メモリ５．眼球存在領
域規定手段７．虹彩検出手段８．運転状態判別手段９等
はマイクロコンピュータに構成した制御装置として１つ
にまとめられて車体に取り付けられる。

第２図に各装置の配置状態を具体的に示すと、運転者の
前方のウィンドウシールドＷには前述した透明な赤外線
反射膜１３とＨＵＤ用透明スクリーン１４が付着されて
いる。

一方、インストルメントパネル１７には２個の顔面照射
用の赤外線ストロボ１２ａ、１２ｂが設置されている。

１８はＨＵＤ画像ユニットであって照明ランプ１１によ
って、例えば計器類をウィンドウシールドＷに表示でき
るようになっている。

そして、上記赤外線ストロボ１２ａ、１２ｂと照明ラン
プ１１は、前述したように同期信号出力手段４によって
同時に点灯しないよう同期が取られた出力信号により点
滅している。

１９はハーフミラ−であってＨＵＤの表示画像の光路を
上方へ変更させるものであり、ノ＼−フミラー１９の下
方に赤外線カメラ１５が配置されている。

次に作用について説明する。

同期信号出力手段４によって赤外線ストロボ１２ａ、１
２ｂの発光と同期して赤外線カメラ１５から画像入力を
行う。この瞬間は照明ランプ１１は消されるが、この時
間は人間が点滅を感じられない２０　ｍ５ｅｃ以下の短
時間であるため運転者には表示が消えたことは感じられ
ない。

赤外線ストロボ１２ａ、１２ｂの照射した光は赤外線反
射膜１３により反射され運転者の顔面に正面から当たる
。このとき、この光は赤外線であるため運転者が眩しく
感することはない。

この光の照射による運転者の正面の顔面画像はウィンド
ウシールドＷの赤外線反射膜１３により反射され、ハー
フミラ−１９を透過して赤外線カメラ１５に投影される
。

入力された画像１　　（ｘ、ｙ）は画像メモリ５にスト
アされる。

そして、眼球存在位置規定手段７において、入力画像１
　（Ｘ、ｙ）の眼球存在位置を規定するのである。

即ち、運転者が運転席に着座し、第１図に示すようにそ
の後頭部がヘッドレスト１６の左右方向く横方向〉略中
央部に位置されており、ヘッドレスト１６に配置された
１０個の参照点６．．６□・・・・・・６ｎの中央部分
の４個が運転者の顔で隠れ、左右３個づつの参照点６１
＋　　Ｌｒ　　６ａ＋　６ａ＋　　６ｔ＋６ｎが点灯し
ているのが撮像手段３で捕らえられる状態において、同
期信号出力手段４からの開明信号Ｑ３により発光手段ｌ
から赤外線が運転者の両眼を含む顔面に照射され、この
赤外線の反射パターンと参照点６□　６．．６．．６．
．６．．６．の光とが撮像手段３で撮像され、撮像手段
３から画像ｒ　　（ｘ、ｙ）が画像メモリ５に一時記憶
される。

そして眼球存在領域規定手段７が画像メモリ５に一時記
憶された画像１　　（ｘ、ｙ）を入力し、この入力画像
Ｉ　（ｘ、　　ｙ）内に映し出された左右３個づつの参
照点６．．６．．６３，６．．６．．６ｎによる輝点像
を抽出し、この抽出した参照点６１＋６１６、．６．．
６．．６ｎから運転者の眼の存在領域を規定する。ここ
で参照点６．〜６ｎは画像処理を行うに際し、常に所定
の位置で所定の波長の光を出しているため、基準点とし
て利用できる。

次に眼球存在領域規定手段７の作用を第４図のフローチ
ャートと第５〜１０図の作用説明図とにもとづいて詳述
すると、先ずステップ１０１では画像メモリ５から第５
図に示す反射画像Ｉ　（ｘ。

ｙ）を入力する。

次にステップ１０２では参照点６１＋　　６１　６３＋
Ａ−Ａ−１’？−＊抽出で去Ａようｎレベルに設定した
しきい値で、ステップ１０１での入力画像Ｉ（ｘ、ｙ）
を２値化し、輝点像のみを抽出する。

こうして生成した画像を、第６図に示すように、Ｊ　　
（ｘ、ｙ）とする。

ｌ・・・・・・参照点（輝点像）Ｊ　　（ｘ、ｙ）　　− ０・・・・・・その他ステップ１０３では画像Ｊ　（ｘ、　　ｙ）にラベリン
グを行うことにより、第７図に示すようにＸ座標の小さ
い方の輝点像から大きい方の輝点像に領域数を表す算用
数字１．　２．　３．　４．　５．６を順次付けて、画
像Ｋ　（ｘ、ｙ）を生成するとともに、領域数１〜６に
相当する画素値を一時記憶する。

具体的には領域数をｉとすると、ｉ番目の領域数に相当
する画素値ｉが一時記憶される。

ステップ１０４では最大領域数１　ｗａｘが基準数ｎ、
例えば７以下であるか否か、すなわち運転者の頭がヘッ
ドレストＩＯの参照点６１〜６ｎの一部を遮っているか
否かを判定する。最大領域数ｉ、、、が基準数ｎ。、つ
ま０７以下であるときは運転者の頭が画像Ｋ　（ｘ、ｙ
）のフレームに入りきっている通常運転位置のものとし
てステップｌＯ５に進む。最大領域数１．６８が基準値
ｎ。よりも大きい、つまり８以上の場合は運転者の頭が
画像Ｋ　（ｘ、ｙ）のフレームに入りきっていない乗降
状態等としてステップ１０１に戻る。

ステップ１０５では初期値ｉ、ｈを１．０にセットする
。

ステップ１０６では領域数ｉが最大領域数１．４８であ
るか否かを判別する。領域数ｉが最大領域数１．。え以
下である場合はステップ１０７に進み、領域数ｉが最大
領域数＋　ｗａｘである場合にはステップ１１１に進む
。

ステップ１０７ではラベリングされた隣り合う輝点像ｉ
と輝点像ｉ＋１との間隔を判別する。つまりヘッドレス
ト１０上の参照点６Ｉ〜６ｎは等間隔に並んでいること
から、運転者の頭で参照点６、〜６ｎが遮られていない
場合は輝点像ｉと輝点像ｉ＋ｌとの間隔は規定値になる
。輝点像ｉと輝点像ｉ＋ｌとの間隔が規定値の場合はス
テップ１Ｏ８に進み、規定値でない場合はステップ１０
９に進む。

ステップ１０８ではステップ１０５でのｉに１を加算（
ｉ＝ｉ＋１）してステップ１０６に戻る。

ステップ１０９ではステップ１０７での輝点像ｉと輝点
像ｉ＋ｌとを一時記憶する。そしてステップ１１０に進
む。

ステップ１１０ではステップ１０５でのｈにｌを加算し
てステップ１０８に進む。

一方ステップ１１１では隣り合う輝点像ｉと輝点像ｉ＋
ｌとの間隔が規定値以上である箇所が１箇所であるか否
かを判別する。具体的にはｈ＝１かｈ≧２かを判別する
。ｈ≧２であり、隣り合う輝点像ｉと輝点像ｉ＋１との
間隔が規定値以上である箇所が２箇所である場合は何等
かのノイズが混入したものとしてステップｌＯ１へ戻る
。ｈｌであり、隣り合う輝点像ｉと輝点像ｉ＋ｌとの間
隔が規定値以上である箇所が１箇所である場合はステッ
プ１１２に進む。

ステップ１１２では予め定めた値ｒ、ｐ＋　　−ｑによ
り、第７図に示すように参照点ｉからＸ方向にｒの位置
、Ｘ方向にｐ、−ｑの位置にある画素Ａ、　Ｂの２点を
決める。そしてステップ１１３に進む。

ステップ１１３では予め定めた値−ｒ＋　　ｐ＋ｑによ
り、第７図に示すように参照点ｉ＋１からＸ方向にｒの
位置、Ｘ方向にｐ、−ｑの位置にある画素Ｃ，Ｄの２点
を決める。そしてステップ１１４に進む。

ステップ１１４ではステップ１１２，１１３で求めた画
素Ａ、Ｂ、Ｃ，Ｄを各々連結して、第８図に示すように
画像Ｌ　（ｘ、ｙ）を生成するとともに、画素Ａ、Ｂ、
Ｃ，Ｄで囲まれた領域の塗りつぶし処理を行う。この塗
りつぶし処理の結果、第９図に示す画像Ｍ（ｘ、ｙ）が
生成される。

ところで画像メモリ５に一時記憶された入力画像１　　
（ｘ、ｙ）において、虹彩相当部分は、一般に暗い円形
領域として観測されることから、第１０図に示すように
、いま、半径Ｒ画素の暗い円形領域を検出するものと仮
定し、この円形領域に交差する各方向に矩形領域を設定
し、 δ＝（矩形領域における第■０図に斜線を付した部分の
明度値総和）＝（矩形領域における第１０図の白地部分
の明度値総和）を計算すれば、真の円形領域の中心に於いてδは最大値
を出力する。

このような原理を利用することにより、虹彩検出手段８
において、第１１図のフローチャートに示すように、入
力画像１　　（ｘ、ｙ）を変換した画像Ｍ（ｘ、ｙ）か
ら運転者の虹彩に相当する虹彩相当部分を検出する。な
お第１１図に示すフローチャートは、検出する虹彩の半
径は個人あるいはカメラと乗員の距離によって異なるた
め、検出半径にあるゾーンを設けている（　Ｒ＋ｍｌｎ
　”””　Ｒｍａ工）とともに、最終出力として眼球存
在領域内のΔ−δ＋ｍａｘを出力するようにしである。

ここで開眼時と閉眼時とを比較すると、先に設定した領
域Ｍ（ｘ、ｙ）内でのδ最大値δ、、ａ、が開眼時には
大きくなるので、この最大値δｍａｘをしきい値処理す
ることにより開眼か閉眼かを判別することができる。

即ち、第１１図に示すように、Ｍ（ｘ、ｙ）−１となる
点、つまり黒となる点を中心にして半径Ｒを設定しくス
テップａ＝ｃ）、これによって描かれた円（第１０図参
照）の内外に渡って４つの矩形領域を設定してその長さ
を２Ｐとする（ステップｄ　＝　ｅ　）。

そして、この矩形領域において白か黒かを判別してゆき
、δの最大値と記憶させる（ステップｆ〜ｊ）。更に上
記半径ＲをＲａａｘ＋　１　　まで順次増加させる（ス
テップｈ−１）と共に矩形領域の長さを円形領域の外側
ではｐ＝ｐ＋ｔと増やし、円形領域の内側ではｐ＝ｐ−
ｔと減らして（ステップｇ＝ｈ）実質的に矩形領域の長
さを増加させてδが増大となるＲの最大位置を虹彩の位
置として検出するのである。δの値は開眼時には大きく
なるので、この最大値δ、、８をしきい値処理すること
によって開眼か開眼かを判別することができる。

このようなことから、運転状態判別手段９が虹彩検出手
段８で求めたΔ−δ、、、Ｘをしきい値Ｔｈと比較処理
し、Δ≧Ｔｈの場合は開眼、Δ＞Ｔｈの場合は閉眼と判
別し、閉眼と判別した場合には運転者が居眠りをしてい
るものと見なして警報出力手段１０に警報指令を出力し
、警報出力手段ＩＯが警報を発して運転者に注意を促す
。この場合、運転状態判別手段９における１度の閉眼判
別をしただけで運転者が居眠りをしていると判断すると
、誤警報の可能性が高くなるので、同一処理を複数回繰
り返し、ある一定回数例えば３回以上連続して閉眼判別
が観測されたとき居眠りをしていると判断し、警報を発
するようにする。また、片目のみが閉眼と判別された場
合は、運転者がわき見をしているために入力画面１　　
（ｘ、ｙ）から片目が外れているものと考えられる。し
たがって、居眠り判断の場合と同様に３回連続して片目
が閉眼であると判定したときわき見と判定する。

また、運転者の前方から光を照射し、顔面画像を撮るこ
とがてきるため、運転者の顔面の正面画像を得ることが
できる。したがって、より正確に運転者の眼及び眼球の
虹彩部分を検出することができ眼が開いているか閉じて
いるか正面を向いているか等の判断が正確に行える。

なお本発明は前記実施例に限定されるのではなく、例え
ば第１２．１３図に示すように、参照点指示手段６Ａを
シートベルト２０に設けることもできる。具体的には参
照点６３，６□・・・・・・、６゜をシートベルト２０
の表面に設け、シートベルト１１真面の参照点６１＋　
　６２＋　・・・・・・、６ｎと対応する部分、に圧力
センサ２１．，２Ｌ、・・・・・・、２１ｎを設け、圧
力センサ２１．，２１．，２Ｉｎの内で最も圧力の高い
部分に対応する参照点６１＋Ｌ＋・・・・・・＋６ｎを
点灯する発光制御部２２を設け、発光制御部２２からの
指令を前記実施例における輝点像として眼球存在領域規
定手段に入力するように構成しである。

また前記実施例では虹彩検出手段８において４方向の矩
形領域のみで虹彩相当部分を検出したが、この矩形領域
の方向はもっと多くしてもよい。この場合、開眼、閉眼
を判定するしきい値Ｔｈは前記実施例とは異なる。

発明の詳細な説明してきたようにこの発明によれば、運転者が前方
を見るために顔を常時向ける前方から光を照射し、顔面
画像を撮ることができるため、運転者の顔面の正面画像
を得ることができる。このため、より正確に運転者の眼
及び眼球の虹彩部分を検出することができ眼が開いてい
るか、閉しているか、正面を向いているか等の運転状態
の判断が正確に行えるという効果がある。

【図面の簡単な説明】

第１図は本発明の一実施例を示す構成図、第２図は同実
施例の参照点指示手段を設けたヘッドレストの斜視図、
第３図は同実施例の具体的配置状態を示す説明図、第４
図は同実施例の眼球存在領域規定手段のフローチャート
、第５〜９図は同フローチャートの要部の説明図、第１
０図は同実施例の虹彩検出の原理を示す説明図、第１１
図は同実施例の虹彩検出手段のフローチャート、第１２
図は本発明の参照点指示手段の異なる例を示す斜視図、
第１３図は第１２図のＸＩＩ［−ＸＩ線に沿う断面図で
ある。１・・・発光手段、２・・・画像反射手段、３・・・撮
像手段、７・・・眼球存在領域規定手段、８・・・虹彩
検出手段、Ｗ・・・ウィンドウシールド。第］図第図第図第図第図第図

Claims

【特許請求の範囲】

（１）運転者の両眼を含む顔面を照射する発光手段と、
ウィンドウシールドに装着され運転者の顔面画像を反射
する画像反射手段と、反射顔面画像を入力する撮像手段
と、入力画像から眼の存在領域を抽出する眼球存在領域
規定手段と、眼球存在領域規定手段で抽出された眼球存
在領域内で運転者の虹彩部分を検出する虹彩検出手段と
を有することを特徴とする車両運転者の運転状態検出装
置。