JPH07167618A

JPH07167618A - 運転者位置認識装置

Info

Publication number: JPH07167618A
Application number: JP34250793A
Authority: JP
Inventors: Atsuhiko Kimura; 篤彦木村; Shigeru Okabayashi; 繁岡林; Toshiya Honda; 俊也本田
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1993-12-14
Filing date: 1993-12-14
Publication date: 1995-07-04

Abstract

(57)【要約】【目的】運転者の眼球の位置を高精度に検出する。【構成】赤外線カメラ１１を用いて運転者の眼球位置
を求めるに際して、運転席２の調整量に基づいて赤外線
カメラ・運転者間距離算出部１６で運転者の距離を算出
する。眼球位置算出部１４ではその距離に対応して予想
される基準の顔面面積と眼球面積を定め、まず画像デー
タの顔面候補領域のうち最も基準顔面面積に近いものを
顔面領域とし、次いでその顔面領域の中で基準眼球面積
に最も近い面積の眼球候補領域を眼球領域として抽出し
て位置を算出する。これにより眼球の３次元位置が容易
にしかも高精度に求められる。視線方向計測装置２０で
は、光軸調整用ミラー３１を制御してこの眼球位置に視
線方向計測用カメラ２１の光軸を合わせ、精度良く眼球
部を撮像する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、車両における運転者位
置認識装置に関し、とくに運転者の目の位置を検出する
装置に関する。

【０００２】

【従来の技術】従来のこの種の運転者の目位置を検出す
る運転者位置認識装置としては、例えば、特開昭６０−
１６８００４号公報に開示されたものがある。この装置
では、運転者に光を照射して運転者の斜前方から顔周辺
を撮影し、運転者の顔画像から周囲とその性質を異にす
る特異点（例えば鼻）を求める。そして、例えば日本人
におけるその鼻と目の距離の平均値より、目の３次元位
置を求めて原座標とし、以降、運転者は前後および上下
方向にのみ移動するものとみなして目の３次元位置を定
めるようにしている。

【０００３】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の運転者位置認識装置にあっては、頭部の運動
に対応した広い領域での精度の高い計測は難しく、前後
および上下方向の移動位置しか検出することができない
という問題があり、また、外来光の影響で検出精度が低
下するという問題があった。本発明は、従来のこのよう
な問題点に鑑み、多方向における頭部の移動に対して検
出精度を向上させた運転者位置認識装置を提供すること
を目的とする。

【０００４】

【課題を解決するための手段】このため請求項１に記載
の発明は、顔面が発する赤外線の温度分布を表わす画像
データを出力する赤外画像出力手段と、運転席の調整量
を検出する運転席調整量検出手段と、該運転席調整量検
出手段で検出された運転席の調整量から前記赤外画像出
力手段と運転者との間の距離を算出する運転者距離算出
手段と、前記距離を基に抽出基準値を設定する基準値設
定手段と、前記抽出基準値を用いて前記画像データを処
理して運転者の眼球位置を算出する画像処理手段とを有
するものとした。

【０００５】また、請求項３に記載の発明は、車両の所
定の基準線に対するルームミラー角度とサイドミラー角
度を検出するミラー角度検出手段と、該ミラー角度検出
手段で検出されたルームミラー角度およびサイドミラー
角度に基づいて運転者の眼球位置を算出する眼球位置算
出手段を有するものとした。

【０００６】

【作用】請求項１のものでは、運転席調整量検出手段で
検出された運転席の調整量に基づいて運転者距離算出手
段が赤外画像出力手段と運転者との間の距離を算出す
る。そして基準値設定手段において上記の距離に対応す
る抽出基準値を設定する。画像処理手段では、赤外画像
出力手段による画像データから運転者の眼球の候補領域
を求め、基準値設定手段で設定された抽出基準値を用い
て候補の中から眼球を抽出し、その位置を算出する。こ
れにより、抽出基準値が赤外画像出力手段と運転者との
間の距離に基づいて設定されるから、眼球の３次元位置
が高精度に求められる。

【０００７】また請求項３のものでは、ルームミラー角
度とサイドミラー角度を検出することによって、運転者
の各ミラーへの視線方向が求められ、運転者の眼球位置
がその交点として求められる。各ミラー角度を検出した
あとは演算処理のみの簡単な構成で眼球位置が得られ
る。

【０００８】

【実施例】以下、本発明を図面に基づいて説明する。図
１は、本発明を視線スイッチシステムに用いた第１の実
施例を示す。運転者１の眼球位置を認識する運転者位置
認識装置１０は、運転者１の頭部存在領域の赤外画像を
出力する赤外線カメラ１１と、これに順次接続された赤
外線カメラ１１からの画像出力をデジタルデータに変換
するＡ／Ｄ変換器１２、Ａ／Ｄ変換された画像データを
保持する画像メモリ１３、および画像データから眼球位
置を特定する眼球位置算出部１４を有する。

【０００９】そしてさらに、運転者１による運転席２の
前後位置調整量、背もたれ角度、ヘッドレストの高さ等
の各種調整量を検出する運転席調整量検出部１５と、こ
の調整量の検出データに基づき赤外線カメラ１１と運転
者１間の距離を算出する赤外線カメラ・運転者間距離算
出部１６を備えている。運転席調整量検出部１５におい
ては、例えば運転席２の各調整機構につけられているス
トッパの各段につけられた接点スイッチからの信号によ
って、現在、基準値から何段目で固定されているかを検
出する。

【００１０】なお、赤外線カメラ１１が撮影する範囲
は、例えばＪＩＳに規定されている運転者の９９％アイ
レンジの２倍程度（縦２０ｃｍ、横３０ｃｍ）としてお
けばよい。また、赤外線カメラ１１の測定温度領域は、
顔の温度が一般的に３２゜Ｃから３８゜Ｃ程度と考えら
れるから、２０゜Ｃから４０゜Ｃ程度とする。

【００１１】この運転者位置認識装置１０には、運転者
１の視線方向を計測する視線方向計測装置２０が接続さ
れている。視線方向計測装置２０には、運転者１の眼球
領域を撮像するためのＣＣＤセンサを有する視線方向計
測用カメラ２１が固定位置に設けられる。視線方向計測
用カメラ２１は、ズームレンズ付きで、焦点距離および
ピントを調整するアクチュエータを内蔵している。

【００１２】視線方向計測用カメラ２１には、そのレン
ズ光軸と共軸系をなすように近赤外ＬＥＤ等の不可視光
を発する第１光源２２が配され、また、このカメラから
離れて第１光源２２との相対関係が既知の位置にＬＥＤ
等の発散光源である第２光源２３が設置されている。第
１光源２２および第２光源２３の発光を制御するため、
照明発光制御部２４が設けられ、また、視線方向計測用
カメラ２１には、順次その画像出力をデジタル画像デー
タに変換するＡ／Ｄ変換器２５、画像データから視線方
向を示す特徴である角膜反射像、瞳孔中心を抽出する特
徴抽出部２６、および抽出された各特徴の存在位置から
視線方向を算出する視線方向算出部２７が接続されてい
る。

【００１３】さらに、視線方向計測用カメラ２１には、
該カメラと第１光源２２の光軸を調整する光軸調整用ミ
ラー３１が付設されている。光軸調整用ミラー３１の制
御のため、ミラー回転角度算出部３２が運転者位置認識
装置１０に接続され、その眼球位置算出部１４から得る
眼球位置データから、光軸調整用ミラー３１をどの方向
に何度回転させるかを算出する。そして、その出力に基
づきミラー角度制御部３３がアクチュエータ３４を介し
て光軸調整用ミラー３１の角度を制御駆動するようにな
っている。

【００１４】また、赤外線カメラ・運転者間距離算出部
１６で算出した算出距離と視線方向計測用のカメラ２１
の取付け位置から、視線方向計測用カメラ２１と運転者
１の間の距離を算出する視線方向計測用カメラ・運転者
間距離算出部３５が設けられ、その算出結果に基づいて
視線方向計測用カメラ２１のレンズ焦点距離を決定する
ズーム量算出部３６が接続されている。そして、視線方
向計測用カメラ・運転者間距離算出部３５とズーム量算
出部３６の出力が視線方向計測用カメラ２１に接続され
ている。

【００１５】また、運転席の前方には、視線スイッチパ
ネル３７が配設され、視線方向算出部２７で算出された
視線方向がこのスイッチパネル３７を注視しているかど
うかを判定する停留判断部３８と、停留判断部３８から
の信号によってオン・オフするライトやエアコンなどの
スイッチ３９が設けられている。

【００１６】図２は上記運転者位置認識装置１０におけ
る眼球位置算出部１４の構成を示す。眼球位置算出部１
４にはまず、運転席２の調整状態、すなわち赤外線カメ
ラ１１と運転者１間の各距離において、赤外カメラ１１
で観測されると予想される顔の面積を算出する基準顔面
面積算出部４２が設けられている。一方、画像メモリに
保持された画像データから顔面領域の候補領域を生成
し、各候補領域についてラベリング処理を行った後、面
積を求める顔面領域算出部４１が設けられ、比較決定部
４３において、顔面領域算出部４１で算出された各顔面
候補領域の面積と基準顔面面積算出部４２により算出さ
れた基準顔面積とが比較され、顔面領域が特定される。

【００１７】同様に、眼球の予想される大きさの面積を
算出する基準眼球面積算出部４５と、眼球候補領域を生
成し、各候補領域についてラベリング処理を行った後、
面積を求める眼球領域算出部４４が設けられ、比較決定
部４６において、各眼球候補領域の面積と基準眼球面積
とを比較し眼球領域が特定される。特定された眼球領域
について、重心座標算出部４７で画像上における眼球領
域の重心座標（ｘｇ，ｙｇ）が算出される。

【００１８】上記運転者位置認識装置１０においては、
次のように眼球位置が算出される。まず、赤外線カメラ
１１と基準位置にある運転席２のヘッドレスト部との距
離は既知であるから、運転席調整量検出部１５で検出さ
れる各調整機構の調整量によって、赤外線カメラ１１と
運転者１の距離が算出される。したがって赤外線カメラ
１１と基準位置にある運転席２との距離に補正を加える
ことにより、運転席調整状態における赤外線カメラ１１
とヘッドレスト部の距離が求まる。

【００１９】通常、運転者は後頭部をヘッドレストに極
く接近させていると考えられるので、赤外線カメラ１１
とヘッドレストとの距離を赤外線カメラ１１と運転者１
の顔部との距離とする。眼球領域は顔面領域内で最も温
度が低いため、赤外線カメラを用いると、他の顔面領域
に比べ暗く観測される。これにより画像内に眼球領域を
識別し、眼球位置を算出することにより、眼球の３次元
位置が求められることになる。

【００２０】次に運転者位置認識装置１０における処理
手順を図３のフローチャートにより説明する。まず、例
えば車両の運転開始により装置が始動すると、ステップ
１０１において、赤外線カメラ１１で赤外画像が撮像さ
れ、Ａ／Ｄ変換器を経て画像メモリにその画像データが
保持される。ステップ１０２〜１０５では、眼球位置算
出部の顔面領域算出部４１において顔面候補領域の算出
処理が行なわれる。

【００２１】まずステップ１０２では、画像データＫ
（ｘ，ｙ）が顔面の温度領域に相当するしきい値Ｔ１〜
Ｔ２間の明るさを持つ画素であるかどうかがチェックさ
れ、この範囲に属するときはステップ１０３に進んで、
Ｋ（ｘ，ｙ）＝１（これを顔面候補領域Ｌ（ｘ，ｙ）と
表す）とし、属しないときはステップ１０４に進み、Ｋ
（ｘ，ｙ）＝０とする。この処理が、１≦ｘ≦Ｘ、１≦
ｙ≦Ｙの画像全体にわたって繰り返された後、つぎのス
テップ１０５に進む。ステップ１０５では、Ｌ（ｘ，
ｙ）に対してラベリング処理を行ない、各顔面候補領域
の面積が求められる。

【００２２】上記ステップ１０１の赤外線カメラ１１に
よる赤外画像の撮像と並行して、ステップ２０１におい
ては、赤外線カメラ１１と運転者１との間の距離が、運
転席調整量検出部で検出した運転席２の各調整機構の調
整量を基に、赤外線カメラ・運転者間距離算出部１６で
算出される。

【００２３】そして、ステップ２０２で、基準顔面面積
算出部４２において、上記赤外線カメラ１１と運転者１
間の距離を基に、当該距離のときの予想される顔面積Ｓ
１が特定され、これを基準顔面面積とする。ここでの処
理は、予め距離に対する顔の面積をメモリしておくこと
により行われる。同様にステップ２０３では、基準眼球
面積算出部４５において、その時の眼球領域の予想面積
Ｓ２が特定され、これを基準眼球面積とする。ステップ
２０２、２０３が発明の基準値設定手段を構成してい
る。

【００２４】ステップ１０５のあと、ステップ１０６に
おいて、比較決定部４３で、この基準顔面面積Ｓ１とス
テップ１０５で求められた顔面面積を比較したうえ、ス
テップ１０７で、最も基準顔面面積に近い面積の領域が
顔面領域とされる。次に、ステップ１０８〜１１０で
は、眼球領域算出部４４において、顔面領域の中から眼
球領域を特定する処理が行なわれる。

【００２５】まずステップ１０８において、Ｋ（ｘ，
ｙ）＝０の領域のラベリング処理が行なわれ、各領域の
面積が求められる。これは、眼球領域は顔面の皮膚に比
べて温度が低いので、眼球領域に相当する画素の明るさ
は、前述したしきい値Ｔ１からしきい値Ｔ２の範囲には
入らず、ステップ１０２の２値化処理によってＫ（ｘ，
ｙ）＝０となっているから、決定された顔面領域内でＫ
（ｘ，ｙ）＝０の領域を眼球候補領域とするものであ
る。

【００２６】そしてステップ１０９で、比較決定部４６
において、ステップ２０３で求められた基準の眼球面積
Ｓ２とステップ１０８で求めた眼球面積を比較したあ
と、ステップ１１０において、基準眼球面積に最も面積
の近い領域が眼球領域として決定される。このあと、ス
テップ１１１において、重心座標算出部４７で眼球領域
の画像上における重心座標値（ｘｇ，ｙｇ）が算出され
る。このようにして算出された眼球位置が眼球位置算出
部１４、したがって運転者位置認識装置１０の出力とな
る。上記ステップ１０２〜１１１が発明の画像処理手段
を構成している。

【００２７】次に上記眼球位置を基にした視線方向の計
測について説明する。運転者位置認識装置１０で算出さ
れた眼球重心座標（ｘｇ，ｙｇ）は、ミラー回転角度算
出部３２に入力され、ここで光軸調整用ミラー３１の水
平方向および垂直方向の移動角度が算出される。

【００２８】ここでは、予め眼球重心座標が基準位置
（０，０）のときに視線方向計測用カメラ２１の光軸を
上記基準位置に一致させるための光軸調整用ミラー３１
の角度を基準値として、水平、垂直方向ともに（０゜，
０゜）としておく。そして、計測された重心座標（ｘ
ｇ，ｙｇ）に光軸を移動させるために必要な回転角度デ
ータ（Ｄｘ，Ｄｙ）を算出する。このために、光軸を赤
外線カメラ１１の単位座標分（１画素分）移動させるた
めには光軸調整用ミラーを水平、垂直方向にそれぞれ何
度回転させればよいかがメモリされている。

【００２９】上記回転角度データ（Ｄｘ，Ｄｙ）に基づ
いて、ミラー角度制御部３３がアクチュエータ３４を駆
動し、光軸調整用ミラー３１の角度を調整する。これに
より、視線方向計測用カメラ２１と第１光源２２の光軸
が運転者１の眼球位置を通ることになる。

【００３０】一方、赤外線カメラ１１と視線方向計測用
カメラ２１はどちらも位置は固定されており、また両カ
メラ間の距離は既知であるから、赤外線カメラ・運転者
間距離算出部１６で得られた赤外線カメラと運転者間の
距離データを用いて、視線方向計測用カメラ・運転者間
距離算出部３５が視線方向計測用カメラ２１と運転者１
間の距離を算出する。この視線方向計測用カメラ２１と
運転者１間の距離データに基づき、ズーム量算出部３６
が視線方向計測用カメラ２１のズームレンズ焦点距離を
算出する。このために、予め、撮影範囲を眼球領域に限
定するために必要な焦点距離を、カメラ２１と運転者１
間の距離に対応させてメモリさせてある。

【００３１】そして、視線方向計測用カメラ２１内に内
蔵されているアクチュエータが、視線方向計測用カメラ
・運転者間距離算出部３５の算出結果によりレンズのピ
ントを、そしてズーム量算出部３６の算出結果により焦
点距離をそれぞれ調整する。このようにして、視線方向
計測用カメラ２１の光軸とピントは運転者１の眼球部に
合い、かつ撮影範囲は眼球領域のみとなる。

【００３２】視線方向計測用カメラ２１で取得された画
像データは特徴抽出部２６に入力され、角膜反射像、瞳
孔中心等の位置が抽出される。そして、それらの存在位
置から視線方向算出部２７が視線方向を算出して、結果
を停留判断部３８へ出力する。停留判断部３８では、算
出された運転者１の視線方向が視線スイッチパネル３７
のライトやエアコンなど特定のスイッチエリアに向かっ
ているかどうかを判断し、いずれかのスイッチエリアに
指向している時間が所定時間継続しているときスイッチ
３９へ信号を出力し、当該スイッチエリアに対応するエ
アコンなどの機器を制御する。

【００３３】この実施例は以上のように構成され、赤外
線カメラを用いて運転者の眼球位置を求めるに際して、
運転席の調整機構の調整量によって、赤外線カメラと運
転者の距離を算出し、その距離に対応して予想される顔
面面積および眼球面積をそれぞれ基準顔面面積、基準眼
球面積として定めて、まず画像内の顔面候補領域のうち
最も基準顔面面積に近い面積を有するものを顔面領域と
し、次いで顔面領域の中で基準眼球面積に最も近い面積
を有する眼球候補領域を眼球領域として抽出するように
したので、眼球の３次元位置が容易に求められ、しかも
高精度にその位置が特定されるという効果がある。

【００３４】そして、視線方向計測に際しては、上に特
定された眼球位置に基づいて光軸調整用ミラーにより視
線方向計測用カメラの光軸を調整するとともに、上述の
赤外線カメラと運転者の距離に基づいて視線方向計測用
カメラと運転者間距離を算出しこれにより視線方向計測
用カメラのピント、焦点距離を調節するものとしたか
ら、その撮影範囲を眼球領域のみとすることができ、こ
れによって高い精度で運転者の視線方向が計測される。

【００３５】なお、視線方向計測用カメラと第１光源の
光軸を調整する手段としては、実施例の光軸調整用ミラ
ー３１を用いるほかに、例えばビデオカメラに使用され
ている平行平面ガラス２枚の中に液体を配した可動型プ
リズムも利用することができ、とくに限定されない。ま
た、運転者１と赤外カメラ１１の間、あるいは視線方向
計測用カメラ２１との間の距離を測定する手段として
も、実施例に限定されず、視線方向計測用カメラ２１を
オートフォーカスにするとか、あるいは第２光源２３と
共軸系にもう１台カメラを配し、２台のカメラを使って
三角測量を行うことができる。

【００３６】図４は、本発明の第２の実施例を示す。こ
れは夜間や悪天候時など視界の悪いときにとくに有用な
障害物警報システムに適用されたもので、まず例えば赤
外線カメラからなる赤外線検出装置７１が、図５のよう
に、車両７７の前方先端などに配置して設けられ、車両
前方を撮像する。赤外線検出装置７１の撮像の視野角は
道路側方からの障害物や道路の湾曲、あるいは坂路を考
慮した所定の角度が上下方向、左右方向に設定され、焦
点距離は無限遠に合っている。なお、図の（ａ）は上面
図、（ｂ）は側面図である。撮像された画像データが制
御装置７０の障害物抽出部７２に入力されて画像処理さ
れ、障害物だけが抽出される。

【００３７】一方、制御装置７０には前方道路線形検出
部７３が設けられ、自車両の前方の道路線形を赤外線検
出装置７１の視野と一致するように抽出する。前方道路
線形検出部７３としては、第２の赤外線カメラを用いて
道路線形を抽出したり、可視カメラを用いて自車両のヘ
ッドライトが照射する範囲の白線から道路線形を抽出す
ることができる。

【００３８】障害物抽出部７２と前方道路線形検出部７
３の各出力は障害物接近度判別部７４に入力され、上記
抽出された障害物が自車両の進行方向前方の道路上にあ
るかどうかなど接近具合の重要度が判断される。そして
障害物の位置情報とその重要度が警報装置７５へ送出さ
れる。

【００３９】障害物警報システムにはさらに運転者位置
認識装置７６が設けられ、運転者５１の顔の位置を検出
し、その検出結果を警報装置７５へ送出するようになっ
ている。警報装置７５は、障害物接近度判別部７４から
の出力に基づいて障害物の位置と方向を警報する。警報
装置７５はこの際、運転者位置認識装置７６により検出
された運転者の顔の位置に基づいて、運転者から見たと
きの障害物の位置方向に警報を表示する。

【００４０】上記運転者位置認識装置７６における運転
者位置の検出は次のように行なわれる。すなわち、図６
に示されるように、運転者５１は、自分の運転姿勢にあ
わせて運転前に車室内のルームミラー５２および車室外
のサイドミラー５３の位置をそれぞれ調整し、その姿勢
において車外状況が適切に見られるようにする。

【００４１】運転中は、基本的にその姿勢が継続される
ので、車軸線６５に対するルームミラー５２およびサイ
ドミラー５３の角度はそのまま保持される。すなわち、
運転者５１はルームミラー５２により車両の後方を確認
し、サイドミラー５３により車両の側方を確認するが、
その際の後方視線６１および側方視線６３は運転中には
変わらないとみなすことができる。

【００４２】したがって、後方視線６１とルームミラー
５２と運転者５１を結ぶ直線６２とのなすミラー角度α
および側方視線６３とサイドミラー５３と運転者（眼
球）５１を結ぶ直線６４とのなすミラー角度βは、運転
位置により定まり、運転者が変わって運転位置が変われ
ばミラー角度α、βが変化する。よって、逆にミラー角
度α、βが求められば運転位置が確定することになる。
ルームミラー５２とサイドミラー５３にはそれぞれその
ミラー角度α、βを検出する角度センサ８２、８３が付
設され、その出力が眼球位置算出部８４に入力される。
これにより、角度センサ８２、８３でミラー角度α、β
を計測して、眼球位置算出部８４において直線６２、６
４を求め、その交点位置が運転者５１の眼球位置として
得られる。

【００４３】以上のように構成された障害物警報システ
ムの動作を次に説明する。ここでは障害物として歩行者
を検知して警報するものとする。まず、赤外線検出装置
７１の感度を、放射率が１で３２゜Ｃの温度の物体が放
射するエネルギーＥ0 の±１０％に反応するように、高
く設定する。この状態での夜間の撮像画像を障害物抽出
部７２により２値化して抽出すると、図７に示すよう
な、歩行者８１の像を得る。

【００４４】この歩行者８１の像を得るのと並行して、
前方道路線形検出部７３で、図８に示すような自車両の
前方の道路線形情報が求められる。この前方道路線形情
報から自車両の進行方向が求められる。図８は直線道路
が抽出された例で、２本の道路白線９１、９１の交点か
ら自車両の進行方向Ｄ１が得られる。

【００４５】このようにして得られた歩行者の画像と道
路線形の画像を重ね合わせると図９に示す画像となる。
障害物接近度判別部７４では、歩行者８１が道路白線９
１、９１の交点から求められた自車両の進行方向Ｄ１に
接近しているか、あるいは進行方向Ｄ１を頂点とし道路
白線９１、９１で囲まれた領域に存在する場合には障害
物とみなして障害物情報を警報装置７５へ発する。

【００４６】図１０は図８にかわる湾曲道路の場合を示
し、カーブを描く道路白線９３、９３の交点が自車両の
進行方向とみなされる。直線道路の場合と同様に、歩行
者８１が自車の進行方向Ｄ２に接近しているか、あるい
は白線９３、９３に囲まれた斜線領域に存在する場合に
は、障害物とする。なお、湾曲道路の場合は、車両のス
テアリング角から進行方向を算出してもよい。

【００４７】次に警報装置は、上記障害物情報を受け
て、赤外線検出装置７１の取り付け位置と画像データか
ら当該障害物である歩行者８１の存在する位置と方向を
求める。そして、運転者位置認識装置７６で検出された
運転者の眼球位置と歩行者８１を結ぶ線上にヘッドアッ
プディスプレイを用いて人型像を表示して警報する。

【００４８】この実施例は以上のように構成され、運転
者位置認識装置ではサイドミラーのミラー角度とルーム
ミラーのミラー角度とに基づいて運転者の眼球位置を求
めるから、極めて簡単な構成で運転者位置を検出するこ
とができる。そして、障害物と検出された運転者の眼球
位置を結ぶ線上にヘッドアップディスプレイで警報表示
を行なうので、運転者位置がどのように変化しても運転
者から見て正確に障害物の存在する方向に表示がなさ
れ、運転者は迅速かつ精度良く障害物の存在を認識する
ことができる。

【００４９】なお、図示実施例では、ミラー角度α、β
をそれぞれ車軸線と同一方向の後方視線６１および車軸
線に対して所定角度傾斜する側方視線６３を基準として
いるが、ルームミラー、サイドミラーとも車体に取り付
けられるものであるから、上記に限定されず、角度セン
サ８２、８３では車体の適宜の基準線を基準とすればよ
い。なおまた、障害物が検出された際、その障害物の方
向へ補助ランプを点灯投光するようにすれば、これによ
って、運転者は障害物の存在をさらに認知しやすくなる
とともに、さらに、歩行者８１には接近している車両か
ら光が照射されることによって注意を促されるという効
果が得られる。

【００５０】

【発明の効果】以上のとおり、本発明は、赤外画像出力
手段によって運転者顔面の画像データを得るとともに、
運転席の調整量によって、赤外画像出力手段と運転者と
の間の距離を算出し、その距離を基に設定した抽出基準
値を用いて画像データを処理し、運転者の眼球位置を算
出するようにしたので、眼球の３次元位置が高精度かつ
容易に求められるという効果を有する。また赤外線画像
の画像処理にかわり、車両のサイドミラーのミラー角度
とルームミラーのミラー角度とに基づいて運転者の眼球
位置を求めるものとしたときには、極めて簡単な構成で
運転者位置が検出される利点がある。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示すブロック図であ
る。

【図２】眼球位置算出部の構成を示す図である。

【図３】運転者位置認識装置における処理手順を示すフ
ローチャートである。

【図４】本発明の第２の実施例を示す図である。

【図５】赤外線検出装置の配置を示す図である。

【図６】運転者位置認識装置の構成を示す図である。

【図７】障害物抽出部による障害物（歩行者）の抽出画
像を示す図である。

【図８】前方道路線形検出部による道路線形の検出画像
を示す図である。

【図９】障害物画像と道路線形画像を重ねた状態を示す
図である。

【図１０】湾曲道路における障害物画像と道路線形画像
を重ねた状態を示す図である。

【符号の説明】

１運転者２運転席１０運転者位置認識装置１１赤外線カメラ（赤外画像出力手段）１２Ａ／Ｄ変換器１３画像メモリ１４眼球位置算出部１５運転席調整量検出部（運転席調整量検出手
段）１６赤外線カメラ・運転者間距離算出部（運転者
距離算出手段）２０視線方向計測装置２１視線方向計測用カメラ２２第１光源２３第２光源２４照明発光制御部２５Ａ／Ｄ変換器２６特徴抽出部２７視線方向算出部３１光軸調整用ミラー３２ミラー回転角度算出部３３ミラー角度制御部３４アクチュエータ３５視線方向計測用カメラ・運転者間距離算出部３６ズーム量算出部３７視線スイッチパネル３８停留判断部３９スイッチ４１顔面領域算出部４２基準顔面面積算出部４３、４６比較決定部４４眼球領域算出部４５基準眼球面積算出部４７重心座標算出部５１運転者５２ルームミラー５３サイドミラー６１後方視線６３側方視線６５車軸線７０制御装置７１赤外線検出装置７２障害物抽出部７３前方道路線形検出部７４障害物接近度判別部７５警報装置７６運転者位置認識装置７７車両８１歩行者８２、８３角度センサ（ミラー角度検出手段）８４眼球位置算出部（眼球位置算出手段）９１、９３道路白線 α、β ミラー角度Ｄ１、Ｄ２進行方向

Claims

【特許請求の範囲】

【請求項１】顔面が発する赤外線の温度分布を表わす
画像データを出力する赤外画像出力手段と、運転席の調
整量を検出する運転席調整量検出手段と、該運転席調整
量検出手段で検出された運転席の調整量から前記赤外画
像出力手段と運転者との間の距離を算出する運転者距離
算出手段と、前記距離を基に抽出基準値を設定する基準
値設定手段と、前記抽出基準値を用いて前記画像データ
を処理して運転者の眼球位置を算出する画像処理手段と
を有することを特徴とする運転者位置認識装置。
【請求項２】前記基準値設定手段は、前記抽出基準値
として、前記距離に対応して予想される基準顔面面積お
よび基準眼球面積を定め、前記画像処理手段は、まず前
記画像データの顔面候補領域のうち最も基準顔面面積に
近い面積を有する領域を顔面領域とし、次いで該顔面領
域の中で眼球候補領域のうち基準眼球面積に最も近い面
積を有する領域を眼球領域として、眼球位置を算出する
ものであることを特徴とする請求項１記載の運転者位置
認識装置。
【請求項３】車両の所定の基準線に対するルームミラ
ー角度とサイドミラー角度を検出するミラー角度検出手
段と、該ミラー角度検出手段で検出されたルームミラー
角度およびサイドミラー角度に基づいて運転者の眼球位
置を算出する眼球位置算出手段を有することを特徴とす
る運転者位置認識装置。