JP3520618B2 - 車両用視線方向計測装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両運転者の視線
方向を計測する車両用視線方向計測装置に関する。

【０００２】

【従来の技術】車両運転者の視線方向を計測する装置
は、車両用の非接触ヒューマンマシンインタフェイスと
して、例えば車両運転者の注目している方向に視覚情報
を表示するとか、視線方向に応じて、例えばオーディオ
コントローラ、エアコンコントローラ、ラジオコントロ
ーラ、変速走行装置コントローラ等を選択して制御する
ための特定のスイッチを動作させるなど種々の利用が提
案されている。このような車両用非接触ヒューマンマシ
ンインタフェイスを構成するために必要な車両用視線方
向計測装置は、従来一般に、眼球の角膜反射像の位置を
画像情報として取り入れて計測する装置が提案されてい
る。この角膜反射像は眼球への照射光が眼球を構成する
光学系の各面で反射屈折することによって生じる像であ
り、プルキンエ像とも呼ばれている。

【０００３】このような従来の視線方向計測装置として
は、例えば、特開平２−１３４１３０号公報に開示され
ているようなものがある。これは、光源と共軸系をなす
カメラによって人間の角膜反射像を撮影し、光源の反射
光の座標とカメラの座標を結んで角膜球の中心を通る直
線の式を求めるとともに、同時に瞳孔の中心座標を求め
るという作業を、互いに離隔して設けられた２台のカメ
ラによって行い、各々のカメラと光源によって得た２本
の直線の交点として角膜球の中心座標を求め、角膜球の
中心座標と瞳孔の中心座標とを結ぶ直線を視線方向とす
るものである。

【０００４】しかし、上述の視線方向計測装置では、視
線方向を検出するために２台のカメラを必要とするた
め、装置が高くなるという問題点がある。そこで、本出
願人は、特開平６−２６１８６３号公報に示すような、
カメラを１台として低価格化を図ったものを先に提案し
た。この装置では、互いに離隔して設けられた２個の照
明を極めて短い時間間隔で交互に点灯し、それぞれの照
明の点灯に対して撮影した２枚の画像ペアより、網膜反
射像の座標値と角膜反射像の座標値を算出して視線方向
を得るようにしている。この処理によれば、撮影した前
記２枚の画像ペアの差分処理を行うことにより、簡単な
構成ながら容易に網膜反射像、角膜反射像の座標値が演
算できるという特徴がある。

【０００５】

【発明が解決しようとする課題】しかし、車両用の視線
方向計測装置は、その車両走行において、運転者の顔面
照度が夜間の０Ｌｕｘ程度から昼間の１００，０００Ｌ
ｕｘ程度まで変化するという環境におかれる。このうち
数万Ｌｕｘ以上の領域の場合、上述の特開平６−２６１
８６３号公報に示す装置の構成で網膜反射像を抽出する
とき、顔面照度が高くなると、顔面照度に対する網膜反
射像の反射輝度が相対的に低くなり、十分なＳ／Ｎ比が
得られない場合があることがわかった。

【０００６】図３９は、実験により、顔面照度を変化さ
せて実験観測した画像の例を示す。照明光源はいずれも
中心波長を８５０ｎｍとする不可視光領域のものを使用
した。また、環境照明としては、８５０ｎｍの波長なら
びに可視光領域を含むハロゲンランプを使用した。図の
（ａ）は、環境照度が低い場合である。虹彩からの反射
輝度は網膜からの反射輝度と比較し相対的に低いため、
虹彩が黒く、網膜反射像が明るく観測されている。一方
（ｂ）は、環境照度が高い場合である。虹彩からの反射
輝度が無視できなくなり、網膜反射像と同様に、虹彩も
明るく画像に観測される。さらに、実験に使用したハロ
ゲンランプは可視光を含んでいるため、縮瞳が起こって
おり、網膜からの反射輝度は（ａ）の場合よりも減少し
ていると考えられる。この結果、画像には相対的に虹彩
が明るく、瞳孔が黒く観測されている。

【０００７】なお、網膜反射像輝度には個人差があり、
同一の環境照度であっても、網膜反射像輝度が高い運転
者では図３９の（ａ）に示す画像のように観測され、反
対に網膜反射像輝度が低い運転者では（ｂ）に示す画像
のように観測されるなど、切り替わりとなる顔面照度は
個人により異なることが実験により判明した。

【０００８】ところで、暗い瞳孔を抽出して瞳孔中心を
演算し、視線方向を演算する装置として、例えば特開平
２−６５８３４号公報に開示された装置がある。この装
置は、眼球位置がカメラのファインダに近接した位置に
存在していることを前提として、暗い瞳孔を検出するも
のである。一方、車両用の視線方向計測装置では、カメ
ラから数十センチメートル以上の領域に撮影対象を想定
しているため、光源の光量が低い場合、瞳孔の部分を正
確に抽出することは簡単ではない。したがって本発明
は、上記の問題点に鑑み、走行環境により運転者の顔面
照度が大幅に変化しても、さらには、個人差があって
も、容易に精度よく瞳孔中心を算出できる改良された視
線方向計測装置を提供することを目的とする。

【０００９】

【課題を解決するための手段】上記目的を達成するた
め、請求項１に記載の発明は、図１に示すように、空間
的に互いに異なる位置に配置され、乗員の顔面を不可視
光により照射する第１の照明２および第２の照明３と、
前記第１の照明の光源と共軸に設けられ、前記乗員の眼
球からの反射像を撮像する撮像装置４を備えて、第１の
照明と第２の照明を用いた互いに異なる第１、第２の照
射毎の画像デ−タを得る画像入力手段１と、前記画像デ
−タから瞳孔を抽出して瞳孔中心位置を算出するととも
に、角膜反射像位置を抽出する画像データ処理手段５
と、前記瞳孔中心および角膜反射像の位置に基づいて、
乗員の視線方向を算出する視線方向算出手段６とを備え
る車両用視線方向計測装置において、処理切り替え手段
７を有するとともに、前記画像データ処理手段５が、明
るい瞳孔を抽出して前記瞳孔中心位置を算出する第１の
画像データ処理手段５ａと、暗い瞳孔を抽出して前記瞳
孔中心位置を算出する第２の画像データ処理手段５ｂと
からなり、前記処理切り替え手段７は乗員の顔面照度を
検出する顔面照度検出手段８を備え、該顔面照度が基準
値より小さいとき、前記第１の画像データ処理手段５ａ
を選択し、顔面照度が基準値より大きいとき、前記第２
の画像データ処理手段５ｂを選択するように構成されて
いるものとした。

【００１０】請求項２に記載の発明は、同じく図１に示
すように、さらに、乗員の眼球部を照射する補助照明１
０を備え、該補助照明の光量を順次変化させながら、前
記第１または第２の画像データ処理手段において明るい
瞳孔を抽出対象とした処理と暗い瞳孔を抽出対象とした
処理による瞳孔中心算出の可否の境界を求め、そのとき
の顔面照度を処理切り替え手段の前記基準値とする基準
値設定手段９を有するものとした。

【００１１】上記の基準値設定手段９は、任意の時期、
例えば視線方向計測の前に予備計測として作動させるこ
とができるほか、画像データ処理手段５に、第１または
第２の画像データ処理手段のいずれかにおいて連続して
瞳孔中心が算出されなかった処理回数をカウントする処
理回数算出手段１１を設け、カウント値が所定数に達し
たとき作動させるようにすることもできる。

【００１２】上記の補助照明の発光波長領域は、第１の
照明の発光波長、第２の照明の発光波長、ならびに可視
域の発光波長とを含むものとするのが好ましく、また、
補助照明の光量は、低輝度から高輝度へと変化させるの
が好ましい。

【００１３】また、処理切り替え手段が検出する顔面照
度は、撮像装置で眼球領域を中心に拡大して撮影したと
きの画像データ全画素の平均値として求めることができ
る。

【００１４】請求項７に記載の発明は、図２に示すよう
に、請求項１記載の発明の構成における処理切り替え手
段７のかわりに、環境条件に基づいて乗員の顔面の照度
状態レベルを推定する照度判断手段１２を備え、該照度
判断手段の出力が基準値より小さいとき、前記第１の画
像データ処理手段５ａを選択し、照度判断手段１２の出
力が基準値より大きいとき、前記第２の画像データ処理
手段５ｂを選択する処理切り替え手段７Ａを設けたもの
とした。

【００１５】上記の照度判断手段１２は、環境照度を測
定して出力する照度センサとすることができる。あるい
は、照度判断手段１２は、照度センサと車両のサンバイ
ザの操作検出部を有し、照度センサで測定した環境照度
と操作検出部で検出したサンバイザの操作との組み合わ
せに基づいて照度状態レベルを推定するものとしてもよ
い。また、上記の照度センサは、車両のライト自動点灯
装置の環境照度センサまたは、エアコンの日射量センサ
を共用することができる。

【００１６】照度判断手段１２は、さらに、車両のライ
トスイッチの操作に基づいて照度状態レベルを推定する
ライト操作検出部とすることができる。

【００１７】あるいはまた、照度判断手段１２は、環境
照度に対応付けられた現在時刻が属する時間帯に基づい
て照度状態レベルを推定する時間帯情報算出部とするこ
ともできる。より精度を向上するには、照度判断手段１
２は、時刻算出部と車両の進行方角を検出する方角算出
部を有し、現在時刻が属する時間帯と進行方角による太
陽との向きの組み合わせに基づいて照度状態レベルを推
定するものとするのが好ましく、さらには、上記に加え
て、走行地域の緯度を求める緯度算出部を有し、緯度に
応じた現在時刻が属する時間帯と進行方角による太陽と
の向きの組み合わせに基づいて顔面照度レベルを推定す
るものとするのが望ましい。

【００１８】請求項１５に記載の発明は、図３に示すよ
うに、請求項１記載の発明の構成における処理切り替え
手段７のかわりに、第１の画像データ処理手段または第
２の画像データ処理手段のいずれか一方における処理に
よって瞳孔中心が算出されないときに、他方の処理に切
り替える処理切り替え手段７Ｂを設けたものとした。

【００１９】なお、請求項１、７または１５記載の発明
において、第１、第２の画像データ処理手段は、それぞ
れ瞳孔中心を算出する瞳孔中心算出部と、第１の照明に
よる角膜反射像を抽出する共軸系角膜反射像抽出部と、
第２の照明による角膜反射像を抽出する非共軸系角膜反
射像抽出部とから構成されるのが好ましい。そして、第
１の画像データ処理手段の第１瞳孔中心算出部は、第１
の照射による画像データと第２の照射による画像データ
の差分を第１のしきい値で２値化して明るい瞳孔を抽出
し、第２の画像データ処理手段の第２瞳孔中心算出部
は、第１の照射による画像データを第２のしきい値で２
値化して暗い瞳孔を抽出して、それぞれその重心を瞳孔
中心とする。

【００２０】あるいはまた、第１の照明と異なる位置に
設置され、乗員の顔面を不可視光により照射する第３の
照明を有し、第１の照射は第１および第２の照明を点灯
し、第２の照射は第２および第３の照明を点灯するもの
とし、第１瞳孔中心算出部は第１の照射による画像デー
タと第２の照射による画像データの差分を第１のしきい
値で２値化して明るい瞳孔を抽出し、その重心を瞳孔中
心とし、第２瞳孔中心算出部は第２の照射による画像デ
ータを第２のしきい値で２値化して暗い瞳孔を抽出し、
その重心を瞳孔中心とするものとすることもできる。

【００２１】

【作用】請求項１のものでは、画像入力手段１で第１の
照明と第２の照明の単独あるいは組み合わせによる互い
に異なる照射ごとに撮像装置４が乗員の顔面を撮影し、
画像デ−タを得る。画像データ処理手段５では、画像デ
−タを処理して瞳孔を抽出して瞳孔中心を算出するとと
もに、角膜反射像を抽出する。この際、処理切り替え手
段７は乗員の顔面照度を検出してその顔面照度が基準値
より小さいとき、画像データ処理手段５のなかの第１の
画像データ処理手段５ａを選択し、基準値より大きいと
き、第２の画像データ処理手段５ｂを選択する。

【００２２】第１の画像データ処理手段５ａでは、画像
デ−タを処理して明るい瞳孔を抽出する。また第２の画
像データ処理手段５ｂでは、画像デ−タを処理して暗い
瞳孔を抽出する。視線方向算出手段６が上記瞳孔中心お
よび角膜反射像の位置に基づいて、乗員の視線方向を算
出する。これにより、運転中の顔面照度の変化に広いダ
イナミックレンジで対応でき、精度よく瞳孔中心が求め
られる。

【００２３】請求項２のものでは、補助照明１０で乗員
の眼球部を照射する光量を順次変化させながら、第１の
画像データ処理手段において、明るい瞳孔を対象とする
処理では瞳孔を抽出することができなくなった時点を求
める。また第２の画像データ処理手段において、暗い瞳
孔を対象とする処理では瞳孔を抽出することができなく
なった時点を求める。基準値設定手段９は、そのときの
顔面照度を処理切り替え手段の新たな基準値として設定
する。これにより、個人差による処理切り替えの基準値
が簡単に修正決定でき、多数の乗員に対応できる。

【００２４】画像データ処理手段５に処理回数算出部１
１を設け、カウント値が所定数に達したとき基準値設定
手段９を作動させるようにすることにより、基準値の設
定が運転者によって適切でない場合、これが自動的に判
断され、あらたな基準値により瞳孔中心算出の切り替え
が行なわれる。

【００２５】補助照明の発光波長領域を、第１、第２の
照明の発光波長、ならびに可視域の発光波長とを含むも
のとすることにより、網膜反射像の輝度との関係で、虹
彩の反射率が実際の照明にそくしたものとなって、正確
な基準値の決定が容易となり、また、可視光領域の波長
によって、縮瞳により網膜反射像そのものが暗くなる現
象も再現される。また、補助照明の光量変化を低輝度か
ら高輝度へ行なうことにより、乗員が感じる眩しさが軽
減され、負担も少なくなる。そして、瞳孔径の時間的変
化も早いので、測定時間も短かい。

【００２６】さらにまた、処理切り替え手段が検出する
顔面照度は、撮像装置で眼球領域を中心に拡大して撮影
したときの画像データ全画素の平均値として求めること
とすれば、顔面照度測定のための特別の装置が不要とな
る。

【００２７】請求項７のものでは、処理切り替え手段７
Ａにおいて、直接顔面照度を検出するのでなく、照度判
断手段１２が環境条件に基づいて乗員の顔面の照度状態
レベルを推定する。そしてその出力が基準値より小さい
とき、第１の画像データ処理手段５ａが選択され、基準
値より大きいとき、第２の画像データ処理手段５ｂが選
択される。

【００２８】環境条件としては、照度センサで測定した
環境照度を用いることができ、さらにサンバイザの操作
との組み合わせに基づいて照度状態レベルを推定するこ
とにより、乗員の顔面の照度状態が的確に求められる。
そして、照度センサはライト自動点灯装置の環境照度セ
ンサやエアコンの日射量センサを共用することにより、
構成が簡単となる。また、環境条件として、ライトスイ
ッチの操作状態を用いても、簡単な構成で乗員の顔面の
照度状態レベルが求められる。

【００２９】さらにまた、環境条件として、現在時刻が
属する時間帯を用いることにより、同じく簡単な構成で
乗員の顔面の照度状態レベルが求められる。そして、上
記時間帯にさらに進行方角による太陽との向きを組み合
わせることにより、顔面の照度状態レベルがより細かく
求められる。これにさらに走行地域の緯度を組み合わせ
れば、走行する地域に対応する時間帯の区分により、一
層高い精度で照度状態レベルが求められる。

【００３０】請求項１５のものでは、画像データの処理
が第１の画像データ処理手段または第２の画像データ処
理手段のいずれか一方で開始され、その処理によって瞳
孔中心が算出されないときに、処理切り替え手段７Ｂが
他方の画像データ処理手段へ切り替える。 顔面照度の
検出あるいは環境条件に基づく照度状態レベルの推定を
行なわずに処理の切り替えがなされるから、構成が簡単
となり、また個人差があっても自動的に対応する。

【００３１】なお、請求項１、７または１５記載の発明
において、第１、第２の画像データ処理手段がそれぞれ
瞳孔中心を算出する第１、第２瞳孔中心算出部と、第１
の照明による角膜反射像を抽出する第１、第２共軸系角
膜反射像抽出部と、第２の照明による角膜反射像を抽出
する第１、第２非共軸系角膜反射像抽出部とを有するも
のにおいて、第１の照明と異なる位置に設置され、乗員
の顔面を不可視光により照射する第３の照明を有し、第
２の照射は第２および第３の照明を点灯するものとし、
とくに第２瞳孔中心算出部がこの第２の照射による画像
データを２値化して瞳孔を抽出するものとしたときに
は、網膜からの反射光がなく、その後の角膜反射像のＳ
／Ｎが向上する。

【００３２】

【発明の実施の形態】以下、本発明の実施の形態を実施
例により説明する。図４は車両の視線スイッチに適用し
た本発明の第１の実施例の構成を示すブロック図であ
る。車両の運転者の顔面に向けてその眼球部を撮影する
撮像装置としてのカメラ２４が設けられるとともに、第
１、第２の発散照明２２、２３が設けられる。カメラ２
４はその撮像素子としてＣＣＤを備えている。第１の発
散照明２２は、カメラ２４と光軸を一致させて共軸系に
配置され、人間に不可視な近赤外光により運転者の顔面
を照明する。第２の発散照明２３は、第１の発散照明２
２から離れた相対関係が既知の所定の位置に、カメラ２
４と非共軸系に配置され、同様に人間に不可視な近赤外
光により運転者の顔面を照明する。

【００３３】第１の発散照明２２および第２の発散照明
２３は照明発光制御部２５に接続されている。この照明
発光制御部２５は、装置全体の動作を制御する全体制御
部２６からの信号に基づいて制御動作を行うようになっ
ている。カメラ２４は、撮影した画像データをディジタ
ルデータに変換するＡ／Ｄ変換器２７を経て、画像デー
タを格納する画像メモリ２８に接続されている。

【００３４】画像メモリ２８には、顔面照度演算部３０
を介して、第１瞳孔中心算出部３１と第２瞳孔中心算出
部４１とが並列に接続されている。顔面照度演算部３０
は、入力画像データから運転者顔面照度Ｉを演算し、基
準値Ｉ０との比較結果により、第１瞳孔中心算出部３１
または第２瞳孔中心算出部４１のどちらかに切り替え接
続する。すなわち、Ｉ＜Ｉ０の場合には、第１瞳孔中心
算出部３１が顔面照度演算部３０に接続され、明るい瞳
孔を用いて瞳孔中心候補を算出する。またＩ＞Ｉ０の場
合には、第２瞳孔中心算出部４１が顔面照度演算部３０
に接続され、暗い瞳孔を利用して瞳孔中心候補を算出す
る。

【００３５】第１瞳孔中心算出部３１には、順次に第１
共軸系角膜反射像抽出部３２、第１非共軸系角膜反射像
抽出部３３、ならびに第１反射像確認部３４が接続され
ている。第１共軸系角膜反射像抽出部３２は、第１瞳孔
中心算出部３１の出力をもとに、共軸系角膜反射像の位
置候補を抽出し、第１非共軸系角膜反射像抽出部３３
は、非共軸系角膜反射像の位置候補を抽出する。そし
て、これら抽出された各反射像候補が正しいものである
かどうかが第１反射像確認部３４により検証される。

【００３６】第２瞳孔中心算出部４１にも同様に、順次
に第２共軸系角膜反射像抽出部４２、第２非共軸系角膜
反射像抽出部４３、ならびに第２反射像確認部４４が接
続されている。そして、第２共軸系角膜反射像抽出部４
２は、第２瞳孔中心算出部４１の出力をもとに、共軸系
角膜反射像の位置候補を抽出し、第２非共軸系角膜反射
像抽出部４３は、非共軸系角膜反射像の位置候補を抽出
する。そして、これら抽出された各反射像候補が正しい
ものであるかどうかが第２反射像確認部４４により検証
される。

【００３７】第１、第２反射像確認部３４、４４は、視
線方向算出部３７に接続され、ここで瞳孔中心の位置と
各角膜反射像の位置から、運転者の視線方向を算出する
ようになっている。視線方向算出部３７には、停留判断
部３９が接続され、フロントウィンドシールド上に設定
された視線スイッチエリア３８内での視線の停留位置を
判断して、コントローラ切り替え部４０への制御情報を
出力する。コントローラ切り替え部４０は、停留判断部
３９の出力に基づき、オーディオコントローラ５１、エ
アコンコントローラ５２、ラジオコントローラ５３およ
びＡＳＣＤ（定速走行装置）コントローラ５４のいずれ
かを制御する信号を出力する。

【００３８】ＨＵＤ（ヘッドアップディスプレイ）表示
制御部４５は、コントローラ切り替え部４０を通して出
力される各コントローラ５１〜５４の信号に基づき、Ｈ
ＵＤ表示部４６にＨＵＤ表示を行なう。また、ステアリ
ングハンドルにはコントローラ切り替え部４０と接続さ
れたステアリングスイッチ４７が設置されている。メイ
ンスイッチ４８が上述した装置全体のＯＮ・ＯＦＦを司
っている。

【００３９】図５の（ａ）は上記実施例装置のレイアウ
トを示す。 ステアリングハンドル４９にメインスイッ
チ４８およびステアリングスイッチ４７が配置されてい
る。カメラ２４が車室内計器盤上、ステアリングハンド
ルの一方の側に設置される。そして、このカメラ２４の
光軸と照射方向を一致させた共軸系の第１の発散照明２
２が設けられ、ステアリングハンドルを挟んで反対側に
非共軸系の第２の発散照明２３が配置されている。

【００４０】運転者正面のフロントウィンドシールド５
０には、視線スイッチエリア３８およびＨＵＤ表示部４
６が設定されている。視線スイッチエリア３８には、図
５の（ｂ）に示すように、コントローラ切り替え部４０
を介して制御される制御項目名が表示される。ステアリ
ングスイッチ４７とメインスイッチ４８は同図の（ｃ）
に示すように、ステアリングパッド部に配置されてい
る。

【００４１】次に、本実施例装置の作用を、エアコンの
設定温度を変更する場合を例に制御動作を示す図６〜図
１１のフローチャートに基づいて説明する。車両運転者
Ｄがエアコンを操作したいと考えたときには、視線スイ
ッチエリア３８のエアコン領域（図５の（ｂ）中のＡ／
Ｃ領域）を注視する。同時に運転者Ｄはステアリングハ
ンドル４９のメインスイッチ４８を押す。これにより、
装置が動作を開始し、車両の運転者Ｄの注目している方
向の計測が行われる。

【００４２】まずステップ２０１において、全体制御部
２６から計測開始信号が出力されると、これに基づきス
テップ２０２で、照明発光制御部２５からのトリガ信号
が発せられて、第１、第２の発散照明２２、２３が点灯
され、車両運転者Ｄの顔面が照明される。そして、ステ
ップ２０３において、この照明された顔面領域の画像が
カメラ２４によって取り込まれ、画像情報がＡ／Ｄ変換
器２７によりＡ／Ｄ変換されて、ディジタルの画像デー
タＩ１（ｘ，ｙ）として、画像メモリ２８に格納され
る。ここでの画像は、運転者の眼球部分を主としてその
周囲顔面部分が拡大して撮影される。

【００４３】引き続きステップ２０４において、照明発
光制御部２５からのトリガ信号によって、第２の発散照
明２３のみが点灯され、車両運転者Ｄの顔面が照明され
る。なおこのときの第２の発散照明２３の点灯光量は、
ステップ２０２において点灯したときの約２倍とする。
ステップ２０５でこの第２の発散照明２３で照明された
顔面領域の画像がカメラ２４によって取り込まれ、上述
と同様に画像情報がＡ／Ｄ変換器２７によりＡ／Ｄ変換
されて、ディジタルの画像データＩ２（ｘ，ｙ）とし
て、画像メモリ２８に格納される。

【００４４】ステップ２０６では、顔面照度演算部３０
により、顔面照度Ｉが演算される。上述のように、カメ
ラ２４は眼球部分を主としてその周囲を拡大して撮影
し、眼球以外の部分はほとんど顔面部分を撮影している
とみなすことができる。したがってここでは、顔面照度
Ｉが画像データＩ１（ｘ，ｙ）の全画素の濃度値の平均
値で表わされる。なお眼球近傍部分を拡大して撮影する
ためには、運転者Ｄとカメラ２４の距離を１ｍとして、
例えば焦点距離７５ｍｍ以上の望遠レンズを使用すれば
よい。

【００４５】次のステップ２０７において、上記の顔面
照度Ｉについて、予め設定されたＩ０との比較を行い、
条件判断を行う。まず、Ｉ＜Ｉ０のときはステップ２０
８に進み、第１瞳孔中心算出部３１において、明るい瞳
孔を利用して、すなわち明るい瞳孔を抽出して瞳孔中心
を求める。ここでは、共軸系としてレイアウトされたカ
メラ２４と第１の発散照明２２によって、運転者Ｄの網
膜から反射光が戻って来ることを利用する。一方、Ｉ＞
Ｉ０のときはステップ２３１に進み、第２瞳孔中心算出
部４１において、暗い瞳孔を抽出して利用して瞳孔中心
を求める。ステップ２０２〜２０５が発明の画像入力手
段を構成し、また、ステップ２０６、２０７が処理切り
替え手段を構成し、とくにステップ２０６は顔面照度検
出手段に該当する。

【００４６】ステップ２０８では、画像データＩ１
（ｘ，ｙ）と画像データＩ２（ｘ，ｙ）の差分処理を行
い、画像データＩ３（ｘ，ｙ）を作成する。なお、差分
で負となったデータは０とする。また、画像データＩ１
（ｘ，ｙ）および画像データＩ２（ｘ，ｙ）は、後の処
理に使用するため、引き続き記憶される。

【００４７】このあとステップ２１１において、画像デ
ータＩ３（ｘ，ｙ）を予め設定したしきい値Ｔｈ１（Ｔ
ｈ１＞０）を用いて２値化する。ここでは、メモリが８
ビットの場合、しきい値Ｔｈ１以上をＦＦ、Ｔｈ１未満
を０とする。これにより、ノイズを除去した画像データ
Ｉ４（ｘ，ｙ）が求められる。ステップ２１２で、上記
抽出された各領域の画像データＩ４（ｘ，ｙ）に番号付
けを行うラベリング処理が施される。そして、ステップ
２１３において、ラベリング処理後の各領域の面積を計
算する。これにより、メモリ中の各領域毎の面積を記憶
したテーブルが作成される。

【００４８】ステップ２１４では、領域の面積のうち、
最大のものについて外接四角形を求め、その縦、横の辺
の長さを計算する。そして、ステップ２１５において、
その外接四角形が画素ｍ×ｎの領域内に入っているかど
うかがチェックされる。これは、外接四角形が次の両式
を同時に満たすことを意味する。なお、ｍ、ｎは予め設
定しておく。 （横の辺の長さ）＜ｍ （縦の辺の長さ）＜ｎ 外接四角形がｍ×ｎ領域内にあれば、網膜反射像候補が
得られたものとしてステップ２１８へ進む。対象領域が
大きくｍ×ｎ領域におさまらなければ、ステップ２１６
に進んで当該領域の面積を０としたうえ、ステップ２１
７を経てステップ２１４に戻り、次に面積の大きい領域
について、再度外接四角形の比較を行う。

【００４９】ステップ２１７では、次に処理の対象とす
る領域があるかチェックし、対象領域が無くなったら、
ステップ２０２へ戻り、再度画像取り込み以降の上記処
理を繰り返す。なお、すべての領域で面積が０となった
ときは、処理の対象とする領域がないものとする。

【００５０】ステップ２１８では、網膜反射像の重心位
置を演算する。ここでは、下記の式により各領域ｉの重
心座標（Ｘｇｉ，Ｙｇｉ）を求めて、瞳孔中心位置（＝
網膜反射像の重心位置）の候補とする。

【数１】

【００５１】瞳孔中心位置が特定されると、この位置を
基にして共軸系角膜反射像位置を特定する。すなわち、
ステップ２２１において、第１共軸系角膜反射像抽出部
３２で、瞳孔中心位置の候補の近傍に、輝点位置を探索
するための領域を設定する。探索領域は、瞳孔中心位置
を中心に設定し、図１２に示すように、画素ｐ×ｑ領域
とされる。このｐ，ｑの値は予め設定される。つぎのス
テップ２２２では、このｐ×ｑ領域内の最高輝度の点を
探索し、抽出した最高輝度の点の座標を（ｘ１，ｙ１）
とする。

【００５２】続いてステップ２２３では、第１非共軸系
角膜反射像抽出部３３において、画像データＩ１（ｘ，
ｙ）から、上記最高輝度の点の座標（ｘ１，ｙ１）の近
傍領域を探索するための画素ｒ×ｓ領域を設定する。こ
こでは、対応する反射像が発散照明２２と発散照明２３
を結ぶ線分と平行位置になること、また発散照明２３の
反射像は必ず発散照明２２の反射像よりも左になること
を利用し、図１３に示すようにｒ×ｓ領域を設定する。
なお、このｒ，ｓの値も予め設定しておく。

【００５３】このあとステップ２２４において、上記ｒ
×ｓ領域内の最高輝度の点を探索する。ここで抽出され
た最高輝度の点の座標を（ｘ２，ｙ２）とする。そして
ステップ２２５において、第１反射像確認部３４では、
各最高輝度の点の座標（ｘ１，ｙ１）と（ｘ２，ｙ２）
が角膜反射像のペアであるかどうかを判定する。ここで
は、ｙ座標の差が予め設定した値Ｔｈ２（Ｔｈ２＞０）
よりも小さいものを平行位置にあるものとして判定す
る。ここで上記各最高輝度の点が角膜反射像のペアでな
いときには、ステップ２１６へ戻り、次に面積の大きい
領域を網膜反射像として処理を繰り返し、再度比較を行
う。上述のステップ２０８〜２２５が発明の第１の画像
データ処理手段を構成している。

【００５４】一方、ステップ２０７のチェックでＩ＞Ｉ
０のときは、ステップ２３１に進み第２瞳孔中心算出部
４１において、暗い瞳孔を利用して、すなわち暗い瞳孔
を抽出して瞳孔中心を求める、このステップでは予め設
定したしきい値Ｔｈ３（Ｔｈ３＞０）を用いて画像デー
タＩ１（ｘ，ｙ）を２値化する。ここでは、メモリが８
ビットの場合、しきい値Ｔｈ３以上を０、Ｔｈ３未満を
ＦＦとする。これにより、ノイズを除去した画像データ
Ｉ４（ｘ，ｙ）が求められる。画像データＩ１（ｘ，
ｙ）は引き続き記憶しておく。ステップ２３２〜２３４
では、ステップ２１２〜２１４と同様の処理を行なう。

【００５５】そして、ステップ２３５において、ステッ
プ２１４で求めた外接四角形が画素ｔ×ｕ領域内に入っ
ているかどうかがチェックされる。これは、外接四角形
が次の両式を同時に満たすことを意味する。ｔ、ｕは予
め設定しておく。 （横の辺の長さ）＜ｔ （縦の辺の長さ）＜ｕ 外接四角形がｔ×ｕ領域内にあれば、ステップ２３８へ
進む。対象領域が大きくｔ×ｕ領域におさまらなけれ
ば、ステップ２３６に進んで当該領域の面積を０とした
うえ、ステップ２３７を経てステップ２３４に戻り、次
に面積の大きい領域について、再度外接四角形の比較を
行う。

【００５６】ステップ２３７では、次に処理の対象とす
る領域があるかチェックし、対象領域が無くなったら、
ステップ２０２へ戻り、再度画像取り込み以降の上記処
理を繰り返す。なお、すべての領域で面積が０となった
ときは、処理の対象とする領域がないものとする。ステ
ップ２３８では、ステップ２１８と同様の処理で網膜反
射像の重心位置を演算して、瞳孔中心位置の候補とす
る。

【００５７】つぎのステップ２４１においては、第２共
軸系角膜反射像抽出部４２で、瞳孔中心位置の候補の近
傍に、輝点位置を探索するための領域を設定する。探索
領域は、図１４に示すように、瞳孔領域内とする。そし
てステップ２４２において、探索領域内の最高輝度の点
を探索し、抽出した最高輝度の点の座標を（ｘ１，ｙ
１）とする。

【００５８】続いてステップ２４３においては、第２非
共軸系角膜反射像抽出部４３で、ステップ２４１と同様
にして、瞳孔中心位置の候補の近傍に、輝点位置を探索
するための領域を設定する。ここでの探索領域とは、画
像データＩ１（ｘ，ｙ）の瞳孔領域から、ステップ２４
２にて抽出された最高輝度の点の座標（ｘ１，ｙ１）の
近傍領域の値を０に設定したものである。この近傍領域
として、例えば５ドット×５ドット程度の領域を設定す
る。そして、ステップ２４４において、領域内の最高輝
度の点を探索し、抽出した最高輝度の点の座標を（ｘ
２，ｙ２）とする。

【００５９】ステップ２４５では、第２反射像確認部４
４において、ステップ２２５と同様に、各最高輝度の点
の座標（ｘ１，ｙ１）と（ｘ２，ｙ２）が角膜反射像の
ペアであるかどうかを予め設定した値Ｔｈ２を用いて判
定する。ここで上記各最高輝度の点が角膜反射像のペア
でないときには、ステップ２３６へ戻り、次に面積の大
きい領域を網膜反射像として処理を繰り返し、再度比較
を行う。上述のステップ２３１〜２４５が発明の第２の
画像データ処理手段を構成している。

【００６０】ステップ２２５あるいはステップ２４５の
チェックで、各最高輝度の点が角膜反射像のペアである
と判定されたときには、ステップ２５１に進む。ステッ
プ２５１では、視線方向算出部３５において、上に求め
られた２つの角膜反射像の重心座標および瞳孔領域の重
心座標を基に、車両運転者Ｄの視線方向が算出される。
視線方向の算出方法は、先の特開平６−２６１８６３号
公報に詳しい。

【００６１】すなわち、図１５に示すように、カメラの
焦点位置Ｆ１を原点とし、ＣＣＤ面のｘ軸方向をＸ軸、
ｙ軸方向をＹ軸、カメラ光軸方向をＺ軸とするワールド
座標系において、第２の光源（第２の発散照明２３）位
置をＦ２とすると、第１の光源（第１の発散照明２２）
とカメラの光軸を一致させた共軸系では、カメラの焦点
位置Ｆ１とＣＣＤ面上の角膜反射像Ｂを結ぶ直線は角膜
球中心Ｏは１直線上にある。また、第２の光源による角
膜反射像Ｃは、その角膜表面での正反射点Ｐと点Ｆ１と
を結ぶ直線上にあり、ＣＣＤ面上の瞳孔中心位置Ａは点
Ｆ１と瞳孔中心Ｑを結ぶ直線上にある。

【００６２】ここで、人間の角膜球の半径は約７．８ｍ
ｍであるから、角膜球中心Ｏは点Ｐを中心とする半径
７．８ｍｍの球面と直線Ｆ１−Ｂの交点に求められる。
そして、角膜球中心と瞳孔中心の距離は約４．２ｍｍで
あるので、角膜球中心Ｏを中心とする半径４．２ｍｍの
球面と直線Ｆ１−Ａの交点に求められる。こうして得ら
れる角膜球中心Ｏから瞳孔中心Ｑへのベクトルが視線方
向となる。ステップ２５１は、発明における視線方向算
出手段を構成する。

【００６３】以上の視線方向の計測を繰り返し、ステッ
プ２５２において、視線方向の所定領域における停留時
間を、停留判断部３９において判断する。停留時間は上
記視線方向計測処理の繰り返し回数として求めることが
できる。ステップ２５３において、視線方向が視線スイ
ッチエリア３８の例えばエアコン領域に一定時間（例え
ば０．３秒相当の視線方向計測繰り返しの間）停留して
いることが認識されると、車両運転者Ｄがエアコンスイ
ッチを見ていると判断し、ステップ２５４へと進む。

【００６４】ステップ２５４では、コントローラ切り替
え部４０により、制御対象がエアコンコントローラ５２
に切り替えられ、ＨＵＤ表示部４６に現在のエアコン設
定温度が表示される。ＨＵＤ表示部にエアコン表示がな
されると、ステアリングスイッチ４７のアップ・ダウン
ボタンがエアコン設定温度の上下を行なうように機能す
るようになる。運転者Ｄは、ステアリングスイッチ４７
のアップ・ダウンボタンを操作して、ＨＵＤ表示を見な
がら、所定の設定温度にセットする。エアコンコントロ
ーラ５２は、このセットした情報にしたがって所定の温
度制御を実行する。なお、この対象物制御のステップに
入ると、視線方向計測の動作が停止される。

【００６５】また、コントローラ切り替え部４０は、一
定時間（例えば５秒間）、ステアリングスイッチ４７が
操作されないと、操作が終了したものと判断して、一連
の処理を終了する。またステップ２５３において、視線
方向が所定領域に停留していると認識されない場合は、
再びステップ２０２に戻り、視線方向の計測を繰り返
す。

【００６６】本実施例は以上のように構成され、視線方
向計測のための要素である眼球の瞳孔中心位置を算出す
るにあたって、顔面照度演算部を備えて、顔面照度の高
低に応じて第１瞳孔中心算出部または第２瞳孔中心算出
部のどちらかに切り替え接続する。そして顔面照度が低
い場合には、第１瞳孔中心算出部により明るい瞳孔を抽
出して瞳孔中心位置を算出し、顔面照度が高い場合に
は、第２瞳孔中心算出部により暗い瞳孔を抽出して瞳孔
中心位置を算出するものとした。これにより、運転中の
顔面照度の変化に広いダイナミックレンジで対応でき、
精度よく瞳孔中心を求められるので、信頼性高くかつ迅
速に運転者の視線方向が計測される。

【００６７】次に、図１６は本発明の第２の実施例の構
成を示す図である。これは、環境照度を用いて瞳孔中心
算出の切り替えを行なうようにしたもので、図４に示し
た第１の実施例における顔面照度演算部３０のかわり
に、に示すように、Ｓとして処理選択部６０を設け、
これに、照度判断装置Ｈとして環境照度を測定して出力
する照度センサ６１が接続されている。照度センサ６１
は、車室内計器盤上あるいは室外のフロントウインドウ
ワイパ付近に設置され、車室外の環境照度ＩK を測定す
る。処理選択部６０では、照度センサ６１の出力ＩK と
基準値ＩＧとの比較結果により、第１瞳孔中心算出部３
１または第２瞳孔中心算出部４１のどちらかに切り替え
接続する。

【００６８】すなわち、ＩK ＜ＩＧの場合には、第１瞳
孔中心算出部３１が処理選択部６０に接続され、明るい
瞳孔を用いて瞳孔中心候補を算出する。またＩK ＞ＩＧ
の場合には、第２瞳孔中心算出部４１が処理選択部６０
に接続され、暗い瞳孔を利用して瞳孔中心候補を算出す
る。その他の構成は第１の実施例と同じであり、制御動
作においても、第１の実施例における図６〜図１１に示
したフローチャートのステップ２０６、２０７における
顔面照度の算出、比較が、照度センサ６１による車室外
環境照度ＩK の測定、およびその比較にかわるほかは同
一であるから、図示および説明は省略する。

【００６９】なお、環境照度により前照灯を自動的に点
灯させるライト自動点灯装置を備える車両では、その環
境照度のセンサを、本実施例の環境照度測定部６１の照
度センサとして共用することができ、新たなセンサを付
加する必要がないので安価な構成で実現することができ
る。また、エアコンの制御に日射量センサを装備してい
る車両では、日射量と環境照度はほぼ比例すると考える
ことができるから、その日射量センサを本実施例の照度
センサ６１として代用することができる。これによって
も新たなセンサを付加する必要がなく、安価な構成で実
現することができる。

【００７０】以上のように、環境照度と顔面照度はおお
よそ比例関係にあるため、顔面照度Ｉは環境照度ＩK で
置き換えることができる。したがって顔面照度でなくて
も、環境照度を測定できるセンサを用いて処理を切り替
えることができ、また他の車両制御装置のセンサを共用
することができるというメリットがある。

【００７１】次に、第３の実施例について説明する。こ
れは、環境照度に加え、さらにサンバイザ操作状態を考
慮に入れて瞳孔中心算出の切り替えを行なうようにする
ものである。図１６のに示すように、Ｓとして処理選
択部６０Ａを設け、これに、照度判断装置Ｈとして環境
照度測定部６２とサンバイザ操作検出部６３が接続され
る。サンバイザ操作検出部６３は、スイッチ操作により
格納位置と使用位置の間を昇降あるいは回動するように
構成された電動サンバイザのスイッチ信号を検出して、
操作信号を出力する。

【００７２】環境照度測定部６２は、前実施例における
と同じく照度センサを用いて車室外環境照度ＩK を測定
したうえ、さらに、その測定した照度が１０００Ｌｕｘ
未満のときは照度状態レベルＩKS＝０、照度１００００
Ｌｕｘ以上であればＩKS＝１に置き換えて出力する。サ
ンバイザ操作検出部６３は、サンバイザの操作状態を示
す信号として、サンバイザが使用位置へ操作されていれ
ば照度状態レベルＩKS＝１、格納位置にあればＩKS＝０
を出力する。

【００７３】処理選択部６０Ａは、環境照度１０００Ｌ
ｕｘ未満または１００００Ｌｕｘ以上で環境照度測定部
６２から照度状態レベルＩKS信号を受けている間はこれ
らを用い、環境照度１０００Ｌｕｘ以上１００００Ｌｕ
ｘ未満のときには、サンバイザ操作検出部６３からのＩ
KS信号を選択する。すなわち、通常、環境照度が高く直
射日光が運転者顔面に差し込んでいる場合は運転者の顔
面照度も高い状態にあるが、サンバイザを操作して日光
の直射を遮ると環境照度は高くても顔面照度が低下し、
その変化が大きいので、この変動に対応付けしようとす
るものである。

【００７４】そして、これら照度状態レベルＩKSと基準
値ＩＢとの比較結果により、第１瞳孔中心算出部３１ま
たは第２瞳孔中心算出部４１のどちらかに切り替え接続
する。すなわち、例えばＩＢ＝０．５に予め定められた
基準値と比較して、ＩKS＜ＩＢのときには第１瞳孔中心
算出部３１が処理選択部６０Ａに接続され、明るい瞳孔
を用いて瞳孔中心候補を算出する。またＩKS＞ＩＢの場
合には、第２瞳孔中心算出部４１が処理選択部６０Ａに
接続され、暗い瞳孔を利用して瞳孔中心候補を算出す
る。その他の構成は、第１の実施例と同じである。

【００７５】図１７は、この実施例における制御動作の
フローの一部を示し、第１の実施例における図６〜図１
１のフローのステップ２０６、２０７のかわりに、ステ
ップ１１０１〜１１１０が実行される。すなわち、ステ
ップ２０５の画像データ取り込みの後、ステップ１１０
１において、環境照度測定部６２により環境照度ＩK の
測定が行なわれる。ステップ１１０２では、引き続き環
境照度測定部６２において、まず環境照度ＩK が１００
０Ｌｕｘ未満であるかどうかがチェックされる。環境照
度ＩK が１０００Ｌｕｘ未満であれば、ステップ１１０
３においてＩKS＝０が設定されて、ステップ１１１０に
進む。

【００７６】環境照度ＩK が１０００Ｌｕｘ以上のとき
には、ステップ１１０４に進んで、ＩK が１００００Ｌ
ｕｘより大きいかどうかがチェックされる。環境照度Ｉ
K が１００００Ｌｕｘより大きければ、ステップ１１０
５でＩKS＝１が設定されて、ステップ１１１０に進む。
環境照度ＩK が１００００Ｌｕｘ以下のときには、ステ
ップ１１０６に進んで、サンバイザ操作検出部６３でサ
ンバイザ信号が読み込まれ、ステップ１１０７で、サン
バイザが使用位置へ操作されているかどうかがチェック
される。

【００７７】そしてサンバイザが使用位置にあれば、ス
テップ１１０８でＩKS＝１が設定され、使用されていな
いときには、ステップ１１０９でＩKS＝０が設定され
て、ステップ１１１０に進む。ステップ１１１０では、
ＩKSが基準値ＩＢと比較され、ＩＢより小さければステ
ップ２０８に進み、大きければステップ２３１に進む。
その他のステップは図６〜図１１に示されたものと同じ
である。この実施例では、ステップ１１０１〜１１１０
が発明の処理切り替え手段を構成している。

【００７８】本実施例によれば、処理選択部６０Ａが環
境照度測定部６２とサンバイザ操作検出部６３からの信
号を受けて、環境照度に加えてさらにサンバイザ操作状
態も考慮して切り替え判断をするので、眼球付近の顔面
照度と瞳孔中心の算出法との適正な対応関係が確保され
るという効果がある。

【００７９】つぎに、第４の実施例について説明する。
これは、ライトの操作状態に基づいて瞳孔中心算出の切
り替えを行なうようにするもので、図１６のに示すよ
うに、Ｓとして処理選択部６０Ａを設け、これに、これ
に、照度判断装置Ｈとしてライト操作信号検出部６４を
接続するものである。ライト操作信号検出部６４では、
車両のライトスイッチの操作状態を検出し、照度状態レ
ベルＩL として、ライトが点灯されていればＩL ＝０、
点灯されていなければＩL ＝１を出力する。ライトスイ
ッチとしては、薄暮に近い状態で点灯されるスモールラ
イトやフォグランプのスイッチについてその操作状態が
検出される。

【００８０】処理選択部６０Ａでは、ライト操作信号検
出部６４の出力に応じて、第１瞳孔中心算出部３１また
は第２瞳孔中心算出部４１のどちらかに切り替え接続す
る。すなわち、ライト操作信号検出部６４の出力である
照度状態レベルＩL を、例えばＩＢ＝０．５に予め定め
られた基準値と比較して、ＩL ＜ＩＢのときには第１瞳
孔中心算出部３１が処理選択部６０Ａに接続され、明る
い瞳孔を用いて瞳孔中心候補を算出する。またＩL ＞Ｉ
Ｂの場合には、第２瞳孔中心算出部４１が処理選択部６
０Ａに接続され、暗い瞳孔を利用して瞳孔中心候補を算
出する。

【００８１】その他の構成は第１の実施例と同じであ
り、制御動作においても、図６〜図１１に示したフロー
チャートのステップ２０６、２０７における顔面照度の
算出、比較が、ライト操作信号検出部６４による操作信
号に基づく照度状態レベルＩLの出力、およびその比較
にかわるほかは同一であるから、図示および説明は省略
する。顔面照度の変化はライトが点灯される薄暮に近い
状態を境に切り替わるから、ライトスイッチの操作信号
で対応付けられる。したがって、車両に常設のライトス
イッチから操作信号を受けることによって、第２の実施
例と同様に、新たに高価なセンサを付加しないで安価な
構成で実現することができる。

【００８２】次に第５の実施例について説明する。これ
は、時刻情報に基づいて瞳孔中心算出の切り替えを行な
うようにするもので、図１６のに示すように、Ｓとし
て処理選択部６０Ａを設け、これに、照度判断装置Ｈと
して時間帯情報算出部６５が接続される。時間帯情報算
出部６５は、予め設定した時刻、例えば午前７時と午後
４時を境界として、現在時刻が午後４時〜午前７時の時
間帯にある間は照度状態レベルＩT ＝０、午前７時〜午
後４時の時間帯にある間はＩT ＝１を出力する。

【００８３】処理選択部６０Ａでは、時間帯情報算出部
６５の出力である照度状態レベルＩT をもとに、例えば
ＩＢ＝０．５に予め定められた基準値と比較する。そし
て、ＩT ＜ＩＢのときには第１瞳孔中心算出部３１が処
理選択部６０Ａに接続され、明るい瞳孔を用いて瞳孔中
心候補を算出する。またＩT ＞ＩＢの場合には、第２瞳
孔中心算出部４１が処理選択部６０Ａに接続され、暗い
瞳孔を利用して瞳孔中心候補を算出する。上記の時刻
は、第１、第２瞳孔中心算出部を切り替える環境照度を
２０００Ｌｕｘとすると、一般に太陽直射下でこの環境
照度になるのが、季節等により変動するが、午前であれ
ば朝の７時頃、午後であれば夕方の４時頃にあたること
による。

【００８４】その他の構成は第１の実施例と同じであ
り、制御動作においても、図６〜図１１に示したフロー
チャートのステップ２０６、２０７における顔面照度の
算出、比較が、時間帯情報算出部６５による照度状態レ
ベルＩT の算出、およびその比較にかわるほかは同一で
あるから、図示および説明は省略する。この実施例によ
っても、顔面照度の変化が時間帯情報で対応付けられ、
高価なセンサを付加しないで安価な構成で、瞳孔中心の
算出法を適正に切り替え、精度よく瞳孔中心を求められ
る。

【００８５】次に図１８は本発明の第６の実施例を示
す。これは、時間帯情報に加え、さらに太陽との向きを
考慮に入れて瞳孔中心算出の切り替えを行なうようにす
るものである。図４に示した第１の実施例における顔面
照度演算部３０のかわりに、処理選択部６０Ａを設け、
これに、に示すように、Ｈ２、Ｈ３、Ｈ１として時刻
算出部６７および方角算出部６８の出力に基づき照度状
態を判断する照度判断部６６からなる照度判断装置Ｈが
接続されている。時刻算出部６７は現在時刻を出力し、
方角算出部６８は車両の進行する方角を算出して出力す
る。

【００８６】照度判断部６６は、時刻算出部６７と方角
算出部６８の出力をもとに、例えば、算出された方角が
東であるときには、予め設定した時刻、例えば午前６時
３０分と午後３時３０分を境界にして、午後３時３０分
〜午前６時３０分の間は照度状態レベルＩH ＝０、午前
６時３０分〜午後３時３０分の間はＩH ＝１を出力す
る。同様に、算出された方角が西であるときには、予め
設定した時刻、午前７時３０分と午後４時３０分を境界
にして、午後４時３０分〜午前７時３０分の間はＩH ＝
０、午前７時３０分〜午後４時３０分の間はＩH ＝１を
出力する。ここで、上記の時刻は、顔面照度８００Ｌｕ
ｘを瞳孔中心算出の切り替え点とする場合である。

【００８７】処理選択部６０Ａでは、予め定められた基
準値ＩＢ＝０．５と比較を行なう。そして、ＩH ＜ＩＢ
のときには第１瞳孔中心算出部３１が処理選択部６０Ａ
に接続され、明るい瞳孔を用いて瞳孔中心候補を算出す
る。またＩH ＞ＩＢの場合には、第２瞳孔中心算出部４
１が処理選択部６０Ａに接続され、暗い瞳孔を利用して
瞳孔中心候補を算出する。その他の構成は第１の実施例
と同じである。

【００８８】図１９は、この実施例における制御動作の
フローの一部を示し、第１の実施例における図６〜図１
１のフローのステップ２０６、２０７のかわりに、ステ
ップ１２０１〜１２０４が実行される。すなわち、ステ
ップ２０５の画像データ取り込みの後、ステップ１２０
１において、方角算出部６８により車両の進行する方向
を算出する。そして、ステップ１２０２では、時刻算出
部６７において、現在時刻が求められる。このあと、ス
テップ１２０３において、照度判断部６６で、現在時刻
と車両の進行方角に基づいて、上述のように顔面に対す
る照度状態レベル信号としてＩHを算出する。

【００８９】ステップ１２０４では、ＩH が基準値ＩＢ
と比較され、ＩH ＜ＩＢのときにはステップ２０８へ進
み、ＩH ＞ＩＢの場合には、ステップ２３１へ進む。そ
の他のステップは図６〜図１１に示されたものと同じで
ある。この実施例では、ステップ１２０１〜１２０４が
発明の処理切り替え手段を構成している。

【００９０】太陽の角度が低い場合には、車両が太陽を
前にして走行している場合と、太陽を背に走行している
場合では、顔面に照射する光量が異なる。本実施例によ
れば、時刻情報に加え、さらに太陽との向きを考慮に入
れて瞳孔中心算出の切り替えを行なうから、より一層精
度よく瞳孔中心を求めることができる。

【００９１】次に第７の実施例について説明する。これ
は時刻情報と太陽との向きに加え、さらに地域情報を考
慮に入れて瞳孔中心算出の切り替えを行なうようにする
ものである。図１８のに示すように、前実施例と同じ
く処理選択部６０Ａを設け、これに、Ｈ２、Ｈ３、Ｈ
４、Ｈ１として時刻算出部６７、方角算出部６８および
緯度算出部６９の出力に基づき照度状態を判断する照度
判断部６６Ａからなる照度判断装置Ｈが接続されてい
る。

【００９２】緯度算出部６９では、自車の存在する緯度
を算出する。そして、顔面に対する太陽の直射光の有無
を含めて所定の顔面照度になる時刻を、上記緯度におけ
る日の出の時間をもとに、午前で東に向いているとき、
西に向いているとき、また日没の時間をもとに、午後で
東に向いているとき、西に向いているときの各別にα、
β、γ、δとして推定する。上記所定の顔面照度として
は、前実施例と同様に、例えば８００Ｌｕｘに設定され
る。

【００９３】照度判断部６６Ａは、時刻算出部６７、方
角算出部６８および緯度算出部６９の出力をもとに、現
在時刻と車両の進行方角と上記のα、β、γ、δの各時
刻から顔面に対する環境照度状態を出力する。例えば、
車両の進行方角が東であるときには、上記時刻α、β、
γ、δを境界として、午後γ時〜午前α時の間は照度状
態レベルＩHC＝０、午前α時〜午後γ時の間はＩHC＝１
を出力する。同様に、進行方角が西であるときには、午
後δ時〜午前β時の間はＩHC＝０、午前β時〜午後δ時
の間はＩHC＝１を出力する。

【００９４】処理選択部６０Ａでは、予め定められた基
準値ＩＢ＝０．５と比較を行なう。そして、ＩHC＜ＩＢ
のときには第１瞳孔中心算出部３１が処理選択部６０Ａ
に接続され、明るい瞳孔を用いて瞳孔中心候補を算出す
る。またＩHC＞ＩＢの場合には、第２瞳孔中心算出部４
１が処理選択部６０Ａに接続され、暗い瞳孔を利用して
瞳孔中心候補を算出する。その他の構成は第１の実施例
と同じである。

【００９５】図２０は、この実施例における制御動作の
フローの一部を示し、第１の実施例における図６〜図１
１のフローのステップ２０６、２０７のかわりに、ステ
ップ１３０１〜１３０６が実行される。すなわち、ステ
ップ２０５の画像データ取り込みの後、ステップ１３０
１で、緯度算出部６９において、自車の存在する緯度を
算出する。そして、ステップ１３０２において、当該緯
度における日の出の時刻と日没の時刻から、α、β、
γ、δの各時刻を推定する。ステップ１３０３および１
３０４は前実施例における図１９のステップ１２０１、
１２０２と同じで、車両の進行方角と現在時刻が求めら
れる。

【００９６】このあと、ステップ１３０５では、照度判
断部６６Ａにおいて、現在時刻と車両の進行方角と上記
のα、β、γ、δの各時刻から、上述のように、顔面に
対する照度状態レベル信号として、ＩHCを算出する。ス
テップ１３０６では、ＩHCが基準値ＩＢと比較され、Ｉ
HC＜ＩＢのときにはステップ２０８へ進み、ＩHC＞ＩＢ
の場合には、ステップ２３１へ進む。その他のステップ
は図６〜図１１に示されたものと同じである。この実施
例では、ステップ１３０１〜１３０６が発明の処理切り
替え手段を構成している。

【００９７】本実施例は以上のように構成され、時間と
方角に加え、緯度を考慮して瞳孔中心算出の切り替えを
行なうから、車両の現在地における太陽光の直射の有無
を含めてとくに精度よく顔面照度の状態を推定でき、よ
り正確に瞳孔中心算出の切り替えができる。例えば北海
道と九州では、日の出時刻と日没時刻の間で２時間程度
の差が存在するが、緯度算出部により車両現在地での日
の出、日没の時刻が正確に求められ、照度状態の把握に
有効に生かされる。

【００９８】そして、近時普及しつつあるナビゲーショ
ン機能を持つ車両では、自車の存在する地域を知ること
ができるため、緯度算出のための追加装置も簡単で安価
に構成される。なお上述の第５〜第７の実施例において
は、時刻情報算出部Ｈ５、Ｈ７にさらにカレンダ機能を
もたせることにより、日付や季節による日の出や日没の
時刻の違いに応じて一層精度よく瞳孔中心算出の切り替
えができる。なお、上述の第２〜第７の各実施例におい
て、その照度判断装置Ｈが、それぞれ発明の照度判断手
段を構成している。

【００９９】つぎに本発明の第８の実施例について説明
する。これは、第１の実施例に対して、個人差に対応し
た顔面照度の基準値設定を行なうようにしたものであ
る。運転者が車両に乗り込むのは、必ずしも顔面照度が
低い場合とは限らず、日中のすでに顔面照度が高いとき
に乗り込む場合もある。このような場合、予め設定した
固定の基準値Ｉ０を用いて処理を進めると、暗い瞳孔を
利用しての処理に入る。その後、環境照度が低くなって
くると、個人差によりＩ＞Ｉ０であっても暗い瞳孔が抽
出できない場合や、また瞳孔の反射率が低い運転者では
Ｉ＜Ｉ０となり暗い瞳孔の抽出処理から明るい瞳孔の抽
出処理に切り替っても明るい瞳孔を抽出できない場合が
発生することがある。

【０１００】また、車両に乗り込んだ際の顔面照度Ｉが
低く、Ｉ＜Ｉ０の場合には明るい瞳孔を利用しての処理
で計測が開始されるが、環境照度が高くなってくると、
個人差によりＩ＜Ｉ０であっても明るい瞳孔が抽出でき
ない場合や、瞳孔の反射率が高い運転者ではＩ＞Ｉ０と
なって明るい瞳孔の抽出処理から暗い瞳孔の抽出処理に
切り替っても暗い瞳孔では抽出できない場合が発生し得
る。そこで、この実施例では、所定回数の観測の間瞳孔
領域が抽出できない状態となったとき、新たな基準値設
定を行なう。

【０１０１】この実施例は、図２１に示すように、図４
に示した第１の実施例における照明発光制御部２５に、
第１、第２の発散照明２２、２３に加えて、同じく運転
者顔面を照射する補助照明７０が接続される。また、第
１瞳孔中心算出部３１と全体制御部２６の間に基準値設
定部７２が設けられ、同じく第１、第２瞳孔中心算出部
３１、４１と全体制御部２６の間に処理回数算出部７４
が設けられているものである。補助照明７０は、図２２
に示すように、第１の発散照明２２から離間して、第２
の発散照明２３の近傍に位置して設置されている。その
他の構成は第１の実施例と同じである。

【０１０２】新たな基準値の設定にあたっては、補助照
明７０をその光量を変化させながら点灯させ、瞳孔中心
算出の基礎としての網膜反射像の識別抽出の可否をチェ
ックして基準値を求める。処理回数算出部７４は、明る
い瞳孔の抽出処理すなわち第１瞳孔中心算出部３１への
処理と、暗い瞳孔の抽出処理すなわち第２瞳孔中心算出
部４１への処理のいずれかにおいて、連続して網膜反射
像候補が抽出されなかった回数をカウントする。網膜反
射像候補が抽出されずに複数回、例えば１００回程度の
処理を繰り返し、カウント値が所定数に達した場合に
は、基準値Ｉ０の設定が適切でない可能性があるため、
全体制御部２６は処理回数算出部７４の出力を受けて、
新たな基準値設定の予備計測を開始させる。

【０１０３】この動作の流れを、図２３〜図３０のフロ
ーチャートをもとに説明する。まず、第１の実施例にお
ける図６〜図１１のフローのステップ２０１の前に、ス
テップ１４０１が設けられ、ここで、処理回数算出部７
４のカウント値を０にリセットしたあと、通常の計測処
理が開始される。ステップ２０１から２１６までは第１
の実施例と同じである。第１瞳孔中心算出部３１の処理
におけるステップ２１７のチェックで、ラベリングされ
た領域のすべてがｍ×ｎ領域内に入らない結果となった
ときには、ステップ１４０２に進んで、処理回数算出部
７４のカウント値をインクリメントする。そして、ステ
ップ１４０３でカウント数を確認した後ステップ２０２
に戻る。ステップ２１８から２３６までも第１の実施例
と同じである。

【０１０４】第２瞳孔中心算出部４１の処理におけるス
テップ２３７のチェックで、ラベリングされた領域のす
べてがｔ×ｕ領域内に入らない結果となったときにも、
ステップ１４０２に進んで、処理回数算出部のカウント
値をインクリメントする。そして、ステップ１４０３で
カウント数を確認した後ステップ２０２に戻る。第１瞳
孔中心算出部３１または第２瞳孔中心算出部４１での網
膜反射像候補の抽出処理が繰り返され、ステップ１４０
３でのチェックで処理回数算出部７４のカウント値が１
００を越えると、ステップ１５０１以降の基準値設定の
予備計測に移る。

【０１０５】ステップ１５０１では、全体制御部２６か
ら予備計測開始信号が出力されるとともに、変数ｎが初
期値０にリセットされる。予備計測開始信号に基づき、
ステップ１５０２で照明発光制御部２５が補助照明７０
を光量Ｌｎで点灯させるとともに、ステップ１５０３で
第１の発散照明２２および第２の発散照明２３を点灯さ
せ、車両運転者Ｄの顔面が照明される。なお、第１、第
２の発散照明２２、２３の光量は実際の計測時に発光さ
せる光量と等しくしておく。そして、ステップ１５０４
において、この照明された顔面領域の画像がカメラ２４
によって取り込まれ、画像情報がＡ／Ｄ変換器２７によ
りＡ／Ｄ変換されて、ディジタルの画像データＪｎ１
（ｘ，ｙ）として、画像メモリ２８に格納される。

【０１０６】引き続きステップ１５０５において、照明
発光制御部２５からのトリガ信号によって、第２の発散
照明２３のみが点灯され、車両運転者Ｄの顔面が照明さ
れる。なおこのときの第２の発散照明２３の点灯光量
は、実際の計測時に発光させる光量と等しくしておく。
すなわちここでは、ステップ１５０３において点灯した
ときの約２倍とする。ステップ１５０６でこの第２の発
散照明２３で照明された顔面領域の画像がカメラ２４に
よって取り込まれ、上述と同様に画像情報がＡ／Ｄ変換
器２７によりＡ／Ｄ変換されて、ディジタルの画像デー
タＪｎ２（ｘ，ｙ）として、画像メモリ２８に格納され
る。

【０１０７】次のステップ１５０７では、顔面照度演算
部３０において、下式により差分の画像データＪｎ３
（ｘ，ｙ）が求められる。 Ｊｎ３（ｘ，ｙ）＝Ｊｎ１（ｘ，ｙ）−Ｊｎ２（ｘ，
ｙ） そして、ステップ１５０８で、Ｊｎ３（ｘ，ｙ）を、予
め定めておいてしきい値Ｔｈ４（Ｔｈ４＞０）で２値化
して、画像データＩ５を得る。このあと、ステップ１５
０９のラベリングからステップ１５１２は、ステップ２
１２〜２１５と同様の処理を行なう。

【０１０８】続いてステップ１５１３では、ステップ１
５０９でラベリングした全領域について演算処理が終わ
ったかどうかをチェックする。演算処理が終わっていな
ければステップ１５１４で対象領域の面積を０としなが
らステップ１５１１以降を繰り返し、演算処理が終わる
と、ステップ１５１５に進む。ステップ１５１５では、
基準値設定部７２において、このときの顔面照度Ｉを用
いて、基準値を Ｉ０＝Ｉ とする。

【０１０９】なお、ステップ１５１２のチェックで、外
接四角形がｍ×ｎ内に入る領域が存在した場合には、ス
テップ１５１６でｎ＝ｎ＋１として、ステップ１５０２
に戻り、所定量だけ高くした光量（Ｌｎ＋１＞Ｌｎ）で
次回の補助照明７０の点灯を行なう。このようにして、
補助照明７０の光量を低輝度から高輝度まで順次変化さ
せながら、明るい瞳孔と暗い瞳孔の反転により、ステッ
プ１５１２でのチェックで、ラベリングされたいずれの
領域もその外接四角形がｍ×ｎ内に入らず、網膜反射像
候補が抽出できなくなったときの顔面照度Ｉにより、個
人差に対応した基準値Ｉ０が求められる。

【０１１０】このようにして基準値Ｉ０を求めた後は、
ステップ１４０４で処理回数算出部７４のカウント値を
リセットして、あらためてステップ２０２に始まる視線
方向算出のメインフローに戻る。そして、上記の新たな
基準値Ｉ０がステップ２０７において顔面照度演算部３
０による顔面照度Ｉの比較基準値として用いられる。ス
テップ１４０１〜１４０４が発明の処理回数算出手段を
構成し、ステップ１５０１〜１５１６が基準値設定手段
を構成している。

【０１１１】なお、補助照明７０の光源としては、以下
の点を考慮してその分光スペクトルが選定される。すな
わち、車両のウインドシールドのガラスが全てのスペク
トルを透過するものであるときは、運転者の顔面部に注
がれる光も太陽光のスペクトルに近いものとなる。一
方、車両のガラスが特定の透過スペクトルを有している
ときには、太陽光が車両のガラスを透過した際のスペク
トルに近いものとなる。したがって、運転中に外部から
運転者顔面に照射されるスペクトルに近い分光スペクト
ルをもった光源で運転者顔面を照明すれば、より正確に
基準値設定が行なえる。そこで、運転中の運転者顔面へ
の照射が主として太陽光である場合には、ウインドシー
ルドガラスを透過した太陽のスペクトルに近い分光スペ
クトルを持たせればよい。なお、太陽のスペクトルは、
地球上の場所や時間帯により少しずつ異なるが、この分
光スペクトルは厳密に同じであることを要しない。

【０１１２】一方、外部環境からの光が入射しても、第
１、第２の発散照明の波長域のみに感度を持って、各発
散照明の反射光を効率良く観測するため、カメラの分光
感度が、第１、第２の発散照明の光源の発光波長域に限
定されたものであるときや、例えばレンズ前面に帯域通
過フィルタを備えてＣＣＤ撮像素子面に上記発光波長域
のみが到達するような構造を持つものであるときは、補
助照明には第１および第２の発散照明の発光波長と可視
域の発光波長とを有する光源を用いるのがよい。

【０１１３】第１、第２の発散照明の波長域をもたせる
ことにより、網膜反射像の輝度との関係で、虹彩の反射
率が実際の照明にそくしたものとなって、正確な基準値
Ｉ０の決定が容易となる。また、可視光領域の発光波長
を持たせることにより、縮瞳により網膜反射像そのもの
が暗くなる現象も再現することができる。とくに、補助
光源のスペクトルに可視光領域を含むときには、その光
量の変化は低輝度から高輝度方向へと行なうのが、高輝
度から低輝度への場合と比較して、運転者が感じる眩し
さが軽減され、負担も少なくなるので好ましい。さら
に、人間の視覚は暗順応よりも明順応の方が早いため、
瞳孔径の時間的変化も早く、測定時間も短くなるメリッ
トがある。

【０１１４】補助光源としては、例えば、ハロゲンラン
プや白熱球等が、電圧で制御して光量を可変できるか
ら、比較的安価に、しかも簡単な構成で実現できる。な
お、補助光源に可視光領域を含む場合、基準値設定のた
めの予備計測処理は例えば５ｋｍ／ｈ以下などの低車速
時がよく、とくに運転者に対しては停止時に限定して動
作させるのが好ましい。

【０１１５】本実施例は以上のように構成され、基準値
Ｉ０の設定が運転者によって適切でない場合、これを自
動的に判断する。そして、補助照明の光量を変化させな
がら網膜反射像の識別抽出の可否をチェックすることに
より基準値を求め、この基準値に基づいて瞳孔中心算出
の切り替えを行なうものとしたので、個人差に対応した
適確な顔面照度で算出処理が切り替えられ、高精度で迅
速に視線方向計測が行なわれる。また、新たな基準値Ｉ
０が決定できた段階で予備計測が終了し、視線方向計測
に移るから、処理時間も短く、運転者にかかる負担も少
ない。

【０１１６】なお、実施例では、基準値が不適な場合、
網膜反射像の抽出の段階で瞳孔中心算出ができないもの
との判断を行ない、第１または第２瞳孔中心算出部から
処理回数算出部７４へ判断出力を行なっているが、瞳孔
中心の算出ができなければその後の角膜反射像の抽出も
できないから、瞳孔中心算出の可否判断出力は、第１、
第２反射像確認部３４、４４までの画像データ処理の適
宜の部位から処理回数算出部７４へ送出することができ
る。

【０１１７】なおまた、環境照度が高く、眼球付近の顔
面照度が非常に高い一方で、第１、第２の発散照明の光
量が十分に大きくないような動作環境では、基準値設定
時に暗い瞳孔しか抽出できず、外部から補助照明を照射
しても、暗い瞳孔から明るい瞳孔へと反転する基準値と
なる顔面照度が求められない場合がある。このようなと
きには、眼球付近に透過率が連続的あるいは複数階段に
透過率可変の透過材を設置し、眼球付近の照度を制御す
ることにより、外部の照明環境に影響を受けないで基準
値設定処理を行なうことができる。この場合の透過材と
しては、電圧の印加等によってアクティブに透過率を制
御できるエレクトロミックガラスや液晶などが好適であ
る。

【０１１８】なお、上記第８の実施例では、視線方向計
測の間に連続して網膜反射像候補が抽出できない状態が
継続したときに新たな基準値設定処理に移行するが、こ
のほか、ステップ２０１の計測開始の前にステップ１５
０１〜１５１６で示される新たな基準値設定のための予
備計測処理を実行するようにしてもよい。これによれ
ば、ステップ１４０１〜１４０４が省かれ、処理回数算
出部７４が不要となるので、全体構成が簡単になる。

【０１１９】つぎに、図３１は第９の実施例の全体構成
を示す図である。これは、基準値を用いないで明るい瞳
孔の抽出処理と暗い瞳孔の抽出処理を選択するようにし
たものである。第１の実施例の構成に対して、顔面照度
演算部３０のかわりに処理選択部６０Ｂが画像メモリ２
８と第１、第２瞳孔中心算出部３１、４１の間に設けら
れている。処理選択部６０Ｂは、第１瞳孔中心算出部３
１と第２瞳孔中心算出部４１の処理結果に応じて、各々
との接続を切り替える。その他の構成は図４の第１の実
施例と同じである。

【０１２０】図３２〜図３７は、この実施例における動
作の流れを示すフローチャートである。まず、第１の実
施例における図６〜図１１のステップ２０１のつぎにス
テップ１６０１が設けられ、ここで、処理選択部６０Ｂ
内でフラグをクリアする。フラグは第１のフラグ（ｆｌ
ａｇ１）と第２のフラグ（ｆｌａｇ２）の２つを設定す
る。第１のフラグは、０のとき明るい瞳孔を抽出する処
理を示し、１のとき暗い瞳孔を抽出する処理を示す。第
２のフラグは、始めに明るい瞳孔を抽出する処理、ある
いは暗い瞳孔を抽出する処理のどちらかを行うと１とな
り、次に他方を行うと２となる。ステップ２０２から２
０５までは第１の実施例と同じである。

【０１２１】ステップ２０５のあと、ステップ２０６、
２０７のかわりに、ステップ１６０２、１６０３でフラ
グ状態がチェックされる。ステップ１６０２では、第２
のフラグにより、明るい瞳孔を抽出する処理と暗い瞳孔
を抽出する処理の両方の処理が行なわれたかどうかをチ
ェックする。ここで、第２のフラグが２でなければ、ま
だいずれか一方の処理しか行なわれていないことを示し
ている。

【０１２２】第２のフラグが２でなければ、ステップ１
６０３に進んで、第１のフラグのチェックにより、処理
の選択を行う。ここで、第１のフラグが０であるとき
は、計測開始直後であるか、前回視線方向を計測した際
に、明るい瞳孔を抽出する処理で成功した可能性が高い
ため、今回も第１瞳孔中心算出部３１を選択し、ステッ
プ２０８へ進んで、明るい瞳孔を抽出する処理とする。
逆に第１のフラグが１であるときは、前回視線方向を計
測した際に、暗い瞳孔を抽出する処理で成功した可能性
が高いため、第２瞳孔中心算出部４１を選択し、ステッ
プ２３１に進んで、今回も暗い瞳孔を抽出する処理とす
る。

【０１２３】ステップ１６０２のチェックで第２のフラ
グが２になっているときには、ステップ１６０４で第２
のフラグをクリアして、ステップ２０２に戻り、次回の
撮像に移る。ステップ２０８〜２１７の明るい瞳孔を抽
出する処理、ステップ２３１〜２３７の暗い瞳孔を抽出
する処理は、第１の実施例におけると同じである。

【０１２４】ステップ２１７でのチェックで、ラベリン
グされたいずれの領域もその外接四角形がｍ×ｎ内に入
らず、網膜反射像候補が抽出できない結果となったとき
は、ステップ１６０５で第１のフラグを１に変更し、ま
た、第２のフラグをインクリメントする。これにより、
明るい瞳孔を抽出する処理による眼球の瞳孔中心位置算
出が失敗し、次回は暗い瞳孔を抽出する処理を行うべき
こと、および、すでに明るい瞳孔を抽出する処理を試み
た履歴が残る。このあとは、ステップ２０２に戻る。

【０１２５】また、ステップ２３７でのチェックで、ラ
ベリングされたいずれの領域もその外接四角形がｔ×ｕ
内に入らず、網膜反射像候補が抽出できない結果となっ
たときは、ステップ１６０６で第１のフラグを０に変更
し、また、第２のフラグをインクリメントする。これに
より、暗い瞳孔を抽出する処理による眼球の瞳孔中心位
置算出が失敗し、次回は明るい瞳孔を抽出する処理を行
うべきこと、および、すでに暗い瞳孔を抽出する処理を
試みた履歴が残る。このあとは、ステップ２０２に戻
る。

【０１２６】ステップ２１８から２２５、またステップ
２３８から２４５、そしてステップ２５１、２５２まで
は第１の実施例と同じである。そして、ステップ２５３
の停留判断で、視線方向が所定領域に停留していると認
識されない場合は、ステップ１６０７で処理選択部６０
Ｂ内の第２のフラグをクリアしてから、再びステップ２
０２に戻り、新たな視線方向の計測に移る。この実施例
では、ステップ１６０１、１６０２、１６０３、１６０
４、１６０５、１６０６および１６０７が発明の処理切
り替え手段を構成している。

【０１２７】以上のように、本実施例によれば、処理選
択部６０Ｂにおいて、始めに第１瞳孔中心算出部３１を
選択して明るい瞳孔を抽出する処理を進めたにも関わら
ず、照度状態と個人差によって、第１瞳孔中心算出部で
網膜反射像候補を抽出できない場合には、次に第２瞳孔
中心算出部４１を選択して暗い瞳孔を抽出する処理に切
り替える。 逆に、第２瞳孔中心算出部４１を先に選択
して処理を進めたにも関わらず網膜反射像候補を抽出で
きない場合には、次に第１瞳孔中心算出部３１に切り替
わる。このようにして、眼球の瞳孔中心位置を算出する
際に、明るい瞳孔を抽出する処理と暗い瞳孔を抽出する
処理のいずれか一方の処理により網膜反射像（瞳孔）が
求められないとき、他方の処理に切り替わることにより
眼球の瞳孔中心位置が確実に検出できる。

【０１２８】また、前回の処理で抽出に成功した処理を
優先して選択するため、計算に要する負担が減少し、視
線の検出速度が向上する。さらに、この実施例によれ
ば、基準値の設定、顔面照度の測定、比較等が不要とな
る。

【０１２９】つぎに、図３８は、第１０の実施例の全体
構成を示す図である。これは、前実施例の構成にさらに
第３の発散照明を設け、暗い瞳孔を抽出する際のＳ／Ｎ
を向上させるようにしたものである。第３の発散照明８
０は、近赤外の発光波長を有し、第１の発散照明２２の
近傍にカメラ２４の光軸と非共軸に、運転者Ｄの顔面に
向けて設置される。

【０１３０】この実施例においては、とくに図示しない
が、前実施例における図６〜図１１のステップ２０４
で、第２の発散照明２３のみの点灯のかわりに、第２の
発散照明２３と第３の発散照明８０が同時に点灯されて
運転者Ｄの顔面を照明する。そして、ステップ２０５で
はこの第２および第３の発散照明による画像データをＩ
２（ｘ，ｙ）として取り込む。また、ステップ２３１
で、画像データＩ１（ｘ，ｙ）を２値化するかわりに、
上記画像データＩ２（ｘ，ｙ）を２値化して、画像デー
タＩ４（ｘ，ｙ）とする。すなわち、しきい値Ｔｈ３を
用いて、該しきい値以上を０、しきい値未満をＦＦ（メ
モリが８ビットの場合）として２値化し、ノイズを除去
する。その他のステップは前実施例と同じである。

【０１３１】第１の発散照明２２を点灯した場合には、
網膜から反射光が返ってくるため、瞳孔付近が若干明る
くなるので、角膜の反射像を抽出しようとする際のＳ／
Ｎの低下をもたらすおそれがある。 しかし本実施例で
は、上述のように、暗い瞳孔を抽出する処理において、
第１の発散照明２２を除く第２の発散照明２３と第３の
発散照明８０による画像データＩ２を用いるので、網膜
からの反射光がなく、瞳孔付近が暗く、したがって角膜
反射像のＳ／Ｎが向上する。これにより、視線方向計測
の精度が向上する。

【０１３２】

【発明の効果】以上のとおり、本発明は、不可視光の第
１、第２の照明により第１の照明と共軸の撮像装置によ
り得た乗員の眼球部の画像デ−タを処理して、瞳孔中心
を算出するとともに角膜反射像を抽出して、これらの位
置に基づいてその視線方向を求める車両用視線方向計測
装置において、第１、第２の画像データ処理手段を設
け、これを処理切り替え手段により切り替えて、顔面の
照度が低いときは明るい瞳孔を抽出してその瞳孔中心を
算出し、顔面の照度が高いときには暗い瞳孔を抽出して
その瞳孔中心を求めるものとしたので、運転中の顔面照
度の変化に広いダイナミックレンジで対応でき、精度よ
く瞳孔中心を求められるので、信頼性高くかつ迅速に運
転者の視線方向が計測されるという効果を有する。

【０１３３】上記の顔面の照度は、顔面照度それ自体を
検出してもよく、あるいは環境条件に基づいて推定され
る照度状態レベルを用いることもできる。環境条件とし
ては、照度センサで検出する環境照度、あるいはこれと
サンバイザの操作との組み合わせ、さらには車両のライ
トスイッチの操作状態等から顔面の照度状態レベルを推
定することができる。なお、照度センサとして車両のラ
イト自動点灯装置の環境照度センサやエアコンの日射量
センサを共用することにより構成を簡単なものとするこ
とができる。

【０１３４】環境条件としてはさらに、走行時の現在時
刻が属する時間帯でも顔面の照度状態レベルを推定で
き、また、これに進行方角による太陽との向きを組み合
わせ、、さらには時間帯を走行地域の緯度に応じた区分
とすることにより、一層精度が向上する。

【０１３５】また、第１の画像データ処理手段または第
２の画像データ処理手段のいずれか一方における処理に
よって瞳孔中心が算出されないときに、他方の処理に切
り替えるように構成することにより、スタートした画像
データ処理手段が照度状態と個人差によって不適な場合
でも自動的に適切な方に切り替わる。そして、顔面照度
検出やその切り替えの基準値との比較が省かれるという
利点がある。

【０１３６】さらに、画像データ処理手段を顔面照度で
切り替える場合、補助照明の光量を順次変化させなが
ら、いずれかの画像データ処理手段において明るい瞳孔
と暗い瞳孔の反転による瞳孔中心算出の可否の境界を求
め、そのときの顔面照度を処理切り替えの基準値とする
基準値設定手段を設けることにより、個人差による処理
切り替えの基準値が簡単に修正決定でき、多数の乗員に
対応できる。この基準値設定手段は視線方向計測の前に
予備計測として作動させることができるほか、視線方向
計測の間に瞳孔中心を求めることができなくなったとき
に作動させることにより、視線方向計測が迅速化され
る。

【０１３７】また、補助照明の発光波長領域に、第１、
第２の照明の発光波長と可視域の発光波長とを含むこと
により、虹彩の反射率が実際の照明にそくしたものとな
って、正確な基準値の決定が容易となる。そして、補助
照明を低輝度から高輝度へ光量変化させることにより、
眩しさが軽減され乗員の負担が少なくなるとともに、瞳
孔径の時間的変化も早いので、測定時間も短かくなる。

【図面の簡単な説明】

【図１】本発明の構成を示すブロック図である。

【図２】本発明の他の構成を示すブロック図である。

【図３】本発明の他の構成を示すブロック図である。

【図４】本発明の第１の実施例の構成を示すブロック図
である。

【図５】実施例装置のレイアウトを示す図である。

【図６】第１の実施例の制御動作を示すフローチャート
である。

【図７】第１の実施例の制御動作を示すフローチャート
である。

【図８】第１の実施例の制御動作を示すフローチャート
である。

【図９】第１の実施例の制御動作を示すフローチャート
である。

【図１０】第１の実施例の制御動作を示すフローチャー
トである。

【図１１】第１の実施例の制御動作を示すフローチャー
トである。

【図１２】明るい瞳孔を利用した処理における共軸系角
膜反射像の探索領域を示す図である。

【図１３】非共軸系角膜反射像の探索領域を示す図であ
る。

【図１４】暗い瞳孔を利用した処理における共軸系角膜
反射像の探索領域を示す図である。

【図１５】視線方向算出の原理を示す説明図である。

【図１６】本発明の第２の実施例の構成を示すブロック
図である。

【図１７】本発明の第３の実施例の制御動作を示すフロ
ーチャートである。

【図１８】本発明の第６の実施例の構成を示すブロック
図である。

【図１９】第６の実施例の制御動作を示すフローチャー
トである。

【図２０】本発明の第７の実施例の制御動作を示すフロ
ーチャートである。

【図２１】本発明の第８の実施例の構成を示すブロック
図である。

【図２２】第８の実施例のレイアウトを示す図である。

【図２３】第８の実施例の制御動作を示すフローチャー
トである。

【図２４】第８の実施例の制御動作を示すフローチャー
トである。

【図２５】第８の実施例の制御動作を示すフローチャー
トである。

【図２６】第８の実施例の制御動作を示すフローチャー
トである。

【図２７】第８の実施例の制御動作を示すフローチャー
トである。

【図２８】第８の実施例の制御動作を示すフローチャー
トである。

【図２９】第８の実施例の制御動作を示すフローチャー
トである。

【図３０】第８の実施例の制御動作を示すフローチャー
トである。

【図３１】本発明の第９の実施例の構成を示すブロック
図である。

【図３２】第９の実施例の制御動作を示すフローチャー
トである。

【図３３】第９の実施例の制御動作を示すフローチャー
トである。

【図３４】第９の実施例の制御動作を示すフローチャー
トである。

【図３５】第９の実施例の制御動作を示すフローチャー
トである。

【図３６】第９の実施例の制御動作を示すフローチャー
トである。

【図３７】第９の実施例の制御動作を示すフローチャー
トである。

【図３８】本発明の第１０の実施例の構成を示すブロッ
ク図である。

【図３９】顔面照度を変化させて観測した眼球部画像を
示す図である。

【符号の説明】

１ 画像入力手段 ２ 第１の照明 ３ 第２の照明 ４ 撮像装置 ５ 画像データ処理手段 ５ａ 第１の画像データ処理手段 ５ｂ 第２の画像データ処理手段 ６ 視線方向算出手段 ７ 処理切り替え手段 ８ 顔面照度検出手段 ９ 基準値設定手段 １０ 補助照明 １１ 処理回数算出手段 １２ 照度判断手段 ２２ 第１の発散照明 ２３ 第２の発散照明 ２４ カメラ ２５ 照明発光制御部 ２６ 全体制御部 ２７ Ａ／Ｄ変換器 ２８ 画像メモリ ３０ 顔面照度演算部 ３１ 第１瞳孔中心算出部 ３２ 第１共軸系角膜反射像抽出部 ３３ 第１非共軸系角膜反射像抽出部 ３４ 第１反射像確認部 ３７ 視線方向算出部 ３８ 視線スイッチエリア ３９ 停留判断部 ４０ コントローラ切り替え部 ４１ 第２瞳孔中心算出部 ４２ 第２共軸系角膜反射像抽出部 ４３ 第２非共軸系角膜反射像抽出部 ４４ 第２反射像確認部 ４５ ＨＵＤ表示制御部 ４６ ＨＵＤ表示部 ４７ ステアリングスイッチ ４８ メインスイッチ ５０ フロントウィンドシールド ５１ オーディオコントローラ ５２ エアコンコントローラ ５３ ラジオコントローラ ５４ ＡＳＣＤコントローラ ６０Ｂ 処理選択部 ７０ 補助照明 ７２ 基準値設定部 ７４ 処理回数算出部 ８０ 第３の発散照明 Ｄ 運転者 Ｓ 処理選択部 Ｈ 照度判断装置 Ｉ 顔面照度 ＩK 環境照度 ＩKS、ＩH 、ＩHC 照度状態レベル Ｉ０、ＩＢ 基準値

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G01B 11/00 G06T 1/00 G08G 1/16

Claims (18)

(57)【特許請求の範囲】
1. 【請求項１】 空間的に互いに異なる位置に配置され、
   乗員の顔面を不可視光により照射する第１の照明および
   第２の照明と、 前記第１の照明の光源と共軸に設けられ、前記乗員の眼
   球からの反射像を撮像する撮像装置を備えて、第１の照
   明と第２の照明を用いた互いに異なる第１、第２の照射
   毎の画像デ−タを得る画像入力手段と、 前記画像デ−タから瞳孔を抽出して瞳孔中心位置を算出
   するとともに、角膜反射像位置を抽出する画像データ処
   理手段と、 前記瞳孔中心および角膜反射像の位置に基づいて、乗員
   の視線方向を算出する視線方向算出手段とを備える車両
   用視線方向計測装置において、 処理切り替え手段を有するとともに、 前記画像データ処理手段が、明るい瞳孔を抽出して前記
   瞳孔中心位置を算出する第１の画像データ処理手段と、
   暗い瞳孔を抽出して前記瞳孔中心位置を算出する第２の
   画像データ処理手段とからなり、 前記処理切り替え手段は乗員の顔面照度を検出する顔面
   照度検出手段を備え、該顔面照度が基準値より小さいと
   き、前記第１の画像データ処理手段を選択し、顔面照度
   が基準値より大きいとき、前記第２の画像データ処理手
   段を選択するように構成されていることを特徴とする車
   両用視線方向計測装置。
2. 【請求項２】 乗員の眼球部を照射する補助照明を備
   え、該補助照明の光量を順次変化させながら、前記第１
   または第２の画像データ処理手段において明るい瞳孔を
   抽出対象とした処理と暗い瞳孔を抽出対象とした処理に
   よる瞳孔中心算出の可否の境界を求め、そのときの顔面
   照度を処理切り替え手段の前記基準値とする基準値設定
   手段を有することを特徴とする請求項１記載の車両用視
   線方向計測装置。
3. 【請求項３】 前記画像データ処理手段が、前記第１ま
   たは第２の画像データ処理手段のいずれかにおいて連続
   して瞳孔中心が算出されなかった処理回数をカウントす
   る処理回数算出手段を備え、カウント値が所定数に達し
   たとき前記基準値設定手段を作動させることを特徴とす
   る請求項２記載の車両用視線方向計測装置。
4. 【請求項４】 前記補助照明の発光波長領域が、第１の
   照明の発光波長、第２の照明の発光波長、ならびに可視
   域の発光波長とを含むものであることを特徴とする請求
   項２または３記載の車両用視線方向計測装置。
5. 【請求項５】 前記補助照明の光量は、低輝度から高輝
   度へと変化させるものであることを特徴とする請求項
   ２、３または４記載の車両用視線方向計測装置。
6. 【請求項６】 前記処理切り替え手段は、前記撮像装置
   で眼球領域を中心に拡大して撮影したときの画像データ
   全画素の平均値を前記顔面照度として求めることを特徴
   とする請求項１、２、３、４または５記載の車両用視線
   方向計測装置。
7. 【請求項７】 空間的に互いに異なる位置に配置され、
   乗員の顔面を不可視光により照射する第１の照明および
   第２の照明と、 前記第１の照明の光源と共軸に設けられ、前記乗員の眼
   球からの反射像を撮像する撮像装置を備えて、第１の照
   明と第２の照明を用いた互いに異なる第１、第２の照射
   毎の画像デ−タを得る画像入力手段と、 前記画像デ−タから瞳孔を抽出して瞳孔中心位置を算出
   するとともに、角膜反射像位置を抽出する画像データ処
   理手段と、 前記瞳孔中心および角膜反射像の位置に基づいて、乗員
   の視線方向を算出する視線方向算出手段とを備える車両
   用視線方向計測装置において、 処理切り替え手段を有するとともに、 前記画像データ処理手段が、明るい瞳孔を抽出して前記
   瞳孔中心位置を算出する第１の画像データ処理手段と、
   暗い瞳孔を抽出して前記瞳孔中心位置を算出する第２の
   画像データ処理手段とからなり、 前記処理切り替え手段は、環境条件に基づいて乗員の顔
   面の照度状態レベルを推定する照度判断手段を備え、該
   照度判断手段の出力が基準値より小さいとき、前記第１
   の画像データ処理手段を選択し、照度判断手段の出力が
   基準値より大きいとき、前記第２の画像データ処理手段
   を選択するように構成されていることを特徴とする車両
   用視線方向計測装置。
8. 【請求項８】 前記照度判断手段が、環境照度を測定し
   て出力する照度センサであることを特徴とする請求項７
   記載の車両用視線方向計測装置。
9. 【請求項９】 前記照度判断手段が、照度センサと車両
   のサンバイザの操作検出部を有し、前記照度センサで測
   定した環境照度と操作検出部で検出したサンバイザの操
   作との組み合わせに基づいて照度状態レベルを推定する
   ものであることを特徴とする請求項７記載の車両用視線
   方向計測装置。
10. 【請求項１０】 前記照度センサは、車両のライト自動
    点灯装置の環境照度センサまたは、エアコンの日射量セ
    ンサを共用するものであることを特徴とする請求項８ま
    たは９記載の車両用視線方向計測装置。
11. 【請求項１１】 前記照度判断手段が、車両のライトス
    イッチの操作に基づいて照度状態レベルを推定するライ
    ト操作検出部であることを特徴とする請求項７記載の車
    両用視線方向計測装置。
12. 【請求項１２】 前記照度判断手段が、環境照度に対応
    付けられた現在時刻が属する時間帯に基づいて照度状態
    レベルを推定する時間帯情報算出部であることを特徴と
    する請求項７記載の車両用視線方向計測装置。
13. 【請求項１３】 前記照度判断手段が、時刻算出部と車
    両の進行方角を検出する方角算出部を有し、現在時刻が
    属する時間帯と進行方角による太陽との向きの組み合わ
    せに基づいて照度状態レベルを推定するものであること
    を特徴とする請求項７記載の車両用視線方向計測装置。
14. 【請求項１４】 前記照度判断手段が、時刻算出部、車
    両の進行方角を検出する方角算出部および走行地域の緯
    度を求める緯度算出部を有し、緯度に応じた現在時刻が
    属する時間帯と進行方角による太陽との向きの組み合わ
    せに基づいて照度状態レベルを推定するものであること
    を特徴とする請求項７記載の車両用視線方向計測装置。
15. 【請求項１５】 空間的に互いに異なる位置に配置さ
    れ、乗員の顔面を不可視光により照射する第１の照明お
    よび第２の照明と、 前記第１の照明の光源と共軸に設けられ、前記乗員の眼
    球からの反射像を撮像する撮像装置を備えて、第１の照
    明と第２の照明を用いた互いに異なる第１、第２の照射
    毎の画像デ−タを得る画像入力手段と、 前記画像デ−タから瞳孔を抽出して瞳孔中心位置を算出
    するとともに、角膜反射像位置を抽出する画像データ処
    理手段と、 前記瞳孔中心および角膜反射像の位置に基づいて、乗員
    の視線方向を算出する視線方向算出手段とを備える車両
    用視線方向計測装置において、 処理切り替え手段を有するとともに、 前記画像データ処理手段が、明るい瞳孔を抽出して前記
    瞳孔中心位置を算出する第１の画像データ処理手段と、
    暗い瞳孔を抽出して前記瞳孔中心位置を算出する第２の
    画像データ処理手段とからなり、 前記処理切り替え手段は、前記第１の画像データ処理手
    段または第２の画像データ処理手段のいずれか一方にお
    ける処理によって瞳孔中心が算出されないときに、他方
    の処理に切り替えるように構成されていることを特徴と
    する車両用視線方向計測装置。
16. 【請求項１６】 前記第１の画像データ処理手段は、明
    るい瞳孔を抽出して瞳孔中心を算出する第１瞳孔中心算
    出部と、第１の照明による角膜反射像を抽出する第１共
    軸系角膜反射像抽出部と、第２の照明による角膜反射像
    を抽出する第１非共軸系角膜反射像抽出部とを有し、前
    記第２の画像データ処理手段は、暗い瞳孔を抽出して瞳
    孔中心を算出する第２瞳孔中心算出部と、第１の照明に
    よる角膜反射像を抽出する第２共軸系角膜反射像抽出部
    と、第２の照明による角膜反射像を抽出する第２非共軸
    系角膜反射像抽出部とを有するものであることを特徴と
    する請求項１、７または１５記載の車両用視線方向計測
    装置。
17. 【請求項１７】 前記第１瞳孔中心算出部は、前記第１
    の照射による画像データと第２の照射による画像データ
    の差分を第１のしきい値で２値化して明るい瞳孔を抽出
    し、その重心を瞳孔中心とし、第２瞳孔中心算出部は、
    前記第１の照射による画像データを第２のしきい値で２
    値化して暗い瞳孔を抽出し、その重心を瞳孔中心とする
    ものであることを特徴とする請求項１６記載の車両用視
    線方向計測装置。
18. 【請求項１８】 前記第１の照明と異なる位置に設置さ
    れ、乗員の顔面を不可視光により照射する第３の照明を
    有し、前記第１の照射は前記第１および第２の照明を点
    灯し、第２の照射は第２および第３の照明を点灯するも
    のであり、前記第１瞳孔中心算出部は、前記第１の照射
    による画像データと第２の照射による画像データの差分
    を第１のしきい値で２値化して明るい瞳孔を抽出し、そ
    の重心を瞳孔中心とし、第２瞳孔中心算出部は、前記第
    ２の照射による画像データを第２のしきい値で２値化し
    て暗い瞳孔を抽出し、その重心を瞳孔中心とするもので
    あることを特徴とする請求項１６記載の車両用視線方向
    計測装置。