JPH08159733A

JPH08159733A - 車両用視線方向計測装置

Info

Publication number: JPH08159733A
Application number: JP6323547A
Authority: JP
Inventors: Hiroshi Saito; 浩斎藤; Takuo Ishiwaka; 卓夫石若
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1994-12-01
Filing date: 1994-12-01
Publication date: 1996-06-21
Anticipated expiration: 2017-06-24
Also published as: JP3296119B2

Abstract

(57)【要約】【目的】視線方向計測装置において、強い外来光下に
おいても、眼球の安全性を確保しつつ、迅速正確に視線
方向を計測する。【構成】画像入力部５の中には高速動作するシャッタ
５ａが設けられている。画像入力部５と共軸系の照明１
と非共軸系の照明２により、照射エネルギー密度が安全
基準値以下で、かつピークパワーがシャッタ５ａの動作
速度と逆比例する赤外光線を運転者の眼球に照射し、そ
の反射像を画像入力部５で撮像する。撮像出力はＡ／Ｄ
変換器６でＡ／Ｄ変換され、画像メモリ７に格納され
る。瞳孔抽出部８では網膜反射像を抽出し、角膜反射像
抽出部９で角膜反射像を抽出する。視線方向算出部１０
において、抽出された反射像位置から運転者の視線方向
が算出される。シャッタ速度を高速化し、照明光のピー
クパワーを増加させることにより、外来光によるノイズ
の影響が低減され、精度よく反射像が抽出される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、車両運転者の視線方向
を遠隔から非接触で計測する車両用視線方向計測装置に
関する。

【０００２】

【従来の技術】このような視線方向計測装置は、車両用
の非接触ヒューマンマシンインターフェイスとして、例
えば車両運転者の注目している方向に視覚情報を表示す
るとか、視線方向を計測し、視線方向に表示された内容
に応じてラジオやエアコン等の車載機器のスイッチを動
作させる視線スイッチなど、種々の目的への利用が期待
されている。従来、遠隔から非接触で計測する視線方向
計測装置として、眼球に赤外ＬＥＤ等の不可視光を照射
し、眼球の網膜反射像および角膜反射像の位置を画像情
報として取入れて、視線方向を演算算出する装置が提案
されている。このような従来の視線方向計測装置で、車
両運転者の眼球からの反射像を計測する場合、太陽光な
どの強い外来光下では、瞳孔が縮小する（縮瞳）ため、
瞳孔を通過して網膜に達する光量が減少し、網膜からの
反射像が得にくくなり、視線方向の計測精度が悪化す
る。

【０００３】このような問題の対策として、例えば特開
平４−１５７４３５号公報には、反射像が得られない時
には照明光量を増やす視線方向計測装置が開示されてい
る。また、特開平２−６５８３６号公報には、顔面照度
から瞳孔径を推定し、Ｓ／Ｎの悪い画像から網膜反射像
抽出を可能にする視線計測装置が開示されている。さら
に、テレビやオーディオ装置の制御に用いられている赤
外線リモコンでは、赤外ＬＥＤの発光に変調をかけ、受
光側で同期検波することにより、外来光による直流成分
を除去し、強い外来光下でも安定に動作させている。こ
の同期検波機能を視線方向計測装置に付加することが検
討されている。

【０００４】

【発明が解決しようとする課題】しかしながら、特開平
４−１５７４３５公報に開示されている視線方向計測装
置においては、カメラのファインダを覗いた状態を想定
しているため、光量は僅かであり、眼球の安全性に対す
る考慮はなされていない。しかし、車両運転者の顔面照
度は、太陽光下では数万ルクスにも達するため、小さく
縮小した瞳孔に対応するために、大きな光量が必要とさ
れ、この場合は、眼球の安全性に対する十分な配慮が必
要である。現在、光線に対する眼球の安全性を確保する
ための基準として、米国労働衛生専門官会議では、波長
０．７７μｍ以上の赤外線は、眼球への照射エネルギー
密度を１０ｍＷ／ｃｍ²以下に制限すべきであると定め
ていることが人間の許容限界ハンドブックに報告されて
いる。

【０００５】従来の視線方向計測装置では、この安全基
準の範囲内の照射エネルギー密度を有する連続赤外線を
眼球に照射したときに、外来光が強いと、必要な反射像
の信号が埋もれてしまい、視線方向計測の精度が悪化す
るという問題がある。また、特開平２−６５８３６号公
報に開示されている視線方向計測装置においては、質の
悪い画像から反射像を抽出するために、計測精度の悪化
や画像処理時間の増大を招くという問題がある。さら
に、リモコン装置のような同期検波機能を付加すると、
画像入力に必要な時間が増大するという問題がある。し
たがって、本発明は上記従来の問題点に鑑み、車両運転
者の視線方向を非接触で計測する車両用視線方向計測装
置において、強い外来光下においても、安全にかつ迅速
正確に視線方向を計測することができる車両用視線方向
計測装置を提供することを目的とする。

【０００６】

【課題を解決するための手段】上記目的を達成するた
め、請求項１に記載の本発明は、運転者の眼球に不可視
光を照射し該眼球からの反射像を含む画像を撮像して、
該画像から反射像を抽出し、該反射像を基に運転者の視
線方向を計測する視線方向計測装置において、撮像時間
を高速化可能なシャッタを備えた画像入力手段と、該シ
ャッタと同期してパルス発光し、かつピークパワーが撮
像時間と逆比例する照明手段とを有するものとした。ま
た、請求項２に記載の本発明は、運転者の眼球に不可視
光を照射し該眼球からの反射像を含む画像を撮像して、
該画像から反射像を抽出し、該反射像を基に運転者の視
線方向を計測する視線方向計測装置において、撮像時間
を高速化可能なシャッタを備えた画像入力手段と、該シ
ャッタと同期してパルス発光する照明手段と、車両運転
者の顔面照度を計測する顔面照度計測手段と、該顔面照
度に応じて前記照明手段のピークパワーを制御する照明
ピークパワー制御手段を有するものとした。

【０００７】

【作用】請求項１のものは、シャッタ速度を高速化し、
照明光のピークパワーを増加させることにより、外来光
によるノイズが低減され、計測時間の増大を招くことな
く、精度よく、反射像を抽出できる。また照明光をパル
ス発光させ、照射エネルギー密度を１０ｍＷ／ｃｍ²以
下に制限することにより、眼球の安全性が確保できる。
請求項２のものは、眼球の安全性を確保したうえで、外
来光によるノイズを低減し、計測時間の増大を招くこと
なく、精度よく、反射像を抽出でき、さらに、顔面照度
を計測し、計測した顔面照度に応じて照明手段のピーク
パワーを制御することにより、顔面照度が低い場合に
は、無駄な高出力照射を防止できる。

【０００８】

【実施例】図１は本発明の第１の実施例を示すブロック
図である。運転者１３の眼球を撮像するよう計器盤上に
ＣＣＤ等を用いた画像入力部５が設置される。画像入力
部５の中には、１／５００〜１／１０００秒で高速動作
するシャッタ５ａが設けられている。画像入力部５の中
心に画像入力部５の光軸と照射方向が一致する様に取り
付けらた共軸系の照明１が設けられる。また照明１との
相対関係が既知の位置に照明１と同一仕様を有する非共
軸系の照明２が設けられている。照明１および照明２
は、人間に不可視な赤外光を発し、かつパルス発光可能
である赤外ＬＥＤ等から構成され、その照射エネルギー
密度が、運転者１３の顔面上で、１０ｍＷ／ｃｍ²以下
になるように設定されている。またそのピークパワーは
シャッタ５ａの動作速度と逆比例し、その発光はシャッ
タ５ａの動作と同期している。また画像入力部５の前面
には照明１および照明２の波長域の光のみを透過するバ
ンドパスフィルタ３が装着されている。なお画像入力部
５の感度は照明１および照明２の波長域に一致してい
る。

【０００９】画像入力部５からの撮像出力はＡ／Ｄ変換
器６で画像データとしてＡ／Ｄ変換され、画像メモリ７
に格納される。画像メモリ７には、瞳孔抽出部８が接続
され、これに順次、角膜反射像抽出部９、視線方向算出
部１０が接続されている。瞳孔抽出部８では画像メモリ
７に格納された各画像データの差分演算により照明１お
よび照明２による網膜反射像を抽出する。角膜反射像抽
出部９では照明１、照明２による角膜反射像を抽出す
る。そして視線方向算出部１０において、抽出された反
射像位置から運転者の視線方向が演算算出される。照明
１、照明２にはその発光を制御する照明パルス発光制御
部１１が接続されている。また画像入力部５には、画像
入力部５内のシャッタ５ａを制御するシャッタ制御部４
が接続されている。この照明パルス発光制御部１１，シ
ャッタ制御部４、Ａ／Ｄ変換器６を含み装置全体の動作
を制御する全体制御部１２が設けられている。

【００１０】画像入力部５と共軸系をなすように配置さ
れた照明１を用いて撮像された画像には、眼球の網膜か
らの反射光により、瞳孔部が明るく撮像される。また、
画像入力部５と非共軸系をなすように配置された照明２
を用いて撮像された画像には、眼球の網膜からの反射光
は写らないので、眼球の瞳孔部は暗く撮像される。この
２枚の画像の差分から網膜反射像を抽出する。画像上の
瞳孔に着目すると、共軸系照明１点灯時の瞳孔像には、
網膜反射光とともに外来光の角膜反射成分が含まれてい
る。単位時間当りの共軸系照明強度をＷ、単位時間当り
の外来光強度をＩ、画像入力部の受光面に到達する網膜
反射光の減衰率（角膜、水晶体、硝子体の透過率、網膜
反射率、レンズ透過率を含む）をｒ１、画像入力部の受
光面に到達する外来光の角膜反射光の減衰率をｒ２（角
膜反射率、レンズ透過率を含む）とすると、単位時間シ
ャッタ５ａを開いた時、網膜反射成分はｒ１・Ｗ、外来
光の角膜表面反射成分はｒ２・Ｉとなる。すなわち、共
軸系照明１点灯時に計測される瞳孔部の輝度は、おおよ
そ、ｒ１・Ｗ＋ｒ２・Ｉとなる。非共軸系照明２点灯時
の瞳孔部の輝度は、外来光の角膜反射成分のみで、おお
よそｒ２・Ｉとなる。したがって、この２枚の画像の差
分はｒ１・Ｗとなり、ｒ１・Ｗが大きいほど瞳孔が強調
される。一方、外来光の角膜反射成分ｒ２・Ｉは計測に
不要であり、画像入力部５の受光素子のオーバーフロー
を防止するために、ｒ２・Ｉは小さいことが望ましい。

【００１１】いま、基準のシャッタ速度を１とし、短縮
したシャッタ速度をｋ（ｋ＜１）とする。単位時間当り
強度Ｗの照明を照射するものとする。この時の、２枚の
画像の差分はｋ・ｒ１・Ｗとなり、外来光の角膜反射成
分はｋ・ｒ２・Ｉとなる。すなわち、シャッタ速度を速
くすると、外来光の角膜反射成分は減少するが、同時に
網膜反射成分ｋ・ｒ１・Ｗも小さくなってしまうので、
その分、照明光のピークパワーを上げて、１／ｋ倍にす
る。このとき、眼球に照射する光の安全基準を考慮し
て、照明光をパルス点灯させ、照射時間をシャッタ速度
と同じくｋまで短縮することにより、眼球に照射される
光量はピークパワーを１／ｋ倍する前と同じになる。し
たがって、シャッタ速度を高速化し、照明光のピークパ
ワーを増加させることにより、外来光によるノイズが低
減され、計測時間の増大を招くことなく、精度よく、反
射像を抽出できる。

【００１２】図２は上述した視線方向計測装置を用いた
車両の視線スイッチシステムの全体構成図を示し、図３
はその車載レイアウトを示す。図２において、図１に示
した視線方向計測装置が参照番号２０で示されている。
視線方向算出部１０には視線停留判断部２３を介してＨ
ＵＤ（ヘッドアップディスプレイ）表示制御部２４が接
続されている。ＨＵＤ表示制御部２４には、コントロー
ラ切り替え部２７が接続されている。コントローラ切り
替え部２７には、エアコンコントローラ２８、ＣＤコン
トローラ２９、ラジオコントローラ３０、ヘッドライト
コントローラ３１およびワイパコントローラ３２が接続
されている。スイッチ表示エリア２６には、エアコン、
ワイパ等の各操作対象項目（エリア）が表示される。Ｈ
ＵＤ表示エリア２５には操作対象のエリア内容が表示さ
れる。メインスイッチ２１は全体制御部１２に、ステア
リングスイッチ２２はＨＵＤ表示制御部２４に接続され
ている。

【００１３】いま、メインスイッチ２１が押されるとシ
ステムがＯＮして、視線方向計測装置２０の視線方向算
出部１０は、運転者の視線方向を算出し、視線停留判断
部２３に出力する。視線停留判断部２３は視線が停留し
ているエリアを判断しＨＵＤ表示制御部２４へ出力す
る。ＨＵＤ表示制御部２４はＨＵＤ表示エリア２５上に
決定されたエリアの内容を表示するとともに、コントロ
ーラ切り替え部２７によりエアコンコントローラ２８、
ＣＤコントローラ２９、ラジオコントローラ３０、ヘッ
ドライトコントローラ３１あるいはワイパコントローラ
３２を選択する項目切り替えを行う。続いて、ステアリ
ングスイッチ２２からのユーザ入力判断による所定の制
御対象の制御が行われる。図３の（ａ）に示されるよう
に、メインスイッチ２１とステアリングスイッチ２２は
ステアリング４２に取り付けられる。また、照明１、画
像入力部５、照明２等が運転席前方の計器盤ボード内パ
ネルに設置され、ウインドシールド４１上にＨＵＤ表示
エリア２５とスイッチ表示エリア２６が設定されてい
る。スイッチ表示エリア２６はさらに、図３の（ｂ）に
その詳細を示すように、各種コントローラの名称がＨＵ
Ｄ表示されているものである。また、同図（ｃ）にはス
テアリングスイッチ２２の詳細が示されている。

【００１４】続いて、視線方向計測装置２０における動
作について説明する。図４は、上記視線方向計測装置２
０における視線方向算出処理の流れを示すフローチャー
トである。まず、ステアリング４２に設けられたメイン
スイッチ２１を押すと、全体制御部１２から制御開始信
号が出力され、制御が開始される。ステップ１０１にお
いて、照明パルス発光制御部１１の制御信号で、照明１
がパルス点灯する。照明２は消灯したままとされる。ス
テップ１０２で、シャッタ制御部４の制御により、照明
１のパルス点灯と同期してシャッタ５ａが開き、画像入
力部５から入力された画像信号は，Ａ／Ｄ変換器６でＡ
／Ｄ変換され、画像メモリ７に格納される。この画像を
Ｉn1（ｘ，ｙ）とする。ステップ１０３では、照明パル
ス発光制御部１１の制御信号で、照明１が消灯し、照明
２が点灯する。ステップ１０４において、シャッタ制御
部４の制御により、照明２のパルス点灯と同期してシャ
ッタ５ａが開き画像入力部５から入力された画像信号
は，Ａ／Ｄ変換器６でＡ／Ｄ変換され画像メモリ７に格
納される。この画像をＩn2（ｘ，ｙ）とする。

【００１５】ステップ１０５において、瞳孔抽出部８で
は、網膜反射像を抽出する。まず画像Ｉ1 （ｘ，ｙ）か
ら画像Ｉ2 （ｘ，ｙ）を差引いて、画像Ｉ3 （ｘ，ｙ）
を生成する。画像Ｉ3 （ｘ，ｙ）を固定しきい値Ｔｈ1
で２値化し、２値画像Ｉ4 （ｘ，ｙ）を生成する。画像
Ｉ4 （ｘ，ｙ）にラベリング処理を施し、領域の番号付
けを行う。ラベリングの結果得られた各領域の面積Ａi
を、予め決めておいたしきい値Ｓ1 、Ｓ2（Ｓ1 ＜Ｓ2
）と比較して、Ｓ1 ＜Ａi ＜Ｓ2 を満足する領域のみ
抜き出す。すなわち、画像Ｉ4 （ｘ，ｙ）の中には、網
膜反射像の他に、例えば、眼鏡レンズ反射像、眼鏡フレ
ーム反射像、外部照明の変動で生じた顔の一部等、様々
なノイズが含まれている可能性がある。これらのノイズ
は、一般に不定形状、かつ面積も不定であるため、あら
かじめ予想される面積の円もしくは楕円として観測され
る網膜反射像とは明確に識別可能である。したがって、
ここでは先ず領域の面積による選別を行うものである。

【００１６】上記Ｓ1 、Ｓ2 は、画像入力部５の撮影倍
率から推定した、予想される瞳孔径（直径２〜８ｍｍ）
を有する瞳孔の面積が対応する画素数の上限値と下限値
にセットされる。照明光源からの光による眼鏡レンズ反
射像も円形領域として観測されるが、例えば、画像入力
部５のレンズの絞りを絞ることによって、常に、網膜反
射像の面積より、眼鏡レンズ反射像の面積が小さくなる
ようにしておけば、面積により、両者を識別できる。面
積による選別処理の結果残った領域に対して、領域形状
による選別が行われる。ここでは、領域の外接長方形に
対する領域面積の比率Ｆを計算する。網膜反射像は円ま
たは楕円形状で観測されるため、比率Ｆがある一定値以
上であるのに対し、例えば眼鏡フレーム反射は、フレー
ムに沿った細長い領域になるため、仮に網膜反射像と同
等の面積を有していても、Ｆが小さくなるので識別され
る。領域形状による選別処理の結果残った領域を網膜反
射像に決定し、抽出した網膜反射像の重心位置（ｘg 、
ｙg ）を求める。

【００１７】ステップ１０６において、角膜反射像抽出
部９において、画像Ｉ1 （ｘ，ｙ）と画像Ｉ2 （ｘ，
ｙ）から、照明１、照明２による角膜反射像の抽出を行
う。それぞれの画像において、角膜表面での正反射光が
輝点として撮像されている。まず画像Ｉ1 （ｘ，ｙ）−
Ｉ2 （ｘ，ｙ）を演算し、抽出した網膜反射像の重心位
置（ｘg 、ｙg ）の近傍で最大輝度階調を持つ画素を求
める。求めた画素（ｘp1，ｙp1）は、照明１による角膜
反射像である。さらにＩ2 （ｘ，ｙ）−Ｉ1 （ｘ，ｙ）
を演算し、抽出した網膜反射像の重心位置（ｘg 、ｙg
）の近傍で最大輝度階調を持つ画素を求める。求めた
画素（ｘp2 ，ｙp2 ）は、照明２による角膜反射像で
ある。このあとステップ１０７では、視線方向算出部１
０において、瞳孔抽出部８で抽出した網膜反射像と角膜
反射像抽出部９で抽出した２つの角膜反射像位置から、
運転者１３の視線方向を算出する。視線方向の算出は、
３つの反射像の位置関係、２つの照明の設置位置の相対
関係、画像入力部の光学パラメータ（焦点距離、受光素
子サイズ）および、眼球の平均サイズ（角膜球半径７．
８ｍｍ、角膜球中心と瞳孔中心の間の距離４．２ｍｍ）
を用いて行う。

【００１８】具体的には、図５の角膜反射像生成の説明
図に示すように、照明１の角膜反射像Ｒ（ｘp1，ｙp
1）、レンズの焦点位置Ｔ、角膜球中心Ｏは１直線Ｌ上
に存在する。照明２と、その角膜反射像Ｒ’（ｘp2 ，
ｙp2 ）を生じさせる角膜表面上の正反射点Ｑを結ぶ線
分と、角膜反射像Ｒ’とレンズの焦点位置Ｔを結ぶ線分
のなす角の２等分線は、直線Ｌと点Ｏで交わり、点Ｑと
点Ｏの距離は７．８ｍｍである。また、この点Ｏは角膜
球中心である。ここで、図６はモデル化された一般的な
眼球構成を示す図であり、Ｏを中心とする半径４．２ｍ
ｍの球面と、画像上の網膜反射像の重心とレンズの焦点
位置Ｔを結ぶ直線の交点のうち、画像入力部５に近い側
の点は、瞳孔中心Ｐである。以上の条件を満足する半直
線Ｌ１が、運転者の視線方向を与える。上述のように運
転者の視線方向の算出については、共軸系照明１の角膜
反射像と瞳孔中心と、非共軸系照明２の角膜反射像とが
定まれば視線方向が算出できる。

【００１９】ここで、本装置により、エアコンの設定温
度を制御するケースを例にあげ、視線方向算出以降の動
作について説明する。以上のステップ１０１〜ステップ
１０７において視線方向が算出されたのち、視線停留判
断部２３においてスイッチ表示エリア２６のどこに視線
が停留しているかが判断される。これは、一定回数連続
して同一エリアを見ているか否かで判定する。視線方向
算出に、１回あたり１００ｍｓｅｃ要するとすれば、例
えば連続して４回、すなわち約０．４ｓｅｃの間視線方
向が停留すれば、同一エリアを見ていると判断する。視
線停留判断部２３において、スイッチ表示エリア２６の
エアコン部に視線方向が停留していると判断されると、
図７に示すようにＨＵＤ表示エリア２５には、現在のエ
アコン設定温度が表示される。ここで、ＨＵＤ表示エリ
ア２５にエアコン設定温度が表示されると、ステアリン
グスイッチ２２のアップダウンスイッチが、設定温度の
上下調節を行うように機能するので、運転者は、アップ
ダウンボタンを操作して、ＨＵＤ表示エリア２５を見な
がら所定の温度に調節する。一定時間、例えば５秒間ア
ップダウンボタンが操作されないと、操作が終了したも
のと判断して、スイッチ機能は全て停止する。再び、何
らかの操作の必要が生じたら、メインスイッチ２１を押
すことによって、動作が開始される。

【００２０】これにより、眼球の安全性を確保したうえ
で、外来光によるノイズを低減し、計測時間の増大を招
くことなく、精度よく、反射像を抽出できる。この実施
例は以上のように構成されているから、強い外来光下に
おいても、安全にかつ迅速正確に視線方向を計測するこ
とができる。

【００２１】次に図８は本発明の第２の実施例を示す。
本実施例には運転者１３の顔面照度を計測する顔面照度
計測部１４と計測された顔面照度に応じて照明のピーク
パワーを制御する照明ピークパワー制御部１５が設けら
れている。照明ピークパワー制御部１５は照明パルス発
光制御部１１’へ接続されている。顔面照度計測部１４
はオートライト制御用センサと共用されている。図９は
照明ピークパワー制御部１５において使用される照明ピ
ークパワー制御テーブルである。顔面照度が低く１００
０ルクス以下の時には、瞳孔が大きく開いているため照
射エネルギー密度の低い照明光でも十分に視線方向計測
が可能な網膜反射像および角膜反射像が得られるので、
照明光の照射エネルギー密度は、１ｍＷ／ｃｍ²に制御
される。顔面照度が１０００ルクスを越えた場合には、
縮瞳の影響を考慮して、照明光の照射エネルギー密度
は、１０ｍＷ／ｃｍ²に制御される。その他の構成は図
１に示された第１の実施例と同様である。

【００２２】上記の様に構成された本実施例の動作につ
いて説明する。まず、ステアリング４２に設けられたメ
インスイッチ２１を押すと、全体制御部１２から制御開
始信号が出力され、制御が開始される。顔面照度計測部
１４は運転者の顔面照度の計測を行い照明ピークパワー
制御部１５へ計測結果を送る。照明ピークパワー制御部
１５ではピークパワー制御テーブルから顔面照度計測結
果に基づき照明光のピークパワーを決定する。そして、
照明パルス発光制御部１１’はこのピークパワー値を参
照して照明１および照明２の駆動電流値を制御する。以
後の動作は第１の実施例と同様に行われる。

【００２３】これにより、眼球の安全性を確保したうえ
で、外来光によるノイズを低減し、計測時間の増大を招
くことなく、精度よく、反射像を抽出できる。また、顔
面照度が低い場合には、照明のピークパワーを小さく制
御し、無駄な高出力照射を防止できる。この実施例は以
上のように構成されているから、強い外来光下において
も、安全にかつ迅速正確に視線方向を計測することがで
きる。さら顔面照度が低い場合には照明の寿命を長くで
きる。

【００２４】

【発明の効果】以上のとうり、本発明によれば、画像入
力手段のシャッタと同期してパルス発光し、かつピーク
パワーが撮像時間と逆比例する照明手段とを用いて、運
転者の眼球に不可視光を照射し、撮像時間を高速化可能
なシャッタを備えた画像入力手段で、眼球からの反射像
を含む画像を撮像して、撮像した画像から反射像を抽出
し、その反射像を基に運転者の視線方向を計測するもの
としたので、外来光によるノイズが低減され、計測時間
の増大を招くことなく、精度よく、反射像を抽出でき
る。また照明光をパルス発光させ、照射エネルギー密度
を１０ｍＷ／ｃｍ²以下に制限することにより、眼球の
安全性が確保できる。したがって、強い外来光下におい
ても、安全にかつ迅速正確に視線方向を計測することが
できるさらに、車両運転者の顔面照度を計測する顔面照
度計測手段と、該顔面照度に応じて該照明手段のピーク
パワーを制御する照明ピークパワー制御手段を有するも
のとしたときには、顔面照度が低い場合には、むだな高
出力照射を防止でき、照明の寿命を長くできる。

【図面の簡単な説明】

【図１】本発明の第１の実施例の構成を示す図である。

【図２】視線方向計測装置を用いた車両の視線スイッチ
システムの全体構成を示す図である。

【図３】視線スイッチシステムの車載レイアウト及び車
載レイアウト主要部の詳細を示す図である。

【図４】視線方向計測装置における処理の流れを示す図
である。

【図５】角膜反射像生成の説明図である

【図６】モデル化された眼球構成を示す図である。

【図７】ＨＵＤ表示エリアにおける表示状態の説明図で
ある。

【図８】第２の実施例の構成を示す図である。

【図９】照明ピークパワーの制御テーブルである。

【符号の説明】

１照明２照明３バンドパスフィルタ４シャッタ制御部５画像入力部（画像入力手段）５ａシャッタ６Ａ／Ｄ変換部７画像メモリ８瞳孔抽出部９角膜反射像抽出部１０視線方向算出部１１、１１’ 照明パルス発光制御部１２全体制御部１３運転者１４顔面照度計測部（顔面照度計測手段）１５照明ピークパワー制御部（照明ピークパワー
制御手段）２０視線方向計測装置２１メインスイッチ２２ステアリングスイッチ２３視線停留判断部２４ＨＵＤ表示制御部２５ＨＵＤ表示エリア２６スイッチ表示エリア２７コントローラ切り替え部２８エアコンコントローラ２９ＣＤコントローラ３０ラジオコントローラ３１ヘッドライトコントローラ３２ワイパコントローラ４１ウインドシールド４２ステアリング

Claims

【特許請求の範囲】

【請求項１】運転者の眼球に不可視光を照射し該眼球
からの反射像を含む画像を撮像して、該画像から反射像
を抽出し、該反射像を基に運転者の視線方向を計測する
視線方向計測装置において、撮像時間を高速化可能なシ
ャッタを備えた画像入力手段と、該シャッタと同期して
パルス発光し、かつピークパワーが撮像時間と逆比例す
る照明手段とを有することを特徴とする車両用視線方向
計測装置。
【請求項２】運転者の眼球に不可視光を照射し該眼球
からの反射像を含む画像を撮像して、該画像から反射像
を抽出し、該反射像を基に運転者の視線方向を計測する
視線方向計測装置において、撮像時間を高速化可能なシ
ャッタを備えた画像入力手段と、該シャッタと同期して
パルス発光する照明手段と、車両運転者の顔面照度を計
測する顔面照度計測手段と、該顔面照度に応じて前記照
明手段のピークパワーを制御する照明ピークパワー制御
手段を有することを特徴とする車両用視線方向計測装
置。
【請求項３】前記照明手段は前記画像入力手段の光軸
と照射方向が一致する共軸系照明および前記画像入力手
段と非共軸な位置に設けた非共軸系照明から構成され、
順次前記シャッタと同期してパルス発光することを特徴
とする請求項１または２記載の車両用視線方向計測装
置。