JPH07248216A

JPH07248216A - 車両用視線方向計測装置

Info

Publication number: JPH07248216A
Application number: JP6067885A
Authority: JP
Inventors: Takuo Ishiwaka; 卓夫石若; Hiroshi Saito; 浩斎藤
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1994-03-11
Filing date: 1994-03-11
Publication date: 1995-09-26

Abstract

(57)【要約】【目的】車両運転者が眼鏡を装着していても、視線方
向を的確に計測する。【構成】ＨＵＤ表示された視線スイッチエリア２６の
運転者注視部位が視線停留判断部２３で判断され、注視
部位に応じてコントローラ切り替え部２７を介して各種
制御を行なう視線スイッチシステムにおいて、視線方向
を求めるため、眼球１３を発散照明１、２で照明しカメ
ラ４で撮像した画像データから、網膜反射像抽出部７で
網膜反射像を得て瞳孔中心を求める。角膜反射像抽出部
８では網膜反射像位置を基に角膜反射像を抽出して、視
線方向算出部１０で瞳孔中心と角膜反射像とから視線方
向を求める。カメラと光軸が一致する発散照明１の光源
を、カメラ撮像面上の眼鏡による該光源の反射像の大き
さが瞳孔の最小径よりも小さく結像する大きさに設定し
てある。これにより、画像面積を比較して網膜反射像
を眼鏡反射像から容易に識別分離でき、高精度に視線方
向を算出できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、車両運転者の視線方向
を遠隔から非接触で計測する車両用視線方向計測装置に
関する。

【０００２】

【従来の技術】このような、視線方向計測装置は、車両
用の非接触ヒューマンマシンインタフェイスとして、例
えば車両運転者の注目している方向に視覚情報を表示す
るとか、視線方向に応じて特定のスイッチを動作させる
など、種々の目的への利用が期待されている。このよう
なインタフェイスを構成するために必要な、車両運転者
の視線方向の計測装置として、従来、眼球の角膜反射像
の位置を画像情報として取り入れて計測する装置が提案
されている。角膜反射像は、眼球への照射光が眼球を構
成する光学系の各面で反射、屈折することによって生じ
る像であり、プルキンエ像とも呼ばれている。

【０００３】しかし、運転者が眼鏡装着者である場合に
は、その眼鏡による反射の影響を考慮した視線方向計測
の実現が課題の一つになっている。すなわち、眼鏡装着
者においては、必要とする角膜反射像の他に、眼鏡レン
ズやフレームからの反射光が発生する。とくに、発散光
源に対する反射が、眼鏡レンズやフレーム上で輝点とし
て結像してしまう場合には、角膜反射像に極めて似てい
る点が複数現れるため、角膜反射像を特定することが難
しい。

【０００４】そこで、従来、眼鏡装着者を対象としてそ
の視線方向を計測するものとしては、例えば特開平４−
１３８４３１号公報や、特開平４−１３８４３２号公報
に開示された装置がある。これらは、カメラのファイン
ダーを覗いている撮影者の視線方向を計測するものであ
り、２個の光源を用いて眼球に同時照射した時の反射像
の間隔が、図１３に示されるように、眼鏡レンズの反射
像Ｗ、Ｗでは大きくなり、角膜反射像Ｋ、Ｋでは小さく
なることを利用して、眼鏡による反射像を識別するよう
にしている。

【０００５】

【発明が解決しようとする課題】しかしながら、被験者
としては何ら拘束を受けず自由空間で任意に頭部を変位
させ得る車両運転者を対象とする場合、眼鏡レンズだけ
でなく眼鏡フレームからの反射光も画像情報として混入
することになり、上記のようにカメラのファインダーを
覗いている撮影者の視線だけを計測対象とする装置では
識別が困難である。すなわち、眼鏡レンズからの反射光
は、先の図１３に示されるように、２個の光源を結ぶ線
とほぼ平行の同一線上に観測されるが、眼鏡フレームか
らの反射光はランダムな位置に発生する。したがって、
とくに計測のためペアを組むべき角膜反射像の近傍に眼
鏡フレームによる反射像が現われると、どの反射像とど
の反射像がぺアとなるのか判別が困難となり、正確に角
膜反射像を判定することができない。

【０００６】このため、上記従来のカメラ撮影者用の視
線方向計測装置では、車両運転者用として有効に適用で
きないという問題がある。また、眼鏡レンズからの反射
像がある面積を有し、網膜反射像近くに現われると、１
つの角膜反射像を判定する拠り所となる網膜反射像の特
定も困難となる。本発明は、従来のこのような問題点に
着目してなされたものであり、車両運転者が眼鏡を装着
していても、視線方向を的確に計測することができる車
両用視線方向計測装置を提供することを目的としてい
る。

【０００７】

【課題を解決するための手段】このため本発明は、図１
に示すように、車両運転者の眼球部を照明し、空間的に
互いに異なる位置に配置された複数の光源６２ａ、６２
ｂと、この複数の光源の１つの光源６２ａと光軸を一致
させて設けられ、車両運転者の眼球部における反射像を
撮像して画像データを得る画像撮像手段６１と、画像デ
ータより網膜反射像を抽出して瞳孔中心を算出する網膜
反射像抽出手段６３と、網膜反射像の近傍領域を探索す
ることにより角膜反射像を抽出する角膜反射像抽出手段
６４と、角膜反射像及び網膜反射像を基に車両運転者の
視線方向を算出する視線方向算出手段６５とを有し、前
記の複数の光源のうち少なくとも前記画像撮像手段と光
軸を一致させて設けられた光源６２ａの大きさが、車両
運転者が眼鏡を装着しているときに、画像撮像手段６１
の撮像面上における眼鏡による光源の反射像の大きさ
が、運転者の瞳孔の最小径よりも小さく結像する大きさ
に設定されているものとした。

【０００８】なお、上記画像撮像手段は、予め設定され
た画角及び被写界深度を有するカメラとすることがで
き、あるいはまた上記の光源としてスーパールミネッセ
ントダイオードを用いることができる。

【０００９】

【作用】１つの光源６２ａが画像撮像手段６１の光軸と
一致していることによりまず網膜反射像が得られる。角
膜反射像は網膜反射像の付近に存在するから、抽出した
網膜反射像の付近を探索することにより、角膜反射像が
抽出される。ここで、光源の大きさが、画像撮像手段６
１の撮像面上における眼鏡による光源の反射像の大きさ
が、運転者の瞳孔の最小径よりも小さく結像するような
大きさに設定されているから、常に瞳孔の反射像の大き
さの方が眼鏡の反射像よりも大きくなる。これにより、
画像データ中から上記網膜反射像を容易に抽出すること
ができる。したがってまた、角膜反射像も確実に抽出さ
れ、運転者の視線方向が高精度に算出される。

【００１０】また、画像撮像手段を所定の画角と被写界
深度を有するカメラとしたときには、運転者個々人の体
格の相違によりドライビングポジションが異なっても、
撮像範囲を限定し眼球部を拡大撮影でき、ほとんどの運
転者に対してぼけの生じない鮮明な画像が得られる。ま
た、光源にスーパールミネッセントダイオードを用いた
ときには、極く小型にできるので絞り込み量が十分でな
くても、あるいはブルーミングの発生があっても識別が
容易である。また、網膜反射像から生じるスペックルの
発生も少なくできるので、角膜反射像の識別も容易にな
る。

【００１１】

【実施例】以下、この発明を図面に基づいて説明する。
図２は、本発明を車両の視線スイッチシステムに適用し
た実施例の構成を示し、図３はその車載レイアウトを示
す。ステアリング４２の近傍の計器盤上に、運転者の眼
球１３を撮像するよう、撮像素子にＣＣＤ等を用いたカ
メラ４が設置される。車両運転者の眼球位置は、例えば
ＪＩＳ（日本工業規格）Ｄ００２１に示されるように、
自動車の運転者のアイレンジとして統計的に示された限
定領域に存在するから、カメラ４の撮像範囲はそこに限
定でき、車両運転者に比較的近接して設置できる。

【００１２】そして、カメラ４のレンズの前面に、カメ
ラの光軸と照射方向が一致するように取り付けられた共
軸系の第１の発散照明１が運転者の眼球１３部に向けて
設けられる。また、カメラ４から離れて相対関係があら
かじめ設定された所定の位置に、カメラ４の光軸と照射
方向が一致しない非共軸系の第２の発散照明２が同じく
眼球部に向けて設けられている。第１および第２の発散
照明１、２は、本実施例においては同一仕様の近赤外光
源を備えている。第１の発散照明１および第２の発散照
明２には、それらの発光を制御する照明発光制御部１１
が接続されている。

【００１３】カメラ４からの撮像出力は、Ａ／Ｄ変換器
５でデジタル画像データとしてＡ／Ｄ変換され、画像メ
モリ６に格納される。画像メモリ６に接続されて、網膜
反射像抽出部７が設けられ、続いて角膜反射像抽出部８
および視線方向算出部１０が順次接続されている。ま
た、メインスイッチ２１に接続され、上述の照明発光制
御部１１、Ａ／Ｄ変換器５を含み装置全体の動作を制御
する全体制御部１２が設けられ、上記照明発光制御部１
１は全体制御部１２からの信号に基づいて作動する。メ
インスイッチ２１は、後述するステアリングスイッチ２
２とともに、ステアリング４２に配置されている。

【００１４】網膜反射像抽出部７は、画像メモリ６に格
納された画像データから網膜反射像を抽出し、さらに瞳
孔中心を演算抽出する。また、角膜反射像抽出部８で
は、網膜反射像抽出部７の出力を基に画像デ−タから角
膜反射像の位置を特定する。そして視線方向算出部１０
において、上記網膜反射像抽出部７により抽出した瞳孔
中心および角膜反射像抽出部８により抽出した角膜反射
像に基づいて、瞳孔中心と角膜球中心を結ぶ直線方向と
して運転者の視線方向が演算特定される。

【００１５】視線方向算出部１０には、視線停留判断部
２３を介してコントロ−ラ切り替え部２７が接続されて
いる。コントロ−ラ切り替え部２７には、オーディオコ
ントローラ２８、エアコンコントローラ２９、ラジオコ
ントローラ３０、ＡＳＣＤ（定速走行装置）コントロー
ラ３１等が接続されているとともに、ＨＵＤ（ヘッドア
ップディスプレー）表示制御部２４と、ステアリングス
イッチ２２が接続されている。視線停留判断部２３は、
ＨＵＤ表示制御部２４によりフロントウインドシールド
４１上に設定された視線スイッチエリア２６内の視線停
留位置を判断し、コントローラ切り替え部２７へ制御情
報を出力する。

【００１６】ＨＵＤ表示制御部２４は、コントローラ切
り替え部２７を通して出力される各コントローラ２８〜
３１からの信号に基づき、フロントウインドシールド４
１上に設定されたＨＵＤ表示部２５に表示を行なわせ
る。また、ステアリングスイッチ２２からの信号は、コ
ントローラ切り替え部２７を通して各コントローラ２８
〜３１のいずれかに入力されるようになっている。

【００１７】次にカメラ４の画角、被写界深度と、第
１、第２の発散照明１、２の各光源の大きさの設定法に
ついて説明する。車両運転者の眼球位置は、前述のよ
うにＪＩＳ（日本工業規格）Ｄ００２１に自動車の運転
者のアイレンジとして規定されている。この実施例で
は、撮像する領域を、このＪＩＳＤ００２１に示される
９０パーセンタイルアイレンジとして説明する。すなわ
ちカメラ４の撮像範囲としての画角は、９０パーセンタ
イルアイレンジを画面の上下方向一杯に撮像するものと
して決定され、これに見合うレンズが使用される。

【００１８】なお、多くの乗用車の場合には、例えば焦
点距離を７５ｍｍとすることにより、９０パーセンタイ
ルアイレンジをカバーできる。これにより、運転者個々
人では体格が異なり、ドライビングポジションが異なっ
ても、９０％以上、すなわちほとんどの運転者に対し
て、ぼけの生じない鮮明な画像を得ることができる。

【００１９】カメラ４に設定する被写界深度は次のよう
に定める。眼鏡レンズによる反射像は、角膜反射像の結
像点とは異なった位置に結像する。すなわち、図４に示
すように、レンズ５０の焦点距離がｆであるときに、物
体５１とレンズ５０の間の距離をａ、像５２とレンズ５
０の間の距離をｂとすると、物体５１の大きさＬと、像
５２の大きさｋとの間には、次の関係がある。（１／ａ）−（１／ｂ）＝（１／ｆ） …（１）（ｋ／Ｌ）＝｜ｂ／ａ｜ …（２）ここで、ｆ、ａ、Ｌは、予め位置関係を設定できるので
既知である。また、図５に示すように、曲率半径ｒの凸
面鏡５３による反射像では、次のような関係となる。（１／ａ）＋（１／ｂ）＝（１／ｆ） …（３）

【００２０】ところで、眼鏡表面の曲率半径の多くは２
００ｍｍ程度以下である。曲率半径が２００ｍｍのとき
の反射像の結像位置は、式（３）より、ａ＝１０００ｍ
ｍ、ｆ＝７５ｍｍとすると、ｂ＝１１１ｍｍとなり、９
０パーセンタイルアイレンジである運転者のアイレンジ
１６０ｍｍに対し、奥行方向に１１１ｍｍ長い、２７１
ｍｍをカバーしていればよい。一方、被写界深度は次の
近似式で表される。被写界深度＝−２ＦｄＲ²／ｆ² …（４）ただし、Ｆ：Ｆ値ｆ：焦点距離ｄ：最小錯乱円直径Ｒ：被写体距離である。

【００２１】したがって、９０パーセンタイルアイレン
ジ内に運転者の眼球位置が存在する場合に、焦点距離７
５ｍｍのレンズを使用したときには、最小錯乱円の直径
を２．２×１０^-5ｍとすると、Ｆ値は３５となる。な
お、本実施例では、最小錯乱円の直径は、撮像面上で１
ドットの分解能に相当する値を用いた。

【００２２】次に光源の大きさの設定について説明す
る。図６のように光源１ａおよびカメラ４の前面にレン
ズ５０があって、レンズ５０の表面による反射光がカメ
ラに入力するとき、光源１ａの反射像の大きさは、前述
のように、光源の直径がＬである場合には、レンズ表面
による反射像の大きさｋは、図５に示すように正反射と
なるから、式（２）および式（３）より求められる。一
方、人間の瞳孔の最小径は１．３ｍｍであるので、レン
ズ５０による光源１ａの反射像の大きさを瞳孔の最小径
より小さくするには、最大値としてｋ＝１．３とし、ａ
＝１０００、ｆ＝７５を代入すると、Ｌ＝１６．０ｍｍとなるので、図６の光学系の場合には、光源１ａに直径
１６ｍｍ未満のものを用いれば、その反射像の大きさは
常に人間の瞳孔の最小径よりも小さくなる。こうして光
源１ａの大きさが設定される。

【００２３】すなわち、眼鏡反射像と網膜反射像の大き
さを比較して、撮像面上でその面積の差が大きければ識
別の精度が高くなる。そして式（３）の関係より、物体
５１の径Ｌとして、すなわち光源の径が小さいほど、反
射像の径も小さくなることが分かる。これは、理想的に
は光源１ａとして点光源を用いれば良いことを示してい
る。この場合の点光源とは、光源（Ｌ）による反射像
（ｋ）が、カメラ４の撮像面上に結像するとき、その大
きさが画像データの分解能以下であるならば、実質上点
光源と見なせる。こうして、眼鏡反射像の大きさが小さ
いほど、計測精度が高くなる。

【００２４】この条件に合致するものとして、レーザの
使用が考えられるが、眼球部に照射する実験を行ってみ
ると、干渉性が高いため、網膜反射像にスペックルを生
じることが多い。これは、角膜反射像の抽出の際の計測
誤差の原因となる。これに対し、スーパールミネッセン
トダイオードを用いれば、干渉性が悪いため、スペック
ルの発生が抑えられ、角膜反射像の抽出が極めて容易に
なる。

【００２５】本実施例は以上のように構成され、いまメ
インスイッチ２１が押されるとシステムがＯＮして、視
線方向算出部１０から運転者の視線方向が出力される。
視線停留判断部２３は、出力された運転者の視線方向が
エアコン、オーディオなどの各操作対象項目（エリア）
を表示する視線スイッチエリア２６のどのエリアを指し
ているかを判断する。

【００２６】視線スイッチエリア２６上の運転者が注視
しているエリアが決定されると、コントロ−ラ切り替え
部２７は上記決定されたエリアに対応するエアコンコン
トロ−ラ、オーディオコントローラ等を選択する項目切
り替えを行う。そして、ＨＵＤ表示制御部２４は、コン
トローラ切り替え部２７を通して出力される各コントロ
ーラの信号に基づき、その内容をＨＵＤ表示部２５に表
示する。続いて、ステアリングスイッチ２２からのユ−
ザ入力による所定の制御対象の制御が行われる。

【００２７】図３に示されるように、メインスイッチ２
１とステアリングスイッチ２２はステアリング４２に取
り付けられる。ウインドシ−ルド４１上にＨＵＤ表示部
２５と視線スイッチエリア２６が設定されている。視線
スイッチエリア２６はさらに、図７の（ａ）にその詳細
を示すように、各種コントローラの名称がＨＵＤ表示さ
れているものである。また、同図の（ｂ）にはステアリ
ングスイッチ２２の詳細が示されている。

【００２８】次に、制御動作を図８のフローチャートに
より説明する。車両運転者がエアコンを操作したいと考
えたとき、視線スイッチエリア２６のうち、エアコンの
領域（図７の（ａ）のＡ／Ｃ領域）を注視する。同時
に、車両運転者はステアリング４２のメインスイッチ２
１（図７の（ｂ）参照）を押す。これにより、全体シ
ステムの作動が開始される。

【００２９】まず、ステップ１０１において、全体制御
部１２から計測開始信号が出力されると、これに基づき
ステップ１０２で、照明発光制御部１１からのトリガ信
号が発せられて、第１の発散照明１が点灯され、車両運
転者の顔面が照明される。そしてステップ１０３におい
て、この照明された顔面領域の画像がカメラ４によって
取り込まれ、画像情報がＡ／Ｄ変換器５によりＡ／Ｄ変
換されて、ディジタルの画像データＩ１（ｘ，ｙ）とし
て、画像メモリ６に格納される。

【００３０】引き続きステップ１０４において、照明発
光制御部１１からのトリガ信号によって、第２の発散照
明２が点灯され、車両運転者の顔面が照明される。ステ
ップ１０５でこの照明された顔面領域の画像がカメラ４
によって取り込まれ、上述と同様に画像情報がＡ／Ｄ変
換器５によりＡ／Ｄ変換されて、ディジタルの画像デー
タＩ２（ｘ，ｙ）として、画像メモリ６に格納される。

【００３１】この後、ステップ１０６において、網膜反
射像抽出部７により、画像データＩ１（ｘ，ｙ）、Ｉ２
（ｘ，ｙ）から車両運転者の眼球１３の網膜反射像重心
位置が計測される。ここでは、共軸系としてレイアウト
されたカメラ４と第１の発散照明１によって、眼球１３
の網膜から反射光が戻ってくることを利用する。

【００３２】ところで、眼球部に照明光を照射した場
合、カメラ４には、網膜反射像のほかに、角膜反射像が
観測される。また、車両運転者が眼鏡を装用していると
きには、さらに眼鏡のレンズやフレームでの反射像が同
時に観測され、これらは網膜反射像や角膜反射像と同様
に明るい領域として観測される。なお、角膜反射像は、
眼球部光学系のどの面で生じた像であるかによって、第
１〜第４のプルキンエ像に分類できるが、ここではその
中で最も明るい、角膜表面で生じた第１プルキンエ像と
する。

【００３３】図９は、上記網膜反射像重心位置の抽出の
流れの詳細を示す。まず、ステップ２０１において、画
像データＩ１（ｘ，ｙ）と画像データＩ２（ｘ，ｙ）の
差分演算を行い、画像データＩ３（ｘ，ｙ）が作成され
る。この画像データＩ３（ｘ，ｙ）中には、負のデータ
も含まれる。ステップ２０２において、画像データＩ３
（ｘ，ｙ）が、予め設定した所定しきい値Ｔｈ１（Ｔｈ
１＞０）で２値化され、ノイズを除去した画像データＩ
４（ｘ，ｙ）が得られる。

【００３４】次のステップ２０３において、上記抽出さ
れた画像データＩ４（ｘ，ｙ）の各領域に番号付けを行
うラベリング処理が施される。これは、抽出した各領域
に番号付けをする処理で、画像処理では汎用的に用いら
れるものである。そして、ステップ２０４で、ラベリン
グ処理後の各領域の面積が計算される。ここでは、メモ
リ中に各領域毎の面積を記憶したテーブルが作成され
る。ここではまず面積の最大のものを網膜反射像と推定
して、ステップ２０５において、領域の面積のうち最大
のものについて外接四角形を求め、その縦、横の辺の長
さが計算される。

【００３５】このあと、ステップ２０６において、この
外接四角形があらかじめ設定されたｍ（横）×ｎ（縦）
の領域内に入っているか否かがチェックされる。眼鏡フ
レームからの反射が発生した場合、その反射像は円形と
は限らず、直線状、曲線状、楕円形などの形状を持つ。
一方、網膜反射像は一般に円形となり、瞳孔の直径は最
大でも１０ｍｍである。したがって、このステップでは
瞳孔の円形に見合った上記ｍ×ｎを設定して、円形でな
い眼鏡フレームからの反射像を除去する。これは、外接
四角形が（横の辺の長さ）＜ｍ（縦の辺の長さ）＜ｎを同時に満たすか否かで判定する。

【００３６】外接四角形がｍ×ｎ領域内にあれば、ステ
ップ２０８へ進み、ｍ×ｎ領域よりも大きければ、ステ
ップ２０７へ進む。ステップ２０７では、外接四角形の
対象領域の面積を０とし、ステップ２０５へと進み、次
に面積の大きい領域について、再度比較を行う。ステッ
プ２０５〜２０７が繰り返されて、ラベリングされた領
域の中で、ｍ×ｎ領域内に収まる最大の面積を持つもの
が抽出され、網膜反射像とされる。

【００３７】このあとステップ２０８において、上記抽
出された網膜反射像の重心位置が演算される。これは、
下記の式により各領域ｉの重心座標（Ｘｇｉ，Ｙｇｉ）
を求める処理を行う。Ｘｇｉ＝Σｘ領域ｉ／領域ｉの面積→第ｉ番目の領域の
重心ｘ座標Ｙｇｉ＝Σｙ領域ｉ／領域ｉの面積→第ｉ番目の領域の
重心ｙ座標ステップ２０１〜ステップ２０８が、ステップ１０６の
網膜反射像位置計測の内容を示して、発明の網膜反射像
抽出手段を構成している。

【００３８】図８に戻って、上に求めた網膜反射像重心
位置を基にして、角膜反射像位置を特定するため、ステ
ップ１０７において、網膜反射像の近傍領域に角膜反射
像を探索する探索領域Ｔが設定される。探索領域Ｔは、
あらかじめ設定されたｐ、ｑを用いて、図１０のよう
に、網膜反射像の重心位置を中心にｐ×ｑ領域として設
定される。そして、ステップ１０８において、上記探索
領域内で最高輝度の点が探索される。この最高輝度の点
の座標を（ｘ１，ｙ１）とする。つぎのステップ１０９
においては、同領域内で最低輝度（この場合は負の最大
値）の点が探索される。この座標を（ｘ２，ｙ２）とす
る。

【００３９】ステップ１１０においては、探索された上
記の各点（ｘ１，ｙ１）と（ｘ２，ｙ２）がペアの角膜
反射像であるかどうかの判定が行なわれる。この判定で
は、図１３に示したように、対応する反射像が第１の発
散照明１と第２の発散照明２の各反射像を結ぶ線分と平
行になることを利用する。すなわち、ｙ座標の差が予め
設定した値Ｔｈ２（Ｔｈ２＞０）よりも小さいものを平
行として判定する。ここで角膜反射像のペアが見つから
なければ、網膜反射像位置計測ルーチンのステップ２０
７に進み、次ぎに面積の大きい領域を網膜反射像として
再度比較を行う。ステップ１０７〜ステップ１１０が、
角膜反射像抽出手段を構成している。

【００４０】この後、ステップ１１１においては、視線
方向算出部１０において、これまでに求められた２つの
角膜反射像の重心座標および瞳孔領域の重心座標から、
車両運転者の視線方向が算出される。図１１は視線方向
算出部における視線方向の算出原理を示す説明図であ
る。照明とカメラの光軸が一致している共軸系のとき、
カメラ焦点Ｆ1 （＝照明光源１ａ位置）とカメラ（ＣＣ
Ｄ面上）上の角膜反射像βを結ぶ直線は角膜球中心Ｏを
通過する。したがって、角膜球中心Ｏは直線Ｆ1 −β上
にある。また実際上の瞳孔中心Ｑは、カメラ焦点（照明
位置）とＣＣＤ画像上の瞳孔中心αを結ぶ直線Ｆ1 −α
上にある。

【００４１】カメラ４の焦点距離をｆ、焦点位置をＦ1
（０，０，０）とし、Ｘ軸、Ｙ軸、Ｚ軸のワ−ルド座標
系Ｆ1 −ＸＹＺを考え、非共軸系照明の光源２ａはＦ2
（ａ，ｂ，ｃ）にあって照明光が角膜表面で正反射する
ものとする。その正反射点Ｐは、ＣＣＤ面上の光源Ｌ１
による角膜反射像δとカメラ焦点Ｆ1 を結ぶ直線Ｆ1−
δ上にある。すると、直線Ｆ1 −δ上に仮正反射点Ｐを
置き、角膜球半径である７．８ｍｍの半径で球面Ｊを描
けば、球面Ｊと直線Ｆ1 −βの交点として角膜球中心Ｏ
の立体位置が定まる。角膜球中心Ｏと瞳孔中心Ｑ間の距
離は約４．２ｍｍであり、上に決定された角膜球中心Ｏ
を中心とする半径４．２ｍｍの球面Ｋと、直線Ｆ1 −α
の交点として瞳孔中心Ｑの立体位置が定まる。これによ
り、点ＯとＱを結ぶ線が視線方向として求められる。ス
テップ１１１が、視線方向算出手段を構成している。

【００４２】次のステップ１１２では、視線停留判断部
２３で、上述のようにして視線方向算出部１０で算出さ
れた視線方向が視線スイッチエリア２６のどのエリア
（制御項目）を見ているかを判断し、その時間が算出さ
れる。そしてステップ１１３で、停留判断が行なわれ
る。これは、運転者が処理サイクルの一定回数連続して
同一エリアを見ているか否かによって行なわれる。視線
方向算出の１サイクルに４００ｍｓｅｃを要するとすれ
ば、例えば連続して２回として約０．８ｓｅｃの注視時
間をもって、同一エリアを注視しているものと判断す
る。

【００４３】ここで運転者が図７の（ａ）に示す視線ス
イッチエリア２６の例えばエアコンエリア（Ａ／Ｃ）を
注視していると判断されると、ステップ１１４に進ん
で、対象物すなわちエアコンの制御が行なわれ、一定時
間以上の停留がなければ、ステップ１０２へ戻って視線
方向の計測が繰り返される。ステップ１１４では、コン
トローラ切り替え部２７により例えばエアコン制御に切
り換えられ、ＨＵＤ表示制御部２４によりＨＵＤ表示部
２５に現在のエアコン設定温度が表示される。なお、ス
テップ１１４に移ると視線方向の計測は停止される。

【００４４】ＨＵＤ表示部２５にエアコン設定温度が表
示されると、ステアリングスイッチ２２のアップダウン
ボタンが設定温度の上下調整を行うように機能するよう
になる。運転者はＨＵＤ表示部２５を見ながら、ステア
リングスイッチ２２のアップダウンボタンを操作して希
望の設定温度にセットする。セツトした情報により、エ
アコンコントローラ２９により所定の温度制御が行われ
る。コントローラ切り替え部２７は、一定時間（例えば
５秒間）アップダウンボタンが操作されない場合は、操
作が終了したものと判断してスイッチ機能は全て停止す
る。再び運転者が何等かの操作を必要とし、メインスイ
ッチ２１を押すと再び上述の処理が繰り返される。

【００４５】実施例は以上のように構成され、照明によ
る眼球の反射像から運転者の視線方向を計測する視線方
向計測装置において、車両運転者が眼鏡を装着している
とき、その眼鏡反射像と角膜反射像を分離するにあたっ
て、カメラの撮像面上における眼鏡レンズによる照明光
源の反射像の大きさが、運転者の瞳孔の最小径よりも小
さく結像するように、光源の大きさが設定されたものと
したので、運転者が眼鏡を装着していても、正確に視線
方向を求めることができる。また、カメラの画角を９０
パーセンタイルアイレンジが画面の上下方向一杯に撮像
されるように設定するとともにこれに対応させて被写界
深度を設定したので、運転者個々人の体格の相違により
ドライビングポジションが異なっても、カメラを車両運
転者に比較的近接して設置して撮像範囲を限定し眼球部
を拡大撮影でき、ほとんどの運転者に対してぼけの生じ
ない鮮明な画像を得ることができる。

【００４６】また、光源にスーパールミネッセントダイ
オードを用いているから、万一反射像がボケにより大き
くなった場合でも、網膜反射像の大きさとの相対関係が
維持されるから、絞り込み量が十分でなくても、識別が
可能であるという効果を有する。また、カメラにＣＣＤ
などの固体撮像素子を用いた場合には、ブルーミングの
発生が問題となるが、ブルーミングの原因で、反射像が
より大きくなった場合でも、網膜反射像に対して小さい
ので同じく識別が容易である。また、網膜反射像から生
じるスペックルの発生も少ないため、角膜反射像の識別
も容易になる。したがって、スーパールミネッセントダ
イオードの使用により、より精度良く測定される。

【００４７】なお、上記実施例では、共軸系の第１の発
散照明１をカメラの光軸上に配置してあるが、このほか
図１２に示すように、ハーフミラー等のビームスプリッ
タ５５を使用して、カメラ４の光軸から離れた位置に設
置した光源１ｂからの光をカメラ４の光軸上へ導くよう
にしてもよい。なおまた、実施例では運転者が装着する
眼鏡として球面レンズを備える眼鏡について説明した
が、これに限らず、遠近両用眼鏡や、非球面レンズを備
える眼鏡などを装着している場合にも同様に適用され、
同じ効果を得ることができる。

【００４８】

【発明の効果】以上のとおり、本発明は、運転者の眼球
部を照明して撮像した画像デ−タから網膜反射像および
角膜反射像を抽出し、瞳孔中心と角膜反射像とから運転
者の視線方向を算出する視線方向計測装置において、光
源の大きさを、車両運転者が眼鏡を装着しているとき
に、前記画像撮像手段の撮像面上における眼鏡による該
光源の反射像の大きさが瞳孔の最小径よりも小さく結像
する大きさに設定し、画像領域の面積を演算比較するこ
とにより、眼鏡反射像と網膜反射像とを分離して、網膜
反射像を抽出し、その位置を基に角膜反射像を抽出する
ようにした。これにより、運転者に拘束を与えない自由
空間において、運転者が眼鏡を装着していても、眼鏡レ
ンズや眼鏡フレームの反射像を除去して、角膜反射像が
確実に識別特定され、高精度の視線方向を算出でき、信
頼性の高い車両用インタフェイスを実現することができ
るという効果を有する。

【図面の簡単な説明】

【図１】本発明の構成を示すブロック図。

【図２】本発明の実施例の構成を示すブロック図であ
る。

【図３】実施例の車載レイアウトを示す図である。

【図４】レンズによる物体の大きさと像の大きさの関係
を説明する図。

【図５】凸面鏡による物体の大きさと像の大きさの関係
を説明する図。

【図６】眼鏡レンズと光源およびカメラとの関係を説明
する図。

【図７】視線スイッチエリアとステアリングスイッチの
詳細を示す図である。

【図８】実施例における処理の流れを示すメインフロー
チャートである。

【図９】網膜反射像の位置計測の詳細を示すフローチャ
ートである。

【図１０】角膜反射像を探索する探索領域の設定要領を
示す説明図である。

【図１１】視線方向の算出原理を示す説明図である。

【図１２】ビームスプリッタを使用して光源の光軸をカ
メラの光軸と一致させる例を示す図である。

【図１３】２照明による眼鏡レンズの反射像と角膜反射
像の間隔を示す図である。

【符号の説明】

１第１の発散照明１ａ、１ｂ、２ａ光源２第２の発散照明４カメラ５Ａ／Ｄ変換器６画像メモリ７網膜反射像抽出部８角膜反射像抽出部１０視線方向算出部１１照明発光制御部１２全体制御部１３眼球２１メインスイッチ２２ステアリングスイッチ２３視線停留判断部２４ＨＵＤ表示制御部２５ＨＵＤ表示部２６視線スイッチエリア２７コントロ−ラ切り替え部２８オーディオコントローラ２９エアコンコントローラ３０ラジオコントローラ３１ＡＳＣＤコントローラ４１フロントウインドシールド４２ステアリング５０レンズ５５ビームスプリッタ６１画像撮像手段６２ａ、６２ｂ、… 光源６３網膜反射像抽出手段６４角膜反射像抽出手段６５視線方向算出手段

Claims

【特許請求の範囲】

【請求項１】車両運転者の眼球部を照明し、空間的に
互いに異なる位置に配置された複数の光源と、該複数の
光源の１つの光源と光軸を一致させて設けられ、前記車
両運転者の眼球部における反射像を撮像して画像データ
を得る画像撮像手段と、前記画像データより網膜反射像
を抽出して瞳孔中心を算出する網膜反射像抽出手段と、
網膜反射像の近傍領域を探索することにより角膜反射像
を抽出する角膜反射像抽出手段と、角膜反射像及び網膜
反射像を基に車両運転者の視線方向を算出する視線方向
算出手段とを有し、前記複数の光源のうち少なくとも前
記画像撮像手段と光軸を一致させて設けられた光源の大
きさが、車両運転者が眼鏡を装着しているときに、前記
画像撮像手段の撮像面上における眼鏡による該光源の反
射像の大きさが、運転者の瞳孔の最小径よりも小さく結
像する大きさに設定されていることを特徴とする車両用
視線方向計測装置。
【請求項２】前記画像撮像手段が、予め設定された画
角及び被写界深度を有するカメラであることを特徴とす
る請求項１記載の車両用視線方向計測装置。
【請求項３】前記光源がスーパールミネッセントダイ
オードであることを特徴とする請求項１または２記載の
車両用視線方向計測装置。