JPH07159317A - 車両用視線方向検出装置 - Google Patents

Abstract

(57)【要約】 【目的】 視線方向検出装置における視線方向の計測可
能範囲を拡大する。 【構成】 カメラ４の光軸と共軸をなし不可視光を眼球
１３に照射する共軸系照明１と、非共軸系の照明２、３
によるカメラ４の眼球撮像出力がＡ／Ｄ変換されて画像
デ−タとして画像メモリに格納される。画像デ−タを基
に第１の角膜反射像抽出部７で共軸系照明の角膜反射像
を抽出し、網膜反射像抽出部８で瞳孔中心を算出する。
第２の角膜反射像抽出部９では複数の非共軸系照明の角
膜反射像を抽出し、その複数の角膜反射像中から共軸系
照明の角膜反射像に最も近接したものを選択する。視線
方向算出部１０では共軸系照明の角膜反射像と瞳孔中心
および非共軸系照明の選択された角膜反射像より視線方
向を算出出力する。複数位置からの非共軸系照明により
計測可能範囲が広くなり計測精度が向上する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、車両運転者の視線方向
を非接触で計測してスイッチ操作等のインタ−フェ−ス
に利用する車両用視線方向検出装置に関する。

【０００２】

【従来の技術】従来のこの種の視線方向検出装置とし
て、例えば特開平２−１３４１３０号公報に開示されて
いるものがある。これは照明光源とカメラによって人間
の角膜球を撮像して、光源の反射光の座標とカメラの座
標を結び、角膜球の中心を通る直線の式を求めるととも
に、同時に瞳孔の中心座標を求める２つの作業を、２組
の照明光源およびカメラのセットにより行い、角膜球の
中心座標と瞳孔の中心座標とを結ぶ直線を視線方向とし
て３角測量法により検出するようにしている。

【０００３】図１３はこの従来の視線方向検出装置の説
明図であり、特開平２−１３４１３０号公報の「非接触
視線検出装置」に記載された実施例中、カメラ１台に関
する部分を抜粋して示したものである。 近赤外光を発
する光源１０１から眼球１０３へ照射された光が、角膜
表面で正反射した像（角膜反射像）を情報としてカメラ
１０２により捕捉している。このときの正反射点Ｐは、
黒目部分に相当するＡ１−Ａ２の間になければならな
い。これは正反射点ＰがＡ１−Ａ２の外側つまり白目上
にある時は、反射面が滑らかでないために拡散して反射
像が広がりを持ち、形の不規則な反射像になって像の位
置特定ができなくなるからである。正反射点ＰがＡ１−
Ａ２間にあれば、角膜反射像はハッキリとした輝点とな
り位置特定が確実に行える。

【０００４】

【発明が解決しようとする課題】しかしながら、このよ
うな従来例においては、眼球１０３へ照射する光源１０
１が１台のカメラ１０２について１個であるため、光源
１０１の正反射点ＰがＡ１−Ａ２の間にあって、かつ図
示していない第２のカメラ用の光源の正反射点もＡ１−
Ａ２の間にあるときのみ視線方向の算出が可能であり、
視線方向の計測可能範囲が非常に狭いという問題があっ
た。したがって本発明は、上記従来の問題点に鑑み、カ
メラによる視線方向の計測可能範囲を広げ、計測精度を
向上させた車両用視線方向検出装置を提供することを目
的とする。

【０００５】

【課題を解決するための手段】上記目的を達成するた
め、請求項１に記載の本発明は、運転者の眼球に不可視
光を照射しカメラにより該眼球からの反射像を撮像して
運転者の視線方向を検出する視線検出装置において、
カメラの光軸と照射方向が一致する共軸系照明と、カメ
ラと非共軸な位置に設けた複数の非共軸系照明と、各照
明毎の画像デ−タを格納する画像メモリと、画像デ−タ
の演算により共軸系照明の角膜反射像を抽出する第１の
角膜反射像抽出部と、共軸系照明の画像デ−タより網膜
反射像を抽出して瞳孔中心を算出する網膜反射像抽出部
と、画像デ−タの演算により複数の非共軸系照明の各角
膜反射像を求めそこから選択抽出する第２の角膜反射像
抽出部と、前記第１と第２の角膜反射像抽出部によって
抽出した共軸系照明の角膜反射像と瞳孔中心および非共
軸系照明の角膜反射像より運転者の視線方向を算出する
視線方向算出部と、各照明を制御する照明制御部とを有
するものとした。

【０００６】また、請求項５に記載の本発明は、上記構
成のうち、第２の角膜反射像抽出部で角膜反射像を選択
するかわりに、複数の非共軸系照明の各角膜反射像をす
べて抽出するものとし、視線方向算出部ではこの複数の
非共軸系照明の各角膜反射像と共軸系照明の角膜反射像
および瞳孔中心より各視線方向を算出し、この各視線方
向の組み合わせに基づいて識別選択した視線方向を運転
者の視線方向として出力するものとした。

【０００７】

【作用】請求項１のものは、共軸系照明と複数の非共軸
系照明による運転者の眼球の画像デ−タを画像メモリに
格納しておき、第１の角膜反射像抽出部において画像デ
−タの演算から共軸系照明の角膜反射像を抽出し、網膜
反射像抽出部で瞳孔中心を算出する。また第２の角膜反
射像抽出部においては画像デ−タの演算から複数の非共
軸系照明の角膜反射像を抽出し、抽出した非共軸系照明
の複数の角膜反射像中より最適な角膜反射像を選択す
る。視線方向算出部では共軸系照明の角膜反射像と瞳孔
中心および非共軸系照明の選択された角膜反射像より視
線方向を算出出力する。複数位置からの非共軸系照明に
より計測可能範囲が広くなり計測精度が向上する。

【０００８】請求項５のものは、第２の角膜反射像抽出
部での選択を行なわず非共軸系照明の角膜反射像すべて
を抽出出力し、視線方向算出部ではこの複数の非共軸系
照明の各角膜反射像と共軸系照明の角膜反射像および瞳
孔中心より各視線方向を算出する。そして、この各視線
方向の組み合わせに基づいてそのなかから最適の視線方
向を識別選択して運転者の視線方向とする。視線の向き
に即応追尾して一層計測精度が向上する。

【０００９】

【実施例】図１は本発明の車両用視線方向検出装置の実
施例を示すブロック図である。運転者の眼球１３を撮像
するよう計器盤上にＣＣＤ等を用いたカメラ４が設置さ
れる。カメラ４のレンズの前面にカメラ４の光軸と照射
方向が一致するように取り付けられた近赤外ＬＥＤ等か
らなる共軸系の第１の照明１が設けられる。また、カメ
ラ４の左右対称位置にはカメラ４の光軸と照射方向が一
致しない近赤外ＬＥＤ等からなる非共軸系の第２の照明
２と第３の照明３とが設けられている。カメラ４からの
撮像出力はＡ／Ｄ変換器５で画像デ−タとしてＡ／Ｄ変
換され、画像メモリ６に格納される。画像メモリ６には
第１の角膜反射像抽出部７が接続され、これに順次網膜
反射像抽出部８、第２の角膜反射像抽出部９、視線方向
算出部１０が接続されている。

【００１０】第１の角膜反射像抽出部７では、画像メモ
リ６に格納された各画像デ−タの差分演算により照明１
の角膜反射像が演算抽出される。網膜反射像抽出部８は
同じく照明１による画像デ−タより網膜反射像を抽出
し、さらに瞳孔中心を演算抽出する。第２の角膜反射像
抽出部９では、画像メモリ６に格納された各画像デ−タ
の差分演算を基に、上記照明１の角膜反射像を中心とす
る照明２、照明３の角膜反射像を演算抽出するととも
に、抽出した照明２、３の各角膜反射像と白目反射像を
識別する。

【００１１】そして視線方向算出部１０において、上記
第１の角膜反射像抽出部７により抽出した照明１の角膜
反射像、網膜反射像抽出部８により抽出した瞳孔中心、
および第２の角膜反射像抽出部９により抽出した照明２
または３の角膜反射像に基づいて、瞳孔中心と角膜球中
心を結ぶ直線方向として運転者の視線方向が演算特定さ
れる。各照明１、２、３にはその発光を制御する照明制
御部１１が接続されており、この照明制御部１１、Ａ／
Ｄ変換器５を含み、装置全体の動作を制御する全体制御
部１２が設けられている。

【００１２】図２は上述した視線方向検出装置を用いた
車両の視線スイッチシステムの全体構成を示し、図３は
その車載レイアウトを示す。図２において、図１に示し
た視線方向検出装置が２０で示されている。視線方向検
出装置２０には視線停留判断部２３を介してＨＵＤ（ヘ
ッドアップディスプレー）表示制御部２４が接続されて
いる。ＨＵＤ表示制御部２４にはステアリングスイッチ
２２、ＨＵＤ表示部２５およびコントロ−ラ切り替え部
２７が接続されている。

【００１３】いま、メインスイッチ２１が押されるとシ
ステムがＯＮして、視線方向検出装置２０の視線方向算
出部１０から運転者の視線方向が出力される。視線停留
判断部２３は出力された運転者の視線方向が、エアコ
ン、ワイパ−などの各操作対象項目（エリア）を表示す
る視線スイッチエリア２６のどのエリアを指しているか
を判断する。

【００１４】視線スイッチエリア２６上の運転者が注視
しているエリアが決定されると、ＨＵＤ表示制御部２４
はＨＵＤ表示部２５上に決定されたエリアの内容を表示
するとともに、コントロ−ラ切り替え部２７によりエア
コンコントロ−ラ２８、ＣＤコントロ−ラ２９、ラジオ
コントロ−ラ３０、定速走行装置コントロ−ラ３１、ヘ
ッドライトコントロ−ラ３２、あるいはワイパ−コント
ロ−ラ３３を選択する項目切り替えを行う。続いて、ス
テアリングスイッチ２２からのユ−ザ入力判断による所
定の制御対象の制御が行われる。

【００１５】図３に示されるように、メインスイッチ２
１とステアリングスイッチ２２はステアリング４２に取
り付けられる。また、照明１、カメラ４、照明２、照明
３等が運転席前方の計器盤ボ−ド内パネルに設置され、
ウインドシ−ルド４１上にＨＵＤ表示部２５と視線スイ
ッチエリア２６が設定されている。視線スイッチエリア
２６はさらに、図４の（ａ）にその詳細を示すように、
各種コントローラの名称がＨＵＤ表示されているもので
ある。また、同図の（ｂ）にはステアリングスイッチ２
２の詳細が示されている。

【００１６】つぎに動作について説明する。図５、図６
は図１に示す視線方向検出装置における処理の流れを示
す。システムがＯＮし全体制御部１２の制御が開始され
ると、まず照明制御部１１による照明制御信号により照
明１が点灯され、照明２と照明３が消灯される。そし
て、カメラ４により図５のＳ−５０に示す共軸系の照明
１による眼球像、角膜反射像が撮像される。

【００１７】一般的に角膜反射像とは、図７の角膜反射
像生成の説明図に示すように、カメラ４で眼球を撮像す
ると、角膜表面での正反射光が捕捉され輝点として角膜
反射像が観測される。カメラと非共軸の照明２または照
明３で照明したときには、角膜を構成する球（中心をＯ
とする角膜球）上の点Ｐで正反射が発生し、点Ｒに虚像
の角膜反射像が発生する。また、照明１の場合のように
カメラ４と共軸系に配置した場合は、これらの点は同一
線上に乗りＰ’、Ｒ’、Ｏのようになり、カメラ４上の
角膜反射像位置と照明１の位置（カメラの焦点位置）を
結ぶ直線上に角膜球中心Ｏが存在することになる。

【００１８】このようなカメラ４による照明１の角膜反
射像を含む撮像出力が、Ａ／Ｄ変換器５によりＡ／Ｄ変
換され、画像デ−タＩ（ｘ，ｙ）として画像メモリ６に
格納される。つぎに照明制御部１１の照明制御信号によ
り、照明１にかわって照明２、３が同時点灯される。こ
のときのカメラ４の撮像出力が同様にＡ／Ｄ変換器５に
よってＡ／Ｄ変換され、図５のＳ−５１に示す画像デ−
タＪ（ｘ，ｙ）として画像メモリ６に格納される。

【００１９】第１の角膜反射像抽出部７において、画像
メモリ６の格納デ−タを読み出し、画像デ−タの論理演
算処理として合成演算の手法により差分演算 ｜Ｉ（ｘ，ｙ）−Ｊ（ｘ，ｙ）｜ を行う。演算の結果、最も明るく大きな値を有する点
（ｘ0 ，ｙ0 ）を、図５のＳ−５２に示すように照明１
の角膜反射像として抽出する。続いて、網膜反射像抽出
部８において、画像デ−タＩ（ｘ，ｙ）より網膜反射像
を抽出する。

【００２０】ここで、図８はモデル化された一般的な眼
球構成を示す図であり、共軸系の照明１の場合、瞳孔を
通過した光束が網膜上で反射し、カメラ４に明るく映し
出される瞳孔領域を網膜反射像と呼び、網膜反射像の重
心位置は瞳孔中心Ｑと一致する。カメラ４のＣＣＤ上の
上記重心位置とカメラ焦点を結ぶ直線上に瞳孔中心Ｑは
存在するものであり、角膜球中心Ｏと瞳孔中心Ｑを通過
する直線が視線方向となる。なお、球Ｋは角膜球中心Ｏ
を中心としＯ−Ｑ間距離４．２ｍｍを半径とする球を、
また球Ｈは正反射点Ｐを中心とする角膜球半径７．８ｍ
ｍによる球を表している。

【００２１】この場合の網膜反射像の抽出は、図５のＳ
−５２に示される照明１の角膜反射像（ｘ0 ，ｙ0 ）の
回りに縦ｍ×横ｎ画素のウインドウを設定して、このウ
インドウ内において「しきい値Ｔｈ１」により２値化
し、抽出された領域を、Ｓ−５３に示すように網膜反射
像とし、さらに、抽出した網膜反射像の領域の重心座標
（ｘG ，ｙG ）を算出して、これを瞳孔中心αとして抽
出する。

【００２２】つぎに第２の角膜反射像抽出部９におい
て、画像デ−タＪ（ｘ，ｙ）から照明２、３の角膜反射
像を抽出する。今度は図５のＳ−５４に示すような差分
演算 ｜Ｊ（ｘ，ｙ）−Ｉ（ｘ，ｙ）｜ を行う。そしてＳ−５５に示すように、差分結果に対
し、先の点（ｘ0 ，ｙ0 ）の回りに縦ｍ’×横ｎ’画素
のウインドウを設定する。この場合の（ｍ’×ｎ’）は
照明１の角膜反射像（ｘ0 ，ｙ0 ）を中心として、照明
２と照明３の角膜反射像の存在候補領域を限定するため
のものである。このウインドウ（ｍ’×ｎ’）内を「し
きい値Ｔｈ２」により２値化して、Ｔｈ２より高い階調
値を有する領域を照明２、３の角膜反射像として抽出す
る。

【００２３】Ｓ−５５における角膜反射像抽出処理の結
果としては、次の各ケ−スが生じ得る。 （１）照明２の角膜反射像のみ抽出 （２）照明３の角膜反射像のみ抽出 （３）照明２と照明３の角膜反射像をともに抽出 （４）照明２の角膜反射像と照明３の白目反射像を抽出 （５）照明３の角膜反射像と照明２の白目反射像を抽出

【００２４】これら各ケ−スの識別処理は、まず先に行
った（ｍ’×ｎ’）ウインドウ内のみ「しきい値Ｔｈ
２」により２値化した結果に対し、ラベリング（各領域
のナンバリング）を行い、ウインドウ内に存在する領域
の数により分類して行なわれる。 （イ）領域が唯１つであるとき この場合は図６のＳ−５６に示すように、カメラレンズ
を介して撮像し画像処理によって抽出した領域が１つで
あるから、上に掲げたケ−ス（１）か、ケ−ス（２）の
場合に相当する。

【００２５】ケース（１）と（２）の識別は、領域の重
心座標（ｘｇ，ｙｇ）を求めて、ウインドウ内の照明１
の角膜反射像（ｘ0 ，−）と左右の照明２、３の角膜反
射像（ｘｇ，−）の座標値から、 ｘｇ≧ｘ0 ならケ−ス（１）の照明２の角膜反射像と判定し、 ｘｇ＜ｘ0 ならケ−ス（２）の照明３の角膜反射像と判定識別す
る。

【００２６】（ロ）領域が２つあるとき この場合は、Ｓ−５７に示すように、各領域の重心座標
（ｘｇ，ｙｇ）と、さらに領域面積Ｓも求める。どちら
の領域の面積Ｓも像抽出用の「しきい値面積Ｓth」より
小さい場合には、両方とも角膜反射像であるから、ケ−
ス（３）の照明２、３の角膜反射像をともに抽出してい
るものと判定する。

【００２７】また、どちらか一方の領域の面積Ｓが「し
きい値面積Ｓth」より小さくて他方が大きい場合で、か
つ面積Ｓが小さい領域の座標が、 ｘｇ≧ｘ0 ならケ−ス（４）の場合に該当し、 ｘｇ＜ｘ0 ならケ−ス（５）の場合に該当するものと判定する。

【００２８】ケ−ス（３）の場合の具体的処理は、まず
照明２、３による角膜反射像領域それぞれの重心座標を
（ｘｇ1 ，ｙｇ1 ）、（ｘｇ2 ，ｙｇ2 ）として、両方
の領域とも 面積Ｓ＜しきい値面積Ｓth であるから、計測精度上より照明１の角膜反射像（ｘ0
，ｙ0 ）に最も距離が近い領域、すなわち「最小の
（ｘ0 −ｘｇｉ）」を与える「ｉ」を求める。但し、
「ｉ」はこの場合１、２どちらかとなる。求められたｘ
ｇｉが、 ｘｇｉ≧ｘ0 ならケ−ス（１）として処理し、 ｘｇｉ＜ｘ0 ならケ−ス（２）として扱い、視線方向の算出が行われ
る。

【００２９】また、どちらか一方の領域の面積Ｓが「し
きい値面積Ｓth」より小さく他方が大きいケ−ス
（４）、ケ−ス（５）の場合は、小さい方の領域の座標
が、 ｘｇｉ≧ｘ0 ならケ−ス（１）として処理し、 ｘｇｉ＜ｘ0 ならケ−ス（２）として扱われる。

【００３０】（ハ）領域が３つ以上複数あるとき この場合は、図６のＳ−５８に示すように、各領域の重
心座標（ｘｇ1 ，ｙｇ1 ）、（ｘｇ2 ，ｙｇ2 ）、（ｘ
ｇ3 ，ｙｇ3 ）と、各領域面積Ｓを求め、「面積Ｓ＜し
きい値Ｓth」の領域のうち、先に求めた照明１の角膜反
射像（ｘ0 ，ｙ0 ）に最も近い領域を探索する。探索し
た領域が、 ｘｇ≧ｘ0 ならケ−ス（４）の場合に該当し、 ｘｇ＜ｘ0 ならケ−ス（５）の場合に該当するものと判定する。

【００３１】さらにこの場合は、各領域の重心座標を
（ｘｇ1 ，ｙｇ1 ）、（ｘｇ2 ，ｙｇ2 ）、（ｘｇ3 ，
ｙｇ3 ）…より、（ｘ0 ，ｙ0 ）との最短距離、すなわ
ち「最小の（ｘ0 −ｘｇｉ）」を与える「ｉ」を求め
る。「ｉ」はこの場合１、２または３のいずれかとな
る。求められたｘｇｉが、 ｘｇｉ≧ｘ0 ならケ−ス（１）の処理、 ｘｇｉ＜ｘ0 ならケ−ス（２）の処理として扱われる。

【００３２】以上で第２の角膜反射像抽出部９における
抽出処理が終り、全てのケ−スが（１）の照明２の角膜
反射像のみ抽出か、（２）の照明３の角膜反射像のみ抽
出のケ−スに帰着処理できることになる。続いて視線方
向算出部１０による運転者の視線方向の算出処理に移
る。

【００３３】図９は図１に示す視線方向算出部１０にお
ける視線方向の算出原理を示す説明図である。照明とカ
メラの光軸が一致している共軸系のとき、カメラ焦点Ｆ
1 （＝光源１の照明位置）とカメラ（ＣＣＤ面上）上の
角膜反射像βを結ぶ直線は角膜球中心Ｏを通過する。し
たがって、角膜球中心Ｏは直線Ｆ1 −β上にある。また
実際上の瞳孔中心Ｑは、カメラ焦点（照明位置）とＣＣ
Ｄ画像上の瞳孔中心αを結ぶ直線Ｆ1 −α上にある。

【００３４】カメラ４の焦点距離をｆ、焦点位置をＦ1
（０，０，０）とし、Ｘ軸、Ｙ軸、Ｚ軸のワ−ルド座標
系Ｆ1 −ＸＹＺを考え、非共軸系照明の光源２はＦ2
（ａ，ｂ，ｃ）にあって照明光が角膜表面で正反射する
ものとする。その正反射点Ｐは、ＣＣＤ面上の光源２に
よる角膜反射像δとカメラ焦点Ｆ1 を結ぶ直線Ｆ1 −δ
上にある。すると、直線Ｆ1 −δ上に仮正反射点Ｐを置
き、角膜球半径である７．８ｍｍの半径で球面Ｊを描け
ば、球面Ｊと直線Ｆ1 −βの交点として角膜球中心Ｏの
立体位置が定まる。角膜球中心Ｏと瞳孔中心Ｑ間の距離
は約４．２ｍｍであり、上に決定された角膜球中心Ｏを
中心とする半径４．２ｍｍの球面Ｋと、直線Ｆ1 −αの
交点として瞳孔中心Ｑの立体位置が定まる。これによ
り、点ＯとＱを結ぶ線が視線方向として求められる。

【００３５】上述のように運転者の視線方向の算出につ
いては、共軸系照明の角膜反射像と、瞳孔中心と、非共
軸系照明の角膜反射像とが定まれば視線方向が算出でき
るので、視線方向算出部１０では次のように処理が行な
われる。 （１’）非共軸系は照明２の角膜反射像のみ抽出されて
いる場合 照明１の角膜反射像と瞳孔中心、照明２の角膜反射像と
から、視線方向を算出決定する。 （２’）非共軸系は照明３の角膜反射像のみ抽出されて
いる場合 照明１の角膜反射像と瞳孔中心、照明３の角膜反射像と
から、視線方向を算出決定する。

【００３６】（３’）照明２、３の角膜反射像とも抽出
されている場合 照明１の角膜反射像に対し、照明２または照明３の角膜
反射像のうち距離が近い方を採用し、採用した方の重心
座標を（ｘｇ，ｙｇ）として、 ｘｇ≧ｘ0 なら（１’）の処理とし、 ｘｇ＜ｘ0 なら（２’）の処理を行う。なお、前述のようにケ−ス
（４）の場合は（１’）の処理とされ、ケ−ス（５）の
場合は（２’）の処理となる。これで、運転者の視線方
向の算出処理が終了する。

【００３７】視線停留判断部２３においては、視線方向
算出部１０で上述のようにして算出された視線方向が、
視線スイッチエリア２６のどのエリア（制御項目）を見
ているかを判断する。この判断は、運転者が処理サイク
ルの一定回数連続して同一エリアを見ているか否かによ
って行なわれる。視線方向算出の１サイクルに４００ｍ
ｓｅｃを要するとすれば、例えば連続して２回として約
０．８ｓｅｃの注視時間をもって、同一エリアを注視し
ているものと判断する。

【００３８】いま、視線停留判断部２３において、運転
者が図４の（ａ）に示す視線スイッチエリア２６のエア
コン・エリア（Ａ／Ｃ）を注視していると判断すれば、
その判断結果を受けてＨＵＤ表示制御部２４により同図
の（ｃ）に示すようにＨＵＤ表示部２５に現在のエアコ
ン設定温度が例えば２５℃と表示される。ＨＵＤ表示部
２５にエアコン設定温度が表示されると、図４の（ｂ）
に示すように、ステアリング・スイッチ２２のアップダ
ウンボタンが設定温度の上下調整を行うように機能す
る。

【００３９】運転者はＨＵＤ表示部２５を見ながら、ス
テアリングスイッチ２２のアップダウンボタンを操作し
て希望の設定温度にセットする。一定時間（例えば５秒
間）アップダウンボタンが操作されない場合は、操作が
終了したものと判断してスイッチ機能は全て停止する。
再び運転者が何等かの操作を必要とし、メインスイッチ
２１を押すと再び上述の処理が繰り返される。

【００４０】このような視線検出装置の計測可能範囲に
ついて考察すると、通常の模型眼のデ−タによれば、角
膜球中心から黒目と白目の両境界までの角度は、左右６
６°づつとして合計約１３２°位になる。図１０に示す
ように、カメラ４から眼球までの距離をＤ、照明１と照
明３間の間隔をＷとすれば、カメラ軸に対する視線方向
の角度は、 θ＝６６−ｔａｎ^-1（Ｗ／Ｄ） である。例えば、 Ｗ＝２０ｃｍ、Ｄ＝１００ｃｍのときは、θ＝５４．７
°、Ｗ＝３０ｃｍ、Ｄ＝１００ｃｍのときは、θ＝４
９．３° となり、照明の間隔Ｗが小さいほど計測可能範囲は広が
ることが分かる。

【００４１】図１１は計測可能範囲の限界を示す概念図
であり、従来例と本実施例の場合の計測可能範囲を比較
して示している。前述のように共軸系照明の角膜反射像
と、非共軸系照明の角膜反射像とが必要であるから、簡
単のため照明光源の入反射角を無視すると、計測可能範
囲の限界は角膜球中心Ｏと黒目白目の境界を結ぶ直線が
照明光源を通る位置により決定される。このため、同図
の（ａ）のように、光源が１個しかない従来例では、光
源と反対側で、限界直線Ｓ１を限界として黒目白目の境
界をはずれるので計測可能範囲が狭くなる。これに対し
て本実施例では、（ｂ）のように、対称な位置に複数の
照明２、３を設置したことで、限界直線Ｓ２、Ｓ３がそ
れぞれカメラと眼球中心を結ぶ線に対して両側に描ける
ことになって、計測可能範囲が広くなり、使用するカメ
ラは１台であるにも関わらず計測精度が向上する。

【００４２】つぎに図１２は本発明の第２の実施例を示
す。前実施例では、複数の非共軸系照明２、３で得られ
た複数の角膜反射像のうちから、第２の角膜反射像抽出
部９において共軸系照明１で得られた角膜反射像に最も
近い角膜反射像を選択して抽出し、これを用いて視線方
向を算出するものとしたが、本実施例の角膜反射像抽出
部９’では上記選択を行わない。そして、視線方向算出
部１０’において、各角膜反射像に基づいてそれぞれ視
線方向を算出する。

【００４３】ここでは、算出した各視線方向が図１２に
おいてともに眼球から右下方向、つまり運転者が左方向
を見ているときは、照明１と運転者に向かって右側の照
明３による画像に基づき算出した視線方向を選択して出
力する。また算出した視線方向がともに図１２において
左下方向つまり、運転者が右方向を見ているときは、照
明１と運転者に向かって左側の照明２による画像に基づ
き算出した視線方向を選択出力する。

【００４４】さらに、各照明毎に算出した視線方向が右
下方向および左下方向にマチマチに検出されるときは、
両者の平均方向を算出して出力する。なお、照明２、３
のいずれか一方の角膜反射像が観測されないときは、観
測された角膜反射像と照明１の角膜反射像により視線方
向を算出するものとする。上記において、角膜反射像は
カメラで入力された画像上にその照明が配置してある順
に並ぶから、どの反射像がどの照明によるものか簡単に
識別される。その他の構成は図１に示された第１の実施
例と同様である。

【００４５】この実施例は以上のように構成されている
から、運転者の視線の向きに即応追尾して視線している
側の照明による像を採用することにより、視線方向計測
の誤差要因が減少して計測精度がより向上する。なお、
上記各実施例では非共軸系の照明が左右２個の場合につ
いて説明したが、これに限定されず、非共軸系の照明の
個数をさらに多くすることにより、一層視線方向検出の
分解能を上げることができる。

【００４６】

【発明の効果】以上のとおり、本発明によれば、カメラ
と共軸系の照明と複数の非共軸系の各照明による画像デ
−タを基に共軸系照明の角膜反射像、瞳孔中心の抽出、
ならびに複数の非共軸系照明の角膜反射像を抽出し、複
数の非共軸系照明の角膜反射像から最適な角膜反射像の
識別選択を行い、この選択された最適の角膜反射像と上
記共軸系照明の角膜反射像および瞳孔中心から視線方向
を算出するものとしたので、視線方向の計測可能範囲が
広がり計測精度が向上するという効果を有する。また、
非共軸系照明のそれぞれの角膜反射像と共軸系照明の角
膜反射像および瞳孔中心を用いて算出した各視線方向の
組み合わせに基づいて最適の視線方向を識別選択するも
のとしたときには、視線の向きに即応追尾して一層計測
精度が向上する。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示す図である。

【図２】視線方向検出装置を用いた車両の視線スイッチ
システムの全体構成を示す図である。

【図３】視線スイッチシステムの車載レイアウトを示す
図である。

【図４】車載レイアウト主要部の詳細を示す拡大図であ
る。

【図５】視線方向検出装置における処理の流れを示す説
明図である。

【図６】視線方向検出装置における処理の流れを示す説
明図である。

【図７】角膜反射像生成の説明図である。

【図８】モデル化された眼球構成を示す図である。

【図９】視線方向の算出原理を示す説明図である。

【図１０】実施例における照明配置の説明図である。

【図１１】計測可能範囲の限界を示す説明図である。

【図１２】第２の実施例を示す図である。

【図１３】従来の視線検出装置の概略を示す図である。

【符号の説明】

１ 共軸系照明 ２、３ 非共軸系照明 ４ カメラ ５ Ａ／Ｄ変換器 ６ 画像メモリ ７ 第１の角膜反射像抽出部 ８ 網膜反射像抽出部 ９ 第２の角膜反射像抽出部 １０ 視線方向算出部 １１ 照明制御部 １２ 全体制御部

Claims (6)

【特許請求の範囲】
1. 【請求項１】 運転者の眼球に不可視光を照射しカメラ
   により該眼球からの反射像を撮像して運転者の視線方向
   を検出する視線検出装置において、 カメラの光軸と照射方向が一致する共軸系照明と、前記
   カメラと非共軸な位置に設けた複数の非共軸系照明と、
   前記各照明毎の画像デ−タを格納する画像メモリと、前
   記画像デ−タの演算により共軸系照明の角膜反射像を抽
   出する第１の角膜反射像抽出部と、前記共軸系照明の画
   像デ−タより網膜反射像を抽出して瞳孔中心を算出する
   網膜反射像抽出部と、前記画像デ−タの演算により複数
   の非共軸系照明の各角膜反射像を求めそこから選択抽出
   する第２の角膜反射像抽出部と、前記第１と第２の角膜
   反射像抽出部によって抽出した共軸系照明の角膜反射像
   と瞳孔中心および非共軸系照明の角膜反射像より運転者
   の視線方向を算出する視線方向算出部と、前記各照明を
   制御する照明制御部とを有することを特徴とする車両用
   視線方向検出装置。
2. 【請求項２】 前記複数の非共軸系照明は、カメラレン
   ズの中心に対して点対称な位置に配置されたものである
   ことを特徴とする請求項１記載の車両用視線方向検出装
   置。
3. 【請求項３】 前記複数の非共軸系照明は、同時点灯す
   るものであることを特徴とする請求項１または２記載の
   車両用視線方向検出装置。
4. 【請求項４】 前記第２の角膜反射像抽出部は、複数の
   非共軸系照明によって生じる前記複数の角膜反射像のう
   ち共軸系照明の角膜反射像に最も近接した角膜反射像を
   抽出するものであることを特徴とする請求項１、２また
   は３記載の車両用視線方向検出装置。
5. 【請求項５】 運転者の眼球に不可視光を照射しカメラ
   により該眼球からの反射像を撮像して運転者の視線方向
   を検出する視線検出装置において、 カメラの光軸と照射方向が一致する共軸系照明と、前記
   カメラと非共軸な位置に設けた複数の非共軸系照明と、
   前記各照明毎の画像デ−タを格納する画像メモリと、前
   記画像デ−タの演算により共軸系照明の角膜反射像を抽
   出する第１の角膜反射像抽出部と、前記共軸系照明の画
   像デ−タより網膜反射像を抽出して瞳孔中心を算出する
   網膜反射像抽出部と、前記画像デ−タの演算により複数
   の非共軸系照明の各角膜反射像を抽出する第２の角膜反
   射像抽出部と、前記第１と第２の角膜反射像抽出部によ
   って抽出した共軸系照明の角膜反射像と瞳孔中心および
   複数の非共軸系照明の各角膜反射像より各視線方向を算
   出し、該各視線方向の組み合わせに基づいて識別選択し
   た視線方向を運転者の視線方向として出力する視線方向
   算出部と、前記各照明を制御する照明制御部とを有する
   ことを特徴とする車両用視線方向検出装置。
6. 【請求項６】 前記複数の非共軸系照明は、カメラレン
   ズの中心に対して左右にに配置され、前記視線方向算出
   部は、前記共軸系照明の角膜反射像と瞳孔中心および複
   数の非共軸系照明の各角膜反射像より算出された各視線
   方向が、ともに左右いずれかに同方向の場合は前記共軸
   系照明と前記同方向側の非共軸系照明に基づいて算出さ
   れた視線方向を出力し、前記各視線方向が互いに左右に
   異なる場合はその平均方向を算出出力するものであるこ
   とを特徴とする請求項５記載の車両用視線方向検出装
   置。