JPH07159316A - 車両用視線方向計測装置 - Google Patents

Abstract

(57)【要約】 【目的】 視線方向計測装置における検出時間を短縮す
る。 【構成】 照明制御部１１により照明１、照明２が交互
に点灯される。眼球Ｍからの反射光がセンサ部３のレン
ズ３１を経てハ−フミラ−３２で２光路に分割され、シ
リンドリカルレンズ３３、３４を介して１次元ラインセ
ンサ３４、３５に結像する。各１次元ラインセンサの撮
像出力がＡ／Ｄ変換され画像デ−タ列としてメモリ９に
格納される。この画像デ−タ列を用いて、第１の角膜反
射像抽出部７、網膜反射像重心位置抽出部８、第２の角
膜反射像抽出部９で角膜反射像、瞳孔中心を抽出し、視
線方向算出部１０で３次元の視線方向を算出する。 ス
キャニング時間の速い１次元ラインセンサを用いている
ので、サンプリンググレ−ドが高く信号の入力時間が短
かい。このため、２次元方向のスキャニングに比較して
信号処理時間が大幅に短縮される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、運転者等の視線方向を
非接触で検出する視線方向計測装置に関し、特に視線方
向の検出時間を短縮した車両用視線方向計測装置に関す
る。

【０００２】

【従来の技術】従来この種の視線方向計測装置は、車両
に関しては運転者が前方への視線をそらさずに非接触で
スイッチ操作を行うための、また他の分野では例えばカ
メラの自動焦点調整のためなど、いわゆる視線スイッチ
に利用されているものであって、例えば特開平２−１３
４１３０号公報に開示されている非接触視線検出装置な
どがある。図１３はこの従来の非接触視線検出装置の構
成を示し、カメラ光軸と共軸系の近赤外光光源５３およ
び５４をそれぞれ備えた２台の２次元センサカメラ５１
および５２を使用して、三角測量により眼球の角膜球中
心Ｏと瞳孔中心Ｑの立体位置を決定し、瞳孔中心Ｑと角
膜球中心Ｏを結ぶ直線を視線方向として検出するもので
ある。２次元センサカメラ５１、５２は眼球を含む顔画
像を撮像し、画像処理装置５５において各点の座標位置
を決定して視線方向を特定するための演算処理を行って
いる。

【０００３】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の視線計測装置においては、２台の２次元セン
サカメラ５１および５２でそれぞれ顔画像を入力して所
望の眼球デ−タを得る構成であるために、画像を入力し
て画像処理装置５５のメモリに読み込むまで、ある程度
（通常１／３０ｓｅｃ程度を要している）時間が掛り、
入力した画像を処理する２次元スキャニングにも時間を
要するので視線方向の検出時間が長くなり、車両走行中
とくに期待される視線方向計測のリアルタイム性が制限
されるという問題があった。

【０００４】また、顔画像入力用に２次元センサによる
カメラを２台使用しなければならないので、装置が高価
になるという問題もある。したがって本発明は、上述の
問題点に鑑み、視線方向計測におけるリアルタイム性を
向上させ、視線スイッチとしての即応性を高めた車両用
視線方向計測装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、運転者の眼球に不可視光を照射しその反
射光に基づいて運転者の視線方向を検出する車両用の視
線方向計測装置において、レンズを備え前記反射光を入
力してハ−フミラ−により２光路に分割してそれぞれの
光路上に設けた１次元ラインセンサにより撮像する筐体
収納型のセンサ部と、センサ部の光軸と照射方向が一致
する共軸系照明と、センサ部と非共軸な位置に設けた非
共軸系照明と、前記共軸系照明および非共軸系照明のそ
れぞれに対する各１次元ラインセンサによる画像デ−タ
列を格納する画像メモリと、その画像デ−タ列間の差分
演算を行い演算結果より共軸系照明の角膜反射像の２次
元位置を抽出する第１の角膜反射像抽出部と、前記の差
分演算結果上に設定したウインドウ内の２値化により網
膜反射像を抽出し、フィルタリングにより前記網膜反射
像の上下左右端部を特定して網膜反射像重心の２次元位
置を求める網膜反射像重心位置抽出部と、前記画像デ−
タ列間の差分演算を行い演算結果より非共軸系照明の角
膜反射像の２次元位置を抽出する第２の角膜反射像抽出
部と、上記角膜反射像と網膜反射像重心の２次元位置よ
り運転者の視線方向を算出する視線方向算出部と、各照
明を制御する照明制御部とを有するものとした。

【０００６】

【作用】共軸系と非共軸系の照明毎に入力する光信号
は、センサ部においてハ−フミラ−により２光路に分割
され、各々１次元ラインセンサに結像される。各ライン
センサによる画像デ−タ列はメモリに格納され、その画
像デ−タ列の差分演算に基づいて角膜反射像抽出部で角
膜反射像の２次元位置が抽出され、網膜反射像重心位置
抽出部で網膜反射像重心の２次元位置が求められる。そ
して視線方向算出部において上記角膜反射像と網膜反射
像重心の２次元位置から運転者の視線方向が算出され
る。 ２種の照明と２個の１次元ラインセンサによる４
個の画像デ−タ列間の演算を基に角膜反射像、網膜反射
像重心を抽出するから、２次元方向のスキャニングに比
較して信号処理時間が大幅に短縮される。

【０００７】

【実施例】以下、本発明の実施例を図に基づいて説明す
る。図１は本発明の視線方向計測装置の第１の実施例を
示す。センサ部３は全体が１個の筐体に内蔵されてお
り、照明された眼球Ｍからの反射光がレンズ３１を通過
して入光する。この光はセンサ部３内のハ−フミラ−３
２で２光路に分けられ、各々の光軸上に設置されたシリ
ンドリカルレンズ３３および３５を通して集束されて、
ＣＣＤ等による１次元ラインセンサ３４および３６上に
結像するようになっている。レンズ３１を通した２次元
画像の領域を横軸ｘ、縦軸ｙで表わすとき、ラインセン
サ３４はｘ軸方向、ラインセンサ３６はｙ軸方向に設置
されている。

【０００８】ラインセンサ３４および３６の各撮像出力
は、それぞれセンサ部３外部の各Ａ／Ｄ変換器４および
５によりディジタル信号の画像デ−タ列に変換され、メ
モリ６に格納される。メモリ６に格納された画像デ−タ
列を用いて第１の角膜反射像抽出部７が共軸系照明時の
角膜反射像の２次元位置を抽出し、さらにこれに接続さ
れた網膜反射像重心位置抽出部８で網膜反射像重心の２
次元位置が求められる。さらに第２の角膜反射像抽出部
９が非共軸系照明時の角膜反射像の２次元位置を抽出す
る。そして上記各角膜反射像と網膜反射像重心の２次元
位置から運転者の３次元の視線方向を算出する視線方向
算出部１０が設けられている。

【０００９】照明として、センサ部３のレンズ３１の光
軸と共軸の近赤外ＬＥＤ等で構成された共軸系照明１と
非共軸系の照明２が設置され、点灯制御のため照明制御
部１１が設けられている。照明制御部１１はその制御信
号によりまず共軸系照明１を点灯するとともに、非共軸
系の照明２を消灯する。これにより、ラインセンサ３
４、３６から眼球Ｍの画像信号がそれぞれ出力される。
引き続いて、照明制御部１１はつぎに非共軸系照明２を
点灯し共軸系照明１を消灯する。これにより、ラインセ
ンサ３４、３６から再び眼球Ｍの画像信号がそれぞれ出
力される。これらの各処理は全て全体制御部１２の制御
下で行われる。

【００１０】図２は上述した視線方向計測装置を用いた
車両の視線スイッチシステムの全体構成を示し、図３は
その車載レイアウトを示す。図２において、図１に示し
た視線方向計測装置が２０で示されている。視線方向計
測装置２０には視線停留判断部２３を介してＨＵＤ（ヘ
ッドアップディスプレー）表示制御部２４が接続されて
いる。ＨＵＤ表示制御部２４にはステアリングスイッチ
２２、およびコントロ−ラ切り替え部２７が接続されて
いる。

【００１１】いま、メインスイッチ２１が押されるとシ
ステムがＯＮして、視線方向計測装置２０の視線方向算
出部１０から運転者の視線方向が出力される。視線停留
判断部２３は出力された運転者の視線方向が、エアコ
ン、ワイパ−などの各操作対象項目（エリア）を表示す
る視線スイッチエリア２６のどのエリアを指しているか
を判断する。

【００１３】視線スイッチエリア２６上の運転者が注視
しているエリアが決定されると、ＨＵＤ表示制御部２４
はＨＵＤ表示部２５上に決定されたエリアの内容を表示
するとともに、コントロ−ラ切り替え部２７によりエア
コンコントロ−ラ２８ａ、オーディオコントロ−ラ２８
ｂ、ラジオコントロ−ラ２８ｃ、定速走行装置コントロ
−ラ２８ｄ、ヘッドライトコントロ−ラ２８ｅ、あるい
はワイパ−コントロ−ラ２８ｆを選択する項目切り替え
を行う。続いて、ステアリングスイッチ２２からのユ−
ザ入力判断による所定の制御対象の制御が行われる。

【００１４】図３に示されるように、メインスイッチ２
１とステアリングスイッチ２２はステアリング４２に取
り付けられる。また、センサ部３、照明１、照明２が運
転席前方の計器盤ボ−ド内パネルに設置され、ウインド
シ−ルド４１上にＨＵＤ表示部２５と視線スイッチエリ
ア２６が設定されている。視線スイッチエリア２６はさ
らに、図４の（ａ）にその詳細を示すように、各種コン
トローラの名称がＨＵＤ表示されているものである。ま
た、同図の（ｂ）にはステアリングスイッチ２２の詳細
が示されている。

【００１５】つぎに動作について説明する。運転者がス
テアリング４２に設けられたメインスイッチ２１を押す
と、全体制御部１２の制御が開始されて、照明制御部１
１の制御信号により照明１が点灯され、照明２は消灯す
る。この際、センサ部３においてレンズ３１は運転者の
少なくとも片目を含む領域を捕捉しており、照明１の照
射光が眼球Ｍの角膜表面および網膜で反射してセンサ部
３に入力する。

【００１６】センサ部３に入力した光信号はハ−フミラ
−３２により２光路に分かれ、各光路上に設置されてい
るシリンドリカルレンズ３３、３５を通してラインセン
サ３４、３６に結像する。図５は上記シリンドリカルレ
ンズによる光集束を示す。図の（ａ）は斜視図、（ｂ）
は横断面を示している。シリンドリカルレンズ３３、３
５は断面が平凸の長筒型レンズである。矢印Ａ、Ｂのよ
うに、ラインセンサ３４、３６の１ピクセルにはピクセ
ルを通りラインセンサ長手方向に直交方向の断面の入射
光信号の総和が結像する。

【００１７】ラインセンサ３４、３６の各ピクセルに
は、レンズ３１を通過してきた２次元の画像信号Ａ
（ｘ，ｙ）を各軸方向に積分した値が出力される。図６
に示すように、ラインセンサ３４の受光方向にｘ軸、ラ
インセンサ３６の方向にｙ軸をとってあり、画像信号Ａ
（ｘ，ｙ）に対応して各ラインセンサ３４、３６の出力
波形には中央に明るい網膜反射像を示す信号部分Ｓ１
と、その上にさらに明るい輝点Ｓ２として角膜反射像が
乗っている状態が現われる。図中、Ｄ１はラインセンサ
３４の、Ｄ２はラインセンサ３６の各波形を示してい
る。

【００１８】いま、各ラインセンサ３４、３６の出力
を、Ｉ1 （ｘ）、Ｉ1 （ｙ）とすると、

【数１】 である。

【００１９】視線方向計測装置２０においては図７に示
される流れで処理が行なわれる。まずステップ１０１に
おいて、照明制御部１１の制御信号により照明１が点灯
されると、ラインセンサ３４、３６から照明１による出
力が送出され、ステップ１０２において、各Ａ／Ｄ変換
器４、５によりデジタル信号の画像デ−タ列ＩD1
（ｘ）、ＩD1（ｙ）に変換される。そしてステップ１０
３で上記２種の画像デ−タ列がメモリ６に格納される。

【００２０】次にステップ１０４において照明制御部１
１の制御信号により照明１を消灯し、照明３が点灯され
る。この際の２次元画像信号をＡ’（ｘ，ｙ）として、
再びラインセンサ３４、３６から出力Ｉ2 （ｘ）、Ｉ2
（ｙ）が送出される。なお

【数２】 である。次のステップ１０５で、Ａ／Ｄ変換器４、５に
より画像デ−タ列ＩD2（ｘ）、ＩD2（ｙ）に変換され
る。そしてステップ１０６でメモリ６に格納される。上
記ラインセンサの出力は、図８の（ａ）、（ｂ）に示さ
れる。

【００２１】ステップ１０７においては、第１の角膜反
射像抽出部７で、上に得られた４信号ＩD1（ｘ）、ＩD2
（ｘ）、ＩD1（ｙ）、ＩD2（ｙ）の画像デ−タ列を用い
て、画像処理の論理演算の手法により、図８の（ｃ）の
ように、差分演算：［ＩD1（ｘ）−ＩD2（ｘ）］、［Ｉ
D1（ｙ）−ＩD2（ｙ）］を行う。この場合、各差分結果
が負になったら「０」を出力するものとする。なお、
（ｃ）は（ａ）、（ｂ）信号の差分で示してある。この
差分演算によって照明１の点灯による網膜反射像と角膜
反射像のみが強調された信号が得られる。この信号を Ｊ1 （ｘ）＝ＩD1（ｘ）−ＩD2（ｘ） Ｊ2 （ｙ）＝ＩD1（ｙ）−ＩD2（ｙ） とする。

【００２２】次にステップ１０８では、得られた差分信
号Ｊ1 （ｘ）、Ｊ2 （ｙ）の最大値を有する最も明るい
部分ｘ0 およびｙ0 を求める。すなわち、 ｘ0 ＝Ｊ1 （ｘ）の最大値ｘ ｙ0 ＝Ｊ2 （ｙ）の最大値ｙ として照明１の点灯時に生ずる角膜反射像の位置（ｘ0
，ｙ0 ）を得る。

【００２３】一般的に角膜反射像とは、図９の角膜反射
像生成の説明図に示すように、カメラＣで眼球を撮像す
ると、角膜表面での正反射光が捕捉され輝点として角膜
反射像が観測される。カメラＣと非共軸の光源Ｌ２（照
明２に相当）で照明したときには、角膜を構成する球
（中心をＯとする角膜球）上の点Ｐで正反射が発生し、
点Ｒに虚像の角膜反射像が発生する。また、特に光源が
カメラと共軸系に配置されている場合（照明１に相当）
は、これらの点は同一線上に乗りＰ’、Ｒ’、Ｏのよう
になる。 先に求めた角膜反射像（ｘ0 ，ｙ0 ）はカメ
ラのセンサ上の２次元位置である。本実施例ではセンサ
部３がカメラに相当する。

【００２４】次いでステップ１０９において、網膜反射
像重心位置抽出部８では、網膜反射像を求めるために図
８の（ｄ）のように、信号Ｊ1 （ｘ）上に「ｘ0 −ｋ≦
ｘ≦ｘ0 ＋ｋ」、信号Ｊ2 （ｙ）上に「ｙ0 −ｋ≦ｙ≦
ｙ0 ＋ｋ」のウインドウが設定され、このウインドウ内
でＪ1 （ｘ）、Ｊ2 （ｙ）が各々「しきい値Ｔｈ１」に
より２値化される。図８の（ｅ）のように、２値化によ
り抽出されるＪ1 （ｘ）≧Ｔｈ１、Ｊ2 （ｙ）≧Ｔｈ１
をそれぞれＫ1 （ｘ）、Ｋ2 （ｙ）とし、この領域が網
膜反射像を与える。なお、このＫ1 （ｘ）、Ｋ2 （ｙ）
は「０」、「１」のビット列としてストアされる。

【００２５】ここで、図１０はモデル化された一般的な
眼球構成を示す図であり、共軸系の照明の場合、瞳孔を
通過した光束が網膜上で反射し、センサ部のレンズ３１
の焦点位置にセンサ面を仮定するとこのセンサ面上で明
るく観察される。この瞳孔領域を網膜反射像と呼び、網
膜反射像の重心位置は瞳孔中心Ｑと一致する。センサ面
上の上記重心位置と焦点を結ぶ直線上に瞳孔中心Ｑは存
在するものであり、角膜球中心Ｏと瞳孔中心Ｑを通過す
る直線が視線方向となる。なお、球Ｋは角膜球中心Ｏを
中心としＯ−Ｑ間距離４．２ｍｍを半径とする球を、ま
た球Ｈは正反射点Ｐを中心とする角膜球半径７．８ｍｍ
による球を表している。

【００２６】このようにして網膜反射像が得られると、
ステップ１１０で、その網膜反射像Ｋ1 （ｘ）、Ｋ2
（ｙ）の重心位置が算出される。ここでは、まず網膜反
射像Ｋ1 （ｘ）、Ｋ2 （ｙ）の辺縁位置を特定するため
に、Ｋ1 （ｘ）、Ｋ2 （ｙ）のビット列をそれぞれフィ
ルタｆ１（０００１１１）（中心点を左から４番目の１
の位置とする）、フィルタｆ２（１１１０００）（中心
点を右から４番目の１の位置とする）により積和演算を
行う。

【００２７】すなわち、図８の（ｆ）のように、Ｋ1
（ｘ）をｘの小さい方向から順にｆ１によりフィルタリ
ングした場合、最初に出力が２以上になる点を網膜反射
像の左端ｘL 、Ｋ2 （ｙ）にｙの大きい方向から順にｆ
１によりフィルタリングした場合、最初に出力が２以上
になる点を網膜反射像の下端ｙL とする。また、Ｋ1
（ｘ）にｘの大きい方向から順にｆ２によりフィルタリ
ングした場合、最初の出力が２以上になる点を網膜反射
像の右端ｘR 、Ｋ2 （ｙ）にｙの小さい方向から順にｆ
２によりフィルタリングした場合、最初の出力が２以上
になる点を網膜反射像の上端ｙU とする。

【００２８】この結果より網膜反射像の重心位置（ｘG
，ｙG ）を、 ｘG ＝（ｘL ＋ｘR ）／２ ｙG ＝（ｙU ＋ｙL ）／２ として算出する。これが図８の（ｇ）に示される。

【００２９】このあとステップ１１１において、第２の
角膜反射像抽出部９で今度は照明２点灯時に生ずる角膜
反射像の位置が抽出される。ここでは、ステップ１０９
で設定したウインドウを利用して、照明２点灯時のライ
ンセンサ３４、３６の出力ＩD2（ｘ）、ＩD2（ｙ）の最
大値を有する点を探して、図８の（ｈ）のように、角膜
反射像の位置（ｘ00，ｙ00）が抽出される。

【００３０】そしてステップ１１２で、視線方向算出部
１０において、これまで求めた２次元位置デ−タ（ｘ0
、ｙ0 ）、（ｘG ，ｙG ）、（ｘ00，ｙ00）を用い
て、３次元の視線方向が算出される。

【００３１】図１１はカメラによる場合の視線方向の算
出原理を示す説明図である。照明とカメラＣの光軸が一
致している共軸系のとき、カメラ焦点Ｆ1 （＝光源Ｌ１
（照明１に相当）位置）とカメラＣ（ＣＣＤ面上）上の
角膜反射像β（ｘ0，ｙ0 ）を結ぶ直線は角膜球中心Ｏ
を通過する。したがって、角膜球中心Ｏは直線Ｆ1 −β
上にある。また実際上の瞳孔中心Ｑは、カメラ焦点Ｆ1
とＣＣＤ画像上の瞳孔中心α（ｘG ，ｙG ）を結ぶ直線
Ｆ1 −α上にある。

【００３２】カメラの焦点距離をｆ、焦点位置をＦ1
（０，０，０）とし、Ｘ軸、Ｙ軸、Ｚ軸のワ−ルド座標
系Ｆ1 −ＸＹＺを考え、非共軸系照明の光源Ｌ２（照明
２に相当）はＦ2 （ａ，ｂ，ｃ）にあって照明光が角膜
表面で正反射するものとする。その正反射点Ｐは、ＣＣ
Ｄ面上の光源Ｌ２による角膜反射像δ（ｘ00，ｙ00）と
カメラ焦点Ｆ1 を結ぶ直線Ｆ1 −δ上にある。すると、
直線Ｆ1 −δ上に仮正反射点Ｐを置き、角膜球半径であ
る７．８ｍｍの半径で球面Ｊを描けば、球面Ｊと直線Ｆ
1 −βの交点として角膜球中心Ｏの立体位置が定まる。

【００３３】角膜球中心Ｏと瞳孔中心Ｑ間の距離は約
４．２ｍｍであり、上に決定された角膜球中心Ｏを中心
とする半径４．２ｍｍの球面Ｋと、直線Ｆ1 −αの交点
として瞳孔中心Ｑの立体位置が定まる。これにより、点
ＯとＱを結ぶ線が視線方向として求められる。本実施例
では２次元のＣＣＤ面上で各像α、β、δの位置を求め
るかわりに、光路を分けて１次元ラインセンサ上に結ば
れる像から各位置を求めるものである。

【００３４】図２に戻って、視線停留判断部２３におい
ては、視線方向算出部１０で上述のようにして算出され
た視線方向が、視線スイッチエリア２６のどのエリア
（制御項目）を見ているかを判断する。この判断は、運
転者が処理サイクルの一定回数連続して同一エリアを見
ているか否かによって行なわれる。視線方向算出の１サ
イクルに３０ｍｓｅｃを要するとすれば、例えば連続し
て１０回の約０．３ｓｅｃの注視時間をもって、同一エ
リアを注視しているものと判断する。

【００３５】いま、視線停留判断部２３において、運転
者が図４の（ａ）に示す視線スイッチエリア２６のエア
コン・エリア（Ａ／Ｃ）を注視していると判断すれば、
その判断結果を受けてＨＵＤ表示制御部２４により同図
の（ｃ）に示すようにＨＵＤ表示部２５に現在のエアコ
ン設定温度が例えば２５℃と表示される。ＨＵＤ表示部
２５にエアコン設定温度が表示されると、図４の（ｂ）
に示すように、ステアリング・スイッチ２２のアップダ
ウンボタンが設定温度の上下調整を行うように機能す
る。

【００３６】運転者はＨＵＤ表示部２５を見ながら、ス
テアリングスイッチ２２のアップダウンボタンを操作し
て希望の設定温度にセットする。一定時間（例えば５秒
間）アップダウンボタンが操作されない場合は、操作が
終了したものと判断してスイッチ機能は全て停止する。
再び運転者が何等かの操作を必要とし、メインスイッチ
２１を押すと再び上述の処理が繰り返される。

【００３７】本実施例は以上のように構成され、眼球画
像を捕捉するセンサ部に１次元ラインセンサを使用した
ので、従来の２次元センサではスキャニング時間が１／
３０ｓｅｃであったのに対し、１次元ラインセンサでは
０．１μｓｅｃ以下（１０ＭＨｚ以上）と速く、サンプ
リンググレ−ドが高いので信号の入力時間が短くなり、
２次元方向のスキャニングも必要ないので信号処理時間
が大幅に短縮される。また、２次元センサでは通常８０
０×５００ピクセル程度に対し、１次元ラインセンサで
は２０４８ピクセル程度と、１次元軸方向のピクセル数
が多いため位置計測の分解能が高くなる。

【００３８】したがって、車両用視線スイッチとして用
いるとき、従来の２次元センサ方式では、運転者の視線
方向を検出するのに１回当たり４００ｍｓｅｃ程度を要
し、視線方向の検出回数確認も２回の０．８ｓｅｃが限
度であったが、本実施例の場合は視線方向の検出時間が
１回当たり約３０ｍｓｅｃと大幅に短縮されるので、視
線方向の検出回数確認も連続１０回可能になり１０回の
確認でも０．３ｓｅｃしか要しないので、視線スイッチ
の検出精度、信頼度が向上し、とくに車両の場合に期待
されるリアルタイム性も確保されるという効果を有す
る。

【００３９】図１２は視線方向計測装置のセンサ部にお
けるラインセンサの配置の変形例を示す。すなわち、先
の図６においては、画像信号Ｉ（ｘ，ｙ）の観測エリア
の縦横（ｙ軸、ｘ軸）に平行にラインセンサ３４、３６
が配置されているが、これに代わってラインセンサ３
４’、３６’が観測エリアのｘ軸、ｙ軸に対して斜めに
配置されている。これらラインセンサ３４’と３６’は
互いにその方向が直交している。これにより、ラインセ
ンサの配置上の制約が少なくなり、センサ部全体形状の
設計自由度が増す利点がある。この場合、ラインセンサ
間は上記のように互いの直交条件さえ満たせば傾斜の角
度は任意である。

【００４０】

【発明の効果】以上のとおり、本発明は、ハ−フミラ−
により入力光を２光路に分割し、各光路上に１次元ライ
ンセンサを設けたセンサ部を用いて、共軸系と非共軸系
の照明毎の各ラインセンサによる画像デ−タ列の差分演
算に基づいて各角膜反射像と網膜反射像重心の２次元位
置を求め、これらの２次元位置から運転者の視線方向を
算出するものとしている。すなわちスキャニング時間の
速い１次元ラインセンサを用いているので、サンプリン
ググレ−ドが高く信号の入力時間が短かい。このため、
２次元方向のスキャニングに比較して信号処理時間が大
幅に短縮され、車両の視線スイッチなどに適用されて検
出精度、信頼度が向上し、リアルタイム性も確保される
という効果を有する。

【図面の簡単な説明】

【図１】本発明の実施例を示す図である。

【図２】視線方向計測装置を用いた車両の視線スイッチ
システムの全体構成を示す図である。

【図３】視線スイッチシステムの車載レイアウトを示す
図である。

【図４】車載レイアウト主要部の詳細を示す拡大図であ
る。

【図５】シリンドリカルレンズによる光集束を示す説明
図である。

【図６】ラインセンサの出力信号例を示す図である。

【図７】視線方向計測装置における処理の流れを示すフ
ローチャートである。

【図８】処理の各段階における波形を示す図である。

【図９】角膜反射像生成の説明図である。

【図１０】モデル化された眼球構成を示す図である。

【図１１】視線方向の算出原理を示す説明図である。

【図１２】ラインセンサの配置の変形例を示す図であ
る。

【図１３】従来の非接触視線検出装置の構成を示す図で
ある。

【符号の説明】

１ 共軸系照明 ２ 非共軸系照明 ３ センサ部 ４、５ Ａ／Ｄ変換器 ６ メモリ ７ 第１の角膜反射像抽出部 ８ 網膜反射像重心位置抽出部 ９ 第２の角膜反射像抽出部と、 １０ 視線方向算出部 １１ 照明制御部 １２ 全体制御部 ２０ 視線方向計測装置 ２１ メインスイッチ ２２ ステアリングスイッチ ２３ 視線停留判断部 ２４ ＨＵＤ表示制御部 ２５ ＨＵＤ表示部 ２６ 視線スイッチエリア ２７ コントロ−ラ切り替え部 ２８ａ エアコンコントロ−ラ ２８ｂ オーディオコントロ−ラ ２８ｃ ラジオコントロ−ラ ２８ｄ 定速走行装置コントロ−ラ ２８ｅ ヘッドライトコントロ−ラ ２８ｆ ワイパ−コントロ−ラ ３１ レンズ ３２ ハ−フミラ− ３３、３５ シリンドリカルレンズ ３４、３６ １次元ラインセンサ

Claims (3)

【特許請求の範囲】
1. 【請求項１】 運転者の眼球に不可視光を照射しその反
   射光に基づいて運転者の視線方向を検出する車両用の視
   線方向計測装置において、レンズを備え前記反射光を入
   力してハ−フミラ−により２光路に分割してそれぞれの
   光路上に設けた１次元ラインセンサにより撮像する筐体
   収納型のセンサ部と、該センサ部の光軸と照射方向が一
   致する共軸系照明と、前記センサ部と非共軸な位置に設
   けた非共軸系照明と、前記共軸系照明および非共軸系照
   明のそれぞれに対する前記各１次元ラインセンサによる
   画像デ−タ列を格納する画像メモリと、前記画像デ−タ
   列間の差分演算を行い演算結果より共軸系照明の角膜反
   射像の２次元位置を抽出する第１の角膜反射像抽出部
   と、前記差分演算結果上に設定したウインドウ内の２値
   化により網膜反射像を抽出し、フィルタリングにより前
   記網膜反射像の上下左右端部を特定して網膜反射像重心
   の２次元位置を求める網膜反射像重心位置抽出部と、前
   記画像デ−タ列間の差分演算を行い演算結果より非共軸
   系照明の角膜反射像の２次元位置を抽出する第２の角膜
   反射像抽出部と、前記各角膜反射像と網膜反射像重心の
   ２次元位置より運転者の視線方向を算出する視線方向算
   出部と、前記各照明を制御する照明制御部とを有するこ
   とを特徴とする車両用視線方向計測装置。
2. 【請求項２】 前記１次元ラインセンサのそれぞれの前
   面にシリンドリカルレンズが設置されていることを特徴
   とする請求項１記載の車両用視線方向計測装置。
3. 【請求項３】 前記１次元ラインセンサが直交する２方
   向に向けて配置されていることを特徴とする請求項１ま
   たは２記載の車両用視線方向計測装置。