JPH105178A

JPH105178A - 視線入力装置

Info

Publication number: JPH105178A
Application number: JP8165483A
Authority: JP
Inventors: Hiroshi Watanabe; 博司渡辺; Hiroshi Saito; 浩斉藤; Norimasa Kishi; 則政岸; Masao Sakata; 雅男坂田
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1996-06-26
Filing date: 1996-06-26
Publication date: 1998-01-13
Anticipated expiration: 2016-06-26
Also published as: JP3735947B2

Abstract

(57)【要約】【課題】眼球のフレームアウトやピンぼけの発生を未
然に防ぎ、操作者の眼球位置の保持を容易にして、狭い
撮影視野と高い視線計測精度を容易に両立可能な、優れ
た視線入力装置を実現すること。【解決手段】操作者の視線方向や眼球位置を計測し、
該情報によってコンソールモニタに指示を与え、周辺機
器の制御を行う視線入力装置において、該コンソール上
あるいはその延長上、あるいは、操作者とコンソールモ
ニタの間の空間に、操作者が特定位置に目を置いて、特
定方向を見たときにのみ可視可能な表示を行い、視線検
知エリアは、該表示が見える位置とする構成とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、操作者の視線方向
を計測し、注視によって周辺機器（車両の場合、ナビゲ
ーションやラジオ、エアコン等）の制御を行う視線入力
装置に関する。

【０００２】

【従来の技術】従来、このような情報入力装置として
は、機械式スイッチや電気式スイッチ、電子式スイッチ
あるいは音声認識を利用したスイッチ等が知られてい
る。

【０００３】また、視線による情報入力の研究も行われ
ており、１眼レフカメラやビデオカメラ用として実用化
例が見られる。

【０００４】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の入力装置にあっては、以下のような問題点が
ある。（ａ）操作対象となるスイッチを目で探して手で操作す
るという一連の動作を必要とするため、例えば、車載さ
れたナビゲーションシステムの目的地入力のような複雑
な操作（スケール変換、スクロール、ポイント設定）で
は、地図情報を目で確認して手で操作し、結果を再び目
で確認するというループを数多く回すことになり、操作
性の観点からは必ずしも優れたマンマシン・インタフェ
ースとは言い難い。（ｂ）手の届く所にスイッチを設置しなければならない
ため、装置のデザイン上の制約が生じる。

【０００５】（ｃ）リモコンによる遠隔操作が普及して
いるが、例えば車載を考えた時、リモコンの設置場所に
ついて有効な案がないことや、車の振動や車線変更、カ
ーブ走行によってリモコン装置が不用意に移動する等の
問題がある。（ｄ）音声認識を利用した入力装置も提案されている
が、・指令の言葉を覚えておかなければならないため、多く
の操作を音声で行わせようとすると、指令語の忘却や錯
誤が発生する・使用者に発声を要求するため、人によっては好き嫌い
が生じる・スイッチ操作中は、言葉によるコミュニケーションが
阻害されるといった問題が発生する。

【０００６】先に述べたように、スイッチ操作には、ス
イッチ位置の確認やスイッチ動作状況の確認といった視
覚に関わる作業が、必ずといってよいほど発生する。従
って、視線のみで情報の伝達を行うことができれば、ス
イッチ操作者の意図を、手指の操作や音声を使うことな
しに制御装置に伝達可能である。また、視線を利用すれ
ば、一つの情報入力に一つの注視領域や一つの視線移動
を対応付けられるため、指令の忘却・錯誤といった問題
を解決できる。さらに、視線を利用すれば、言葉による
コミュニケーションを阻害しないため、上記各問題を解
決することができる。

【０００７】ところが、視線方向をインタフェースの道
具に使うには、一般に、高い計測精度が要求される。特
に、非接触で視線を測る場合、一般にカメラで顔の２次
元画像を捉え、眼球を抽出して視線方向を特定すること
が行われる。そこでは、使用者の動きを拘束しない広い
撮影視野と高い計測精度の両立が大きな課題である。す
なわち、高い計測精度を得ようとすると、狭い撮影視野
を観測するカメラを使わざるをえず、使用者は、眼球が
撮影視野から外れないように意識しなければならない。
結果的にマンマシン・インタフェースの使い勝手を阻害
する要因になってしまうという問題点がある。

【０００８】先に述べた１眼レフカメラやビデオカメラ
への応用例では、使用者の眼球は必ずファインダー内に
あるため、使用中に眼球がフレームアウトする心配がな
く、狭い撮影視野と高い計測精度を両立可能である。

【０００９】また、例えば特開平１−２７４７３６号公
報に、観察系の視野内に注視対象を表示する表示手段を
持たせる旨の記載があるように、操作者に注視位置を知
らせる工夫はなされている。

【００１０】しかし、完全非接触な視線計測手段を用い
て、視線入力装置を自由空間で利用しようとした場合、
先に述べたように操作者に注視位置を知らせるだけでは
不十分である。すなわち、カメラ視野からの眼球逸脱を
操作者に容易に知らせる、あるいは操作者の眼球がカメ
ラ視野のどこにあるのか、ピントの状態はどうかといっ
た情報を合わせて提示する必要がある。

【００１１】本発明は、このような従来の問題点に着目
してなされたもので、操作者の注視方向を非接触計測し
て、操作者の前方に設置されたコンソールモニタ上で、
視線により周辺機器の制御を行う視線入力装置におい
て、操作者の眼球位置が特定の場所でかつ特定の方向を
見た場合のみに、操作者に視認可能な表示を行い、該特
定の位置及び特定の方向を、視線検知の撮影視野とする
ことにより、操作者に表示が見えたときのみ視線入力が
可能にできる。したがって、眼球のフレームアウトやピ
ンぼけの発生を未然に防ぎ、操作者の眼球位置の保持を
容易にして、狭い撮影視野と高い視線計測精度を容易に
両立可能な、優れた視線入力装置を実現するものであ
る。

【００１２】

【課題を解決するための手段】本発明は上述の課題を解
決するために、操作者の視線方向や眼球位置を計測し、
該情報によってコンソールモニタに指示を与え、周辺機
器の制御を行う視線入力装置において、該コンソール上
あるいはその延長上、あるいは、操作者とコンソールモ
ニタの間の空間に、操作者が特定位置に目を置いて、特
定方向を見たときにのみ可視可能な表示を行い、視線検
知エリアは、該表示が見える位置とする構成とする。

【００１３】また、本発明は、操作者が特定位置に目を
置いて、特定方向を見た場合、すなわち操作者に表示が
見えたときに視線入力を開始する構成とする。

【００１４】また、本発明は、操作者が特定位置から外
れた場合、あるいは特定位置でも特定方向を見ていない
場合、すなわち、表示が見えなくなったときに視線入力
を終了する構成とする。

【００１５】また、本発明は、表示が操作者の視線方向
を検出するカメラ映像内の眼球位置のアライメントに関
わるターゲットマーカを表示する構成とする。

【００１６】また本発明は、表示が視線入力に関わるメ
ニューバーを表示する構成とする。

【００１７】

【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて詳細に説明する。

【００１８】（第１の実施の形態）図１及び図２は、本
発明の第１の実施の形態を示す図である。本実施の形態
は、本発明を、操作者の視線方向によって目的地入力が
可能な車載ナビゲーション装置に応用したものである。
ナビゲーションの目的地設定は複雑な操作を伴うため、
従来、車両停止中にしか行えない構成になっていた。本
装置においても、車両停止時にのみ動作する構成として
いる。

【００１９】図１は、本装置の全体構造を示し、図２
は、本装置に車載状態、および図３はナビゲーション画
面の構成を示す。

【００２０】装置の構成を説明すると、本装置は、操作
者の顔面領域を画像を入力するＣＣＤカメラ等の撮像手
段からなる画像入力部１０１、レンズ中心に画像入力部
１０１と共軸系をなすように配された近赤外ＬＥＤ等の
不可視光を発する照明１０２、照明１０２との相対関係
が既知の位置に置かれた照明１０２と同一仕様を有する
照明１０３、照明１０２，１０３の発光を制御する照明
発光制御部１０４、画像入力部１０１から入力した画像
信号をディジタルデータに変換するＡ／Ｄ変換器１０
５、入力された画像データを保持する画像メモリ１０
６、入力画像から網膜反射像（瞳孔位置）を抽出する瞳
孔抽出部１０７、瞳孔近傍から照明１０２の角膜反射像
を抽出する角膜反射像抽出部１０８、角膜反射像の抽出
結果から、角膜反射像への合焦度合を算出する合焦判断
部１０９、眼球の抽出結果に応じて視線入力を開始する
か否かを判断する視線入力開始判断部１１０、抽出した
瞳孔と角膜反射像の位置から注視位置を算出する注視位
置算出部１１１、ナビゲーション画面の特定位置を注視
しているか否かを判定する注視判定部１１２、計測に先
立って行う校正作業のため、校正用視標を画面の特定位
置に描画する校正用視標制御部１１４、校正結果から、
注視位置算出に必要な変換係数を算出する校正データ算
出部１１５、およびそのデータを記憶しておく校正デー
タ記憶部１１６、校正開始を合図する校正開始スイッチ
１１３、注視判定結果に応じてナビゲーション画面の表
示を制御するナビゲーション地図制御部１１７、ナビ表
示を行うナビ表示画面１１８、および、装置全体の制御
を行う全体制御部１１９、車両操作者１３０とからな
る。さらに、特定の位置、方向からのみ視認が可能な表
示を行うための虚像表示部１２０が設けられている。虚
像表示部１２０は、全体制御部１１９の信号を受けて表
示を行う表示体１２１と、特定方向に投影するための光
学系１２２、ハーフミラー１２３からなる。

【００２１】次に、図２の構成を説明する。図２は本発
明の車載状態を示すものである。構成を説明すると、ナ
ビゲーション用地図画面を表示するナビ表示画面１１
８、ナビ表示画面１１８近傍に設置された、校正開始を
指示する校正開始スイッチ１１３、ナビ表示画面１１８
の下方に設置された、画像入力部１０１、照明１０２、
照明１０３からなる。

【００２２】さらに、図３にナビ表示画面１１８の例を
示す。ナビ表示画面１１８には、各種アイコンが表示さ
れている。各アイコンの状態は、ナビゲーション制御の
状態によって異なるため、詳しくは作用の項で説明す
る。

【００２３】以下、本発明の作用を説明する。本装置
は、本発明を車両に搭載し、車載ナビゲーション装置の
目的地設定に利用したものである。ナビゲーションの目
的地設定は複雑な操作を伴うため、従来、車両停止中に
しか行えない構成になっていた。本装置においても、車
両停止時にのみ動作する構成としている。（ａ）視線方向の計測には、予め校正作業が必要とな
る。すなわち、操作者１３０は、ナビ表示画面１１８の
近傍に設置された校正開始スイッチ１１３を押して校正
を開始する。校正時には、ナビ表示画面１１８上に図４
−（１）に示すような視標がひとつずつ順次呈示され
る。操作者１３０は、その間、視標を注視し続ける。

【００２４】（ｂ）表示体１２１からは、虚像用の表示
像が投影され、光学系１２２に入射する。光学系１２２
からの表示像はハーフミラー１２３により反射され、操
作者１３０へ向けて投影される。したがって、操作者１
３０からは、あたかも表示像が、ナビ表示画面１１８上
に表示されているように虚像が視認できる。ここで表示
する虚像は、円や四角形のような単純図形でよい。この
虚像を視認可能なエリアを、視線検知を行うための画像
入力部１０１の撮影視野と同様のエリアに設定すること
により、操作者１３０の眼球位置が画像入力部１０１の
撮影視野にある場合、ナビ表示画面１１８上に虚像が視
認でき、撮影視野に操作者１３０の眼球があるかどうか
の判断が直感的に行える。また、ここではナビ表示画面
１１８上に表示したが、光学系１２２及びハーフミラー
１２３の配置とによって、虚像の表示距離を変えること
も可能である。

【００２５】（ｃ）画像入力部１０１からは、操作者１
３０の眼球を含む顔画像が入力され、Ａ／Ｄ変換器１０
５でディジタルデータに変換されて画像メモリ１０６に
ストアされる。この時、照明１０２が点灯し照明１０３
が消灯した時の画像Ａと、照明１０３が点灯し照明１０
２が消灯した時の画像Ｂが入力される。

【００２６】（ｄ）瞳孔抽出部１０７において、画像Ａ
から画像Ｂの差分演算を行う。画像Ａでは網膜からの反
射光により瞳孔が明るく光って観測され、画像Ｂでは瞳
孔が暗く観測されるため、両者の差分結果は、瞳孔領域
が強調されたものとなる。差分画像を固定しきい値で２
値化し、さらにラベリング処理を施し、領域の番号付け
を行う。差分画像の中には、網膜反射像の他に、例え
ば、眼鏡レンズ反射像、眼鏡フレーム反射像、外部照明
の変動で生じた顔の一部等、様々なノイズが含まれる可
能性がある。これらのノイズは、一般に不定形状、かつ
面積も不定であるため、予め予想される面積の円もしく
は楕円として観測される網膜反射像と識別可能である。
ここでは、領域の面積と形状による識別を行う。ラベリ
ングの結果得られた各領域の面積Ｒｉを、予め決めてお
いたしきい値Ｓ１，Ｓ２（Ｓ１＜Ｓ２）と比較して、Ｓ
１＜Ｒｉ＜Ｓ２を満足する領域のみ抜き出す。ここで、
Ｓ１，Ｓ２は、カメラの撮像倍率から推定した、予想さ
れる瞳孔径（直径２〜８ｍｍの瞳孔が、面積何画素の領
域として観測されるか）にセットしておけばよい。眼鏡
レンズ反射像も円形領域として観測されるが、例えば、
レンズの絞りを絞ることによって、網膜反射像の面積よ
り眼鏡レンズ反射像の面積が小さくなるようにしておけ
ば、面積により両者を識別可能である。次に、残った領
域に対して、その外接長方形に対する領域面積の比率Ｆ
を計算する。網膜反射像は円または楕円形状で観測され
るため、比率Ｆがある一定値Ｆｔｈ以上であるのに対
し、例えば眼鏡フレーム反射は、フレームに沿った細長
い領域になるため、仮に網膜反射像と同等の面積を有し
ていても、Ｆが小さくなり識別可能である。以上の識別
の結果、残った領域を網膜反射像に決定する。なお、抽
出した網膜反射像の面積Ｓは記憶しておく。以上までの
処理の流れを簡単に図８に示す。

【００２７】（ｅ）この時、瞬きやフレームアウトによ
って網膜反射像が発見されない時は、網膜反射像が発見
されないことを示す表示を行う。この時は、再びステッ
プ（ｂ）に戻って処理が繰り返される。

【００２８】（ｆ）角膜反射像抽出部１０８において、
抽出した網膜反射像の重心位置（ｘｇ，ｙｇ）を求め、
差分画像上で、重心位置を中心とし、網膜反射像を包含
する小領域Ａを設定する。小領域Ａ内で最大輝度を有す
る点を角膜反射像とする。

【００２９】（ｇ）合焦判断部１０９において、抽出し
た角膜反射像の輝度値Ｉを求め、小領域Ａ内をα・Ｉ
（０＜α＜２）で２値化する。差分画像の画素値がα・
Ｉより大きければ１を、小さければ０を与えることに
し、２値化の結果得られるα・Ｉより明るい画素の個数
Ｋを算出する。もし、差分画像が焦点の合った画像であ
るならば、角膜反射像の輝度ピークは鋭いものとなり、
Ｋは小さい値となる。一方、差分画像が焦点のぼけた画
像であるならば、角膜反射像の輝度ピークはゆるやかな
ものとなり、Ｋは大きい値となる。もし、Ｋが予め決め
ておいた値より大きかったら、入力した画像はピントの
ボケた画像であると判断する。ピントがボケていると判
断された時は、ステップ（ｃ）で算出した網膜反射像の
面積Ｓを参照する。もし、Ｓが予め設定しておいたしき
い値Ｓｔｈ１より大きい時は、操作者がカメラに近づき
過ぎ（後ピン）であると判定し、逆にＳが予め設定して
おいたしきい値Ｓｔｈ２（Ｓｔｈ１＞Ｓｔｈ２）より小
さい時は、操作者がカメラから遠ざかり過ぎ（前ピン）
であると判定する。

【００３０】（ｈ）眼球に合焦した画像が得られ、かつ
瞳孔重心が画像中央付近に観測された時、校正データ算
出部１１５において、画像上の瞳孔重心（ｘｇ，ｙ
ｇ）、角膜反射像座標（Ｐｘ，Ｐｙ）から、２個のパラ
メータδｘ＝Ｘｇ−ｐｘ、δｙ＝Ｙｇ−Ｐｙを求める。

【００３１】（ｉ）瞳孔抽出部１０７、合焦判断部１０
９では、さらに、瞳孔重心（ｘｇ，ｙｇ）と角膜反射像
への合焦の有無を示す表示パターンを作成し、ナビ表示
画面１１８に表示する。表示パターン例を図４−（１）
に示す。図４−（１）では、校正用視標位置を網膜反射
像の重心位置に見立て、その外部に移動フレームを設け
て、該移動フレーム内の校正用視標位置によって、視野
内の眼球位置を表示している。また、同図に示すよう
に、角膜反射像に合焦している時は校正用視標を塗りつ
ぶしパターンにし、角膜反射像に合焦していない時は、
白抜きパターンにして表示する。さらに、前ピンの時は
視標を小さく、後ピンの時は視標を大きく表示する。す
なわち、フレームアウトの場合は虚像が視認できなくな
ることで、判定できるうえ、フレーム内の場合は、眼球
が撮影視野のどこにあるかに加え、眼球にピントが合っ
ているか否か、前ピンか後ピンかが表示されるため、操
作者自身が、眼球のピントのぼけを確認でき、状況に応
じて頭部位置を移動して定位置に復帰することが可能と
なる。

【００３２】（ｊ）（ａ）〜（ｈ）を、同一視標につい
て、校正データがＮ回得られるまで行う。この結果得ら
れたＮ個のδｘ，δｙをそれぞれ平均し、視標ｉに対す
る校正結果としてδｘｉ，δｙｉを得、校正データ記憶
部１１６に記憶しておく。

【００３３】（ｋ）用意された全ての視標（本実施の形
態では、図４−（２）に示すように水平方向５点、垂直
方向５点）について（ａ）〜（ｈ）のループが終了する
と、水平方向について算出された校正データδｘのグル
ープと、垂直方向について算出された校正データδｙの
グループ各々に対し、最小２乗法によって、視標位置と
δｘもしくはδｙの変換式を決定する。すなわち、一般
に視線の偏角が小さい領域においては、δｘもしくはδ
ｙの値と視標位置とが１次式ｙ＝ａｘ＋ｂで既述される
ものと考えてａ，ｂを決定する。

【００３４】以上の処理によって校正作業が完了する。
なお、この校正作業は、毎回行う必要はなく、１度行っ
ておけばよい。得られた校正データを保存しておけば、
後で再利用可能である。

【００３５】以下、実際の目的値入力の動作を説明す
る。（ｌ）ナビの目的地入力が必要になった時、ナビ表示画
面１１８に設けられた目的地入力開始スイッチを押す
と、ナビ表示画面１１８が図３に示すようになり、目的
地入力を受け入れる状態となる。

【００３６】（ｍ）以下、目的地入力の手順を説明す
る。（ｍ−１）地図表示のスケール変換を行って、ナビ表示
画面１１８に目的地が表示された状態とする。この手続
きは以下のように行えばよい。（ｍ−２）目的地入力開始スイッチ（図示せず）が押さ
れると、その後連続して（ｂ）〜（ｈ）の処理が行わ
れ、δｘ，δｙが随時算出される。（ｍ−３）（ｍ−２）と並行して、（ｂ）〜（ｈ）によ
って、画面内の瞳孔位置、角膜反射像への合焦度合が算
出され、ナビ表示画面１１８の左上方へ眼球状態表示が
なされる。（ｍ−４）算出されたδｘ，δｙは、その都度（ｉ）で
求めた変換式によってナビ表示画面１１８上の位置座標
に変換され、算出された位置に、図３に示す注視領域表
示マーカがスーパーインポーズされる。（ｍ−５）操作者１３０がナビ表示画面１１８の下方に
設定された広域表示マーカまたは詳細表示マーカを注視
すると、注視領域表示が該マーカ上に移動する。（ｍ−６）ここで、例えば広域表示マーカを注視して暫
く（３００ｍｓｅｃ程度）目を閉じると、広域表示マー
カが選択確定される。これは、１回の注視位置算出に１
００ｍｓｅｃを要するものとした時、３回連続して眼球
が発見されなかったことにより判定すればよい。通常の
瞬きは約１００ｍｓｅｃで完了するため、不用意な瞬き
によって選択確定が起こる危険性はない。広域表示マー
カが選択確定されると、ナビ表示画面１１８に表示され
た地図の縮尺が１ステップ変更され、再表示される。（ｍ−７）一般に（ｍ−６）のステップを複数回行え
ば、目的地を画面内に表示することができる。（ｍ−８）次に、ナビ表示画面１１８の４辺上に設定さ
れたスクロールマーカを注視し、暫く（３００ｍｓｅｃ
程度）目を閉じることによって、スクロール方向が選択
確定され、所定方向への画面スクロールが行われる。（ｍ−９）（ｍ−８）ステップを複数回行って、目的地
近傍が画面中央に表示されるようにする。（ｍ−１０）目的地近傍が画面中央に表示されたら、詳
細表示マーカを選択確定して画面を拡大表示する。この
ステップを複数回繰り返し、真の目的地が画面に詳細表
示されるようにする。（ｍ−１１）真の目的地が画面に詳細表示されたら、操
作者１３０は、自分が設定したい目的地を注視し、注視
領域表示が目的地を指した時、約３００ｍｓｅｃの閉眼
によって目的地を確定する。なお、（ｍ）のステップ全
てにおいて、常に、フレームアウトの場合は虚像が視認
できなくなることで判定できるうえ、フレーム内の場合
は眼球が撮影視野のどこにあるかに加え、眼球にピント
が合っているか否かが表示されるため、操作者自身が、
眼球のピントのぼけを確認でき、状況に応じて頭部位置
を移動して定位置に復帰することが可能となる。

【００３７】以上、（ｍ−１）〜（ｍ−１１）の処理概
要を、ナビ表示画面の内容とともに図５に示す。（ｎ）目的地が確定すると、ナビゲーション地図制御部
１１７において、現在地から目的地までの最適経路が計
算され、地図上にセットされる。（ｏ）ナビ表示画面１１８が（ｌ）の初期状態に戻り、
目的地に向けたナビゲーションが開始される。（第２の実施の形態）次に、本発明の第２の実施の形態
を説明する。図６は、第１の実施の形態に示したナビゲ
ーション制御装置において、虚像表示部１２０は、全体
制御部１１９及び、合焦判断部１０９、瞳孔抽出部１０
７よりの信号を受けて表示を行うように構成されたもの
である。この構成により、表示体１２１の虚像用表示像
として、構成用視標を表示するようにしたものである。
この時、眼球アライメントの表示は図７に示すようなも
のでも良い。さらに、目的地入力時の注視領域マーカを
表示してもよい。この表示像は虚像で、ナビ表示画面上
に重ね合わせて表示されるため、同様の効果が得られ
る。また、操作者のみに見えるため、他の乗員には、地
図のみを視認させられるという効果もある。

【００３８】（第３の実施の形態）次に、本発明の第３
の実施の形態を説明する。図８は、第１の実施の形態に
示したナビゲーション制御装置において、虚像表示部１
２０が、全体制御部１１９及び、ナビゲーション地図制
御部１１７よりの信号を受けて表示を行うように構成さ
れたものである。この構成により、虚像用の表示像とし
て、図９に示すような、メニューバーを表示するように
したものである。したがって、操作者は、メニューバー
が見えた場合に、眼球の位置が撮影視野内に入ったこと
を確認できるため、スムーズにメニューの操作に入るこ
とができるという効果がある。

【００３９】

【発明の効果】以上説明してきたように、本発明による
と、操作者の注視方向を非接触計測して、操作者の前方
に設置されたコンソールモニタ上で、視線により周辺機
器の制御を行う視線入力装置において、操作者の眼球位
置が特定の場所でかつ特定の方向を見た場合のみに、操
作者に視認可能な表示を行い、該特定の位置及び特定の
方向を、視線検知の撮影視野とすることにより、操作者
に表示が見えたときのみ視線入力が可能にできる。

【００４０】したがって、操作者が、眼球位置の保持が
容易になって、狭い撮影視野における高い視線計測精度
を安定して容易に発揮できる優れた視線入力装置を実現
可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の構成を示すブロッ
ク図である。

【図２】本発明の第１の実施の形態の構成を示すブロッ
ク図である。

【図３】本発明における画素の表示例である。

【図４】（１）は本発明の校正用視標の表示例、（２）
は本発明の校正用視標のレイアウト図である。

【図５】目的地設定の処理を示すフローチャートであ
る。

【図６】本発明の第２の実施の形態の構成を示す図であ
る。

【図７】第２の実施の形態における眼球位置合致表示例
である。

【図８】本発明の第３の実施の形態の構成を示す図であ
る。

【図９】第３の実施の形態におけるメニュー画面の表示
例である。

【図１０】本発明における網膜反射像の抽出処理の流れ
を示す図である。

【符号の説明】

１，２，３，４スクロールマーカ１０１画像入力部１０２，１０３照明１０４照明発光制御部１０５Ａ／Ｄ変換器１０６画像メモリ１０７瞳孔抽出部１０８角膜反射像抽出部１０９合焦判断部１１０視線入力開始判断部１１１注視位置算出部１１２注視判定部１１３校正開始スイッチ１１４校正用視標制御部１１５校正データ算出部１１６校正データ記憶部１１７ナビゲーション地図制御部１１８ナビ表示画面１１９全体制御部１２０虚像表示部１２１表示体１２２光学系１２３ハーフミラー１３０操作者（運転者）２０１ウィンドシールド２０２ステアリング

───────────────────────────────────────────────────── フロントページの続き (72)発明者坂田雅男神奈川県横浜市神奈川区宝町２番地日産自動車株式会社内

Claims

【特許請求の範囲】

【請求項１】操作者の視線方向や眼球位置を計測し、
該情報によってコンソールモニタに指示を与え、周辺機
器の制御を行う視線入力装置において、該コンソール上あるいはその延長上、あるいは、操作者
とコンソールモニタの間の空間に、操作者が特定位置に
目を置いて、特定方向を見たときにのみ可視可能な表示
を行い、視線検知エリアは、該表示が見える位置とする
ことを特徴とする視線入力装置。
【請求項２】請求項１に記載の視線入力装置におい
て、操作者が特定位置に目を置いて、特定方向を見た場合、
すなわち操作者に表示が見えたときに視線入力を開始す
ることを特徴とする視線入力装置。
【請求項３】請求項１に記載の視線入力装置におい
て、操作者が特定位置から外れた場合、あるいは特定位置で
も特定方向を見ていない場合、すなわち、表示が見えな
くなったときに視線入力を終了することを特徴とする視
線入力装置。
【請求項４】請求項１に記載の視線入力装置におい
て、該表示は操作者の視線方向を検出するカメラ映像内の眼
球位置のアライメントに関わるターゲットマーカを表示
することを特徴とする視線入力装置。
【請求項５】請求項１に記載の視線入力装置におい
て、該表示は視線入力に関わるメニューバーを表示すること
を特徴とする視線入力装置。