JPH09251539A

JPH09251539A - 視線計測装置

Info

Publication number: JPH09251539A
Application number: JP8061259A
Authority: JP
Inventors: Hiroshi Saito; 浩斎藤
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1996-03-18
Filing date: 1996-03-18
Publication date: 1997-09-22

Abstract

(57)【要約】【課題】画像処理により計測対象者の眼球特徴を正確か
つ確実に抽出して高い精度で視線方向を計測できる視線
計測装置を提供する。【解決手段】第１発光手段Ｂは撮像手段Ａの光軸上で計
測対象者の眼球部に向けて発光し、また、眼球部付近を
第１発光手段Ｂよりも明るく照射する第２発光手段Ｃが
撮像手段Ａの光軸からずれた位置で眼球部に向けて発光
する。第１発光手段Ｂと第２発光手段Ｃとを交互に発光
させて撮像手段Ａで眼球部を撮像した第１画像と第２画
像を用いて、演算手段Ｄで２つの画像の差分画像を算出
し、その差分画像より網膜反射像及び角膜反射像を抽出
して計測対象者の視線方向を求める。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、計測対象者の画像
を処理して視線方向を計測する視線計測装置に関する。

【０００２】

【従来の技術】一般的に、機器（例えば車両に搭載され
るナビゲーション装置、ラジオ、エアコンなど）の情報
入力手段として用いられるものには、例えば、機械式ス
イッチや電気式スイッチ、電子式スイッチあるいは音声
認識を利用したスイッチなどが知られている。これらの
スイッチを情報入力手段に用いた機器にあっては、次の
ような問題があった。

【０００３】複雑な入力操作を行う場合、一連の動作
（スイッチ位置の確認、操作、及び動作状況の確認等）
を何回も繰り返すことになり、操作が煩雑である。操作
者の手の届く所にスイッチを配置しなければならないた
め、機器のデザインに制約が生じる。昨今の機器ではリ
モコンによる遠隔操作が一般的になっているが、例えば
車載機器の場合、リモコンを置く適当な場所が車内に乏
しい。

【０００４】音声認識を利用したスイッチの場合、多く
の操作を行う時などに指令語の忘却や錯誤が発生する虞
がある。また操作者によっては発声を嫌う場合もある。
更に音声によるスイッチ操作中は、言葉によるコミュニ
ケーションが阻害される。これらの問題を解決する手段
として、情報入力手段に視線を用いることが有効であ
る。なぜならば、上述した従来の情報入力手段における
スイッチ操作には、スイッチ位置の確認やスイッチ動作
状況の確認といった視覚に関わる作業が必ずといってよ
いほど発生する。従って、視線のみで情報の伝達（入
力）を行うことができれば、操作者の意図を手などの操
作や音声を使うことなしに機器の動作制御部などに伝達
可能であり、複雑な操作やデザイン上の制約が軽減でき
るためである。また、視線を利用すれば、１つの情報入
力に対して、１つの注視領域や１つの視線移動が対応付
けられるため、指令語の忘却・錯誤といった問題を解決
できる。更に、視線を利用すれば、言葉によるコミュニ
ケーションを阻害することもない。

【０００５】視線を情報入力手段として利用した従来の
技術には、例えば、１眼レフカメラやビデオカメラなど
において、操作者（計測対象者）の視線方向を計測し、
計測された視線方向に応じて機器の制御を行うものが実
用化されている。

【０００６】

【発明が解決しようとする課題】しかしながら、視線を
情報入力手段として使うためには、一般に、視線方向の
計測に高い精度が要求される。特に、車載装置に適用す
る場合など操作者に非接触で視線を測る必要がある時に
は、例えば、カメラ等で操作者の顔の２次元画像を捉
え、眼球像を抽出して視線方向を特定することが行われ
る。この場合、視線方向を算出するのに必要な眼球特徴
（角膜反射像や網膜反射像など）をいかに正確に抽出す
るかが課題となる。特に、瞳孔部を画像より抽出する時
には、瞳孔部と周囲の瞼等との輝度にあまり差がないた
め瞳孔部の抽出が難しかった。

【０００７】本発明は上記の点に着目してなされたもの
で、計測対象者の眼球特徴を正確かつ確実に抽出して高
い精度で視線方向を計測できる視線計測装置を提供する
ことを目的とする。

【０００８】

【課題を解決するための手段】このため本発明のうちの
請求項１に記載の発明では、図１の実線に示すように、
撮像手段Ａによって撮像された計測対象者の眼球部の画
像を処理して視線方向を計測する視線計測装置におい
て、前記眼球部に向けて発光し、前記撮像手段Ａの光軸
上に設けられた第１発光手段Ｂと、前記眼球部に向けて
発光し、前記撮像手段Ａの光軸からずれた位置に設けら
れ、且つ、前記眼球部付近を前記第１発光手段Ｂよりも
明るく照射する第２発光手段Ｃと、前記第１発光手段Ｂ
だけが発光した時に前記撮像手段Ａで撮像された第１画
像と前記第２発光手段Ｃだけが発光した時に前記撮像手
段Ａで撮像された第２画像との差分画像を算出し、該差
分画像より抽出した眼球特徴に基づいて前記計測対象者
の視線方向を求める演算手段Ｄとを備えて構成されたこ
とを特徴とする．かかる構成によれば、第１発光手段Ｂ
が発光すると、該光の網膜での反射光が撮像手段Ａに入
射して瞳孔部が他の部分より明るく写された網膜反射像
を含む第１画像が得られる。一方、第２発光手段Ｃが発
光すると、該光の網膜での反射光が撮像手段Ａに入射し
ないため瞳孔部が他の部分より暗く写された第２画像が
得られる。また、第２発光手段Ｃは眼球部付近を第１発
光手段Ｂよりも明るく照射するため、第２画像の瞳孔部
を除く他の部分は第１画像の同一部分より明るい画像と
なる。この第１画像及び第２画像を用いて、演算手段Ｄ
では、差分画像を算出して眼球特徴を抽出し、その眼球
特徴に基づいて計測対象者の視線方向が求められる。

【０００９】請求項２に記載の発明では、請求項１に記
載の発明における前記第２発光手段Ｃの具体的な構成と
して、輝度が前記第１発光手段Ｂの輝度より高く、且
つ、前記眼球部までの距離が前記第１発光手段Ｂから前
記眼球部までの距離に略等しいことを特徴とする。請求
項３に記載の発明では、請求項１に記載の発明における
前記第２発光手段Ｃの他の具体的な構成として、輝度が
前記第１発光手段Ｂの輝度に略等しく、且つ、前記眼球
部までの距離が前記第１発光手段Ｂから前記眼球部まで
の距離より短いことを特徴とする。

【００１０】かかる構成によれば、第２発光手段Ｃが発
光した時の眼球付近の照度が、第１発光手段Ｂが発光し
た時の眼球付近の照度よりも高くなる。請求項４に記載
の発明では、請求項１〜３のいずれか１つに記載の発明
において、図１の破線に示すように、前記演算手段Ｄ
が、前記差分画像より網膜反射像を抽出する網膜反射像
抽出部Ｄ₁と、前記差分画像より角膜反射像を抽出する
角膜反射像抽出部Ｄ₂と、抽出された前記網膜反射像及
び前記角膜反射像に基づいて前記計測対象者の視線方向
を算出する視線方向算出部Ｄ₃とを備えて構成されるこ
とを特徴とする。

【００１１】かかる構成によれば、演算手段Ｄにおい
て、算出された差分画像より網膜反射像及び角膜反射像
が抽出され、その網膜反射像及び角膜反射像に基づいて
計測対象者の視線方向が算出される。

【００１２】

【発明の効果】このように本発明によれば、請求項１〜
３のいずれか１つに記載の発明は、第１発光手段を撮像
手段の光軸上に配置し、第２発光手段を撮像手段の光軸
からずれた位置に配置し、第２発光手段が第１発光手段
よりも計測対象者の眼球部付近を明るく照射するように
し、第１発光手段及び第２発光手段がそれぞれ発光した
時に得られた画像より差分画像を求めることによって、
差分画像中の眼球特徴が明確に表され、差分演算時に発
生する可能性のあるノイズが低減される。従って、差分
画像から眼球特徴を正確かつ確実に抽出することができ
視線計測の精度を向上させることが可能である。また、
差分画像のノイズが減少するので眼球特徴を抽出すると
きの演算量が減少して視線計測速度の高速化を図ること
ができる。

【００１３】また、請求項４に記載の発明は、演算手段
において眼球特徴として網膜反射像及び角膜反射像を差
分画像より抽出して視線方向を求める場合であっても、
従来抽出が難しかった網膜反射像が正確かつ確実に抽出
できるため、高い精度で視線計測を行うことが可能であ
る。

【００１４】

【発明の実施の形態】以下、本発明の実施形態を図面に
基づいて説明する。ここでは、例えば、車両に搭載され
るナビゲーション装置の入力手段として本実施形態の視
線計測装置を適用し、運転者の視線方向によって目的地
設定などの入力操作を可能にした場合について説明す
る。

【００１５】図２は、第１実施形態の全体構成を示す図
である。図２において、本装置は、計測対象者となる運
転者ｄの視線を計測し、その視線方向に応じて装置を制
御する信号を発生する視線計測部１と、ナビゲーション
地図などを表示するナビゲーション表示部３とを備えて
構成される。視線計測部１は、運転者ｄの顔面領域の画
像を入力する、例えば、ＣＣＤカメラ等を用いた撮像手
段Ａとしての画像入力部13と、画像入力部13の光軸上で
共軸系をなすように配置された、例えば、近赤外ＬＥＤ
等の不可視光を発する第１発光手段Ｂとしての第１照明
11と、第１照明11より高輝度で発光し、画像入力部13の
光軸からずれた位置で且つ運転者ｄまでの距離が第１照
明11から運転者ｄまでの距離と略等しい位置に配置され
た第２発光手段Ｃとしての第２照明12と、第１照明11及
び第２照明12の発光を制御する照明発光制御部16と、画
像入力部13からの画像信号をディジタルデータに変換す
るＡ／Ｄ変換器14と、Ａ／Ｄ変換された画像データを保
存する画像メモリ15と、視線入力開始を合図する視線入
力開始スイッチ17と、校正開始を合図する校正開始スイ
ッチ18と、視線入力開始スイッチ17や校正開始スイッチ
18の出力に従って画像データを処理して視線方向や校正
データを求め装置を制御する信号を生成する演算手段Ｄ
としてのマイクロコンピュータ20と、マイクロコンピュ
ータ20の演算結果を記憶するメモリ19とで構成される。

【００１６】ナビゲーション表示部３は、ナビゲーショ
ン地図等を表示するナビゲーション表示画面31と、視線
計測部１のマイクロコンピュータ20から出力される制御
信号によりナビゲーション表示画面31の地図等の表示を
制御するナビゲーション地図制御部32とで構成される。
図３は、本装置の車載状態を示す図である。

【００１７】図３のように、運転者ｄが目視可能な位
置、例えば、ステアリングの脇でウインドシールド下方
の位置にナビゲーション表示画面31が設置される。その
ナビゲーション表示画面31の近傍には、視線入力開始ス
イッチ17及び校正開始スイッチ18が配置され、また、ナ
ビゲーション表示画面31の下方には、画像入力部13及び
照明11が共軸系に配置され、その共軸からずれた位置に
照明12が配置される。

【００１８】マイクロコンピュータ20は、図４の機能ブ
ロック図に示すように、画像メモリ15に保存された画像
データに基づいて運転者ｄの、例えば、網膜反射像や角
膜反射像などの眼球特徴を抽出する網膜反射像抽出部21
及び角膜反射像抽出部22と、抽出した眼球特徴から運転
者ｄの注視位置（視線方向）を算出する視線方向算出部
Ｄ₃としてのパラメータ算出部23及び注視位置算出部24
と、算出した注視位置より運転者ｄがナビゲーション表
示画面31の予め定めた所定位置を注視しているか否かや
注視の継続状態を判断して表示画面制御部32を制御する
信号を生成する注視判定部25とを備える。また、視線計
測に先立って行われる後述する校正作業のため、校正用
視標をナビゲーション表示画面31の所定位置に表示させ
る制御信号を表示制御部32に出力する校正用視標制御部
26と、校正用視標が表示された時の画像データを基に校
正データを算出してメモリ19に記憶させる校正データ算
出部27とを有し、更に、視線入力開始スイッチ17及び校
正開始スイッチ18の出力に応じて照明発光制御部16やＡ
／Ｄ変換器14などを制御する全体制御部28を備える。

【００１９】次に、第１実施形態の動作を説明する。こ
こでは、車載したナビゲーション装置の目的地設定を行
う場合について考える。尚、ナビゲーション装置の目的
地設定は、複雑な操作を伴うため、従来より車両停止中
にしか行えない構成となっており、本実施形態において
も車両停止時のみ動作する構成とした。まず、視線計測
部１の校正動作を図５のフローチャートに従って説明す
る。

【００２０】運転者ｄの視線方向を計測するには、運転
者ｄの個人差などによる計測誤差を補正する校正作業が
必要となる。このため、図５のステップ101 （図中Ｓ10
1 で示し、以下同様とする）では、ナビゲーション装置
を起動する際に、運転者ｄがナビゲーション表示画面31
の近傍に設けられた校正開始スイッチ18を手などで押し
て校正が開始される。

【００２１】ステップ102 では、校正開始スイッチ18か
らの校正開始を合図する出力がマイクロコンピュータ20
の全体制御部28に入力される。全体制御部28は、校正開
始を示す信号を校正用視標制御部26に送り、校正用視標
制御部26はナビゲーション表示画面31上に校正用視標を
表示させる信号を表示画面制御部32に出力する。校正用
視標は、例えば、図６（ａ）に示すように、ナビゲーシ
ョン表示画面31上の所定の位置に表示され、その表示位
置が順次移動する。図６（ｂ）には、校正用視標の配置
及び表示順序（図中の括弧付き数字の順）の一例を示
す。運転者ｄは、校正用視標が表示される間、校正用視
標を注視し続ける。

【００２２】ステップ103 では、全体制御部28より、照
明11を点灯させ照明12を消灯させる信号が照明発光制御
部16に出力され、照明発光制御部16により照明11及び照
明12の発光状態が制御される。ステップ104 では、画像
入力部13において照明11が点灯し照明12が消灯したとき
の運転者ｄの眼球を含む第１画像としての顔画像が撮像
される。この画像は、全体制御部28からの信号により各
照明の発光に応じて制御されるＡ／Ｄ変換器14でディジ
タルデータに変換された後、画像メモリ15に保存され
る。ここでは、照明11が点灯し照明12が消灯したときの
ディジタルデータを画像データＧ１とする。

【００２３】ステップ105 では、全体制御部28より、照
明11を消灯させ照明12を点灯させる信号が照明発光制御
部16に出力され、照明発光制御部16により照明11及び照
明12の発光状態が制御される。ステップ106 では、ステ
ップ104 と同様に、画像入力部13において運転者ｄの眼
球を含む第２画像としての顔画像が撮像され、Ａ／Ｄ変
換器14でディジタルデータに変換された後、画像メモリ
15に保存される。ここでは、照明11が消灯し照明12が点
灯したときのディジタルデータを画像データＧ２とす
る。

【００２４】ここで、画像データＧ１，画像データＧ２
の差異について説明する。画像データＧ１では、照明11
が点灯、即ち、画像入力部13の光軸上から眼球に光が照
射されるため、角膜で反射した光による角膜反射像（高
輝度の小さなスポット）と、瞳孔を通過した光が網膜で
乱反射して再び瞳孔を通過して出て来る光による網膜反
射像（角膜反射像よりも低輝度の大きなスポットで瞳孔
部と略一致）とが眼球像中に得られる。一方、画像デー
タＧ２では、照明12が点灯、即ち、画像入力部13の光軸
からずれた位置から眼球に光が照射されるため、角膜反
射像については画像データＧ１と同様に得られるが網膜
反射像は得られず、画像データＧ１とは逆に瞳孔部が周
囲よりも暗く写る。また、照明11より照明12を高輝度で
発光させたため、それぞれの画像データ中の同一部分
（ただし、瞳孔部を除く）の明るさを比較すると画像デ
ータＧ２の方が明るく写る。この様子について、図７
（ａ）に画像データＧ１、図７（ｂ）に画像データＧ２
を示す。ただし、図では網膜反射像の差異を明確にする
ために角膜反射像が省略されている。

【００２５】ステップ107 では、マイクロコンピュータ
20の網膜反射像抽出部21において、画像メモリ15に保存
された画像データＧ１，Ｇ２がそれぞれ読み込まれ、画
像データＧ１と画像データＧ２について同一部分の輝度
値の差分演算（輝度値〔画像データＧ１〕−輝度値〔画
像データＧ２〕）を行って差分画像Ｇ３が生成される。
ただし、差分演算結果が負となった場合には、その部分
の差分値を０とする。図７（ｃ）には、図７（ａ）,
(ｂ）に示した画像データから得られた差分画像Ｇ３を
示す。図７（Ｃ）のように、差分画像Ｇ３は、画像デー
タＧ１の瞳孔部が画像データＧ２の瞳孔部より明るいた
め瞳孔部が強調されたものとなる。また、瞳孔部以外の
部分、例えば、肌の部分などは差分値が負になる。従っ
て、差分画像Ｇ３では瞳孔部以外の殆どの部分の差分値
が０となり、差分演算時にノイズが発生しても、そのノ
イズの多くは差分値が０とされるためノイズの影響が低
減され、瞳孔部が明確に現れる。

【００２６】ステップ108 では、ステップ107 で演算さ
れた差分画像Ｇ３が予め設定した所定の閾値で２値化さ
れる。ステップ109 では、ステップ108 で２値化した結
果について、値の等しい部分を１つの領域とするラベリ
ング処理がなされ、各領域に番号付けが行われる。ステ
ップ110,111 では、ラベリング処理の結果得られた各領
域の面積及び形状に基づいて網膜反射像の識別が行われ
る。例えば、運転者ｄが眼鏡をかけている場合には、ス
テップ107 で得た差分画像Ｇ３の中に、図示されていな
いが眼鏡レンズ反射像や眼鏡フレーム反射像が含まれ
る。これらの像は、一般に形状及び面積が不定である。
一方、網膜反射像は、予め予想される面積の円、若しく
は楕円として観測される。従って、網膜反射像と眼鏡レ
ンズ反射像などとは面積、形状による識別が可能であ
る。尚、眼鏡レンズ反射像は、網膜反射像と同様に円形
の領域として観測されるが、例えば、画像入力部13に用
いるレンズの絞りを絞ることによって、網膜反射像の面
積より眼鏡レンズ反射像の面積が小さくなるようにして
おけば、面積により両者を識別するこができる。

【００２７】そこで、ステップ110 では、各領域の面積
が、予め設定した閾値Ｓ１，Ｓ２（Ｓ１＜Ｓ２）の範囲
内にあるか否かの判別を行う。即ち、各領域の面積をＲ
ｉ（ｉは各領域の番号）として、次の関係を満たす領域
のみを抜き出す。Ｓ１＜Ｒｉ＜Ｓ２・・・（１）ここで、閾値Ｓ１，Ｓ２は、例えば、画像入力部13の撮
像倍率から推定した、予想される瞳孔径（直径２〜８ｍ
ｍ程度の瞳孔が、面積何画素の領域として観測される
か）に設定される。

【００２８】ステップ111 では、上記（１）式の関係を
満たす領域について、それぞれの領域に外接する長方形
の面積に対する当該領域の面積の比率Ｆを計算する。上
述したように網膜反射像は、円または楕円の形状として
観測されるため、比率Ｆがある一定値（Ｆthとする）以
上となる。これに対して、例えば、眼鏡フレーム反射像
は、フレームに沿った細長い形状の領域になるため、仮
に網膜反射像と同等の面積を有していても比率Ｆが小さ
くなる。従って、各領域について求めた比率Ｆと一定値
Ｆthとの大小関係を判別することによって、網膜反射像
を識別することが可能である。比率Ｆが一定値Ｆth以上
である領域を網膜反射像に決定する。

【００２９】ステップ112 では、角膜反射像抽出部22に
おいて角膜反射像の位置が決定される。角膜反射像の抽
出には、まずステップ111 で抽出した網膜反射像の重心
位置の画像上の座標（ｘg,ｙg ）を求める。そして、ス
テップ107 で得た差分画像Ｇ３上で、網膜反射像の重心
位置（ｘg,ｙg ）を中心とし、網膜反射像を包含する小
領域Ａを設定する。更に、その小領域Ａ内で最大輝度を
有する点を求め角膜反射像とし、その点の座標を（Ｐx,
Ｐy ）とする。

【００３０】ステップ113 では、パラメータ算出部23に
おいて、網膜反射像の重心位置、即ち、瞳孔重心（ｘg,
ｙg ）と角膜反射像の座標（Ｐx,Ｐy ）とから、２つの
パラメータδｘ＝ｘg −Ｐx , δｙ＝ｙg −Ｐy を求め
る。このよううにして、同一位置の校正用視標につい
て、パラメータδｘ，δｙが所定の回数（Ｎ回とする）
求められるまで上記ステップ103 〜ステップ112 の動作
が繰り返される。Ｎ回求められるとステップ114 に進
む。

【００３１】ステップ114 では、得られたＮ個のパラメ
ータδｘ，δｙをそれぞれ平均化し、その時の校正用視
標ｉに対するパラメータδｘi ，δｙi としてメモリ19
に記憶される。上記のようにして、全ての校正用視標ｉ
（例えば、図６（ｂ）に示す１〜10の視標）についてパ
ラメータδｘi ，δｙi が算出されるまで、上記ステッ
プ102〜ステップ114 の動作が繰り返された後、ステッ
プ115 に進む。

【００３２】ステップ115 では、校正データ算出部27に
おいて、パラメータδｘi ，δｙiを画像上の視標位置
に変換する変換式が算出される。この変換式は、メモリ
19に記憶された校正用視標ｉの位置（Ｘi,Ｙi ）とその
校正用視標について算出されたパラメータδｘi ，δｙ
i との関係より求められる。ここでは例えば、メモリ19
に記憶されたパラメータδｘi ，δｙi のうちで、水平
方向について算出されたパラメータδｘi のグループ
と、垂直方向について算出されたパラメータδｙi のグ
ループとの各々について変換式を算出する。一般に、視
線の偏角が小さい領域においては、水平方向のパラメー
タδｘと視標位置Ｘ、垂直方向のパラメータδｙと視標
位置Ｙが次の１次式（２）で表すことができる。

【００３３】Ｘ＝ａ_Xδｘ＋ｂ_X，Ｙ＝ａ_Yδｙ＋ｂ_Y ・・・（２）従って、校正用視標の位置（Ｘi,Ｙi ）及びその校正用
視標について算出されたパラメータδｘi ，δｙi よ
り、例えば最小２乗法を用いて上式の各定数ａ_X，
ｂ_X，ａ_Y，ｂ_Yを決定して、パラメータδｘ，δｙを
視標位置に変換する変換式が求められる。この変換式の
各定数は、校正データとしてメモリ19に記憶される。

【００３４】上述のステップ101 〜ステップ115 の動作
により校正作業が完了する。尚、この校正作業は、運転
者ｄが同一であれば本装置を起動する度に毎回行う必要
はなく、運転者ｄが代わる際に１回行えばよい。得られ
た校正データを運転者ｄ毎に保存しておけば、後で保存
した校正データを再利用することも可能である。次に、
ナビゲーション装置に目的地を設定する入力動作を図８
のフローチャートに従って説明する。

【００３５】ナビゲーション装置の目的地設定が必要に
なると、図８のステップ201 において、運転者ｄはナビ
ゲーション表示画面31の近傍に設けられた視線入力開始
スイッチ17を手などで押して校正が開始される。ステッ
プ202 では、ステップ201 で視線入力の開始が合図され
ると、運転者ｄの視線方向を計測するためパラメータδ
ｘ，δｙが算出される。パラメータδｘ，δｙの算出動
作は、上述のステップ103 〜ステップ113 の動作と同様
であるのでここでの説明を省略する。

【００３６】ステップ203 では、注視位置算出部24にお
いて、ステップ202 で算出されたパラメータδｘ，δｙ
に応じて運転者ｄがナビゲーション表示画面上のどこの
位置を注視しているかが求められる。この注視位置の算
出は、メモリ19に記憶された校正データを用い（２）式
に従って、パラメータδｘ，δｙをナビゲーション表示
画面上の位置座標に変換して求められる。算出された注
視位置を示す信号が表示画面制御部32に出力されて、ナ
ビゲーション表示画面31に、例えば、図９に示すような
ポインタカーソルｐが表示され目的地入力を受け入れる
状態となる。ナビゲーション表示画面31には、ポインタ
カーソルｐの他にナビゲーション地図、その地図を移動
させるためのスクロールマーカｍ₁〜ｍ₄、及び地図の
スケールを変更するための広域表示マーカｍ₅、詳細表
示マーカｍ₆が表示される。

【００３７】このステップ202,203 の動作は、視線入力
操作の間随時繰り返され、運転者ｄの視線方向の移動に
追従してポインタカーソルｐが移動する。ステップ204
では、ナビゲーション表示画面31内に目的地を表示させ
る。この目的地を表示させる動作の一例を図10を用いて
説明する。まず、ナビゲーション地図のスケールを変更
して広域を表示させるため、図10のステップ301 で、運
転者ｄが広域表示マーカｍ₅を注視する。注視位置の移
動に伴ってポインタカーソルｐも広域表示マーカｍ₅上
に移動する。このときのナビゲーション表示画面31を図
11（ａ）に示す。

【００３８】ステップ302 では、ポインタカーソルｐが
広域表示マーカｍ₅上に移動したことを運転者ｄが確認
した後、広域表示マーカｍ₅の選択が確定される。この
選択確定動作は、例えば、運転者ｄが広域表示マーカｍ
₅を注視した後、暫くの間（300 msec程度）目を閉じる
ことにより行われる。目を閉じたことの判定は、注視判
定部25において行われる。注視判定部25では、例えば、
１回の注視位置算出に100 msecを要するとしたとき、３
回連続して網膜反射像が検出されなかったことによって
目を閉じたことが判定される。通常の瞬きは約100 msec
で完了するため、不用意な瞬きによって誤った選択確定
が起こる危険性はない。

【００３９】ステップ303 では、注視判定部25から広域
表示マーカｍ₅の選択確定を示す信号が表示画面制御部
32に出力され、ナビゲーション地図のスケールが１ステ
ップ縮小され広域の地図が表示される。このときのナビ
ゲーション表示画面31を図11（ｂ）に示す。このステッ
プ302,303 の動作を必要に応じて繰り返し、ナビゲーシ
ョン表示画面31内に目的地を表示させる。

【００４０】次に、目的地付近をナビゲーション表示画
面31の中央に表示させるため、ナビゲーション地図をス
クロールする。このため、ステップ304 では、運転者ｄ
が例えばスクロールマーカｍ₃を注視する。注視位置の
移動によりポインタカーソルｐがスクロールマーカｍ₃
上に移動する。ステップ305 では、ステップ302 と同様
にしてスクロールマーカｍ₃の選択が確定される。

【００４１】ステップ306 では、注視判定部25からスク
ロールマーカｍ₃の選択確定を示す信号が表示画面制御
部32に出力され、ナビゲーション地図が１ステップ右方
向にスクロールされる。このときのナビゲーション表示
画面31を図11（ｃ）に示す。その他の方向についても上
記ステップ304 〜ステップ306 と同様にしてナビゲーシ
ョン地図をスクロールして目的地付近をナビゲーション
表示画面31の中央に表示させる。

【００４２】目的地付近が画面中央に表示されたら、ナ
ビゲーション地図のスケールを拡大して目的地を画面に
詳細表示させる。このためにステップ307 では、運転者
ｄが詳細表示マーカｍ₆を注視する。注視位置の移動に
よりポインタカーソルｐが詳細表示マーカｍ₆上に移動
する。ステップ308 では、ステップ302 と同様にして詳
細表示マーカｍ₆の選択が確定される。

【００４３】ステップ309 では、注視判定部25から詳細
表示マーカｍ₆の選択確定を示す信号が表示画面制御部
32に出力され、ナビゲーション地図のスケールが１ステ
ップ拡大され詳細な地図が表示される。このときのナビ
ゲーション表示画面31を図11（ｄ）に示す。このように
ステップ301 〜ステップ309 の動作によって、ナビゲー
ション表示画面31内に目的地が詳細に表示され、図８の
ステップ205 に移る。

【００４４】ステップ205 では、目的地が確定される。
目的地の確定は、ナビゲーション表示画面31に表示され
た設定したい目的地を運転者ｄが注視し、ポインタカー
ソルｐが目的地上に表示されたとき、ステップ302 の動
作と同様に、約300 msecの閉眼によって目的地の選択を
確定する。このときのナビゲーション表示画面31を図11
（ｅ）に示す。

【００４５】ステップ206 では、目的地が確定される
と、表示画面制御部32において現在位置から目的地まで
の最適経路が算出されてナビゲーション地図上に設定さ
れる。ステップ207 では、ナビゲーション表示画面31の
表示が、現在位置の表示に戻り、目的地に向けたナビゲ
ーションが開始される。上述したように、第１実施形態
によれば、画像入力部13の光軸上に配置され明るい網膜
反射像を発生させる照明11の輝度よりも、画像入力部13
の光軸からずらして配置され瞳孔部を暗く写す照明12の
輝度を高くすることによって、それぞれの照明を交互に
点灯させて得られた２つの画像より差分画像Ｇ３を求め
ることにより、眼球特徴が明確に表され、また差分演算
時に発生する可能性のあるノイズが低減されるため、特
に、網膜反射像を正確かつ確実に抽出することができ、
視線計測の精度を向上させることが可能である。また、
差分画像Ｇ３のノイズが減少するので、多くの処理時間
を要するラベリング処理を高速に実行することができ、
視線計測速度の高速化を図ることができる。これによ
り、操作性の優れた情報入力手段としての視線計測部１
を備えたナビゲーション装置が実現される。

【００４６】次に、本発明の第２実施形態を説明する。
図11は、第２実施形態の全体構成を示す図である。ただ
し、第１実施形態の構成と同一の部分には同一符号を付
してある。図11において、第２実施形態の構成が第１実
施形態の構成と異なる部分は、第１実施形態で用いた照
明12に代えて、照明12’を用いた点である。その他の構
成は、第１実施形態の構成と同一であるためここでは説
明を省略する。

【００４７】照明12’は、照明11と同じのもの、即ち、
照明11及び照明12’の輝度が略等しいものが使用され、
画像入力部13の光軸からずれた位置に照明11よりも運転
者ｄに近づけて配置される。この配置は、例えば、運転
者ｄから照明11までの距離ｄ ₁が８０ｃｍであるのに対
して、運転者ｄから照明12’までの距離ｄ₂を５０ｃｍ
等としたものである。

【００４８】上記の構成によれば、同じ輝度の２つの照
明11,12'について、画像入力部13と共軸系に配置される
照明11に対して、画像入力部13の光軸からずらして配置
される照明12' を運転者ｄに近づけて設置したことによ
り、第１実施形態の作用と同様に、照明11を点灯させた
ときの画像データＧ１に対して、照明12’を点灯させた
ときの画像データＧ２’の同一部分（ただし、瞳孔部を
除く）が明るくなる。尚、一連の視線計測動作や視線入
力動作は、第１実施形態の動作と同様であるため説明を
省略する。

【００４９】このように、第２実施形態においても、第
１実施形態と同様の効果を得ることができ、視線計測の
精度の向上及び視線計測速度の高速化を図ることができ
る。尚、第１、２実施形態における照明11,12,12' の照
射エリアは、それぞれ運転者ｄの顔部分が多少移動して
も視線計測が可能なエリアを包含する必要があることは
言うまでもない。

【００５０】また、上述の実施形態では、ナビゲーショ
ン装置の入力手段として視線計測装置を適用した場合に
ついて説明したが、本発明はこれに限られるものではな
く、ラジオ、エアコン等他の車載装置、更には、マンマ
シン・インターフェースを要する種々の装置に応用する
ことができる。

【図面の簡単な説明】

【図１】本発明のクレーム対応図

【図２】本発明の第１実施形態の全体構成を示す図

【図３】同上第１実施形態の車載状態を示す図

【図４】同上第１実施形態のマイクロコンピュータの機
能ブロック図

【図５】同上第１実施形態の校正動作を示すフローチャ
ート

【図６】同上第１実施形態の校正用視標を説明する図

【図７】同上第１実施形態の画像データ及び差分画像を
示す図

【図８】同上第１実施形態の目的地設定動作を示すフロ
ーチャート

【図９】同上第１実施形態のナビゲーション表示画面を
示す図

【図10】同上第１実施形態の目的地表示動作を示すフロ
ーチャート

【図11】同上第１実施形態の目的地表示の変更動作を示
す図

【図12】本発明の第２実施形態の全体構成を示す図

【符号の説明】

１視線計測部 11 第１照明 12,12' 第２照明 13 画像入力部 14 Ａ／Ｄ変換器 15 画像メモリ 16 照明発光制御部 17 視線入力開始スイッチ 18 校正開始スイッチ 19 メモリ 20 マイクロコンピュータ３ナビゲーション表示部 31 ナビゲーション表示画面 32 表示画面制御部ｄ運転者

Claims

【特許請求の範囲】

【請求項１】撮像手段によって撮像された計測対象者の
眼球部の画像を処理して視線方向を計測する視線計測装
置において、前記眼球部に向けて発光し、前記撮像手段
の光軸上に設けられた第１発光手段と、前記眼球部に向
けて発光し、前記撮像手段の光軸からずれた位置に設け
られ、且つ、前記眼球部付近を前記第１発光手段よりも
明るく照射する第２発光手段と、前記第１発光手段だけ
が発光した時に前記撮像手段で撮像された第１画像と前
記第２発光手段だけが発光した時に前記撮像手段で撮像
された第２画像との差分画像を算出し、該差分画像より
抽出した眼球特徴に基づいて前記計測対象者の視線方向
を求める演算手段とを備えて構成されたことを特徴とす
る視線計測装置。
【請求項２】前記第２発光手段は、輝度が前記第１発光
手段の輝度より高く、且つ、前記眼球部までの距離が前
記第１発光手段から前記眼球部までの距離に略等しいこ
とを特徴とする請求項１に記載の視線計測装置。
【請求項３】前記第２発光手段は、輝度が前記第１発光
手段の輝度に略等しく、且つ、前記眼球部までの距離が
前記第１発光手段から前記眼球部までの距離より短いこ
とを特徴とする請求項１に記載の視線計測装置。
【請求項４】前記演算手段が、前記差分画像より網膜反
射像を抽出する網膜反射像抽出部と、前記差分画像より
角膜反射像を抽出する角膜反射像抽出部と、抽出された
前記網膜反射像及び前記角膜反射像に基づいて前記計測
対象者の視線方向を算出する視線方向算出部とを備えて
構成されることを特徴とする請求項１〜３のいずれか１
つに記載の視線計測装置。