JPH024313A

JPH024313A - 注視位置検出装置

Info

Publication number: JPH024313A
Application number: JP63143647A
Authority: JP
Inventors: Yoshio Shiratori; 白鳥　嘉勇
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1988-06-13
Filing date: 1988-06-13
Publication date: 1990-01-09

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】（産業上の利用分野）この発明は、操作者の注視位置を簡単な操作で検出する
ことができるようにした注視位置検出装置に関するもの
である。

（従来の技術）注視方向を検出する従来の装置（通称；アイカメラ）は
、次のように構成されている。

操作者は、左右の眼球を照射する発光素子、視線方向を
検出するための固体撮像カメラ、眼球の角膜で反射され
る反射光を固体撮像カメラに導くための光学部品（ハー
フミラ−等）、および操作者の視野領域を撮影するため
の視野カメラ等を内蔵したヘルメットを装着する。

この固体撮像カメラは、眼球の角膜球面における発光素
子の反射光を得、これを視野カメラの画像に重ねる。こ
の重ね合わせに際しては、操作者の視線方向に対応する
上記発光素子の反射光が視野カメラ内の操作者の見てい
る方向と合致するように、前述の光学系を調整する。

〔発明が解決しようとする課題〕

従来装置では、このようなヘルメットを装着する必要が
あるため、次のような問題点がある。

まず、ヘルメットは、各種の部品を内蔵しているためそ
の重量は、数百グラムと重い。このため、長時間の装置
使用は、操作者に大きな負担をかけることになる。また
、操作時に頭部を動かすと上記のヘルメットの固定位置
がずれ、視線方向を高い精度で検出することが困難とな
る。

（課題を解決するための手段〕この発明にかかる注視位置検出装置は、操作者の眼球前
方に設置され、前記操作者の眼球角膜表面部に投影する
ための角膜位置検出用の複数の点光源と、前記操作者の
眼球角膜表面部からの反射光を撮像するカメラと、前記
操作者の眼球角膜表面部の位置座標を検出するとともに
、前記カメラで撮像された前記眼球角膜表面部における
白黒の境界線、あるいは角膜境界検出用の複数の点光源
の投影像により得られる眼球角膜表面部における白黒の
境界線をもとに角膜表面端部からなる円盤平面の法線方
向を検出し、両眼球の法線方向の交点を注視位置として
検出する画像解析部とからなるなるものである。

また、画像解析部は、眼球角膜表面部における角膜位置
検出用の点光源の投影像を基準として該画像の濃淡部分
の境界に至る距離の比率から眼球の注視位置を検出する
ようにしてもよい。

〔作用〕

この発明においては、操作者の前方に配置したカメラで
、操作者の眼球角膜表面部における角膜位置検出用の点
光源の投影像を撮影し、画像解析部において、白黒の境
界線をもとに、角膜表面端部からなる円盤平面の法線方
向を検出し、両眼球の法線方向の交点を注視位置として
検出する。

また、画像解析部において、角膜位置検出用の点光源の
投影像を基準にして、画像の濃淡部分の境界に至る距離
、の比率から眼球の注視位置を検出する。

（実施例）第１図は、この発明による視線位置検出装置の構成の一
実施例を示す。

第１図において、１は操作者Ｍの顔面、２は眼球、４は
光源で、−例として３、個の点光源が適当の間隔で配置
された角膜位置検出用光源４１と、凹面鏡状に多数の点
光源が配置され、中央部分に角膜位置検出用光源４１が
位置するようにした角膜境界検出用光源４２からなる。

５は表示装置、６は前記表示装置５の中央制御部、７は
前記表示装置５の入力画面、８は注視位置人カキ−９は
左右に配置されたけカメラ、１０は前記カメラ９の自動
焦点調節部、１１は前記カメラ９の自動首振り調節部、
１２は入力データに必要な処理を加え、注視位置を検出
する画像解析部である。

この実施例は、表示装置５の画像のある位置を注視する
ことで大まかな画像上の位置を指示し、その後、キー操
作等でカーソルを微調整する例を示す。

次に動作について説明する。

第１図において、光源４を操作者Ｍの前方数メートルの
所に置き操作者Ｍの眼球２を照射する。

通常は、角膜位置検出用光源４１のみを用いる。

操作者Ｍは、表示装置５の画面を見ながら入力操作を行
なう。この時、操作者Ｍの眼球角膜表面部には、角膜位
置検出用光源４１の虚像が投影している。

カメラ９は、まず焦点距離をはじめ短く画角を広角にし
て、操作者Ｍの顔面１全体を撮影する。

顔面１の検出は、カメラ画像内で左右独立して存在する
３個（角膜位置検出用光源４１の３個の点光源の投影像
）の高輝度な点を検出し、かつこの距離が人間の眼球２
の間隔とほぼ一致した時とする。次に、この両眼球角膜
表面での投影像をズームアツプし、角膜部（黒目）とき
ょう膜部（白目）の画像を得る。ズームアツプに際して
は、２台のカメラ９の自動焦点調節部１０を調節しつつ
、両眼味２がカメラ９の視野からはずれないように自動
首振り調節部１１を用いて、カメラ９の光軸を調節する
。

操作者Ｍは、表示装置５において人力位置を指示しよう
とする時、目標の位置を見つめた状態で注視位置入カキ
−８を押下する。この時、左右のカメラ９から１フレー
ムづつの画像が取りこまれ、左右の２枚の画像を得る。

画像解析部１２は、両カメラ９から得られる各点光源座
標データ、カメラ９の設定位置座標、焦点距離、光軸方
向等をもとに、３次元空間内における操作者Ｍの注視方
向を検出する。表示装置５の中央制御部６は、この空間
座標値を表示装置５の入力画面７に対応した位置に変換
して、人力しようとしている位置にカーソルを移動し表
示する。これにより、注視していた点とカーソルの位置
が一致すれば正しい検出がされたことになる。

なお、このカーソルキーの位置は、人間の眼球角膜表面
のおよその法線方向から検出したものであるため、操作
者Ｍの意識している入力と必ずしも一致しない恐れがあ
る。そこで、中央制御部６は、この注視位置をおよその
入力位置と見なし、引き続き行なう人力作業においては
、キーボードのカーソルキーと連動して、より詳細な位
置決めを行う。

次に、画像解析部１２の注視位置の検出処置過程を、よ
り詳細に説明する。

画像解析部１２は角膜表面の位置座標および角膜表面の
方向を検出する機能を有する。まず、角膜表面の位置座
標検出処理過程を述べる。

２台のカメラ９の位置は既知とする。その先軸方向は操
作者Ｍの顔面１を追跡し変化するが、その方向は自動首
振り調節部１１により既知とする。また、眼球２をズー
ムアツプする際のカメラ９の焦点は自動焦点調節部１０
により既知とする。また、操作者Ｍの眼球角膜球面の直
径は既知とする。

第２図（ａ）、（ｂ）は、カメラ９により、操作者Ｍが
注視位置を検出しようとした両眼球角膜表面の処理前の
生の撮影画像を示す。第２図（ａ）は左側（Ｌ）のカメ
ラ９による画像、第２図（ｂ）は右側のカメラ９による
画像である。なお、３は前記眼球２の角膜（黒目：実際
は黒であるが図では白）を示し、３′はきょう膜（白目
）を示す。２１は角膜位置検出用光源４１の投影像（虚
像）である。

第３図（ａ）、（ｂ）は、第２図（ａ）。

（ｂ）を処理して角膜３の表面で角膜位置検出用光源４
１の投影像２・１のみを取り出した画像を示す。これは
、画素輝度がある規定値より高い範囲を抽出して得る。

なお、角膜３の表面は、ガラス貿で反射率が高く、かつ
曲率半径がきょう膜３′の部分に比べ小さいので角膜位
置検出用光源４１の投影像２１が拡散しないので、きょ
う膜３′の部分と容易に区別できる。角膜３の表面の位
置座標を求めるためには、両眼味２に左右画像において
輝度が最大となるそれぞれの点のｆｇ、欅を得、これを
三角測量の方法を用いて、空間における両眼味位置を求
める。

すなわち、第３図（ａ）、（ｂ）の左右画像の各眼球２
における最高輝度の点の位置座標を得、三角測量の原理
を用いて、眼球２の空間位置座標を求める。この検出方
法を以下に示す。

第４図は計算を簡単にするため、眼球２とカメラ９が同
一平面にある場合を示す。同図において、Ｑｌ、Ｑ２は
左右眼球２の中心、Ｄは２台のカメラの距離、ｆ、、ｆ
２はカメラ９の焦点距離、ｕ、、　ｊ２２は両投影画像
における角膜位置検出用光源４１のＸ座標、θ１．θ２
は角膜位置検出用光源４１の角膜３における反射位置と
、自動首振り調節部１１に設定したカメラ９の基線がな
す角度、Ｌはあらかじめ測定しておいた操作者Ｍの両眼
間隔、Ｒは同じくあらかじめ測定しておいた操作者Ｍの
角膜半径である。

以上の各数値が既知である時、左右の眼球２における反
射位置のＸ、Ｙ座標を求めればよい。まず、Ｘ座標の場
合について示す。

ｆＬ　ｔ　／　ｆ　ｒ　＝　Ｘ　／　Ｙ　　　　　　　
　　　　　（１）ＪＺｚ　／ｆ２　＝　（Ｄ−Ｘ）　／
Ｙ　　　　　　　　（２）上記第　（２）式より、Ｘ’ｆ２１１ｒ　Ｄ／　（ｊ２ｚ　ｆ、＋ｊ！＋　ｆ２
’）　　（３）を得る。Ｙ座標は、これを第　（１）式
に代入して得る。

なお、得られた両眼球２の間隔りを算出し、これがあら
かじめ求めておいた操作者Ｍの両眼間隔Ｌ）ｚ等しいこ
とを確認する。

次に、角膜表面の法線方向を検出する方法を示す。

第５図は、この検出方法の概略を示す。左右眼球２の拡
大画像において、角膜位置検出用光源４１の投影像２１
の位置を基準にして、水平方向および垂直方向の一定領
域２３．２４を画像処理の対象とする。水平および垂直
方向について、濃淡両像を得、黒目と白目の境界を境界
線２２により識別する。この境界の識別は、輝度が規定
値を越えているかいないかによって判断する。この境界
の包絡曲線を求めて境界線２２とし、この境界線２２が
、角膜３ときょう膜３′の境界の位置を示している。角
膜端部ときよう膜３′が交わる形状は円形であるから、
各画像は斜めからカメラ９で撮像しているので得られる
光源４の包絡曲線は楕円形となる。この楕円平面法線方
向が各眼球２の注視方向となる。つまり、法線方向の検
出は白黒の境界線をもとに角膜表面端部からなる円盤平
面の法線方向を検出することである。

なお、この楕円形は必ずしも完全な楕“円とならない。

これは目を細めることによって上瞼および下瞼が近接し
、上下の楕円部分がとぎれ角膜３でない部分が境界とし
て現われることによる。この場合は、左右方向の部分を
重視し、上下の部分を省いて楕円近似する。楕円曲線（
よ一般に次式で表される。

Ｘ２／ａ２＋Ｙ”　／ｂ２＝　１　　　　　　　　（４
）包絡曲線上の光源４の複数の座標点を上記第（４）式
に代入し、１次連立多項式を解いて、定数ａおよびｂを
求める。

この楕円面をθ度回転すれば（ＣＯＳθ＝ｂ／ａ）円形
になる。この円形が角膜直径（直径＝２Ｒ＝ａＹ／ｆ、
）である。操作者の角膜半径は、あらかじめ分かってい
るから、得られた楕円を３次元空間に招けるＸＹ、ＹＺ
あるいはＺＸ平面に投影し、三角測量の方法を用いて、
左右２つの画像から角膜面の法線方向を知ることができ
る。これを眼球２の注視方向とする。さらに、両眼球２
の位置およびその注視方向から、その交点（あるいはそ
の近傍）を注視位置として求める。

次に、上記実施例は画像解析部１２が黒目と白目の境界
線２２を楕円゛曲線で近似し、その法線方向を求めるも
のであるが、より簡単には、第６図（ａ）、（ｂ）、（
ｃ）に示すようなものであってもよい。

第６図（ａ）は右目の場合を示し、３個の投影像２１の
うち２個の２１Ａ、２１Ｂについて左右の境界線２２ま
での距離を示している。なお、Ｏは原点で、垂直方向の
境界線が得らえるところに原点０をシフトした場合であ
る。ｙＲｌは、ｙ軸と境界線２２との交点との距離を示
している。第６図では、点光源の投影像２１の位置座標
を基準にして、左右の境界線２２に至る距離の比率から
検出するものである。なお、瞼等によって境界線２２が
判別できない時は・、第６図（ｂ）に示すように、斜め
方向について検出を行えばよい。そして、顔を傾けたと
きは、傾は角と同じだ審す傾けた方向を使用すれば水平
方向と同じ処理ができる。

この検出原理は、操作者Ｍの目が正面を向いていれば角
膜位置検出用光源４１の投影像２１の位置を基準にして
左右の境界線２２に至る距離が等しく、目が片側によれ
ば左右の境界に至る距離が変化することを利用している
。初期の校正方法は、入力装置の画面中央を正面に見た
時の角膜位置検出用光源４１の投影像２１の位置座標を
もとに、正面時の左右の境界線２２に至る距！１（ＸＲ
Ｉ。

ＸＲ２，Ｘ’　Ｒ１，Ｘ’　Ｒ２）　（Ｄ比率および左
右校正点を見た時の距離の比率をもとに第６図（Ｃ）の
校正図を得る。操作者Ｍが任意の方向を見ている際の距
離の比率を得ることによって、操作者Ｍの角膜３方向を
検出することができる。第６図（ｂ）のように斜め方向
の校正図や、あるいは垂直方向の校正図を作成すれば、
より正確に注視方向を検出することが可能である。また
、複数の光源４を用いることによって、眼球２の注視方
向が大きく６動した時でも、いずれかの光源４の虚像が
得られるから、この位置座標を基準として該当する境界
までの距離を測定することができる。

第６図（Ｃ）では直線Ａが第６図（ａ）の投影像２ＩＡ
用、直線Ｂが同じく２１Ｂ用である。なお、左目につい
ても全く同様である。

次に、上記の方法によって黒目と白目の境界が、照明条
件等によって明確に識別できない時に、この境界を識別
する手段を説明する。

まず、操作者Ｍの周囲に凹面鏡状に配置した多数の角膜
境界検出用光源４２を点燈する。角膜３上には、多数の
点光源像が投影される。左右のカメラ９で得た各眼球２
における角膜位置検出用光源４２の各点光源の投影像２
５を第７図（ａ）。

（ｂ）のように得る。

第８図（ａ）、（ｂ）は第７図（ａ）、（ｂ）から投影
像２１．２５のみを抽出した図である。

画像解析部１２は、これらの投影像２５の座標値につい
て、その包絡曲線を求める。この曲線が、角膜３ときよ
う膜３′の境界の位置を示している。角膜３の表面部と
きよう膜３′が交わる形状は円形であるから、前述した
ように、各画像で得られる光源４２の包絡曲線は楕円形
となる。この楕円の法線方向が各眼球２の注視方向とな
る。以後の検出方法は、前述したと同じ方法である。

以上によって得られた操作者Ｍの注視方向の空間座標値
を、カメラ９内における座標値に変換し、この値を中央
制御部６に投入してカーソルを操作者Ｍの視線方向に合
致するように設定する。

この際、既存キーボードのカーソルキーも同時に機能し
、いずれを用いてもカーソルを制（卸できる。すなわち
、カーソルの座標位置を基に、上下、左右の方向につい
て、その増減値を中央制御部６にフィードバックし、画
面のカーソルを制御する。

なお、上記実施例では、角膜球面での最大輝度の点を同
一点と見なして両眼法２の位置を求めたが、最近の光線
追跡（レイ・トレーニング）の方法を使い、角膜位置検
出用光源４１の位置を人力することによって、より正確
な各光源４の反射位置を求め、眼球位置を知ることがで
きる。

また、上記実施例では、光源４の種別を特に限定してな
いが、操作者Ｍが眩しいと感する場合には、近赤外等を
利用し、カメラ９にこの光の周波数のみに感知するセン
サを用いてもよい。

さらに、上記実施例では、操作者Ｍの６動を検出するた
め複数のカメラ９を用いたが、操作者Ｍの位置変動が小
さい場合には、１台のカメラ９によって、操作者Ｍの注
視方向を検出できることは明らかである。

〔発明の効果〕

この発明は以上説明したように、操作者の眼球前方に設
置され、操作者の眼球角膜表面部に投影するための角膜
位置検出用の複数の点光源と、操作者の眼球角膜表面部
からの反射光を撮像するカメラと、操作者の眼球角膜表
面部の位置座標を検出するとともに、カメラで撮影され
た眼球角膜表面部における白黒の境界線、あるいは角膜
境界検出用の複数の点光源の投影像により得られる眼球
角膜表面部における白黒の境界線をもとに角膜表面端部
からなる円盤平面の法線方向を検出し、両眼法の法線方
向を注視位置として検出する画像解析部とからなるもの
であり、次の効果がある。

■　まず、操作者は注視方向用の装置をなにも装着する
必要がないから、操作時の負担が全くなく快適に作業す
ることができる。

■　凹面鏡状の複数の点光源は、操作者の眼球角膜端部
の位置を検出するための照明として用いるものであるか
ら、その位置調整を高精度に行なう必要がない。したが
って、装置を簡易に使用することができる。

■　複数のカメラを用いることによって、操作者の視線
の動きを、操作者に負担を与えることなく、常に測定す
ることができるから、各種人力システムに有効に利用す
ることができる。

■　より細かな位置決めに対しては、キーボードのカー
ソルキーが使用できるから、容易に入力作業を行なうこ
とができる。

また、画像解析部が角膜表面部における角膜位置検出用
の点光源の投影像を基準として該画像の濃淡部分の境界
に至る距離の比率から眼球の注視位置を検出するように
したのものは、 ■　装置の構成が、非常に簡易であり、特殊な装置を必
要としないから、全体を安価に構成することができる。

■　光源の虚像位置から白黒濃淡画像の左右境界線まで
の距離の比率と校正図を対比することによって、操作者
の注視方向を容易に検出することができるから、高速に
カーソルを移動することができる。

【図面の簡単な説明】

第１図はこの発明による注視位置装置の一実施例を示す
構成図、第２図（ａ）、（ｂ）は操作者の眼球部を撮影
した左右の画像の一例を示す図、第３図（ａ）、（ｂ）
は角膜における点光源のみを抽出した画像の一例を示す
図、第４図は両眼およびカメラが同一平面にある場合の
各部の配置関係の一例を示す図、第５図は白黒の濃淡画
像より得られる黒目と白目の境界を示す図、第６図（ａ
）、（ｂ）、（ｃ）は角膜位置検出用の複数の点光源の
投影像の位置を基準として水平・斜め方向の左右距離の
比率を説明するための図、第７図（ａ）、（ｂ）は角膜
位置検出用と角膜境界検出用の両点光源に−よる投影像
を示す図、第８図（ａ）、（ｂ）は第７図（ａ）、（ｂ
）中の点光源投影像のみを抽出した画像である。図中、１は操作者の顔面、２は眼球、３は角膜、３′は
きよう膜、４は光源、４１は角膜位置検出用光源、４２
は角膜境界検出用光源、５は表示装置、６は中央制御部
、７は入力画面、８は注視位置人カキ−９はカメラ、１
ｏはカメラの自動焦点調節部、１１はカメラの自動首振
り調節部、１２は画像解析部、２１．２５は投影像、第
１図第２図（ａ）（ｂ）第３図（ａ）（ｂ） ′ｉ５目左目右ｇ＋ｍ目第図第図第図図（ａ）（ｂ）右目左目第図（ａ）（ｂ）右目左目右目左目

Claims

【特許請求の範囲】

（１）操作者の眼球前方に設置され、前記操作者の眼球
角膜表面部に投影するための角膜位置検出用の複数の点
光源と、前記操作者の眼球角膜表面部からの反射光を撮
像するカメラと、前記操作者の眼球角膜表面部の位置座
標を検出するとともに、前記カメラで撮像された前記眼
球角膜表面部における白黒の境界線、あるいは角膜境界
検出用の複数の点光源の投影像により得られる眼球角膜
表面部における白黒の境界線をもとに角膜表面端部から
なる円盤平面の法線方向を検出し、両眼球の前記法線方
向の交点を注視位置として検出する画像解析部とからな
ることを特徴とする注視位置検出装置。
（２）操作者の眼球前方に設置され、前記操作者の眼球
角膜表面部に投影するための角膜位置検出用の複数の点
光源と、前記操作者の眼球角膜表面部からの反射光を撮
像するカメラと、前記操作者の眼球角膜表面部の位置座
標を検出するとともに、角膜境界検出用の複数の点光源
により前記眼球角膜表面部に角膜濃淡部を形成するとと
もに、前記眼球角膜表面部における前記角膜位置検出用
の点光源の投影像を基準として該画像の前記角膜濃淡部
の境界に至る距離の比率から眼球の注視位置を検出する
画像解析部とからなることを特徴とする注視位置検出装
置。