JP3453911B2

JP3453911B2 - 視線認識装置

Info

Publication number: JP3453911B2
Application number: JP06672895A
Authority: JP
Inventors: 隆大澤
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1995-03-02
Filing date: 1995-03-02
Publication date: 2003-10-06
Anticipated expiration: 2018-10-06
Also published as: JPH08238222A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、視線認識装置に関し、
特に、頭部に機器を装着することなく、かつ眼球の位置
が広範囲に動くような状況においても、安定して視線を
認識することができる視線認識装置に関する。

【０００２】

【従来の技術】従来、この種の視線認識装置において、
視線認識に使われる特徴パラメータとしては、瞳孔，黒
目，角膜反射像，水晶体反射像など、様々な特徴パラメ
ータが用いられ、その視線認識の処理が行われる。その
特徴パラメータの中で、角膜反射像は輝度が高く、ま
た、抽出しやすいことから、視線認識において、よく用
いられる特徴パラメータ（特徴量の情報）である。

【０００３】角膜反射像を用いる視線認識法としては、
次のような２種類の方法がある。すなわち、頭部に光
源およびセンサが具備されている機器を装着するタイプ
（以下、機器装着型と略称する）と、光源およびセン
サが頭部とは独立して存在しているタイプ（以下、機器
非装着型と略称する）である。

【０００４】の機器装着型の代表例としては、アイマ
ークレコーダが挙げられる。ここでの視線認識では、眼
球の回転中心と眼球を観測する観測系と点光源との位置
関係が固定されているという条件の下では、角膜反射像
は眼球の回転に応じて移動するという動作原理が用られ
て、眼球の回転中心と角膜の曲率中心の位置がずれてい
ることを利用する。このような機器装着型の装置によ
り、頭部座標系における視線を容易に認識することがで
きる。

【０００５】また、の機器非装着型の代表例として
は、Ｃｏｒｎｓｗｅｅｔ等が開発した角膜反射像と第
４プルキンエ像（水晶体後面における反射像）を用いる
手法や、角膜反射像と瞳孔中心を用いる手法などが挙げ
られる。この機器非装着型の場合には、光源および観測
系に対する頭部の位置が固定されていないため、角膜反
射像の動きは、眼球の動き成分だけでなく、頭部の動き
成分も含まれる。そこで、角膜運動成分のみを抽出する
ため、角膜反射像だけでなく、第４プルキンエ像や瞳孔
中心の情報が用いられる。

【０００６】特徴パラメータの角膜反射像からは、角膜
の曲率中心の位置情報が得られる。また、瞳孔中心の位
置情報は、眼球の画像処理により容易に得られるので、
眼球の光軸方向が判定できる。例えば、図３に示すよう
な眼球モデルを考えれば、明らかなように、角膜曲率中
心Ｏと瞳孔中心Ｃの位置情報から、眼球の光軸方向が判
定できる。なお、図３において、３１は角膜、３２は強
膜、３３は虹彩、３４は水晶体である。また、第４プル
キンエ像からは、水晶体後面の曲率中心の位置情報が得
られるので、角膜反射像（角膜曲率中心）と第４プルキ
ンエ像からも、同様にして、眼球の光軸方向が得られ
る。なお、実際には、ここで求められる眼球光軸と視線
軸には、ずれがあるため補正を行う。

【０００７】

【発明が解決しようとする課題】このように、従来にお
ける視線認識方法は、機器非装着型の場合には、角膜反
射像から角膜曲率中心の位置を求めてから、他の情報
（瞳孔中心や第４プルキンエ像など）と統合して視線を
求める方法が、一般的な方法となっている。なお、この
場合において、角膜曲率中心を求める際の計算アルゴリ
ズムの根拠は、角膜の球面性であるが、実際の角膜は非
球面であり、角膜頂点部と角膜周辺部では、曲率がかな
り異なる場合が多い。このため、眼球の角膜全体を球と
してモデル化した視線認識方法では、十分な精度の向上
が期待できない。

【０００８】具体例で説明する。図７は、視線認識装置
の実験環境を説明する図であり、また、図８は、図７に
示す視線認識装置の実験環境による実験結果例を示す図
である。例えば、図７（ａ）および（ｂ）に示すよう
に、ＣＣＤカメラ７１と、ディスプレイ装置７２，発光
ダイオード群のパターン光源７３，および視線計算処理
装置７４から構成される視線認識装置の実験環境を用い
て、被験者７５の視線方向の認識を行う場合は、被験者
７５の視線の方向に応じて、角膜反射像の位置が異なっ
てくる。

【０００９】つまり、図７に示す実験環境において、被
験者７５の視線認識対象の眼球に参照光となるパターン
光ビームを照射し、当該眼球の角膜上に複数の特徴点を
持つ像を結像させるパターン光ビームの光源として、図
７（ｂ）に示すように、赤外線発光ダイオードを、ディ
スプレイ装置７２の画面の周囲に約３００個を矩形状に
配設する。そして、ここからの矩形のパターン光源７３
を、視線認識対象の眼球の角膜に照射し、角膜反射像を
ＣＣＤカメラ７１により検出する。ＣＣＤカメラ７１
は、ディスプレイ装置７２の上部に設けられており、被
験者７５の人の眼球の画像を取り込む。なお、デイスプ
レイ装置７２の画面中のｓ０〜ｓ５の丸印は、ここでの
実験に用いた注視点の位置を示している。

【００１０】このような実験結果によると、被験者の視
線の方向に応じて、図８（ａ）および図８（ｂ）に示す
ようになり、被験者が注視する位置を注視点ｓ０，ｓ１
と変えた場合、その視線に応じて、角膜反射像の位置が
異なってくる。図８（ａ）に示す画像は、注視点ｓ０を
注視している場合の被験者の人の眼の画像であり、図８
（ｂ）の画像は、注視点ｓ１を注視している場合の被験
者の人の眼の画像である。ここでの眼球上の歪んだ四角
い白抜きの図形が角膜反射像であり、見ている場所に応
じて反射像の角膜上の位置が変化する。注視点ｓ０を注
視しているときは角膜中央から周辺部にかけて反射像が
でき、注視点ｓ１を注視しているときには角膜頂点部に
反射像ができる。

【００１１】このように、視線認識の対象となる眼球の
角膜上にその光源パターンの反射像を結像させている状
態において、その視線方向が異なる場合、被験者の眼球
の見ている方向によって、四角いパターン光源（７３：
図７）の画像の角膜における反射位置は異なる。ディス
プレイ装置の画面の端（注視点ｓ０）を見ているとき
は、図８（ａ）に示すような眼球像となり、ディスプレ
イ装置の中央部（注視点ｓ１）を見ているときには、図
８（ｂ）に示すような眼球像となる。なお、図８（ａ）
の場合、角膜中央部から角膜周辺部まで広範囲に結像し
ている。

【００１２】視線認識を行う場合には、四角いパターン
光源の画像の特徴点である反射像の屈折点（矩形の４隅
の点）の位置情報を用いて視線計算を行う。四角いパタ
ーン光源の反射像を用いるため、被験者の動きによって
は、その眼瞼により反射像の一部が遮られる場合もある
が、四角いパターン光源の特徴点の屈折点は最高４点検
出される。本例では、検出された屈折点のうち適当に２
点を選択して視線計算を行うが、その際、屈折点の選択
の仕方によって、どれだけのバラツキが生じるかの実験
結果を、図９に示している。

【００１３】図９（ａ）および図９（ｂ）に示すグラフ
は、ｓ０を注視している場合とｓ１を注視している場合
のそれぞれの場合において、ディスプレイ表示画面の座
標系の注視点ｓ０，ｓ１の表示位置と計算された視線の
位置をそれぞれに表示している。すなわち、図９（ａ）
のグラフは、図８（ａ）の画像を用いて視線計算を行っ
た結果の例であり、この場合、４ヵ所の特徴点から２点
を選んで計算しているので、図中には、その組合せの数
（₄Ｃ₂＝６）により６点の計算された視線の位置の結果
が示されている。この視線位置の計算結果の場合、前述
したように、注視点ｓ０がディスプレイ装置の画面の端
部であり、図８（ａ）に示すように、角膜反射像は比較
的に角膜の広範囲に結像しているため、角膜周辺部での
曲率と中央部での曲率の違いが、計算結果に大きなバラ
ツキを与えている。

【００１４】また、図９（ｂ）のグラフは、図８（ｂ）
の画像を用いて視線計算を行った結果の例である。この
場合においても、４ヵ所の特徴点から２点を選んで計算
しているので、図中には、その組合せの数（₄Ｃ₂＝６）
により６点の計算された視線の位置の結果が示されてい
るが、この視線位置の計算結果の場合は、注視点ｓ１が
ディスプレイ装置の画面の中央部であるので、図８
（ｂ）に示すように、角膜反射像は角膜頂点付近で結像
していることから、曲率の違いが大きくなく、図８
（ｂ）の画像を用いて視線計算を行った計算結果は、比
較的計算結果のバラツキが小さいものとなっている。

【００１５】なお、機器非装着型の場合は、頭部，光
源，観測系の位置関係が固定されない状態における視線
認識であるため、角膜上のあらゆる場所に反射像が結像
される可能性があり、また、視線の計算結果のバラツキ
が大きいと、視線計算結果の補正処理が非常に難しくな
る。すなわち、視線の計算に用いる反射像の特徴点の選
択の相違によっては、所定の補正方法が他の選択では余
り有効ではないという状況も生じる。

【００１６】本発明は、これらの様々な問題点を解決す
るためになされたものであり、本発明の目的は、角膜の
曲率がほぼ一定であると見なせる領域だけから角膜反射
像の情報を抽出して視線方向を計算し、視線方向の計算
に用いる角膜反射像の扱い方によって計算結果にバラツ
キが生じないようにした視線認識装置を提供することに
ある。

【００１７】

【課題を解決するための手段】上記のような目的を達成
するため、本発明による視線認識装置は、視線認識対象
の眼球に光を照射し当該眼球の角膜上に３点以上の特徴
点を持つ像を結像させ、前記角膜上に結像された像の特
徴点から前記眼球の角膜曲率中心を求め、角膜曲率中心
と瞳孔中心の位置情報から視線方向を認識する視線認識
装置において、角膜曲率中心と瞳孔中心の位置関係から
仮の視線方向を計算する仮視線計算手段（１６ａ）と、
仮の視線方向と瞳孔の位置情報から限定された角膜領域
を求める角膜領域判定手段（１６ｂ）と、前記限定され
た角膜領域内に前記像の特徴点がある場合には、仮の視
線方向を視線認識結果とし、限定された角膜領域内に像
の特徴点の一部がない場合には、限定された角膜領域内
に存在する像の特徴点を選択し、選択された像の特徴点
から前記眼球の角膜曲率中心を求めて、角膜曲率中心と
瞳孔中心の位置情報とから視線方向を認識し、視線認識
結果とする処理手段（１６ｃ）とを備えることを特徴と
する。

【００１８】

【作用】本発明の視線認識装置における視線認識の基本
動作は、まず、視線認識対象の眼球に光（例えば、複数
の識別可能な特徴点を有するパターン光ビーム）を照射
して、当該眼球の角膜上に３点以上の特徴点を持つ像を
結像させ、前記角膜上に結像された像の特徴点から前記
眼球の角膜曲率中心を求め、角膜曲率中心と瞳孔中心の
位置情報から視線方向を認識する。この場合、仮視線計
算手段（１６ａ）が、角膜曲率中心と瞳孔中心の位置関
係から仮の視線方向を計算すると、角膜領域判定手段
（１６ｂ）が、仮の視線方向と瞳孔の位置情報から限定
された角膜領域を求める。そして、処理手段（１６ｃ）
が、前記限定された角膜領域内に前記像の特徴点がある
場合には、仮の視線方向を視線認識結果とし、また、限
定された角膜領域内に像の特徴点の一部がない場合に
は、限定された角膜領域内に存在する像の特徴点を選択
し、選択された像の特徴点から、前記眼球の角膜曲率中
心を求めて、角膜曲率中心と瞳孔中心の位置情報とから
視線方向を認識し、視線認識結果とする。

【００１９】このようにして、視線認識において、眼球
の角膜を球面として、モデル化して扱うことのできる角
膜の領域を限定することにより、曲率中心として求まる
位置の精度が高くなる。この結果、認識される視線の精
度を高くすることができる。また、これにより、視線認
識の結果には、計算処理による結果のバラツキが少なく
なり、後処理の視線方向の補正が行い易くなる。

【００２０】

【実施例】以下、本発明の一実施例を図面を用いて具体
的に説明する。図１は本発明の一実施例にかかる視線認
識装置の全体の構成を示すブロック図である。図１にお
いて、１１は撮像装置（ＣＣＤカメラ）、１２は画像処
理部、１３は画像解析認識部、１４は光源パターンデー
タベース、１５は曲率中心演算部、１６は視線演算処理
部、１６ａは仮視線計算部、１６ｂは領域判定部、１６
ｃは視線認識処理部である。

【００２１】撮像装置１１により、撮影された眼の画像
データは、画像ノイズを画像処理部１２により除去し、
画像解析認識部１３により、閾値処理を行って、虹彩，
眼瞼等の像を除去し、角膜反射像のみを抽出する前処理
を行う。光源パターンデータベース１４には、被験者の
視線認識の対象となる眼球の角膜上に、複数の特徴点を
持つ反射像を結像させているパターン光ビームの光源パ
ターンが格納されている。画像解析認識部１３は、この
光源パターンの矩形マスクを用いた画像解析処理を行
う。すなわち、画面上の抽出された角膜反射像に対し
て、光源パターンの矩形マスクによるマスク走査の画像
処理を行って、予め用意された光源パターンと合致する
ものを判定し、反射像の複数の特徴点を検出すると共
に、その特徴点の画像上における位置情報を特定する。

【００２２】曲率中心演算部１５は、後述するように、
公知の演算手法を用いて、撮影された画像中の曲率中心
を求める。そして、求められた曲率中心の位置を視線演
算処理部１６に供給する。視線演算処理部１６は、曲率
中心の位置が供給されると、視線計算を行って、視線認
識処理を行う。次に、視線演算処理部１６が行う視線計
算について、具体的に説明する。

【００２３】図２は、視線演算処理部が行う視線計算を
中心とする視線認識処理の処理フローを示すフローチャ
ートである。図２を参照して説明する。処理を開始する
と、まず、ステップ２１において、角膜反射像から曲率
中心に用いる特徴点を選び、角膜曲率中心を求める。次
に、ステップ２２において、角膜曲率中心と瞳孔中心の
位置関係から仮の視線を方向を計算し、次のステップ２
３において、仮の視線方向と瞳孔の位置関係から限定さ
れた角膜領域を求める。そして、次のステップ２４にお
いて、求められた角膜領域に対し、特徴点が限定された
角膜領域に含まれるか否かを判定する。特徴点が限定さ
れた角膜領域に含まれる場合は、次のステップ２５に進
み、先に求めた仮の視線方向を、ここで求める視線認識
結果として出力し、この処理を終了する。また、ステッ
プ２４の判定において、特徴点が限定された角膜領域に
含まれない場合は、ステップ２６に進み、角膜領域に含
まれる特徴点を選択し直し、角膜曲率中心を再計算して
求める。そして、ステップ２２に戻り、ステップ２２か
らの処理を繰り返す。なお、ステップ２６の処理におい
て、特徴点が限定された角膜領域に含まれず、特徴点が
選択し直せない場合に、例えば、タイムオーバーする
と、ここでの視線認識処理の制御を行っている制御プロ
グラム（オペレーティングシステムのプログラム）に処
理の制御が移され、エラー処理を行い、処理を終了す
る。

【００２４】なお、本実施例の視線認識装置において
は、角膜反射像を形成するための光源パターンとして、
図７に示したような四角いパターン光源（断面が四角形
のパターン光ビーム）を用いているが、このようにし
て、被験者の視線認識の対象となる眼球の角膜上に、そ
の光源パターンの反射像を結像させている状態を具体例
として、視線認識の計算処理について、視線演算処理部
１６の動作を具体的に説明する。

【００２５】視線演算処理部１６においては、まず、仮
視線計算部１６ａにより仮の視線計算を行う。その場
合、図３に示す眼球モデルに従って説明すると、例え
ば、視線認識を行う対象眼球の虹彩（黒目）３３と強膜
（白目）３２との境界（以下、虹彩輪郭と称する）が円
形であり、しかも、その円の中心が、瞳孔中心と一致す
るとして、眼球の幾何学形状をモデル化する。また、眼
球をモデル化するパラメータである虹彩輪郭の半径
（ｒ）と角膜の曲率半径（Ｒ）は、ここでは曲率中心演
算部１５による処理によって、事前に所定の前処理によ
って計測されているものとする。

【００２６】図７により先に説明したように、例えば、
視線認識の前処理において、被験者７５がＣＣＤカメラ
７１のレンズを注視した状態で、カメラに対して眼球が
真正面を向いている時の眼球画像から角膜領域を切り出
し、切り出した領域画像の直径とカメラの倍率によっ
て、その虹彩輪郭の半径（ｒ）を算出する。

【００２７】また、曲率半径（Ｒ）についても、文献
「光学シリーズ１０，めがね光学，小瀬輝次監修，大頭
仁他著，共立出版（株）発行」に記載されているよう
に、公知のオフサルモメータ（ｏｐｈｔｈａｌｍｏｍｅ
ｔｅｒ）の原理により計測する。すなわち、この場合に
は、角膜反射像の位置がその曲率半径によって変化する
ことを利用し、１ないし２個の視標（特徴像）の角膜反
射像を種々の方法で分離し、再び合致させることにより
角膜曲率半径を測定する。

【００２８】角膜曲率中心と瞳孔中心の距離ｄの求め方
は、例えば、眼球の角膜をほぼ完全な球面としてモデル
化し、虹彩輪郭の半径（ｒ）から、ｄ＝（Ｒ²−ｒ²）
^1/2として近似する。または、瞳孔を円としてモデル化
し、瞳孔輪郭がはっきりと抽出されている画像を用い
て、視線方向に応じて瞳孔の円が楕円として観測できる
と推定し、その瞳孔の画像の輪郭を楕円でフィッティン
グし、その楕円の長軸と単軸の長さの比から、眼球の光
軸の方向（θ：カメラの光軸方向と眼球方向のなす角）
を計算し、更に、その時の角膜反射像から求まる角膜曲
率中心と瞳孔中心の距離（Ｌ）から、距離ｄ（ｄ＝Ｌ／
ｓｉｎθ）を求めるようにしても良い。

【００２９】次に、領域判定部１６ｂにより、仮に求ま
った視線方向から角膜上の特徴点選択領域Ａを求める。
ここで、特徴点選択領域Ａの大きさを規定するパラメー
タとして、角度αを設定する（図３）。この角度αは、
特徴点選択領域Ａの縁の点と角膜曲率中心Ｏを結ぶ線分
と眼球光軸とのなす角度とする。ただし、撮像した眼の
画像から特徴点選択領域Ａを推定する際には若干の注意
を要する。図４および図５により、後述するように、眼
の画像に特徴点選択領域Ａの全体が映っている場合と、
一部が隠れている場合の２通りの可能性があるので、そ
れぞれの場合に応じて、眼の画像中の特徴点選択領域Ａ
の計算法に違いがある。

【００３０】図４および図５は、ここでの特徴点選択領
域Ａの全体が眼の画像に映っている場合と、一部が隠れ
ている場合のそれぞれの画像処理の違いを説明する図で
ある。図４（ａ）は、２つの場合の観測方向１と観測方
向２との観測方向の違いを説明する図であり、図４
（ｂ）は、観測方向１から見た眼球像を説明する模式図
であり、図４（ｃ）は、観測方向２から見た眼球像を説
明する模式図である。また、図５において、５１は角膜
の曲率を中心として角膜曲率半径Ｒに等しい半径の球面
（つまり角膜を含む球面）、５２は瞳孔、５３は特徴点
選択領域Ａとなる観測楕円をそれぞれ表している。

【００３１】図４は、その２つの場合の可能性について
模式的に表現しているが、図５は、図４の状態における
幾何学的モデルを更に詳しく表現した図となっている。
図４および図５を参照すると、仮に求まった視線方向、
すなわち、眼球光軸とカメラの光軸のなす角度をθとす
ると、求める特徴点選択領域Ａの縁は、角膜曲率中心Ｏ
と瞳孔中心Ｃとを結ぶ線分ＯＣの延長線上であり、角膜
曲率中心ＯからＲｃｏｓαｓｉｎθの距離（角膜曲率中
心Ｏから見て瞳孔中心Ｃの方向の延長線上）に中心（Ｃ
Ａ）を持ち、楕円長軸の半径がＲｓｉｎαであり、楕円
短軸の半径がＲｓｉｎαｃｏｓθの楕円５３となる。

【００３２】しかし、眼球光軸に対して大きな角度の付
いた方向から撮影した場合には、カメラの光軸から見
て、奥の方の楕円の一部が見えないことがある。その際
には、求めたい画像中の特徴点選択領域Ａは、図５
（ｂ）に示すように、楕円５３と角膜曲率中心Ｏを中心
として曲率半径Ｒの球の輪郭に囲まれる領域（ハッチン
グで示す領域）になる。ただし、視線方向とカメラの光
軸方向が直角をなす場合は、ここでの楕円５３は直線と
なり、求める特徴点選択領域Ａは、縁と当該直線の間の
領域になる。

【００３３】次に、視線認識処理部１６ｃにおいて、視
線認識の結果処理を行う。この視線認識の結果処理で
は、まず、仮視線計算部１６ａによる仮の視線計算にお
いて、用いた角膜反射像が特徴点選択領域Ａに含まれる
かどうかを判定する。このような処理の結果、もしも、
仮の視線計算において用いた角膜反射像の特徴点が含ま
れている場合には、仮の視線方向を最終的な認識結果と
して出力する。もし、含まれていなければ、特徴点選択
領域Ａ内から角膜反射像を再び選択して、仮視線計算部
１６ａによる視線計算の処理を行う。

【００３４】以上のような過程を視線認識処理に含めた
場合の処理過程の実験例を、より具体的に説明すると、
例えば、サンプル画像として、図８（ａ）に示す眼球の
画像を用いて処理を行った場合を例として説明する。た
だし、ここでの実験例においては、特徴点選択領域Ａを
規定するパラメータの角度αを１５度とした。図８
（ａ）の画像を用いて、視線認識処理を実施した結果
を、図６に示している。いうまでもないが、最初に求め
る粗い視線の精度が、そのまま特徴点選択領域Ａの推定
精度となるため、パラメータの角度αをある程度以上に
小さくしても効果はない。図６（ａ）は、図８（ａ）の
画像から四角い角膜反射像を抽出した結果である。四角
い像の４隅を検出し（図中の丸で囲まれたところ）、そ
の中から、下の２点を選択して、仮の視線を計算する。
更に、その計算結果に基づいて、特徴点選択領域Ａを計
算する。特徴点選択領域Ａ内にある反射像を抽出した結
果が、図６（ｂ）となっている。この場合、特徴点選択
領域Ａ内にある特徴点２点を用いて、再度、視線方向を
計算する。

【００３５】このようにして、常に限定された領域の角
膜反射像の情報を利用することで、視線認識において、
角膜の非球面性の影響を少なくすることができる。本実
施例では、特徴点選択領域Ａを球面性の高いと思われる
角膜頂点部付近を選んでいるが、その他の領域であって
も構わない。例えば、コンタクトレンズを使う被験者な
らば、コンタクトレンズのレンズ表面の一部の領域など
球面性の高いと思われる特定の領域を選んで、視線認識
を行うようにしてもよい。

【００３６】

【発明の効果】以上、説明したように、本発明による視
線認識装置においては、まず、仮に粗い視線方向を求め
てから、角膜反射像を選択する特徴点選択領域Ａを求め
ることにより、常に、角膜上の限定された範囲での反射
像を抽出して、その反射像を用いて視線認識を行う。す
なわち、これは、眼球の角膜を球面として近似すること
の精度を高めることであり、角膜全体から適当に反射像
を選択して、視線方向を計算する場合よりも、球面とし
ての近似精度の高い限定された領域からの反射像を選択
する方が、計算結果のバラツキが小さくなる。バラツキ
が小さくなることで、更に、視線認識の補正（視軸と眼
球光軸のずれ、測定誤差などに起因する結果の補正）も
行いやすくなる。

【００３７】また、このような視線認識の手法は、角膜
上の広範囲に像が結像する可能性のある状況、すなわ
ち、特に視線を計測する際に、頭部に機器を装着しない
状況であって、しかも頭部の運動を許容するような状況
においても、同様の効果をもたらす。

【図面の簡単な説明】

【図１】図１は本発明の一実施例にかかる視線認識装
置の全体の構成を示すブロック図、

【図２】図２は視線演算処理部が行う視線計算を中心
とする視線認識処理の処理フローを示すフローチャー
ト、

【図３】図３は視線計算の際に用いる眼球モデルを説
明する図、

【図４】図４は画像中の特徴点選択領域の求め方が視
線方向によって違うことがあることを模式的に表現した
図、

【図５】図５は図４の状態における幾何学的モデルを
更に詳しく表現した図、

【図６】図６は図８の画像を用いて視線認識処理を実
施した結果の処理画像の一例を示す図、

【図７】図７は、視線認識装置の実験環境を説明する
図、

【図８】図８は、図７に示す視線認識装置の実験環境
による実験結果例を示す図、

【図９】図９は反射像の四隅の点から適当に２点を選
んで視線認識するときに２点の選び方によって結果にバ
ラツキが出ることを示す図である。

【符号の説明】

１１…撮像装置（ＣＣＤカメラ）、１２…画像処理部、
１３…画像解析認識部、１４…光源パターンデータベー
ス、１５…曲率中心演算部、１６…視線演算処理部、１
６ａ…仮視線計算部、１６ｂ…領域判定部、１６ｃ…視
線認識処理部、３１…角膜、３２…強膜、３３…虹彩、
３４…水晶体、５１…眼球モデルの球面、５２…瞳孔、
５３…特徴点選択領域Ａとなる観測楕円、７１…ＣＣＤ
カメラ、７２…ディスプレイ装置、７３…発光ダイオー
ド群のパターン光源、７４…視線計算処理装置。

Claims

(57)【特許請求の範囲】

【請求項１】視線認識対象の眼球に光を照射し当該眼球
の角膜上に３点以上の特徴点を持つ像を結像させ、前記
角膜上に結像された像の特徴点から前記眼球の角膜曲率
中心を求め、角膜曲率中心と瞳孔中心の位置情報から視
線方向を認識する視線認識装置において、角膜曲率中心と瞳孔中心の位置関係から仮の視線方向を
計算する仮視線計算手段と、仮の視線方向と瞳孔の位置情報から限定された角膜領域
を求める角膜領域判定手段と、前記限定された角膜領域内に前記像の特徴点がある場合
には、仮の視線方向を視線認識結果とし、限定された角
膜領域内に像の特徴点の一部がない場合には、限定され
た角膜領域内に存在する像の特徴点を選択し、選択され
た像の特徴点から前記眼球の角膜曲率中心を求めて、角
膜曲率中心と瞳孔中心の位置情報とから視線方向を認識
し、視線認識結果とする処理手段とを備えることを特徴
とする視線認識装置。
【請求項２】曲率中心演算部および視線演算処理部によ
り、視線認識対象の眼球に照射された光によって当該眼
球の角膜上に３点以上の特徴点を持つ像が結像された当
該像の特徴点から前記眼球の角膜曲率中心を求めて、角
膜曲率中心と瞳孔中心の位置情報から視線方向を認識処
理する仮視線計算手段と角膜領域判定手段と処理手段を
具備する視線認識装置が行う視線認識方法であって、前記仮視線計算手段が角膜曲率中心と瞳孔中心の位置関
係から仮の視線方向を計算するステップと、前記角膜領域判定手段が仮の視線方向と瞳孔の位置情報
から限定された角膜領域を求めるステップと、前記処理手段が前記限定された角膜領域内に前記像の特
徴点がある場合には、仮の視線方向を視線認識結果と
し、限定された角膜領域内に像の特徴点の一部がない場
合には、限定された角膜領域内に存在する像の特徴点を
選択し、選択された像の特徴点から前記眼球の角膜曲率
中心を求めて、角膜曲率中心と瞳孔中心の位置情報とか
ら視線方向を認識し、視線認識結果とするステップとか
らなることを特徴とする視線認識方法。