JP2501288B2

JP2501288B2 - 注視点推定装置

Info

Publication number: JP2501288B2
Application number: JP5148995A
Authority: JP
Inventors: 真司味園; 博明江藤; 利行濱
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1993-06-21
Filing date: 1993-06-21
Publication date: 1996-05-29
Anticipated expiration: 2011-05-29
Also published as: EP0631222A1; JPH0720987A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、人間とコンピュータの
インターフェイスに使用する装置に関し、詳しくは利用
者の画面上の注視点を推定する装置の較正用データの獲
得に関するものである。

【０００２】

【従来の技術】障害などで手の使えない利用者とコンピ
ュータとのインターフェイスの一つに、利用者の視線を
利用するものがある。その中で利用者の負担が最も少な
くかつ自由度の高いものは、ビデオカメラと赤外線光源
を用いて、利用者が表示装置の画面上で見ている点（注
視点）を推定する非接触型の装置である。これは既に製
品化されている（例えば、リチャード．Ａ．ボルト「マ
ン・マシーン・インターフェイス進化論」パーソナル・
メディア（１９８６）、D.L.Gardner, Looking at look
ing, in Proceedings of the PS/2 Future Symposium:
A Vision of theFuture: The Ideal 1993 Personal Sys
tem. Boca Raton,FL. April 1988ほか）。

【０００３】このような装置では、まずビデオカメラの
データを画像処理することにより、利用者の目の輪郭と
瞳孔の中心位置を求める。さらに必要であれば赤外線を
利用者の眼に当て、角膜からの反射光を測定する。これ
らのデータによって画面上の注視点を推定するものもあ
る。

【０００４】しかし、この従来の装置には２つの問題点
がある。まず１つは較正の問題である。注視点の推定に
は、上記のデータの他に、注視点の絶対位置を特定する
ための基準点（例えば、画面の四隅）のデータが必要で
ある。これは作業の開始時に必要であり、また利用者の
姿勢が大きく変化する度に必要になる。さらに眼の動き
と注視点の変化との相関関数には個人個人に依存したパ
ラメータが含まれるので、このパラメータを決定するた
めの較正用データも必要である。よって従来の装置では
利用者が変わるたびにこれらの基準点データ及び較正用
データを取り込む必要がある。通常このようなデータ
は、利用者が作業を始める前に、画面上の予め定められ
た複数の点を順番に注視していくことで集める。しかし
この方法では、注視する対象が本来利用者の行ないたい
作業内容と無関係なものであるため、利用者の思考の流
れを分断してしまうという欠点を持つ。

【０００５】第２は注視点の推定結果の確定方法の問題
である。上記のデータから推定した画面上の部分が、確
かに利用者の注視点の位置であるかどうかをシステムが
判断するための有効な方法がない。そのため従来は利用
者に瞬きなどの確定信号を送ってもらい確定する方法が
採られている。或いは確定信号を送るための専用ボタン
を用意する案も出されているが、この方法は手が使用で
きない利用者には適用することができない（例えばP.J.
Kennedy,"Point of Regard Tracking Device",IBM TDB
n10A 03-92 p488-490）。

【０００６】

【発明が解決しようとする課題】本発明の目的は、特別
な較正作業を不要とし、利用者の思考の流れを断ち切る
ことなく画面上の注視点の推定に必要な基準点データあ
るいは較正用データを取り出すとともに、その推定結果
の確定をより確実に行なうことを可能にすることによ
り、注視点推定装置の操作性を向上させることである。

【０００７】

【課題を解決するための手段】本発明は、従来の画像処
理または赤外線測光等による推定装置に加えて、画面上
で推定された注視点の部分の明度を上げ、その時の瞳孔
面積の変化を測定し相関をとることにより、注視点の推
定に不可欠な較正用データの取り出しと、注視点の推定
値の確定を可能にする。

【０００８】

【実施例】図１に本発明の装置の構成を示す。１の表示
装置は、その画面上に文字等を表示するための装置であ
る。２のカメラ部は、ビデオカメラ及び必要ならば赤外
線光源及び測定器からなり、ビデオカメラからの眼の像
のビデオデータを採集する。３の瞳孔中心位置算出部
は、カメラ部からのビデオデータの画像処理を行なうこ
とによって、利用者の瞳孔の中心位置を算出する。ま
た、装置によってはさらに赤外線光源の角膜反射光デー
タをあわせて処理し、より正確に算出する。４の瞳孔面
積測定部は、カメラ部からのビデオデータを画像処理す
ることにより瞳孔面積を計算する。ただし本発明では面
積の絶対値は必要なく、時間的な相対変化のみを計算す
るだけで十分である。これらの装置の詳細については、
前記の参照文献等に記載されているので詳細な説明を省
略する。５の推定部は、算出された瞳孔中心位置及びそ
の較正用データから画面上の注視点を推定する（以下こ
の点を推定注視点と呼ぶ）。そして、算出された瞳孔中
心位置と明度変化により得られるデータから、以後の視
線推定に必要な較正用データを蓄積する。６の明度制御
部は、推定注視点の画面上の位置の明度を変化させる。

【０００９】次に、画像処理等で得られる瞳孔中心位置
から画面上の注視点を推定するための具体的方法につい
て説明する。

【００１０】まず瞳孔中心位置を図２のように（ｘ，
ｙ）座標系で表し、推定注視点（すなわち、画面上の
点）を図３のように（ｕ，ｖ）座標系で表すことにす
る。問題は瞳孔中心位置（ｘ，ｙ）から推定注視点
（ｕ，ｖ）を算出することである。

【００１１】前提として、（ｘ，ｙ）と（ｕ，ｖ）との
関数関係を利用者あるいはシステムが予め決めていると
する。最も簡単な関数として、パラメータａ，ｂ，ｃ，
ｄを含んだ次式が考えられる。

【数１】

【００１２】この関数により注視点を推定するために
は、関数に含まれるパラメータ値を決める必要がある。
このパラメータ値決定に必要なデータが較正用データで
ある。最小限必要なデータの数をＮｐとする。例えば式
（１）の推定関数の場合には、２個所の瞳孔中心位置デ
ータがあれば、（ａ，ｂ，ｃ，ｄ）を決められるので、
Ｎｐ＝２となる。

【００１３】また、利用者あるいはシステムが予めｃと
いう臨界値を決めておくことも前提にしている。これ
は、推定注視点（ｕ，ｖ）と本当の注視点（ｕr，ｖr）
とのずれに関する値で、 |(ｕ，ｖ）−（ｕr，ｖr)|＜ｃ（２）ならば、推定が正しいと判断することにする。（ここ
で、｜｜は２点間の距離、すなわち次式の値である。）

【数２】

【００１４】以上のようにして、予め推定関数、必要な
データ数Ｎｐ、臨界値ｃが決められているものとする。
このもとで推定関数中のパラメータの決定に必要な較正
用データを動的に蓄積・更新していく方法を図４のフロ
ーチャートにより示す。

【００１５】以下、図４に示すフローチャートの各部に
ついて説明する。

【００１６】１）推定を開始するにあたり現有する較正
用データの数ｎとＮｐとを比較する。ｎ＜Ｎｐの場合、
まだ推定に必要なデータが揃っていないので、ランダム
に推定注視点（ｕo，ｖo）を選ぶ。ｎ≧Ｎｐの場合、現
在のパラメータ値から予め定めた推定関数により初期の
推定注視点（ｕo，ｖo）を算出する。

【００１７】２）上記のようにして得られた初期の推定
注視点（ｕo，ｖo）を推定注視点（ｕ，ｖ）としてその
部分の輝度を上昇させ、瞳孔中心位置の変化と瞳孔面積
の変化を調べる。推定注視点が真の注視点（ｕr，ｖr）
に十分近い場合、瞳孔中心位置は変化せず、瞳孔面積が
減少する。反対に、推定注視点が真の注視点から離れて
いる場合、次の３つのいずれかが起こる。 (i)瞳孔面積も瞳孔中心位置も変化しない。これは利用
者が本来の（現在の）注視点から目を動かさない場合で
ある。 (ii)瞳孔中心位置が変化し、その後瞳孔面積が変化す
る。これは利用者が明るくなった推定注視点に目を動か
した場合である。 (iii)瞳孔中心位置は変化するが、瞳孔面積が変化しな
い。これは利用者が推定注視点とは無関係な場所に目を
動かした場合である。このような(i)〜(iii)の３つの場合に推定注視点を更新
していく。

【００１８】３）推定注視点の更新３-(i)及び３-(iii) これは上記の(i)と(iii)の場合の
処理である。いずれの場合も現在の推定注視点が誤って
いるという情報しかないので、新たな推定注視点（ｕ，
ｖ）をランダムに選ぶ。３-(ii) この場合、目の動きの情報に基づいて、新た
な推定点を算出する。例えば目が右上に動いた場合、新
たな推定点を現在の推定点の左下にとる。

【００１９】４）最終的な推定点（ｕ，ｖ）と初期の推
定点（ｕo，ｖo）との距離が臨界値ｃ以内かどうかを調
べる。臨界値ｃ以内の場合は、現有推定データに現在の
データ（（ｘ，ｙ）と（ｕ，ｖ））を追加する。臨界値
ｃ以上の距離が離れている場合には、何らかの理由（利
用者が変わったり、同じ利用者でも姿勢を変えたりした
こと）で、現有推定データがもはや有効でなくなったこ
とを意味する。そこで現有データを消去し、較正用デー
タ数を０にリセットした後、現在のデータを１個目の較
正用データとして登録する。

【００２０】本発明は、このような操作を繰り返し、注
視点を推定する。これにより、例えば注視した部分を印
刷したり、音声化したり、拡大表示をしたり、その部分
の説明文等を表示したりといった広範囲のマン・マシン
・インターフェイスとしての応用が可能となる。

【００２１】以上の例においては、図５のような特別な
形をしたポインタを想定して説明してきたが、ポインタ
の形はどんなものでも良い。また図６にあるように表示
データのそのものをポインタの代わりに使用することも
可能である。また、赤外線を用いないで、ビデオカメラ
のみでカメラ部が構成される装置においても、瞳孔中心
位置及び面積を求めるに必要なデータが得られれば、本
発明を実施することは可能である。

【００２２】

【発明の効果】本発明により、特別な較正作業を不要と
し、利用者の思考の流れを断ち切ることなく注視点の推
定に必要な較正用データを取り出すとともに、その推定
結果の確定をより確実に行なうことを可能とし、注視点
推定装置の操作性を向上させることができる。

【図面の簡単な説明】

【図１】本発明の注視点推定装置の構成を示す図であ
る。

【図２】瞳孔中心位置座標系を示す図である。

【図３】推定注視点を示す画面座標系を示す図である。

【図４】本発明の注視点の推定を示すフローチャートで
ある。

【図５】ポインタの例を示す図である（網かけ部分）。

【図６】ポインタの例を示す図である（網かけ部分）。

【符合の説明】

１表示装置２カメラ部３瞳孔中心位置算出部４瞳孔面積測定部５推定部６明度制御部

───────────────────────────────────────────────────── フロントページの続き (72)発明者江藤博明神奈川県大和市下鶴間1623番地14 日本アイ・ビー・エム株式会社東京基礎研究所内 (72)発明者濱利行神奈川県大和市下鶴間1623番地14 日本アイ・ビー・エム株式会社東京基礎研究所内 (56)参考文献特開平５−204526（ＪＰ，Ａ) 特開昭63−75824（ＪＰ，Ａ)

Claims

(57)【特許請求の範囲】

【請求項１】表示装置と、上記表示装置の画面に向かう人間の瞳孔中心位置を算出
する手段と、上記人間の瞳孔面積の変化を検出する手段と、上記瞳孔中心位置算出手段の算出データ及び較正用デー
タに基づいて上記人間の画面上の注視点を推定する手段
と、上記推定された注視点の明度を変化させる手段とを有
し、上記明度変化の後、上記瞳孔面積変化検出手段により瞳
孔面積の変化が検出され、かつ上記瞳孔中心位置算出手
段により瞳孔中心位置の無変化が検出されたことに応答
して、現在の瞳孔中心位置及び推定された注視点を上記
人間の注視点推定のための較正用データとして上記推定
手段に蓄積することを特徴とする注視点推定装置。
【請求項２】上記推定手段は、上記瞳孔面積の変化が検
出され、かつ瞳孔中心位置の変化が検出された場合にさ
らに別の注視点を推定する請求項１記載の注視点推定装
置。
【請求項３】上記明度変化手段は、マウスカーソルや編
集用カーソルとして画面上に用意されたポインタを推定
注視点に移動させ、そのポインタ部分のみ明度を上げる
請求項１記載の注視点推定装置。
【請求項４】上記明度変化手段は、画面上の推定注視点
の位置にある表示データそのものの明度を上げる請求項
１記載の注視点推定装置。
【請求項５】表示装置と、上記表示装置の画面に向かう人間の瞳孔中心位置を算出
する手段と、上記人間の瞳孔面積の変化を検出する手段と、上記瞳孔中心位置算出手段の算出データ及び較正用デー
タに基づいて上記人間の画面上の注視点を推定する手段
と、上記推定された注視点の明度を変化させる手段とを有
し、上記明度変化の後、上記瞳孔面積変化検出手段により瞳
孔面積の変化が検出され、かつ上記瞳孔中心位置算出手
段により瞳孔中心位置の無変化が検出されたことに応答
して、現在の瞳孔中心位置及び注視点を上記人間の視線
推定のための較正用データとして上記推定手段に蓄積
し、上記推定手段によって画面上の注視点を推定し、マ
ン・マシン・インターフェイスを行う手段とを含むイン
ターフェイス・システム。