JP2642702B2 - 注視方向検出装置 - Google Patents
注視方向検出装置Info
- Publication number
- JP2642702B2 JP2642702B2 JP63273250A JP27325088A JP2642702B2 JP 2642702 B2 JP2642702 B2 JP 2642702B2 JP 63273250 A JP63273250 A JP 63273250A JP 27325088 A JP27325088 A JP 27325088A JP 2642702 B2 JP2642702 B2 JP 2642702B2
- Authority
- JP
- Japan
- Prior art keywords
- operator
- camera
- center
- light source
- eyeball
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Eye Examination Apparatus (AREA)
Description
【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、入力装置操作時における操作者の注視方
向を検出する装置に関するものである。
向を検出する装置に関するものである。
注視方向を検出する従来の装置（通称：アイカメラ）
を使用する際、操作者は、アイカメラを内蔵したヘルメ
ットを装着する。このアイカメラは、左右の眼球を照明
する発光素子、角膜球面で反射される発光素子の反射光
を撮影するためのカメラ、操作者の視野領域を撮影する
ための視野カメラおよびハーフミラー等の光学系構成部
品等からなる。アイカメラによる注視位置検出原理は、
光源が角膜球面で反射し、カメラ内の受光素子に入射す
る際の反射位置座標と操作者が基準点を注視した時の光
源の反射位置座標の差から求める。
を使用する際、操作者は、アイカメラを内蔵したヘルメ
ットを装着する。このアイカメラは、左右の眼球を照明
する発光素子、角膜球面で反射される発光素子の反射光
を撮影するためのカメラ、操作者の視野領域を撮影する
ための視野カメラおよびハーフミラー等の光学系構成部
品等からなる。アイカメラによる注視位置検出原理は、
光源が角膜球面で反射し、カメラ内の受光素子に入射す
る際の反射位置座標と操作者が基準点を注視した時の光
源の反射位置座標の差から求める。
従来のアイカメラではこのようにヘルメットを装着す
る必要があるため、次のような問題がある。まず、ヘル
メットは、各種部品を内蔵しているためその重量が数百
グラムと重い。このため、長時間にわたって装置を使用
する場合、ヘルメットの固定位置がずれ、視線方向の検
出に誤差が生じる欠点がある。また、装置の重量が大き
いため、操作者に大きな負担がかかっていた。
る必要があるため、次のような問題がある。まず、ヘル
メットは、各種部品を内蔵しているためその重量が数百
グラムと重い。このため、長時間にわたって装置を使用
する場合、ヘルメットの固定位置がずれ、視線方向の検
出に誤差が生じる欠点がある。また、装置の重量が大き
いため、操作者に大きな負担がかかっていた。
この発明は上記の問題点を解決するためになされたも
ので、ヘルメットの装着を不要とし、かつ操作者の注視
方向を非接触、かつ高精度に得ることができる注視方向
検出装置を提供することを目的とする。
ので、ヘルメットの装着を不要とし、かつ操作者の注視
方向を非接触、かつ高精度に得ることができる注視方向
検出装置を提供することを目的とする。
この発明にかかる注視方向検出装置は、操作者の眼球
を照明する光源と、操作者の眼球を撮影するカメラと、
眼球の角膜球面部における光源のカメラ内における反射
位置座標を検出する反射位置検出部と、複数の反射位置
座標から３次元空間内における角膜球面部の角膜球中心
の位置座標を得、この角膜球中心の位置座標の軌跡がな
す曲線部分の回転中心を眼球中心とし、この眼球中心と
角膜球中心を結ぶ直線方向を、操作者の注視方向として
検出するデータ解析部とからなるものである。
を照明する光源と、操作者の眼球を撮影するカメラと、
眼球の角膜球面部における光源のカメラ内における反射
位置座標を検出する反射位置検出部と、複数の反射位置
座標から３次元空間内における角膜球面部の角膜球中心
の位置座標を得、この角膜球中心の位置座標の軌跡がな
す曲線部分の回転中心を眼球中心とし、この眼球中心と
角膜球中心を結ぶ直線方向を、操作者の注視方向として
検出するデータ解析部とからなるものである。
この発明においては、操作者の眼球を照射する光源を
操作者の前方に設置し、操作者の眼球の角膜球面部にお
ける光源の反射像を、操作者の前方に配置したカメラで
撮影し、カメラ内に装着した反射位置検出部により角膜
球中心の位置座標とその軌跡を求めることにより操作者
の注視方向を検出する。
操作者の前方に設置し、操作者の眼球の角膜球面部にお
ける光源の反射像を、操作者の前方に配置したカメラで
撮影し、カメラ内に装着した反射位置検出部により角膜
球中心の位置座標とその軌跡を求めることにより操作者
の注視方向を検出する。
第１図はこの発明による注視方向検出装置の構成の一
実施例を示す。同図において、１は操作者の眼球、２は
角膜球面部、31,32,33は光源（総称するときは単に３と
いう。以下の他の番号についても同様とする。）、４は
前記光源３の駆動部、５は前記光源３の角膜球面部２に
おける反射像、６は眼球撮影用のカメラ、７は受光素
子、８は前記カメラ６の自然焦点調節部、９は前記カメ
ラ６の自動首振り調節部、10は中央制御部、11は前記光
源３の反射位置検出部、12はデータ解析部である。
実施例を示す。同図において、１は操作者の眼球、２は
角膜球面部、31,32,33は光源（総称するときは単に３と
いう。以下の他の番号についても同様とする。）、４は
前記光源３の駆動部、５は前記光源３の角膜球面部２に
おける反射像、６は眼球撮影用のカメラ、７は受光素
子、８は前記カメラ６の自然焦点調節部、９は前記カメ
ラ６の自動首振り調節部、10は中央制御部、11は前記光
源３の反射位置検出部、12はデータ解析部である。
この装置の構成ならびに機能を説明する。
３個の光源31〜33を操作者の前方に置き、操作者の
眼球１を照明する。光源31〜33は、操作者の眼球１の角
膜球面部２において反射像５を形成する。カメラ６は、
視野内に３個の光源31〜33の反射像５を得る位置に配置
し、光源31〜33の反射像５を撮影する。なお、カメラ６
および光源31〜33の位置は、Ｃ［XC,YC,ZC］およびK
1［XK1,YK1,ZK1］,K2［XK2,YK2,ZK2］,K3［XK3,YK3,
ZK3］であり固定とする。
眼球１を照明する。光源31〜33は、操作者の眼球１の角
膜球面部２において反射像５を形成する。カメラ６は、
視野内に３個の光源31〜33の反射像５を得る位置に配置
し、光源31〜33の反射像５を撮影する。なお、カメラ６
および光源31〜33の位置は、Ｃ［XC,YC,ZC］およびK
1［XK1,YK1,ZK1］,K2［XK2,YK2,ZK2］,K3［XK3,YK3,
ZK3］であり固定とする。
各光源31〜33を駆動部４を用いて一定時間間隔ごと
に順次点燈する。カメラ６内の受光素子７は、光源31〜
33の反射位置座標に対応した電圧を発生する。
に順次点燈する。カメラ６内の受光素子７は、光源31〜
33の反射位置座標に対応した電圧を発生する。
反射位置検出部11は、各光源31〜33の発光に同期し
て受光素子７から得られるＸおよびＹ方向の電圧信号を
カメラ６の視野内の位置座標i1［xI1,yI1］,i2［xI2,y
I2］,i3［xI3,yI3］に変換する。各光源31〜33の発光周
期は、極く短い時間（数10マイクロ秒）であり、各光源
31〜33を一巡する時間は、目視動作時間（200〜600ミリ
秒）に比べて同一時刻と見なせる。
て受光素子７から得られるＸおよびＹ方向の電圧信号を
カメラ６の視野内の位置座標i1［xI1,yI1］,i2［xI2,y
I2］,i3［xI3,yI3］に変換する。各光源31〜33の発光周
期は、極く短い時間（数10マイクロ秒）であり、各光源
31〜33を一巡する時間は、目視動作時間（200〜600ミリ
秒）に比べて同一時刻と見なせる。
カメラ６の自動焦点調節部８は、始め焦点距離ｆを
短く（画角を広角）して操作者の顔面をカバーするよう
に撮影し、光源31〜33の反射像５の位置座標i1,i2,i3を
検出する。次いで、焦点距離ｆを拡大してズームアップ
し、拡大画像を得、各光源31〜33の反射像５の位置座標
i1［xI1,yI1］,i2［xI2,yI2］,i3［xI3,yI3］を精度高
く測定する。この時の焦点距離をfOとする。ズームアッ
プに際しては、光源31〜33の反射像５がカメラ６の視野
内にあるように、カメラ６の自動首振り調節部９を調節
する。カメラ６の光軸は、操作者が正面を向いた時の方
向を基準として設定した光軸とα度、およびβ度をな
す。
短く（画角を広角）して操作者の顔面をカバーするよう
に撮影し、光源31〜33の反射像５の位置座標i1,i2,i3を
検出する。次いで、焦点距離ｆを拡大してズームアップ
し、拡大画像を得、各光源31〜33の反射像５の位置座標
i1［xI1,yI1］,i2［xI2,yI2］,i3［xI3,yI3］を精度高
く測定する。この時の焦点距離をfOとする。ズームアッ
プに際しては、光源31〜33の反射像５がカメラ６の視野
内にあるように、カメラ６の自動首振り調節部９を調節
する。カメラ６の光軸は、操作者が正面を向いた時の方
向を基準として設定した光軸とα度、およびβ度をな
す。
データ解析部12は、３次元空間におけるカメラ６お
よび光源３の設定位置、自動首振り調節部９から得られ
るカメラ６の光軸方向、自動焦点調節部８より得られる
焦点距離fO、および各光源３の反射像５のカメラ６内の
位置座標データi1,i2,i3をもとに操作者の角膜球中心の
位置OS1［XS1,YS1,ZS1］を検出する。
よび光源３の設定位置、自動首振り調節部９から得られ
るカメラ６の光軸方向、自動焦点調節部８より得られる
焦点距離fO、および各光源３の反射像５のカメラ６内の
位置座標データi1,i2,i3をもとに操作者の角膜球中心の
位置OS1［XS1,YS1,ZS1］を検出する。
この角膜球中心OSの検出方法を以下に詳述する。
カメラ６の位置・光軸方向・焦点距離、および光源３
の位置・反射の位置座標は既知である。カメラ６の光軸
は、操作者の眼球１が正面を向いている時の方向を基準
値とする。
の位置・反射の位置座標は既知である。カメラ６の光軸
は、操作者の眼球１が正面を向いている時の方向を基準
値とする。
第２図に示すように角膜球面部２の表面が鏡面と仮定
すれば、入射角θ１と反射角θ２が等しくなる。また、
角膜球面２で反射した光線は、カメラ６の視野内の位置
座標に対応する場所に反射像を形成する。カメラ６の光
軸方向、光源３の反射位置座標、および光源３の位置が
既知であるから、光線追跡法（参考文献:THE 3 DEMENSI
N OALCOMPUTER GRAPHICS、山本強著、CQ版、昭和58年）
により、物体表面において反射する位置座標を求めるこ
とができる。光源３が３個ある場合、３個の反射の位置
座標I1［XI1,YI1,ZI1］,I2［XI2,YI2,ZI2］,I3［XI3,Y
I3,ZI3］が得られる。
すれば、入射角θ１と反射角θ２が等しくなる。また、
角膜球面２で反射した光線は、カメラ６の視野内の位置
座標に対応する場所に反射像を形成する。カメラ６の光
軸方向、光源３の反射位置座標、および光源３の位置が
既知であるから、光線追跡法（参考文献:THE 3 DEMENSI
N OALCOMPUTER GRAPHICS、山本強著、CQ版、昭和58年）
により、物体表面において反射する位置座標を求めるこ
とができる。光源３が３個ある場合、３個の反射の位置
座標I1［XI1,YI1,ZI1］,I2［XI2,YI2,ZI2］,I3［XI3,Y
I3,ZI3］が得られる。
上記３個の反射位置座標は、角膜球面部２上にあるか
ら、これら３点を球面上の点とする球面体の半径ｒとそ
の中心位置OS［XS,YS,ZS］を求めることができる。
ら、これら３点を球面上の点とする球面体の半径ｒとそ
の中心位置OS［XS,YS,ZS］を求めることができる。
次に、操作者の眼球１の注視方向を検出する方法を
説明する。
説明する。
角膜球中心OSと眼球中心OOの距離は一定（図面中に示
す:R）である。この角膜球中心OSの経過時間に伴う軌跡
は、前述した方法を用いて求める（同図中に示す点線
は、ある時間後の操作者の眼球１の角膜球面部２の位置
を示す）。この軌跡がなす曲線部分の回転中心が、眼球
中心の位置座標OO［XO,YO,ZO］である。回転中心は、軌
跡上の少なくとも３点の位置座標がなす平面上にあり、
各点における軌跡の法線がなす交点として求めることが
できる。この眼球中心OOの位置座標が一定である時は、
顔面が動かないで操作者の眼球１だけが動いていること
を示す。また、軌跡の曲線部分の回転中心が無限遠方に
ある時は、操作者の眼球１が角膜球中心の軌跡と平行に
移動していることを示す。
す:R）である。この角膜球中心OSの経過時間に伴う軌跡
は、前述した方法を用いて求める（同図中に示す点線
は、ある時間後の操作者の眼球１の角膜球面部２の位置
を示す）。この軌跡がなす曲線部分の回転中心が、眼球
中心の位置座標OO［XO,YO,ZO］である。回転中心は、軌
跡上の少なくとも３点の位置座標がなす平面上にあり、
各点における軌跡の法線がなす交点として求めることが
できる。この眼球中心OOの位置座標が一定である時は、
顔面が動かないで操作者の眼球１だけが動いていること
を示す。また、軌跡の曲線部分の回転中心が無限遠方に
ある時は、操作者の眼球１が角膜球中心の軌跡と平行に
移動していることを示す。
操作者の注視方向は、この眼球中心OOと角膜球中心
OSがなす直線方向である。従って、角膜球中心OSの軌跡
を逐次求めることによって、操作者の注視方向が得られ
る。
OSがなす直線方向である。従って、角膜球中心OSの軌跡
を逐次求めることによって、操作者の注視方向が得られ
る。
中央制御部10は、駆動部４、反射位置検出部11、自
動焦点調節部８、および自動首振り調節部９をそれぞれ
同期して制御する。
動焦点調節部８、および自動首振り調節部９をそれぞれ
同期して制御する。
また、既に述べたように従来のアイカメラは、光源
３を顔面に固定し、初期に校正した光源方向を基準とし
ているため、操作中に光源３の位置がずれた場合は、反
射光の位置座標がずれ、注視方向に誤差を生ずることと
なる。しかし、この発明ではこのような誤差は生じな
い。
３を顔面に固定し、初期に校正した光源方向を基準とし
ているため、操作中に光源３の位置がずれた場合は、反
射光の位置座標がずれ、注視方向に誤差を生ずることと
なる。しかし、この発明ではこのような誤差は生じな
い。
なお、上記実施例では、角膜球中心OSを求めるにあた
って、上述したごとく、反射位置検出用の受光素子７を
用いて直接ＸおよびＹ座標を得たが、他の方法で検出す
ることも可能である。すなわち、CCDセンサを有するカ
メラ６から操作者の眼球１の画像を得、このうち、高輝
度の画素領域を画像処理によって認識し、角膜球面部２
の反射位置座標i1,i2,i3をソフトウエアにより検出する
方法である。
って、上述したごとく、反射位置検出用の受光素子７を
用いて直接ＸおよびＹ座標を得たが、他の方法で検出す
ることも可能である。すなわち、CCDセンサを有するカ
メラ６から操作者の眼球１の画像を得、このうち、高輝
度の画素領域を画像処理によって認識し、角膜球面部２
の反射位置座標i1,i2,i3をソフトウエアにより検出する
方法である。
この発明の注視方向検出装置は、操作者の眼球を照明
する光源と、操作者の眼球を撮影するカメラと、眼球の
角膜球面部における光源のカメラ内における反射位置座
標を検出する反射位置検出部と、複数の反射位置座標か
ら３次元空間内における角膜球面部の角膜球中心の位置
座標を得、この角膜中心の位置座標の軌跡がなす曲線部
分の回転中心を眼球中心とし、この眼球中心と角膜球中
心を結ぶ直線方向を、操作者の注視方向として検出する
データ解析部とからなっているので、下記に示す効果が
ある。
する光源と、操作者の眼球を撮影するカメラと、眼球の
角膜球面部における光源のカメラ内における反射位置座
標を検出する反射位置検出部と、複数の反射位置座標か
ら３次元空間内における角膜球面部の角膜球中心の位置
座標を得、この角膜中心の位置座標の軌跡がなす曲線部
分の回転中心を眼球中心とし、この眼球中心と角膜球中
心を結ぶ直線方向を、操作者の注視方向として検出する
データ解析部とからなっているので、下記に示す効果が
ある。
まず、操作者は注視方向検出用の治具をなにも装着
する必要がないから、操作時の負担が全くなく快適に作
業することができる。
する必要がないから、操作時の負担が全くなく快適に作
業することができる。
光源およびカメラの位置は、あらかじめ治具等で固
定できるから、光源の３次元空間における反射位置座標
が容易に得られ、操作者の注視方向を容易に検出するこ
とができる。
定できるから、光源の３次元空間における反射位置座標
が容易に得られ、操作者の注視方向を容易に検出するこ
とができる。
操作者の視線の動きを、操作者に負担を与えること
なく、常に測定することができるから、各種入力システ
ムを画像位置指定入力手段として有効に利用することが
できる。
なく、常に測定することができるから、各種入力システ
ムを画像位置指定入力手段として有効に利用することが
できる。
第１図はこの発明による注視方向検出装置の一実施例の
構成を示すブロック図、第２図はこの発明の検出原理を
説明するための図である。 図中、１は操作者の眼球、２は角膜球面部、３は光源、
４は光源の駆動部、５は光源の角膜球面部における反射
像、６は眼球撮影用のカメラ、７は受光素子、８はカメ
ラの自動焦点調節部、９はカメラの自動首振り調節部、
10は中央制御部、11は光源の反射位置検出部、12はデー
タ解析部である。
構成を示すブロック図、第２図はこの発明の検出原理を
説明するための図である。 図中、１は操作者の眼球、２は角膜球面部、３は光源、
４は光源の駆動部、５は光源の角膜球面部における反射
像、６は眼球撮影用のカメラ、７は受光素子、８はカメ
ラの自動焦点調節部、９はカメラの自動首振り調節部、
10は中央制御部、11は光源の反射位置検出部、12はデー
タ解析部である。
Claims (1)
- 【請求項１】操作者の眼球を照明する光源と、前記操作
者の眼球を撮影するカメラと、眼球の角膜球面部におけ
る前記光源の前記カメラ内における反射位置座標を検出
する反射位置検出部と、前記複数の反射位置座標から３
次元空間内における前記角膜球面部の角膜球中心の位置
座標を得、この角膜球中心の位置座標の軌跡がなす曲線
部分の回転中心を眼球中心とし、この眼球中心と前記角
膜球中心を結ぶ直線方向を、前記操作者の注視方向とし
て検出するデータ解析部と、からなることを特徴とする
注視方向検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63273250A JP2642702B2 (ja) | 1988-10-31 | 1988-10-31 | 注視方向検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63273250A JP2642702B2 (ja) | 1988-10-31 | 1988-10-31 | 注視方向検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02121620A JPH02121620A (ja) | 1990-05-09 |
| JP2642702B2 true JP2642702B2 (ja) | 1997-08-20 |
Family
ID=17525214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP63273250A Expired - Fee Related JP2642702B2 (ja) | 1988-10-31 | 1988-10-31 | 注視方向検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2642702B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102009010467A1 (de) | 2009-02-26 | 2010-09-09 | Carl Zeiss Vision Gmbh | Verfahren und Vorrichtung zur Bestimmung der Augendrehpunktlage |
| US20150011984A1 (en) * | 2012-01-19 | 2015-01-08 | Mohammad Abdelfattah Daif | Corneal visual center localizer (or locator) |
-
1988
- 1988-10-31 JP JP63273250A patent/JP2642702B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH02121620A (ja) | 1990-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US3864030A (en) | Eye position measuring technique | |
| US4287410A (en) | Double Purkinje eye tracker | |
| US6659611B2 (en) | System and method for eye gaze tracking using corneal image mapping | |
| US5410376A (en) | Eye tracking method and apparatus | |
| CN100421614C (zh) | 用于检测和跟踪眼睛及其注视方向的方法和装置 | |
| EP0350957B1 (en) | Image pickup apparatus | |
| US6296358B1 (en) | Ocular fundus auto imager | |
| US7025459B2 (en) | Ocular fundus auto imager | |
| JP2739331B2 (ja) | 非接触視線検出装置 | |
| US4974010A (en) | Focus control system | |
| EP0373788B1 (en) | Ocular refracting power measuring system | |
| US9861279B2 (en) | Method and device for determining the eye position | |
| US5838420A (en) | Method and apparatus for ocular motility testing | |
| US4569576A (en) | Method and device for determining cornea surface topography | |
| US5610673A (en) | Pupil detection system | |
| EP1024740B1 (en) | Pattern illumination device | |
| US20060152676A1 (en) | Ophthalmological appliance comprising an eye tracker | |
| JP3042851B2 (ja) | 角膜形状測定装置 | |
| JP2642702B2 (ja) | 注視方向検出装置 | |
| JPS6152850A (ja) | 眼球屈折力測定装置 | |
| JPH08297019A (ja) | 車両用視線方向計測装置 | |
| JP3337268B2 (ja) | 角膜形状測定装置 | |
| JP2550128B2 (ja) | 視線方向検出方法 | |
| JP3342810B2 (ja) | 虹彩画像取得装置 | |
| JPH0984760A (ja) | 眼科器械用位置合わせ検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |