JPH08145644A - ノイズに強い楕円近似による計測システム - Google Patents

ノイズに強い楕円近似による計測システム

Info

Publication number
JPH08145644A
JPH08145644A JP6292504A JP29250494A JPH08145644A JP H08145644 A JPH08145644 A JP H08145644A JP 6292504 A JP6292504 A JP 6292504A JP 29250494 A JP29250494 A JP 29250494A JP H08145644 A JPH08145644 A JP H08145644A
Authority
JP
Japan
Prior art keywords
ellipse
pupil
center
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6292504A
Other languages
English (en)
Other versions
JP2600114B2 (ja
Inventor
Keiji Matsuda
圭司 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
Agency of Industrial Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agency of Industrial Science and Technology filed Critical Agency of Industrial Science and Technology
Priority to JP6292504A priority Critical patent/JP2600114B2/ja
Publication of JPH08145644A publication Critical patent/JPH08145644A/ja
Application granted granted Critical
Publication of JP2600114B2 publication Critical patent/JP2600114B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【目的】 ノイズに強い正確な楕円近似が可能で簡便な
計測システムの実現化を目的とする。 【構成】 赤外線LEDで眼球を照明し、CCDカメラ
で、その瞳孔を撮影する。瞳孔を正確に楕円形で近似
し、解析することにより視線位置等を無侵襲で計測す
る。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、任意の方向からみた円
状物体を楕円で近似して円状物体の方向を観測するシス
テムに関するものであり、また瞳孔を楕円で近似して慢
性実験サル等の視線位置を計測するとともに、合わせて
瞳孔の大きさを計測する簡便なシステムに関するもので
もある。
【0002】
【従来の技術】高次脳機脳研究のため、無麻酔の行動中
のサルを実験動物に使う研究が最近増えている。研究者
が意図した実験パラダイム(タスク)をサルに学習さ
せ、そのタスクを実行中に脳の神経活動を記録し、脳の
情報処理を解明して行くものである。このような研究で
は、タスク中にサルがどこを見ていたかを、データとし
て直接必要でなくても、実験者が知っておく必要があ
る。このために、簡便な視線位置計測システムが求めら
れている。簡便な方法として従来より、赤外線照明とC
CDカメラを備えたシステムが開発されている。しかし
ながら、いずれも実験に使用した際の計測精度の定量的
評価がなされていない。動物実験では、動物と実験者の
意志疎通は、表示器、計測器を通じてのみ行なえるの
で、計測器の精度を評価しておくことが必要である。例
えば、サルにある一点を注視するタスクを学習させると
き、計測器の精度が悪いときは、サルはタスク遂行をす
ぐ諦めてしまう。計測器精度がわからないときはタスク
を諦めた原因が不明となってしまう。
【0003】従来の瞳孔位置を求める方法で、カメラ軸
と赤外光の照明軸を一致させ瞳孔を明るく撮影する方法
があるが、カメラの位置が正面にない場合は眼球の回転
によりその明るさが大きく変化し、正確な瞳孔の切り出
しが難しい。また、視線位置を求めるために必要な瞳孔
中心を求めるアルゴリズムには、高速かつ正確なものは
なく、また、ノイズによって中心の位置がずれるなどの
問題点があった。
【0004】本発明者らが開発したシステムの一例を図
1に示す。
【0005】システムは赤外線LED1、CCDカメラ
5、ビデオ入出力ボード2、パソコン3よりなる。サル
4の前方のLEDパネルは、校正に用いるためのもので
ある。CCDカメラ5はサルの目の高さで、サルの視界
の妨げにならない斜め前方に設置する。サル4の目とC
CDカメラ5の位置は、相対的に固定する必要があるの
で、サル4の頭をチェアに固定する。CCDカメラ5の
側方から赤外線LED1でサル4の眼球7を照射し瞳孔
が黒く撮影できるようにする。視線位置を検出するため
に、撮影された画像から瞳孔の中心座標を求める。画像
をある閾値で切ると、瞳孔は図12で示すような黒い楕
円になる。瞳孔の中心を求めるということは、楕円の中
心を求めるということに帰着する。楕円の中心を求める
方法としては、以下のようなものが考えられる。
【0006】(1) 楕円の水平、垂直方向の最大、最小
値の中間値を中心とする。
【0007】(2) 楕円内部の点の重心を求める。
【0008】(3) 輪郭を楕円関数で近似し、近似式よ
り楕円の中心を求める。
【0009】(1), (2)の方法は、照明光のノイズの入
った瞳孔の画像では、正確な中心を求めることができな
い。また、それぞれの値を求めるために取り込んだ画像
のすべての点を調べる必要があるため、時間が掛かって
しまい、特別なハードウェアなしでは、リアルタイム処
理は不可能である。 (3)の方法では、近似式を求めるた
めには5元連立方程式を解く必要があり、中心を求める
ためには近似式の係数から2元連立方程式を解く必要が
ある。計算量が多く処理時間が掛かり、やはりリアルタ
イム処理は困難である。また、ノイズのあるときは、中
心がずれる可能性がある。そこで本法では、以下のよう
な高速かつ正確なリアルタイム処理法を開発した。
【0010】楕円には、楕円と交わる一組の平行線に於
て、楕円の内側の平行線分の中点を結んだ直線は、楕円
の中心を通るという性質がある。よって、図13で示す
ように、楕円と交わる互いに平行でない二組の平行線分
の中点を結んだ2本の直線の交点が楕円の中心となる。
【0011】ノイズを避けるため、実際の計測では、画
像のx軸、y軸に平行な複数の平行線分を用いる。用い
る平行線分の数は、多いほど精度が向上するが、計算時
間が増えてしまう。計算機の処理能力に依存して線分の
数を増減する。リアルタイムで処理するためにはPC-980
1RA21(386DX+387-20MHz)では6本、PC-9821Ap(486DX2-6
6MHz) では20本が限界であった。ノイズの影響が少な
いときには、両者で精度に差は見られなかった。
【0012】図14で示すように、x軸に平行な線分の
中点(黒い円)を結ぶ直線を最小二乗法によって求め
る。次に、求められた直線とそれぞれの中点の距離を求
め、一定の距離以内の点(黒い円)を用いて、最小二乗
法で直線を求める。再び直線とすべての中点との距離を
求め、一定の距離以内の点(黒い円)を用いて最小二乗
法で直線を求める。この方法により、ノイズにより変形
した部分を通る平行線分の中点は計算に用いられなくな
る。同様にy軸に平行な線分の中点を結ぶ直線を求め
る。2本の直線の交点が楕円の中心となる。直線近似な
ので2元連立方程式を解くだけで求めることができ計算
量が少ないので、高速かつ正確に瞳孔の中心を求めるこ
とができる。
【0013】次に、瞳孔の中心座標から、視線位置を求
める方法を説明する。
【0014】ここでは、瞳孔の中心位置と視線位置の関
係を数学的に厳密に解くことにより、カメラが目の正面
にない場合でも正確に視線位置を求めることができる。
そのため、視野を遮ることなく視線位置を計測すること
ができる。
【0015】サルの眼球の回転中心を原点とし、上方を
y軸、カメラの方向をz軸とした3次元の右手系座標系
を考える。図15で示すように、瞳孔の中心と原点を結
ぶ直線について、長さをr、zx平面との角度をα、z
x平面に射影した直線とz軸のなす角をβとする。角度
の正の方向は各軸の正方向に向かって右ねじを回す向き
とする。カメラの面はxy平面に平行であるので、カメ
ラに映る像、xy平面に投影されたものと等しい。xy
平面に投影された瞳孔の中心の座標(x,y)は、上で
定義した記号を用いると以下のような式で表される。
【0016】
【数3】x=rcos(α)sin(β) … (1) y=rsin(α) … (2) ところで、上記のx,yという座標は、サルの眼球の回
転中心を原点として、実世界の長さをスケールとした値
である。コンピュータに取り込まれた画像の座標と一致
させるには、座標を変換する必要がある。コンピュータ
の座標系は、図16で示すように原点が左上にあり、y
軸の正の方向が上の座標系と反対の方向になっている。
また、コンピュータに取り込まれる際の、x軸、y軸の
スケールが異なるのでそれぞれに係数を掛ける必要があ
る。コンピュータに取り込まれた画像の瞳孔の中心を
(x,y)、原点を一致させるためのオフセットを、X
offset、Yoffset、x軸、y軸のスケールを一致させる
ための係数をa,bと定義する。x,y,X,Yの関係
は以下のように表される。
【0017】
【数4】x=a(X−Xoffset) … (3) y=b(Y−Yoffset) … (4) 式 (3) (4)を式 (1) (2)に入れて変形する。ただし、r
x=r/a,ry=r/bと定義する。
【0018】
【数5】 α=sin-1{(Yoffset−Y)/(−ry)} … (5) β=sin-1[(Xoffset−X)/{rxcos(α)}] … (6) 校正として、実験開始前に角度(α,β)のわかってい
るLEDを付け、サルがそこを見たときの、コンピュー
タの画面上での瞳孔中心位置(X,Y)を記憶する。そ
の時の、α,β,X,Yを式 (5), (6)に代入し、Xof
fset,Yoffset,rx,ryを求める。それぞれ二元連
立一次方程式になるので、2箇所のLEDに対応するコ
ンピュータ上の瞳孔中心座標がわかれば、上記のパラメ
ータが決定する。しかし、2箇所では、誤差が大きくな
るので、実際には5箇所以上のLEDの位置に対応する
座標を求め、最小二乗法によってXoffset,Yoffset,
rx,ryを決定する。パラメータが決定した後は、式
(5) (6)のX,Yに画像処理によって求めた瞳孔中心座
標を代入すれば、視線位置を角度として求めることがで
きる。
【0019】このような方法では、サルの頭部を固定し
なければならない、カメラの位置は目の高さと同じにし
なければならない、校正を行うために、サルをLEDを
見つめるように訓練しなければならない、などの条件が
必要であった。
【0020】
【発明が解決しようとする課題】本発明の目的は、円状
物体を楕円で近似し、円状物体の法線方向を求めること
を目的とし、また、頭部を固定せずに視線方向を求める
とともに校正を容易に行えるようにするをことを目的と
し、更に瞳孔を楕円で近似して瞳孔の大きさを求めるこ
とを目的とする。
【0021】
【課題を解決するための手段】本発明の目的を達成する
のに、以下のような手段を開発した。
【0022】瞳孔などの円状物体をノイズがあっても正
確に楕円で近似できるアルゴリズムを開発した。
【0023】カメラに映った瞳孔を前記の方法を用いて
楕円で近似し、直接的に視線方向を求める計測システム
を開発した。
【0024】頭部を固定する場合において、複数の瞳孔
画像を前述の方法を用いて楕円で近似することにより、
画像上の眼球の回転中心と回転半径を求める方法を開発
した。この方法で求められた画像上での回転中心と回転
半径と、カメラに映った瞳孔を前述の方法を用いて楕円
で近似し、その式より求められた楕円の中心座標より、
視線位置の計測ができる。
【0025】また、瞳孔を楕円で近似して、瞳孔の大き
さを求めるようにした。
【0026】
【作用】任意の方向から見た円状物体を正確に楕円で近
似することにより、円状物体の法線方向を求めることが
できる。
【0027】カメラに瞳孔が映っていれば、頭部を固定
しなくてもある拘束条件のもとでは、視線方向を求める
ことができる。
【0028】頭部が固定されている場合は、複数の瞳孔
の画像より眼球の回転中心座標と眼球の回転半径を求め
ることができる。求められた眼球の回転中心座標と眼球
の回転半径と、瞳孔を楕円で近似することによって求め
られた瞳孔の中心座標より、視線方向を求めることがで
きる。
【0029】前記の二つの方法では、従来視線位置検出
に必要であった校正が不要になった。
【0030】瞳孔の一部が瞼で隠れるような場合でも、
瞳孔を正確に楕円で近似できるので、瞳孔の大きさの変
化も同時に測定できる。
【0031】
【実施例】本発明のシステムの全体構成を図1に示す。
【0032】システムの全体構成図は、前記した従来例
のものと基本的には変わっていない。システムは、赤外
線LED1、CCDカメラ5、ビデオ入出力ボード2、
パソコン3よりなる。サル4とCCDカメラ5を相対的
に固定するため、サル4の頭部を固定する。サル4の頭
部の動きを許容できる範囲に収める場合には、そのよう
にセットする。CCDカメラ5の側方から赤外線LED
1で眼球7の一つを照射し瞳孔が黒く撮影できるように
する。
【0033】サルの目の前に、図1で示されるLEDの
ついたパネル6を置く。パネルのLED6は、コンピュ
ータ3によって制御されている。以下のような手順でサ
ルにLEDを見つめるように訓練する。
【0034】(1) 予告音を鳴らす。
【0035】(2) 500ms後、13個のLEDのど
れかを点灯する。LEDは乱数によって決定する。点灯
時間は1100msから1300msの間で変化する。
【0036】(3) LEDが400ms間消える。
【0037】(4) LEDが点灯する。点灯時間は80
0ms。
【0038】(5) LEDが500ms間薄暗くなる。
明るさの変化は、注視していないと感知できないくらい
にする。
【0039】(6) LEDが薄暗いときにサルがボタン
8を押すと、報酬としてジュースが貰える。
【0040】タスクの始めの数十回において、サルがボ
タン8を押したときの目の位置を元に校正を行う。校正
が終了した後、視線監視を行う。視線監視区間は、最初
にLEDが点いてから900ms後から、サルがボタン
を押すまでの間である。視線監視区間中に視線がLED
の方向からある一定角度以上ずれたら、タスクはリセッ
トするように設定している。
【0041】図2に、中央のLEDが点灯したときの、
サル視線の動きの1例を示す。これは従来の技術のもの
だが、本発明を説明するためにも必要となるものであ
る。破線部で視線が±1度の範囲で固定されてるのがわ
かる(頭部固定)。
【0042】本発明では、瞳孔の形としてあらわれる楕
円を解析すれば瞳孔の向いている視線の位置が求まる。
【0043】画像をある閾値で切ると、瞳孔は黒い楕円
になる。しかし、照明用のLEDの映り込みや、瞳孔の
上の部分がまぶたで隠れるなどのノイズがあるため、瞳
孔の画像のエッジの部分は正確な楕円ではない。エッジ
の座標を検出し最小二乗法で楕円を近似するのだが、ノ
イズを含む座標を用いて計算すると正確に楕円近似をす
ることができない。そこで以下のような楕円の性質を用
いノイズを除去する。図3で、直線l,m,nは各々平
行で、l,nはmから等距離にある。楕円と直線lとの
交点をa,bとし、楕円と直線nの交点をc,dとす
る。楕円と直線mの交点の中点をoとする。a,bの中
点とc,dの中点を結ぶ線の中点をo´とすると、o´
はoと重なるという性質がある。瞳孔の画像について瞳
孔画像のほぼ中央に引いた直線mから等距離にあるN個
の平行線の組のo´i (i=1−N)に当たる点を求め
る。求められた点は、直線mの上に分布する。ノイズが
十分少ないときは、最も多くの点o´が集まった位置が
oの位置に相当する。その位置から離れている点は、ノ
イズを含んでいることになる。oに十分近いo´i を持
つ点ai ,bi ,ci ,di は、楕円の軌跡上の点なの
で、それらを用いることにより、正確な楕円近似を行う
ことができる。
【0044】前述した従来の技術において、楕円の幾何
学的性質を、瞳孔の中心座標を直接求めるために用いた
が、本発明の実施例においては、同様の楕円の幾何学的
性質をノイズ除去の方法として用いている点で相違す
る。
【0045】図4に則り、実際に計算したものを下記の
〔表1〕に示す。
【0046】
【表1】 測定値に対してノイズが十分少ないときは、度数の最も
多い点がノイズを含まない点となる。前記では、モード
(最頻値)は、2.33になる。それ以外のoiを持つ
ai,bi,ci,diにはノイズが含まれていること
になる。〔表1〕を見ても明らかなように、a3,a2
にノイズが含まれるために、o3,o2がモードから大
きく外れてしまっている。
【0047】前記は模式的なもので、実際はiは1から
6ではなく、もっと大きな値になる。また、o3,o2
において、b,c,dはノイズを含んでいない。計測点
が多いほど精度が向上するので、まず、ai,bi,c
i,di(i=1,4,5,6)を使って、楕円の方程
式を求め、次にその方程式に、a2,a3,b2,b
3,c2,c3,d2,d3を代入し、誤差が十分小さ
い点を加えて再び、楕円の方程式を求める。
【0048】これにより、精度の向上を図ることができ
る。
【0049】更に、最小二乗法による楕円の近似につい
て説明する。
【0050】x2+Axy+By2+Cx+Dy+E=0 楕円の方程式は上記のように表わされる。楕円の軌跡上
の(xi,yi)を下の式に代入し、5元連立方程式を
解くことによってA,B,C,D,Eを求め、楕円の方
程式が決定する。
【0051】
【数6】 楕円の中心の座標を求めることについて説明する。
【0052】座標を(xo,yo)とすると、各々以下
のように表わされる。
【0053】
【数7】 楕円の短径,長径,各々の傾きを求めることについて説
明する。
【0054】A≠0の場合 傾きは以下のように表わされる。
【0055】
【数8】 C1=x2 0+Ax00+By2 0+Cx0+Dy0+EとC
1を定義すると
【0056】
【数9】 |1>|2ならば、a2が短径の傾きに、|2>|1な
らば、a1が短径の傾きになる。
【0057】
【数10】A=0の場合 |1>|2ならば短径の傾きは無限大 |1>|2ならば短径の傾きは0となる。
【0058】瞳孔の半径は求められた|1,|2のうち
大きいほうに、比例定数を掛けたものになる。比例定数
は、カメラで定規などを撮影し、実際の長さとコンピュ
ータの画面上での長さの比によってあらかじめ求めてお
けばよい。
【0059】次に、こうして近似された楕円より視線方
向を求める方法を説明する。
【0060】視線の方向を眼球の回転中心を原点とし、
CRTのx,y軸と平行な線をx,y軸とし、眼球の回
転中心とカメラを結ぶ線をz軸とする座標系をカメラ座
標系と呼ぶことにする。以下の2つの方法により撮影さ
れた画像からカメラ座標系における視線の方向ベクトル
を求めることができる。また、楕円の長径はそのときの
瞳孔の大きさを表している。
【0061】但し、前記,の方法において、画像が
取り込まれたとき、縦横比が正確に1:1である必要が
ある。これは測定に先だって、確かめ、比率が1:1に
なるよう補正する必要がある。
【0062】 楕円より直接視線方向ベクトルを求め
る。
【0063】図5のaでは、左上方向を見ている場合で
あり、bでは右下方向を見ている場合とする。
【0064】頭部が固定されている場合は、眼球回転の
中心位置と、瞳孔の中心座標から前記を区別できるが、
頭部が動き、眼球の回転中心位置が不定となる図6の
a,bのようになり区別が不可能になる。これを解決す
るためには、二つの状態が存在しないような位置にカメ
ラを設置する必要がある。例えば、カメラの位置を観測
したいものの側方に設置する。(CRTの左にカメラを
設置し被験者がCRTを見ていると仮定する。)。する
と、前記図5の例については、カメラより左を見ている
ことはないと考えられるので、右下方を見ていると判断
できる(図7)。
【0065】これにより、ベクトルの方向が判断でき、
眼球の回転半径(これは、あらかじめ何らかの方法によ
って求めておく必要がある)を用いて、眼球の回転中心
位置を求め、頭部の空間的移動を計算する。これによっ
て、カメラ座標系における視線ベクトルを決定できる。
【0066】瞳孔を3次元空間に浮かぶ円盤と考える。
カメラに映った楕円から円盤の法線ベクトルを計算す
る。この方法によるとカメラに瞳孔が写ってさえいれば
その視線方向がわかるので、頭部を固定する必要がない
という特徴がある。近似された楕円の短径の傾きをaと
すると、xy平面に射影された法線ベクトルは(l,
a)で表される。法線ベクトルと、xy平面が作る角度
をθで表すと、θ=arcsin(楕円の短径/楕円の
長径)となる。
【0067】法線ベクトルのz方向のベクトルの大きさ
は、xy平面に投影されているベクトルの大きさが、1
のときtanθになる。よって、視線方向を単位ベクト
ルで表すと、以下のようになる。
【0068】
【数11】 眼球の回転中心座標と回転半径と楕円の中心座標か
ら視線方向ベクトル求める。
【0069】頭部が固定されているとき、眼球の回転中
心は動かないと考えられるので、以下の方法により、C
RT上の眼球の回転中心座標と眼球の回転半径が求めら
れる。この方法の一つめの前提は被験者の頭部が固定さ
れていて、動くことがないということである。
【0070】また、二つめの前提は眼球のある点を中心
に回転するということである。これについては、実際は
固定された点を中心には回転していない。しかし、その
変動は十分誤差の範囲に納まるので、ここでは、ある点
を中心に回転していると考えて問題はない。
【0071】さて、この前提たって、視線の方向を計算
することを考える。まず、わかりやすいように、図8,
9に示したモデルを提示する。
【0072】図8,9の図で、左側は空中に浮かぶ眼球
である。右側は、それを紙面に対して垂直の方向から見
ている図である。z軸は、原点に重なっている。右の図
は、紙面に対して垂直方向に設置してあるカメラに写っ
た画像をコンピュータの画面に写したものである。
【0073】さて、実際に観測できるのは、図8−b,
図9−bの楕円だけである。各々の楕円の短径の延長上
に原点がある。つまり、2枚の瞳孔の画像から、CRT
における回転中心座標を求めることができる。それを図
10に示す。実際は2枚だけからでは、誤差が出るので
より多くの画像(n枚とする)をとり、最小二乗法によ
って回転中心を決定する。原点を通る直線は、画像より
求められた、短径の傾きをai、楕円の中心座標を(x
i,yi)とすると、y=ai*x+bi(但し、bi
=yi−ai*xi)で与えられる。回転中心(xo,
yo)は以下の連立方程式を解くことによって求められ
る。
【0074】
【数12】 さて、回転中心を求めた後、回転半径rを求める。回転
半径は、楕円の中心座標(xi,yi)と回転中心(x
o,yo)と、楕円の長径と短径の比(ratio=楕
円の短径/楕円の長径)から求めることができる。誤差
を少なくするためにn枚の画像から以下の式によって算
出する。
【0075】
【数13】 このように求められた、回転半径rと、回転中心座標
(xo,yo)より、画像の楕円の中心座標(xi,y
i)を用いて、視線方向の単位ベクトルを以下のように
求めることができる。
【0076】
【数14】 次に、別の座標系への座標変換について説明するととも
に,の方法の精度の検証を行う。
【0077】,方法で求められたのは、カメラ座標
系における視線方向のベクトルである。実験に使用する
際はカメラ座標ではなく、被験者の目の前に置かれた対
象物に対する視線ベクトルが必要になる場合がある。
【0078】サルの眼球の回転中心を原点とし、X,Y
軸はLEDパネルのx,y軸に平行、サルの目の前に置
いたLEDパネルの中心と原点を結ぶ直線をZ軸とする
座標系をパネル座標系とする。カメラ座標系で表わされ
たベクトルをパネル座標系によって表現する方法を述べ
るとともに、前述の2つの方法によって得た視線ベクト
ルを実際に変換し精度を検証する。
【0079】変換する行列を求めるのには、2つの方法
がある。一つは、カメラとパネルの位置を厳密に測定
し、変換する行列を求める。もう一つの方法は、サルが
LEDを見たときのカメラ座標のベクトルと、パネル座
標におけるベクトルを用いて変換行列を求める。ここで
は後者の方法を用いる。サルに点灯したLEDを見るよ
うに訓練する。サルが13個のLED(図1)を見てい
るときの、カメラ座標におけるベクトル(xi ,yi
i )を求める。パネル座標におけるベクトル(Xi
i ,Zi )は、サルの目とパネル上のLEDの位置関
係によって求めることができる。この両者のベクトルと
用い変換行列を求める。
【0080】
【数15】 変換行列を上のように定義したとき、複数のベクトルの
組により変換行列は以下のように求められる。
【0081】
【数16】 上式の左辺の転置行列が座標変換を行うための行列にな
る。n≧2ならば、変換行列を求めることができる。よ
って、最低3組のベクトルがあれば、提示物に関する座
標系で視線方向を提示できる。以下に実際に実験によっ
て変換した例を示す。図11に変換の模式図を示す。
【0082】サルがパネルのLEDを見ているときの画
像をデジタイズしその画像から、,各々の方法で求
めた視線ベクトルを用いて変換行列を実際に求めた。つ
ぎにその変換行列を用いて、各々のベクトルを変換し実
際のパネル座標のLEDの位置のベクトルと比較した。
結果を下記の〔表2〕にまとめた。
【0083】
【表2】 回数はデジタイズした画像の枚数を表わす。の方法を
用いれば、原理上サルの頭を固定する必要はない。また
,で同一の画像を用いて比較するために頭部を固定
したサルにおける瞳孔の画像データを用いた。カメラ
は、ほぼ目の高さで、正面より水平方向に約40度の位
置に設置した。〔表2〕の誤差は、変換された視線ベク
トルと、理論上の視線ベクトルとの角度のずれを表わし
ている。,の方法の計算時間は十分短く30HZ
視線位置が計測が可能であった。
【0084】頭部の動きをある程度許容するの方法で
もそれなりの精度が出ることが確認できた。しかしなが
らの方法に比べると誤差、標準偏差がいくぶん大き
い。この実験装置において、表2でLEDが8の位置に
あるとき視線方向とカメラ座標系のz軸のなす角が最も
小さくなる。このときの標準偏差の大きさが最も大きく
なっている。
【0085】の方法については、十分な精度が校正な
しに得ることができるのが確認できた。
【0086】次に、瞳孔の大きさを測定する方法につい
て前述した通りである。要するに、前記のシステムを使
うことによって、瞳孔の大きさを測定できる。固定焦点
カメラを使うことにより、画像上の長さと、実世界の長
さとは比例する。事前にその比例定数を求めることによ
り、瞳孔の大きさを測定できる。画像処理によって瞳孔
を楕円で近似し、その楕円の長径に、前記の比例定数を
掛けることにより瞳孔の半径を求めることができる。
【0087】
【発明の効果】本発明によれば、撮影された楕円にノイ
ズが混入した場合でも、ノイズが除去できるので、任意
の方向から見た円状物体を楕円で正確に近似でき、その
物体の法線方向を精度よく求めることができる。本発明
によれば、瞳孔を正確に楕円で近似させることにより、
CCDカメラに映った瞳孔より視線位置が求まり、頭部
の動きを許容する無侵襲視線検出システムが実現でき
る。
【0088】本発明によれば、頭部を固定した場合で
は、瞳孔を楕円で近似することにより2枚以上の画像か
ら画像上での回転中心と、眼球の回転半径を自動的に求
め、被験者の意図なしに無侵襲に視線方向が検出でき
る。
【0089】本発明によれば、瞳孔を楕円で近似するこ
とにより、瞳孔の大きさを連続測定できる。
【図面の簡単な説明】
【図1】本発明又は従来技術におけるシステムの全体図
である。
【図2】サルの視線の動きを示す図である(本発明と従
来技術と共通)。
【図3】本発明の原理を説明する為の図である。
【図4】本発明の原理を説明する為の図である。
【図5】本発明の原理を説明する為の図である。
【図6】本発明の原理を説明する為の図である。
【図7】本発明の原理を説明する為の図である。
【図8】本発明の原理を説明する為の図である。
【図9】本発明の原理を説明する為の図である。
【図10】本発明の原理を説明する為の図である。
【図11】変換の模式図である。
【図12】カメラに映った瞳孔を示す図である。
【図13】従来の技術での、楕円の中心を求める為の図
である。
【図14】従来の技術での、楕円の中心を求める際の、
直線を求める為の図である。
【図15】眼球の回転中心を原点とした3次元の座標系
を示す図である。
【図16】コンピュータの座標系を示す図である。
【符号の説明】
1 赤外線LED 2 ビデオ入出力ボード 3 パソコン 4 サル 5 CCDカメラ 6 LEDパネル 7 サルの眼球 10 パネルでのLED 11 パネルでのLED 12 パネルでのLED 13 パネルでのLED 14 パネルでのLED 15 パネルでのLED 16 パネルでのLED 17 パネルでのLED 18 パネルでのLED 19 パネルでのLED 20 パネルでのLED 21 パネルでのLED 22 パネルでのLED

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 任意の方向から撮影した円状物体を画像
    処理によって楕円で近似することによって、円状物体の
    法線ベクトルを決めるようにしたことを特徴とするノイ
    ズに強い正確な楕円近似による計測システム。
  2. 【請求項2】 視線位置計測範囲外に設置したカメラで
    撮影した瞳孔を、画像処理によって楕円で近似し、近似
    した楕円より瞳孔の法線ベクトルを求め、視線位置を計
    測するシステムであって、画像上の楕円の短径の傾きを
    a、カメラ座標系における法線ベクトルとxy平面のな
    す角θ(θ=arcsin(楕円の短径/楕円の長
    径))としたとき、次式から法線ベクトルを求めるよう
    にしたことを特徴とするノイズに強い正確な楕円近似に
    よる計測システム。但し、カメラ座標系とは、眼球の回
    転中心を原点とし、x,y軸は、カメラ画像のx,y軸
    に平行、原点とカメラを結ぶ直線をz軸とする。 【数1】
  3. 【請求項3】 任意の場所に設置したカメラで撮影した
    瞳孔を、画像処理によって楕円で近似し、画像上におい
    て、楕円の短径の傾きをもち、楕円の中心を通る直線は
    画像上の眼球回転中心を通ることを利用して、2枚以上
    の画像から画像上の眼球回転中心を求め、求められた回
    転中心座標と楕円の長径と短径の比から眼球の回転半径
    を求めるシステムであって、回転中心の座標(xo,y
    o)と回転半径(r)と、瞳孔の中心座標(xi,y
    i)から、次式によってカメラ座標系における視線方向
    の単位ベクトルを求めることを特徴とするノイズに強い
    正確な楕円近似による計測システム。 【数2】 但し、カメラ座標系とは、眼球の回転中心を原点とし、
    x,y軸は、カメラ画像のx,y軸に平行、原点とカメ
    ラを結ぶ直線をz軸とする。
  4. 【請求項4】 固定焦点カメラで撮影した瞳孔を、画像
    処理によって楕円で近似し、近似した楕円より瞳孔の大
    きさを連続測定できるようにしたことを特徴とするノイ
    ズに強い正確な楕円近似による計測システム。
  5. 【請求項5】 瞳孔画像のほぼ中央に引いた直線から等
    距離かつ瞳孔の輪郭と交わる平行線の組を複数(N組)
    用意し、各々の平行線の組について生じた4つの交点で
    4点のx,y座標の平均値をx,y座標とする点oi
    (i=1〜N)は、前述の直線1上に分布することにお
    いて、瞳孔画像が理想的な楕円の場合は、oiは一点に
    集中するが、瞳孔の輪郭にノイズがある場合は、oiは
    真の値を中心に分散することに基づき、最頻値を示すo
    iを示す4点はノイズを含まない瞳孔の輪郭と判断し、
    その値を用いて瞳孔を楕円近似を行うことを特徴とする
    特許請求1,2,3または4記載のノイズに強い正確な
    楕円近似による計測システム。
JP6292504A 1994-11-28 1994-11-28 ノイズに強い正確な楕円近似による計測方法 Expired - Lifetime JP2600114B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6292504A JP2600114B2 (ja) 1994-11-28 1994-11-28 ノイズに強い正確な楕円近似による計測方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6292504A JP2600114B2 (ja) 1994-11-28 1994-11-28 ノイズに強い正確な楕円近似による計測方法

Publications (2)

Publication Number Publication Date
JPH08145644A true JPH08145644A (ja) 1996-06-07
JP2600114B2 JP2600114B2 (ja) 1997-04-16

Family

ID=17782678

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6292504A Expired - Lifetime JP2600114B2 (ja) 1994-11-28 1994-11-28 ノイズに強い正確な楕円近似による計測方法

Country Status (1)

Country Link
JP (1) JP2600114B2 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003271932A (ja) * 2002-03-14 2003-09-26 Nissan Motor Co Ltd 視線方向検出装置
JP2004255074A (ja) * 2003-02-27 2004-09-16 Toyota Motor Corp 視線方向検出装置および視線方向検出方法
JP2006105889A (ja) * 2004-10-08 2006-04-20 Canon Inc 眼検出装置および画像表示装置
JP2007164517A (ja) * 2005-12-14 2007-06-28 Denso Corp 図形中心検出方法、楕円検出方法、画像認識装置、制御装置
JP2010102504A (ja) * 2008-10-23 2010-05-06 Toyota Central R&D Labs Inc 眼領域検出装置、及びプログラム
JP2012187190A (ja) * 2011-03-09 2012-10-04 Fujitsu Ltd 視線検出装置及び視線検出方法
CN103054548A (zh) * 2012-07-05 2013-04-24 东北电力大学 凝视点测量装置及瞳孔、普尔钦亮斑识别方法
JP2014061085A (ja) * 2012-09-20 2014-04-10 National Institute Of Advanced Industrial & Technology 瞳孔部分を近似する楕円の検出を行う方法
JP2014166560A (ja) * 2009-02-26 2014-09-11 Carl Zeiss Vision Gmbh 眼球支点位置を決定する方法及び装置
WO2015056358A1 (ja) * 2013-10-17 2015-04-23 ヒトミル株式会社 瞳孔径測定支援装置及び瞳孔径測定支援システム
JP2016042348A (ja) * 2014-08-14 2016-03-31 由田新技股▲ふん▼有限公司 瞳孔位置検出方法、装置およびコンピュータプログラム製品
EP3305176A1 (en) * 2016-10-04 2018-04-11 Essilor International Method for determining a geometrical parameter of an eye of a subject
JP2020036818A (ja) * 2018-09-05 2020-03-12 株式会社トプコン 画像解析装置、画像解析方法、及び眼科装置
CN113048895A (zh) * 2021-03-04 2021-06-29 上海精测半导体技术有限公司 探测反射光变化的装置、方法及膜厚测量装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004248725A (ja) * 2003-02-18 2004-09-09 National Institute Of Advanced Industrial & Technology 打球の解析装置及び方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06231249A (ja) * 1993-02-05 1994-08-19 Fujitsu Ltd 物体認識方式

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06231249A (ja) * 1993-02-05 1994-08-19 Fujitsu Ltd 物体認識方式

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003271932A (ja) * 2002-03-14 2003-09-26 Nissan Motor Co Ltd 視線方向検出装置
JP2004255074A (ja) * 2003-02-27 2004-09-16 Toyota Motor Corp 視線方向検出装置および視線方向検出方法
JP2006105889A (ja) * 2004-10-08 2006-04-20 Canon Inc 眼検出装置および画像表示装置
JP2007164517A (ja) * 2005-12-14 2007-06-28 Denso Corp 図形中心検出方法、楕円検出方法、画像認識装置、制御装置
JP4645433B2 (ja) * 2005-12-14 2011-03-09 株式会社デンソー 図形中心検出方法、楕円検出方法、画像認識装置、制御装置
JP2010102504A (ja) * 2008-10-23 2010-05-06 Toyota Central R&D Labs Inc 眼領域検出装置、及びプログラム
JP2014166560A (ja) * 2009-02-26 2014-09-11 Carl Zeiss Vision Gmbh 眼球支点位置を決定する方法及び装置
JP2012187190A (ja) * 2011-03-09 2012-10-04 Fujitsu Ltd 視線検出装置及び視線検出方法
CN103054548A (zh) * 2012-07-05 2013-04-24 东北电力大学 凝视点测量装置及瞳孔、普尔钦亮斑识别方法
JP2014061085A (ja) * 2012-09-20 2014-04-10 National Institute Of Advanced Industrial & Technology 瞳孔部分を近似する楕円の検出を行う方法
WO2015056358A1 (ja) * 2013-10-17 2015-04-23 ヒトミル株式会社 瞳孔径測定支援装置及び瞳孔径測定支援システム
JP2016042348A (ja) * 2014-08-14 2016-03-31 由田新技股▲ふん▼有限公司 瞳孔位置検出方法、装置およびコンピュータプログラム製品
US9723979B2 (en) 2014-08-14 2017-08-08 Utechzone Co., Ltd. Method, apparatus and computer program product for positioning pupil
EP3305176A1 (en) * 2016-10-04 2018-04-11 Essilor International Method for determining a geometrical parameter of an eye of a subject
JP2020036818A (ja) * 2018-09-05 2020-03-12 株式会社トプコン 画像解析装置、画像解析方法、及び眼科装置
CN113048895A (zh) * 2021-03-04 2021-06-29 上海精测半导体技术有限公司 探测反射光变化的装置、方法及膜厚测量装置
CN113048895B (zh) * 2021-03-04 2022-08-16 上海精测半导体技术有限公司 探测反射光变化的装置、方法及膜厚测量装置

Also Published As

Publication number Publication date
JP2600114B2 (ja) 1997-04-16

Similar Documents

Publication Publication Date Title
US11100636B2 (en) Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US6659611B2 (en) System and method for eye gaze tracking using corneal image mapping
JP2600114B2 (ja) ノイズに強い正確な楕円近似による計測方法
US10878237B2 (en) Systems and methods for performing eye gaze tracking
US8708490B2 (en) Method and a device for automatically measuring at least one refractive characteristic of both eyes of an individual
US6578962B1 (en) Calibration-free eye gaze tracking
US5325133A (en) Device for measuring a retina reflected light amount and a gaze detecting apparatus using the same
US4845641A (en) Method of forming a synthetic image in simulation system for attachment of spectacles
US20110228975A1 (en) Methods and apparatus for estimating point-of-gaze in three dimensions
JP4517049B2 (ja) 視線検出方法および視線検出装置
CN105354825B (zh) 自动识别读写场景中读物位置的智能装置及其应用
CN105354822B (zh) 自动识别读写场景中读写元素位置的智能装置及应用
Bakker et al. Accurate gaze direction measurements with free head movement for strabismus angle estimation
JP2005253778A (ja) 視線検出方法及び同装置
CN114973392A (zh) 一种人眼运动追踪系统及方法
CN114360043B (zh) 模型参数标定方法、视线追踪方法、装置、介质及设备
US20030063258A1 (en) Apparatus for examining an anterior-segment of an eye
US20200342201A1 (en) Detection Of A Pose Of An Eye
Weidenbacher et al. Detection of head pose and gaze direction for human-computer interaction
Lee et al. A study on eye gaze estimation method based on cornea model of human eye
Barry et al. Computational principles in Purkinje I and IV reflection pattern evaluation for the assessment of ocular alignment.
JP4055858B2 (ja) 視線検出システム
JP3376207B2 (ja) 視線検出装置及びその方法
JPH024313A (ja) 注視位置検出装置
US20230181029A1 (en) Method and device for determining at least one astigmatic effect of at least one eye

Legal Events

Date Code Title Description
EXPY Cancellation because of completion of term