JPH08145644A - ノイズに強い楕円近似による計測システム - Google Patents

Abstract

(57)【要約】 【目的】 ノイズに強い正確な楕円近似が可能で簡便な
計測システムの実現化を目的とする。 【構成】 赤外線ＬＥＤで眼球を照明し、ＣＣＤカメラ
で、その瞳孔を撮影する。瞳孔を正確に楕円形で近似
し、解析することにより視線位置等を無侵襲で計測す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、任意の方向からみた円
状物体を楕円で近似して円状物体の方向を観測するシス
テムに関するものであり、また瞳孔を楕円で近似して慢
性実験サル等の視線位置を計測するとともに、合わせて
瞳孔の大きさを計測する簡便なシステムに関するもので
もある。

【０００２】

【従来の技術】高次脳機脳研究のため、無麻酔の行動中
のサルを実験動物に使う研究が最近増えている。研究者
が意図した実験パラダイム（タスク）をサルに学習さ
せ、そのタスクを実行中に脳の神経活動を記録し、脳の
情報処理を解明して行くものである。このような研究で
は、タスク中にサルがどこを見ていたかを、データとし
て直接必要でなくても、実験者が知っておく必要があ
る。このために、簡便な視線位置計測システムが求めら
れている。簡便な方法として従来より、赤外線照明とＣ
ＣＤカメラを備えたシステムが開発されている。しかし
ながら、いずれも実験に使用した際の計測精度の定量的
評価がなされていない。動物実験では、動物と実験者の
意志疎通は、表示器、計測器を通じてのみ行なえるの
で、計測器の精度を評価しておくことが必要である。例
えば、サルにある一点を注視するタスクを学習させると
き、計測器の精度が悪いときは、サルはタスク遂行をす
ぐ諦めてしまう。計測器精度がわからないときはタスク
を諦めた原因が不明となってしまう。

【０００３】従来の瞳孔位置を求める方法で、カメラ軸
と赤外光の照明軸を一致させ瞳孔を明るく撮影する方法
があるが、カメラの位置が正面にない場合は眼球の回転
によりその明るさが大きく変化し、正確な瞳孔の切り出
しが難しい。また、視線位置を求めるために必要な瞳孔
中心を求めるアルゴリズムには、高速かつ正確なものは
なく、また、ノイズによって中心の位置がずれるなどの
問題点があった。

【０００４】本発明者らが開発したシステムの一例を図
１に示す。

【０００５】システムは赤外線ＬＥＤ１、ＣＣＤカメラ
５、ビデオ入出力ボード２、パソコン３よりなる。サル
４の前方のＬＥＤパネルは、校正に用いるためのもので
ある。ＣＣＤカメラ５はサルの目の高さで、サルの視界
の妨げにならない斜め前方に設置する。サル４の目とＣ
ＣＤカメラ５の位置は、相対的に固定する必要があるの
で、サル４の頭をチェアに固定する。ＣＣＤカメラ５の
側方から赤外線ＬＥＤ１でサル４の眼球７を照射し瞳孔
が黒く撮影できるようにする。視線位置を検出するため
に、撮影された画像から瞳孔の中心座標を求める。画像
をある閾値で切ると、瞳孔は図１２で示すような黒い楕
円になる。瞳孔の中心を求めるということは、楕円の中
心を求めるということに帰着する。楕円の中心を求める
方法としては、以下のようなものが考えられる。

【０００６】(1) 楕円の水平、垂直方向の最大、最小
値の中間値を中心とする。

【０００７】(2) 楕円内部の点の重心を求める。

【０００８】(3) 輪郭を楕円関数で近似し、近似式よ
り楕円の中心を求める。

【０００９】(1)， (2)の方法は、照明光のノイズの入
った瞳孔の画像では、正確な中心を求めることができな
い。また、それぞれの値を求めるために取り込んだ画像
のすべての点を調べる必要があるため、時間が掛かって
しまい、特別なハードウェアなしでは、リアルタイム処
理は不可能である。 (3)の方法では、近似式を求めるた
めには５元連立方程式を解く必要があり、中心を求める
ためには近似式の係数から２元連立方程式を解く必要が
ある。計算量が多く処理時間が掛かり、やはりリアルタ
イム処理は困難である。また、ノイズのあるときは、中
心がずれる可能性がある。そこで本法では、以下のよう
な高速かつ正確なリアルタイム処理法を開発した。

【００１０】楕円には、楕円と交わる一組の平行線に於
て、楕円の内側の平行線分の中点を結んだ直線は、楕円
の中心を通るという性質がある。よって、図１３で示す
ように、楕円と交わる互いに平行でない二組の平行線分
の中点を結んだ２本の直線の交点が楕円の中心となる。

【００１１】ノイズを避けるため、実際の計測では、画
像のｘ軸、ｙ軸に平行な複数の平行線分を用いる。用い
る平行線分の数は、多いほど精度が向上するが、計算時
間が増えてしまう。計算機の処理能力に依存して線分の
数を増減する。リアルタイムで処理するためにはPC-980
1RA21(386DX+387-20MH_z)では６本、PC-9821Ap(486DX2-6
6MH_z) では２０本が限界であった。ノイズの影響が少な
いときには、両者で精度に差は見られなかった。

【００１２】図１４で示すように、ｘ軸に平行な線分の
中点（黒い円）を結ぶ直線を最小二乗法によって求め
る。次に、求められた直線とそれぞれの中点の距離を求
め、一定の距離以内の点（黒い円）を用いて、最小二乗
法で直線を求める。再び直線とすべての中点との距離を
求め、一定の距離以内の点（黒い円）を用いて最小二乗
法で直線を求める。この方法により、ノイズにより変形
した部分を通る平行線分の中点は計算に用いられなくな
る。同様にｙ軸に平行な線分の中点を結ぶ直線を求め
る。２本の直線の交点が楕円の中心となる。直線近似な
ので２元連立方程式を解くだけで求めることができ計算
量が少ないので、高速かつ正確に瞳孔の中心を求めるこ
とができる。

【００１３】次に、瞳孔の中心座標から、視線位置を求
める方法を説明する。

【００１４】ここでは、瞳孔の中心位置と視線位置の関
係を数学的に厳密に解くことにより、カメラが目の正面
にない場合でも正確に視線位置を求めることができる。
そのため、視野を遮ることなく視線位置を計測すること
ができる。

【００１５】サルの眼球の回転中心を原点とし、上方を
ｙ軸、カメラの方向をｚ軸とした３次元の右手系座標系
を考える。図１５で示すように、瞳孔の中心と原点を結
ぶ直線について、長さをｒ、ｚｘ平面との角度をα、ｚ
ｘ平面に射影した直線とｚ軸のなす角をβとする。角度
の正の方向は各軸の正方向に向かって右ねじを回す向き
とする。カメラの面はｘｙ平面に平行であるので、カメ
ラに映る像、ｘｙ平面に投影されたものと等しい。ｘｙ
平面に投影された瞳孔の中心の座標（ｘ，ｙ）は、上で
定義した記号を用いると以下のような式で表される。

【００１６】

【数３】ｘ＝ｒｃｏｓ（α）ｓｉｎ（β） … (1) ｙ＝ｒｓｉｎ（α） … (2) ところで、上記のｘ，ｙという座標は、サルの眼球の回
転中心を原点として、実世界の長さをスケールとした値
である。コンピュータに取り込まれた画像の座標と一致
させるには、座標を変換する必要がある。コンピュータ
の座標系は、図１６で示すように原点が左上にあり、ｙ
軸の正の方向が上の座標系と反対の方向になっている。
また、コンピュータに取り込まれる際の、ｘ軸、ｙ軸の
スケールが異なるのでそれぞれに係数を掛ける必要があ
る。コンピュータに取り込まれた画像の瞳孔の中心を
（ｘ，ｙ）、原点を一致させるためのオフセットを、Ｘ
offset、Ｙoffset、ｘ軸、ｙ軸のスケールを一致させる
ための係数をａ，ｂと定義する。ｘ，ｙ，Ｘ，Ｙの関係
は以下のように表される。

【００１７】

【数４】ｘ＝ａ（Ｘ−Ｘoffset） … (3) ｙ＝ｂ（Ｙ−Ｙoffset） … (4) 式 (3) (4)を式 (1) (2)に入れて変形する。ただし、ｒ
ｘ＝ｒ／ａ，ｒｙ＝ｒ／ｂと定義する。

【００１８】

【数５】 α＝ｓｉｎ^-1｛（Ｙoffset−Ｙ）／（−ｒｙ）｝ … (5) β＝ｓｉｎ^-1［（Ｘoffset−Ｘ）／｛ｒｘｃｏｓ（α）｝］ … (6) 校正として、実験開始前に角度（α，β）のわかってい
るＬＥＤを付け、サルがそこを見たときの、コンピュー
タの画面上での瞳孔中心位置（Ｘ，Ｙ）を記憶する。そ
の時の、α，β，Ｘ，Ｙを式 (5)， (6)に代入し、Ｘof
fset，Ｙoffset，ｒｘ，ｒｙを求める。それぞれ二元連
立一次方程式になるので、２箇所のＬＥＤに対応するコ
ンピュータ上の瞳孔中心座標がわかれば、上記のパラメ
ータが決定する。しかし、２箇所では、誤差が大きくな
るので、実際には５箇所以上のＬＥＤの位置に対応する
座標を求め、最小二乗法によってＸoffset，Ｙoffset，
ｒｘ，ｒｙを決定する。パラメータが決定した後は、式
(5) (6)のＸ，Ｙに画像処理によって求めた瞳孔中心座
標を代入すれば、視線位置を角度として求めることがで
きる。

【００１９】このような方法では、サルの頭部を固定し
なければならない、カメラの位置は目の高さと同じにし
なければならない、校正を行うために、サルをＬＥＤを
見つめるように訓練しなければならない、などの条件が
必要であった。

【００２０】

【発明が解決しようとする課題】本発明の目的は、円状
物体を楕円で近似し、円状物体の法線方向を求めること
を目的とし、また、頭部を固定せずに視線方向を求める
とともに校正を容易に行えるようにするをことを目的と
し、更に瞳孔を楕円で近似して瞳孔の大きさを求めるこ
とを目的とする。

【００２１】

【課題を解決するための手段】本発明の目的を達成する
のに、以下のような手段を開発した。

【００２２】瞳孔などの円状物体をノイズがあっても正
確に楕円で近似できるアルゴリズムを開発した。

【００２３】カメラに映った瞳孔を前記の方法を用いて
楕円で近似し、直接的に視線方向を求める計測システム
を開発した。

【００２４】頭部を固定する場合において、複数の瞳孔
画像を前述の方法を用いて楕円で近似することにより、
画像上の眼球の回転中心と回転半径を求める方法を開発
した。この方法で求められた画像上での回転中心と回転
半径と、カメラに映った瞳孔を前述の方法を用いて楕円
で近似し、その式より求められた楕円の中心座標より、
視線位置の計測ができる。

【００２５】また、瞳孔を楕円で近似して、瞳孔の大き
さを求めるようにした。

【００２６】

【作用】任意の方向から見た円状物体を正確に楕円で近
似することにより、円状物体の法線方向を求めることが
できる。

【００２７】カメラに瞳孔が映っていれば、頭部を固定
しなくてもある拘束条件のもとでは、視線方向を求める
ことができる。

【００２８】頭部が固定されている場合は、複数の瞳孔
の画像より眼球の回転中心座標と眼球の回転半径を求め
ることができる。求められた眼球の回転中心座標と眼球
の回転半径と、瞳孔を楕円で近似することによって求め
られた瞳孔の中心座標より、視線方向を求めることがで
きる。

【００２９】前記の二つの方法では、従来視線位置検出
に必要であった校正が不要になった。

【００３０】瞳孔の一部が瞼で隠れるような場合でも、
瞳孔を正確に楕円で近似できるので、瞳孔の大きさの変
化も同時に測定できる。

【００３１】

【実施例】本発明のシステムの全体構成を図１に示す。

【００３２】システムの全体構成図は、前記した従来例
のものと基本的には変わっていない。システムは、赤外
線ＬＥＤ１、ＣＣＤカメラ５、ビデオ入出力ボード２、
パソコン３よりなる。サル４とＣＣＤカメラ５を相対的
に固定するため、サル４の頭部を固定する。サル４の頭
部の動きを許容できる範囲に収める場合には、そのよう
にセットする。ＣＣＤカメラ５の側方から赤外線ＬＥＤ
１で眼球７の一つを照射し瞳孔が黒く撮影できるように
する。

【００３３】サルの目の前に、図１で示されるＬＥＤの
ついたパネル６を置く。パネルのＬＥＤ６は、コンピュ
ータ３によって制御されている。以下のような手順でサ
ルにＬＥＤを見つめるように訓練する。

【００３４】(1) 予告音を鳴らす。

【００３５】(2) ５００ｍｓ後、１３個のＬＥＤのど
れかを点灯する。ＬＥＤは乱数によって決定する。点灯
時間は１１００ｍｓから１３００ｍｓの間で変化する。

【００３６】(3) ＬＥＤが４００ｍｓ間消える。

【００３７】(4) ＬＥＤが点灯する。点灯時間は８０
０ｍｓ。

【００３８】(5) ＬＥＤが５００ｍｓ間薄暗くなる。
明るさの変化は、注視していないと感知できないくらい
にする。

【００３９】(6) ＬＥＤが薄暗いときにサルがボタン
８を押すと、報酬としてジュースが貰える。

【００４０】タスクの始めの数十回において、サルがボ
タン８を押したときの目の位置を元に校正を行う。校正
が終了した後、視線監視を行う。視線監視区間は、最初
にＬＥＤが点いてから９００ｍｓ後から、サルがボタン
を押すまでの間である。視線監視区間中に視線がＬＥＤ
の方向からある一定角度以上ずれたら、タスクはリセッ
トするように設定している。

【００４１】図２に、中央のＬＥＤが点灯したときの、
サル視線の動きの１例を示す。これは従来の技術のもの
だが、本発明を説明するためにも必要となるものであ
る。破線部で視線が±１度の範囲で固定されてるのがわ
かる（頭部固定）。

【００４２】本発明では、瞳孔の形としてあらわれる楕
円を解析すれば瞳孔の向いている視線の位置が求まる。

【００４３】画像をある閾値で切ると、瞳孔は黒い楕円
になる。しかし、照明用のＬＥＤの映り込みや、瞳孔の
上の部分がまぶたで隠れるなどのノイズがあるため、瞳
孔の画像のエッジの部分は正確な楕円ではない。エッジ
の座標を検出し最小二乗法で楕円を近似するのだが、ノ
イズを含む座標を用いて計算すると正確に楕円近似をす
ることができない。そこで以下のような楕円の性質を用
いノイズを除去する。図３で、直線ｌ，ｍ，ｎは各々平
行で、ｌ，ｎはｍから等距離にある。楕円と直線ｌとの
交点をａ，ｂとし、楕円と直線ｎの交点をｃ，ｄとす
る。楕円と直線ｍの交点の中点をｏとする。ａ，ｂの中
点とｃ，ｄの中点を結ぶ線の中点をｏ´とすると、ｏ´
はｏと重なるという性質がある。瞳孔の画像について瞳
孔画像のほぼ中央に引いた直線ｍから等距離にあるＮ個
の平行線の組のｏ´_i （ｉ＝１−Ｎ）に当たる点を求め
る。求められた点は、直線ｍの上に分布する。ノイズが
十分少ないときは、最も多くの点ｏ´が集まった位置が
ｏの位置に相当する。その位置から離れている点は、ノ
イズを含んでいることになる。ｏに十分近いｏ´_i を持
つ点ａ_i ，ｂ_i ，ｃ_i ，ｄ_i は、楕円の軌跡上の点なの
で、それらを用いることにより、正確な楕円近似を行う
ことができる。

【００４４】前述した従来の技術において、楕円の幾何
学的性質を、瞳孔の中心座標を直接求めるために用いた
が、本発明の実施例においては、同様の楕円の幾何学的
性質をノイズ除去の方法として用いている点で相違す
る。

【００４５】図４に則り、実際に計算したものを下記の
〔表１〕に示す。

【００４６】

【表１】 測定値に対してノイズが十分少ないときは、度数の最も
多い点がノイズを含まない点となる。前記では、モード
（最頻値）は、２．３３になる。それ以外のｏｉを持つ
ａｉ，ｂｉ，ｃｉ，ｄｉにはノイズが含まれていること
になる。〔表１〕を見ても明らかなように、ａ３，ａ２
にノイズが含まれるために、ｏ３，ｏ２がモードから大
きく外れてしまっている。

【００４７】前記は模式的なもので、実際はｉは１から
６ではなく、もっと大きな値になる。また、ｏ３，ｏ２
において、ｂ，ｃ，ｄはノイズを含んでいない。計測点
が多いほど精度が向上するので、まず、ａｉ，ｂｉ，ｃ
ｉ，ｄｉ（ｉ＝１，４，５，６）を使って、楕円の方程
式を求め、次にその方程式に、ａ２，ａ３，ｂ２，ｂ
３，ｃ２，ｃ３，ｄ２，ｄ３を代入し、誤差が十分小さ
い点を加えて再び、楕円の方程式を求める。

【００４８】これにより、精度の向上を図ることができ
る。

【００４９】更に、最小二乗法による楕円の近似につい
て説明する。

【００５０】ｘ²＋Ａｘｙ＋Ｂｙ²＋Ｃｘ＋Ｄｙ＋Ｅ＝０ 楕円の方程式は上記のように表わされる。楕円の軌跡上
の（ｘｉ，ｙｉ）を下の式に代入し、５元連立方程式を
解くことによってＡ，Ｂ，Ｃ，Ｄ，Ｅを求め、楕円の方
程式が決定する。

【００５１】

【数６】 楕円の中心の座標を求めることについて説明する。

【００５２】座標を（ｘｏ，ｙｏ）とすると、各々以下
のように表わされる。

【００５３】

【数７】 楕円の短径，長径，各々の傾きを求めることについて説
明する。

【００５４】Ａ≠０の場合 傾きは以下のように表わされる。

【００５５】

【数８】 Ｃ１＝ｘ² ₀＋Ａｘ₀ｙ₀＋Ｂｙ² ₀＋Ｃｘ₀＋Ｄｙ₀＋ＥとＣ
１を定義すると

【００５６】

【数９】 ｜１＞｜２ならば、ａ２が短径の傾きに、｜２＞｜１な
らば、ａ１が短径の傾きになる。

【００５７】

【数１０】Ａ＝０の場合 ｜１＞｜２ならば短径の傾きは無限大 ｜１＞｜２ならば短径の傾きは０となる。

【００５８】瞳孔の半径は求められた｜１，｜２のうち
大きいほうに、比例定数を掛けたものになる。比例定数
は、カメラで定規などを撮影し、実際の長さとコンピュ
ータの画面上での長さの比によってあらかじめ求めてお
けばよい。

【００５９】次に、こうして近似された楕円より視線方
向を求める方法を説明する。

【００６０】視線の方向を眼球の回転中心を原点とし、
ＣＲＴのｘ，ｙ軸と平行な線をｘ，ｙ軸とし、眼球の回
転中心とカメラを結ぶ線をｚ軸とする座標系をカメラ座
標系と呼ぶことにする。以下の２つの方法により撮影さ
れた画像からカメラ座標系における視線の方向ベクトル
を求めることができる。また、楕円の長径はそのときの
瞳孔の大きさを表している。

【００６１】但し、前記，の方法において、画像が
取り込まれたとき、縦横比が正確に１：１である必要が
ある。これは測定に先だって、確かめ、比率が１：１に
なるよう補正する必要がある。

【００６２】 楕円より直接視線方向ベクトルを求め
る。

【００６３】図５のａでは、左上方向を見ている場合で
あり、ｂでは右下方向を見ている場合とする。

【００６４】頭部が固定されている場合は、眼球回転の
中心位置と、瞳孔の中心座標から前記を区別できるが、
頭部が動き、眼球の回転中心位置が不定となる図６の
ａ，ｂのようになり区別が不可能になる。これを解決す
るためには、二つの状態が存在しないような位置にカメ
ラを設置する必要がある。例えば、カメラの位置を観測
したいものの側方に設置する。（ＣＲＴの左にカメラを
設置し被験者がＣＲＴを見ていると仮定する。）。する
と、前記図５の例については、カメラより左を見ている
ことはないと考えられるので、右下方を見ていると判断
できる（図７）。

【００６５】これにより、ベクトルの方向が判断でき、
眼球の回転半径（これは、あらかじめ何らかの方法によ
って求めておく必要がある）を用いて、眼球の回転中心
位置を求め、頭部の空間的移動を計算する。これによっ
て、カメラ座標系における視線ベクトルを決定できる。

【００６６】瞳孔を３次元空間に浮かぶ円盤と考える。
カメラに映った楕円から円盤の法線ベクトルを計算す
る。この方法によるとカメラに瞳孔が写ってさえいれば
その視線方向がわかるので、頭部を固定する必要がない
という特徴がある。近似された楕円の短径の傾きをａと
すると、ｘｙ平面に射影された法線ベクトルは（ｌ，
ａ）で表される。法線ベクトルと、ｘｙ平面が作る角度
をθで表すと、θ＝ａｒｃｓｉｎ（楕円の短径／楕円の
長径）となる。

【００６７】法線ベクトルのｚ方向のベクトルの大きさ
は、ｘｙ平面に投影されているベクトルの大きさが、１
のときｔａｎθになる。よって、視線方向を単位ベクト
ルで表すと、以下のようになる。

【００６８】

【数１１】 眼球の回転中心座標と回転半径と楕円の中心座標か
ら視線方向ベクトル求める。

【００６９】頭部が固定されているとき、眼球の回転中
心は動かないと考えられるので、以下の方法により、Ｃ
ＲＴ上の眼球の回転中心座標と眼球の回転半径が求めら
れる。この方法の一つめの前提は被験者の頭部が固定さ
れていて、動くことがないということである。

【００７０】また、二つめの前提は眼球のある点を中心
に回転するということである。これについては、実際は
固定された点を中心には回転していない。しかし、その
変動は十分誤差の範囲に納まるので、ここでは、ある点
を中心に回転していると考えて問題はない。

【００７１】さて、この前提たって、視線の方向を計算
することを考える。まず、わかりやすいように、図８，
９に示したモデルを提示する。

【００７２】図８，９の図で、左側は空中に浮かぶ眼球
である。右側は、それを紙面に対して垂直の方向から見
ている図である。ｚ軸は、原点に重なっている。右の図
は、紙面に対して垂直方向に設置してあるカメラに写っ
た画像をコンピュータの画面に写したものである。

【００７３】さて、実際に観測できるのは、図８−ｂ，
図９−ｂの楕円だけである。各々の楕円の短径の延長上
に原点がある。つまり、２枚の瞳孔の画像から、ＣＲＴ
における回転中心座標を求めることができる。それを図
１０に示す。実際は２枚だけからでは、誤差が出るので
より多くの画像（ｎ枚とする）をとり、最小二乗法によ
って回転中心を決定する。原点を通る直線は、画像より
求められた、短径の傾きをａｉ、楕円の中心座標を（ｘ
ｉ，ｙｉ）とすると、ｙ＝ａｉ^*ｘ＋ｂｉ（但し、ｂｉ
＝ｙｉ−ａｉ^*ｘｉ）で与えられる。回転中心（ｘｏ，
ｙｏ）は以下の連立方程式を解くことによって求められ
る。

【００７４】

【数１２】 さて、回転中心を求めた後、回転半径ｒを求める。回転
半径は、楕円の中心座標（ｘｉ，ｙｉ）と回転中心（ｘ
ｏ，ｙｏ）と、楕円の長径と短径の比（ｒａｔｉｏ＝楕
円の短径／楕円の長径）から求めることができる。誤差
を少なくするためにｎ枚の画像から以下の式によって算
出する。

【００７５】

【数１３】 このように求められた、回転半径ｒと、回転中心座標
（ｘｏ，ｙｏ）より、画像の楕円の中心座標（ｘｉ，ｙ
ｉ）を用いて、視線方向の単位ベクトルを以下のように
求めることができる。

【００７６】

【数１４】 次に、別の座標系への座標変換について説明するととも
に，の方法の精度の検証を行う。

【００７７】，方法で求められたのは、カメラ座標
系における視線方向のベクトルである。実験に使用する
際はカメラ座標ではなく、被験者の目の前に置かれた対
象物に対する視線ベクトルが必要になる場合がある。

【００７８】サルの眼球の回転中心を原点とし、Ｘ，Ｙ
軸はＬＥＤパネルのｘ，ｙ軸に平行、サルの目の前に置
いたＬＥＤパネルの中心と原点を結ぶ直線をＺ軸とする
座標系をパネル座標系とする。カメラ座標系で表わされ
たベクトルをパネル座標系によって表現する方法を述べ
るとともに、前述の２つの方法によって得た視線ベクト
ルを実際に変換し精度を検証する。

【００７９】変換する行列を求めるのには、２つの方法
がある。一つは、カメラとパネルの位置を厳密に測定
し、変換する行列を求める。もう一つの方法は、サルが
ＬＥＤを見たときのカメラ座標のベクトルと、パネル座
標におけるベクトルを用いて変換行列を求める。ここで
は後者の方法を用いる。サルに点灯したＬＥＤを見るよ
うに訓練する。サルが１３個のＬＥＤ（図１）を見てい
るときの、カメラ座標におけるベクトル（ｘ_i ，ｙ_i ，
ｚ_i ）を求める。パネル座標におけるベクトル（Ｘ_i ，
Ｙ_i ，Ｚ_i ）は、サルの目とパネル上のＬＥＤの位置関
係によって求めることができる。この両者のベクトルと
用い変換行列を求める。

【００８０】

【数１５】 変換行列を上のように定義したとき、複数のベクトルの
組により変換行列は以下のように求められる。

【００８１】

【数１６】 上式の左辺の転置行列が座標変換を行うための行列にな
る。ｎ≧２ならば、変換行列を求めることができる。よ
って、最低３組のベクトルがあれば、提示物に関する座
標系で視線方向を提示できる。以下に実際に実験によっ
て変換した例を示す。図１１に変換の模式図を示す。

【００８２】サルがパネルのＬＥＤを見ているときの画
像をデジタイズしその画像から、，各々の方法で求
めた視線ベクトルを用いて変換行列を実際に求めた。つ
ぎにその変換行列を用いて、各々のベクトルを変換し実
際のパネル座標のＬＥＤの位置のベクトルと比較した。
結果を下記の〔表２〕にまとめた。

【００８３】

【表２】 回数はデジタイズした画像の枚数を表わす。の方法を
用いれば、原理上サルの頭を固定する必要はない。また
，で同一の画像を用いて比較するために頭部を固定
したサルにおける瞳孔の画像データを用いた。カメラ
は、ほぼ目の高さで、正面より水平方向に約４０度の位
置に設置した。〔表２〕の誤差は、変換された視線ベク
トルと、理論上の視線ベクトルとの角度のずれを表わし
ている。，の方法の計算時間は十分短く３０Ｈ_Z で
視線位置が計測が可能であった。

【００８４】頭部の動きをある程度許容するの方法で
もそれなりの精度が出ることが確認できた。しかしなが
らの方法に比べると誤差、標準偏差がいくぶん大き
い。この実験装置において、表２でＬＥＤが８の位置に
あるとき視線方向とカメラ座標系のｚ軸のなす角が最も
小さくなる。このときの標準偏差の大きさが最も大きく
なっている。

【００８５】の方法については、十分な精度が校正な
しに得ることができるのが確認できた。

【００８６】次に、瞳孔の大きさを測定する方法につい
て前述した通りである。要するに、前記のシステムを使
うことによって、瞳孔の大きさを測定できる。固定焦点
カメラを使うことにより、画像上の長さと、実世界の長
さとは比例する。事前にその比例定数を求めることによ
り、瞳孔の大きさを測定できる。画像処理によって瞳孔
を楕円で近似し、その楕円の長径に、前記の比例定数を
掛けることにより瞳孔の半径を求めることができる。

【００８７】

【発明の効果】本発明によれば、撮影された楕円にノイ
ズが混入した場合でも、ノイズが除去できるので、任意
の方向から見た円状物体を楕円で正確に近似でき、その
物体の法線方向を精度よく求めることができる。本発明
によれば、瞳孔を正確に楕円で近似させることにより、
ＣＣＤカメラに映った瞳孔より視線位置が求まり、頭部
の動きを許容する無侵襲視線検出システムが実現でき
る。

【００８８】本発明によれば、頭部を固定した場合で
は、瞳孔を楕円で近似することにより２枚以上の画像か
ら画像上での回転中心と、眼球の回転半径を自動的に求
め、被験者の意図なしに無侵襲に視線方向が検出でき
る。

【００８９】本発明によれば、瞳孔を楕円で近似するこ
とにより、瞳孔の大きさを連続測定できる。

【図面の簡単な説明】

【図１】本発明又は従来技術におけるシステムの全体図
である。

【図２】サルの視線の動きを示す図である（本発明と従
来技術と共通）。

【図３】本発明の原理を説明する為の図である。

【図４】本発明の原理を説明する為の図である。

【図５】本発明の原理を説明する為の図である。

【図６】本発明の原理を説明する為の図である。

【図７】本発明の原理を説明する為の図である。

【図８】本発明の原理を説明する為の図である。

【図９】本発明の原理を説明する為の図である。

【図１０】本発明の原理を説明する為の図である。

【図１１】変換の模式図である。

【図１２】カメラに映った瞳孔を示す図である。

【図１３】従来の技術での、楕円の中心を求める為の図
である。

【図１４】従来の技術での、楕円の中心を求める際の、
直線を求める為の図である。

【図１５】眼球の回転中心を原点とした３次元の座標系
を示す図である。

【図１６】コンピュータの座標系を示す図である。

【符号の説明】

１ 赤外線ＬＥＤ ２ ビデオ入出力ボード ３ パソコン ４ サル ５ ＣＣＤカメラ ６ ＬＥＤパネル ７ サルの眼球 １０ パネルでのＬＥＤ １１ パネルでのＬＥＤ １２ パネルでのＬＥＤ １３ パネルでのＬＥＤ １４ パネルでのＬＥＤ １５ パネルでのＬＥＤ １６ パネルでのＬＥＤ １７ パネルでのＬＥＤ １８ パネルでのＬＥＤ １９ パネルでのＬＥＤ ２０ パネルでのＬＥＤ ２１ パネルでのＬＥＤ ２２ パネルでのＬＥＤ

Claims (5)

【特許請求の範囲】
1. 【請求項１】 任意の方向から撮影した円状物体を画像
   処理によって楕円で近似することによって、円状物体の
   法線ベクトルを決めるようにしたことを特徴とするノイ
   ズに強い正確な楕円近似による計測システム。
2. 【請求項２】 視線位置計測範囲外に設置したカメラで
   撮影した瞳孔を、画像処理によって楕円で近似し、近似
   した楕円より瞳孔の法線ベクトルを求め、視線位置を計
   測するシステムであって、画像上の楕円の短径の傾きを
   ａ、カメラ座標系における法線ベクトルとｘｙ平面のな
   す角θ（θ＝ａｒｃｓｉｎ（楕円の短径／楕円の長
   径））としたとき、次式から法線ベクトルを求めるよう
   にしたことを特徴とするノイズに強い正確な楕円近似に
   よる計測システム。但し、カメラ座標系とは、眼球の回
   転中心を原点とし、ｘ，ｙ軸は、カメラ画像のｘ，ｙ軸
   に平行、原点とカメラを結ぶ直線をｚ軸とする。 【数１】
3. 【請求項３】 任意の場所に設置したカメラで撮影した
   瞳孔を、画像処理によって楕円で近似し、画像上におい
   て、楕円の短径の傾きをもち、楕円の中心を通る直線は
   画像上の眼球回転中心を通ることを利用して、２枚以上
   の画像から画像上の眼球回転中心を求め、求められた回
   転中心座標と楕円の長径と短径の比から眼球の回転半径
   を求めるシステムであって、回転中心の座標（ｘｏ，ｙ
   ｏ）と回転半径（ｒ）と、瞳孔の中心座標（ｘｉ，ｙ
   ｉ）から、次式によってカメラ座標系における視線方向
   の単位ベクトルを求めることを特徴とするノイズに強い
   正確な楕円近似による計測システム。 【数２】 但し、カメラ座標系とは、眼球の回転中心を原点とし、
   ｘ，ｙ軸は、カメラ画像のｘ，ｙ軸に平行、原点とカメ
   ラを結ぶ直線をｚ軸とする。
4. 【請求項４】 固定焦点カメラで撮影した瞳孔を、画像
   処理によって楕円で近似し、近似した楕円より瞳孔の大
   きさを連続測定できるようにしたことを特徴とするノイ
   ズに強い正確な楕円近似による計測システム。
5. 【請求項５】 瞳孔画像のほぼ中央に引いた直線から等
   距離かつ瞳孔の輪郭と交わる平行線の組を複数（Ｎ組）
   用意し、各々の平行線の組について生じた４つの交点で
   ４点のｘ，ｙ座標の平均値をｘ，ｙ座標とする点ｏｉ
   （ｉ＝１〜Ｎ）は、前述の直線１上に分布することにお
   いて、瞳孔画像が理想的な楕円の場合は、ｏｉは一点に
   集中するが、瞳孔の輪郭にノイズがある場合は、ｏｉは
   真の値を中心に分散することに基づき、最頻値を示すｏ
   ｉを示す４点はノイズを含まない瞳孔の輪郭と判断し、
   その値を用いて瞳孔を楕円近似を行うことを特徴とする
   特許請求１，２，３または４記載のノイズに強い正確な
   楕円近似による計測システム。