JP6014931B2 - 視線計測方法 - Google Patents
視線計測方法 Download PDFInfo
- Publication number
- JP6014931B2 JP6014931B2 JP2012195770A JP2012195770A JP6014931B2 JP 6014931 B2 JP6014931 B2 JP 6014931B2 JP 2012195770 A JP2012195770 A JP 2012195770A JP 2012195770 A JP2012195770 A JP 2012195770A JP 6014931 B2 JP6014931 B2 JP 6014931B2
- Authority
- JP
- Japan
- Prior art keywords
- eyeball
- line
- gaze
- camera
- targets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、カメラで撮った眼の画像から視線の方向を決定する視線計測方法に関する。
カメラを用いて簡単に視線の向きを知ることができれば、ウェブページにおける視覚的デザインの評価、ゲーム機器への入力やVR（Virtual
Reality）技術と組み合わせたアミューズメント用途、運動弱者のための視線インタフェースなど様々な場面で視線の応用が期待される（非特許文献１〜５）。このように幅広い分野で視線情報の利用を促進するためには、正確に視線を測定する方法に加えて、簡単な手順ですぐに使えること、導入が容易で低コストであることが求められる。
Reality）技術と組み合わせたアミューズメント用途、運動弱者のための視線インタフェースなど様々な場面で視線の応用が期待される（非特許文献１〜５）。このように幅広い分野で視線情報の利用を促進するためには、正確に視線を測定する方法に加えて、簡単な手順ですぐに使えること、導入が容易で低コストであることが求められる。
カメラで瞳孔や近赤外光の角膜反射像を撮影する画像処理による視線計測のもっとも単純な方法は、画像上の特徴点の2次元位置と視線の水平、垂直角度を対応付けることであるが（非特許文献６）、そのためには視線計測前に多数の視標を注視する過程が必要となる。それに対してこのような面倒な手順を簡略化するため、角膜や眼球を真球としてモデル化し、眼球回転中心や角膜曲率中心と瞳孔中心を結ぶベクトルから視線を推定する方法が提案されている（非特許文献７〜１２）。
1台のカメラで視線ベクトルを推定する場合、視線計測装置の小型化や低コスト化が容易となる利点はあるが、2次元の画像情報から3次元の特徴点位置を再構成する方法が問題となる。この問題に対して、カメラ−眼球間距離を計測し、眼球形状に関する個人パラメータを既知として与えることで瞳孔と角膜反射像から3次元の視線ベクトルを算出する方法（非特許文献７）や、特定の注視点を決めずにキョロキョロと目を動かしたときの見かけ上の瞳孔径の縦横比の変化から個人パラメータを算出する方法（非特許文献１０，１１）、3点の視標を注視したときの角膜反射像から眼球回転中心の位置を推定する方法（非特許文献１２）が提案されている。
使用するカメラの内部パラメータ（画像中心、焦点距離、画素サイズ）を事前にカメラキャリブレーションによって決定する方法も知られている（非特許文献１３，１４）。
瞳孔中心位置を、2値化により抽出した瞳孔領域を楕円近似したときに得られる楕円の中心とする文献も知られている（非特許文献１５，１６）。
瞳孔中心位置を、2値化により抽出した瞳孔領域を楕円近似したときに得られる楕円の中心とする文献も知られている（非特許文献１５，１６）。
パソコンのモニタやテレビのようなスクリーン上におけるユーザの注視位置を利用したアプリケーションを想定したとき、実用性の観点からはカメラと眼球間の距離情報のような環境パラメータや眼球形状に関する個人パラメータを事前に必要とせず、短時間のキャリブレーションですぐに使える注視点推定法が望まれる。
また特開２０１２−２９９４０号公報（特許文献１）には、3点の視標注視により近赤外光の角膜反射像や眼球表面上の毛細血管の分岐点のような特徴点から眼球回転中心を決定する技術が開示されている。この発明は、視線方向を計算するという構造であり、角膜反射像の結像位置に依存して極端に視線計測精度が低下する、毛細血管の分岐点を用いる場合には画像処理による安定した特徴点抽出が困難、眼球形状の個人差による視線計測精度の低下、さらに眼球回転中心の決定には眼球と視標までの距離が必要という問題があった。
R. Jacob,"The use of eye movements in human-computerinteraction techniques: What you look at is what you get," ACM Transactions onInformation Systems, Vol. 9,No 3, 152-169, 1991.
久野悦章,八木透,藤井一幸,古賀一男,内川嘉樹,"EOGを用いた視線入力インタフェースの開発,"情報処理学会論文誌,Vol.39,No.5,pp.1455-1462, 1998.
J. H.Goldberg and X. P. Kotval, "Computer interfaceevaluation using eyemovements: Methods andconstructs," International Journal of Industrial Ergonomics, Vol. 24, No. 6、 631-645, 1999.
A. T. Duchowski, "A breadth-first survey of eye-trackingapplications," Behavior research methods instruments computers, Vol. 34, No. 4,455-470, 2002.
大野健彦,"視線を用いたインタフェース,"情報処理, Vol.44, No.7, pp.726-732, 2003.
J.Merchant, R. Morrissette, and J. L. Porterfield,"Remote measurement of eye direction allowing subject motion over one cubicfoot of space," IEEE Trans. Biomed. Eng., vol. BME-21, pp. 309-317,1974.
大野健彦,武川直樹,吉川厚,"2点補正による簡易キャリブレーションを実現した視線測定システム,"情報処理学会論文誌,Vol.44, No.4,pp1136-1149, 2003。
S. Shihand J. Liu, "A novel approach to 3-D gaze tracking using stereo cameras," IEEE Transactionson Systems, Man and Cybernetics B Cybernetics, Vol.34, No.1, pp.234-245, 2004.
E. D. Guestrin and M. Eizenman,"General theory of remote gaze estimation using the pupil center and cornealreflections," IEEE Transactions on Biomedical Engineering, Vol.53, No.6,pp.1124-1133, 2006.
松田圭司,永見武司,"共通VideoAPI 対応視線位置計測システムの開発,"第15回生体生理工学シンポジウム論文集,pp.285-288, 2000.
竹上健,後藤敏行,大山玄,"視線方向検出におけるセルフキャリブレーションに関する研究,"信学論（D-II）,Vol.J84-D-II,No.8, pp. 1580-1588, 2001.
疋田真一,山田泰生,笠井健,竹田仰,小林康秀,齊藤充行,"角膜反射像を用いた眼球回転位置推定に基づく視線計測法,"信学論（D-II）,採録決定.
R. Y. Tsai, "Aversatile camera calibration technique for high-accuracy 3D machine visionmetrology using off-the-shelf TV cameras and lenses," IEEE Journal of Roboticsand Automation, Vol. 3, No.4 pp.323-344, 1987.
Z. Zhang, "Aflexible new technique for camera calibration," IEEE Transactions on PatternAnalysis and Machine Intelligence, Vol.22, No.11, pp.1330-1334, 2000.
松田圭司,永見武司,山根茂,"高速楕円近似による汎用視線位置計測システム,"第10回生体生理工学シンポジウム論文集,pp.401-404, 1995.
坂下祐輔,藤吉弘亘,平田豊,高丸尚教,深谷直樹,"高速楕円検出に基づく眼球回旋運動の計測," 第12回画像センシングシンポジウム予稿集, pp.558-565, 2006.
本発明は、個人パラメータが不要で3点注視により眼球回転中心を推定する方法に基づき、視覚対象となる平面上の最少3点の視標を順に注視したときの瞳孔中心位置から注視点推定に必要なパラメータを決定する視線計測方法を提供する。
本発明に係る視線計測方法は、カメラと眼球間の距離および眼球形状に関する個人パラメータが未知という条件下で、1台のカメラで取得した瞳孔画像から視線と平面の注視点を推定する視線計測方法であって、前記カメラにより眼球の画像を得る第１ステップ、眼球から見た前記平面上の視標間の角度は既知か否かを判断する第２ステップ、該第２ステップにて前記角度が既知ではないと判断されたとき、前記カメラによる眼球の画像の虹彩を用いて前記視標間の角度を決定する第３ステップ、該第３ステップにより決定された前記視標間の角度、又は前記第２ステップにて既知と判断された前記視標間の角度から、前記平面上の３点以上の視標を順に注視したときの前記カメラによる画像の瞳孔中心位置から注視点推定に必要なパラメータである眼球回転中心位置を計測する第４ステップ、前記眼球回転中心位置から求められる視線ベクトルを眼球座標系へ変換する回転行列を算出する第５ステップ、前記視標をキャリブレーション点として選択することにより前記視線ベクトルの補正パラメータを算出する第６ステップ、前記視標間の距離情報を用いて仮想的なターゲット平面を算出する第７ステップ、前記第６ステップの補正パラメータを用いて補正された視線と前記第7ステップで求められた平面を用いて注視点を決定する第８ステップ、を含むことを特徴とする。
本発明によれば、1台のカメラで取得した瞳孔画像から視線と平面の注視点（交点）を推定するため、キャリブレーションとして最少3点の視覚目標を注視するという簡単な手順で、注視点推定に必要なパラメータ、すなわち眼球回転中心位置、カメラ座標系から眼球座標系への回転行列、ターゲット平面、視線ベクトルの補正パラメータを決定することができる。
本発明方法の有効性を確認するため6名の被験者について注視点推定精度を調べたところ、角度換算値で水平±30[deg]、垂直±10[deg]の範囲における水平および垂直方向の平均誤差はそれぞれ0.51[deg]、0.63[deg]であった。
本発明方法はカメラと眼球間の距離情報や眼球形状に関する個人パラメータが不要なため、迅速かつ簡便な視線計測が可能となる。
また本発明によれば、前記眼球回転中心位置の算出に、前記カメラ画像における虹彩の情報を追加することにより、眼球とターゲット平面間の距離が不明で眼球から見た視標間の角度が未知の場合にも視線を計算することができる。
以下に、最初に瞳孔を用いた注視点推定方法について説明し、次に本発明方法の有効性を確認するため6名の被験者に対して実験を行った結果を述べ、最後に注視点の推定精度について説明する。
本発明は、カメラと眼球間の距離および眼球形状に関する個人パラメータが未知という条件下で、1台のカメラで取得した瞳孔画像から視線と平面の注視点を推定する視線計測方法であって、図１に示す第１ステップS1〜第８ステップS8による処理がなされる。
S1: カメラにより眼球の画像を得る。すなわち１台のCCDカメラにより、平面上の３点以上の視標を順に注視したときの眼を撮影する。
S2: 眼球から見た前記平面上の視標間の角度は既知か否かを判断する。
S3: 前記角度が既知ではないと判断されたとき、前記カメラ画像の虹彩を用いて前記視標間の角度を決定する。
S4: 第３ステップS3により決定された前記視標間の角度、又は前記第２ステップS2にて既知と判断された前記視標間の角度から、前記平面上の３点以上の視標を順に注視したときの前記カメラによる画像の瞳孔中心位置から注視点推定に必要なパラメータである眼球回転中心位置を計測する。
S5: 前記眼球回転中心位置から求められる視線ベクトルを眼球座標系へ変換する回転行列を算出する。
S6: 前記視標をキャリブレーション点として選択することにより前記視線ベクトルの補正パラメータを算出する。
S7: 前記視標間の距離情報を用いて仮想的なターゲット平面を算出する。
S8: 前記第６ステップにて補正された視線と前記第7ステップで求められた平面を用いて注視点を決定する。
S1: カメラにより眼球の画像を得る。すなわち１台のCCDカメラにより、平面上の３点以上の視標を順に注視したときの眼を撮影する。
S2: 眼球から見た前記平面上の視標間の角度は既知か否かを判断する。
S3: 前記角度が既知ではないと判断されたとき、前記カメラ画像の虹彩を用いて前記視標間の角度を決定する。
S4: 第３ステップS3により決定された前記視標間の角度、又は前記第２ステップS2にて既知と判断された前記視標間の角度から、前記平面上の３点以上の視標を順に注視したときの前記カメラによる画像の瞳孔中心位置から注視点推定に必要なパラメータである眼球回転中心位置を計測する。
S5: 前記眼球回転中心位置から求められる視線ベクトルを眼球座標系へ変換する回転行列を算出する。
S6: 前記視標をキャリブレーション点として選択することにより前記視線ベクトルの補正パラメータを算出する。
S7: 前記視標間の距離情報を用いて仮想的なターゲット平面を算出する。
S8: 前記第６ステップにて補正された視線と前記第7ステップで求められた平面を用いて注視点を決定する。
以下、各ステップにおける処理について詳述する。
[瞳孔中心を用いた注視点推定（図１中、第２ステップS2においてYESと判断されたとき）]
レンズの光学中心を原点とするカメラ座標系を図２に示す。本発明では、1台のカメラ（図示せず）で取得したCCD画像面上の瞳孔中心p (Pupil center)から眼球回転中心E (Center of eye-ball rotation)と瞳孔中心pを結ぶ直線として視線方向1を求め、視線方向１とターゲット平面２（平面、Screen）の交点（注視点Point of gaze）３を決定する。最初にターゲット平面２上の3点以上の視標を注視することにより、注視点３の推定に必要な眼球回転中心Eとターゲット平面２の位置、カメラ座標系から眼球座標系へ変換する行列および視線ベクトルの補正パラメータを計算する。
レンズの光学中心を原点とするカメラ座標系を図２に示す。本発明では、1台のカメラ（図示せず）で取得したCCD画像面上の瞳孔中心p (Pupil center)から眼球回転中心E (Center of eye-ball rotation)と瞳孔中心pを結ぶ直線として視線方向1を求め、視線方向１とターゲット平面２（平面、Screen）の交点（注視点Point of gaze）３を決定する。最初にターゲット平面２上の3点以上の視標を注視することにより、注視点３の推定に必要な眼球回転中心Eとターゲット平面２の位置、カメラ座標系から眼球座標系へ変換する行列および視線ベクトルの補正パラメータを計算する。
本実施形態では、この手順をN点キャリブレーション（N≧3）と呼ぶ。本実施形態では、頭部はカメラに対して不動であること、眼球はある一点を中心に回転するものと仮定する。なお、使用するカメラの内部パラメータ（画像中心、焦点距離、画素サイズ）は、事前のカメラキャリブレーションにより既知とし、CCD画像面上に投影された瞳孔中心pの3次元位置が画像座標から求められる。
[視線ベクトルの推定]
眼球回転中心Eは、平面上の視標N点を順に注視したときのCCD画像面上の瞳孔中心位置pから計算する。平面上のi番目の視標を注視したときの瞳孔中心位置Piは、未知パラメータKiとCCD画面上に投影された瞳孔中心位置piを用いて次式で表わされる。
眼球回転中心Eは、平面上の視標N点を順に注視したときのCCD画像面上の瞳孔中心位置pから計算する。平面上のi番目の視標を注視したときの瞳孔中心位置Piは、未知パラメータKiとCCD画面上に投影された瞳孔中心位置piを用いて次式で表わされる。
次に眼球回転中心E−瞳孔中心p間距離Rで正規化された座標系を考え、数式１の両辺をRで割ることにより数式２を得る。
ある視標から別の視標に視線を切り替えたときの瞳孔中心pの移動距離は、眼球回転中心Eから見た視標間の角度θを用いて次の数式3で表わされる。
ただし、j<k でj= 1、 2、…、N-1、
k=2、…、N、l=1、…、 N C 2 とする。N＝3のときの例を図３に示す。
k=2、…、N、l=1、…、 N C 2 とする。N＝3のときの例を図３に示す。
次に視角θを与えるため、新たに眼球回転中心Eを原点とする直交座標系を考える。図３において、眼球回転中心Eとターゲット平面2の距離が最小となる平面上の点TOと眼球回転中心Eを通る直線をZ軸とし、ターゲット平面2と平行になるようX軸とY軸をとる。この眼球座標系において平面上の視標位置Teyeは次式で表される。
ここでX,Yはシステムが与えるので既知、眼球回転中心Eからターゲット平面2までの距離Dも環境から与えられるものと仮定し既知とする。したがって、数式３の視角θは眼球座標系における2つの視標位置ベクトルTj、Tkの内積と外積の大きさから計算できる。
瞳孔中心位置P'iについて、N個の未知パラメータK'1 〜 K'Nに対して数式２，３から N C 2 個のスカラー方程式が得られるので、視標が3点以上（N≧3）であれば各視標を注視したときのP'iが求まる。眼球回転中心位置E'はP'iから等距離にあるので、次式よりE'が決定できる。
任意の視線方向における瞳孔中心位置P'は、眼球回転中心位置E'を中心とする半径1の球と瞳孔中心を通る直線との2つの交点のうちカメラにより近い点として求めることができる。最終的に視線ベクトルgCは、瞳孔中心と眼球回転中心の位置から次式により決定される。
[カメラ座標系から眼球座標系への変換]
瞳孔中心位置pから求まる視線ベクトルgCはカメラ座標系で表現される。一方、眼球座標系はターゲット平面2を基準として決定される。以下、カメラ座標系で与えられる視線ベクトルを眼球座標系へ変換する回転行列を求める方法について述べる。
瞳孔中心位置pから求まる視線ベクトルgCはカメラ座標系で表現される。一方、眼球座標系はターゲット平面2を基準として決定される。以下、カメラ座標系で与えられる視線ベクトルを眼球座標系へ変換する回転行列を求める方法について述べる。
ある視標Tiを注視したときのカメラ座標系における視線ベクトルをgi=(xi yi zi)T、眼球座標系における視標Tiへの単位方向ベクトルをhi=(Xi Yi
D)Tとする。いま、眼球座標系において既知の位置にあるN点の視標を注視したとき、視標への方向ベクトルhi（i=1、2…、N）からなる3×N行列Hは、回転行列Rと視線ベクトルgiからなる3×N行列Gを用いて次式で表わされる。
D)Tとする。いま、眼球座標系において既知の位置にあるN点の視標を注視したとき、視標への方向ベクトルhi（i=1、2…、N）からなる3×N行列Hは、回転行列Rと視線ベクトルgiからなる3×N行列Gを用いて次式で表わされる。
回転行列Rは、||H-RG ||2が最小となるようGHTの特異値分解により次式で計算される。
ここで、U、Vは3×3の直交行列、Wは3×3の対角行列である。
以上より、カメラ座標系における任意の視線ベクトルgCは回転行列Rにより眼球座標系における視線ベクトルgEに変換される。
[ターゲット平面の推定]
眼球回転中心の計算過程において、眼球から見た視標間の角度θを与えるために眼球からターゲット平面2までの距離Dを既知としたが、この距離Dに誤差が含まれる場合、注視点の推定精度が低下する。そこでシステムから得られる視標間の距離情報vを用いて仮想的なターゲット平面を推定し、この平面と視線との交点から注視点を決定することで推定精度の向上を図る。
眼球回転中心の計算過程において、眼球から見た視標間の角度θを与えるために眼球からターゲット平面2までの距離Dを既知としたが、この距離Dに誤差が含まれる場合、注視点の推定精度が低下する。そこでシステムから得られる視標間の距離情報vを用いて仮想的なターゲット平面を推定し、この平面と視線との交点から注視点を決定することで推定精度の向上を図る。
注視点を視線とターゲット平面の交点とすると、注視点Fi（i=1、2…、N）は視線ベクトルgiを定数αi倍した位置に存在する（数式１２）。2つの注視点FjとFkの間の距離は対応する視標間の距離vlと等しくなることから数式１３式を得る。
ただし、j<k でj= 1, 2,…,N-1, k=2,…,N,l=1,…, N C 2 とする。これらの式からαiを決定することで注視点の位置が求まる。ターゲット平面の方程式を数式１４で表わすと、平面のパラメータuは最小二乗法により各注視点の位置Fixi yi ziを用いて数式１６の連立方程式を解くことで与えられる。
以上より、任意の注視点位置Fは視線ベクトルgと数式１４〜１６で推定した平面の交点として次式により求めることができる。
[視線ベクトルの補正]
本実施形態法では瞳孔中心pが球面上を移動すると仮定して眼球回転中心Eを推定している。したがって、瞳孔中心pが回転楕円体のような非球面の曲面上を移動する場合、結果的に仮定した球面と実際の曲面との誤差を相殺する形で眼球回転中心Eの位置が決定されることになり、このことが視線推定の誤差の原因となりうる。実際に実験では、眼球座標系における視線ベクトルgEの水平方向の角度（X成分）が大きくなるにつれて、垂直方向（Y成分）の誤差が同じ方向に増大する傾向が確認された。
本実施形態法では瞳孔中心pが球面上を移動すると仮定して眼球回転中心Eを推定している。したがって、瞳孔中心pが回転楕円体のような非球面の曲面上を移動する場合、結果的に仮定した球面と実際の曲面との誤差を相殺する形で眼球回転中心Eの位置が決定されることになり、このことが視線推定の誤差の原因となりうる。実際に実験では、眼球座標系における視線ベクトルgEの水平方向の角度（X成分）が大きくなるにつれて、垂直方向（Y成分）の誤差が同じ方向に増大する傾向が確認された。
そこでターゲット平面において直線上に位置する視標をキャリブレーション点として選択することにより、この誤差を補正する。具体的には、ターゲット平面において水平軸（X軸）上の視標を注視したときの視線ベクトルgEのY成分はゼロとなることを利用して視線ベクトルの垂直成分を補正する。
眼球座標系の視線ベクトルgEは、カメラ座標系で得られた視線ベクトルgCと回転行列Rを用いて次式で表わされる。
次に、視線ベクトルgEのY成分を次式にしたがって補正する。
ここで数式２３のパラメータa、
bは、ターゲット平面の水平軸上に位置するM点の視標を注視したときの視線ベクトルgEi（i=1、2…、M）のZ-Y平面における回帰直線Y=aZ+bより決定される。この補正パラメータを決定する手順について、キャリブレーション点として水平軸上に位置する視標を含むように選択すれば、新たにユーザの負担が発生することはない。
bは、ターゲット平面の水平軸上に位置するM点の視標を注視したときの視線ベクトルgEi（i=1、2…、M）のZ-Y平面における回帰直線Y=aZ+bより決定される。この補正パラメータを決定する手順について、キャリブレーション点として水平軸上に位置する視標を含むように選択すれば、新たにユーザの負担が発生することはない。
[注視点の推定]
本実施形態の有効性を確認するため、6名の被験者に対して注視点の推定実験を行った。以下、その方法と結果について述べる。
本実施形態の有効性を確認するため、6名の被験者に対して注視点の推定実験を行った。以下、その方法と結果について述べる。
[実験環境]
CCDカメラにマクロレンズを装着し、近赤外光による照明下で右眼の瞳孔を撮影した。毎秒30フレームで撮影された画像（解像度320×240）を画像処理用コンピュータに取り込み、瞳孔中心の位置を計算した。瞳孔中心位置は、2値化により抽出した瞳孔領域を楕円近似したときに得られる楕円の中心とした。この実験によって取得した画像と瞳孔中心の一例を図４に示す。
CCDカメラにマクロレンズを装着し、近赤外光による照明下で右眼の瞳孔を撮影した。毎秒30フレームで撮影された画像（解像度320×240）を画像処理用コンピュータに取り込み、瞳孔中心の位置を計算した。瞳孔中心位置は、2値化により抽出した瞳孔領域を楕円近似したときに得られる楕円の中心とした。この実験によって取得した画像と瞳孔中心の一例を図４に示す。
[実験方法]
被験者は平均23±1.2歳（21〜24歳）の健常者6名（sub.1〜sub.6）であった。被験者の前方430[mm]の位置に視標ボードを取り付け、ボード上に21点の視標を配置した。視標の位置は、右眼正面方向を基準として左右方向に10[deg]間隔となるよう7通り（0[mm],±75.8[mm]、±156.5[mm],±248.2[mm]）、上下方向に3通り（0[mm],±75.8[mm]）の合計21点であった（図５）。なお、符号については被験者から見て右方向と上方向を正、左方向と下方向を負で表わす。
被験者は平均23±1.2歳（21〜24歳）の健常者6名（sub.1〜sub.6）であった。被験者の前方430[mm]の位置に視標ボードを取り付け、ボード上に21点の視標を配置した。視標の位置は、右眼正面方向を基準として左右方向に10[deg]間隔となるよう7通り（0[mm],±75.8[mm]、±156.5[mm],±248.2[mm]）、上下方向に3通り（0[mm],±75.8[mm]）の合計21点であった（図５）。なお、符号については被験者から見て右方向と上方向を正、左方向と下方向を負で表わす。
被験者は頭部をあご台とバイトバーにより固定した状態でこれら21点の視標を3秒間隔で順に注視し、そのときの瞳孔中心の位置データをPCに記録した。各視標注視時において瞳孔中心位置データの分散が最小となる区間（7[frame]）の瞳孔中心位置の平均値を求め、注視点位置精度の評価に用いた。
[注視点の推定結果]
最初に図５に示す5点の視標を用いたキャリブレーションにより注視点推定に必要なパラメータ（眼球回転中心位置、カメラ座標系から眼球座標系への回転行列、ターゲット平面、視線ベクトルの補正パラメータ）を決定した。眼球座標系における5点の視標位置はそれぞれ（0.0, 0.0, 430.0）,（±156.5, 0.0, 430.0）,（0.0, ±75.8, 430.0）であった。
最初に図５に示す5点の視標を用いたキャリブレーションにより注視点推定に必要なパラメータ（眼球回転中心位置、カメラ座標系から眼球座標系への回転行列、ターゲット平面、視線ベクトルの補正パラメータ）を決定した。眼球座標系における5点の視標位置はそれぞれ（0.0, 0.0, 430.0）,（±156.5, 0.0, 430.0）,（0.0, ±75.8, 430.0）であった。
図６、７はそれぞれ21点の視標に対する視線ベクトルのX-ZおよびZ-Yプロットの1例（sub. 2）である。座標原点は眼球回転中心を表わす。最初にカメラ座標系で得られた視線ベクトルgC（●）は回転行列を施され眼球座標系の視線ベクトルgE（×）に変換される。注視点位置は、補正後の視線ベクトルgE'（○）を方向ベクトルとする直線と推定したターゲット平面との交点として計算される。なお、補正後の視線ベクトルgE'は比較のため単位ベクトルに規格化されて表示されている。
図８は21点の視標を順に注視したとき注視点の時間推移の1例（sub.2）である。横軸は時間、縦軸はターゲット平面上の水平位置（図８上）と垂直位置（図８下）を表わす。
注視点の推定精度を評価するため、このようなデータから各視標注視時における注視点位置の平均値を求めた結果を図９に示す。図中の記号の形状は各被験者（sub.1〜6）を表わす。視標の水平位置が大きくなるにつれて推定した注視点位置の誤差が増加する傾向が見られたので、視標の水平位置が±75.8[mm]（±10[deg]）以内の9点、±156.5[mm] （±20[deg]）の6点、±248.2[mm]（±30[deg]）の6点についてそれぞれ平均誤差を求めた。
注視点の推定精度を評価するため、このようなデータから各視標注視時における注視点位置の平均値を求めた結果を図９に示す。図中の記号の形状は各被験者（sub.1〜6）を表わす。視標の水平位置が大きくなるにつれて推定した注視点位置の誤差が増加する傾向が見られたので、視標の水平位置が±75.8[mm]（±10[deg]）以内の9点、±156.5[mm] （±20[deg]）の6点、±248.2[mm]（±30[deg]）の6点についてそれぞれ平均誤差を求めた。
図１０は被験者6名の平均誤差を水平位置に応じて比較したもので、エラーバーは標準誤差（SE）を表す。視標の水平位置±75.8[mm]以内の範囲における平均誤差±SEは、水平方向2.0±0.3[mm]、垂直方向1.8±0.3[mm]であった。水平位置±156.5[mm]における平均誤差は、水平方向3.1±0.7[mm]、垂直方向3.1±1.2[mm]であった。水平位置±248.2[mm]では、水平方向7.3±2.0[mm]、垂直方向10.0±1.9[mm]であった。また、すべての視標21点における平均誤差（All）は、水平方向3.9±0.8[mm]、垂直方向4.5±1.0[mm]であった。これらの平均誤差について、眼球と視標ボード間の距離430[mm]を基準として角度に換算した結果を表1に示す。
本発明においては、カメラと眼球間の距離及び眼球形状に関する個人パラメータが未知という条件下で、キャリブレーションとして５点の視標を注視したときの瞳孔中心位置に基いて平面状の注視点推定を行った６名の被験者に対して注視点の推定精度を調べたところ、水平±30[deg],垂直±10[deg]の範囲における平均誤差は、角度換算値にして水平方向0.51[deg],垂直方向0.60[deg]であった（表１）。これは、ステレオカメラを用いた個人パラメータ不要の方法とも比較し得る良好な結果である。
以上説明した実施形態においては、眼球回転中心を計測する際に眼球からスクリーンまでの距離が明らかである必要がある。以下にこの距離値が明らかでなくとも眼球中心が計測できる方法を述べる。これは、図１における第２ステップS2において、NOと判断されたときに対応し、虹彩と瞳孔を用いた視線推定により行われる。この方法を付加することにより眼球とターゲット平面間の距離が不明で眼球から見た視標間の角度が未知の場合にも視線を計算することができる。
[虹彩と瞳孔の抽出]
眼球に近赤外光を照射したときに得られる画像（元画像）を図１１左に示す。最初にこのような画像データを2値化することで瞳孔（黒目）領域だけを抽出する。次に、アウトライアを除去した瞳孔輪郭に対してTaubin法を用いて楕円近似することで瞳孔中心を得る。楕円の式を数式２４で表わすと、楕円のパラメータuは数式３の最小一般固有値λに対する一般固有ベクトルとして計算できる。
眼球に近赤外光を照射したときに得られる画像（元画像）を図１１左に示す。最初にこのような画像データを2値化することで瞳孔（黒目）領域だけを抽出する。次に、アウトライアを除去した瞳孔輪郭に対してTaubin法を用いて楕円近似することで瞳孔中心を得る。楕円の式を数式２４で表わすと、楕円のパラメータuは数式３の最小一般固有値λに対する一般固有ベクトルとして計算できる。
ここでWは、虹彩輪郭データを(xi
yi)から作られる6×6行列，VはTaubin法による重み行列である。
yi)から作られる6×6行列，VはTaubin法による重み行列である。
次に、瞳孔中心を基準位置として輝度値の変化率を調べることで虹彩輪郭を抽出し、Taubin法を用いた楕円近似により虹彩中心と虹彩輪郭上の特徴点（楕円横軸と楕円の交点）を得る。以上の方法により得た瞳孔と虹彩の楕円近似結果を図１１右に示す。
[瞳孔と虹彩を用いた視線推定]
レンズの光学中心を原点とするカメラ座標系を図１２に示す。視線方向１は、眼球回転中心Eと瞳孔中心pを結ぶ直線とする。最初にスクリーン2上の3点以上の視標3を順に注視したときの虹彩輪郭上の特徴点から眼球回転中心から見た視標間の角度（視角）を推定し、瞳孔中心位置pを用いて眼球回転中心位置Eを決定する。本発明ではこの手順をN点キャリブレーションと呼ぶ（N≧3）。ただし、頭部はカメラに対して不動であること、眼球は真球である一点を中心に回転するものと仮定する。
レンズの光学中心を原点とするカメラ座標系を図１２に示す。視線方向１は、眼球回転中心Eと瞳孔中心pを結ぶ直線とする。最初にスクリーン2上の3点以上の視標3を順に注視したときの虹彩輪郭上の特徴点から眼球回転中心から見た視標間の角度（視角）を推定し、瞳孔中心位置pを用いて眼球回転中心位置Eを決定する。本発明ではこの手順をN点キャリブレーションと呼ぶ（N≧3）。ただし、頭部はカメラに対して不動であること、眼球は真球である一点を中心に回転するものと仮定する。
[虹彩を用いた視標間の角度の決定]
スクリーン2上の視標を順に注視したとき、CCDに映る見かけの虹彩径は変化するが実際の虹彩径は不変であることから眼球回転中心EIを求める（図13）。スクリーン2上のi番目の視標を注視したときの虹彩輪郭上の2つの特徴点Qij（i =1, …, N, j = 1,2）は、未知パラメータαijとCCD面上に投影された虹彩輪郭上の特徴点qijを用いて以下のように表される。
スクリーン2上の視標を順に注視したとき、CCDに映る見かけの虹彩径は変化するが実際の虹彩径は不変であることから眼球回転中心EIを求める（図13）。スクリーン2上のi番目の視標を注視したときの虹彩輪郭上の2つの特徴点Qij（i =1, …, N, j = 1,2）は、未知パラメータαijとCCD面上に投影された虹彩輪郭上の特徴点qijを用いて以下のように表される。
次に数式２７の両辺を眼球半径で割り次式を得る。
特徴点Q'ijは眼球回転中心EIから半径1の球面上に位置することから次式を得る。
i番目の視標を注視したときの特徴点Q'i1とQ'i2の距離Diは次式で表わされる。
合計N点の視標を順に注視したときの虹彩輪郭間の距離の平均値は、
となる。評価関数Jを次のとおり表わすと、
眼球回転中心EIは、評価関数J≦ρかつ| EI |が最大となる位置として決定される。
眼球回転中心EIが求まると、数式２９により虹彩輪郭上の特徴点Q'ijが定まる。虹彩中心位置をQC'とすると、眼球回転中心と虹彩中心を結ぶ視線ベクトルgIは次式で表わされる。
眼球回転中心EIが求まると、数式２９により虹彩輪郭上の特徴点Q'ijが定まる。虹彩中心位置をQC'とすると、眼球回転中心と虹彩中心を結ぶ視線ベクトルgIは次式で表わされる。
眼球回転中心から見た視標間の角度θは、それぞれの視標を注視したときに得られる視線ベクトルgI同士のなす角によって与えられる。また、眼球とターゲット平面間の距離が必要な場合には、眼球回転中心から見た視標間の角度θと視標間の距離から容易に求めることができる。
[瞳孔中心を用いた眼球回転中心の決定]
眼球回転中心は、N点の視標を順に注視したときのCCDに映った瞳孔中心の3次元位置piから算出する。
眼球回転中心−瞳孔中心間距離で正規化された座標系での瞳孔中心Pi'は、前述の数式２で表される。
眼球回転中心は、N点の視標を順に注視したときのCCDに映った瞳孔中心の3次元位置piから算出する。
眼球回転中心−瞳孔中心間距離で正規化された座標系での瞳孔中心Pi'は、前述の数式２で表される。
視標iから視標jに視線を切り替えたときの瞳孔中心の移動距離は、眼球回転中心から見た視標間の角度θを用いて前述の数式３で表される。これら数式を解くことで瞳孔中心Pi'が求まる。瞳孔中心Pi'は眼球回転中心EPから半径1の球面上にあるので、数式６によりEPが求まる。任意の視線方向における瞳孔中心P'は眼球回転中心EPを用いて数式６の関係から得られる。最終的に視線ベクトルgPは数式７により決定される。
[視線の推定]
本発明の有効性を確認するため、視線の推定実験を行った。視標間の角度を未知として5点キャリブレーションにより虹彩と瞳孔を用いて視線推定を行い、視標間の角度を既知として視線推定した結果と比較した。以下、実験方法と結果について述べる。
本発明の有効性を確認するため、視線の推定実験を行った。視標間の角度を未知として5点キャリブレーションにより虹彩と瞳孔を用いて視線推定を行い、視標間の角度を既知として視線推定した結果と比較した。以下、実験方法と結果について述べる。
[実験方法]
被験者は顎台とバイトバーを用いて頭部を固定した状態で、右眼前方580[mm]に位置するスクリーン上の21点の視標を3秒間隔で順に注視した。視標間隔は右眼正面方向を基準として、上下左右100[mm]間隔とした。図１３に21点の視標配置とキャリブレーションに用いた5点の視標位置を示す。また、CCDカメラにマクロレンズを装着し、近赤外光による照明下で解像度320×240の画像を毎秒30フレームで撮影した。
被験者は顎台とバイトバーを用いて頭部を固定した状態で、右眼前方580[mm]に位置するスクリーン上の21点の視標を3秒間隔で順に注視した。視標間隔は右眼正面方向を基準として、上下左右100[mm]間隔とした。図１３に21点の視標配置とキャリブレーションに用いた5点の視標位置を示す。また、CCDカメラにマクロレンズを装着し、近赤外光による照明下で解像度320×240の画像を毎秒30フレームで撮影した。
[実験結果]
視標を順次注視したときの視線の水平角度を図１４に、垂直角度を図１５に示す。これらの波形から水平角角度と垂直角度の平均をプロットしたもの図１６に示す。また、精度比較のため視角が既知の場合の結果も示している。また、符号については被験者から見て右方向と上方向を正、左方向と下方向を負で表す。図１７、図１８に視角が既知の場合と未知の場合での-10〜10[deg]の9点、±19[deg]の6点、±27[deg]の6点、21点についてそれぞれの平均誤差±標準誤差を比較したものを示す。水平方向について図１８、垂直方向について図１９に示す。
視標を順次注視したときの視線の水平角度を図１４に、垂直角度を図１５に示す。これらの波形から水平角角度と垂直角度の平均をプロットしたもの図１６に示す。また、精度比較のため視角が既知の場合の結果も示している。また、符号については被験者から見て右方向と上方向を正、左方向と下方向を負で表す。図１７、図１８に視角が既知の場合と未知の場合での-10〜10[deg]の9点、±19[deg]の6点、±27[deg]の6点、21点についてそれぞれの平均誤差±標準誤差を比較したものを示す。水平方向について図１８、垂直方向について図１９に示す。
図１７より、21点注視時での水平方向の平均誤差と標準誤差は視角が既知の場合では0.70±0.25 [deg]、視角が未知の場合では0.53±0.21 [deg]、図１８より、垂直方向の平均誤差は視角が既知の場合では0.51±0.07 [deg]、視角が未知の場合では0.52±0.08 [deg]となった。21点の視標を注視した場合の平均誤差は、1[deg]未満となった。
本発明では、1台のカメラで瞳孔画像さえ取得できれば簡単な手順で注視点の推定が可能となるため既存の環境への導入が比較的容易である。四肢不自由者のための視線入力インタフェースをはじめとする注視点情報を用いた様々なシステムやアプリケーションの利用促進につながる。また神経科学における基礎研究、心理状態の変化、PC機器へのインターフェース等幅広い分野で利用可能である。
E 眼球回転中心
p 瞳孔中心
１ 視線方向
２ ターゲット平面
３ 視標、注視点
p 瞳孔中心
１ 視線方向
２ ターゲット平面
３ 視標、注視点
Claims (1)
- カメラと眼球間の距離および眼球形状に関する個人パラメータが未知という条件下で、１台のカメラで取得した瞳孔画像から視線と平面の注視点を推定する視線計測方法であって、
前記カメラにより眼球の画像を得る第１ステップ、
眼球から見た前記平面上の視標間の角度は既知か否かを判断する第２ステップ、
該第２ステップにて前記角度が既知ではないと判断されたとき、前記カメラによる眼球の画像の虹彩を用いて前記視標間の角度を決定する第３ステップ、
該第３ステップにより決定された前記視標間の角度、又は前記第２ステップにて既知と判断された前記視標間の角度から、前記平面上の３点以上の視標を順に注視したときの前記カメラによる画像の瞳孔中心位置から注視点推定に必要なパラメータである眼球回転中心位置を計測する第４ステップ、
前記眼球回転中心位置から求められる視線ベクトルを眼球座標系へ変換する回転行列を算出する第５ステップ、
前記視標をキャリブレーション点として選択することにより前記視線ベクトルの補正パラメータを算出する第６ステップ、
前記視標間の距離情報を用いて仮想的なターゲット平面を算出する第７ステップ、
前記第６ステップにて補正された視線と前記第7ステップで求められた平面を用いて注視点を決定する第８ステップ、
を含むことを特徴とする視線計測方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012195770A JP6014931B2 (ja) | 2012-09-06 | 2012-09-06 | 視線計測方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012195770A JP6014931B2 (ja) | 2012-09-06 | 2012-09-06 | 視線計測方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014052758A JP2014052758A (ja) | 2014-03-20 |
| JP6014931B2 true JP6014931B2 (ja) | 2016-10-26 |
Family
ID=50611218
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012195770A Active JP6014931B2 (ja) | 2012-09-06 | 2012-09-06 | 視線計測方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6014931B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9936195B2 (en) * | 2014-11-06 | 2018-04-03 | Intel Corporation | Calibration for eye tracking systems |
| US10496160B2 (en) * | 2014-12-16 | 2019-12-03 | Koninklijke Philips N.V. | Gaze tracking system with calibration improvement, accuracy compensation, and gaze localization smoothing |
| FR3042399B1 (fr) * | 2015-10-15 | 2017-12-08 | Essilor Int | Methode de determination d'un parametre de comportement visuel d'un individu et dispositif de test associe |
| JP7021783B2 (ja) * | 2016-06-01 | 2022-02-17 | ヴィディ プロプライエタリ リミテッド | 光学的測定および走査システムならびにその使用方法 |
| EP3305176A1 (en) * | 2016-10-04 | 2018-04-11 | Essilor International | Method for determining a geometrical parameter of an eye of a subject |
| CN107692962A (zh) * | 2017-09-11 | 2018-02-16 | 南京医科大学第附属医院 | 眼位、眼球运动定量测量仪 |
| CN111527374B (zh) | 2018-01-05 | 2021-10-22 | 三菱电机株式会社 | 视线方向校正装置、视线方向校正方法及视线方向校正程序 |
| CN110547759A (zh) * | 2018-05-31 | 2019-12-10 | 托比股份公司 | 鲁棒会聚信号 |
| CN109902630B (zh) * | 2019-03-01 | 2022-12-13 | 上海像我信息科技有限公司 | 一种注意力判断方法、装置、系统、设备和存储介质 |
| CN112101064A (zh) * | 2019-06-17 | 2020-12-18 | 北京七鑫易维科技有限公司 | 一种视线追踪方法、装置、设备及存储介质 |
| CN110488982B (zh) * | 2019-08-26 | 2023-06-02 | 业成科技（成都）有限公司 | 透过眼球追踪电子白板之装置 |
| CN111428634B (zh) * | 2020-03-23 | 2023-06-27 | 中国人民解放军海军特色医学中心 | 一种采用六点法分块模糊加权的人眼视线追踪定位方法 |
| CN114516051B (zh) * | 2022-03-18 | 2023-05-30 | 中国农业大学 | 三个及以上自由度机器人视觉测量的前方交会方法及系统 |
| CN116027910B (zh) * | 2023-03-29 | 2023-07-04 | 广州视景医疗软件有限公司 | 一种基于vr眼动追踪技术的眼位图生成方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5103682B2 (ja) * | 2007-10-24 | 2012-12-19 | 株式会社国際電気通信基礎技術研究所 | インタラクティブ看板システム |
| JP2010259605A (ja) * | 2009-05-01 | 2010-11-18 | Nippon Hoso Kyokai <Nhk> | 視線測定装置および視線測定プログラム |
-
2012
- 2012-09-06 JP JP2012195770A patent/JP6014931B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014052758A (ja) | 2014-03-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6014931B2 (ja) | 視線計測方法 | |
| US9244529B2 (en) | Point-of-gaze estimation robust to head rotations and/or device rotations | |
| JP5700427B2 (ja) | 自閉症診断支援用装置 | |
| CN110913751B (zh) | 具有滑动检测和校正功能的可穿戴眼睛跟踪系统 | |
| JP6800091B2 (ja) | 視線計測装置及びプログラム | |
| EP2597597B1 (en) | Apparatus and method for calculating three dimensional (3D) positions of feature points | |
| CN107358217B (zh) | 一种视线估计方法及装置 | |
| TWI520576B (zh) | 將二維影像轉換爲三維影像的方法與系統及電腦可讀媒體 | |
| JPWO2015190204A1 (ja) | 瞳孔検出システム、視線検出システム、瞳孔検出方法、および瞳孔検出プログラム | |
| JP7030317B2 (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
| JP2009297323A (ja) | 視線計測装置 | |
| US11181978B2 (en) | System and method for gaze estimation | |
| Nagamatsu et al. | User-calibration-free gaze tracking with estimation of the horizontal angles between the visual and the optical axes of both eyes | |
| JP2017111746A (ja) | 視線検出装置及び視線検出方法 | |
| JP6441581B2 (ja) | フレキシブルディスプレイの曲げモーションに対する光検出 | |
| JP2019097675A (ja) | 視線検出校正方法、システム、及びコンピュータプログラム | |
| JP7255436B2 (ja) | 眼球構造推定装置 | |
| Wibirama et al. | Dual‐camera acquisition for accurate measurement of three‐dimensional eye movements | |
| Kang et al. | A robust extrinsic calibration method for non-contact gaze tracking in the 3-D space | |
| JP4682372B2 (ja) | 視線方向の検出装置、視線方向の検出方法およびコンピュータに当該視線方向の検出方法を実行させるためのプログラム | |
| Zhang et al. | A simplified 3D gaze tracking technology with stereo vision | |
| JP5371051B2 (ja) | 視線計測装置、方法及びプログラム | |
| WO2016159255A1 (ja) | 口領域検出装置及び口領域検出方法 | |
| Kaminski et al. | Head orientation and gaze detection from a single image | |
| Sugimoto et al. | Detecting a gazing region by visual direction and stereo cameras |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150716 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20150716 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160517 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160713 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160816 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160907 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6014931 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |