JP6881755B2 - 視線検出校正方法、システム、及びコンピュータプログラム - Google Patents

視線検出校正方法、システム、及びコンピュータプログラム Download PDF

Info

Publication number
JP6881755B2
JP6881755B2 JP2017229351A JP2017229351A JP6881755B2 JP 6881755 B2 JP6881755 B2 JP 6881755B2 JP 2017229351 A JP2017229351 A JP 2017229351A JP 2017229351 A JP2017229351 A JP 2017229351A JP 6881755 B2 JP6881755 B2 JP 6881755B2
Authority
JP
Japan
Prior art keywords
line
coordinate system
sight
calibration
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017229351A
Other languages
English (en)
Other versions
JP2019097675A (ja
Inventor
圭司 松田
圭司 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2017229351A priority Critical patent/JP6881755B2/ja
Publication of JP2019097675A publication Critical patent/JP2019097675A/ja
Application granted granted Critical
Publication of JP6881755B2 publication Critical patent/JP6881755B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、視線検出における校正方法に関する。
従来、視線位置を計測することができる視線検出技術が知られており(例えば、特許文献1、2)、脳機能解明のために、無麻酔行動中のサルを実験動物に使う研究、人の視覚に関する心理学的研究、医療検査、マンマシンインターフェースへの応用研究などに用いられている。このような視線検出技術においては、人によって両目の位置や眼球の大きさ・形等が異なるため、視線検出を行う際に校正処理が必要になる。
従来の校正方法としては、図10に示されるような、例えば3×3の校正点をディスプレイに表示し、被験者にはこれらの校正点を順番に注視してもらい、その際の被験者の瞳孔をカメラで撮影する方法がある。
特許第3726122号公報 特許第3834636号公報
しかしながら、図10に示されるような従来の視線検出校正方法においては、直線上に位置しない3点以上の校正点を被験者に注視させる必要があった。例えば、図10の破線矢印に示されるように、校正点を左から右に、かつ上から下に順番に被験者に見てもらう場合には、最低でも4番目の校正点まで被験者に見てもらうまで校正を行うことができなかった(通常の校正においては、5点から9点の視標を用いている)。
このような課題に鑑み、本発明は、より少ない校正点で実行可能な視線検出校正方法を提供することを目的とする。
上記課題を解決するために、本発明の一態様は、被験者の眼球を撮影することによって視線検出校正のための校正点を注視している時の前記被験者の視線の動きを表す視線情報を取得するステップを備え、視線検出すべき前記被験者の視線の座標系である対象物座標系の水平軸と、前記被験者の眼球を撮影する際の撮影面上における座標系であるカメラ座標系の水平軸と、を合致させておき、さらに、第1の校正点のカメラ座標系の位置と、前記第1の校正点に対する前記被験者の視線の前記対象物座標系における位置と、を合致させることで、前記カメラ座標系と前記対象物座標系との水平方向および垂直方向における差分を算出するステップと、前記算出された水平方向および垂直方向における前記差分に基づいて、前記視線情報を校正するステップと、を備える視線検出校正方法である。
また、本発明の他の態様は、被験者の眼球を撮影することによって視線検出校正のための校正点を注視している時の前記被験者の視線の動きを表す視線情報を取得するステップを備え、視線検出すべき前記被験者の視線の座標系である対象物座標系の水平軸と、前記被験者の眼球を撮影する際の撮影面上における座標系であるカメラ座標系の水平軸と、を合致させておき、さらに、第1の校正点のカメラ座標系の位置と、前記第1の校正点に対する前記被験者の視線の前記対象物座標系における位置と、を合致させ、かつ、第2の校正点のカメラ座標系の位置と、前記第2の校正点に対する前記被験者の視線の前記対象物座標系における位置と、を合致させるための前記カメラ座標系または前記対象物座標系の拡大率または縮小率と回転率とを算出するステップと、前記算出された拡大率または縮小率と回転率とに基づいて、前記視線情報を校正するステップと、を備える視線検出校正方法である。
また、本発明の他の態様は、上記の視線検出校正方法を実行するコンピュータシステムである。
また、本発明の他の態様は、上記の視線検出校正方法を、コンピュータシステムに実行させるためのコンピュータプログラムである。
本発明の一実施形態に係る視線検出校正方法を実行する視線検出校正システムの構成の一例を示す図である。 本発明の一実施形態に係る視線検出校正方法において得られるパラメータを説明するための図である。 1つの校正点を用いる視線検出校正方法の一例を説明する図である。 1つの校正点を用いる視線検出校正方法の一例を説明する図である。 1つの校正点を用いる視線検出校正方法の一例を説明する図である。 2つの校正点を用いる視線検出校正方法の一例を説明する図である。 2つの校正点を用いる視線検出校正方法の一例を説明する図である。 本発明の一実施形態に係る視線検出校正方法の処理フロー図の一例を示す図である。 本発明の一実施形態に係る視線検出校正方法を実行するコンピュータ装置のハードウェア構成の一例を示す図である。 従来の視線検出校正方法の一例を示す図である。
以下、図面を参照しながら、本実施形態に係る視線検出校正方法について説明する。なお、以下の説明において参照する各図では、他の図と同等部分は同一符号によって示される。
(視線検出校正システムの構成)
図1は、本実施形態に係る視線検出校正方法を実行する視線検出校正システムの構成の一例を示す図である。図1に示される視線検出校正システム1は、視線検出の校正を行うための校正点を提示するディスプレイ10と、被験者50の眼球54に赤外線を照明する赤外線照明装置を兼ねた被験者50の眼球54の様子を撮影するカメラ20と、ディスプレイ10に校正点を表示するための表示データをディスプレイ10に出力する校正点提示用コンピュータ装置16と、カメラ20で撮影された被験者50の視線情報を取得する視線計測用コンピュータ装置18とを含んで構成される。
校正点提示用コンピュータ装置16がディスプレイ10に校正点を表示するための表示データを出力すると、ディスプレイ10には校正点が表示される。また、被験者50は、ディスプレイ10の方向に向いた状態で頭部52が固定される。また、被験者50の瞳孔を暗く撮影するために赤外線照明装置(兼カメラ)20による照明が行われる。被験者50がディスプレイ10に表示される校正点を目(眼球)54で追うと、カメラ20が眼球(瞳孔)54の様子を撮影する。カメラ20の撮影情報は、視線計測用コンピュータ装置18に出力される。また、本実施形態においては、視線計測用コンピュータ装置18は、校正点の提示位置データをあらかじめ保持しておくこととする。また、これ以降で説明される本実施形態に係る視線検出校正方法は、例えば視線計測用コンピュータ装置18において実行されうる。
(視線検出校正方法)
以下、本実施形態に係る視線検出校正方法について詳述する。
図1に示されるような視線検出校正システム1においては、頭部52(眼球54)とカメラ20との位置関係により、カメラ20で計測(撮影)する視線位置と、実際に被験者50が見ている位置との間に、水平方向と垂直方向とにおいてズレが生じうる。本実施形態に係る視線検出校正方法は、このようなズレを校正するための方法である。
従来の視線検出校正方法においては、校正のために被験者50の視線の計測を一時停止して校正を行う必要があった。これに対し、本実施形態に係る視線検出校正方法においては、15Hz程度の周期で、校正のためのパラメータを計算する。視線計測の開始以降のデータ(例えば10秒分)で被験者50の瞳孔中心が一定以上の範囲で動いた時(位置の分散が一定値を超えた場合)かつ、例えば校正点が1点以下の場合に、パラメータ計算を行う。視線計測開始直後は、カメラ20の調整や被験者50の位置合わせ等により撮影条件が変わる(確定していない)可能性があるため、直近のデータのみを用いるのが好ましい。
図2は、本実施形態に係る視線検出校正方法において得られるパラメータを説明するための図である。本実施形態に係る視線検出校正方法において得られるパラメータは、以下の2種類である
・反射点から角膜曲率中心を求めるためのOffsetx,Offsety
・角膜曲率中心から瞳孔中心までの距離:Rpc
当該パラメータについては、本願発明の発明者らによる論文“Matsuda K., Nagami T., Sugase Y., Takemura A., Kawano K. (2017) A Widely Applicable Real-Time Mono/Binocular Eye Tracking System Using a High Frame-Rate Digital Camera. In: Kurosu M. (eds) Human-Computer Interaction. User Interface Design, Development and Multimodality. HCI 2017. Lecture Notes in Computer Science, vol 10271. Springer, Cham”において詳述されている。より具体的には、被験者50に、カメラ20に向かって眼球54を動かすようにしてもらうことで上記パラメータOffsetx,Offsety,Rpcを取得することができる(詳細は当該文献を参照)。本実施形態に係る視線検出校正方法では、このようにして取得された各パラメータOffsetx,Offsety,Rpcを用いて、以下に説明するようにして視線検出校正を行う。
本実施形態の視線検出校正方法においては、カメラ20の撮影面上の座標系であるカメラ座標系における視線ベクトルを得るために、図2に示される眼球モデルを採用する。このモデルでは、瞳孔の中心を通る瞳孔面の法線ベクトル(Cx,Cy,Cz)の延長線は、角膜曲率中心およびが眼球回転中心を通る。ベクトル(Cx,Cy,Cz)は、カメラ座標系における視線ベクトルである。本実施形態においては、カメラ20の撮影画像における瞳孔の輪郭を楕円として近似する。
ここで、瞳孔中心を(Xp,Yp)、短軸の長さをS、長軸の長さをL、短軸の傾きをaと定義する。また、角膜も球体(眼球)の一部であるので、この球体の中心を角膜曲率中心(Xc,Yc)とする。カメラ20と眼球54との間の距離が頭部52の動きよりも十分に長い場合、反射の中心と角膜曲率中心との間の関係は一定である。よって、反射点重心を(Xr、Yr)とすると、角膜曲率中心(Xc,Yc)は、(Xc,Yc)=(Xr−Offsetx,Yr−Offsety)として記述することができる。
以下の式(1)によって、瞳孔中心(Xp,Yp)と角膜曲率中心(Xc,Yc)とを結ぶベクトルから視線ベクトル(Cx,Cy,Cz)を算出する。視線ベクトル(Cx,Cy,Cz)は、瞳孔中心(Xp,Yp)と、眼の撮影画像中の反射点重心(Xr、Yr)とを測定した後に、式(1)を用いることによって算出されうる。
Figure 0006881755
そして、上述のように求められたカメラ座標系における視線ベクトル(Cx,Cy,Cz)から以下の式により、水平方向、垂直方向の視線角度(Ch,Cv)を求めることができる。

(Ch,Cv)=(arctan(Cx/Cz),arctan(Cy/Cz))
ここで、視線計測とは、被験者がどこを見ているのかを知るための技術である。例えば図1に示されるように被験者50がディスプレイ10を見ている場合、被験者50がディスプレイ上のどこを見ているのかを検出することが目的である。よって、カメラ座標系(カメラ20の撮影面上の座標系)で表現されている視線情報を、ディスプレイ上の座標系に変換する必要がある。本実施形態においては、このディスプレイ10上の座標系を「対象物座標系」という。
ところで、カメラ20の配置によっては、ディスプレイ10の画面上の座標系である対象物座標系と異なる方向に、(撮影した)視線が移動する場合がある。これは、カメラ20の天地の設定や、本実施形態においては採用していないが眼球54を撮影する際に赤外線のみを反射するミラーを用いる場合には当該ミラーによる反転などに起因する。ここで、カメラ20の水平と視標座標系の水平とを合わせることを前提とすると、カメラ座標系と対象物座標系との方向の関係は、以下の4つのパターンに分類される。
(1)水平・垂直とも反対方向
(2)水平のみ反対方向
(3)垂直のみ反対方向
(4)水平・垂直とも同一方向
カメラ20の配置等によって上記の4つのパターンのうち、いずれのパターンになるかはあらかじめ判断できるため、例えば、視線検出校正方法をコンピュータ装置にて実行するためのプログラムに水平反転スイッチおよび垂直反転スイッチの機能を付加しておくようになっていてもよい。そして、プログラムを実行させる際に各スイッチのいずれか、または両方が有効になるよう設定するようになっていてもよい。
(校正例1)
以下、1つのみの校正点を用いる視線検出校正方法の一例について説明する。図3〜図5は、1つの校正点を用いる視線検出校正方法の一例を説明する図である。
図3(a)は、被験者50がディスプレイ10に表示された各校正点を見た際の、カメラ20が撮影した被験者50の視線の位置をカメラ座標系(カメラ20の撮影面上の座標系)にて×マークのプロットで示したグラフである。また、図3(b)は、ディスプレイ10に表示された各校正点(本例では25個の校正点)の対象物座標系(ディスプレイ10の画面上の座標系)における位置を●マークのプロットで示したグラフである。両方のグラフとも縦軸が垂直方向、横軸が水平方向を示す。
ここで、図4に、本例におけるディスプレイ10と、カメラ20と、被験者50(眼球54)との位置関係を示す。図3(b)に示される対象物座標系はディスプレイ10の画面上の座標系である。また、図3(a)に示されるカメラ座標系はカメラ20の撮影面上の座標系であり、カメラ20から被験者50の眼球(瞳孔)54を撮影するときの座標系である。カメラ座標系は、図4に示されるように、垂直方向においては、上方向がマイナスであり下方向がプラスとなっている。すなわち、本例におけるカメラ座標系と対象物座標系との関係は、上述したパターンのうち、(1)水平・垂直とも反対方向のパターンとなる。
図3に戻り、例えば被験者50がディスプレイ10の一番左上の校正点を見たとき、図3(a)のカメラ座標系ではプロット101が、図3(b)の対象物座標系ではプロット121が、被験者が当該校正点を見ているときの視線の位置となる。本例においては、一例として、この校正点を用いて視線検出校正を行うこととする。
図5は、当該校正点を用いてカメラ座標系と対象物座標系との位置合わせを行なった状態を示す図である。図5においては、両グラフの関係が(1)のパターンであるため、両座標系における視線の位置101と位置121とを重ねるために、カメラ座標系のグラフが左右と上下とを逆にして対象物座標系のグラフと重ねられている。このように、視線計測前にあらかじめカメラ座標系の水平と対象物座標系の水平とを合わせておき、かつ、1点の校正点について両座標系における視線の位置を合わせることで、両者のズレを検出し、視線検出の校正を行うことができる。
なお、本例においては一番左上の校正点を校正のために使用したが、中央の校正点(図5の位置105および位置125)を、両座標系を合わせるために使用すると、誤差の最大値がより小さくなる。
以下、本例の校正方法ための数式について説明する。
カメラ座標系における位置101を被験者50が注視しているときの水平角度および垂直角度を(Ch1,Cv1)とする。校正に用いる校正点の対象物座標系における位置121の水平角度および垂直角度を(Oh1,Ov1)とする。Ch1、Cv1は計測値を、Oh1、Ov1はディスプレイ10への出力時に設定した値を用いることで、下記の関係式におけるH_offset、V_offsetを求めることができる。
Figure 0006881755
また、上述したように、カメラ20の水平と視標座標系の水平とを合わせると、カメラ座標系と対象物座標系との関係は、(1)水平・垂直とも反対方向、(2)水平のみ反対方向、(3)垂直のみ反対方向、(4)水平・垂直とも同一方向、の4つのパターンに分類される。この(1)〜(4)のパターンによって、関係式はそれぞれ以下のように異なる。
Figure 0006881755
また、任意の校正点についての対象物座標系の角度(Oh,Ov)は、カメラ座標系における視線角度(Ch,Cv)から以下の式より求めることができる。
Figure 0006881755
なお、これについても、カメラ座標系と対象物座標系との関係のパターン(1)〜(4)によって、関係式はそれぞれ以下のように異なる。
Figure 0006881755
(校正例2)
次に、2つの校正点を用いる視線検出校正方法の一例について説明する。図6および図7は、2つの校正点を用いる視線検出校正方法の一例を説明する図である。
図6(a)は、被験者50がディスプレイ10に表示された各校正点を見た際の、カメラ20が撮影した被験者50の視線の位置をカメラ座標系にて×マークのプロットで示したグラフである。また、図6(b)は、ディスプレイ10に表示された各校正点(本例では25個の校正点)の対象物座標系における位置を●マークのプロットで示したグラフである。両方のグラフとも縦軸が垂直方向、横軸が水平方向を示す。なお、本例におけるディスプレイ10と、カメラ20と、被験者50(眼球54)との位置関係は、前述した1つの校正点を用いた視線検出校正方法の例と同様とする(図4参照)。すなわち、本例においても、カメラ座標系と対象物座標系との関係は、上述したパターンのうち、(1)水平・垂直とも反対方向のパターンである。
例えば被験者50がディスプレイ10の一番左上の校正点を見たとき、図6(a)のカメラ座標系ではプロット101が、図6(b)の対象物座標系ではプロット121が、被験者が当該校正点を見ているときの視線の位置となる。また、被験者50がディスプレイ10の一番上の列の左から2つ目の校正点を見たとき、図6(a)のカメラ座標系ではプロット102が、図6(b)の対象物座標系ではプロット122が、被験者が当該校正点を見ているときの視線の位置となる。本例においては、一例として、この2点の校正点を用いて視線検出校正を行うこととする。
図7は、当該2つの校正点を用いてカメラ座標系と対象物座標系との位置合わせを行なった状態を示す図である。図7においては、両座標系における視線の位置101と位置121、および位置102と位置122とを重ねるために、カメラ座標系のグラフが左右と上下とを逆にして、対象物座標系のグラフと重ねられている。このとき、位置101と位置102との間の距離が、位置121と位置122との間の距離と等しくなるように、カメラ座標系(または対象物座標系)を拡大あるいは縮小する(このときの拡大率または縮小率をαとする)。また、位置101と位置121、および位置102と位置122とが重なるようにカメラ座標系(または対象物座標系)を回転させる(このときの回転角をθとする)。このように、視線計測前にあらかじめカメラ座標系の水平と対象物座標系の水平とを合わせておき、かつ、2点の校正点について両座標系における2点の校正点についての視線の位置を合わせることで、両者のズレを検出し、視線検出の校正を行うことができる。また、この校正方法によれば、2つの校正点を用いているため、より精度の高い校正を行うことができる。
なお、本例においては一番左上とその右隣の2つの校正点を校正のために使用したが、他の2点の校正点を用いて校正を行うことも可能である。
以下、本例の校正方法ための数式について説明する。
カメラ座標系における位置101および位置102を被験者50が注視しているときの水平角度および垂直角度をそれぞれ、(Ch1,Cv1)、(Ch2,Cv2)とする。また、校正に用いる対象物座標系における位置121および位置122の水平角度および垂直角度をそれぞれ、(Oh1,Ov1)、(Oh2,Ov2)とする。(Ch1,Cv1)および(Ch2,Cv2)は計測値を、(Oh1,Ov1)および(Oh2,Ov2)はディスプレイ10への出力時に設定した値を用いることで、下記の関係式におけるaおよびbを含む行列を求めることができる。
なお、以下の式におけるaおよびbを含む行列は、回転角度シータに対応する回転行列と拡大率αを掛け合わせたものである。aおよびbを求めることで、カメラ座標系から対象物座標系への変換が可能になる。
Figure 0006881755
なお、上記の式におけるaおよびbを含む行列は、回転角度θの回転行列と拡大率αを掛け合わせたものである。aおよびbを求めることで、カメラ座標系から対象物座標系への変換が可能になる。
Figure 0006881755
また、上述したように、カメラ20の水平と視標座標系の水平とを合わせると、カメラ座標系と対象物座標系との関係は、(1)水平・垂直とも反対方向、(2)水平のみ反対方向、(3)垂直のみ反対方向、(4)水平・垂直とも同一方向、の4つのパターンに分類される。この(1)〜(4)のパターンによって、関係式はそれぞれ以下のように異なる。
Figure 0006881755
また、任意の校正点についての対象物座標系の角度(Oh,Ov)は、カメラ座標系における視線角度(Ch,Cv)から以下の式より求めることができる。
Figure 0006881755
なお、これについても、カメラ座標系と対象物座標系との関係のパターン(1)〜(4)によって、関係式はそれぞれ以下のように異なる。
Figure 0006881755
(処理フロー)
図8は、本実施形態に係る視線検出校正方法の処理フロー図の一例を示す図である。
まず、校正点の提示位置データ(座標データ)を視線計測用コンピュータ装置18に登録しておく(ステップS102)。
次に、被験者50の眼球運動を計測することで、カメラ座標系にて計測するための各パラメータOffsetx,Offsety,Rpcを取得する(ステップS104)。具体的には、被験者50に、カメラ20に向かって眼球54を動かすようにしてもらうことで上記パラメータOffsetx,Offsety,Rpcを取得する。
次に、1点目の校正点を注視するように被験者50に指示し、この時の被験者50の眼球54の撮影情報(視線情報)を取得する(ステップS106)。取得された撮影情報はカメラ20から視線計測用コンピュータ装置18に出力される。なお、被験者50が校正点を注視しているときに、例えばキーボードやマウスにて入力操作を行うことで、校正点を注視していることを視線計測用コンピュータ装置18に通知するようになっていてもよい。
1点の校正点のみで校正処理を実行する場合には(ステップS108:No)、視線計測用コンピュータ装置18において上記校正例1にて説明したように、1点の校正点を用いた視線検出校正を実行して対象物座標系で視線情報を出力して(ステップS110)、処理を終了する。
さらなる校正点を用いて校正を続ける場合には(ステップS108:Yes)、2点目の校正点を注視するように被験者50に指示し、この時の被験者50の眼球54の撮影情報(視線情報)を取得する(ステップS112)。取得された撮影情報はカメラ20から視線計測用コンピュータ装置18に出力される。なお、この時、2点目の校正に1点の校正点を用いた校正処理の結果を利用することができる。すなわち、被験者が2点目の校正点付近を注視してるのかを1点の校正点を用いた校正処理結果を用いて確認することができる。また、1点目の校正点の場合と同様に、被験者50が校正点を注視しているときにキーボードやマウスにて入力操作を行うことで、校正点を注視しているタイミングを視線計測用コンピュータ装置18に通知するようになっていてもよい。
当該2点の校正点のみで校正処理を実行する場合には(ステップS114:No)、1点目と2点目の校正点の撮影情報を用いて、視線計測用コンピュータ装置18において上記校正例2にて説明したように、2点の校正点を用いた視線検出校正を実行して対象物座標系で視線情報を出力する(ステップS116)。
さらなる校正点を用いて校正を続ける場合には(ステップS114:Yes)、さらに3点目以降の各校正点を注視するように被験者50に指示して各校正点を注視している時の被験者50の眼球54の撮影情報(視線情報)を取得して(ステップS118、ステップS120)、従来の視線検出校正法を利用して対象物座標系で視線情報を出力する(ステップS122)ことが可能である。この時、n(n:3以上の整数)点目の校正にn−1点の校正点を用いた校正処理の結果を利用することができる。すなわち、被験者がn点目の校正点付近を注視してるのかをn−1の校正点を用いた校正処理結果を用いて確認することができる。
(ハードウェア構成)
本実施形態に係る視線検出校正方法を実行するコンピュータ装置(例えば視線計測用コンピュータ装置18)は、一般的なコンピュータ装置と同様のハードウェア構成によって実現可能である。図9は、本実施形態に係る視線検出校正方法を実行するコンピュータ装置のハードウェア構成の一例を示す図である。図9に示されるコンピュータ装置3は、一例として、プロセッサ31と、RAM32と、ROM33と、内蔵のハードディスク装置34と、外付けハードディスク装置、CD、DVD、USBメモリ、メモリスティック、SDカード等のリムーバブルメモリ35と、他のコンピュータ装置と通信する通信インタフェース36と、ディスプレイ/タッチパネル37と、スピーカ38と、キーボード/キーパット39とを備える。上記説明された本実施形態の視線検出校正方法における各処理は、例えば、プロセッサ31が、ハードディスク装置34やROM33、リムーバブルメモリ35等にあらかじめ格納されたプログラムをRAM32等のメモリに読み出して実行することで実行されうる。なお、図9に示されるハードウェア構成はあくまで一例であって、これに限定されるものではない。
また、上記説明した本実施形態の視線検出校正システム1は、視線検出校正のための校正点を表示する表示部と、被験者の眼球を撮影することによって当該校正点の表示中における被験者の視線の動きを表す視線情報を取得する視線情報取得部と、を備え、表示部の画面上における座標系である対象物座標系の水平軸と、被験者の眼球を撮影する際の撮影面上における座標系であるカメラ座標系の水平軸と、を合致させておき、さらに、表示部に表示された第1の校正点のカメラ座標系の位置と、視線情報取得部にて取得された前記第1の校正点に対する被験者の視線の対象物座標系における位置と、を合致させることで、カメラ座標系における第1の校正点の位置と対象物座標系における第1の校正点の位置との水平方向および垂直方向における差分を算出する差分算出部と、差分算出部において算出された水平方向および垂直方向における当該差分に基づいて、視線情報を校正する校正部と、を備える視線検出校正システムであるとも言える。
また、上記説明した本実施形態の視線検出校正システム1は、視線検出校正のための校正点を表示する表示部と、被験者の眼球を撮影することによって当該校正点の表示中における被験者の視線の動きを表す視線情報を取得する視線情報取得部と、を備え、表示部の画面上における座標系である対象物座標系の水平軸と、被験者の眼球を撮影する際の撮影面上における座標系であるカメラ座標系の水平軸と、を合致させておき、さらに、表示部に表示された第1の校正点のカメラ座標系の位置と、第1の校正点に対する被験者の視線の前記対象物座標系における位置と、を合致させ、かつ、表示部に表示された第2の校正点のカメラ座標系の位置と、第2の校正点に対する被験者の視線の対象物座標系における位置と、を合致させるためのカメラ座標系または対象物座標系の拡大率または縮小率と回転率とを算出する差分算出部と、算出された拡大率または縮小率と回転率とに基づいて、視線情報を校正する校正部と、を備える視線検出校正システムであるとも言える。
ここまで、本発明の一実施形態について説明したが、本発明は上述の実施形態に限定されず、その技術的思想の範囲内において種々異なる形態にて実施されてよいことは言うまでもない。
例えば、上述した実施形態においては、一例として、校正点提示用コンピュータ装置16に校正点を表示することとしたが、これに限定されるものではない。視線計測用コンピュータ装置18が校正点の提示位置データを保持することができれば、例えば、視線検出を行う部屋の壁にマグネット磁石のようなものを貼り付けてこれを校正点としてもよいし、紙に書かれた校正点を壁に貼り付ける等としてもよい。なお、この時の対象物座標系は、壁の表面上の座標系が該当する。
本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、各請求項により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。
1 視線検出校正システム
10 ディスプレイ
16 校正点提示用コンピュータ装置
18 視線計測用コンピュータ装置
20 赤外線照明装置兼カメラ
50 被験者
52 頭部
54 眼球

Claims (4)

  1. 被験者の眼球を撮影することによって視線検出校正のための校正点を注視している時の前記被験者の視線の動きを表す視線情報を取得するステップを備え、
    視線検出すべき前記被験者の視線の座標系である対象物座標系の水平軸と、前記被験者の眼球を撮影する際の撮影面上における座標系であるカメラ座標系の水平軸と、を合致させておき、
    さらに、
    第1の校正点のカメラ座標系の位置と、前記第1の校正点に対する前記被験者の視線の前記対象物座標系における位置と、を合致させることで、前記カメラ座標系と前記対象物座標系との水平方向および垂直方向における差分を算出するステップと、
    前記算出された水平方向および垂直方向における前記差分に基づいて、前記視線情報を校正するステップと、
    を備える視線検出校正方法。
  2. 被験者の眼球を撮影することによって視線検出校正のための校正点を注視している時の前記被験者の視線の動きを表す視線情報を取得するステップを備え、
    視線検出すべき前記被験者の視線の座標系である対象物座標系の水平軸と、前記被験者の眼球を撮影する際の撮影面上における座標系であるカメラ座標系の水平軸と、を合致させておき、
    さらに、
    第1の校正点のカメラ座標系の位置と、前記第1の校正点に対する前記被験者の視線の前記対象物座標系における位置と、を合致させ、かつ、第2の校正点のカメラ座標系の位置と、前記第2の校正点に対する前記被験者の視線の前記対象物座標系における位置と、を合致させるための前記カメラ座標系または前記対象物座標系の拡大率または縮小率と回転率とを算出するステップと、
    前記算出された拡大率または縮小率と回転率とに基づいて、前記視線情報を校正するステップと、
    を備える視線検出校正方法。
  3. 請求項1または2に記載の視線検出校正方法を実行するコンピュータシステム。
  4. 請求項1または2に記載の視線検出校正方法を、コンピュータシステムに実行させるためのコンピュータプログラム。
JP2017229351A 2017-11-29 2017-11-29 視線検出校正方法、システム、及びコンピュータプログラム Active JP6881755B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017229351A JP6881755B2 (ja) 2017-11-29 2017-11-29 視線検出校正方法、システム、及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017229351A JP6881755B2 (ja) 2017-11-29 2017-11-29 視線検出校正方法、システム、及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2019097675A JP2019097675A (ja) 2019-06-24
JP6881755B2 true JP6881755B2 (ja) 2021-06-02

Family

ID=66974773

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017229351A Active JP6881755B2 (ja) 2017-11-29 2017-11-29 視線検出校正方法、システム、及びコンピュータプログラム

Country Status (1)

Country Link
JP (1) JP6881755B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766757B (zh) * 2019-09-10 2023-05-05 中国科学院上海技术物理研究所 一种具有二维指向镜的面阵相机几何成像模型标定方法
CN111428634B (zh) * 2020-03-23 2023-06-27 中国人民解放军海军特色医学中心 一种采用六点法分块模糊加权的人眼视线追踪定位方法
CN113827244B (zh) * 2020-06-24 2023-10-17 比亚迪股份有限公司 驾驶员视线方向的检测方法、监控方法、系统和装置
JP2022136843A (ja) * 2021-03-08 2022-09-21 本田技研工業株式会社 較正装置及び較正方法
CN115840502B (zh) * 2022-11-23 2023-07-21 深圳市华弘智谷科技有限公司 三维视线追踪方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06189906A (ja) * 1992-12-26 1994-07-12 Nissan Motor Co Ltd 視線方向計測装置
JP2001134371A (ja) * 1999-11-05 2001-05-18 Shimadzu Corp 視線検出装置
ITRM20070526A1 (it) * 2007-10-05 2009-04-06 Univ Roma Apparato di acquisizione ed elaborazione delle informazioni relative ad attivita oculari umane
WO2014051010A1 (ja) * 2012-09-28 2014-04-03 株式会社Jvcケンウッド 診断支援装置および診断支援方法

Also Published As

Publication number Publication date
JP2019097675A (ja) 2019-06-24

Similar Documents

Publication Publication Date Title
JP6881755B2 (ja) 視線検出校正方法、システム、及びコンピュータプログラム
US6659611B2 (en) System and method for eye gaze tracking using corneal image mapping
US9244529B2 (en) Point-of-gaze estimation robust to head rotations and/or device rotations
US9785233B2 (en) Systems and methods of eye tracking calibration
JP6340503B2 (ja) 目追跡システム及び利き目を検出する方法
US8251510B2 (en) Ophthalmic observation apparatus and ophthalmic observation program
JP6482103B2 (ja) 測定装置及び測定方法
CN109008944A (zh) 视线计测装置、视线计测程序及视线计测方法
US20150029322A1 (en) Method and computations for calculating an optical axis vector of an imaged eye
CN107003752A (zh) 信息处理装置、信息处理方法以及程序
CN112399817A (zh) 测量眼睛屈光
JP2016173313A (ja) 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム
WO2013175701A1 (ja) 映像解析装置、映像解析方法、および注視点表示システム
JP2018196730A (ja) 眼の位置を監視するための方法およびシステム
US10671173B2 (en) Gesture position correctiing method and augmented reality display device
JP7168953B2 (ja) 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム
JP6984071B1 (ja) 器具なしレンズメータシステム
JP2018099174A (ja) 瞳孔検出装置及び瞳孔検出方法
CN108027656A (zh) 输入设备、输入方法和程序
KR20190062023A (ko) 사시 진단 시스템 및 방법, 시선 영상 획득 시스템, 컴퓨터 프로그램
JP6324119B2 (ja) 回転角度算出方法、注視点検出方法、情報入力方法、回転角度算出装置、注視点検出装置、情報入力装置、回転角度算出プログラム、注視点検出プログラム及び情報入力プログラム
CN112987910B (zh) 眼球追踪设备的测试方法、装置、设备及存储介质
JP2005261728A (ja) 視線方向認識装置及び視線方向認識プログラム
JP2016200753A (ja) 画像表示装置
JP6452236B2 (ja) 眼球識別装置及び眼球識別方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210423

R150 Certificate of patent or registration of utility model

Ref document number: 6881755

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250