JP5818233B2 - 視線計測装置および方法 - Google Patents
視線計測装置および方法 Download PDFInfo
- Publication number
- JP5818233B2 JP5818233B2 JP2011116372A JP2011116372A JP5818233B2 JP 5818233 B2 JP5818233 B2 JP 5818233B2 JP 2011116372 A JP2011116372 A JP 2011116372A JP 2011116372 A JP2011116372 A JP 2011116372A JP 5818233 B2 JP5818233 B2 JP 5818233B2
- Authority
- JP
- Japan
- Prior art keywords
- light source
- camera
- sight
- line
- eyeball
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
Description
そして、事前に行うキャリブレーション操作等によって予め与えられた光軸とのずれ値に基づき視軸を求める(例えば、特許文献1を参照)。なお、キャリブレーションを不要とする場合には、直接光軸と視軸が一致するとして視軸を求めることが可能である。
そのため、従来の視線計測装置では、計測のために使用するカメラや光源の数は、多くても3〜4程度であった。
このような現状に鑑みて、ユーザが動ける範囲を拡げて、大型ディスプレイや大型スクリーンに表示される大画面に対応できる視線計測装置が必要とされている。
また、所定配置の複数の光源を用いることから、大画面を見ているユーザの角膜に映る光源の反射光が、どの光源のものであるかを判別できる視線計測装置および方法を提供することを目的とする。
1)各々異なる位置に配置されるM個(Mは2以上)のカメラ手段と、
2)各々異なる位置に配置されるN個(Nは2以上)の光源手段と、
3)何れかのカメラ手段により撮像された眼球画像上における光源手段のプルキニエ像の位置と、実際の光源手段の位置とを対応付けする光源対応付け手段と、
4)対応付けられた少なくとも2組のカメラ手段と光源手段の位置関係から眼球の光軸を算出する眼球光軸算出手段と、
5)眼球の光軸から眼球の視軸を算出する眼球視軸算出手段と、
を備え、
眼球を中心とし、異なる位置同士の光源手段の位置とカメラ手段の位置とから決定される第1視線計測可能範囲候補が少なくとも3つ重なる第1の視線計測可能領域と、
カメラ手段のカメラレンズ中心と同一位置に光源手段が配置されるものがL組(LはN以下かつM以下)ある場合に、同一位置にあるカメラ手段と光源手段から決定される第2視線計測可能範囲候補が、上記第1視線計測可能範囲候補と重なる第2の視線計測可能領域と、
上記第2視線計測可能範囲候補同士が重なる第3の視線計測可能領域とを含む範囲内に、計測対象領域が収まるように、個々のカメラ手段および光源手段が配置される、ことを特徴とする。
本発明は、大画面のサイズや形状に応じて多数のカメラ手段および光源手段をどう配置するのかがポイントである。大画面の視線計測のために、多数のカメラ手段および光源手段の配置を下記(A),(B)の2通りに分ける。
(B)カメラ手段のカメラレンズ中心と同一位置に光源手段が配置される場合、視線計測可能範囲の候補(これを、“第2視線計測可能範囲候補”とする。)は、眼球を頂点とし、眼球と光源手段(カメラレンズ中心と同一位置)を中心線とする円錐(gaze cone)の中全部である。
なお、同一位置には、カメラレンズに隣接させたり、ハーフミラーを用いることにより近似的に同一位置に光源手段が配置される場合も含まれる。
(1)上記(A)の第1視線計測可能範囲候補が少なくとも3つ重なる領域(これを、“第1の視線計測可能領域”とする。)が視線を計測できる範囲である。
(2)上記(B)の第2視線計測可能範囲候補と、上記(A)の第1視線計測可能範囲候補とが重なる領域(これを、“第2の視線計測可能領域”とする。)が視線を計測できる範囲である。
(3)上記(B)の第2視線計測可能範囲候補同士が重なる領域(これを、“第3の視線計測可能領域”とする。)が視線を計測できる範囲である。
カメラ手段と光源手段が多数配置された場合、上記(1),(2),(3)の場合の角膜曲率中心Aは、以下の(i)〜(iii)でそれぞれ求めることができる。
カメラ手段のレンズ中心と、光源手段位置と、カメラ手段のイメージセンサ上に映る光源手段によるプルキニエ像の位置の3点から求まる平面が3つ求まるので、その交点として、角膜曲率中心Aが求まる。但し、この場合、3平面は同じであってはならない。また、少なくとも2つカメラを利用する必要がある。1つのカメラでは、3つの光源の場合に第1視線計測可能領域候補は3つあるが、3平面全てがカメラレンズ中心と角膜曲率中心を結ぶ線を含むため3平面は1点で交わらず、交わる部分が直線となるので、解が求まらないからである。
第1視線計測可能範囲候補からは、カメラ手段のレンズ中心と、光源手段位置と、カメラ手段のイメージセンサ上に映る光源手段によるプルキニエ像の位置の3点から求まる平面が求まり、第2視線計測可能範囲候補からは、カメラ手段のレンズ中心(光源手段位置と同一)とカメラ手段のイメージセンサ上に映る光源手段によるプルキニエ像の位置の2点から直線が求まり、それら平面と直線の交点として角膜曲率中心Aが求まる。但し、この場合、直線は平面に含まれてはならない。
カメラ手段のレンズ中心(光源手段位置と同一)とカメラ手段のイメージセンサ上に映る光源手段によるプルキニエ像の位置の2点から求まる直線が2つ求まり、その交点として角膜曲率中心が求まる。但し、この場合、直線は同一であってはならない。
なお、カメラ手段や光源手段は必ずしも固定的に配置する必要はなく、電動雲台などでカメラを可動させて眼球を撮影するか、可動式のミラーで眼球を追跡するなどしてもよい。
また、上記4)の対応付けられた少なくとも2組のカメラ手段と光源手段の位置関係から眼球の光軸を算出する眼球光軸算出手段とは、プルキニエ像から角膜の曲率中心位置を算出し、眼球画像から瞳孔の中心位置を算出し、角膜の曲率中心位置及び瞳孔の中心位置に基づき角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出するものである。
また、上記5)の眼球の光軸から眼球の視軸を算出する眼球視軸算出手段とは、事前に行うキャリブレーション操作等によって予め与えられた光軸とのずれ値に基づき視軸を求めるか、或いは、キャリブレーションを不要とする場合には、直接光軸と視軸が一致するとして視軸を求めるものである。
これによれば、カメラ手段のカメラ配置を人間の動きについて決め、光源手段については視線をとる範囲と対応させて決めることができる。
視線を計算するためには、実空間における3次元的な光源位置と、眼球画像上での反射像であるプルキニエ像の位置を対応付ける必要がある。光源手段が多数ある時、光源手段が角膜に1つまたは複数反射しているが、カメラ手段により撮影されたプルキニエ像と実際の光源手段との対応付けを行なう必要がある。
a)複数の光源手段からなる形状パターンを異なるものにするもの
b)光源手段から照射する光の形状を星形,ハート型,文字型,QRコードに代表される二次元コードなど光源毎にユニークなものとして光源手段を区別できるようにするもの
c)ディスプレイやショーウィンドウなど形状が既知のものの自然光を用いるもの
また、各々の光源手段の照射光の波長を異なるものにするとは、光の色で光源手段を判別するものである。ここで、照射光の波長は、可視光波長のみならず赤外線波長も含む。
ここで、各々の光源手段を順次点灯させるとは、順番に光源手段を点灯させて、眼球に映るプルキニエ像を対応させるものである。すなわち、眼球上に複数のプルキニエ像が存在する場合、順番に光源手段を点灯させて、複数の光源手段を1つずつ特定する。
また、所定時間内に各々の光源手段をユニークに点滅させるとは、光源手段の点灯・消灯を2値データとし、特定の光源手段と対応付けするものである。
光源手段の照射光を肉眼でとらえることができない赤外線にすることにより、ディスプレイやスクリーンの枠外のみならず、枠内に光源手段を配置することができる。照射光が目に見えるものではなく、ディスプレイ等の枠内に配置されても、本来のコンテンツ画像の妨げとならない。ディスプレイやスクリーンの内外に光源手段を配置可能で、光源手段の配置制約が緩和されることにより視線計測可能範囲を拡大できる。
第1〜第3の視線計測可能領域の3つの条件の1つでも成立していれば視線を計測できるので、光源手段やカメラ手段の配置の自由度を向上する。
カメラ手段のカメラレンズ中心と同一位置に光源手段が配置されるものがL組(LはN以下かつM以下)ある場合に、同一位置にあるカメラ手段と光源手段から決定される第2視線計測可能範囲候補が、上記第1視線計測可能範囲候補と重なる第2の視線計測可能領域と、
上記第2視線計測可能範囲候補同士が重なる第3の視線計測可能領域とを含む範囲内に、計測対象領域が収まるように、個々のカメラ手段および光源手段を配置するカメラ・光源配置ステップ
ステップ3)対応付けられた少なくとも2組のカメラ手段と光源手段の位置関係から眼球の光軸を算出する眼球光軸算出ステップ
ステップ4)眼球の光軸から眼球の視軸を算出する眼球視軸算出ステップ
これによれば、カメラ手段のカメラ配置を人間の動きについて決め、光源手段については視線をとる範囲と対応させて決めることができる。
視線を計算するためには、実空間における3次元的な光源位置と、眼球画像上での反射像であるプルキニエ像の位置を対応付ける必要がある。光源が多数ある時、光源が角膜に複数反射しているが、このような場合は、カメラ手段により撮影されたプルキニエ像と実際の光源手段との対応付けを行なう必要がある。
ここで、各々の光源手段の照射光の形状パターンを異なるものにするとは、上述した如く、a)複数の光源手段からなる形状パターンを異なるものとするもの、b)光源手段から照射する光の形状を星形,ハート型,文字型,QRコードに代表される二次元コードなど光源毎にユニークなものとするもの、c)形状が既知のものの自然光を用いるものにより光源手段を判別するものである。また、各々の光源手段の照射光の波長を異なるものにするとは、光の色(可視光波長のみならず赤外線波長も含む)で光源手段を判別するものである。
ここで、各々の光源手段を順次点灯させるとは、順番に光源手段を点灯させて、眼球に映るプルキニエ像を対応させるものである。また、所定時間内に各々の光源手段をユニークに点滅させるとは、光源手段の点灯・消灯を2値データとし、特定の光源手段と対応付けするものである。
また、本発明によれば、大画面を見ているユーザの角膜に映る光源の反射光が、どの光源のものであるかを判別できるといった効果を有する。
本発明の視線計測装置ならびに視線計測方法の概要について説明する。
本発明の視線計測装置ならびに視線計測方法は、従来の視線計測装置ならびに視線計測方法において、ユーザが動く範囲を撮影できるようにカメラを複数設置し、また視線計算には角膜に映った光源の反射像が必要なことから、どこにユーザがいても光源からの光が反射するように光源を複数設置し、さらに、どの反射光がどの光源から来たものかを判別するものである。
まず、計測対象領域の周囲もしくは領域内の異なる位置に配置された複数の光源手段104と、対象領域を見ている観測者について所定光源からの光が反射した眼球画像を取得するカメラ手段102が必要である。
次に、何れかのカメラ手段102により撮像された眼球画像上における光源のプルキニエ像の位置と、実際の光源の位置とを対応付けする光源対応付け手段106(もしくは、光源対応付けステップ)が必要である。
そして、対応付けられたカメラの3次元位置と光源の3次元位置とから、角膜の曲率中心位置を算出し、眼球画像から瞳孔の中心位置を算出し、角膜の曲率中心位置及び瞳孔の中心位置に基づき角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出する眼球光軸算出手段108(もしくは、眼球光軸算出ステップ)が必要である。
そして、事前に行うキャリブレーション操作等によって予め与えられた光軸と視軸とのずれ値を用いて、算出した光軸から中心窩と角膜の曲率中心とを結ぶ軸である視軸を算出する眼球視軸算出手段110(もしくは、眼球視軸算出ステップ)が必要である。或いは、キャリブレーションを不要とする場合には、直接光軸と視軸が一致するとして視軸を求める。
まず、視線計測においては、角膜で反射した光源の光をカメラで撮影する必要があることから、視線計測可能範囲候補は、眼球を中心とした円錐(以下では、これを“gaze cone”と称する。)に基づいて決定されることになる。図2は、眼球を頂点とした円錐(gaze cone)の底面、カメラ、光源の関係を、眼球の位置を固定しカメラの位置と光源の位置を変化させ、4通り示したものである。カメラの位置が固定の場合、光源をカメラから遠ざけると視線計測可能範囲候補もカメラから遠ざかることがわかる。このときカメラ、眼球、光源を2等分する線を中心とした円錐(gaze cone)とディスプレイの交線は楕円となる。この際、カメラと光源を離す距離の限界は、カメラで角膜の中の瞳孔が撮影できる範囲で決まる。
図3に示すように大型ディスプレイ1の枠下にカメラが固定されてある状況を考えると、光源の位置を移動させることによって、gaze coneを動かすことができることがわかる。このことは、光源の位置を動かすだけで、gaze coneの位置を変更できることを意味する。例えば、カメラ3aが固定されてある場合、光源2aの位置から光源2bの位置に光源を移動させることによって、gaze coneの中心が移動し(6aから6bへ移動)、gaze coneを動かすことができる(5aから5bへ移動)。
これに基づけば、図4に示すように、ディスプレイ1の周囲に6つの光源(2a〜2f)と3つのカメラ(3a〜3c)を配置すれば、ディスプレイ1の領域全体において視線を計測できる。詳細は後述するが、図4に示すような場合、gaze coneが3つ重なるエリアにおいて視線の計算が可能である。Gaze coneとディスプレイとの交線の形状は、眼球の位置によって決まり楕円となるが、この図では、ディスプレイに垂直に見ていると仮定しており、計算に必要な3つのgaze coneは略正面にあり、gaze coneとディスプレイとの交線である3つの楕円は、ほぼ円形であるとして図示している。
図4に示すように、観測者が大型ディスプレイを見た際に、カメラと光源が離れた配置の場合、カメラと光源の位置に対して、眼球の向きを計測できる範囲は、光源からの光が角膜上で反射するか否かで決定される。図6に示すように、その限界は、θmaxで表される。但し、角膜の球面モデルを用いていることから角膜表面が球面と近似できる範囲で視線計測が可能である。そして、眼球が回転する全ての向きを考慮すると、図7に示す円錐(gaze cone)内が、光源が角膜の球面と近似できる部分に反射してカメラで撮影できる範囲となる。
図4に示すように、観測者が大型ディスプレイを見た際に、カメラと光源が離れた配置の場合、図10に示すように光源の光が角膜表面で反射する。この場合、カメラj,光源i,カメラ内部のイメージセンサ上のプルキニエ像を含む平面は、下記の式1で表される。角膜表面を球面であると近似しているので、式1で表される平面は、角膜曲率中心Aを含むことになる。なお、下記式において、P,C,L,Xは3次元ベクトルを表している。
{(P´ji−Cj) × (Li−Cj)}・(X−Cj)=0 ・・・(式1)
X= Ck + tkk(Ck −P´kk) ・・・(式2)
このように、2種類の配置が混在する場合、以下の(条件1)〜(条件3)の3条件の1つを満たすときに、角膜曲率中心Aを求めることができる。
(条件2)観測者が大型ディスプレイを見た際に、カメラと光源が離れた配置のものと、カメラと光源が同一位置の配置のもの(光源一体型カメラを含む)がある場合、上記の(式1)で示される平面と上記の(式2)で示される直線が求まり、その交点として角膜曲率中心が求まる。但し、この場合、直線は平面に含まれてはならない。
(条件3)観測者が大型ディスプレイを見た際に、カメラと光源が同一位置の配置のもの(光源一体型カメラを含む)が2つある場合、上記の(式2)で示される直線が2つ求まり、その交点として角膜曲率中心が求まる。但し、この場合、直線は同一であってはならない。
ここで、上記(条件1)の場合、1つのカメラで2つの反射光を撮影することは必ずしも必要ではなく、カメラ3台を使って3平面を求めてもよい。精度を上げるためには、(条件1)の場合、3平面は互いに直角に近い角度で交わる方が精度向上を図れる。(条件2)の場合でも、平面と直線が直角に近い角度で交わるものを選択する方が精度向上を図れる。(条件3)の場合でも、直線が直角に近い角度で交わる方が精度向上を図れる。
また、直角に近い角度で交わるものが複数ある場合は、それらを全て使えばロバスト性が向上する。なお、角度が極端に浅いものは、計算から除外するべきである。
複数満たす条件があったときは、精度向上が図れるように、上述の如く計算に利用するカメラと光源を選択する。
光軸を含む面は、角膜曲率中心A、瞳孔中心B、カメラ中心Cjを含む面である。図12から下記の式3を得る。瞳孔が撮影できているカメラが2つあれば、2つの平面が求まるので、光軸(B−A)が求まる。
{( Cl−B’l) × (A−Cl)}・(X−Cl)=0 ・・・(式3)
図13は、大型ディスプレイ1の周囲に配置された3つのカメラ(3a〜3c)と6つの光源(2a〜2f)を示した模式図である。
まず、眼球を中心とし、異なる位置同士の光源手段の位置とカメラ手段の位置とから決定される第1視線計測可能範囲候補を求める。図13の場合、大型ディスプレイ1の画面領域の周囲に合せて6個の光源(2a〜2f)が存在する。また、大型ディスプレイ1の画面領域の下側に3台のカメラ(3a〜3c)が存在する。これらのカメラ(3a〜3c)と光源(2a〜2f)は互いに異なる位置に配置されている。カメラ(3a〜3c)を下側に配置することにより、眼球画像を下側から取得することができることから、目を少し閉じた状態や目の細い人の眼球も撮影することができる。但し、カメラの位置は、計測対象の領域の下側に限定される必要はない。
なお、光源(2a〜2f)の位置とカメラ(3a〜3c)の位置を結ぶ線の中点が、gaze coneの中心(6a〜6d等)である。
まず、先ほどと同様に、眼球を中心とし、異なる位置同士の14個の光源の位置(2a〜2n)とカメラ(3a〜3g)の位置とから決定される(7+(7−1))×7通りの第1視線計測可能範囲候補を求める。なお、(7+(7−1))としたのは、光源一体型カメラの光源の位置も考慮して光源を13個としたからである。第1視線計測可能範囲候補は、13個の光源の位置と7台のカメラの位置(3a〜3g)から決定される91(=13×7)通り存在する。
この第1視線計測可能範囲候補が少なくとも3つ重なる領域が、第一の視線計測可能領域である。図16において第1の視線計測可能領域10は図の太線で囲まれた領域である。なお、図16において、91通りの全ての第1視線計測可能範囲候補を図示するのは煩雑であるため便宜上割愛しており、全ての第1視線計測可能範囲候補を示しているわけではない。
次に、第2視線計測可能範囲候補同士が重なる第3の視線計測可能領域を求める。図18において、第3の視線計測可能領域30は図の太線で囲まれた領域である。
まず、最小計測可能距離は、1つの眼球を2台のカメラで撮影するという制約により決まる。一般的にカメラの画角(横)は、下記の式4で表される。ここで、c(mm)はカメラのイメージセンサの幅、f(mm)はカメラレンズの焦点距離である。
例えば、カメラレンズの焦点距離fを12mm、カメラのイメージセンサの幅cを4.8mm、カメラからの距離lを2.5mと仮定した場合、下記の式5から、カメラの配置間隔は0.5mとなる。
例として、イメージセンサの幅c(mm),n(px)のカメラ、フォーカスf(mm)のカメラレンズを用いて、l(mm)先の直径e(mm)(約4mm程度(ただし、瞳孔径は明るさにより2〜8mmで変化する))の瞳孔を撮影する場合について、図21を参照して説明する。相似関係から、下記の式6を導くことができる。
また、瞳孔を15(px)程度で撮影しても、角膜表面に反射する2つのプルキニエ像の間隔が狭いと2つを分離できず、視線を求める計算は不可能となる。角膜表面での反射では、角膜表面は凸面鏡となることから、プルキニエ像の間隔が更に縮小されることになる。ここでは、プルキニエ像の間隔がどの程度縮小されるかについて、図22を参照して説明する。図22は、凸面鏡に物体ABが反射したときの模式図を示している。
凸面鏡に物体ABが反射したときの倍率mは、下記の式7で表される。ここで、aは光源と角膜との距離、Rは角膜曲率半径、fcは角膜の凸面鏡としての焦点距離であり、角膜の曲率半径の1/2である(fc =R/2)。
隣接する2つのプルキニエ像を識別できる条件として、プルキニエ像が2(px)四方の大きさとして、2つのプルキニエ像の間に2(px)あればよいとする。画像処理のために2つのプルキニエ像の中心が少なくとも4(px)分だけ離れて写るようにする。カメラのイメージセンサ上の画素(10×10px)の模式図を図23に示す。また、図24に2つの光源の間隔と2つの光源の虚像(プルキニエ像)の間隔の幾何学的関係を示す。
最も眼球がカメラから離れた時、2つの光源からできる2つのプルキニエ像が、カメラのイメージセンサ上で4(px)離れている必要がある。図24に示すように、この光源の虚像(プルキニエ像)の間隔が、カメラ上で4(px)であるためには、光源の虚像(プルキニエ像)の間隔は、4cl/nfである。光源の虚像(プルキニエ像)の間隔は、上記数式7で表せることから、下記の式9の関係が成り立つ。
この距離より、近い幅で設置した光源によるプルキニエ像は区別できない。逆に光源の距離を離した場合は、ユーザがカメラに近づいたとき、プルキニエ像が1点しか観察されないことがある。
CPU211は、ハードディスク213に記録されているオペレーティング・システム(OS)、視線計測プログラム等その他のアプリケーションに基づいた処理を行う。メモリ212は、CPU211に対して作業領域を提供する。ハードディスク213は、オペレーティング・システム(OS)、視線計測プログラム等その他のアプリケーション及び視線計測の結果得られた計測データを記録する。キーボード214、マウス215は、外部からの命令を受け付ける。プロジェクタ216は、視線を計測する観測者が見る映像コンテンツを表示する。
LED218は、視線計測装置21によって視線を計測する観測者に対して、光を照射する。カメラ219は、観測者の眼球画像を撮影する。LED218及びカメラ219は大型ディスプレイのサイズや形状に応じて、複数配置する。配置の仕方は上述の通りである。
以下の実施例では、複数存在する光源からの光のために、角膜表面に現れるプルキニエ像に関して、プルキニエ像の位置と実際の光源の位置との対応付けを説明する。
ここで、角膜表面には3点映ればいいとする。単純な図形とするため、単に2点をつないだ直線と点の組み合わせとする。例えば、図26(1)のように、瞳孔7には3つの点光源(8a〜8c)の反射光が観察される。或いは、図26(2)や(3)のように、瞳孔7には2つの点光源(8a,8b)と線光源9aの反射光が観察される。線光源は赤外線LEDを並べて構築するか、あるいは赤外線プロジェクタなどでパターンを投影してもよい。ここでは線光源の両端も点として認識するものとする。
図28に示す3点を組み合わせた光源の照射光の形状パターンは、5つのパターンが重なりながら横に並び、4段重なったものである。最上段は左から番号22,10,16,29,18、中段上は左から番号1,2,9,14,25、中段下は左から番号4,5,12,17,24、最下段は左から番号19,7,13,26,15の形状パターンで構成されている。
また、ディスプレイ上に光源を配置できないような場合は、例えば、図30のようにディスプレイを囲むように光源の照射光の形状パターンを配置する。
また、ディスプレイが横長の場合は、図31のように配置すればよい。繰り返し配置することにより、360°の全周囲視線計測も可能である。
上述の如く、角膜表面は凸面鏡となることから光源の形状は縮小されるため、できるだけ大きな図形でないと識別は困難である。しかしながら、非常に高解像度の画像が取得できる場合に、光源から照射する光の形状を光源毎にユニークなものとして光源を判別できる。例えば、光源が赤外線LEDであり、LED毎にユニークな数字を照射できるようにする。図32の如く、眼球に赤外線の光が照射されると、数字が角膜に反射されて観察される。観察された数字から、どの光源からの光であるかを判別できる。
その他、ディスプレイに表示されている形状が既知のものを利用して、既知の形状と反射像の位置関係から、どの位置から発せられた光であるかを判別することも可能である。
例えば、1フレームごとのLEDの点灯を0、消灯をXとして表記する。
終端記号を連続する2つの消灯とした場合、条件としては、終端記号XXとの差別化のために各信号の中に連続のXXが存在しないことと、終端記号XXとの差別化のために最後のビットが0である(Xでない)ことである。これにより採用可能な記号列は、4bitの場合、16個中の5通り(0000、00X0、0X00、X000、X0X0)になる。また、5bitの場合32個中以下の8通り(00000、000X0、00X00、0X000、0X0X0、X0000、X00X0、X0X00)になる。
また、終端記号を付加せずに、1ブロックの配列として対応付ける場合、LEDとプログラムを同期させる必要があるものの、切れ目なく連続して計測が可能である。例えば、“0000
0X0X XX0X ・・・”の場合、入力を4bit毎に区切ることにより、全記号列を認識・判別できる。
ここで、各々の光源手段を順次点灯させるとは、図34(1)〜(6)の如く、順番に光源手段を点灯させて(図中で点灯を“*”で表記)、眼球に映るプルキニエ像を対応させるものである。眼球上にプルキニエ像が存在する場合、順番に光源手段を点灯させて、複数の光源手段を1つずつ特定する。
例えば、図34(1)〜(6)に示すように、順番に光源を点灯させて光源を判別する場合、ある場所の光源を光らせて、カメラで撮影された眼球画像にその反射光が映るかどうかを確認し、上述の(条件1)または(条件2)または(条件3)を満たすのに必要なプルキニエ像の位置と実際の光源の位置とを対応付けが完了すれば、視線の算出が可能になる。
また、デジタルサイネージ(電子看板)、博物館や美術館などのユーザインタフェースや、観測者の行動分析装置や方法として有用である。
2,2a〜2n 光源
3,3a〜3g カメラ
4a〜4g 光源一体型カメラ
5,5a,5b gaze cone
6,6a〜6f gaze coneの中心
7 瞳孔
8a〜8c 点光源
9a〜9c 線光源
10 第1の視線計測可能領域
20 第2の視線計測可能領域
30 第3の視線計測可能領域
40 視線計測可能領域
21,100 視線計測装置
Claims (10)
- 平面もしくは曲面で構成される領域における観測者の視線を計測する装置であって、
各々異なる位置に配置されるM個(Mは2以上)のカメラ手段と、
各々異なる位置に配置されるN個(Nは2以上)の光源手段と、
何れかのカメラ手段により撮像された眼球画像上における光源手段のプルキニエ像の位置と、実際の光源手段の位置とを対応付けする光源対応付け手段と、
対応付けられた少なくとも2組のカメラ手段と光源手段の位置関係から眼球の光軸を算出する眼球光軸算出手段と、
眼球の光軸から眼球の視軸を算出する眼球視軸算出手段と、
を備え、
眼球を中心とし、異なる位置同士の光源手段の位置とカメラ手段の位置とから決定される第1視線計測可能範囲候補が少なくとも3つ重なる第1の視線計測可能領域と、カメラ手段のカメラレンズ中心と同一位置に光源手段が配置されるものがL組(LはN以下かつM以下)ある場合に、同一位置にあるカメラ手段と光源手段から決定される第2視線計測可能範囲候補が、上記第1視線計測可能範囲候補と重なる第2の視線計測可能領域と、上記第2視線計測可能範囲候補同士が重なる第3の視線計測可能領域とを含む範囲内に、計測対象領域が収まるように、個々のカメラ手段および光源手段が配置される、ことを特徴とする視線計測装置。 - 少なくとも1人の観測者の移動する範囲をすべて撮影するようにカメラ配置が決定された複数の前記カメラ手段と、カメラ配置された後に、計測対象領域について視線計測ができるように配置された複数の前記光源手段と、を備えることを特徴とする請求項1に記載の視線計測装置。
- 前記光源対応付け手段は、各々の光源手段の照射光の形状パターン若しくは波長を異なるものとし、光源手段のプルキニエ像の位置と実際の光源手段の位置とを対応付けすることを特徴とする請求項1に記載の視線計測装置。
- 前記光源対応付け手段は、各々の光源手段を順次点灯させて、或いは、所定時間内に各々の光源手段をユニークに点滅させて、光源手段のプルキニエ像の位置と実際の光源手段の位置とを対応付けすることを特徴とする請求項1に記載の視線計測装置。
- 前記光源手段の照射光が赤外線であることを特徴とする請求項1〜4のいずれかに記載の視線計測装置。
- 前記光源手段と前記カメラ手段の少なくとも一方が計測対象領域よりも眼球側に近づいた位置に配置されていることを特徴とする請求項1〜4のいずれかに記載の視線計測装置。
- 平面もしくは曲面で構成される領域内外に、
各々異なる位置に配置されるM個(Mは2以上)のカメラ手段と、
各々異なる位置に配置されるN個(Nは2以上)の光源手段と、
を用いて、領域における視線を計測する方法であって、
眼球を中心とし、異なる位置同士の光源手段の位置とカメラ手段の位置とから決定される第1視線計測可能範囲候補が少なくとも3つ重なる第1の視線計測可能領域と、
カメラ手段のカメラレンズ中心と同一位置に光源手段が配置されるものがL組(LはN以下かつM以下)ある場合に、同一位置にあるカメラ手段と光源手段から決定される第2視線計測可能範囲候補が、上記第1視線計測可能範囲候補と重なる第2の視線計測可能領域と、
上記第2視線計測可能範囲候補同士が重なる第3の視線計測可能領域とを含む範囲内に、計測対象領域が収まるように、個々のカメラ手段および光源手段を配置するカメラ・光源配置ステップと、
何れかのカメラ手段により撮像された眼球画像上における光源手段のプルキニエ像の位置と、実際の光源手段の位置とを対応付けする光源対応付けステップと、
対応付けられた少なくとも2組のカメラ手段と光源手段の位置関係から眼球の光軸を算出する眼球光軸算出ステップと、
眼球の光軸から眼球の視軸を算出する眼球視軸算出ステップと、
を備えたことを特徴とする視線計測方法。 - カメラ・光源配置ステップにおいて、少なくとも1人の観測者の移動する範囲をすべて撮影するように前記カメラ手段のカメラ配置を決定した後に、計測対象領域について視線計測ができるように前記光源手段を配置することを特徴とする請求項7に記載の視線計測方法。
- 前記光源対応付けステップは、各々の光源手段の照射光の形状パターン若しくは波長を異なるものとし、光源手段のプルキニエ像の位置と実際の光源手段の位置とを対応付けすることを特徴とする請求項7に記載の視線計測方法。
- 前記光源対応付けステップは、各々の光源手段を順次点灯させて、或いは、所定時間内に各々の光源手段をユニークに点滅させて、光源手段のプルキニエ像の位置と実際の光源手段の位置とを対応付けすることを特徴とする請求項7に記載の視線計測方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011116372A JP5818233B2 (ja) | 2011-05-24 | 2011-05-24 | 視線計測装置および方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011116372A JP5818233B2 (ja) | 2011-05-24 | 2011-05-24 | 視線計測装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012239849A JP2012239849A (ja) | 2012-12-10 |
JP5818233B2 true JP5818233B2 (ja) | 2015-11-18 |
Family
ID=47462164
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011116372A Active JP5818233B2 (ja) | 2011-05-24 | 2011-05-24 | 視線計測装置および方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5818233B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108369366A (zh) * | 2015-12-16 | 2018-08-03 | 索尼公司 | 图像显示装置 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3188783A1 (en) * | 2013-11-07 | 2015-05-14 | Ohio State Innovation Foundation | Automated detection of eye alignment |
JP6948688B2 (ja) * | 2017-02-06 | 2021-10-13 | 国立大学法人神戸大学 | 視線計測装置、視線計測方法および視線計測プログラム |
KR102131493B1 (ko) * | 2018-03-30 | 2020-07-07 | 조선대학교산학협력단 | 스마트폰과 qr코드를 이용한 실내측위 방법 |
JP2020081557A (ja) * | 2018-11-28 | 2020-06-04 | フォーブ インコーポレーテッド | 眼の角膜中心の位置を特定する装置、方法、及びプログラム |
CN116831516B (zh) * | 2023-07-20 | 2024-02-06 | 广州视景医疗软件有限公司 | 一种角膜曲率的生成方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4517049B2 (ja) * | 2003-12-25 | 2010-08-04 | 国立大学法人静岡大学 | 視線検出方法および視線検出装置 |
JP5163982B2 (ja) * | 2008-06-16 | 2013-03-13 | 国立大学法人神戸大学 | 視線計測装置、視線計測プログラム、視線計測方法、および視線計測装置用ディスプレイ |
-
2011
- 2011-05-24 JP JP2011116372A patent/JP5818233B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108369366A (zh) * | 2015-12-16 | 2018-08-03 | 索尼公司 | 图像显示装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2012239849A (ja) | 2012-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5818233B2 (ja) | 視線計測装置および方法 | |
KR101094766B1 (ko) | 시선 위치 추적 장치 및 방법 | |
JP6808320B2 (ja) | 三次元物体上の注視点を決定するシステム | |
JP6308940B2 (ja) | 視線追跡シーン参照位置を識別するシステム及び方法 | |
JP5297486B2 (ja) | 眼及びその凝視方向を検知し、追跡する装置 | |
US7845797B2 (en) | Custom eyeglass manufacturing method | |
EP1714184B1 (en) | Custom eyeglass manufacturing method | |
KR100850357B1 (ko) | 시선 위치 추적 방법 및 그 장치 | |
JP6631951B2 (ja) | 視線検出装置及び視線検出方法 | |
CN110162167A (zh) | 用于校准可穿戴装置中的图像传感器的系统和方法 | |
US20180336720A1 (en) | Systems and Methods For Generating and Using Three-Dimensional Images | |
KR20120057033A (ko) | Iptv 제어를 위한 원거리 시선 추적 장치 및 방법 | |
US10592739B2 (en) | Gaze-tracking system and method of tracking user's gaze | |
EP3542308B1 (en) | Method and device for eye metric acquisition | |
GB2559978A (en) | Systems and methods for obtaining eyewear information | |
JP2018099174A (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
CN113260299A (zh) | 用于眼睛追踪的系统和方法 | |
JP2019215688A (ja) | 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム | |
JP6856017B2 (ja) | 角膜反射位置検出装置、視線検出装置及び角膜反射位置検出方法 | |
JP5371051B2 (ja) | 視線計測装置、方法及びプログラム | |
JP6430813B2 (ja) | 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置 | |
JP2017102731A (ja) | 視線検出装置及び視線検出方法 | |
JP7423005B2 (ja) | 瞳孔径変化を用いた視線計測用キャリブレーション方法及び装置、並びに視線計測装置及びカメラ装置 | |
JP2002017677A (ja) | 輻輳角測定装置 | |
JP2016045707A (ja) | 特徴点検出システム、特徴点検出方法、および特徴点検出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140610 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150306 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150904 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150923 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5818233 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |