JP5604923B2 - 注視点計測装置、注視点計測方法、プログラムおよび記憶媒体 - Google Patents
注視点計測装置、注視点計測方法、プログラムおよび記憶媒体 Download PDFInfo
- Publication number
- JP5604923B2 JP5604923B2 JP2010065732A JP2010065732A JP5604923B2 JP 5604923 B2 JP5604923 B2 JP 5604923B2 JP 2010065732 A JP2010065732 A JP 2010065732A JP 2010065732 A JP2010065732 A JP 2010065732A JP 5604923 B2 JP5604923 B2 JP 5604923B2
- Authority
- JP
- Japan
- Prior art keywords
- point
- original
- mesh
- image
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
Description
訴求媒体の分析では、消費者の消費行動において、商品の認知から選択、購買、使用(またはサービスの認知から選択、契約、利用)までの行動、心理などを分析し、ブランドの価値が消費者に適切に伝えられているかどうかを把握することが重要である。
例えば、消費者が商品のパンフレットを手に取り、商品を認知するまでの行動などを分析する場合を考える。アイトラッキングシステムによって、パンフレットに対する消費者の視線の注視点、軌跡、視線停留時間などを知ることで、「消費者がパンフレットで伝えたい部分を見ているのか」、「どのような順序でパンフレットを見ているのか」、「パンフレットの中で見ている時間が最も長い部分はどこか」などを把握することができる。
例えば、特許文献1に記載の技術では、対象物体の四隅にマーカーを付ける。アイカメラによって撮影された映像の1フレーム目からマーカーの座標を認識し、対象物体内の注視点座標に変換するパラメータを算出する。2フレーム目以降は、1フレーム目からのマーカーのずれに合わせて、対象物体内の注視点座標への変換をずらす。
また、例えば、特許文献2に記載の技術では、アイカメラによって撮影された映像のフレームごとにマーカーの座標を認識し、対象物体内の注視点座標に変換するパラメータをフレームごとに算出し直す。
更に、特許文献1および特許文献2に記載の技術は、平面かつ変形しない対象物体にしか適用できない。
一方、訴求媒体の分析を行う際は、レイアウトソフトなどによって作成された訴求媒体のレイアウト画像など、対象物体(=訴求媒体)の原形(変形していない状態)の画像(以下、「原形画像」という。)を準備し、視野映像内のアイマークの位置と対応付けて、原形画像における注視点の位置を特定する。仮に、視野映像における対象物体の変形を無視すると、対象物体の原形画像における注視点の位置は正確に特定することができない。
従って、シート、紙、フィルムなど剛性が低い素材の訴求媒体の分析においては、依然として、分析者が目視によって視野映像と原形画像を比較し、原形画像における注視点の位置の特定をしなくてはならない。
第1の発明では、注視点の位置を特定するためのマーカーが不要な為、アイトラッキング装置の装着者が無意識にマーカーに視線を向けてしまうことがなく、適切な計測を行うことができる。
また、注視点を含む原形メッシュの要素から注視点の位置を特定することができる。注視点の位置は、メッシュの大きさを細かく設定することで、より詳細に特定することができる。
第1の発明では、注視点の位置を特定するためのマーカーが不要な為、アイトラッキング装置の装着者が無意識にマーカーに視線を向けてしまうことがなく、適切な計測を行うことができる。
また、剛性が低い素材の訴求媒体を対象物体としたときに、対象物体が変形した場合であっても、対象物体の原形画像における注視点の位置を正確に自動計測することができる。また、注視点を含む原形メッシュの要素から注視点の位置を特定することができる。注視点の位置は、メッシュの大きさを細かく設定することで、より詳細に特定することができる。
これによって、滑らかな変形によって位置ずれの修正を行うことができる。
この場合、前記閾値は、前記平面メッシュの変形を繰り返すごとに小さくしていくことが望ましい。これによって、繰り返しの序盤、繰り返しの終盤のそれぞれの場合において、適切な対応点の組を使用して適切な変形を行うことができる。
この場合、前記一定の数は、前記平面メッシュの変形を繰り返すごとに増やしていくことが望ましい。これによって、繰り返しの序盤、繰り返しの終盤のそれぞれの場合において、適切な対応点の組を使用して適切な変形を行うことができる。
第2の発明では、注視点の位置を特定するためのマーカーが不要な為、アイトラッキング装置の装着者が無意識にマーカーに視線を向けてしまうことがなく、適切な計測を行うことができる。
また、注視点を含む原形メッシュの要素から注視点の位置を特定することができる。注視点の位置は、メッシュの大きさを細かく設定することで、より詳細に特定することができる。
第2の発明では、注視点の位置を特定するためのマーカーが不要な為、アイトラッキング装置の装着者が無意識にマーカーに視線を向けてしまうことがなく、適切な計測を行うことができる。
また、剛性が低い素材の訴求媒体を対象物体としたときに、対象物体が変形した場合であっても、対象物体の原形画像における注視点の位置を正確に自動計測することができる。また、注視点を含む原形メッシュの要素から注視点の位置を特定することができる。注視点の位置は、メッシュの大きさを細かく設定することで、より詳細に特定することができる。
ネットワークを介して第3の発明を配布し、汎用的なコンピュータにインストールすることで、第1の発明の注視点計測装置を提供することができる。
汎用的なコンピュータが備える記憶媒体読取装置に第4の発明を装着し、汎用的なコンピュータに第4の発明が記憶するプログラムをインストールすることで、第1の発明の注視点計測装置を提供することができる。
図1は、本発明に係る注視点計測システムの概要を示す図である。図2は、原形画像3と視野映像4の模式図である。
図1に示すように、本発明に係る注視点計測システムは、注視点計測装置1、アイトラッキング装置2等から構成される。
本発明に係る注視点計測システムは、図2に示す対象物体5が、剛性が低い素材の訴求媒体であるときに最適である。本発明によって訴求媒体の注視点計測を行うことで、訴求媒体の分析における人的負荷が飛躍的に軽減される。ここで、剛性が低い素材とは、人力によって容易に変形できる程度の素材を意味する。剛性が低い素材の一例としては、シート、紙、フィルムなどが挙げられるが、これらの例に限定されるわけではない。
原形画像3とは、対象物体5の原形の画像、すなわち人力などによって変形されていない画像である。原形画像3は、文字、図形、記号、写真などを含む。対象物体5が訴求媒体の場合、原形画像3は、例えば、レイアウトソフトをインストールしたコンピュータによって生成されるレイアウト画像である。原形画像3は、注視点計測装置1に格納されている。
図3は、注視点計測装置1のハードウエア構成図である。尚、図3のハードウエア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。
ROMは、不揮発性メモリであり、コンピュータのブートプログラムやBIOS等のプログラム、データ等を恒久的に保持している。
RAMは、揮発性メモリであり、記憶部12、ROM、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部11が各種処理を行う為に使用するワークエリアを備える。
これらの各プログラムコードは、制御部11により必要に応じて読み出されてRAMに移され、CPUに読み出されて各種の手段として実行される。
また、記憶部12には、原形画像3が格納されている。
通信制御部14は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他のコンピュータ間との通信制御を行う。ネットワークは、有線、無線を問わない。
入力部15を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。
表示部16は、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等(ビデオアダプタ等)を有する。
バス18は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
ROMは、不揮発性メモリであり、プログラム、データ等を恒久的に保持している。
RAMは、揮発性メモリであり、記憶部22、ROM等からロードしたプログラム、データ、視野カメラ23が撮影した視野映像4、アイマーク検出部24が検出したアイマーク6の位置を示す座標データ等を一時的に保持するとともに、制御部21が各種処理を行う為に使用するワークエリアを備える。
アイマーク検出部24は、装着者の眼球を撮影し、撮影された眼球画像から装着者の眼球運動、向き(視線)を解析し、視野映像4にアイマーク6を重ねて記憶するとともに、アイマーク6の位置を示す座標データを記憶する。
スイッチ26は、アイトラッキング装置2の電源のON、OFFや、各種のキャリブレーションなどを行うための入力装置である。
外部出力部27は、視野映像4、アイマーク6の位置を示す座標データなどを外部に出力する。外部出力部27は、有線であっても良いし、無線であっても良い。
図5は、注視点計測装置1に係るデータと処理の流れを示す図である。図5に示すように、注視点計測装置1の制御部11は、対応点検索処理31、原形メッシュ生成処理32、平面射影変換行列算出処理33、平面メッシュ生成処理34、曲面メッシュ生成処理35、注視点位置特定処理36、表示処理37等を実行する。
対応点検索処理31では、制御部11は、視野映像4の特徴点である実空間特徴点51aおよび原形画像3の特徴点である原形特徴点51bを抽出し、実空間特徴点51aおよび原形特徴点51bの集合に基づいて、視野映像4と原形画像3とを対応づける対応点42の組として、視野映像4の対応点42である実空間対応点42aおよび原形画像3の対応点42である原形対応点42bの組を検索する。
図6では、実空間特徴点51aおよび原形特徴点51bを黒丸によって示している。
後述する平面射影変換行列算出処理33の入力としては、4つ以上の対応点42の組が存在すれば良い。対応点42の組が少ないことよりも、誤って対応づけた対応点42の組が存在することの方が、平面射影変換行列算出処理33の精度を低くする為、対応点検索処理31では、出来る限り、誤って対応づけた対応点42の組を出力しないようにする。
原形メッシュ生成処理32では、制御部11は、記憶部12に格納されている原形画像3を入力し、原形画像3のメッシュである原形メッシュ43を出力する。メッシュとは、任意の多角形(例えば、三角形、四角形など)を最小単位として、計算対象領域が細かく分割されたものである。メッシュサイズ(正三角形、正四角形などであれば、一辺の大きさ)は、用途に応じてユーザが適宜決定することができる。
原形メッシュ生成処理32では、公知の技術により、例えば、原形画像3を任意の多角形によって等分割する。
平面射影変換行列算出処理33では、制御部11は、対応点検索処理31によって出力される対応点42の組を入力し、実空間対応点42aおよび原形対応点42bの組の集合に基づいて、視野映像4の座標を原形画像3の座標に平面射影変換するための平面射影変換行列44を出力する。
図8に示すフローチャートは、基本的には、RANSACによる算出処理を示している。図9、図10において、碁盤の目のように引かれた罫線は、平面の変形や各点の位置を把握し易いように付したものである。
図9、図10では、視野映像4における実空間対応点42aが、番号が付された正方形によって示されている。図9、図10に示す例では、6つの実空間対応点42aが存在する。制御部11は、平面射影変換行列44の計算に採用する点として、6つの実空間対応点42aの中から、例えば、4つの実空間対応点42aを乱数によって決定する。
図9の例では、「1」、「2」、「3」、「4」の実空間対応点42aを行列計算に採用する点としている。また、図10の例では、「1」、「3」、「4」、「6」の実空間対応点42aを行列計算に採用する点としている。
図9、図10では、原形画像3における変換点52が、番号が付された正方形によって示されている。また、図9、図10では、後述するS103にて参照される、原形画像3における原形対応点42bが、番号が付された円によって示されている。
図9、図10では、原形対応点42bと変換点52の位置が一致していることを円と正方形の重なりによって示している。
図9の例では、原形対応点42bと位置が一致する変換点52の数は、「2」の1つだけである。また、図10の例では、原形対応点42bと位置が一致する変換点52の数は、「1」、「3」、「6」の3つである。
終了条件は、例えば、繰り返し処理の回数、すなわち、S101からS103までの処理を所定の回数実行することである。
また、終了条件は、例えば、原形対応点42bと位置が一致する変換点52の数、すなわち、S103の算出結果が所定の数を上回ることである。
終了条件を満たさない場合(S104のNo)、制御部11は、S101から繰り返す。
終了条件を満たす場合(S104のYes)、制御部11は、S105に進む。
図9、図10の例を比較すると、図10の方が、原形対応点42bと一致する変換点52の数が多いことから、「1」、「3」、「4」、「6」の実空間対応点42aを採用して算出した平面射影変換行列44が最適解となる。
尚、図2で対象物体5が湾曲等をしていない平面であれば、平面射影変換行列44が求められると、前述した原形メッシュ生成処理32、および後述する平面メッシュ生成処理34、曲面メッシュ生成処理35を行わなくても、視野映像4内のアイマーク6の位置座標から原形画像3の注視点7を求めることができる。
平面メッシュ生成処理34では、制御部11は、平面射影変換行列算出処理33によって出力される平面射影変換行列44、対応点検索処理31によって出力される対応点42の組、原形メッシュ生成処理32によって出力される原形メッシュ43を入力し、視野映像4の平面メッシュ45を出力する。
また、曲面メッシュ生成処理35では、制御部11は、平面メッシュ生成処理3によって出力される平面メッシュ45を入力し、視野映像4の曲面メッシュ46を出力する。
また、曲面メッシュ生成処理35では、制御部11は、平面メッシュ45に対して、実空間対応点42aに対して平面射影変換を行うことで平面対応点42cを算出し、平面対応点42cと実空間対応点42aとの位置ずれ54に基づいて平面メッシュ45を変形することで視野映像4の曲面メッシュ46を生成する。
図12では、原形メッシュ43から平面メッシュ45への変換を示している。説明の都合上、平面メッシュ45は、視野映像4における対象物体5に重ねて示している。
図2に示すように、対象物体5の端が湾曲したり、内部に凹凸が生じたりしている場合、図12に示すように、平面メッシュ45は、不規則に変形した視野映像4の対象物体5とずれが生じる。これに対して、後述する曲面メッシュ生成処理35を行うことで、対象物体5の端が湾曲したり、内部に凹凸が生じたりすることによるずれを修正し、注視点7の位置を正確に特定することできる。
具体的には、制御部11は、平面対応点42cと実空間対応点42aとの位置ずれ54と、変形の複雑度とを含む判定式に基づいて平面メッシュ45を変形する。判定式は、次に示す式(1)である。
式(2)のnは、平面メッシュ45の各要素を示す添字である。Nは、平面メッシュ45の要素数である。εD(S(n))は、式(2)に示すように、例えば、変形前後の各辺の差の二乗和の平方根である。差の二乗和の平方根に代えて、差の二乗和、分散、標準偏差などを採用しても良い。li(n)は、要素nの変形前の辺の長さである。li´(n)は、要素nの変形後の辺の長さである。要素が三角形の場合、辺が3つなので、i=1〜3である。また、要素が四角形の場合、辺が4つなので、i=1〜4となる。
式(3)のkは、対応点42の組を示す添字である。Kは、対応点42の組の数である。εC(S(k))は、式(3)に示すように、例えば、実空間対応点42aと平面対応点42cとのユークリッド距離である。x1(k)、y1(k)は、実空間対応点42aのx座標、y座標である。x2(k)、y2(k)は、平面対応点42cのx座標、y座標である。
制御部11は、単純な変形、すなわち滑らかな変形によって、平面対応点42cと実空間対応点42aとの位置ずれ54を小さくし、平面対応点42cの位置と実空間対応点42aの位置が合うように位置合わせする為、式(1)に示す判定式ε(S)を最小化するSを算出する。従って、制御部11は、式(1)に示す判定式ε(S)の偏微分が0となるSを算出する。
終了条件は、例えば、繰り返し処理の回数、すなわち、S202からS203までの処理を所定の回数実行することである。
また、終了条件は、例えば、位置ずれ54の最大値、すなわち、S202において算出する平面対応点42cと実空間対応点42aとの位置ずれ54の最大値が一定の値以下になることである。
終了条件を満たさない場合(S204のNo)、制御部11は、S202から繰り返す。
終了条件を満たす場合(S204のYes)、制御部11は、S205に進む。
制御部11がS202からS203の処理を繰り返すことで、図13に示す位置ずれ54は、次第に小さくなっていく。
図14では、曲面メッシュ46の模式図を示している。図11に示す処理を行うことで、視野映像4の対象物体5が正確に表現された曲面メッシュ46が生成される。図14に示すように、曲面メッシュ46の領域は、視野映像4の対象物体5の領域と一致している。また、曲面メッシュ46の各要素は、平面メッシュ45の各要素と比較して、対象物体5の端の湾曲や内部の凹凸などの変形に応じて、位置、大きさ、形状が変形されている。
注視点位置特定処理36では、制御部11は、アイトラッキング装置2から受信するアイマーク位置47、曲面メッシュ生成処理35によって出力される曲面メッシュ46(または、平面メッシュ生成処理34によって出力される平面メッシュ45)を入力し、注視点位置48を出力する。
図14に示すように、視野映像4におけるアイマーク位置47に基づいて、曲面メッシュ46(または平面メッシュ45)のアイマークを含む要素56が判定できる。曲面メッシュ46(または平面メッシュ45)と原形メッシュ43の各要素は、それぞれ対応づけられているので、曲面メッシュ46(または平面メッシュ45)のアイマークを含む要素56と対応する原形メッシュ43の要素が、注視点を含む要素57と特定される。そして、制御部11は、アイマークを含む要素56、注視点を含む要素57、およびアイマーク位置47に基づいて、注視点位置48を算出し、出力する。
図15には、アイマークを含む要素56と注視点を含む要素57が図示されている。点A、B、Cは、アイマークを含む要素56(曲面メッシュ46または平面メッシュ45の三角形)の頂点であり、点A、B、Cの座標は既知である。同様に、点A’、B’、C’は、注視点を含む要素57(原形メッシュ43の三角形)の頂点であり、点A’、B’、C’の座標は既知である。また、点Pはアイマーク位置47であり、点Pの座標は既知である。
ここで、三角形PBC、PCA、PABの面積比を(α、β、γ)とすると、点A、B、C、Pの座標が既知であることから、(α、β、γ)は算出可能である。
更に、点P’を注視点位置48とする。また、三角形P’B’C’、P’C’A’、P’A’B’の面積比を(α’、β’、γ’)とする。
制御部11は、例えば、(α’、β’、γ’)=(α、β、γ)となる点P’の座標を算出し、注視点位置48の座標として出力する。
但し、注視点位置48の算出処理は、この例に限定されるわけではなく、適宜公知の技術を適用することができる。
前述したように、対応点検索処理31では、誤って対応づけられた対応点42の組が出力される可能性がある。誤って対応づけられた対応点42の組は、平面対応点42cと実空間対応点42aとの位置ずれ54が大きくなる。一方、図11のS202では、平面対応点42cと実空間対応点42aとの位置ずれ54を小さくするように位置合わせを行う。従って、制御部11は、誤って対応づけられた対応点42の組の位置を合わせるように処理を行ってしまい、正確な曲面メッシュ46を生成することができない場合がある。
制御部11は、対応点42の組を1つ選択し(S301)、平面対応点42cと実空間対応点42aとの位置ずれ54を算出する(S302)。
次に、制御部11は、S302の算出結果が閾値以内かどうか確認する(S303)。
S302の算出結果が閾値以内の場合(S303のYes)、制御部11は、S301にて選択した対応点42の組を判定式の算出処理に採用し(S304)、S305に進む。
S302の算出結果が閾値よりも大きい場合(S303のNo)、制御部11は、S301にて選択した対応点42の組を判定式の算出処理に採用せずに、S305に進む。
全ての対応点42の組に対して処理が終了していない場合(S305のNo)、制御部11は、S301から処理を繰り返す。
全ての対応点42の組に対して処理が終了している場合(S305のYes)、制御部11は、処理を終了する。
閾値を適切に変更していくことで、繰り返しの序盤では、多くの対応点42の組(誤って対応づけられた対応点42の組もある程度含む。)を使用して大まかな変形を行うことができる。
また、繰り返しの終盤では、少ない対応点42の組(誤って対応づけられた対応点42の組がほとんどない。)を使用して正確に細かい変形を行うことができる。
制御部11は、対応点42の組を1つ選択し(S401)、平面対応点42cと実空間対応点42aとの位置ずれ54を算出する(S402)。
次に、制御部11は、全ての対応点42の組に対して処理が終了したかどうか確認する(S403)。
全ての対応点42の組に対して処理が終了していない場合(S403のNo)、制御部11は、S401から処理を繰り返す。
全ての対応点42の組に対して処理が終了している場合(S403のYes)、制御部11は、S404に進む。
一定の数を適切に変更していくことで、第1の例と同様、繰り返しの序盤、繰り返しの終盤のそれぞれの場合において、適切な対応点42の組を使用して適切な変形を行うことができる。
2………アイトラッキング装置
3………原形画像
4………視野映像
5………対象物体
6………アイマーク
7………注視点
31………対応点検索処理
32………原形メッシュ生成処理
33………平面射影変換行列算出処理
34………平面メッシュ生成処理
35………曲面メッシュ生成処理
36………注視点位置特定処理
42………対応点
42a………実空間対応点
42b………原形対応点
42c………平面対応点
43………原形メッシュ
44………平面射影変換行列
45………平面メッシュ
46………曲面メッシュ
47………アイマーク位置
48………注視点位置
51a………実空間特徴点
51b………原形特徴点
52………変換点
54………位置ずれ
56………アイマークを含む要素
57………注視点を含む要素
Claims (11)
- アイトラッキング装置によって撮影された映像である視野映像内のアイマークの位置と対応付けて、前記視野映像に含まれる対象物体の原形画像における注視点の位置を計測する注視点計測装置であって、
前記視野映像の特徴点である実空間特徴点および前記原形画像の特徴点である原形特徴点を抽出し、前記実空間特徴点の集合および前記原形特徴点の集合に基づいて、前記視野映像と前記原形画像とを対応づける対応点の組として、前記視野映像の対応点である実空間対応点および前記原形画像の対応点である原形対応点の組を検索する対応点検索手段と、
前記実空間対応点および前記原形対応点の組の集合に基づいて、前記視野映像の座標を前記原形画像の座標に平面射影変換するための平面射影変換行列を算出する変換行列算出手段と、
前記原形画像のメッシュである原形メッシュを生成する原形メッシュ生成手段と、
前記原形メッシュに対して前記平面射影変換行列に基づく平面射影変換を行うことで前記視野映像の平面メッシュを生成する平面メッシュ生成手段と、
前記平面射影変換行列による平面射影変換に基づいて、前記視野映像内の前記アイマークの位置から、前記原形画像の前記注視点の位置を算出する注視点位置特定手段と、
を具備し、
前記注視点位置特定手段は、前記視野映像内の前記アイアークの位置と、前記平面メッシュの前記アイマークを含む要素と、当該要素に対応する前記原形メッシュの要素とに基づいて、前記原形画像の前記注視点の位置を算出する
ことを特徴とする注視点計測装置。 - アイトラッキング装置によって撮影された映像である視野映像内のアイマークの位置と対応付けて、前記視野映像に含まれる対象物体の原形画像における注視点の位置を計測する注視点計測装置であって、
前記視野映像の特徴点である実空間特徴点および前記原形画像の特徴点である原形特徴点を抽出し、前記実空間特徴点の集合および前記原形特徴点の集合に基づいて、前記視野映像と前記原形画像とを対応づける対応点の組として、前記視野映像の対応点である実空間対応点および前記原形画像の対応点である原形対応点の組を検索する対応点検索手段と、
前記実空間対応点および前記原形対応点の組の集合に基づいて、前記視野映像の座標を前記原形画像の座標に平面射影変換するための平面射影変換行列を算出する変換行列算出手段と、
前記原形画像のメッシュである原形メッシュを生成する原形メッシュ生成手段と、
前記原形メッシュに対して前記平面射影変換行列に基づく平面射影変換を行うことで前記視野映像の平面メッシュを生成する平面メッシュ生成手段と、
前記実空間対応点に対して前記平面射影変換を行うことで平面対応点を算出し、前記平面対応点と前記実空間対応点との位置ずれに基づいて前記平面メッシュを変形することで前記視野映像の曲面メッシュを生成する曲面メッシュ生成手段と、
前記平面射影変換行列による平面射影変換に基づいて、前記視野映像内の前記アイマークの位置から、前記原形画像の前記注視点の位置を算出する注視点位置特定手段と、
を具備し、
前記注視点位置特定手段は、前記視野映像内の前記アイアークの位置と、前記曲面メッシュの前記アイマークを含む要素と、当該要素に対応する前記原形メッシュの要素とに基づいて、前記原形画像の前記注視点の位置を算出する
ことを特徴とする注視点計測装置。 - 前記曲面メッシュ生成手段は、前記平面対応点と前記実空間対応点との位置ずれと変形の複雑度とを含む判定式に基づいて前記平面メッシュを繰り返し変形することで、最適な前記曲面メッシュを生成することを特徴とする請求項2に記載の注視点計測装置。
- 前記曲面メッシュ生成手段は、前記平面対応点と前記実空間対応点との位置ずれが閾値よりも大きい対応点の組は、前記判定式の算出処理に採用しないことを特徴とする請求項3に記載の注視点計測装置。
- 前記閾値は、前記平面メッシュの変形を繰り返すごとに小さくしていくことを特徴とする請求項4に記載の注視点計測装置。
- 前記曲面メッシュ生成手段は、前記平面対応点と前記実空間対応点との位置ずれが大きい方から一定の数の対応点の組は、前記判定式の算出処理に採用しないことを特徴とする請求項3に記載の注視点計測装置。
- 前記一定の数は、前記平面メッシュの変形を繰り返すごとに増やしていくことを特徴とする請求項6に記載の注視点計測装置。
- アイトラッキング装置によって撮影された映像である視野映像内のアイマークの位置と対応付けて、前記視野映像に含まれる対象物体の原形画像における注視点の位置を計測する注視点計測方法であって、
前記視野映像の特徴点である実空間特徴点および前記原形画像の特徴点である原形特徴点を抽出し、前記実空間特徴点の集合および前記原形特徴点の集合に基づいて、前記視野映像と前記原形画像とを対応づける対応点の組として、前記視野映像の対応点である実空間対応点および前記原形画像の対応点である原形対応点の組を検索する対応点検索ステップと、
前記実空間対応点および前記原形対応点の組の集合に基づいて、前記視野映像の座標を前記原形画像の座標に平面射影変換するための平面射影変換行列を算出する変換行列算出ステップと、
前記原形画像のメッシュである原形メッシュを生成する原形メッシュ生成ステップと、
前記原形メッシュに対して前記平面射影変換行列に基づく平面射影変換を行うことで前記視野映像の平面メッシュを生成する平面メッシュ生成ステップと、
前記平面射影変換行列による平面射影変換に基づいて、前記視野映像内の前記アイマークの位置から、前記原形画像の前記注視点の位置を算出する注視点位置特定ステップと、
を含み、
前記注視点位置特定ステップは、前記視野映像内の前記アイアークの位置と、前記平面メッシュの前記アイマークを含む要素と、当該要素に対応する前記原形メッシュの要素とに基づいて、前記原形画像の前記注視点の位置を算出する
ことを特徴とする注視点計測方法。 - アイトラッキング装置によって撮影された映像である視野映像内のアイマークの位置と対応付けて、前記視野映像に含まれる対象物体の原形画像における注視点の位置を計測する注視点計測方法であって、
前記視野映像の特徴点である実空間特徴点および前記原形画像の特徴点である原形特徴点を抽出し、前記実空間特徴点の集合および前記原形特徴点の集合に基づいて、前記視野映像と前記原形画像とを対応づける対応点の組として、前記視野映像の対応点である実空間対応点および前記原形画像の対応点である原形対応点の組を検索する対応点検索ステップと、
前記実空間対応点および前記原形対応点の組の集合に基づいて、前記視野映像の座標を前記原形画像の座標に平面射影変換するための平面射影変換行列を算出する変換行列算出ステップと、
前記原形画像のメッシュである原形メッシュを生成する原形メッシュ生成ステップと、
前記原形メッシュに対して前記平面射影変換行列に基づく平面射影変換を行うことで前記視野映像の平面メッシュを生成する平面メッシュ生成ステップと、
前記実空間対応点に対して前記平面射影変換を行うことで平面対応点を算出し、前記平面対応点と前記実空間対応点との位置ずれに基づいて前記平面メッシュを変形することで前記視野映像の曲面メッシュを生成する曲面メッシュ生成ステップと、
前記平面射影変換行列による平面射影変換に基づいて、前記視野映像内の前記アイマークの位置から、前記原形画像の前記注視点の位置を算出する注視点位置特定ステップと、
を含み、
前記注視点位置特定ステップは、前記視野映像内の前記アイアークの位置と、前記曲面メッシュの前記アイマークを含む要素と、当該要素に対応する前記原形メッシュの要素とに基づいて、前記原形画像の前記注視点の位置を算出する
ことを特徴とする注視点計測方法。 - コンピュータを請求項1から請求項7のいずれかに記載の注視点計測装置として機能させるためのプログラム。
- コンピュータを請求項1から請求項7のいずれかに記載の注視点計測装置として機能させるためのプログラムを記憶したコンピュータ読取可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010065732A JP5604923B2 (ja) | 2010-03-23 | 2010-03-23 | 注視点計測装置、注視点計測方法、プログラムおよび記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010065732A JP5604923B2 (ja) | 2010-03-23 | 2010-03-23 | 注視点計測装置、注視点計測方法、プログラムおよび記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011194105A JP2011194105A (ja) | 2011-10-06 |
JP5604923B2 true JP5604923B2 (ja) | 2014-10-15 |
Family
ID=44873034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010065732A Expired - Fee Related JP5604923B2 (ja) | 2010-03-23 | 2010-03-23 | 注視点計測装置、注視点計測方法、プログラムおよび記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5604923B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6311461B2 (ja) * | 2014-06-05 | 2018-04-18 | 大日本印刷株式会社 | 視線分析システムおよび視線分析装置 |
JP6547268B2 (ja) * | 2014-10-02 | 2019-07-24 | 富士通株式会社 | 視線位置検出装置、視線位置検出方法及び視線位置検出プログラム |
JP6586904B2 (ja) * | 2016-02-19 | 2019-10-09 | 富士通株式会社 | 画像表示装置、表示制御方法および表示制御プログラム |
JP7431714B2 (ja) | 2020-10-16 | 2024-02-15 | 株式会社日立製作所 | 視線分析装置と視線分析方法及び視線分析システム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6253630A (ja) * | 1985-09-03 | 1987-03-09 | 日本電気株式会社 | 注視点位置計測方法およびその装置 |
NL1002854C2 (nl) * | 1996-04-12 | 1997-10-15 | Eyelight Research Nv | Methode en meetsysteem voor het meten en interpreteren van reacties van respondenten op gepresenteerde stimuli, zoals advertenties of dergelijke. |
JP4082303B2 (ja) * | 2003-07-25 | 2008-04-30 | 富士ゼロックス株式会社 | 画像補正装置 |
JP4753072B2 (ja) * | 2005-11-14 | 2011-08-17 | 独立行政法人産業技術総合研究所 | 映像内の複数広告看板の認識方法 |
JP2008161266A (ja) * | 2006-12-27 | 2008-07-17 | Ritsumeikan | 画像処理装置、コンピュータプログラム、及び画像処理方法 |
JP2009205479A (ja) * | 2008-02-28 | 2009-09-10 | Kddi Corp | 撮像装置のキャリブレーション装置、方法及びプログラム |
US8692876B2 (en) * | 2008-07-15 | 2014-04-08 | Institut Pasteur Korea | Method and apparatus for imaging of features on a substrate |
-
2010
- 2010-03-23 JP JP2010065732A patent/JP5604923B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011194105A (ja) | 2011-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Dominio et al. | Combining multiple depth-based descriptors for hand gesture recognition | |
US9913578B2 (en) | Eye gaze detecting device and eye gaze detection method | |
Hasan et al. | Detection, segmentation, and 3D pose estimation of surgical tools using convolutional neural networks and algebraic geometry | |
CN102739951B (zh) | 图像处理装置及图像处理方法 | |
US20080192990A1 (en) | Gaze detection apparatus and the method of the same | |
CN109426835B (zh) | 信息处理装置、信息处理装置的控制方法和存储介质 | |
JP6094106B2 (ja) | 視線分析装置、視線計測システム、方法、プログラム、記録媒体 | |
EP2499963A1 (en) | Method and apparatus for gaze point mapping | |
EP2579210A1 (en) | Face feature-point position correction device, face feature-point position correction method, and face feature-point position correction program | |
JP5762730B2 (ja) | 人検出装置および人検出方法 | |
JP2016506260A (ja) | ロボット手術器具のマーカーレス追跡 | |
WO2014144408A2 (en) | Systems, methods, and software for detecting an object in an image | |
CN105593787A (zh) | 用于与数字设备交互的直接指向检测的系统和方法 | |
JPWO2014103297A1 (ja) | 物体識別装置、方法及びプログラム | |
JP2007233997A (ja) | 顔特徴点検出装置及びその方法 | |
JP2015211363A (ja) | 表示制御装置、表示制御方法および表示制御プログラム | |
MX2014005478A (es) | Sistema y metodo para anotaciones interactivas de imagen. | |
JP5604923B2 (ja) | 注視点計測装置、注視点計測方法、プログラムおよび記憶媒体 | |
JP6915611B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US20230326251A1 (en) | Work estimation device, work estimation method, and non-transitory computer readable medium | |
US10796435B2 (en) | Image processing method and image processing apparatus | |
JP6946912B2 (ja) | 推定プログラム、推定装置、及び推定方法 | |
Gao et al. | Boosting Pseudo Census Transform Features for Face Alignment. | |
CN110276249A (zh) | 立体手掌图像摆正方法及装置 | |
US20230394721A1 (en) | Information processing apparatus, program, and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131203 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140401 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140508 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140729 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140811 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5604923 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |