JP7200749B2 - 情報処理プログラム、情報処理方法及び情報処理装置 - Google Patents

情報処理プログラム、情報処理方法及び情報処理装置 Download PDF

Info

Publication number
JP7200749B2
JP7200749B2 JP2019034645A JP2019034645A JP7200749B2 JP 7200749 B2 JP7200749 B2 JP 7200749B2 JP 2019034645 A JP2019034645 A JP 2019034645A JP 2019034645 A JP2019034645 A JP 2019034645A JP 7200749 B2 JP7200749 B2 JP 7200749B2
Authority
JP
Japan
Prior art keywords
line
sight
movement
sight position
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019034645A
Other languages
English (en)
Other versions
JP2020140377A (ja
Inventor
裕太 増田
拓也 上村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2019034645A priority Critical patent/JP7200749B2/ja
Publication of JP2020140377A publication Critical patent/JP2020140377A/ja
Application granted granted Critical
Publication of JP7200749B2 publication Critical patent/JP7200749B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)

Description

本開示は、情報処理プログラム、情報処理方法及び情報処理装置に関する。
対象者の視線位置を検出する技術において、対象者の個人差(例えば目の位置の高さや眼球の形状等)により、対象者が実際に見ている場所と、検出した視線位置とに誤差が生じる場合があることが知られている。
これに対して、例えば、商品棚に対する視線位置を検出する技術において、視線位置をクラスタリングし、視線位置のクラスタと商品の配置位置との関係から、視線位置の補正量を算出する技術が知られている。
特開2016-73357号公報 特開2017-204094号公報
しかしながら、上記の技術では、視線位置をクラスタリングする際に疎らな視線は無視される。このため、無視した視線が本来クラスタリングされるべき視線であった場合にもノイズとして扱われ、正しいクラスタを生成することができない場合がある。この場合、商品と視線位置のクラスタとのずれを補正するための正しい補正量を計算できず、視線位置の推定精度に影響を及ぼす場合がある。
そこで、1つの側面では、本開示は、視線位置の推定精度を向上させることが可能な情報処理プログラム、情報処理方法及び情報処理装置を提供する。
1つの実施態様では、視線位置を取得する処理と、取得した前記視線位置の単位時間当たりの移動量及び方向を算出する処理と、算出した前記移動量及び方向と対象物の配置位置との比較に基づき、前記視線位置の移動推移を判定する処理と、をコンピュータに実行させる情報処理プログラムが提供される。
1つの側面では、本開示は、視線位置の推定精度を向上させることが可能な情報処理プログラム、情報処理方法及び情報処理装置を提供することができる。
従来の視線位置検出システムの課題を説明するための図。 一実施形態に係る視線位置検出システムの全体構成の一例を示す図。 一実施形態に係る情報処理装置のハードウェア構成の一例を示す図。 一実施形態に係る情報処理装置の機能構成の一例を示す図。 一実施形態に係る視線位置の算出処理の一例を示すフローチャート。 視線位置の算出を説明するための図。 一実施形態に係る視線位置データベースの一例を示す図。 一実施形態に係る視線移動パターンデータベースの一例を示す図。 一実施形態に係る角度の定義を示す図。 一実施形態に係る対象物配置データベースの一例を示す図。 視線移動の一例を示す図。 一実施形態に係る対象物配置例を示す図。 第1実施形態に係る補正量算出処理の一例を示すフローチャート。 第1実施形態に係る補正量算出処理を説明するための図。 第1~第4実施形態に係る視線移動パターン判定処理の一例を示すフローチャート。 第1実施形態に係る補正量算出処理の効果の一例を示す図。 第2実施形態に係る補正量算出処理の一例を示すフローチャート。 第2実施形態に係る補正量算出処理を説明するための図。 一実施形態に係る視線位置データベースの一例を示す図。 第3実施形態に係る補正量算出処理の一例を示すフローチャート。 第3実施形態に係る補正量算出処理を説明するための図。 第4実施形態に係る補正量算出処理の一例を示すフローチャート。 第4実施形態に係る補正量算出処理を説明するための図。
以下、一実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く場合がある。
まず、従来の視線位置検出の一例を、図1を参照しながら説明する。図1に示す視線位置検出の一例では、視線位置をクラスタリングし、その視線クラスタと商品位置の対応関係(距離)により、視線位置の補正量を算出する。
図1(a)は、1段目に商品A~Dを配置し、2段目に商品E~Hを配置している商品に向けられた視線「×」を計測した結果を示している。計測した視線位置をクラスタリングすると、領域Ni内に示す疎らな視線は無視され、無視した視線が本来クラスタリングされるべき視線であった場合にもノイズとして扱われる場合がある。この場合、正しい視線クラスタを生成することができない。
本例では、具体的には、4つの視線クラスタが図1(b)に示すように商品の3列及び2段の領域内に配置される。この場合、視線クラスタと商品配置との組合せは、例えば図1(c)の4つの枠にて示す第1の組合せO1と、4つの斜線(商品に対応した視線クラスタ)にて示す第2の組合せO2との2通りが存在する。
図1(b)にて視線クラスタと商品との位置が近い、図1(c)の第2の組合せO2の対応付けを行った場合、正しい視線の補正位置が第1の組合せO1であったときには、視線の補正量に誤差が生じてしまう。この結果、図1(d)に示す実際に見た視線位置に視線が向けられたと推定されない。
以上に説明した視線の推定精度の課題を解決するために、視線位置の推定精度を向上させることが可能な情報処理プログラム、情報処理方法及び情報処理装置を提供する。以下では、まず、一実施形態に係る視線位置検出システム1の全体構成について、図2を参照しながら説明する。図2は、一実施形態に係る視線位置検出システム1の全体構成の一例を示す図である。
一実施形態に係る視線位置検出システム1は、情報処理装置10と視線センサ20とを有する。情報処理装置10は、例えばLAN(Local Area Network)等のネットワークNを介して視線センサ20と接続する。
視線センサ20は、視線位置の検出対象である対象者の視線方向を示す視線ベクトルを検出する。視線センサ20は、例えば、赤外線を撮像可能な赤外線カメラと、対象者の顔部分に赤外線を照射する赤外線LED(Light Emitting Diode)と、対象者の瞳孔と赤外線の角膜反射との位置関係から当該対象者の視線ベクトルを検出する装置とを含む。
情報処理装置10は、視線センサ20が検出した視線ベクトルから仮想平面上における対象者の視線位置を計測する。また、情報処理装置10は、当該視線位置に対する補正量を算出する。仮想平面とは、例えば、商品等の対象者が注視する対象物上に設定された仮想的な平面をいう。仮想平面の具体例には、商品棚で商品が配置されている側に設定された平面やデジタルサイネージのディスプレイ上に設定された平面等が挙げられる。
なお、図2に示す視線位置検出システム1の構成は一例であって、他の構成であってもよい。例えば、情報処理装置10は、1台のコンピュータで構成されてもよいし、複数台のコンピュータで構成されてもよい。
次に、一実施形態に係る情報処理装置10のハードウェア構成について、図3を参照しながら説明する。図3は、一実施形態に係る情報処理装置10のハードウェア構成の一例を示す図である。
情報処理装置10は、入力装置11と、表示装置12と、外部I/F13と、通信I/F14とを有する。また、情報処理装置10は、ROM(Read Only Memory)15と、RAM(Random Access Memory)16と、CPU(Central Processing Unit)17と、補助記憶装置18とを有する。これら各ハードウェアは、それぞれがバス19で相互に接続されている。
入力装置11は、例えばキーボードやマウス、タッチパネル等であり、情報処理装置10に各種の操作信号を入力するのに用いられる。表示装置12は、例えばディスプレイ等であり、情報処理装置10による各種の処理結果を表示する。
外部I/F13は、外部装置とのインタフェースである。外部装置には、記録媒体13a等がある。情報処理装置10は、外部I/F13を介して、記録媒体13aの読み取りや書き込みを行うことができる。
記録媒体13aには、例えば、SDメモリカード(SD memory card)やUSB(Universal Serial Bus)メモリ、CD(Compact Disk)、DVD(Digital Versatile Disk)等がある。
通信I/F14は、情報処理装置10がネットワークNに接続するためのインタフェースである。情報処理装置10は、通信I/F14を介して視線センサ20から視線ベクトルを取得することができる。
ROM15は、電源を切ってもデータを保持することができる不揮発性の半導体メモリである。RAM16は、プログラムやデータを一時保持する揮発性の半導体メモリである。CPU17は、例えば補助記憶装置18やROM15等からプログラムやデータをRAM16上に読み出して、各種処理を実行する演算装置である。
補助記憶装置18は、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)等であり、プログラムやデータを格納している不揮発性のメモリである。補助記憶装置18には、例えば、基本ソフトウェアであるOS(Operating System)や各種アプリケーションプログラム、一実施形態を実現するプログラム等が格納される。
次に、一実施形態に係る情報処理装置10の機能構成について、図4を参照しながら説明する。図4は、一実施形態に係る情報処理装置10の機能構成の一例を示す図である。
情報処理装置10は、視線位置取得部101と算出処理部102と視線位置補正部103とを有する。これらの各部は、情報処理装置10にインストールされた1以上のプログラムが、CPU17に実行させる処理により実現される。
また、情報処理装置10は、視線位置データベース(以下、データベースを「DB」とも表記する。)110と視線移動パターンDB120と対象物配置DB130とを有する。これら各DBは記憶部に記憶され、例えば補助記憶装置18を用いて実現可能である。なお、これら各DBのうちの少なくとも1つのDBが、情報処理装置10とネットワークNを介して接続される記憶装置等を用いて実現されてもよい。
視線位置取得部101は、視線センサ20が検出した視線ベクトルから視線位置を取得し、取得した視線位置を視線位置DB110に格納する。視線位置取得部101は、視線センサ20が検出した視線ベクトルから視線位置を計測し、計測した視線位置を視線位置DB110に格納してもよい。視線位置は、仮想平面上に設定されたx軸及びy軸の座標値により表される。視線位置取得部101は、視線位置を取得する取得部の一例である。
算出処理部102は、視線位置に対する補正量を算出する。算出処理部102は、視線移動量算出部104とパターン判定部105と移動推移判定部106と補正量算出部107とを有する。
視線移動量算出部104は、視線位置取得部101が取得した視線位置の単位時間当たりの移動量及び方向を算出する。視線移動量算出部104は、取得した視線位置の単位時間当たりの移動量及び方向を算出する移動量算出部の一例である。
パターン判定部105は、対象物間の視線の移動パターンが記憶された視線移動パターンDB120を参照して、算出した視線位置の単位時間当たりの移動量及び方向に応じた視線移動パターン又は視線移動パターンの組み合わせを判定する。
移動推移判定部106は、パターン判定部105が判定した視線移動パターンの組み合わせと対象物の配置位置との比較に基づき、視線位置の移動推移を判定する。パターン判定部105及び移動推移判定部106は、算出した視線位置の単位時間当たりの移動量及び方向と対象物の配置位置との比較に基づき、視線位置の移動推移を判定する判定部の一例である。
補正量算出部107は、判定した視線位置の移動推移に基づき、視線位置の補正量を算出する。視線位置の補正量は、x軸方向における補正量とy軸方向における補正量とからなる。
以降では、対象者が注視する対象物は、商品棚に配置された商品であるものとする。商品棚は、例えば、M列N段であり、商品が規則的に配置されている。なお、対象者が注視する対象物は、商品棚に配置された商品に限られず、デジタルサイネージ上に表示された表示内容(例えば、M列N段に規則的に配置された商品の広告画像)等であってもよい。
視線位置補正部103は、補正量算出部107が算出した補正量により、視線位置DB110に格納されている視線位置を補正する。
視線位置DB110は、視線位置取得部101が取得した視線位置と、視線位置補正部103が補正した視線位置とを格納する。視線移動パターンDB120は、対象物間の視線移動パターンを格納する。対象物配置DB130は、対象者が注視する対象物の仮想平面上における座標を示す配置座標を格納する。視線移動パターンDB120及び対象物配置DB130の入力方法としては、商品が配置された様子を撮影した画像から対象物の配置及び視線移動パターンを自動判別して入力してもよいし、商品毎の配置位置及び視線移動パターンを手動で入力してもよい。
以上で説明した、図4に示す情報処理装置10の各機能が実行する各種処理は、情報処理装置10が図3に示すハードウェア構成を有することにより実現される。
次に、一実施形態に係る情報処理装置10による視線位置の算出処理について、図5を参照しながら説明する。図5は、一実施形態に係る視線位置の算出処理の一例を示すフローチャートである。
まず、視線位置取得部101は、視線センサ20が検出した視線ベクトルVから視線位置Pを取得する(ステップS401)。視線ベクトルVは、図6に示すように、対象者Sの視線方向を示すベクトルである。図6に示すように、視線位置取得部101は、視線ベクトルVと、仮想平面Lとの交点を示すx座標及びy座標を視線位置Pとして取得する。
視線ベクトルVは、角膜反射法により算出することができる。すなわち、視線ベクトルVは、視線センサ20が対象者Sに赤外線を照射すると共に赤外線カメラで撮像することで、対象者Sの瞳孔と赤外線の角膜反射との位置関係から算出することができる。ただし、視線ベクトルVは、角膜反射法に限られず、例えば、特開2016-73357号公報に開示されている方法やその他の公知の方法で算出されてもよい。
次に、視線位置取得部101は、ステップS401で取得した視線位置Pを視線位置DB110に格納する(ステップS402)。
以上で説明した視線位置の算出処理は、例えば、対象者Sが仮想平面Lの前にいる間、所定の時間毎に実行される。ここで、上記の視線位置の算出処理により視線位置Pが格納された視線位置DB110について、図7を参照しながら説明する。図7は、視線位置DB110の一例を示す図である。
視線位置DB110は、時間t1、時間t2、時間t3、時間t4等における視線位置Pのx座標及びy座標を記憶する。視線位置DB110に記憶される補正前の視線位置のx座標及びy座標は、ステップS402にて格納される視線位置Pのx座標及びy座標である。補正後の視線位置のx座標及びy座標は、視線位置補正部103が補正前の視線位置を補正した後の視線位置のx座標及びy座標である。
次に、視線移動パターンDB120について、図8を参照しながら説明する。図8は、視線移動パターンDB120の一例を示す図である。視線移動パターンDB120は、移動量閾値毎に、視線移動する方向を示す角度毎の視線移動パターンが格納されている。
移動量閾値は、商品一つ分の視線移動に対する閾値を「150」とし、商品二つ分の視線移動に対する閾値を「350」とし、商品三つ分の視線移動に対する閾値を「550」とする。
視線移動する方向を示す角度は、図9に示す黒丸部分の視線位置の座標(xt-1、yt-1)に対して、次に視線が向けられた座標(x、y)が黒丸部分に対して右方向に水平の場合、つまり、xt-1<xかつyt-1=yの場合の角度を0°と定義する。また、次に視線が向けられた座標(x、y)が黒丸部分に対して上方向に垂直の場合、つまり、xt-1=xかつyt-1<yの場合の角度を90°と定義する。また、次に視線が向けられた座標(x、y)が黒丸部分に対して左方向に水平の場合、つまり、xt-1>xかつyt-1=yの場合の角度を180°と定義する。また、次に視線が向けられた座標(x、y)が黒丸部分に対して下方向に垂直の場合、つまり、xt-1=xかつyt-1>yの場合の角度を270°と定義する。
移動量の各閾値及び各角度に対する視線移動パターンは、視線移動前の商品→視線移動後の商品によって示される。図10の対象物配置DB130は、各商品の配置位置の一例を示す。対象物配置DB130は、対象物、つまり、商品A~Hの配置を列及び段で示し、各商品の中心座標をx座標及びy座標で示す。これによれば、商品A~Hが、図12の対象物配置例に示すように配置される。
移動量閾値が「150」、角度が0°の場合、商品一つ分だけ視線が右へ水平に移動するパターンであるから、A→B、B→C、C→D、E→F、F→G、G→Hの6つの視線移動パターンが視線移動パターンDB120に設定される。
移動量閾値が「150」、角度が45°の場合、商品一つ分だけ視線が右斜め45°上へ移動するパターンであるから、E→B、F→C、G→Dの3つの視線移動パターンが視線移動パターンDB120に設定される。移動量閾値が「150」、角度が90°、135°、180°、225°、270°、315°の場合にもそれぞれ図8に示す視線移動パターンが存在する。
移動量閾値が「350」、角度が0°の場合、商品二つ分だけ視線が右へ水平に移動するパターンであるから、A→C、B→D、E→G、F→Hの4つの視線移動パターンが視線移動パターンDB120に設定される。移動量閾値が「350」、角度が27°、153°、180°、207°、333°の場合にもそれぞれ図8に示す視線移動パターンが存在する。
移動量閾値が「550」、角度が0°の場合、商品三つ分だけ視線が右へ水平に移動するパターンであるから、A→D、E→Hの2つの視線移動パターンが視線移動パターンDB120に設定される。角度が18°、162°、180°、198°、342°の場合にもそれぞれ図8に示す視線移動パターンが存在する。
人は、陳列された商品を連続的に見ているようでも、複数の商品を見比べたり、関心のない商品を飛ばして見たりする等、視線が商品間を移動するときに、単位時間あたりの視線移動量が大きくなる。
例えば、図11(a)に視線移動の一例を示す。図11(a)では、商品1~8が4列及び2段に配置されている場合に、計測した視線位置「×」に対する視線移動の経路が点線にて示されている。
図11(b)の横軸は、計測した視線位置を時系列に示し、縦軸は、単位時間(視線位置の1データ)毎の視線位置の移動量を示す。グラフ内の数値は、見ている商品の番号を示す。図11(a)に示すように、視線が「START」の位置から経路(1)→(2)→(3)を経由したとする。
このとき、図11(b)に示すように、単位時間毎の視線位置の移動量は、経路(1)→(2)→(3)の矢印にて示すようになる。これによれば、別の商品をみるときには単位時間における視線移動量が大きくなっている。また、図11(a)に示すように、商品毎の視線の重心は、商品の重心に近い位置になっている。
そこで、次に説明する補正量算出処理では、単位時間における視線移動量及び移動方向と商品の配置とを比較することで、視線移動パターンを判定し、判定した視線移動パターンの組合せから、視線位置の補正量を算出する。以下の説明では、単位時間における視線移動量及び視線移動角度を、視線移動距離z及び視線移動角度dで示す。
<第1実施形態>
[視線位置の補正量算出処理]
第1実施形態に係る視線位置の補正量算出処理の一例について図13を参照して説明する。図13は、第1実施形態に係る補正量算出処理の一例を示すフローチャートである。
本処理が開始されると、まず、視線位置取得部101は、視線位置の座標(x、y)を取得する(ステップS1)。次に、視線移動量算出部104は、視線移動距離zを算出する(ステップS2)。視線移動距離zは、図14(a)に示すように、一つ前に取得された視線位置(xt-1、yt-1)と最新の視線位置(x、y)との距離であり、次式(1)により算出される。
Figure 0007200749000001
図13に戻り、次に、視線移動量算出部104は、視線移動距離zが移動量閾値以上であるかを判定する(ステップS3)。例えば、視線移動量算出部104は、視線移動距離zが商品一つ分の視線移動を判定する移動量閾値「150」(図8参照)以上であるかを判定する。
視線移動量算出部104は、視線移動距離zが移動量閾値「150」未満であると判定した場合、ステップS2に戻り、再度、視線移動距離zを算出する。ステップS3において、視線移動量算出部104は、視線移動距離zが移動量閾値「150」以上であると判定した場合、視線移動角度dを算出する(ステップS4)。視線移動角度dは、図14(a)に示すように、視線移動角度dは、一つ前に取得された視線位置(xt-1、yt-1)を0としてx軸とy軸とで構成される座標平面において、最新の視線位置(x、y)の角度をいう。最新の視線位置(x、y)が第1象限にある場合、視線移動角度dは、0°~90°をとる。最新の視線位置(x、y)が第2象限にある場合、視線移動角度dは、90°~180°をとる。最新の視線位置(x、y)が第3象限にある場合、視線移動角度dは、180°~270°をとる。最新の視線位置(x、y)が第4象限にある場合、視線移動角度dは、270°~360°をとる。
図13に戻り、次に、パターン判定部105は、視線移動パターン判定処理を実行する(ステップS5)。視線移動パターン判定処理について、図15を参照して説明する。視線移動パターン判定処理では、パターン判定部105は、視線移動パターンDB120を参照して、視線移動距離zからマッチング対象の移動量閾値を決定する(ステップS11)。パターン判定部105は、視線移動パターンDB120に定義された移動量閾値「150」、「350」、「550」のうち、視線移動距離zと同値又は視線移動距離zよりも値が小さい移動量閾値であって、最大の移動量閾値を決定する。
次に、パターン判定部105は、視線移動パターンDB120を参照して、マッチング対象の移動量閾値に対応する角度から視線移動角度dに最も値が近い角度を選択する(ステップS12)。
次に、パターン判定部105は、視線移動パターンDB120を参照して、決定した移動量閾値及び選択した角度に該当するパターンを視線移動パターンと判定し(ステップS13)、図13に戻る。
例えば、視線移動距離zが「160」、視線移動角度dが「47°」の場合、図8の例では、移動量閾値は「150」、角度は「45°」となり、視線移動パターンは「E→B」、「F→C」、「G→D」の3パターンであると判定される。
例えば、視線移動距離zが「380」、視線移動角度dが「205°」の場合、図8の例では、移動量閾値は「350」、角度は「207°」となり、視線移動パターンは「C→E」、「D→F」の2パターンであると判定される。
例えば、図14(b)の視線移動1~6に示すように視線が移動した場合、視線移動1に対して、パターン判定部105は、算出された視線移動距離z及び視線移動角度dから、移動量閾値を、商品一つ分の視線移動に対する「150」に決定し、「270°」の角度を選択する。この結果、図14(c)の視線移動1に示すように、パターン判定部105は、該当するパターンを「下に1(商品一つ分)移動」と判定し、図14(b)の商品配置のうち、取り得るパターンが「A→E」、「B→F」、「C→G」、「D→H」を視線移動パターンと判定する。
図13に戻り、パターン判定部105は、既に判定済みの視線移動パターンがあるか否かを判定する(ステップS6)。既に判定済みの視線移動パターンがあると判定した場合、移動推移判定部106は、組合せ後の視線移動パターンを判定し(ステップS7)、ステップS8に進む。パターン判定部105は、既に判定済みの視線移動パターンがないと判定した場合、そのままステップS8に進む。
次に、移動推移判定部106は、判定した視線移動パターンが一つかを判定する(ステップS8)。移動推移判定部106は、判定した視線移動パターンが一つであると判定した場合、ステップS10に進む。移動推移判定部106は、判定した視線移動パターンが一つでないと判定した場合、判定した視線移動パターンを例えばRAM16に登録し(ステップS9)、ステップS2に戻る。
ステップS2以降の処理を繰り返し、ステップS8において該当視線移動パターンが一つと判定されると、視線位置補正部103は、視線位置の補正量を算出し(ステップS10)、本処理を終了する。
かかる処理では、図14(b)の視線移動1では、ステップS5において、移動量閾値「150」及び角度「45°」の「A→E」、「B→F」、「C→G」、「D→H」の視線移動パターンが判定される。既に判定済みの視線移動パターンはないため、ステップS6にて「No」と判定され、そのままステップS8に進む。この時点では、図14(c)に示す視線移動順1では、該当パターンは「下に1移動」となり、視線移動パターンには「A→E」、「B→F」、「C→G」、「D→H」の4パターンが登録される。
次に、図14(b)の視線移動2では、ステップS5において、移動量閾値「150」及び角度「45°」に対応する「E→B」、「F→C」、「G→D」の視線移動パターンが判定される。また、ステップS6において、既に判定済みの視線移動パターンが存在するので、「Yes」と判定される。この結果、判定済みのルート「A→E」、「B→F」、「C→G」、「D→H」の最後の記号と、次のルートの候補「E→B」、「F→C」、「G→D」の最初の記号とが一致している「A→E→B」、「B→F→C」、「C→G→D」が組合せ後の視線移動パターンと判定される。これにより、図14(c)に示す視線移動順2では、該当パターンは「右に1、上に1移動」となり、視線移動パターンには「A→E→B」、「B→F→C」、「C→G→D」の3パターンが登録される。
次に、図14(b)の視線移動3では、ステップS5において、移動量閾値「350」及び角度「0°」に対応する「A→C」、「B→D」、「E→G」、「F→H」の視線移動パターンが判定される。また、ステップS6において、既に判定済みの視線移動パターンが存在するので、「Yes」と判定される。この結果、判定済みのルート「A→E→B」、「B→F→C」、「C→G→D」の最後の記号と、次のルートの候補「A→C」、「B→D」、「E→G」、「F→H」の最初の記号とが一致している「A→E→B→D」が組合せ後の視線移動パターンと判定される。このとき、判定した視線移動パターンが一つであるため、ステップS8にて「Yes」と判定され、ステップS10に進む。図16は、第1実施形態に係る補正量算出処理の効果の一例を示す。図16(a)に示す視線位置の例では、第1実施形態に係る補正量算出処理の結果、図16(b)に示すように視線移動パターンと商品との関係が「A→E→B→D」であると判定される。
商品毎の視線の重心は、商品の中心に近い位置になっている。よって、図16(c)に示す、視線移動する前に計測された視線位置の重心Gaと、商品毎の中心との距離から補正量を算出することができる。上記の例では、組合せ後の視線移動パターンとして「A→E→B→D」が判定されているため、商品Aの中心と視線位置の重心Gaとの距離から補正量を正確に算出することができる。
視線位置補正部103は、このようにして算出した補正量に基づき補正前のx座標及びy座標から補正後のx座標及びy座標を計算し、図7に示す視線位置DB110に、補正前のx座標及びy座標に対応させて補正後の視線位置のx座標及びy座標を登録する。
この結果、補正前の視線位置をプロットした図16(a)に対して、補正後の視線位置をプロットした図16(d)に示すように、対象者が見ていた商品と視線位置とを一致させるように視線位置の補正を精度良く行うことができる。
なお、図14(b)の視線移動の例では、視線移動1→2→3の時点で、該当パターンが1つになり、視線位置の推移により対象者が見ていた商品が「A→E→B→D」であると確定できる。これにより、視線移動4→5→6について、図13に示す各処理を実行せずに視線位置の重心Gaと商品毎の中心との距離から補正量を算出することができ、早期に補正処理を行うことができる。また、視線移動4→5→6について図13に示す各処理を実行しないことにより、算出した補正量に基づき推定される視線位置の推定結果に応じてリアルタイム性の高い別の分析処理を行うことができる。また、前記別の分析処理を事後解析する場合には、計算量を削減できる。
ただし、視線移動1→2→3についての図13の各処理に続けて、視線移動4→5→6についても処理を実行し、補正量の算出に利用することもできる。この場合、視線位置の重心と商品毎の中心との距離から算出する補正量の精度を高め、視線位置の推定精度をより向上させることができる。
以上に説明したように、第1実施形態に係る補正量算出処理によれば、視線位置の補正精度を向上させ、見ていた商品を正しく推定することができる。
<第2実施形態>
[補正量算出処理]
次に、第2実施形態に係る補正量算出処理の一例について図17を参照して説明する。図17は、第2実施形態に係る補正量算出処理の一例を示すフローチャートである。第2実施形態に係る補正量算出処理では、ステップS3において視線移動距離zが移動量閾値として例えば「150」未満かつ同一の方向の角度であると判定した場合、視線移動量を累積する点が、第1実施形態に係る補正量算出処理と異なる。これにより、視線がゆっくり移動し、別の商品に移る場合にも視線位置の補正量を正しく算出することができる。
なお、移動量閾値「150」は、図8の視線移動パターンデータベース120に定義した移動量閾値の最低値を用いているが、これに限られず、例えば商品間の距離に基づき定めてもよい。また、「同一の方向の角度」であるかの判定は、同一の角度だけでなく、運用上許容できる角度の範囲は同一の方向の角度とすることができる。例えば、運用上許容できる角度であれば、2°~3°又はそれ以上の違いは同じ方向の角度としてもよい。
なお、第2実施形態に係る補正量算出処理において、第1実施形態に係る補正量算出処理と同じステップ番号は同じ処理を示し、説明を省略又は簡略化する。
本処理が開始されると、視線移動量算出部104は、計測した視線位置の座標(x、y)に基づき視線移動距離zを算出する(ステップS1、S2)。次に、視線移動量算出部104は、視線移動距離zが例えば移動量閾値「150」以上であるかを判定し(ステップS3)、視線移動距離zが移動量閾値以上であると判定した場合、ステップS4に進む。
ステップS3において、視線移動量算出部104は、視線移動距離zが移動量閾値未満かつ同一の方向の角度であると判定した場合、視線移動距離zを累積する(ステップS21)。次に、視線移動量算出部104は、累積後の視線移動距離zが移動量閾値以上であるかを判定する(ステップS22)。
視線移動量算出部104は、累積後の視線移動距離zが移動量閾値以上であると判定した場合、ステップS4に進み、ステップS4以降の処理を実行する。ステップS4~S10の処理についての説明は省略する。
ステップS22において、視線移動量算出部104は、累積後の視線移動距離zが移動量閾値未満であると判定した場合、ステップS2に戻り、ステップS3にて視線移動距離zが移動量閾値以上であると判定されるまで、ステップS2、S3、S21、S22の処理を繰り返し、視線移動距離zを累積する。
以上に説明したように、第2実施形態に係る補正量算出処理によれば、例えば図18の視線移動3に示すように、別の商品を見るときの単位時間における視線移動量が小さく、同一の方向の角度である場合、視線移動距離zを累積する。例えば、図19の点線内に示すように、時間T4~T7の間に4つの視線位置が計測されている。このとき、第1実施形態では時間T4~T7における移動量閾値以下の移動量の視線移動では視線の移動がないと判定される。このために、視線が徐々に移動した場合には正確な処理ができなくなる可能性がある。これに対して、本実施形態では、時間T4~T7の間に計測された視線位置に対する視線移動距離zが移動量閾値「150」未満であり、かつ同一の方向の角度である間、視線移動距離zは累積される。そして、累積後の視線移動距離zが移動量閾値以上になったとき、1商品分以上の視線移動距離になったと判定され、ステップS4以降の処理を行うことで視線位置の補正精度を向上させることができる。これにより、別の商品を見るときの単位時間における視線移動量が小さい場合においても、見ていた商品を正しく推定することができる。
<第3実施形態>
[補正量算出処理]
次に、第3実施形態に係る補正量算出処理の一例について図20を参照して説明する。図20は、第3実施形態に係る補正量算出処理の一例を示すフローチャートである。
第3実施形態に係る補正量算出処理では、ステップS31において計測開始時から規定した所定時間が経過したかを判定し、判定結果に基づき視線移動距離zを算出する点が、第1実施形態に係る補正量算出処理と異なる。
計測開始直後、対象者は商品をまだ見ていないケースが考えられる。第3実施形態に係る補正量算出処理では、計測開始時から規定した所定時間が経過する前に計測した視線位置を分析に使用せず、計測開始時から所定時間が経過した後に計測した視線位置を分析に使用することで、視線位置の補正量を正しく算出することができる。
なお、第3実施形態に係る補正量算出処理において、第1実施形態に係る補正量算出処理と同じステップ番号は同じ処理を示し、説明を省略又は簡略化する。
本処理が開始されると、視線位置取得部101は、視線位置の座標(x、y)を計測する(ステップS1)。次に、視線移動量算出部104は、計測開始時から規定した所定時間が経過したかを判定する(ステップS31)。
視線移動量算出部104は、計測開始時から規定した所定時間が経過するまで、ステップS31を繰り返す。視線移動量算出部104は、計測開始時から規定した所定時間が経過した場合、ステップS2に進み、視線移動距離zを算出する。
以上に説明したように、第3実施形態に係る補正量算出処理によれば、視線位置の計測開始時から規定した所定時間が経過後の視線位置を視線移動パターンの分析に用い、計測開始時から所定時間が経過するまでに計測した視線位置を視線移動パターンの分析に用いない。この結果、計測開始直後、図21の視線移動1に示すように、対象者が商品をまだ見ていない場合の視線位置を分析に用いないことで、視線位置の補正精度を向上させることができる。
<第4実施形態>
[補正量算出処理]
次に、第4実施形態に係る補正量算出処理の一例について図22を参照して説明する。図22は、第4実施形態に係る補正量算出処理の一例を示すフローチャートである。
第4実施形態に係る補正量算出処理では、ステップS40において組合せ後の視線移動パターンに整合性がない場合、ステップS41において最後に追加された視線移動パターンを除外する点が、第1実施形態に係る補正量算出処理と異なる。
「組合せ後の視線移動パターンに整合性がない」とは、組合せ後の視線移動パターンが対象物(商品)の間の実際の視線移動パターンの組合せにないことをいう。例えば、図12に示すように商品が配置されているときに、商品Dを始点として移動する視線移動パターンに右と上はない。よって、組合せ後の視線移動パターンが、商品Dの後に右又は上に移動するパターンを含む場合、組合せ後の視線移動パターンに整合性がないと判定される。
なお、第4実施形態に係る補正量算出処理において、第1実施形態に係る補正量算出処理と同じステップ番号は同じ処理を示し、説明を省略又は簡略化する。
本処理が開始されると、ステップS1~ステップS7の処理が実行される。次に、パターン判定部105は、組合せ後の視線移動パターンと商品の配置位置とを比較して、組合せ後の視線移動パターンに整合性があるかを判定する(ステップS40)。
パターン判定部105は、組合せ後の視線移動パターンに整合性があると判定した場合、ステップS8に進む。一方、ステップS40において、パターン判定部105は、組合せ後の視線移動パターンに整合性がないと判定した場合、最後に追加された視線移動パターンを除外し(ステップS41)、ステップS2に戻り、ステップS2以降の処理を繰り返す。
たとえば、図23の視線移動5に示すように、対象者の視線が商品Fの下の商品外の視線位置(x、y)を見た場合、商品Fの下に配置された商品はないため、組合せ後の視線移動パターンが、商品の配置位置と比較して整合性がないと判定される。この結果、組合せ後の視線移動パターンに最後に追加された視線移動パターン、つまり、図23の視線移動5に対応する商品外の視線位置(x、y)が除外される。
同様に、視線移動6に示すように、対象者の視線が商品Fの下の商品外の視線位置(x、y)から視線位置(x、y)に移動した場合、商品Fの下に配置された商品はないため、組合せ後の視線移動パターンが、商品の配置位置と比較して整合性がないと判定される。この結果、組合せ後の視線移動パターンに最後に追加された視線移動パターン、つまり、視線移動6に対応する商品外の視線位置(x、y)が除外される。
この結果、組合せ後の視線移動パターンは、視線位置(x、y)及び視線位置(x、y)を除いた後の視線位置(x、y)から視線位置(x、y)となる(図23の点線参照)。これにより、商品外を見た視線位置(x、y)及び視線位置(x、y)を視線移動パターンの分析に用いないことで、視線位置の補正精度を向上させることができる。
以上に説明したように、第4実施形態に係る補正量算出処理によれば、対象者が途中で商品外を見た場合、組合せ後の視線移動パターンが、商品の配置位置と比較して整合性がないと判定され、対象者が途中で見た商品外の視線位置を除外できる。これにより、視線位置の補正精度を向上させ、視線位置の推定精度を向上させることができる。
以上、情報処理プログラム、情報処理方法及び情報処理装置を上記実施形態により説明したが、本開示に係る情報処理プログラム、情報処理方法及び情報処理装置は上記実施形態に限定されるものではなく、本開示の範囲内で種々の変形及び改良が可能である。また、上記実施形態及び変形例が複数存在する場合、矛盾しない範囲で組み合わせることができる。
以上の説明に関し、更に以下の項を開示する。
(付記1)
視線位置を取得する処理と、
取得した前記視線位置の単位時間当たりの移動量及び方向を算出する処理と、
算出した前記移動量及び方向と対象物の配置位置との比較に基づき、前記視線位置の移動推移を判定する処理と、
をコンピュータに実行させる情報処理プログラム。
(付記2)
判定した前記視線位置の移動推移に基づき、前記視線位置の補正量を算出する処理、
を含む、付記1に記載の情報処理プログラム。
(付記3)
前記視線位置の単位時間当たりの移動量が所定の閾値未満かつ同じ方向の角度である場合、前記視線位置の単位時間当たりの移動量を累積し、
累積した前記移動量と前記配置位置との比較に基づき、前記移動推移を判定する、
付記1又は2に記載の情報処理プログラム。
(付記4)
計測した前記視線位置のうち、計測開始時からの経過時間に応じて選定した視線位置から前記視線位置の単位時間当たりの移動量及び方向を算出する、
付記1~3のいずれか一項に記載の情報処理プログラム。
(付記5)
複数の前記対象物の間の視線移動パターンが前記移動量と前記角度に応じて記憶された記憶部を参照して、算出した前記視線位置の単位時間当たりの移動量及び方向に応じた前記視線移動パターンの組み合わせから前記視線位置の移動推移を判定する、
付記3に記載の情報処理プログラム。
(付記6)
前記視線移動パターンの組み合わせが前記対象物の間の実際の視線移動パターンの組合せになく、整合性がない場合、前記視線移動パターンの組み合わせから、最後に追加された前記視線移動パターンを除外する、
付記5に記載の情報処理プログラム。
(付記7)
視線位置を取得する処理と、
取得した前記視線位置の単位時間当たりの移動量及び方向を算出する処理と、
算出した前記移動量及び方向と対象物の配置位置との比較に基づき、前記視線位置の移動推移を判定する処理と、
をコンピュータが実行する情報処理方法。
(付記8)
判定した前記視線位置の移動推移に基づき、前記視線位置の補正量を算出する処理、
を含む、付記7に記載の情報処理方法。
(付記9)
前記視線位置の単位時間当たりの移動量が所定の閾値未満かつ同じ方向の角度である場合、前記視線位置の単位時間当たりの移動量を累積し、
累積した前記移動量と前記配置位置との比較に基づき、前記移動推移を判定する、
付記7又は8に記載の情報処理方法。
(付記10)
計測した前記視線位置のうち、計測開始時からの経過時間に応じて選定した視線位置から前記視線位置の単位時間当たりの移動量及び方向を算出する、
付記7~9のいずれか一項に記載の情報処理方法。
(付記11)
複数の前記対象物の間の視線移動パターンが前記移動量と前記角度に応じて記憶された記憶部を参照して、算出した前記視線位置の単位時間当たりの移動量及び方向に応じた前記視線移動パターンの組み合わせから前記視線位置の移動推移を判定する、
付記9に記載の情報処理方法。
(付記12)
前記視線移動パターンの組み合わせが前記対象物の間の実際の視線移動パターンの組合せになく、整合性がない場合、前記視線移動パターンの組み合わせから、最後に追加された前記視線移動パターンを除外する、
付記11に記載の情報処理方法。
(付記13)
視線位置を取得する取得部と、
取得した前記視線位置の単位時間当たりの移動量及び方向を算出する移動量算出部と、
算出した前記移動量及び方向と対象物の配置位置との比較に基づき、前記視線位置の移動推移を判定する判定部と、
を有する情報処理装置。
(付記14)
判定した前記視線位置の移動推移に基づき、前記視線位置の補正量を算出する補正量算出部、
を含む、付記13に記載の情報処理装置。
(付記15)
前記移動量算出部は、前記視線位置の単位時間当たりの移動量が所定の閾値未満かつ同じ方向の角度である場合、前記視線位置の単位時間当たりの移動量を累積し、
前記判定部は、累積した前記移動量と前記配置位置との比較に基づき、前記移動推移を判定する、
付記13又は14に記載の情報処理装置。
(付記16)
前記移動量算出部は、計測した前記視線位置のうち、計測開始時からの経過時間に応じて選定した視線位置から前記視線位置の単位時間当たりの移動量及び方向を算出する、
付記13~15のいずれか一項に記載の情報処理装置。
(付記17)
前記判定部は、複数の前記対象物の間の視線移動パターンが前記移動量と前記角度に応じて記憶された記憶部を参照して、算出した前記視線位置の単位時間当たりの移動量及び方向に応じた前記視線移動パターンの組み合わせから前記視線位置の移動推移を判定する、
付記15に記載の情報処理装置。
(付記18)
前記判定部は、前記視線移動パターンの組み合わせが前記対象物の間の実際の視線移動パターンの組合せになく、整合性がない場合、前記視線移動パターンの組み合わせから、最後に追加された前記視線移動パターンを除外する、
付記17に記載の情報処理装置。
1 視線位置検出システム
10 情報処理装置
20 視線センサ
101 視線位置取得部
102 算出処理部
103 視線位置補正部
104 視線移動量算出部
105 パターン判定部
106 移動推移判定部
107 補正量算出部
110 視線位置DB
120 視線移動パターンDB
130 対象物配置DB

Claims (6)

  1. (a)仮想平面上における対象物の視線位置を取得する処理と、
    (b)取得した前記視線位置と一つ前に取得された前記視線位置との距離を示す視線移動距離を算出する処理と、
    (c)前記視線移動距離が移動量閾値以上であると判定した場合、一つ前に取得された前記視線位置を0として前記仮想平面上において、最新の視線位置の角度を示す視線移動角度を算出する処理と、
    (d)予め設定された視線移動パターンデータベースを参照して、前記視線移動距離から前記移動量閾値を決定する処理と、
    (e)前記視線移動パターンデータベースを参照して、決定した前記移動量閾値に対応する角度から前記視線移動角度に最も近い角度を選択する処理と、
    (f)前記視線移動パターンデータベースを参照して、決定した前記移動量閾値及び選択した前記角度に該当するパターンを視線移動パターンと判定する処理と、
    (g)前記(f)において、前記視線移動パターンが一つと判定されるまで前記(a)~前記(f)の処理を繰り返し行い、前記視線移動パターンが一つと判定された場合、前記視線移動パターンに基づき前記視線位置の補正量を算出する処理と、
    (h)算出した前記視線位置の補正量に基づき、取得した前記視線位置から補正後の視線位置を算出し、前記補正後の視線位置に基づき、見ていた対象物を推定する処理と、
    をコンピュータに実行させる情報処理プログラム。
  2. (i)前記視線位置の単位時間当たりの移動量が所定の閾値未満かつ同じ方向の角度である場合、前記視線位置の単位時間当たりの移動量を累積し、
    前記(c)は、累積した前記移動量である視線移動距離が移動量閾値以上であると判定した場合、一つ前に取得された前記視線位置を0として前記仮想平面上において、最新の視線位置の角度を示す視線移動角度を算出する
    請求項に記載の情報処理プログラム。
  3. 前記(b)は、取得した前記視線位置のうち、計測開始時から規定した所定時間が経過した場合、前記視線移動距離を算出する、
    請求項1又は2に記載の情報処理プログラム。
  4. (j)前記視線移動パターンの組み合わせが前記対象物の間の実際の視線移動パターンの組合せになく、整合性がない場合、前記視線移動パターンの組み合わせから、最後に追加された前記視線移動パターンを除外する、
    請求項1又は2に記載の情報処理プログラム。
  5. (a)仮想平面上における対象物の視線位置を取得する処理と、
    (b)取得した前記視線位置と一つ前に取得された前記視線位置との距離を示す視線移動距離を算出する処理と、
    (c)前記視線移動距離が移動量閾値以上であると判定した場合、一つ前に取得された前記視線位置を0として前記仮想平面上において、最新の視線位置の角度を示す視線移動角度を算出する処理と、
    (d)予め設定された視線移動パターンデータベースを参照して、前記視線移動距離から前記移動量閾値を決定する処理と、
    (e)前記視線移動パターンデータベースを参照して、決定した前記移動量閾値に対応する角度から前記視線移動角度に最も近い角度を選択する処理と、
    (f)前記視線移動パターンデータベースを参照して、決定した前記移動量閾値及び選択した前記角度に該当するパターンを視線移動パターンと判定する処理と、
    (g)前記(f)において、前記視線移動パターンが一つと判定されるまで前記(a)~前記(f)の処理を繰り返し行い、前記視線移動パターンが一つと判定された場合、前記視線移動パターンに基づき前記視線位置の補正量を算出する処理と、
    (h)算出した前記視線位置の補正量に基づき、取得した前記視線位置から補正後の視線位置を算出し、前記補正後の視線位置に基づき、見ていた対象物を推定する処理と、
    をコンピュータが実行する情報処理方法。
  6. 仮想平面上における対象物の視線位置を取得する処理を実行する視線位置取得部と、
    取得した前記視線位置と一つ前に取得された前記視線位置との距離を示す視線移動距離を算出し、前記視線移動距離が移動量閾値以上であると判定した場合、一つ前に取得された前記視線位置を0として前記仮想平面上において、最新の視線位置の角度を示す視線移動角度を算出する処理を実行する視線移動量算出部と、
    予め設定された視線移動パターンデータベースを参照して、前記視線移動距離から前記移動量閾値を決定し、前記視線移動パターンデータベースを参照して、決定した前記移動量閾値に対応する角度から前記視線移動角度に最も近い角度を選択し、前記視線移動パターンデータベースを参照して、決定した前記移動量閾値及び選択した前記角度に該当するパターンを視線移動パターンと判定する処理を実行するパターン判定部と、
    前記視線移動パターンが一つかを判定する処理を実行する移動推移判定部と、
    前記移動推移判定部により、前記視線移動パターンが一つと判定されるまで前記視線位置取得部、前記視線移動量算出部、及び前記パターン判定部がそれぞれ処理を繰り返し行い、前記視線移動パターンが一つと判定された場合、前記視線移動パターンに基づき前記視線位置の補正量を算出する処理を実行する視線位置補正部と、を有し、
    前記視線位置補正部は、
    算出した前記視線位置の補正量に基づき、取得した前記視線位置から補正後の視線位置を算出する処理を実行し、前記補正後の視線位置に基づき、見ていた対象物を推定可能とする、情報処理装置。
JP2019034645A 2019-02-27 2019-02-27 情報処理プログラム、情報処理方法及び情報処理装置 Active JP7200749B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019034645A JP7200749B2 (ja) 2019-02-27 2019-02-27 情報処理プログラム、情報処理方法及び情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019034645A JP7200749B2 (ja) 2019-02-27 2019-02-27 情報処理プログラム、情報処理方法及び情報処理装置

Publications (2)

Publication Number Publication Date
JP2020140377A JP2020140377A (ja) 2020-09-03
JP7200749B2 true JP7200749B2 (ja) 2023-01-10

Family

ID=72280442

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019034645A Active JP7200749B2 (ja) 2019-02-27 2019-02-27 情報処理プログラム、情報処理方法及び情報処理装置

Country Status (1)

Country Link
JP (1) JP7200749B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016018377A (ja) 2014-07-08 2016-02-01 株式会社デンソー 視線入力装置
JP2017111550A (ja) 2015-12-15 2017-06-22 富士通株式会社 読書範囲検出装置、読書範囲検出方法及び読書範囲検出用コンピュータプログラム
JP2017176414A (ja) 2016-03-30 2017-10-05 ソニー株式会社 制御装置および方法並びに手術システム
JP2017219955A (ja) 2016-06-06 2017-12-14 富士通株式会社 注視位置検出装置、注視位置検出方法及び注視位置検出用コンピュータプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016018377A (ja) 2014-07-08 2016-02-01 株式会社デンソー 視線入力装置
JP2017111550A (ja) 2015-12-15 2017-06-22 富士通株式会社 読書範囲検出装置、読書範囲検出方法及び読書範囲検出用コンピュータプログラム
JP2017176414A (ja) 2016-03-30 2017-10-05 ソニー株式会社 制御装置および方法並びに手術システム
JP2017219955A (ja) 2016-06-06 2017-12-14 富士通株式会社 注視位置検出装置、注視位置検出方法及び注視位置検出用コンピュータプログラム

Also Published As

Publication number Publication date
JP2020140377A (ja) 2020-09-03

Similar Documents

Publication Publication Date Title
US9913578B2 (en) Eye gaze detecting device and eye gaze detection method
US9152243B2 (en) Object tracking using background and foreground models
US9782069B2 (en) Correcting systematic calibration errors in eye tracking data
JP6621836B2 (ja) 光パターンの強度変動を利用した体積内の物体の深さマッピング
US9459694B2 (en) Cursor movement device
US9208395B2 (en) Position and orientation measurement apparatus, position and orientation measurement method, and storage medium
US8914254B2 (en) Latency measurement
CN110348412B (zh) 一种关键点定位方法、装置、电子设备及存储介质
US20200082193A1 (en) Image processing apparatus, display control apparatus, image processing method and recording medium
US20140313308A1 (en) Apparatus and method for tracking gaze based on camera array
JP6604271B2 (ja) 注視位置検出装置、注視位置検出方法及び注視位置検出用コンピュータプログラム
JP5802247B2 (ja) 情報処理装置
Plantard et al. Filtered pose graph for efficient kinect pose reconstruction
JP2019094191A (ja) 棚割生成プログラム、棚割生成方法及び棚割生成装置
US9582721B2 (en) Method and apparatus for determining movement
JP7200749B2 (ja) 情報処理プログラム、情報処理方法及び情報処理装置
JP7279892B2 (ja) 顔向き検出装置、顔向き検出方法、及びプログラム
JP6244960B2 (ja) 物体認識装置、物体認識方法及び物体認識プログラム
US20240053188A1 (en) Article identification system, article identification method, non-transitory computer-readable storage medium, and article acquisition determination system
US10922818B1 (en) Method and computer system for object tracking
Munn et al. FixTag: An algorithm for identifying and tagging fixations to simplify the analysis of data collected by portable eye trackers
CN116433722A (zh) 目标跟踪方法、电子设备、存储介质及程序产品
TWI570596B (zh) 光學輸入方法以及使用該方法之光學虛擬滑鼠
Uramune et al. Fixation-based Self-calibration for Eye Tracking in VR Headsets
KR20240077350A (ko) 센서 융합 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221205

R150 Certificate of patent or registration of utility model

Ref document number: 7200749

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150