JP6409507B2 - ユーザアクティビティラベルと凝視とを関連付ける方法、コンピュータシステム、及びプログラム - Google Patents
ユーザアクティビティラベルと凝視とを関連付ける方法、コンピュータシステム、及びプログラム Download PDFInfo
- Publication number
- JP6409507B2 JP6409507B2 JP2014221693A JP2014221693A JP6409507B2 JP 6409507 B2 JP6409507 B2 JP 6409507B2 JP 2014221693 A JP2014221693 A JP 2014221693A JP 2014221693 A JP2014221693 A JP 2014221693A JP 6409507 B2 JP6409507 B2 JP 6409507B2
- Authority
- JP
- Japan
- Prior art keywords
- gaze
- user
- gazes
- user activity
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Ophthalmology & Optometry (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Description
開示の技術は、テキストを読む、画像を見る、キーボードから文字を入力する、もしくは、ユーザインターフェイスコンポーネントとインタラクションする、などのユーザが関わるアクティビティによって凝視を分類及びグループ化するシステム及び方法について記載する。
●オペレーティングシステム420。オペレーティングシステム420は、様々な基本システムサービスを扱うためのプロシージャ及びハードウェア依存タスクを実行するためのプロシージャを含む。
●凝視214から直後の凝視への距離
●凝視214から直前の凝視への距離
●直後の凝視の継続時間
●直前の凝視の継続時間
●先行する5個の凝視の連続する凝視間の平均距離
●先行する5個の凝視の連続する凝視間の距離の分散
●後続する5個の凝視の連続する凝視間の平均距離
●後続する5個の凝視の連続する凝視間の距離の分散
●先行する5個の凝視の連続する凝視間の最短距離
●先行する5個の凝視の連続する凝視間の最長距離
●後続する5個の凝視の連続する凝視間の最短距離
●後続する5個の凝視の連続する凝視間の最長距離
●凝視の間のマウスカーソルの速度
●凝視の間の凝視へのマウスカーソルの平均距離
●凝視の間の凝視へのマウスカーソルからの距離の分散
●凝視の間のマウスカーソルと凝視との間の最短距離
●凝視の間のマウスカーソルと凝視との最長距離
●凝視の注視点の各々へのマウスカーソルからの平均距離(カーソルの位置は注視点の各々の計測と同一時点で識別される。)
●凝視の前の時間的に最も近いマウスイベントの際のマウスカーソルの位置と凝視の位置との間の距離
●凝視の後の時間的に最も近いマウスイベントの際のマウスカーソル位置と凝視の位置との間の距離
●凝視の間にマウスボタンが押されたか否か
●凝視の間にマウスボタンが押し下げられたか否か(すなわち、凝視の前にボタンが押され、凝視の少なくとも部分の間押し下げられていたか否か)
●凝視の間、マウスボタンが離されたか否か
●最近のマウスイベントと凝視の開始との間の時間長
●凝視の最後と凝視の後最も時間的に近いマウスイベントとの間の時間長
●最近のマウスイベントの際のマウスカーソルと凝視の位置との間の距離
●凝視の位置と凝視の後の次のマウスイベントの位置との間の距離
●凝視(中心)の位置と凝視の間マウスボタンが押されたときのマウスカーソルとの間の距離
●凝視の間のタイピング速度
●凝視の間にタイプされた文字数
●すぐ先行する5個の凝視の間の平均タイピング速度
●すぐ後続する5個の凝視の間の平均タイピング速度
428 凝視検出モジュール
430 凝視分類モジュール
432 凝視クラスタ化モジュール
434 併合・適合モジュール
436 アクティビティシーケンスモジュール
Claims (18)
- 1つもしくは複数のプロセッサ及びメモリを有するコンピュータが、
1つもしくは複数のユーザインターフェイスデバイスを用いてコンピュータとインタラクションしているユーザのアイトラッキングデータを受信し、
前記アイトラッキングデータは時間順に並んだ凝視シーケンスを含み、
凝視の各々は複数の連続する計測された注視点に対応し、
凝視の各々は対応する計測された注視点の各々に基づく継続時間及び位置を有し、
前記1つもしくは複数のユーザインターフェイスデバイスからユーザインタラクションデータを受信し、
前記シーケンスの凝視の各々について、
前記凝視の1つもしくは複数の特性及び1つもしくは複数の受信した前記ユーザインタラクションデータに基づくユーザインタラクション特徴を含む、前記凝視の複数の特徴を判定し、
ユーザアクティビティラベルと凝視とを前記複数の特徴に従って関連付け、
前記ユーザアクティビティラベルはユーザアクティビティラベルの所定のセットから選択され、
さらに、前記コンピュータは、複数の別個の隣接する領域を有するページを表示し、
前記凝視を複数のクラスタに分割し、
クラスタの各々は時間順に並んだ前記凝視の連続するサブシーケンスを含み、
前記凝視を複数のグループに分割するために、同一のユーザアクティビティラベルを割り当てられた連続する凝視をグループ化し、
クラスタの各々に適合するグループの各々について、グループの各々の凝視の各々に割り当てられた最終ユーザアクティビティラベルとして割り当てられたユーザアクティビティラベルを維持し、
前記領域を用いて、不適合グループの凝視を含む非重畳改変グループのセットを形成するために、不適合グループと不適合クラスタとを調整し、
改変グループの凝視の各々はユーザアクティビティラベルの所定のセットから選択された同一の最終ユーザアクティビティラベルを割り当てられる、
ユーザアクティビティラベルと凝視とを関連付ける方法。 - 前記凝視の1つもしくは複数の特性は、
前記凝視の継続時間、
前記凝視に対応する前記連続する計測された注視点の間の距離の変動、
前記凝視の間に計測される前記ユーザの瞳孔サイズの変動、
の少なくとも1つを含む、
請求項1に記載の方法。 - 前記複数の特徴は、
前記凝視の位置と前記凝視の直前の凝視の位置との間の距離、
前記凝視の位置と前記凝視の直後の凝視の位置との間の距離、
前記凝視の直前の凝視の継続時間、
前記凝視の直後の凝視の継続時間、
の1つもしくは複数のコンテキスト特徴を含む、
請求項1または2に記載の方法。 - 前記1つもしくは複数のユーザインタラクション特徴は、
前記凝視の間のマウスカーソルの平均速度、
前記凝視の間の前記凝視の位置からマウスカーソルの位置までの平均距離、
前記凝視の間の1つもしくは複数のマウスボタンの状態、
前記凝視の間のマウスボタンが押下されている場合の前記凝視の位置とマウスカーソルの位置との間の距離、
の少なくとも1つを含む、
請求項1〜3のいずれか1項に記載の方法。 - 前記ユーザアクティビティラベルの所定のセットは、調べる、読む、ナビゲート、選択、入力、の少なくとも1つを含む、
請求項1〜4のいずれか1項に記載の方法。 - ユーザアクティビティラベルと凝視とは、機械学習を用いて関連付けられる、
請求項1〜5のいずれか1項に記載の方法。 - 前記ユーザインターフェイスデバイスはキーボード及びマウスを含み、
前記ユーザインタラクション特徴は、キーボードアクティビティに基づく特徴及びマウスアクティビティに基づく特徴を含む、
請求項1〜3のいずれか1項に記載の方法。 - コンピュータユーザインターフェイスを修正するための1つもしくは複数の推奨を生成するための前記凝視及び関連付けられたユーザアクティビティラベルを分析することをさらに含む、
請求項1〜7のいずれか1項に記載の方法。 - 前記凝視を複数のクラスタに分割することは、前記クラスタを構築するために、時間順で最初の凝視を含む最初のクラスタから開始し、時間順に並んだ前記凝視を処理することを含み、
前記最初の凝視の後、凝視の各々について、
前記凝視から直前の凝視までの距離が第1の所定距離より短い場合、直前の凝視を含むクラスタに凝視を追加し、
前記凝視から直前の凝視を含むクラスタの凝視のいずれかまでの距離が第2の所定距離より短い場合、前記凝視を前記クラスタに追加し、
前記凝視から直前の凝視までの距離が第1の所定距離以上であり、前記凝視から直前の凝視を含むクラスタの凝視のいずれかまでの距離が第2の所定距離以上である場合、前記凝視を含む新しいクラスタを生成する、
請求項1〜8のいずれか1項に記載の方法。 - 不適合グループと不適合クラスタとを調整することは、
不適合境界のセットを識別し、
不適合境界のセットの境界の各々はグループの各々の境界であるがいずれかのクラスタの境界ではないか、もしくは、クラスタの各々の境界であるがいずれかのグループの境界ではなく、
不適合境界のセットの境界の各々について、
前記境界を維持するための維持コストの各々を計算し、
前記境界を除去するための除去コストの各々を計算し、
最も低いコストを選択することに基づいて、前記境界を維持するか、もしくは、除去し、
不適合境界のセットで維持された境界に基づいて改変グループのセットを識別し、
改変グループの各々の凝視の各々に割り当てられた最も優勢なユーザアクティビティラベルに基づいて改変グループの各々の凝視に最終ユーザアクティビティラベルを割り当てる、
請求項1〜9のいずれか1項に記載の方法。 - 境界の前記維持コスト及び除去コストは、
改変グループのサイズ、
改変グループの凝視の継続時間、
境界の両側の凝視に割り当てられたユーザアクティビティラベル、
境界の両側の凝視に対応する領域、
領域のサイズ、
の少なくとも1つに基づく、
請求項10に記載の方法。 - 1つもしくは複数のプロセッサと、
メモリと、
前記メモリに記憶された1つもしくは複数のプログラムと、
を含み、
前記1つもしくは複数のプログラムは、
1つもしくは複数のユーザインターフェイスデバイスを用いてコンピュータとインタラクションするユーザのアイトラッキングデータを受信し、
前記アイトラッキングデータは時間順に並んだ凝視のシーケンスを含み、
凝視の各々は連続する計測された複数の注視点の各々に対応し、
凝視の各々は、対応する計測された注視点の各々に基づく継続時間及び位置を有し、
1つもしくは複数のユーザインターフェイスデバイスからユーザインタラクションデータを受信し、
シーケンスの各々の凝視について、
1つもしくは複数の凝視の特性及び受信したユーザインタラクションデータに基づく1つもしくは複数のユーザインタラクション特徴を含む凝視の複数の特徴を判定し、
複数の特徴に従ってユーザアクティビティラベルと凝視とを関連付け、
前記ユーザアクティビティラベルはユーザアクティビティラベルの所定のセットから選択され、
さらに、前記1つもしくは複数のプログラムは、別個の隣接する複数の領域を有するページを表示し、
複数のクラスタに前記凝視を分割し、
クラスタの各々は時間順に並んだ前記凝視の連続するサブシーケンスを含み、
前記凝視を複数のグループに分割するために同一のユーザアクティビティラベルを割り当てられた連続する凝視をグループ化し、
クラスタの各々と適合するグループの各々について、グループの各々の凝視の各々に割り当てられた最終ユーザアクティビティラベルとして割り当てられたユーザアクティビティラベルを維持し、
不適合グループの凝視を含む非重畳改変グループのセットを形成するために、領域を用いて、不適合クラスタと不適合グループとを調整し、
改変グループの凝視の各々はユーザアクティビティラベルの所定のセットから選択された同一の最終ユーザアクティビティラベルを割り当てられる、
ユーザアクティビティラベルと凝視とを関連付けるコンピュータシステム。 - 前記凝視の1つもしくは複数の特性は、
前記凝視の継続時間、
前記凝視に対応する連続する計測された注視点の間の距離の変動、
前記凝視の間に計測された前記ユーザの瞳孔サイズの変動、
の少なくとも1つを含む、
請求項12に記載のコンピュータシステム。 - 前記複数の特徴は、
前記凝視の位置と直前の凝視の位置との間の距離、
前記凝視の位置と直後の凝視の位置との間の距離、
直前の凝視の継続時間、
直後の凝視の継続時間、
の1つもしくは複数であるコンテキスト特徴を含む、
請求項12または13に記載のコンピュータシステム。 - 前記1つもしくは複数のユーザインタラクション特徴は、
前記凝視の間のマウスカーソルの平均速度、
前記凝視の間の前記凝視の位置からマウスカーソルまでの平均距離、
前記凝視の間の1つもしくは複数のマウスボタンの状態、
前記凝視の間、マウスボタンが押下されている場合の前記凝視の位置とマウスカーソルの位置との間の距離、
の少なくとも1つを含む、
請求項12〜14のいずれか1項に記載のコンピュータシステム。 - ユーザアクティビティラベルの所定のセットは、調べる、読む、ナビゲート、選択及び入力の少なくとも1つを含む、
請求項12〜15のいずれか1項に記載のコンピュータシステム。 - 前記ユーザインターフェイスデバイスはキーボード及びマウスを含み、
前記ユーザインタラクション特徴はキーボードアクティビティに基づく特徴及びマウスアクティビティに基づく特徴を含む、
請求項12〜14のいずれか1項に記載のコンピュータシステム。 - 1つもしくは複数のユーザインターフェイスデバイスを用いてコンピュータとインタラクションするユーザのアイトラッキングデータを受信し、
前記アイトラッキングデータは時間順に並んだ凝視のシーケンスを含み、
凝視の各々は複数の連続する継続された注視点の各々に対応し、
凝視の各々は対応する計測された注視点の各々に基づく継続時間及び位置を有し、
1つもしくは複数のユーザインターフェイスデバイスからユーザインタラクションを受信し、
前記シーケンスの凝視の各々について、
前記凝視の1つもしくは複数の特性及び受信したユーザインタラクションデータに基づく1つもしくは複数のユーザインタラクション特徴を含む前記凝視の複数の特徴を判定し、
前記複数の特徴に従って、ユーザアクティビティラベルと前記凝視とを関連付け、
前記ユーザアクティビティラベルはユーザアクティビティラベルの所定のセットから選択され、
複数の別個の隣接する領域を有するページを表示し、
前記凝視を複数のクラスタに分割し、
クラスタの各々は時間順に並んだ前記凝視の連続するサブシーケンスを含み、
前記凝視を複数のグループに分割するために、同一のユーザアクティビティラベルを割り当てられた連続する凝視をグループ化し、
クラスタの各々に適合するグループの各々について、グループの各々の凝視の各々に割り当てられた最終ユーザアクティビティラベルとして割り当てられたユーザアクティビティラベルを維持し、
前記領域を用いて、不適合グループの凝視を含む非重畳改変グループのセットを形成するために、不適合グループと不適合クラスタとを調整し、
改変グループの凝視の各々はユーザアクティビティラベルの所定のセットから選択された同一の最終ユーザアクティビティラベルを割り当てられる、
ことをコンピュータに実行させるためのプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/078,458 | 2013-11-12 | ||
US14/078,458 US9256785B2 (en) | 2013-11-12 | 2013-11-12 | Identifying user activities using eye tracking data, mouse events, and keystrokes |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015095260A JP2015095260A (ja) | 2015-05-18 |
JP6409507B2 true JP6409507B2 (ja) | 2018-10-24 |
Family
ID=53043837
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014221693A Expired - Fee Related JP6409507B2 (ja) | 2013-11-12 | 2014-10-30 | ユーザアクティビティラベルと凝視とを関連付ける方法、コンピュータシステム、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (2) | US9256785B2 (ja) |
JP (1) | JP6409507B2 (ja) |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9256785B2 (en) * | 2013-11-12 | 2016-02-09 | Fuji Xerox Co., Ltd. | Identifying user activities using eye tracking data, mouse events, and keystrokes |
US10248192B2 (en) * | 2014-12-03 | 2019-04-02 | Microsoft Technology Licensing, Llc | Gaze target application launcher |
US9978341B2 (en) * | 2014-12-23 | 2018-05-22 | Mediatek Inc. | Visual data processing method and visual data processing system which can perform a process operation according to a gazing point |
US10768772B2 (en) * | 2015-11-19 | 2020-09-08 | Microsoft Technology Licensing, Llc | Context-aware recommendations of relevant presentation content displayed in mixed environments |
US10444972B2 (en) | 2015-11-28 | 2019-10-15 | International Business Machines Corporation | Assisting a user with efficient navigation between a selection of entries with elements of interest to the user within a stream of entries |
JP6761976B2 (ja) * | 2016-03-10 | 2020-09-30 | パナソニックIpマネジメント株式会社 | 自律神経の揺らぎの利用方法およびシステム |
US10956544B1 (en) | 2016-04-01 | 2021-03-23 | Massachusetts Mutual Life Insurance Company | Access control through head imaging and biometric authentication |
US10733275B1 (en) * | 2016-04-01 | 2020-08-04 | Massachusetts Mutual Life Insurance Company | Access control through head imaging and biometric authentication |
US10379709B2 (en) * | 2016-04-08 | 2019-08-13 | Paypal, Inc. | Electronically analyzing user activity on a graphical user interface |
KR20190025549A (ko) | 2016-05-06 | 2019-03-11 | 더 보드 어브 트러스티스 어브 더 리랜드 스탠포드 주니어 유니버시티 | 정신 장애들의 치료를 위한 이동 및 착용 가능한 비디오 캡처 및 피드백 플랫-폼들 |
CN106169063B (zh) * | 2016-06-22 | 2019-11-26 | 江苏大学 | 一种自动识别用户阅读兴趣区的方法 |
US11477302B2 (en) * | 2016-07-06 | 2022-10-18 | Palo Alto Research Center Incorporated | Computer-implemented system and method for distributed activity detection |
US11093834B2 (en) * | 2016-07-06 | 2021-08-17 | Palo Alto Research Center Incorporated | Computer-implemented system and method for predicting activity outcome based on user attention |
US10885478B2 (en) * | 2016-07-06 | 2021-01-05 | Palo Alto Research Center Incorporated | Computer-implemented system and method for providing contextually relevant task recommendations to qualified users |
US10181078B1 (en) | 2016-11-07 | 2019-01-15 | National Technology & Engineering Solutions Of Sandia, Llc | Analysis and categorization of eye tracking data describing scanpaths |
US10503467B2 (en) | 2017-07-13 | 2019-12-10 | International Business Machines Corporation | User interface sound emanation activity classification |
US11175735B2 (en) * | 2017-07-24 | 2021-11-16 | Adobe Inc. | Choice-based analytics that combine gaze and selection data |
US11073904B2 (en) * | 2017-07-26 | 2021-07-27 | Microsoft Technology Licensing, Llc | Intelligent user interface element selection using eye-gaze |
US11073707B2 (en) * | 2017-11-07 | 2021-07-27 | The Boeing Company | Dimmable window apparatus and vehicle including the same |
US10656706B2 (en) * | 2017-12-04 | 2020-05-19 | International Business Machines Corporation | Modifying a computer-based interaction based on eye gaze |
US10552986B1 (en) * | 2018-07-20 | 2020-02-04 | Banuba Limited | Computer systems and computer-implemented methods configured to track multiple eye-gaze and heartrate related parameters during users' interaction with electronic computing devices |
CN110019893B (zh) * | 2018-08-28 | 2021-10-15 | 京东方科技集团股份有限公司 | 一种画作获取方法及装置 |
CN109118296A (zh) * | 2018-09-04 | 2019-01-01 | 南京星邺汇捷网络科技有限公司 | 活动推送方法、装置及电子设备 |
US10942833B2 (en) * | 2019-01-11 | 2021-03-09 | International Business Machines Corporation | Monitoring routines and providing reminders |
US11112865B1 (en) * | 2019-02-13 | 2021-09-07 | Facebook Technologies, Llc | Systems and methods for using a display as an illumination source for eye tracking |
CN110555081B (zh) * | 2019-04-18 | 2022-05-31 | 国家计算机网络与信息安全管理中心 | 社交互动的用户分类方法、装置、电子设备及介质 |
WO2020226603A1 (ru) * | 2019-05-03 | 2020-11-12 | Сергей Анатольевич ДАНИЛОВ | Автоматизированный способ и система определения объема распознавания информации, и автоматизированный способ верификации ознакомления с электронным документом |
CN110245964A (zh) * | 2019-06-14 | 2019-09-17 | 北京市商汤科技开发有限公司 | 信息推送方法和装置以及存储介质 |
US11216065B2 (en) * | 2019-09-26 | 2022-01-04 | Lenovo (Singapore) Pte. Ltd. | Input control display based on eye gaze |
US11420131B2 (en) * | 2020-05-04 | 2022-08-23 | Sony Interactive Entertainment Inc. | Systems and methods for facilitating secret communication between players during game play |
US20220172102A1 (en) * | 2020-11-30 | 2022-06-02 | International Business Machines Corporation | Machine learning model trained using features extracted from n-grams of mouse event data |
US20230008220A1 (en) * | 2021-07-09 | 2023-01-12 | Bank Of America Corporation | Intelligent robotic process automation bot development using convolutional neural networks |
US11847598B2 (en) * | 2021-08-13 | 2023-12-19 | Edgeverve Systems Limited | Method and system for analyzing process flows for a process performed by users |
FR3126794A1 (fr) * | 2021-09-06 | 2023-03-10 | Orange | Procédé d’analyse de l’activité d’un utilisateur d’un terminal électronique |
US11687152B1 (en) | 2022-09-08 | 2023-06-27 | International Business Machines Corporation | Directional recommendations based on movement tracking while performing an activity |
CN117632330A (zh) * | 2023-10-12 | 2024-03-01 | 浙江大学 | 一种虚拟环境下眼控界面的交互目标布局方法和系统 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3226164B2 (ja) * | 1998-11-06 | 2001-11-05 | 日本電気株式会社 | 移動携帯情報端末装置およびそのデータ表示方法 |
JP2002149332A (ja) * | 2000-11-10 | 2002-05-24 | Fuji Xerox Co Ltd | 情報処理システム、情報処理方法及びコンピュータ読み取り可能な記録媒体 |
US6601021B2 (en) * | 2000-12-08 | 2003-07-29 | Xerox Corporation | System and method for analyzing eyetracker data |
JP2002183212A (ja) * | 2000-12-19 | 2002-06-28 | Fuji Xerox Co Ltd | 電子文書加工システム、電子文書加工方法、及び、コンピュータ読取り可能な記録媒体 |
US7533411B2 (en) * | 2003-09-23 | 2009-05-12 | Microsoft Corporation | Order-based human interactive proofs (HIPs) and automatic difficulty rating of HIPs |
US7505946B2 (en) * | 2004-03-31 | 2009-03-17 | Microsoft Corporation | High performance content alteration architecture and techniques |
JP2005216311A (ja) * | 2005-01-28 | 2005-08-11 | Fuji Xerox Co Ltd | ユーザビリティ評価支援装置 |
US8433384B2 (en) * | 2006-05-03 | 2013-04-30 | Covidien Lp | Method and apparatus for cerebral oximetry |
US8019127B2 (en) * | 2006-09-13 | 2011-09-13 | George Mason Intellectual Properties, Inc. | Image based turing test |
WO2010071928A1 (en) * | 2008-12-22 | 2010-07-01 | Seeing Machines Limited | Automatic calibration of a gaze direction algorithm from user behaviour |
US8311279B2 (en) * | 2010-02-23 | 2012-11-13 | Fuji Xerox Co., Ltd. | System and method for improved image analysis through gaze data feedback |
WO2012052061A1 (en) * | 2010-10-22 | 2012-04-26 | Institut für Rundfunktechnik GmbH | Method and system for calibrating a gaze detector system |
US20130177296A1 (en) * | 2011-11-15 | 2013-07-11 | Kevin A. Geisner | Generating metadata for user experiences |
US9330431B2 (en) * | 2012-12-19 | 2016-05-03 | Jeffrey Huang | System and method for synchronizing, merging, and utilizing multiple data sets for augmented reality application |
US9256785B2 (en) * | 2013-11-12 | 2016-02-09 | Fuji Xerox Co., Ltd. | Identifying user activities using eye tracking data, mouse events, and keystrokes |
-
2013
- 2013-11-12 US US14/078,458 patent/US9256785B2/en not_active Expired - Fee Related
-
2014
- 2014-10-30 JP JP2014221693A patent/JP6409507B2/ja not_active Expired - Fee Related
-
2016
- 2016-01-13 US US14/995,161 patent/US9384420B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015095260A (ja) | 2015-05-18 |
US20150131850A1 (en) | 2015-05-14 |
US20160132752A1 (en) | 2016-05-12 |
US9256785B2 (en) | 2016-02-09 |
US9384420B2 (en) | 2016-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6409507B2 (ja) | ユーザアクティビティラベルと凝視とを関連付ける方法、コンピュータシステム、及びプログラム | |
US11650659B2 (en) | User input processing with eye tracking | |
US10572072B2 (en) | Depth-based touch detection | |
CN106155298B (zh) | 人机识别方法及装置、行为特征数据的采集方法及装置 | |
US9459694B2 (en) | Cursor movement device | |
TWI754806B (zh) | 利用深度學習定位虹膜之裝置與方法 | |
EP3015952B1 (en) | Method and system for detecting objects of interest | |
US20100071965A1 (en) | System and method for grab and drop gesture recognition | |
US20140208274A1 (en) | Controlling a computing-based device using hand gestures | |
CN116507995A (zh) | 带有虚拟轨迹板的触摸屏显示器 | |
KR20210043677A (ko) | 동작 인식 방법 및 장치, 전자 디바이스 및 기록 매체 | |
Rozado et al. | Low cost remote gaze gesture recognition in real time | |
KR102586170B1 (ko) | 전자 장치 및 이의 검색 결과 제공 방법 | |
Akshay et al. | Machine learning algorithm to identify eye movement metrics using raw eye tracking data | |
Khurshid et al. | Hand Gesture Recognition for User Interaction in Augmented Reality (AR) Experience | |
KR101413558B1 (ko) | 사용자 다중의도 분석장치 및 사용자 다중의도 분석 방법 | |
CN107871019B (zh) | 人车关联搜索方法及装置 | |
US11960633B1 (en) | Systems and methods for enabling facial browsing of a display based on movement of facial features | |
de Lope et al. | Comparison of labeling methods for behavioral activity classification based on gaze ethograms | |
JP7470069B2 (ja) | 指示物体検出装置、指示物体検出方法及び指示物体検出システム | |
Mollaei et al. | Patient’s actions recognition in hospital’s recovery department based on RGB-D dataset | |
Harini et al. | A novel static and dynamic hand gesture recognition using self organizing map with deep convolutional neural network | |
Uke et al. | Optimal video processing and soft computing algorithms for human hand gesture recognition from real-time video | |
WO2023168074A2 (en) | Automated test of embodied cognition | |
CN115328306A (zh) | 基于惯性测量单元的可穿戴输入交互方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170928 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180703 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180828 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180910 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6409507 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |