RU2014148784A - Обработка пользовательской входной информации с отслеживанием глаз - Google Patents

Обработка пользовательской входной информации с отслеживанием глаз Download PDF

Info

Publication number
RU2014148784A
RU2014148784A RU2014148784A RU2014148784A RU2014148784A RU 2014148784 A RU2014148784 A RU 2014148784A RU 2014148784 A RU2014148784 A RU 2014148784A RU 2014148784 A RU2014148784 A RU 2014148784A RU 2014148784 A RU2014148784 A RU 2014148784A
Authority
RU
Russia
Prior art keywords
input information
user
recognition
eyes
physical state
Prior art date
Application number
RU2014148784A
Other languages
English (en)
Other versions
RU2608462C2 (ru
Inventor
Крис НОРДЕН
Original Assignee
СОНИ КОМПЬЮТЕР ЭНТЕРТЕЙНМЕНТ АМЕРИКА ЭлЭлСи.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by СОНИ КОМПЬЮТЕР ЭНТЕРТЕЙНМЕНТ АМЕРИКА ЭлЭлСи. filed Critical СОНИ КОМПЬЮТЕР ЭНТЕРТЕЙНМЕНТ АМЕРИКА ЭлЭлСи.
Publication of RU2014148784A publication Critical patent/RU2014148784A/ru
Application granted granted Critical
Publication of RU2608462C2 publication Critical patent/RU2608462C2/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2133—Verifying human interaction, e.g., Captcha
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

1. Способ для получения входной информации устройством, который включает:определение множества пользователей, физически присутствующих у устройства;получение входной информации устройством от первого пользователя из множества физически присутствующих пользователей; ираспознавание физического состояния одного из множества пользователей связанного с входной информацией.2. Способ по п. 1, отличающийся тем, что получение входной информации включает получение входной информации по сенсорному экрану дисплея.3. Способ по п. 1, отличающийся тем, что распознавание физического состояния включает распознавание того, что глаза первого пользователя сфокусированы на горячей точке.4. Способ по п. 1, дополнительно включающий локализацию глаз каждого из множества пользователей, физически присутствующих у устройства.5. Способ по п. 1, дополнительно включающий калибровку фокуса глаза пользователя с участками на дисплее.6. Способ по п. 1, отличающийся тем, что входная информация распознается на горячей точке сенсорного экрана дисплея, и физическое состояние первого пользователя включает фокусирование глаз на горячей точке.7. Способ по п. 1, отличающийся тем, что распознавание физического состояния включает обработку изображений первого пользователя.8. Способ по п. 7, отличающийся тем, что обработка изображений включает идентификацию одной или более областей пикселей, связанных с белочной оболочкой глаза первого пользователя в изображении пользователя.9. Способ по п. 1, дополнительно включающий обработку входной информации для первого пользователя, чье физическое состояние связано с получением входной информации.10. Способ, в котором постоянный машино

Claims (20)

1. Способ для получения входной информации устройством, который включает:
определение множества пользователей, физически присутствующих у устройства;
получение входной информации устройством от первого пользователя из множества физически присутствующих пользователей; и
распознавание физического состояния одного из множества пользователей связанного с входной информацией.
2. Способ по п. 1, отличающийся тем, что получение входной информации включает получение входной информации по сенсорному экрану дисплея.
3. Способ по п. 1, отличающийся тем, что распознавание физического состояния включает распознавание того, что глаза первого пользователя сфокусированы на горячей точке.
4. Способ по п. 1, дополнительно включающий локализацию глаз каждого из множества пользователей, физически присутствующих у устройства.
5. Способ по п. 1, дополнительно включающий калибровку фокуса глаза пользователя с участками на дисплее.
6. Способ по п. 1, отличающийся тем, что входная информация распознается на горячей точке сенсорного экрана дисплея, и физическое состояние первого пользователя включает фокусирование глаз на горячей точке.
7. Способ по п. 1, отличающийся тем, что распознавание физического состояния включает обработку изображений первого пользователя.
8. Способ по п. 7, отличающийся тем, что обработка изображений включает идентификацию одной или более областей пикселей, связанных с белочной оболочкой глаза первого пользователя в изображении пользователя.
9. Способ по п. 1, дополнительно включающий обработку входной информации для первого пользователя, чье физическое состояние связано с получением входной информации.
10. Способ, в котором постоянный машиночитаемый носитель сохраняет программу, выполняемую процессором для реализации способа получения входной информации, включающий:
определение множества пользователей, физически присутствующих у устройства;
получение входной информации устройством от первого пользователя из множества физически присутствующих пользователей; и
распознавание физического состояния одного из множества пользователей, связанного с входной информацией.
11. Способ по п. 10, отличающийся тем, что получение входной информации включает получение входной информации по сенсорному экрану дисплея.
12 Способ по п. 10, отличающийся тем, что распознавание физического состояния включает распознавание того, что глаза первого пользователя сфокусированы на горячей точке.
13. Способ по п. 10, дополнительно включающий локализацию глаз каждого из множества пользователей, физически присутствующих у устройства.
14. Способ по п. 10, дополнительно включающий калибровку фокуса глаза пользователя с участками на дисплее.
15. Способ по п. 10, отличающийся тем, что входная информация распознается в горячих точках на сенсорном экране дисплея, а физическое состояние первого пользователя включает фокусировку глаз на горячей точке.
16. Способ по п. 10, отличающийся тем, что распознавание физического состояния включает обработку изображений первого пользователя.
17. Способ по п. 16, отличающийся тем, что обработка изображений включает определение одной или более областей пикселей, связанных с белочной оболочкой глаза первого пользователя в изображении пользователя.
18. Способ по п. 10, дополнительно включающий обработку входной информации для первого пользователя, чье физическое состояние связано с входной информацией.
19. Система для распознавания входной информации, содержащая:
дисплейное устройство;
камеру, способную захватывать данные цветного изображения и передавать данные изображения на процессор;
процессор, настроенный на выполнение одного или более модулей;
выполняемый модуль распознавания деталей, сохраненный в памяти и настроенный на распознавание физических деталей пользователя;
выполняемый модуль распознавания фокусирования пользователя, сохраненный в памяти и настроенный с возможностью распознавания точки фокусирования глаз пользователя; и
выполняемый модуль обработки входной информации, сохраненный в памяти и настроенный с возможностью получения и обработки входной информации от пользователя.
20. Система по п. 19, дополнительно содержащая IR устройство, настроенное с возможностью захвата инфракрасного изображения одного или более пользователей.
RU2014148784A 2012-05-04 2013-04-04 Обработка пользовательской входной информации с отслеживанием глаз RU2608462C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/464,703 2012-05-04
US13/464,703 US9471763B2 (en) 2012-05-04 2012-05-04 User input processing with eye tracking
PCT/US2013/035331 WO2013165646A2 (en) 2012-05-04 2013-04-04 User input processing with eye tracking

Publications (2)

Publication Number Publication Date
RU2014148784A true RU2014148784A (ru) 2016-06-27
RU2608462C2 RU2608462C2 (ru) 2017-01-18

Family

ID=49512152

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2014148784A RU2608462C2 (ru) 2012-05-04 2013-04-04 Обработка пользовательской входной информации с отслеживанием глаз

Country Status (9)

Country Link
US (3) US9471763B2 (ru)
EP (1) EP2845077A4 (ru)
JP (1) JP5974165B2 (ru)
KR (1) KR101705841B1 (ru)
CN (1) CN104520799A (ru)
BR (1) BR112014027343B1 (ru)
IN (1) IN2014MN02224A (ru)
RU (1) RU2608462C2 (ru)
WO (1) WO2013165646A2 (ru)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9471763B2 (en) 2012-05-04 2016-10-18 Sony Interactive Entertainment America Llc User input processing with eye tracking
WO2015142228A1 (en) * 2014-03-18 2015-09-24 Telefonaktiebolaget L M Ericsson (Publ) Controlling a target device
CN104391567B (zh) * 2014-09-30 2017-10-31 深圳市魔眼科技有限公司 一种基于人眼跟踪的三维全息虚拟物体显示控制方法
CN104383681B (zh) * 2014-10-27 2016-03-30 腾讯科技（深圳）有限公司 游戏进程控制方法、装置和移动终端
KR101671838B1 (ko) 2015-06-17 2016-11-03 주식회사 비주얼캠프 시선 추적을 이용한 입력 장치
CN105159590B (zh) * 2015-08-27 2017-06-23 广东欧珀移动通信有限公司 一种控制用户终端的屏幕的方法及用户终端
CN108604116A (zh) * 2015-09-24 2018-09-28 托比股份公司 能够进行眼睛追踪的可穿戴设备
DE102015222388A1 (de) 2015-11-13 2017-05-18 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zum Steuern einer Anzeigeeinrichtung in einem Kraftfahrzeug
CN105677845A (zh) 2016-01-06 2016-06-15 北京京东尚科信息技术有限公司 电子书籍的推送方法和装置
CN106066694A (zh) * 2016-05-30 2016-11-02 维沃移动通信有限公司 一种触摸屏操作响应的控制方法及终端
US10032053B2 (en) 2016-11-07 2018-07-24 Rockwell Automation Technologies, Inc. Tag based location
CN107092873A (zh) * 2017-04-08 2017-08-25 闲客智能（深圳）科技有限公司 一种眼动方向识别方法及装置
US10474231B2 (en) * 2017-08-16 2019-11-12 Industrial Technology Research Institute Eye tracking apparatus and method thereof
TWI734024B (zh) * 2018-08-28 2021-07-21 財團法人工業技術研究院 指向判斷系統以及指向判斷方法
US20220075477A1 (en) * 2018-12-31 2022-03-10 Guardian Glass, LLC Systems and/or methods for parallax correction in large area transparent touch interfaces
US10890992B2 (en) * 2019-03-14 2021-01-12 Ebay Inc. Synchronizing augmented or virtual reality (AR/VR) applications with companion device interfaces
CN110262673A (zh) * 2019-06-26 2019-09-20 广东技术师范大学 一种眼睛控制键盘打字的方法
US11800206B2 (en) * 2019-07-08 2023-10-24 Calumino Pty Ltd. Hybrid cameras
US11156831B2 (en) * 2019-12-31 2021-10-26 Tobii Ab Eye-tracking system and method for pupil detection, associated systems and computer programs

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471542A (en) * 1993-09-27 1995-11-28 Ragland; Richard R. Point-of-gaze tracker
JP2000148396A (ja) * 1998-11-06 2000-05-26 Canon Inc 情報入力装置および方法
US6456262B1 (en) * 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
WO2002064031A2 (en) * 2001-02-09 2002-08-22 Sensomotoric Instruments Gmbh Multidimensional eye tracking and position measurement system
US6637883B1 (en) * 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
TW200622893A (en) * 2004-07-09 2006-07-01 Nokia Corp Cute user interface
JP2006201966A (ja) 2005-01-19 2006-08-03 Oki Electric Ind Co Ltd 端末装置
JP2007089732A (ja) * 2005-09-28 2007-04-12 Aruze Corp 入力装置
JP4649319B2 (ja) 2005-11-21 2011-03-09 日本電信電話株式会社 視線検出装置、視線検出方法、および視線検出プログラム
EP1968006B1 (en) * 2005-12-27 2020-03-25 Panasonic Intellectual Property Corporation of America Image processing apparatus
JP5580987B2 (ja) * 2006-08-18 2014-08-27 株式会社カネカ 官能基を有する分岐ビニル系重合体の製造方法
US7860382B2 (en) * 2006-10-02 2010-12-28 Sony Ericsson Mobile Communications Ab Selecting autofocus area in an image
US8147316B2 (en) * 2006-10-10 2012-04-03 Wms Gaming, Inc. Multi-player, multi-touch table for use in wagering game systems
WO2008115287A2 (en) * 2006-10-18 2008-09-25 Efthimion Enterprises, Inc. Laser assisted microwave plasma spectroscopy
JP5415948B2 (ja) * 2008-02-28 2014-02-12 パナソニック株式会社 視線検出装置及び視線検出方法
US8686953B2 (en) * 2008-09-12 2014-04-01 Qualcomm Incorporated Orienting a displayed element relative to a user
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US8432366B2 (en) * 2009-03-03 2013-04-30 Microsoft Corporation Touch discrimination
CN101593022B (zh) * 2009-06-30 2011-04-27 华南理工大学 一种基于指端跟踪的快速人机交互方法
EP2309307B1 (en) * 2009-10-08 2020-12-09 Tobii Technology AB Eye tracking using a GPU
US8922480B1 (en) * 2010-03-05 2014-12-30 Amazon Technologies, Inc. Viewer-based device control
JP5305039B2 (ja) * 2010-03-25 2013-10-02 アイシン・エィ・ダブリュ株式会社 表示装置、表示方法、及び表示プログラム
US8982160B2 (en) * 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
JP2012038106A (ja) * 2010-08-06 2012-02-23 Canon Inc 情報処理装置、情報処理方法、およびプログラム
JP5664064B2 (ja) 2010-09-22 2015-02-04 富士通株式会社 視線検出装置および補正係数算出プログラム
US20120081392A1 (en) * 2010-09-30 2012-04-05 Apple Inc. Electronic device operation adjustment based on face detection
US8717393B2 (en) * 2010-11-03 2014-05-06 Blackberry Limited System and method for controlling a display of a mobile device
US20130057573A1 (en) * 2011-09-02 2013-03-07 DigitalOptics Corporation Europe Limited Smart Display with Dynamic Face-Based User Preference Settings
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
KR101797599B1 (ko) * 2011-06-30 2017-11-15 엘지이노텍 주식회사 백라이트 유닛 및 그를 이용한 디스플레이 장치
US20130033524A1 (en) * 2011-08-02 2013-02-07 Chin-Han Wang Method for performing display control in response to eye activities of a user, and associated apparatus
US20130145304A1 (en) * 2011-12-02 2013-06-06 International Business Machines Corporation Confirming input intent using eye tracking
US20130201305A1 (en) * 2012-02-06 2013-08-08 Research In Motion Corporation Division of a graphical display into regions
US9471763B2 (en) 2012-05-04 2016-10-18 Sony Interactive Entertainment America Llc User input processing with eye tracking

Also Published As

Publication number Publication date
JP5974165B2 (ja) 2016-08-23
US11650659B2 (en) 2023-05-16
US20130293467A1 (en) 2013-11-07
WO2013165646A2 (en) 2013-11-07
EP2845077A2 (en) 2015-03-11
IN2014MN02224A (ru) 2015-10-09
RU2608462C2 (ru) 2017-01-18
EP2845077A4 (en) 2016-01-13
WO2013165646A3 (en) 2015-03-26
CN104520799A (zh) 2015-04-15
KR20150032661A (ko) 2015-03-27
BR112014027343A2 (pt) 2017-07-18
JP2015521312A (ja) 2015-07-27
US9471763B2 (en) 2016-10-18
US10496159B2 (en) 2019-12-03
US20170139476A1 (en) 2017-05-18
US20200249751A1 (en) 2020-08-06
BR112014027343B1 (pt) 2021-09-21
KR101705841B1 (ko) 2017-02-10

Similar Documents

Publication Publication Date Title
RU2014148784A (ru) Обработка пользовательской входной информации с отслеживанием глаз
CN106407914B (zh) 用于检测人脸的方法、装置和远程柜员机系统
CN108027881A (zh) 使用多种捕捉技术的用户认证
CN106911922B (zh) 从单个传感器生成的深度图
US20160180169A1 (en) Iris recognition device, iris recognition system including the same and method of operating the iris recognition system
US10846866B2 (en) Irradiation system, irradiation method, and program storage medium
US20160125221A1 (en) Method for recognizing iris and electronic device thereof
JP2019080354A (ja) ヘッドマウントディスプレイ
RU2016118756A (ru) Способ и устройство для определения пространственного параметра на основе изображения, а также оконечное устройство
CN104216117A (zh) 显示设备
CN107710221B (zh) 一种用于检测活体对象的方法、装置和移动终端
GB2521085A (en) Image processing apparatus, image processing method, program, and image pickup apparatus having the image processing apparatus
RU2011106920A (ru) Устройство обработки информации, способ обработки информации и программа
RU2014110041A (ru) Устройство захвата изображений, способ управления этим устройством и программа
TWI489326B (zh) 操作區的決定方法與系統
RU2015143309A (ru) Носимая система, отображающая социальные данные
JP2017521742A5 (ru)
WO2014035594A4 (en) Arrangement for and method of reading forms in correct orientation by image capture
CN109618100A (zh) 现场拍摄图像的判断方法、装置及系统
JP2018205648A5 (ru)
KR20200141517A (ko) 스마트 안경 추적 방법과 장치, 및 스마트 안경과 저장 매체
TW201421101A (zh) 能夠即時對特定可移動物件進行自動對焦的方法、具有自動對焦功能的攝影裝置、以及儲存用來執行即時對特定可移動物件進行自動對焦之電腦程式的電腦可讀式儲存媒體
US20140198025A1 (en) System and method for discerning complex gestures using an array of optical sensors
JP2014154981A5 (ja) 画像処理装置、画像処理方法、撮像装置及びその制御方法
JP5310040B2 (ja) 撮像処理装置及びプログラム