KR20150032661A - 눈 추적을 이용한 사용자 입력 처리 - Google Patents

눈 추적을 이용한 사용자 입력 처리 Download PDF

Info

Publication number
KR20150032661A
KR20150032661A KR1020147030872A KR20147030872A KR20150032661A KR 20150032661 A KR20150032661 A KR 20150032661A KR 1020147030872 A KR1020147030872 A KR 1020147030872A KR 20147030872 A KR20147030872 A KR 20147030872A KR 20150032661 A KR20150032661 A KR 20150032661A
Authority
KR
South Korea
Prior art keywords
user
input
users
eyes
detecting
Prior art date
Application number
KR1020147030872A
Other languages
English (en)
Other versions
KR101705841B1 (ko
Inventor
크리스 노든
Original Assignee
소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨 filed Critical 소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨
Publication of KR20150032661A publication Critical patent/KR20150032661A/ko
Application granted granted Critical
Publication of KR101705841B1 publication Critical patent/KR101705841B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2133—Verifying human interaction, e.g., Captcha

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

시스템은 다수의 사용자들 중에서 단일 입력 장치를 통해 입력이 제공된 사용자를 판정한다. 기구는 하나 이상의 사용자들의 화상을 캡쳐한다. 입력이 검출되면, 화상들은 입력 장치를 이용하여 입력을 제공한 사용자를 판정하도록 처리될 수 있다. 화상들은 각각의 사용자들의 머리와 눈들을 식별하고, 각각의 사용자들의 눈들에 대한 초점을 판정하도록 처리될 수 있다. 입력 위치에 눈의 초점을 맞춘 사용자는 입력을 제공한 것으로 식별된다. 입력 기구가 터치 스크린인 경우, 터치되는 터치 스크린의 부분에 눈들의 초점을 맞춘 사용자는 입력의 공급원으로서 식별된다.

Description

눈 추적을 이용한 사용자 입력 처리 {USER INPUT PROCESSING WITH EYE TRACKING}
<관련 특허에 대한 상호 참조>
본 특허 출원은 참조로서 본원에 포함되어 있는, 2012년 5월 4일자로 출원된 US 특허 출원 제13/464,703호를 우선권 주장한다.
본 발명은 일반적으로는 입력 처리 시스템에 관한 것이고, 보다 구체적으로는 화상 처리를 통해 복수의 사용자들로부터의 입력을 처리하는 것에 관한 것이다.
컴퓨팅 시스템 어플리케이션은 사용자 입력을 수신하고, 입력을 처리하고, 처리 결과를 제공함으로써 사용자와 상호 작용을 한다. 시스템이 보다 진보되고 보다 많은 사람들이 기술을 받아들임에 따라, 어플리케이션들은 다수의 사용자들이 동시에 결합되도록 발달되었다. 다수의 사용자들은 동시에 컴퓨팅 시스템과 상호 작용을 할 수 있고, 사용자들은 특정 유저에 연관된 출력을 제공할 수 있다. 예를 들어, 두 명의 사용자들이 컴퓨터 게임을 플레이하기 위해 게임 컨트롤러를 사용할 수 있고, 이 사용자들은 게임 세션 동안 서로에 대해 경쟁하도록 한다. 각각의 사용자는 각각의 게이밍 컨트롤러로 입력을 제공한다.
기술은 컴퓨팅 시스템과의 상이한 종류의 상호작용을 허용하도록 발달하였다. 각각의 유저에 대해 원격 게이밍 컨트롤러로부터의 입력을 수신하는 것 외에도, 예를 들어, 소정의 컴퓨팅 시스템은 터치 스크린과 같은 단일 입력 기구를 활용한다. 한 명의 사용자만이 컴퓨팅 장치와 결합하는 경우, 단일 입력 기구는 단일 사용자로부터의 입력을 수신한다. 다수의 사용자들이 단일 입력 기구로 컴퓨팅 시스템과 결합하는 경우, 어느 사용자가 입력을 제공하는 것을 판정하는 것은 매우 어렵다.
다수의 사용자들이 쉽고 효율적으로 단일 입력 기구를 사용하여 컴퓨팅 장치와 상호 작용할 수 있는 시스템에 대한 해당 기술 분야의 요구가 있다.
실시예에서, 성능, 기능, 내용 또는 사업 적합성. 기술의 학습, 효율적인 모니터링 및 자원 관리에 기초하여, 본 시스템은 매우 낮은 오버헤드(overhead)를 갖는 웹 어플리케이션의 아우트라이어(outlier)용의 데이터를 캡쳐하고 아우트라이어용의 정보의 분석을 제공한다.
실시예에서, 우선 장치가 있는 곳에서 물리적으로 복수의 사용자들을 식별함으로써 입력이 수신될 수 있다. 복수의 물리적으로 존재하는 사용자들 중에서 제1 사용자로부터의 입력을 장치에 의해 수신할 수 있다. 입력과 연관된 복수의 사용자들 중 하나의 사용자들로부터 물리적 상태가 검출될 수 있다.
실시예에서, 입력을 검출하기 위한 시스템은 표시 장치, 카메라, 프로세서 및 메모리에 저장되고 프로세서에 의해 실행 가능한 모듈을 포함할 수 있다. 카메라는 컬러 화상 데이터를 캡쳐해서 프로세서에 화상 데이터를 제공할 수 있다. 특징 검출 모듈은 사용자의 물리적인 특징을 검출하도록 실행 가능하다. 사용자 초점 검출 모듈은 사용자의 눈의 초점을 검출한다. 입력 처리 모듈은 사용자로부터의 입력을 수신하고 처리한다.
도 1은 컴퓨팅 콘솔의 터치 스크린을 통해 입력을 수신하기 위한 예시적인 시스템의 블록도.
도 2는 태블릿 컴퓨터의 터치 스크린을 통해 입력을 수신하기 위한 예시적인 시스템의 블록도.
도 3은 모바일 장치의 터치 스크린을 통해 입력을 수신하기 위한 예시적인 시스템의 블록도.
도 4는 사용자 검출 기구를 갖는 예시적인 컴퓨팅 장치.
도 5는 실행 가능한 소프트웨어 모듈의 예시적인 세트.
도 6은 복수의 사용자들 중 한명의 사용자로부터의 입력을 식별하기 위한 예시적인 방법의 흐름도.
도 7a 및 7b는 사용자 눈의 예시적인 화상.
도 8은 다수의 사용자들 중 한 명으로부터의 입력을 수신하기 위한 예시적인 컴퓨팅 장치의 블록도.
도 9는 컴퓨팅 장치를 실시하기 위한 예시적인 시스템의 블록도.
본 발명의 실시예는 단일 입력 장치를 통해 다수의 사용자들의 사용자가 입력을 제공하는 것을 판정한다. 컴퓨팅 시스템은 한 명 이상의 사용자의 화상들을 캡쳐하기 위한 기구를 포함할 수 있다. 화상들은 입력 장치를 사용하여 입력을 제공하는 사용자를 판정하도록 처리될 수 있다. 예를 들어, 화상들은 각각의 사용자의 머리와 눈을 식별하고, 각각의 사용자의 눈에 대한 초점을 판정하도록 처리될 수 있다. 입력 장치에 눈의 초점을 맞추고 있는 사용자는 입력을 제공하는 것으로 식별된다. 입력 기구가 터치 스크린일 수 있는 실시예에서, 터치되는 터치 스크린 부분에 눈의 초점을 맞추고 있는 사용자는 입력을 제공하는 것으로 식별된다.
본 발명의 실시예는 몇몇 종류의 컴퓨팅 장치와 함께 사용될 수 있다. 도 1은 컴퓨팅 콘솔의 터치 스크린을 통해 입력을 수신하기 위한 예시적인 시스템의 블록도이다. 컴퓨팅 콘솔(125)은 터치 스크린(120)에 표시하기 위한 화상 데이터를 제공한다. 터치 스크린(120)은 터치 입력을 수신하고 컴퓨팅 콘솔(125)에 입력을 제공할 수 있다. 컴퓨팅 콘솔은 입력을 수신하고, 입력을 처리하여 새로운 화상 데이터를 생성하고, 터치 스크린(120)에 화상 데이터를 제공할 수 있다. 임의의 사용자들(105, 110)이 예를 들어 터치 스크린(120)을 터치함으로써 컴퓨팅 콘솔(125)에 입력을 제공할 수 있다. 본 발명은 터치 스크린을 터치하는 사용자를 판정하고 이에 따라 입력을 처리할 수 있다. 도 2는 태블릿 컴퓨터(130)의 터치 스크린을 통해 입력을 수신하기 위한 예시적인 시스템의 블록도이다. 사용자들(105, 110)은 태블릿의 터치 스크린을 이용하여 태블릿 컴퓨터(130)에 입력을 각각 제공할 수 있다. 본 발명의 실시예는 태블릿 컴퓨터(130)에 입력을 제공한 사용자들(105, 110)을 판정하고 이에 따라 입력을 처리할 수 있다. 도 3은 모바일 장치의 터치 스크린을 통해 입력을 수신하기 위한 예시적인 시스템의 블록도이다. 사용자들(105, 110)은 터치 스크린 또는 다른 입력을 통해 모바일 장치(140)에 입력을 각각 제공할 수 있다. 본 발명은 모바일 장치(140)에 입력을 제공한 사용자를 판정하여 그 사용자에 대한 입력을 처리할 수 있다.
도 4는 사용자 검출 기구(405)를 갖는 예시적인 컴퓨팅 장치이다. 사용자 검출 기구(405)는 컴퓨팅 콘솔, 태블릿 컴퓨터, 모바일 장치 또는 다른 입력 장치와 함께 사용될 수 있다. 사용자 검출 기구는 컬러 카메라(410) 및 적외선(IR) 카메라(415)를 포함한다. 컬러 카메라(410)는 컴퓨팅 장치 부근의 영역(420)의 화상을 캡쳐할 수 있다. 화상은 사용자, 사용자의 물리적인 특징 및 물리적인 특징의 상태를 식별하도록 처리될 수 있다. 예를 들어, 컬러 카메라(410)에 의해 캡쳐된 두 명의 플레이어들의 화상은 영역(420) 내의 두 명의 사용자를 식별하고, 사용자의 머리와 눈을 포함하는 사용자의 물리적인 특징을 식별하고, 각각의 사용자가 그들의 눈이 초점을 맞추고 있는 곳과 같은 각각의 사용자의 눈의 상태를 식별하도록 처리될 수 있다. IR 화상 시스템(415)은 또한 화상을 캡쳐하고 처리할 수 있다. IR 화상 시스템(415)은 저조도 조건에서 영역(425)의 IR 화상을 캡쳐하기 위해 사용될 수 있다. IR 화상은 사용자들의 수, 사용자의 물리적 특징 및 컬러 카메라 화상 처리의 처리와 유사한 특징의 상태를 식별하도록 처리될 수 있다.
도 5는 실행 가능한 소프트웨어 모듈의 예시적인 세트이다. 모듈은 본원에 개시된 본 발명의 다양한 양태를 실시하도록 프로세서에 의해 실시될 수 있다. 특징 검출 모듈(520)은 사용자의 화상의 특징을 검출한다. 예를 들어, 특징 검출 모듈은 화상을 수신하고, 사람의 얼굴의 윤곽을 검출하고, 얼굴 내의 눈을 식별할 수 있다. 모듈(520)은 사람의 얼굴을 식별하기 위해 수신된 화상의 부분들을 비교하기 위해 하나 이상의 얼굴의 템플릿을 가질 수 있다. 템플릿은 특징 라이브러리 모듈(540)에 저장될 수 있다. 소정의 실시예에서, 특징 검출 모듈(540)은 두 개 이상의 연속적인 화상들 사이에서 움직임을 검출할 수 있고, 사용자를 검출하기 위해 픽셀 컬러레이션(pixel coloration)의 변화를 사용할 수 있다. 사용자의 머리가 검출되면, 특징 검출 모듈은 사용자의 눈을 검출하기 위해 머리 내의 특징을 분석한다. 눈은 눈과 인접한 코와 같은 특징을 검출하거나, 사용자의 머리의 꼭대기 아래로 소정의 거리에 있는 사용자의 눈을 판정하거나, 또는 해당 기술 분야에 일반적으로 공지된 다른 알고리즘을 실행함으로써 식별될 수 있다. 물리적인 특징에 추가하여, 예를 들어 사용자가 컴퓨팅 장치로부터 떨어져 있는 거리와 같은 다른 특징들도 판정될 수 있다. 소정의 실시예에서, 검출된 사람이 컴퓨팅 장치로부터 소정의 임계 거리보다 멀리 있으면, 사용자는 입력을 제공할 수 있다고 고려되어서는 안될 것이다.
사용자 포커싱 모듈(510)은 사용자가 초점을 맞추는 곳을 검출하도록 사용자의 눈의 화상을 분석할 수 있다. 사람 눈의 전방은 검은 동공, 동공 주변의 색이 있는 홍채, 그리고 홍채 둘레의 백색 공막을 포함한다. 컴퓨팅 장치는 사용자가 위, 아래, 좌측 및 우측에 초점을 맞추고 있는 지를 판정하기 위해 공막의 영역과 위치를 분석할 수 있다. 예를 들어, 사용자의 눈이 그의 우측의 대상물에 초점을 맞추는 경우, 사용자의 눈의 캡쳐된 화상은, 눈이 좌측으로 이동하기 때문에, 좌측보다 화상에서 눈의 우측(사용자의 좌측)의 사용자의 공막이 보다 많이 보여질 것이다.
입력 포커싱 모듈(530)은 입력을 수신하고 입력을 처리한다. 입력은 터치 스크린 상의 지정된 핫 스팟, 버튼, 무선 신호 또는 소정의 다른 입력의 선택일 수 있다. 입력 포커싱 모듈(530)은 최근의 입력을 제공한 사용자를 식별하는 다른 모듈로부터의 정보를 수신할 수 있다. 입력 처리 모듈은 식별된 사용자의 액션으로서 입력을 처리한다.
특징 라이브러리 모듈(540)은 화상을 처리하고, 사용자의 눈이 초점을 맞추는 방향과 같은 사용자의 물리적 특징과 특징 상태를 식별하기 위해 사용되는 얼굴 및 눈 마스크, 템플릿, 모델, 및 다른 데이터를 포함할 수 있다.
도 6은 복수의 사용자들 중 한 명으로부터의 입력을 식별하기 위한 예시적인 방법의 흐름도이다. 도 6의 방법은 임의의 컴퓨팅 장치(120 및 125, 130 및 140)에 의해 행해질 수 있다. 참가하는 사용자들은 단계 610에서 컴퓨팅 장치에 의해 식별된다. 참가하는 사용자들은 컴퓨팅 장치에 입력을 제공할 수 있는 사람들이다. 참가하는 사용자들은 시스템 또는 화상 처리에 의해 등록됨으로써 식별될 수 있다. 등록은 어떤 종류의 식별 정보를 제공하는 각각의 사용자를 포함할 수 있거나, 컴퓨팅 장치에 이들이 존재한다는 식별을 포함할 수 있다. 화상 처리는 사용자가 입력을 제공할 수 있는 영역의 하나 이상의 화상을 캡쳐하고, 사람 머리의 수를 검출하고, 각각 검출된 머리에 값을 할당하는 것을 포함할 수 있다. 소정의 실시예에서, 등록 및 화상 처리는 참가하는 사용자들을 식별하는데 사용할 수 있다.
화상 처리를 통해 사람 머리를 검출하기 위한 방법은 사람 머리를 닮은 형상에 대한 화상을 분석하는 것으로 시작될 수 있다. 컨트라스트 검출, 운동 검출 및 다른 기술을 이용하여 형상이 식별될 수 있다. 잠재적인 머리 형상이 검출되면, 머리 후보는 대부분의 사람 머리에 공통인 특징에 대해 분석된다. 특징은 코, 입 또는 눈이 존재할 수 있는 컨트라스트, 쉐이딩 또는 다른 특징을 포함할 수 있다. 머리 후보가 특징의 임계 수준을 만족하면, 머리 후보는 참가하는 사용자로서 식별될 수 있다. 화상에서 얼굴을 검출하기 위한 다른 방법이 해당 기술 분야에 공지되어 있다.
각각의 사용자의 눈 영역은 단계 615에서 위치된다. 참가하는 사용자의 머리의 눈 영역의 검출은 눈이 위치되는 머리 내의 대략적인 영역에서의 컨트라스트, 밝기 또는 다른 화상 특징 수준을 검색하는 것을 포함할 수 있다. 사용자 눈이 위치되면, 단계 620에서 각각의 참가하는 사용자에 대해 눈 거동이 계측(calibrate)될 수 있다. 계측은 스크린 상에서 참가하는 사용자에게 컴퓨팅 장치로부터 사용자의 얼굴이 위치하는 거리 범위를 나타내는 지시와, 스크린 상의 특정 지점 또는 다른 방향을 바라보라는 지시를 포함할 수 있다. 계측은 컴퓨팅 장치의 표시부 상에서 상이한 지점 또는 핫 스팟을 사용자가 바라보게 하는 것과, 사용자의 눈의 초점이 알려졌을 때 사용자의 눈의 화상을 분석하는 것을 포함할 수 있다. 예를 들어, 도 7a 내지 7c는 사용자의 눈이 상이한 영역에서 초점이 맞춰질 때의 사용자의 머리와 눈을 나타낸다. 도 7a는 눈(714, 712)을 갖는 사용자 머리(710)를 도시한다. 눈(714)은 홍채, 동공 영역(716) 및 공막 영역(718, 720)을 포함한다. 눈(712)은 홍채, 동공 영역(722) 및 공막 영역(724, 726)을 포함한다. 홍채와 동공 영역의 좌측 및 우측에 대한 공막 영역들이 대략 동일할 때, 사용자는 바로 정면으로 초점을 맞추고 있다고 판정될 수 있다. 공막의 영역이 동공 및 홍채의 좌측에 대한 공막의 영역보다 홍채 및 동공 영역의 우측에서 보다 큰 경우, 사용자의 초점은 사용자의 우측을 향하는 것일 수 있다(도 7c). 마찬가지로, 공막의 영역이 동공 및 홍채의 좌측 및 위에 대한 공막 영역보다 홍채 및 동공 영역 우측 및 아래에 대해 보다 큰 경우, 사용자의 초점은 사용자의 우측 상부를 향하는 것일 수 있다(도 7d). 초점 정도 및 대응하는 초점은 계측 동안의 사용자의 눈의 일련의 측정을 취하는 것으로부터 유도될 수 있다. 사용자의 동공, 공막 및 다른 대상물의 영역 및 위치는 사용자의 눈을 순차적으로 추적하기 위해 기록될 수 있다.
사용자 눈의 추적은 단계 625에서 시작된다. 추적은 사용자의 연속하는 화상을 캡쳐하는 것을 수반한다. 화상들은, 추적되고 사용자 눈의 위치와 초점의 지식을 유지하도록 처리될 수 있다. 소정의 실시예에서, 화상은 반복적으로 캡쳐되어 저장될 수 있지만, 임의의 사용자로부터 입력이 수신되지 않으면 폐기된다.
입력은 단계 630에서 스크린 핫 스팟에서 검출된다. 입력은, 컴퓨팅 콘솔(120), 태블릿 컴퓨터(220) 및 모바일 장치(320) 중 하나에 대해 터치 스크린 상의 핫 스팟을 사용자가 터치하는 것을 포함할 수 있다. 핫 스팟은 글자, 볼, 가상 아이템, 문자 또는 다른 대상물과 같은, 스크린 상에 표시되는 특정 화상 대상물일 수 있다. 핫 스팟의 입력 위치에 눈의 초점을 맞춘 사용자는 단계 635에서 식별된다. 눈의 위치는 계측 프로세스에 대해 전술한 바와 같이 판정될 수 있다. 특정 입력에 대응하는 사용자는 다양한 방식으로 식별될 수 있다. 예를 들어, 각각의 사용자용의 눈 초점이 판정될 수 있고, 핫 스팟에 가장 근접하게 눈의 초점을 맞춘 사용자가 선택될 수 있다. 또는, 입력이 수신된 핫 스팟의 임계 거리 내에 눈의 초점이 검출될 때까지 각각의 사용자의 눈의 초점이 판정될 수 있다. 소정의 실시예에서, 입력의 가능성은 이들의 입력 이력, 이들의 눈 초점, 사용자로부터 입력이 예상되었는지 여부, 등에 기초하여 각각의 사용자에 대해 판정될 수 있다. 입력이 식별된 사용자와 연관되면, 핫 스팟에서의 입력은 단계 640에서 특정 사용자에 대해 처리될 수 있다.
도 8은 다수의 사용자들 중 한 명으로부터의 입력을 수신하는 예시적인 컴퓨팅 장치의 블록도이다. 컴퓨팅 장치(800)는 컬러 카메라(810)와 IR 카메라(815)를 갖는 카메라 시스템(805)(사용자 검출 시스템)을 포함한다. 사용자(830, 835)는 각각 컬러 카메라(810)의 범위(820)와 IR 카메라(815)의 범위(825)의 범위(820)에 있다. 컴퓨팅 장치(800)는 핫 스팟(840, 845, 850, 855, 860)을 갖는 터치 스크린을 포함한다. 계측 동안, 시스템은 사용자에게 시스템이 사용자 눈의 화상을 캡쳐하는 동안 특정 핫 스팟에 초점을 맞추라고 요구하는 문자를 표시할 수 있다.
입력이 수신되면, 컴퓨팅 장치(800)는 사용자 초점을 판정하고, 입력을 수신한 핫 스팟 상의 사용자 초점으로부터 얻어진 입력을 식별한다. 예를 들어, 사용자(835)는 핫 스팟(855)에서 스크린을 누름으로써 핫 스팟(855)에서 입력을 제공한다. 입력을 수신하면, 처리 장치는 컬러 카메라(810), IR 카메라(815) 또는 이들 모두로부터 캡쳐된 화상을 분석할 것이다. 화상들로부터, 사용자 초점이 판정될 것이다. 화상의 처리가 끝나면, 사용자(830)가 초점(870)을 갖는다고 판정되고, 사용자(835)가 핫 스팟(855)에 대응하는 초점(880)을 갖는다고 판정되어, 핫 스팟(855)에서 수신된 입력이 사용자(835)와 연관될 것이다. 사용자 눈이 초점을 맞춘다고 판정됨으로써, 복수의 플레이어에 의해 사용되는 장치를 통해 수신된 입력은 복수의 플레이어 중 한 명과 연관될 수 있다.
도 9는 현재의 기술과 함께 사용하기 위한 컴퓨팅 장치를 실시하기 위해 사용될 수 있는 예시적인 컴퓨팅 시스템(900)을 도시한다. 도 9의 시스템(900)은 컴퓨팅 콘솔(120), 태블릿 컴퓨터(220) 및 모바일 장치(320)과 유사한 맥락에서 실시될 수 있다. 도 9의 컴퓨팅 시스템(900)은 하나 이상의 카메라(910), 프로세서(915) 및 메모리(920)를 포함한다. 주 메모리(920)는 프로세서(915)에 의해 실행되는 지시 및 데이터를 부분적으로 저장한다. 주 메모리(920)는 조작시에 실행 가능한 코드를 저장할 수 있다. 도 9의 시스템(900)은 또한 대용량 기억 장치(925), 휴대용 저장 매체 드라이브(들)(930), IR 장치(935), 출력 장치(940), 사용자 입력 장치(945), 표시부(950) 및 주변 장치(955)를 포함한다.
카메라(910)는 화상 처리 분석에 적합한 일련의 사진들을 캡쳐할 수 있는 하나 이상의 카메라를 포함할 수 있다. 사진들은 시스템에 대해 외부적으로 장착되는 컴퓨팅 시스템 내에 매립될 수 있다. 카메라(910)에 의해 캡쳐된 화상은 버스(960)를 통해 프로세서(915)에 제공될 수 있고, 이는 특징 검출을 위해 화상을 분석하도록 메모리(920) 내에 저장된 모듈들을 실행시킬 수 있다.
IR 장치(935)는 매우 저조도인 조건에서 화상을 캡쳐할 수 있는 IR 카메라를 포함할 수 있다. IR 화상은 사용자 특징 검출을 위해 컬러 카메라 화상과 동일하게 처리될 수 있다. IR 장치(935)로부터 캡쳐된 화상은 처리하기 위해 프로세서(915)로 버스(960)를 통해 보내어질 수 있다.
도 9에 도시된 컴포넌트들은 단일 버스(990)를 통해 접속되는 것으로 도시되어 있다. 그러나, 컴포넌트들은 하나 이상의 데이터 전송 수단을 통해 접속될 수 있다. 예를 들어, 프로세서 유닛(915)과 주 메모리(920)는 로컬 마이크로프로세서 버스를 통해 접속될 수 있고, 대용량 저장 장치(925), 주변 장치(들)(955), 휴대용 저장 장치(930) 및 표시 시스템(950)은 하나 이상의 입출력(I/O) 버스를 통해 접속될 수 있다.
자기 디스크 드라이브 또는 광학 디스크 드라이브로 실시될 수 있는 대용량 저장 장치(925)는 프로세서 유닛(915)에 의해 사용되기 위한 데이터 및 지시를 저장하기 위한 불휘발성 저장 장치이다. 대용량 저장 장치(925)는 주 메모리(920) 내로 소프트웨어를 로딩하기 위한 목적으로, 본 발명의 실시예를 실행하기 위한 시스템 소프트웨어를 저장할 수 있다.
휴대용 저장 장치(930)는, 도 9의 컴퓨터 시스템(900)에 대해 데이터와 코드를 입출력하기 위한 플로피 디스크, 컴팩트 디스크 또는 디지털 비디오 디스크와 같은 휴대용 불휘발성 저장 매체와 함께 동작된다. 본 발명의 실시예를 실행하기 위한 시스템 소프트웨어는 이러한 휴대용 매체에 저장될 수 있고, 휴대용 저장 장치(930)를 통해 컴퓨터 시스템(900)에 입력될 수 있다.
입력 장치(945)는 사용자 인터페이스의 일부를 제공한다. 입력 장치(945)는 알파벳-숫자와 다른 정보를 입력하기 위한 키보드와 같은 알파벳-숫자 키패드 또는 마우스, 트랙볼, 스타일러스 또는 커서 방향키와 같은 포인팅 장치를 포함할 수 있다. 또한, 도 9에 도시된 시스템(900)은 출력 장치(940)를 포함한다. 적절한 출력 장치의 예는 스피커, 프린터, 네트워크 인터페이스 및 모니터를 포함한다.
표시 시스템(950)은 액정 표시부(LCD) 또는 다른 적절한 표시 장치를 포함할 수 있다. 표시 시스템(950)은 문자 및 그래픽 정보를 수신하고, 표시 장치에 출력하기 위해 이러한 정보를 처리한다. 표시 시스템(950)은 표시부의 표면 상의 터치를 검출함으로써 입력을 수신하는 터치 스크린 장치를 포함할 수 있다. 터치를 수신하는 픽셀은 버스(960)를 통해 프로세서(915)와 통신한다.
주변 장치(955)는 컴퓨터 시스템에 대한 추가적인 기능성을 부가하기 위한 임의의 종류의 컴퓨터 지원 장치를 포함할 수 있다. 예를 들어, 주변 장치(들)(955)는 모뎀 또는 라우터를 포함할 수 있다.
도 9의 컴퓨터 시스템(900)에 포함된 컴포넌트는 본 발명의 실시예에서 사용하는데 적합한 컴퓨터 시스템에서 통상적으로 보여지는 것이고, 해당 기술 분야에서 공지된 이러한 컴퓨터 컴포넌트의 광의의 카테고리를 나타내는 것으로 의도된다. 따라서, 도 9의 컴퓨터 시스템(900)은 퍼스널 컴퓨터, 핸드헬드 컴퓨팅 장치, 전화기, 모바일 컴퓨팅 장치, 워크스테이션, 서버, 미니컴퓨터, 메인프레임 컴퓨터 또는 임의의 다른 컴퓨팅 장치일 수 있다. 컴퓨터는 또한 다른 버스 구성, 네트워크 플랫폼, 다중 프로세서 플랫폼 등을 포함할 수 있다. 유닉스, 리눅스, 윈도우즈, 매킨토시 OS, 팜 OS 및 다른 적절한 오퍼레이팅 시스템을 포함하여 다양한 오퍼레이팅 시스템이 사용될 수 있다.
본원의 기술에 대한 전술한 상세한 설명은 도시 및 설명을 목적으로 제공되었다. 개시된 특정한 형태로 본 기술을 한정하거나 제한하는 것으로 의도되지 않는다. 전술한 교시의 견지에서 다수의 변형 및 변경이 가능하다. 개시된 실시예는 본 기술의 원리를 가장 잘 설명하기 위해 선택되었고, 따라서 그의 실제 어플리케이션은 해당 기술 분야의 종사자들이 다양한 실시예에서 기술을 가장 잘 활용하도록 가능하게 되고, 의도된 특정 사용에 적합함에 따라 다양한 변형을 가질 수 있다. 본 기술의 범주는 본원에 첨부된 청구범위에 의해 한정되는 것이 의도된다.

Claims (20)

  1. 장치에 의해 입력을 수신하기 위한 방법으로서,
    상기 장치가 있는 곳에서 물리적으로 복수의 사용자들을 식별하는 단계;
    복수의 물리적으로 존재하는 사용자들 중 제1 사용자로부터 상기 장치에 의한 입력을 수신하는 단계; 및
    상기 입력과 연관된 복수의 사용자들 중 한 명으로부터의 물리적인 상태를 검출하는 단계를 포함하는, 방법.
  2. 청구항 1에 있어서, 상기 입력은 터치 스크린 표시부 상의 입력을 수신하는 것을 포함하는, 방법.
  3. 청구항 1에 있어서, 물리적인 상태를 검출하는 단계는 상기 제1 사용자의 눈들이 핫 스팟에 초점을 맞추는 것을 검출하는 단계를 포함하는, 방법.
  4. 청구항 1에 있어서, 상기 장치가 있는 곳에서 물리적으로 상기 복수의 사용자들 각각의 눈들의 위치를 찾아내는 단계를 더 포함하는, 방법.
  5. 청구항 1에 있어서, 표시부 상의 위치들에 대해 사용자의 눈의 초점을 계측(calibrate)하는 단계를 더 포함하는, 방법.
  6. 청구항 1에 있어서, 상기 입력은 터치 스크린 표시부 상의 핫 스팟에서 검출되고, 상기 제1 사용자의 물리적인 상태는 상기 핫 스팟 상에 눈들의 초점을 맞추는 것을 포함하는, 방법.
  7. 청구항 1에 있어서, 물리적인 상태를 검출하는 단계는 상기 제1 사용자의 화상들을 처리하는 단계를 포함하는, 방법.
  8. 청구항 7에 있어서, 화상들을 처리하는 단계는 상기 사용자의 화상에서 상기 제1 사용자의 공막과 연관된 픽셀들의 하나 이상의 영역들을 식별하는 단계를 포함하는, 방법.
  9. 청구항 1에 있어서, 상기 입력과 연관된 물리적인 상태를 갖는 상기 제1 사용자에 대한 상기 입력을 처리하는 단계를 더 포함하는, 방법.
  10. 입력을 수신하기 위한 방법을 수행하기 위해 프로세서에 의해 실행 가능한 프로그램을 내포한 비일시적 컴퓨터 판독 가능한 저장 매체로서, 상기 방법은,
    장치가 있는 곳에서 물리적으로 복수의 사용자들을 식별하는 단계;
    복수의 물리적으로 존재하는 사용자들 중 제1 사용자로부터 상기 장치에 의한 입력을 수신하는 단계; 및
    상기 입력과 연관된 복수의 사용자들 중 한 명으로부터의 물리적인 상태를 검출하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체.
  11. 청구항 10에 있어서, 상기 입력은 터치 스크린 표시부 상의 입력을 수신하는 것을 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체.
  12. 청구항 10에 있어서, 물리적인 상태를 검출하는 단계는 상기 제1 사용자의 눈들이 핫 스팟에 초점을 맞추는 것을 검출하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체.
  13. 청구항 10에 있어서, 상기 방법은 상기 장치가 있는 곳에서 물리적으로 상기 복수의 사용자들 각각의 눈들의 위치를 찾아내는 단계를 더 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체
  14. 청구항 10에 있어서, 상기 표시부 상의 위치들에 대해 사용자의 눈의 초점을 계측하는 단계를 더 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체.
  15. 청구항 10에 있어서, 상기 입력은 터치 스크린 표시부 상의 핫 스팟에서 검출되고, 상기 제1 사용자의 물리적인 상태는 상기 핫 스팟 상에 눈들의 초점을 맞추는 것을 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체.
  16. 청구항 10에 있어서, 물리적인 상태를 검출하는 단계는 상기 제1 사용자의 화상들을 처리하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체.
  17. 청구항 16에 있어서, 화상들을 처리하는 단계는 상기 사용자의 화상에서 상기 제1 사용자의 공막과 연관된 픽셀들의 하나 이상의 영역들을 식별하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체.
  18. 청구항 10에 있어서, 상기 방법은 상기 입력과 연관된 물리적인 상태를 갖는 상기 제1 사용자에 대한 상기 입력을 처리하는 단계를 더 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체.
  19. 입력을 검출하기 위한 시스템으로서,
    표시 장치;
    컬러 화상 데이터를 캡쳐하고, 상기 화상 데이터를 프로세서에 제공할 수 있는 카메라;
    하나 이상의 모듈들을 실행하도록 구성된 프로세서;
    메모리에 저장되어 있고, 사용자의 물리적인 특징을 검출하도록 구성된 실행 가능한 특징 검출 모듈;
    메모리에 저장되어 있고, 사용자의 눈들의 초점을 검출하도록 구성된 실행 가능한 사용자 초점 검출 모듈; 및
    메모리에 저장되어 있고, 사용자로부터의 입력을 수신하고 처리하도록 구성된 실행 가능한 입력 처리 모듈을 포함하는, 시스템.
  20. 청구항 19에 있어서, 하나 이상의 사용자들의 적외선 화상을 캡쳐하도록 구성된 IR 장치를 더 포함하는, 시스템.
KR1020147030872A 2012-05-04 2013-04-04 눈 추적을 이용한 사용자 입력 처리 KR101705841B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/464,703 US9471763B2 (en) 2012-05-04 2012-05-04 User input processing with eye tracking
US13/464,703 2012-05-04
PCT/US2013/035331 WO2013165646A2 (en) 2012-05-04 2013-04-04 User input processing with eye tracking

Publications (2)

Publication Number Publication Date
KR20150032661A true KR20150032661A (ko) 2015-03-27
KR101705841B1 KR101705841B1 (ko) 2017-02-10

Family

ID=49512152

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147030872A KR101705841B1 (ko) 2012-05-04 2013-04-04 눈 추적을 이용한 사용자 입력 처리

Country Status (9)

Country Link
US (3) US9471763B2 (ko)
EP (1) EP2845077A4 (ko)
JP (1) JP5974165B2 (ko)
KR (1) KR101705841B1 (ko)
CN (1) CN104520799A (ko)
BR (1) BR112014027343B1 (ko)
IN (1) IN2014MN02224A (ko)
RU (1) RU2608462C2 (ko)
WO (1) WO2013165646A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9471763B2 (en) 2012-05-04 2016-10-18 Sony Interactive Entertainment America Llc User input processing with eye tracking
KR101671838B1 (ko) 2015-06-17 2016-11-03 주식회사 비주얼캠프 시선 추적을 이용한 입력 장치

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170097656A1 (en) * 2014-03-18 2017-04-06 Telefonaktiebolaget Lm Ericsson (Publ) Controlling a target device
CN104391567B (zh) * 2014-09-30 2017-10-31 深圳市魔眼科技有限公司 一种基于人眼跟踪的三维全息虚拟物体显示控制方法
CN104383681B (zh) * 2014-10-27 2016-03-30 腾讯科技（深圳）有限公司 游戏进程控制方法、装置和移动终端
CN105159590B (zh) * 2015-08-27 2017-06-23 广东欧珀移动通信有限公司 一种控制用户终端的屏幕的方法及用户终端
EP3353630B1 (en) * 2015-09-24 2021-05-26 Tobii AB Eye-tracking enabled wearable devices
DE102015222388A1 (de) 2015-11-13 2017-05-18 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zum Steuern einer Anzeigeeinrichtung in einem Kraftfahrzeug
CN109726334A (zh) 2016-01-06 2019-05-07 北京京东尚科信息技术有限公司 电子书籍的推送方法和装置
CN106066694A (zh) * 2016-05-30 2016-11-02 维沃移动通信有限公司 一种触摸屏操作响应的控制方法及终端
US10032053B2 (en) * 2016-11-07 2018-07-24 Rockwell Automation Technologies, Inc. Tag based location
CN107092873A (zh) * 2017-04-08 2017-08-25 闲客智能（深圳）科技有限公司 一种眼动方向识别方法及装置
US10474231B2 (en) * 2017-08-16 2019-11-12 Industrial Technology Research Institute Eye tracking apparatus and method thereof
TWI734024B (zh) * 2018-08-28 2021-07-21 財團法人工業技術研究院 指向判斷系統以及指向判斷方法
JP2022515608A (ja) * 2018-12-31 2022-02-21 ガーディアン・グラス・エルエルシー 大面積透明タッチインターフェースにおける視差補正のためのシステム及び／又は方法
US10890992B2 (en) * 2019-03-14 2021-01-12 Ebay Inc. Synchronizing augmented or virtual reality (AR/VR) applications with companion device interfaces
CN110262673A (zh) * 2019-06-26 2019-09-20 广东技术师范大学 一种眼睛控制键盘打字的方法
US11800206B2 (en) * 2019-07-08 2023-10-24 Calumino Pty Ltd. Hybrid cameras
US11156831B2 (en) * 2019-12-31 2021-10-26 Tobii Ab Eye-tracking system and method for pupil detection, associated systems and computer programs

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100225595A1 (en) * 2009-03-03 2010-09-09 Microsoft Corporation Touch discrimination
US20120105490A1 (en) * 2010-11-03 2012-05-03 Research In Motion Limited System and method for controlling a display of a mobile device

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471542A (en) * 1993-09-27 1995-11-28 Ragland; Richard R. Point-of-gaze tracker
JP2000148396A (ja) * 1998-11-06 2000-05-26 Canon Inc 情報入力装置および方法
US6456262B1 (en) * 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
EP1357831A2 (en) * 2001-02-09 2003-11-05 Sensomotoric Instruments GmbH Multidimensional eye tracking and position measurement system
US6637883B1 (en) * 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
TW200622893A (en) * 2004-07-09 2006-07-01 Nokia Corp Cute user interface
JP2006201966A (ja) 2005-01-19 2006-08-03 Oki Electric Ind Co Ltd 端末装置
JP2007089732A (ja) * 2005-09-28 2007-04-12 Aruze Corp 入力装置
JP4649319B2 (ja) 2005-11-21 2011-03-09 日本電信電話株式会社 視線検出装置、視線検出方法、および視線検出プログラム
JP4633043B2 (ja) * 2005-12-27 2011-02-16 パナソニック株式会社 画像処理装置
EP2060590A4 (en) * 2006-08-18 2010-02-24 Kaneka Corp PROCESS FOR PRODUCING BRANCHED VINYL POLYMER WITH FUNCTIONAL GROUP
US7860382B2 (en) * 2006-10-02 2010-12-28 Sony Ericsson Mobile Communications Ab Selecting autofocus area in an image
US8147316B2 (en) * 2006-10-10 2012-04-03 Wms Gaming, Inc. Multi-player, multi-touch table for use in wagering game systems
WO2008115287A2 (en) * 2006-10-18 2008-09-25 Efthimion Enterprises, Inc. Laser assisted microwave plasma spectroscopy
CN101677762B (zh) * 2008-02-28 2012-08-22 松下电器产业株式会社 视线检测装置以及视线检测方法
WO2010030984A1 (en) * 2008-09-12 2010-03-18 Gesturetek, Inc. Orienting a displayed element relative to a user
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
CN101593022B (zh) * 2009-06-30 2011-04-27 华南理工大学 一种基于指端跟踪的快速人机交互方法
EP2309307B1 (en) * 2009-10-08 2020-12-09 Tobii Technology AB Eye tracking using a GPU
US8922480B1 (en) * 2010-03-05 2014-12-30 Amazon Technologies, Inc. Viewer-based device control
JP5305039B2 (ja) * 2010-03-25 2013-10-02 アイシン・エィ・ダブリュ株式会社 表示装置、表示方法、及び表示プログラム
US8982160B2 (en) * 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
JP2012038106A (ja) * 2010-08-06 2012-02-23 Canon Inc 情報処理装置、情報処理方法、およびプログラム
JP5664064B2 (ja) 2010-09-22 2015-02-04 富士通株式会社 視線検出装置および補正係数算出プログラム
US20120081392A1 (en) * 2010-09-30 2012-04-05 Apple Inc. Electronic device operation adjustment based on face detection
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US20130057573A1 (en) * 2011-09-02 2013-03-07 DigitalOptics Corporation Europe Limited Smart Display with Dynamic Face-Based User Preference Settings
KR101797599B1 (ko) * 2011-06-30 2017-11-15 엘지이노텍 주식회사 백라이트 유닛 및 그를 이용한 디스플레이 장치
US20130033524A1 (en) * 2011-08-02 2013-02-07 Chin-Han Wang Method for performing display control in response to eye activities of a user, and associated apparatus
US20130145304A1 (en) * 2011-12-02 2013-06-06 International Business Machines Corporation Confirming input intent using eye tracking
US20130201305A1 (en) * 2012-02-06 2013-08-08 Research In Motion Corporation Division of a graphical display into regions
US9471763B2 (en) 2012-05-04 2016-10-18 Sony Interactive Entertainment America Llc User input processing with eye tracking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100225595A1 (en) * 2009-03-03 2010-09-09 Microsoft Corporation Touch discrimination
US20120105490A1 (en) * 2010-11-03 2012-05-03 Research In Motion Limited System and method for controlling a display of a mobile device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9471763B2 (en) 2012-05-04 2016-10-18 Sony Interactive Entertainment America Llc User input processing with eye tracking
US10496159B2 (en) 2012-05-04 2019-12-03 Sony Interactive Entertainment America Llc User input processing with eye tracking
US11650659B2 (en) 2012-05-04 2023-05-16 Sony Interactive Entertainment LLC User input processing with eye tracking
KR101671838B1 (ko) 2015-06-17 2016-11-03 주식회사 비주얼캠프 시선 추적을 이용한 입력 장치
WO2016204495A1 (ko) * 2015-06-17 2016-12-22 주식회사 비주얼캠프 시선 추적을 이용한 입력 장치
US10241571B2 (en) 2015-06-17 2019-03-26 Visualcamp Co., Ltd. Input device using gaze tracking

Also Published As

Publication number Publication date
US20200249751A1 (en) 2020-08-06
US20170139476A1 (en) 2017-05-18
EP2845077A4 (en) 2016-01-13
RU2014148784A (ru) 2016-06-27
US10496159B2 (en) 2019-12-03
WO2013165646A2 (en) 2013-11-07
US11650659B2 (en) 2023-05-16
EP2845077A2 (en) 2015-03-11
RU2608462C2 (ru) 2017-01-18
US20130293467A1 (en) 2013-11-07
KR101705841B1 (ko) 2017-02-10
US9471763B2 (en) 2016-10-18
BR112014027343B1 (pt) 2021-09-21
BR112014027343A2 (pt) 2017-07-18
WO2013165646A3 (en) 2015-03-26
IN2014MN02224A (ko) 2015-10-09
JP5974165B2 (ja) 2016-08-23
CN104520799A (zh) 2015-04-15
JP2015521312A (ja) 2015-07-27

Similar Documents

Publication Publication Date Title
US11650659B2 (en) User input processing with eye tracking
US10305908B2 (en) Liveness detection
US9489574B2 (en) Apparatus and method for enhancing user recognition
JP5885835B2 (ja) ユーザの眼球の動きによって操作可能なコンピュータ装置、およびそのコンピュータ装置を操作する方法
WO2019100888A1 (zh) 目标对象识别方法、装置、存储介质和电子设备
TWI512645B (zh) 使用深度影像之手勢辨識裝置及方法
CN104364733A (zh) 注视位置检测装置、注视位置检测方法和注视位置检测程序
Chu et al. Hand gesture for taking self portrait
CN114138121B (zh) 用户手势识别方法、装置、系统、存储介质及计算设备
JP5799817B2 (ja) 指位置検出装置、指位置検出方法及び指位置検出用コンピュータプログラム
JPWO2009142098A1 (ja) 画像処理装置、カメラ、画像処理方法およびプログラム
JP2005293061A (ja) ユーザインタフェース装置およびユーザインタフェースプログラム
JP5964603B2 (ja) データ入力装置、及び表示装置
JP6230666B2 (ja) データ入力装置、データ入力方法、及びデータ入力プログラム
Bâce et al. Accurate and robust eye contact detection during everyday mobile device interactions
JP2015184906A (ja) 肌色検出条件決定装置、肌色検出条件決定方法及び肌色検出条件決定用コンピュータプログラム
JP2015170206A (ja) 検出装置および検出方法
JP4972013B2 (ja) 情報提示装置、情報提示方法、情報提示プログラムおよびそのプログラムを記録した記録媒体
US11054941B2 (en) Information processing system, information processing method, and program for correcting operation direction and operation amount
US20150103205A1 (en) Method of controlling digital apparatus and image capture method by recognition of hand shape, and apparatus therefor
JP2020201755A (ja) 集中度計測装置、集中度計測方法、およびプログラム
JP2021096537A (ja) 生体情報取得装置、端末装置、生体情報取得方法、生体情報取得プログラム、及びコンピュータ読み取り可能な記録媒体
JP2022125570A (ja) 指示物体検出装置、指示物体検出方法及び指示物体検出システム
CN117765621A (zh) 活体检测方法、装置及存储介质
CN117133045A (zh) 手势识别方法、装置、设备及介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200129

Year of fee payment: 4