KR101705841B1 - 눈 추적을 이용한 사용자 입력 처리 - Google Patents
눈 추적을 이용한 사용자 입력 처리 Download PDFInfo
- Publication number
- KR101705841B1 KR101705841B1 KR1020147030872A KR20147030872A KR101705841B1 KR 101705841 B1 KR101705841 B1 KR 101705841B1 KR 1020147030872 A KR1020147030872 A KR 1020147030872A KR 20147030872 A KR20147030872 A KR 20147030872A KR 101705841 B1 KR101705841 B1 KR 101705841B1
- Authority
- KR
- South Korea
- Prior art keywords
- users
- eye
- touch
- input
- user
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2133—Verifying human interaction, e.g., Captcha
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
시스템은 다수의 사용자들 중에서 단일 입력 장치를 통해 입력이 제공된 사용자를 판정한다. 기구는 하나 이상의 사용자들의 화상을 캡쳐한다. 입력이 검출되면, 화상들은 입력 장치를 이용하여 입력을 제공한 사용자를 판정하도록 처리될 수 있다. 화상들은 각각의 사용자들의 머리와 눈들을 식별하고, 각각의 사용자들의 눈들에 대한 초점을 판정하도록 처리될 수 있다. 입력 위치에 눈의 초점을 맞춘 사용자는 입력을 제공한 것으로 식별된다. 입력 기구가 터치 스크린인 경우, 터치되는 터치 스크린의 부분에 눈들의 초점을 맞춘 사용자는 입력의 공급원으로서 식별된다.
Description
<관련 특허에 대한 상호 참조>
본 특허 출원은 참조로서 본원에 포함되어 있는, 2012년 5월 4일자로 출원된 US 특허 출원 제13/464,703호를 우선권 주장한다.
본 발명은 일반적으로는 입력 처리 시스템에 관한 것이고, 보다 구체적으로는 화상 처리를 통해 복수의 사용자들로부터의 입력을 처리하는 것에 관한 것이다.
컴퓨팅 시스템 어플리케이션은 사용자 입력을 수신하고, 입력을 처리하고, 처리 결과를 제공함으로써 사용자와 상호 작용을 한다. 시스템이 보다 진보되고 보다 많은 사람들이 기술을 받아들임에 따라, 어플리케이션들은 다수의 사용자들이 동시에 결합되도록 발달되었다. 다수의 사용자들은 동시에 컴퓨팅 시스템과 상호 작용을 할 수 있고, 사용자들은 특정 유저에 연관된 출력을 제공할 수 있다. 예를 들어, 두 명의 사용자들이 컴퓨터 게임을 플레이하기 위해 게임 컨트롤러를 사용할 수 있고, 이 사용자들은 게임 세션 동안 서로에 대해 경쟁하도록 한다. 각각의 사용자는 각각의 게이밍 컨트롤러로 입력을 제공한다.
기술은 컴퓨팅 시스템과의 상이한 종류의 상호작용을 허용하도록 발달하였다. 각각의 유저에 대해 원격 게이밍 컨트롤러로부터의 입력을 수신하는 것 외에도, 예를 들어, 소정의 컴퓨팅 시스템은 터치 스크린과 같은 단일 입력 기구를 활용한다. 한 명의 사용자만이 컴퓨팅 장치와 결합하는 경우, 단일 입력 기구는 단일 사용자로부터의 입력을 수신한다. 다수의 사용자들이 단일 입력 기구로 컴퓨팅 시스템과 결합하는 경우, 어느 사용자가 입력을 제공하는 것을 판정하는 것은 매우 어렵다.
다수의 사용자들이 쉽고 효율적으로 단일 입력 기구를 사용하여 컴퓨팅 장치와 상호 작용할 수 있는 시스템에 대한 해당 기술 분야의 요구가 있다.
실시예에서, 성능, 기능, 내용 또는 사업 적합성. 기술의 학습, 효율적인 모니터링 및 자원 관리에 기초하여, 본 시스템은 매우 낮은 오버헤드(overhead)를 갖는 웹 어플리케이션의 아우트라이어(outlier)용의 데이터를 캡쳐하고 아우트라이어용의 정보의 분석을 제공한다.
실시예에서, 우선 장치가 있는 곳에서 물리적으로 복수의 사용자들을 식별함으로써 입력이 수신될 수 있다. 복수의 물리적으로 존재하는 사용자들 중에서 제1 사용자로부터의 입력을 장치에 의해 수신할 수 있다. 입력과 연관된 복수의 사용자들 중 하나의 사용자들로부터 물리적 상태가 검출될 수 있다.
실시예에서, 입력을 검출하기 위한 시스템은 표시 장치, 카메라, 프로세서 및 메모리에 저장되고 프로세서에 의해 실행 가능한 모듈을 포함할 수 있다. 카메라는 컬러 화상 데이터를 캡쳐해서 프로세서에 화상 데이터를 제공할 수 있다. 특징 검출 모듈은 사용자의 물리적인 특징을 검출하도록 실행 가능하다. 사용자 초점 검출 모듈은 사용자의 눈의 초점을 검출한다. 입력 처리 모듈은 사용자로부터의 입력을 수신하고 처리한다.
도 1은 컴퓨팅 콘솔의 터치 스크린을 통해 입력을 수신하기 위한 예시적인 시스템의 블록도.
도 2는 태블릿 컴퓨터의 터치 스크린을 통해 입력을 수신하기 위한 예시적인 시스템의 블록도.
도 3은 모바일 장치의 터치 스크린을 통해 입력을 수신하기 위한 예시적인 시스템의 블록도.
도 4는 사용자 검출 기구를 갖는 예시적인 컴퓨팅 장치.
도 5는 실행 가능한 소프트웨어 모듈의 예시적인 세트.
도 6은 복수의 사용자들 중 한명의 사용자로부터의 입력을 식별하기 위한 예시적인 방법의 흐름도.
도 7a 및 7b는 사용자 눈의 예시적인 화상.
도 8은 다수의 사용자들 중 한 명으로부터의 입력을 수신하기 위한 예시적인 컴퓨팅 장치의 블록도.
도 9는 컴퓨팅 장치를 실시하기 위한 예시적인 시스템의 블록도.
도 2는 태블릿 컴퓨터의 터치 스크린을 통해 입력을 수신하기 위한 예시적인 시스템의 블록도.
도 3은 모바일 장치의 터치 스크린을 통해 입력을 수신하기 위한 예시적인 시스템의 블록도.
도 4는 사용자 검출 기구를 갖는 예시적인 컴퓨팅 장치.
도 5는 실행 가능한 소프트웨어 모듈의 예시적인 세트.
도 6은 복수의 사용자들 중 한명의 사용자로부터의 입력을 식별하기 위한 예시적인 방법의 흐름도.
도 7a 및 7b는 사용자 눈의 예시적인 화상.
도 8은 다수의 사용자들 중 한 명으로부터의 입력을 수신하기 위한 예시적인 컴퓨팅 장치의 블록도.
도 9는 컴퓨팅 장치를 실시하기 위한 예시적인 시스템의 블록도.
본 발명의 실시예는 단일 입력 장치를 통해 다수의 사용자들의 사용자가 입력을 제공하는 것을 판정한다. 컴퓨팅 시스템은 한 명 이상의 사용자의 화상들을 캡쳐하기 위한 기구를 포함할 수 있다. 화상들은 입력 장치를 사용하여 입력을 제공하는 사용자를 판정하도록 처리될 수 있다. 예를 들어, 화상들은 각각의 사용자의 머리와 눈을 식별하고, 각각의 사용자의 눈에 대한 초점을 판정하도록 처리될 수 있다. 입력 장치에 눈의 초점을 맞추고 있는 사용자는 입력을 제공하는 것으로 식별된다. 입력 기구가 터치 스크린일 수 있는 실시예에서, 터치되는 터치 스크린 부분에 눈의 초점을 맞추고 있는 사용자는 입력을 제공하는 것으로 식별된다.
본 발명의 실시예는 몇몇 종류의 컴퓨팅 장치와 함께 사용될 수 있다. 도 1은 컴퓨팅 콘솔의 터치 스크린을 통해 입력을 수신하기 위한 예시적인 시스템의 블록도이다. 컴퓨팅 콘솔(125)은 터치 스크린(120)에 표시하기 위한 화상 데이터를 제공한다. 터치 스크린(120)은 터치 입력을 수신하고 컴퓨팅 콘솔(125)에 입력을 제공할 수 있다. 컴퓨팅 콘솔은 입력을 수신하고, 입력을 처리하여 새로운 화상 데이터를 생성하고, 터치 스크린(120)에 화상 데이터를 제공할 수 있다. 임의의 사용자들(105, 110)이 예를 들어 터치 스크린(120)을 터치함으로써 컴퓨팅 콘솔(125)에 입력을 제공할 수 있다. 본 발명은 터치 스크린을 터치하는 사용자를 판정하고 이에 따라 입력을 처리할 수 있다. 도 2는 태블릿 컴퓨터(130)의 터치 스크린을 통해 입력을 수신하기 위한 예시적인 시스템의 블록도이다. 사용자들(105, 110)은 태블릿의 터치 스크린을 이용하여 태블릿 컴퓨터(130)에 입력을 각각 제공할 수 있다. 본 발명의 실시예는 태블릿 컴퓨터(130)에 입력을 제공한 사용자들(105, 110)을 판정하고 이에 따라 입력을 처리할 수 있다. 도 3은 모바일 장치의 터치 스크린을 통해 입력을 수신하기 위한 예시적인 시스템의 블록도이다. 사용자들(105, 110)은 터치 스크린 또는 다른 입력을 통해 모바일 장치(140)에 입력을 각각 제공할 수 있다. 본 발명은 모바일 장치(140)에 입력을 제공한 사용자를 판정하여 그 사용자에 대한 입력을 처리할 수 있다.
도 4는 사용자 검출 기구(405)를 갖는 예시적인 컴퓨팅 장치이다. 사용자 검출 기구(405)는 컴퓨팅 콘솔, 태블릿 컴퓨터, 모바일 장치 또는 다른 입력 장치와 함께 사용될 수 있다. 사용자 검출 기구는 컬러 카메라(410) 및 적외선(IR) 카메라(415)를 포함한다. 컬러 카메라(410)는 컴퓨팅 장치 부근의 영역(420)의 화상을 캡쳐할 수 있다. 화상은 사용자, 사용자의 물리적인 특징 및 물리적인 특징의 상태를 식별하도록 처리될 수 있다. 예를 들어, 컬러 카메라(410)에 의해 캡쳐된 두 명의 플레이어들의 화상은 영역(420) 내의 두 명의 사용자를 식별하고, 사용자의 머리와 눈을 포함하는 사용자의 물리적인 특징을 식별하고, 각각의 사용자가 그들의 눈이 초점을 맞추고 있는 곳과 같은 각각의 사용자의 눈의 상태를 식별하도록 처리될 수 있다. IR 화상 시스템(415)은 또한 화상을 캡쳐하고 처리할 수 있다. IR 화상 시스템(415)은 저조도 조건에서 영역(425)의 IR 화상을 캡쳐하기 위해 사용될 수 있다. IR 화상은 사용자들의 수, 사용자의 물리적 특징 및 컬러 카메라 화상 처리의 처리와 유사한 특징의 상태를 식별하도록 처리될 수 있다.
도 5는 실행 가능한 소프트웨어 모듈의 예시적인 세트이다. 모듈은 본원에 개시된 본 발명의 다양한 양태를 실시하도록 프로세서에 의해 실시될 수 있다. 특징 검출 모듈(520)은 사용자의 화상의 특징을 검출한다. 예를 들어, 특징 검출 모듈은 화상을 수신하고, 사람의 얼굴의 윤곽을 검출하고, 얼굴 내의 눈을 식별할 수 있다. 모듈(520)은 사람의 얼굴을 식별하기 위해 수신된 화상의 부분들을 비교하기 위해 하나 이상의 얼굴의 템플릿을 가질 수 있다. 템플릿은 특징 라이브러리 모듈(540)에 저장될 수 있다. 소정의 실시예에서, 특징 검출 모듈(540)은 두 개 이상의 연속적인 화상들 사이에서 움직임을 검출할 수 있고, 사용자를 검출하기 위해 픽셀 컬러레이션(pixel coloration)의 변화를 사용할 수 있다. 사용자의 머리가 검출되면, 특징 검출 모듈은 사용자의 눈을 검출하기 위해 머리 내의 특징을 분석한다. 눈은 눈과 인접한 코와 같은 특징을 검출하거나, 사용자의 머리의 꼭대기 아래로 소정의 거리에 있는 사용자의 눈을 판정하거나, 또는 해당 기술 분야에 일반적으로 공지된 다른 알고리즘을 실행함으로써 식별될 수 있다. 물리적인 특징에 추가하여, 예를 들어 사용자가 컴퓨팅 장치로부터 떨어져 있는 거리와 같은 다른 특징들도 판정될 수 있다. 소정의 실시예에서, 검출된 사람이 컴퓨팅 장치로부터 소정의 임계 거리보다 멀리 있으면, 사용자는 입력을 제공할 수 있다고 고려되어서는 안될 것이다.
사용자 포커싱 모듈(510)은 사용자가 초점을 맞추는 곳을 검출하도록 사용자의 눈의 화상을 분석할 수 있다. 사람 눈의 전방은 검은 동공, 동공 주변의 색이 있는 홍채, 그리고 홍채 둘레의 백색 공막을 포함한다. 컴퓨팅 장치는 사용자가 위, 아래, 좌측 및 우측에 초점을 맞추고 있는 지를 판정하기 위해 공막의 영역과 위치를 분석할 수 있다. 예를 들어, 사용자의 눈이 그의 우측의 대상물에 초점을 맞추는 경우, 사용자의 눈의 캡쳐된 화상은, 눈이 좌측으로 이동하기 때문에, 좌측보다 화상에서 눈의 우측(사용자의 좌측)의 사용자의 공막이 보다 많이 보여질 것이다.
입력 포커싱 모듈(530)은 입력을 수신하고 입력을 처리한다. 입력은 터치 스크린 상의 지정된 핫 스팟, 버튼, 무선 신호 또는 소정의 다른 입력의 선택일 수 있다. 입력 포커싱 모듈(530)은 최근의 입력을 제공한 사용자를 식별하는 다른 모듈로부터의 정보를 수신할 수 있다. 입력 처리 모듈은 식별된 사용자의 액션으로서 입력을 처리한다.
특징 라이브러리 모듈(540)은 화상을 처리하고, 사용자의 눈이 초점을 맞추는 방향과 같은 사용자의 물리적 특징과 특징 상태를 식별하기 위해 사용되는 얼굴 및 눈 마스크, 템플릿, 모델, 및 다른 데이터를 포함할 수 있다.
도 6은 복수의 사용자들 중 한 명으로부터의 입력을 식별하기 위한 예시적인 방법의 흐름도이다. 도 6의 방법은 임의의 컴퓨팅 장치(120 및 125, 130 및 140)에 의해 행해질 수 있다. 참가하는 사용자들은 단계 610에서 컴퓨팅 장치에 의해 식별된다. 참가하는 사용자들은 컴퓨팅 장치에 입력을 제공할 수 있는 사람들이다. 참가하는 사용자들은 시스템 또는 화상 처리에 의해 등록됨으로써 식별될 수 있다. 등록은 어떤 종류의 식별 정보를 제공하는 각각의 사용자를 포함할 수 있거나, 컴퓨팅 장치에 이들이 존재한다는 식별을 포함할 수 있다. 화상 처리는 사용자가 입력을 제공할 수 있는 영역의 하나 이상의 화상을 캡쳐하고, 사람 머리의 수를 검출하고, 각각 검출된 머리에 값을 할당하는 것을 포함할 수 있다. 소정의 실시예에서, 등록 및 화상 처리는 참가하는 사용자들을 식별하는데 사용할 수 있다.
화상 처리를 통해 사람 머리를 검출하기 위한 방법은 사람 머리를 닮은 형상에 대한 화상을 분석하는 것으로 시작될 수 있다. 컨트라스트 검출, 운동 검출 및 다른 기술을 이용하여 형상이 식별될 수 있다. 잠재적인 머리 형상이 검출되면, 머리 후보는 대부분의 사람 머리에 공통인 특징에 대해 분석된다. 특징은 코, 입 또는 눈이 존재할 수 있는 컨트라스트, 쉐이딩 또는 다른 특징을 포함할 수 있다. 머리 후보가 특징의 임계 수준을 만족하면, 머리 후보는 참가하는 사용자로서 식별될 수 있다. 화상에서 얼굴을 검출하기 위한 다른 방법이 해당 기술 분야에 공지되어 있다.
각각의 사용자의 눈 영역은 단계 615에서 위치된다. 참가하는 사용자의 머리의 눈 영역의 검출은 눈이 위치되는 머리 내의 대략적인 영역에서의 컨트라스트, 밝기 또는 다른 화상 특징 수준을 검색하는 것을 포함할 수 있다. 사용자 눈이 위치되면, 단계 620에서 각각의 참가하는 사용자에 대해 눈 거동이 계측(calibrate)될 수 있다. 계측은 스크린 상에서 참가하는 사용자에게 컴퓨팅 장치로부터 사용자의 얼굴이 위치하는 거리 범위를 나타내는 지시와, 스크린 상의 특정 지점 또는 다른 방향을 바라보라는 지시를 포함할 수 있다. 계측은 컴퓨팅 장치의 표시부 상에서 상이한 지점 또는 핫 스팟을 사용자가 바라보게 하는 것과, 사용자의 눈의 초점이 알려졌을 때 사용자의 눈의 화상을 분석하는 것을 포함할 수 있다. 예를 들어, 도 7a 내지 7c는 사용자의 눈이 상이한 영역에서 초점이 맞춰질 때의 사용자의 머리와 눈을 나타낸다. 도 7a는 눈(714, 712)을 갖는 사용자 머리(710)를 도시한다. 눈(714)은 홍채, 동공 영역(716) 및 공막 영역(718, 720)을 포함한다. 눈(712)은 홍채, 동공 영역(722) 및 공막 영역(724, 726)을 포함한다. 홍채와 동공 영역의 좌측 및 우측에 대한 공막 영역들이 대략 동일할 때, 사용자는 바로 정면으로 초점을 맞추고 있다고 판정될 수 있다. 공막의 영역이 동공 및 홍채의 좌측에 대한 공막의 영역보다 홍채 및 동공 영역의 우측에서 보다 큰 경우, 사용자의 초점은 사용자의 우측을 향하는 것일 수 있다(도 7c). 마찬가지로, 공막의 영역이 동공 및 홍채의 좌측 및 위에 대한 공막 영역보다 홍채 및 동공 영역 우측 및 아래에 대해 보다 큰 경우, 사용자의 초점은 사용자의 우측 상부를 향하는 것일 수 있다(도 7d). 초점 정도 및 대응하는 초점은 계측 동안의 사용자의 눈의 일련의 측정을 취하는 것으로부터 유도될 수 있다. 사용자의 동공, 공막 및 다른 대상물의 영역 및 위치는 사용자의 눈을 순차적으로 추적하기 위해 기록될 수 있다.
사용자 눈의 추적은 단계 625에서 시작된다. 추적은 사용자의 연속하는 화상을 캡쳐하는 것을 수반한다. 화상들은, 추적되고 사용자 눈의 위치와 초점의 지식을 유지하도록 처리될 수 있다. 소정의 실시예에서, 화상은 반복적으로 캡쳐되어 저장될 수 있지만, 임의의 사용자로부터 입력이 수신되지 않으면 폐기된다.
입력은 단계 630에서 스크린 핫 스팟에서 검출된다. 입력은, 컴퓨팅 콘솔(120), 태블릿 컴퓨터(220) 및 모바일 장치(320) 중 하나에 대해 터치 스크린 상의 핫 스팟을 사용자가 터치하는 것을 포함할 수 있다. 핫 스팟은 글자, 볼, 가상 아이템, 문자 또는 다른 대상물과 같은, 스크린 상에 표시되는 특정 화상 대상물일 수 있다. 핫 스팟의 입력 위치에 눈의 초점을 맞춘 사용자는 단계 635에서 식별된다. 눈의 위치는 계측 프로세스에 대해 전술한 바와 같이 판정될 수 있다. 특정 입력에 대응하는 사용자는 다양한 방식으로 식별될 수 있다. 예를 들어, 각각의 사용자용의 눈 초점이 판정될 수 있고, 핫 스팟에 가장 근접하게 눈의 초점을 맞춘 사용자가 선택될 수 있다. 또는, 입력이 수신된 핫 스팟의 임계 거리 내에 눈의 초점이 검출될 때까지 각각의 사용자의 눈의 초점이 판정될 수 있다. 소정의 실시예에서, 입력의 가능성은 이들의 입력 이력, 이들의 눈 초점, 사용자로부터 입력이 예상되었는지 여부, 등에 기초하여 각각의 사용자에 대해 판정될 수 있다. 입력이 식별된 사용자와 연관되면, 핫 스팟에서의 입력은 단계 640에서 특정 사용자에 대해 처리될 수 있다.
도 8은 다수의 사용자들 중 한 명으로부터의 입력을 수신하는 예시적인 컴퓨팅 장치의 블록도이다. 컴퓨팅 장치(800)는 컬러 카메라(810)와 IR 카메라(815)를 갖는 카메라 시스템(805)(사용자 검출 시스템)을 포함한다. 사용자(830, 835)는 각각 컬러 카메라(810)의 범위(820)와 IR 카메라(815)의 범위(825)의 범위(820)에 있다. 컴퓨팅 장치(800)는 핫 스팟(840, 845, 850, 855, 860)을 갖는 터치 스크린을 포함한다. 계측 동안, 시스템은 사용자에게 시스템이 사용자 눈의 화상을 캡쳐하는 동안 특정 핫 스팟에 초점을 맞추라고 요구하는 문자를 표시할 수 있다.
입력이 수신되면, 컴퓨팅 장치(800)는 사용자 초점을 판정하고, 입력을 수신한 핫 스팟 상의 사용자 초점으로부터 얻어진 입력을 식별한다. 예를 들어, 사용자(835)는 핫 스팟(855)에서 스크린을 누름으로써 핫 스팟(855)에서 입력을 제공한다. 입력을 수신하면, 처리 장치는 컬러 카메라(810), IR 카메라(815) 또는 이들 모두로부터 캡쳐된 화상을 분석할 것이다. 화상들로부터, 사용자 초점이 판정될 것이다. 화상의 처리가 끝나면, 사용자(830)가 초점(870)을 갖는다고 판정되고, 사용자(835)가 핫 스팟(855)에 대응하는 초점(880)을 갖는다고 판정되어, 핫 스팟(855)에서 수신된 입력이 사용자(835)와 연관될 것이다. 사용자 눈이 초점을 맞춘다고 판정됨으로써, 복수의 플레이어에 의해 사용되는 장치를 통해 수신된 입력은 복수의 플레이어 중 한 명과 연관될 수 있다.
도 9는 현재의 기술과 함께 사용하기 위한 컴퓨팅 장치를 실시하기 위해 사용될 수 있는 예시적인 컴퓨팅 시스템(900)을 도시한다. 도 9의 시스템(900)은 컴퓨팅 콘솔(120), 태블릿 컴퓨터(220) 및 모바일 장치(320)과 유사한 맥락에서 실시될 수 있다. 도 9의 컴퓨팅 시스템(900)은 하나 이상의 카메라(910), 프로세서(915) 및 메모리(920)를 포함한다. 주 메모리(920)는 프로세서(915)에 의해 실행되는 지시 및 데이터를 부분적으로 저장한다. 주 메모리(920)는 조작시에 실행 가능한 코드를 저장할 수 있다. 도 9의 시스템(900)은 또한 대용량 기억 장치(925), 휴대용 저장 매체 드라이브(들)(930), IR 장치(935), 출력 장치(940), 사용자 입력 장치(945), 표시부(950) 및 주변 장치(955)를 포함한다.
카메라(910)는 화상 처리 분석에 적합한 일련의 사진들을 캡쳐할 수 있는 하나 이상의 카메라를 포함할 수 있다. 사진들은 시스템에 대해 외부적으로 장착되는 컴퓨팅 시스템 내에 매립될 수 있다. 카메라(910)에 의해 캡쳐된 화상은 버스(960)를 통해 프로세서(915)에 제공될 수 있고, 이는 특징 검출을 위해 화상을 분석하도록 메모리(920) 내에 저장된 모듈들을 실행시킬 수 있다.
IR 장치(935)는 매우 저조도인 조건에서 화상을 캡쳐할 수 있는 IR 카메라를 포함할 수 있다. IR 화상은 사용자 특징 검출을 위해 컬러 카메라 화상과 동일하게 처리될 수 있다. IR 장치(935)로부터 캡쳐된 화상은 처리하기 위해 프로세서(915)로 버스(960)를 통해 보내어질 수 있다.
도 9에 도시된 컴포넌트들은 단일 버스(990)를 통해 접속되는 것으로 도시되어 있다. 그러나, 컴포넌트들은 하나 이상의 데이터 전송 수단을 통해 접속될 수 있다. 예를 들어, 프로세서 유닛(915)과 주 메모리(920)는 로컬 마이크로프로세서 버스를 통해 접속될 수 있고, 대용량 저장 장치(925), 주변 장치(들)(955), 휴대용 저장 장치(930) 및 표시 시스템(950)은 하나 이상의 입출력(I/O) 버스를 통해 접속될 수 있다.
자기 디스크 드라이브 또는 광학 디스크 드라이브로 실시될 수 있는 대용량 저장 장치(925)는 프로세서 유닛(915)에 의해 사용되기 위한 데이터 및 지시를 저장하기 위한 불휘발성 저장 장치이다. 대용량 저장 장치(925)는 주 메모리(920) 내로 소프트웨어를 로딩하기 위한 목적으로, 본 발명의 실시예를 실행하기 위한 시스템 소프트웨어를 저장할 수 있다.
휴대용 저장 장치(930)는, 도 9의 컴퓨터 시스템(900)에 대해 데이터와 코드를 입출력하기 위한 플로피 디스크, 컴팩트 디스크 또는 디지털 비디오 디스크와 같은 휴대용 불휘발성 저장 매체와 함께 동작된다. 본 발명의 실시예를 실행하기 위한 시스템 소프트웨어는 이러한 휴대용 매체에 저장될 수 있고, 휴대용 저장 장치(930)를 통해 컴퓨터 시스템(900)에 입력될 수 있다.
입력 장치(945)는 사용자 인터페이스의 일부를 제공한다. 입력 장치(945)는 알파벳-숫자와 다른 정보를 입력하기 위한 키보드와 같은 알파벳-숫자 키패드 또는 마우스, 트랙볼, 스타일러스 또는 커서 방향키와 같은 포인팅 장치를 포함할 수 있다. 또한, 도 9에 도시된 시스템(900)은 출력 장치(940)를 포함한다. 적절한 출력 장치의 예는 스피커, 프린터, 네트워크 인터페이스 및 모니터를 포함한다.
표시 시스템(950)은 액정 표시부(LCD) 또는 다른 적절한 표시 장치를 포함할 수 있다. 표시 시스템(950)은 문자 및 그래픽 정보를 수신하고, 표시 장치에 출력하기 위해 이러한 정보를 처리한다. 표시 시스템(950)은 표시부의 표면 상의 터치를 검출함으로써 입력을 수신하는 터치 스크린 장치를 포함할 수 있다. 터치를 수신하는 픽셀은 버스(960)를 통해 프로세서(915)와 통신한다.
주변 장치(955)는 컴퓨터 시스템에 대한 추가적인 기능성을 부가하기 위한 임의의 종류의 컴퓨터 지원 장치를 포함할 수 있다. 예를 들어, 주변 장치(들)(955)는 모뎀 또는 라우터를 포함할 수 있다.
도 9의 컴퓨터 시스템(900)에 포함된 컴포넌트는 본 발명의 실시예에서 사용하는데 적합한 컴퓨터 시스템에서 통상적으로 보여지는 것이고, 해당 기술 분야에서 공지된 이러한 컴퓨터 컴포넌트의 광의의 카테고리를 나타내는 것으로 의도된다. 따라서, 도 9의 컴퓨터 시스템(900)은 퍼스널 컴퓨터, 핸드헬드 컴퓨팅 장치, 전화기, 모바일 컴퓨팅 장치, 워크스테이션, 서버, 미니컴퓨터, 메인프레임 컴퓨터 또는 임의의 다른 컴퓨팅 장치일 수 있다. 컴퓨터는 또한 다른 버스 구성, 네트워크 플랫폼, 다중 프로세서 플랫폼 등을 포함할 수 있다. 유닉스, 리눅스, 윈도우즈, 매킨토시 OS, 팜 OS 및 다른 적절한 오퍼레이팅 시스템을 포함하여 다양한 오퍼레이팅 시스템이 사용될 수 있다.
본원의 기술에 대한 전술한 상세한 설명은 도시 및 설명을 목적으로 제공되었다. 개시된 특정한 형태로 본 기술을 한정하거나 제한하는 것으로 의도되지 않는다. 전술한 교시의 견지에서 다수의 변형 및 변경이 가능하다. 개시된 실시예는 본 기술의 원리를 가장 잘 설명하기 위해 선택되었고, 따라서 그의 실제 어플리케이션은 해당 기술 분야의 종사자들이 다양한 실시예에서 기술을 가장 잘 활용하도록 가능하게 되고, 의도된 특정 사용에 적합함에 따라 다양한 변형을 가질 수 있다. 본 기술의 범주는 본원에 첨부된 청구범위에 의해 한정되는 것이 의도된다.
Claims (20)
- 터치 감지가 가능한 장치에서 입력을 수신하기 위한 방법으로서, 상기 방법은,
상기 터치 감지가 가능한 장치 주변의 물리적 영역에 대한 화상 데이터를 캡쳐하는 단계;
상기 캡쳐된 화상 데이터로부터 머리 후보를 식별함으로써 상기 터치 감지가 가능한 장치에 물리적으로 존재하는 복수의 사용자들을 식별하는 단계;
물리적으로 존재하는 상기 사용자들 각각에 대하여, 물리적으로 존재하는 상기 복수의 사용자들 각각의 눈을 포함하는 얼굴의 특징을 식별하는 단계;
상기 터치 감지가 가능한 장치의 복수의 사전 정의된 영역들과 초점을 맞추는 것을 포함하는, 상기 터치 감지가 가능한 장치와 실시간 상호작용을 시작하기 이전에 물리적으로 존재하는 상기 복수의 사용자들 각각의 눈을 계측(calibrating)하는 단계;
상기 영역 및 물리적으로 존재하는 각각의 상기 복수의 사용자들 각각의 눈에 대하여 동공과 대비한 공막의 위치 분석을 포함하는, 실시간 및 이후의 계측에서 물리적으로 존재하는 상기 복수의 사용자들 각각의 눈에 대한 상기 눈의 초점을 추적하는 단계;
상기 터치 감지가 가능한 장치에서, 상기 터치 감지가 가능한 장치의 터치 스크린 표시부 상의 핫 스팟에서 검출되는 입력을 수신하는 단계; 및
물리적으로 존재하는 상기 복수의 사용자들 각각의 상기 눈의 초점의 추적에 근거하여, 물리적으로 존재하는 상기 복수의 사용자들 중에서 활동하는 사용자와 상기 입력을 연관시키는 단계를 포함하고,
상기 복수의 사용자들을 식별하는 단계는:
컨트라스트(contrast) 검출 및 운동 검출을 이용하여 검출되는 사람 머리를 닮은 형상들에 대하여 캡쳐된 화상 데이터를 분석하는 단계,
대부분의 사람 머리에 존재하는 공통 특징들에 대하여 사람 머리를 닮은 상기 캡쳐된 화상 데이터 내의 각각의 형상을 평가하는 단계,
하나 이상의 특징들의 존재에 근거하여, 상기 평가된 형상을 상기 평가된 형상이 사람 머리인 가능성에 대응하는 값에 할당하는 단계, 및
특정한 평가된 형상에 대하여 상기 할당된 값은 참가하는 사용자에 대응하는 상기 평가된 형상을 나타내는 임계점보다 크다는 것을 판단하는 단계를 포함하고,
상기 공통 특징들은 코, 입 또는 눈이 발견될 수 있는 위치에 근거하여 상기 각각의 형상에 존재하는 컨트라스트 또는 쉐이딩(shading)을 포함하고,
상기 영역에 대한 분석 및 물리적으로 존재하는 상기 복수의 사용자들 각각의 눈들에 대하여 동공에 대비한 공막의 위치의 분석의 결과에 의하여, 상기 활동하는 사용자는 상기 핫 스팟에 가장 가까운 눈 초점을 가지는 것으로 판단되는 것을 특징으로 하는 터치 감지가 가능한 장치에서 입력을 수신하기 위한 방법. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 터치 감지가 가능한 장치에서 입력을 수신하기 위한 방법을 수행하기 위해 프로세서에 의해 실행 가능한 프로그램을 내포한 비일시적 컴퓨터 판독 가능한 저장 매체로서, 상기 방법은,
상기 터치 감지가 가능한 장치 주변의 물리적 영역에 대한 화상 데이터를 캡쳐하는 단계;
상기 캡쳐된 화상 데이터로부터 머리 후보를 식별함으로써 상기 터치 감지가 가능한 장치에 물리적으로 존재하는 복수의 사용자들을 식별하는 단계;
물리적으로 존재하는 상기 사용자들 각각에 대하여, 물리적으로 존재하는 상기 복수의 사용자들 각각의 눈을 포함하는 얼굴의 특징을 식별하는 단계;
상기 터치 감지가 가능한 장치의 복수의 사전 정의된 영역들과 초점을 맞추는 것을 포함하는, 상기 터치 감지가 가능한 장치와 실시간 상호작용을 시작하기 이전에 물리적으로 존재하는 상기 복수의 사용자들 각각의 눈을 계측하는 단계;
상기 영역 및 물리적으로 존재하는 각각의 상기 복수의 사용자들 각각의 눈에 대하여 동공과 대비한 공막의 위치 분석을 포함하는, 실시간 및 이후의 계측에서 물리적으로 존재하는 상기 복수의 사용자들 각각의 눈에 대한 상기 눈의 초점을 추적하는 단계;
상기 터치 감지가 가능한 장치에서, 상기 터치 감지가 가능한 장치의 터치 스크린 표시부 상의 핫 스팟에서 검출되는 입력을 수신하는 단계; 및
물리적으로 존재하는 상기 복수의 사용자들 각각의 상기 눈의 초점의 추적에 근거하여, 물리적으로 존재하는 상기 복수의 사용자들 중에서 활동하는 사용자와 상기 입력을 연관시키는 단계를 포함하고,
상기 복수의 사용자들을 식별하는 단계는:
컨트라스트 검출 및 운동 검출을 이용하여 검출되는 사람 머리를 닮은 형상들에 대하여 캡쳐된 화상 데이터를 분석하는 단계,
대부분의 사람 머리에 존재하는 공통 특징들에 대하여 사람 머리를 닮은 상기 캡쳐된 화상 데이터 내의 각각의 형상을 평가하는 단계,
하나 이상의 특징들의 존재에 근거하여, 상기 평가된 형상을 상기 평가된 형상이 사람 머리인 가능성에 대응하는 값에 할당하는 단계, 및
특정한 평가된 형상에 대하여 상기 할당된 값은 참가하는 사용자에 대응하는 상기 평가된 형상을 나타내는 임계점보다 크다는 것을 판단하는 단계를 포함하고,
상기 공통 특징들은 코, 입 또는 눈이 발견될 수 있는 위치에 근거하여 상기 각각의 형상에 존재하는 컨트라스트 또는 쉐이딩을 포함하고,
상기 영역에 대한 분석 및 물리적으로 존재하는 상기 복수의 사용자들 각각의 눈들에 대하여 동공에 대비한 공막의 위치의 분석의 결과에 의하여, 상기 활동하는 사용자는 상기 핫 스팟에 가장 가까운 눈 초점을 가지는 것으로 판단되는 것을 특징으로 하는 비일시적 컴퓨터 판독 가능한 저장 매체. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 입력을 검출하기 위한 시스템으로서, 상기 시스템은,
터치 감지가 가능한 장치의 터치 스크린 표시부 상의 핫 스팟에서 입력의 검출에 의해서 상기 입력을 수신하는, 터치 감지가 가능한 표시 장치;
상기 터치 감지가 가능한 표시 장치 주변의 물리적 영역에 대한 컬러 화상 데이터를 캡쳐하는 카메라;
상기 캡쳐된 화상 데이터를 수신하기 위하여 상기 카메라에 결합된 비휘발성 저장 장치;
메모리에 저장된 비일시적 컴퓨터 판독 가능한 명령들을 실행하는 프로세서를 포함하고,
상기 명령들은:
상기 비휘발성 저장 장치에 저장된 상기 캡쳐된 화상 데이터로부터 머리 후보를 식별함으로써, 상기 터치 감지가 가능한 장치에서 물리적으로 존재하는 복수의 사용자들을 식별하는 명령;
물리적으로 존재하는 상기 사용자들 각각에 대하여, 물리적으로 존재하는 상기 복수의 사용자들의 눈을 포함하는 얼굴의 특징을 식별하는 명령;
상기 터치 감지가 가능한 장치의 복수의 사전 정의된 영역들과 초점을 맞추는 것을 포함하는, 상기 터치 감지가 가능한 장치와 실시간 상호작용을 시작하기 이전에 물리적으로 존재하는 상기 복수의 사용자들 각각의 눈을 계측하는 명령;
상기 영역 및 물리적으로 존재하는 상기 복수의 사용자들 각각의 눈 각각에 대하여 동공과 대비한 공막의 위치 분석을 포함하는, 실시간 및 이후의 계측에서 물리적으로 존재하는 상기 복수의 사용자들 각각의 눈에 대한 상기 눈의 초점을 추적하는 명령;
물리적으로 존재하는 상기 복수의 사용자들 각각의 상기 눈의 초점의 추적에 근거하여, 물리적으로 존재하는 상기 복수의 사용자들 중에서 활동하는 사용자와 터치 스크린 표시부 상의 수신된 상기 입력을 연관시키는 명령을 포함하며,
상기 복수의 사용자들을 식별하는 명령은:
컨트라스트 검출 및 운동 검출을 이용하여 검출되는 사람 머리를 닮은 형상들에 대하여 캡쳐된 화상 데이터를 분석하는 명령,
대부분의 사람 머리에 존재하는 공통 특징들에 대하여 사람 머리를 닮은 상기 캡쳐된 화상 데이터 내의 각각의 형상을 평가하는 명령,
하나 이상의 특징들의 존재에 근거하여, 상기 평가된 형상을 상기 평가된 형상이 사람 머리인 가능성에 대응하는 값에 할당하는 명령, 및
특정한 평가된 형상에 대하여 상기 할당된 값은 참가하는 사용자에 대응하는 상기 평가된 형상을 나타내는 임계점보다 크다는 것을 판단하는 명령을 포함하고,
상기 공통 특징들은 코, 입 또는 눈이 발견될 수 있는 위치에 근거하여 상기 각각의 형상에 존재하는 컨트라스트 또는 쉐이딩을 포함하고,
상기 영역에 대한 분석 및 물리적으로 존재하는 상기 복수의 사용자들 각각의 눈들에 대하여 동공에 대비한 공막의 위치의 분석의 결과에 의하여, 상기 활동하는 사용자는 상기 핫 스팟에 가장 가까운 눈 초점을 가지는 것으로 판단되는 것을 특징으로 하는 입력을 검출하기 위한 시스템. - 제19항에 있어서, 물리적으로 존재하는 상기 복수의 사용자들 중에서 하나 이상의 사용자들의 적외선(IR) 화상들을 캡쳐하는 적외선(IR) 장치를 더 포함하고, 상기 적외선 화상들은 상기 카메라와 함께 사용되어 머리 후보들을 식별하는 것을 특징으로 하는 입력을 검출하기 위한 시스템.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/464,703 US9471763B2 (en) | 2012-05-04 | 2012-05-04 | User input processing with eye tracking |
US13/464,703 | 2012-05-04 | ||
PCT/US2013/035331 WO2013165646A2 (en) | 2012-05-04 | 2013-04-04 | User input processing with eye tracking |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150032661A KR20150032661A (ko) | 2015-03-27 |
KR101705841B1 true KR101705841B1 (ko) | 2017-02-10 |
Family
ID=49512152
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020147030872A KR101705841B1 (ko) | 2012-05-04 | 2013-04-04 | 눈 추적을 이용한 사용자 입력 처리 |
Country Status (9)
Country | Link |
---|---|
US (3) | US9471763B2 (ko) |
EP (1) | EP2845077A4 (ko) |
JP (1) | JP5974165B2 (ko) |
KR (1) | KR101705841B1 (ko) |
CN (1) | CN104520799A (ko) |
BR (1) | BR112014027343B1 (ko) |
IN (1) | IN2014MN02224A (ko) |
RU (1) | RU2608462C2 (ko) |
WO (1) | WO2013165646A2 (ko) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9471763B2 (en) | 2012-05-04 | 2016-10-18 | Sony Interactive Entertainment America Llc | User input processing with eye tracking |
US20170097656A1 (en) * | 2014-03-18 | 2017-04-06 | Telefonaktiebolaget Lm Ericsson (Publ) | Controlling a target device |
CN104391567B (zh) * | 2014-09-30 | 2017-10-31 | 深圳市魔眼科技有限公司 | 一种基于人眼跟踪的三维全息虚拟物体显示控制方法 |
CN104383681B (zh) * | 2014-10-27 | 2016-03-30 | 腾讯科技(深圳)有限公司 | 游戏进程控制方法、装置和移动终端 |
KR101671838B1 (ko) | 2015-06-17 | 2016-11-03 | 주식회사 비주얼캠프 | 시선 추적을 이용한 입력 장치 |
CN105159590B (zh) * | 2015-08-27 | 2017-06-23 | 广东欧珀移动通信有限公司 | 一种控制用户终端的屏幕的方法及用户终端 |
KR20180057668A (ko) * | 2015-09-24 | 2018-05-30 | 토비 에이비 | 눈 추적 가능한 웨어러블 디바이스들 |
DE102015222388A1 (de) | 2015-11-13 | 2017-05-18 | Bayerische Motoren Werke Aktiengesellschaft | Vorrichtung und Verfahren zum Steuern einer Anzeigeeinrichtung in einem Kraftfahrzeug |
CN105677845A (zh) * | 2016-01-06 | 2016-06-15 | 北京京东尚科信息技术有限公司 | 电子书籍的推送方法和装置 |
CN106066694A (zh) * | 2016-05-30 | 2016-11-02 | 维沃移动通信有限公司 | 一种触摸屏操作响应的控制方法及终端 |
US10032053B2 (en) | 2016-11-07 | 2018-07-24 | Rockwell Automation Technologies, Inc. | Tag based location |
CN107092873A (zh) * | 2017-04-08 | 2017-08-25 | 闲客智能(深圳)科技有限公司 | 一种眼动方向识别方法及装置 |
US10474231B2 (en) * | 2017-08-16 | 2019-11-12 | Industrial Technology Research Institute | Eye tracking apparatus and method thereof |
TWI734024B (zh) * | 2018-08-28 | 2021-07-21 | 財團法人工業技術研究院 | 指向判斷系統以及指向判斷方法 |
US20220075477A1 (en) * | 2018-12-31 | 2022-03-10 | Guardian Glass, LLC | Systems and/or methods for parallax correction in large area transparent touch interfaces |
US10890992B2 (en) * | 2019-03-14 | 2021-01-12 | Ebay Inc. | Synchronizing augmented or virtual reality (AR/VR) applications with companion device interfaces |
CN110262673A (zh) * | 2019-06-26 | 2019-09-20 | 广东技术师范大学 | 一种眼睛控制键盘打字的方法 |
US11800206B2 (en) * | 2019-07-08 | 2023-10-24 | Calumino Pty Ltd. | Hybrid cameras |
US11156831B2 (en) * | 2019-12-31 | 2021-10-26 | Tobii Ab | Eye-tracking system and method for pupil detection, associated systems and computer programs |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100225595A1 (en) * | 2009-03-03 | 2010-09-09 | Microsoft Corporation | Touch discrimination |
US20120105490A1 (en) * | 2010-11-03 | 2012-05-03 | Research In Motion Limited | System and method for controlling a display of a mobile device |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5471542A (en) * | 1993-09-27 | 1995-11-28 | Ragland; Richard R. | Point-of-gaze tracker |
JP2000148396A (ja) * | 1998-11-06 | 2000-05-26 | Canon Inc | 情報入力装置および方法 |
US6456262B1 (en) * | 2000-05-09 | 2002-09-24 | Intel Corporation | Microdisplay with eye gaze detection |
WO2002064031A2 (en) * | 2001-02-09 | 2002-08-22 | Sensomotoric Instruments Gmbh | Multidimensional eye tracking and position measurement system |
US6637883B1 (en) * | 2003-01-23 | 2003-10-28 | Vishwas V. Tengshe | Gaze tracking system and method |
TW200622893A (en) * | 2004-07-09 | 2006-07-01 | Nokia Corp | Cute user interface |
JP2006201966A (ja) | 2005-01-19 | 2006-08-03 | Oki Electric Ind Co Ltd | 端末装置 |
JP2007089732A (ja) * | 2005-09-28 | 2007-04-12 | Aruze Corp | 入力装置 |
JP4649319B2 (ja) | 2005-11-21 | 2011-03-09 | 日本電信電話株式会社 | 視線検出装置、視線検出方法、および視線検出プログラム |
US7889244B2 (en) * | 2005-12-27 | 2011-02-15 | Panasonic Corporation | Image processing apparatus |
JP5580987B2 (ja) * | 2006-08-18 | 2014-08-27 | 株式会社カネカ | 官能基を有する分岐ビニル系重合体の製造方法 |
US7860382B2 (en) * | 2006-10-02 | 2010-12-28 | Sony Ericsson Mobile Communications Ab | Selecting autofocus area in an image |
US8147316B2 (en) * | 2006-10-10 | 2012-04-03 | Wms Gaming, Inc. | Multi-player, multi-touch table for use in wagering game systems |
WO2008115287A2 (en) * | 2006-10-18 | 2008-09-25 | Efthimion Enterprises, Inc. | Laser assisted microwave plasma spectroscopy |
US8259169B2 (en) * | 2008-02-28 | 2012-09-04 | Panasonic Corporation | Eye-gaze detecting device and eye-gaze detecting method |
WO2010030984A1 (en) * | 2008-09-12 | 2010-03-18 | Gesturetek, Inc. | Orienting a displayed element relative to a user |
US8788977B2 (en) * | 2008-11-20 | 2014-07-22 | Amazon Technologies, Inc. | Movement recognition as input mechanism |
CN101593022B (zh) * | 2009-06-30 | 2011-04-27 | 华南理工大学 | 一种基于指端跟踪的快速人机交互方法 |
EP2309307B1 (en) * | 2009-10-08 | 2020-12-09 | Tobii Technology AB | Eye tracking using a GPU |
US8922480B1 (en) * | 2010-03-05 | 2014-12-30 | Amazon Technologies, Inc. | Viewer-based device control |
JP5305039B2 (ja) * | 2010-03-25 | 2013-10-02 | アイシン・エィ・ダブリュ株式会社 | 表示装置、表示方法、及び表示プログラム |
US8982160B2 (en) * | 2010-04-16 | 2015-03-17 | Qualcomm, Incorporated | Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size |
JP2012038106A (ja) * | 2010-08-06 | 2012-02-23 | Canon Inc | 情報処理装置、情報処理方法、およびプログラム |
JP5664064B2 (ja) | 2010-09-22 | 2015-02-04 | 富士通株式会社 | 視線検出装置および補正係数算出プログラム |
US20120081392A1 (en) * | 2010-09-30 | 2012-04-05 | Apple Inc. | Electronic device operation adjustment based on face detection |
US8643680B2 (en) * | 2011-04-08 | 2014-02-04 | Amazon Technologies, Inc. | Gaze-based content display |
US20130057573A1 (en) * | 2011-09-02 | 2013-03-07 | DigitalOptics Corporation Europe Limited | Smart Display with Dynamic Face-Based User Preference Settings |
KR101797599B1 (ko) * | 2011-06-30 | 2017-11-15 | 엘지이노텍 주식회사 | 백라이트 유닛 및 그를 이용한 디스플레이 장치 |
US20130033524A1 (en) * | 2011-08-02 | 2013-02-07 | Chin-Han Wang | Method for performing display control in response to eye activities of a user, and associated apparatus |
US20130145304A1 (en) * | 2011-12-02 | 2013-06-06 | International Business Machines Corporation | Confirming input intent using eye tracking |
US20130201305A1 (en) * | 2012-02-06 | 2013-08-08 | Research In Motion Corporation | Division of a graphical display into regions |
US9471763B2 (en) | 2012-05-04 | 2016-10-18 | Sony Interactive Entertainment America Llc | User input processing with eye tracking |
-
2012
- 2012-05-04 US US13/464,703 patent/US9471763B2/en active Active
-
2013
- 2013-04-04 BR BR112014027343-0A patent/BR112014027343B1/pt active IP Right Grant
- 2013-04-04 JP JP2015510289A patent/JP5974165B2/ja active Active
- 2013-04-04 KR KR1020147030872A patent/KR101705841B1/ko active IP Right Grant
- 2013-04-04 RU RU2014148784A patent/RU2608462C2/ru active
- 2013-04-04 EP EP13785175.4A patent/EP2845077A4/en not_active Ceased
- 2013-04-04 WO PCT/US2013/035331 patent/WO2013165646A2/en active Application Filing
- 2013-04-04 CN CN201380022450.4A patent/CN104520799A/zh active Pending
-
2014
- 2014-11-04 IN IN2224MUN2014 patent/IN2014MN02224A/en unknown
-
2016
- 2016-10-18 US US15/296,552 patent/US10496159B2/en active Active
-
2019
- 2019-12-03 US US16/701,832 patent/US11650659B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100225595A1 (en) * | 2009-03-03 | 2010-09-09 | Microsoft Corporation | Touch discrimination |
US20120105490A1 (en) * | 2010-11-03 | 2012-05-03 | Research In Motion Limited | System and method for controlling a display of a mobile device |
Also Published As
Publication number | Publication date |
---|---|
RU2014148784A (ru) | 2016-06-27 |
EP2845077A2 (en) | 2015-03-11 |
US11650659B2 (en) | 2023-05-16 |
BR112014027343A2 (pt) | 2017-07-18 |
US20130293467A1 (en) | 2013-11-07 |
WO2013165646A2 (en) | 2013-11-07 |
JP2015521312A (ja) | 2015-07-27 |
RU2608462C2 (ru) | 2017-01-18 |
KR20150032661A (ko) | 2015-03-27 |
US20200249751A1 (en) | 2020-08-06 |
US20170139476A1 (en) | 2017-05-18 |
EP2845077A4 (en) | 2016-01-13 |
US10496159B2 (en) | 2019-12-03 |
CN104520799A (zh) | 2015-04-15 |
JP5974165B2 (ja) | 2016-08-23 |
BR112014027343B1 (pt) | 2021-09-21 |
IN2014MN02224A (ko) | 2015-10-09 |
US9471763B2 (en) | 2016-10-18 |
WO2013165646A3 (en) | 2015-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101705841B1 (ko) | 눈 추적을 이용한 사용자 입력 처리 | |
JP5885835B2 (ja) | ユーザの眼球の動きによって操作可能なコンピュータ装置、およびそのコンピュータ装置を操作する方法 | |
TWI512645B (zh) | 使用深度影像之手勢辨識裝置及方法 | |
US9489574B2 (en) | Apparatus and method for enhancing user recognition | |
US9582070B2 (en) | Detecting user input provided to a projected user interface | |
JP2020527792A (ja) | 目標物認識方法、装置、記憶媒体および電子機器 | |
CN104364733A (zh) | 注视位置检测装置、注视位置检测方法和注视位置检测程序 | |
CN114138121B (zh) | 用户手势识别方法、装置、系统、存储介质及计算设备 | |
JP5964603B2 (ja) | データ入力装置、及び表示装置 | |
JP6230666B2 (ja) | データ入力装置、データ入力方法、及びデータ入力プログラム | |
WO2010061448A1 (ja) | 操作入力装置、情報処理装置及び選択ボタン特定方法 | |
Bâce et al. | Accurate and robust eye contact detection during everyday mobile device interactions | |
JP2015184906A (ja) | 肌色検出条件決定装置、肌色検出条件決定方法及び肌色検出条件決定用コンピュータプログラム | |
JP4972013B2 (ja) | 情報提示装置、情報提示方法、情報提示プログラムおよびそのプログラムを記録した記録媒体 | |
JP7369946B2 (ja) | 集中度計測装置、集中度計測方法、およびプログラム | |
US11054941B2 (en) | Information processing system, information processing method, and program for correcting operation direction and operation amount | |
US20150103205A1 (en) | Method of controlling digital apparatus and image capture method by recognition of hand shape, and apparatus therefor | |
JP6744536B1 (ja) | 目線撮像方法及び目線撮像システム | |
US20230343060A1 (en) | Method for non-contact triggering of buttons | |
JP2016066280A (ja) | 画像処理装置、人物検出方法、及びプログラム | |
JP2022125570A (ja) | 指示物体検出装置、指示物体検出方法及び指示物体検出システム | |
CN117133045A (zh) | 手势识别方法、装置、设备及介质 | |
CN106020519A (zh) | 一种新型鼠标 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20200129 Year of fee payment: 4 |