KR102313256B1 - 복수의 광원들과 센서들을 사용한 눈 시선 검출 - Google Patents

복수의 광원들과 센서들을 사용한 눈 시선 검출 Download PDF

Info

Publication number
KR102313256B1
KR102313256B1 KR1020167020808A KR20167020808A KR102313256B1 KR 102313256 B1 KR102313256 B1 KR 102313256B1 KR 1020167020808 A KR1020167020808 A KR 1020167020808A KR 20167020808 A KR20167020808 A KR 20167020808A KR 102313256 B1 KR102313256 B1 KR 102313256B1
Authority
KR
South Korea
Prior art keywords
camera
cameras
eye
display
image
Prior art date
Application number
KR1020167020808A
Other languages
English (en)
Other versions
KR20160108388A (ko
Inventor
젱규 장
아눕 굽타
친 카이
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20160108388A publication Critical patent/KR20160108388A/ko
Application granted granted Critical
Publication of KR102313256B1 publication Critical patent/KR102313256B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H04N5/23219—
    • H04N5/23241—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Optics & Photonics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

본 발명 개시는 복수의 카메라들 및/또는 광원들에 기초한 눈 시선 검출에 대한 것이다. 카메라 및/또는 광원은, 상이한 배향들에서, 상이한 기울기 각도들에서, 상이한 사용자 위치들에서, 상이한 사용자 거리들에서 등에서 장치 디스플레이를 위해 눈 시선 검출을 제공하도록 구성된다. 눈 시선 검출을 위해 충분한 품질을 갖는 눈의 이미지를 제공하고 그리고/또는 전력을 절약하도록 광원 전력 및 카메라 온/오프 상태를 선택적으로 제어하는 제어기가 또한 설명된다.

Description

복수의 광원들과 센서들을 사용한 눈 시선 검출{EYE GAZE DETECTION WITH MULTIPLE LIGHT SOURCES AND SENSORS}
본 발명은 복수의 광원들과 센서들을 사용한 눈 시선 검출에 대한 것이다.
모바일 장치, 핸드헬드 장치와, 디스플레이와 같은 관련 기술을 포함하는 컴퓨터가 진화함에 따라, 인간의 입력 메커니즘도 마찬가지로 진보되어 왔다. 음성 인식, 머리 및 골격 추적 및 제스처 검출에 기초한 것과 같은 내추럴 사용자 인터페이스는, 키보드, 포인팅 장치(마우스 또는 스타일러스) 및/또는 인식되는 심볼/수기(handwriting) 입력을 보충하거나 일부 경우에서는 대체시키기 위해 보다 널리 보급되고 있다.
눈 시선 검출은 또 다른 내추럴 사용자 인터페이스 기술이다. 눈 시선 검출은 다른 이유들 중에서도, 내추럴 멀티모드(muitimodal) 인간-컴퓨터 상호작용을 위해 바람직하다.
컴퓨터 디스플레이에 대해서, 기존의 눈 시선 검출 시도는, 디스플레이의 앞에 있는 교정 위치 주위에 작은 박스를 가지고 있으며, 눈 시선 추적기가 이 디스플레이 아래에 배치될 필요가 있는 것과 같이, 매우 제한된 작업 공간을 가지고 있다. 따라서, 이러한 기술은 제한된 사용법을 가지고 있는데, 그 이유는 이러한 기술이, 점점 더 우세해 지고 있는 모바일 컴퓨팅 시나리오에서를 포함하는 많은 상황에서 특히 사용 가능하지 않기 때문이다.
이 요약은 이하의 상세한 설명에서 추가적으로 설명되는 간략한 형태의 대표적 개념들의 선택을 도입하기 위해 제공된다. 이 요약은 청구 대상의 주요 특징 또는 필수적 특징을 식별하기 위해 의도되지 않으며, 청구 대상의 범위를 제한할 어떠한 방식으로도 사용되도록 의도되지도 않는다.
간단하게, 여기서 설명되는 청구대상의 다양한 양상은 디스플레이에 근접하게 배치된 복수의 카메라들을 구비하는 것을 포함하는 눈 시선 검출을 대한 것이며, 복수의 카메라들은, 디스플레이에 인접한 제1 에지 상에 제1 카메라와, 디스플레이에 인접한 제2 에지 상에 제2 카메라를 포함하고, 제2 에지는 제1 에지에 대해 평행하지 않다. 적어도 제1 광원은, 눈에 의해 반사될 때 각막 반사 데이터를 생성하는 광을 출력시키도록 구성된다. 카메라는 눈 시선 검출에서 사용하기 위해 캡처된 각막 반사 데이터를 포함하는 이미지 데이터를 이미지 처리 컴포넌트에 제공하도록 이미지 처리 컴포넌트에 연결된다.
하나 이상의 구현에서, 3개 이상의 적외선 광원들이, 눈에 의해 반사될 때 각막 반사 데이터를 생성하는 광을 출력시키도록 구성된다. 복수의 적외선 감지 카메라들은, 눈 시선 검출에 사용하기 위해 각막 반사 데이터를 캡처하도록 구성된다. 카메라는, 캡처된 각막 반사 데이터를 포함하는 이미지 데이터를 이미지 처리 컴포넌트에 제공할 수 있다.
하나 이상의 양상은, 적어도 두 개의 카메라들에 의해 캡처된 인간 눈의 이미지들에 대응하는 이미지 데이터를 수신하는 것에 대한 것이다. 이미지 데이터는 시선 검출 알고리즘에 제공되는 눈 피처(feature) 데이터 내로 결합될 수 있다. 이미지들 중 적어도 하나의 이미지에 기초해서, 광원으로의 전력이 감소되거나 턴오프될 수 있고, 그리고/또는 카메라가 턴오프될 수 있다.
다른 이점들은, 도면들과 함께 취했을 때 하기의 상세한 설명으로부터 명백해질 수 있다.
본 발명은, 예시에 의해 예증되고, 유사한 참조 번호들이 유사한 요소들을 표시하는, 동반되는 도면들에 제한되지 않는다.
도 1은 하나 이상의 예시적인 구현에 따라, 눈 시선 검출에 사용될 수 있는 예시적인 컴포넌트들을 예증하는 블록도이다.
도 2a 및 2b는, 하나 이상의 예시적인 구현에 따라, 눈 시선 검출에서 사용되는 카메라 및 광원의 예시적인 표현이며, 카메라와 광원은 상이한 배향(orientation)들에서 도시된 디스플레이에 인접한 장치 에지들 상에 배치된다(예컨대, 장치 에지들 내로 내장된다).
도 3a 및 3b는, 하나 이상의 예시적인 구현에 따라, 눈 시선 검출에 사용하기 위해 상이한 상대적인 사용자 위치들에서 사용자의 눈 또는 눈들을 캡처하기 위한 상이한 각도들을 구비한 각진(angled) 카메라들의 예시적인 표현이다.
도 4a 및 4b는, 하나 이상의 예시적인 구현에 따라, 눈 시선 검출에 사용하기 위해 상이한 디스플레이 기울기(tilt) 위치들에서 사용자의 눈 또는 눈들을 캡처하기 위한 상이한 각도들을 구비한 각진 카메라들의 예시적인 표현이다.
도 5a 및 5b는, 하나 이상의 예시적인 구현에 따라, 눈 시선 검출에 사용하기 위해 상이한 거리들에서 사용자의 눈 또는 눈들을 캡처하기 위한 상이한 초점 길이들을 갖는 카메라들의 예시적인 표현이다.
도 6a 및 6b는, 하나 이상의 예시적인 구현에 따라, 눈 시선 검출에 사용하기 위해 디스플레이들에 대해 상이한 위치들에 배치된 광원들을 갖는 예시적인 장치들/디스플레이들의 예시적인 표현이다.
도 7은, 하나 이상의 예시적인 구현에 따라 눈 시선 검출에 사용하기 위한 복수의 광원들의 대안적인 배치를 갖는 예시적인 표현이다.
도 8a 및 8b는, 하나 이상의 예시적인 구현에 따라, 눈 시선 검출에 사용하기 위해 디스플레이들에 인접하게 배치된 특정의 가능한 개수들의 카메라들 및/또는 광원들을 보여주는 예시적인 장치들/디스플레이들의 예시적인 표현이다.
도 9는, 하나 이상의 예시적인 구현에 따라, 광원들에 의해 둘러싸여 있는 카메라의 확대된 뷰(view)를 포함하는, 눈 시선 검출에 사용하기 위한 디스플레이, 카메라들, 및 광원들의 예시적인 표현이다.
도 10은, 하나 이상의 예시적인 구현에 따라, 눈 시선 검출에 대해 어느 카메라 및/또는 광원을 사용할지를 선택적으로 결정하도록 취해질 수 있는 예시적인 단계들을 예증하는 흐름도이다.
도 11은, 하나 이상의 예시적인 구현에 따라, 눈 시선 검출에 사용하기 위해 복수의 카메라들로부터의 이미지들을 결합시키도록 취해질 수 있는 예시적인 단계들을 예증하는 흐름도이다.
도 12는, 여기서 설명되는 다양한 실시예들의 하나 이상의 양상이 구현될 수 있는, 모바일 및/또는 핸드헬드 컴퓨팅 및/또는 통신 장치의 형태로, 예시적인 비제한적인 컴퓨팅 시스템 또는 동작 환경을 표현하는 블록도이다.
여기서 설명되는 기술의 다양한 양상들은, 일반적으로 디스플레이 주위에 복수의 적외선(infrared; IR) 광원들(예컨대, LED들) 및 센서들(IR 감지 카메라들)을 배치하는 것에 의한 것을 포함하는 눈 시선 검출의 작업 공간을 실질적으로 증가시키는 것에 대한 것이다. 카메라가 보는 LED 반사들의 개수와 눈들을 보는 카메라들의 개수와 상관없이, 임의의 이용가능한 검출된 정보를 활용하는(leverage) 계산적인 접근법이 제공된다.
하나의 혜택으로서, 눈 시선 검출은, 장치 디스플레이가 사용자에 대해 임의의 배향에 있을 때 - 이 상황은 태블릿, 모바일 컴퓨팅 장치, 스마트폰 등에 대해 바람직함 - 조차 기능 한다. 유사하게, 눈 시선 검출은 다양한 범위의 각도들에서 수행될 수 있다. 예를 들면, 눈 시선 검출은, 사용자가 사용자의 눈들에 대해 다양한 각도들 중 임의의 각도로 장치를 붙잡고 있을 때나, 랩톱(또는 심지어 고정된 디스플레이)이 그 스크린을 사용자의 눈들에 대해 상이한 각도들로 가지고 있을 때조차 효과적이게 된다.
여기서 예시들 중 임의의 예시가 비제한적이라는 것을 이해해야 한다. 예를 들면, 임의의 개수의 카메라들과 광원들은 임의의 개수의 방식들로 배치될 수 있고, 단지 작은 개수의 가능한 방식들만이 여기서 예시로 보인다. 더 나아가, 눈 시선을 검출하기 위해 사용되는 알고리즘 등은 단지 예시들이고, 여기서 설명되는 기술은 임의의 특정 알고리즘에 독립적이고, 새로운 알고리즘들이 개발됨에 따라 추가적으로 적응될 수 있다. 이와 같이, 본 발명은 여기서 설명되는 임의의 특정 실시예, 양상, 개념, 구조, 기능, 또는 예시에 제한되지 않는다. 오히려, 여기서 설명되는 실시예, 양상, 개념, 구조, 기능 또는 예시 중 임의의 것은 비제한적이고, 본 발명은, 일반적으로 눈 시선 검출에서 혜택 및 이익을 제공하는 다양한 방식들에서 사용될 수 있다.
도 1은 눈 시선 검출을 수행하기 위해 사용될 수 있는 예시적인 컴포넌트를 예증하는 일반적인 블록도이다. 도 1에서, 컴퓨팅 장치(102) 및 디스플레이(104)가 도시된다. 디스플레이(104)는 컴퓨팅 장치에 연결된 외부 디스플레이이거나, 컴퓨팅 장치, 예컨대, 그 하우징 내로 통합될 수 있는 디스플레이일 수 있다.
도 1에 도시된 바와 같이, 복수의 IR 광원들(106(1)-106(m))이 복수의 IR 감광 카메라들(108(1)-108(n))과 함께 도시된다. 광원은, 광을 회절/반사시키는 광학 소자를 통해 투사함으로써 복수의 광원들을 제공하는 레이저 발광 다이오드(LED) 및/또는 LED와 같은 개별 광원일 수 있다. IR 감광 카메라들 중 임의의 카메라 또는 모든 카메라가 가시광 카메라와 결합될 수 있다는 것이 주목된다. 카메라는 장치에 부착될 수 있거나 - 예컨대, 그 에지에 내장되거나 장치에 물리적으로 연결됨 -, 장치의 외부에 있을 수 있거나 이 둘의 조합일 수 있다.
하나 이상의 구현에서 광원들과 카메라들이 "항상 온(always-on)"일 수 있어서, 이에 따라 아마도 온/오프 능력들을 가진 "전원과는 다른 어떠한 "제어기"도 필요하지 않지만, 제어기(110)는 이하에서 설명되는 바와 같이, IR 광원들(106(1)-106(m)) 및/또는 IR 감광 카메라들(108(1)-108(n))의 동작을 제어하기 위해 사용될 수 있다. 인간이 IR 광을 인식할 수 없기 때문에 IR광이 사용되지만, 특정 상황에서, 예컨대, 사용되고 있는 특정 가시광 파장을 차단하는 콘택트 렌즈를 착용하고 있는 피험자(subject)의 눈들에 대해서와 같이, 가시광을 사용하는 것이 바람직할 수 있다. 따라서, 여기서 사용되는 바와 같이, "광원"은 IR 파장에 제한되지 않는다.
일반적으로, 카메라들(108(1)-108(n))은, 눈 시선 검출 알고리즘(114)을 포함하는, 이미지 처리 컴포넌트(112)에 공급되는 이미지를 캡처한다. 이미지 처리 컴포넌트(112)는, 사용자가, 처리되고 있는 주어진 프레임 등에서 어디를 현재 응시하고 있는지를 나타내는 시선 좌표와 같은, 눈 시선 검출 출력(116)을 제공한다. 이러한 출력(116)은, 다른 입력(예컨대, 마우스 클릭 또는 제스처)과의 사용을 위해서와 같이 버퍼링될 수 있고, (예컨대, 커서를 움직이기 위해) 운영체제에 의해 소비될 수 있고, 애플리케이션에 의해 (메뉴 항목을 강조하도록) 사용될 수 있고 그리고/또는 기타와 같이 활용될 수 있다.
눈 시선 검출 알고리즘(114)에 대해서, 예를 들면, 하나 이상의 알고리즘들의 결정들을 조합하는 것을 포함해서, 임의의 기존의 또는 개발될 알고리즘들이 사용될 수 있다. 일반적으로, 눈 시선 검출 알고리즘은, IR 광원이 눈동자 중 어디에서 반사되는지를 검출함으로써 동작한다.
일반적으로, 원격 시선 추적 시스템은, 피험자의 눈 이미지의 일부로서 캡처되는, 글린트(glint)라고 지칭되는 각막 반사를 생성하도록 적외선 광원을 사용해서 동작한다. 캡처된 이미지는, 동공 중앙, (예컨대, 동공의 위치를 나타내는) 각막 반사, 및/또는 가장자리 윤곽(limbus contour)과 같은, 조명 및 시점(viewpoint)에 대해 불변하는 정보 특징을 추출하도록 처리된다.
하나의 적절한 알고리즘의 기본적 제약이 다음에 설명된다. 일반적으로, 각각의 LED를 위한 두 개의 제약들은 반사 법칙으로부터 도출된다. 제1 법칙은, 광, 각막 상의 반사점, 카메라 중앙, 및 각막 중앙은 공면이라는 것이다. 제2 법칙은, 반사점에서 입사각이 반사각과 동일하다는 것이다.
여기서 설명되는 바와 같이, 1회성 개인적 교정이, 눈의 광축과 시축(시선 방향)간의 각각의 개인의 차이를 결정하도록 수행된다. 두 개의 LED들이 카메라에 의해 관찰될 때, 광축이 결정될 수 있으며, 교정 때문에 시선 방향이 또한 결정될 수 있다.
하지만, 여기서 설명된 기술은 임의의 특정 시선 결정 알고리즘에 제한되지 않으며, 오히려, 임의의 개수의 카메라와, 각 카메라로부터 보일 수 있는 임의의 개수의 LED들을 위한 통일된 프레임워크가 여기서 설명된다. 따라서, 다양한 대안적인 알고리즘들 중 임의의 알고리즘이 활용될 수 있다.
현재 사용중인 상이한 유형들의 알고리즘들/방법들 중에서, 보간 기반 방법들은, 광학 특성, 눈 생리학, 및 눈, 스크린, 및 카메라 간의 기하학적 관계를 고려하지 않고, 2D 회귀 함수들을 통해 눈 특징을 시선 포인트에 직접 매핑한다. 그러므로, 보간 기반 방법은 구현하기에는 간단하지만, 머리 움직임에, 특히, 깊이 변화에 민감하다. 위에서 설명된 참조에서 제공되는 것과 같은 모델 기반 방법은, 3D 광선을 2D 스크린 평면과 교차시킴으로써 3D 시선 벡터를 추정하고 관심을 가지는 2D 포인트를 계산한다. 보간 기반 방법과는 달리, 모델 기반 방법은 더 큰 머리 움직임을 수용할 수 있지만, 교정을 필요로 한다. 교차비(cross-ratio; CR) 기반 접근법은 하드웨어 교정을 요구하지 않고, 자유 머리 움직임을 허용하지만, 현재 CR 기반 접근법은 특히 정확하지는 않다. 여기서 설명되는 기술은 임의의 특별한 알고리즘 또는 알고리즘들에 독립적이고, 현재 존재하는 알고리즘들 중 임의의 알고리즘에 제한되지 않는다.
도 2a 내지 9는 하드웨어 구성들과, 이것들에 관련된 양상들을 포함하는 많은 가능한 예시들을 묘사한다. 이 예시들 중 임의의 예시에서, 묘사된 크기(장치, 디스플레이 스크린, 카메라, LED), 카메라 시야(field-of-view)는 단지 예증의 목적을 위한 것이고, 실제 크기, 실제 각도, 실제 거리, 실제 위치 등과 같은 임의의 특정 정보를 전달하도록 의도되지는 않는다.
도 2a 및 2b에서 일반적으로 표현되는 하나의 구현에서, 장치(218)는 서로 평행하지 않는 디스플레이의 상이한 에지들 상에 배치된 (적어도) 두 개의 카메라들(220, 221)을 포함한다(수평 에지들과 수직 에지들이 도시되지만, 쉽게 인식될 수 있는 바와 같이, 수직 에지들이 요구되지는 않는다). 임의의 개수의 광원들이 존재할 수 있고, 디스플레이에 물리적으로 연결될 필요는 없으며, 예증의 목적을 위해, 4개의 광원들(222-225)이 도시되지만, 심지어 단일 광원조차도 충분할 수 있다. 태블릿 유형 장치(218)가 예시의 목적을 위해서 도 2a 및 2b에서 표현되지만, 스마트폰 및/또는 수직으로 또는 수평으로 실장(mount)될 수 있는 상대적으로 고정된 모니터와 같이, 상이하게 배향될 수 있는 임의의 장치가 유사하게 혜택을 받을 수 있다는 것을 주목해야 한다.
쉽게 인식될 수 있는 바와 같이, 카메라들(221 및 222)이 상이한 비평행 에지들 상에 설치되기 때문에, 사용자에 대해 디스플레이의 배향과는 상관없이 눈 시선 검출이 여전히 잘 기능하는데, 즉, 양호한 눈 시선 검출은, 디스플레이가 가로 방향 모드이거나 세로 방향 양식인지 간에 상관없이 존재한다. 더 나아가, 하나보다 많은 카메라들은 눈 시선 검출의 정확도를 증가시킨다. 따라서, 예시적인 구성은 통합된 디스플레이를 갖는 장치(예컨대, 태블릿, 스마트폰, 텔레비전, 또는 모니터) 상에 사용될 수 있으며, 여기서 장치는, 이 장치의 현재 배향과 맞추어 출력되는 디스플레이되는 콘텐츠의 적어도 일부의 렌더링 배향을 변경시키도록 구성된다.
도 3a 내지 5b는 시선 검출을 갖는 복수의 카메라들을 사용하는 다른 양상들에 대한 것이다. 랩톱 장치, 또는 키보드 등에 대해 기울일 수 있는(tilt-able) 디스플레이를 구비한 장치를 포함하는 장치(330)가 예증의 목적을 위해 도시되는 한편, 도 3a 내지 5b에 대해 설명된 개념들은, 태블릿, 스마트폰, 일반적으로 고정된 모니터 등을 포함하는, 사용자의 눈들(단일 눈이 충분하다는 것에 주목해야 함)에 대해 각이 질(angled) 수 있는 스크린을 구비한 임의의 장치에 적용된다.
도 3a 및 3b에 도시된 바와 같이, 카메라들은 동일한 방식으로 각이 질 필요는 없으며, 이에 따라 더 큰 결합된 시야가 제공된다. 예를 들면, 도 3a에서, 사용자의 위치에 대한 스크린의 기울기가, 사용자의 눈들이 일반적으로 카메라(332)의 시야 위에 있도록 하는 한편, 도 3b에서, 기울기/사용자 위치가, 사용자의 눈들이 일반적으로 카메라(333)의 시야 아래에 있도록 하는 것을 고려한다. 도시된 바와 같이, 하지만, 서로에 대해 상이하게 각이 진 두 개의 카메라들(332와 333)을 구비함으로써, (적어도 사용자가 디스플레이 패널로부터 타당한 거리에 있는 동안) 사용자의 눈들은 카메라들(332, 333) 중 적어도 하나의 카메라의 시야 내에 항상 있다.
도 4a 및 4b는 도 3a 및 3b와 유사한 개념을, 즉, 상이하게 각이 진 두 개의 카메라들(443과 444)이 어떻게 상이한 디스플레이 기울기들을 가지고 눈 시선 검출을 용이하게 하는지를 예시화한다(이 카메라들은 도 3a 및 3b에서와 동일한 각도들/카메라들일 수 있다). 도 4a에서, 사용자의 위치에 대한 랩톱의 기울기 때문에 단지 하나의 카메라(443)만이 사용자의 눈들의 이미지들을 캡처한다. 도 4b에서, 기울기가 변경되었지만, 사용자는 장치(330)에 대해 이동하지 않았으나, 하지만 카메라들의 상대적인 각도들 때문에 다른 카메라(444)가 사용자의 눈들의 이미지들을 캡처한다.
다른 양상에서, 도 5a 및 5b는 상이한 초점 길이들을 가진 카메라들을 갖는 것을 나타낸다. 일반적으로, 만약 사용자 눈들이 주어진 카메라에 대해 적절한 초점 길이에 있지 않다면, 캡처된 이미지가 선명하지 않을 것이며, 이에 따라 눈 특징들(예컨대, 글린트들)은 정확히 검출하기가 더 어렵게 된다.
도 5a에서, 사용자는 장치에 인접해 있고, 이에 따라 하나의 카메라(555)는 눈들의 충분히 선명한 이미지를 얻는다. 도 5b에서, 사용자는 장치로부터 더 멀어져 있고, 이에 따라 다른 카메라(556)는 눈들의 충분히 선명한 이미지를 얻는다. 또한, 더 긴 초점 길이가 사용되기 때문에(더 좁은 시야를 야기함), 눈 영역을 덮는 충분히 많은 개수의 픽셀들이 여전히 존재한다.
쉽게 인식될 수 있는 바와 같이, 도 3a 내지 5b의 개념들은 적절하게 더 많은 카메라들을 사용해서 결합될 수 있다. 따라서, 예를 들면, 다른 각도에 있는 제3 카메라는 이미지를 제공하며, 심한 기울기(예컨대, 도 4a)와 비정상적으로 배치된 사용자(예컨대, 도 3b)에 대해서조차 동작한다. 상이하게 각이 진 카메라들은 상이한 초점 길이들을 가진 카메라들과 결합될 수 있는데, 예컨대, 4개의 카메라들은 최대 4개의 상이한 각도들과 4개의 초점 길이들까지, 또는 이것들의 임의의 조합을 제공할 수 있으며, 예컨대, [카메라 각도 A, 초점 길이 X], [카메라 각도 B, 초점 길이 X], [카메라 각도 A, 초점 길이 Y], [카메라 각도 B, 초점 길이 Y]가 있다. 임의의 실제적인 개수의 카메라들이 주어진 구현에 존재할 수 있다.
또한, 도 3a 내지 5b는 상이한 에지들 상에 배치된 카메라들을 도시한다는 것을 주목해야 한다. 하지만, 이것은 필수적이지는 않으며, 각 예시에서 두 개의 카메라들은 만약 원한다면 공통 에지 상에, 또는 원하는 만큼 멀리 분리되어(예컨대, 에지 코너들에 또는 서로에 대해 가능한 근접하게), 또는 이것들 사이의 임의의 위치에 있을 수 있다. 따라서, 도 3a 내지 5b는 단지 예증의 목적을 위한 비제한적인 예시들이다.
도 6a 및 6b는 각각 장치 디스플레이(660A 및 660B)의 각 측부 상에 (적어도 하나의) IR LED 조명을 갖는 구현을 도시하며, 비록 하나보다 많은 카메라가 있을 수 있고 임의의 카메라 위치가 사용될 수 있다고 이해되지만, 카메라(662A 및 662B)가 또한 각 도면 내에 도시되며, 하나 이상의 카메라가 장치로부터 물리적으로 분리될 수 있다. 도 6a는 코너들에 있는 4개의 LED들(663 - 666)을 도시한다. 도 6b는 측면 에지의 중앙에 4개의 LED들(667-670) 각각을 도시한다.
쉽게 인식될 수 있는 바와 같이, 이것들은 단지 예시들일 뿐이고, 4개 이상의 LED들을 갖는 다른 구성들이 사용될 수 있다. 도 7은, 디스플레이의 각 측부에 대해 장치(776) 내에 내장된 LED 조명들(771-774)의 바(bar)에 배열되는 것과 같이, 임의의 개수의 4개 이상의 LED 조명들을 도시한다. 대칭성은 요구되지 않는다. 카메라들(778과 779)이 도시되지만, 또한 이것은 단지 예시일뿐이고, 임의의 개수의 부착되거나 분리된 카메라들이 주어진 구현에서 존재할 수 있다. 도 7에서 "점선의" 원들로 표현된 LED 조명들은 주어진 구현에서 존재하거나 존재하지 않을 수 있고, 그리고/또는 도시된 것보다 많은 개수의 조명들이 존재할 수 있다.
도 8a 및 8b는 가능한 아마도 많은 구성들 중에서 두 개의 구성들을 도시한다. 도 8a는 단일 LED(881)와 하나 이상의 (예컨대, 이 예시에서 최대 6개까지) 카메라들(882(1) - 882(6))을 갖는 디스플레이(880)를 구비한 장치를 도시한다. 도 8b는 하나 이상의 LED들(887(1) - 887(8))(예컨대, 이 예시에서 최대 8개까지)과 하나 이상의(예컨대, 이 예시에서 최대 8개까지) 카메라들(888(1) - 888(8))을 갖는 디스플레이(886)를 구비한 장치를 도시한다. 쉽게 인식될 수 있는 바와 같이, 이것들은, 여기서 설명되는 눈 시선 검출을 위해 사용될 수 있는 많은 가능한 구성들 중 단지 두 개의 구성들일뿐이다.
도 9는, 도 2a 내지 8b에서 예시되는 카메라들/LED들 중 임의의 것 또는 전부를 가지고 사용될 수 있는 다른 대안을 도시한다. 도 9에서, 카메라(992) 주위에 IR LED들(990)의 링(ring)이 도시된다(확대된 뷰를 포함함). 도 9에서 표현되는 바와 같이, 하나 이상의 이러한 링/카메라 조립체들은 장치(994)와 같은 장치 상에 배치될 수 있다. 비록 12개의 일반적으로 대칭인 LED들이 링(990)에 예증되지만, 임의의 실질적인 개수가 존재할 수 있고, 예컨대, 두 개 이상이 충분할 수 있으며, 대칭은 요구되지 않는다. 광원을 둘러싸도록 배열되는 광원들은 반드시 종래 의미의 "링"을 형성하지 않을 수 있고, 따라서 "둘러싸는"은 링의 형태이든지 아니든지 간에 임의의 이러한 구성을 지칭한다는 것을 주목해야 한다.
LED들의 예시된 링(990)은, 이미지 캡처와 동기화되는 바와 같이, 턴온 또는 오프될 수 있다. LED들의 링(990)이 피험자의 눈을 조명하고 있을 때, 동공은 밝게 보여(밝은 눈 효과), 일반적으로 동공 검출과 동공 추정을 더 쉽고 더 정확하게 한다는 것을 주목해야 한다. 밝은 동공과 어두운 동공 기술들은 결합될 수 있다는 것을 주목해야 한다.
제어와 관련된 양상으로 돌아오면, 카메라들은 선택적으로 턴온 또는 오프될 수 있고, 그리고/또는 IR LED들은 턴온 또는 오프되거나 강도가 변화될 수 있어서, 예를 들면, 에너지를 절약하고, 그리고/또는 현재 조건들하에서 더 높은 품질의 이미지들을 획득할 수 있게 된다. 머리 추적, 위치 감지, 실제 이미지 처리 등은, 예를 들면 에너지를 절약하고, 그리고/또는 더 높은 품질의 이미지들을 획득하기 위해 사용될 수 있다. 초기의 그리고 때때로의 샘플링 측정들은, 예를 들면, 가능할 때 전체 파워(full power) 미만의 파워로 충분한 품질의 이미지를 제공하는 사용할 설정을 결정하기 위해 사용될 수 있다.
예를 들면, 가로 보기 모드에 있을 때, 디스플레이 아래(또는 위의) 카메라들만이 턴온될 수 있는 한편 다른 카메라들은 턴오프된다. 또한, 만약 복수의 카메라들이 동일 에지 상에 존재하면, 이 에지 상의 모든 카메라들이 필요하지는 않을 수 있다. 예를 들면, 사람의 머리가 우측에 배치된 채로, 두 개의 카메라들이 디스플레이 아래에 있는 것이 고려된다. 왼쪽 카메라는 턴오프될 수 있는데, 그 이유는 왼쪽 카메라가 사람의 머리를 볼 가능성이 없기 때문이며, 적어도 우측 카메라만큼 잘 볼 수 없기 때문이다.
상이하게 각이 진 카메라들의 예시에서, 눈 이미지를 획득하고 있는 카메라만이 턴온될 수 있다. 비록 이미지 처리가, 눈이 이미지 내에 존재하는지 여부를 결정하기 위해 유사하게 사용될 수 있지만, 머리 추적은 어느 카메라(들)이 눈을 캡처할 것인지를 결정하기 위해 사용될 수 있다. 상이한 초점 길이 카메라들에 대해, 충분히 선명한 카메라만이 턴온될 수 있다. 예를 들면, 초기에 모든 카메라들이 사용될 수 있지만, 눈에 대해 이미지 내의 선명도 검출은 어느 카메라를 사용할지를 결정할 수 있다.
또한, 복수의 이미지들이 존재할 때, 복수의 카메라들로부터의 이미지 데이터는, 평균화되거나, 가중화된 평균 기법을 통해서와 같이 결합될 수 있다. 예를 들면, 상기 선명도 검출 시나리오에서, 두 카메라들 모두가 눈을 검출하다고 고려하자. 하나의 이미지에서 검출되는 글린트를 통해 계산되는 눈 위치는, 다른 이미지에서 검출되는 글린트를 통해 계산되는 눈 위치와 평균화될 수 있으며, 예를 들면, 두 개의 이미지들 중 더 선명한 이미지가 선명도에 상응하는 더 높은 가중치를 부여받을 수 있다.
각 LED 조명의 강도가 조정될 수 있다. 예를 들면, 더 강한 주변 IR 광을 가진 환경에서, LED 조명의 강도가 증가할 수 있다. 실제 이미지 처리뿐만 아니라 다른 주변 광 센서들도 LED 강도를 조정하기 위해 사용될 수 있다. 상이한 IR 파장들이 사용될 수 있다. IR 광은, 카메라 캡처링과 조율해서 에너지를 절약하기 위해 펄스화될 수 있다. IR 광은 시그너처로 펄스화되고, 그리고/또는 더 밝은 주변 광에서 사용가능한 이미지를 얻도록 감산(subtraction)과 함께 사용될 수 있다.
LED는 또한, 필요할 경우 턴온되거나 턴오프될 수 있다. 예를 들면, LED는 안경 상에 추가적인 반사를 발생시킬 수 있다. 카메라 내로 안경 상에 반사를 야기하는 이러한 LED는 턴오프될 수 있다.
도 10은 단계(1002)에서 시작하는 일부 제어 논리의 예시를 제공하며, 여기서 이미지가 캡처되고 처리되며, 예컨대, 카메라들과 LED들의 완전한 세트가 초기에 사용될 수 있다. 이미지 처리는 머리 추적, 일반적인 눈 위치를 수행하기 위한 것일 수 있고, 그리고/또는 예를 들면 눈 특징의 품질에 기초할 수 있다.
단계들(1004, 1006, 1008 1010 및 1012)을 거쳐, 시선 검출에 대해 유용한 이미지를 제공하고 있지 않은 임의의 카메라는(이 카메라가 또한 다른 목적을 위해 사용되고 있지 않다는 가정하면) 복수의 카메라 시나리오에서 턴오프될 수 있다. 예를 들면, 여기서의 예시들에서, 도 3a의 카메라(332)와 같이, 피험자의 눈을 보고 있지 않은 카메라는 유용한 이미지를 제공하고 있지 않다. 유사하게, 글린트를 검출하기에 충분히 선명하지 않은 이미지가 사용되고 있지 않다(비록 일부 검출이 제공되고 예를 들면 가중화된 평균에서 사용된다면 이 이미지가 어느 정도 유용할 수 있지만).
단계들(1014, 1016, 1018 1020 및 1022)은, 비록 이 단계들이 LED를 전적으로 턴오프하기보다는 임의의 LED를 위해 LED 강도를 감소시킬 수 있지만, LED들을 위한 유사한 동작을 제공한다. 따라서, LED가 글린트를 제공하고 있지 않다면, 이 LED는 턴오프될 수 있다. LED가 바람직하지 않은 반사를 제공하고 있지 않다면, 이 LED는 턴오프될 수 있다.
LED 상태를 변경시키는 것은 캡처된 이미자 어떻게 나타나는지를 변경시킬 수 있고, 따라서 LED 상태 변경들간을 일부 왔다갔다(back-and-forth)하는 것과 어느 카메라(들)를 사용할지는 현재의 조건들을 위해 주어진 시스템을 조정하도록 수행될 수 있다. 따라서, 도 10의 단계들 중 일부 또는 전부가, 특정 이벤트(예컨대, 주변광, 상당한 머리 또는 장치 움직임) 등이 발생시에 예컨대, 주기적으로 복수 회 수행될 수 있다.
도 11은, 일반적으로 단계(1102)에서 시작하는, 이미지 데이터의 예시적인 조합에 대한 것이며, 이 단계에서, 눈(예컨대, 원하는 특징)을 캡처하는 것에 대해 가장 선명한 그러한 이미지들이 선택되고, 이 선택은 선명도에 기초하는 것과 같이 가중치를 각 이미지에 연관시킬 수 있다.
단계(1104)는, 이러한 이미지들을, 예컨대 유용한 이미지들에 대해 (선명도에 대응하는 가중화된 평균을 사용해서) 평균화된 시선 데이터로 조합시킨다. 단계(1106)는, 이 시선 데이터를 시선 검출 알고리즘에 제공한다.
볼 수 있는 바와 같이, 임의의 개수의 카메라들과, 각 카메라로부터 볼 수 있는 임의의 개수의 LED들을 위해 통일된 프레임워크가 제공된다. 이 프레임워크는, 디스플레이의 경사각, 디스플레이 배향, 눈까지의 거리, 주변 광 조건 등과 같이, 주어진 시나리오에서 존재할 수 있는 많은 변수들과 상관 없이 견고한 데이터 수집을 위해 카메라들과 LED들이 배치되고 그리고/또는 제어되는 것을 가능케 한다.
하나 이상의 구현에서, 복수의 카메라들은 디스플레이에 근접하게 배치되고, 디스플레이에 인접한 제1 에지 상에 제1 카메라와, 디스플레이에 인접한 제2 에지 상에 제2 카메라를 포함하고, 제2 에지는 제1 에지에 대해 평행하지 않다. 적어도 하나의 광원은, 눈에 의해 반사될 때 각막 반사 데이터를 발생하는 광을 출력시키도록 구성되고, 카메라들은, 눈 시선 검출에서 사용하기 위한 캡처된 각막 반사 데이터를 포함하는 이미지 데이터를 이미지 처리 컴포넌트에 제공하도록 이미지 처리 컴포넌트에 연결된다. 디스플레이는, 장치의 현재 배향과 맞추어 적어도 일부 디스플레이되는 출력의 콘텐츠 렌더링 배향을 변경시키도록 구성되는 장치 내로 통합될 수 있다.
제1 카메라는 제1 에지 내로 내장되고, 제2 카메라는 제2 에지 내로 내장될 수 있다. 하나 이상의 광원들은 디스플레이에 인접한 에지 내로 내장될 수 있다. 복수의 적외선 광원들은 제1 카메라를 둘러쌀 수 있다.
하나 이상의 양상들에서, 카메라들은 디스플레이에 대해 각이 지고 서로에 대해 상이하게 각이 질 수 있다. 카메라들은 서로에 대해 상이한 초점 길이들을 가질 수 있다.
하나 이상의 양상들에서, 제어기는 제1 카메라 또는 제2 카메라를 선택적으로 턴오프하도록 구성될 수 있다. 제어기는 적외선 광원들 중 적어도 하나의 광원을 선택적으로 턴오프하거나, 이 광원의 강도를 감소시킬 수 있다.
하나 이상의 구현에서, 3개 이상의 적외선 광원들이, 눈에 의해 반사될 때 각막 반사 데이터를 생성하는 광을 출력시키도록 구성된다. 복수의 적외선 감지 카메라들은, 눈 시선 검출에 사용하기 위해 각막 반사 데이터를 캡처하도록 구성된다. 카메라는, 캡처된 각막 반사 데이터를 포함하는 이미지 데이터를 이미지 처리 컴포넌트에 제공할 수 있다.
하나 이상의 양상은, 적어도 두 개의 카메라들에 의해 캡처된 인간 눈의 이미지들에 대응하는 이미지 데이터를 수신하는 것에 대한 것이다. 이미지 데이터는 시선 검출 알고리즘에 제공되는 눈 피처(feature) 데이터 내로 결합될 수 있다. 이미지들 중 적어도 하나의 이미지에 기초해서, 광원으로의 전력이 감소되거나 턴오프될 수 있고, 그리고/또는 카메라가 턴오프될 수 있다.
예시적인 동작 환경
도 12는 여기서 설명되는 청구 대상의 양상들이 구현될 수 있는, 적절한 모바일 장치(1200)의 예시를 예증한다. 모바일 장치(1200)는, 장치의 단지 하나의 예시일뿐이고, 여기서 설명되는 청구 대상의 양상의 사용 또는 기능의 범위에 대한 임의의 제한을 제안하도록 의도되지 않는다. 모바일 장치(1200)가 예시적인 모바일 장치(1200)에 예증된 컴포넌트들 중 임의의 하나 또는 조합과 관련하여 어떤 의존성 또는 요건을 갖는 것으로 해석되어서는 안 된다. 모바일 장치는 스마트폰, 태블릿, 랩톱 등과 같은 핸드헬드 장치를 포함할 수 있다.
도 12를 참조해서, 여기서 설명되는 청구 대상의 양상들을 구현하기 위한 예시적인 장치는 모바일 장치(1200)를 포함한다. 일부 실시예에서, 모바일 장치(1200)는, 셀 폰, 다른 사람들과의 음성 통신을 가능케 하는 핸드헬드 장치, 특정의 다른 음성 통신 장치 등을 포함한다. 이 실시예에서, 모바일 장치(1200)는 사진 촬영을 위한 카메라가 장착될 수 있지만, 이 카메라가 다른 실시예에서 요구되지 않을 수도 있다. 다른 실시예에서, 모바일 장치(1200)는 PDA(personal digital assistant), 핸드헬드 게임 장치, 노트북 컴퓨터, 프린터, 셋톱을 포함하는 기기, 미디어 센터, 또는 다른 기기, 다른 모바일 장치 등을 포함할 수 있다. 또 다른 실시예에서, 모바일 장치(1200)는, 개인용 컴퓨터, 서버 등과 같이 일반적으로 모바일이 아니라고 간주되는 장치를 포함할 수 있다.
모바일 장치(1200)의 컴포넌트는, 처리 유닛(1205), 시스템 메모리(1210)와, 시스템 메모리(1210)를 포함하는 다양한 시스템 컴포넌트를 처리 유닛(1205)에 연결시키는 버스(1215)를 포함할 수 있지만, 이것들에만 제한되지는 않는다. 버스(1215)는 메모리 버스, 메모리 제어기, 주변 버스, 및 다양한 버스 아키텍처들 중 임의의 아키텍처를 사용하는 로컬 버스 등을 포함하는 복수의 유형의 버스 구조들 중 임의의 유형을 포함할 수 있다. 버스(1215)는 모바일 장치(1200)의 다양한 컴포넌트들 간에 데이터가 송신되는 것을 가능케 한다.
모바일 장치(1200)는 다양한 컴퓨터 판독가능/머신 판독가능 매체를 포함할 수 있다. 이러한 매체는, 모바일 장치(1200)에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있고, 휘발성 매체와 비휘발성 매체, 그리고 이동식 매체와 비이동식 매체 모두를 포함한다. 제한이 아닌 예로서, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보를 저장하는 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 기타 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 모바일 장치(1200)에 의해 액세스될 수 있고 원하는 정보를 저장하는 데 사용될 수 있는 임의의 기타 매체를 포함하지만 이에 제한되는 것은 아니다.
통신 매체는 통상적으로 반송파(carrier wave) 또는 기타 전송 메커니즘(transport mechanism)과 같은 피변조 데이터 신호(modulated data signal)에 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터를 구현하고 모든 정보 전달 매체를 포함한다. 용어 "피변조 데이터 신호"는 하나 이상의 신호 특성 세트를 가지는 신호를 의미하거나, 예를 들면, 신호 내에 정보를 인코딩하는 방식과 같이 수정될 수 있다. 예로서, 통신 매체는 유선 네트워크 또는 직접 배선 접속(direct-wired connection)과 같은 유선 매체, 그리고 음향, RF, 블루투스®, 무선 USB, 적외선, 와이파이, WiMAX, 및 다른 무선 매체와 같은 무선 매체를 포함하지만 이에 제한되는 것은 아니다. 상기한 것들 중 임의의 것의 조합들도 컴퓨터 판독 가능 매체의 범주 내에 포함되어야 한다.
시스템 메모리(1210)는 휘발성 및/또는 비휘발성 메모리의 형태의 컴퓨터 저장 매체를 포함하고, 판독 전용 메모리(ROM)와 랜덤 액세스 메모리(RAM)를 포함할 수 있다. 셀 폰과 같은 모바일 장치상에서, 운영 체제 코드(1220)는 때때로 롬 내에 포함되지만, 다른 실시예에서는 이 특징이 요구되지 않는다. 유사하게, 애플리케이션 프로그램(1225)이 종종 램 내에 배치되지만, 또한 다른 실시예에서, 애플리케이션 프로그램은 롬에 또는 다른 컴퓨터 판독가능 메모리에 배치될 수 있다. 힙(heap)(1230)은 운영 체제(1220)와 애플리케이션 프로그램(1225)과 연관된 상태를 위한 메모리를 제공한다. 예를 들면, 운영 체제(1220)와 애플리케이션 프로그램(1225)은, 자신들의 동작 동안에 힙(1230) 내에 변수 및 데이터 구조를 저장할 수 있다.
모바일 장치(1200)는 또한 다른 이동식/비이동식, 휘발성/비휘발성 메모리를 포함할 수 있다. 예시로서, 도 12는 플래시 카드(1235), 하드 디스크 드라이브(1236), 및 메모리 스틱(1237)을 예증한다. 하드 디스크 드라이브(1236)는 예컨대 메모리 슬롯에 맞도록 소형화될 수 있다. 모바일 장치(1200)는, 이동식 메모리 인터페이스(1231)를 통해 이 유형들의 비휘발성 이동식 메모리와 접속할 수 있거나, 범용 직렬 버스(universal serial bus; USB), IEEE 12394, 유선 포트(들)(1240) 중 하나 이상, 또는 안테나(들)(1265)를 통해 연결될 수 있다. 이 실시예에서, 이동식 메모리 장치(1235 내지 1237)는 통신 모듈(들)(1232)을 통해 모바일 장치에 접속할 수 있다. 일부 실시예에서, 이 유형들의 메모리 모두가 단일 모바일 장치 상에 포함될 수는 없다. 다른 실시예에서, 이들 및 다른 유형들의 이동식 메모리 중 하나 이상이 단일 모바일 장치 상에 포함될 수 있다.
일부 실시예에서, 하드 디스크 드라이브(1236)는, 모바일 장치(1200)에 보다 영구적으로 부착되는 방식으로 연결될 수 있다. 예를 들면, 하드 디스크 드라이브(1236)는, 버스(1215)에 연결될 수 있는, PATA(parallel advanced technology attachment), SATA(serial advanced technology attachment) 또는 다른 방식의 인터페이스에 연결될 수 있다. 이러한 실시예에서, 하드 드라이브를 제거하는 것은, 모바일 장치(1200)의 커버를 제거하는 것과, 모바일 장치(1200) 내의 지지 구조물에 하드 드라이브(1236)를 연결하는 나사 또는 다른 패스너(fastener)를 제거하는 것을 수반할 수 있다.
위에서 논의되고 도 12에서 예증된 이동식 메모리 장치(1235 내지 1237) 및 그 연관된 컴퓨터 저장 매체는, 모바일 장치(1200)를 위한, 컴퓨터 판독가능 명령어, 프로그램 모듈, 데이터 구조, 및 다른 데이터를 위한 저장소를 제공한다. 예를 들면, 이동식 메모리 장치 또는 장치들(1235 내지 1237)은, 모바일 장치(1200)에 의해 촬영된 이미지, 음성 녹음, 연락처 정보, 프로그램, 프로그램을 위한 데이터 등을 저장할 수 있다.
사용자는, 키 패드(1241)와 마이크(1242)와 같은, 입력 장치를 통해 명령어와 정보를 모바일 장치(1200)에 입력할 수 있다. 일부 실시예에서, 디스플레이(1243)는 터치 감응 스크린일 수 있고, 사용자로 하여금 디스플레이(1243) 상에 명령어와 정보를 입력하게 할 수 있다. 키 패드(1241)와 디스플레이(1243)는, 버스(1215)에 연결되는, 사용자 입력 인터페이스(1250)를 통해 처리 유닛(1205)에 연결될 수 있으나, 통신 모듈(들)(1232)과 유선 포트(들)(1240)와 같은, 다른 인터페이스 및 버스 구조물에 의해 또한 연결될 수 있다. 움직임 검출(1252)은, 장치(1200)를 사용해 수행된 제스처를 결정하기 위해 사용될 수 있다.
사용자는, 마이크(1242) 안으로 입력된 음성을 통해, 그리고 예컨대, 키 패드(1241)와 터치 감응 디스플레이(1243) 상에 입력되는 텍스트 메시지를 통해 다른 사용자와 통신할 수 있다. 오디오 유닛(1255)은, 마이크(1242)로부터 오디오 신호를 수신하고 수신된 오디오 신호를 디지털화할뿐만 아니라 스피커(1244)를 구동하기 위한 전기 신호를 제공할 수 있다.
모바일 장치(1200)는 카메라(1261)를 구동하기 위한 신호를 제공하는 비디오 유닛(1260)을 포함할 수 있다. 비디오 유닛(1260)은 또한, 카메라(1261)에 의해 획득된 이미지를 또한 수신하고, 모바일 장치(1200) 상에 포함된 처리 유닛(1205) 및/또는 메모리에 이 이미지를 제공할 수 있다. 카메라(1261)에 의해 획득된 이미지는, 비디오, 비디오를 형성하지 않는 하나 이상의 이미지들, 또는 이것들의 특정 조합을 포함할 수 있다.
통신 모듈(들)(1232)은, 하나 이상의 안테나(들)(1265)에 제공하고 이 안테나로부터 신호를 수신할 수 있다. 안테나(들)(1265) 중 하나는 셀 폰 네트워크를 위해 메시지를 송수신할 수 있다. 다른 안테나는 블루투스® 메시지를 송수신할 수 있다. 또 다른 안테나(또는 공유되는 안테나)는 무선 이더넷 네트워크 표준을 통해 네트워크 메시지를 송수신할 수 있다.
또한, 안테나는 예컨대, GPS 신호와 같은 위치 기반 정보를 GPS 인터페이스 및 메커니즘(1272)에 제공한다. 결국, GPS 매커니즘(1272)은 대응하는 GPS 데이터(예컨대, 시간 및 좌표)가 처리를 위해 이용가능하게 한다.
일부 실시예에서, 단일 안테나는 하나보다 많은 유형의 네트워크를 위해 메시지를 송신 및/또는 수신하도록 사용될 수 있다. 예를 들면, 단일 안테나는 음성 및 패킷 메시지를 송수신할 수 있다.
네트워킹된 환경에서 동작될 때, 모바일 장치(1200)는 하나 이상의 원격 장치들에 연결될 수 있다. 원격 장치는, 개인용 컴퓨터, 서버, 라우터, 네트워크 PC, 셀 폰, 미디어 플레이백 장치, 피어(peer) 장치, 또는 다른 일반적인 네트워크 노드를 포함할 수 있고, 모바일 장치(1200)에 대해 위에서 설명된 요소들 중 다수 또는 모두를 통상적으로 포함한다.
여기서 설명된 청구 대상의 양상은, 다수의 다른 범용 또는 특수 목적 컴퓨팅 시스템 환경 또는 구성과 함께 동작 가능하다. 여기서 설명된 청구대상의 양상과 사용하기 위해 적절할 수 있는, 잘 알려진 컴퓨팅 시스템, 환경 및/또는 구성의 예시는, 퍼스널 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩톱 장치, 멀티프로세서 시스템, 마이크로제어기 기반 시스템, 셋톱 박스, 프로그램 가능한 가전제품, 네트워크 PC, 미니 컴퓨터, 메인프레임 컴퓨터, 상기 시스템들이나 장치들 중 임의의 것을 포함하는 분산 컴퓨팅 환경 등을 포함하지만, 이것들에 제한되는 것은 아니다.
여기서 설명된 청구 대상의 양상은, 모바일 장치에 의해 실행되는 프로그램 모듈들과 같은 컴퓨터 실행 가능 명령어들의 일반적인 문맥에서 설명될 수 있다. 일반적으로, 프로그램 모듈은 특정 작업을 수행하거나 특정 추상 데이터 유형을 구현하는 루틴, 프로그램, 객체(object), 컴포넌트, 데이터 구조 등을 포함한다. 여기서 설명되는 청구 대상의 양상은, 작업들이 통신 네트워크를 통해 연결되는 원격 프로세싱 장치들에 의해 수행되는, 분산된 컴퓨팅 환경들에서 또한 실행될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 메모리 저장 장치를 비롯한 로컬 및 원격 컴퓨터 저장 매체 둘다에 위치할 수 있다.
또한, 비록 용어 서버가 여기서 사용될 수 있지만, 이 용어는 또한, 클라이 언트, 하나 이상의 컴퓨터들 상에 분산된 하나 이상의 프로세스들의 세트, 하나 이상의 단독 저장 장치들, 하나 이상의 다른 장치들의 세트, 상기 것들 중 하나 이상의 것들의 조합 등을 포괄할 수 있다.
결론
본 발명이 다양한 수정 및 대안적인 구성이 가능하지만, 그 특정 예증된 실시예가 도면에 도시되며, 위에서 상세히 설명되었다. 그러나, 본 발명을 개시된 특정 형태에 제한하려는 어떠한 의도도 없고, 반대로, 의도는 본 발명의 사상 및 범위 내에 있는 모든 수정, 대안적 구성, 및 등가물을 다루기 위한 것이라는 것이 이해되어야 한다.
여기서 설명된 다양한 실시예에 추가해서, 다른 유사한 실시예가 사용될 수 있거나, 수정 및 추가가, 상기 설명된 다양한 실시예로부터 벗어나지 않으면서 대응 실시예(들)은 동일하거나 등가의 기능을 수행하기 위해 상기 설명된 실시예(들)에 대해 수행될 수 있다. 더 나아가, 다수의 처리 칩들 또는 다수의 장치들이 여기서 설명된 하나 이상의 기능들의 성능을 공유할 수 있고, 유사하게, 저장이 복수의 장치들에 걸쳐 수행될 수 있다. 따라서, 본 발명은 단일 실시예에 제한되는 것이 아니라, 첨부된 청구항들에 따른 폭, 정신 및 범위에서 해석되어야 한다.

Claims (20)

  1. 시스템에 있어서,
    디스플레이;
    상기 디스플레이에 인접하게 배치된 복수의 카메라들 - 상기 복수의 카메라들은,
    상기 디스플레이에 인접한 제1 에지(edge) 상의 제1 카메라; 및
    상기 디스플레이에 인접한 제2 에지 상의 제2 카메라를 포함함 - ;
    눈(eye)에 의해 반사될 때 각막 반사(corneal reflection)를 생성하는 광을 출력시키도록 구성된 적어도 하나의 광원;
    상기 복수의 카메라들에 연결된 이미지 처리 컴포넌트 - 상기 이미지 처리 컴포넌트는,
    상기 제1 카메라에 의해 캡처된, 상기 눈의 제1 이미지를 상기 제1 카메라로부터 수신하고;
    상기 제2 카메라에 의해 캡처된, 상기 눈의 제2 이미지를 상기 제2 카메라로부터 수신하며, 상기 제1 이미지 및 상기 제2 이미지는, 상기 이미지 처리 컴포넌트에 의해 눈 시선 검출(eye gaze detection)에 사용하기 위한 상기 각막 반사를 포함함 - ; 및
    상기 이미지 처리 컴포넌트에 의한 상기 눈의 제1 이미지 및 상기 제2 이미지의 선명도(sharpness) 검출에 기초해, 상기 제1 카메라 및 상기 제2 카메라 중 하나를 선택적으로 턴오프하도록 구성된 제어기
    를 포함하는, 시스템.
  2. 제1항에 있어서,
    상기 디스플레이는 디바이스 내로 통합되고, 상기 디바이스는, 자신의 현재 배향과 맞추어 적어도 일부 디스플레이되는 출력의 콘텐츠 렌더링 배향을 변경시키도록 구성되는 것인, 시스템.
  3. 제1항에 있어서,
    상기 복수의 카메라들은 상기 디스플레이에 대해 각지게 배치되며(angled), 상기 제1 카메라 및 상기 제2 카메라는 서로에 대해 상이하게 각지게 배치되는 것인, 시스템.
  4. 제1항에 있어서,
    상기 제1 카메라 및 상기 제2 카메라는 서로에 대해 상이한 초점 길이들을 갖는 것인, 시스템.
  5. 제1항에 있어서,
    상기 제1 카메라는 상기 제1 에지 내로 내장되고(embedded), 상기 제2 카메라는 상기 제2 에지 내로 내장되는 것인, 시스템.
  6. 제1항에 있어서,
    상기 적어도 하나의 광원은 상기 디스플레이에 인접한 에지 내로 내장되는 것인, 시스템.
  7. 제1항에 있어서,
    상기 디스플레이는, 태블릿 컴퓨팅 디바이스, 랩톱 컴퓨터, 스마트폰, 또는 핸드헬드(handheld) 컴퓨팅 디바이스 중 하나 내로 통합되는 것인, 시스템.
  8. 제1항에 있어서,
    상기 디스플레이는 텔레비전 또는 컴퓨터 모니터 중 하나 내로 통합되는 것인, 시스템.
  9. 제1항에 있어서,
    상기 적어도 하나의 광원은 복수의 적외선 광원들을 포함하고, 상기 제어기는 또한, 상기 복수의 적외선 광원들 중 적어도 하나의 적외선 광원을 선택적으로 턴오프하거나, 또는 상기 적어도 하나의 적외선 광원의 강도를 감소시키도록 구성된 것인, 시스템.
  10. 제1항에 있어서,
    상기 적어도 하나의 광원 및 상기 제1 카메라는 단일 조립체(unitary assembly)를 포함하고, 상기 적어도 하나의 광원은, 상기 제1 카메라를 둘러싸는 복수의 적외선 광원들을 포함하는 것인, 시스템.
  11. 제1항에 있어서,
    상기 제2 에지는 상기 제1 에지에 평행하지 않은 것인, 시스템.
  12. 시스템에 있어서,
    복수의 적외선 광원들 - 상기 복수의 적외선 광원들은, 눈에 의해 반사될 때 각막 반사를 생성하는 적외선 광을 출력시키도록 구성됨 - ;
    복수의 적외선 감지 카메라들 - 상기 복수의 적외선 감지 카메라들은, 눈 시선 검출에 사용하기 위한 복수의 이미지들로서 상기 각막 반사를 캡처하도록 구성됨 - ; 및
    상기 눈의 상기 복수의 이미지들 중 각각의 이미지의 선명도 검출에 기초해, 상기 복수의 적외선 감지 카메라들 중 적어도 하나의 적외선 감지 카메라를 선택적으로 턴오프하도록 구성된 제어기
    를 포함하는, 시스템.
  13. 제12항에 있어서,
    이미지 처리 컴포넌트를 더 포함하고, 상기 복수의 적외선 감지 카메라들은, 상기 눈의 상기 복수의 이미지들을 상기 이미지 처리 컴포넌트에 제공하도록 상기 이미지 처리 컴포넌트에 연결되는 것인, 시스템.
  14. 제12항에 있어서,
    상기 복수의 적외선 감지 카메라들 중 적어도 두 개는 서로에 대해 상이하게 각지게 배치되는 것인, 시스템.
  15. 제12항에 있어서,
    상기 복수의 적외선 감지 카메라들 중 적어도 두 개는 서로에 대해 상이한 초점 길이들을 갖는 것인, 시스템.
  16. 제12항에 있어서,
    상기 제어기는 또한, 상기 복수의 적외선 광원들 중 적어도 하나의 강도를 감소시키도록 구성되는 것인, 시스템.
  17. 제12항에 있어서,
    상기 복수의 적외선 감지 카메라들은 디스플레이에 인접한 공통 에지(common edge) 상에 위치한 두 개의 적외선 감지 카메라들을 포함하는 것인, 시스템.
  18. 방법에 있어서,
    컴퓨팅 디바이스에 의해, 적어도 두 개의 카메라들에 의해 캡처되는, 인간 눈의 복수의 이미지들에 대응하는 이미지 데이터를 수신하는 단계;
    상기 컴퓨팅 디바이스에 의해, 상기 이미지 데이터를 눈 특징(feature) 데이터로 결합시키는 단계;
    상기 컴퓨팅 디바이스에 의해, 상기 눈 특징 데이터를 시선 검출 알고리즘에 제공하는 단계;
    상기 컴퓨팅 디바이스에 의해, 상기 복수의 이미지들 중 각각의 이미지의 선명도를 결정하는 단계; 및
    상기 컴퓨팅 디바이스에 의해, 상기 선명도의 결정에 기초해, 상기 적어도 두 개의 카메라들 중 하나를 선택적으로 턴오프하는 단계
    를 포함하는, 방법.
  19. 제18항에 있어서,
    상기 적어도 두 개의 카메라들 중 하나를 선택적으로 턴오프하는 단계 이후에, 상기 컴퓨팅 디바이스에 의해, 상기 복수의 이미지들 중 상기 각각의 이미지에 캡처된 눈 특징 데이터의 품질에 기초해 광원을 턴오프하거나 상기 광원으로의 전력을 감소시키는 단계를 더 포함하는, 방법.
  20. 제18항에 있어서,
    상기 이미지 데이터를 수신하는 단계 이전에, 적어도 하나의 광원을 사용해 광을 상기 인간 눈 상으로 투사하는 단계를 더 포함하고, 상기 광은, 상기 인간 눈에 의해 반사될 때 각막 반사를 생성하는 것인, 방법.
KR1020167020808A 2014-01-14 2015-01-14 복수의 광원들과 센서들을 사용한 눈 시선 검출 KR102313256B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/154,542 2014-01-14
US14/154,542 US9430040B2 (en) 2014-01-14 2014-01-14 Eye gaze detection with multiple light sources and sensors
PCT/US2015/011289 WO2015108898A1 (en) 2014-01-14 2015-01-14 Eye gaze detection with multiple light sources and sensors

Publications (2)

Publication Number Publication Date
KR20160108388A KR20160108388A (ko) 2016-09-19
KR102313256B1 true KR102313256B1 (ko) 2021-10-18

Family

ID=52478045

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167020808A KR102313256B1 (ko) 2014-01-14 2015-01-14 복수의 광원들과 센서들을 사용한 눈 시선 검출

Country Status (5)

Country Link
US (2) US9430040B2 (ko)
EP (1) EP3095025B1 (ko)
KR (1) KR102313256B1 (ko)
CN (1) CN105917292B (ko)
WO (1) WO2015108898A1 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102292017B (zh) * 2009-01-26 2015-08-05 托比股份公司 由光学基准信号辅助的对凝视点的检测
US9223136B1 (en) * 2013-02-04 2015-12-29 Google Inc. Preparation of image capture device in response to pre-image-capture signal
JP6371637B2 (ja) * 2014-08-21 2018-08-08 任天堂株式会社 情報処理装置、情報処理システム、情報処理プログラム、および情報処理方法
JP6383218B2 (ja) * 2014-08-21 2018-08-29 任天堂株式会社 情報処理装置、情報処理システム、情報処理プログラム、および情報処理方法
US10303916B2 (en) * 2015-07-31 2019-05-28 Fotonation Limited Image processing apparatus
US9785234B2 (en) * 2015-12-26 2017-10-10 Intel Corporation Analysis of ambient light for gaze tracking
CN105528084A (zh) * 2016-01-21 2016-04-27 京东方科技集团股份有限公司 一种显示控制装置及其控制方法、显示控制系统
CN106874895B (zh) 2017-03-31 2019-02-05 北京七鑫易维信息技术有限公司 一种视线追踪装置及头戴式显示设备
CN107219921B (zh) * 2017-05-19 2019-09-27 京东方科技集团股份有限公司 一种操作动作执行方法及其系统
CN107247571B (zh) * 2017-06-26 2020-07-24 京东方科技集团股份有限公司 一种显示装置及其显示方法
CN107172337B (zh) * 2017-06-29 2019-08-27 京东方科技集团股份有限公司 一种智能画框及其中的图像采集装置的切换方法
EP3612911A4 (en) * 2017-07-03 2020-12-30 Hewlett-Packard Development Company, L.P. ROTARY MICRO-LED DISPLAY DEVICES BASED ON EYE MOVEMENT
EP3445138A1 (en) * 2017-08-17 2019-02-20 Philips Lighting Holding B.V. Storing a preference for a light state of a light source in dependence on an attention shift
KR102495359B1 (ko) 2017-10-27 2023-02-02 삼성전자주식회사 객체 트래킹 방법 및 장치
WO2019084595A1 (en) * 2017-10-31 2019-05-09 Seeing Machines Limited System and method for improving signal to noise ratio in object tracking under poor light conditions
US11042994B2 (en) 2017-11-15 2021-06-22 Toyota Research Institute, Inc. Systems and methods for gaze tracking from arbitrary viewpoints
KR102476757B1 (ko) * 2017-12-21 2022-12-09 삼성전자주식회사 반사를 검출하는 장치 및 방법
CN108762511B (zh) * 2018-06-14 2020-08-25 北京七鑫易维信息技术有限公司 一种光源控制方法及装置
CN110826366A (zh) * 2018-08-10 2020-02-21 北京魔门塔科技有限公司 一种夜晚用于数据分析的人脸图像采集系统
US20220217301A1 (en) * 2019-04-15 2022-07-07 Shanghai New York University Systems and methods for interpolative three-dimensional imaging within the viewing zone of a display
CN110488964B (zh) * 2019-07-01 2021-11-16 联想(北京)有限公司 一种电子设备与调整方法
JP7269131B2 (ja) * 2019-08-14 2023-05-08 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、視線検出システム、視線検出方法および視線検出プログラム
CN110750157B (zh) * 2019-10-18 2023-12-01 天津理工大学 基于3d眼球模型的眼控辅助输入装置及方法
EP4069055A1 (en) * 2019-12-06 2022-10-12 Johnson & Johnson Vision Care, Inc. Spectrally adjustable optical photosensitivity analyzer and uses thereof
JP2021170699A (ja) * 2020-04-14 2021-10-28 キヤノン株式会社 電子機器
SE545387C2 (en) * 2021-06-30 2023-07-25 Tobii Ab Method, computer program product, control unit and head-mounted display for conserving energy in an eye tracking system
WO2023120892A1 (ko) * 2021-12-20 2023-06-29 삼성전자주식회사 글린트를 이용한 시선 추적에서 광원을 제어하는 장치 및 방법
SE2250765A1 (en) * 2022-06-22 2023-12-23 Tobii Ab An eye tracking system

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2649932B2 (ja) * 1988-02-03 1997-09-03 東京磁気印刷株式会社 磁気記録媒体
US5638176A (en) * 1996-06-25 1997-06-10 International Business Machines Corporation Inexpensive interferometric eye tracking system
KR100850357B1 (ko) * 2006-12-06 2008-08-04 한국전자통신연구원 시선 위치 추적 방법 및 그 장치
US7978239B2 (en) * 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
EP2238889B1 (en) * 2009-04-01 2011-10-12 Tobii Technology AB Adaptive camera and illuminator eyetracker
US8019390B2 (en) * 2009-06-17 2011-09-13 Pradeep Sindhu Statically oriented on-screen transluscent keyboard
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
KR20120057033A (ko) * 2010-11-26 2012-06-05 한국전자통신연구원 Ｉｐｔｖ 제어를 위한 원거리 시선 추적 장치 및 방법
WO2012077713A1 (ja) 2010-12-08 2012-06-14 国立大学法人静岡大学 注視点検出方法及び注視点検出装置
US9285874B2 (en) * 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
EP2521007A1 (en) 2011-05-03 2012-11-07 Technische Universität Dresden Method for object 3D position identification based on multiple image analysis applying to gaze tracking
US9129277B2 (en) * 2011-08-30 2015-09-08 Digimarc Corporation Methods and arrangements for identifying objects
US8976110B2 (en) * 2011-10-27 2015-03-10 Tobii Technology Ab Power management in an eye-tracking system
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
KR20130115840A (ko) * 2012-04-13 2013-10-22 이광희 모바일용 홍채인식 카메라시스템
WO2013162471A2 (en) * 2012-04-23 2013-10-31 Nanyang Technological University Portable optics adapter to digital camera for fundus imaging
US9612656B2 (en) * 2012-11-27 2017-04-04 Facebook, Inc. Systems and methods of eye tracking control on mobile device
US20150015478A1 (en) * 2013-07-11 2015-01-15 Samsung Display Co., Ltd. Ir emissive display facilitating remote eye tracking
US9552064B2 (en) * 2013-11-27 2017-01-24 Shenzhen Huiding Technology Co., Ltd. Eye tracking and user reaction detection

Also Published As

Publication number Publication date
WO2015108898A1 (en) 2015-07-23
US9430040B2 (en) 2016-08-30
EP3095025B1 (en) 2018-06-20
CN105917292A (zh) 2016-08-31
US20160334869A1 (en) 2016-11-17
US20150199003A1 (en) 2015-07-16
EP3095025A1 (en) 2016-11-23
CN105917292B (zh) 2019-05-14
KR20160108388A (ko) 2016-09-19

Similar Documents

Publication Publication Date Title
KR102313256B1 (ko) 복수의 광원들과 센서들을 사용한 눈 시선 검출
US10146305B2 (en) Eye gaze tracking using binocular fixation constraints
EP3123283B1 (en) Eye gaze tracking based upon adaptive homography mapping
US9202280B2 (en) Position estimation based rotation of switched off light source
US8942434B1 (en) Conflict resolution for pupil detection
US10019107B2 (en) Correcting for parallax in electronic displays
US10805543B2 (en) Display method, system and computer-readable recording medium thereof
US10156899B2 (en) Dynamic camera or light operation
US9129400B1 (en) Movement prediction for image capture
US20150362989A1 (en) Dynamic template selection for object detection and tracking
US11972042B2 (en) Variable intensity distributions for gaze detection assembly
US9811916B1 (en) Approaches for head tracking
US20140009385A1 (en) Method and system for rotating display image
JP2024520999A (ja) 外部の視線検出による光漏れの低減
US20240184499A1 (en) Information display apparatus and method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right