KR20180057672A - 눈 추적 가능한 웨어러블 디바이스들 - Google Patents

눈 추적 가능한 웨어러블 디바이스들 Download PDF

Info

Publication number
KR20180057672A
KR20180057672A KR1020187011109A KR20187011109A KR20180057672A KR 20180057672 A KR20180057672 A KR 20180057672A KR 1020187011109 A KR1020187011109 A KR 1020187011109A KR 20187011109 A KR20187011109 A KR 20187011109A KR 20180057672 A KR20180057672 A KR 20180057672A
Authority
KR
South Korea
Prior art keywords
user
display
wearable device
panning
content
Prior art date
Application number
KR1020187011109A
Other languages
English (en)
Inventor
시몬 구스타프손
헨릭 비욕
프레드릭 린드
앤더스 올슨
Original Assignee
토비 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 토비 에이비 filed Critical 토비 에이비
Publication of KR20180057672A publication Critical patent/KR20180057672A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938—Using specific optical elements
    • G02B27/0977—Reflective elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G06K9/00604—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/34—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators for rolling or scrolling
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Abstract

웨어러블 디바이스의 디스플레이 상에서 콘텐츠를 패닝하기 위한 방법이 개시된다. 이 방법은, 눈 추적 디바이스를 통해, 사용자의 응시 방향을 결정하는 단계를 포함할 수 있다. 이 방법은 또한, 움직임 검출 시스템을 통해, 사용자의 머리 방향을 결정하는 단계를 포함할 수 있다. 이 방법은, 응시 방향 및 머리 방향 ― 양쪽 모두 특정한 방향과 일치함 ― 에 적어도 부분적으로 기초하여, 웨어러블 디바이스의 디스플레이 상에 디스플레이된 콘텐츠가 이 특정한 방향으로 패닝되게 하는 단계를 더 포함할 수 있다. 이 방법은, 콘텐츠의 패닝 동안, 눈 추적 디바이스를 통해, 사용자의 응시 방향이 중립 위치로 복귀했다고 결정하는 단계를 더 포함할 수 있다. 이 방법은 또한, 중립 위치로의 사용자의 응시 방향의 복귀에 적어도 부분적으로 기초하여, 디스플레이 상에 디스플레이된 콘텐츠가 패닝을 중단하게 하는 단계를 포함할 수 있다.

Description

눈 추적 가능한 웨어러블 디바이스들
관련 출원의 상호참조
본 출원은, 2015년 9월 24일 출원된 발명의 명칭이 "WEARABLE DEVICE COMPRISING A DISPLAY AND IMAGE SENSOR"인 미국 가출원 제62/232,268호 뿐만 아니라, 2016년 4월 29일 출원된 발명의 명칭이 "WEARABLE DEVICE COMPRISING A DISPLAY AND IMAGE SENSOR"인 미국 가출원 제62/329,719호의 우선권을 주장하며, 그 전체 개시내용은 본 명세서에서 완전히 개시된 것처럼 모든 목적을 위해 본 명세서에 참조로 포함된다.
한 실시예에서, 웨어러블 디바이스의 디스플레이 상에서 콘텐츠를 패닝(panning)하기 위한 방법이 제공된다. 이 방법은, 눈 추적 디바이스를 통해, 사용자의 응시 방향(gaze direction)을 결정하는 단계를 포함할 수 있다. 이 방법은 또한, 움직임 검출 시스템을 통해, 사용자의 머리 방향을 결정하는 단계를 포함할 수 있다. 이 방법은, 특정한 방향과 일치하는 응시 방향 및 머리 방향 둘다에 적어도 부분적으로 기초하여, 웨어러블 디바이스의 디스플레이 상에 디스플레이된 콘텐츠가 특정한 방향으로 패닝되게 하는 단계를 더 포함할 수 있다. 이 방법은, 콘텐츠의 패닝 동안, 눈 추적 디바이스를 통해, 사용자의 응시 방향이 중립 위치로 복귀했다고 결정하는 단계를 추가로 포함할 수 있다. 이 방법은 또한, 중립 위치로의 사용자의 응시 방향의 복귀에 적어도 부분적으로 기초하여, 디스플레이 상에 디스플레이된 콘텐츠가 패닝을 중단하게 하는 단계를 포함할 수 있다.
또 다른 실시예에서, 웨어러블 디바이스의 디스플레이 상에서 콘텐츠를 패닝하기 위한 명령어들이 저장된 비일시적 머신 판독가능한 매체가 제공된다. 이 명령어들은 방법을 수행하기 위해 실행가능할 수 있다. 이 방법은, 눈 추적 디바이스를 통해, 웨어러블 디바이스의 사용자의 응시 방향을 결정하는 단계를 포함할 수 있다. 이 방법은 또한, 움직임 검출 시스템을 통해, 웨어러블 디바이스의 사용자의 머리 방향을 결정하는 단계를 포함할 수 있다. 이 방법은, 응시 방향 및 머리 방향 ― 양쪽 모두 특정한 방향과 일치함 ― 에 적어도 부분적으로 기초하여, 웨어러블 디바이스의 디스플레이 상에 디스플레이된 콘텐츠가 그 특정한 방향으로 패닝되게 하는 단계를 더 포함할 수 있다. 이 방법은, 콘텐츠의 패닝 동안, 눈 추적 디바이스를 통해, 사용자의 응시 방향이 중립 위치로 복귀했다고 결정하는 단계를 더 포함할 수 있다. 이 방법은 또한, 중립 위치로의 사용자의 응시 방향의 복귀에 적어도 부분적으로 기초하여, 웨어러블 디바이스의 디스플레이 상에 디스플레이된 콘텐츠가 패닝을 중단하게 하는 단계를 포함할 수 있다.
또 다른 실시예에서, 웨어러블 디바이스의 디스플레이 상에서 콘텐츠를 패닝하기 위한 시스템이 제공된다. 이 시스템은, 눈 추적 디바이스, 움직임 검출 시스템, 및 하나 이상의 프로세서를 포함할 수 있다. 눈 추적 디바이스는 웨어러블 디바이스의 사용자의 응시 방향을 결정하기 위한 것일 수 있다. 움직임 검출 시스템은 웨어러블 디바이스의 사용자의 머리 방향을 결정하기 위한 것일 수 있다. 하나 이상의 프로세서는, 응시 방향 및 머리 방향 ― 양쪽 모두 특정한 방향과 일치함 ― 에 적어도 부분적으로 기초하여, 웨어러블 디바이스의 디스플레이 상에 디스플레이된 콘텐츠가 그 특정한 방향으로 패닝되게 하도록 구성될 수 있다. 프로세서(들)은 또한, 콘텐츠의 패닝 동안, 눈 추적 디바이스를 통해, 사용자의 응시 방향이 중립 위치로 복귀했다고 결정하도록 구성될 수 있다. 프로세서(들)은 또한, 중립 위치로의 사용자의 응시 방향의 복귀에 적어도 부분적으로 기초하여, 웨어러블 디바이스의 디스플레이 상에 디스플레이된 콘텐츠가 패닝을 중단하게 하도록 구성될 수 있다.
본 발명이 첨부된 도면과 연계하여 설명된다.
도 1은 디스플레이 디바이스 및 눈 추적 디바이스를 갖는 본 발명의 예시적인 웨어러블 디바이스를 도시한다;
도 2는 본 발명의 다양한 실시예들의 예시적인 프로파일 센서 출력을 도시한다;
도 3a는 본 발명의 다양한 실시예들에서 이용되는 수평 및 수직 픽셀 비닝(binning)을 도시한다;
도 3b는 응시 방향을 결정하기 위한 본 발명의 한 가능한 방법 실시예를 도시한다;
도 4는 콜드 미러가 헤드셋 렌즈에 적용된 본 발명의 한 실시예를 도시한다;
도 5는 가상 현실 디스플레이의 패닝을 위한 본 발명의 한 가능한 방법 실시예를 도시한다;
도 6은 입력 디바이스들을 가상 객체들에 매핑하기 위한 본 발명의 한 가능한 방법 실시예를 도시한다;
도 7a는 웨어러블 디바이스의 렌즈 상에 및/또는 렌즈에 배치된 센서/조명기 어레이에 대한 본 발명의 한 시스템 실시예를 도시한다;
도 7b는 광섬유들이 주 시청 렌즈 상의 홈 내에 배치되어 있는 본 발명의 한 실시예의 확대도를 도시한다;
도 7c는 도 7b의 광섬유의 종단점의 프로파일 뷰를 도시한다;
도 8은 본 발명의 장치들 또는 시스템들의 적어도 일부분에서 이용될 수 있거나 본 발명의 방법들의 적어도 일부를 구현할 수 있는 예시적인 컴퓨터 시스템의 블록도이다;
도 9는 사용자의 응시 지점(gaze point)에 응답하여 이미지 수정이 발생하는 본 발명의 디스플레이 디바이스의 뷰이다;
도 10a는 수정된 이미지 영역 내에서 이미지 품질이 어떻게 지속적으로 변할 수 있는지에 대한 도면이다;
도 10b는 수정된 이미지 영역 내에서 이미지 품질이 어떻게 단계적으로 변화할 수 있는지에 대한 도면이다;
도 11은 사용자의 응시 지점에서의 검출된 변화에 응답하여 이미지 수정이 발생하는 본 발명의 디스플레이 디바이스의 뷰이다; 및
도 12는 사용자의 응시 지점에 기초하여 이미지를 수정하기 위한 본 발명의 한 가능한 방법의 흐름도이다.
첨부된 도면들에서, 유사한 컴포넌트들 및/또는 피처들은 동일한 숫자 참조 라벨을 가질 수 있다. 또한, 동일한 유형의 다양한 컴포넌트들은 유사한 컴포넌트 및/또는 피처들을 구별하는 문자와 후속 참조 라벨에 의해 구별될 수 있다. 제1 수치 참조 라벨만이 본 명세서에서 이용된다면, 설명은 문자 접미사와 상관없이 동일한 제1 수치 참조 라벨을 갖는 유사한 컴포넌트들 및/또는 피처들 중 임의의 하나에 적용가능하다.
이하의 설명은 예시적인 실시예를 제공할 뿐이며, 본 개시내용의 범위, 적용 가능성 또는 구성을 제한하려는 의도는 아니다. 오히려, 예시적인 실시예들의 후속 설명은 본 기술분야의 통상의 기술자에게 하나 이상의 예시적인 실시예를 구현하기 위한 설명을 가능하게 할 것이다. 첨부된 청구항들에 개시된 바와 같은 본 발명의 사상 및 범위를 벗어나지 않으면서 요소들의 기능 및 배열에 다양한 변경이 가해질 수 있다는 것을 이해해야 한다.
예를 들어, 한 실시예에 관하여 논의된 임의의 상세사항은 그 실시예의 모든 고려된 버전들에 존재할 수도 있고 존재하지 않을 수도 있다. 마찬가지로, 한 실시예와 관련하여 논의된 임의의 상세사항은 본 명세서에서 논의된 다른 실시예들의 모든 고려된 버전에 존재할 수도 있고 존재하지 않을 수도 있다. 마지막으로, 본 명세서의 실시예에 대한 상세한 논의의 부재는 본 명세서에서 논의된 임의의 실시예의 임의의 버전에 이러한 상세사항이 존재할 수도 있고 존재하지 않을 수도 있다는 묵시적 인식이다.
이하의 상세한 설명에서는 실시예들의 철저한 이해를 제공하기 위해 특정한 상세사항이 주어진다. 그러나, 실시예들은 이들 특정한 상세사항 없이도 실시될 수 있다는 것을 본 기술분야의 통상의 기술자라면 이해할 것이다. 예를 들어, 본 발명에서의 회로, 시스템, 네트워크, 프로세스, 및 기타의 요소들은 실시예들을 불필요한 상세사항으로 모호하게 하지 않도록 블록도 형태의 컴포넌트로서 도시될 수 있다. 다른 사례들에서, 공지된 회로, 프로세스, 알고리즘, 구조, 및 기술은, 실시예들을 모호하게 하지 않도록 불필요한 상세사항없이 도시될 수 있다.
또한, 개개의 실시예는, 플로차트, 흐름도, 데이터 흐름도, 구조도 또는 블록도로서 도시된 프로세스로서 기술될 수 있다는 점에 유의해야 한다. 플로차트는 순차적 프로세스로서 동작들을 설명하고 있지만, 많은 동작들은 병렬로 또는 동시에 수행될 수 있다. 또한, 동작들의 순서는 재배열될 수 있다. 프로세스는 그 동작들이 완료될 때 종료될 수 있지만, 도면에서 논의되지 않거나 도면에 포함되지 않은 추가 단계들을 가질 수도 있다. 또한, 임의의 특정하게 설명된 프로세스 내의 모든 동작들이 모든 실시예에서 발생하는 것은 아니다. 프로세스는, 방법, 함수, 프로시져, 서브루틴, 서브프로그램 등에 대응할 수 있다.
프로세스가 함수에 대응할 때, 그 종료는 그 함수의 호출 함수 또는 메인 함수로의 복귀에 대응할 수 있다.
"머신 판독가능한 매체"라는 용어는, 일시적 및 비일시적, 휴대형 또는 고정형 저장 디바이스, 광학적 저장 디바이스, 무선 채널, 및 명령어(들) 및 데이터를 저장, 포함 또는 운반할 수 있는 다양한 다른 매체를 포함하지만, 이것으로 제한되는 것은 아니다. 코드 세그먼트 또는 머신 실행가능 명령어는, 프로시져, 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 팩키지, 클래스, 또는 명령어, 데이터 구조 또는 프로그램 명령문의 임의의 조합을 나타낼 수 있다. 코드 세그먼트는, 정보, 데이터, 인수, 파라미터 또는 메모리 내용을 전달 및/또는 수신함으로써 다른 코드 세그먼트나 하드웨어 회로에 결합될 수 있다. 정보, 인수, 파라미터, 데이터 등은, 메모리 공유, 메시지 전달, 토큰 전달, 네트워크 전송 등을 포함한 임의의 적절한 수단을 통해, 전달, 포워딩 또는 전송될 수 있다.
또한, 본 발명의 실시예들은, 적어도 부분적으로, 수동 또는 자동으로 구현될 수 있다. 수동 또는 자동 구현은, 머신, 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어(hardware description language) 또는 이들의 조합을 이용하여 실행되거나 적어도 보조될 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현될 때, 필요한 작업을 수행하는 프로그램 코드 또는 코드 세그먼트는 머신 판독가능한 저장 매체에 저장될 수 있다. 프로세서(들)은 필요한 작업을 수행할 수 있다.
본 발명은 일반적으로 디스플레이 및 이미지 센서를 포함하는 웨어러블 디바이스에 관한 것으로, 웨어러블 디바이스는 이미지 센서를 통해 획득된 정보를 이용하여 디스플레이 상의 정보를 변경한다. 특히, 본 발명은 디스플레이 상의 정보를 변경하는데 있어서 눈에 관한 정보를 이용하기 위한 시스템 및 방법에 관한 것이다.
디스플레이를 포함하는 웨어러블 디바이스는 잘 알려져 있으며, 전형적으로 가상 현실(VR) 및 증강 현실(AR) 시스템에 이용된다. 이들 시스템들에서 디스플레이는 VR의 경우 상이한 현실을 시뮬레이션하는 경험을, 또는 AR의 경우 향상된 현실을 사용자에게 제공하는데 이용된다.
일부 경우에는 웨어러블 디바이스는 어떠한 종류의 디스플레이도 포함할 필요가 없다. 예를 들어, 미국 특허 제9,041,787호에 설명된 시스템은 디스플레이를 요구하지 않는다. 전술된 특허의 전체 내용은 본 명세서에서 완전히 개시된 것처럼 모든 목적을 위해 본 명세서에 참조로 포함된다.
일부 실시예에서, 눈 추적 디바이스 등의 이용은 이들 웨어러블 디바이스에 통합되어 성능을 향상시킬 수 있다. 예를 들어, 미국 특허 출원 공보 번호 제2015/0062322호는 웨어러블 눈 추적 디바이스를 기술하고 있다. 전술된 특허 공보의 전체 내용은 본 명세서에서 완전히 개시된 것처럼 모든 목적을 위해 본 명세서에 참조로 포함된다.
가상 현실 디바이스에서의 눈 추적의 한 구현은 가상 환경에서 카메라 움직임 및 피사계 심도 흐림 효과를 향상시키기 위한 눈-추적 시스템의 이용(Using an Eye-Tracking System to Improve Camera Motions and Depth-of-Field Blur Effects in Virtual Environments), Hillaire 등, 2008, Virtual Reality Conference에서 설명되고 있으며, 여기서, 눈 추적은 가상 실시예에서 사용자의 초점을 결정하는데 이용된다. 초점은 가상 환경을 탐색할 때 사용자의 감각을 향상시키기 위해 가상 환경을 렌더링할 때 이용된다. 전술된 공보의 전체 내용은 본 명세서에서 완전히 개시된 것처럼 모든 목적을 위해 본 명세서에 참조로 포함된다.
본 발명의 실시예는, 웨어러블 디바이스에서 눈 추적을 위한 개선된 솔루션 및 VR, AR 또는 기타의 환경에서 눈 추적 정보의 개선된 이용을 제공하는 것을 추구한다. 이러한 개선은 웨어러블 디바이스에서 이용하기 위한 하드웨어 솔루션 뿐만 아니라, 동일하거나 유사한 디바이스에서 이용하기 위한 소프트웨어 솔루션과도 관련될 수 있다.
따라서, 본 발명의 적어도 일부 실시예의 목적은 개선된 웨어러블 눈 추적 시스템을 제공하는 것이다. 본 발명의 실시예의 이 목적 및 다른 목적들은 첨부된 도면과 함께 명세서 및 청구항들로부터 명백해질 것이다.
본 발명의 다양한 실시예들 및 양태들은 본 발명의 더욱 용이한 이해를 가능하게 하도록, 여기서는 제목을 이용하여 배열될 것이다.
본 발명의 제1 양태에 따르면, 적어도 디스플레이 및 눈 추적 장치를 포함하는 웨어러블 디바이스가 제공된다. 눈 추적 장치로부터의 정보는, 연관된 컴퓨팅 디바이스(예를 들어, 컴퓨터, 태블릿, 모바일 디바이스, 또는 기타의 프로세서 가능형 디바이스)에 의해 디스플레이 상에 디스플레이된 아이템에 영향을 미치거나 이를 변경하기 위해 이용될 수 있다.
일부 실시예에서, 눈 추적 장치는 적어도 하나의 이미지 센서 및 적어도 하나의 조명 소스를 포함한다. 일부 실시예에서, 눈 추적 장치는 2개의 이미지 센서 및 2개의 조명 소스를 포함할 수 있다. 임의의 수의 이미지 센서 및 조명 소스가 실시예에 따라 가능하고, 동등한 수의 이미지 센서 및 조명 소스가 있을 수도 있고 없을 수도 있다. 조명 소스는 웨어러블 디바이스의 착용자의 눈(들)에 조명을 투사하고, 이미지 센서는 착용자의 눈(들)의 하나 이상의 이미지를 캡처한다. 눈 상에서의 조명의 반사 위치에 기초하여, 사용자의 응시의 방향이 결정될 수 있다. 예로서, 웨어러블 눈 추적 장치로 사용자의 응시 방향을 결정하기 위한 적절한 시스템이 미국 출원 공보 번호 제2015/0061996호에 설명되어 있다. 전술된 공보의 전체 내용은 본 명세서에서 완전히 개시된 것처럼 모든 목적을 위해 본 명세서에 참조로 포함된다.
컴퓨팅 유닛 또는 다른 관련 처리 디바이스가 눈 추적 장치 및 디스플레이에 직접 또는 무선으로 접속될 수 있다. 컴퓨팅 유닛 또는 기타의 처리 디바이스는, 눈 추적 장치로부터의 정보에 기초하여 계산을 수행하고, 아마도 디스플레이 상에 디스플레이된 정보 또는 기타의 콘텐츠를 수정하기 위해 이 계산을 고려한 후에, 디스플레이 상에 디스플레이된 정보 또는 기타의 콘텐츠를 제어한다.
도 1은 본 발명의 다양한 실시예의 응시 추적을 동반한 전형적인 VR 헤드셋(100)의 블록도를 도시한다. 본 발명의 상이한 실시예들은, 본 명세서에서 논의된 바와 같이, 더 적거나 더 많은 수의 컴포넌트를 가질 수 있고, 일정하지 않게 배치/구성될 수 있다. 헤드셋(100)은, 디스플레이 디바이스(110), 조명기(들)(123) 및 이미지/광 센서(들)(126)를 포함하는 눈 추적 디바이스(120)를 포함할 수 있다. 조명기(123) 및 이미지/광 센서(126)는 전용 렌즈를 포함할 수 있다. 프로세서(130)는 컴포넌트에 대한 계산/연산 제어를 제공할 수 있다. 일부 실시예에서, 헤드셋(100)은 또한 헤드셋(100)의 움직임을 검출하는 동작/움직임 검출 서브시스템(140)을 포함할 수 있다. 도시되지 않은 통신 버스는 연관된 컴퓨팅 디바이스와의 유선 및/또는 무선 통신을 제공할 수 있다.
프로파일 센서
일부 실시예에서, 프로파일 센서는 사용자의 응시 방향을 결정하는데 이용될 수 있다. 이들 실시예에서, 사용자의 눈 중 적어도 하나 쪽을 향하는 적어도 하나의 프로파일 센서를 포함하는 웨어러블 디바이스가 제공될 수 있다. 적합한 프로파일 센서의 예는 Hammamatsu에 의해 제조된 모델 번호 S9132이다. 프로파일 센서는, 본 기술분야의 통상의 기술자라면 이해하겠지만, 한 행 및/또는 한 열의 모든 픽셀의 값을 단일 값으로 요약함으로써 동작한다.
또한, 적어도 하나의 적외선 광 방출기가 제공되어 사용자의 눈 중 적어도 하나 쪽으로 지향될 수 있다. 이러한 방식으로, 프로파일 센서는, 다르게는 "반짝임(glint)"이라 불리는, 사용자의 각막으로부터의 적외선 광의 반사 위치를 결정하는데 이용될 수 있다. 따라서, 본 기술분야의 통상의 기술자라면 용이하게 이해할 수 있는 바와 같이, 사용자의 각막 상에서의 반짝임의 위치를 분석함으로써 기초적인 응시 추적이 수행될 수 있다. 추가적인 개선에서, 2개 이상의 프로파일 센서가 이용될 수 있다. 이것은 몇 가지 이점을 제공한다.
첫째, 하나보다 많은 2차원 프로파일 센서가 이용된다면, 2차원과는 달리, 3차원에서 각막 반경 및 반짝임 위치를 결정한 후에, 3차원에서 사용자의 눈의 각막 중심을 결정하는 것이 가능할 수 있다.
둘 째, 결과적인 반짝임이 중첩되지 않도록 적어도 2개의 프로파일 센서를 배열함으로써, 더욱 정확한 반짝임 검출이 허용된다. 예를 들어 조명기 A와 B에 의한 2개의 반짝임이 있는 경우를 고려해 보자. 이들이 반짝임과 동일한 방향으로 정렬된 1차원 프로파일 센서에 의해 촬영되는 경우, 센서는 양쪽 반짝임에 의해 야기된 단일 응답만을 등록하므로, 반짝임이 조명기 A, 조명기 B, 또는 양쪽 모두에 의해 야기된 것인지를 결정하는 것이 어렵거나 불가능할 것이다. 따라서, 임의의 프로파일 센서의 임의의 판독에 있어서 반짝임이 중첩하지 않도록 조명기와 프로파일 센서를 정렬하는 것이 유리하다.
대안으로서, 조명기는 임의의 주어진 시간에 단 하나의 조명기만이 점등되도록 보장하기 위해 변조될 수 있다. 이러한 배열의 프로파일 센서는 매우 빠른 샘플링 속도로 동작하도록 설계되어, 많은 샘플을 가능하게 하고, 짧은 시간 프레임 내에서 각각의 샘플에서 단 하나의 조명기로부터의 반짝임을 캡처하여 샘플들 사이에서의 최소한의 눈 움직임을 보장할 수 있다.
셋 째, 복수의 1차원 프로파일 센서가 이용될 수 있다. 이러한 시스템이 정확하게 기능하기 위해, 각각의 센서는 서로에 관해 배치되고 회전되어야 한다. 이러한 방식으로, 각각의 센서에 대한 단일 차원이 수평 및 수직 구성 사이에서 교번될 수 있지만, 상대적인 배향 차이는 90도로 제한될 필요는 없다. 또한, 이들 배열에서 각각의 단일 차원 프로파일 센서에 원통형 렌즈를 추가하는 것이 바람직할 수 있다.
일부 실시예에서, 프로파일 센서는, 센서의 픽셀 행렬의 모든 행의 합 및/또는 모든 열의 합을 처리 디바이스에 출력할 수 있다. 반짝임이라고 알려진, 사용자의 각막 상에서의 적외선 조명기로부터의 적외선의 반사가 피크 검출(peak detection)이라는 기술을 이용하여 발견될 수 있다. 피크 검출은 행들의 합과 열들의 합 양쪽 모두에 관해 수행될 수 있다. 도 2는 행들 또는 열들의 합의 출력에 관한 이 기술을 도시하며, 여기서, x-축은 프로파일 센서의 픽셀들을 나타내고, y-축은 하이라이트된 피크의 예와 함께 크기를 나타낸다.
선택사항적인 개선에서, 이전에 계산된 반짝임 위치가 알려져 있는 경우, 고속 눈 추적을 용이하게 하기 위하여, 픽셀들의 서브세트만이 피크에 대해 분석되어야 한다. 예를 들어, 알려진 이전의 반짝임 위치에 가까운 10-20개의 픽셀만이 분석될 수 있다.
일단 반짝임 위치가 알려지고 나면, 응시 방향은, 예를 들어, 다음과 같은 다항식 반짝임 대 응시 지점 모델(polynomial glint to gaze point model)을 이용하여 결정될 수 있다:
Figure pct00001
여기서, gazex와 gazey는 응시 지점의 x와 y 위치이고, x와 y는 반짝임의 x와 y 위치이며, c1 ... c12는 캘리브레이트된 모델 파라미터이다.
일부 실시예에서, 하나보다 많은 조명기가 프로파일 센서와 함께 제공될 수 있다. 이들 조명기는 선택적으로 인에이블 또는 변조될 수 있고, 처리 디바이스는 캡처된 이미지 데이터로부터 도출된 메트릭에 기초하여 어떤 조명기를 인에이블할지를 결정할 수 있다. 대안으로서, 조명기는 임의의 주어진 시간에 단 하나의 조명기가 점등되도록 미리정의된 순서로 점등될 수 있다.
또 다른 실시예에서, 웨어러블 디바이스는 또한, 종래의 영역 센서 유형의 적어도 하나의 이미지 센서를 포함할 수 있다. 이 종래의 센서는 또한, 사용자의 눈의 적어도 하나 쪽으로 지향될 수 있다. 종래의 센서는 사용자의 눈의 이미지를 캡처할 수 있고 시스템은 전통적인 동공 중심 각막 반사(Pupil Centre Corneal Reflection)(PCCR) 눈 추적을 수행할 수 있다. PCCR은 사용자의 응시를 결정하는 널리 공지되고 용이하게 이해할 수 있는 방법이다. 이 방법에 관한 추가 정보는, Guestrin, E.D., Eizenman, E., "General theory of remote gaze estimation using the pupil center and corneal reflections," Biomedical Engineering, IEEE Transactions, vol. 53, no.6, pp. 1124,1133, June 2006을 포함한 여러 곳에서 찾을 수 있다.
모든 열의 합 및/또는 모든 행의 합을 출력할 수 있는 프로파일 센서를 종래의 이미지 센서와 결합함으로써, 시스템은 프로파일 센서를 이용하여 반짝임 추적, 및 종래의 센서를 이용한 PCCR 추적을 수행할 수 있다. 프로파일 센서에 의해 제공되는 추가 정보로 인해, 종래의 센서는 0.5-10.0Hz에서 동작할 필요만 있다. 따라서, 시스템은 낮은 전력 소비, 낮은 레이턴시, 및 높은 프레임(또는 샘플링) 레이트를 달성할 수 있다.
반짝임을 추적하는 프로파일 센서는, 센서가 사용자의 얼굴에 관해 고정된 상태로 유지되는 한 충분한 응시 데이터를 제공하는 반면, 종래의 이미지 센서로부터의 이미지는 센서가 얼굴에 관해 움직일 때마다 미끄럼 보상을 허용한다. 그러나, 일반적으로 눈 움직임은 사용자의 머리 상에서의 웨어러블 디바이스의 잠재적인 미끄러짐보다 상당히 빠르다. 따라서 저전력 및 낮은 레이턴시에서 반짝임 위치 추적만 하는 방식을 발견하는 것이 관심사항이다. 이것은, 비교적 낮은 전력의 눈 추적 솔루션이 VR 시스템의 전반적인 전력 소비의 상당한 절감을 허용할 수 있는 VR 헤드셋에서 포비티드 렌더링(foveated rendering)을 허용할 수 있는데, 그 이유는 그래픽 렌더링 전력 요건이 상당히 낮아질 수 있기 때문이다.
예를 들어, 2개 이상의 조명기를 통해 순환하는 경우 센서 노출당 하나의 조명기만이 점등되는 모드로 센서를 설정하는 것이 가능할 수 있다. 예를 들어, 센서는, 제1 센서 노출 동안 제1 조명기가 점등되는 사이클로 동작하도록 설정된 다음, 감응 영역의 행들 중 적어도 10% 내의 픽셀 요소들의 적어도 10%의 합과 감응 영역의 열들 중 적어도 10% 내의 픽셀 요소들의 적어도 10%의 합이 계산된다(그리고, 반짝임 위치가 검출된다). 그 후, 제2 센서 노출 동안 제2 조명기가 점등된 다음, 감응 영역의 행들의 적어도 10%에 픽셀 요소들의 적어도 10%의 합과 감응 영역의 열들의 적어도 10%의 픽셀 요소들의 적어도 10%의 합이 계산된다. 그 후, 센서는 조명기들 중 적어도 하나가 점등된 동안 센서의 감응 영역의 적어도 하위 부분(sub part)으로부터 종래의 이미지를 캡처한다.
대안적 구현에서, 센서는, 제1 센서 노출 동안 제1 조명기가 점등되는 사이클로 실행되도록 설정될 수 있고, 그 다음, 감응 영역의 열들 중 적어도 10% 내의 픽셀 요소들의 적어도 10%의 합이 계산된다. 둘 째, 제2 센서 노출 동안 제1 조명기가 점등되고, 감응 영역의 열들 중 적어도 10% 내의 픽셀 요소들의 적어도 10%의 합이 계산된다. 그 후, 센서는 조명기들 중 적어도 하나가 점등된 동안 센서의 감응 영역의 적어도 하위 부분으로부터 종래의 이미지를 캡처한다.
종래의 이미지 센서로서 동작할 수 있지만, 감응 영역의 픽셀 라인들의 합 및/또는 픽셀 열들의 합에 대한 프로파일을 출력할 수 있는 이미지 센서는, 센서 노출과 하나 또는 복수의 조명기의 노출을 동기화하기 위한 출력 핀을 포함할 수 있다.
종래의 이미지 센서로서 동작할 수 있지만, 감응 영역의 픽셀 라인들의 합 및/또는 픽셀 열들의 합에 대한 프로파일을 출력할 수 있는 이미지 센서는 또한, 데이지 체이닝(daisy chaining)을 지원할 수 있으므로, 2개 이상의 센서가 동일한 데이터 버스, 예를 들어, MIPI CSI-2 인터페이스를 통해 처리 유닛에 접속하는 것을 허용한다.
종래의 이미지 센서로서 동작할 수 있지만, 감응 영역의 픽셀 라인들의 합 및/또는 픽셀 열들의 합에 대한 프로파일을 출력할 수 있는 이미지 센서는 또한, 시야 내의 객체까지의 거리를 검출할 수 있는 수단을 더 포함할 수 있다. 이것은 "비행 시간(time-of-flight)" 분석을 통해 이루어질 수 있다.
주변 광 프로파일 데이터 및/또는 종래의 이미지 데이터를 보상하기 위해, 이미지 센서는 활성 조명없이, 즉, 조명기들 중 임의의 조명이 점등되지 않고 때때로 샘플링될 수 있다.
이미지 센서는 또한, 홍채 인식을 통해, 로그인, 보안 및/또는 기타의 사유로 사용자를 식별하는데 이용될 수 있다.
종래의 이미지 센서로서 동작할 수 있지만, 감응 영역의 픽셀 라인들의 합 및/또는 픽셀 열들의 합에 대한 프로파일을 출력할 수 있는 이미지 센서는 또한, 센서가 프로파일 모드에서 동작할 때에만 각각의 픽셀이 열들의 합 또는 라인들의 합에 포함될 수 있도록 설계될 수도 있다. 예를 들어, 픽셀 요소들은, 하나 걸러 하나의 픽셀만이 행 프로파일 내에 합산되고 다른 픽셀들은 열 프로파일 내에 합산될 수 있는 체커 패턴(checker pattern)으로 레이아웃될 수 있다.
이미지 센서의 대안적인 구현은, 행들에서 하나 걸러 하나의 픽셀이 판독되고 열들에서 하나 걸러 하나의 픽셀이 판독되는 체커 패턴으로 감응 영역을 분할하는 것으로서, 본질적으로 각각의 행 옆에 AD 변환기, 및 각각의 열 옆에 AD 변환기를 갖는다. 즉, 이 센서에 대한 종래의 이미지는 센서 해상도의 절반 해상도의 2개의 이미지, 즉, 수직으로 판독된 이미지와 수평으로 판독된 이미지이다. 이것은 전통적인 PCCR 눈 추적에 대한 계산 복잡성을 추가한다. 도 3은, 수평 반짝임/이미지 데이터 취득(수평 빈 1-5)을 위해 하나 걸러 하나의 행의 하나 걸러 하나의 픽셀('X'로 마킹됨)이 이용되고 수직 반짝임/이미지 데이터 취득(수직 빈 1-5)을 위해 하나 걸러 하나의 열의 하나 걸러 하나의 픽셀('X'로 마킹됨)이 이용되는 방식으로, 그 개개의 픽셀들을 통해 프로파일 센서를 에뮬레이션하는 영역 이미지 센서, 2D 프로파일 센서, 및/또는 직각으로 배향된 2개의 1D 프로파일 센서들이 채용될 수 있는, 한 예 뿐만 아니라 전술된 다른 예들에서의 이러한 구성을 예시한다.
이점은, 각각의 라인으로부터 판독된 이미지에 대한 수평 픽셀 비닝(binning) 및 각각의 열로부터 판독된 이미지에 대한 수직 픽셀 비닝을 지원하는 방식으로 센서가 설계될 수 있어서, 저전력 반짝임 검출을 가능하게 할 수 있다는 것이다. 예를 들어, 센서는 8-16개의 픽셀 요소들 또는 훨씬 더 많은 수의 픽셀 요소들로부터의 값들을 하나의 값으로 합산하도록 설계될 수 있다, 즉, 이것은, 무관한 신호의 억제와 더 낮은 노이즈를 가능하게 할 수 있는, 서브-윈도우화 기능(sub-windowing functionality)을 지원하는 프로파일 센서로서 동작할 수 있다는 것을 의미한다.
서브-윈도우화에 대한 지원이 있거나 없는 프로파일 센서로서 동작할 수 있는 센서는 반짝임의 중심을 검출하기 위한 HW 로직을 포함함으로써, 전력 소비 및 외부 처리 유닛에 전송하는데 요구되는 데이터의 양을 더욱 감소시킬 수 있다. 센서가 서브-윈도우화를 지원하는 경우, 센서는, 반짝임 중심 검출 후, 서브-윈도우화 위치를 변경하여 후속 프로파일 이미지가 반짝임을 포함하는 것을 보장할 수 있다.
포비티드 렌더링을 지원하는 레이턴시 및 데이터 레이트에서의 저전력 눈 추적을 허용하는, 전통적인 PCCR 눈 추적 뿐만 아니라 반짝임 추적 양쪽 모두를 지원하는 눈 추적기의 대안적 구현은, 눈의 촬영을 위한 통상의 센서를 갖되, 센서가 소정의 미리정의된 서브-윈도우 모드에서 동작할 때 반작임 중심 검출을 위한 HW 로직을 포함하는 것이다. 이것은, 예를 들어, 24x24 픽셀, 32x32 픽셀, 48x24 픽셀, 또는 어떤 다른 적절한 해상도의 서브-윈도우에서만 가능할 수 있다.
일부 실시예에서, 유기 발광 다이오드(OLED) 디스플레이가 채용될 수 있다. OLED 디스플레이는 대개 투명하며, 뒤쪽에 미러가 배치되어 모든 광이 뷰어를 향해 전방으로 전송되도록 보장한다. 눈 추적 목적을 위해, 콜드 미러(cold mirror)가 OLED 디스플레이 뒤쪽에 위치되어, 디스플레이로부터 사용자의 눈쪽으로 향하는 모든 가시 광선을 본질적으로 반사하지만, NIR 광은 통과시킨다. 이러한 방식으로, NIR 광을 검출하는 눈 추적 센서가 이를 통해 관찰자 쪽을 보는 디스플레이 뒤쪽에 배치됨으로써, 사용자의 눈을 향한 유리한 시야각을 실현할 수 있다.
VR 헤드셋에서, 실제보다 사용자로부터 더 먼 거리에 디스플레이가 나타나게 하기 위해 프레넬(Fresnel) 렌즈를 이용하는 것이 일반적이다. 이와 같은 렌즈의 단점은, 디스플레이로부터의 이미지가 왜곡되며 마찬가지로 렌즈를 통해 보는 눈 추적 센서로부터 볼 때 눈의 이미지가 왜곡된다는 것이다. 따라서, 눈 추적 알고리즘에서 이러한 왜곡을 보상하는 것이 바람직할 수 있다.
프레넬 렌즈의 추가적인 효과는, 눈 추적 센서로부터 볼 때, 눈의 이미지에서 원형 결함을 유발할 수 있다는 것이다. 이 패턴은, 작은 돌을 던진 다음 수면 아래의 어떤 것을 보려고 할 때 수면파의 왜곡 효과와 유사하다. 따라서, 머신 비전 알고리즘이 상이한 눈 부분 또는 반짝임을 검출하려고 시도하기 전에, 센서로부터의 이미지가 프레넬 렌즈의 결함을 보상하도록 조정되는 것을 보장하기 위해 프레넬 렌즈를 통해 눈을 보는 눈 추적 센서를 캘리브레이트하는 것이 바람직할 수 있다.
종래의 이미지 센서로서 동작할 수 있지만, 감응 영역의 픽셀 라인들의 합 및/또는 픽셀 열들의 합에 대한 프로파일을 출력할 수 있는 이미지 센서는 서브-윈도우화를 지원하도록 설계될 수 있다. 이것은 종래의 이미지 센서에서 흔하지만, 프로파일 모드에서 동작할 때 서브-윈도우화를 허용함으로써, 센서로부터의 시야 내의 잠재적으로 방해성 반사 또는 광원의 많은 부분이 픽셀 요소들이 행 프로파일 및/또는 열 프로파일에 합산되기 전에 제거될 수 있으므로, 반짝임 위치 결정에서 더 높은 정확도를 보장하고, 후속 샘플에 대한 서브-윈도우화의 리센터링을 허용한다.
도 3b는 사용자의 응시 방향을 결정하기 위한 전술된 가능한 방법(300)의 블록도를 도시한다. 블록 310에서, 하나 이상의 눈이 가용 조명기들 중 하나 이상으로 조명된다. 블록 320에서, 하나 이상의 눈이 가용 센서들(프로파일 센서들 및/또는 영역 이미지 센서들) 중 하나 이상을 통해 촬영된다. 블록들 310 및 320은 필요에 따라 반복될 수 있다. 블록 330에서, 전술된 바와 같이, 센서들의 수 및/또는 센서들의 해당 부분은, 응시 위치를 결정하기 위해 촬영이 필요할 가능성이 있는 픽셀들/해상도의 서브-윈도우에 포커싱하도록 제한될 수 있다. 블록들 310, 320 및 330은 필요에 따라 반복될 수 있다. 블록 340에서, 응시 방향이 결정될 수 있고, 필요에 따라 변화하는 응시 방향 및/또는 서브-윈도우화를 지속적으로 재결정하기 위해 블록들 310, 320, 330 및 340이 반복될 수 있다.
핫 미러(HOT MIRROR)
한 실시예에서, 도 4에 도시된 바와 같이, 가상 현실 헤드셋 등의 웨어러블 디바이스에 렌즈(400)가 제공된다. 렌즈(400)는, 디바이스의 착용자가 렌즈(400)를 통해 디스플레이(110)를 볼 수 있도록 위치한다. 렌즈(400)의 최상단에 핫 미러 코팅 또는 필름(410)이 고정되고, 핫 미러 필름(410)의 최상단에 복수의 조명기(420)가 고정되어 있다. 필름(410)은, 눈 추적 카메라가 렌즈(400)를 통해 볼 수 있도록 렌즈(400)의 중앙 쪽에 절개 부(430)를 갖는다.
핫 미러 코팅 또는 필름(410)은 렌즈(400) 상에 직접 도포되거나, 제조의 용이성을 위해, 핫 미러 코팅 또는 필름(410)은 렌즈로서 기능하지 않는 별개의 부재의 형태일 수도 있다. 또한, 및 제조의 용이성을 위해, 유리 또는 플라스틱의 별개의 부재가 핫 미러 최상단에 위치할 수 있고, 조명기(420)는 이 별개 부재에 부착될 수 있다.
조명기(420)는 착용자(440)의 눈을 향하여 바깥쪽으로 적외선 광을 방출하고, 그 다음 적외선 광은 착용자의 눈에 의해 렌즈(400)쪽으로 다시 반사될 수 있다. 필름(410)은 핫 미러의 속성을 가진다, 즉, 필름(410)은 가시 스펙트럼의 광을 통과시키는 반면 적외선 스펙트럼의 광은 통과하지 못하게 한다. 이러한 방식으로, 렌즈(400) 뒤쪽의 디스플레이(110)에 의해 방출된 가시 광선은 착용자의 눈까지 통과하는 반면, 대부분의 적외선 광은 통과하지 못한다.
렌즈 뒤쪽에 위치하여 절개 부(430)를 통해 보는 이미지 센서는, 조명기(420)에서 방출된 적외선 광의 반사를 포함하는 착용자의 눈의 이미지들을 캡처하고, 이미지 센서에 접속된 처리 디바이스는 이들 이미지들을 분석하여 적외선 광의 반사에 기초해 사용자의 응시의 방향을 결정한다.
이 실시예가 복수의 적외선 조명기(420)을 참조하여 설명되었지만, 본 발명은 단 하나의 조명기로 적절하게 기능할 수 있다.
조명기(420)는 복수의 방식으로 필름(410) 상에 도포될 수 있는데, 먼저 단순히 접착제를 통해 도포하거나 대안적인 도포는 필름(410) 상에 직접 전자회로를 인쇄함으로써 가능하다. 조명기(420)는, 조명기가 켜지거나 꺼지게끔 전력을 수신할 수 있도록 필름(410)에 도포된 통신 라인을 추가로 가져야 할 것이다.
한 실시예에서, 웨어러블 디바이스는 연관된 필름(410) 및 조명기(420)를 갖는 2개의 렌즈(400)를 포함한다. 필름(410)은 접착제 또는 어떤 다른 반영구적 물질을 통해 렌즈에 도포될 수 있다. 2개의 렌즈를 갖는 시스템에서, 광은 사용자의 피부로부터 렌즈 내로 반사될 수 있으며, 여기서 렌즈는 도파관 효과를 가지며 웨어러블 디바이스로부터 광을 채널링한다. 핫 미러(410)의 존재는 이러한 광의 발생을 줄이도록 작용한다.
대안적인 실시예에서, 조명기(420)는 렌즈(400)(또는 전술된 추가적인 부재)의 측면 상에 배치될 수 있다. 그 다음, 조명기(420)로부터의 조명은 렌즈(400)를 통해 이동하여 사용자 눈 정면에서 방출될 수 있다. 이러한 광의 안내는, 조명이 디스플레이(110)쪽으로 방출되는 것을 방지하기 위해, 핫 미러(410)가 도포된 렌즈의 영역에서 발생한다.
본 발명에 대한 추가 사항으로서, 각진 핫 미러(410)가 디스플레이(110)의 앞쪽에 추가될 수 있고 이미지 센서는 핫 미러를 보도록 배열될 수 있다. 그 다음, 렌즈(400)는 사용자의 눈 앞쪽에 배치되고, 조명기(420)는 이에 인접하여 위치한다. 조명기(420)는 사용자의 눈을 조명하고, 전술된 바와 같이, 핫 미러 필름 또는 코팅을 갖는 렌즈(400)로 인해, 조명기(420)로부터의 스트레이 조명(stray illumination)이 감소된다. 핫 미러 필름 또는 코팅의 절개 부는, 이미지 센서가 각진 핫 미러를 통해 사용자의 눈의 이미지들을 캡처하는 것을 허용한다.
알고리즘
다양한 실시예에서, 알고리즘은, 눈을 포함하는 이미지 및 눈으로부터의 적외선 광의 반사로부터, 눈의 응시 방향을 결정하는데 이용된다. 처리 유닛은, 캡처된 이미지를 이용한 알고리즘에 기초하여 계산을 수행하여 응시 방향을 결정한다.
여기서 설명된 웨어러블 디바이스에서 이용되는 알고리즘은, 원격의 기존 눈 추적 유닛에서 이용되는 알고리즘과 상당히 유사하다. 따라서, 응시 방향을 결정하기 위한 기본적인 접근법은 본 기술분야의 통상의 기술자에 의해 널리 이해되어야 한다.
그러나, 몇 가지 개선점이 이하에서 논의된다.
동공 위치
눈 추적 디바이스에서 응시 방향을 결정하는데 있어서 하나의 단계는 동공의 위치 및 크기를 추정하는 것이다. 일부 실시예에서, 동공 크기 및/또는 위치를 추정하기 위해 이하의 방법이 이용될 수 있다.
캡처된 이미지에서, 조명기에 의해 방출된 적외선 광의 반사 위치가 분석되어 이전 캡처된 이미지에 관한 그 위치를 결정한다. 다음으로서, 이전의 캡처된 이미지로부터의 동공의 위치와 함께, 반사의 변위가 이용되어 현재 이미지에서 동공의 위치를 결정한다.
프레넬 렌즈
프레넬 렌즈가 웨어러블 디바이스에 존재하는 경우, 프레넬 렌즈를 통해 눈 추적 이미지 센서에 의해 캡처된 이미지는 전형적으로 프레넬 렌즈에 존재하는 동심원들을 포함한다. 이들 동심원들은 응시 검출을 결정하려 할 때 처리 유닛에 의해 동공 가장자리로서 잘못 결정될 수 있으므로, 이들 동심원들을 신속하고 정확하게 제거하는 것이 필요하다.
일부 실시예에서, 이들 동심원들은 침식(erosion)을 이용하여 캡처된 이미지로부터 제거된다. 침식은 본 기술분야의 통상의 기술자에 의해 널리 이해되는 이미지 처리 개념이다. 침식을 이용하여, 작은 커널, 예를 들어 3x3 또는 5x5 픽셀들이 캡처된 이미지 위를 픽셀 단위로 통과한다. 각각의 픽셀에 대해, 강도 값은 픽셀 인근의 가장 어두운 픽셀로 대체되며, 여기서, 인근의 크기는 커널에 의해 정의된다. 캡처된 이미지의 동공은 어둡기 때문에, 캡처된 이미지 내의 밝은 동심원들은 따라서 어두운 동공으로 대체된다.
광 마스킹
또 다른 실시예는, 2D 이미지 센서에 걸친 라인들을 따라 수학적 연산을 수행하여 프로파일 센서와 유사한 출력을 제공하기 위해 하드웨어 또는 소프트웨어의 이용을 허용한다. 라인들은 일반적으로 센서의 행과 열이 될 수 있지만, 반드시 이러한 배향들로 제한되지는 않는다. 이것은, 라인 상의 모든 픽셀 값들의 평균 및/또는 합산 이외의 다른 연산이 계산되는 것을 허용할 뿐만 아니라, 어떠한 반짝임도 포함하지 않는 것으로 알려진 이미지의 부분들로부터 광 기여분을 마스킹하는 것도 가능하게 한다. 어떠한 반짝임도 포함하지 않는 이미지의 부분들로부터 광 기여분을 마스킹하는 것은, 신호 대 노이즈 비율을 증가시키므로, 프로필 응답의 강도 프로파일의 검사를 허용함으로써 반짝임의 검출을 보조한다. 예시적인 실시예들에서, 마스킹할 영역은 각막 외부의 모든 것일 수 있고, 눈 추적 알고리즘으로부터의 가장 최근의 출력은 마스킹할 근사 영역을 제공하는데 이용될 수 있다.
전통적인 이미지 센서를 이용하여 2D 프로파일 센서를 시뮬레이션하는 것은, 눈 추적에 요구되는 계산 부하 및 그에 따른 전력 소비를 감소시킨다. 그러나, 프레임 레이트는 2D 이미징 센서의 프레임 레이트로 제한된다.
실제 프로파일 센서를 이용하는 경우에도 어떠한 반짝임도 포함하지 않는 이미지의 부분들로부터 광 기여분을 마스킹하는 것이 가능하다.
어떠한 반짝임도 포함하지 않는 것으로 알려진 이미지의 부분들로부터 광을 마스킹하는 하나의 방법은, (렌즈 뒤쪽의 적외선 OLED 어레이, DLP 또는 LCOS 프로젝터를 갖춘 임의의 배열, 또는 본 기술분야의 통상의 기술자가 용이하게 이해할 수 있는 복수의 다른 솔루션 등의) 광이 공간적으로 제어될 수 있는 하나 또는 수 개의 조명기를 이용하는 것이다.
어떠한 반짝임도 포함하지 않는 것으로 알려진 이미지의 부분들로부터 광을 마스킹하는 역시 또 다른 방법은, 프로파일 센서에 진입하기 전에 광의 일부를 차단하는 요소를 이용하는 것이다. 이들 차단 요소들은, LCD 기반, 기계적 기반, 또는 본 기술분야의 통상의 기술자가 용이하게 이해할 수 있는 복수의 다른 솔루션에 기초할 수 있다.
전통적인 이미지 센서를 이용한 프로파일 센서 시뮬레이션
전술된 바와 같이, 프로파일 센서를 시뮬레이션하기 위해 픽셀들의 행렬을 포함하는 전통적인 이미지 센서를 이용하는 것이 가능하다. 이를 달성하기 위해, 하드웨어 또는 소프트웨어가 (센서 상의 라인을 따른 평균 강도 레벨, 또는 센서 상의 라인을 따른 모든 강도 레벨의 합을 계산하는 것 등의) 수학적 연산을 수행하여 프로파일 센서와 유사한 출력을 제공할 수 있다. 전형적으로, 이것은 전통적인 센서의 행 또는 열의 출력과 같을 것이다. 그러나, 픽셀들의 임의의 구성, 예를 들어, 대각선을 출력하는 것이 가능하다. 이 시뮬레이션된 시스템을 이용함으로써, 이전에 설명된 마스킹 등의, 라인 상의 모든 픽셀 값들의 전통적인 평균 및 합계 이외의 많은 연산들을 수행하는 것이 가능하다. 또한, 어떠한 반짝임도 포함하지 않는 것으로 알려진 캡처된 이미지 영역(이미지 센서의 픽셀들)로부터 검출된 광을 마스킹하는 것이 가능할 수 있다. 이 마스킹 기능을 수행함으로써, 신호 대 잡음비가 증가될 수 있다. 마스킹할 영역의 예는, 사용자의 각막 외부의 영역인데, 이 영역은 반짝임에 기여할 수 없기 때문이다.
반짝임에 기여하지 않는 이미지 영역으로부터의 광의 마스킹은 전통적인 프로파일 센서를 이용하여 수행될 수 있다. 광을 마스킹하기 위한 추가 옵션은, 렌즈 뒤쪽의 적외선 OLED 어레이, DLP 또는 LCOS 프로젝터를 갖춘 임의의 장치, 또는 본 기술분야의 통상의 기술자가 용이하게 이해할 수 있는 기타 임의의 솔루션 등의, 광이 공간적으로 제어될 수 있는 조명기를 이용하는 것을 포함한다. 또 다른 옵션은 비-기여 영역으로부터의 광이 센서에 도달하는 것을 차단하는 것이며, 이것은 기계적 솔루션, LCD 솔루션, 또는 본 기술분야의 통상의 기술자가 이해하는 기타 임의의 솔루션에 의해 달성될 수 있다. 기계적 LCD 솔루션은 프로파일 센서 앞쪽에 투명 LCD를 배치하는 것을 포함할 수 있다.
디스플레이와 동기화된 눈 추적기
눈 추적의 소정 응용을 위해, 특히 웨어러블 디바이스에서, 눈 추적 디바이스를 디스플레이와 동기화시키는 것이 중요하다. 본 발명의 실시예들의 이 양태에 따르면, 웨어러블 디바이스에는, 디스플레이, 적어도 하나의 카메라, 및 적어도 하나의 조명기가 제공된다. 카메라(들) 및 조명기(들)는 눈 추적 디바이스를 형성한다. 카메라(들) 및/또는 조명기(들)는 디스플레이와 동기화될 수 있다. 동기화는, 카메라 스트로브 레이트를 디스플레이의 v-싱크와 동기화시키는 것을 특징으로 한다.
눈 추적 디바이스를 위치 디바이스 또는 디바이스들과 동기화시키는 것이 더 바람직하다. 예를 들어, 눈 추적 디바이스는, 관성 측정 유닛 등, 또는 적외선이나 다른 비가시 광을 이용하는 실내 위치 디바이스와 동기화될 수 있다. 이러한 시스템은 Valve®에 의해 "Lighthouse"라는 이름으로 제안되었다. 본 기술분야의 통상의 기술자라면 이러한 동기화가 어떻게 기능할 수 있는지를 용이하게 이해할 것이다.
착탈식 눈 추적기
본 발명의 실시예들의 또 다른 양태에 따르면, 착탈식 눈 추적기가 제공되고, 눈 추적기가 웨어러블 디바이스 내에 삽입될 수 있다. 그 다음, 눈 추적기는, 전화, 태블릿, 시계, 디스플레이 등의 다른 디바이스와 통합될 수 있다.
눈 추적기는 적어도 하나의 카메라 및 적어도 하나의 조명기를 포함할 수 있고, 그 주 기능은, 눈 추적기가 통합된 디바이스, 예를 들어 폰, 태블릿 또는 시계에 대한 사용자의 응시를 추적하는 것일 수 있다. 보조 기능으로서, 눈 추적기가 때때로 통합되어 있는 디바이스가 웨어러블 디바이스 내에 삽입될 수 있다. 그 다음, 디바이스는 웨어러블 디바이스에 디스플레이 등의 기능성을 제공할 수 있고, 눈 추적기는 웨어러블 디바이스의 착용자의 응시 방향을 결정하는데 이용될 수 있다. 눈 추적기의 동작 방법은 임의의 전통적인 방법 또는 여기서 설명된 임의의 방법일 수 있다.
미소 인증
본 발명의 한 양태에 따르면, 눈 추적을 위해 이용되는 웨어러블 디바이스 내의 이미지 센서는 또한, 사용자의 눈 주변의 영역의 이미지를 캡처하는데 이용될 수 있다. 예를 들어, 이들 이미지들은 분석되어 사용자가 웃고 있는지 및 그 미소가 진짜인지 또는 가짜인지를 결정할 수 있다. 미소가 가짜인지 진짜인지를 결정하기 위해 사용자의 눈 주변 영역의 특성이 이용될 수 있다. 예를 들어, Littlewort-Ford, Gwen, Marian Stewart Bartlett, and Javier R. Movellan, "Are your eyes smiling? Detecting Genuine Smiles with Support Vector Machines and Gabor Wavelets," Proceedings of the 8th Joint Symposium on Neural Computation, 2001를 참조한다. 전술된 공보의 전체 개시내용은 본 명세서에서 완전히 개시된 것처럼 모든 목적을 위해 본 명세서에 참조로 포함된다.
본 발명의 실시예들에 따라, 눈 추적을 위해 이용되는 이미지 센서는 눈의 이미지를 캡처할 때 눈 주변의 영역의 적어도 일부분을 캡처하고, 그 다음, 이들 이미지들은 알려진 미소를 이용하여 또는 사용자의 미소나 기타의 얼굴 특징이 가짜인지 진짜인지를 결정하는 다른 검출 알고리즘을 이용하여 분석될 수 있다.
홍채 식별에 기초한 캘리브레이션
본 발명의 실시예들에 따라, 눈 추적에 이용되는 이미지 센서는 또한, 사용자의 홍채에 관련된 정보를 캡처한다. 이 홍채 정보는 눈 추적기에 접속된 시스템에 입력하기 위한 사용자의 신원을 결정하는데 이용될 수 있다.
예를 들어, 본 발명의 일부 실시예들에 따르면, 웨어러블 디바이스가 제공되고, 여기서, 적어도 하나의 이미지 센서와 적어도 하나의 적외선 조명기가 제공된다. 이미지 센서 및 조명기는 디바이스를 착용한 사용자의 눈 또는 눈들을 향한다. 선택사항으로서, 디바이스는, 웨어러블 헤드셋의 가상 현실 디스플레이 등의 디스플레이를 더 포함한다.
이미지 센서는 사용자의 홍채의 이미지를 캡처하고 상기 이미지를 처리 디바이스에 전달하며, 처리 디바이스는 웨어러블 디바이스 상에 위치하거나 처리 디바이스로부터 원격에 위치할 수 있으며, 이 경우 통신은 본 기술분야의 통상의 기술자가 이해할 수 있는 유선 또는 무선 수단에 의해 수행될 수 있다.
홍채 인식은 공지된 기술이며 수학적 패턴 인식 기술을 이용하여 사용자의 식별 또는 인증을 위해 사용자의 한 홍채 또는 양쪽 홍채 상의 패턴을 고유하게 식별한다. 가장 기본적인 형태로, 홍채 인식은, (1) 위치 파악(localization) ― 홍채의 내외부 경계를 계산하는 것; (2) 정규화 ― 일관성을 위해 캡처된 데이터를 정규화하는 것; (3) 피처 추출 ― 캡처된 이미지로부터 추출된 피처들의 피처 벡터를 형성하는 것; 및 (3) 정합 ― 임계화 기술을 이용하여 피처 벡터를 분류하는 것을 포함한다.
홍채 인식을 허용하는 많은 알고리즘들이 제안되었으며, 예를 들어, Daugman J. G., High Confidence Visual Recognition of Persons by a Test of Statistical Independence, IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume: 15, No. 1 I, 1993, pp. 1148-1 161를 참조한다. 전술된 공보의 전체 개시내용은 본 명세서에서 완전히 개시된 것처럼 모든 목적을 위해 본 명세서에 참조로 포함된다.
사용자의 홍채의 이미지에 기초하여, 웨어러블 디바이스와 (유선 또는 무선으로) 접속된 처리 유닛은 사용자의 식별을 이용하여 그 기능에 영향을 줄 수 있다. 예를 들어, 눈 추적기를 이용할 때, 처리 유닛은, 계산된 응시 위치와 실제 응시 위치 사이의 오프셋에 관한 사용자 특유의 정보를 제공하는 캘리브레이션 프로파일을 로딩할 수 있다. 또 다른 예로서, 식별은, 웨어러블 디바이스를 동작시키도록 또는 웨어러블 디바이스에 접속된 처리 유닛을 동작시키도록 인가된 것으로서 사용자를 인증하는데 이용될 수 있다.
눈 왜곡 보상(EYE TORSION COMPENSATION)
본 발명의 또 다른 양태에 따르면, 눈 왜곡을 추적하는 것이 가능하다. 설명을 위해, 인간의 눈은, 좌/우 및 상/하로 움직이는 것 이외에, 홍채의 하단은 코로부터 더 멀리 회전하면서 홍채의 상단은 코에 더 근접하게 회전되게끔 회전할 수 있는 방식으로 근육에 부착된다. 반대 회전도 역시 가능하다. 이러한 유형의 회전은 일반적으로 눈 왜곡이라고 한다.
인간이 자신의 머리를 약간 옆으로 회전시킬 때, 대부분의 인간은 자신의 눈을 수평선과 수평을 유지하면서 반대 방향으로 약간 자신의 눈을 자동으로 회전시킨다. 이 효과는, 이러한 방식으로 눈을 많은 각도로 회전시킬 수 없으므로, 작은 회전 동안에만 작용한다.
이 현상은, 중심와(fovea)가 눈의 광학적 축을 따라 완벽하게 중심에 있지 않은 모든 사람들에 대해 눈 추적 시스템에서 추가적인 에러 원인을 야기한다.
본 발명은 안구 상의 홍채 및/또는 다른 피처들을 주목하거나 및/또는 눈 추적기로부터의 배향 정보를 이용함으로써 눈 왜곡을 추적할 수 있다. 이것은 눈 추적기에게 중심와의 위치에 대한 더 나은 추정을 제공할 수 있으며, 따라서 머리가 기울어져 있을 때 눈 추적 대상의 응시에 대한 더 양호한 추정을 제공할 것이다.
각막 곡률(CORNEAL CURVATURE)
본 발명의 한 실시예에 따르면, 적어도 하나의 이미지 센서는 사용자의 눈의 이미지를 캡처한다. 컴퓨팅 유닛은 이 정보를 이용하여 사용자의 각막의 형상을 결정한다. 적외선 광원으로부터의 반사의 위치와 배향에 따라, 각막의 곡률이 측정될 수 있다. 어떤 사람들에게는, 각막이 비정상적으로 만곡되어 있다. 이것은 난시(astigmatism)라고 할 수 있다.
이미지 센서 및 적외선 광원으로부터 획득된 정보를 이용하여, 각막의 곡률이 모델링될 수 있고, 따라서 비정상적 형상의 각막을 가진 사용자가 식별될 수 있다. 각막의 형상을 결정함으로써, 적절한 렌즈를 처방하는 것 등의 시정 조치가 수행될 수 있다.
전력 소비 및 처리 전력 감축
일부 실시예에서, 가상 현실 디스플레이 또는 기타의 디스플레이 시스템을 포함할 수 있는 웨어러블 디바이스의 전력 소비를 더 감소시키기 위해, 눈 추적 디바이스는 사용자의 제1 눈의 응시 위치만을 직접 추적할 수 있다. 그 다음, 사용자의 제2 눈의 응시 위치는 제1 눈에 대해 직접 결정된 응시 위치에 적어도 부분적으로 기초하는 예측에 의해 결정될 수 있다.
이것은, 인류에게 있어서 생물학적으로 전형적인 사실, 즉, 제2 눈이 제1 눈과 대략 동일한 수평 레벨 상에 있다는 가정에 기초하여 달성될 수 있다. 이러한 방식으로, 보통은 추가적인 눈 추적 디바이스에 의해 이용되는 (조명기, 이미지 센서 및/또는 처리 전력을 포함한) 전력이 절약될 수 있다. 일부 실시예에서, 양쪽 눈의 결합된 결정되고 예측된 응시 위치는 웨어러블 디바이스의 디스플레이 상에서의 포비티드 렌더링을 위한 영역을 결정하는데 이용될 수 있어서, 비디오 렌더링의 효율 증가로 인해 추가 전력 절감을 제공한다.
일부 실시예에서, 게임 및/또는 다른 하이엔드 그래픽 애플리케이션 등의 특정한 소프트웨어는 눈 추적 디바이스로부터 응시 데이터를 요청하여, 향후에 사용자와의 가능한 상호작용하는 방법, 그래픽 처리 유닛에 제공할 그래픽 정보의 양 및/또는 다른 목적을 애플리케이션에게 통보할 수 있다. 다른 실시예들에서는 모든 응시 방향 정보가 이러한 애플리케이션들에 전달되어, 개개의 애플리케이션이 이러한 정보를 요청하는 것을 허용할 수 있지만, 요청시에만 이러한 정보를 제공하는 것은 전력 및 처리 절감을 야기할 수 있다.
가상 현실 패닝 및 센터링
일부 실시예에서, 사용자 웨어러블 디바이스의 가상 현실 디스플레이 또는 기타의 디스플레이 시스템을 사용자가 패닝한 후 센터링(centering)하는 능력을 용이하게 하기 위한 솔루션이 제공된다. 전형적으로, 가상 현실 디스플레이는 임의의 방향으로 무한하기 때문에(즉, 가상 디스플레이에서 오른쪽을 바라보는 사용자는 원래의 장면을 보기 위해 결국 360도 회전한다), 패닝은, 사용자가 머리를 계속 돌리기 전에 불편할 정도로 머리를 너무 많이 돌릴 수 있기 때문에 사용자에게는 어색하게 될 수 있다.
이 문제를 완화하기 위해, 여기서 설명된 시스템들은, 사용자가 자신의 머리를 돌려 패닝이 발생할 소정의 방향을 향해 응시 위치를 이동시킴으로써 가상 현실 디스플레이 상에서의 뷰를 패닝하는 것을 허용할 수 있지만, 디스플레이된 장면이, 사용자의 머리가 회전된 채로 사용자의 응시 방향이 그 장면에 리센터링되었다(즉, 사용자의 응시 위치가 더 이상 패닝되지 않는다)고 결정되는 지점을 중심으로 리센터링되는 것을 허용할 수 있다.
일부 실시예에서, 응시 방향의 리센터링은, 사용자가 실제로 자신의 뷰를 패닝하는 것을 완료하는 것을 보장하기 위해 적어도 미리정의된 기간 동안 발생해야 한다. 예를 들어, 사용자의 응시는 현재의 뷰의 비교적 중심 영역으로 복귀해야 한다. 일부 실시예에서, 영역의 크기, 형상, 및 위치는 사용자에 의해 설정될 수 있다. 일부 실시예에서, 영역은, 잠재적으로 사용자에 의해 설정된 바와 같이, 상이한 방식들로 보여질 수 있다(즉, 영역의 가볍게 채색된 표시가 디스플레이 상의 다른 콘텐츠 상에 중첩될 수 있다). 일부 실시예에서, 가상 디스플레이 뷰가 리센터링되었음을 확정하기 위해 표시(즉, 청각적 또는 시각적 단서)가 사용자에게 제공될 수 있고, 사용자는 자신의 머리 위치를 똑바로, 중심의, 중립 위치로 다시 이동할 수 있다. 이러한 사용자 머리의 리센터링은, 디스플레이가 원래의 패닝의 반대 방향으로 다시 패닝되도록 하지 않으면서 시스템에 의해 허용될 수 있다.
유사하게, 사용자의 응시 방향이 그들의 머리 움직임과 역시 동일한 방향이거나 서로의 소정의/미리정의된 각도 방향 내에 있다면, 사용자의 머리가 똑바로 유지되는 (즉, 패닝이 멈추거나 및/또는 속도가 감소되는) 상황에 대해 패닝 속도가 시작 및/또는 증가될 수 있지만, (즉, 응시 방향을 주변 뷰 가장자리로 이동시킴으로써) 사용자의 응시 방향은 패닝이 바람직하다는 것을 나타낸다. 또한, 패닝 속도는 사용자의 머리 움직임의 크기에 의존적이거나 및/또는 이에 정비례할 수 있다. 즉, 이것은 사용자의 머리의 큰 또는 갑작스러운 움직임은 패닝 속도를 빠르게 증가시킬 수 있는 반면, 사용자의 머리의 작은 또는 느린 움직임은 패닝 속도를 천천히 증가할 수 있다는 것을 의미한다.
따라서, 한 실시예에서 웨어러블 디바이스의 디스플레이 상에서 콘텐츠를 패닝(및 리센터링)하기 위한 시스템 및 방법이 제공될 수 있다. 도 5에 도시된 바와 같이, 본 명세서에서 설명된 시스템은, 블록 510에서, 눈 추적 디바이스를 통해, 웨어러블 디바이스의 사용자의 응시 방향을 결정하는 단계를 포함하는 방법(500)을 수행할 수 있다. 이 방법은 또한, 블록 520에서, 움직임 검출 시스템을 통해, 웨어러블 디바이스의 사용자의 머리 방향을 결정하는 단계를 포함할 수 있다. 움직임 검출 시스템은 사용자의 머리 위치를 결정하는 임의의 내부의/통합된 또는 외부의/원격 디바이스를 포함할 수 있다. 움직임 검출 시스템은 본 기술분야에서 현재 공지된 또는 이후에 공지되는 임의의 수단을 통해 머리 위치를 결정할 수 있다.
이 방법은 또한, 블록 530에서, 응시 방향 및 머리 방향 ― 양쪽 모두 특정한 방향과 일치함 ― 에 적어도 부분적으로 기초하여, 웨어러블 디바이스의 디스플레이 상에 디스플레이된 콘텐츠가 그 특정한 방향으로 패닝되게 하는 단계를 더 포함할 수 있다. 이 방법은 또한, 블록 540에서, 콘텐츠의 패닝 동안, 눈 추적 디바이스를 통해, 사용자의 응시 방향이 중립 위치로 복귀했다고 결정하는 단계를 포함할 수 있다. 이 방법은 또한, 중립 위치로의 사용자의 응시 방향의 복귀에 적어도 부분적으로 기초하여, 웨어러블 디바이스의 디스플레이 상에 디스플레이된 콘텐츠가 패닝을 중단하게 하는 단계를 포함할 수 있다.
추가로, 중립/전방 방향으로부터 소정의 각도 방향을 초과하는 사용자의 머리 방향은 또한 패닝 방향/속도일 수 있다. 일반적으로, 패닝의 속도는 응시와 머리 방향 양쪽 모두에 기초할 수 있다. 시스템에게 패닝을 중단할 것을 지시하기 위해 사용자에 의해 추가 입력이 제공될 수 있다. 추가로, 일부 실시예에서, 시스템은 패닝이 중단되었다는 시각적 및/또는 청각적 표시를 사용자에게 제공할 수 있고, (블록 550에 도시된 바와 같이) 사용자는 역방향으로의 패닝이 발생할 우려없이 정면/중립 방향으로 다시 자신의 머리를 움직일 수 있다.
입력 디바이스들의 가상 현실 매핑
일부 실시예에서, 응시 검출은 가상 현실 디스플레이의 가상 객체의 표면 상으로의 입력 디바이스 동작들의 매핑을 허용할 수 있다. 예를 들어, 가상 구면체가 가상 공간에 위치한다면, 눈 추적 디바이스는 어떤 시점에서 사용자의 응시 방향이 구면체를 향하고 있다고 결정할 수 있다. 2차 입력의 수신시, 또는 미리정의된 기간의 만료시, 연관된 입력 디바이스들은 그들의 제어를 가상 객체에 매핑시킬 수 있다.
2차 입력은, 키보드, 터치 패드(또는 다른 터치 감응 디바이스), 마우스 또는 트랙볼 등의 종래의 입력 디바이스로부터의 접촉 입력을 포함하거나; 음성 명령 또는 응시 입력 등의 비접촉 입력을 포함할 수도 있다. 더 구체적으로, 접촉 입력은 사용자 지정된 위치에 대한 가상 구면체 상으로의 매핑을 제어하는 터치 감응면 상에서의 방향 입력을 가질 수 있다; 여기서, 방향 입력은 터치 제스쳐를 의미한다; 접촉 입력은 또한 터치 감응면과 연관된 압력 감응 디바이스로부터 수신된 압력 신호일 수 있다; 마지막으로 중요하는 것은, 터치 입력은 압력 터치 및 터치 제스쳐와 결합될 수 있다. 터치 감응면과의 물리적 접촉없이 근접 센서와 연관된 터치 감응 디바이스로부터 근접 터치 입력이 수신되는 경우, 근접 입력도 역시 가능할 수 있다.
객체로의 입력 디바이스의 매핑 제어는 많은 형태를 취할 수 있다. 예를 들어, 마우스가 매핑될 입력 디바이스라면, 마우스로부터의 입력은 가상 공간 내의 객체의 회전을 결정할 수 있거나, 객체 상의 포인터 등의 시각적 표시자가 가상 객체 주변에서 움직이도록 할 수 있다. 이것은 가상 객체를 이용하는 사용자에 의해 복합 동작이 실행되는 것을 허용할 수 있다.
또 다른 예에서, 스위치 및 놉(knob) 등의 많은 가상 입력을 갖는 가상 제어 패널이 가상 현실 디스플레이에 존재할 수 있다. 사용자의 응시 방향이 가상 제어 패널로 향하고, 미리정의된 기간이 경과되었거나 2차 입력이 수신되었다고 결정되면, 키보드 또는 마우스의 제어가 제어 패널에 매핑될 수 있다. 이것은, 키보드의 키들이 제어 패널에 대응적으로 매핑되는 것을 허용하거나, 마우스 움직임이 시각적 표시자 또는 포인터(즉, 사용자의 손의 시각적 표현)를 제어 패널을 가로질러 이동시켜 다양한 가상 입력을 선택 또는 활성화하는 것을 허용할 수 있다.
일부 실시예에서, 가상 제어 패널(또는 다른 가상 객체)의 미리정의된 부분은, 제어 매핑을 활성화하기 위해 (사용자의 응시 방향의 제어 패널 상의 임의의 장소에 놓이는 것이 아니라) 사용자의 응시 방향이 놓여 있어야 하는 영역일 수 있다. 일부 실시예에서, 미리정의된 부분은 가상 디스플레이에 시각적으로 표시되거나 및/또는 라벨링될 수 있다.
따라서, 일부 실시예에서, 본원에서 논의된 방법들을 수행하는 시스템이 제공될 수 있다. 도 6에 도시된 한 예에서, 디스플레이 디바이스 상에 디스플레이된 가상 공간의 가상 객체에 입력 디바이스를 매핑하는 방법(600)은, 블록 610에서, 눈 추적 디바이스를 통해, 사용자의 응시 방향을 결정하는 단계를 포함할 수 있다.
이 방법은 또한, 블록 620에서, 디스플레이 디바이스 상에 디스플레이된 가상 공간 내의 가상 객체에 지향되는 응시 방향에 적어도 부분적으로 기초하여, 입력 디바이스로부터 제1 입력을 수신하는 것에 응답하여 하나 이상의 프로세서에 의해 취해질 동작을 수정하는 단계를 포함할 수 있다. 이것은 또한, 적어도 미리정의된 기간 동안 또는 2차 입력이 수신되는 동안, 가상 객체로 지향되는 응시 방향에 응답하여 발생할 수 있다. 사용자는 시각적/청각적 표시에 의해 잠재적 동작이 수정되었다는 것을 통보받을 수 있다.
동작의 수정은, 제1 입력의 수신에 응답하여 취해질 정상 동작으로부터 가상 객체와 연관된 가상 공간에서의 특별한 동작으로 동작을 수정하는 것을 포함할 수 있다. 가상 객체와 연관된 가상 공간에서의 특별한 동작은 제1 입력이 가상 객체를 회전시키거나 및/또는 제1 입력이 가상 객체를 이동시키게 하는 것일 수 있다. 이들 또는 다른 실시예에서, 가상 객체와 연관된 가상 공간에서의 특별한 동작은 제1 입력이 가상 객체의 표면 주위로 제2 객체를 이동시키게 하는 것일 수 있다. 제2 객체는 제1 입력과 연관된 방향에 대응하는 방향으로 이동할 수 있고, 포인터 또는 기타의 가상 위치 마커일 수 있다.
이 방법은 또한, 그 후, 블록 630에서의 입력 디바이스로부터 입력의 수신에 응답하여, 블록 640에서 동작을 발생시키는 단계를 포함할 수 있으며, 여기서, 동작은 제1 입력을 가상 객체와의 상호작용과 상관시킨다.
소정 시간이 경과한 후, 사용자의 소정 입력, 아마도 3차 입력 또는 다른 입력에 응답하여, 또는 사용자의 응시가 해당 가상 객체로부터 멀리 이동했기 때문에, 가상 객체로의 입력의 매핑은, 블록 650에 도시된 바와 같이, 중단될 수 있다.
단지 예로서, 매핑될 수 있는 입력 디바이스는, 터치 감응 디바이스, 터치 감응 스크린, 압력 감응 디바이스, 마우스, 트랙볼, 조이스틱, 핸드헬드 제어기, 스타일러스, 키보드, 및/또는 본 기술분야에 공지되거니 본 명세서에서 논의된 기타의 입력 디바이스를 포함한다.
일부 실시예에서, 본 명세서에서 설명된 바와 같이 가상 객체에 매핑된 입력 디바이스의 피상적 효과는, 동작시 사용자에 의해 인지될 수 있는 바와 같이, 확대되거나 축소될 수 있다. 단지 예로서, 사용자가 행성의 가상 표현을 회전시키고 있는 실시예에서, 그 가상 객체에 매핑되는 마우스의 매우 작은 움직임 입력은 가상 행성의 매우 큰 정도의 스핀을 야기할 수 있다. 반대로, 사용자가 분자의 가상 표현을 회전시키고 있는 경우, 가상 객체에 매핑되는 마우스의 매우 큰 입력은 가상 분자의 작은 정도의 스핀만을 야기할 수 있다. 확대 또는 축소의 양은 사용자에 의해 설정된 다른 입력에 의존하거나, 특정한 애플리케이션 내에 미리프로그래밍될 수 있다. 확대 또는 축소는 또한, 다양한 사용자 및 프로그램 설정 변수들에 따라 가변적일 수 있다.
단속적 안구운동 예측된 디스플레이 내의 관심 영역
일부 실시예에서, 사용자의 눈(들)에 의한 단속적 안구운동(saccade)이 검출될 수 있고, 단속적 안구운동의 완료시 사용자의 응시 방향이 놓일 위치를 추정하거나 결정하는데 이용될 수 있다. 또한, 상이한 개개의 사용자들에 대한 단속적 안구운동이 분석될 수 있고, 그에 관련된 정보가 저장되어, 단속적 안구운동의 발생시에 특정한 사용자에 대한 응시 방향의 미래 변화를 예측할 수 있다(즉, 상이한 사용자들에 대한 상이한 속도들의 단속적 안구운동은 응시 방향의 상이한 각도 변화들을 야기한다).
또한, 알려진 현저한 영역 또는 관심대상의 객체도 역시, 임의의 예측 알고리즘에게, 단속적 안구운동의 완료시 사용자의 응시 방향이 결국 그 영역이나 객체의 방향으로 놓이게 될 가능성을 통보할 수 있다. 사용자의 응시 방향이 주어진 영역이나 객체 상에 놓이는 시간의 길이를 포함한, 사용자의 응시 방향 패턴도 역시 분석되어, 이러한 영역이나 객체가 미래에 디스플레이될 때에 대해 특별히 현저한지를 결정할 수 있다.
결과적으로, 사용자의 단속적 안구운동 및 응시 방향 변경에 관한 상기 정보는, 알려진 또는 알려지지 않은 현저한 영역 또는 객체의 방향에 관계없이, 포비티드 렌더링을 구현하는데 이용될 수 있다. 예를 들어, 알려진 현저한 영역 또는 객체가 가상 디스플레이에 디스플레이되려 하고, 그 영역 또는 객체의 디스플레이시에, 사용자의 눈(들)은 그 영역 또는 객체 쪽으로 단속적으로 운동하고, 그 영역 또는 객체는 사용자의 응시 방향이 그 곳에 도달하기에 앞서 더 높은 품질로 렌더링될 수 있다.
디스플레이될 때 영역이나 객체의 현저성이 알려지지 않은 경우, 또는 특별히 현저한 어떠한 영역이나 객체도 디스플레이되고 있지 않은 경우에도, 응시 방향에서의 각도 변화, 및 대응하는 예상된 결과적 시청 영역은, 단속적 안구운동이 발생하고 있다는 것을 검출함으로써 결정되거나 추정될 수 있다. 응시 방향에서의 결정된 또는 추정된 각도 변화량은, 그에 대한 이전에 기록된 단속적 안구운동 데이터에 기초하여 사용자에게 특정적일 수 있거나, 아마도 특정한 사용자에 대한 기록된 데이터가 이용가능하기 이전에는, 모든 사용자에게 적용가능한 디폴트 데이터일 수 있다.
일부 실시예에서, 단속적 안구운동 정보가 사용자의 예상된 결과적인 응시 방향의 정확한 결정을 허용하지 않는다면, 가장 가능성 있는 응시 방향에 위치한 복수의 알려진 현저한 영역 또는 객체가 더 높은 품질로 렌더링될 수 있다. 일부 실시예에서, 각각의 영역 또는 객체에 대한 렌더링 품질의 증가는 사용자의 응시 방향이 결국에 놓일 가능성에 비례할 수 있다. 예를 들어, 2개의 영역이 사용자의 단속적 안구운동의 결과적인 응시 영역이 될 가능성이 동등할 경우, 양쪽 영역에 대한 렌더링 품질이 유사하게 증가될 수 있다. 그러나, 하나의 영역이 더욱 가능성 있는 결과적인 응시 영역이라면, 그 렌더링 품질은 덜 가능성 있는 응시 영역보다 더 높은 정도로 향상될 수 있다.
디스플레이 디바이스(110) 상에 디스플레이된 이미지가 그래픽 처리 디바이스에 의해 수정될 수 있는 방식은 실시예에 따라 달라질 수 있지만, 그에 관계없이, 이미지가 디스플레이되는 방식은, 사용자의 응시 또는 포커싱된 응시가 향하지 않는 이미지의 부분에 비해, 사용자의 응시 또는 포커싱된 응시가 향하는 이미지의 부분의 이미지 품질을 증가시키도록 의도될 수 있다. 이러한 방식으로, 그래픽 처리 디바이스의 가용 자원 및/또는 다른 시스템 자원의 이용은, 디스플레이 디바이스(110)에서 가장 중요한 곳에 이미지 품질을 제공하기 위해 최대화된다. 설명하기 위해, 도 9는 본 발명의 실시예들이 디스플레이 디바이스(110)의 나머지 영역(930)에 비해 이미지의 품질을 증가시킬 수 있는 사용자의 응시 지점(910) 및 사용자의 응시 지점(910) 주변의 영역(920)을 보여주는 디스플레이 디바이스(110)를 나타내고 있다. 따라서, 본 발명의 다양한 실시예에서, 디스플레이 디바이스(110)에 걸쳐 생성된 이미지의 품질은 나머지 영역(930)에 비해 영역(920)에서 증가될 수 있다.
디스플레이 디바이스(110) 상에 제시된 이미지의 "수정"이 본 명세서에서 논의될 때, 디스플레이 디바이스(110) 상에 디스플레이된 후속 이미지는 디스플레이 디바이스(110) 상에 디스플레이된 이전 이미지와는 상이하다는 것을 의도한다는 점을 이해해야 한다. 따라서, 본 명세서에서 논의된 그래픽 처리 디바이스 및 디스플레이 디바이스(110), 또는 기타의 디바이스(들)는, 제1 이미지를 디스플레이시킨 다음 제1 이미지와는 상이한 제2 이미지를 디스플레이시킴으로써 이미지를 "수정"한다. 본 명세서에서 논의된 이미지의 기타 임의의 변경, 예를 들어, 이미지 품질의 증가 또는 감소는, 후속 이미지가 이전 이미지와는 상이하다는 것을 의미하는 것으로 이해되어야 한다. 이미지의 변경 또는 수정은, 이미지의 일부분만을 변경하거나 수정하는 것을 포함할 수 있다. 이전 이미지의 어떤 부분은 후속 이미지와 동일할 수 있는 반면, 다른 부분들은 상이할 수 있다. 다른 상황에서는, 이전 이미지의 전체가 후속 이미지와 상이할 수 있다. 이미지의 또는 전체 이미지의 수정은 반드시 영역 또는 전체의 모든 유한한 부분이 변경되는 것을 의미하는 것이 아니라(예를 들어, 각각의 픽셀), 영역 또는 전체가 어떤 잠재적으로 일관적이거나, 미리정의되거나, 정렬된 방식으로 변경될 수도 있다(예를 들어, 이미지의 품질이 변경됨)는 것을 이해해야 한다.
이미지의 품질을 증가시키는 것은, 본 기술분야에서 공지된 다른 가능한 특성들 외에도, 그래픽 특성들의 아래의 비배타적 목록 중 임의의 하나 이상의 품질을 증가시키는 것을 포함할 수 있다:
- 해상도(Resolution): 하나 이상의 차원에서 디스플레이될 수 있는 구별되는 픽셀들의 수이다. 예를 들어, "1024 x 768"은, 높이에서 1024개 픽셀과, 폭에서 768개 픽셀이 디스플레이된다는 것을 의미한다.
- 쉐이딩: 그래픽 처리 디바이스(130)에 의해 에뮬레이트된 광원에 의해 투사된 인공 조명에 의존하는 그래픽 객체의 컬러 및 밝기의 변화.
- 텍스처 매핑: 객체에 특정한 외관을 제공하기 위한 그래픽 객체 상으로의 그래픽 이미지 또는 "텍스처"의 매핑. 텍스처의 해상도는 텍스처가 적용되는 그래픽 객체의 품질에 영향을 준다.
- 범프 매핑: 그래픽 객체의 표면 상의 작은 규모의 범프 및 대략적 계조의 시뮬레이션.
- 포깅/파티시페이팅 매질: 맑지 않은 대기 또는 공기를 통과할 때 광이 흐려짐.
- 섀도우: 광의 차단에 대한 에뮬레이션.
- 소프트 섀도우: 부분적으로 차단된 광원에 의해 야기되는 투영 및 어두움에서의 변화.
- 반사: 미러류 또는 고광택 반사 표면의 표현.
- 투명도/불투명도(광학적 또는 그래픽): 고체를 통한 광의 선명한 투과.
- 반투명: 고체를 통한 광의 고도로 산란된 투과.
- 굴절: 투명성과 연관된 광의 구부러짐.
- 회절: 광선을 방해하는 객체 또는 개구를 지나가는 광의 구부러짐, 확산 및 간섭
- 간접 조명: 광원으로부터 직접이 아니라, 다른 표면들로부터 반사된 광에 의해 조명된 표면(전역적 조명이라고도 함).
- 초선(caustics)(간접 조명의 형태): 또 다른 객체 상에서 밝은 강조를 생성하는, 반짝이는 객체로부터의 광의 반사, 투명 객체를 통한 광의 포커싱.
- 안티 알리아싱: 날카로운 외관 또는 들쭉날쭉한 라인을 감소시키기 위한 디스플레이된 객체의 가장자리를 블렌딩하는 프로세스. 통상적으로, 디스플레이된 객체의 가장자리 주변의 색상을 샘플링하여 가장자리를 그 주변으로 혼합하는 알고리즘이 이용된다.
- 프레임 레이트: 애니메이트된 이미지의 경우, 이미지 내에서 움직임을 렌더링하기 위해 소정의 기간 동안 제시되는 개개의 프레임의 수.
- 3D: 이미지를 시청자에게 3차원으로 보이게 하는 이미지의 시각적 및 시간적 특성.
더 높은 품질로 나타나도록 수정될 수 있는 이미지 영역의 크기 및 형상은 실시예에 따라 달라질 수 있다. 단지 예시로서, 영역의 형상은 원형, 타원형, 정사각형, 직사각형, 또는 다각형일 수 있다. 일부 실시예에서, 영역 내의 이미지의 품질은 균일하게 증가될 수 있다. 다른 실시예에서, 이미지의 품질의 증가는 영역의 중심에서(즉, 응시 지점에 근접하여) 가장 클 수 있고, 영역의 가장자리 쪽을 향하여(즉, 응시 지점으로부터 원위에서) 감소하여, 영역 주변의 이미지의 품질과 일치한다. 설명하기 위해, 도 10a는 응시 영역의 중심으로부터 바깥쪽으로 선형 또는 비선형 연속적인 방식으로 이미지 품질이 어떻게 감소할 수 있는지를 도시하고, 도 10b는 응시 영역의 중심으로부터 바깥쪽으로 계단형 방식으로 이미지 품질이 어떻게 감소할 수 있는지를 도시한다.
일부 실시예에서, 디스플레이 디바이스(110) 상에 디스플레이된 이미지를 수정하는 것은 응시 지점에서의 변화의 검출에 응답하여 발생할 수 있다. 이것은 다수의 방식으로 발생할 수 있고, 그 중 일부는 아래에서 설명된다.
일부 실시예에서, 이미지의 전체는 사용자의 응시 지점의 변경의 기간 동안 수정될 수 있고, 일단 사용자의 응시 지점의 변경이 중단되고 나면, 사용자의 응시 지점의 주변의 영역 또는 이미지의 나머지 부분(최종 응시 지점 주변에 있지 않은 이미지의 부분)은 수정될 수 있다. 단지 예시로서, 한 실시예에서, 전체 이미지의 품질은 사용자의 응시의 움직임(때때로 단속적 안구운동이라고 함) 동안에 증가될 수 있지만, 품질의 증가는 일단 단속적 안구운동이 완료되고 나면 사용자의 최종 응시 지점 주변의 영역에서만 유지될 수 있다(즉, 단속적 안구운동의 완료시에 이미지의 나머지 부분의 품질이 저하될 수 있다). 상이한 실시예에서, 전체 이미지의 품질은 단속적 안구운동 동안에 감소될 수 있지만, 품질의 저하는 일단 단속적 안구운동이 완료되고 나면 사용자의 최종 응시 지점 주변 이외의 영역에서만 유지될 수 있다(즉, 단속적 안구운동의 완료시에 사용자의 최종 응시 지점 주변의 이미지 영역의 품질은 증가될 수 있다).
추가로, 예를 들어, 프로세서/컴퓨터 및 관련 자원을 포함한, 다른 시스템 자원들의 이용도 역시 사용자의 단속적 안구운동 동안에 수정될 수 있다. 예를 들어, 비-그래픽 동작은, 단속적 안구운동 동안에, 프로세서/컴퓨터 및 그래픽 처리 디바이스의 자원들에 의해 보완될 수 있다. 더 구체적으로, 단속적 안구운동 동안에, 다른 시스템 동작에 필요한 비-그래픽 계산이 더 빠른 속도나 효율로 진행될 수 있는데, 그 이유는, 프로세서/컴퓨터 및 그래픽 처리 디바이스와 연관된 추가 자원이 이러한 동작을 위해 이용가능하기 때문이다.
일부 실시예에서, 디스플레이 디바이스(110) 상에 디스플레이된 이미지를 수정하는 것은, 잠재적으로 그 이미지의 품질을 증가시킴으로써, 사용자의 예상된 응시 지점의 주변 영역 내에 있는 이미지의 일부를 수정하는 것을 포함할 수 있다. 예상되는 응시 지점은 사용자의 응시 지점의 변경에 기초하여 결정될 수 있다. 사용자의 예상 응시 지점을 결정하기 위해, 눈 추적 디바이스 및/또는 또 다른 프로세서(즉, 컴퓨터 또는 게임 콘솔의 프로세서)는, 디스플레이 디바이스 상에서의 사용자의 응시 지점의 변화율을 결정할 수 있고, 이 변화율에 적어도 부분적으로 기초하여 예상된 응시 지점을 결정할 수 있다.
사용자에 의한 단속적 안구운동의 속도 또는 속력이라고도 하는, 사용자의 응시 지점의 변화율은 (종종 단속적 안구운동의 진폭이라고 하는) 사용자의 응시 지점에서의 총 변화에 직접적으로 의존한다. 따라서, 사용자의 단속적 안구운동의 의도된 진폭이 증가함에 따라, 단속적 안구운동의 속도도 증가한다. 인간 사용자의 단속적 안구운동은 사람에 있어서 900°/초로 빠를 수 있지만, 약 60° 이하의 단속적 안구운동의 경우, 단속적 안구운동의 속도는 일반적으로 선형이며 단속적 안구운동의 진폭에 직접 의존한다. 예를 들어, 10° 진폭은 300°/초의 속도와 연관되고, 30° 진폭은 500°/초의 속도와 연관된다. 60°보다 큰 단속적 안구운동의 경우, 피크 속도는 눈에 의해 달성가능한 최대 속도(900°/초)를 향해 안정 상태를 유지하기 시작한다. 예기치 않은 자극에 응답하여, 단속적 안구운동은 일반적으로 시작되기 위해 약 200 밀리초(ms) 걸리고 약 20 내지 약 200 밀리초 동안 지속된다. 단속적 안구운동 속도와 진폭 사이의 이러한 관계에 기초하여, 본 발명의 실시예는 단속적 안구운동 속도에 기초하여 예상된 응시 지점을 결정할 수 있다. 단속적 안구운동 속도와 진폭 사이의 수학적 관계의 다른 미리결정된 모델도 역시 본 발명의 다양한 실시예에 의해 이용되어 예상된 응시 지점을 결정할 수 있다.
일부 실시예에서, 예상된 응시 지점 주변의 수정된 이미지의 부분은 또한, 원래의 응시 지점(즉, 사용자의 단속적 안구운동이 시작된 응시 시점) 주변의 이미지 부분을 포함할 수 있다. 수정된 이미지의 부분의 형상은 전술된 형상들 중 임의의 형상일 수 있지만, 일부 실시예에서는, 도 11에 도시된 바와 같이 단속적 안구운동의 방향에 수직인 점진적으로 더 큰 폭을 갖는 삼각형 또는 사다리꼴 형상일 수 있다.
도 11에서, 디스플레이 디바이스(110)가 도시되어 있고, 초기 사용자 응시 지점(1110)이 도시되어 있다. 초기 응시 지점(1110)에서의 임의의 변경 이전에, 본 발명의 실시예들은 영역(1120)에서 증가된 그래픽 품질을 제공할 수 있다. 화살표(1130)로 표시된 사용자의 단속적 안구운동이 눈 추적 디바이스에 의해 검출될 때, 영역(1120)의 크기 및 형상은 초기 응시 지점(1110) 및 예상된 응시 지점(1140) 양쪽 모두를 수용하도록 변경될 수 있다. 변경된 영역(1150)은, 이 실시예에서는 삼각형 및/또는 사다리꼴이지만, 다른 실시예에서는 상이하게 형상을 가지며 크기가 상이하게 조정될 수 있다. 단지 예시로서, 단속적 안구운동의 방향으로 초기 응시 지점으로부터 디스플레이의 가장자리까지의 디스플레이 디바이스(110)의 전체면도 역시 변경된 영역(1150)에 포함되어 사용자의 응시 지점이 위치할 수 있는 더 많은 가능성의 장소를 감안할 수 있다. 다른 실시예에서, 원형, 타원형, 또는 사각형의 변경된 영역(1150)이 제공될 수 있다. 역시 또 다른 실시예에서, 변경된 영역(1150)은 초기 응시 지점(1110) 및 예상된 응시 지점(1140) 주변에 별개의 및 구분되는 영역을 포함할 수 있다.
일부 실시예에서, 이미지가 수정되는 (또는 다양한 실시예에서 고 품질로부터 수정되지 않은 채로 유지되는) 응시 지점 주변의 영역의 크기 또는 형상은 동적이다. 이것은, 이미지 또는 디스플레이 디바이스에 관한 현재의 응시 지점의 위치를 포함한, 임의의 개수의 요인에 적어도 부분적으로 기초하여 발생할 수 있다. 단지 예시로서, 사용자가 자신의 응시 지점을 스크린의 소정 부분으로 이동시키면, 스크린의 미리정의된 부분(예를 들어, 비디오 게임의 가상 영역의 맵을 갖는 디스플레이의 코너 부분)은 그 내부의 증가된 품질을 통해 수정될 수 있다. 일부 실시예들에서, 하나 이상의 미리정의된 특성을 갖는 충분한 사용자의 단속적 안구운동이 미리정의된 시간 내에 검출된다면, 디스플레이 전체가 더 높은 품질로 렌더링되도록 수정될 수 있다.
본 발명의 또 다른 실시예에서, 디스플레이 디바이스(110) 상에 그래픽을 제시하기 위한 명령어들을 갖는 비일시적인 컴퓨터 판독가능한 매체가 제공된다. 이 명령어들은 디스플레이 디바이스(110) 상에 적어도 이미지를 디스플레이하기 위해 하나 이상의 프로세서에 의해 실행가능할 수 있다. 명령어들은 또한 실행되어, 디스플레이 디바이스(110) 상의 사용자의 응시 지점 또는 디스플레이 디바이스(110) 상의 사용자의 응시 지점의 변경 중 적어도 하나를 나타내는 정보를 눈 추적 디바이스로부터 수신할 수 있다. 명령어들은 또한 실행되어, 그래픽 처리 디바이스로 하여금, 디스플레이 디바이스(110) 상의 사용자의 응시 지점 또는 디스플레이 디바이스(110) 상의 사용자의 응시 지점의 변경에 적어도 부분적으로 기초하여, 디스플레이 디바이스(110) 상에 디스플레이된 이미지를 수정하게 할 수 있다. 따라서, 다른 실시예들과 관련하여 본 명세서에서 설명된 피처들 중 임의의 것을 구현할 수 있는 비일시적인 컴퓨터 판독가능한 매체도 역시 제공된다.
본 발명의 또 다른 실시예에서, 디스플레이 디바이스(110) 상에 그래픽을 제시하기 위한 방법(1200)이 도 12에 도시된 바와 같이 제공된다. 단계 1210에서, 방법(1200)은 디스플레이 디바이스(110) 상에 이미지를 디스플레이하는 단계를 포함할 수 있다. 단계 1220에서, 방법(1200)은 또한, 디스플레이 디바이스(110) 상의 사용자의 응시 지점 또는 디스플레이 디바이스(110) 상의 사용자의 응시 지점의 변경 중 적어도 하나를 나타내는 정보를 눈 추적 디바이스로부터 수신하는 단계를 포함할 수 있다. 단계 1230에서, 방법(1200)은, 그래픽 처리 디바이스로 하여금, 디스플레이 디바이스(110) 상의 사용자의 응시 지점 또는 디스플레이 디바이스(110) 상의 사용자의 응시 지점의 변경에 적어도 부분적으로 기초하여, 디스플레이 디바이스(110) 상에 디스플레이된 이미지를 수정하게 하는 단계를 포함할 수 있다. 단계 1230은, 단계 1233에서, 사용자의 응시 지점 주변의 영역에서의 이미지의 품질을, 그 영역의 외부에 비해 증가시키는 단계를 포함할 수 있다. 단계 1230은 또한, 단계 1236에서, 사용자의 응시 지점 주변의 영역 외부의 이미지의 품질을, 그 영역의 내부에 비해 감소시키는 단계를 포함할 수 있다. 따라서, 다른 실시예들과 관련하여 본 명세서에서 설명된 피처들 중 임의의 것을 구현하는 방법도 역시 제공된다.
일부 실시예에서, 본 명세서에 설명된 시스템 및 방법은, 디스플레이 디바이스(110)의 복수의 추가적인 시청자가 존재할 수 있음을 감안하여 사용자에 의해 온 및 오프로 토글될 수 있다. 다른 실시예들에서, 본 명세서에서 설명된 시스템 및 방법은 (눈 추적 디바이스에 의해 검출될 때) 단 한 명의 사용자만이 디스플레이 디바이스(110)를 시청하고 있을 때에는 자동으로 온으로 토글하고, (눈 추적 디바이스에 의해 검출될 때) 하나보다 많은 사용자가 디스플레이 디바이스(110)를 시청하고 있을 때에는 오프로 토글한다. 또한, 일부 실시예에서, 본 명세서에서 설명된 시스템 및 방법은, 어떠한 시청자도 검출되지 않을 때에는 전체 디스플레이 디바이스(110)의 렌더링 품질에서의 감소를 허용함으로써, 디스플레이 디바이스(110)가 임의의 시청자의 주요 포커스가 아닐 때 시스템 자원 및 전력 소비를 절약할 수 있다.
다른 실시예에서, 본 명세서에서 설명된 시스템 및 방법은, 눈 추적 디바이스에 의해 검출되는 복수의 시청자를 감안하기 위해 디스플레이 디바이스(110) 상의 이미지의 복수의 부분을 수정하는 것을 허용할 수 있다. 예를 들어, 2명의 상이한 사용자가 디스플레이 디바이스(110)의 상이한 부분들에 포커싱되는 경우, 포커싱된 이미지의 2개의 상이한 영역은 더 높은 품질로 렌더링되어 각각의 시청자에 대한 향상된 시청을 제공할 수 있다.
또 다른 실시예에서, 이미지와 연관된 데이터는 본 명세서에 설명된 시스템 및 방법에게 이미지의 어느 영역이 사용자에 의해 다음으로 포커싱될 가능성이 있는지를 알려줄 수 있다. 이 데이터는 눈 추적 디바이스에 의해 제공된 데이터를 보완하여 사용자에 의해 포커싱될 가능성이 있는 영역에서 이미지의 품질에 대한 더욱 신속하고 유연하게 조정을 허용할 수 있다. 예를 들어, 스포츠 이벤트의 시청 동안, 코치 또는 플레이어와의 인터뷰의 픽처 인 픽처(picture-in-picture)가 이미지의 코너에 제시될 수 있다. 이미지 피드와 연관된 메타 데이터는 여기서 설명된 시스템 및 방법에게 이미지의 일부분에서 가능성 있는 중요성, 그에 따라 시청자 관심과 가능성 있는 포커스를 통보할 수 있다.
가상 현실에서 투사체의 궤적 조절
가상 현실 실시예에서, 가상 객체가 사용자 동작에 의해 투사되거나 기타의 방식으로 론칭될 때, 사용자가 객체의 무게를 용이하게 추정할 수 없어서, 그 객체, 즉, 이제는 투사체가 론칭시에 얼마나 멀리 날아갈 것인지를 추정할 수 없는 문제가 존재한다. 가상 상호작용을 이용가능하게 또는 성공적으로 만들기 위해서는 정확한 거리가 필요하다는 점을 감안하면, 응시 검출은 발사체에 대한 원하는 타겟 위치의 배치 정확성을 높이는 것을 보조하는 역할을 할 수 있다.
일부 실시예에서, 눈 추적 디바이스는 가상 객체를 론칭하는 사용자의 응시 방향을 결정하고, 가상 디스플레이 상의 응시 방향의 위치가 투사체의 의도된 목적지를 결정하는데 이용되거나 이를 보조하는데 이용되는 것을 허용하는데 이용될 수 있다. 일부 실시예에서, 가상 디스플레이 상의 정확한 응시 위치는 사용자의 의도된 타겟으로서 이용될 수 있다.
다른 실시예들에서, 가상 디스플레이 상의 응시 위치는 소프트웨어 프로세스에게 의도된 타겟을 통보할 수 있을 뿐이고, 이것은, 알고리즘에 의존하는 가변 정도까지, 투사체에 대한 계산된 타겟에 영향을 미칠 수 있다. 따라서, 초기 타겟은 알고리즘에 의해 계산될 수 있고 투사체의 론칭을 시작한 투사 또는 다른 동작의 속도 및 객체의 가상적으로 할당된 무게 등의 인자에 의존하지만, 알고리즘에 의해 할당된 가변 정도까지 응시 방향이 이용되어 계산된 초기 타겟을 수정할 수 있다.
VR 렌즈 상에/렌즈에 분포된 다중-카메라 어레이
전통적인 가상 현실 또는 기타의 웨어러블 디바이스에서, 눈 추적 디바이스와 연관된 이미지 센서들 및 카메라를 배치하되, 이들이 디스플레이 시스템의 시청 렌즈를 간섭하지 않고 양호한 촬영을 획득할 수 있도록 배치하는 것은 어려울 수 있다. 이 문제를 해결하기 위해, 본 발명의 다양한 실시예들에 의해 제공되는 한 솔루션은 (본 명세서에서 전술된 조명기들 뿐만 아니라) 미니어쳐 카메라/이미지/광 센서들의 하나 이상의 어레이를 사용자 눈의 바로 앞쪽에 있는 렌즈 상에 또는 렌즈 내에 배치하는 것이다. 카메라들은 매우 작고(예를 들어, 1mm3), 사용자의 눈에 매우 가깝기 때문에, 사용자의 활성 초점 거리 내에 있지 않아서, 본질적으로 사용자에게는 보이지 않는 것처럼 보인다. 도 7a에 도시된 바와 같이, 주어진 시스템의 디스플레이 디바이스(110) 앞쪽에, 시청/주 렌즈(710)가 존재할 수 있고, 카메라/조명기(720)들의 어레이가 렌즈(710) 상에 또는 렌즈(710)에 존재할 수 있다. 카메라/조명기(720)는 이 도면에서 예시의 목적을 위해 축척비율보다 크게 도시되어 있다. 도 7a가 이하에서 더 상세히 설명될 것이다.
어레이의 각각의 카메라는 제한된 해상도만을 가질 수 있지만, 모든 카메라의 이미지들이 결합되어 연관된 처리 디바이스에 의해 재구성될 때, 표준 이미지가 획득될 수 있다. 추가로, 어레이가 이용되기 때문에, 눈(들)을 관찰하는 단일 카메라 또는 이미지 센서의 이용에 의해 이미지의 추가 심도 정보가 획득될 수 있다.
안전한 광원 동작을 위한 사용자 및 방해물 존재 확인
소비자 디바이스는 사용자의 눈 근처의 광 및 레이저 소스에 관한 다양한 안전 표준을 충족해야 한다. 사용자가 소비자 디바이스 광/레이저 소스에 더 가까울수록, 다양한 표준을 만족시킬 수 있는 조명의 강도는 더 낮아진다.
일부 실시예에서, 여기서의 디바이스는 사용자를 보호하고 표준이 충족되는지를 확인하도록 구성된 안전 메커니즘을 포함할 수 있다. 한 실시예에서, 본 명세서의 눈 추적 디바이스는 이미지 센서를 통해 사용자가 디바이스 앞쪽에 존재하는지를 결정할 수 있고, 그에 따라 반응할 수 있다.
어떠한 사용자도 존재하지 않는다면, 디스플레이 및/또는 눈 추적 조명기의 조명 레벨은 임의의 거리에서 안전하도록 낮아진다. 어떠한 사용자도 존재하지 않기 때문에, 디스플레이 및/또는 조명기는 발생하는 임의의 상황에 대해 안전 수준에서 조명될 것이다. 그러나, 사용자가 존재한다고 결정되면, 임의의 디스플레이 및/또는 조명기 등의 눈 추적 서브시스템으로부터의 거리가 계산될 수 있고, 시스템에 의해 허용되는 최대 허용 조명이 복원될 수 있다. 일부 실시예에서, 눈 추적 디바이스가 어떠한 사용자도 존재하지 않는다고 결정하면, 디스플레이 디바이스는 전력을 절약하기 위해 오프될 수 있다.
일부 실시예에서, 본 명세서의 시스템은 또한, 이미지 센서에 의한 방해물의 직접 검출 또는 특정한 조명기로부터의 광의 이미지 센서에 의한 검출 부족에 의해 임의의 조명기가 방해받는지를 결정할 수 있다. 조명기 또는 디스플레이 등의 다른 광 방출 디바이스가 방해받는 것으로 결정되면, 이러한 광 생성 디바이스는 전력을 절약하기 위해 희미하게 되거나 완전히 비활성화될 수 있다.
VR 디바이스 내의 조명 디바이스 및 이미지 센서의 가시성 감소
일부 실시예에서, 본 발명의 조명 디바이스 및 이미지 센서들을 가장 유리한 위치에 배치하기 위해, FPC(flexible printed circuit) 지지된 조명기 및 이미지 센서들이 아마도 도 7a에 도시된 위치에서 가상 현실 또는 기타의 디스플레이 디바이스의 렌즈에 병합될 수 있다. LED 또는 기타의 조명기들 뿐만 아니라, 이미지 센서들은, 매우 얇은 FPC 상에 위치할 수 있으며, 그 다음, 그 가시적 프로파일을 최소화하도록 배향될 수 있다.
단지 예시로서, 조명기 및 이미지 센서는, 사용자를 향하여 장착되되, FPC의 프로파일(즉, FPC의 두께)만이 디바이스의 사용자가 직접 볼 수 있도록 FPC 상에 장착될 수 있다. 일부 실시예에서, FPC는 조명기/센서의 하나보다 많은 측면에 결합되도록 조명기 또는 이미지 센서에 부착될 수 있다. 이러한 방식으로, 조명기/센서로의 또는 이로부터 지향되는 광의 캡처가 개선될 수 있다.
이들 및 다른 실시예에서, 가상 현실 또는 기타의 디스플레이 디바이스에서의 조명기의 출현을 최소화하기 위해 또 다른 방법도 역시 이용될 수 있다. 이들 실시예에서, 광섬유는 디바이스의 시청 렌즈의 전면(사용자) 측 상의 홈 내에 삽입될 수 있다. 도 7b는 이러한 홈(730) 및 렌즈(710)의 표면에 퇴적된 광섬유(740)를 도시한다. 광섬유는 눈 추적에 필요한 조명을 생성하도록 렌즈의 전면 측에 걸쳐 많이 분포될 수 있다. LED 또는 발광 다이오드 등의 기타의 조명 소스는 렌즈의 가장자리에서 또는 렌즈로부터 멀어지는 방향으로 광섬유의 단부에 결합될 수 있다.
광섬유가 배치되는 홈 내의 임의의 공극(void)은, 광섬유의 위치를 유지하고 그 내부의 굴절을 최소화하기 위해 아교 또는 기타 접착제 등의 물질(750)로 채워질 수 있다. 이 물질은 사용자에 대한 렌즈의 가시적 왜곡을 최소화하기 위해 렌즈 자체와 동일하거나 유사한 굴절률을 가질 수 있다.
도 7c에 도시된 바와 같이, 광섬유(740)의 종단점(745)에서 렌즈(710) 내의 각진 및/또는 반사된 표면(760)은 광을 광섬유의 단부로부터 눈을 향해 안내할 수 있다. 렌즈 내의 광섬유로부터의 잠재적 미광을 최소화하기 위해, 광 흡수 재료(770)가 또한 광섬유의 종단점 근처, 아마도 각진 표면 뒤쪽에 배치될 수 있다. 에폭시, 실리콘, 또는 이와 유사한 물질 등의 빔 성형 재료(780)가 또한 종단점 근처의 렌즈에 적용되어 광을 사용자의 눈의 적절한 위치로 지향시키는 것을 보조할 수 있다.
예시적인 컴퓨터 시스템
상기는, 도 8에 도시된 본 발명의 실시예들 중 임의의 것이 구현될 수 있는 예시적인 컴퓨터 시스템(800)을 나타내는 블록도이다. 이 예는 전술된 시스템 및 방법의 기능을 제공하기 위해 전체적으로, 부분적으로, 또는 다양한 변형과 함께 이용될 수 있는 컴퓨터 시스템(800)을 나타낸다.
버스(890)를 통해 전기적으로 결합될 수 있는 하드웨어 요소들을 포함하는 컴퓨터 시스템(800)이 도시되어 있다. 하드웨어 요소들은, 하나 이상의 중앙 처리 유닛(810), 하나 이상의 입력 디바이스(820)(예를 들어, 또 다른 디바이스와 통합되거나 통합되지 않은 눈 추적 디바이스; 마우스; 키보드; 터치 패드; 마이크로폰; 핸드헬드 제어기; 등), 및 하나 이상의 출력 디바이스(830)(예를 들어, 디스플레이 디바이스, 디스플레이를 갖는 웨어러블 디바이스, 프린터 등)를 포함할 수 있다. 컴퓨터 시스템(800)은 또한, 하나 이상의 저장 디바이스(840)를 포함할 수 있다. 예를 들어, 저장 디바이스(들)(840)는 일시적 및/또는 비일시적 디스크 드라이브, 광학 저장 디바이스, 랜덤 액세스 메모리( "RAM") 등의 고체 상태 저장 디바이스 및/또는 프로그래밍 가능하거나, 플래시 업데이트가능하거나 및/또는 이와 유사한 것일 수 있는 판독 전용 메모리("ROM")일 수 있다.
컴퓨터 시스템(800)은 추가적으로, 컴퓨터 판독가능한 저장 매체 판독기(850), 통신 시스템(860)(예를 들어, 모뎀, 네트워크 카드(무선 또는 유선), 적외선 통신 디바이스, BluetoothTM 디바이스, 셀룰러 통신 디바이스 등), 및 전술된 RAM 및 ROM 디바이스를 포함할 수 있는 작업 메모리(880)를 포함할 수 있다. 일부 실시예에서, 컴퓨터 시스템(800)은 또한, 디지털 신호 프로세서, 특별 목적 프로세서 및/또는 이와 유사한 것을 포함할 수 있는 처리 가속 유닛(870)을 포함할 수 있다.
컴퓨터 판독가능한 저장 매체 판독기(850)는 또한, 원격, 로컬, 고정된 및/또는 착탈식 저장 디바이스와 컴퓨터 판독가능한 정보를 일시적으로 및/또는 영구적으로 저장하기 위한 저장 매체를 포괄적으로 나타내는, 컴퓨터 판독가능한 저장 매체(선택사항으로서는 저장 디바이스(들)(840)과 조합하여)에 함께 접속될 수 있다. 통신 시스템(860)은, 데이터가 전술된 네트워크, 시스템, 컴퓨터, 및/또는 기타의 컴포넌트와 교환되는 것을 허용할 수 있다.
컴퓨터 시스템(800)은 또한, 운영 체제(884) 및/또는 기타의 코드(878)를 포함하는 작업 메모리(880) 내에 현재 위치한 것으로 도시된 소프트웨어 요소들을 포함할 수 있다. 컴퓨터 시스템(800)의 대안적 실시예들은 전술된 것으로부터의 많은 변형을 가질 수 있다는 것을 이해해야 한다. 예를 들어, 맞춤화된 하드웨어가 역시 이용될 수도 있고/또는 특정한 요소들이, 하드웨어, (애플릿 등의 휴대형 소프트웨어를 포함한) 소프트웨어, 또는 양쪽 모두로 구현될 수도 있다. 또한, 네트워크 입력/출력 및 데이터 취득 디바이스 등의 다른 컴퓨팅 디바이스로의 접속도 역시 발생할 수 있다.
컴퓨터 시스템(800)의 소프트웨어는 여기서 설명된 아키텍쳐의 다양한 요소들의 기능 중 임의의 기능 또는 모든 기능을 구현하기 위한 코드(878)를 포함할 수 있다. 예를 들어, 시스템(800) 등의 컴퓨터 시스템에 저장되거나 및/또는 이에 의해 실행되는 소프트웨어는 전술된 방법 및 시스템의 기능을 제공할 수 있다. 이들 컴포넌트들 중 일부 상의 소프트웨어에 의해 구현가능한 방법은 상기에서 더 상세하게 설명되었다.
본 발명은 지금까지 명료성 및 이해의 목적으로 상세하게 설명되었다. 그러나, 첨부된 청구항들의 범위 내에서 소정의 변경 및 수정이 실시될 수 있다는 것을 이해할 것이다.

Claims (26)

  1. 웨어러블 디바이스의 디스플레이 상에서 콘텐츠를 패닝(panning)하기 위한 방법으로서,
    눈 추적 디바이스를 통해, 상기 웨어러블 디바이스의 사용자의 응시 방향(gaze direction)을 결정하는 단계;
    움직임 검출 시스템을 통해, 상기 웨어러블 디바이스의 상기 사용자의 머리 방향을 결정하는 단계;
    상기 응시 방향 및 상기 머리 방향 ― 양쪽 모두 특정한 방향과 일치함 ― 에 적어도 부분적으로 기초하여, 상기 웨어러블 디바이스의 디스플레이 상에 디스플레이된 콘텐츠가 상기 특정한 방향으로 패닝되게 하는 단계;
    상기 콘텐츠의 패닝 동안, 상기 눈 추적 디바이스를 통해, 상기 사용자의 상기 응시 방향이 중립 위치로 복귀했다고 결정하는 단계; 및
    상기 중립 위치로의 상기 사용자의 상기 응시 방향의 복귀에 적어도 부분적으로 기초하여, 상기 웨어러블 디바이스의 디스플레이 상에 디스플레이된 콘텐츠가 패닝을 중단하게 하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 움직임 검출 시스템은:
    상기 웨어러블 디바이스로부터 원격의 움직임 검출 시스템; 및
    상기 웨어러블 디바이스와 통합된 움직임 검출 시스템
    으로 구성된 그룹으로부터 선택되는, 방법.
  3. 제1항에 있어서, 상기 웨어러블 디바이스의 디스플레이 상에 디스플레이된 콘텐츠가 패닝되게 하는 단계는 추가로,
    상기 사용자의 상기 머리 방향이 전방 방향(forward direction)으로부터의 소정의 각도 거리를 초과하는 것에 적어도 부분적으로 기초하는, 방법.
  4. 제3항에 있어서, 상기 소정의 각도 거리는,
    상기 머리 방향의 각도 방향에 적어도 부분적으로 기초하는, 방법.
  5. 제1항에 있어서,
    패닝의 속도는 상기 응시 방향에 적어도 부분적으로 기초하는, 방법.
  6. 제1항에 있어서,
    패닝의 속도는 상기 머리 방향에 적어도 부분적으로 기초하는, 방법.
  7. 제1항에 있어서, 상기 웨어러블 디바이스의 디스플레이 상에 디스플레이된 콘텐츠가 패닝을 중단하게 하는 단계는 추가로,
    상기 사용자의 상기 응시 방향이 적어도 미리정의된 기간 동안 상기 중립 위치로 복귀하는 것에 적어도 부분적으로 기초하는, 방법.
  8. 제1항에 있어서, 상기 웨어러블 디바이스의 디스플레이 상에 디스플레이된 콘텐츠가 패닝을 중단하게 하는 단계는 추가로,
    상기 사용자로부터의 추가 입력이 수신되는 것에 적어도 부분적으로 기초하는, 방법.
  9. 제1항에 있어서,
    패닝이 중단되었다는 표시가 상기 사용자에게 제공되게 하는 단계를 추가로 포함하는 방법.
  10. 제1항에 있어서,
    상기 콘텐츠의 패닝이 중단된 후, 상기 사용자의 상기 머리 방향이 전방 방향으로 복귀하고 있다고 결정하는 단계; 및
    상기 전방 방향으로의 상기 머리 방향의 복귀 동안 상기 디스플레이 상에 디스플레이된 콘텐츠의 패닝을 중지하는 단계
    를 추가로 포함하는 방법.
  11. 웨어러블 디바이스의 디스플레이 상에서 콘텐츠를 패닝하기 위한 명령어들을 저장한 비일시적 머신 판독가능한 매체로서, 상기 명령어들은, 적어도:
    눈 추적 디바이스를 통해, 웨어러블 디바이스의 사용자의 응시 방향을 결정하고;
    움직임 검출 시스템을 통해, 상기 웨어러블 디바이스의 상기 사용자의 머리 방향을 결정하며;
    상기 응시 방향 및 상기 머리 방향 ― 양쪽 모두 특정한 방향과 일치함 ― 에 적어도 부분적으로 기초하여, 상기 웨어러블 디바이스의 디스플레이 상에 디스플레이된 콘텐츠가 상기 특정한 방향으로 패닝되게 하고;
    상기 콘텐츠의 패닝 동안, 상기 눈 추적 디바이스를 통해, 상기 사용자의 상기 응시 방향이 중립 위치로 복귀했다고 결정하며;
    상기 중립 위치로의 상기 사용자의 상기 응시 방향의 복귀에 적어도 부분적으로 기초하여, 상기 웨어러블 디바이스의 디스플레이 상에 디스플레이된 콘텐츠가 패닝을 중단하게 하기 위해
    하나 이상의 프로세서에 의해 실행가능한, 비일시적 머신 판독가능한 매체.
  12. 제11항에 있어서, 상기 웨어러블 디바이스의 디스플레이 상에 디스플레이된 콘텐츠가 패닝되게 하는 것은 추가로,
    상기 사용자의 상기 머리 방향이 전방 방향으로부터의 소정의 각도 거리를 초과하는 것에 적어도 부분적으로 기초하는, 비일시적 머신 판독가능한 매체.
  13. 제11항에 있어서,
    패닝의 속도는 상기 응시 방향에 적어도 부분적으로 기초하는, 비일시적 머신 판독가능한 매체.
  14. 제11항에 있어서, 상기 웨어러블 디바이스의 디스플레이 상에 디스플레이된 콘텐츠가 패닝을 중단하게 하는 것은 추가로,
    상기 사용자의 상기 응시 방향이 적어도 미리정의된 기간 동안 상기 중립 위치로 복귀하는 것에 적어도 부분적으로 기초하는, 비일시적 머신 판독가능한 매체.
  15. 제11항에 있어서, 상기 명령어들은, 적어도:
    상기 콘텐츠의 패닝이 중단된 후, 상기 사용자의 상기 머리 방향이 전방 방향으로 복귀하고 있다고 결정하고;
    상기 전방 방향으로의 상기 머리 방향의 복귀 동안 상기 디스플레이 상에 디스플레이된 콘텐츠의 패닝을 중지하기 위해
    하나 이상의 프로세서에 의해 추가로 실행가능한, 비일시적 머신 판독가능한 매체.
  16. 웨어러블 디바이스의 디스플레이 상에서 콘텐츠를 패닝하기 위한 시스템으로서,
    상기 웨어러블 디바이스의 사용자의 응시 방향을 결정하기 위한 눈 추적 디바이스;
    상기 웨어러블 디바이스의 상기 사용자의 머리 방향을 결정하기 위한 움직임 검출 시스템; 및
    하나 이상의 프로세서
    를 포함하고, 상기 하나 이상의 프로세서는, 적어도:
    상기 응시 방향 및 상기 머리 방향 ― 양쪽 모두 특정한 방향과 일치함 ― 에 적어도 부분적으로 기초하여, 상기 웨어러블 디바이스의 디스플레이 상에 디스플레이된 콘텐츠가 상기 특정한 방향으로 패닝되게 하고;
    상기 콘텐츠의 패닝 동안, 상기 눈 추적 디바이스를 통해, 상기 사용자의 상기 응시 방향이 중립 위치로 복귀했다고 결정하며;
    상기 중립 위치로의 상기 사용자의 상기 응시 방향의 복귀에 적어도 부분적으로 기초하여, 상기 웨어러블 디바이스의 디스플레이 상에 디스플레이된 콘텐츠가 패닝을 중단하게 하도록
    구성된, 시스템.
  17. 제16항에 있어서, 상기 웨어러블 디바이스의 디스플레이 상에 디스플레이된 콘텐츠가 패닝되게 하는 것은 추가로,
    상기 사용자의 상기 머리 방향이 전방 방향으로부터의 소정의 각도 거리를 초과하는 것에 적어도 부분적으로 기초하는, 시스템.
  18. 제16항에 있어서,
    패닝의 속도는 상기 응시 방향에 적어도 부분적으로 기초하는, 시스템.
  19. 제16항에 있어서, 상기 웨어러블 디바이스의 디스플레이 상에 디스플레이된 콘텐츠가 패닝을 중단하게 하는 것은 추가로,
    상기 사용자의 상기 응시 방향이 적어도 미리정의된 기간 동안 상기 중립 위치로 복귀하는 것에 적어도 부분적으로 기초하는, 시스템.
  20. 제16항에 있어서, 상기 하나 이상의 프로세서는, 적어도:
    상기 콘텐츠의 패닝이 중단된 후, 상기 사용자의 상기 머리 방향이 전방 방향으로 복귀하고 있다고 결정하고;
    상기 전방 방향으로의 상기 머리 방향의 복귀 동안 상기 디스플레이 상에 디스플레이된 콘텐츠의 패닝을 중지하게 하도록
    추가로 구성되는, 시스템.
  21. 제16항에 있어서, 상기 움직임 검출 시스템은:
    상기 웨어러블 디바이스로부터 원격의 움직임 검출 시스템; 및
    상기 웨어러블 디바이스와 통합된 움직임 검출 시스템
    으로 구성된 그룹으로부터 선택되는, 시스템.
  22. 제17항에 있어서, 상기 소정의 각도 거리는,
    상기 머리 방향의 각도 방향에 적어도 부분적으로 기초하는, 시스템.
  23. 제16항에 있어서,
    패닝의 속도는 상기 머리 방향에 적어도 부분적으로 기초하는, 시스템.
  24. 제16항에 있어서, 상기 웨어러블 디바이스의 디스플레이 상에 디스플레이된 콘텐츠가 패닝을 중단하게 하는 것은 추가로,
    상기 사용자로부터의 추가 입력이 수신되는 것에 적어도 부분적으로 기초하는, 시스템.
  25. 제16항에 있어서, 상기 하나 이상의 프로세서는, 적어도 추가로:
    패닝이 중단되었다는 표시가 상기 사용자에게 제공되게 하도록 추가로 구성되는, 시스템.
  26. 제16항에 있어서, 상기 눈 추적 디바이스는 프로파일 센서를 포함하는, 시스템.
KR1020187011109A 2015-09-24 2016-09-26 눈 추적 가능한 웨어러블 디바이스들 KR20180057672A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562232268P 2015-09-24 2015-09-24
US62/232,268 2015-09-24
US201662329719P 2016-04-29 2016-04-29
US62/329,719 2016-04-29
PCT/US2016/053783 WO2017053972A1 (en) 2015-09-24 2016-09-26 Eye-tracking enabled wearable devices

Publications (1)

Publication Number Publication Date
KR20180057672A true KR20180057672A (ko) 2018-05-30

Family

ID=57104206

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020187011089A KR102121134B1 (ko) 2015-09-24 2016-09-26 눈 추적 가능한 웨어러블 디바이스들
KR1020187011088A KR20180057668A (ko) 2015-09-24 2016-09-26 눈 추적 가능한 웨어러블 디바이스들
KR1020187011390A KR20180057693A (ko) 2015-09-24 2016-09-26 눈 추적 가능한 웨어러블 디바이스들
KR1020187011109A KR20180057672A (ko) 2015-09-24 2016-09-26 눈 추적 가능한 웨어러블 디바이스들

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020187011089A KR102121134B1 (ko) 2015-09-24 2016-09-26 눈 추적 가능한 웨어러블 디바이스들
KR1020187011088A KR20180057668A (ko) 2015-09-24 2016-09-26 눈 추적 가능한 웨어러블 디바이스들
KR1020187011390A KR20180057693A (ko) 2015-09-24 2016-09-26 눈 추적 가능한 웨어러블 디바이스들

Country Status (6)

Country Link
US (10) US9958941B2 (ko)
EP (4) EP3353633A1 (ko)
KR (4) KR102121134B1 (ko)
CN (7) CN108604116A (ko)
ES (2) ES2929891T3 (ko)
WO (4) WO2017053971A1 (ko)

Families Citing this family (132)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10434415B1 (en) * 2012-07-30 2019-10-08 Yaacov Barki Method of modifying locations
KR20170138475A (ko) * 2015-04-16 2017-12-15 토비 에이비 시선 정보를 사용하는 사용자의 식별 및/또는 인증
US10678897B2 (en) 2015-04-16 2020-06-09 Tobii Ab Identification, authentication, and/or guiding of a user using gaze information
US10274730B2 (en) 2015-08-03 2019-04-30 Facebook Technologies, Llc Display with an embedded eye tracker
US10297180B2 (en) 2015-08-03 2019-05-21 Facebook Technologies, Llc Compensation of chromatic dispersion in a tunable beam steering device for improved display
US10338451B2 (en) 2015-08-03 2019-07-02 Facebook Technologies, Llc Devices and methods for removing zeroth order leakage in beam steering devices
US10552676B2 (en) * 2015-08-03 2020-02-04 Facebook Technologies, Llc Methods and devices for eye tracking based on depth sensing
US10459305B2 (en) 2015-08-03 2019-10-29 Facebook Technologies, Llc Time-domain adjustment of phase retardation in a liquid crystal grating for a color display
US9978183B2 (en) * 2015-09-18 2018-05-22 Fove, Inc. Video system, video generating method, video distribution method, video generating program, and video distribution program
US10565446B2 (en) 2015-09-24 2020-02-18 Tobii Ab Eye-tracking enabled wearable devices
KR102121134B1 (ko) 2015-09-24 2020-06-09 토비 에이비 눈 추적 가능한 웨어러블 디바이스들
JP6548821B2 (ja) * 2015-09-30 2019-07-24 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイの画面上でコンテンツの配置を最適化する方法
US10247858B2 (en) 2015-10-25 2019-04-02 Facebook Technologies, Llc Liquid crystal half-wave plate lens
US10416454B2 (en) 2015-10-25 2019-09-17 Facebook Technologies, Llc Combination prism array for focusing light
US10203566B2 (en) 2015-12-21 2019-02-12 Facebook Technologies, Llc Enhanced spatial resolution using a segmented electrode array
US10229540B2 (en) * 2015-12-22 2019-03-12 Google Llc Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
US10110935B2 (en) 2016-01-29 2018-10-23 Cable Television Laboratories, Inc Systems and methods for video delivery based upon saccadic eye motion
US10739851B2 (en) 2016-04-29 2020-08-11 Tobii Ab Eye-tracking enabled wearable devices
US10152122B2 (en) * 2016-07-18 2018-12-11 Tobii Ab Foveated rendering
JP6858007B2 (ja) * 2016-11-28 2021-04-14 キヤノン株式会社 画像処理システム、画像処理方法
GB2558284B (en) 2016-12-23 2021-12-08 Sony Interactive Entertainment Inc Virtual reality
US10687050B2 (en) * 2017-03-10 2020-06-16 Qualcomm Incorporated Methods and systems of reducing latency in communication of image data between devices
US10761602B1 (en) * 2017-03-14 2020-09-01 Facebook Technologies, Llc Full field retinal imaging system for characterization of eye trackers
US10649524B2 (en) * 2017-04-07 2020-05-12 Intel Corporation Apparatus and method for foveated rendering, bin comparison and TBIMR memory-backed storage for virtual reality implementations
CN107085680B (zh) * 2017-04-18 2019-10-11 宇龙计算机通信科技(深圳)有限公司 一种操作终端的方法及装置
WO2018204980A1 (en) * 2017-05-11 2018-11-15 Yao Chang Yi Three dimensional tracking systems
US10572764B1 (en) * 2017-06-05 2020-02-25 Google Llc Adaptive stereo rendering to reduce motion sickness
US10573071B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Path planning for virtual reality locomotion
US10573061B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Saccadic redirection for virtual reality locomotion
WO2019018365A1 (en) * 2017-07-17 2019-01-24 Tobii Ab CLOTHING DEVICES FOR EYE FOLLOW-UP
US10990996B1 (en) 2017-08-03 2021-04-27 Intuit, Inc. Predicting application conversion using eye tracking
KR102495234B1 (ko) * 2017-09-06 2023-03-07 삼성전자주식회사 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
US11307656B2 (en) * 2017-09-15 2022-04-19 Trustees Of Dartmouth College View-through sensors and apparatuses for tracking eye movement, and methods and software therefor
US11023040B2 (en) * 2017-09-21 2021-06-01 Tobii Ab Systems and methods for interacting with a computing device using gaze information
US10930709B2 (en) 2017-10-03 2021-02-23 Lockheed Martin Corporation Stacked transparent pixel structures for image sensors
US11073903B1 (en) 2017-10-16 2021-07-27 Facebook Technologies, Llc Immersed hot mirrors for imaging in eye tracking
US10698204B1 (en) * 2017-10-16 2020-06-30 Facebook Technologies, Llc Immersed hot mirrors for illumination in eye tracking
US11237628B1 (en) 2017-10-16 2022-02-01 Facebook Technologies, Llc Efficient eye illumination using reflection of structured light pattern for eye tracking
US11483481B2 (en) * 2017-10-19 2022-10-25 Sony Corporation Electronic instrument
US10510812B2 (en) 2017-11-09 2019-12-17 Lockheed Martin Corporation Display-integrated infrared emitter and sensor structures
US10395624B2 (en) 2017-11-21 2019-08-27 Nvidia Corporation Adjusting an angular sampling rate during rendering utilizing gaze information
CN107958478B (zh) * 2017-12-15 2022-05-03 歌尔光学科技有限公司 虚拟现实场景中物体的渲染方法和虚拟现实头戴设备
CN111670453B (zh) * 2017-12-19 2024-03-29 诺基亚技术有限公司 依赖于注视的凹状渲染装置、方法、计算机程序和系统
CN109951616A (zh) * 2017-12-21 2019-06-28 艾迪普（北京）文化科技股份有限公司 一种虚拟场景中电视墙媒体的接入、播放及控制方法
US10725292B2 (en) * 2018-02-01 2020-07-28 Varjo Technologies Oy Gaze-tracking system and aperture device
US10690910B2 (en) 2018-02-07 2020-06-23 Lockheed Martin Corporation Plenoptic cellular vision correction
US10979699B2 (en) 2018-02-07 2021-04-13 Lockheed Martin Corporation Plenoptic cellular imaging system
US10652529B2 (en) 2018-02-07 2020-05-12 Lockheed Martin Corporation In-layer Signal processing
US10838250B2 (en) 2018-02-07 2020-11-17 Lockheed Martin Corporation Display assemblies with electronically emulated transparency
US11616941B2 (en) 2018-02-07 2023-03-28 Lockheed Martin Corporation Direct camera-to-display system
US10594951B2 (en) 2018-02-07 2020-03-17 Lockheed Martin Corporation Distributed multi-aperture camera array
US10951883B2 (en) 2018-02-07 2021-03-16 Lockheed Martin Corporation Distributed multi-screen array for high density display
EP3750028B1 (en) 2018-02-09 2022-10-19 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
WO2019154511A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
US20190253700A1 (en) * 2018-02-15 2019-08-15 Tobii Ab Systems and methods for calibrating image sensors in wearable apparatuses
US20190265787A1 (en) * 2018-02-26 2019-08-29 Tobii Ab Real world interaction utilizing gaze
US10699663B2 (en) 2018-02-27 2020-06-30 Tobii Ab Providing an image with a scaler chip in direct communication with an eye tracking device
US10747312B2 (en) * 2018-03-14 2020-08-18 Apple Inc. Image enhancement devices with gaze tracking
CN110324601A (zh) * 2018-03-27 2019-10-11 京东方科技集团股份有限公司 渲染方法、计算机产品及显示装置
WO2020201806A1 (en) * 2018-04-25 2020-10-08 Dhanushan Balachandreswaran Foveated projection system to produce ocular resolution near-eye displays
US10721510B2 (en) 2018-05-17 2020-07-21 At&T Intellectual Property I, L.P. Directing user focus in 360 video consumption
US10942564B2 (en) * 2018-05-17 2021-03-09 Sony Interactive Entertainment Inc. Dynamic graphics rendering based on predicted saccade landing point
US10482653B1 (en) 2018-05-22 2019-11-19 At&T Intellectual Property I, L.P. System for active-focus prediction in 360 video
US11250819B2 (en) 2018-05-24 2022-02-15 Lockheed Martin Corporation Foveated imaging system
US10827225B2 (en) 2018-06-01 2020-11-03 AT&T Intellectual Propety I, L.P. Navigation for 360-degree video streaming
WO2020016969A1 (ja) * 2018-07-18 2020-01-23 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム
JP7181293B2 (ja) * 2018-07-18 2022-11-30 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム
US10838132B1 (en) 2018-08-21 2020-11-17 Facebook Technologies, Llc Diffractive gratings for eye-tracking illumination through a light-guide
US11347056B2 (en) * 2018-08-22 2022-05-31 Microsoft Technology Licensing, Llc Foveated color correction to improve color uniformity of head-mounted displays
US10719127B1 (en) * 2018-08-29 2020-07-21 Rockwell Collins, Inc. Extended life display by utilizing eye tracking
GB2567553B (en) * 2018-09-06 2021-04-07 Sony Interactive Entertainment Inc Foveated rendering system and method
CN112639687A (zh) * 2018-09-17 2021-04-09 脸谱科技有限责任公司 使用反向偏置发光二极管器件的眼睛跟踪
EP3670162A1 (en) 2018-12-20 2020-06-24 Interglass Technology AG Method for mounting functional elements in a lens and device therefor
KR20210086613A (ko) 2018-09-25 2021-07-08 메타머티리얼 아이앤씨. 렌즈에 복수의 기능적 소자를 실장하는 방법
CN111127537A (zh) * 2018-10-29 2020-05-08 托比股份公司 用于检测头戴式装置中的阴影的方法和装置
CN111124103A (zh) * 2018-10-31 2020-05-08 托比股份公司 检测头戴式装置的重新定位
US10725302B1 (en) 2018-11-02 2020-07-28 Facebook Technologies, Llc Stereo imaging with Fresnel facets and Fresnel reflections
US10852817B1 (en) 2018-11-02 2020-12-01 Facebook Technologies, Llc Eye tracking combiner having multiple perspectives
CN109410285B (zh) 2018-11-06 2021-06-08 北京七鑫易维信息技术有限公司 一种校准方法、装置、终端设备及存储介质
ES2945789T3 (es) * 2018-11-15 2023-07-07 Tobii Ab Método y dispositivo para calibrar un oculómetro
US11353952B2 (en) 2018-11-26 2022-06-07 Tobii Ab Controlling illuminators for optimal glints
US10866413B2 (en) 2018-12-03 2020-12-15 Lockheed Martin Corporation Eccentric incident luminance pupil tracking
AT522012A1 (de) * 2018-12-19 2020-07-15 Viewpointsystem Gmbh Verfahren zur Anpassung eines optischen Systems an einen individuellen Benutzer
US11537202B2 (en) 2019-01-16 2022-12-27 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
SE542964C2 (en) * 2019-01-31 2020-09-22 Tobii Ab Lens for eye-tracking comprising an electrical component and a head-worn device with such a lens
SE543066C2 (en) * 2019-01-31 2020-09-29 Tobii Ab Head-worn device and lens for eye-tracking applications that includes an absorptive layer
CN109963143A (zh) * 2019-02-01 2019-07-02 谷东科技有限公司 一种ar眼镜的图像获取方法及系统
SE543121C2 (en) * 2019-02-04 2020-10-13 Tobii Ab Method and system for determining a current gaze direction
CN111142637B (zh) * 2019-02-27 2021-06-01 广东小天才科技有限公司 一种可穿戴设备的散热方法及可穿戴设备
US10867538B1 (en) * 2019-03-05 2020-12-15 Facebook Technologies, Llc Systems and methods for transferring an image to an array of emissive sub pixels
US10698201B1 (en) 2019-04-02 2020-06-30 Lockheed Martin Corporation Plenoptic cellular axis redirection
US11366321B1 (en) 2019-04-23 2022-06-21 Apple Inc. Predictive dimming of optical passthrough displays
CN110070624B (zh) * 2019-04-26 2020-05-08 厦门大学 一种基于vr结合眼动跟踪的城市风貌特征识别的方法
US11435820B1 (en) * 2019-05-16 2022-09-06 Facebook Technologies, Llc Gaze detection pipeline in an artificial reality system
EP3979896A1 (en) 2019-06-05 2022-04-13 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
US11516374B2 (en) 2019-06-05 2022-11-29 Synaptics Incorporated Under-display image sensor
CN112114657B (zh) * 2019-06-21 2023-10-17 北京七鑫易维科技有限公司 一种注视点信息采集方法及系统
CN110554355A (zh) * 2019-08-01 2019-12-10 航天科工防御技术研究试验中心 一种目标定位系统及方法
CN110426845B (zh) * 2019-08-09 2021-03-23 业成科技（成都）有限公司 眼球追踪架构
CN110458104B (zh) * 2019-08-12 2021-12-07 广州小鹏汽车科技有限公司 人眼视线检测系统的人眼视线方向确定方法和系统
US11153513B2 (en) 2019-08-19 2021-10-19 Synaptics Incorporated Light source for camera
CN110488494B (zh) * 2019-08-30 2023-08-15 京东方科技集团股份有限公司 一种近眼显示装置、增强现实设备以及虚拟现实设备
CN110677927A (zh) * 2019-09-24 2020-01-10 北京地平线机器人技术研发有限公司 可穿戴设备自动连接的方法和装置、存储介质、电子设备
US11216065B2 (en) * 2019-09-26 2022-01-04 Lenovo (Singapore) Pte. Ltd. Input control display based on eye gaze
US11410331B2 (en) * 2019-10-03 2022-08-09 Facebook Technologies, Llc Systems and methods for video communication using a virtual camera
TWI761930B (zh) * 2019-11-07 2022-04-21 宏達國際電子股份有限公司 頭戴式顯示裝置以及距離量測器
CN111128068B (zh) * 2019-11-28 2022-10-21 武汉天马微电子有限公司 一种显示装置和显示面板的驱动显示方法
US11076080B2 (en) * 2019-12-05 2021-07-27 Synaptics Incorporated Under-display image sensor for eye tracking
TWI711841B (zh) * 2019-12-10 2020-12-01 廣達電腦股份有限公司 消除圈紋效應的方法及裝置
US11301040B2 (en) * 2019-12-19 2022-04-12 Google Llc Direct manipulation of display device using wearable computing device
US20210275015A1 (en) * 2019-12-22 2021-09-09 Dovi Yellin Enhanced oculomotor testing device and method using an add-on structure for a mobile device
CN111309144B (zh) * 2020-01-20 2022-02-01 北京津发科技股份有限公司 三维空间内注视行为的识别方法、装置及存储介质
US11244660B2 (en) 2020-03-13 2022-02-08 Apple Inc. Recovery from eye-tracking loss in foveated displays
US20210365533A1 (en) * 2020-05-20 2021-11-25 Facebook Technologies, Llc Systems and methods for authenticating a user of a head-mounted display
JP2023539962A (ja) 2020-08-14 2023-09-21 ヒーズ アイピー ホールディングス エルエルシー リアルタイム画像上に仮想画像を重ね合わせるためのシステムおよび方法
WO2022051688A1 (en) 2020-09-03 2022-03-10 Hes Ip Holdings, Llc Systems and methods for improving binocular vision
US11232594B1 (en) * 2020-10-23 2022-01-25 Tobii Ab Iterative point indexing
CN114523886B (zh) * 2020-10-30 2023-03-24 上海汽车集团股份有限公司 一种车内交互控制方法及系统
CN112528107A (zh) * 2020-12-07 2021-03-19 支付宝(杭州)信息技术有限公司 内容数据的展示方法、装置和服务器
SE2051433A1 (en) 2020-12-08 2022-06-09 Tobii Ab Method and system for glint classification
CN114690403A (zh) * 2020-12-28 2022-07-01 财团法人工业技术研究院 头戴式眼动追踪系统
KR102483010B1 (ko) * 2021-01-29 2022-12-30 원텍 주식회사 안구미세운동 측정장치
DE102021202704A1 (de) 2021-03-19 2022-09-22 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Bestimmen eines Blickzuwendungsbereichs einer Person und Fahrzeug
CN113177434A (zh) * 2021-03-30 2021-07-27 青岛小鸟看看科技有限公司 基于单眼球追踪的虚拟现实系统注视渲染方法、系统
US11503998B1 (en) 2021-05-05 2022-11-22 Innodem Neurosciences Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases
WO2022246740A1 (zh) * 2021-05-27 2022-12-01 京东方科技集团股份有限公司 显示装置、可穿戴显示设备及注视点的位置的确定方法
CN113325953B (zh) * 2021-05-27 2024-02-02 京东方科技集团股份有限公司 显示设备及注视点的定位方法
US20230168736A1 (en) * 2021-11-29 2023-06-01 Sony Interactive Entertainment LLC Input prediction for pre-loading of rendering data
EP4209865A1 (en) * 2022-01-05 2023-07-12 IDUN Technologies AG Apparatus and method for determining an intent of a user
WO2023163799A1 (en) * 2022-02-23 2023-08-31 Qualcomm Incorporated Foveated sensing
US11806078B1 (en) 2022-05-01 2023-11-07 Globe Biomedical, Inc. Tear meniscus detection and evaluation system

Family Cites Families (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2126142A1 (en) * 1994-06-17 1995-12-18 David Alexander Kahn Visual communications apparatus
US6351273B1 (en) 1997-04-30 2002-02-26 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US20040108971A1 (en) 1998-04-09 2004-06-10 Digilens, Inc. Method of and apparatus for viewing an image
US6433760B1 (en) * 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
US7752535B2 (en) 1999-06-01 2010-07-06 Yodlec.com, Inc. Categorization of summarized information
US6424410B1 (en) 1999-08-27 2002-07-23 Maui Innovative Peripherals, Inc. 3D navigation system using complementary head-mounted and stationary infrared beam detection units
US6675001B2 (en) * 2000-02-08 2004-01-06 Rosetta Laboratories Pty Ltd. Two-dimensional tuning system for computer-controlled radio equipment
US6522474B2 (en) * 2001-06-11 2003-02-18 Eastman Kodak Company Head-mounted optical apparatus for stereoscopic display
FR2828396B1 (fr) * 2001-08-12 2004-05-07 Samuel Henri Bucourt Dispositif de mesure des aberrations d'un systeme de type oeil
US7380938B2 (en) 2003-03-25 2008-06-03 Sarnoff Corporation Apparatus to detect and measure saccade and pupilary changes
US7164423B1 (en) * 2003-04-30 2007-01-16 Apple Computer, Inc. Method and apparatus for providing an animated representation of a reorder operation
US9274598B2 (en) 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
JP4684561B2 (ja) * 2004-02-13 2011-05-18 凸版印刷株式会社 半導体メモリ
US8386928B1 (en) * 2004-03-18 2013-02-26 Adobe Systems Incorporated Method and system for automatically captioning actions in a recorded electronic demonstration
MXPA06011168A (es) * 2004-04-01 2007-04-16 William C Torch Biosensores, comunicadores, y controladores que verifican el movimiento del ojo y metodos para utilizarlos.
KR100704622B1 (ko) * 2004-09-24 2007-04-10 삼성전자주식회사 멀티스트리밍 오디오 제어를 위한 사용자 인터페이스제공방법 및 장치
US7952535B2 (en) * 2005-02-20 2011-05-31 Mediatek Singapore Pte Ltd Electronic visual jockey file
GB0508045D0 (en) * 2005-04-21 2005-05-25 Univ Newcastle Apparatus and method for monitoring the position of an object
US8120577B2 (en) * 2005-10-28 2012-02-21 Tobii Technology Ab Eye tracker with visual feedback
CN101326546B (zh) * 2005-12-27 2011-10-12 松下电器产业株式会社 图像处理装置
US8793620B2 (en) 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
JP5072553B2 (ja) * 2007-11-29 2012-11-14 浜松ホトニクス株式会社 眼球運動計測装置
JP5363043B2 (ja) 2008-07-11 2013-12-11 浜松ホトニクス株式会社 眼球運動計測装置
WO2010015962A1 (en) * 2008-08-07 2010-02-11 Koninklijke Philips Electronics N. V. Method of and system for determining a head-motion/gaze relationship for a user, and an interactive display system
WO2010062479A1 (en) * 2008-11-02 2010-06-03 David Chaum System and apparatus for eyeglass appliance platform
JP2010146661A (ja) * 2008-12-19 2010-07-01 Sony Ericsson Mobilecommunications Japan Inc 端末装置及びコンテンツデータ処理方法
US8398239B2 (en) 2009-03-02 2013-03-19 Honeywell International Inc. Wearable eye tracking system
EP2238889B1 (en) 2009-04-01 2011-10-12 Tobii Technology AB Adaptive camera and illuminator eyetracker
US8912023B2 (en) 2009-04-08 2014-12-16 Ledengin, Inc. Method and system for forming LED light emitters
DE102009002354B4 (de) 2009-04-14 2017-09-21 Zf Friedrichshafen Ag Doppelkupplungsgetriebe
US9071834B2 (en) * 2009-04-25 2015-06-30 James Yett Array of individually angled mirrors reflecting disparate color sources toward one or more viewing positions to construct images and visual effects
CN101901610B (zh) * 2009-05-25 2012-08-29 鸿富锦精密工业（深圳）有限公司 互动式影像调整系统及方法
US8320623B2 (en) * 2009-06-17 2012-11-27 Lc Technologies, Inc. Systems and methods for 3-D target location
EP3338621B1 (en) * 2009-07-16 2019-08-07 Tobii AB Eye detection unit using parallel data flow
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
KR101743948B1 (ko) * 2010-04-07 2017-06-21 삼성전자주식회사 인터렉티브 디스플레이에서 근접 센싱을 위한 방법 및 근접 센싱 이미지를 처리하는 방법
US10031576B2 (en) 2010-06-09 2018-07-24 Dynavox Systems Llc Speech generation device with a head mounted display unit
US9285840B2 (en) * 2010-08-19 2016-03-15 Michael S. Stamer Detachable sensory-interface device for a wireless personal communication device and method
US20120188148A1 (en) 2011-01-24 2012-07-26 Microvision, Inc. Head Mounted Meta-Display System
US9248309B2 (en) 2011-02-04 2016-02-02 Johnson & Johnson Vision Care, Inc. Light therapy system including spectacle frames and contact lenses
JP5261520B2 (ja) * 2011-03-08 2013-08-14 株式会社コナミデジタルエンタテインメント ゲームシステム及び、それに用いる制御方法
US8570372B2 (en) * 2011-04-29 2013-10-29 Austin Russell Three-dimensional imager and projection device
CN102841725A (zh) * 2011-06-21 2012-12-26 鸿富锦精密工业（深圳）有限公司 电子装置及其屏幕信息调整方法
US9069164B2 (en) 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
US8228315B1 (en) 2011-07-12 2012-07-24 Google Inc. Methods and systems for a virtual input device
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US9025252B2 (en) 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
WO2013033842A1 (en) * 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
CN103018903A (zh) * 2011-09-23 2013-04-03 奇想创造事业股份有限公司 具有显示方位锁定装置的头戴式显示器及其显示方法
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US8752963B2 (en) * 2011-11-04 2014-06-17 Microsoft Corporation See-through display brightness control
US8971570B1 (en) * 2011-11-04 2015-03-03 Google Inc. Dual LED usage for glint detection
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US10025381B2 (en) * 2012-01-04 2018-07-17 Tobii Ab System for gaze interaction
US10394320B2 (en) * 2012-01-04 2019-08-27 Tobii Ab System for gaze interaction
US20150097772A1 (en) * 2012-01-06 2015-04-09 Thad Eugene Starner Gaze Signal Based on Physical Characteristics of the Eye
KR101919010B1 (ko) * 2012-03-08 2018-11-16 삼성전자주식회사 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
US8643951B1 (en) * 2012-03-15 2014-02-04 Google Inc. Graphical menu and interaction therewith through a viewing window
FR2989482B1 (fr) * 2012-04-12 2022-12-23 Marc Massonneau Procede de determination de la direction du regard d'un utilisateur.
US9471763B2 (en) * 2012-05-04 2016-10-18 Sony Interactive Entertainment America Llc User input processing with eye tracking
US9952663B2 (en) * 2012-05-10 2018-04-24 Umoove Services Ltd. Method for gesture-based operation control
JP5689850B2 (ja) 2012-05-25 2015-03-25 株式会社ソニー・コンピュータエンタテインメント 映像解析装置、映像解析方法、および注視点表示システム
US9041622B2 (en) 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
CN103543822A (zh) * 2012-07-11 2014-01-29 罗震威 一种利用面部识别来控制屏幕文字及图像显示方向的方法
CN102830797B (zh) * 2012-07-26 2015-11-25 深圳先进技术研究院 一种基于视线判断的人机交互方法及系统
FI125445B (fi) * 2012-09-12 2015-10-15 Trividi Oy Katseenohjausjärjestely
US9310611B2 (en) * 2012-09-18 2016-04-12 Qualcomm Incorporated Methods and systems for making the use of head-mounted displays less obvious to non-users
CN104823079B (zh) * 2012-11-30 2018-02-13 埃西勒国际通用光学公司 菲涅尔透镜及光学器件
US9039180B2 (en) 2012-12-11 2015-05-26 Elwah LLC Self-aligning unobtrusive active eye interrogation
US20140247232A1 (en) 2013-03-01 2014-09-04 Tobii Technology Ab Two step gaze interaction
US9898081B2 (en) * 2013-03-04 2018-02-20 Tobii Ab Gaze and saccade based graphical manipulation
US9665171B1 (en) * 2013-03-04 2017-05-30 Tobii Ab Gaze and saccade based graphical manipulation
EP2790126B1 (en) 2013-04-08 2016-06-01 Cogisen SRL Method for gaze tracking
US9367136B2 (en) 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
KR101780138B1 (ko) * 2013-05-08 2017-09-19 후지쯔 가부시끼가이샤 입력 장치 및 기억 매체
US9737209B2 (en) 2013-05-15 2017-08-22 The Johns Hopkins University Eye tracking and gaze fixation detection systems, components and methods using polarized light
JP6048673B2 (ja) * 2013-05-22 2016-12-21 パナソニックＩｐマネジメント株式会社 多焦点レンズを有するビューア、および、ビューアの焦点距離変更方法
US9965062B2 (en) * 2013-06-06 2018-05-08 Microsoft Technology Licensing, Llc Visual enhancements based on eye tracking
US9630098B2 (en) * 2013-06-09 2017-04-25 Sony Interactive Entertainment Inc. Head mounted display
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9443355B2 (en) 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
CN103359642B (zh) * 2013-07-29 2015-06-24 中联重科股份有限公司 一种塔机作业监控系统、方法和塔机
EP3031388B1 (en) * 2013-08-08 2020-01-15 Panasonic Intellectual Property Management Co., Ltd. Visual field-calculating unit and visual field-calculating method
DE102013013698A1 (de) * 2013-08-16 2015-02-19 Audi Ag Verfahren zum Betreiben einer elektronischen Datenbrille und elektronische Datenbrille
JP6366240B2 (ja) * 2013-08-21 2018-08-01 株式会社Ｗｈｅｒｅ 頭部装着型画像表示装置、検出方法、検出プログラム、および、画像表示システム
CN108209857B (zh) 2013-09-03 2020-09-11 托比股份公司 便携式眼睛追踪设备
KR20150041453A (ko) * 2013-10-08 2015-04-16 엘지전자 주식회사 안경형 영상표시장치 및 그것의 제어방법
CN103530799B (zh) * 2013-10-22 2017-07-11 惠州Tcl移动通信有限公司 根据3d图库实现掌上看房的浏览方法及3d看房系统
CN104814712A (zh) * 2013-11-07 2015-08-05 南京三维视嘉科技发展有限公司 三维内窥镜及三维成像方法
US9383816B2 (en) * 2013-11-15 2016-07-05 Kopin Corporation Text selection using HMD head-tracker and voice-command
US10558262B2 (en) * 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
US20150138244A1 (en) * 2013-11-18 2015-05-21 Tobii Technology Ab Component determination and gaze provoked interaction
JP2015099574A (ja) * 2013-11-20 2015-05-28 株式会社東芝 認識装置、認識方法、認識プログラム及び端末装置
CN103713737B (zh) * 2013-12-12 2017-01-11 中国科学院深圳先进技术研究院 用于智能眼镜的虚拟键盘系统
US9244539B2 (en) 2014-01-07 2016-01-26 Microsoft Technology Licensing, Llc Target positioning with gaze tracking
US9201578B2 (en) * 2014-01-23 2015-12-01 Microsoft Technology Licensing, Llc Gaze swipe selection
US9552060B2 (en) * 2014-01-28 2017-01-24 Microsoft Technology Licensing, Llc Radial selection by vestibulo-ocular reflex fixation
US20150219899A1 (en) 2014-01-31 2015-08-06 Corey Mack Augmented Reality Eyewear and Methods for Using Same
CN103886307B (zh) * 2014-04-15 2017-07-07 王东强 一种视线跟踪及疲劳预警方法
US20150331240A1 (en) 2014-05-15 2015-11-19 Adam G. Poulos Assisted Viewing Of Web-Based Resources
US9490119B2 (en) 2014-05-21 2016-11-08 Palo Alto Research Center Incorporated Fabrication of thin-film devices using selective area epitaxy
US10409361B2 (en) 2014-06-03 2019-09-10 Otoy, Inc. Generating and providing immersive experiences to users isolated from external stimuli
CN104133550B (zh) * 2014-06-27 2017-05-24 联想(北京)有限公司 一种信息处理方法及电子设备
US9489044B2 (en) * 2014-11-07 2016-11-08 Eye Labs, LLC Visual stabilization system for head-mounted displays
CN204291252U (zh) * 2014-11-14 2015-04-22 西安中科微光医疗技术有限公司 一种基于虚拟现实头盔的全景地图显示系统
CN104407700A (zh) * 2014-11-27 2015-03-11 曦煌科技(北京)有限公司 一种移动头戴式虚拟现实和增强现实的设备
CN104581126A (zh) * 2014-12-16 2015-04-29 青岛歌尔声学科技有限公司 一种头戴显示设备的画面显示处理方法和处理装置
US9778814B2 (en) 2014-12-19 2017-10-03 Microsoft Technology Licensing, Llc Assisted object placement in a three-dimensional visualization system
US20160191576A1 (en) 2014-12-31 2016-06-30 Smart Technologies Ulc Method for conducting a collaborative event and system employing same
CN204408543U (zh) * 2015-02-06 2015-06-17 武汉也琪工业设计有限公司 一种3d实景的虚拟现实模拟显示设备
GB2536025B (en) * 2015-03-05 2021-03-03 Nokia Technologies Oy Video streaming method
US10156908B2 (en) * 2015-04-15 2018-12-18 Sony Interactive Entertainment Inc. Pinch and hold gesture navigation on a head-mounted display
US9857871B2 (en) * 2015-09-04 2018-01-02 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
KR102121134B1 (ko) 2015-09-24 2020-06-09 토비 에이비 눈 추적 가능한 웨어러블 디바이스들
US10565446B2 (en) 2015-09-24 2020-02-18 Tobii Ab Eye-tracking enabled wearable devices
US9726896B2 (en) * 2016-04-21 2017-08-08 Maximilian Ralph Peter von und zu Liechtenstein Virtual monitor display technique for augmented reality environments
CN106547352A (zh) * 2016-10-18 2017-03-29 小派科技（上海）有限责任公司 一种虚拟现实画面的显示方法、头戴显示设备及其系统
US10692287B2 (en) * 2017-04-17 2020-06-23 Microsoft Technology Licensing, Llc Multi-step placement of virtual objects
WO2019084325A1 (en) * 2017-10-27 2019-05-02 Magic Leap, Inc. VIRTUAL RETICLE FOR INCREASED REALITY SYSTEMS
DK201870347A1 (en) * 2018-01-24 2019-10-08 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models

Also Published As

Publication number Publication date
EP3353633A1 (en) 2018-08-01
US11073908B2 (en) 2021-07-27
US10635169B2 (en) 2020-04-28
US20190050644A1 (en) 2019-02-14
US9958941B2 (en) 2018-05-01
CN108700932A (zh) 2018-10-23
US20170090563A1 (en) 2017-03-30
US20200192475A1 (en) 2020-06-18
US9977960B2 (en) 2018-05-22
WO2017053972A1 (en) 2017-03-30
CN108604116A (zh) 2018-09-28
EP3353630A1 (en) 2018-08-01
WO2017053974A1 (en) 2017-03-30
EP3353631A1 (en) 2018-08-01
KR20180057668A (ko) 2018-05-30
CN108700933B (zh) 2021-11-30
EP3353632A1 (en) 2018-08-01
CN108700934B (zh) 2022-07-26
WO2017053966A1 (en) 2017-03-30
US9830513B2 (en) 2017-11-28
EP3353630B1 (en) 2021-05-26
US20220147141A1 (en) 2022-05-12
WO2017053971A1 (en) 2017-03-30
CN108700933A (zh) 2018-10-23
US20180225511A1 (en) 2018-08-09
KR102121134B1 (ko) 2020-06-09
US20170090564A1 (en) 2017-03-30
KR20180057693A (ko) 2018-05-30
CN114020156A (zh) 2022-02-08
US20170091549A1 (en) 2017-03-30
CN108700934A (zh) 2018-10-23
US10216994B2 (en) 2019-02-26
US20180307905A1 (en) 2018-10-25
ES2929891T3 (es) 2022-12-02
EP3353632B1 (en) 2022-10-05
CN115167723A (zh) 2022-10-11
KR20180057669A (ko) 2018-05-30
US10380419B2 (en) 2019-08-13
CN114035685A (zh) 2022-02-11
US10607075B2 (en) 2020-03-31
ES2882158T3 (es) 2021-12-01
US10467470B2 (en) 2019-11-05
US20170090562A1 (en) 2017-03-30
US20180349698A1 (en) 2018-12-06
CN108700932B (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
US11073908B2 (en) Eye-tracking enabled wearable devices
US10565446B2 (en) Eye-tracking enabled wearable devices
EP3449337B1 (en) Eye-tracking enabled wearable devices
WO2019018365A1 (en) CLOTHING DEVICES FOR EYE FOLLOW-UP

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application