KR101850586B1 - 향상된 안구 추적을 위한 장면 분석 - Google Patents

향상된 안구 추적을 위한 장면 분석 Download PDF

Info

Publication number
KR101850586B1
KR101850586B1 KR1020150113317A KR20150113317A KR101850586B1 KR 101850586 B1 KR101850586 B1 KR 101850586B1 KR 1020150113317 A KR1020150113317 A KR 1020150113317A KR 20150113317 A KR20150113317 A KR 20150113317A KR 101850586 B1 KR101850586 B1 KR 101850586B1
Authority
KR
South Korea
Prior art keywords
gaze
target
scene information
eye
potential
Prior art date
Application number
KR1020150113317A
Other languages
English (en)
Other versions
KR20160020369A (ko
Inventor
에제키엘 크루그릭
Original Assignee
엠파이어 테크놀로지 디벨롭먼트 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 filed Critical 엠파이어 테크놀로지 디벨롭먼트 엘엘씨
Publication of KR20160020369A publication Critical patent/KR20160020369A/ko
Application granted granted Critical
Publication of KR101850586B1 publication Critical patent/KR101850586B1/ko

Links

Images

Classifications

    • G06K9/00604—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

향상된 안구 추적을 위한 장면 분석에 관한 기술들이 일반적으로 설명된다. 일부 예들에서, 검출된 시선 타겟들은 안구-대향 센서로부터의 시선 방향 정보로부터 도출될 수도 있다. 검출된 시선 타겟 포지션들 및/또는 모션은 안구에 의해 보이는 장면으로부터 디지털 장면 정보를 캡처 및 분석함으로써 향상될 수도 있다. 디지털 카메라에 의해 캡처된 디지털 장면 정보는 잠재적인 시선 타겟들, 이를 테면 정지된 시선 타겟들, 이동하는 시선 타겟들, 및/또는 가속하는 시선 타겟들을 식별하기 위해 분석될 수도 있다. 검출된 시선 타겟들은 선택된 시선 타겟들의 포지션들로 변경될 수도 있다.

Description

향상된 안구 추적을 위한 장면 분석{SCENE ANALYSIS FOR IMPROVED EYE TRACKING}
본 명세서에 달리 표시되지 않는 한, 이 섹션에서 설명된 자료들은 본 출원에서의 청구항들에 대한 선행 기술이 아니며, 이 섹션에의 포함에 의해 선행 기술이 되는 것으로 인정되지 않는다.
안구 추적 시스템들은 눈 (human eye) 의 모션들을 추적할 수 있는 소형 카메라들을 포함할 수도 있다. 안구 추적은 다양한 유용하고 흥미로운 애플리케이션들을 갖는다. 예를 들어, 안구 추적은 증강 현실 (Augmented Reality; AR) 애플리케이션들은 물론 다양한 의학적 및 산업적 애플리케이션들에서 효율적으로 사용될 수 있다. 안구 추적은 또한, 예를 들어, 디바이스 사용자의 시선 (gaze) 이 선택 포인터를 제어하는 것을 허용하는 것과 같은 다양한 잠재적인 사용자 인터페이스 (User Interface; UI) 애플리케이션들을 갖는다. 디바이스 사용자는 파일과 같은 가상 오브젝트를 응시하고, 버튼을 누르고, 그 후 그 오브젝트를 위한 목적지 위치를 응시하고, 오브젝트를 이동시키기 위해 버튼을 해제할 수도 있다. 안구 추적은 또한 사용자 관심 및 사용자 활동 정보를 수집하는, 예를 들어 사용자들이 광고를 보았는지 여부를 이해하는 기회들을 제시한다. 안구 추적을 위한 이들 및 다른 이용들은 많은 흥미로운 가능성들을 제시한다. 그러나, 안구 추적 기술들은 비교적 초기 단계의 개발에 머물러 있고, 안구 추적이 발달함에 따라 다룰 많은 도전과제들이 존재한다.
본 개시물은 일반적으로 향상된 안구 추적을 위한 장면 분석에 관한 디바이스들, 방법들, 및 컴퓨터 판독가능 매체들을 포함하는 기술들을 설명한다. 컴퓨팅 디바이스에 의해 수행되는 일부 예시적인 안구 추적 방법들은, 안구-대향 (eye-facing) 센서로부터 안구 시선 방향 정보를 수신하는 것; 디지털 카메라로부터 디지털 장면 정보를 수신하는 것으로서, 디지털 카메라는 안구에 의해 보이는 장면으로부터 디지털 장면 정보를 캡처하도록 배향될 수도 있는, 상기 디지털 장면 정보를 수신하는 것; 시선 방향 정보에 기초하여, 디지털 장면 정보 내의 검출된 시선 타겟을 결정하는 것; 디지털 장면 정보 내에서, 잠재적인 시선 타겟들을 식별하기 위해 디지털 장면 정보를 분석하는 것으로서, 잠재적인 시선 타겟들은 예를 들어, 정지된 시선 타겟들, 이동하는 시선 타겟들, 및/또는 가속하는 시선 타겟들을 포함할 수도 있는, 상기 디지털 장면 정보를 분석하는 것; 잠재적인 시선 타겟을 선택하는 것; 및/또는 검출된 시선 타겟을 선택된 시선 타겟의 포지션으로 변경하는 것을 포함할 수도 있다.
본 명세서에서 설명된 다양한 기술들을 구현하는 명령들을 갖는 컴퓨팅 디바이스들 및 컴퓨터 판독가능 매체들이 또한 개시된다. 예시적인 컴퓨터 판독가능 매체들은 프로세서에 의해 실행가능한 컴퓨터 실행가능 명령들을 갖는 비일시적인 컴퓨터 판독가능 저장 매체들을 포함할 수도 있으며, 그 명령들은 프로세서에 의해 실행될 때, 프로세서로 하여금, 본 명세서에서 제공된 다양한 방법들의 임의의 조합을 수행하게 한다. 예시적인 컴퓨팅 디바이스들은 예를 들어, 디지털 카메라, 안구-대향 센서, 및 본 명세서에서 제공된 다양한 방법들의 임의의 조합을 수행하도록 구성된 안구 추적 정확도 인핸서 (eye tracking accuracy enhancer) 를 갖춘 컴퓨팅 디바이스를 포함하는 헤드 장착 디바이스들을 포함할 수도 있다.
전술한 개요는 예시적일 뿐이며 어떤 방식으로든 한정하는 것으로 의도되지 않는다. 상기 설명된 예시적인 양태들, 실시형태들, 및 특징들에 추가하여, 추가 양태들, 실시형태들, 및 특징들이 도면들 및 다음의 상세한 설명을 참조하여 명백해질 것이다.
본 개시물의 전술한 및 다른 특징들은 첨부 도면들과 함께 취해진 다음의 설명 및 첨부된 청구항들로부터 보다 완전히 명백해질 것이다. 이들 도면들이 본 개시물에 따라 단지 몇몇 실시형태들만을 묘사하고, 따라서 그 범위를 한정하는 것으로 간주되지 않는다는 이해 하에, 본 개시물은 첨부 도면들의 이용을 통하여 추가적인 구체화 및 상세로 설명될 것이며, 여기서, 모두가 본 개시물의 적어도 일부 실시형태들에 따라 배열되는, :
도 1 은 사용자가 착용하고 있는 예시적인 헤드 장착 디바이스를 예시하는 다이어그램;
도 2 는 잠재적인 시선 타겟들, 검출된 시선 타겟, 및 그의 모션을 포함하는 장면을 예시하는 다이어그램;
도 3 은 헤드 장착 디바이스 내에 통합된 컴퓨터의 하나의 예로서의 컴퓨팅 디바이스의 블록 다이어그램;
도 4 는 예시적인 안구 추적 방법을 예시하는 플로우 다이어그램;
도 5 는 예시적인 안구 추적 정확도 인핸서를 예시하는 블록 다이어그램;
도 6 은 잠재적인 시선 타겟들, 검출된 시선 타겟, 선택된 시선 타겟, 및 선택된 시선 타겟에 대한 AR 정보를 포함하는 장면을 예시하는 다이어그램;
도 7 은 잠재적인 시선 타겟들, 검출된 시선 타겟, 및 선택된 시선 타겟을 포함하는 장면을 예시하는 다이어그램이며, 여기서 선택된 시선 타겟은 적어도 하나의 컴퓨팅 디바이스 기능을 제어하기 위한 사용자 입력으로서 적용될 수도 있다.
다음의 상세한 설명에서는, 그 일부를 형성하는 첨부 도면들을 참조하게 된다. 도면들에서, 문맥상 달리 기술하지 않는 한, 유사한 심볼들은 통상 유사한 컴포넌트들을 식별한다. 상세한 설명, 도면들, 및 청구항들에서 설명된 예시적인 실시형태들은 한정하는 것으로 의미되지 않는다. 여기에 제시된 요지의 사상 또는 범위로부터 벗어남 없이 다른 실시형태들이 활용될 수도 있고 다른 변화들이 이루어질 수도 있다. 본 개시물의 양태들은 일반적으로 본 명세서에서 설명되고 도면들에서 예시된 바와 같이, 모두가 명시적으로 고려되고 본 개시물의 일부가 되는 매우 다양한 상이한 구성들로 배열, 대체, 조합, 및 설계될 수도 있다는 것이 쉽게 이해될 것이다.
본 개시물은 일반적으로는, 그 중에서도 향상된 안구 추적을 위한 장면 분석에 관한 본 명세서에서 효율적으로 사용되는 방법들, 디바이스들, 시스템들 및/또는 컴퓨터 판독가능 매체들을 포함하는 기술들에 관심을 갖는다. 일부 예들에서, 시선 타겟들은 안구-대향 (eye-facing) 센서로부터의 시선 방향 정보로부터 도출될 수도 있다. 시선 타겟 포지션들 및/또는 모션은 안구에 의해 보이는 장면으로부터 디지털 장면 정보를 캡처 및 분석함으로써 향상될 수도 있다. 디지털 카메라에 의해 캡처된 디지털 장면 정보가 일 예로, 정지된 시선 타겟들, 이동하는 시선 타겟들, 및/또는 가속하는 시선 타겟들과 같은 잠재적인 시선 타겟들을 식별하기 위해 분석될 수도 있다. 검출된 시선 타겟들은 본 명세서에서 "선택된 시선 타겟들" 로도 지칭되는, 선택된 잠재적인 시선 타겟들의 포지션들을 포함하도록 변경될 수도 있다.
일부 실시형태들에서, 본 명세서에서 설명된 기술들은 일 예로, GOOGLE GLASS® 타입 디바이스들과 같은 헤드 장착 디바이스들에 통합될 수도 있다. 이러한 디바이스들은 예를 들어, 투명 렌즈를 제공할 수도 있으며, 그 투명 렌즈를 통하여 사용자는 물리적 세계 (physical world) 를 뷰잉할 수도 있다. 디바이스들은 더욱이 렌즈 상에 디지털 오브젝트들 및 정보를 디스플레이할 수도 있다. 디바이스들은 사용자들, 이를 테면 헤드 장착 디바이스들의 착용자들이 디스플레이될 디지털 오브젝트들 및 정보를 선택할 뿐만 아니라 그 오브젝트들 및 정보와 상호작용하는 것을 허용할 수도 있다. 디바이스들은 옵션으로는 예를 들어 인터넷에 무선 연결함으로써 컴퓨터 네트워크들에 연결할 수도 있다. 디바이스들은 또한 통합형 디지털 카메라들을 포함할 수도 있고, 디바이스들은 사용자들이 렌즈를 통하여 뷰잉한 바와 같은 장면들의 디지털 사진들 및 비디오를 캡처하는 것을 허용할 수도 있다. 예시적인 디바이스들에 포함될 수도 있는 바와 같은 이들 및 다른 특징들에 추가하여, 디바이스들이 안구-대향 센서들을 통합할 수도 있고 본 명세서에서 설명된 것들과 같은 안구 추적 방법들을 수행하기 위해 준비되어져 있을 수도 있다.
안구-대향 센서들은 고가의 정확도가 높은 센서들, 또는 저가의 정확도가 낮은 센서들을 포함할 수도 있다. 본 개시물의 실시형태들은 임의의 타입의 안구-대향 센서를 수반할 수도 있다. 고가의 정확도가 높은 센서들은 예를 들어, 안구의 고해상도 가시광선 이미지들을 캡처하는 카메라들을 포함할 수도 있고, 안구 추적 시스템들은 계산된 안구 포지션의 더 큰 정확도를 달성하기 위해 비교적 더 많은 프로세싱을 행할 수도 있다. 저가의 정확도가 낮은 센서들은 예를 들어, 안구의 저해상도 적외 (infrared (IR)) 선 이미지들을 캡처하는 카메라들을 포함할 수도 있고, 안구 추적 시스템들은 계산된 안구 포지션의 비교적 더 작은 정확도를 달성하기 위해 비교적 덜 광범위한 프로세싱을 행할 수도 있다.
안구 추적에 있어서는, 평활한 구 (smooth ball), 즉 안구에서의 매우 작고 낮은 콘트라스트 로테이션들을 해결하는데 있어서 어려움들을 발생시키는 근본적인 어려움들이 있다. 일부 안구-대향 센서들 및 대응하는 안구 추적 시스템들이 가진 하나의 문제점은, 중간 정도의 강도 및 콘트라스트의 반사된 IR 선이 부정확한 시선 방향들을 추정하는 것을 초래할 수 있는 급변하는 (jumpy) 및 설명하기 어려운 모션을 초래한다는 것이다. 고해상도 가시광선 안구 추적 시스템들이 훨씬 나을 수도 있지만, 이러한 안구 추적 시스템들은 더 고가의 안구-대향 센서 카메라들 및 더 많은 프로세싱 전력을 이용하고, 저조도 (low light) 컨디션들에서는 역시 기능하지 않는다.
안구 추적의 어려움들은 특히 가상 환경들보다는 물리적 환경들의 맥락에서 표명된다. 물리적 환경들에서, 현재의 기술들은 뷰잉한 바와 같은 물리적 장면들 내에서, 눈에 흥미로운 포인트들 또는 그 눈에 흥미로운 다른 잠재적인 시선 타겟들에 관한 어떤 정보도 제공하지 않는다. 따라서, 일부 실시형태들에서, 본 명세서에서 설명된 기술들은 안구에 의해 보이는 물리적 장면들로부터 디지털 장면 정보를 캡처 및 분석하고, 잠재적인 시선 타겟들을 식별하며, 이러한 식별된 잠재적인 시선 타겟들을 이용하여 안구-대향 센서들로부터 도출된 시선 타겟 포지션들 및/또는 시선 타겟 모션을 향상시킬 수도 있다.
일부 실시형태들에서, 안구 추적 시스템들은 검출된 안구 추적 포지션, 속도, 및/또는 가속도 값들을 물리적 세계의 잠재적인 시선 타겟들에 대응하는 추정된 안구 추적 값들과 비교함으로써, 본 명세서에서 시선 타겟 추정치로도 지칭되는, 향상된 안구 추적 타겟 추정치를 생성할 수도 있다. 잠재적인 시선 타겟들은 예를 들어 물리적 세계 장면의 실시간 비디오에서 식별될 수도 있다.
잠재적인 시선 타겟들은, 예를 들어 오브젝트 인식을 이용하여, 또는 잠재적인 시선 타겟들을 식별하기 위해 다양한 그래픽스 분석 알고리즘들 중 임의의 것을 적용함으로써, 또는 예를 들어 장면 내의 오브젝트 모션을 식별함으로써 식별될 수도 있다. 실시형태들은 후속하여 각각의 식별된 잠재적인 시선 타겟에 대한 포지션, 속도, 및/또는 가속도 값들을 결정할 수도 있고, 이러한 결정된 값들을 검출된 안구 추적 포지션, 속도, 및/또는 가속도 값들과 비교할 수도 있다.
실시형태들은 검출된 안구 추적 포지션, 속도, 및/또는 가속도 값들에 실질적으로 매칭하는 포지션, 속도, 및/또는 가속도 값들을 포함하는 적절한 잠재적인 시선 타겟을 선택할 수도 있다. 실시형태들은 그 후, 정확한 안구 추적 포지션, 속도, 및/또는 가속도 값들이 선택된 시선 타겟의 것들이라는 것을 추론할 수도 있다. 변경된, 향상된 안구 추적 포지션, 속도, 및/또는 가속도 값들은, 예를 들어 안구 추적 정보를 이용하는 임의의 애플리케이션을 위해 저장되거나 그렇지 않으면 이용될 수도 있다.
실시형태들은 검출된 안구 추적 포지션, 속도, 및/또는 가속도 값들과 잠재적인 시선 타겟 포지션, 속도, 및/또는 가속도 값들 간의 비교들을 가능하게 하기 위해 적절하게 데이터 변환들을 수행할 수도 있다. 예를 들어, 일부 실시형태들에서, 검출된 안구 추적 포지션 값들은 안구 시선 방향에 대응하는 각 좌표 (angular coordinate) 들을 포함할 수도 있다. 한편, 잠재적인 시선 타겟 포지션 값들은 적어도 처음에는, 예를 들어 캡처된 비디오 프레임의 평면 내의 2 차원 x, y 좌표들을 포함할 수도 있다. 검출된 안구 추적 각 좌표들은 예를 들어, 카메라 포지션과 안구 포지션 간의 지오메트릭 관계들을 이용한 비교 동작들을 지원하기 위해 2 차원 x, y 좌표들로 컨버팅될 수도 있으며, 또는 그 역도 마찬가지이다. 실시형태들은 비교 동작들을 지원하기 위해 원할 때 모든 정보를 임의의 중간 좌표 시스템으로 컨버팅할 수도 있다는 것이 또한 인정될 것이다.
일부 실시형태들에서, 안구 추적 시스템들은 검출된 시선 타겟들을 물리적 장면 내의 정지된 잠재적인 시선 타겟들의 포지션들과 비교할 수도 있고, 적절하게, 검출된 시선 타겟들을 정지된 잠재적인 시선 시선 타겟들의 포지션들로 변경함으로써 검출된 시선 타겟들을 그들의 노이즈 경계들 내에서 정정할 수도 있다. 일부 실시형태들에서, 안구 추적 시스템들은 검출된 시선 방향들을 물리적 장면 내의 정지된 잠재적인 시선 타겟들의 포지션들에 대응하는 추정된 시선 방향들과 비교할 수도 있고, 검출된 시선 방향들을 추정된 시선 방향들로 변경함으로써 검출된 시선 방향들을 그들의 노이즈 경계들 내에서 정정할 수도 있다.
일부 실시형태들에서, 안구 추적 시스템들은 검출된 시선 타겟 모션 (이는 시선 타겟 속도 및/또는 시선 타겟 가속도를 포함할 수도 있고, 예를 들어, 물리적 장면 내의 일련의 검출된 시선 타겟들로부터 도출될 수도 있다) 을 물리적 장면 내의 이동하는 잠재적인 시선 타겟들을 뒤따르도록 모델링된 시선 타겟 모션과 비교할 수도 있고, 실시형태들은 검출된 시선 타겟 모션을 물리적 장면 내의 이동하는 잠재적인 시선 타겟들을 뒤따르도록 모델링된 시선 타겟 모션으로 변경함으로써 검출된 시선 타겟 모션을 그 노이즈 경계 내에서 정정할 수도 있다. 일부 실시형태들에서, 안구 추적 시스템들은 검출된 안구 모션 (이는 예를 들어, 일련의 검출된 시선 방향들로부터 도출될 수도 있다) 을 물리적 장면 내의 이동하는 잠재적인 시선 타겟들을 뒤따르는 것과 연관된 모델링된 안구 모션들과 비교할 수도 있고, 실시형태들은 검출된 안구 모션을 물리적 장면 내의 이동하는 잠재적인 시선 타겟들을 뒤따르도록 모델링된 안구 모션으로, 또는 모델링된 안구 모션에 매칭하는 잠재적인 시선 타겟들로 변경함으로써 검출된 안구 모션을 그 노이즈 경계 내에서 정정할 수도 있다.
예시적인 실시형태들은 사용자가 뷰잉한 바와 같은 물리적 세계의 이미지들, 또는 그 근사를 캡처할 수도 있다. 예를 들어, 실시형태들은 사용자의 안구에 근접한 디지털 카메라를 이용하여 비디오를 캡처할 수도 있다. 실시형태들은 물리적 세계의 잠재적인 시선 타겟들을 추출하기 위해 캡처된 물리적 세계 이미지들을 분석할 수도 있다. 이러한 분석은 일부 실시형태들에서 오브젝트 인식을 포함할 수도 있다. 일부 실시형태들에서, 다양한 알고리즘들 중 임의의 것은 예를 들어, 컬러, 근접성, 텍스처 등에 의해 관련될 수도 있는 예를 들어 관련 그래픽 특징들의 세트들을 식별하도록 적응될 수도 있다. 예시적인 알고리즘들은 SURF (Speeded Up Robust Features), SIFT (Scale Invariant Feature Transform), 및 KLT (Kanade-Lucas-Tomasi) 타입 알고리즘들을 포함한다. 관련 그래픽 특징들의 각각의 식별된 세트는 잠재적인 시선 타겟으로서 간주될 수도 있으며, 다수의 비디오 프레임들에 걸쳐 관련 그래픽 특징들의 각각의 식별된 세트의 포지션들을 추적함으로써, 실시형태들은 대응하는 잠재적인 시선 타겟들의 속도들 및 가속도들을 확립할 수도 있다.
실시형태들은 다수의 비디오 이미지들에 걸쳐 및 각각의 식별된 잠재적인 시선 타겟에 대해, 포지션 정보의 일계 도함수 (first derivative) 를 계산하여, 이동하는 잠재적인 시선 타겟들에 대한 속도 정보를 계산할 수도 있다. 실시형태들은, 다수의 비디오 이미지들에 걸쳐 및 각각의 식별된 잠재적인 시선 타겟에 대해, 포지션 정보의 이계 도함수 (second derivative) 를 계산하여, 가속하는 잠재적인 시선 타겟들에 대한 가속도 정보를 계산할 수도 있다. 실시형태들은 또한, 잠재적인 시선 타겟 속도들 및 가속도들과의 비교들을 위해 검출된 시선 타겟들 및/또는 시선 방향들에 대한 일계 및 이계 도함수 정보를 계산할 수도 있다. 실시형태들은 비교 동작들에 적합한 포괄적인 모션 플로우들을 생성하기 위해, 인정될 바와 같이, 다양한 수학적 접근법들 중 임의의 것을 이용하여 일계 및 이계 도함수 정보를 계산할 수도 있다.
실시형태들은 의도된 시선 방향들 또는 시선 타겟들을 추론하는 것에 의한 검출된 안구 추적 데이터를, 검출된 안구 추적 데이터 속성들에 실질적으로 매칭하는 포지션들, 속도들, 및/또는 가속도들을 갖는 물리적 세계 내의 잠재적인 시선 타겟들의 것들인 것으로 변경할 수도 있다. 예를 들어, 실시형태들은 검출된 시선 타겟 포지션들 및/또는 그의 일계 및 이계 도함수에 실질적으로 매칭하는, 실질적으로 매칭하는 예상된 시선 타겟 포지션, 예상된 시선 타겟 속도, 및/또는 예상된 시선 타겟 가속도를 갖는 식별된 잠재적인 시선 타겟을 선택할 수도 있다. 실시형태들은 선택된 시선 타겟들의 포지션들을 포함하는 변경된, 정확도 개선된 시선 타겟 정보를 생성하기 위해 검출된 시선 타겟들을 변경할 수도 있다.
도 1 은 본 개시물의 적어도 일부 실시형태들에 따라 배열된, 사용자가 착용하고 있는 예시적인 헤드 장착 디바이스를 예시하는 다이어그램이다. 도 1 은 사용자 (150), 사용자 (150) 가 착용하고 있는 헤드 장착 디바이스 (100), 검출된 시선 타겟 (141), 및 선택된 시선 타겟 (142) 을 예시한다. 헤드 장착 디바이스 (100) 는 컴퓨터 (101), 디지털 카메라 (102), 및 안구-대향 (eye-facing) 센서 (103) 를 포함한다. 헤드 장착 디바이스 (100) 는 또한 렌즈 또는 다른 뷰 옵틱스 (110) 를 포함하지만, 뷰 옵틱스 (110) 는 일부 실시형태들에서 생략될 (포함되지 않을) 수도 있다. 도 1 에서, 안구-대향 센서 (103) 는 사용자 (150) 의 안구에 대한 실시간 시선 방향 정보를 검출하도록 적응될 수도 있다. 디지털 카메라 (102) 는 사용자 (150) 의 적어도 하나의 안구에 의해 보이는 장면, 예를 들어, 검출된 시선 타겟 (141) 및 선택된 시선 타겟 (142) 을 포함하는 장면으로부터 실시간 디지털 장면 정보를 캡처하도록 배향될 수도 있다. 예시적인 장면은 도 2 에 예시된다.
도 2 는 본 개시물의 적어도 일부 실시형태들에 따라 배열된, 잠재적인 시선 타겟들, 검출된 시선 타겟, 및 그의 모션을 포함하는 장면을 예시하는 다이어그램이다. 도 2 는 예를 들어, 디지털 카메라 (102) 에 의해 실시간 비디오로서 캡처될 수도 있는 장면 (200) 을 예시한다. 장면 (200) 은 잠재적인 시선 타겟 (201), 잠재적인 시선 타겟 (202), 잠재적인 시선 타겟 (203), 및 잠재적인 시선 타겟 (204) 을 포함한다.
잠재적인 시선 타겟 (201) 은 잠재적인 시선 타겟 (201) 으로부터 연장되는 모션 벡터에 의해 예시된 모션 M(F1) 을 가질 수도 있다. 잠재적인 시선 타겟 (201) 은 장면 (200) 내의 예시적인 이동하는 시선 타겟이며, 잠재적인 시선 타겟 (201) 은 예를 들어 비교적 일정한 속도 및 가속도 없음을 보일 수도 있다. 잠재적인 시선 타겟 (202) 은 모션 M(F2) 을 가질 수도 있다. 잠재적인 시선 타겟 (202) 은 장면 (200) 내의 예시적인 정지된 시선 타겟이며, 잠재적인 시선 타겟 (202) 은 실질적으로 속도 또는 가속도 없음을 보일 수도 있다. 잠재적인 시선 타겟 (203) 은 모션 M(F3) 을 가질 수도 있으며, 잠재적인 시선 타겟 (204) 은 모션 M(F4) 을 가질 수도 있다. 잠재적인 시선 타겟들 (203 및 204) 은 장면 (200) 내의 예시적인 가속하는 시선 타겟들이며, 잠재적인 시선 타겟들 (203 및 204) 은 속도들의 변화를 보일 수도 있다.
4 개의 잠재적인 시선 타겟들 (201 내지 204) 은 장면 (200) 내에서, 예시적인 포지션들에서 및 예시적인 모션들을 가지고 예시된다. 그러나, 장면들은 인정될 바와 같이, 임의의 포지션들에서 및 임의의 모션들을 보이는 임의의 수의 잠재적인 시선 타겟들을 포함할 수도 있다. 용어 "모션" 은 본 명세서에서 사용한 바와 같이 속도, 가속도, 또는 양자를 나타낸다.
도 2 는 또한, 검출된 시선 타겟 (141) 으로부터 연장되는 모션 벡터들에 의해 예시된, 장면 (200) 내의 예시적인 시선 타겟 포지션에서 및 예시적인 검출된 타겟 모션 M(DT) 을 보이는 검출된 시선 타겟 (141) 을 예시한다. M(DT) 은 예를 들어, 예시된 모션 벡터들에 따른 속도의 변화를 포함하는 장면 (200) 내의 가속도를 보일 수도 있다. 그러나, 시선 타겟 (141) 은 디지털 카메라 (102) 에 의해 캡처된 바와 같은 장면 (200) 의 부분이 아니며, 장면 (200) 내의 시선 타겟 (141) 포지션 및 모션은 안구-대향 센서 (103) 에서 검출된 실시간 시선 방향 정보로부터 도출될 수도 있다. 도 2 는 또한, 장면 (200) 내의 선택된 시선 타겟 (142) 을 예시하며, 여기서 컴퓨터 (101) 는 예를 들어, 잠재적인 시선 타겟 (204) 을 선택된 시선 타겟 (142) 으로서 선택할 수도 있다.
컴퓨터 (101) 는 예를 들어 도 3 과 관련하여 설명한 바와 같이, 메모리에 저장되고 프로세서에 의해 실행가능한 안구 추적 정확도 인핸서 (eye tracking accuracy enhancer) 를 갖추고 있을 수도 있다. 일부 실시형태들에서, 안구 추적 정확도 인핸서는 : 안구-대향 센서 (103) 로부터 실시간 시선 방향 정보를 수신하고; 디지털 카메라 (102) 로부터 (예를 들어, 장면 (200) 으로부터의) 실시간 디지털 장면 정보를 수신하고; 안구-대향 센서 (103) 로부터의 시선 방향 정보에 기초하여, 예를 들어, 장면 (200) 내의 검출된 시선 타겟 (141) 포지션, 속도 및/또는 가속도를 결정함으로써, 장면 (200) 으로부터 실시간 디지털 장면 정보 내의 검출된 시선 타겟 (141) 을 결정하고; 잠재적인 시선 타겟들 (201 내지 204) 을 식별하기 위해 장면 (200) 으로부터 실시간 디지털 장면 정보를 분석하고; 식별된 잠재적인 시선 타겟들 (201 내지 204) 중에서 잠재적인 시선 타겟 (204) 을 선택하며; 그리고 적어도 선택된 시선 타겟 (142) 의 포지션(들)을 포함하도록 시선 타겟 (141) 을 변경하도록 구성될 수도 있다. 일단 선택된 시선 타겟 (142) 이 확립되면, 선택된 시선 타겟 (142) 은 다양한 애플리케이션들, 예를 들어, 디스플레이를 위한 AR 정보를 결정하는 것 및/또는 선택된 시선 타겟 (142) 을 컴퓨팅 디바이스 (101) 의 기능들을 제어하기 위한 사용자 입력으로서 적용하는 것 중 임의의 것을 위해 이용될 수도 있다.
일부 실시형태들에서, 안구-대향 센서 (103) 로부터의 시선 방향 정보에 기초하여 장면 (200) 으로부터 실시간 디지털 장면 정보 내의 검출된 시선 타겟 (141) 을 결정하는 것은 검출된 시선 방향들을 장면 (200) 에 투영하기 위해 삼각법, 기하학 등의 수학적 원리들을 적용하는 것을 포함할 수도 있다. 예를 들어, 컴퓨터 (101) 는 장면 (200) 의 중앙에 중심점 (x=0, y=0) 을 갖는 좌표 시스템에서, 검출된 시선 타겟 (141) 의 x, y 좌표들을 계산할 수도 있다. 실시형태들은, 예를 들어 탄젠트 또는 코탄젠트 함수들, 또는 그의 수학적 등가물들을 이용할 수도 있으며, 여기서 검출된 시선 방향 정보의 x 및 y 컴포넌트들 θx 및 θy 는 기지의 인접한 삼각형 레그 거리 (triangle leg distance) (D), 예를 들어 사용자 (150) 의 안구로부터 뷰 옵틱스 (110) 까지의 거리와 함께, 각각 x 및 y 각각의 해를 구하는데 이용될 수도 있다. 일부 실시형태들에서, 안구-대향 센서 (103) 로부터의 시선 방향 정보에 기초하여 장면 (200) 으로부터 실시간 디지털 장면 정보 내의 검출된 시선 타겟 (141) 을 결정하는 것은, 일 리스트의 시선 방향들, 예를 들어 안구 각도들, 및 대응하는 시선 타겟 포지션들을 이용하여 달성될 수도 있으며, 여기서 실시형태들은 검출된 시선 방향들에 대응하는 시선 타겟 포지션들을 룩업할 수도 있다. 더욱이, 실시형태들은 예를 들어, 장면 (200) 으로부터 캡처된 다수의 비디오 프레임들을 가로지른 시선 타겟 포지션들로부터 도출된 시선 타겟 벡터 히스토리들에 기초하여 시선 타겟 속도들 및/또는 가속도들을 결정할 수도 있다.
일부 실시형태들에서, 시선 타겟 속도들 및/또는 가속도들은 안구 기계 모델 시뮬레이터 (eye mechanical model simulator) 를 이용하여 비교될 수도 있다. 눈의 모션은 대략 지연을 가지고 있는 피드백 루프에 의해 드라이빙된 2 차 스프링-질량 시스템이다. 이것은 타겟들이 속도를 변화시킬 때 가속하는 오브젝트를 래깅하고 오버슈트하는 가시적인 상승 시간들로서 나타낼 수도 있다. 따라서, 예를 들어, 장면 (200) 내의 M(DT) 은 비교를 위해 검출된 시선 방향을 엄격하게 적용하는 "원시 (raw)" M(DT) 함수를 이용하기 보다는, 사용자 (150) 가 주시하는 잠재적인 시선 타겟의 가능성있는 모션을 반영하도록 안구 기계 모델 시뮬레이터의 동작에 의해 조정될 수도 있다.
본 명세서에서 설명한 바와 같이, 일부 실시형태들은 캡처된 장면 좌표 공간보다는, 안구 방향 좌표 공간에서 동작할 수도 있다. 예를 들어, 장면 (200) 내의 검출된 시선 타겟 (141) 을 결정하는 대신에, 실시형태들은 잠재적인 시선 타겟들 (201 내지 204) 과 연관되는 예상된 시선 방향들을 결정할 수도 있다. 이러한 실시형태들은 또한, 예를 들어, 래그, 오버슈트, 및/또는 다른 기계적 아티팩트들을 포함한, 잠재적인 시선 타겟들 (201 내지 204) 각각을 뒤따르도록 예상된 안구 움직임들을 시뮬레이션하기 위해, 안구 기계 모델 시뮬레이터를 이용할 수도 있다. 기술적 접근법에 상관없이, 실시형태들은 안구-대향 센서 (103) 로부터의 안구 추적 정보 및 그의 변화들을 잠재적인 시선 타겟들 (201 내지 204) 의 포지션들, 속도들 및/또는 가속도들과 비교하여 사용자 (150) 가 주시하고 있을 가능성이 가장 클 수도 있는 장면 (200) 내의 잠재적인 시선 타겟을 선택할 수도 있다.
컴퓨터 (101) 는 일 예로, 본 명세서에서 개시한 바와 같은 SURF, SIFT, 및/또는 KLT 타입 알고리즘들과 같이, 장면 (200) 내의 이미지 또는 비디오 데이터에서의 잠재적인 시선 타겟들 (201 내지 204) 을 식별하기 위해 다양한 알고리즘들을 적용할 수도 있다. 일부 실시형태들에서, 컴퓨터 (101) 는 장면 (200) 으로부터 디지털 장면 정보를 분석하고 이로써 잠재적인 시선 타겟들 (201 내지 204) 일 수도 있는 오브젝트들을 식별하기 위해 오브젝트 인식을 적용할 수도 있다. 일부 실시형태들에서, 컴퓨터 (101) 는 적어도 부분적으로 관련 그래픽 특징들의 세트들을 식별함으로써 장면 (200) 으로부터 디지털 장면 정보를 분석할 수도 있으며, 관련 그래픽 특징들의 각각의 세트는 예를 들어 잠재적인 시선 타겟, 이를 테면 잠재적인 시선 타겟들 (201 내지 204) 중 하나를 포함한다.
컴퓨터 (101) 는 예를 들어, 검출된 시선 타겟 (141) 포지션, 속도, 및/또는 가속도를 잠재적인 시선 타겟들 (201 내지 204) 의 포지션들, 속도들, 및/또는 가속도들과 비교함으로써 잠재적인 시선 타겟들 (201 내지 204) 중에서 선택된 시선 타겟 (142) 을 선택할 수도 있다. 예를 들어, 일부 실시형태들에서, 선택된 시선 타겟 (142) 은 장면 (200) 으로부터의 디지털 장면 정보 내에, 특징 포지션을 가질 수도 있으며, 이는 검출된 시선 타겟 (141) 을 둘러싸는 오차 경계 이내일 수도 있다. 오차 경계들은 안구-대향 센서 (103) 의 정확도, 카메라 이미지와 안구 간의 정렬, 및/또는 검출된 시선 타겟 (141) 을 장면 (200) 에 맵핑하는데 이용된 계산들에 의존할 수도 있다. 오차 경계들은 검출된 시선 타겟 (141) 이 변경될 수도 있는 검출된 시선 타겟 (141) 을 둘러싸는 구역을 정의할 수도 있다. 일부 실시형태들에서, 선택된 시선 타겟 (142) 은 더욱이 검출된 시선 타겟 (141) 속도에 실질적으로 매칭하는 시선 타겟 속도를 갖는 이동하는 시선 타겟을 포함할 수도 있다. 일부 실시형태들에서, 선택된 시선 타겟 (142) 은 더욱이 검출된 시선 타겟 (141) 가속도에 실질적으로 매칭하는 시선 타겟 가속도를 갖는 가속하는 시선 타겟을 포함할 수도 있다.
일부 잠재적인 실세계 시나리오들에서, 여러 잠재적인 시선 타겟들은 시선 타겟 오차 경계들 이내의 포지션들은 물론, 적어도 검출된 시선 타겟 속도들 및/또는 가속도들과 유사한 속도들 및/또는 가속도들을 보일 수도 있다. 따라서, 실시형태들은 여러 가능한 후보들 중에서 적절한 잠재적인 시선 타겟을 선택하기 위한 기법들을 적용할 수도 있다. 컴퓨터 (101) 는 예를 들어, 다수의 잠재적인 시선 타겟들 (201 내지 204) 에 가중치들을 동적으로 할당할 수도 있다. 컴퓨터 (101) 는 잠재적인 시선 타겟을 선택하기 위해 동적으로 할당된 가중치들을 이용할 수도 있다. 예를 들어, 컴퓨터 (101) 는 잠재적인 시선 타겟들 (201 내지 204) 각각에, 검출된 시선 타겟 (141) 에 대한 그들의 근접성들에 따라 가중치들을 할당할 수도 있으며, 여기서 더 강한 가중치들은 더 밀접하게 근접한 잠재적인 시선 타겟들에 적용된다. 컴퓨터 (101) 는 잠재적인 시선 타겟들 (201 내지 204) 각각에, 잠재적인 시선 타겟 속도들 및/또는 가속도들과 검출된 시선 타겟 (141) 의 속도 및/또는 가속도 간의 매치 정도에 따라 가중치들을 할당할 수도 있으며, 여기서 더 강한 가중치들은 더 밀접하게 매칭하는 속도들 및/또는 가속도들을 갖는 잠재적인 시선 타겟들에 적용된다. 가장 강한 가중된 잠재적인 시선 타겟이 그 후 선택된 시선 타겟 (142) 으로서 선택될 수도 있다.
일부 실시형태들에서, 가속도 매치들은 상대적으로 더 강한 범위의 가중치들과 연관될 수도 있는 한편, 속도 매치들은 중간 범위의 가중치들과 연관될 수도 있고, 포지션 매치들은 상대적으로 더 약한 범위의 가중치들과 연관될 수도 있다. 컴퓨터 (101) 는 이로써 잠재적인 시선 타겟들이 검출된 시선 타겟 (141) 의 모션들에 매칭하는 모션들을 보일 때 잠재적인 시선 타겟 선택의 정확도를 증가시킬 수도 있다.
일부 실시형태들에서, 컴퓨터 (101) 는, 실시간 시선 방향 정보 및 실시간 디지털 장면 정보가 컴퓨터 (101) 에서 수신될 때 실시간으로 선택된 시선 타겟 (142) 과 같은 선택된 시선 타겟들을 계속 출력하기 위해 실시간으로 안구-대향 센서 (103) 로부터의 실시간 시선 방향 정보 및 디지털 카메라 (102) 로부터의 실시간 디지털 장면 정보를 프로세싱할 수도 있다. 다른 실시형태들에서, 컴퓨터 (101) 는, 그래도 아직은 실시간이 아닌 다른 애플리케이션들에 유용한 것으로 입증할 수도 있는 선택된 시선 타겟들을 결정하기 위해, 즉 실시간으로가 아닌 나중에, 수신된 시선 방향 정보 및 디지털 장면 정보를 저장 및 프로세싱할 수도 있다는 것이 인정될 것이다.
일부 실시형태들에서, 디지털 카메라 (102) 는 다수의 상이한 프레임 레이트들 또는 해상도들에서 비디오를 캡처하도록 적응될 수도 있다. 예를 들어, 디지털 카메라 (102) 는 디폴트 프레임 레이트 및/또는 디폴트 해상도를 가질 수도 있지만, 컴퓨터 (101) 는 다른 프레임 레이트들 및/또는 해상도들에서 디지털 카메라 (102) 를 동작시키기 위해 디지털 카메라 (102) 디폴트 설정들을 조정하도록 적응될 수도 있다. 컴퓨터 (101) 는 본 개시물에 따른 디지털 장면 정보를 캡처하는 것과 관련한 이용을 위해 적절하게 디지털 카메라 (102) 프레임 레이트들 및/또는 해상도들을 조정하도록 적응될 수도 있다. 예를 들어, 컴퓨터 (101) 는 감소된 프레임 레이트 및/또는 감소된 해상도, 예를 들어 디폴트 프레임 레이트 또는 해상도보다 더 낮은 프레임 레이트 또는 해상도에서 디지털 카메라 (102) 를 동작시킴으로써 헤드 장착 디바이스 (100) 의 배터리 수명을 보존하도록 적응될 수도 있다. 전력이 제한되고 있지 않고 및/또는 정확도가 다른 무엇보다 중요한 애플리케이션들에서, 컴퓨터 (101) 는 개선된 프레임 레이트 및/또는 개선된 해상도, 예를 들어 디폴트 프레임 레이트 또는 해상도보다 더 높은 프레임 레이트 또는 해상도에서 디지털 카메라 (102) 를 동작시키도록 적응될 수도 있다. 일부 실시형태들에서, 컴퓨터 (101) 는 사용자의 안구의 움직임의 속도 및 빈도 및/또는 환경 또는 그 환경 내의 잠재적인 시선 타겟들의 움직임의 속도 및 빈도에 따라 프레임 레이트 및/또는 해상도를 변화시키도록 적응될 수도 있다.
도 3 은 본 개시물의 적어도 일부 실시형태들에 따라 배열된, 헤드 장착 디바이스 내에 통합된 컴퓨터의 하나의 예로서의 컴퓨팅 디바이스의 블록 다이어그램이다. 매우 기본 구성 (301) 에서, 컴퓨팅 디바이스 (300) 는 하나 이상의 프로세서들 (310) 및 시스템 메모리 (320) 를 포함할 수도 있다. 메모리 버스 (330) 는 프로세서 (310) 와 시스템 메모리 (320) 간에 통신하기 위해 이용될 수도 있다.
원하는 구성에 의존하여, 프로세서 (310) 는 마이크로프로세서 (μP), 마이크로제어기 (μC), 디지털 신호 프로세서 (DSP), 또는 이들의 임의의 조합을 포함하지만 이들에 한정되지 않는 임의의 타입의 것일 수도 있다. 프로세서 (310) 는 레벨 1 캐시 (311) 및 레벨 2 캐시 (312) 와 같은 하나 이상의 레벨들의 캐싱, 프로세서 코어 (313), 및 레지스터들 (314) 을 포함할 수도 있다. 프로세서 코어 (313) 는 산술 논리 유닛 (ALU), 부동 소수점 유닛 (FPU), 디지털 신호 프로세싱 코어 (DSP 코어), 또는 이들의 임의의 조합을 포함할 수도 있다. 메모리 제어기 (315) 는 또한, 프로세서 (310) 와 함께 이용될 수도 있고, 또는 일부 구현들에서, 메모리 제어기 (315) 는 프로세서 (310) 의 내부 부분일 수도 있다.
원하는 구성에 의존하여, 시스템 메모리 (320) 는 휘발성 메모리 (이를 테면 RAM), 비휘발성 메모리 (이를 테면 ROM, 플래시 메모리 등), 또는 이들의 임의의 조합을 포함하지만 이들에 한정되지 않는 임의의 타입의 것일 수도 있다. 시스템 메모리 (320) 는 통상 오퍼레이팅 시스템 (321), 하나 이상의 애플리케이션들 (322), 및 프로그램 데이터 (325) 를 포함한다. 일부 실시형태들에서, 오퍼레이팅 시스템 (321) 은 가상 머신 매니저 (Virtual Machine Manager; VMM) 에 의해 관리되는 가상 머신을 포함할 수도 있다. 애플리케이션들 (322) 은 예를 들어, 본 명세서에서 설명한 바와 같은 안구 추적 정확도 인핸서 모듈(들) (323) 을 포함할 수도 있다. 프로그램 데이터 (325) 는 예를 들어, 안구-대향 센서 (103) 로부터 수신될 수도 있는 바와 같은 실시간 시선 방향 정보 (326), 예를 들어, 디지털 카메라 (102) 로부터 수신될 수도 있는 바와 같은 실시간 디지털 장면 정보 (327), 및 실시간 디지털 장면 정보 (327) 로부터 추출될 수도 있는 잠재적인 시선 타겟들 (328) 을 각각 포함할 수도 있다.
컴퓨팅 디바이스 (300) 는 추가적인 특징들 또는 기능성, 및 기본 구성 (301) 과 임의의 요구된 디바이스들 및 인터페이스들 간의 통신들을 용이하게 하기 위한 추가적인 인터페이스들을 가질 수도 있다. 예를 들어, 버스/인터페이스 제어기 (340) 는 저장 인터페이스 버스 (341) 를 통해 기본 구성 (301) 과 하나 이상의 데이터 저장 디바이스들 (350) 간의 통신들을 용이하게 하는데 이용될 수도 있다. 데이터 저장 디바이스들 (350) 은 착탈식 저장 디바이스들 (351), 비착탈식 저장 디바이스들 (352), 또는 이들의 조합일 수도 있다. 착탈식 저장 및 비착탈식 저장 디바이스들의 예들은 몇몇만 예로 들자면, 플렉시블 디스크 드라이브들 및 하드-디스크 드라이브들 (HDD) 과 같은 자기 디스크 디바이스들, 콤팩트 디스크 (CD) 드라이브들 또는 디지털 다기능 디스크 (DVD) 드라이브들과 같은 광 디스크 드라이브들, 솔리드 스테이트 드라이브들 (SSD), 및 테이프 드라이브들을 포함한다. 예시적인 컴퓨터 저장 매체들은 컴퓨터 판독가능 명령들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 착탈식 및 비착탈식 매체들을 포함할 수도 있다.
레벨 1 캐시 (311), 레벨 2 캐시 (312), 시스템 메모리 (320), 착탈식 저장 디바이스 (351), 및 비착탈식 저장 디바이스 (352) 는 모두 컴퓨터 저장 매체들의 예들이다. 컴퓨터 저장 매체들은 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크들 (DVD) 또는 다른 광 저장부, 자기 카세트들, 자기 테이프, 자기 디스크 저장 또는 다른 자기 저장 디바이스들, 또는 원하는 정보를 저장하는데 이용될 수도 있고 컴퓨팅 디바이스 (300) 에 의해 액세스될 수도 있는 임의의 다른 매체를 포함하지만 이들에 한정되지 않는다. 임의의 이러한 컴퓨터 저장 매체들은 디바이스 (300) 의 부분일 수도 있다.
컴퓨팅 디바이스 (300) 는 또한 버스/인터페이스 제어기 (340) 를 통한 다양한 인터페이스 디바이스들 (예를 들어, 출력 인터페이스들, 주변장치 인터페이스들, 및 통신 인터페이스들) 로부터 기본 구성 (301) 으로의 통신을 용이하게 하기 위한 인터페이스 버스 (342) 를 포함할 수도 있다. 예시적인 출력 디바이스들 (360) 은 그래픽스 프로세싱 유닛 (361) 및 오디오 프로세싱 유닛 (362) 을 포함하며, 이들은 하나 이상의 A/V 포트들 (363) 을 통해 디스플레이 또는 스피커들과 같은 다양한 외부 디바이스들에 통신하도록 구성될 수도 있다. 예시적인 주변장치 인터페이스들 (370) 은 직렬 인터페이스 제어기 (371) 또는 병렬 인터페이스 제어기 (372) 를 포함할 수도 있으며, 이들은 하나 이상의 I/O 포트들 (373) 을 통해 디지털 카메라 (102), 안구-대향 센서 (103), 및/또는 다른 출력 디바이스들 (예를 들어, 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스 등) 또는 다른 주변장치 디바이스들 (예를 들어, 프린터, 스캐너 등) 과 같은 디바이스들과의 유선이나 무선 연결들을 통하여 통신하도록 구성될 수도 있다. 다른 종래의 I/O 디바이스들, 이를 테면 마우스, 키보드 등도 물론 연결될 수도 있다. 예시적인 통신 디바이스 (380) 는 네트워크 제어기 (381) 를 포함하며, 이는 하나 이상의 통신 포트들 (382) 을 통한 네트워크 통신을 통해 하나 이상의 다른 컴퓨팅 디바이스들 (390) 과의 통신들을 용이하게 하도록 배열될 수도 있다.
컴퓨터 저장 매체들은 통신 매체들의 하나의 예일 수도 있다. 통신 매체들은 통상 컴퓨터 판독가능 명령들, 데이터 구조들, 프로그램 모듈들, 또는 변조된 데이터 신호에서의 다른 데이터, 이를 테면 캐리어파 또는 다른 전송 메커니즘에 의해 구현될 수도 있고, 임의의 정보 전달 매체들을 포함할 수도 있다. "변조된 데이터 신호" 는 그 특징들 중 하나 이상이 신호에서의 정보를 인코딩하도록 하는 방식으로 설정 또는 변화된 신호일 수도 있다. 한정 없이 일 예로, 통신 매체들은 유선 매체들, 이를 테면 유선 네트워크 또는 직접 유선 연결, 및 무선 매체들, 이를 테면 음향, 무선 주파수 (RF), 적외선 (IR), 및 다른 무선 매체들을 포함할 수도 있다.
컴퓨팅 디바이스 (300) 는 도 1 에 예시한 바와 같은 헤드 장착 디바이스 내에 통합된 컴퓨터로서 구현될 수도 있다. 컴퓨팅 디바이스 (300) 는 도 1 에 예시한 바와 같은 헤드 장착 디바이스의 외부에 있지만, 그래도 아직은 그로부터 실시간 시선 방향 정보 (326) 및 실시간 디지털 장면 정보를 수신하기 위하여 이러한 헤드 장착 디바이스와 유선 또는 무선 통신하고 있는 컴퓨터로서 구현될 수도 있다. 예를 들어, 컴퓨팅 디바이스 (300) 는 랩톱 컴퓨터 및 비-랩톱 컴퓨터 구성들 양자, 또는 데이터 센터 내의 서버를 포함하는 개인용 또는 업무용 컴퓨터로서 구현될 수도 있다. 컴퓨팅 디바이스 (300) 가 실시간으로 존재하지 않는 시선 방향 정보 및 디지털 장면 정보를 이용하여, 실시간 이외의 방식으로 동작하는 실시형태들이 또한 본 개시물에 따라 설계될 수도 있다.
도 4 는 본 개시물의 적어도 일부 실시형태들에 따라 배열된, 예시적인 안구 추적 방법을 예시하는 플로우 다이어그램이다. 예시적인 플로우 다이어그램은 방법에서 수행될 수도 있는 바와 같은 동작들, 컴퓨팅 디바이스 (300) 내의 기능적 모듈들, 및/또는 컴퓨터 판독가능 매체 (450) 상에 기록될 수도 있는 바와 같은 명령들을 표현하는 블록들 (401 내지 407) 에 의해 예시한 바와 같은 하나 이상의 동작들/모듈들을 포함할 수도 있다.
도 4 에서, 블록들 (401 내지 407) 은 예를 들어, 블록 (401) 이 처음이고 블록 (407) 이 마지막인 상태로 순차적으로 수행되는 블록들을 포함하는 것으로 예시된다. 그러나, 이들 블록들은 특정 실시형태들에 적합하도록 편리하게 재배열될 수도 있고 이들 블록들 또는 그 부분들이 일부 실시형태들에서 동시에 수행될 수도 있다는 것이 인정될 것이다. 또한, 일부 예들에서, 다양한 블록들은 제거, 추가적인 블록들로 분할, 및/또는 다른 블록들과 조합될 수도 있다는 것이 인정될 것이다.
도 4 는 컴퓨팅 디바이스 (300) 가 안구 추적을 행할 수도 있는 예시적인 방법을 예시하며, 여기서 안구-대향 센서로부터의 안구 추적 데이터는, 장면 분석을 수행하는 것, 잠재적인 시선 타겟들의 선택, 및 안구 추적 데이터의 변경에 의해, 그 정확도를 증가시키기 위해 향상될 수도 있다.
"안구-대향 센서로부터 시선 방향 정보를 수신" 블록 401 에서, 컴퓨팅 디바이스 (300) 는 안구-대향 센서 (103) 로부터, 적어도 하나의 안구, 예를 들어 사용자 (150) 의 안구에 대한 시선 방향 정보를 수신할 수도 있다. 통합형 안구-대향 센서들을 포함하는 컴퓨팅 디바이스들은 통합형 안구-대향 센서들로부터 시선 방향 정보를 수신할 수도 있다. 외부의 안구-대향 센서들과 통신적으로 커플링된 컴퓨팅 디바이스들은 옵션으로는 임의의 수의 중간 디바이스들 또는 네트워크 인프라스트럭처를 통해 외부의 안구-대향 센서들로부터 시선 방향 정보를 수신할 수도 있다. 블록 401 다음에는 블록 402 가 후속될 수도 있다.
"디지털 카메라로부터 디지털 장면 정보를 수신" 블록 402 에서, 컴퓨팅 디바이스 (300) 는 디지털 카메라 (102) 로부터 디지털 장면 정보를 수신할 수도 있다. 디지털 카메라 (102) 는 블록 401 에서 추적될 수도 있는 사용자 (150) 의 안구에 의해 보이는 장면으로부터 디지털 장면 정보를 캡처하도록 배향될 수도 있다. 통합형 디지털 카메라들을 포함하는 컴퓨팅 디바이스들은 통합형 디지털 카메라들로부터 디지털 장면 정보를 수신할 수도 있다. 외부의 디지털 카메라들과 통신적으로 커플링된 컴퓨팅 디바이스들은 옵션으로는 임의의 수의 중간 디바이스들 또는 네트워크 인프라스트럭처를 통해, 외부의 디지털 카메라들로부터 디지털 장면 정보를 수신할 수도 있다. 일부 실시형태들에서, 컴퓨팅 디바이스 (300) 는 블록 402 에서 디지털 카메라 (102) 의 프레임 레이트 및/또는 해상도를 조정할 수도 있고, 예를 들어 디지털 카메라 (102) 는 디폴트 프레임 레이트 또는 디폴트 해상도를 가질 수도 있으며, 컴퓨팅 디바이스 (300) 는 상이한 프레임 레이트 및/또는 상이한 해상도에서 디지털 카메라 (102) 를 동작시킬 수도 있다. 블록 402 다음에는 블록 403 이 후속될 수도 있다.
"디지털 장면에서의 시선 타겟 포지션, 속도, 및/또는 가속도를 결정" 블록 403 에서, 컴퓨팅 디바이스 (300) 는 블록 401 에서 수신된 시선 방향 정보에 기초하여, 블록 402 에서 수신된 디지털 장면 정보 내의 시선 타겟을 결정할 수도 있다. 시선 타겟을 결정하는 것은, 예를 들어 다수의 상이한 비디오 프레임들에서의 시선 타겟들을 결정하는 것 및 시선 타겟 포지션들, 속도들, 및/또는 가속도들을 포함하는 시선 타겟 벡터 히스토리들을 결정하기 위해 대응하는 일계 및/또는 이계 도함수들을 계산하는 것을 포함할 수도 있다. 일부 실시형태들에서, 시선 타겟을 결정하는 것은 검출된 안구 움직임들에 기초하여, 블록 402 에서 수신된 디지털 장면 정보 내의 오브젝트의 움직임을 시뮬레이션하기 위해 안구 기계 모델 시뮬레이터를 적용하는 것을 포함할 수도 있다. 일부 실시형태들은 시선 타겟 결정들을 생략할 수도 있고, 그 대신 예를 들어, 블록 405 에서 행해질 수도 있는 바와 같이, 안구 좌표 공간에서의 비교에 이용하기 위한 예를 들어 안구 각 방향들, 안구 각 속도들 및 안구 각 가속도들을 계산할 수도 있다. 블록 403 다음에는 블록 404 가 후속될 수도 있다.
"잠재적인 시선 타겟들 및 그들의 포지션들, 속도들, 및/또는 가속도들을 식별하기 위해 디지털 장면을 분석" 블록 404 에서, 컴퓨팅 디바이스 (300) 는 블록 402 에서 수신된 디지털 장면 정보 내의 잠재적인 시선 타겟들을 식별하기 위해 그 디지털 장면 정보를 분석할 수도 있다. 예를 들어, 컴퓨팅 디바이스 (300) 는 본 명세서에서 개시한 바와 같이 블록 402 에서 수신된 디지털 장면 정보에 오브젝트 인식 및/또는 그래픽스 분석 알고리즘들을 적용할 수도 있다. 식별된 잠재적인 시선 타겟들은 예를 들어, 정지된 시선 타겟들, 이동하는 및/또는 가속하는 시선 타겟들을 포함할 수도 있다. 컴퓨팅 디바이스 (300) 는 다수의 상이한 비디오 프레임들을 가로질러 잠재적인 시선 타겟들의 포지션들을 추적할 수도 있고, 잠재적인 시선 타겟 포지션들, 속도들, 및/또는 가속도들을 결정하기 위해 대응하는 일계 및/또는 이계 도함수들을 계산할 수도 있다. 일부 실시형태들에서, 잠재적인 시선 타겟 포지션들, 속도들, 및/또는 가속도들은 블록 401 에서 수신된 시선 방향 정보에서의 시선 방향을 위해 이용되는 예를 들어, 각 좌표 시스템 또는 안구 좌표 공간으로 바뀔 수도 있다. 안구 기계 모델 시뮬레이터가 잠재적인 시선 타겟 포지션들, 속도들, 및/또는 가속도들에 기초하여 안구의 움직임을 시뮬레이션하는데 이용될 수도 있다. 블록 404 다음에는 블록 405 가 후속될 수도 있다.
"검출된 시선 타겟 포지션, 속도, 및/또는 가속도에 매칭하는 잠재적인 시선 타겟을 선택" 블록 405 에서, 컴퓨팅 디바이스 (300) 는 블록 404 에서 식별된 특징들 중에서 특징을 선택할 수도 있다. 일부 실시형태들에서, 컴퓨팅 디바이스 (300) 는 블록 404 에서 결정한 바와 같이, 포지션을 가질 수도 있는 잠재적인 시선 타겟을 선택할 수도 있으며, 이는 블록 403 에서 결정한 바와 같이, 검출된 시선 타겟을 둘러싸는 오차 경계 이내일 수도 있다. 일부 실시형태들에서, 다수의 검출된 시선 타겟 포지션들은 옵션으로는 블록 402 에서 수신된 다수의 비디오 프레임들을 가로질러, 식별된 잠재적인 시선 타겟과 연관된 다수의 잠재적인 시선 타겟 포지션들과 비교될 수도 있다. 일부 실시형태들에서, 컴퓨팅 디바이스 (300) 는 예를 들어, 실질적으로 매칭하는 속도 및 방향을 포함하는, 검출된 시선 타겟 속도에 실질적으로 매칭하는 속도를 갖는 잠재적인 시선 타겟을 선택할 수도 있다. 일부 실시형태들에서, 컴퓨팅 디바이스 (300) 는 예를 들어, 실질적으로 매칭하는 크기 및 방향의 가속도를 포함하는, 검출된 시선 타겟 가속도에 실질적으로 매칭하는 가속도를 갖는 잠재적인 시선 타겟을 선택할 수도 있다. 일부 실시형태들에서, 컴퓨팅 디바이스 (300) 는 본 명세서에서 설명한 바와 같이, 블록 404 에서 식별된 복수의 잠재적인 시선 타겟들에 가중치들을 동적으로 할당할 수도 있고, 컴퓨팅 디바이스 (300) 는 잠재적인 시선 타겟을 선택하기 위해 동적으로 할당된 가중치들을 이용할 수도 있다. 블록 405 다음에는 블록 406 이 후속될 수도 있다.
"검출된 시선 타겟을 변경" 블록 406 에서, 컴퓨팅 디바이스 (300) 는 블록 405 에서 선택되는, 선택된 시선 타겟의 포지션들, 속도들, 및/또는 가속도들을 포함하도록, 예를 들어, 블록 403 에서 결정한 바와 같이, 그 포지션들, 속도들, 및/또는 가속도들을 포함하는 검출된 시선 타겟을 변경할 수도 있다. 일부 실시형태들에서, 변경된 시선 타겟 정보는 저장 및/또는 추가 분석을 위해 다른 컴퓨터에 저장 또는 송신될 수도 있다. 일부 실시형태들에서, 블록 405 에서 선택된 잠재적인 시선 타겟을 설명하는 정보가 변경된 시선 타겟 정보와 함께 저장 또는 송신될 수도 있고, 예를 들어, 선택된 시선 타겟의 스냅샷, 또는 오브젝트를 식별하거나 예를 들어 선택된 시선 타겟 내의 광고를 식별하는 텍스트가 변경된 시선 타겟 정보와 함께 저장 또는 송신될 수도 있다. 블록 406 다음에는 블록 407 이 후속될 수도 있다.
"변경된 시선 타겟 정보를 적용" 블록 407 에서, 컴퓨팅 디바이스 (300) 는 안구 추적 정보가 이용될 수도 있는 임의의 애플리케이션과 관련하여 블록 406 으로부터의 변경된 시선 타겟 정보를 적용할 수도 있다. 예를 들어, 컴퓨팅 디바이스 (300) 는 디스플레이를 위한 AR 정보, 이를 테면 일 예로, 변경된 시선 타겟에서의 오브젝트를 식별하거나, 설명하거나, 그렇지 않으면 그 오브젝트와 연관된 정보를 결정하기 위해 블록 406 으로부터의 변경된 시선 타겟 정보를 이용할 수도 있다. 다른 예에서, 컴퓨팅 디바이스 (300) 는 블록 406 으로부터의 변경된 시선 타겟 정보를 적어도 하나의 컴퓨팅 디바이스 기능을 제어하기 위한 사용자 입력으로서 적용할 수도 있다. 인정될 바와 같이 매우 다양한 다른 애플리케이션들도 가능하며, 본 개시물은 임의의 특정 애플리케이션에 한정되지 않는다.
일부 실시형태들에서, 블록 401 내지 블록 406, 및 옵션으로는 또한 블록 407 은 실시간으로 컴퓨팅 디바이스 (300) 에 의해 수행될 수도 있으며, 즉, 블록 401 및 블록 402 에서 수신된 시선 방향 정보 및 디지털 장면 정보는 각각 실시간 시선 방향 정보 및 실시간 디지털 장면 정보를 포함할 수도 있다. 컴퓨팅 디바이스 (300) 는 더욱이 실시간 시선 방향 정보 및 실시간 디지털 장면 정보가 수신될 때 실시간으로 블록 403 내지 블록 407 을 수행할 수도 있다.
도 5 는 본 개시물의 적어도 일부 실시형태들에 따라 배열된, 예시적인 안구 추적 정확도 인핸서를 예시하는 블록 다이어그램이다. 도 5 는 도 3 및 도 4 와 관련하여 설명한 바와 같은 안구 추적 정확도 인핸서 (323) 에 대한 대안의 어레인지먼트로서 기능할 수도 있는 안구 추적 정확도 인핸서 (500) 를 예시한다. 안구 추적 정확도 인핸서 (500) 는 잠재적인 시선 타겟 검출기 (510), 잠재적인 시선 타겟 선택기 (520), 속도 추출기 (530) 및 속도 추출기 (540), 가속도 추출기 (550), 필터 (560), 가속도 추출기 (570), 및 안구 기계 모델 시뮬레이터 (580) 를 포함한다. 잠재적인 시선 타겟 선택기 (520) 는 가중된 포지션 비교기 (521), 가중된 속도 비교기 (522), 및 가중된 가속도 비교기 (523) 를 포함한다.
도 5 에서, 잠재적인 시선 타겟 선택기 (520) 는 입력으로서 시선 좌표 스트림 (501) 을 수신할 수도 있으며, 시선 좌표 스트림 (501) 은 안구-대향 센서 (103) 로부터의 출력을 포함할 수도 있고, 또는 그 출력으로부터 도출될 수도 있다. 잠재적인 시선 타겟 선택기 (520) 는 또한, 입력으로서 잠재적인 시선 타겟 좌표 스트림들 (502) 을 수신할 수도 있으며, 잠재적인 시선 타겟 좌표 스트림들 (502) 은 잠재적인 시선 타겟들을 식별하고 대응하는 잠재적인 시선 타겟 좌표 스트림들 (502) 을 추출하기 위해 디지털 카메라 (102) 로부터의 디지털 장면 정보를 분석하는, 잠재적인 시선 타겟 검출기 (510) 로부터의 출력을 포함할 수도 있고, 또는 그 출력으로부터 도출될 수도 있다. 잠재적인 시선 타겟 선택기 (520) 는 출력으로서, 선택된 시선 타겟 좌표 스트림 (503) 을 생성할 수도 있고, 안구 추적 정확도 인핸서 (500) 는 선택된 시선 타겟 좌표 스트림 (503) 을 변경된 시선 좌표 스트림 (504) 으로서 적용할 수도 있다.
일부 실시형태들에서, 잠재적인 시선 타겟 검출기 (510) 는 디지털 카메라 (102) 로부터 수신된 비디오 스트림을 분석하여 그로부터 잠재적인 시선 타겟들을 추출할 수도 있다. 잠재적인 시선 타겟 검출기 (510) 는 각각의 식별된 잠재적인 시선 타겟에 대한 포지션 좌표들의 스트림을 포함하는, 잠재적인 시선 타겟 좌표 스트림들 (502) 을 공급할 수도 있다. 안구 추적 정확도 인핸서 (500) 는 옵션으로는 본 명세서에서 설명한 바와 같이, 잠재적인 시선 타겟 좌표 스트림들 (502) 을 임의의 원하는 좌표 공간으로 바꿀 수도 있다. 한편, 안구 추적 정확도 인핸서 (500) 는 또한, 시선 좌표 스트림 (501) 을 잠재적인 시선 타겟 좌표 스트림들 (502) 의 좌표 공간과 동일한 좌표 공간으로 바꿀 수도 있다. 시선 좌표 스트림 (501) 은 추적되는 안구에 대한 포지션 좌표들의 스트림을 포함할 수도 있다.
일부 실시형태들에서, 가중된 포지션 비교기 (521) 는 잠재적인 시선 타겟 좌표 스트림들 (502) 각각에서의 포지션 좌표들을 시선 좌표 스트림 (501) 에서의 포지션 좌표들과 비교할 수도 있다. 가중된 포지션 비교기 (521) 는 그 대응하는 잠재적인 시선 타겟 좌표 스트림의 시선 좌표 스트림 (501) 에서의 포지션 좌표들과의 근접성에 기초하여 각각의 식별된 잠재적인 시선 타겟에 가중치를 할당할 수도 있다. 가중된 포지션 비교기 (521) 는 시선 좌표 스트림 (501) 에 더 밀접하게 근접한 좌표 스트림들을 갖는 식별된 잠재적인 시선 타겟들에 더 강한 가중치들을 할당할 수도 있다. 일부 실시형태들에서, 시선 좌표 스트림 (501) 및 잠재적인 시선 타겟 좌표 스트림들 (502) 은 시간 정보를 포함할 수도 있고, 가중된 포지션 비교기 (521) 는 다수의 상이한 시점들에서의 포지션 좌표들을 비교하도록 적응될 수도 있다. 일부 실시형태들에서, 가중된 포지션 비교기 (521) 는 실질적으로 시선 좌표 스트림 (501) 에 대한 오차 경계 밖의 포지션 좌표들을 포함하는 좌표 스트림들을 갖는 식별된 잠재적인 시선 타겟들을 제거하도록 적응될 수도 있다. 제거된 잠재적인 시선 타겟들은 안구 추적 정확도 인핸서 (500) 에 의한 현재의 선택 동작을 위한 후보들로서 일시적으로 없어질 수도 있다.
일부 실시형태들에서, 속도 추출기 (530) 는 시선 좌표 스트림 (501) 의 일계 시간 도함수 d/dt 를 계산하여 이로써 시선 속도를 컴퓨팅하도록 적응될 수도 있다. 유사하게, 속도 추출기 (540) 는 잠재적인 시선 타겟 좌표 스트림들 (502) 각각의 일계 시간 도함수들 d/dt 를 계산하여, 가중된 포지션 비교기 (521) 해 현재의 선택 동작으로부터 제거될 수도 있는 그 식별된 잠재적인 시선 타겟들보다는, 각각의 식별된 잠재적인 시선 타겟에 대한 속도를 컴퓨팅하도록 적응될 수도 있다.
가중된 속도 비교기 (522) 는 잠재적인 시선 타겟 좌표 스트림들 (502) 각각의 계산된 속도들을 시선 좌표 스트림 (501) 의 계산된 속도와 비교하도록 적응될 수도 있다. 가중된 속도 비교기 (522) 는 각각의 식별된 잠재적인 시선 타겟에, 그 계산된 속도와 시선 좌표 스트림 (501) 의 계산된 속도 간의 매치 정도에 기초하여 가중치를 할당할 수도 있다. 가중된 속도 비교기 (522) 는 시선 좌표 스트림 (501) 의 속도에 더 밀접하게 매칭하는 속도들을 갖는 식별된 잠재적인 시선 타겟들에 더 강한 가중치들을 할당할 수도 있다. 일부 실시형태들에서, 가중된 속도 비교기 (522) 는 시선 좌표 스트림 (501) 의 안구 속도에 실질적으로 매칭하는 속도를 갖는 식별된 잠재적인 시선 타겟들에, 일반적으로 더 강한 가중치들, 예를 들어 가중된 포지션 비교기 (521) 에 의해 적용된 가중치들보다 더 강한 가중치들을 할당할 수도 있는 한편, 가중된 속도 비교기 (522) 는 다르게는 시선 좌표 스트림 (501) 의 속도에 실질적으로 매칭하지 않는 속도를 갖는 식별된 잠재적인 시선 타겟들에 약간의 가중치를 할당하거나 가중치를 할당하지 않을 수도 있다. 가중된 속도 비교기 (522) 는 다수의 상이한 시점들에서의 속도들을 비교하도록 적응될 수도 있다. 일부 실시형태들에서, 가중된 속도 비교기 (522) 는 시선 좌표 스트림 (501) 에 대한 계산된 속도와는 실질적으로 상이한 속도들, 이를 테면, 일 예로 실질적으로 상이한 방향들, 예를 들어 90 도 차이 이상을 갖는 속도들, 또는 실질적으로 상이한 크기들, 이를 테면 일 예로 50% 의 시선 속도 이하, 또는 200% 의 시선 속도 이상을 갖는 속도들을 갖는 식별된 잠재적인 시선 타겟들을 제거하도록 적응될 수도 있다.
일부 실시형태들에서, 가속도 추출기 (550) 는 시선 좌표 스트림 (501) 의 이계 시간 도함수 d 2 /dt 2 를 계산하여 시선 가속도를 컴퓨팅하도록 적응될 수도 있다. 유사하게, 가속도 추출기 (570) 는 잠재적인 시선 타겟 좌표 스트림들 (502) 각각의 이계 시간 도함수들 d 2 /dt 2 를 계산하여, 가중된 포지션 비교기 (521) 및/또는 가중된 속도 비교기 (522) 에 의해 현재의 선택 동작으로부터 제거될 수도 있는 그 식별된 잠재적인 시선 타겟들보다는, 각각의 식별된 잠재적인 시선 타겟에 대한 가속도를 컴퓨팅하도록 적응될 수도 있다.
필터 (560) 는 가속도 추출기 (550) 로부터의 계산된 가속도 출력들을 필터링하도록 적응될 수도 있다. 일부 경우들에서, 가속도 출력들은 유용한 비교들을 위해 너무 노이지 (noisy) 한 것으로 입증할 수도 있다. 필터 (560) 는 예를 들어, 소정의 고속 백-앤드-포스 (fast-back-and-forth) 타입 안구 가속도들을 제거하기 위해 및/또는 "급변하는" 소규모 및 짧은 시간 프레임 안구 가속도들을 제거하면서 더 광범위한 안구 가속도 정보를 캡처하기 위해 가속도 출력들을 평활화할 수도 있다.
안구 기계 모델 시뮬레이터 (580) 는 대응하는 식별된 잠재적인 시선 타겟들을 뒤따르는 가상적인 안구에 대한 안구 가속도들을 시뮬레이션함으로써 잠재적인 시선 타겟 좌표 스트림들 (502) 각각에 대한 계산된 가속도들을 변경하도록 적응될 수도 있다. 일부 실시형태들에서, 안구 기계 모델 시뮬레이터 (580) 는 예를 들어, 래그 및 오버슈트 모션을 잠재적인 시선 타겟 좌표 스트림들 (502) 각각에 대한 계산된 가속도들에 더할 수도 있다. 일부 실시형태들에서, 안구 기계 모델 시뮬레이터는, 가속도 추출기 (570) 와 가중된 가속도 비교기 (523) 사이의 안구 기계 모델 시뮬레이터 (580) 대신에 또는 그것에 추가하여, 속도 추출기 (540) 와 가중된 속도 비교기 (522) 사이 및/또는 잠재적인 시선 타겟 좌표 스트림들 (502) 과 가중된 포지션 비교기 (521) 사이에 배치될 수도 있다.
가중된 가속도 비교기 (523) 는 안구 기계 모델 시뮬레이터 (580) 에 의해 옵션으로 변경한 바와 같이, 잠재적인 시선 타겟 좌표 스트림들 (502) 각각의 계산된 가속도들을, 필터 (560) 에 의해 옵션으로 변경한 바와 같이, 시선 좌표 스트림 (501) 의 계산된 가속도와 비교하도록 적응될 수도 있다. 가중된 가속도 비교기 (523) 는 각각의 식별된 잠재적인 시선 타겟에, 그 계산된 가속도와 시선 좌표 스트림 (501) 의 계산된 가속도 간의 매치 정도에 기초하여 가중치를 할당할 수도 있다. 가중된 가속도 비교기 (523) 는 시선 좌표 스트림 (501) 의 가속도에 더 밀접하게 매칭하는 가속도를 갖는 식별된 잠재적인 시선 타겟들에 더 강한 가중치들을 할당할 수도 있다. 일부 실시형태들에서, 가중된 가속도 비교기 (523) 는, 시선 좌표 스트림 (501) 의 가속도에 실질적으로 매칭하는 가속도를 갖는 식별된 잠재적인 시선 타겟들에, 매우 강한 가중치들, 예를 들어 가중된 포지션 비교기 (521) 및/또는 가중된 속도 비교기 (522) 에 의해 적용된 가중치들보다 더 강한 가중치들을 할당할 수도 있는 한편, 가중된 가속도 비교기 (523) 는 다르게는 시선 좌표 스트림 (501) 의 가속도에 실질적으로 매칭하지 않는 가속도를 갖는 식별된 잠재적인 시선 타겟들에 약간의 가중치를 할당하거나 또는 가중치를 할당하지 않을 수도 있다. 가중된 가속도 비교기 (523) 는 다수의 상이한 시점들에서의 가속도를 비교하도록 적응될 수도 있다.
일부 실시형태들에서, 잠재적인 시선 타겟 선택기 (520) 는 각각의 식별된 잠재적인 시선 타겟에 대해, 가중된 포지션 비교기 (521), 가중된 속도 비교기 (522), 및/또는 가중된 가속도 비교기 (523) 각각에 의해 적용된 가중치들을 집계하도록 적응될 수도 있다. 잠재적인 시선 타겟 선택기 (520) 는 가장 강한 집계 가중치를 갖는 식별된 잠재적인 시선 타겟을 선택할 수도 있다. 잠재적인 시선 타겟 선택기 (520) 는 예를 들어, 선택된 시선 타겟에 대응하는 잠재적인 시선 타겟 좌표 스트림들 (502) 중에서 좌표 스트림을 포함하는, 선택된 시선 타겟 좌표 스트림 (503) 을 출력할 수도 있다. 일부 실시형태들에서, 선택된 시선 타겟 좌표 스트림 (503) 은, 시선 좌표 스트림 (501) 의 변화들에 기초하여 상이한 식별된 잠재적인 시선 타겟들이 잠재적인 시선 타겟 선택기 (520) 에 의해 동적으로 선택될 때, 실시간으로, 상이한 선택된 시선 타겟 좌표 스트림들 간에 동적으로 스위칭할 수도 있다. 안구 추적 정확도 인핸서 (500) 는, 선택된 시선 타겟 좌표 스트림 (503) 을 변경된 시선 좌표 스트림 (504) 으로서 저장하거나, 송신하거나, 그렇지 않으면 적용할 수도 있다.
도 6 은 본 개시물의 적어도 일부 실시형태들에 따라 배열된, 잠재적인 시선 타겟들, 검출된 시선 타겟, 선택된 시선 타겟, 및 선택된 시선 타겟에 대한 AR 정보를 포함하는 장면을 예시하는 다이어그램이다. 도 6 은 장면 (600) 을 예시한다. 장면 (600) 은 모션 M(F1) 을 보이는 잠재적인 시선 타겟 (601), 모션 M(F2) 을 보이는 잠재적인 시선 타겟 (602), 및 모션 M(F3) 을 보이는 잠재적인 시선 타겟 (603) 을 포함한다. 검출된 시선 타겟 (141) 은 모션 M(DT) 을 보일 수도 있다. 잠재적인 시선 타겟들 (601 내지 603), 검출된 시선 타겟 (141), 및 그의 모션들은 본 명세서에서 개시한 바와 같이 획득될 수도 있고, 잠재적인 시선 타겟 (603) 은 본 명세서에서 개시된 기법들에 따라, 선택된 시선 타겟 (142) 으로서 선택될 수도 있다.
도 6 에서, 컴퓨팅 디바이스, 이를 테면 컴퓨팅 디바이스 (300) 는, 선택된 시선 타겟 (142) 에 대한 AR 정보 (610) 를 결정할 수도 있다. 예를 들어, 컴퓨팅 디바이스 (300) 의 사용자가 자동차 경주를 시청중일 때, 컴퓨팅 디바이스 (300) 는 선택된 시선 타겟 (142) 에서의 자동차를 식별하는 AR 정보를, 옵션으로는 그 자동차에 대한 속도, 운전자, 또는 다른 정보와 함께 디스플레이할 수도 있다. 이러한 AR 정보는 컴퓨팅 디바이스 (300) 에 로컬로 저장된 정보로부터 및/또는 컴퓨터 네트워크로부터, 선택된 시선 타겟 (142) 에서의 자동차를 식별하기 위해 장면 (600) 으로부터 도출된 정보를 이용하여 취출될 수도 있다.
도 7 은 잠재적인 시선 타겟들, 검출된 시선 타겟, 및 선택된 시선 타겟을 포함하는 장면을 예시하는 다이어그램이며, 여기서 선택된 시선 타겟은 본 개시물의 적어도 일부 실시형태들에 따라 배열된, 적어도 하나의 컴퓨팅 디바이스 기능을 제어하기 위한 사용자 입력으로서 적용될 수도 있다. 도 7 은 장면 (700) 을 예시한다. 장면 (700) 은 잠재적인 시선 타겟 (701), 잠재적인 시선 타겟 (702), 잠재적인 시선 타겟 (703), 잠재적인 시선 타겟 (704), 잠재적인 시선 타겟 (705), 잠재적인 시선 타겟 (706), 및 잠재적인 시선 타겟 (707) 을 포함하며, 잠재적인 시선 타겟들 (701 내지 705) 은 컴퓨팅 디바이스 디스플레이에서 디스플레이된 UI 내에 있다. 잠재적인 시선 타겟들 (706 및 707) 은 예를 들어, 장면 (700) 내에서 식별된 다른 잠재적인 시선 타겟들을 포함한다. 잠재적인 시선 타겟들 (701 내지 707) 및 검출된 시선 타겟 (141) 은 본 명세서에서 개시한 바와 같이 획득될 수도 있으며, 잠재적인 시선 타겟 (703) 은 본 명세서에서 개시된 기법들에 따라, 선택된 시선 타겟 (142) 으로서 선택될 수도 있다. 안구 추적 매칭은, 사용자 헤드 모션이 정지된 오브젝트들로 하여금, 안구 좌표 시스템에서의 포지션을 변화하게 할 수도 있기 때문에 안구 모션을 심지어는 정지된 오브젝트들의 시야의 모션에 매칭시키는데 유용할 수도 있다.
도 7 에서, 컴퓨팅 디바이스, 이를 테면 컴퓨팅 디바이스 (300) 는 컴퓨팅 디바이스 기능들, 예를 들어 장면 (700) 에서의 컴퓨팅 디바이스의 기능을 제어하기 위한 사용자 입력으로서 선택된 시선 타겟 (142) 을 적용할 수도 있다. 컴퓨팅 디바이스 (300) 는 예를 들어, 장면 (700) 에서의 컴퓨팅 디바이스에, 잠재적인 시선 타겟 (703) 에서의 UI 엘리먼트를 선택하라는 커맨드를 전송할 수도 있다. 컴퓨팅 디바이스 (300) 는 장면 (700) 에서의 컴퓨팅 디바이스는 물론, UI (710) 및 그의 잠재적인 시선 타겟들을 인식하여, 컴퓨팅 디바이스 (300) 가 장면 (700) 에서의 컴퓨팅 디바이스에 적절한 UI 커맨들를 전송하는 것을 허용하도록 적응될 수도 있다. 대안으로, 컴퓨팅 디바이스 (300) 는 사전에, 예를 들어, 사용자에 의해, UI (710) 및 그의 다양한 제어들을 인식하고, 장면 (700) 에서의 컴퓨팅 디바이스와 통신하도록 구성될 수도 있다. 일부 실시형태들에서, 컴퓨팅 디바이스 (300) 는 컴퓨팅 디바이스 (300) 에서 UI (710) 의 기능들을 복제하여 옵션으로는 컴퓨팅 디바이스 (300) 의 기능들을 제어할 수도 있다.
시스템들의 양태들의 하드웨어와 소프트웨어 구현들 사이에는 거의 차이가 존재하지 않는다 ; 하드웨어 또는 소프트웨어의 사용은 일반적으로 비용 대 효율 트레이드오프들을 나타내는 설계 선택이다 (그러나, 소정의 맥락들에서는, 하드웨어와 소프트웨어의 간의 선택이 중요해질 수도 있다는 점에서 항상 그런 것은 아니다). 본 명세서에서 설명된 프로세스들 및/또는 시스템들 및/또는 다른 기술들을 유효하게 할 수도 있는 다양한 수단들 (예를 들어, 하드웨어, 소프트웨어, 및/또는 펌웨어) 이 존재하며, 선호 수단은 프로세스들 및/또는 시스템들 및/또는 다른 기술들이 효율적으로 사용되는 맥락에 따라 변할 것이다. 예를 들어, 구현자가 속도 및 정확도가 다른 무엇보다 중요하다고 결정한다면, 그 구현자는 주로 하드웨어 및/또는 펌웨어 수단을 선택할 수도 있으며; 가요성이 다른 무엇보다 중요하다면, 구현자는 주로 소프트웨어 구현을 선택할 수도 있으며; 또는 또 다른 대안으로, 구현자는 하드웨어, 소프트웨어, 및/또는 펌웨어의 일부 조합을 선택할 수도 있다.
전술한 상세한 설명은 블록 다이어그램들, 플로우차트들, 및/또는 예들의 이용을 통해 디바이스들 및/또는 프로세스들의 다양한 실시형태들을 기재하고 있다. 이러한 블록 다이어그램들, 플로우차트들, 및/또는 예들이 하나 이상의 기능들 및/또는 동작들을 포함하는 한에 있어서는, 이러한 블록 다이어그램들, 플로우차트들, 또는 예들 내의 각각의 기능 및/또는 동작이 개별적으로 및/또는 집합적으로, 다양한 하드웨어, 소프트웨어, 펌웨어, 또는 사실상 이들의 임의의 조합에 의해 구현될 수도 있다는 것이 당업자에 의해 이해될 것이다. 하나의 실시형태에서, 본 명세서에서 설명된 요지의 여러 부분들은 주문형 집적 회로들 (ASIC들), 필드 프로그램가능 게이트 어레이들 (FPGA들), 디지털 신호 프로세서들 (DSP들), 또는 다른 집적 포맷들을 통해 구현될 수도 있다. 그러나, 당업자는, 본 명세서에서 개시된 실시형태들의 일부 양태들이 완전히 또는 부분적으로 집적 회로들에서, 하나 이상의 컴퓨터들 상에서 실행되는 하나 이상의 컴퓨터 프로그램들로서 (예를 들어, 하나 이상의 컴퓨터 시스템들 상에서 실행되는 하나 이상의 프로그램들로서), 하나 이상의 프로세서들 상에서 실행되는 하나 이상의 프로그램들로서 (예를 들어, 하나 이상의 마이크로프로세서들 상에서 실행되는 하나 이상의 프로그램들로서), 펌웨어로서, 또는 사실상 이들의 임의의 조합으로서 등가 구현될 수도 있고, 회로부를 설계하는 것 및/또는 소프트웨어 및 또는 펌웨어에 대한 코드를 기입하는 것이 본 개시물의 견지에서 당업자의 스킬 내에 있을 것이라는 것을 인정할 것이다. 또한, 당업자는 본 명세서에서 설명된 요지의 메커니즘들이 다양한 형태들의 프로그램 제품으로서 배포될 가능성이 있고, 본 명세서에서 설명된 요지의 예시적인 실시형태가 그 배포를 실제로 수행하는데 이용되는 신호 베어링 매체의 특정 타입에 상관없이 적용된다는 것을 인정할 것이다. 신호 베어링 매체의 예들은, 다음 : 기록가능 타입 매체, 이를 테면 플로피 디스크, 하드 디스크 드라이브, 콤팩트 디스크 (CD), 디지털 비디오 디스크 (DVD), 디지털 테이프, 컴퓨터 메모리 등; 및 송신 타입 매체, 이를 테면 디지털 및/또는 아날로그 통신 매체 (예를 들어, 광섬유 케이블, 도파관, 유선 통신 링크, 무선 통신 링크 등) 를 포함하지만 이들에 한정되지 않는다.
당업자는 본 명세서에서 기재된 방식으로 디바이스들 및/또는 프로세스들을 설명하고, 후에 이러한 설명된 디바이스들 및/또는 프로세스들을 데이터 프로세싱 시스템들에 통합하기 위해 엔지니어링 실무를 이용하는 것이 당업계에서 공통적이라는 것을 인정할 것이다. 즉, 본 명세서에서 설명된 디바이스들 및/또는 프로세스들의 적어도 일부는 합당한 양의 실험을 통해 데이터 프로세싱 시스템에 통합될 수도 있다. 당업자는, 통상의 데이터 프로세싱 시스템이 일반적으로 시스템 유닛 하우징, 비디오 디스플레이 디바이스, 휘발성 및 비휘발성 메모리와 같은 메모리, 마이크로프로세서들 및 디지털 신호 프로세서들과 같은 프로세서들, 오퍼레이팅 시스템들, 드라이버들, 그래픽 사용자 인터페이스들, 및 애플리케이션 프로그램들과 같은 컴퓨테이션 엔티티들, 하나 이상의 상호작용 디바이스들, 이를 테면 터치 패드 또는 스크린, 및/또는 피드백 루프들 및 제어 모터들을 포함하는 제어 시스템들 (예를 들어, 포지션 및/또는 속도를 감지하기 위한 피드백; 컴포넌트들 및/또는 양들을 이동 및/또는 조정하기 위한 제어 모터들) 중 하나 이상을 포함한다는 것을 인정할 것이다. 통상의 데이터 프로세싱 시스템은 데이터 컴퓨팅/통신 및/또는 네트워크 컴퓨팅/통신 시스템들에서 통상 확인되는 것들과 같은 임의의 적합한 상업적으로 이용가능한 컴포넌트들을 활용하여 구현될 수도 있다. 본 명세서에서 설명된 요지는 때로는 상이한 다른 컴포넌트들 내에 포함되거나 또는 이들과 연결된 상이한 컴포넌트들을 예시한다. 이러한 묘사된 아키텍처들은 단지 예들이며 사실은 동일한 기능성을 달성하는 많은 다른 아키텍처들이 구현될 수도 있다는 것이 이해될 것이다. 개념적 의미로, 동일한 기능성을 달성하기 위한 컴포넌트들의 임의의 어레인지먼트는 원하는 기능성이 달성되도록 효과적으로 "연관된다". 따라서, 특정 기능성을 달성하기 위해 본 명세서에서 조합된 임의의 2 개의 컴포넌트들은, 아키텍처들 또는 중간 컴포넌트들과 관계없이, 원하는 기능성이 달성되도록 서로 "연관되는" 것으로 보일 수도 있다. 마찬가지로, 이렇게 연관된 임의의 2 개의 컴포넌트들은 또한 원하는 기능성을 달성하기 위해 서로 "동작적으로 연결되는" 또는 "동작적으로 커플링되는" 것으로 보일 수도 있으며, 이렇게 연관되는 것이 가능한 임의의 2 개의 컴포넌트들은 또한 원하는 기능성을 달성하기 위해 서로 "동작적으로 커플링가능한" 것으로 보일 수도 있다. 동작적으로 커플링가능한 것의 특정 예들은 물리적으로 연결가능한 및/또는 물리적으로 상호작용하는 컴포넌트들 및/또는 무선으로 상호작용가능한 및/또는 무선으로 상호작용하는 컴포넌트들 및/또는 논리적으로 상호작용하는 및/또는 논리적으로 상호작용가능한 컴포넌트들을 포함하지만 이들에 한정되지 않는다.
본 명세서에서의 실질적으로 임의의 복수 및/또는 단수 용어들의 사용과 관련하여, 당업자는 문맥 및/또는 애플리케이션에 적절하게 복수로부터 단수로 및/또는 단수로부터 복수로 번역할 수 있다. 다양한 단수/복수 치환들은 명료함을 위해 본 명세서에서 분명히 기재될 수도 있다.
일반적으로, 본 명세서에서 그리고 특히 첨부된 청구항들 (예를 들어, 첨부된 청구항들의 본문들) 에서 사용되는 용어들은 일반적으로 "개방형" 용어들 (예를 들어, 용어 "포함하는" 은 "포함하지만 한정되지 않는" 으로서 해석되어야 하고, 용어 "갖는" 은 "적어도 갖는" 으로서 해석되어야 하고, 용어 "포함한다" 는 "포함하지만 한정되지 않는다" 로서 해석되어야 하며 등등이다) 로서 의도된다는 것이 당업자에 의해 이해될 것이다. 또한, 특정 수의 도입된 청구항 기재가 의도된다면, 이러한 의도는 청구항에서 명시적으로 기재될 것이며, 이러한 기재의 부존재 시에는 이러한 의도가 존재하지 않는다는 것이 당업자에 의해 이해될 것이다. 예를 들어, 이해를 돕기 위한 한 수단으로서, 다음의 첨부된 청구항들은 청구항 기재들을 도입하기 위해 도입 어구들 "적어도 하나" 및 "하나 이상" 의 사용을 포함할 수도 있다. 그러나, 이러한 어구들의 사용은 부정관사들 "a" 또는 "an" 에 의한 청구항 기재의 도입이, 이러한 도입된 청구항 기재를 포함하는 임의의 특정 청구항을, 동일한 청구항이 도입 어구들 "하나 이상" 또는 "적어도 하나" 및 "a" 또는 "an" (예를 들어, "a" 및/또는 "an" 은 "적어도 하나" 또는 "하나 이상" 을 의미하도록 해석되어야 한다) 과 같은 부정관사들을 포함하는 경우라도 단지 하나의 이러한 기재를 포함하는 발명들로 한정한다는 것을 의미하는 것으로 해석되지 않아야 하며; 청구항 기재들을 도입하는데 사용된 정관사들의 사용의 경우에도 마찬가지이다. 또한, 특정 수의 도입된 청구항 기재가 명시적으로 기재되는 경우라도, 당업자는 이러한 기재가 적어도 기재된 수를 의미하는 것으로 해석되어야 한다는 것을 인정할 것이다 (예를 들어, 다른 수식어 없이 단지 "2 기재들" 이라는 기재는 적어도 2 기재들, 또는 2 이상의 기재들을 통상 의미한다). 더욱이, "A, B, 및 C 중 적어도 하나 등" 과 유사한 약속이 사용되는 그 경우들에서, 일반적으로 이러한 구조는 당업자가 그 약속을 이해할 것이라는 의미로 의도된다 (예를 들어, "A, B, 및 C 중 적어도 하나를 갖는 시스템" 은 A 단독, B 단독, C 단독, A 및 B 를 함께, A 및 C 를 함께, B 및 C 를 함께, 및/또는 A, B, 및 C 를 함께 등을 갖는 시스템들을 포함할 것이지만 이들에 한정되지 않는다). "A, B, 또는 C 중 적어도 하나 등" 과 유사한 약속이 사용되는 그 경우들에서, 일반적으로 이러한 구조는 당업자가 그 약속을 이해할 것이라는 의미로 의도된다 (예를 들어, "A, B, 또는 C 중 적어도 하나를 갖는 시스템" 은 A 단독, B 단독, C 단독, A 및 B 를 함께, A 및 C 를 함께, B 및 C 를 함께, 및/또는 A, B, 및 C 를 함께 등을 갖는 시스템들을 포함할 것이지만 이들에 한정되지 않는다). 또한, 2 개 이상의 대안의 용어들을 제시하는 사실상 임의의 선언적 단어 및/또는 어구는 상세한 설명, 청구항들, 또는 도면들 중 어디에 있든, 용어들 중 하나, 용어들 중 어느 하나, 또는 양자의 용어들을 포함할 가능성들을 고려하는 것으로 이해되어야 한다는 것이 당업자에 의해 이해될 것이다. 예를 들어, 어구 "A 또는 B" 는 "A" 또는 "B" 또는 "A 및 B" 의 가능성들을 포함하는 것으로 이해될 것이다.
소정의 예시적인 기법들이 다양한 방법들, 디바이스들 및 시스템들을 이용하여 본 명세서에서 설명 및 도시되었지만, 청구된 요지로부터 벗어남 없이, 다양한 다른 변경들이 이루어질 수도 있고, 등가물들이 대체될 수도 있다는 것이 당업자에 의해 이해되어야 한다. 추가적으로, 본 명세서에서 설명된 중심 개념으로부터 벗어남 없이 다수의 변경들이 특정 상황을 청구된 요지의 교시들에 적응시키기 위해 이루어질 수도 있다. 따라서, 청구된 요지는 개시된 특정 예들에 한정되지 않고 이러한 청구된 요지가 또한 청부된 청구항들의 범위, 및 그 등가물들 내에 놓이는 모든 구현들을 포함할 수도 있는 것으로 의도된다.

Claims (21)

  1. 안구 추적 방법으로서,
    컴퓨팅 디바이스에 의해, 안구-대향 (eye-facing) 센서로부터 적어도 하나의 안구에 대한 시선 방향 정보를 수신하는 것;
    상기 컴퓨팅 디바이스에 의해, 디지털 카메라로부터 디지털 장면 정보를 수신하는 것으로서, 상기 디지털 카메라는 상기 적어도 하나의 안구에 의해 보이는 장면으로부터 상기 디지털 장면 정보를 캡처하도록 배향되는, 상기 디지털 장면 정보를 수신하는 것;
    상기 컴퓨팅 디바이스에 의해, 상기 시선 방향 정보에 기초하여, 상기 디지털 장면 정보 내의 검출된 시선 타겟을 결정하는 것;
    상기 컴퓨팅 디바이스에 의해, 상기 디지털 장면 정보 내에서 하나 이상의 잠재적인 시선 타겟들을 식별하기 위해 상기 디지털 장면 정보를 분석하는 것으로서, 상기 하나 이상의 잠재적인 시선 타겟들은 :
    상기 디지털 장면 정보 내의 정지된 시선 타겟;
    상기 디지털 장면 정보 내의 이동하는 시선 타겟; 또는
    상기 디지털 장면 정보 내의 가속하는 시선 타겟;
    중 하나 이상을 포함하는, 상기 디지털 장면 정보를 분석하는 것; 및
    상기 컴퓨팅 디바이스에 의해, 식별된 상기 하나 이상의 잠재적인 시선 타겟들 중에서 선택된 시선 타겟을 선택하는 것으로서, 상기 선택된 시선 타겟은 상기 디지털 장면 정보 내의 포지션을 가지며, 상기 선택된 시선 타겟의 포지션은 상기 검출된 시선 타겟을 둘러싸는 오차 경계 이내인, 상기 선택된 시선 타겟을 선택하는 것
    을 포함하는, 안구 추적 방법.
  2. 제 1 항에 있어서,
    상기 컴퓨팅 디바이스에 의해, 상기 디지털 장면 정보 내에서 하나 이상의 잠재적인 시선 타겟들을 식별하기 위해 상기 디지털 장면 정보를 분석하는 것은, 상기 디지털 장면 정보 내에서 오브젝트 인식을 수행하여, 인식된 오브젝트들을 포함하는 잠재적인 시선 타겟들을 결정하는 것을 포함하는, 안구 추적 방법.
  3. 제 1 항에 있어서,
    상기 컴퓨팅 디바이스에 의해, 상기 디지털 장면 정보 내에서 하나 이상의 잠재적인 시선 타겟들을 식별하기 위해 상기 디지털 장면 정보를 분석하는 것은, 상기 디지털 장면 정보 내에서 관련 그래픽 특징들의 하나 이상의 세트들을 식별하여 관련 그래픽 특징들의 세트들을 포함하는 잠재적인 시선 타겟들을 결정하는 것을 포함하는, 안구 추적 방법.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 선택된 시선 타겟을 선택하는 것은 상기 이동하는 시선 타겟을 선택하는 것을 포함하며, 상기 이동하는 시선 타겟은 검출된 시선 타겟 속도에 매칭하는 속도를 갖는, 안구 추적 방법.
  6. 제 1 항에 있어서,
    상기 선택된 시선 타겟을 선택하는 것은 상기 가속하는 시선 타겟을 선택하는 것을 포함하며, 상기 가속하는 시선 타겟은 검출된 시선 타겟 가속도에 매칭하는 가속도를 갖는, 안구 추적 방법.
  7. 제 1 항에 있어서,
    검출된 시선 타겟 속도 히스토리 또는 안구 기계 모델 시뮬레이터 (eye mechanical model simulator) 중 하나 이상에 기초하여, 검출된 시선 타겟 속도 또는 검출된 시선 타겟 가속도 중 하나 이상을 결정하는 것을 더 포함하는, 안구 추적 방법.
  8. 제 1 항에 있어서,
    상기 컴퓨팅 디바이스에 의해, 상기 선택된 시선 타겟을 선택하는 것은, 복수의 잠재적인 시선 타겟들에 가중치들을 동적으로 할당하는 것, 및 상기 선택된 시선 타겟을 선택하기 위해 동적으로 할당된 상기 가중치들을 이용하는 것을 포함하는, 안구 추적 방법.
  9. 제 1 항에 있어서,
    상기 컴퓨팅 디바이스에 의해, 상기 선택된 시선 타겟의 포지션을 포함하도록 상기 검출된 시선 타겟을 변경하는 것, 및
    상기 컴퓨팅 디바이스에 의해, 변경된 상기 검출된 시선 타겟에 기초하여, 디스플레이를 위한 증강 현실 정보를 결정하는 것을 더 포함하는, 안구 추적 방법.
  10. 제 1 항에 있어서,
    상기 컴퓨팅 디바이스에 의해, 상기 선택된 시선 타겟의 포지션을 포함하도록 상기 검출된 시선 타겟을 변경하는 것, 및
    상기 컴퓨팅 디바이스에 의해, 변경된 상기 검출된 시선 타겟을 적어도 하나의 컴퓨팅 디바이스 기능을 제어하기 위한 사용자 입력으로서 적용하는 것을 더 포함하는, 안구 추적 방법.
  11. 제 1 항에 있어서,
    상기 디지털 카메라는 디폴트 프레임 레이트 또는 디폴트 해상도 중 하나 이상을 가지며,
    상기 안구 추적 방법은, 상기 컴퓨팅 디바이스에 의해, 감소된 프레임 레이트, 감소된 해상도, 개선된 프레임 레이트, 또는 개선된 해상도 중 하나 이상에서 상기 디지털 카메라를 동작시켜, 상기 디지털 장면 정보를 캡처하는 것을 더 포함하며,
    상기 감소된 프레임 레이트는 상기 디폴트 프레임 레이트보다 더 낮고, 상기 감소된 해상도는 상기 디폴트 해상도보다 더 낮고, 상기 개선된 프레임 레이트는 상기 디폴트 프레임 레이트보다 더 높고, 상기 개선된 해상도는 상기 디폴트 해상도보다 더 높은, 안구 추적 방법.
  12. 제 1 항에 있어서,
    상기 시선 방향 정보 및 상기 디지털 장면 정보는 각각 실시간 시선 방향 정보 및 실시간 디지털 장면 정보를 포함하며,
    상기 안구 추적 방법은, 상기 실시간 시선 방향 정보 및 상기 실시간 디지털 장면 정보가 수신될 때 실시간으로, 상기 검출된 시선 타겟을 변경하는 것을 더 포함하는, 안구 추적 방법.
  13. 헤드 장착 디바이스로서,
    적어도 하나의 안구에 의해 보이는 장면으로부터 실시간 디지털 장면 정보를 캡처하도록 배향된 디지털 카메라;
    상기 적어도 하나의 안구에 대한 실시간 시선 방향 정보를 검출하도록 적응된 안구-대향 (eye-facing) 센서;
    프로세서;
    메모리; 및
    상기 메모리에 저장되고 상기 프로세서에 의해 실행가능한 안구 추적 정확도 인핸서 (eye tracking accuracy enhancer) 를 포함하며,
    상기 안구 추적 정확도 인핸서는 :
    상기 안구-대향 센서로부터 상기 실시간 시선 방향 정보를 수신하고;
    상기 디지털 카메라로부터 상기 실시간 디지털 장면 정보를 수신하고;
    상기 실시간 시선 방향 정보에 기초하여, 상기 실시간 디지털 장면 정보 내의 검출된 시선 타겟을 결정하고;
    상기 실시간 디지털 장면 정보 내에서 하나 이상의 잠재적인 시선 타겟들을 식별하기 위해 상기 실시간 디지털 장면 정보를 분석하는 것으로서, 상기 하나 이상의 잠재적인 시선 타겟들은 :
    상기 실시간 디지털 장면 정보 내의 정지된 시선 타겟;
    상기 실시간 디지털 장면 정보 내의 이동하는 시선 타겟; 또는
    상기 실시간 디지털 장면 정보 내의 가속하는 시선 타겟;
    중 하나 이상을 포함하는, 상기 실시간 디지털 장면 정보를 분석하며; 그리고
    식별된 상기 하나 이상의 잠재적인 시선 타겟들 중에서 선택된 시선 타겟을 선택하도록 구성되고,
    상기 선택된 시선 타겟은 상기 실시간 디지털 장면 정보 내의 포지션을 가지며, 상기 선택된 시선 타겟의 포지션은 상기 검출된 시선 타겟을 둘러싸는 오차 경계 이내인, 헤드 장착 디바이스.
  14. 삭제
  15. 제 13 항에 있어서,
    상기 선택된 시선 타겟은 상기 이동하는 시선 타겟을 포함하며, 상기 이동하는 시선 타겟은 검출된 시선 타겟 속도에 매칭하는 속도를 갖는, 헤드 장착 디바이스.
  16. 제 13 항에 있어서,
    상기 선택된 시선 타겟은 상기 가속하는 시선 타겟을 포함하며, 상기 가속하는 시선 타겟은 검출된 시선 타겟 가속도에 매칭하는 가속도를 갖는, 헤드 장착 디바이스.
  17. 제 13 항에 있어서,
    상기 안구 추적 정확도 인핸서는 적어도 부분적으로 복수의 잠재적인 시선 타겟들에의 가중치들의 동적 할당에 의해 상기 선택된 시선 타겟을 선택하도록 구성되는, 헤드 장착 디바이스.
  18. 제 13 항에 있어서,
    디스플레이; 및
    상기 디스플레이 상의 실시간 오버레이를 위한 증강 현실 정보를 제공하도록 적응된 증강 현실 정보 제공자를 더 포함하며;
    상기 안구 추적 정확도 인핸서는 상기 선택된 시선 타겟의 포지션을 포함하도록 상기 검출된 시선 타겟을 변경하고, 그리고, 변경된 상기 검출된 시선 타겟을 상기 증강 현실 정보 제공자에 제공하도록 적응되는, 헤드 장착 디바이스.
  19. 제 13 항에 있어서,
    상기 안구 추적 정확도 인핸서는 상기 선택된 시선 타겟의 포지션을 포함하도록 상기 검출된 시선 타겟을 변경하고, 그리고, 변경된 상기 검출된 시선 타겟을 적어도 하나의 헤드 장착 디바이스 기능을 제어하기 위한 사용자 입력으로서 제공하도록 적응되는, 헤드 장착 디바이스.
  20. 제 13 항에 있어서,
    상기 디지털 카메라는 디폴트 프레임 레이트 또는 디폴트 해상도 중 하나 이상을 가지며, 상기 헤드 장착 디바이스는 감소된 프레임 레이트, 감소된 해상도, 개선된 프레임 레이트, 또는 개선된 해상도 중 하나 이상에서 상기 디지털 카메라를 동작시켜, 상기 디지털 장면 정보를 캡처하도록 적응되며, 상기 감소된 프레임 레이트는 상기 디폴트 프레임 레이트보다 더 낮고, 상기 감소된 해상도는 상기 디폴트 해상도보다 더 낮고, 상기 개선된 프레임 레이트는 상기 디폴트 프레임 레이트보다 더 높고, 상기 개선된 해상도는 상기 디폴트 해상도보다 더 높은, 헤드 장착 디바이스.
  21. 프로세서에 의해 실행가능한 컴퓨터 실행가능 명령들을 갖는 비일시적인 컴퓨터 판독가능 저장 매체로서,
    상기 컴퓨터 실행가능 명령들은, 상기 프로세서에 의한 실행에 응답하여, 상기 프로세서로 하여금 :
    안구-대향 (eye-facing) 센서로부터 적어도 하나의 안구에 대한 시선 방향 정보를 식별하는 것;
    디지털 카메라로부터 디지털 장면 정보를 식별하는 것으로서, 상기 디지털 카메라는 상기 적어도 하나의 안구에 의해 보이는 장면으로부터 상기 디지털 장면 정보를 캡처하도록 배향되는, 상기 디지털 장면 정보를 식별하는 것;
    상기 시선 방향 정보에 기초하여, 상기 디지털 장면 정보 내의 검출된 시선 타겟을 결정하는 것;
    상기 디지털 장면 정보 내에서 하나 이상의 잠재적인 시선 타겟들을 식별하기 위해 상기 디지털 장면 정보를 분석하는 것으로서, 상기 하나 이상의 잠재적인 시선 타겟들은 :
    상기 디지털 장면 정보 내의 정지된 시선 타겟;
    상기 디지털 장면 정보 내의 이동하는 시선 타겟; 또는
    상기 디지털 장면 정보 내의 가속하는 시선 타겟;
    중 하나 이상을 포함하는, 상기 디지털 장면 정보를 분석하는 것; 및
    식별된 상기 하나 이상의 잠재적인 시선 타겟들 중에서 선택된 시선 타겟을 선택하는 것으로서, 상기 선택된 시선 타겟은 상기 디지털 장면 정보 내의 포지션을 가지며, 상기 선택된 시선 타겟의 포지션은 상기 검출된 시선 타겟을 둘러싸는 오차 경계 이내인, 상기 선택된 시선 타겟을 선택하는 것
    의 수행을 제어하거나 또는 수행하게 하는, 비일시적인 컴퓨터 판독가능 저장 매체.
KR1020150113317A 2014-08-13 2015-08-11 향상된 안구 추적을 위한 장면 분석 KR101850586B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US14/458,577 US9489739B2 (en) 2014-08-13 2014-08-13 Scene analysis for improved eye tracking
US14/458,577 2014-08-13
CN201510483043.4 2015-08-07
CN201510483043.4A CN105373218B (zh) 2014-08-13 2015-08-07 用于改进眼睛跟踪的场景分析

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020180041622A Division KR101950641B1 (ko) 2014-08-13 2018-04-10 향상된 안구 추적을 위한 장면 분석

Publications (2)

Publication Number Publication Date
KR20160020369A KR20160020369A (ko) 2016-02-23
KR101850586B1 true KR101850586B1 (ko) 2018-04-19

Family

ID=55302541

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020150113317A KR101850586B1 (ko) 2014-08-13 2015-08-11 향상된 안구 추적을 위한 장면 분석
KR1020180041622A KR101950641B1 (ko) 2014-08-13 2018-04-10 향상된 안구 추적을 위한 장면 분석

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020180041622A KR101950641B1 (ko) 2014-08-13 2018-04-10 향상된 안구 추적을 위한 장면 분석

Country Status (3)

Country Link
US (2) US9489739B2 (ko)
KR (2) KR101850586B1 (ko)
CN (2) CN109062415A (ko)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US9489739B2 (en) 2014-08-13 2016-11-08 Empire Technology Development Llc Scene analysis for improved eye tracking
JP2016082462A (ja) * 2014-10-20 2016-05-16 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US10007333B2 (en) 2014-11-07 2018-06-26 Eye Labs, LLC High resolution perception of content in a wide field of view of a head-mounted display
JP6495457B2 (ja) * 2014-12-16 2019-04-03 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 較正の改善、正確性の補償、及び注視定位平滑化を有する注視追跡システム
RU2596062C1 (ru) 2015-03-20 2016-08-27 Автономная Некоммерческая Образовательная Организация Высшего Профессионального Образования "Сколковский Институт Науки И Технологий" Способ коррекции изображения глаз с использованием машинного обучения и способ машинного обучения
US10186086B2 (en) * 2015-09-02 2019-01-22 Microsoft Technology Licensing, Llc Augmented reality control of computing device
US20180366089A1 (en) * 2015-12-18 2018-12-20 Maxell, Ltd. Head mounted display cooperative display system, system including dispay apparatus and head mounted display, and display apparatus thereof
WO2017120247A1 (en) 2016-01-05 2017-07-13 Reald Spark, Llc Gaze correction of multi-view images
US10565723B2 (en) 2016-02-02 2020-02-18 Samsung Electronics Co., Ltd. Systems and methods for drift correction
US10579162B2 (en) 2016-03-24 2020-03-03 Samsung Electronics Co., Ltd. Systems and methods to correct a vehicle induced change of direction
US10057511B2 (en) * 2016-05-11 2018-08-21 International Business Machines Corporation Framing enhanced reality overlays using invisible light emitters
US10095937B2 (en) * 2016-06-21 2018-10-09 GM Global Technology Operations LLC Apparatus and method for predicting targets of visual attention
US11089280B2 (en) * 2016-06-30 2021-08-10 Sony Interactive Entertainment Inc. Apparatus and method for capturing and displaying segmented content
US20180068449A1 (en) * 2016-09-07 2018-03-08 Valve Corporation Sensor fusion systems and methods for eye-tracking applications
KR20180061956A (ko) * 2016-11-30 2018-06-08 삼성전자주식회사 눈 위치 예측 방법 및 장치
KR102544062B1 (ko) * 2017-02-21 2023-06-16 삼성전자주식회사 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
US11452444B2 (en) * 2017-04-03 2022-09-27 Hewlett-Packard Development Company, L.P. Moving image rendering using eye-tracking sensor signal
IL252056A (en) 2017-05-01 2018-04-30 Elbit Systems Ltd Head-up display device, system and method
US10740985B2 (en) 2017-08-08 2020-08-11 Reald Spark, Llc Adjusting a digital representation of a head region
US11269405B2 (en) * 2017-08-31 2022-03-08 Tobii Ab Gaze direction mapping
DE102017219790A1 (de) * 2017-11-07 2019-05-09 Volkswagen Aktiengesellschaft System und Verfahren zum Bestimmen einer Pose einer Augmented-Reality-Brille, System und Verfahren zum Einmessen einer Augmented-Reality-Brille, Verfahren zum Unterstützen einer Posenbestimmung einer Augmented-Reality-Brille und für das Verfahren geeignetes Kraftfahrzeug
US10761322B2 (en) 2018-01-25 2020-09-01 International Business Machines Corporation Targeted content with image capture
US10551914B2 (en) * 2018-02-09 2020-02-04 Microsoft Technology Licensing, Llc Efficient MEMs-based eye tracking system with a silicon photomultiplier sensor
US11017575B2 (en) 2018-02-26 2021-05-25 Reald Spark, Llc Method and system for generating data to provide an animated visual representation
US11783464B2 (en) * 2018-05-18 2023-10-10 Lawrence Livermore National Security, Llc Integrating extended reality with inspection systems
US11250819B2 (en) 2018-05-24 2022-02-15 Lockheed Martin Corporation Foveated imaging system
US10863812B2 (en) 2018-07-18 2020-12-15 L'oreal Makeup compact with eye tracking for guidance of makeup application
TWI693533B (zh) * 2018-08-09 2020-05-11 黃鈞鼎 影像處理方法及頭戴式影像系統
CN109271027B (zh) * 2018-09-17 2022-10-14 北京旷视科技有限公司 页面控制方法、装置及电子设备
CN109375773A (zh) * 2018-10-24 2019-02-22 深圳市领点科技有限公司 一种基于vr设备的监督方法和装置
US11221671B2 (en) 2019-01-31 2022-01-11 Toyota Research Institute, Inc. Opengaze: gaze-tracking in the wild
US10948986B2 (en) 2019-04-09 2021-03-16 Fotonation Limited System for performing eye detection and/or tracking
US11046327B2 (en) * 2019-04-09 2021-06-29 Fotonation Limited System for performing eye detection and/or tracking
US11151792B2 (en) 2019-04-26 2021-10-19 Google Llc System and method for creating persistent mappings in augmented reality
US11163997B2 (en) * 2019-05-05 2021-11-02 Google Llc Methods and apparatus for venue based augmented reality
CN114041101A (zh) * 2019-07-11 2022-02-11 惠普发展公司，有限责任合伙企业 用于显示器的眼睛跟踪
KR20210038782A (ko) 2019-09-30 2021-04-08 삼성디스플레이 주식회사 전자 장치
CN112580409A (zh) * 2019-09-30 2021-03-30 Oppo广东移动通信有限公司 目标物体选择方法及相关产品
US11935291B2 (en) * 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11073907B1 (en) * 2020-01-28 2021-07-27 Dell Products L.P. System and method of adjusting of an environment associated with a user
CN111639017B (zh) * 2020-05-29 2024-05-07 京东方科技集团股份有限公司 测量眼球追踪设备延迟量的方法、设备、眼球追踪系统
US11687155B2 (en) * 2021-05-13 2023-06-27 Toyota Research Institute, Inc. Method for vehicle eye tracking system
EP4343516A4 (en) * 2021-08-23 2024-04-24 Samsung Electronics Co Ltd PORTABLE ELECTRONIC DEVICE HAVING AUGMENTED REALITY OBJECT DISPLAYED THEREOF AND METHOD OF OPERATING THE SAME
CN113822911B (zh) * 2021-10-08 2022-09-16 中国人民解放军国防科技大学 柱状倾斜目标的跟踪方法、装置、计算机设备和存储介质
KR20230065049A (ko) * 2021-11-04 2023-05-11 삼성전자주식회사 비전 정보를 이용하여 전자기기를 제어하는 웨어러블 전자 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130128364A1 (en) * 2011-11-22 2013-05-23 Google Inc. Method of Using Eye-Tracking to Center Image Content in a Display
US20140184550A1 (en) * 2011-09-07 2014-07-03 Tandemlaunch Technologies Inc. System and Method for Using Eye Gaze Information to Enhance Interactions

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2412431B (en) * 2004-03-25 2007-11-07 Hewlett Packard Development Co Self-calibration for an eye tracker
WO2007105792A1 (ja) * 2006-03-15 2007-09-20 Omron Corporation 監視装置および監視方法、制御装置および制御方法、並びにプログラム
US20080165195A1 (en) * 2007-01-06 2008-07-10 Outland Research, Llc Method, apparatus, and software for animated self-portraits
US8259117B2 (en) * 2007-06-18 2012-09-04 Brian Mark Shuster Avatar eye control in a multi-user animation environment
PL2242419T3 (pl) * 2008-02-14 2016-05-31 Nokia Technologies Oy Urządzenie i sposób określania kierunku spojrzenia
US7736000B2 (en) * 2008-08-27 2010-06-15 Locarna Systems, Inc. Method and apparatus for tracking eye movement
US8320623B2 (en) * 2009-06-17 2012-11-27 Lc Technologies, Inc. Systems and methods for 3-D target location
US8510166B2 (en) 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
US8885877B2 (en) * 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
US8235529B1 (en) 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US20150097772A1 (en) * 2012-01-06 2015-04-09 Thad Eugene Starner Gaze Signal Based on Physical Characteristics of the Eye
EP3697110A1 (en) * 2012-01-08 2020-08-19 ImagiStar LLC Portable item containers which identify missing and/or extra container contents
US20150109191A1 (en) * 2012-02-16 2015-04-23 Google Inc. Speech Recognition
CN108873448B (zh) * 2012-10-10 2021-06-29 康宁股份有限公司 具有提供降低闪耀外观的防眩光层的显示设备
US20140313308A1 (en) * 2013-04-19 2014-10-23 Samsung Electronics Co., Ltd. Apparatus and method for tracking gaze based on camera array
US20150088923A1 (en) * 2013-09-23 2015-03-26 Google Inc. Using sensor inputs from a computing device to determine search query
US9672649B2 (en) * 2013-11-04 2017-06-06 At&T Intellectual Property I, Lp System and method for enabling mirror video chat using a wearable display device
CN103955267B (zh) * 2013-11-13 2017-03-15 上海大学 光透视增强现实系统中双手人机交互方法
US9489739B2 (en) 2014-08-13 2016-11-08 Empire Technology Development Llc Scene analysis for improved eye tracking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140184550A1 (en) * 2011-09-07 2014-07-03 Tandemlaunch Technologies Inc. System and Method for Using Eye Gaze Information to Enhance Interactions
US20130128364A1 (en) * 2011-11-22 2013-05-23 Google Inc. Method of Using Eye-Tracking to Center Image Content in a Display

Also Published As

Publication number Publication date
KR20180041642A (ko) 2018-04-24
US20160048964A1 (en) 2016-02-18
KR20160020369A (ko) 2016-02-23
KR101950641B1 (ko) 2019-02-20
CN105373218B (zh) 2018-09-18
US20170024893A1 (en) 2017-01-26
CN105373218A (zh) 2016-03-02
US9489739B2 (en) 2016-11-08
CN109062415A (zh) 2018-12-21
US10394318B2 (en) 2019-08-27

Similar Documents

Publication Publication Date Title
KR101950641B1 (ko) 향상된 안구 추적을 위한 장면 분석
Memo et al. Head-mounted gesture controlled interface for human-computer interaction
US10739599B2 (en) Predictive, foveated virtual reality system
US10082879B2 (en) Head mounted display device and control method
US10970850B2 (en) Method and device for recognizing motion
JP7090410B2 (ja) 拡張現実のシーンを再生する際の自動ズームのための方法、装置及びシステム
US10133342B2 (en) Human-body-gesture-based region and volume selection for HMD
US10186081B2 (en) Tracking rigged smooth-surface models of articulated objects
RU2745828C1 (ru) Способ и система для автоматизированного предохранения от столкновений и сохранения композиции камеры
US10368784B2 (en) Sensor data damping
CN107852447B (zh) 基于设备运动和场景距离使电子设备处的曝光和增益平衡
WO2017092332A1 (zh) 一种渲染图像的处理方法及装置
US11244506B2 (en) Tracking rigged polygon-mesh models of articulated objects
EP3540574B1 (en) Eye tracking method, electronic device, and non-transitory computer readable storage medium
JP2016530581A (ja) 平面固有の特徴のターゲットのｉｎｓｉｔｕ生成
WO2019183914A1 (en) Dynamic video encoding and view adaptation in wireless computing environments
JP2024503881A (ja) コンテキストアウェアエクステンデッドリアリティシステム
JP7103354B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6221292B2 (ja) 集中度判定プログラム、集中度判定装置、および集中度判定方法
CN110895433A (zh) 用于增强现实中用户交互的方法和装置
CN114972689A (zh) 执行增强现实姿态确定的方法和装置
KR101434072B1 (ko) 안정화 방법 및 컴퓨터 시스템
US11983316B2 (en) Method and device for managing attention accumulators
CN112711324B (zh) 基于tof相机的手势交互方法及其系统
US20230244308A1 (en) Method And Device For Managing Attention Accumulators

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right