KR20150116814A - 아이 트래킹 웨어러블 디바이스들 및 사용을 위한 방법들 - Google Patents

아이 트래킹 웨어러블 디바이스들 및 사용을 위한 방법들 Download PDF

Info

Publication number
KR20150116814A
KR20150116814A KR1020157017231A KR20157017231A KR20150116814A KR 20150116814 A KR20150116814 A KR 20150116814A KR 1020157017231 A KR1020157017231 A KR 1020157017231A KR 20157017231 A KR20157017231 A KR 20157017231A KR 20150116814 A KR20150116814 A KR 20150116814A
Authority
KR
South Korea
Prior art keywords
wearable device
user
eye
camera
waveguide
Prior art date
Application number
KR1020157017231A
Other languages
English (en)
Other versions
KR102205374B1 (ko
Inventor
엘리어트 드레이크
골람레자 아마예흐
안젤리크 카노
데이브 르 블랑
지밍 리우
짐 마그라프
로리 피어스
넬슨 지. 퍼블리커버
크리스토퍼 엔. 스피틀러
마이클 바키나
Original Assignee
아이플루언스, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이플루언스, 인크. filed Critical 아이플루언스, 인크.
Publication of KR20150116814A publication Critical patent/KR20150116814A/ko
Application granted granted Critical
Publication of KR102205374B1 publication Critical patent/KR102205374B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/38—Releasing-devices separate from shutter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B2213/02—Viewfinders
    • G03B2213/025—Sightline detection

Abstract

예를 들어, 자유형 광 어셈블리 및/또는 모듈식 설계를 포함하는 아이-트래킹을 위한 디바이스들 및 방법들이 제공된다. 예시적인 실시예에 있어, 사용자의 머리 상의 웨어러블 디바이스를 포함하는 디바이스 및 방법이 제공되며, 웨어러블 디바이스는 사용자의 환경을 캡처하도록 배향된 신 카메라를 포함한다. 웨어러블 디바이스의 사진 특징부를 활성화시키기 위하여 사용자는 사용자의 눈을 이용하여 사용자의 주변 내의 일 영역을 응시하는 미리 결정된 액션을 수행할 수 있으며, 웨어러블 디바이스는 중심점에 기초하여 카메라 이미징 필드에 대한 초점 및 제한된 시계를 결정하고, 초점 주위에 중심이 맞춰진 제한된 시야의 이미지를 캡처하도록 카메라를 활성화한다.

Description

아이 트래킹 웨어러블 디바이스들 및 사용을 위한 방법들{EYE TRACKING WEARABLE DEVICES AND METHODS FOR USE}
관련된 출원 데이터
본 출원은 2012년 12월 6일에 출원되어 함께 계류중인 가 출원들인 일련번호 61/734,354호, 61/734/294호, 및 61/734,342호에 대한 이익을 주장하며, 이들의 전체가 본원에 참조로써 명백히 포함된다.
기술분야
본 발명은 전반적으로 게이즈 매핑(gaze mapping), 예를 들어, 한쪽 또는 양쪽 눈에 의해 보여지는 공간 또는 물체(들) 내의 위치들을 결정하는 것을 생성하기 위한 아이 트래킹을 위한 장치, 시스템들, 및 방법들에 관한 것이다.
웨어러블 디바이스들 및 시스템들은, 머리 움직임들 및 다른 소스들에 의해 생성되는 측정 오류들을 감소시키는, 한쪽 또는 양쪽 눈들에 가까운 플랫폼을 사용하는 목측법(eye measurements)으로서 유익하다. 역사적으로, 웨어러블 아이-트래킹 디바이스들과 연관된 제한들 때문에 웨어러블 애플리케이션들은 연구, 옵타몰로직(opthamologic) 수술, 및 군사의 범위로 제한되어 왔다. 웨어러블 시스템들은 요구되는 카메라 위치의 불편함에 기인하여 부피가 크고 비싼 경향이 있다. 종래에, 이미징 및 조명 시스템들은 제조하기 어려운 드러나지 않는 폼 팩터들을 달성할 것이 요구되었다. 게이즈 매핑 및/또는 게이즈 결정(gaze determination)이 데이터일 수 있으며, 시스템이 컴퓨터에 테더링(tether)되지 않는 경우 연산적인 집중(computationally intensive)이 제한된 실시간 기능성을 야기한다. 마지막으로, 더 높은 정확도를 획득하기 위한 하나의 방법은 눈 이미지의 위치 및 강도와 관련된 반짝임(glint)의 존재를 제어하는 것이다. 결과적으로, 실외 기능성이 외래 반짝임 형태의 잡음에 의해 크게 제한된다. 외래 반짝임은 일반적으로 시스템 외부의 광원들(직접 또는 간접)에 의해 초래된다.
일 예는 눈 이미지로 캡처된 사용자의 눈 내의 신(scene)의 반사이다. 유사한 이유로, 게이즈 결정을 위해 푸르킨예 이미지(Purkinje image)들에 의존하는 아이-트래킹 시스템들은 종종 안경 및 콘택트 착용자들과 양립불가능하다.
본 발명은, 아이 트래킹을 위한, 예를 들어, 한쪽 또는 양쪽 눈들에 의해 보여지는 공간 또는 물체(들)의 위치들을 결정하는 것과 같은 게이즈 매핑을 생성하기 위한 장치, 시스템들, 및 방법들로 인도된다. 특히, 본원에서 제공되는 해법들은 태블릿, 모듈과 같은 모바일 디바이스와 호환될 수 있으며, 및/또는 밝은 햇빛과 같은 환경적 조명 조건들에 대해 강인할 수 있다.
본원의 장치, 시스템들, 및 방법들은 모바일 웨어러블 디바이스들이 사용자의 시각적 피드백을 위해 사용되거나 및/또는 지속적인 성능을 위해 환경적 강인함이 희망되는 애플리케이션들에서의 아이 트래킹과 관련된다. 다른 아이 트래킹 시스템들과 달리, 본원의 시스템들은, 예를 들어, 전형적인 선글라스 또는 다른 헤드기어와 유사한 프레임워크(framework) 상에 장착된 컴포넌트들을 갖는, 저비용 및/또는 드러나지 않는 것일 수 있다. 눈 움직임들이 사람의 의사-결정 프로세스 및 스킬에 대한 통찰을 제공하기 때문에, 응시 지점 위치를 결정하기 위한 능력 및/또는 디바이스들의 광범위한 어레이를 제어하거나 및/또는 이와 상호작용하기 위해 눈 움직임들을 사용하기 위한 능력이 유용할 수 있다.
웨어러블 아이-트래킹 디바이스에 있어 장애물들 중 하나는 드러나지 않는 카메라 위치이다. 눈을 이미징하기 위한 이상적인 위치는 눈의 바로 앞이다. 옵션들은 역사적으로 카메라 및 광학부를 머리의 측면으로 이동시키고 핫 미러(hot mirror) 또는 다른 반사경을 통합하는 것이거나 또는 카메라를 눈 아래의 축-외(off-axis)로 이동시키는 것이다. 후자의 처리방식은 사용자에게 드러나지 않는 것을 유지하기 위한 엄격하게 제한된 기계적 설계들을 야기한다. 이에 더하여, 높은 시야각이 눈 및 눈동자 검출을 복잡하게 만든다. 경량의 소형 폼 팩터들을 가능하게 하면서 눈의 직접적인 뷰(view)를 가능하게 하는 해법이 요구된다. 그 전체 개시내용이 본원에 참조로써 명백히 포함되는 미국 공개공보번호 Goa 등의 2012/0162549호 및 Cheng 등의 2012/0081800호에 설명된 바와 같은 자유형(freeform) 광 표면들이 강력한 해법이다. 센서는 프리즘 또는 도파관과 같은 자유형 광학부, 커플링 렌즈 어셈블리와 함께 안경다리(temple) 근처에 위치될 수 있으며, 경량의 드러나지 않는 헤드셋의 제한들 내에서 눈의 정면 뷰가 획득될 수 있도록 설계될 수 있다. 입사동(entrance pupil) 및 자유형 모듈의 두께가 눈을 이미징하기 위해 최적화되며, 보상 렌즈(compensator lens)가 사용자에게 신의 왜곡되지 않는 뷰를 제공하기 위해 자유형 광학부의 외부 표면에 부착될 수 있다. 보상 렌즈는 사용자의 처방 교정(prescription correction)을 포함하거나 또는 포함하지 않을 수 있다.
전형적으로, 웨어러블 디바이스들은 안경과 양립할 수 없거나 또는 안경 위에 위치된다. 대신, 사용자의 처방이 광 시스템 설계 내에 통합되는 경우, 시스템이 덜 부피가 나가거나 및/또는 사용자의 관점으로부터 구부러지지 않을 수 있다.
커플링/반사 광학부들 중 일부의 성능 제한들을 완화하기 위하여, 광학적 공간적 전달 함수의 지식이 광학적 정밀도를 대체할 수 있으며, 이는 이미지 데이터를 생성하는 것이 아니라 아이 트래킹 데이터를 생성하는 것이 목적이기 때문이다. 실질적으로, 이는 파면 코딩(wavefront coding) 기법들 및/또는 각 픽셀의 실제 위치(공간적 거리를 표현하기 위해 어레이 내의 픽셀의 인덱스를 사용하는 것에 대한)를 제공하는 2차원(2-D) 룩-업 테이블의 전개를 포함할 수 있다. 비용 효율성을 위하여, 기계적 및 광학적 설계에 대한 모듈화된 처리방식이 유용할 수 있다.
예를 들어, 소형의 자유형 도파관이 아이-트래킹 제품들의 패밀리에 포함될 수 있다. 이러한 시스템에 있어, 센서, 광원들, 커플링 렌즈 어셈블리, 자유형 광학부, 및 보상 렌즈 각각이 제거될 수 있거나 또는 상이한 애플리케이션-특정 및/또는 사용자-특징 컴포넌트들과 대체될 수 있는 모듈들일 수 있다. 예를 들어, 예시적인 실시예들에 있어, 복수의 상이한 설계들 또는 구성들, 예를 들어, 6개의 설계들을 포함하는 컴포넌트들의 키트(kit)가 더 일반적인 시력 교정 처방들을 위해 제공될 수 있다.
미국 공개공보 번호 2012/0162549호에 개시된 것과 같은 모듈식 처리방식은, 눈-인접 디스플레이(near-eye display: NED)로부터 아이-트래킹 전용 해법으로의 이동시의 디스플레이의 제거가 설계 상의 제한들을 완화하기 때문에 실현 가능할 수 있다. 트래킹을 위해 사용되는 눈의 이미지들 및 눈의 조명 둘 모두가 협대역의 파장들(일반적으로 적외선에 가까운)을 사용하여 수행될 수 있다. 투사될 디스플레이(가시 파장들)가 존재하지 않기 때문에 아이 트래킹에 사용되는 이미지들 내의 시스템 공차 공간 수차(aberration)(방금 설명된 바와 같은)뿐만 아니라 색수차와 연관된 문제들도 조명 빔 경로 내에서 완화될 수 있기 때문에, 이는 자유형 광학적 설계들 내의 표면들의 설계 상의 제한들을 완화할 수 있다. 이에 더하여, 자유형 광학부들 내의 반사성 코팅들 및/또는 총 내부 반사에 대한 조건들이 아이-트래킹 전용 시스템 내에서 유지되도록 완화될 수 있다. 유사하게, 미국 공개공보 번호 2012/0162549호에 설명된 것과 같은 이미지들을 카메라로 송신하는데 사용되는 커플링 광학부들이 공간 수차 및/또는 색수차를 용인할 수 있는 게이즈-트래킹 시스템에서 간략화되거나 및/또는 제거될 수 있다.
모듈방식 설계는 또한 아이-트래킹에 대한 알고리즘적 처리방식들 및 조명 구성들에 유연성을 부가할 수 있다. 축-상(on-axis) 모드로 눈을 보여주는 능력은 밝은 눈동자 트래킹을 가능하게 한다. 설계 내에 동축 대 축-외 반짝임 소스 구성들을 결합함으로써, 카메라의 광학적 축과 동축의 조명이 있는 연속적인 이미지들("밝은 눈동자" 또는 푸르킨예 이미지) 및 조명이 없는 연속적인 이미지들(어두운 눈동자 이미지들)이 눈동자를 구분하기 위해 제해질 수 있다(FPGA 또는 ASCI 내에서도). 밝은 눈동자 이미지들 내의 방사조도(irradiance) 분포가 눈이 투사된 조명 및 이미지 획득에 대하여 얼만큼 축-상에 있는지에 대한 어떤 표시를 제공할 수 있다. 대안적으로, 어두운 눈동자 이미지 내의 눈 상의 반짝임들이 각막 중심의 계산을 진행하기 위해 사용될 수 있다.
모듈식 해법으로의 이동이 게이즈-트래킹 디바이스가 선글라스들, 고글들, 마스크들, 헬멧들, 헤드셋들, 및 이와 유사한 것과 같은 웨어러블 디바이스 내에 통합될 수 있도록 폼 팩터의 유연성을 가능하게 한다. 설계에 있어서의 이러한 유연성이 사용-케이스들의 수를 확장하며, 그에 의해 웨어러블 아이-트래킹 시스템이 구현될 수 있다. 그러면 비디오 압축, 송신 및 프로세싱에 대한 요건들 내에 제한들이 존재한다. 모바일 디바이스와 호환되는 무선 또는 테더링된 휴대용 시스템으로의 전환을 용이하게 하기 위하여, 알고리즘들을 모듈들로 세심하게 분해하는 것이 CPU로부터 웨어러블 디바이스의 안경다리 암(arm)(또는 다른 위치) 내에 통합된 내장형 프로세싱 유닛으로 쉬프팅될 수 있으며, 데이터 송신을 위해 요구되는 대역폭의 양을 감소시킬 수 있다.
게이즈-매핑 시스템이 진짜 모바일이며 환경적으로 강인하게 되면, 가능한 사용-케이스들의 범위가 크게 증가한다. 예를 들어, 감리 동안 청사진들로 지칭되는 창고 인벤토리, 및 전문가-초보자 운동 트레이닝이 프레임 이동, 눈 제어, 및/또는 실외 기능성에 대한 강인함을 갖는 모바일 시스템들을 사용하여 가능하게 될 수 있다.
이에 더하여 또는 대안적으로, 본원의 디바이스들 중 임의의 디바이스가 눈 검출을 협소한 파장 범위 또는 범위들의 세트로 제한하면서 이용가능한 환경 조도(environmental luminance)를 이용하기 위한 하나의 또는 복수의 방법들을 포함할 수 있다는 것이 이해될 것이다. 아이-트래킹을 위하여, 협대역의 적외선(IR) 인접 광만이 아이 이미징을 위해 사용될 수 있지만, 적절한 설계를 이용하면, 가시광의 실질적으로 100 퍼센트(100%)(재료 계면들에서의 손실들을 제외한)가 신을 보여주기 위해 착용자에게 전달되도록 할 수 있다. 코팅들, 격자(grating)들, 필터들, 및/또는 복수의 광원들과 같은 기술들이 또한 사용될 수 있다. 코팅들은 금속 및 유전체 재료들을 포함할 수 있거나, 및/또는 이색성(dichroic) 용액들을 포함하는 기능적으로 반사성 또는 반-반사성일 수 있다.
게이즈-트래킹 시스템이 주어진 사용자의 얼굴에 대한 프레임 위치의 작은 쉬프트들에 강인하고 제한되지 않은 머리 움직임을 허용하는 것이 일반적으로 유용하다. 그러나, 모바일 시나리오들에서 이러한 두가지 조건들이 충족되는 것이 중요할 수 있다. 조건들 둘 모두는 뷰잉 평면(viewing plane)에 대한 엔도-스페이스(endo-space)(한쪽 또는 양쪽 눈들을 이미징하고 및 트래킹하는) 및 엑소-스페이스(exo-space)(사용자의 주변 또는 "신"을 이미징하는)의 적절한 정규화를 통해 달성될 수 있다. 응시 지점이 좌측 및 우측 시선(eye gaze) 벡터들의 수렴에 의해 결정될 수 있다. 그 뒤 정보가 신 카메라 비디오 상의 오버레이(overlay)로서 모바일 디바이스를 통해 사용자에게 중계될 수 있다.
예를 들어, 실외에서 3차원(3D) POR(point of regard) 대해 최적화된 머리-장착형 아이 트래킹 안경들이 초보자 트레이닝을 위하여 특화된 기술들(예를 들어, 축구 골을 차는)을 수행하는 전문 운동선수(전문가)의 시각적 거동을 기록하는데 사용될 수 있다. 이러한 경우에 있어, 3D 응시 지점이 신 이미지들 상에 오버레이될 수 있다. POR 비디오 및 오쿨로메트릭(oculometric) 데이터가 테더링된 기록 디바이스 상에 기록되거나 및/또는 태블릿 또는 다른 컴퓨팅 디바이스로 무선으로 스트리밍될 수 있다. 그 후 트레이너는 기술 향상을 위해 최적화된 시각적 패턴들을 실증하기 위해 전문가의 시각적 거동을 사용하는 초보자 트레이닝 프로그램을 생성할 수 있다.
오쿨로메트릭들은 눈 깜박임 거동 및 동공 크기를 모니터링함으로써 졸음 및 피로를 검출한다. 이러한 매트릭들이 직원들에게 위험한 상황들(예를 들어, 위험들, 젖은 마루들, 주변의 다른 직원들, 및 이와 유사한 것)을 경고하도록 물체 인식을 사용하기 위해 또는 성능이 희망되는 표준들에 부합하는 것 및/또는 품질이 훼손되지 않는 것을 보장하도록 직원 작업 거동을 기록하기 위해 사용자 인터페이스(UI) 내에 통합될 수 있다.
응시 지점 데이터가 커서 제어를 갖는 더 정교한 사용자 인터페이스 내에 통합될 때, 눈 움직임들이 컴퓨터 및 다른 제어 애플리케이션들에 명령하기 위한 손, 발, 및/또는 다른 신체 움직임들을 사용하는 다른 입력 디바이스들과 상호교환적으로 사용될 수 있다. 눈 제어를 모바일 디바이스와 페어링하는 것이 예를 들어, 창고 인벤토리의 경우에서와 같이, 미리-위치된 태그들과 함께 눈 움직임들을 사용하는 것이 사용자의 더 자연스러운 경험을 가능하게 하는 애플리케이션들을 가능하게 한다. 이에 더하여, 이는 다양한 애플리케이션들에 대해 기본적이고, 시각적인 사용자 피드백의 이점을 제공한다.
예를 들어, 사진 찍는 것을 확인하는 액션을 고려한다. 메뉴/제어로서 전략적으로-위치된 표시자들(LED 또는 다른 광원)을 보기 위한 능력이 간단한 사용자 인터페이스를 생성하며, 여기에서 사용자는, 예를 들어, 시스템에게 사진을 찍을 준비가 되었다는 것을 시스템에게 말하기 위하여 UI 제어로서 LED 표시자들의 이미지를 응시할 수 있다. 예시적인 방법은:
○ 적색에서 녹색으로 변경될 때까지 "사진 찍기(Take Photo)" LED를 응시하는 단계;
○ 예를 들어, 초점을 규정하기 위해 사용자가 사진을 찍기 원하는 이미지의 중심점을 응시하는 단계; 및
○ 초점 근처에 중심이 맞추어진 제한된 시야의 사진을 찍는 단계, 또는
○ LED들로부터의 주변 뷰(view)의 적절한 피드백으로, 가상 프레임의 상단 좌측 코너를 그 후에 하단 우측 코너를 응시하는 단계를 포함할 수 있다.
예시적인 실시예에 따르면, 웨어러블 디바이스를 사용자의 머리 상에 착용하는 단계로서, 웨어러블 디바이스는 사용자 주변의 이미지들을 캡처하도록 배향된 신 카메라를 포함하는, 단계; 웨어러블 디바이스의 사진 특징부를 활성화하기 위해 사용자의 눈으로 미리 결정된 액션을 수행하는 단계; 사용자 주변 내의 일 영역의 중심점을 응시하는 단계로서, 웨어러블 디바이스는 중심점에 기초하여 카메라 이미징 필드에 대한 제한된 시야 및 초점을 결정하는, 단계; 및 초점 주변에 중심이 맞추어진 제한된 시야의 이미지를 캡처하도록 카메라를 활성화하는 단계를 포함하는, 디지털 사진을 찍기 위한 방법이 제공된다.
다른 실시예에 따르면, 웨어러블 디바이스를 사용자의 머리 상에 착용하는 단계로서, 웨어러블 디바이스는 사용자 주변의 이미지들을 캡처하도록 배향된 신 카메라를 포함하는, 단계; 웨어러블 디바이스의 사진 특징부를 활성화하기 위해 웨어러블 디바이스의 미리 결정된 위치를 응시하는 단계; 사용자 주변 내의 일 영역의 중심점을 응시하는 단계로서, 웨어러블 디바이스는 중심점에 기초하여 카메라 이미징 필드에 대한 제한된 시야 및 초점을 결정하는, 단계; 및 초점 주변에 중심이 맞추어진 제한된 시야의 이미지를 캡처하도록 카메라를 활성화하는 단계를 포함하는, 디지털 사진을 찍기 위한 방법이 제공된다.
예시적인 실시예에 있어, 사진 특징부를 활성화하기 위해 웨어러블 디바이스의 미리 결정된 위치를 응시하는 단계는, 웨어러블 디바이스가 LED를 변경할 때까지, 예를 들어, 사진 특징부가 활성화되었다는 것을 표시하기 위해 LED의 색상을 변경할 때까지 웨어러블 디바이스 상의 사진 찍기 LED를 응시하는 단계를 포함한다.
또 다른 실시예에 따르면, 웨어러블 디바이스를 사용자의 머리 상에 착용하는 단계로서, 웨어러블 디바이스는 사용자 주변의 이미지들을 캡처하도록 배향된 신 카메라를 포함하는, 단계; 웨어러블 디바이스의 사진 특징부를 활성화하기 위해 웨어러블 디바이스의 미리 결정된 위치를 응시하는 단계; 사용자 주변 내의 일 영역의 가상 프레임의 대향 코너들을 응시하는 단계로서, 웨어러블 디바이스는 식별된 코너들에 기초한 중심점에 기초하여 카메라 이미징 필드에 대한 제한된 시야 및 초점을 결정하는, 단계; 및 초점 주변에 중심이 맞추어진 제한된 시야의 이미지를 캡처하도록 카메라를 활성화하는 단계를 포함하는, 디지털 사진을 찍기 위한 방법이 제공된다.
또 다른 실시예에 따르면, 사용자의 머리 상에 착용되도록 구성된 웨어러블 디바이스; 웨어러블 디바이스가 사용자에게 착용될 때 눈의 아이 트래킹 이미지들을 획득하도록 구성된 웨어러블 디바이스 상의 엔도-카메라; 웨어러블 디바이스가 사용자에게 착용될 때 사용자 주변의 이미지들을 획득하도록 구성된 웨어러블 디바이스 상의 엑소-카메라; 및 사용자가 웨어러블 디바이스의 사진 특징부를 활성화하기 위하여 사용자의 눈으로 미리 결정된 액션을 수행하는 때를 결정하기 위한 엔도-카메라에 연결된 하나 이상의 프로세서들로서, 상기 하나 이상의 프로세서들은 미리 결정된 방식으로 사용자가 사용자 주변 내의 일 영역을 응시하는 때를 결정하기 위해 엑소-카메라에 연결되며, 상기 하나 이상의 프로세서들은 미리 결정된 방식에 기초하여 엑소-카메라 이미징 필드에 대한 초점 및 제한된 시야를 결정하고, 초점 주변에 중심이 맞추어진 제한된 시야의 이미지를 캡처하도록 엑소-카메라를 활성화하는, 상기 하나 이상의 프로세서들을 포함하는 디지털 사진을 찍기 위한 디바이스가 제공된다.
또 다른 실시예에 따르면, 사용자의 머리 상에 착용되도록 구성된 웨어러블 디바이스; 웨어러블 디바이스가 사용자에게 착용될 때 도파관이 사용자의 눈의 전면에 위치되도록 웨어러블 디바이스 상에 장착된 자유형 도파관으로서, 상기 도파관은 그 안에 형성된 하나 이상의 블레이즈(blaze)들을 포함하는, 상기 자유형 도파관; 웨어러블 디바이스가 사용자에게 착용될 때 눈의 아이 트래킹 이미지들을 획득하기 위하여 도파관에 연결된 웨어러블 디바이스 상의 엔도-카메라; 및 광이 눈을 향해 하나 이상의 블레이즈들에 반사되도록 광을 도파관 내로 보내기 위한 웨어러블 디바이스 상의 하나 이상의 광원들을 포함하며, 상기 하나 이상의 블레이즈들은 도파관을 통해 눈을 향해 도파관의 외부 표면 내로 지나가도록 광을 포커싱하도록 더 구성되는, 아이 트래킹을 위한 디바이스가 제공된다.
선택적으로, 디바이스는, 웨어러블 디바이스 상의 주변 광 센서; 및 웨어러블 디바이스를 착용하고 있는 사용자 주변의 주변 광의 레벨을 결정하기 위해 주변 광 센서에 연결된 하나 이상의 프로세서들을 포함할 수 있으며, 상기 하나 이상의 프로세서들은 주변 광의 레벨이 미리 결정된 임계 밑인 때 아이 트래킹 시퀀스 동안 광원들을 활성화하기 위해 하나 이상의 광원들에 연결된다.
이에 더하여 또는 대안적으로, 디바이스는, 도파관이 보상 렌즈와 웨어러블 디바이스를 착용한 사용자의 눈 사이에 배치되도록 도파관의 전면에서 웨어러블 디바이스 상에 장착된 보상 렌즈를 포함할 수 있다. 선택적으로, 보상 렌즈는 선글라스 렌즈이거나, 및/또는 영구적으로 착색(tint)될 수 있다. 다른 선택들에 있어, 보상 렌즈 및 도파관 중 적어도 하나는 그 안에 이를 통과하는 광에 대한 가변 불투명도 또는 투명도를 제공하도록 구성된 입자들을 포함하며, 디바이스는 입자들이 불투명도 또는 투명도를 제어하게끔 선택적으로 활성화될 수 있는 전원을 더 포함한다.
또 다른 실시예에 따르면, 웨어러블 디바이스를 사용자의 머리 상에 착용하는 단계로서, 웨어러블 디바이스는 도파관이 사용자의 눈의 전면에 위치되도록 그 위에 장착된 자유형 도파관을 포함하며, 도파관은 그 안에 형성된 하나 이상의 블레이즈들을 포함하는, 단계; 사용자 주변 내의 주변 광 조건들이 미리 결정된 임계 밑으로 떨어지는 때를 결정하는 단계; 주변 광 조건들이 미리 결정된 임계 밑이면, 눈의 이미지가 웨어러블 디바이스 상의 엔도-카메라를 사용하여 획득되는 아이 트래킹 시퀀스 동안 웨어러블 디바이스 상의 하나 이상의 광원들을 활성화하는 단계로서, 하나 이상의 광원들로부터의 광은 눈을 향해 하나 이상의 블레이즈들에 반사되어 도파관을 통과하는, 단계; 사용자 주변 내의 주변 광 조건들이 미리 결정된 임계 이상인 때를 결정하는 단계; 및 주변 광 조건들이 미리 결정된 임계 이상이면, 주변 광이 눈을 향해 하나 이상의 블레이즈들을 통과하도록 하나 이상의 광원들을 오프한 채로 엔도-카메라를 사용하여 눈의 이미지들을 획득하는 단계를 포함하는, 아이 트래킹을 위한 방법이 제공된다.
예시적인 실시예에 있어, 하나 이상의 블레이즈들은, 하나 이상의 블레이즈들을 통과하는 주변 광으로부터의 눈 상의 미리 결정된 반짝임 패턴을 생성하며, 이는 눈의 이미지들에서 획득된다. 이에 더하여 또는 대안적으로, 하나 이상의 블레이즈들은 하나 이상의 블레이즈들에 반사되는 하나 이상의 광원들로부터의 광으로부터 눈 상에 미리 결정된 반짝임 패턴을 생성할 수 있다.
또 다른 실시예에 따르면, 사용자의 머리 상에 착용되도록 구성된 웨어러블 디바이스; 상이한 광학적 특성들을 갖는 복수의 자유형 도파관들로서, 각각의 도파관은 웨어러블 디바이스가 사용자에게 착용될 때 도파관이 사용자의 눈의 전면에 위치되도록 웨어러블 디바이스에 독립적으로 장착가능한, 상기 복수의 자유형 도파관들; 하나 이상의 보상 렌즈들로서, 각각의 렌즈는 도파관이 보상 렌즈와 웨어러블 디바이스를 착용한 사용자의 눈 사이에 배치되도록 웨어러블 디바이스에 장착되는, 상기 하나 이상의 보상 렌즈들; 및 상이한 특성들을 갖는 복수의 엔도-카메라 모듈들로서, 각각의 엔도-카메라 모듈은 웨어러블 디바이스에 독립적으로 장착되며, 웨어러블 디바이스가 사용자에게 착용될 때 눈의 아이 트래킹 이미지들을 획득하기 위하여 장착된 도파관에 연결되는, 상기 복수의 엔도-카메라 모듈들을 포함하는, 맞춤형 아이 트래킹 디바이스를 생성하기 위한 키트가 제공된다.
선택적으로, 키트는, 광이 웨어러블 디바이스를 착용한 사용자의 눈을 향해 보내지도록 도파관 내에 광을 보내기 위한 웨어러블 디바이스 상의 하나 이상의 광원들 및/또는 웨어러블 디바이스가 사용자에게 착용될 때 사용자 주변의 이미지들을 제공하도록 구성된 웨어러블 디바이스 상의 엑소-카메라를 또한 포함할 수 있다.
본 발명의 다른 측면들 및 특징들이 첨부된 도면들과 함께 다음의 상세한 설명에 대한 숙고로부터 자명해질 것이다.
본 발명은 첨부된 도면들과 함께 읽을 때 다음의 상세한 설명으로부터 가장 잘 이해된다. 도면들 내에 도시된 예시적인 장치가 축적이 맞추어질 필요가 없으며, 대신 예시된 실시예들의 다양한 측면들 및 특징들을 예시하는 것에 강조가 이루어진다.
도 1a 및 도 1b는 각기 웨어러블 게이즈 트래킹 디바이스의 예시적인 실시예의 사시도 및 정면도이다.
도 2는 도 1a 및 도 1b에 포함될 수 있는 도파관 및 카메라 모듈을 포함하는 아이 이미징 모듈의 예시적인 실시예의 사시도이다.
도 3은 모듈의 카메라를 도시하는 도 2의 아이 이미징 모듈의 상세도이다.
도 4는 도 1a 및 도 1b의 웨어러블 디바이스 내에 통합된 도 2의 아이 이미징 모듈을 도시하는 상세도이다.
도 5는 도 1a 및 도 1b의 웨어러블 디바이스의 컴포넌트들의 개략적인 표현이다.
도 6 내지 도 8은 각기 조명 모드, 이미징 모드, 및 뷰잉 모드를 포함하는 상이한 모드들로 동작하도록 구성된 도 5에 도시된 웨어러블 디바이스의 개략적인 표현들이다.
도 9는 실외 아이 트래킹을 위해 구성된 상이한 모드들로 동작하도록 구성된 웨어러블 디바이스의 대안적인 실시예의 개략적인 표현이다.
도 10 및 도 11은 각기 주변 조명 모드 및 에지 조명 모드를 포함하는 상이한 모드들로 동작하도록 구성된 도 9의 웨어러블 디바이스의 개략적인 표현들이다.
도면들을 참조하면, 도 1 내지 도 5는 웨어러블 아이 및/또는 게이즈 트래킹 디바이스 또는 시스템(10)을 도시한다. 예시적인 실시예에 있어, 본원의 디바이스들, 시스템들, 및 방법들은 게이즈-매핑의 이점이 현재 이용되는 다른 모바일 디바이스들을 증가시키는 것들을 포함하는, 다양한 애플리케이션들에서 모바일 사용을 위해 최적화된 모듈식 웨어러블 게이즈 트래킹 디바이스를 제공할 수 있다. 다른 예시적인 실시예에 있어, 본원의 디바이스들, 시스템들, 및 방법들은 실외 또는 다른 환경 조명 조건들에 대해 최적화될 수 있거나 또는 충분히 강인할 수 있으며, 그럼으로써 아이 및/또는 게이즈-트래킹의 이점이 이용될 수 있는 애플리케이션들의 수를 확대한다.
전반적으로, 도 1에 도시된 바와 같이, 디바이스(10)는, 예를 들어, 안경(도시된 바와 같은), 또는 마스크, 헤드셋, 헬멧, 이와 유사한 것과 같은 사용자의 머리(미도시) 상에 착용되도록 구성된 웨어러블 디바이스(12), 사용자 주변을 이미징하기 위해 디바이스 상에 장착된 엑소-카메라(20), 사용자의 눈들 중 하나 또는 둘 모두(도 5에 도시된 바와 같은 하나의 눈(90))를 이미징하기 위해 디바이스 상에 장착된 엔도-카메라(30), 자유형 광 어셈블리(40), 및 자유형 보상 렌즈(50)를 포함한다. 이에 더하여, 도 5에 도시된 바와 같이, 디바이스(10)는, 예를 들어, 광 어셈블리(40) 상에 포함되거나 및/또는 웨어러블 디바이스(12) 상의 임의의 장소에 장착되는 하나 이상의 광원들(44)을 포함할 수 있다. 디바이스(10)는 또한 본원에서 설명되는 다양한 기능들을 수행하고 및/또는 디바이스(10)를 동작시키기 위하여 다른 컴포넌트들에 연결되는 하나 이상의 프로세서들, 메모리, 및 이와 유사한 것(미도시)을 포함할 수 있다. 디바이스(10) 내에 포함될 수 있는 예시적인 컴포넌트들, 예를 들어, 웨어러블 디바이스들, 카메라들, 광원들, 프로세스들, 통신 인터페이스들, 및 이와 유사한 것은 미국 특허번호 6,541,081호 및 7,488,294호, 및 미국 공개공보 번호 2011/0211056호 및 2013/0114850호에 개시되며, 이들의 전체 개시내용들이 명백하게 본원에 참조로써 포함된다.
도 2 내지 도 5를 참조하면, 디바이스(10)의 광 어셈블리(40)는, 복수의 컴포넌트들, 예를 들어, 도파관 또는 엔도-자유형 광학부(42), 하나 이상의 광원들(44), 및 예를 들어, 이를 통과하는 광을 포커싱하거나 및/또는 필터링하기 위한 파장 선택 어셈블리(46)를 포함할 수 있다. 도파관(42)은, 예를 들어, 도 2 및 도 3에 도시된 바와 같이, 도파관(42)이 착탈가능하게 또는 영구적으로 하우징(48)에 부착되도록 카메라 모듈 하우징(48) 내에 포함될 수 있는, 예를 들어, 파장 선택 어셈블리(46)를 통해 엔도-카메라(30) 및/또는 광원(들)(44)에 광학적으로 연결될 수 있다.
본원의 도처에서 설명되는 바와 같이, 도파관(42)은 일체형 광 디바이스 형상일 수 있거나 및/또는 그렇지 않으면, 예를 들어, 광원(들)(44)으로부터의 조명을 사용자의 눈(90)을 향해 보내기 위하여 및/또는 엔도-카메라(30)를 사용하여 이미지들을 획득하기 위해 사용자의 눈(90)으로부터 광을 수집하기 위하여 광 어셈블리(40)의 광 경로를 접도록 구성될 수 있다. 예를 들어, 도파관(42)은, 예를 들어, 엔도-카메라(30)에 연결된 단부(43)와 같은 도파관(42)의 단부 또는 에지 내로 보내지는 광이, 예를 들어, 도파관의 대향 단부를 향해 그 안의 하나 이상의 표면들에 반사되고, 그리고, 예를 들어, 눈(90)을 조명하기 위해, 사용자의 눈(90)을 향해 미리 결정된 표면, 예를 들어, 내부 표면(42b)의 밖으로 반사되도록 도파관(42) 내에서 송신되도록 그 안에 일체적으로 형성된 하나 이상의 프리즘들 및/또는 다른 광 특징부들을 포함할 수 있다. 역으로, 눈(90)으로부터 미리 결정된 표면, 예를 들어, 내부 표면(42b)에 진입하는 광이, 예를 들어, 눈(90)의 이미지들을 캡처하기 위하여, 엔도-카메라(30)에 연결된 단부(43)를 향해 다시 도파관(42) 내에서 송신될 수 있다.
이에 더하여, 도파관(42)은, 도 5에 개략적으로 도시된 바와 같이, 예를 들어, 보상 렌즈(50)의 내향 표면(50b)에 대응하는 아이-프레임(eye-frame) 베이스 커브와 매칭되는 외향 표면(42a)을 가질 수 있다. 따라서, 도파관(42) 및 보상 렌즈(50)가 함께, 예를 들어, 정상 시력 또는 미리 결정된 교정 처방에 기초하여, 이를 통해 사용자의 눈(90)에 의한 실질적으로 왜곡되지 않은 뷰잉을 사용자의 주변 내로 허용할 수 있다. 도파관(42)은 또한, 예를 들어, 그 안에 보상 렌즈(50)가 장착되는 프레임(12) 내의 눈 개구(eye opening)를 적어도 부분적으로 및/또는 전체적으로 커버하도록 크기가 결정될 수 있다. 선택적으로, 도파관(42)은, 예를 들어, 외향 표면(42a) 상에, 내향 표면(42b) 상에, 및/또는 도파관 재료 내에 포함되는, 최적 성능을 위한 하나 이상의 애플리케이션-특정 코팅들을 포함할 수 있다.
선택적으로, 디바이스(10)의 하나 이상의 컴포넌트들은, 예를 들어, 특정 개별 사용자에 기초하여 희망되는 바와 같이, 예를 들어, 모듈식 키트로부터 컴포넌트들의 상이한 크기, 형상, 및/또는 다른 구성들이 교환될 수 있도록, 상호교환가능할 수 있다. 예를 들어, 제 1 도파관(42)(카메라(44)에 연결된)이, 예를 들어, 상이한 사용자의 처방에 대응하도록 상이한 도파관(미도시)으로 대체될 수 있다. 대안적으로, 예를 들어, 동일한 사용자가 아이 및/또는 게이즈 트래킹을 계속해서 수용하고 상이한 웨어러블 디바이스들을 사용할 수 있도록, 제 1 도파관(42)이 안경 프레임(12)으로부터 제거되고 헬멧, 고글, 또는 다른 웨어러블 디바이스(미도시) 내에 위치될 수 있다. 복수의 설계 해법들이 고글들, 마스크들, 선글라스들, 및 이와 유사한 것 내로의 통합을 위해 구상된다.
예시적인 실시예에 있어, 도 5에 개략적으로 도시된 디바이스(10)의 광 컴포넌트들 중 임의의 것이 모듈식일 수 있다. 예를 들어, 도파관(42)은, 예를 들어, 도파관(42) 및/또는 하우징(48)의 연결 단부 상의 하나 이상의 커넥터들(미도시)을 사용하여 하우징(48)에 착탈가능하게 연결될 수 있다. 도 4에 도시된 바와 같이, 하우징(48)은, 예를 들어, 프레임(12)의 귀 지지부(14) 또는 안경다리 부분 상에서 프레임(12)에 영구적으로 또는 착탈가능하게 부착될 수 있다. 하우징(48)이 충분하게 안정적일 수 있으며, 하우징(48)이 프레임(12)에 고정될 때 도파관(42)이 보상 렌즈(50)에 대하여(against) 또는 이에 인접하여 고정될 수 있도록 도파관(42)이 충분히 강성일 수 있다. 대안적으로, 도파관(42) 및 프레임(12) 및/또는 보상 렌즈(50)는 보상 렌즈(50)에 대해 도파관(42)를 고정하기 위한 하나 이상의 커넥터들(미도시)을 포함할 수 있다.
이에 더하여 또는 대안적으로, 엔도-카메라(30) 및/또는 파장 선택 어셈블리(46)가 희망되는 바와 같이 하우징(48) 내에 착탈가능하게 장착될 수 있다. 도시된 바와 같이, 하나 이상의 광원들(44)이, 예를 들어, 하우징(48) 내에 장착된 엔도-카메라(30)와 전반적으로 동일평면에 위치되거나 및/또는 이에 인접하여 위치될 수 있으며, 및/또는 하나 이상의 광원들(44)은, 광원(들)이, 예를 들어, 광을 사용자의 눈(90)을 향해 보낼 수 있는 도파관(42) 내로 광을 생성할 수 있도록, 예를 들어, 일 단부 상에서 도파관(42)의 에지에 장착될 수 있다. 선택적으로, 하우징(48)은 또한 그 안에 하나 이상의 프로세서들, 예를 들어, FPGA들, ASIC들, 및 이와 유사한 것, 및/또는 메모리 컴포넌트들을 포함할 수 있거나, 또는 이러한 컴포넌트들이 프레임(12) 상의 다른 위치에 장착되고 하우징(48) 및/또는 그 안의 컴포넌트들에 전기적으로 연결될 수 있다.
디바이스(10)는, 예를 들어, 눈(90)의 이미징 및/또는 조명을 가능하게 하기 위하여, 희망되는 바와 같이 하나 이상의 모드들로 동작될 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 한쌍의 광원들(44)이, 예를 들어, 엔도-카메라(30)의 센서, 예를 들어, CMOS, CCD 또는 다른 이미징 칩과 실질적으로 동일평면에 장착되는 조명 모드가 도시된다. 따라서, 광선(ray)들(45a)에 의해 표현되는 방출되는 광이 파장 선택 어셈블리(46)를 통해 도파관(42) 내로 광원들(44)에 의해 방출될 수 있으며, 도파관은 광선들(45b)에 의해 표현되는 바와 같이 눈(90)을 향해 광을 보낼 수 있다. 이러한 방식으로, 광원들(44)이, 예를 들어, 하나 이상의 반짝임들, 및 이와 유사한 것을 생성하기 위하여 희망되는 방식으로 눈(90)을 조명할 수 있다.
도 7을 참조하면, 이에 더하여, 광선들(47a)에 의해 표현되는 바와 같이, 예를 들어, 정반사적으로(specularly) 또는 분산적으로(diffusely) 눈(90)으로부터 반사되는 광이 자유형 도파관(42)에 의해 수집되며, 광선들(47b)에 의해 표현되는 바와 같이, 광을 엔도-카메라(30) 상에 포커싱하는 커플링 광학부들(46)로 다시 보내지는, 아이-이미징 모드가 도시된다.
도 8을 참조하면, 도파관(42)과 보상 렌즈(50)를 페어링하는 것이, 광선들(49)에 의해 표현되는 바와 같이, 신, 즉, 사용자 주변으로부터 광이, 예를 들어, 눈(90)의 입사동에서 최소한의 왜곡을 가지고 사용자의 눈(90)으로 전파되는 것을 가능하게 할 수 있다.
예를 들어, 도 1에 도시된 디바이스(10)가 이러한 모드들 중 임의의 모드로 선택적으로 동작하도록 구성될 수 있다. 애플리케이션-특정 하드웨어, 소프트웨어 모듈들, 및/또는 다른 프로세싱 기능부들, 및 연결부가, 예를 들어 그 각각이 희망되는 바와 같이 이러한 모드들 중 임의의 모드로 동작할 수 있는 게이즈-트래킹 디바이스의 패밀리를 생성하기 위해 디바이스(10) 상에 제공될 수 있다. 애플리케이션-특정 하드웨어 및 연결부는, 예를 들어, 엑소-카메라(20) 및/또는 엔도-카메라(30)로부터의 데이터 스트림을 직렬화하기 위하여 및 이를 프로세싱 유닛, 예를 들어, 디바이스(10) 상의 프로세서(들)로 및/또는 원격 전자 디바이스(미도시)로, 예를 들어, 무선으로 또는 유선 연결(이 또한 미도시)을 통해 전송하기 위하여 베이직 레벨 상에서 기능할 수 있다. 다른 선택적인 특징부들은 게이즈 벡터의 완전 계산(full calculation), 선입-프로세싱 알고리즘 모듈들, 및/또는 DSP(예를 들어, 비왜곡)를 포함할 수 있다. 이들의 임의의 조합이, 예를 들어, 이용가능한 전력 및/또는 대역폭 요건들에 기초하여 디바이스에 의해 구현될 수 있다.
예시적인 실시예에 있어, 디바이스(10)는 3차원 POR(point-of-regard) 결정들을 할 수 있으며, 다음의 특징들 중 하나 이상을 포함할 수 있다:
예를 들어, 본원의 다른 곳에서 참조로써 포함되는 참조문헌들에 설명되는 바와 같은,
a) 사용자 보정(calibration) 데이터 저장;
b) POR 모델링을 위한 가상 평면 게이즈 매핑 알고리즘;
c) 엑소-카메라(20)에 대한 엔도-카메라(30)의 회전 및/또는 병진을 보정하기 위한 알고리즘들; 및/또는
d) 모바일 디바이스(예를 들어, 윈도우즈-기반 OS, 리눅스-기반, 및 이와 유사한 것)로의 게이즈 매핑 데이터의 무선 스트리밍.
도 9 내지 도 11을 참조하면, 본원의 다른 곳에서 설명된 다른 실시예들과 전반적으로 유사한 하나 이상의 엔도-카메라들(130)(대응하는 눈(90)을 이미징하기 위한 도 10 및 도 11에 도시된 하나의 엔도 카메라), 엑소-카메라(미도시), 및 예를 들어, 도파관 또는 엔도-자유형 광학부(142), 및 하나 이상의 광원들(144)을 포함하는 자유형 광 어셈블리(140)와 같은 하나 이상의 컴포넌트들을 지탱하는, 예를 들어 프레임 또는 다른 웨어러블 디바이스(미도시)와 같은 본원의 다른 곳에서 설명된 다른 실시예들과 전반적으로 유사한 컴포넌트들을 포함하라 수 있는 아이 및/또는 게이즈 트래킹 디바이스(110)의 다른 예시적인 실시예가 도시된다. 이전의 실시예들과 달리, 도파관(142)은, 예를 들어, 이하에서 추가로 설명되는 바와 같이, 실외 또는 다른 밝게 조명되는 환경들에서 아이 및/또는 게이즈 트래킹을 위해 디바이스(110)의 사용을 향상시킬 수 있는 반짝임들을 생성하기 위한, 하나 이상의 특징부들, 예를 들어, 그 안에 형성된 복수의 블레이징형 노치(blazed notch)들 또는 웨지(wedge)들(143)을 포함한다. 구체적으로 "블레이즈들"(143)이, 예를 들어, 이하에서 추가로 설명되는 바와 같이, 블레이즈들에 충돌하는 광의 각도에 기초하여 송신성(transmissive) 또는 반사성(reflective)으로서 양자 택일적으로 역할할 수 있다. 블레이즈(143)는 레이저 어블레이션(laser ablation)을 포함하는 다양한 방법들을 사용하여 도파관(1422) 내에 형성될 수 있다.
디바이스(110)는, 예를 들어, 고 휘도 주변 조건들을 이용하기 위해 바이모달(bimodal) 조명 기법을 사용하여 2 이상의 모드로 동작될 수 있다. 예를 들어, 밝은 주변 광 조건들 하에서, 도파관(142)과 보상 렌즈(150)를 페어링하는 것이, 예를 들어, 도 10에서 광선들(149a)에 의해 표현되는 바와 같이, 신으로부터의 광이 도파관(142) 및 보상 렌즈(150)를 통해 눈(90)의 입사동에서 최소 왜곡을 가지고 사용자의 눈(90) 상으로 전파되는 것을 허용한다.
더 구체적으로, 도 10에 도시된 바와 같이, 광선들(149b, 194c)에 의해 표현되는 바와 같이, 블레이즈들(143)은 광이 블레이즈들 및 도파관(142)을 통과하여 희망되는 패턴 또는 구성으로 눈(90)에 충돌하고, 다시 도파관(142) 내로 반사되어 엔도-카메라(130)로 보내지는 미리 결정된 패턴의 반짝임들을 생성하는 것을 가능하게 한다. 따라서, 태양광과 같은 주변 또는 "신" 조명원들에 대하여, 블레이즈는 송신부로 동작한다.
역으로, 도 11에 도시된 바와 같이, 주변 조명이 불충분할 때, 하나 이상의 에지 조명원들(144)이 광선들(145a)에 의해 표현되는 바와 같이 도파관(14) 내로 광을 보내기 위해 사용될 수 있으며, 블레이즈들(143)이 광선들(145b)에 의해 표현되는 바와 같이 눈(90)을 향해 광을 보내도록 반사부로 동작할 수 있다. 반사된 광은 광선들(145c)에 의해 표현된 바와 같이 다시 도파관(142) 내로 반사되고 엔도-카메라(130)로 보내질 수 있다. 디바이스(110)는, 예를 들어, 디바이스를 실시간으로 실내 및 실외 애플리케이션들 사이에서 스위칭하기 위해 광원(들)(144)으로의 광원 전류를 조절하기 위해 디바이스(10)의 하나 이상의 프로세서들에 의해 사용될 수 있는 주변 광 센서(미도시)를 포함할 수 있다. 따라서, 프로세서(들)가 주변 광 센서에 기초하여 주변 광이 충분하다는 것을 결정하는 경우, 광원(들)(144)이 스위치 오프되거나 또는 비활성으로 남아있을 수 있으며, 반면, 주변 광이 불충분한 경우, 광원(들)(144)이 희망되는 아이-트래킹 방법을 위해 요구되는 바와 같이 활성화될 수 있다.
적절한 파장 제어가 디바이스(110)와 같은 멀티모달(multimodal) 시스템에서 중요할 수 있다. 이를 가능하게 하기 위하여, 숏-패스(short pass) 유전체 코팅(미도시)이 도파관(142) 및/또는 보상 렌즈(150) 상에, 예를 들어, 그들의 외향-표면들(142a, 150a) 상에 제공될 수 있다. 이러한 코팅(들)은 사용자가 낮(밝은) 및 밤(어두운) 조건들 둘 모두 동안 신을 적절하게 볼 수 있도록 신으로부터의 가시광을 통과시킬 수 있다. 블레이즈들(143)은 광원(들)(144)의 중심 파장이 사용자의 눈(90)을 향해 우선적으로 굴절되거나, 반사되거나 및/또는 회절될 수 있도록 구성될 수 있다.
도 7에 도시된 디바이스(10)와 유사하게, 디바이스(110)는 또한 아이-이미징 모드로 동작될 수 있다. 도 7의 광선들(47a)에 의해 표현된 바와 같이 눈(90)으로부터 반사되는 광(정반사적으로 또는 분산적으로)이 도파관(140)에 의해 수집되고 엔도-카메라(130)(도 10 및 도 11에 도시된) 상으로 광을 포커싱하는 파장 선택 어셈블리(146)로 다시 보내질 수 있다. 파장 선택 어셈블리(146) 내의 롱패스(longpass) 또는 노치 필터가 가시 파장들 내의 관련없는 코르네오-공막(corneo-schleral) 반사들에 기인하는 잡음을 감소시키기 위해 사용될 수 있다. 추가적으로, 편광형(polarized) 광원 및/또는 편광-감지 컴포넌트들의 통합이 환경적 잡음을 또한 감소시킬 수 있다.
선택적으로, 보상 렌즈(150)(또는 본원의 임의의 다른 실시예의 보상 렌즈)는, 사용자의 눈에 도달하는 광의 양을 감소시키기 위한 선글라스 렌즈들, 예를 들어, 착색형, 필터형, 및/또는 편광형 렌즈일 수 있으며, 이는 사용자로 하여금 그들의 눈꺼풀들 및 홍채를 쉬게 하거나 및/또는 달리 아이 및/또는 게이즈 트래킹을 용이하게 할 수 있다. 보상 렌즈(150) 내의 임의의 착색이 영구적일 수 있으며, 또는 렌즈가 전환-코팅(transition coat)될 수 있다. 이에 더하여 또는 대안적으로, 보상 렌즈(150)는 프레임 내에 실질적으로 영구적으로 장착될 수도 있으며, 또는 상이한 보상 렌즈들이 디바이스(110) 내에서 상호교환적으로 사용될 수 있도록 착탈가능할 수도 있다.
다른 처리방식은 사용자의 눈(들)(90)을 트래킹하는데 사용되는 엔도-카메라(들)(130)로부터 수집되는 이미지들 내의 광 레벨들에 기초하여 도파관(142) 및/또는 보상 렌즈(150)의 불투명도의 동적 제어를 제공하는 것이다. 예를 들어, 사용자의 눈(90)에 도달하는 환경으로부터의 광의 경로 내의 렌즈(142 또는 150) 및/또는 다른 광학적 엘러먼트(들)의 불투명도(또는 역으로, 투명도)를 전기적으로 제어하도록 시스템이 제공될 수 있다. 예시적인 실시예에 있어, 부유형의 가늘고 긴 입자들이 부유형 입자 디바이스(suspended particle device: SPD)를 제공하기 위해 도파관(142) 및/또는 보상 렌즈(150) 내에 제공될 수 있으며, 광의 송신을 차단하거나 또는 허용하기 위한 배향들로 가늘고 긴 입자들을 정렬시키기 위해 미리 결정된 전압을 인가하기 위한 회로가 디바이스 상에 제공될 수 있다. 예를 들어, 폴리머 분산형(polymer dispersed) 액정들 및/또는 전기-습윤(electro-wetting) 표면들을 사용하는 다른 전기변색 디바이스들 및/또는 방법들이 제공될 수 있다. 이러한 전기변색성 방법들이 불투명도를 제어하기 위해 광변색성 방법들과 독립적으로 또는 이와 함께 사용될 수 있다. 이러한 특징부들이 본원의 실시예들 중 임의의 실시예에 포함될 수 있다.
실외 및/또는 가혹한 조명 환경들에서의 주요 도전은 환경 소스들로부터의 전체 조명이 연속적으로 변화하는 시간들 동안 눈 위치들을 실질적으로 연속적으로 트래킹하는 능력이다. 본원의 다른 곳에서 언급된 바와 같이, 이는 사용자의 눈을 조명하거나 및/또는 트래킹하는데 사용되는 파장들의 범위에 걸쳐 광의 환경적 소스들을 선택적으로 차단함으로써 부분적으로 완화될 수 있다. 이에 더하여 또는 대안적으로, 고 명암비(high dynamic range) 센서가 엔도-카메라 내에 포함될 수 있다.
추가적인 처리방식은 환경적 조명의 증가들 또는 감소들을 보상하기 위하여, 예를 들어, 광원(들)(144)에 의해 디바이스(110) 내에서 생성되는 조명을 동적으로 조정하는 것을 포함할 수 있다. 눈(들)(90)을 트래킹하는데 사용되는 엔도-카메라(들)(130)의 이미지들 내에 기록된 광 레벨들이 눈(들)(90)을 모니터링하고 그 다음 눈의 조명을 제어하기 위해 사용될 수 있다. 이는 좌측 또는 우측 눈을 선택적으로 조명하는 것을 포함할 수 있다. 이는 또한, 예를 들어, 본원의 다른 곳에서 참조로써 포함된 참조문헌들에 개시된 시스템들 및 방법들과 유사하게 카메라 이미지들의 상이한 영역들에 기록된 광 강도들에 기초하여 눈(90)의 일 영역 또는 서브세트의 조명을 우선적으로 증가시키는 것을 포함할 수 있다.
추가적으로, 동공이 충분히 노출되는 경우 동공을 검출하기 위한 복수의 처리방식들을 고려하는 것이 유용할 수 있으며, 에지 및/또는 블랍(blob) 검출 방법이 동공의 윤곽들의 위치를 찾도록 구현될 수 있다. 동공이 불충분하게 노출되는 경우, 동공 윤곽 대신 눈꺼풀 윤곽 및/또는 홍채 에지들을 식별하는 것이 작은 영역이 식별될 동공 중심을 포함하는 것을 가능하게 할 수 있다. 그 후 어떤 알고리즘들, 예를 들어, 스타버트 및 란삭(Starburt and Ransac)이 동공을 타원에 맞추고 동공 중심을 결정하도록 구현될 수 있다. 추가적인 가능성들은 특징 캡처를 개선하고 프로세싱을 감소시키기 위해 복수의 카메라들의 사용을 포함한다.
게이즈-매핑 시스템이 진실로 모바일이고 환경적으로 강인하게 되면, 가능한 사용-케이스들의 범위가 크게 증가한다. 예를 들어, 본원의 다른 곳에서 설명된 바와 같은 모바일 아이 트래킹 시스템들을 사용하는 감리 동안 청사진들로 지칭되는 창고 인벤토리, 및 전문가-초보자 운동 트레이닝이 프레임 이동에 대한 강인함, 눈 제어, 및/또는 실외 기능성에 의해 향상될 수 있다.
본원에서 임의의 실시예들과 함께 도시된 엘러먼트들 또는 컴포넌트들이 특정 실시예를 위한 예시적인 것이며, 본원에 개시된 다른 실시에들 상에서 또는 이와 조합으로 사용될 수 있다는 것이 이해될 것이다.
본 발명이 다양한 수정예들, 및 대안적인 형태들에 허용하며, 그 특정 예들이 도면들에 도시되었으며, 본원에서 상세하게 설명되었다. 그러나, 본 발명이 개시된 특정 형태들 또는 방법들에 한정되는 것이 아니며, 그 반대로, 본 발명이 첨부된 청구항들의 범위 내에 속하는 수정예들, 균등물들 및 대안예들을 모두 포괄한다는 것이 이해되어야 한다.

Claims (30)

  1. 디지털 사진을 찍기 위한 방법으로서,
    웨어러블(wearable) 디바이스를 사용자의 머리 상에 착용하는 단계로서, 상기 웨어러블 디바이스는 사용자 주변의 이미지들을 캡처하도록 배향된 신(scene) 카메라를 포함하는, 단계;
    상기 웨어러블 디바이스의 사진 특징부를 활성화하기 위해 상기 사용자의 눈으로 미리 결정된 액션을 수행하는 단계;
    상기 사용자 주변 내의 일 영역의 중심점을 응시하는 단계로서, 상기 웨어러블 디바이스는 상기 중심점에 기초하여 카메라 이미징 필드에 대한 제한된 시야 및 초점을 결정하는, 단계; 및
    상기 초점 주변에 중심이 맞추어진 상기 제한된 시야의 이미지를 캡처하도록 상기 카메라를 활성화하는 단계를 포함하는, 방법.
  2. 청구항 1에 있어서,
    미리 결정된 액션을 수행하는 단계는, 상기 웨어러블 디바이스의 사진 특징부를 활성화하기 위해 상기 웨어러블 디바이스의 미리 결정된 위치를 응시하는 단계를 포함하는, 방법.
  3. 청구항 1에 있어서,
    미리 결정된 액션을 수행하는 단계는, 상기 웨어러블 디바이스 상의 사진 찍기 LED를 응시하는 것을 포함하는 사진 특징부를 활성화하기 위해 상기 웨어러블 디바이스의 미리 결정된 위치를 응시하는 단계를 포함하는, 방법.
  4. 디지털 사진을 찍기 위한 방법으로서,
    웨어러블 디바이스를 사용자의 머리 상에 착용하는 단계로서, 상기 웨어러블 디바이스는 상기 사용자 주변의 이미지들을 캡처하도록 배향된 신 카메라를 포함하는, 단계;
    상기 웨어러블 디바이스의 사진 특징부를 활성화하기 위해 상기 웨어러블 디바이스의 미리 결정된 위치를 응시하는 단계;
    상기 사용자 주변 내의 일 영역의 중심점을 응시하는 단계로서, 상기 웨어러블 디바이스는 상기 중심점에 기초하여 카메라 이미징 필드에 대한 제한된 시야 및 초점을 결정하는, 단계; 및
    상기 초점 주변에 중심이 맞추어진 상기 제한된 시야의 이미지를 캡처하도록 카메라를 활성화하는 단계를 포함하는, 방법.
  5. 청구항 4에 있어서,
    사진 특징부를 활성화하기 위해 상기 웨어러블 디바이스의 미리 결정된 위치를 응시하는 단계는, 상기 웨어러블 디바이스가 사진 특징부가 활성화되었다는 것을 표시하기 위해 LED를 변경할 때까지, 상기 웨어러블 디바이스 상의 사진 찍기 LED를 응시하는 단계를 포함하는, 방법.
  6. 청구항 5에 있어서,
    상기 LED는 상기 사진 특징부가 활성화된 것을 표시하기 위해 색상을 변경하는, 방법.
  7. 청구항 4에 있어서,
    상기 제한된 시야를 식별하기 위하여 가상 프레임의 대향 코너들을 응시하는 단계를 더 포함하는, 방법.
  8. 디지털 사진을 찍기 위한 방법으로서,
    웨어러블 디바이스를 사용자의 머리 상에 착용하는 단계로서, 상기 웨어러블 디바이스는 상기 사용자 주변의 이미지들을 캡처하도록 배향된 신 카메라를 포함하는, 단계;
    상기 웨어러블 디바이스의 사진 특징부를 활성화하기 위해 상기 웨어러블 디바이스의 미리 결정된 위치를 응시하는 단계;
    상기 사용자 주변 내의 일 영역의 가상 프레임의 대향 코너들을 응시하는 단계로서, 상기 웨어러블 디바이스는 식별된 코너들에 기초한 중심점에 기초하여 카메라 이미징 필드에 대한 제한된 시야 및 초점을 결정하는, 단계; 및
    상기 초점 주변에 중심이 맞추어진 상기 제한된 시야의 이미지를 캡처하도록 상기 카메라를 활성화하는 단계를 포함하는, 방법.
  9. 청구항 8에 있어서,
    사진 특징부를 활성화하기 위해 상기 웨어러블 디바이스의 미리 결정된 위치를 응시하는 단계는, 상기 웨어러블 디바이스가 사진 특징부가 활성화되었다는 것을 표시하기 위해 LED를 변경할 때까지, 상기 웨어러블 디바이스 상의 사진 찍기 LED를 응시하는 단계를 포함하는, 방법.
  10. 청구항 9에 있어서,
    상기 LED는 상기 사진 특징부가 활성화된 것을 표시하기 위해 색상을 변경하는, 방법.
  11. 디지털 사진을 찍기 위한 디바이스로서,
    사용자의 머리 상에 착용되도록 구성된 웨어러블 디바이스;
    상기 웨어러블 디바이스가 상기 사용자에게 착용될 때 눈의 아이 트래킹(eye tracking) 이미지들을 획득하도록 구성된 상기 웨어러블 디바이스 상의 엔도-카메라(endo-camera);
    상기 웨어러블 디바이스가 상기 사용자에게 착용될 때 상기 사용자 주변의 이미지들을 획득하도록 구성된 상기 웨어러블 디바이스 상의 엑소-카메라(exo-camera); 및
    상기 사용자가 상기 웨어러블 디바이스의 사진 특징부를 활성화하기 위하여 상기 사용자의 눈으로 미리 결정된 액션을 수행하는 때를 결정하기 위해 상기 엔도-카메라에 연결된 하나 이상의 프로세서들로서, 상기 하나 이상의 프로세서들은 상기 사용자가 미리 결정된 방식으로 상기 사용자 주변 내의 일 영역을 응시하는 때를 결정하기 위해 상기 엑소-카메라에 연결되며, 상기 하나 이상의 프로세서들은 상기 미리 결정된 방식에 기초하여 상기 엑소-카메라 이미징 필드에 대한 초점 및 제한된 시야를 결정하고, 상기 초점 주변에 중심이 맞추어진 상기 제한된 시야의 이미지를 캡처하도록 상기 엑소-카메라를 활성화하는, 상기 하나 이상의 프로세서들을 포함하는, 디바이스.
  12. 청구항 11에 있어서,
    상기 웨어러블 디바이스 상의 사진 찍기 LED를 더 포함하며,
    상기 미리 결정된 액션은 상기 하나 이상의 프로세서들이 상기 사용자가 상기 사진 찍기 LED를 응시한다는 것을 결정하는 것을 포함하는, 디바이스.
  13. 청구항 12에 있어서,
    상기 하나 이상의 프로세서들은, 사용자가 상기 사진 찍기 LED를 응시할 때 상기 하나 이상의 프로세서들이 상기 사진 특징부가 활성화되었다는 것을 표시하기 위해 상기 LED의 색상을 변경하도록 상기 사진 찍기 LED에 연결되는, 디바이스.
  14. 아이 트래킹을 위한 디바이스로서,
    사용자의 머리 상에 착용되도록 구성된 웨어러블 디바이스;
    상기 웨어러블 디바이스가 사용자에게 착용될 때 도파관이 상기 사용자의 눈의 전면에 위치되도록 상기 웨어러블 디바이스 상에 장착된 자유형(freeform) 도파관으로서, 상기 도파관은 그 안에 형성된 하나 이상의 블레이즈(blaze)들을 포함하는, 상기 자유형 도파관;
    상기 웨어러블 디바이스가 상기 사용자에게 착용될 때 상기 눈의 아이 트래킹 이미지들을 획득하기 위하여 상기 도파관에 연결된 상기 웨어러블 디바이스 상의 엔도-카메라; 및
    광이 상기 눈을 향해 상기 하나 이상의 블레이즈들에 반사되도록 상기 광을 상기 도파관 내로 보내기 위한 상기 웨어러블 디바이스 상의 하나 이상의 광원들을 포함하며,
    상기 하나 이상의 블레이즈들은 상기 도파관을 통과해 상기 눈을 향해 상기 도파관의 외부 표면 내로 지나가는 광을 포커싱하도록 더 구성되는, 디바이스.
  15. 청구항 14에 있어서,
    상기 웨어러블 디바이스 상의 주변 광 센서; 및
    상기 웨어러블 디바이스를 착용하고 있는 상기 사용자 주변의 주변 광의 레벨을 결정하기 위해 주변 광 센서에 연결된 하나 이상의 프로세서들을 포함하며,
    상기 하나 이상의 프로세서들은 상기 주변 광의 레벨이 미리 결정된 임계 밑인 때 아이 트래킹 시퀀스 동안 상기 광원들을 활성화하기 위해 상기 하나 이상의 광원들에 연결되는, 디바이스.
  16. 청구항 14에 있어서,
    상기 도파관이 보상 렌즈와 상기 웨어러블 디바이스를 착용한 상기 사용자의 상기 눈 사이에 배치되도록 상기 도파관의 전면에서 상기 웨어러블 디바이스 상에 장착된 보상 렌즈를 더 포함하는, 디바이스.
  17. 청구항 16에 있어서,
    상기 보상 렌즈는 선글라스 렌즈인, 디바이스.
  18. 청구항 16에 있어서,
    상기 보상 렌즈는 영구적으로 착색(tint)된, 디바이스.
  19. 청구항 16에 있어서,
    상기 보상 렌즈 및 상기 도파관 중 적어도 하나는 그 안에 이를 통과하는 광에 대한 가변 불투명도 또는 투명도를 제공하도록 구성된 입자들을 포함하며,
    상기 디바이스는 상기 입자들이 상기 불투명도 또는 투명도를 제어하게끔 선택적으로 활성화될 수 있는 전원을 더 포함하는, 디바이스.
  20. 청구항 14에 있어서,
    상기 웨어러블 디바이스가 상기 사용자에게 착용될 때 사용자 주변의 이미지들을 제공하도록 구성된 상기 웨어러블 디바이스 상의 엑소-카메라를 더 포함하는, 디바이스.
  21. 아이 트래킹을 위한 방법으로서,
    웨어러블 디바이스를 사용자의 머리 상에 착용하는 단계로서, 상기 웨어러블 디바이스는 도파관이 상기 사용자의 눈의 전면에 위치되도록 그 위에 장착된 자유형 도파관을 포함하며, 상기 도파관은 그 안에 형성된 하나 이상의 블레이즈들을 포함하는, 단계;
    상기 사용자 주변 내의 주변 광 조건들이 미리 결정된 임계 밑으로 떨어지는 때를 결정하는 단계;
    상기 주변 광 조건들이 상기 미리 결정된 임계 밑이면, 상기 눈의 이미지가 상기 웨어러블 디바이스 상의 엔도-카메라를 사용하여 획득되는 아이 트래킹 시퀀스 동안 상기 웨어러블 디바이스 상의 하나 이상의 광원들을 활성화하는 단계로서, 상기 하나 이상의 광원들로부터의 광은 상기 눈을 향해 하나 이상의 블레이즈들에 반사되어 상기 도파관을 통과하는, 단계;
    상기 사용자 주변 내의 상기 주변 광 조건들이 상기 미리 결정된 임계 이상인 때를 결정하는 단계; 및
    상기 주변 광 조건들이 상기 미리 결정된 임계 이상이면, 주변 광이 상기 눈을 향해 상기 하나 이상의 블레이즈들을 통과하도록 상기 하나 이상의 광원들을 오프한 채로 상기 엔도-카메라를 사용하여 상기 눈의 이미지들을 획득하는 단계를 포함하는, 방법.
  22. 청구항 21에 있어서,
    상기 하나 이상의 블레이즈들은, 상기 하나 이상의 블레이즈들을 통과하는 상기 주변 광으로부터 상기 눈 상에, 상기 눈의 이미지들로 획득되는, 미리 결정된 반짝임(glint) 패턴을 생성하는, 방법.
  23. 청구항 21에 있어서,
    상기 하나 이상의 블레이즈들은 상기 하나 이상의 블레이즈들에 반사되는 상기 하나 이상의 광원들로부터의 상기 광으로부터 상기 눈 상에 미리 결정된 반짝임 패턴을 생성하는, 방법.
  24. 맞춤형 아이 트래킹 디바이스를 생성하기 위한 키트로서,
    사용자의 머리 상에 착용되도록 구성된 웨어러블 디바이스;
    상이한 광학적 특성들을 갖는 복수의 자유형 도파관들로서, 각각의 도파관은 상기 웨어러블 디바이스가 상기 사용자에게 착용될 때 상기 도파관이 상기 사용자의 눈의 전면에 위치되도록 상기 웨어러블 디바이스에 독립적으로 장착가능한, 상기 복수의 자유형 도파관들;
    하나 이상의 보상 렌즈들로서, 각각의 렌즈는 도파관이 상기 보상 렌즈와 상기 웨어러블 디바이스를 착용한 상기 사용자의 상기 눈 사이에 배치되도록 상기 웨어러블 디바이스에 장착되는, 상기 하나 이상의 보상 렌즈들; 및
    상이한 특성들을 갖는 복수의 엔도-카메라 모듈들로서, 각각의 엔도-카메라 모듈은 상기 웨어러블 디바이스에 독립적으로 장착되며, 상기 웨어러블 디바이스가 상기 사용자에게 착용될 때 상기 눈의 아이 트래킹 이미지들을 획득하기 위하여 상기 장착된 도파관에 연결되는, 상기 복수의 엔도-카메라 모듈들을 포함하는, 키트.
  25. 청구항 24에 있어서,
    광이 상기 웨어러블 디바이스를 착용한 상기 사용자의 상기 눈을 향해 보내지도록 상기 도파관 내에 광을 보내기 위한 상기 웨어러블 디바이스 상의 하나 이상의 광원들을 더 포함하는, 키트.
  26. 청구항 24에 있어서,
    상기 하나 이상의 보상 렌즈들은 상이한 보상 렌즈들이 광에 대하여 상이한 투명도들을 갖는 복수의 보상 렌즈들을 포함하는, 키트.
  27. 청구항 26에 있어서,
    상기 보상 렌즈들 중 적어도 하나는 선글라스 렌즈인, 키트.
  28. 청구항 26에 있어서,
    상기 보상 렌즈들 중 적어도 하나는 영구적으로 착색된, 키트.
  29. 청구항 26에 있어서,
    상기 보상 렌즈들 중 적어도 하나는 그 안에 이를 통과하는 광에 대한 가변 불투명도 또는 투명도를 제공하도록 구성된 입자들을 포함하며,
    상기 웨어러블 디바이스는 상기 입자들이 상기 적어도 하나의 보상 렌즈의 상기 불투명도 또는 투명도를 제어하게끔 선택적으로 활성화될 수 있는 전원을 포함하는, 키트.
  30. 청구항 24에 있어서,
    상기 웨어러블 디바이스가 상기 사용자에게 착용될 때 상기 사용자 주변의 이미지들을 제공하도록 구성된 상기 웨어러블 디바이스 상의 엑소-카메라를 더 포함하는, 키트.
KR1020157017231A 2012-12-06 2013-12-06 아이 트래킹 웨어러블 디바이스들 및 사용을 위한 방법들 KR102205374B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261734354P 2012-12-06 2012-12-06
US201261734294P 2012-12-06 2012-12-06
US201261734342P 2012-12-06 2012-12-06
US61/734,342 2012-12-06
US61/734,294 2012-12-06
US61/734,354 2012-12-06
PCT/US2013/073753 WO2014089542A1 (en) 2012-12-06 2013-12-06 Eye tracking wearable devices and methods for use

Publications (2)

Publication Number Publication Date
KR20150116814A true KR20150116814A (ko) 2015-10-16
KR102205374B1 KR102205374B1 (ko) 2021-01-21

Family

ID=50884065

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157017231A KR102205374B1 (ko) 2012-12-06 2013-12-06 아이 트래킹 웨어러블 디바이스들 및 사용을 위한 방법들

Country Status (6)

Country Link
US (2) US10025379B2 (ko)
EP (1) EP2929413B1 (ko)
JP (1) JP6498606B2 (ko)
KR (1) KR102205374B1 (ko)
CN (1) CN104903818B (ko)
WO (1) WO2014089542A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180121594A (ko) * 2016-03-07 2018-11-07 매직 립, 인코포레이티드 생체 인증 보안을 위한 청색 광 조정

Families Citing this family (179)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9158116B1 (en) 2014-04-25 2015-10-13 Osterhout Group, Inc. Temple and ear horn assembly for headworn computer
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US10025379B2 (en) 2012-12-06 2018-07-17 Google Llc Eye tracking wearable devices and methods for use
KR102093198B1 (ko) * 2013-02-21 2020-03-25 삼성전자주식회사 시선 인식을 이용한 사용자 인터페이스 방법 및 장치
EP2989502A1 (en) * 2013-04-25 2016-03-02 Essilor International (Compagnie Générale d'Optique) A method of controlling a head mounted electro-optical device adapted to a wearer
CN108209857B (zh) * 2013-09-03 2020-09-11 托比股份公司 便携式眼睛追踪设备
KR102094965B1 (ko) * 2013-12-30 2020-03-31 삼성디스플레이 주식회사 각성 안경, 차량용 미러 유닛 및 표시장치
US9915545B2 (en) * 2014-01-14 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9578307B2 (en) * 2014-01-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10024679B2 (en) 2014-01-14 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10248856B2 (en) 2014-01-14 2019-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10360907B2 (en) 2014-01-14 2019-07-23 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US20160018652A1 (en) 2014-01-24 2016-01-21 Osterhout Group, Inc. See-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
GB2526515A (en) * 2014-03-25 2015-12-02 Jaguar Land Rover Ltd Image capture system
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US20160137312A1 (en) 2014-05-06 2016-05-19 Osterhout Group, Inc. Unmanned aerial vehicle launch system
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
AU2015297035B2 (en) 2014-05-09 2018-06-28 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US9818114B2 (en) * 2014-08-11 2017-11-14 Mastercard International Incorporated Systems and methods for performing payment card transactions using a wearable computing device
US10617342B2 (en) 2014-09-05 2020-04-14 Vision Service Plan Systems, apparatus, and methods for using a wearable device to monitor operator alertness
US10448867B2 (en) 2014-09-05 2019-10-22 Vision Service Plan Wearable gait monitoring apparatus, systems, and related methods
US11918375B2 (en) 2014-09-05 2024-03-05 Beijing Zitiao Network Technology Co., Ltd. Wearable environmental pollution monitor computer apparatus, systems, and related methods
US9922236B2 (en) 2014-09-17 2018-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable eyeglasses for providing social and environmental awareness
US10024678B2 (en) 2014-09-17 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable clip for providing social and environmental awareness
US9568603B2 (en) * 2014-11-14 2017-02-14 Microsoft Technology Licensing, Llc Eyewear-mountable eye tracking device
US9704038B2 (en) 2015-01-07 2017-07-11 Microsoft Technology Licensing, Llc Eye tracking
US10215568B2 (en) 2015-01-30 2019-02-26 Vision Service Plan Systems and methods for tracking motion, performance, and other data for an individual such as a winter sports athlete
US10490102B2 (en) 2015-02-10 2019-11-26 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for braille assistance
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US9972216B2 (en) 2015-03-20 2018-05-15 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for storing and playback of information for blind users
US9891077B2 (en) 2015-05-19 2018-02-13 Magic Leap, Inc. Dual composite light field device
CA2986144A1 (en) * 2015-05-20 2016-11-24 Magic Leap, Inc. Tilt shift iris imaging
US9898865B2 (en) 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
US9939644B2 (en) * 2015-06-25 2018-04-10 Intel Corporation Technologies for controlling vision correction of a wearable computing device
US11003246B2 (en) 2015-07-22 2021-05-11 Mentor Acquisition One, Llc External user interface for head worn computing
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
JP2017060078A (ja) * 2015-09-18 2017-03-23 カシオ計算機株式会社 画像録画システム、ユーザ装着装置、撮像装置、画像処理装置、画像録画方法、及びプログラム
US10618521B2 (en) * 2015-09-21 2020-04-14 Ford Global Technologies, Llc Wearable in-vehicle eye gaze detection
US11064881B2 (en) * 2015-11-13 2021-07-20 Hennepin Healthcare System, Inc Method for predicting convergence disorders caused by concussion or other neuropathology
US11137820B2 (en) 2015-12-01 2021-10-05 Amer Sports Digital Services Oy Apparatus and method for presenting thematic maps
US11144107B2 (en) 2015-12-01 2021-10-12 Amer Sports Digital Services Oy Apparatus and method for presenting thematic maps
US11210299B2 (en) 2015-12-01 2021-12-28 Amer Sports Digital Services Oy Apparatus and method for presenting thematic maps
US11215457B2 (en) 2015-12-01 2022-01-04 Amer Sports Digital Services Oy Thematic map based route optimization
US11587484B2 (en) 2015-12-21 2023-02-21 Suunto Oy Method for controlling a display
DE102016015066A1 (de) * 2015-12-21 2017-06-22 Suunto Oy Aktivitätsintensitätspegel-Bestimmung
DE102016015695A1 (de) 2015-12-21 2017-06-22 Suunto Oy Aktivitätsintensitätspegel-Bestimmung
FI127926B (en) 2015-12-21 2019-05-31 Suunto Oy Sensor-based context management
US10433768B2 (en) 2015-12-21 2019-10-08 Amer Sports Digital Services Oy Activity intensity level determination
US11284807B2 (en) 2015-12-21 2022-03-29 Amer Sports Digital Services Oy Engaging exercising devices with a mobile device
US11541280B2 (en) 2015-12-21 2023-01-03 Suunto Oy Apparatus and exercising device
US11838990B2 (en) 2015-12-21 2023-12-05 Suunto Oy Communicating sensor data in wireless communication systems
EP3398165B1 (en) * 2015-12-28 2023-02-01 Artilux Inc. Eye gesture tracking
CN108780228B (zh) * 2016-01-19 2021-04-20 奇跃公司 利用映像的增强现实系统和方法
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10850116B2 (en) 2016-12-30 2020-12-01 Mentor Acquisition One, Llc Head-worn therapy device
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US9880441B1 (en) 2016-09-08 2018-01-30 Osterhout Group, Inc. Electrochromic systems for head-worn computer systems
US9826299B1 (en) 2016-08-22 2017-11-21 Osterhout Group, Inc. Speaker systems for head-worn computer systems
US10024680B2 (en) 2016-03-11 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Step based guidance system
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10082866B2 (en) 2016-04-12 2018-09-25 International Business Machines Corporation Gaze point detection using dynamic facial reference points under varying lighting conditions
US9958275B2 (en) 2016-05-31 2018-05-01 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for wearable smart device communications
US10561519B2 (en) 2016-07-20 2020-02-18 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device having a curved back to reduce pressure on vertebrae
EP3276327B1 (en) 2016-07-29 2019-10-02 Essilor International Method for virtual testing of at least one lens having a predetermined optical feature and associated device
WO2018023242A1 (zh) * 2016-07-31 2018-02-08 杨洁 一种自动拍照的方法以及眼镜
WO2018023245A1 (zh) * 2016-07-31 2018-02-08 杨洁 一种自动拍照并传输的方法以及眼镜
WO2018023246A1 (zh) * 2016-07-31 2018-02-08 杨洁 一种拍照时的信息推送方法以及眼镜
WO2018023243A1 (zh) * 2016-07-31 2018-02-08 杨洁 一种自动拍照的专利信息推送方法以及眼镜
WO2018023247A1 (zh) * 2016-07-31 2018-02-08 杨洁 一种自动拍照并传输技术的数据采集方法以及眼镜
KR102548199B1 (ko) * 2016-08-03 2023-06-28 삼성전자주식회사 전자 장치 및 전자 장치의 시선 추적 방법
US10268268B1 (en) * 2016-09-02 2019-04-23 Facebook Technologies, Llc Waveguide integrated eye tracking
JP2018061622A (ja) * 2016-10-11 2018-04-19 オプトス ピーエルシー 眼底観察装置
DE102017009171A1 (de) 2016-10-17 2018-04-19 Amer Sports Digital Services Oy Eingebettete rechenvorrichtung
US11703938B2 (en) 2016-10-17 2023-07-18 Suunto Oy Embedded computing device
US10432851B2 (en) 2016-10-28 2019-10-01 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device for detecting photography
US10032053B2 (en) 2016-11-07 2018-07-24 Rockwell Automation Technologies, Inc. Tag based location
USD827143S1 (en) 2016-11-07 2018-08-28 Toyota Motor Engineering & Manufacturing North America, Inc. Blind aid device
US10012505B2 (en) 2016-11-11 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable system for providing walking directions
US10521669B2 (en) 2016-11-14 2019-12-31 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing guidance or feedback to a user
US10168531B1 (en) 2017-01-04 2019-01-01 Facebook Technologies, Llc Lightfield waveguide integrated eye tracking
US10485420B2 (en) * 2017-02-17 2019-11-26 Analog Devices Global Unlimited Company Eye gaze tracking
CN106842625B (zh) * 2017-03-03 2020-03-17 西南交通大学 一种基于特征共识性的目标追踪方法
US20180255250A1 (en) * 2017-03-03 2018-09-06 Microsoft Technology Licensing, Llc Pulsed, gated infrared illuminated camera systems and processes for eye tracking in high ambient light environments
US10977858B2 (en) 2017-03-30 2021-04-13 Magic Leap, Inc. Centralized rendering
KR102551780B1 (ko) 2017-03-30 2023-07-04 매직 립, 인코포레이티드 비차단 이중 드라이버 이어폰들
IL269861B2 (en) 2017-04-14 2023-11-01 Magic Leap Inc Multimodal eye tracking
US9910298B1 (en) 2017-04-17 2018-03-06 Vision Service Plan Systems and methods for a computerized temple for use with eyewear
US20180336772A1 (en) * 2017-05-19 2018-11-22 Hcl Technologies Limited System and method for alerting a user within a warehouse
US11079522B1 (en) 2017-05-31 2021-08-03 Magic Leap, Inc. Fiducial design
EP3631567B1 (en) * 2017-05-31 2022-09-21 Magic Leap, Inc. Eye tracking calibration techniques
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
EP3628076B1 (en) * 2017-07-13 2024-02-14 Huawei Technologies Co., Ltd. Dual mode headset
US11409105B2 (en) 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
US10969584B2 (en) 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
CA3078420A1 (en) 2017-10-17 2019-04-25 Magic Leap, Inc. Mixed reality spatial audio
FI20175960A1 (en) * 2017-10-30 2019-05-01 Univ Of Eastern Finland Procedure and apparatus for gaze detection
US11181977B2 (en) * 2017-11-17 2021-11-23 Dolby Laboratories Licensing Corporation Slippage compensation in eye tracking
USD849822S1 (en) * 2017-12-29 2019-05-28 Aira Tech Corp. Smart glasses for interactive use cases
WO2019154511A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
WO2019154509A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
CN114679677B (zh) 2018-02-15 2024-02-20 奇跃公司 用于混合现实的双听者位置
JP2021514081A (ja) 2018-02-15 2021-06-03 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 複合現実仮想反響音
IL276511B2 (en) 2018-02-15 2024-01-01 Magic Leap Inc Musical instruments in mixed reality
WO2019185150A1 (en) * 2018-03-29 2019-10-03 Tobii Ab Determining a gaze direction using depth information
WO2019190561A1 (en) * 2018-03-30 2019-10-03 Tobii Ab Deep learning for three dimensional (3d) gaze prediction
US10281085B1 (en) * 2018-03-30 2019-05-07 Faspro Systems Co., Ltd. Head-mounted wireless photographic apparatus
US10558895B2 (en) * 2018-03-30 2020-02-11 Tobii Ab Deep learning for three dimensional (3D) gaze prediction
CN110557552A (zh) * 2018-05-31 2019-12-10 联想企业解决方案(新加坡)有限公司 便携式图像采集设备
US10667072B2 (en) 2018-06-12 2020-05-26 Magic Leap, Inc. Efficient rendering of virtual soundfields
CN110596889A (zh) * 2018-06-13 2019-12-20 托比股份公司 眼睛跟踪装置和制造眼睛跟踪装置的方法
CN112534498A (zh) 2018-06-14 2021-03-19 奇跃公司 混响增益归一化
WO2019241760A1 (en) 2018-06-14 2019-12-19 Magic Leap, Inc. Methods and systems for audio signal filtering
JP2021528001A (ja) 2018-06-18 2021-10-14 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 双方向オーディオ環境のための空間オーディオ
US11854566B2 (en) 2018-06-21 2023-12-26 Magic Leap, Inc. Wearable system speech processing
US11201953B2 (en) 2018-07-24 2021-12-14 Magic Leap, Inc. Application sharing
US11179035B2 (en) * 2018-07-25 2021-11-23 Natus Medical Incorporated Real-time removal of IR LED reflections from an image
US10722128B2 (en) 2018-08-01 2020-07-28 Vision Service Plan Heart rate detection system and method
US20210373340A1 (en) * 2018-09-21 2021-12-02 Dolby Laboratories Licensing Corporation Incorporating components inside optical stacks of headmounted devices
US11094127B2 (en) 2018-09-25 2021-08-17 Magic Leap, Inc. Systems and methods for presenting perspective views of augmented reality virtual object
CN116249053A (zh) 2018-10-05 2023-06-09 奇跃公司 用于双耳音频渲染的耳间时间差交叉渐变器
US11122383B2 (en) 2018-10-05 2021-09-14 Magic Leap, Inc. Near-field audio rendering
CN113168526A (zh) 2018-10-09 2021-07-23 奇跃公司 用于虚拟和增强现实的系统和方法
US11487316B2 (en) 2018-10-24 2022-11-01 Magic Leap, Inc. Asynchronous ASIC
US10786033B2 (en) * 2018-10-29 2020-09-29 Robotarmy Corp. Racing helmet with visual and audible information exchange
TWI699671B (zh) * 2018-12-12 2020-07-21 國立臺灣大學 減低眼球追蹤運算的方法和其眼動追蹤裝置
JP2022516074A (ja) 2018-12-27 2022-02-24 マジック リープ， インコーポレイテッド 仮想および拡張現実のためのシステムおよび方法
US11537202B2 (en) 2019-01-16 2022-12-27 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
JP2022522748A (ja) 2019-03-01 2022-04-20 マジック リープ， インコーポレイテッド 発話処理エンジンのための入力の決定
US10877268B2 (en) * 2019-04-16 2020-12-29 Facebook Technologies, Llc Active control of in-field light sources of a head mounted display
EP3966624A4 (en) 2019-05-10 2023-01-11 Twenty Twenty Therapeutics LLC NATURAL PHYSIO-OPTICAL USER INTERFACE FOR AN INTRAOCULAR MICRODISPLAY
US11676422B2 (en) 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
WO2020247863A1 (en) 2019-06-06 2020-12-10 Magic Leap, Inc. Photoreal character configurations for spatial computing
US11301677B2 (en) * 2019-06-14 2022-04-12 Tobil AB Deep learning for three dimensional (3D) gaze prediction
CN114424147A (zh) * 2019-07-16 2022-04-29 奇跃公司 利用一个或多个眼睛跟踪相机确定眼睛旋转中心
US11328740B2 (en) 2019-08-07 2022-05-10 Magic Leap, Inc. Voice onset detection
US11704874B2 (en) 2019-08-07 2023-07-18 Magic Leap, Inc. Spatial instructions and guides in mixed reality
EP4046138A4 (en) 2019-10-18 2022-12-07 Magic Leap, Inc. GRAVITY ESTIMATION AND BUNDLE ADJUSTMENT FOR VISUAL INERTIAL ODOMETRY
WO2021081442A1 (en) 2019-10-25 2021-04-29 Magic Leap, Inc. Non-uniform stereo rendering
US11304017B2 (en) 2019-10-25 2022-04-12 Magic Leap, Inc. Reverberation fingerprint estimation
US11959997B2 (en) 2019-11-22 2024-04-16 Magic Leap, Inc. System and method for tracking a wearable device
EP4070159A4 (en) 2019-12-04 2023-01-18 Magic Leap, Inc. VARIABLE PITCH COLOR EMISSION DISPLAY DEVICE
CN115380311A (zh) 2019-12-06 2022-11-22 奇跃公司 环境声学持久性
US11269181B2 (en) 2019-12-09 2022-03-08 Magic Leap, Inc. Systems and methods for operating a head-mounted display system based on user identity
US11337023B2 (en) 2019-12-20 2022-05-17 Magic Leap, Inc. Physics-based audio and haptic synthesis
US11494528B2 (en) 2020-02-14 2022-11-08 Magic Leap, Inc. Tool bridge
EP4104002A4 (en) 2020-02-14 2023-08-09 Magic Leap, Inc. 3D OBJECT ANNOTATION
EP4104456A4 (en) 2020-02-14 2023-07-19 Magic Leap, Inc. AUDIO PLAYBACK WITH MULTIPLE APPLICATIONS
JP2023514572A (ja) 2020-02-14 2023-04-06 マジック リープ， インコーポレイテッド セッションマネージャ
US11778410B2 (en) 2020-02-14 2023-10-03 Magic Leap, Inc. Delayed audio following
WO2021164867A1 (en) * 2020-02-19 2021-08-26 Pupil Labs Gmbh Eye tracking module and head-wearable device
JP2023515886A (ja) 2020-03-02 2023-04-14 マジック リープ， インコーポレイテッド 没入型のオーディオプラットフォーム
US11917384B2 (en) 2020-03-27 2024-02-27 Magic Leap, Inc. Method of waking a device using spoken voice commands
WO2021243103A1 (en) 2020-05-29 2021-12-02 Magic Leap, Inc. Determining angular acceleration
US11636843B2 (en) 2020-05-29 2023-04-25 Magic Leap, Inc. Surface appropriate collisions
CN114967904A (zh) * 2021-02-19 2022-08-30 北京京东方光电科技有限公司 视线定位方法、头戴显示设备、计算机设备及存储介质
US20230122300A1 (en) * 2021-10-14 2023-04-20 Microsoft Technology Licensing, Llc Eye-tracking waveguides
US11592899B1 (en) 2021-10-28 2023-02-28 Tectus Corporation Button activation within an eye-controlled user interface
US11619994B1 (en) 2022-01-14 2023-04-04 Tectus Corporation Control of an electronic contact lens using pitch-based eye gestures
US11874961B2 (en) 2022-05-09 2024-01-16 Tectus Corporation Managing display of an icon in an eye tracking augmented reality device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050195277A1 (en) * 2004-03-04 2005-09-08 Olympus Corporation Image capturing apparatus
US20100220291A1 (en) * 2009-03-02 2010-09-02 Honeywell International Inc. Wearable eye tracking system
US20120019645A1 (en) * 2010-07-23 2012-01-26 Maltz Gregory A Unitized, Vision-Controlled, Wireless Eyeglasses Transceiver

Family Cites Families (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3863243A (en) 1972-01-19 1975-01-28 Max Skolnick Sleep inhibiting alarm
US3798599A (en) 1972-02-24 1974-03-19 H Kafafian Single input controller for a communication system
US4359724A (en) 1980-04-28 1982-11-16 Ronald R. Zimmerman Eyelid movement detector
DE3777461D1 (de) 1986-06-20 1992-04-23 Matsushita Electric Ind Co Ltd Optisches aufzeichnungs-und wiedergabegeraet.
EP0280124A1 (en) 1987-02-12 1988-08-31 Omron Tateisi Electronics Co. Doze detector
US4850691A (en) 1987-03-18 1989-07-25 University Of Illinois Method and apparatus for determining pupillary response parameters
US4815839A (en) 1987-08-03 1989-03-28 Waldorf Ronald A Infrared/video electronystagmographic apparatus
US5214456A (en) 1991-10-09 1993-05-25 Computed Anatomy Incorporated Mapping of corneal topography with display of pupil perimeter
JPH05191683A (ja) * 1992-01-14 1993-07-30 Canon Inc 撮影記録装置
US5345281A (en) 1992-12-17 1994-09-06 John Taboada Eye tracking system and method
US5517021A (en) 1993-01-19 1996-05-14 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
TW247985B (en) * 1993-04-22 1995-05-21 Canon Kk Image-taking apparatus
JPH07146431A (ja) * 1993-11-25 1995-06-06 Canon Inc カメラ
US5402109A (en) 1993-04-29 1995-03-28 Mannik; Kallis H. Sleep prevention device for automobile drivers
US5481622A (en) 1994-03-01 1996-01-02 Rensselaer Polytechnic Institute Eye tracking apparatus and method employing grayscale threshold values
JPH07283974A (ja) * 1994-04-12 1995-10-27 Canon Inc 視線検出装置を備えたビデオカメラ
JPH086708A (ja) 1994-04-22 1996-01-12 Canon Inc 表示装置
CA2126142A1 (en) 1994-06-17 1995-12-18 David Alexander Kahn Visual communications apparatus
US5469143A (en) 1995-01-10 1995-11-21 Cooper; David E. Sleep awakening device for drivers of motor vehicles
US5566067A (en) 1995-03-23 1996-10-15 The President And Fellows Of Harvard College Eyelid vigilance detector system
US5689241A (en) 1995-04-24 1997-11-18 Clarke, Sr.; James Russell Sleep detection and driver alert apparatus
US5570698A (en) 1995-06-02 1996-11-05 Siemens Corporate Research, Inc. System for monitoring eyes for detecting sleep behavior
US5682144A (en) 1995-11-20 1997-10-28 Mannik; Kallis Hans Eye actuated sleep prevention devices and other eye controlled devices
US6003991A (en) 1996-02-17 1999-12-21 Erik Scott Viirre Eye examination apparatus and method for remote examination of a patient by a health professional
US5912721A (en) 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
US5886683A (en) 1996-06-25 1999-03-23 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven information retrieval
US6542081B2 (en) 1996-08-19 2003-04-01 William C. Torch System and method for monitoring eye movement
US6246344B1 (en) 1996-08-19 2001-06-12 William C. Torch Method and apparatus for voluntary communication
US6163281A (en) 1996-08-19 2000-12-19 Torch; William C. System and method for communication using eye movement
US5748113A (en) 1996-08-19 1998-05-05 Torch; William C. Method and apparatus for communication
US5867587A (en) 1997-05-19 1999-02-02 Northrop Grumman Corporation Impaired operator detection and warning system employing eyeblink analysis
AU1091099A (en) 1997-10-16 1999-05-03 Board Of Trustees Of The Leland Stanford Junior University Method for inferring mental states from eye movements
US6007202A (en) 1997-10-23 1999-12-28 Lasersight Technologies, Inc. Eye illumination system and method
DE19803158C1 (de) 1998-01-28 1999-05-06 Daimler Chrysler Ag Vorrichtung zur Vigilanzzustandsbestimmung
US6204828B1 (en) 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
US6867752B1 (en) 1998-08-31 2005-03-15 Semiconductor Energy Laboratory Co., Ltd. Portable information processing system
US6243076B1 (en) 1998-09-01 2001-06-05 Synthetic Environments, Inc. System and method for controlling host system interface with point-of-interest data
US6087941A (en) 1998-09-01 2000-07-11 Ferraz; Mark Warning device for alerting a person falling asleep
AUPP612998A0 (en) 1998-09-23 1998-10-15 Canon Kabushiki Kaisha Multiview multimedia generation system
US6526159B1 (en) 1998-12-31 2003-02-25 Intel Corporation Eye tracking for resource and power management
US6577329B1 (en) 1999-02-25 2003-06-10 International Business Machines Corporation Method and system for relevance feedback through gaze tracking and ticker interfaces
GB2348520B (en) 1999-03-31 2003-11-12 Ibm Assisting user selection of graphical user interface elements
US6116736A (en) 1999-04-23 2000-09-12 Neuroptics, Inc. Pupilometer with pupil irregularity detection capability
JP2001183735A (ja) * 1999-12-27 2001-07-06 Fuji Photo Film Co Ltd 撮像装置および方法
JP2001281520A (ja) * 2000-03-30 2001-10-10 Minolta Co Ltd 光学装置
US6456262B1 (en) 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
US6608615B1 (en) 2000-09-19 2003-08-19 Intel Corporation Passive gaze-driven browsing
EP1405122B1 (de) 2000-10-07 2007-07-18 David Dickerson Vorrichtung zur bestimmung der orientierung eines auges
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US20030038754A1 (en) 2001-08-22 2003-02-27 Mikael Goldstein Method and apparatus for gaze responsive text presentation in RSVP display
AUPR872301A0 (en) 2001-11-08 2001-11-29 Sleep Diagnostics Pty Ltd Alertness monitor
US6712468B1 (en) 2001-12-12 2004-03-30 Gregory T. Edwards Techniques for facilitating use of eye tracking data
US6919907B2 (en) * 2002-06-20 2005-07-19 International Business Machines Corporation Anticipatory image capture for stereoscopic remote viewing with foveal priority
US20040061680A1 (en) 2002-07-10 2004-04-01 John Taboada Method and apparatus for computer control
JP4551766B2 (ja) * 2002-10-15 2010-09-29 ボルボ テクノロジー コーポレイション 被験者の頭及び目の動きを分析する方法及び装置
US7347551B2 (en) 2003-02-13 2008-03-25 Fergason Patent Properties, Llc Optical system for monitoring eye movement
US7881493B1 (en) 2003-04-11 2011-02-01 Eyetools, Inc. Methods and apparatuses for use of eye interpretation information
US9274598B2 (en) 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
US20050047629A1 (en) 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US7365738B2 (en) 2003-12-02 2008-04-29 International Business Machines Corporation Guides and indicators for eye movement monitoring systems
US7561143B1 (en) 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
GB2412431B (en) * 2004-03-25 2007-11-07 Hewlett Packard Development Co Self-calibration for an eye tracker
ZA200608191B (en) 2004-04-01 2008-07-30 William C Torch Biosensors, communicators, and controllers monitoring eye movement and methods for using them
DK1607840T3 (da) 2004-06-18 2015-02-16 Tobii Technology Ab Øjenstyring af et computerapparat
MX2007010513A (es) 2005-03-04 2008-01-16 Sleep Diagnostics Pty Ltd Medicion de estado de alerta.
JP2006345276A (ja) * 2005-06-09 2006-12-21 Fujifilm Holdings Corp 撮像装置
US8120577B2 (en) 2005-10-28 2012-02-21 Tobii Technology Ab Eye tracker with visual feedback
US7429108B2 (en) 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
US7760910B2 (en) 2005-12-12 2010-07-20 Eyetools, Inc. Evaluation of visual stimuli using existing viewing data
US8793620B2 (en) 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
JP2008288767A (ja) 2007-05-16 2008-11-27 Sony Corp 情報処理装置および方法、並びにプログラム
US8462949B2 (en) 2007-11-29 2013-06-11 Oculis Labs, Inc. Method and apparatus for secure display of visual content
US20100045596A1 (en) 2008-08-21 2010-02-25 Sony Ericsson Mobile Communications Ab Discreet feature highlighting
US7850306B2 (en) 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
US20100245765A1 (en) 2008-10-28 2010-09-30 Dyer Holdings, Llc Video infrared ophthalmoscope
JP2010213214A (ja) * 2009-03-12 2010-09-24 Brother Ind Ltd ヘッドマウントディスプレイ
EP2238889B1 (en) 2009-04-01 2011-10-12 Tobii Technology AB Adaptive camera and illuminator eyetracker
WO2010118292A1 (en) 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
CN101943982B (zh) 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
ES2746378T3 (es) 2009-07-16 2020-03-05 Tobii Ab Unidad de detección ocular que usa flujo de datos paralelo
JP5613025B2 (ja) * 2009-11-18 2014-10-22 パナソニック株式会社 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置
JP5679655B2 (ja) * 2009-12-24 2015-03-04 レノボ・イノベーションズ・リミテッド（香港） 携帯端末装置及びその表示制御方法
US9507418B2 (en) 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US20130314303A1 (en) * 2010-02-28 2013-11-28 Osterhout Group, Inc. Ar glasses with user action control of and between internal and external applications with feedback
US9182596B2 (en) * 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US8890946B2 (en) 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
US8593375B2 (en) 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
EP2499964B1 (en) * 2011-03-18 2015-04-15 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Optical measuring device and system
US8643680B2 (en) 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US8885877B2 (en) 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
US8911087B2 (en) 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
EP2587341B1 (en) 2011-10-27 2017-01-04 Tobii AB Power management in an eye-tracking system
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
KR101891786B1 (ko) 2011-11-29 2018-08-27 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기
US8955973B2 (en) 2012-01-06 2015-02-17 Google Inc. Method and system for input detection using structured light projection
US8878749B1 (en) * 2012-01-06 2014-11-04 Google Inc. Systems and methods for position estimation
US9529426B2 (en) * 2012-02-08 2016-12-27 Microsoft Technology Licensing, Llc Head pose tracking using a depth camera
US9578318B2 (en) * 2012-03-14 2017-02-21 Microsoft Technology Licensing, Llc Imaging structure emitter calibration
US9171198B1 (en) * 2012-04-02 2015-10-27 Google Inc. Image capture technique
US9423870B2 (en) * 2012-05-08 2016-08-23 Google Inc. Input determination method
WO2013169237A1 (en) 2012-05-09 2013-11-14 Intel Corporation Eye tracking based selective accentuation of portions of a display
DE102012105664A1 (de) 2012-06-28 2014-04-10 Oliver Hein Verfahren und Vorrichtung zur Kodierung von Augen- und Blickverlaufsdaten
US9189064B2 (en) 2012-09-05 2015-11-17 Apple Inc. Delay of display event based on user gaze
US20140092006A1 (en) 2012-09-28 2014-04-03 Joshua Boelter Device and method for modifying rendering based on viewer focus area from eye tracking
US10025379B2 (en) 2012-12-06 2018-07-17 Google Llc Eye tracking wearable devices and methods for use
WO2014111924A1 (en) 2013-01-15 2014-07-24 Poow Innovation Ltd. Dynamic icons
US9829971B2 (en) 2013-01-21 2017-11-28 Facebook, Inc. Systems and methods of eye tracking control
KR102093198B1 (ko) 2013-02-21 2020-03-25 삼성전자주식회사 시선 인식을 이용한 사용자 인터페이스 방법 및 장치
KR102175853B1 (ko) 2013-02-22 2020-11-06 삼성전자주식회사 동작 제어 방법 및 그 전자 장치
ES2731560T3 (es) 2013-03-01 2019-11-15 Tobii Ab Interacción de mirada con deformación retardada
JP6929644B2 (ja) 2013-12-31 2021-09-01 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 注視によるメディア選択及び編集のためのシステム並びに方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050195277A1 (en) * 2004-03-04 2005-09-08 Olympus Corporation Image capturing apparatus
US20100220291A1 (en) * 2009-03-02 2010-09-02 Honeywell International Inc. Wearable eye tracking system
US20120019645A1 (en) * 2010-07-23 2012-01-26 Maltz Gregory A Unitized, Vision-Controlled, Wireless Eyeglasses Transceiver

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180121594A (ko) * 2016-03-07 2018-11-07 매직 립, 인코포레이티드 생체 인증 보안을 위한 청색 광 조정
KR20220017535A (ko) * 2016-03-07 2022-02-11 매직 립, 인코포레이티드 생체 인증 보안을 위한 청색 광 조정
US11288350B2 (en) 2016-03-07 2022-03-29 Magic Leap, Inc. Blue light adjustment for biometric security

Also Published As

Publication number Publication date
US20140218281A1 (en) 2014-08-07
EP2929413B1 (en) 2020-06-03
CN104903818A (zh) 2015-09-09
WO2014089542A1 (en) 2014-06-12
JP2016510517A (ja) 2016-04-07
US20140184775A1 (en) 2014-07-03
CN104903818B (zh) 2018-12-14
EP2929413A1 (en) 2015-10-14
KR102205374B1 (ko) 2021-01-21
EP2929413A4 (en) 2016-07-13
JP6498606B2 (ja) 2019-04-10
US10025379B2 (en) 2018-07-17

Similar Documents

Publication Publication Date Title
EP2929413B1 (en) Eye tracking wearable devices and methods for use
JP6159263B2 (ja) 照射特性を調整可能にして少なくとも１つの眼における少なくとも１つのパラメータを捕捉する光学的測定装置及び方法
JP6539654B2 (ja) 視線検知装置
EP3228072B1 (en) Virtual focus feedback
US9033502B2 (en) Optical measuring device and method for capturing at least one parameter of at least one eye wherein an illumination characteristic is adjustable
JP4845611B2 (ja) 撮像装置
CN103501406B (zh) 图像采集系统及图像采集方法
WO2015051751A1 (en) Interactive projection display
US20150302773A1 (en) See Through Display enabling the correction of visual deficits
JP6481084B2 (ja) 映像表示機能付き眼鏡
US11221492B2 (en) Eye tracking apparatus and eye tracking device for the estimation of line-of-sight and/or gaze point of eyes
KR20170065631A (ko) 시스루 디스플레이 광학 구조
KR20170118618A (ko) 눈 촬영 장치
CN108427193A (zh) 增强现实显示系统
WO2018045985A1 (zh) 一种增强现实显示系统
KR20220046494A (ko) 시선 방향을 결정하는 방법 및 시선 추적 센서
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
TW201805689A (zh) 外加式近眼顯示裝置
KR20110111830A (ko) 안경형 마우스 시스템
TWI740083B (zh) 低光源環境顯示結構
US20240045211A1 (en) Increased Optical Performance of Head-Mounted Displays inside Laser Safety Eyewear
WO2024006966A1 (en) Eye-tracking system

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant