KR101882594B1

KR101882594B1 - 휴대용 눈 추적 디바이스

Info

Publication number: KR101882594B1
Application number: KR1020167008758A
Authority: KR
Inventors: 요나스 안데르손; 시몬 구스타프손; 에릭 엥왈; 리차드 하인즐; 안데르스 클라우센; 얀 노르덴
Original assignee: 토비 에이비
Priority date: 2013-09-03
Filing date: 2014-05-19
Publication date: 2018-07-26
Also published as: EP3041401A1; KR101926942B1; CN113576398A; CN108209857A; KR20160111018A; US10375283B2; US20190327399A1; US9710058B2; US20150061996A1; WO2015034561A1; US20180020137A1; US10116846B2; US9665172B2; KR101968455B1; US9041787B2; CN105960193A; US20210038072A1; CN108209857B; WO2015034560A1; US20170272627A1

Abstract

프레임, 적어도 하나의 광학계 유지 부재, 움직임 센서 및 제어 유닛을 포함하는 휴대용 눈 추적기 디바이스가 개시되어 있다. 프레임은 사용자에 의해 착용되도록 되어 있는 프레임일 수 있다. 적어도 하나의 광학계 유지 부재는 사용자의 적어도 하나의 눈의 적어도 일부를 선택적으로 조명하도록 구성된 적어도 하나의 조명기, 및 사용자의 적어도 하나의 눈의 적어도 일부의 이미지들을 나타내는 이미지 데이터를 캡처하도록 구성된 적어도 하나의 이미지 센서를 포함할 수 있다. 움직임 센서는 프레임의 움직임을 검출하도록 구성될 수 있다. 제어 유닛은 사용자의 적어도 하나의 눈의 적어도 일부의 선택적 조명을 위해 적어도 하나의 조명기를 제어하고, 이미지 센서들로부터 이미지 데이터를 수신하고, 움직임 센서로부터 정보를 수신하도록 구성될 수 있다.

Description

휴대용 눈 추적 디바이스{PORTABLE EYE TRACKING DEVICE}

관련 출원들에 대한 상호 참조

본 출원은, 2013년 9월 3일자로 출원되었으며 발명의 명칭이 "PORTABLE EYE TRACKING DEVICE"인 미국 가특허 출원 제61/873,154호에 대해 우선권을 주장하며, 이 가특허 출원의 전체 개시내용은 이로써 모든 목적을 위해 본 명세서에 완전히 진술된 것처럼 참조로 포함된다.

본 출원은, 그것과 동시에 출원되었으며 발명의 명칭이 "PORTABLE EYE TRACKING DEVICE"인 미국 특허 출원 제14/281,599호, 그것과 동시에 출원되었으며 발명의 명칭이 "PORTABLE EYE TRACKING DEVICE"인 미국 특허 출원 제14/281,616호, 그것과 동시에 출원되었으며 발명의 명칭이 "PORTABLE EYE TRACKING DEVICE"인 미국 특허 출원 제14/281,587호, 및 그것과 동시에 출원되었으며 발명의 명칭이 "PORTABLE EYE TRACKING DEVICE"인 미국 특허 출원 제14/281,676호에 또한 관련되며, 이러한 특허들의 전체 개시내용은 이로써 모든 목적을 위해 본 명세서에 완전히 진술된 것처럼 참조로 포함된다.

사용자가 보고 있는 지점을 결정하는 방법들은 본 기술분야에 공지되어 있다. 기술은 눈 추적 또는 응시 검출 기술로 언급된다. 눈 추적 시스템들은 전형적으로 2개의 주요 형태들로 발견된다. 하나의 형태에서, 센서 또는 다른 눈 추적 디바이스는 사용자의 눈으로부터 멀리 떨어져서 예컨대 컴퓨터, 디스플레이 또는 유사한 디바이스 내에 또는 상에 위치된다.

눈 추적의 하나의 공지된 방법은 적외선 광 및 이미지 센서의 사용을 포함한다. 적외선 광은 사용자의 동공을 향해 지향되고 광의 반사는 이미지 센서에 의해 캡처된다. 반사 지점의 분석을 통해, 사용자의 응시 방향이 산출될 수 있다. 하나의 그러한 시스템은 스웨덴의 Tobii Technology AB에 양도된 미국 특허 제7,572,008호("'008 특허")에 설명되어 있다. '008 특허의 전체 개시내용은 이로써 모든 목적을 위해 본 명세서에 완전히 진술된 것처럼 참조로 포함된다.

휴대용 또는 착용가능 눈 추적 디바이스들은 또한 이전에 설명되었고 상업 구매에 이용가능하다. 하나의 그러한 눈 추적 시스템은 스웨덴의 Tobii Technology AB에 양도된 미국 특허 출원 공개 공보 제2011/0279666호("'666 출원")에 설명되어 있다. '666 출원의 전체 개시내용은 이로써 모든 목적을 위해 본 명세서에 완전히 진술된 것처럼 참조로 포함된다. '666 출원은 사용자의 응시 방향을 결정하는 것을 돕기 위해, 외부 적외선 광 소스가 참조 지점으로서의 장면에 배치되는 것을 필요로 하는 착용가능 눈 추적 디바이스를 설명한다.

기존 휴대용 눈 추적 시스템들은 장비가 착용자의 머리에 대해 이동할 때 심각한 성능 저하를 겪을 수 있다. 예를 들어, 안경은 착용자의 코에 대해 미끄러질 수 있으며; 게다가, 착용자는 안경이 착용됨에 따라 안경을 수동으로 조정할 수 있다. 교정을 필요로 하는 설계들에 대해, 착용자의 머리에 대한 안경의 그러한 움직임은 교정을 무효화하고 판독들의 정확도를 상당히 저하시킬 수 있다. 다른 예로서, 단일 카메라 휴대용 눈 추적 시스템은 착용자가 강한 광 소스들에 있을 때; 직접적인 햇빛에 노출될 때; 또는 단일 카메라의 뷰가 예컨대 속눈썹에 의해 방해될 때를 포함하는 특정 조건들에서 실질적으로 저하된 판독을 제공할 수 있다. 더욱이, 그러한 단일 카메라 시스템들은 사용자의 시야의 말단들에서 응시 방향들을 검출불가능할 수 있다.

일 실시예에서, 휴대용 눈 추적기 디바이스가 제공된다. 휴대용 눈 추적기 디바이스는 프레임, 적어도 하나의 광학계 유지 부재, 움직임 센서, 및 제어 유닛을 포함할 수 있다. 프레임은 사용자에 의해 착용되도록 되어 있는 프레임일 수 있다. 적어도 하나의 광학계 유지 부재는 사용자의 적어도 하나의 눈의 적어도 일부를 선택적으로 조명하도록 구성된 적어도 하나의 조명기, 및 사용자의 적어도 하나의 눈의 적어도 일부의 이미지들을 나타내는 이미지 데이터를 캡처하도록 구성된 적어도 하나의 이미지 센서를 포함할 수 있다. 움직임 센서는 프레임의 움직임을 검출하도록 구성될 수 있다. 제어 유닛은 사용자의 적어도 하나의 눈의 적어도 일부의 선택적 조명을 위해 적어도 하나의 조명기를 제어하고, 이미지 센서들로부터 이미지 데이터를 수신하고, 움직임 센서로부터 정보를 수신하도록 구성될 수 있다.

다른 실시예에서, 사용자에 대한 응시 방향을 결정하는 방법이 제공된다. 이 방법은 사용자의 눈들 중 적어도 하나의 눈의 적어도 일부를 선택적으로 조명하기 위해 사용자에 의해 착용된 프레임 상의 적어도 하나의 조명기를 활성화하는 단계를 포함할 수 있다. 이 방법은 프레임 상의 적어도 하나의 이미지 센서로부터 사용자의 눈들 중 적어도 하나의 눈의 적어도 일부의 이미지들을 나타내는 이미지 데이터를 수신하는 단계를 또한 포함할 수 있다. 이 방법은 프레임의 움직임을 검출하도록 구성된 움직임 센서로부터 정보를 수신하는 단계를 더 포함할 수 있다. 이 방법은 움직임 센서로부터의 정보 및 이미지 데이터에 적어도 부분적으로 기초하여 사용자에 대한 응시 타깃 영역을 결정하는 단계를 추가적으로 포함할 수 있다.

다른 실시예에서, 사용자에 대한 응시 방향을 결정하기 위한 명령어들을 갖는 비일시적인 머신 판독가능 매체가 제공된다. 이러한 명령어들은, 사용자의 눈들 중 적어도 하나의 눈의 적어도 일부를 선택적으로 조명하도록 사용자에 의해 착용된 프레임 상의 적어도 하나의 조명기를 활성화하기 위해 프로세서에 의해 실행가능할 수 있다. 이러한 명령어들은, 프레임 상의 적어도 하나의 이미지 센서로부터 사용자의 눈들 중 적어도 하나의 눈의 적어도 일부의 이미지들을 나타내는 이미지 데이터를 수신하기 위해 또한 실행가능할 수 있다. 이러한 명령어들은, 프레임의 움직임을 검출하도록 구성된 움직임 센서로부터 정보를 수신하기 위해 추가로 실행가능할 수 있다. 이러한 명령어들은, 움직임 센서로부터의 정보 및 이미지 데이터에 적어도 부분적으로 기초하여 사용자에 대한 응시 타깃 영역을 결정하기 위해 추가적으로 실행가능할 수 있다.

본 발명은 첨부 도면들과 함께 설명된다.
도 1a는 본 발명의 일부 실시예들에 따른 눈 추적 디바이스를 도시한다.
도 1b는 본 발명의 다른 실시예들에 따른 대안적인 눈 추적 디바이스를 도시한다.
도 2a는 본 발명의 일부 실시예들에 따른 눈 추적 디바이스의 후방 뷰를 도시한다.
도 2b는 본 발명의 다른 실시예들에 따른 눈 추적 디바이스의 후방 뷰를 도시한다.
도 3은 본 발명의 일부 실시예들에 따른 광학계 유지 부재의 제1 뷰를 도시한다.
도 4는 본 발명의 일부 실시예들에 따른 광학계 유지 부재의 제2 뷰를 도시한다.
도 5는 본 발명의 다양한 실시예들에 의해 이용되는 하나의 가능한 방법을 도시한다.
도 6은 본 발명의 장치들 또는 시스템들의 적어도 일부 부분에 사용되거나 본 발명의 방법들의 적어도 일부 부분을 구현할 수 있는 예시적인 컴퓨터 시스템의 블록도이다.
첨부된 도면들에서, 유사한 구성요소들 및/또는 피처들은 동일한 수치 참조 라벨을 가질 수 있다. 또한, 동일한 타입의 다양한 구성요소들은 유사한 구성요소들 및/또는 피처들 중에서 구별하는 문자에 의해 참조 라벨을 뒤따름으로써 구별될 수 있다. 첫번째 숫자 참조 라벨만이 본 명세서에 사용되면, 설명은 글자의 접미사에 관계없이 동일한 첫번째 숫자 참조 라벨을 갖는 유사한 구성요소들 및/또는 피처들 중 임의의 하나에 적용가능하다.

다음의 설명은 예시적인 실시예들만을 제공하고, 본 개시내용의 범위, 적용가능성 또는 구성을 제한하도록 의도되지 않는다. 오히려, 예시적인 실시예들의 다음의 설명은 하나 이상의 예시적인 실시예들을 구현하는 권능 설명을 본 기술분야의 통상의 기술자에게 제공할 것이다. 다양한 변화들은 첨부된 청구항들에 진술되는 바와 같이 본 발명의 사상 및 범위로부터 벗어나는 것 없이 요소들의 기능 및 배열에 이루어질 수 있다는 점이 이해될 것이다. 예를 들어, 본원에서 논의되는 일 실시예의 임의의 상세는 그러한 실시예의 모든 가능한 변형들에 존재할 수 있거나 존재하지 않을 수 있고, 본원에서 논의되는 다른 실시예들의 모든 가능한 변형들에 존재할 수 있거나 존재하지 않을 수 있다.

특정 상세들은 실시예들의 철저한 이해를 제공하기 위해 이하의 설명에 주어진다. 그러나, 실시예들은 이들 특정 상세들 없이 실시될 수 있다는 점이 본 기술분야의 통상의 기술자에 의해 이해될 것이다. 예를 들어, 본 발명 내의 회로들, 시스템들, 네트워크들, 프로세스들, 및 다른 요소들은 불필요한 상세에서 실시예들을 모호하게 하지 않도록 블록도 형태의 구성요소들로 도시될 수 있다. 다른 사례들에서, 널리 공지된 회로들, 프로세스들, 알고리즘들, 구조들, 및 기술들은 실시예들의 모호함을 회피하도록 불필요한 상세 없이 도시될 수 있다.

또한, 개별 실시예들은 순서도, 흐름도, 데이터 흐름도, 구조도, 또는 블록도로 도시되는 프로세스로 설명될 수 있다는 점이 주목된다. 순서도는 순차적인 프로세서로서 동작들을 설명할 수 있지만, 동작들의 다수는 병렬로 또는 동시에 수행될 수 있다. 게다가, 동작들의 순서가 재배열될 수 있다. 프로세스는 그것의 동작들이 완료될 때 종결될 수 있지만, 도면에서 논의되거나 포함되지 않은 부가 단계들을 가질 수 있다. 더욱이, 임의의 특별히 설명된 프로세스 내의 모든 동작들은 모든 실시예들에서 발생할 수 있는 것은 아니다. 프로세스는 방법, 기능, 절차, 서브루틴, 서브프로그램 등에 대응할 수 있다. 프로세스가 기능에 대응할 때, 그것의 종결은 호출 기능 또는 주요 기능에 기능의 복귀에 대응한다.

용어 "머신 판독가능 매체"는 명령어(들) 및/또는 데이터를 저장, 포함 또는 운반할 수 있는 휴대용 또는 고정 저장 디바이스들, 광학 저장 디바이스들을 포함하지만, 이들에 제한되지 않는다. 코드 세그먼트 또는 머신 실행가능 명령어들은 절차, 기능, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 임의의 조합의 명령어들, 데이터 구조들, 또는 프로그램 문장들을 나타낼 수 있다. 코드 세그먼트는 정보, 데이터, 인수들, 파라미터들, 또는 메모리 콘텐츠를 전달 및/또는 수신함으로써 다른 코드 세그먼트 또는 하드웨어 회로에 결합될 수 있다. 정보, 인수들, 파라미터들, 데이터 등은 메모리 공유, 메시지 전달, 토큰 전달, 네트워크 송신 등을 포함하는 임의의 적절한 수단을 통해 전달, 전송, 또는 송신될 수 있다.

더욱이, 본 발명의 실시예들은 적어도 부분적으로 수동으로 또는 자동으로 구현될 수 있다. 수동 또는 자동 구현들은 머신들, 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어들, 또는 그것의 임의의 조합의 사용을 통해 실행되거나, 적어도 원조될 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현될 때, 필요한 작업들을 수행하는 프로그램 코드 또는 코드 세그먼트들은 머신 판독가능 매체에 저장될 수 있다. 프로세서(들)는 필요한 작업들을 수행할 수 있다.

이제 도 1a를 참조하면, 본 발명의 일 실시예에 따른 휴대용 눈 추적 디바이스(10)가 도시되어 있다. 눈 추적 디바이스(10)는 전통적인 쌍의 안경 또는 선글라스와 비슷하게 하는 그러한 방식으로 그것과 결합되는 안경 렌즈(또는 렌즈들의 쌍)(14)를 갖는 프레임(12)을 포함한다. 프레임(12)은 안경 렌즈(14)가 부착되고 2개의 아암들(17)(즉, 템플들)이 연장되는 중심 피스(15)를 포함할 수 있다. 아암들(17)은 전통적인 쌍의 안경 또는 선글라스의 방식으로 사용자의 귀 위에 끼워 맞춰질 수 있다.

일부 실시예들에서, 코 피스(16)는 안락을 위해 제공되고 사용자의 코에 디바이스(10)의 끼워 맞춤을 돕기 위해 제공될 수 있다. 장면 카메라(scene camera)(18)(스틸 및/또는 비디오 이미지들 및/또는 다른 이미지 데이터를 캡처할 수 있음)는 렌즈(14)의 중간에, 또는 개별 안경 렌즈들 사이에, 코 피스(16) 위에 배치될 수 있다. 마이크로폰(20)은 또한 장면 카메라(18)에 인접하여 또는 근방에 배치될 수 있다.

제어 유닛(22)은 그것의 전면, 중간, 및/또는 단부에서, 한쪽 또는 양쪽 아암들(17) 내에 위치될 수 있다. 본원에 설명되는 임의의 프로세서 기능은 제어 유닛(22), 및/또는 제어 유닛(22)과 통신하는 외부 프로세서에서 실행될 수 있다. 제어 유닛(22)은 본원에 추가로 상세히 설명되는 바와 같이, 인쇄 회로 보드(PCB) 및 다른 전자 디바이스들과 같은, 계산 작업들을 수행하는 요소들을 포함할 수 있다. 제어 유닛(22)은 또한 외부 컴퓨팅 디바이스와 통신하도록 설계되는 통신 포트 또는 구성요소를 포함할 수 있다. 이러한 통신 포트 또는 디바이스는 임의의 하나 이상의 형태의 공지된 통신을 지원할 수 있다. 예를 들어, 통신 포트는 범용 직렬 버스(Universal Serial Bus)(USB) 포트, 파이어와이어 포트, 고선명 멀티미디어 인터페이스(High-Definition Multimedia Interface)(HDMI) 포트, 이더넷 포트 등을 포함할 수 있다. 통신 디바이스는 Wi-Fi 송수신기, 블루투스 송수신기, 또는 임의의 다른 근접장 또는 장거리 통신 디바이스를 포함할 수 있다. 다른 실시예들에서, 통신 포트 또는 디바이스는 또한 휴대용 눈 추적 디바이스에 사용하도록 특별히 설계되는 독점 타입일 수 있다. 통신 포트 또는 디바이스는 예를 들어 저전력 무선 통신 수단을 포함할 수 있다.

도 1b는 상이한 위치들에 특정 구성요소들을 갖는 대안적인 눈 추적 디바이스(10A)를 도시한다. 이러한 실시예에서, 제어 유닛(22)은 아암(17)의 측면 상에 위치되고, HDMI 인터페이스(19)를 포함할 수 있다.

도 2a는 뒤에서 본 바와 같이 본 발명의 특정 실시예들에 따른 눈 추적 디바이스(10)를 도시한다. 예시 목적들을 위해, 중심 피스(12)의 일부는 플렉스 커넥터들(52) 및 마이크로폰(20)과 같은 전자 구성요소들을 포함할 수 있는 회로 보드(50)의 배치를 도시하기 위해 도면으로부터 제거되었다. 회로 보드(50)는 또한 디지털 신호 프로세서, 필드 프로그램가능 게이트 어레이 및/또는 다른 프로세서 시스템 온 칩과 같은 처리 아키텍처를 포함할 수 있다. 회로 보드(50)는 나사들(54), 접착제, 및/또는 다른 수단과 같은 종래의 체결 수단을 통해 중심 피스(12)에 부착될 수 있다. 중심 피스(12)는 회로 보드(50)가 중심 피스(12) 내에 배치되고, 정상 사용 동안에 보이지 않도록 회로 보드(50) 위에 끼워 맞춰지는 하나 이상의 부품을 포함할 수 있다.

디바이스(10)는 또한 2개의 광학계 유지 부재들(70)을 포함할 수 있다. 다른 실시예에서, 도 2a에 도시된 2개의 광학계 유지 부재들(70)의 기능성을 제공하는 하나의 인접 광학계 유지 부재만이 제공될 수 있다. 각각의 광학계 유지 부재(70)는 아래에 추가로 설명되는 바와 같이 하나 이상의 이미지 센서들 및 하나 이상의 조명기들을 포함할 수 있다. 따라서, 광학계 유지 부재(70)는 사용자의 눈, 또는 그것의 일부 서브부분(예를 들어, 홍채)을 조명하고, 사용자의 눈, 또는 그것의 일부 서브부분 상에 조명의 반사 지점들을 포함하는 이미지들을 캡처하는 구성요소들을 포함할 수 있다. 도 2b는 도 1b의 대안적인 눈 추적 디바이스(10A)를 도시한다.

도 3 및 도 4는 본 발명의 실시예들에 따른 광학계 유지 부재들(70)을 추가로 상세히 도시한다. 각각의 광학계 유지 부재(70)는 2개의 주요 구성요소들, 커버(72) 및 가요성 부재(74)를 포함할 수 있다. 커버(72)는 광학계 유지 부재(70B)에 의해 도시된 바와 같이 함께 적절히 결합될 때 가요성 부재(74)를 커버할 수 있다. 광학계 유지 부재(70A)는 2개의 구성요소들 사이의 상호작용을 나타내기 위해 분할되는 가요성 부재(74) 및 커버(72)를 갖는 것으로 도시되어 있다. 가요성 부재(74) 및 커버(72)는 가요성 부재(74)가 커버(72) 내로 잠기도록 구성될 수 있다. 다른 예로서, 가요성 부재(74) 및 커버(72)는 접착제, 나사들 및/또는 다른 종래의 체결 수단을 사용하여 서로 연결될 수 있다.

가요성 부재(74)는 플렉스 회로를 포함하고 그것 상에 하나 이상의 이격된 조명기들(76) 및/또는 하나 이상의 이미지 센서들(78)을 장착할 수 있다. 임의의 수의 조명기들(76)(예를 들어, 1, 2, 3, 4, 5, 6 등) 및 이미지 센서들(예를 들어, 1, 2, 3, 4, 5, 6 등)은 각각의 광학계 유지 부재(70)에 이용될 수 있다. 조명기(76)는 본 기술분야의 통상의 기술자에 의해 용이하게 이해되는 바와 같이 적외선 광을 방출할 수 있는 적외선 조명기들을 포함할 수 있지만, 자외선 및/또는 가시 광을 방출하는 조명기들을 포함하는 다른 조명기들이 또한 사용될 수 있다. 이미지 센서(78)는 사용 영역에 존재할 수 있는 가시 광 및 다른 광뿐만 아니라 조명기(76)에 방출되는 광에 민감할 수 있다. 예를 들어, 디바이스(10)가 외부에 사용될 때, 가시 및 비가시 스펙트럼들(예를 들어, 태양으로부터의 가시 및 자외선 광) 내의 주변 광이 존재할 수 있고 이미지 센서(78)는 상이한 파장들의 주변 광을 검출하고 구별하도록(예를 들어, 필터링하거나 다른 방식으로 보상하도록) 구성될 수 있다. 가요성 부재(74)는 본 기술분야의 통상의 기술자에 의해 잘 이해되는 방식으로 전력을 조명기(76) 및 이미지 센서(78)에 제공하기 위해 전원(예를 들어, 배터리들, 태양 전지 등)을 포함할 수 있다. 가요성 부재(74)의 상부 단부는 중심 피스(12) 상에 장착되는 회로 보드(50)에 연결되는 접촉 요소(80)를 포함할 수 있다. 가요성 회로들 및 전자 디바이스들의 사용이 널리 공지되어 있고, 본 기술분야의 통상의 기술자는 그들이 본 발명에 사용될 수 있는 방식을 이해할 것이다.

본 발명의 일부 실시예들에서, 커버(72)는 조명기들(76)로부터의 광이 실질적으로 방해받지 않고 커버(72)를 통과할 수 있도록 광학적으로 투명한 재료로 형성될 수 있다. 일부 실시예들에서, 커버(72)는 조명기들(76)에 의해 방출되는 광을 적절한 위치에 투과시키도록 형상화될 수 있다. 커버(72)의 부분들 또는 영역들은 예를 들어 사용자의 눈들을 포함하는 더 큰 영역을 조명하기 위해 조명기들(76)(또는 심지어 주변 조명 소스들) 중 하나 이상으로부터 광을 분기시키는 렌즈로 형성화될 수 있다. 커버(72)의 부분들 또는 영역들은 또한 특정 영역들 또는 위치들 상에 광을 수렴시키거나 집중시키도록 형상화될 수 있다. 커버(72)는 단일 재료 피스로부터 몰딩될 수 있으며, 재료의 영역들은 위에서 설명된 바와 같이 렌즈들처럼 형상화되거나 광을 투과시키도록 다른 방법으로 형상화된다. 다른 실시예들에서, 커버는 접착제, 용접, 나사들 및/또는 다른 종래의 체결 수단에 의해 함께 부착되는 다수의 부분들을 포함할 수 있으며, 부분들의 일부는 광을 투과시키고 일부는 광을 투과시키지 않거나, 상이한 부분들은 광을 상이한 방식들로 투과시킨다. 일부 실시예들에서, 가요성 부재(74) 및/또는 커버(72)는 이중 몰딩되고 조명기들(76)로부터 커버(72)를 통해 이미지 센서들(78)로의 광의 투과를 더 직접적으로 방지하는 필터들을 포함할 수 있다. 광학적 윈도우들은 커버(72)에 의해 또는 그 이외의 것과 같이 각각의 이미지 센서(78)에 제공될 수 있다.

눈 추적 디바이스(10)는 사용자의 눈들 중 적어도 하나의 눈의 적어도 일부를 조명하는 조명기들(76)로부터 광을 방출할 수 있다. 그 다음, 하나 이상의 이미지 센서들(78)은 조명기들(76)에 의해 조명되는 바와 같이 눈의 적어도 일부를 포함하는 이미지를 캡처할 수 있다. 이러한 캡처된 이미지는 가요성 부재(74)를 통해 처리 디바이스들에(예를 들어, 제어 유닛(22) 또는 다른 프로세서에, 가능하면 프레임(12)으로부터 분리되는 디바이스에) 송신될 수 있으며, 사용자의 응시 방향은 이미지 데이터를 분석함으로써 결정될 수 있다.

사용자의 응시 방향을 결정하기 위해, 사용자의 한쪽 또는 양쪽 눈들의 각막 위치가 결정될 수 있다. 사용자의 눈(들)의 각막 위치는 조명기들(76)로부터 사용자의 눈(들) 위로 방출되는 광의 글린트들 또는 반사들을 검출함으로써 분석될 수 있다. 사용자의 눈 상에 글린트를 나타내는 고품질 이미지를 획득하기 위해, 다수의 조명기들(76)의 다양한 조합들은 광을 방출하기 위해 사용될 수 있다. 예를 들어, 하나의 조명기(76)는 적외선 광을 사용하여 조명될 수 있는 반면에, 다른 것은 다른 파장의 광을 사용하여 조명된다. 그 다음, 이미지 센서들(78)은 눈이 주변 광만으로 조명될 때, 눈이 각각의 조명기(76)에 의해 개별적으로 조명될 때, 또는 눈이 2개의(또는 그 이상의) 조명기들(76)에 의해 동시에 조명될 때 이미지들을 캡처할 수 있다. 그러한 실시예들에서, 이미지 센서들(78)은 사용자의 눈의 차분 이미지들을 준비할 수 있다.

글린트들의 검출은 이미지 차분 기술들(즉, 제1 이미지를 제2 이미지와 비교하여 변화를 검출함) 및/또는 표준 이미지 분석 알고리즘들로 수행될 수 있다. 예를 들어, 조명기(76)를 토글 온 및 오프하고 각각의 상태에서 사용자의 눈의 이미지를 캡처함으로써, 최종 글린트는 이미지들의 비교를 통해 검출될 수 있다. 그러나, 일부 실시예들에서, 글린트들은 글린트에 대응하는 세기의 영역들을 식별하기 위해 하나 이상의 이미지들을 분석함으로써 검출될 수 있다. 글린트 검출의 하나의 방법은 1998년 8월 4일자로 공개된 논문 "Improved Video-Based Eye-Gaze Detection Method"에 기술되며, 논문은 이로써 모든 목적을 위해 본 명세서에 완전히 진술된 것처럼 참조로 통합된다. 글린트 검출의 추가 방법들은 발명의 명칭이 "Method and system for relevance feedback through gaze tracking and ticker interfaces"인 미국 특허 제6,577,329호 및 발명의 명칭이 "Method and apparatus for communication between humans and devices"인 미국 특허 제8,292,433호에서 논의된다. 상술한 특허들의 전체 개시내용들은 이로써 모든 목적을 위해 본 명세서에 완전히 진술된 것처럼 참조로 통합된다. 본 기술분야의 통상의 기술자는 사용자의 눈에서 반사되는 광으로부터 응시 방향을 결정하는 다수의 방식들을 인식할 것이고, 본 발명은 위에서 열거된 예들에 제한되지 않는다.

본 발명의 일부 실시예들에서, 주어진 수의 적외선 조명기들(76)은 사용자의 눈들 각각을 조명하기 위해 사용될 수 있다. 논의된 바와 같이, 조명기들(76)의 다른 수들 및/또는 타입들이 다른 실시예들에 사용될 수 있다. 그러한 실시예들에서, 각각의 조명기(76)에 대응하는 하나 이상의 글린트들이 예상될 것이다. 또한 조명등 또는 햇빛 등과 같은 주변 조명에서 기인하는 다른 글린트들이 있을 수 있으므로, 상이한 기술들은 어느 글린트들이 조명기들(76)에 대응하는지, 및 어느 글린트들이 대응하지 않는지를 식별하기 위해 사용될 수 있다. 일부 실시예들에서, 턴 온된 조명기들(76) 없이 사용자의 눈으로 취해지는 이미지는 주변 광에 의해 야기되는 글린트들을 필터링하기 위해 턴 온된 조명기들(76)로 취해지는 이미지와 비교될 수 있다. 그러나, 다른 실시예들에서, 글린트들의 크기, 형상, 예상된 세기, 및 예상된 위치들은 어느 글린트들이 어느 조명기들에 대응하는지를 결정하기 위해 사용될 수 있다.

다른 실시예들에서, 파장 필터는 조명기들(76)에 의해 방출되는 파장들에 대응하지 않는 광의 파장들을 필터링하기 위해 이미지 센서들(78)과 함께 사용될 수 있다. 예를 들어, 조명기들(76)이 적외선 광을 방출하는 경우에, 적외선 광만을 이미지 센서(78)까지 통과시키는 필터가 사용될 수 있다. 이러한 방식으로, 이미지 센서들(78)은 조명기들(76)에 의해 방출되는 광에서 기인하는 글린트들만을 검출할 수 있다. 역으로, 주변 광을 통과시키는 동안 조명기들(76)에 의해 방출되는 적외선 광을 필터링하는 필터들이 이용될 수 있다. 그러한 필터들은 주변 광의 다양한 인공 소스들에 대해 잘 작동될 수 있다. 일부 실시예들에서, 렌즈들(14)은 또한 광의 주변 적외선 또는 일부 다른 파장을 차단하도록 구성될 수 있다. 그러나, 적외선 및 자외선 둘 다를 포함하는 광의 스펙트럼을 포함하는 직접적인 햇빛의 경우에, 필터들은 주변 광의 모두를 적절히 차단하는 것이 가능하지 않을 수 있고 조명기들(76)에 의해 방출되는 광만을 통과시킬 수 있다. 그 결과, 주변 광에서 기인하는 글린트들은 조명기가 조명될 때 조명기들(76)에 의해 방출되는 광에서 기인하는 글린트들과 구별가능하지 않을 수 있다.

착용가능 눈 추적기 디바이스(10)의 사용자에 대한 주변 광 조건들은 시간에 따라 급격히 변화될 수 있다. 예를 들어, 사용자가 태양을 향하고 있으면, 그 또는 그녀의 눈들은 햇빛에 의한 실질적인 조명을 받을 수 있는 반면에, 사용자가 태양의 반대쪽을 향하고 있으면, 그/그녀의 눈들은 상당히 덜 조명될 수 있다. 유사하게, 사용자가 실내 환경에 있으면, 조명은 다양한 광 소스들의 근접에 기초하여 상당히 변할 수 있다. 예를 들어, 사용자가 천정등 바로 아래에 서있으면, 그/그녀의 얼굴 및 눈들은 그/그녀가 천정등에 인접하여 서있는 경우보다 실질적으로 더 조명될 수 있다. 더욱이, 일부 실시예들에서, 광 소스들의 배치 및 타입들에 따라, 주변 광의 레벨들은 추적되는 2개의 눈들 사이에서 상이할 수 있다. 예를 들어, 사용자는 그/그녀의 좌측 측면이 직접적인 햇빛에 있는 반면에 그/그녀의 우측 측면이 그늘에 있도록 위치될 수 있다.

논의된 바와 같이, 빌트인 조명기들(76)을 사용함으로써 주변 광 레벨들의 일부 변화들을 보상하는 것이 가능할 수 있다. 주변 조명 설정에 이용가능한 광의 주파수 범위 이외의 광을 사용함으로써 주변 광 변화들의 효과를 저지하는 것이 추가로 가능할 수 있다. 예를 들어, 실내 설정에서, 자외선 조명기들(76)은 실내 조명에서 더 낮은 레벨들로 존재하지 않거나 존재하는 자외선 광으로 사용자의 눈들을 조명하기 위해 사용될 수 있다. 유사하게, 적외선 조명기들(76)은 적외선 광이 전형적으로 실내 설정들에서 낮은 레벨들로 존재하는 것을 고려하면, 일부 실시예들에 사용될 수 있다. 일부 실시예들에서, 파장들의 범위에 걸쳐 광을 방출할 수 있는 조명기들(76)이 사용될 수 있다. 그러한 실시예들에서, 디바이스(10)는 주변 광의 스펙트럼을 동적으로 분석하고, 검출된 스펙트럼보다 더 높거나 더 낮은 조명기들(76)에 의해 방출되거나 검출된 스펙트럼의 특정 부분에 다른 방법으로 한정될 파장을 선택하도록 프로그래밍될 수 있으며, 어느 경우에 센서(78)는 또한 디바이스(10)에 의해 동적으로 조정될 수 있다. 대안적으로, 하나보다 많은 센서(78)는 상이한 파장들에 맞춰지는 상이한 타입들로 제공될 수 있다.

다른 실시예에서, 물에서 고 레벨의 흡수를 갖는 광의 파장, 예컨대 940 nm가 이용될 수 있다. 이러한 개념은 유럽 특허 출원 제12192370.0호에서 논의되고, 그 전체 개시내용은 이로써 모든 목적을 위해 본 명세서에 완전히 진술된 것처럼 참조로 포함된다. 이러한 파장에서, 눈의 어두운 동공 효과는 눈에 진입하는 다수의 광이 흡수됨에 따라 그것의 최대에 있을 수 있다. 부가적으로, 이러한 파장에서 대기 내의 주변 광 레벨들은 비교적 낮다. 또한, 주변 광은 센서(78)에 보여지는 파장에서 광을 차단하기 위해 안경 렌즈(14)를 적절한 재료 또는 구성으로 제공함으로써 처리될 수 있다. 기능적으로, 이것은 광이 안경 렌즈(14)를 통과하는 것으로부터 차단됨에 따라 신호 품질을 개선한다.

일부 실시예들에서, 차분 조명 응용들이 사용될 수 있다. 예를 들어, 이미지 센서(들)(78)는 사용자의 눈의 이미지들을 60 회/초로 캡처할 수 있고 조명기들(76)은 센서(들)(78)의 노출로 위상을 벗어나서 상태(온/오프)를 60 회/초로 변화하도록 구성될 수 있다. 그러한 시나리오에서, 이미지 데이터의 모든 다른 프레임은 조명기들(76)에 의해 조명되는 바와 같은 사용자의 눈을 나타내며, 교호 프레임들(alternate frames)은 주변 광에 의해 조명되는 바와 같은 사용자의 눈을 나타낸다. 이미지 데이터를 분석할 때, 이미지 처리는 2개의 인접 프레임들 사이의 차이를 결정하고 따라서 조명기들(76)로부터의 반사에 의해 야기되는 글린트들을 주변 광으로부터의 반사에 의해 야기되는 것들과 구별하기 위해 이용될 수 있다. 조명기들(76)의 세기 또는 노출 시간은 일부 실시예들에서, 예를 들어 착용자 주위의 주변 광의 레벨에 기초하여 동적으로 조정될 수 있다. 예를 들어, 더 높은 레벨의 조명, 또는 더 긴 노출 시간은 더 많은 광이 존재하는 경우 적용될 수 있거나, 더 작은 레벨의 조명, 또는 더 짧은 노출 시간은 주변 광으로부터의 글린트들이 센서들에 의해 유리하게 사용되는 경우 적용될 수 있다. 더욱이, 조명기들(76)은 이미지 센서들(78) 및 이미지 처리 알고리즘들이 주변 광으로부터의 잡음을 검출하고 보상하는 것을 허용하기 위해 그룹들로 제어될 수 있다.

주변 광은 콘트라스트들을 캡처된 이미지 데이터에서 검출하여 사용자의 동공 및/또는 홍채의 위치를 결정하기 위해 사용될 수 있다. 이러한 정보는 사용자가 보고 있는 방향을 결정하기 위해 조명기들(76)과 연관되는 글린트들에 기초한 정보와 함께 사용될 수 있다. 조명기들(76)로부터 방출되는 조명의 펄스 길이 및 세기 및 이미지 센서들(78)의 노출 시간에 대한 상이한 설정들은 주변 광의 밝기를 보상하기 위해 사용될 수 있고, 어둡거나 밝은 주변 광 조건들에서 성능을 특히 개선할 수 있다.

예를 들어, 고 레벨의 주변 광이 있을 때, 조명기들(76)이 디스에이블될 수 있고 사용자의 동공의 위치는 주변 광의 결과로서 검출되는 글린트들 또는 다른 이미지 데이터에 기초하여 삼각법으로 측정될 수 있다. 따라서, 이미지 데이터는 주변 광만을 사용하여 각막의 위치를 결정하기 위해 분석될 수 있다. 일부 경우들에서, 조명기들(76)은 콘트라스트 검출을 돕기 위해 사용될 수 있으며, 이미지 센서들(78)에 의한 이미지 캡처로 조정되는 조명의 짧은 섬광들은 사용자의 동공들의 위치를 검출하기에 충분할 수 있다. 더 짧은 노출 시간들을 갖는 짧은 집약적 조명의 사용은 과노출, 모션 블러 및 롤링 셔터 효과들과 같은 효과들을 회피하는 것을 도울 수 있다. 예를 들어, 쇼핑 조사 시나리오에서, 모바일 눈 추적기 사용자는 원하는 제품에 대해 상점 선반들을 스캐닝하는 동안 그/그녀의 머리를 주위에 신속히 이동시킬 수 있다. 유사하게, 환경에 너무 적은 주변 광이 있을 때, 조명기들(76)은 광의 생성을 촉진하여 눈의 콘트라스트들을 획득하는 것을 가능하게 하기 위해 사용될 수 있다. 따라서, 조명기들(76)은 더 긴 노출 시간들을 갖는 더 낮은 세기의 더 긴 펄스들을 방출하고/하거나, 낮은 세기의 광을 일정하게 방출하도록 구성될 수 있다. 본 발명의 일 실시예에서, 모든 조명기들(76)은 방출된 광의 각막 상의 다수의 반사들이 센서들(78)에 의해 캡처될 수 있도록 동시에 활성화될 수 있다. 그 다음, 디바이스(10)는 측정된 동공 위치를 사용하여 응시 방향, 배향 데이터, 각막 위치, 및 동공 크기 중 하나 이상을 결정할 수 있다.

일부 실시예들에서, 복수의 조명기들(76) 중 적어도 하나, 복수의 이미지 센서들(78) 중 적어도 하나, 또는 제어 유닛(22)의 알고리즘의 교정은 동공 및 또는 각막의 위치를 결정하기 위해 제어된 조명 조건들에서 수행될 수 있다. 또 다른 실시예들에서, 홍채의 위치는 주변 광에 기초하여 단독으로 추적될 수 있으며; 예를 들어 홍채의 라인들은 눈의 배향을 결정하기 위해 식별될 수 있다. 주변 광에만 의존하는 다양한 모드들은 다수의 조건들에 기초하여 활성화될 수 있다. 예를 들어, 그러한 모드는 배터리 전력이 낮을 때 조명기들(76)을 디스에이블함으로써 전력을 보존하기 위해 활성화될 수 있다. 더욱이, 모드는 글린트 기반 추적의 정확도가 다른 이용가능 모드의 정확도에 적어도 필적하는 레벨에 주변 조명이 도달할 때 활성화될 수 있다. 본 기술분야의 통상의 기술자는 다수의 상이한 구성들이 이미지 데이터를 획득하기 위해 사용될 수 있는 것, 및 본 발명이 위에서 열거된 예들에 제한되지 않는 것을 이해할 것이다. 부가 교정 방법들이 본원에서 추가로 논의될 것이다.

휴대용 눈 추적기 디바이스(10)의 정확도는 글린트들이 최적 크기인 것을 보장함으로써 최대화될 수 있다. 너무 작은 글린트들은 정확도를 검출하고 따라서 감소시키는 것이 어려울 수 있다. 다른 한편, 너무 큰 글린트들은 정확히 배치되는 것이 어려울 수 있고 따라서 동공 검출을 방해함으로써 또는 다른 방법으로 성능을 유사하게 감소시킬 수 있다. 글린트들의 크기는 조명기들(76)에 의해 방출되는 광의 세기에 영향을 받을 수 있다. 글린트들의 크기는 이미지 센서들(78)에 대한 감도 설정들, 애퍼처 및/또는 노출 시간에 추가로 영향을 받을 수 있다. 이미지 센서들(78)에 대한 설정(들)은 주변 광을 보상하기 위해 조정될 수 있고, 조명기들(76)의 세기는 최적 글린트 크기를 획득하기 위해 차례로 조정될 수 있다. 더욱이, 조명기들(76)의 세기 및 이미지 센서들(78)에 대한 설정들은 글린트들의 최적 콘트라스트 레벨을 획득하기 위해 균형이 유지될 수 있어 그들은 용이하게 검출될 수 있다. 본 기술분야의 통상의 기술자는 글린트들의 크기, 콘트라스트 및 다른 특성들이 다수의 방식들로 최적화될 수 있는 것, 및 본 발명이 위에서 열거된 예들에 제한되지 않는 것을 이해할 것이다.

각각의 눈에 대한 광 조건들은 이미지 센서들(78)에 의해 캡처되는 이미지들을 분석하거나 외부 광 센서들을 사용함으로써, 또는 둘 다의 조합에 의해 결정될 수 있다. 이러한 분석의 결과는 각각의 눈에 대한 눈 추적기 설정들을 실시간으로 제어하기 위해 사용될 수 있다. 본 발명의 일부 실시예들에서, 관련 광 레벨들은 휴대용 눈 추적기 디바이스(10)에 내장되는 광 센서들에 의해 결정될 수 있다. 다른 실시예들에서, 광 레벨들은 하나 이상의 장면 카메라들(18)을 사용하여 결정될 수 있다. 각각의 눈에 대한 현재 광 조건들에 기초하여 실시간으로 조명기들을 제어함으로써, 눈 추적기 디바이스(10)의 전체 성능은 설정들이 한쪽 눈에만 또는 양쪽 눈들의 평균값에 기초하는 상황과 비교하여 개선될 수 있다.

조명기들(76)에 대응하는 글린트들은 이미지 센서(78)에 의해 캡처되는 이미지 데이터로 식별된 후에, 사용자의 눈에 대해 그러한 글린트들의 위치는 공지된 이미지 처리 기술들을 사용하여 결정된다. 글린트 위치들이 결정되면, 그들은 사용자의 각막의 위치를 결정하기 위해 분석될 수 있다. 일부 실시예들에서, 글린트들의 위치들은 인간 눈의 3차원 모델로 매핑될 수 있다. 예를 들어, 글린트들은 각막 위로 매핑될 수 있다. 일부 실시예들에서, 각막은 완전한 구인 것으로 가정될 수 있으며; 글린트들의 위치들은 동공에 대한 각막의 위치를 결정하기 위해 사용될 수 있다. 동공에 대한 각막의 이러한 위치는 응시 방향 및 그것에 의해 눈의 광학 축을 결정하기 위해 차례로 사용될 수 있다. 글린트들에 기초하여 응시 방향을 결정하는 다양한 수단은 본 기술분야에 공지되어 있고 본 기술분야의 통상의 기술자는 본 발명이 위에서 열거된 예들에 제한되지 않는 것을 이해할 것이다.

본 발명의 일부 실시예들에서, 각각의 눈의 이미지들을 캡처하는 하나보다 많은 이미지 센서(78)가 제공된다. 2개의 이미지 센서들(78)이 각각의 눈을 위해 사용되는 경우에, 이것은 "스테레오 모드"로 언급될 수 있다. 다수의 관점으로부터 눈의 이미지들을 캡처함으로써, 부가 정보, 예컨대 각각의 이미지 센서(78)로부터의 눈의 거리는 제어 유닛(22) 또는 다른 프로세서와 같은 프로세서에 의해 결정될 수 있다. 또한, 하나보다 많은 이미지 센서(78)를 동작시킴으로써, 시스템에 중복의 레벨이 있으며 그것에 의해 시스템은 여전히 기능할 수 있지만 하나 이상의 이미지 센서(78)는 기능을 중단시킨다.

임의의 수의 이미지 센서들 및/또는 그것의 구성은 시스템의 신뢰성을 최적화하기 위해 다양한 구성들로 동작하도록 다수의 조명기들(76)와 조합될 수 있다. 예를 들어, 디바이스(10)는 조명기들(76)의 어느 구성이 각각의 이미지 센서(78)에서 최상의 이미지를 생성하는지를 결정하기 위해 조명기들(76)의 다양한 구성들(예를 들어, 다양한 조명 패턴들/시퀀스들을 통한 사이클)을 시도하도록 구성될 수 있다. 그 다음, 조명기들(76)은 각각의 이미지 센서(78)가 최적 조명에서 사진을 찍도록 상태(온/오프)를 어떤 빈도로 변화시키도록 구성될 수 있다. 예를 들어, 각각의 눈에 대한 3개의 이미지 센서들(78)이 있고, 각각의 이미지 센서(78)는 30 이미지들/초를 캡처하면, 조명기들(76)은 각각의 이미지 센서(78)가 이미지를 전용 조명 설정에서 캡처할 수 있기 위해 상태를 90 회/초로 변화시키도록 구성될 수 있다. 이것은 응시 데이터를 위한 증가된 프레임 레이트를 제공하기 위해 추가로 사용될 수 있다. 게다가, 눈을 위한 하나보다 많은 이미지 센서(78)를 사용하는 것은 디바이스(10)와 사용자 사이의 교정의 필요성을 감소시키며, 즉 하나보다 많은 이미지 센서(78)를 가짐으로써 수집되는 추가 데이터로 인해 일부 사례들에서 사용자 교정 없이 디바이스(10)를 동작시키는 것이 가능할 수 있다.

하나보다 많은 이미지 센서(78)는 또한 디바이스(10)의 물리적인 움직임의 보상을 허용할 수 있다. 예를 들어, 디바이스(10)는 한 쌍의 안경으로 구성될 때, 사용자의 코 아래로 슬라이딩될 수 있고, 사용자는 그것을 다시 위로 차례로 푸시할 수 있다. 디바이스(10)는 또한 사용자의 머리의 신속한 움직임 후에 또는 임의의 다른 이유로 사용자의 머리에 대해 이동할 수 있다. 사용자의 머리에 대한 디바이스(10)의 이러한 타입의 움직임은 이전 교정으로부터 획득되는 임의의 정확도를 감소시키거나 제거할 수 있다. 다수의 이미지 센서들(78)을 사용하는 것은 재교정에 대한 요구 없이 정확도를 개선할 수 있다. 예를 들어, 2개의 이미지 센서들(78)이 각각의 눈을 위해 사용될 때, 각각의 글린트는 2개의 관점들에서 검출되고 디바이스(10)가 임의의 초기 교정 후에 사용자의 머리에 대해 이동한 경우들에 각막의 위치를 더 큰 정확도로 심지어 추정하는 것이 가능하다.

본 발명의 일부 실시예들에서, 디바이스(10)는 하나 이상의 움직임 센서 또는 위치결정 디바이스(25)를 더 포함한다. 움직임 센서 또는 위치결정 디바이스(25)는 자이로스코프; 가속도계; 나침반, GPS 또는 다른 위성 수신기; GLONASS 나침반; 또는 임의의 다른 위치, 위치결정, 또는 방향 센서 중 하나 이상을 포함할 수 있다. 움직임 센서 또는 위치결정 디바이스(25)는 디바이스(10) 자체의 위치 및/또는 배향 및 결과적으로 사용자의 머리의 장소 또는 위치의 추적을 가능하게 할 수 있다. 이것은 디바이스(10)가 머리 움직임을 처리하고 머리 움직임에 관한 정보에 기초하여 응시 방향 데이터를 조정하여 응시 방향의 더 좋은 추정을 제공하는 것을 허용할 수 있다. 사용자의 눈들의 배향에 기초하여 결정되는 응시 방향은 사용자의 머리의 배향에 대한 것일 수 있다. 따라서, 사용자의 눈들에 기초한 응시 방향에 관한 정보는 사용자의 머리의 배향에 관한 정보로 증대될 수 있다. 짧은 시간 동안, 이러한 증대는 가속도계 또는 자이로스코프를 사용하여 수행될 수 있다. 그러나, 이들 디바이스들의 부정확도들은 그들이 시간에 따라 배향을 결정하기 위해 사용되면 드리프트를 초래할 수 있다. 일부 실시예들에서, 사용자의 눈들에 기초한 응시 방향에 관한 정보 및/또는 사용자의 머리의 배향에 관한 정보는 절대 참조 지점들에 대해 배향 정보를 제공하는 나침반으로부터의 정보를 사용하여 추가로 증대될 수 있다. 부가적으로, 디바이스의 배향의 변화에 관한 정보는 응시 데이터의 고정 필터링을 수행할 때 도움이 될 수 있다. 주위의 객체들이 비교적 정지된 채로 있는 것을 가정하면, 디바이스 배향 데이터가 이용가능한 경우 디바이스를 착용하는 사용자가 그들의 머리를 움직이는 동안 정지 객체를 고정하는 것을 결정하는 것이 훨씬 더 용이할 수 있다.

다른 실시예들에서, 움직임 센서 또는 위치결정 디바이스(25)는 디바이스(10) 또는 디바이스(10)의 임의의 부분과 연결되는 장치에 내장될 수 있다. 예를 들어, 움직임 센서 또는 위치결정 디바이스(25)는 디바이스(10) 또는 디바이스(10)의 임의의 부분과 무선으로 또는 케이블로 연결될 수 있다. 일부 실시예들에서, 그러한 움직임 센서 또는 위치결정 디바이스(25)는 사용자에 의해 착용되는 백팩으로 운반되거나, 사용자에 의해 다른 방법으로 운반될 수 있다. 움직임 센서 또는 위치결정 디바이스(25)가 디바이스(10)에 내장될 때, 그것은 사용자의 응시의 위치에 관한 더 정확한 정보를 제공가능할 수 있다. 다수의 상이한 시스템들은 요구된 레이턴시 및 정확도를 제공하거나 처리할 수 있다. 특히, 자이로스코프들 및 나침반들은 디바이스(10) 자체에 내장되면 더 정확한 정보를 제공할 수 있다.

더욱이, 움직임 센서 또는 위치결정 디바이스(25)로부터의 정보는 장면 카메라(들)(18)로부터의 이미지 데이터를 안정화하기 위해 사용될 수 있다. 예를 들어, 장면 카메라(18)는 사용자에 의해 보여지는 뷰에 근사하는 이미지 데이터를 캡처할 수 있다. 움직임 센서 또는 위치결정 디바이스(25)로부터의 정보는 이러한 이미지 데이터를 안정화하기 위해 사용될 수 있다. 사용자의 응시에 관한 정보는 이러한 이미지 데이터를 크롭하거나 다른 방식으로 조정하여 사용자의 응시 방향을 더 정확하게 나타내기 위해 추가로 사용될 수 있다. 이미지 안정화 또는 보상은 비디오 데이터의 라인 시프팅(line-shifting)을 포함할 수 있다. 자이로스코프 또는 가속도계의 사용을 수반하는 다수의 널리 공지된 이미지 안정화 방법들이 있고, 본 기술분야의 통상의 기술자는 이들 방법들이 본 발명의 실시예들과 어떻게 조합될 수 있는지를 이해할 것이다. 더욱이, 시간 기반 보상은 장면 카메라(18)에 내재하는 이미지 캡처 지연을 처리하기 위해 이미지 데이터에 적용될 수 있다. 특히, CCD 타입 카메라들 뿐만 아니라 비디오 카메라들, 롤링 셔터 카메라들에 의해 캡처되는 이미지들은 응시 지점이 이미지 캡처 지연으로 인해 획득된 때 정확한 뷰를 나타내지 않을 수 있다. 시간 보상은 장면 카메라(18)의 타입에 따라 및/또는 이미지에서 응시 지점이 위치되는 경우에 다를 수 있다.

이미지 처리 및 안정화는 일부 실시예들에서, 데이터가 캡처됨에 따라, 디바이스(10), 또는 외부 디바이스 상에서 실시간으로 수행될 수 있다. 다른 실시예들에서, 이미지 데이터는 디바이스(10) 상에 단지 저장되거나 외부 디바이스(도시되지 않음)에 전송될 수 있고, 이미지 안정화 또는 다른 처리는 캡처된 데이터에 기초하여 나중에 수행될 수 있다. 취해진 접근법은 온-보드 또는 다른 방법으로 연결된 전원(들)에서 이용가능한 에너지뿐만 아니라, 디바이스(10)에서 이용가능한 프로세싱 파워에 의존할 수 있다. 특히, 특정 타입들의 처리는 많은 배터리 용량을 차례로 소모하는 대량의 컴퓨팅 파워를 필요로 할 수 있다. 일부 실시예들에서, 디바이스(10)는 배터리 용량을 최적화하거나 실시간 처리를 위해 최적화하도록 구성가능할 수 있다.

더욱이, 장면 카메라(18)로부터의 캡처된 이미지 또는 비디오 내의 요소들은 사용자의 머리의 배향 및 사용자의 머리의 움직임의 속도를 결정하기 위해 분석될 수 있다. 요소들의 상대 위치를 연속적인 이미지들 또는 비디오에서 분석함으로써, 응시 방향의 산출에 대한 조정들은 움직임을 보상하기 위해 이루어질 수 있다. 추가 실시예들에서, 이미지 센서들(78) 및/또는 장면 카메라(18)는 사용자의 머리의 배향을 결정하는 정확도를 추가로 개선하기 위해 롤링 셔터를 이용할 수 있다. 이미지 센서들(78) 및 장면 카메라(18)의 행들의 판독 정보와 조합하여 사용자의 머리의 배향 및 움직임을 결정함으로써, 결정된 응시 방향은 응시 방향이 산출된 때에 사용자의 시야에 존재하는 실제 장면을 반영하기 위해 응시 방향이 정정될 수 있는 그러한 방식으로 장면 카메라(18)에 의해 캡처되는 이미지 상에 오버레이될 수 있다.

예를 들어, 디바이스(10)는 사용자가 장면 카메라(18)로부터의 캡처된 데이터에 관하여 특정 시간에 보고 있었을 경우 및 때를 더 정확히 반영하기 위해 센서들(78)로부터의 응시 데이터와 함께 장면 카메라(18)로부터의 캡처된 데이터를 교정할 수 있다. 본 발명의 실시예들에서, 이러한 접근법은 장면 카메라(18)에 의해 캡처되는 이미지 데이터가 예를 들어 롤링 셔터 왜곡 또는 진동들로 인해 왜곡되었던 경우에 채택될 수 있다. 추가 실시예들은 디바이스의 순간 움직임 데이터를 고려하는 것 및 모션 센서 및/또는 다른 센서를 이용함으로써 적절히 교정하는 것을 포함한다.

장면 카메라(18)로부터의 비디오는 사용자의 시야에서 객체들을 식별하기 위해 분석될 수 있다. 사용자로부터 객체들 및 객체들의 거리를 식별함으로써, 응시의 방향 및 타깃에 관한 더 정확한 정보가 결정될 수 있다. 컴퓨터 비전 알고리즘들은 이미지 데이터로부터 객체들로부터 검출하기 위해 사용될 수 있다. 일부 실시예들에서, 다수의 장면 카메라들(18)은 스테레오 비전 및 더 정확한 컴퓨터 비전 알고리즘들을 제공하기 위해 사용될 수 있다. 이미지 안정화 및 다른 처리와 같이, 객체 식별은 디바이스(10) 상에 이용가능한 컴퓨팅 파워 및 파워 용량에 따라 실시간으로 또는 후 처리 동안에 행해질 수 있다. 대안적으로 또는 부가적으로, 장면 카메라(18)는 디바이스(10)를 착용하는 사람의 시야 내에서 객체들에 대한 거리를 측정하는 깊이 카메라일 수 있다. 깊이 카메라는 또한 객체들의 세기 레벨을 결정하며, 따라서 또한 그레이 스케일 이미지를 제공할 수 있다.

더욱이, 이미지 분석은 사용자의 시야 내에서 검출되는 객체들의 식별에 기초하여 사용자의 위치를 결정하기 위해 사용될 수 있다. 다시 말하면, 사용자의 시야 내의 객체, 예를 들어 주어진 장소 또는 장소의 타입과 연관되는 것으로 공지된 랜드마크 또는 객체는 사용자의 위치를 드러낼 수 있다. 예를 들어, 객체 또는 다른 표시들, 예컨대 사이니지, 제품들의 타입들, 프라이싱 라벨 제품들 등은 사용자가 특정 소매점 또는 적어도 일 타입의 소매점 내에 존재하는 것을 표시할 수 있다. 다른 예로서, 디바이스(10)에 연결되는 장면 카메라(18) 또는 다른 스캐닝 디바이스는 사용자가 소매점 또는 다른 공지된 위치 또는 위치의 타입 내에 존재하는 것을 드러낼 수 있는, 사용자의 시야 내에 나타나는 바코드들을 스캐닝하도록 구성될 수 있다. 그러한 위치 정보는 그/그녀의 현재 위치에 도착하고/하거나 그러한 위치 주위를 내비게이션하기 위해 사용자에 의해 취해지는 경로를 결정하도록 위치 센서들 및 움직임 센서들로부터의 정보와 화합될 수 있다. 사용자가 텔레비전 또는 디스플레이의 부근에 있는 경우에, 예를 들어 컴퓨터 게임을 디스플레이하는 경우에, 게임은 디바이스(10)에 의해 제공되는 눈 추적 입력을 처리가능할 수 있으며; 이미지 분석은 텔레비전 또는 디스플레이에 대한 사용자의 응시 방향을 결정하기 위해 사용될 수 있다.

더욱이, 장면 카메라(18)로부터의 이미지들의 이미지 분석은 SLAM(simultaneous localization and mapping)을 위해 이용될 수 있다. SLAM은 위치의 맵을 구축하는 동시에 그러한 맵 내에 디바이스의 위치를 매핑하는 프로세스이다. SLAM은 로봇들 및 유사한 기기들에 의해 종종 사용되고 매핑을 위해 로봇의 환경의 이미지들을 캡처하는 이미지 센서를 포함할 수 있다. 본 발명의 일 실시예에 따른 디바이스는 또한 SLAM과 사용될 수 있다.

모션 센서들이 모션을 검출하기 위해 사용되는 경우에, 그들이 더 긴 시간 기간 동안에 의존될 때 데이터 내에 상당한 드리프트가 있을 수 있다. 따라서, 이들 모션 센서들의 정보는 장면 카메라(들)(18)로부터 검출되는 객체들에 기초하여 결정되는 위치 정보에 의해 정정될 수 있다. 장면 카메라(들)(18)를 사용하여 검출되는 객체들은 바코드들뿐만 아니라 특성 구조들 또는 객체들을 포함할 수 있다. 다른 실시예들에서, 마이크로폰(20)를 통해 검출되는 사운드 정보는 위치를 결정하기 위해 사용될 수 있다. 예를 들어, 초음파 방출기들은 소매점과 같은 특정 위치 도처의 다양한 지점들에 배치될 수 있고, 마이크로폰(20)은 최단 방출기를 결정하기 위해 사용될 수 있다. 대안적으로, 초음파 소스는 초음파 소스의 방향에서 최단 객체에 대한 거리를 결정하기 위해 사용되는 마이크로폰 및 디바이스(10) 상에 장착될 수 있다. 부가적으로 또는 대안적으로, 마이크로폰(20)은 다른 주변 사운드들을 검출하기 위해 사용될 수 있고 그러한 정보는 사용자가 존재하는 위치 또는 위치의 타입을 결정하기 위해 적어도 부분적으로 사용될 수 있다. 일부 실시예들에서, RFID 태그 판독기는 RFID 태그들이 사용자의 위치를 결정하기 위해 사용될 수 있도록 디바이스(10)에 포함될 수 있다. 부가 예로서, Wi-Fi 신호들 및/또는 다른 통신 신호들은 사용자의 위치를 결정하기 위해 디바이스(10)에 탑재되는 적절한 송수신기들 및 로직에 의해 수신되고 삼각법으로 측정될 수 있다. 본 기술분야의 통상의 기술자는 본 발명이 위에서 열거된 예들에 제한되지 않는 것 및 다수의 위치 식별 수단이 착용자에 관한 위치 정보를 결집하거나 결정하기 위해 사용될 수 있는 것을 이해할 것이다.

일부 실시예들에서, 하나 이상의 부가 디바이스들은 디바이스(10) 내에 내장되거나 디바이스와 결합될 수 있다. 예를 들어, 장면 카메라(18)는 사용자가 이동하고/하거나 볼 수 있는 영역에 이미지들을 기록하기 위해 사용될 수 있다. 자이로스코프는 어느 방향을 디바이스(10)가 지적하고 있는지 및 따라서 어느 방향을 사용자가 보고 있는지를 식별하기 위해 나침반 유사 피처를 위해 사용될 수 있다. 그 다음, 디바이스 내의 이미지 센서들(78)은 머리가 가리키고 있는 방향에 기초하여 사용자의 응시 지점의 각도 및 거리를 식별할 수 있다. 이들 다수의 센서들로부터의 정보는 조합하여 착용자의 응시를 나타내는 벡터를 계산하기 위해 사용될 수 있다. 이러한 벡터는 장면 카메라(18)의 뷰로 변환되고 시각화될 수 있다. 벡터는 사용자의 응시가 포커싱된 곳에 관한 정보에 기초하여 히트 맵을 제공하기 위해 일부 실시예들에서 사용될 수 있다. 디바이스(10) 상에 제공되는 디스플레이(30)는 사용자가 디바이스(10)에 의해 제공되는 이러한 또는 다른 시각 데이터를 보는 것을 허용할 수 있다. 예로서만, 그러한 디스플레이(30)는 LCD 스크린, LED 스크린, 프리즘 프로젝터, 및/또는 다른 디스플레이 기술들을 포함할 수 있다.

본 발명의 일부 실시예들에서, 응시 벡터는 관점을 사용자의 견지에서 응시 벡터를 따라 시뮬레이션하기 위해 사용될 수 있다. 위에서 설명된 바와 같이, 응시 벡터는 디바이스(10)에 부착되는 장면 카메라(18)로부터 이미지를 안정화하기 위해 사용될 수 있다. 그러나, 장면 카메라(18)는 충분한 품질의 비디오를 캡처하지 않거나 비디오를 충분한 품질로 전송하는 능력을 갖지 않을 수 있다. 따라서, 응시 벡터는 장면 카메라(18)로부터 뷰를 모방하는 컴포지트 뷰를 준비하기 위해 고정 또는 추적 카메라들과 같은 다른 카메라들로부터의 비디오 데이터와 함께 사용될 수 있다. 유사하게, 하나 이상의 사용자들에 대한 응시 벡터들은 개요 관점에서 디스플레이될 수 있다. 본 발명의 이러한 적용은 스포츠 경기들에 특히 적절할 수 있다. 예를 들어, 축구 경기에서, 개별 플레이어에 대한 응시 벡터는 다른 플레이어들의 일부 또는 전부에 대한 응시 벡터들과 함께 디스플레이될 수 있다. 더욱이, 장면 카메라 뷰 또는 근사 장면 카메라 뷰의 화면 속 화면은 공을 갖는 플레이어에 대해 디스플레이될 수 있다. 유사한 적용은 대규모 공동 치안 활동들에 사용될 수 있다. 본 기술분야의 통상의 기술자는 본 발명이 위에서 열거된 예들에 제한되지 않는 것, 및 상이한 스포츠에서의 적용 및 다른 상황 내의 적용이 유용할 수 있는 것을 이해할 것이다.

응시 벡터는 하나 이상의 장면 카메라들(18)로부터의 비디오 데이터를 다수의 방식들로 최적화하기 위해 추가로 사용될 수 있다. 본 발명의 일 실시예에서, 응시 벡터는 장면 카메라(18)에 대한 초점 및 광 설정들을 결정하기 위해 사용될 수 있다. 예를 들어, 장면 카메라(18)는 응시 벡터의 타깃에 포커싱될 수 있다. 더욱이, 장면 카메라(18)의 조명 레벨들은 결정된 응시 방향의 타깃 영역에 대해 최적화될 수 있다. 컴퓨터 비전이 장면 카메라(18)에 의해 캡처되는 객체들을 검출하기 위해 사용되는 본 발명의 실시예들에서, 사용자로부터 객체들의 거리에 관한 정보는 장면 카메라(18)의 노출 또는 조명 설정들을 추가로 개선하기 위해 결정되고 사용될 수 있다. 일부 실시예들에서, 응시 타깃 영역은 적어도 일부의 사용자의 시야의 이미지들을 나타내는 이미지 데이터 내에서 결정될 수 있다. 이들 실시예들의 일부에서, 응시 타깃 영역은 장면 카메라로부터의 이미지에서 이미지 데이터의 5 퍼센트 미만, 10 퍼센트 미만, 15 퍼센트 미만, 20 퍼센트 미만, 25 퍼센트 미만, 30 퍼센트 미만, 35 퍼센트 미만, 40 퍼센트 미만, 45 퍼센트 미만, 또는 50 퍼센트 미만을 포함할 수 있다. 그 다음, 제어 유닛(22)은 응시 타깃 영역에 기초하여, 및/또는 이 영역 내에서 초점 및 광 감도 중 적어도 하나를 조정하기 위해 장면 카메라를 제어할 수 있다.

그러나, 다른 실시예들에서, 장면 카메라(18)의 조정은 필요하지 않을 수 있다. 예를 들어, 사용자가 밝은 주간에 자동차를 운전하고 있을 때, 장면 카메라(18)는 윈드실드를 통해 자동차의 대시보드 및 뷰를 캡처할 수 있다. 윈드실드를 통해 보여지는 객체들은 대시보드보다 훨씬 더 높은 레벨에서 조명될 수 있고, 자연스럽게 훨씬 더 멀리 있게 된다. 표준 자동 초점 및 광 검출을 사용하면, 장면 카메라(18)는 검출된 이미지에서의 평균 밝기에 기초하여 조정되고 카메라 뷰의 중심 내의 객체에 포커싱될 수 있다. 그러나, 응시 벡터가 사용될 때, 이미지는 사용자가 대시보드를 볼 때 대시보드 상에 포커싱되고, 사용자가 도로를 볼 때 도로 상에 포커싱될 수 있다. 유사하게, 캡처된 비디오의 조명 레벨들은 사용자가 대시보드를 볼 때 대시보드에 적절하게 조정되고, 사용자가 도로를 볼 때 도로에 적절하게 조정될 수 있다.

일부 실시예들에서, 응시 데이터는 이미지의 영역들을 더 상세하게 우선순위화하기 위해 사용될 수 있다. 사용된 비디오 압축에 기초하여, 우선순위는 응시에 의해 타깃화되는 이미지의 영역에 주어질 수 있다. 다른 실시예들에서, 비디오 스트림은 2개 이상의 피드들로 분할될 수 있다. 하나의 저품질 피드는 장면 카메라의 전체 시야를 포함할 수 있는 반면에, 고품질 피드는 응시 벡터의 타깃 주위에 작은 영역을 포함할 수 있다. 다른 실시예에서, 비디오 피드들의 매트릭스가 사용될 수 있고 그들의 비트레이트는 응시 벡터의 위치에 기초하여 동적으로 적응될 수 있다. 본 기술분야의 통상의 기술자는 비디오 품질이 다수의 상이한 방식들로 조정될 수 있는 것 및 본 발명이 위에서 열거된 예들에 제한되지 않는 것을 이해할 것이다.

추가 실시예들에서, 디바이스(10)는 사운드들을 사용자에게 방출하는 스피커를 포함할 수 있다. 스피커는 사용자의 귀에 근접하는 디바이스(10) 상에 배치될 수 있다.

프로세서가 장면 카메라(18)에 의해 캡처되는 이미지들에서 객체들을 검출하기 위해 사용되는 실시예들에서, 응시 벡터는 응시 타깃 주위에서 이미지 데이터의 서브세트만을 선택하여 처리하고 따라서 처리 작업의 양을 감소시켜 피드백 시간, 배터리 시간 등을 개선하기 위해 사용될 수 있다.

본 발명의 실시예들은 동작이 디바이스(10), 그것의 일부 서브구성요소, 또는 연결된 시스템, 예컨대 컴퓨터, 태블릿, 텔레비전, 및/또는 게임 머신에 의해 수행되게 하는 동작 트리거들을 이용할 수 있다. 일부 실시예들에 따르면, 동작 트리거는 이하를 포함하는, 많은 가능한 방식들로 디바이스(10)에 의해 수행될 수 있다:

● 센서(78)에 의해 캡처되고 디바이스(10) 또는 연결된 시스템에 의해 처리되어, 프리젠트 아이(present eye), 애브센트 아이(absent eye), 깜박거림, 고정, 단속성 운동(saccade), 사용자의 응시 방향 또는 사용자의 응시의 움직임을 미리 결정된 패턴으로 검출하는 이미지들.

● 장면 카메라(18)에 의해 캡처되고 디바이스(10) 또는 연결된 시스템에 의해 처리되어, 컴퓨터 비전 알고리즘들을 사용하여 광, 식별된 객체(들), 식별된 패턴(들) 및 식별된 제스처(들)의 변화들을 검출하는 이미지들.

● 스위치 또는 버튼 기반 트리거. 예를 들어, 디바이스(10) 또는 다른 디바이스 상의 물리 버튼.

● 오디오 기반 트리거. 예를 들어, 사용자가 말하고 마이크로폰(20)에 의해 검출되는 사운드들, 단어들 또는 커맨드들.

● 가속도계- 또는 자이로스코프-검출 동작 트리거, 예컨대 끄덕임 또는 다른 머리 움직임.

● 위에서 설명된 동작들의 조합.

본 발명의 실시예들은 외부 객체들이 디바이스(10)의 교정 프로세스를 용이하게 하기 위해 사용될 수 있는 교정 기술들을 포함한다. 예로서만, 조명기들(76), 이미지 센서들(78), 및/또는 제어 유닛(22)의 알고리즘들은 그러한 교정 동안에 조정될 수 있다. 일부 실시예들에서, 인쇄 매체, 텔레비전, 또는 다른 디스플레이와 같은 외부 디바이스는 디바이스(10)에 의해 용이하게 식별가능한 피처를 포함할 수 있다. 일부 실시예들에서, 피처는 특정 프레임, QR 코드, 비가시 피처(즉, 적외선 피처), 및/또는 다른 가시 피처일 수 있다. 피처는 디바이스(10)에 의해 인식될 때, 디바이스(10)가 인터넷, 블루투스, wi-fi 또는 임의의 다른 통신 프로토콜과 같은 통신 프로토콜을 통해 외부 디바이스에 연결되는 것을 허용하는 식별 코드를 포함할 수 있다. 그 다음, 외부 디바이스는 교정을 위한 아이콘들이 스크린 상에 디스플레이되고 교정 명령어들이 스피커들을 통해 제시되거나 방출되는 교정 모드에 진입할 수 있다. 특정 교정 프로세스들은 널리 공지되어 있지만 전형적으로 사용자가 이때 응시하는 스크린 상에 아이콘들의 정돈된 디스플레이를 포함하고, 디바이스(10)는 각각의 디스플레이된 아이콘에 대해 응시 방향을 결정한다.

특정 예로서, 일부 실시예들은 디바이스(10)가 사용자에 의해 착용될 때, 패턴이 사용자의 전면에 배치되어 패턴이 장면 카메라(18)의 시야 내에 있는 교정 방법을 수행할 수 있다. 장면 카메라(18)는 패턴의 이미지들을 기록하는 반면에, 이미지 센서들(78)은 사용자의 눈(들)의 이미지들을 캡처한다. 처리 디바이스는 패턴을 분석하고 패턴의 공지된 구성요소들을 결정한다. 처리 디바이스는 이미지 센서들(78)에 의해 캡처되는 이미지들을 이용하는 사용자의 응시 방향을 분석하고 패턴의 공지된 구성요소들에 대한 응시 방향과 일치한다. 구성요소들이 공지되어 있으므로, 처리 디바이스는 구성요소들의 위치와 사용자의 결정된 응시 방향 사이의 오프셋을 결정할 수 있다. 이러한 오프셋을 인식함으로써, 디바이스는 특정 사용자를 위해 교정되고 다른 객체들에 대해 사용자의 응시 방향을 결정할 때 오프셋을 고려할 수 있다.

또한, 디바이스(10)는 사용자의 응시 방향과 패턴 또는 유사한 것의 공지된 구성요소들 사이의 관계를 분석하는 것으로부터 획득되는 정보를 알고리즘 또는 수학적 모델에 이용할 수 있다. 예로서, 디바이스(10)는 본 기술분야의 통상의 기술자에 의해 용이하게 이해되는 바와 같이, 응시 방향을 결정하기 위해 사용되는 알고리즘 또는 눈 모델에 사용되는 파라미터의 값을 설정할 수 있다.

일부 실시예들에서, 부가 기능성은 디바이스(10)가 슈퍼마켓과 같은 소매 또는 소비자 구매 환경의 맥락에서 사용될 때 제공될 수 있다. 디바이스는 사용자의 프로파일을 일치시키기 위해 개인 교정 데이터와 같은 정보를 미리 설치할 수 있다. 디바이스(10)가 사용자에 의해 착용되면, 그것은 저전력 모드로부터 정상 전력 모드로 변화되고 동작 모드에 진입할 수 있다. 디바이스(10)는 가상 쇼핑 카트로부터 아이템들을 추가하고 제거함으로써 사용자가 그들의 쇼핑 청구서를 쌍방향으로 관리하는 것을 허용할 수 있다. 예를 들어, 사용자가 아이템을 그들의 쇼핑 카트에 둘 때, 그들은 아이템 상의 바코드를 보고 그들의 손가락이 바코드를 가로지르면서 우측에서 좌측으로 읽어서 아이템이 리스트에 추가되어야 하는 것을 표시할 수 있다. 디바이스(10)는 제스처를 인식하고 아이템을 디바이스(10) 상의 또는 디바이스(10)와 통신하는 원격 위치에서의 가상 리스트에 추가할 수 있다. 이러한 가상 리스트는 바코드를 가로질러 좌측에서 우측으로 읽혀서 아이템들을 제거하고, 상단에서 하단으로 읽혀서 아이템에 관한 추가 정보를 획득하고 쇼핑 카트를 응시하고 미리 결정된 위치를 터치하여 리스트 또는 다른 정보에 관한 피드백을 경청함으로써 사용자에 의해 제어될 수 있다. 상점에서 체크 아웃하면, 가상 리스트는 계산원 또는 자동 기계에 의해 검색될 수 있고 사용자는 쇼핑 카트 내의 아이템들의 대금을 직접 지불할 수 있다. 추가 실시예에서, 사용자는 상점을 직접 나갈 수 있고, 상점을 나가면, 리스트의 값은 신용 카드 또는 계좌와 같은 금융 소스로부터 공제될 수 있다.

다른 실시예에서, 디바이스(10)는 사용자에 의해 판독되는 텍스트를 포함하는 이미지 데이터 상에 광학 문자 인식(optical character recognition)(OCR)을 수행할 수 있다. 예를 들어, 장면 카메라(18)는 사용자의 응시 방향에 의해 결정되는 바와 같이 사용자에 의해 판독되는 텍스트의 이미지들을 기록할 수 있다. 디바이스(10), 또는 디바이스(10)와 통신하는 컴퓨팅 디바이스는 텍스트를 포함하는 단어들을 결정하기 위해 텍스트의 이미지들 상에 OCR을 수행할 수 있다. OCR 기술들은 잘 이해되고 본 기술분야에 공지되어 있다. 텍스트가 OCR 기술을 사용하여 분석되었다면, 그것은 텍스트를 큰소리로 읽어 내는 텍스트-투-스피치 기능성에 송신되고, 실시간으로 사용자에게 제공되는 결과로 변환되고, 및/또는 컴퓨팅 디바이스에 의해 용이하게 조작되고 이해될 수 있는 텍스트 데이터 또는 스트링으로 저장될 수 있다. 텍스트는 사용자에 의한 검색을 위해 저장되거나, 컴퓨팅 디바이스 또는 서비스에 의해 이용되어 사용자의 습관들을 이해할 수 있다. 예를 들어, 텍스트는 사용자에게 특정 요구의 제품 또는 서비스를 보여 줄 수 있다. 실시예들에서, 텍스트 데이터는 사용자에게 디스플레이될 광고들 등을 맞춤화하기 위해 이용될 수 있다.

본 발명의 실시예들에서, 디바이스(10)는 바코드 또는 표준 객체의 크기와 같은 공지된 정보를 고려할 수 있다. 예를 들어, 저장소 내의 제품은 다수의 바코드들을 포함할 수 있으며, 하나의 더 큰 바코드는 제품 식별자 또는 SKU을 포함하고, 하나의 더 작은 바코드는 그러한 박스 내의 특정 아이템의 일련 번호를 포함한다. 디바이스(10)는 쇼핑 리스트를 준비할 때 이미지 센서들(78)에게 더 큰 코드만을 판독하라고 명령하도록 구성될 수 있다. 이것은 더 좋은 정확도를 위해 응시 초점 거리에 기초할 수 있다. 또한, 객체 인식 라이브러리들과 같은 다수의 소프트웨어 솔루션들은 표준 크기의 비디오를 필요로 한다. 따라서, 디바이스(10)는 요구된 크기만의 이미지들 또는 비디오를 캡처하거나, 캡처된 이미지들 또는 비디오를 크롭하여 그들은 요구된 크기가 될 수 있다.

도 5는 본원에 설명된 바와 같이 착용가능 프레임을 사용하여 사용자의 응시 방향을 결정하기 위한 본 발명의 하나의 가능한 방법(500)의 블록도를 도시한다. 블록(510)에서, 위에서 논의된 바와 같이, 디바이스(10)는 초기 사용 전에 교정될 수 있다. 블록(520)에서, 움직임 센서 또는 위치결정 디바이스(25)로부터의 것과 같은 비-이미지 정보가 제어 유닛(22)에 의해 취득될 수 있다. 다른 타입의 비-이미지 정보(예를 들어, 마이크로폰(20)으로부터의 정보)가 또한 본원에 설명된 바와 같이 수신될 수 있다. 블록(530)에서, 장면 카메라(18)로부터의 이미지 정보가 제어 유닛(22)에 의해 수신될 수 있다.

블록(540)에서, 제어 유닛(22)은 단계(510)에서의 교정 중에 확립되는 설정들에 따라 조명기들(76)을 활성화할 수 있다. 블록(550)에서, 이미지 데이터가 제어 유닛(22)에 의해 이미지 센서들(78)로부터 수신될 수 있다. 블록(560)에서, 제어 유닛(22)은, 그것이 수신한 정보로부터, 응시 방향이 위에서 설명된 바와 같이 결정될 수 있는지를 결정할 수 있다. 그렇지 않으면, 블록(570)에서, 디바이스(10)의 조명기들(76), 이미지 센서들(78), 및/또는 다른 구성요소들은 본원에 설명된 바와 같이 조정될 수 있고, 그 다음 방법(500)은 블록(520)으로 복귀한다. 일부 실시예들에서, 방법(500)은 응시 방향이 결정될 수 없으면 블록(530) 또는 블록(540)과 같은 다른 단계로 복귀할 수 있다. 제어 유닛(22)은, 그것이 수신한 정보로부터, 응시 방향을 결정할 수 있으면, 블록(580)에서 응시 방향이 결정된다. 방법(500)은 필요에 따라 응시 방향을 재결정하기 위해 규칙적 또는 불규칙적 간격들로 반복될 수 있다.

도 6은 본 발명의 실시예들이 구현될 수 있는 예시적인 컴퓨터 시스템(600)을 예시하는 블록도이다. 이러한 예는 위에서 논의된 것들과 같은 본 발명의 제어 유닛(22), 조명기들(76), 이미지 센서들(78) 및/또는 다른 구성요소들의 기능들을 제공하고/하거나 제어하기 위해, 전체적으로, 부분적으로, 또는 다양한 수정들로 사용될 수 있는 것과 같은 컴퓨터 시스템(600)을 예시한다. 예를 들어, 제어 유닛(22)의 다양한 기능들은 예로서만, 조명기들(76)을 제어하는 것, 이미지 센서들(78)로부터 이미지들을 수신하는 것, 이미지 센서들(78)로부터 데이터를 처리하는 것 등을 예로서만, 포함하는 컴퓨터 시스템(600)에 의해 제어될 수 있다.

버스(690)를 통해 전기적으로 결합될 수 있는 하드웨어 요소들을 포함하는 컴퓨터 시스템(600)이 도시되어 있다. 하드웨어 요소들은 하나 이상의 중앙 처리 유닛들(610), 하나 이상의 입력 디바이스들(620)(예를 들어, 마우스, 키보드 등), 및 하나 이상의 출력 디바이스들(630)(예를 들어, 디스플레이 디바이스, 프린터 등)을 포함할 수 있다. 컴퓨터 시스템(600)은 또한 하나 이상의 저장 디바이스(640)를 포함할 수 있다. 예로서, 저장 디바이스(들)(640)는 디스크 드라이브들, 광학 저장 디바이스들, 고체 상태 저장 디바이스 예컨대 랜덤 액세스 메모리("RAM") 및/또는 판독 전용 메모리("ROM")일 수 있으며, 이는 프로그램가능, 플래시-업데이트가능하거나 할 수 있다.

컴퓨터 시스템(600)은 컴퓨터 판독가능 저장 매체 판독기(650), 통신 시스템(660)(예를 들어, 모뎀, 네트워크 카드(무선 또는 유선), 적외선 통신 디바이스, 블루투스™ 디바이스, 셀룰러 통신 디바이스 등), 및 위에서 설명된 바와 같은 RAM 및 ROM 디바이스들을 포함할 수 있는 작업 메모리(680)를 부가적으로 포함할 수 있다. 일부 실시예들에서, 컴퓨터 시스템(600)은 또한 디지털 신호 프로세서, 특수 목적 프로세서 등을 포함할 수 있는 처리 가속 유닛(670)을 포함할 수 있다.

컴퓨터 판독가능 저장 매체 판독기(650)는 컴퓨터 판독가능 정보를 일시적으로 및/또는 더 영구적으로 포함하기 위한 광범위하게 나타내는 원격, 국부, 고정, 및/또는 착탈식 저장 디바이스들 플러스 저장 매체와 함께(및, 임의로, 저장 디바이스(들)(640)과 조합하여), 컴퓨터 판독가능 저장 매체에 추가로 연결될 수 있다. 통신 시스템(660)은 데이터가 위에서 설명된 네트워크, 시스템, 컴퓨터 및/또는 다른 구성요소와 교환되는 것을 허용할 수 있다.

컴퓨터 시스템(600)은 또한 운영 체제(684) 및/또는 다른 코드(688)를 포함하는 작업 메모리(680) 내에 현재 위치되는 것으로 도시된 소프트웨어 요소들을 포함할 수 있다. 컴퓨터 시스템(600)의 대안적인 실시예들은 위에서 설명된 것으로부터 다수의 변형들을 가질 수 있다는 점이 이해되어야 한다. 예를 들어, 맞춤형 하드웨어가 또한 사용될 수 있고/있거나 특정 요소들은 하드웨어, 소프트웨어(애플릿들과 같은 휴대용 소프트웨어를 포함함), 또는 둘 다로 구현될 수 있다. 더욱이, 네트워크 입력/출력 및 데이터 취득 디바이스들과 같은 다른 컴퓨팅 디바이스들에의 연결이 또한 발생할 수 있다.

컴퓨터 시스템(600)의 소프트웨어는 본원에 설명된 바와 같이 아키텍처의 다양한 요소들의 기능 중 임의의 것 또는 모두를 구현하는 코드(688)를 포함할 수 있다. 예를 들어, 시스템(600)과 같은 컴퓨터 시스템 상에 저장되고/되거나 실행되는 소프트웨어는 위에서 논의된 것들과 같은 본 발명의 제어 유닛(22), 조명기들(76), 이미지 센서들(78), 및/또는 다른 구성요소들의 기능들을 제공할 수 있다. 이들 구성요소들의 일부 상에 소프트웨어에 의해 구현가능한 방법들은 위에서 논의되었다.

본 발명은 명확성 및 이해의 목적들을 위해 지금까지 설명되었다. 그러나, 특정 변경들 및 수정들은 첨부된 청구항들의 범위 내에서 실시될 수 있다는 점이 이해될 것이다.

Claims

휴대용 눈 추적기 디바이스로서,
사용자에 의해 착용되도록 되어 있는 프레임;
적어도 하나의 광학계 유지 부재 - 상기 광학계 유지 부재는,
상기 사용자의 적어도 하나의 눈의 적어도 일부를 선택적으로 조명하도록 구성된 적어도 하나의 조명기; 및
상기 사용자의 적어도 하나의 눈의 적어도 일부의 이미지들을 나타내는 이미지 데이터를 캡처하도록 구성된 적어도 하나의 이미지 센서
를 포함함 -;
상기 프레임의 움직임을 검출하도록 구성된 움직임 센서; 및
제어 유닛
을 포함하고,
상기 제어 유닛은,
상기 사용자의 적어도 하나의 눈의 적어도 일부의 선택적 조명을 위해 상기 적어도 하나의 조명기를 제어하고;
상기 이미지 센서들로부터 상기 이미지 데이터를 수신하고;
상기 움직임 센서로부터 정보를 수신하고;
상기 움직임 센서로부터 수신된 정보 및 상기 이미지 데이터에 적어도 부분적으로 기초하여, 상기 사용자에 대한 응시 타깃 영역을 결정하도록
구성되는 휴대용 눈 추적기 디바이스.
삭제
제1항에 있어서,
상기 움직임 센서는 자이로스코프를 포함하는 휴대용 눈 추적기 디바이스.
삭제
제1항에 있어서,
상기 사용자의 반대쪽을 향하며(facing away from), 상기 사용자의 시야의 적어도 일부의 이미지들을 나타내는 다른 이미지 데이터를 캡처하도록 구성된 장면 카메라(scene camera)를 더 포함하는 휴대용 눈 추적기 디바이스.
제5항에 있어서,
상기 사용자에 대한 응시 타깃 영역을 결정하는 것은 상기 사용자의 상기 시야의 상기 적어도 일부의 이미지들을 나타내는 상기 다른 이미지 데이터 내에서 상기 응시 타깃 영역을 결정하는 것을 포함하고 - 상기 응시 타깃 영역은 상기 장면 카메라로부터의 상기 다른 이미지 데이터의 10 퍼센트 미만을 포함함 -;
상기 제어 유닛은 상기 응시 타깃 영역에 기초하여 초점 또는 광 감도 중 적어도 하나를 조정하기 위해 상기 장면 카메라를 제어하도록 추가로 구성되는 휴대용 눈 추적기 디바이스.
제6항에 있어서,
모든 조명기가 동일한 파장의 광을 방출하는 휴대용 눈 추적기 디바이스.
제1항에 있어서,
상기 제어 유닛은,
상기 사용자의 적어도 하나의 눈의 적어도 일부를 선택적으로 조명하도록 상기 적어도 하나의 조명기의 제1 서브세트를 제어하고;
상기 제1 서브세트의 적어도 하나의 이미지 센서로부터 제1 세트의 이미지 데이터를 수신하고 - 상기 제1 세트의 이미지 데이터는, 상기 사용자의 적어도 하나의 눈이 상기 적어도 하나의 조명기의 제1 서브세트로부터의 광에 노출될 때 캡처되는 상기 사용자의 적어도 하나의 눈의 적어도 일부의 이미지들을 나타냄 -;
상기 제1 세트의 이미지 데이터에 기초하여 응시 타깃 영역이 결정될 수 없다는 것을 결정하고;
상기 사용자의 적어도 하나의 눈의 적어도 일부를 선택적으로 조명하도록 상기 적어도 하나의 조명기의 제2 서브세트를 제어하고;
상기 제2 서브세트의 적어도 하나의 이미지 센서로부터 제2 세트의 이미지 데이터를 수신하고 - 상기 제2 세트의 이미지 데이터는, 상기 사용자의 적어도 하나의 눈이 상기 적어도 하나의 조명기의 제2 서브세트로부터의 광에 노출될 때 캡처되는 상기 사용자의 적어도 하나의 눈의 적어도 일부의 이미지들을 나타냄 -;
상기 제2 세트의 이미지 데이터에 적어도 부분적으로 기초하여 상기 사용자에 대한 상기 응시 타깃 영역을 결정하도록
추가로 구성되는 휴대용 눈 추적기 디바이스.
제1항에 있어서,
상기 휴대용 눈 추적기 디바이스는 상기 휴대용 눈 추적기 디바이스의 위치를 결정하도록 구성된 위치결정 디바이스를 더 포함하고,
상기 사용자에 대한 응시 타깃 영역을 결정하는 것은 추가로 상기 위치결정 디바이스로부터 수신된 위치 정보에 적어도 부분적으로 기초하는 휴대용 눈 추적기 디바이스.
제1항에 있어서,
상기 제어 유닛은,
적어도 하나의 이미지 센서로부터 이미지 데이터를 수신하고;
상기 이미지 데이터로부터 주변 광의 레벨을 결정하고;
상기 주변 광의 레벨에 적어도 부분적으로 기초하여 적어도 하나의 조명기의 밝기 또는 노출 시간을 조정하도록
추가로 구성되는 휴대용 눈 추적기 디바이스.
제1항에 있어서,
상기 사용자에 의해 뷰잉가능한 디스플레이를 더 포함하는 휴대용 눈 추적기 디바이스.
제1항에 있어서,
상기 제어 유닛은, 상기 사용자의 눈들 외의 영역들을 포함하는 이미지들을 나타내는 이미지 데이터를 적어도 하나의 이미지 센서로부터 수신하도록 추가로 구성되는 휴대용 눈 추적기 디바이스.
사용자에 대한 응시 방향을 결정하는 방법으로서,
사용자의 눈들 중 적어도 하나의 눈의 적어도 일부를 선택적으로 조명하기 위해 상기 사용자에 의해 착용된 프레임 상의 적어도 하나의 조명기를 활성화하는 단계;
상기 프레임 상의 적어도 하나의 이미지 센서로부터 상기 사용자의 눈들 중 적어도 하나의 눈의 적어도 일부의 이미지들을 나타내는 이미지 데이터를 수신하는 단계;
상기 프레임의 움직임을 검출하도록 구성된 움직임 센서로부터 정보를 수신하는 단계; 및
상기 움직임 센서로부터의 정보 및 상기 이미지 데이터에 적어도 부분적으로 기초하여, 상기 사용자에 대한 응시 타깃 영역을 결정하는 단계
를 포함하는 방법.
제13항에 있어서,
상기 움직임 센서는 자이로스코프를 포함하는 방법.
제13항에 있어서,
상기 사용자의 시야의 적어도 일부의 이미지들을 나타내는, 장면 카메라에 의해 캡처된 다른 이미지 데이터를 수신하는 단계를 더 포함하는 방법.
제15항에 있어서,
상기 사용자에 대한 응시 타깃 영역을 결정하는 단계는 상기 사용자의 상기 시야의 상기 적어도 일부의 이미지들을 나타내는 상기 다른 이미지 데이터 내에서 응시 타깃 영역을 결정하는 단계를 포함하고 - 상기 응시 타깃 영역은 상기 장면 카메라로부터의 상기 다른 이미지 데이터의 10 퍼센트 미만을 포함함 -;
상기 방법은 상기 응시 타깃 영역에 기초하여 초점 또는 광 감도 중 적어도 하나를 조정하도록 상기 장면 카메라를 제어하는 단계를 더 포함하는 방법.
사용자에 대한 응시 방향을 결정하기 위한 명령어들을 갖는 비일시적인 머신 판독가능 매체로서,
상기 명령어들은, 적어도,
사용자의 눈들 중 적어도 하나의 눈의 적어도 일부를 선택적으로 조명하기 위해 상기 사용자에 의해 착용된 프레임 상의 적어도 하나의 조명기를 활성화하고;
상기 프레임 상의 적어도 하나의 이미지 센서로부터 상기 사용자의 눈들 중 적어도 하나의 눈의 적어도 일부의 이미지들을 나타내는 이미지 데이터를 수신하고;
상기 프레임의 움직임을 검출하도록 구성된 움직임 센서로부터 정보를 수신하고;
상기 움직임 센서로부터의 정보 및 상기 이미지 데이터에 적어도 부분적으로 기초하여, 상기 사용자에 대한 응시 타깃 영역을 결정하기 위해
프로세서에 의해 실행가능한 비일시적인 머신 판독가능 매체.
제17항에 있어서,
상기 움직임 센서는 자이로스코프를 포함하는 비일시적인 머신 판독가능 매체.
제17항에 있어서,
상기 명령어들은, 적어도, 상기 사용자의 시야의 적어도 일부의 이미지들을 나타내는, 장면 카메라에 의해 캡처된 다른 이미지 데이터를 수신하기 위해 추가로 실행가능한 비일시적인 머신 판독가능 매체.
제19항에 있어서,
상기 사용자에 대한 응시 타깃 영역을 결정하는 것은 상기 사용자의 상기 시야의 상기 적어도 일부의 이미지들을 나타내는 상기 다른 이미지 데이터 내에서 응시 타깃 영역을 결정하는 것을 포함하고 - 상기 응시 타깃 영역은 상기 장면 카메라로부터의 상기 다른 이미지 데이터의 10 퍼센트 미만을 포함함 -;
상기 명령어들은, 적어도, 상기 응시 타깃 영역에 기초하여 초점 또는 광 감도 중 적어도 하나를 조정하도록 상기 장면 카메라를 제어하기 위해 추가로 실행가능한 비일시적인 머신 판독가능 매체.