KR20190039344A

KR20190039344A - 동적 카메라 또는 광의 동작

Info

Publication number: KR20190039344A
Application number: KR1020197009566A
Authority: KR
Inventors: 하비에르 산 아구스틴 로페즈
Original assignee: 페이스북, 인크.
Priority date: 2015-01-07
Filing date: 2016-01-07
Publication date: 2019-04-10
Also published as: EP3243121A1; EP3243121B1; JP6442062B2; CN107111373B; KR20170104516A; JP2019067425A; KR101967281B1; US20160195927A1; US20180341329A1; CN111651045A; CN107111373A; EP3693835A1; KR102200639B1; US10156899B2; WO2016110451A1; JP2018506781A

Abstract

컴퓨팅 장치의 사용자는 사용자의 안구 운동을 통해 컴퓨팅 장치와 상호작용할 수 있다. 컴퓨팅 장치 상의 카메라에 의해 캡처된 사용자의 안구 또는 얼굴의 이미지는 컴퓨터-비전 알고리즘, 가령 안구 추적 및 시선 감지 알고리즘을 사용하여 분석될 수 있다. 컴퓨팅 장치의 사용 동안에, 사용자를 조명하는 하나 이상의 광, 또는 사용자를 보는 카메라가 차단될 수 있다. 장치에는 장치에 의한 시선 감지를 수행하는데 필요한 것보다 많은 광 또는 카메라가 장착될 수 있다. 과도하게 장착된 장치에서, 추가 광 또는 카메라는 차단이 감지될 때까지 휴면 상태로 잔존할 수 있다. 카메라 또는 광이 차단되는 것에 응답하여, 휴면 상태의 광 또는 카메라가 활성화될 수 있다.

Description

동적 카메라 또는 광의 동작{DYNAMIC CAMERA OR LIGHT OPERATION}

본 출원은, 전체가 참조로 본 명세서에 통합되는 2015년 1월 7일자로 출원되고 발명의 명칭이 "Dynamic Camera or Light Operation"인 미국 임시출원 제62/100,721호에 대한 우선권을 주장한다.

본 명세서는 일반적으로 안구 추적을 사용하는 사용자 인터페이스와 컨트롤에 관한 것이고, 보다 구체적으로는, 안구 추적 시스템의 사용 동안에 발광 다이오드(LED) 출력 또는 카메라 입력을 조정하기 위한 시스템 및 방법에 관한 것이다.

사용자의 시선은, 사용자의 눈이나 얼굴의 이미지에 존재하는 안구 정보에 기반하여 사용자의 시선의 위치를 결정하는 안구 추적 기술을 사용하여 결정될 수 있다. 조명이나 이미지 품질이 좋지 않으면 안구 추적의 오류에 기여할 수 있다.

본 발명의 내용 중에 포함되어 있다.

일부 예시적 실시예는 첨부도면의 도면들로 예로서 제한 없이 도시된다.
도 1은 일부 예시적인 실시예에 따른, 동적 카메라 또는 LED 동작이 가능한 예시적인 컴퓨팅 장치의 장치 다이어그램이다.
도 2는 일부 예시적인 실시예에 따른, 동적 카메라 또는 LED 동작을 위한 예시적인 시스템 구조의 블록도이다.
도 3은 일부 예시적인 실시예에 따른, 동적 안구 추적 캘리브레이션에 사용되는 예시적인 데이터 흐름의 블록도이다.
도 4a-4b는 일부 실시예에 따른, 디스플레이에 대한 안구 추적 기술을 도시하는 개략도이다.
도 5는 일부 예시적인 실시예에 따른, 동적 LED 동작의 예시적인 프로세스의 흐름도이다.
도 6은 일부 예시적인 실시예에 따른, 동적 LED 동작의 예시적인 프로세스의 흐름도이다.　
도 7은 일부 예시적인 실시예에 따른, 동적 카메라 동작의 예시적인 프로세스의 흐름도이다.
도 8은 일부 예시적인 실시예에 따른, 동적 카메라 동작의 예시적인 프로세스의 흐름도이다.
도 9는 일부 예시적인 실시예에 따른, 본 명세서에 서술되는 하나 이상의 방법론 중 임의의 것을 장치가 수행하도록 야기하는 명령어의 세트가 내부에서 실행될 수 있는 컴퓨터 시스템의 예시 형태의 장치의 블록도이다.

동적 카메라 또는 LED 동작을 위한 예시적인 시스템 및 방법에 기술된다. 하기의 상세한 설명에서는 설명의 목적상, 많은 구체적인 세부사항들이 실시예의 예시에 대한 완전한 이해를 제공하기 위해 제시된다. 하지만, 본 기술은 이러한 구체적인 세부사항들 없이도 실행될 수 있음이 통상의 기술자에게 분명해질 것이다.

컴퓨팅 장치의 사용자는 사용자의 안구 운동을 통해 컴퓨팅 장치 상에 디스플레이되는 컨트롤 객체와 애플리케이션과 상호작용할 수 있다. 컴퓨팅 장치나 컴퓨팅 장치와 연결된 장치 상의 카메라에 의해 캡처된 사용자의 안구나 얼굴의 이미지는 안구 추적 및 시선 감지 알고리즘과 같은 컴퓨터 시각 알고리즘을 사용하여 분석될 수 있다. 이후 컴퓨팅 장치는 추출된 정보를 사용하여 사용자의 안구의 위치와 방향을 결정하고 사용자의 시선 정보를 추정할 수 있다. 사용자의 시선 정보는 사용자가 어디를 보는지의 추정(예컨대, 사용자 및 사용자가 보는 곳에 상대적인 3차원(3-D) 공간에서의 위치)이고 사용자의 시선(line of sight), 주시점(point of regard), 사용자의 시선의 수렴 심도, 또는 이들의 임의의 적절한 조합을 포함할 수 있다. 이미지의 캡처를 용이하게 하기 위해, 장치에 의해 컨트롤되는 광(예컨대, LEDs)이 사용자의 얼굴을 조명하는데 사용될 수 있다. 예를 들어, 캡처된 이미지는 처리되어 사용자의 안구나 얼굴의 특징에 관한 정보를 추출할 수 있다.

컴퓨팅 장치의 사용 중에, 시선 감지기에 의해 수신되는 이미지의 품질에 영향을 주는 이벤트가 발생할 수 있다. 예컨대, 사용자를 조명하는 하나 이상의 광이 차단될 수 있고, 그럼으로써 사용자의 안구의 캡처된 이미지들의 품질을 감소시킬 수 있다. 다른 예로서, 사용자의 이미지를 캡처하는 하나 이상의 카메라가 차단될 수 있고, 시선 감지기에 이용가능한 데이터의 양을 감소시킬 수 있다.

광 또는 카메라의 차단은, 광 또는 카메라 근처의 근접 센서의 사용, 광 또는 카메라 근처의 광 센서, 하나 이상의 카메라에 의해 캡처되는 하나 이상의 이미지의 분석, 또는 이들의 임의의 적절한 조합을 통해 감지될 수 있다. 장치에는 안구 추적을 수행하는데 필요한 것보다 많은 광 또는 카메라가 장착될 수 있다. 예컨대, 특정 장치에서 안구 추적을 수행하는데에 2개의 광 및 하나의 카메라가 요구될 수 있지만, 장치에는 4개의 광 및 2개의 카메라가 장착될 수 있다. 과도하게 장착된 장치에서, 추가 광 또는 카메라는 차단이 감지될 때까지 휴면 상태로 잔존할 수 있다. 예컨대, 시스템은 특정 광원으로부터의 광이 사용자의 안구에 도달하지 않음을 감지할 수 있다. 카메라 또는 광이 차단되는 것에 응답하여, 휴면 상태의 광 또는 카메라가 활성화될 수 있다. 이러한 방식으로, 시선 감지 품질의 손실이 부분적으로 또는 전체적으로 완화될 수 있다.

도 1은 안구 추적 시스템의 사용 중에 광 출력 또는 카메라 입력을 조정하고 안구 추적 컨트롤을 용이하게 할 수 있는 예시적인 컴퓨팅 장치의 장치 다이어그램이다. 안구 추적 컨트롤이 발명의 설명 전반에 걸쳐 기술되는 한편, 통상의 기술자는, 예시적인 컴퓨팅 장치가 (예컨대, 사용성 연구를 용이하게 하거나 차량에서 운전자의 졸음 수준을 결정하기 위해) 사용자가 안구로 컴퓨팅 장치를 컨트롤하지 않고 사용자의 안구 운동을 기록하는데 수동적으로 사용될 수 있음을 인식할 것이다. 안구 추적 컨트롤은 사용자의 안구 운동 추적에 기반한 장치의 컨트롤 또는 장치 상에서 실행되는 소프트웨어를 말한다. 예컨대, 사용자의 안구의 위치 또는 움직임에 기반하여, 스크린 상의 물체가 이동되고, 텍스트가 입력되고, 사용자 인터페이스가 상호작용될 수 있는 등이 가능하다.

컴퓨팅 장치는 스마트폰, PDA(personal digital assistant), 휴대전화, 컴퓨팅 태블릿, 전자 리더, 텔레비전, 랩탑, 데스크탑 컴퓨터, 디스플레이 장치, 헤드 마운트 디스플레이 등을 포함하나 이에 제한되지 않는 임의의 타입의 컴퓨팅 장치일 수 있다. 일부 실시예에서, 컴퓨팅 장치는 탈 것(예컨대, 차량, 보트 또는 비행기)이나 가전제품(예컨대, 냉장고, 텔레비전, 게임 콘솔 등)에 탑재되거나 통합된다. 안구 추적 컨트롤 중에, 컴퓨팅 장치는 하나의 손으로 컴퓨팅 장치를 잡음으로써, 양손으로 컴퓨팅 장치를 잡음으로써, 컴퓨팅 장치가 스탠드 상에 있거나 표면 상에 정지되어 있는 동안, 또는 컴퓨팅 장치가 사용자의 머리에 장착되어 있는 동안 사용자에 의해 사용될 수 있다.

컴퓨팅 장치는 카메라 C 및 하나 이상의 LED를 포함할 수 있다. 도 1의 예시에서, 4개의 LED들(L1-L4)이 나타난다. 설명을 위해, 본 명세서의 논의는 LED들(L1-L4)을 참조하여 계속될 것이다. 하지만, 임의의 적절한 발광 소스(예컨대, 적외선(IR) 레이저)가 하나 이상의 LED들(L1-L4)을 대신하여 사용될 수 있다.

컴퓨팅 장치는 컴퓨팅 장치 내에 임의의 방식으로 적절한 위치에 배치될 수 있는 임의의 수의 LED들(L1-L4)(예컨대, IR LED)을 포함할 수 있다. 일부 예시적인 실시예로, 하나 이상의 LED는 하나 이상의 카메라가 프레임을 포착할 때 전원이 켜지고 그렇지 않으면 전원이 꺼지는 방식으로 하나 이상의 카메라와 동기화될 수 있다. 일부 예시적인 실시예로, LED들은 기결정된 기간 내에 움직임이 감지되지 않았거나 컴퓨팅 장치가 수면 모드로 들어간다면 전원이 꺼질 수 있다.

안구 추적 컨트롤 소프트웨어는, 사용자가 컴퓨팅 장치의 디스플레이 상에서 어디를 보고 있는지를 표시하는, 스크린에 대한 좌표(x, y, z 또는 x, y)를 제공하기 위해 카메라 C가 찍은 이미지를 분석할 수 있다. 이들 좌표는 임의의 수의 애플리케이션(예컨대, 스크롤링, 물체 이동, 아이콘 선택, 게임 플레이, 분석을 위한 데이터 수집 등)을 위해 사용될 수 있다.

도 2는 안구 추적 컨트롤 및 이의 캘리브레이션을 위한 예시적인 시스템 구조(200)의 블록도이다. 시스템 구조(200)의 임의의 하나 이상의 컴포넌트(202-220)는 하드웨어 모듈(예컨대, 컴퓨팅 장치의 적절히 구성된 중앙 처리 유닛(CPU) 또는 컴퓨팅 장치의 CPU와 GPU(graphics processing unit)의 조합)을 사용하여 구현될 수 있다. 일부 예시적인 실시예에서, 시스템 구조(200)의 임의의 하나 이상의 컴포넌트(202-220)는 전용 칩에서 실행되는 소프트웨어를 포함할 수 있다. 소프트웨어는 백그라운드 프로세스(예컨대, 운영체제(OS)의 일부로서, 웹 브라우저에서 등)로서 실행될 수 있고 다른 애플리케이션이 접근하는 API(application programming interface)를 제공할 수 있다. API(204)는 시선 정보를 다른 애플리케이션으로 전송하기 위해 경고를 보내거나(예컨대, 이벤트의 제기) 또는 일부 다른 유사한 메커니즘을 사용할 수 있다.

시스템 구조(200)는 상이한 층으로 분할될 수 있다. 하드웨어 층은 각 하드웨어(예컨대, 카메라, 적외선 조명 등)에 대응할 수 있는 카메라 모듈(218)과 적외선 조명 모듈(220)을 포함할 수 있다. 카메라 층은 예컨대 카메라 시작, 이미지 잡기, 카메라 속성 컨트롤 등의 카메라 동작을 수행하기 위해 하나 이상의 카메라와의 통신을 책임질 수 있는 카메라 컨트롤 모듈(214)을 포함할 수 있다. 이 층은 카메라 및 광 동기화 모듈(216)도 포함할 수 있는데, 사용자의 안구의 추적을 향상시키고 에너지 소비를 최소화하기 위해 안구 추적 소프트웨어에 의해 광이 컨트롤되도록 하나 이상의 카메라와 적외선 이미터를 동기화할 수 있다. 일부 예시적인 실시예로, 카메라 층은 카메라 트리거 출력의 주파수에서 적외선 LED들을 스트로브(strobe)하도록 구성될 수 있다.

카메라 층은 이미지를 안구 추적 층에 전달할 수 있다. 안구 추적 층에서, 안구 감지 및 추적 모듈(208)은 얼굴 위치, 안구 영역 위치, 동공 중심, 동공 크기, 각막 반사의 위치, 안구 코너, 홍채 중심, 홍채 크기 등과 같은 특징을 발견하기 위해 이미지를 프로세싱할 수 있다. 특징은 상이한 사용자 매트릭(예컨대, 차량의 운전자의 졸음)을 결정하는데 사용될 수 있다. 또한, 이들 특징은 시선 추정 단계에서 안구 감지 및 추적 모듈(208)에 의해 계산되는 특징을 사용하여 사용자의 가시선(line of sight) 또는 주시점을 계산을 책임질 수 있는 시선 추정 모듈(206)에 의해 사용될 수 있다. 사용자의 주시점은 사용자가 보고 있는 디스플레이 상의 위치, 사용자가 보고 있는 다른 평면 상의 위치, 사용자가 보고 있는 3차원 점 또는 사용자가 보고 있는 평면일 수 있다. 또한, 시선 추정 모듈(206)은 사용자의 안구의 특정 특징, 가령 광학 및 시각적 축, 3D 공간에서의 각막 중심 및 동공의 위치 등을 계산할 수 있다. 이러한 특징들은 또한, 주어진 디스플레이나 평면 상에서 주시점을 계산하는데 이용될 수 있다.

동적 컨트롤 모듈(210)은 차단된 광 또는 카메라를 감지하고 적절한 반응을 야기하도록 센서 정보를 프로세싱한다. 예컨대, 안구 감지 및 추적 모듈(208)은 광에 대응하는 반짝임이 사라졌다고 결정할 수 있다. 동적 컨트롤 모듈(210)은, 대응 광을 비활성화하고, 다른 비활성화된 광을 선택하며, 적외선 조명 모듈(220)을 통해 그것을 활성화함으로써 반짝임의 사라짐에 대응할 수 있다. 다른 예로서, 카메라 근처의 근접 센서는 카메라가 덮여졌음을 감지할 수 있다. 센서에 응답하여, 동적 컨트롤 모듈(210)은 카메라 컨트롤 모듈(214) 또는 카메라 모듈(218)을 통해 비활성화된 카메라를 선택하고 그것을 활성화할 수 있다.

API 층은 안구 추적 층과 안구 시선 정보를 사용하는 애플리케이션(예컨대, 안구 시선 정보를 사용하는 OS 층 또는 게임) 사이의 통신을 위해 사용될 수 있다. 안구 추적 층과 카메라 층 사이에서 중재하는 것으로 OS(212)가 도 2에 도시되지만, 일부 예시적인 실시예에서, 상대적인 위치는 반전되고 안구 추적 층이 OS(212)와 카메라 층 사이에서 중재한다. API 모듈(204)은 주시점의 좌표, 사용자의 안구의 3D 위치, 동공 크기, 눈 사이의 거리, 머리 방향, 머리의 움직임 등과 같은 안구 추적 층에 의해 계산된 데이터를 송신할 수 있다. API 모듈(204)은 또한 애플리케이션으로부터 안구 추적 층으로의 명령(예컨대, 안구 추적 엔진을 시작 또는 정지, 특정한 정보를 위한 질의, 사용자가 볼 수 있는 시각적 요소의 위치 및 크기를 엔진에 알림, 또는 이들의 임의의 적절한 조합)을 받아들일 수 있다. 애플리케이션 모듈(202) 및 OS(212)는 안구 추적기의 API 모듈(204)에 연결할 수 있고 임의의 적절한 목적(예컨대, 애플리케이션이나 게임을 컨트롤, 시각적 행동 연구를 위해 안구 데이터를 기록, 스크린 상의 정보의 투명도를 조정, 또는 이들의 임의의 적절한 조합)을 위해 안구 시선 정보를 사용할 수 있다.

도 3은 안구 추적 컨트롤 및 이의 캘리브레이션을 용이하게 하는데 사용되는 데이터의 흐름의 예시의 블록도이다. 카메라 및 적외선 조명 모듈(302)은 하나 이상의 카메라, 주변광, 방출된 가시광, 방출된 적외선 광, 또는 이들의 임의의 적절한 조합을 사용하여 사용자의 이미지를 캡처(예컨대, 사용자의 얼굴이나 하나 또는 두 개의 눈의 사진을 찍음)할 수 있다. 안구 특징 감지 모듈(304)은 안구의 특징(예컨대, 안구의 위치와 방향, 동공, 홍채, 각막 반사, 또는 이들의 임의의 적절한 조합)을 감지하기 위해 캡처된 데이터를 사용한다. 감지된 안구의 특징을 사용하여, 시선 추정 모듈(306)은 사용자의 주시점 또는 시선을 추정할 수 있는데, 그 후 안구 컨트롤 모듈(308)을 통해 애플리케이션의 컨트롤 측면에 사용될 수 있다.

도 4a와 4b는 디스플레이에 대한 안구 추적 기술을 도시하는 개략도이다. 도 4a에서, O는 XYZ 좌표계의 중심이고, L1-n은 광원들이다. 일부 실시예로, O에 대한 하나 이상의 카메라 및 하나 이상의 광원(L1-n)의 위치가 알려진다. 일부 실시 예에서, O에 대한 스크린(S)의 위치가 알려진다. 일부 실시예로, 초점 길이, 광학 중심 등을 포함하는 일부 카메라 파라미터가 알려진다. 알려진 파라미터를 사용하여, 알려지지 않은 값이 결정될 수 있다.

일부 실시예에서, 상술한 바와 같이 안구 추적 시스템은 스크린에 내장되거나 스크린 상의 특정 위치에 장착된다. 일부 다른 실시예로, 안구 추적 시스템의 컴포넌트(예컨대, 하나 이상의 카메라 및 하나 이상의 광원)는 다른 요소, 가령 자동차 대시보드, 헤드 장착된 디스플레이, 가상 현실 헤드셋, 또는 헬멧으로 통합된다.

안구 추적 시스템은, 동공 중심, 동공 타원, 각막 반사, 안구 코너, 얼굴 방향 등을 포함하는 사용자의 안구 및 얼굴 특징에 관한 정보를 캡처할 수 있다. 동공 중심은 감지된 동공의 중심의 점이다. 동공 타원은 (원형) 동공의 이미지를 나타내는 타원형 표시이다. 동공 타원의 편심은 사용자의 시선의 방향과 카메라로부터 눈으로의 선 사이의 각도에 관련된다. 각막 반사는 각막에서 반사된 광이다. 광원(L)과 카메라(O) 사이의 관계가 알려지면, 동공 중심에 대해 측정된 광원의 각막 반사의 위치가 시선 방향을 식별하는데 사용될 수 있다. 광원(L)과 카메라(O) 사이의 관계가 알려지지 않은 경우, 사용자의 관점은 비-하드웨어-캘리브레이션된 기술, 가령 추론 방법, 상호-비율에 기반한 방법, 또는 이들의 임의의 적절한 조합을 사용하여 계산될 수 있다.

도 4b는 시각축이 계산되고 디스플레이 평면과 교차될 수 있도록 원점(O)에 대하여 3-D 공간에서 계산되는 안구 특징을 도시한다. 이미지 평면의 각막 반사의 위치 G는 3D 공간에서 하나 이상의 카메라에 대한 광원의 위치 L 및 카메라의 고유 파라미터와 조합하여 사용되어 3D 공간에서 각막 중심의 위치 C를 계산할 수 있다. 예컨대, 광선은 각막을 통해 각 광원(L)으로부터 각 카메라까지 추적될 수 있다. 각 광원 카메라 쌍은 개별 광선을 제공하고, 각막의 평면 상의 점을 식별한다. 이들 점 사이의 삼각 측량에 의해, 각막 반경 및 C의 위치 모두가 결정될 수 있다. 카메라나 광원이 더 사용될 때, 측정의 정확도가 증가할 수 있다.

이미지 평면 상의 동공 중심의 위치, p는 3-D 공간에서 각막 중심의 위치, 안구 및 대기의 광학 특정, 및 카메라 고유의 파라미터와 조합되어 사용되어서 3-D 공간에서의 동공 중심의 위치, E를 계산할 수 있다. 예컨대, 카메라는 동공의 이미지를 캡처하지만, 각막의 중심의 실제 위치는, 동공이 각막 뒤에 놓이고 광이 각막과 대기 사이의 교차점에서 굴절되기 때문에 이미지에 의해 직접 표시되는 위치와는 상이하다. 따라서, 동공 중심의 분명한 위치는 이 반사를 고려하여 조정된다.

3D 공간에서 동공 중심의 위치 E와 각막 중심의 위치 C는 광학 축이라 불리는 벡터를 정의한다. 시각축이라고도 알려진 실제 가시선은 알파 및 베타로 알려진 광학 축에 대한 각도 오프셋을 가지고, 이는 보통 수평으로 약 5° 및 수직으로 약 1.5°이다. 알파와 베타는 사람마다 상이한 값을 가질 수 있고, 따라서 사용자별로 계산될 수 있다.

알파 및 베타 둘 모두는, 사용자가 컴퓨팅 장치에서 특정 시각 요소와 상호작용하는 동안에 명시적으로 또는 암시적으로 발생할 수 있는 캘리브레이션 프로세스를 통해 계산될 수 있다.

시각 축이 알려지면, 광선은 스크린 평면과 교차할 수 있다. 교차는 사용자가 보고 있는 스크린 상의 시선 좌표를 제공한다. 각막 반경이나 동공 중심과 각막 중심 간의 거리와 같은 다른 안구 파라미터도 사용자 캘리브레이션 프로세스 동안 계산되어 스크린 상의 시선 좌표의 계산의 정확도를 향상시킬 수 있다(각막 중심의 더 나은 추정과 그로 인한 광학 및 시각 축의 더 나은 추정 때문에). 그렇지 않으면, 평균 값이 사용될 수 있다(예컨대, 각막 반경 7.8mm).

상기 사용자 캘리브레이션 동안 캘리브레이션되는 알려지지 않은 것들의 전체 세트는 임의의 알려지지 않은 정보, 가령 안구 파라미터(예컨대, 광학 및 시각 축 사이의 오프셋 알파 및 베타, 각막 반경 Rc, 동공 중심과 각막 중심 사이의 거리 h, 굴절률 n 등)와 하드웨어 파라미터(예컨대, 3-D 공간 S에서의 안구 추적 장치의 위치에 대한 스크린 위치와 방향, 및 스크린 크기(폭 w, 높이 h))를 포함할 수 있다. 캘리브레이션 전에 알려진 정보는 하나 이상의 카메라(L1-Ln)에 대한 광원의 위치, 하나 이상의 카메라의 카메라 파라미터(예컨대, 초점 길이, 광학 중심 등) 등을 포함할 수 있다.

일부 예시적인 실시예로, 스크린 크기(w, h)는 알려지거나 소프트웨어(예컨대, 운영 시스템 API)를 통해 프로그램적으로 획득되고 기존에 알려진 정보로 사용될 수 있다. 일부 실시예로, 일부 안구 파라미터는 알려지지 않은 것들의 수치 공간을 감소시키기 위해 일정한 값을 취할 수 있다.

도 5는 일부 예시적인 실시예에 따른, 동적 LED 동작의 예시적인 프로세스(500)의 흐름도이다. 프로세스(500)의 동작(510-540)은 예로서 제한 없이 도 2에 도시되는 컴포넌트 또는 모듈에 의해 수행되는 것으로 기술된다.

동작(510)에서, 안구 추적이 장치 상에서 광원들의 서브세트를 사용하여 시작된다. 예컨대, 도 1의 L3 및 L4는 적외선 조명 모듈(220)에 의해 인에이블될 수 있다.

장치의 사용 중에 동작(520)에서 동적 컨트롤 모듈(210)은 인에이블된 광들 중 하나가 차단된다고 감지할 수 있다. 예컨대, 장치(100)를 잡고 있는 사용자는 L3에 직접 인접한 장치의 근접 센서에 의해 감지되는 L3 상의 엄지를 배치할 수 있다. 다른 예로, 사용자는 안경을 착용하고 있을 수 있고 안경의 프레임이 L3로부터 방출된 광을 차단할 수 있다. 시스템은 카메라가 캡처하는 이미지를 분석함으로써 이러한 상황을 감지할 수 있다.

동작(530)에서 동적 컨트롤 모듈(210)은 차단된 광을 감소시킨다. 이 예시를 계속하면, 광(L3)이 감소된다. 광의 감소는 전력 소비나 발열을 줄이거나 둘 모두를 줄일 수 있다. 일부 예시적인 실시예로, 광(L3)의 감소는 광(L3)의 전원을 완전히 끄거나, 광(L3)의 강도를 감소시키거나, 광(L3)의 스트로브 주파수를 감소시키거나, 또는 이들의 임의의 적절한 조합에 의해 달성될 수 있다.

동작(540)에서, 동적 컨트롤 모듈(210)은 비-차단 광을 활성화한다. 이용가능한 광은 서로에 대한 대체물로서 우선순위화될 수 있다. 예컨대, 장치의 하단 오른쪽 코너에 있는 L3는 L2(상단-우측)를 제1 대체물로, L4(하단-좌측)를 제2 대체물로, 그리고 L1(상단-좌측)을 제3 대체물로 가질 수 있다. 이 경우, L4가 이미 켜져 있기 때문에 L2가 차단된 L3에 대한 대체물로 선택될 것이다. L2가 또한, 차단되면 L1이 선택될 것이다.

일부 예시적인 실시예로, 광은 쌍이나 더 큰 세트로 다루어 진다. 예컨대, 광(L3 및 L4)은 하나의 쌍을 형성하고 광(L1 및 L2)는 다른 쌍을 형성할 수 있다. L3 또는 L4가 차단되면, L3 및 L4가 모두 디스에이블되고 L1 및 L2가 모두 인에이블된다. 쌍으로 된 광에 대해, 광을 개별적으로 취급하는 것이 장애복구 위치일 수 있다. 예를 들어, L3 및 L4가 켜지고 L1 및 L2가 꺼진 구성에서 시작하여 L3이 차단되면 L1 및 L2가 모두 사용 가능한지 확인하는 검사가 수행된다. 그럴 경우 L3 및 L4가 디스에이블되고 L1 및 L2가 인에이블된다. 쌍이 모두 차단 해제되지 않은 경우(예컨대, L3 및 L2가 차단된 경우) 이후 개별 광(L4 및 L1)이 (예컨대, L1이 L3의 가장 우선 순위가 높은 차단되지 않은 대체품이므로) 사용될 수 있다.

각각의 광에 대한 우선순위는 다수의 메트릭(예컨대, 각각의 광의 위치, 장치의 방향, 장치에 대한 사용자의 상대적인 방향, 각각의 광이 차단될 확률, 추적의 품질, 시선 추정의 정확성, 이미지의 노이즈, 또는 이들의 임의의 적절한 조합)에 기반하여 계산될 수 있다. 우선 순위는 사용자가 장치를 사용함에 따라 업데이트될 수 있다. 예컨대, 사용자가 세로 모드에서 장치를 사용하고 가로 모드에서 사용하기 위해 장치를 90도로 회전한다면, 각 광의 우선순위가 업데이트될 수 있다.

차단된 광에 대해 모니터링하는 프로세스는 동작(540)이 완료된 후 동작(520)으로 되돌아가는 컨트롤 흐름에 의해 도 5에 표현되는 장치의 동작 동안에 계속될 수 있다.

도 6은 일부 예시적인 실시예에 따른, 동적 LED 동작의 예시적인 방법의 흐름도이다. 프로세스(600)의 동작(510-670)은 예로서 제한 없이 도 2에 도시되는 컴포넌트 또는 모듈에 의해 수행되는 것으로 기술된다. 프로세스(600)의 동작(510-540)은 도 5와 관련하여 위에서 기술된다.

동작(650)에서, 동적 컨트롤 모듈(210)은 차단된 광이 더 이상 차단되지 않는다고 결정한다. 그 결정에 응답하여, 과거에 차단된 광은 다시-인에이블되고(동작(660)), 그것의 대체물이 꺼진다(동작(670)). 이것은 더 높은 우선 순위의 광의 차단 해제를 반영할 수 있다. 예컨대, 가장 높은 우선순위의 광 구성에서 L3 및 L4가 켜져 있다면, 이후 L3 또는 L4가 차단될 때(동작(520)에서 감지됨), (동작(530, 540)에서 설정되는) 상이한 광 구성이 사용될 것이다. 이후 L3이 차단해제된다면, L3은 다시 인에이블되고, L3에 대한 대체광은 디스에이블되거나 감소될 것이다(동작(650-670)). 차단되거나 차단해제된 광에 대해 모니터링하는 프로세스는 동작(670)이 완료된 후 동작(520)으로 되돌아가는 컨트롤 흐름에 의해 도 5에 표현되는, 장치의 동작 동안에 계속될 수 있다.

광원의 차단해제는 근접 센서에 의해 결정될 수 있다. 예컨대, 사용자의 엄지가 광(L3) 근처에 있는 근접 센서에 의해 광(L3)을 차단하는 것으로 감지된다면, 근접 센서는 이후 엄지가 제거되었고 광이 차단해제되었음을 결정할 수 있다.

일부 예시적인 실시예로, 감소된 광원의 차단해제는 이미지 분석을 통해 결정된다. 예컨대, 광(L3)이 그것의 스트로브 주파수를 감소시킴으로써 감소된다면, 눈으로부터 반사되는 광(L3)에 의해 생성되는 반짝임은, 일단 광(L3)이 더 이상 차단되지 않는다면 감소된 스트로브 주파수와 동기화되어 다시 나타날 것이다. 따라서, 반짝임이 다시 나타날 때, 광(L3)의 스트로브 주파수는 (예컨대, 동작(660)에서) 그것의 정상값으로 복구될 수 있다.

도 7은 일부 예시적인 실시예에 따른, 동적 카메라 동작의 예시적인 프로세스(700)의 흐름도이다. 프로세스(700)의 동작(710-740)은 예로서 제한 없이 도 2에 도시되는 컴포넌트 또는 모듈에 의해 수행되는 것으로 기술된다.

동작(710)에서, 안구 추적은 장치에서 카메라들의 서브세트를 사용하여 시작된다. 예컨대, 도 1의 장치는 카메라 모듈(218)에 의해 인에이블되는, 스크린 상의 카메라(C)와, 안구 추적이 시작될 때 디스에이블되는 스크린 아래의 제2 카메라(C2)(미도시)를 가질 수 있다.

장치의 사용 동안에, 동적 컨트롤 모듈(210)은 동작(720)에서 인에이블된 카메라 중 하나가 차단됨을 감지할 수 있다. 예컨대, 장치(1000)를 잡고 있는 사용자는 C에 바로 인접한 장치에 있는 근접 센서에 의해 감지되는, C 상에 엄지를 배치할 수 있다. 다른 예로서, 차단된 카메라의 감지는 C에 의해 캡처된 2개의 이미지를 비교함으로써 수행될 수 있다. C가 캡처한 제1 이미지가 사용자의 안구를 보여주고 C가 캡처한 제2 이미지는 그렇지 않다면, 시스템은 카메라(C)가 차단되었다고 결론을 내릴 수 있다.

동적 컨트롤 모듈(210)은 동작(730)에서 차단된 카메라의 전력 소비를 감소시킨다. 이 예시를 계속하면, 카메라(C)의 전원이 꺼진다. 카메라의 전원을 끄는 것은 전력 소비를 감소시키거나, 발열을 감소시키거나, CPU 사용량을 감소시키거나, 이들의 임의의 조합을 할 수 있다. 일부 예시적인 실시예로, 차단된 카메라는 완전히 전원이 꺼지지 않고, 저전력 모드, 가령 스탠-바이로 구성되거나, 또는 더 낮은 해상도 및 프레임률로 이미지를 캡처하도록 설정되고, 그럼으로써 ON 상태로의 변환을 더 빠르게 만든다.

동작(740)에서, 동적 컨트롤 모듈(210)은 차단되지 않은 카메라를 활성화한다. 이용가능한 카메라는 서로에 대한 대체물로서 우선순위화될 수 있다. 예컨대, C는 C2를 제1 대체물로 갖고, 제3 카메라, C3(미도시)를 제2 대체물로 가질 수 있다. 이 경우, C2는 C2가 또한, 차단되지 않는다면 C를 위해 인에이블된다.

일부 예시적인 실시예로, 카메라는 쌍이나 더 큰 세트로 취급된다. 도 5의 페어링된 광을 참조하여 전술된 방법이 또한, 카메라에 대해 사용될 수 있다.

차단된 카메라에 대해 모니터링하는 프로세스는 동작(740)이 완료된 후 동작(720)으로 되돌아가는 컨트롤 흐름에 의해 도 7에 표현되는 장치의 동작 동안에 계속될 수 있다.

도 8은 일부 예시적인 실시예에 따른, 동적 카메라 동작의 예시적인 프로세스(800)의 흐름도이다. 프로세스(800)의 동작(710-870)은 예로서 제한 없이 도 2에 도시되는 컴포넌트 또는 모듈에 의해 수행되는 것으로 기술된다. 프로세스(800)의 동작(710-740)은 도 7과 관련하여 위에서 기술된다.

동작(850)에서, 동적 컨트롤 모듈(210)은 차단된 카메라가 더 이상 차단되지 않는다고 결정한다. 그 결정에 응답하여, 과거에 차단된 카메라는 다시-인에이블되고(동작(860)), 그것의 대체물이 꺼지거나, 아니면 저전력 모드로 배치된다(동작(870)). 이것은 더 높은 우선 순위의 카메라의 차단 해제를 반영할 수 있다. 예컨대, 가장 높은 순위의 카메라가 C라면, 이후 C가 차단될 때(동작(720)에서 감지됨), (동작(730 및 740)에서 설정되는) 상이한 카메라 구성이 사용된다. 이후, C가 차단해제되면(C 근처의 근접 센서에 의해 감지됨), C는 다시 인에이블되고, C에 대한 대체 카메라가 디스에이블된다(동작(850-870)). 차단되거나 차단해제된 카메라에 대해 모니터링하는 프로세스는 동작(870)이 완료된 후 동작(720)으로 되돌아가는 컨트롤 흐름에 의해 도 8에 표현되는, 장치의 동작 동안에 계속될 수 있다.

카메라는 상기 카메라에 대한 사용자의 방향으로 인해 차단될 수 있다. 예컨대, 사용자는 그의 또는 그녀의 머리를 회전시킬 수 있고, 카메라는 사용자의 안구에 대한 가시선을 가지지 않을 수 있다(예컨대, 뷰가 사용자의 눈꺼풀에 의해 차단될 수 있다). 시스템은 하나 이상의 카메라에 의해 제공되는 이미지 또는 이미지들 상에서 이러한 상황을 감지할 수 있고, 상기 카메라를 그에 응답하여 전원을 끄고 사용자에 대해 더 좋은 방향을 가지는 다른 카메라의 전원을 켤 수 있다. 예컨대, 장치의 오른쪽에 있는 카메라가 차단된다면, 장치의 왼쪽에 있는 카메라가 활성화될 수 있다.

본 명세서에 기술되는 방법 및 시스템은 기존의 방법 및 시스템에 비하여 장점을 제공할 수 있다. 예컨대, 카메라 및 광원의 동적 컨트롤은, 컴포넌트가 (예컨대, 터치 스크린과 상호작용 시에 사용자의 손이나 엄지에 의해) 차단될 때를 감지하고 상이한 컴포넌트로 원활하게 전환함으로써 심지어 광원이나 카메라가 차단되더라도 안구 추적 세션이 계속되도록 허용할 수 있다. 다른 예로서, 불충분한 차단되지 않은 컴포넌트만이 이용가능하다고 결정하는 것은 안구 추적 기능의 자동 종료를 허용하고, 그럼으로써 배터리 소비를 감소시킨다. 또 다른 예로, 이용가능한 것들(즉, 차단되지 않은 것들)로부터의 컴포넌트의 최적의 조합을 사용하는 것은 시선 추정 정확도뿐만 아니라 안구 추적 품질을 향상시킬 수 있다.

특정 예시적 실시예는 본 명세서에 로직 또는 다수의 컴포넌트, 모듈 또는 메커니즘을 포함하는 것으로 서술된다. 모듈은 소프트웨어 모듈(예컨대, 기계-판독가능한 매체 또는 전송 신호에 내장된 코드) 또는 하드웨어 모듈로 이루어질 수 있다. 하드웨어 모듈은 특정 동작을 수행할 수 있는 실재하는 유닛이고 특정 방식으로 구성 또는 배열될 수 있다. 예시적인 실시예에서, 하나 이상의 컴퓨터 시스템(예컨대, 독립형, 클라이언트 또는 서버 컴퓨터 시스템) 또는 컴퓨터 시스템의 하나 이상의 하드웨어 모듈(예컨대, 프로세서 또는 프로세서들의 그룹)은 소프트웨어(예컨대, 애플리케이션 또는 애플리케이션의 일부)에 의해 본 명세서에 서술된 특정 동작을 수행하도록 작동하는 하드웨어 모듈로 구성될 수 있다.

다양한 예시적인 실시예에서, 하드웨어 모듈은 기계적 또는 전자적으로 구현될 수 있다. 예를 들어, 하드웨어 모듈은 특정 동작을 수행하도록 영구적으로 구성된(예컨대, FPGA(field programmable gate array) 또는 ASIC(application-specific integrated circuit)과 같은 특수 목적 프로세서로서) 전용 회로 또는 로직을 포함할 수 있다. 하드웨어 모듈은 또한 특정 동작을 수행하도록 소프트웨어에 의해 임시로 구성된 프로그램 가능한 로직 또는 회로(예컨대, 일반-목적 프로세서나 다른 프로그램 가능한 프로세서 내에 포함되어)를 포함할 수 있다. 전용 및 영구적으로 구성된 회로 또는 임시로 구성된 회로(예컨대, 소프트웨어에 의해 구성)로 기계적으로 하드웨어 모듈을 구성하는 결정은 비용 및 시간을 고려하여 만들어짐은 명백할 것이다.

따라서, 용어 "하드웨어 모듈"은 실재하는 엔티티를 포함하고, 엔티티는 물리적으로 구성되고, 영구적으로 구성되거나(하드웨어에 내장) 일시적으로 구성되어(예컨대, 프로그래밍됨) 본 명세서에 서술된 특정 방식으로 동작하거나 특정 동작을 수행하는 것으로 이해되어야 한다. 하드웨어 모듈이 일시적으로 구성되는(예컨대, 프로그래밍됨) 실시예를 고려하면, 각 하드웨어 모듈은 어떤 시점에서 한 인스턴스로 구성되거나 인스턴트화될 필요가 없다. 예를 들어, 하드웨어 모듈이 소프트웨어를 사용하여 구성되는 일반-목적 프로세서를 포함할 때, 일반-목적 프로세서는 상이한 시점에 각 상이한 하드웨어 모듈로 구성될 수 있다. 따라서 소프트웨어는, 예컨대 한 시점에 특정 하드웨어 모듈을 이루고, 다른 시점에 다른 하드웨어 모듈을 이루도록 프로세서를 구성할 수 있다.

하드웨어 모듈은 다른 하드웨어 모듈과 정보를 제공하고 수신할 수 있다. 따라서, 서술된 하드웨어 모듈은 통신 결합되는 것으로 간주될 수 있다. 복수의 이러한 하드웨어 모듈이 동시에 존재하는 경우, 통신은 하드웨어 모듈들을 연결하는 신호 전송(예컨대, 적절한 회로와 버스를 거쳐)을 통해 달성될 수 있다. 복수의 하드웨어 모듈이 상이한 시간에 구성되거나 인스턴트화되는 예시적인 실시예에서, 이러한 하드웨어 모듈들 간의 통신은 예컨대, 복수의 하드웨어 모듈이 접근하는 저장소와 메모리 구조의 정보의 검색을 통해 달성될 수 있다. 예를 들어, 한 하드웨어 모듈은 한 동작을 수행할 수 있고 그 동작의 출력을 통신 결합된 메모리 장치에 저장할 수 있다. 그 후, 추가 하드웨어 모듈이 이후에 메모리 장치에 접근하여 저장된 출력을 검색하고 처리할 수 있다. 하드웨어 모듈도 입력 또는 출력 장치와 통신을 개시할 수 있고, 자원(예컨대, 정보의 컬렉션)을 조작할 수 있다.

본 명세서에 서술된 방법의 예시의 다양한 동작이 관련 동작을 수행하도록 일시적으로 구성되거나(예컨대, 소프트웨어로) 영구적으로 구성된 하나 이상의 프로세서에, 적어도 부분적으로 의하여 수행될 수 있다. 일시적 또는 영구적으로 구성되든지, 이러한 프로세서는 하나 이상의 동작 또는 기능을 수행하도록 동작하는 프로세서-구현된 모듈을 이룰 수 있다. 본 명세서에서 말하는 모듈은, 일부 실시예의 예시에서, 프로세서-구현된 모듈을 포함한다.

유사하게, 본 명세서에 서술된 방법은 적어도 부분적으로 프로세서-구현될 수 있다. 예를 들어, 방법의 적어도 일부의 동작은 하나 이상의 프로세서 또는 프로세서-구현된 모듈에 의하여 수행될 수 있다. 특정 동작의 수행은 단일 장치 상에 존재할 뿐만 아니라, 다수의 장치에 걸쳐 배치된 하나 이상의 프로세서들에 분산될 수 있다. 일부 예시적인 실시예에서, 프로세서 또는 프로세서들은 단일 위치 내에(예컨대, 가정 환경, 오피스 환경 내에 또는 서버 팜으로서) 위치할 수 있는 한편, 다른 예시적인 실시예에서 프로세서는 다수의 위치에 걸쳐 분산될 수 있다.

하나 이상의 프로세서도 "클라우드 컴퓨팅" 환경에서 또는 "SaaS(software as a service)"로서 관련 동작의 수행을 지원하도록 또한, 동작할 수 있다. 예를 들어, 적어도 일부의 동작은 컴퓨터의 그룹(예컨대 프로세서들을 포함하는 장치)에 의해 수행될 수 있고, 이들 동작은 네트워크(예컨대, 인터넷)을 통해 및 하나 이상의 적절한 인터페이스(예컨대, API)를 통해 접근 가능하다.

실시의 예시는 디지털 전자 회로에서, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어 또는 그 조합에서 구현될 수 있다. 실시예의 예시는 컴퓨터 프로그램 제품, 예컨대 정보 매체, 예컨대 데이터 프로세싱 장치, 예컨대 프로그램 가능한 프로세서, 컴퓨터 또는 복수의 컴퓨터에 의해 실행되기 위하거나 그 동작을 컨트롤하는 장치-판독가능한 매체에 실재하는 것으로 내장된 컴퓨터 프로그램을 사용하여 구현될 수 있다.

컴퓨터 프로그램은 컴파일 또는 해석형 언어를 포함하는 임의의 형식의 프로그래밍 언어로 쓰여질 수 있고, 독립형 프로그램 또는 모듈, 서브루틴 또는 컴퓨팅 환경에서 사용되기 적합한 다른 단위를 포함하는 임의의 형식으로 배치될 수 있다. 컴퓨터 프로그램은 한 컴퓨터 상에서 또는 한 사이트나 복수의 사이트에 걸치고 통신 네트워크로 상호연결된 복수의 컴퓨터 상에서 실행되도록 배치될 수 있다.

실시예의 예시에서, 동작은 컴퓨터 프로그램을 실행하여 입력 데이터를 조작하고 출력을 생성함으로써 기능을 수행하는 하나 이상의 프로그램 가능한 프로세서에 의해 수행될 수 있다. 특수 목적 논리 회로(예컨대, FPGA 또는 ASIC)에 의하여 방법 동작도 수행될 수 있고, 실시예의 예시의 장치가 구현될 수 있다.

컴퓨팅 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 원격이고 보통 통신 네트워크를 통해 상호작용한다. 클라이언트와 서버의 관계는 각 컴퓨터 상에서 실행되고 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램들 때문에 발생한다. 프로그램 가능한 컴퓨팅 시스템을 배치한 예시적인 실시예에서, 하드웨어와 소프트웨어 아키텍처 모두 고려가 필요함이 이해될 것이다. 구체적으로, 특정 기능을 영구적으로 구성된 하드웨어로(예컨대, ASIC), 일시적으로 구성된 하드웨어로(예컨대, 소프트웨어와 프로그램 가능한 프로세서의 조합) 또는 영구적 및 일시적으로 구성된 하드웨어의 조합으로 구현할 것인지의 여부의 선택이 설계의 선택이 될 수 있다. 아래는 다양한 실시예의 예시에서 채용될 수 있는 하드웨어(예컨대, 장치) 및 소프트웨어 아키텍처이다.

도 9는 본 명세서에 서술되는 하나 이상의 방법론 중 임의의 것을 장치가 수행하도록 야기하는 명령어가 내부에서 실행될 수 있는 컴퓨터 시스템(900)의 예시 형태의 장치의 블록도이다. 대안의 예시적인 실시예로, 기계는 독립형 장치로 동작하거나 다른 기계들과 연결(예컨대, 네트워크화)될 수 있다. 네트워크형 배치에서, 기계는 클라이언트-서버 네트워크 환경에서 서버 또는 클라이언트 기계의 능력으로 또는 피어-투-피어(또는 분산형) 네트워크 환경의 피어 기계(peer machine)로서 동작할 수 있다. 기계는 개인용 컴퓨터(PC), 태블릿 PC, 셋톱 박스(STB), 셀룰러 전화, 웹 기기, 네트워크 라우터, 스위치 또는 브리지, 또는 그 기계에 의해 행해지는 행위들의 명시하는 한 세트의 (순차적이거나 그렇지 않은) 명령어를 실행할 수 있는 임의의 기계일 수 있다.　나아가, 오직 하나의 기계가 도시되지만, 용어 "기계"는 기계의 개별적으로 또는 공동으로 명령어의 세트(또는 복수의 세트들)를 수행하여 본 명세서에 서술된 방법론 중 임의의 하나 이상을 수행하는 임의의 컬렉션을 포함하는 것으로도 고려될 수 있다.

컴퓨터 시스템(900)의 예시는 서로 버스(908)를 통해 통신하는 프로세서(902)(예컨대, CPU, GPU 또는 양자 모두), 메인 메모리(904) 및 정적 메모리(906)를 포함한다. 컴퓨터 시스템(900)은 비디오 디스플레이 장치(910)(예컨대, LCD(liquid crystal display) 또는 CRT(cathode ray tube))를 더 포함할 수 있다. 컴퓨터 시스템(900)은 문자 입력 장치(912)(예컨대, 키보드), 사용자 인터페이스(UI) 내비게이션 장치(914)(예컨대, 마우스 또는 터치 감응 디스플레이), 디스크 드라이브 유닛(916), 신호 생성 장치(918)(예컨대, 스피커) 및 네트워크 인터페이스 장치(920)도 포함한다.

디스크 드라이브 유닛(916)은 본 명세서에 서술된 방법론 또는 기능 중 임의의 하나 이상을 구체화하거나 그에 의해 사용되는 하나 이상의 세트의 명령어와 데이터 구조(예컨대, 소프트웨어)(924)를 저장하는 기계-판독가능한 매체(922)를 포함한다. 명령어(924)는 또한 컴퓨터 시스템(900)에 의해 실행되는 동안 메인 메모리(904) 내에, 정적 메모리(906) 내에 또는 프로세서(902) 내에 완전히 또는 적어도 부분적으로 존재할 수 있으며, 메인 메모리(904) 및 프로세서(902)도 기계-판독가능한 매체를 구성한다.

실시예의 예시에서 기계-판독가능한 매체(922)가 단일 매체인 것으로 도시되지만, 용어 "기계-판독가능한 매체"는 단일 매체 또는 복수 매체(예컨대, 집중화 또는 분산된 데이터베이스 또는 하나 이상의 명령어나 데이터 구조를 저장하는 연관된 캐시와 서버)를 포함할 수 있다. 용어 "기계-판독가능한 매체"는 기계에 의한 실행을 위해 명령어를 저장, 인코딩 또는 운반할 수 있고 기계로 하여금 본 기술의 방법론 중 임의의 하나 이상을 수행하도록 야기하거나, 이러한 명령어에 의하여 사용되거나 연관된 데이터 구조를 저장, 인코딩 또는 운반할 수 있는 임의의 실재하는 매체도 포함하는 것으로 고려되어야 한다. 따라서 용어 "기계-판독가능한 매체"는 고체 상태 메모리 및 광학과 자기 매체를 포함하는 것으로 고려되어야 하나, 이에 제한되지 않는다. 기계-판독가능한 매체의 구체적인 예시는 예로서 반도체 메모리 장치, 예컨대 EPROM(Erasable Programmable Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 및 플래시 메모리 장치를 포함하는 비휘발성 메모리; 내부 하드 디스크와 탈착 가능한 디스크와 같은 자기 디스크; 자기-광학 디스크; 및 CD-ROM과 DVD-ROM 디스크를 포함한다.

또한 명령어(924)는 전송 매체를 사용하여 통신 네트워크(926)를 거쳐 전송 또는 수신될 수 있다. 명령어(924)는 네트워크 인터페이스 장치(920) 및 잘 알려진 임의의 한 전송 프로토콜(예컨대, HTTP)을 사용하여 전송될 수 있다. 통신 네트워크의 예시는 LAN(local area network), WAN(wide area network), 인터넷, 모바일 전화 네트워크, POTS(Plain Old Telephone) 네트워크 및 무선 데이터 네트워크(예컨대, WiFi 및 WiMAX 네트워크)를 포함한다. 용어 "전송 매체"는 기계에 의한 실행을 위한 명령어를 저장, 인코딩 또는 운반할 수 있는 임의의 실재하는 매체를 포함하고, 디지털이나 아날로그 통신 신호나 이러한 소프트웨어의 통신을 가능하게 하는 다른 무형의 매체를 포함하는 것으로 고려되어야 한다.

본 발명의 주제가 특정 실시예의 예시와 관련하여 서술되었지만, 본 발명의 범위에서 벗어남 없이 다양한 수정과 변경이 이들 실시예에 가해질 수 있음이 분명할 것이다. 따라서, 명세서와 도면은 제한적 의미가 아닌 예시로 간주될 것이다. 본 명세서의 일부를 이루는 첨부 도면은 제한이 아닌 설명의 방식으로 발명의 주제가 실시될 수 있는 특정 실시예를 도시한다. 설명된 실시예는 이 분야의 통상의 기술자가 본 명세서에 개시된 가르침을 실시할 수 있도록 충분히 자세하게 서술된다. 다른 실시예가 사용되고 도출될 수 있으며, 구조적 및 논리적 대체와 변경이 본 명세서의 범위에서 벗어남 없이 가해질 수 있다. 그러므로, 상세한 설명은 제한의 의미로 고려되어서는 안되며, 다양한 실시예의 범위는 첨부된 청구항과 함께 이러한 청구항이 부여되는 균등한 전체 범위에 의하여만 정의된다.

이하의 열거된 예시들은 본 명세서에서 논의되는 방법, 기계-판독가능한 매체, 및 시스템(예컨대, 장치)의 다양한 예시적인 실시예를 정의한다.

예시 1. 광원들의 세트; 및

광원들의 세트의 서브세트를 활성화하는 것;

제1 광원으로부터의 광이 사용자의 눈에 도달하지 않는다고 결정하는 것; 및

결정에 기반하여, 제1 광원으로부터 방출된 광의 양을 감소시키고 광원들의 세트 중 제2 광원을 활성화하는 것을 포함하는 동작을 수행하도록 구성되고, 광원들의 세트에 동작가능하게 결합된 프로세서를 포함하고,

상기 서브세트는 세트보다 작고,

제1 광원은 광원들의 활성화된 서브세트 중에 있으며,

제2 광원은 광원들의 활성화된 서브세트 중에 있지 않은 시스템.

예시 2. 예시 1에 있어서, 제1 광원으로부터의 광이 사용자의 눈에 도달하지 않는다고 결정하는 것은 제1 광원 근처의 근접 센서에 기반하는 시스템.

예시 3. 예시 1 또는 예시 2에 있어서,

제1 광원으로부터의 광이 사용자의 눈에 도달하지 않는다고 결정하는 것은:

사용자의 눈의 제1 이미지를 사용자의 눈의 제2 이미지와 비교하는 것; 및

비교에 기반하여, 광원들의 활성화된 서브세트 중 제1 광원으로부터의 반사가 제1 이미지에 존재하고 제2 이미지에 부재한다고 결정하는 것을 포함하는 시스템.

예시 4. 예시 1 내지 예시 3 중 어느 하나에 있어서,

제1 광원으로부터 방출된 광의 양을 감소시키는 것은 제1 광원을 비활성화시키는 것을 포함하는 시스템.

예시 5. 예시 1 내지 예시 3 중 어느 하나에 있어서,

제1 광원으로부터 방출된 광의 양을 감소시키는 것은 제1 광원의 강도를 감소시키는 것을 포함하는 시스템.

예시 6. 예시 1 내지 예시 3 또는 5 중 어느 하나에 있어서,

제1 광원으로부터 방출된 광의 양을 감소시키는 것은 제1 광원의 스트로브의 주파수를 감소시키는 것을 포함하는 시스템.

예시 7. 예시 1 내지 예시 6 중 어느 하나에 있어서,

동작은:

감소된 제1 광원으로부터의 광이 사용자의 눈에 도달한다고 결정하는 것; 및

결정에 기반하여, 제2 광원으로부터 방출된 광의 양을 감소시키고 제1 광원을 복원하는 것을 더 포함하는 시스템.

예시 8. 광원들의 세트의 서브세트를 활성화하는 단계;

사용자의 눈의 제1 이미지를 사용자의 눈의 제2 이미지와 비교하는 단계;

비교에 기반하여, 광원들의 활성화된 서브세트 중 제1 광원으로부터의 반사가 제1 이미지에 존재하고 제2 이미지에 부재한다고 결정하는 단계; 및

결정에 기반하여, 제1 광원으로부터 방출된 광의 양을 감소시키고 광원들의 세트 중 제2 광원을 활성화하는 단계를 포함하고,

상기 서브세트는 세트보다 작고,

제2 광원은 광원들의 활성화된 서브세트 중에 있지 않은 컴퓨터 구현 방법.

예시 9. 예시 8에 있어서,

제1 광원으로부터 방출된 광의 양을 감소시키는 것은 제1 광원을 비활성화시키는 것을 포함하는 컴퓨터 구현 방법.

예시 10. 예시 8에 있어서,

제1 광원으로부터 방출된 광의 양을 감소시키는 것은 제1 광원의 강도를 감소시키는 것을 포함하는 컴퓨터 구현 방법.

예시 11. 예시 8 또는 예시 10에 있어서,

제1 광원으로부터 방출된 광의 양을 감소시키는 것은 제1 광원의 스트로브의 주파수를 감소시키는 것을 포함하는 컴퓨터 구현 방법.

예시 12. 예시 8 내지 예시 11 중 어느 하나에 있어서,

제1 광원에 기반하여 제2 광원을 식별하는 단계를 더 포함하는 컴퓨터 구현 방법.

예시 13. 예시 8 내지 예시 12 중 어느 하나에 있어서,

사용자의 눈의 제3 이미지를 사용자의 눈의 제4 이미지와 비교하는 단계;

비교에 기반하여, 감소된 제1 광원으로부터의 반사가 제3 이미지에 부재하고 제4 이미지에 존재한다고 결정하는 단계; 및

결정에 기반하여 기계의 프로세서에 의해, 제2 광원으로부터 방출된 광의 양을 감소시키고 제1 광원을 복원하는 단계를 더 포함하는 컴퓨터 구현 방법.

예시 14. 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서로 하여금 제 8 항 내지 제 13 항 중 어느 하나의 방법을 수행하도록 야기하는 명령어를 저장하는 기계-판독가능한 저장 매체.

예시 15. 제 8 항 내지 제 13 항 중 어느 한 항의 방법을 수행하도록 구성된 하나 이상의 프로세서를 포함하는 시스템.

예시 16. 광원들의 세트의 서브세트를 활성화하는 단계;

제1 광원으로부터의 광이 사용자의 눈에 도달하지 않는다고 결정하는 단계; 및

상기 서브세트는 세트보다 작고,

제1 광원은 광원들의 활성화된 서브세트 중에 있고,

예시 17. 예시 16에 있어서,

제1 광원으로부터의 광이 사용자의 눈에 도달하지 않는다고 결정하는 단계는 제1 광원 근처의 근접 센서에 기반하는 컴퓨터 구현 방법.

예시 18. 예시 16 또는 예시 17에 있어서,

제1 광원으로부터의 광이 사용자의 눈에 도달하지 않는다고 결정하는 단계는:

사용자의 눈의 제1 이미지를 사용자의 눈의 제2 이미지와 비교하는 단계; 및

비교에 기반하여, 광원들의 활성화된 서브세트 중 제1 광원으로부터의 반사가 제1 이미지에 존재하고 제2 이미지에 부재하다고 결정하는 단계를 포함하는 컴퓨터 구현 방법.

예시 19. 예시 16 내지 예시 18 중 어느 하나에 있어서,

예시 20. 예시 16 내지 예시 18 중 어느 하나에 있어서,

예시 21. 예시 16 내지 예시 18 및 예시 20 중 어느 하나에 있어서,

예시 22. 예시 16 내지 예시 21 중 어느 하나에 있어서,

감소된 제1 광원으로부터의 광이 사용자의 눈에 도달한다고 결정하는 단계; 및

결정에 기반하여, 제2 광원으로부터 방출된 광의 양을 감소시키고 제1 광원을 복원하는 단계를 더 포함하는 컴퓨터 구현 방법.

예시 23. 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서로 하여금 제 16 항 내지 제 22 항 중 어느 한 항의 방법을 수행하도록 야기하는 명령어를 저장하는 기계-판독가능한 저장 매체.

예시 24. 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서로 하여금:

카메라들의 세트의 서브세트를 활성화하는 것;

광원으로부터의 광의 반사가 제1 카메라에 도달하지 않는다고 결정하는 것; 및

결정에 기반하여, 제1 카메라의 에너지 소비를 감소시키고 카메라들의 세트 중 제2 카메라를 활성화하는 것을 포함하는 동작을 수행하도록 야기하는 명령어를 저장하고,

상기 서브세트는 세트보다 작고,

제1 카메라는 카메라들의 활성화된 세트 중에 있고,

제2 카메라는 카메라들의 활성화된 세트 중에 있지 않은 기계-판독가능한 저장 매체.

예시 25. 예시 24에 있어서,

제1 카메라의 에너지 소비를 감소시키는 것은 제1 카메라를 비활성화하는 것을 포함하는 기계-판독가능한 저장 매체.

예시 26. 예시 24에 있어서,

제1 카메라의 에너지 소비를 감소시키는 것은 제1 카메라가 캡처한 이미지의 주파수를 감소시키는 것을 포함하는 기계-판독가능한 저장 매체.

예시 27. 예시 24 또는 예시 26에 있어서,

제1 카메라의 에너지 소비를 감소시키는 것은 제1 카메라가 캡처한 이미지의 해상도를 감소시키는 것을 포함하는 기계-판독가능한 저장 매체.

예시 28. 예시 24 내지 예시 27 중 어느 하나에 있어서,

광원으로부터의 광의 반사가 제1 카메라에 도달하지 않는다고 결정하는 것은:

비교에 기반하여, 광원들의 활성화된 서브세트 중 제1 광원으로부터의 반사가 제1 이미지에 존재하고 제2 이미지에 부재한다고 결정하는 것을 포함하는 기계-판독가능한 저장 매체.

예시 29. 예시 24 내지 예시 28 중 어느 하나에 있어서,

광원으로부터의 광의 반사가 제1 카메라에 도달하지 않는다고 결정하는 것은 광원 근처의 근접 센서에 기반하는 기계-판독가능한 저장 매체.

예시 30. 예시 24 내지 예시 29 중 어느 하나에 있어서,

광원으로부터의 광이 제1 카메라에 도달하지 않는다고 결정하는 것은:

제1 카메라가 찍은 제1 이미지를 제1 카메라가 찍은 제2 이미지와 비교하는 것; 및

비교에 기반하여, 사용자의 눈이 제1 이미지에 존재하고 제2 이미지에 부재하다고 결정하는 것을 포함하는 기계-판독가능한 저장 매체.

예시 31. 카메라들의 세트의 서브세트를 활성화하는 단계;

광원으로부터의 광의 반사가 제1 카메라에 도달하지 않는다고 결정하는 단계; 및

결정에 기반하여, 제1 카메라의 에너지 소비를 감소시키고 카메라들의 세트 중 제2 카메라를 활성화하는 단계를 포함하고,

제1 카메라는 카메라들의 활성화된 세트 중에 있고,

제2 카메라는 카메라들의 활성화된 세트 중에 있지 않은 컴퓨터 구현 방법.

예시 32. 예시 31에 있어서,

제1 카메라의 에너지 소비를 감소시키는 것은 제1 카메라를 비활성화하는 것을 포함하는 컴퓨터 구현 방법.

예시 33. 예시 31에 있어서,

제1 카메라의 에너지 소비를 감소시키는 것은 제1 카메라가 찍은 이미지의 주파수를 감소시키는 것을 포함하는 컴퓨터 구현 방법.

예시 34. 예시 31 또는 예시 33에 있어서,

제1 카메라의 에너지 소비를 감소시키는 것은 제1 카메라가 찍은 이미지의 해상도를 감소시키는 것을 포함하는 컴퓨터 구현 방법.

예시 35. 예시 31 내지 예시 34 중 어느 하나에 있어서,

광원으로부터의 광의 반사가 제1 카메라에 도달하지 않는다고 결정하는 단계는:

비교에 기반하여, 광원들의 활성화된 세트 중 제1 광원으로부터의 반사가 제1 이미지에 존재하고 제2 이미지에 부재한다고 결정하는 단계를 포함하는 컴퓨터 구현 방법.

예시 36. 예시 31 내지 예시 35 중 어느 하나에 있어서,

광원으로부터의 광의 반사가 제1 카메라에 도달하지 않는다고 결정하는 단계는 광원 근처의 근접 센서에 기반하는 컴퓨터 구현 방법.

예시 37. 예시 31 내지 예시 36 중 어느 하나에 있어서,

광원으로부터의 광이 제1 카메라에 도달하지 않는다고 결정하는 단계는:

제1 카메라가 찍은 제1 이미지를 제1 카메라가 찍은 제2 이미지와 비교하는 단계; 및

비교에 기반하여, 사용자의 눈이 제1 이미지에 존재하고 제2 이미지에 부재한다고 결정하는 단계를 포함하는 컴퓨터 구현 방법.

예시 38. 예시 31 내지 예시 37 중 어느 하나의 컴퓨터 구현 방법을 수행하도록 구성된 하나 이상의 프로세서를 포함하는 시스템.

Claims

광원들의 세트;
카메라들의 세트; 및
광원들의 세트의 서브세트를 활성화하는 것;
제1 광원으로부터 방출된 광이 사용자의 눈에 도달하지 않는다고 결정하는 것;
결정에 기반하여, 제1 광원으로부터 방출된 광의 양을 감소시키고 광원들의 세트 중 제2 광원을 활성화하는 것;
카메라들 중 적어도 하나에 의해 캡처된 이미지에서 제2 스트로브 주파수를 감지하는 것; 및
제2 스트로브 주파수를 감지하는 것에 응답하여, 제1 스트로브 주파수에서 제1 광원을 스트로브하는 것을 포함하는 동작을 수행하도록 구성되고, 광원들의 세트에 동작가능하게 결합된 프로세서를 포함하고,
상기 서브세트는 세트보다 작고, 광원들의 활성화된 서브세트는 제1 스트로브 주파수에서 스트로브되고,
제1 광원은 광원들의 활성화된 서브세트 중에 있으며,
제2 광원은 광원들의 활성화된 서브세트 중에 있지 않고,
제1 광원으로부터 방출된 광의 양을 감소시키는 것은 제1 스트로브 주파수보다 작은 제2 스트로브 주파수에서 제1 광원을 스트로브하는 것을 포함하는 시스템.
제 1 항에 있어서,
제1 광원으로부터 방출된 광이 사용자의 눈에 도달하지 않는다고 결정하는 것은 제1 광원 근처의 근접 센서에 기반하는 시스템.
제 1 항에 있어서,
제1 광원으로부터 방출된 광이 사용자의 눈에 도달하지 않는다고 결정하는 것은:
사용자의 눈의 제1 이미지를 사용자의 눈의 제2 이미지와 비교하는 것; 및
비교에 기반하여, 광원들의 활성화된 서브세트 중 제1 광원으로부터의 반사가 제1 이미지에 존재하고 제2 이미지에 부재한다고 결정하는 것을 포함하는 시스템.
제 1 항에 있어서,
제1 광원으로부터 방출된 광의 양을 감소시키는 것은 제1 광원을 비활성화시키는 것을 더 포함하는 시스템.
제 1 항에 있어서,
제1 광원으로부터 방출된 광의 양을 감소시키는 것은 제1 광원의 강도를 감소시키는 것을 더 포함하는 시스템.
제 1 항에 있어서,
동작은:
제2 스트로브 주파수를 감지하는 것에 응답하여, 제2 광원으로부터 방출된 광의 양을 감소시키는 것을 더 포함하는 시스템.
광원들의 세트의 서브세트를 활성화하는 단계;
사용자의 눈의 제1 이미지를 사용자의 눈의 제2 이미지와 비교하는 단계;
비교에 기반하여, 광원들의 활성화된 서브세트 중 제1 광원으로부터의 반사가 제1 이미지에 존재하고 제2 이미지에 부재한다고 결정하는 단계; 및
결정에 기반하여, 기계의 프로세서에 의해, 제1 광원으로부터 방출된 광의 양을 감소시키고, 광원들의 세트 중 제2 광원을 활성화하는 단계;
카메라들 중 적어도 하나에 의해 캡처된 이미지에서 제2 스트로브 주파수를 감지하는 단계; 및
제2 스트로브 주파수를 감지하는 것에 응답하여, 제1 스트로브 주파수에서 제1 광원을 스트로브하는 단계를 포함하고,
상기 서브세트는 세트보다 작고, 광원들의 활성화된 서브세트는 제1 스트로브 주파수에서 스트로브되고,
제2 광원은 광원들의 활성화된 서브세트 중에 있지 않고, 제1 광원으로부터 방출된 광의 양을 감소시키는 것은 제1 스트로브 주파수보다 작은 제2 스트로브 주파수에서 제1 광원을 스트로브하는 것을 포함하는 방법.
제 7 항에 있어서,
제1 광원으로부터 방출된 광의 양을 감소시키는 것은 제1 광원을 비활성화시키는 것을 더 포함하는 방법.
제 7 항에 있어서,
제1 광원으로부터 방출된 광의 양을 감소시키는 것은 제1 광원의 강도를 감소시키는 것을 더 포함하는 방법.
제 7 항에 있어서,
제1 광원에 기반하여 제2 광원을 식별하는 단계를 더 포함하는 방법.
제 7 항에 있어서,
제2 스트로브 주파수를 감지하는 것에 응답하여, 제2 광원으로부터 방출된 광의 양을 감소시키고, 제1 광원을 복원하는 단계를 더 포함하는 방법.
하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서로 하여금:
광원들의 세트의 서브세트를 활성화하는 것;
광원들의 활성화된 서브세트 중 제1 광원으로부터의 광의 반사가 카메라에 도달하지 않는다고 결정하는 것;
결정에 기반하여, 제1 광원으로부터 방출된 광의 양을 감소시키고, 광원들의 세트 중 제2 광원을 활성화하는 것;
카메라에 의해 캡처된 이미지에서 제2 스트로브 주파수를 감지하는 것; 및
제2 스트로브 주파수를 감지하는 것에 응답하여, 제1 스트로브 주파수에서 제1 광원을 스트로브하는 것을 포함하는 동작을 수행하도록 야기하는 명령어를 저장하고,
상기 서브세트는 세트보다 작고, 광원들의 활성화된 서브세트는 제1 스트로브 주파수에서 스트로브되고,
제2 광원은 광원들의 활성화된 서브세트 중에 있지 않고, 제1 광원으로부터 방출된 광의 양을 감소시키는 것은 제1 스트로브 주파수보다 작은 제2 스트로브 주파수에서 제1 광원을 스트로브하는 것을 포함하는 비-일시적 기계-판독가능한 저장 매체.
제 12 항에 있어서,
제1 광원으로부터 방출된 광의 양을 감소시키는 것은 제1 광원을 비활성화시키는 것을 포함하는 비-일시적 기계-판독가능한 저장 매체.
제 12 항에 있어서,
제1 광원으로부터의 광의 반사가 카메라에 도달하지 않는다고 결정하는 것은:
사용자의 눈의 제1 이미지를 사용자의 눈의 제2 이미지와 비교하는 것; 및
비교에 기반하여, 광원들의 활성화된 서브세트 중 제1 광원으로부터의 반사가 제1 이미지에 존재하고, 제2 이미지에 부재한다고 결정하는 것을 포함하는 비-일시적 기계-판독가능한 저장 매체.
제 12 항에 있어서,
광원으로부터의 광의 반사가 제1 카메라에 도달하지 않는다고 결정하는 것은 광원 근처의 근접 센서에 기반하는 비-일시적 기계-판독가능한 저장 매체.
제 12 항에 있어서,
제1 광원으로부터의 광이 카메라에 도달하지 않는다고 결정하는 것은:
카메라가 찍은 제1 이미지를 카메라가 찍은 제2 이미지와 비교하는 것; 및
비교에 기반하여, 사용자의 눈이 제1 이미지에 존재하고, 제2 이미지에 부재한다고 결정하는 것을 포함하는 비-일시적 기계-판독가능한 저장 매체.
제 1 항에 있어서,
동작은:
광원들 각각에 대한 우선순위를 계산하는 것; 및
광원들의 활성화된 서브세트 중에 있지 않은 광원들 중 가장 높은 우선순위를 갖는 광원을 제2 광원으로 선택하는 것을 더 포함하는 방법.
제 17 항에 있어서,
동작은:
광원들의 세트를 하우징하는 장치가 회전되었다고 감지하는 것에 응답하여, 광원들 각각에 대한 우선순위를 업데이트하는 것을 더 포함하는 방법.