KR20150107781A

KR20150107781A - 증강 현실 디바이스를 제어하기 위한 장치 및 방법

Info

Publication number: KR20150107781A
Application number: KR1020157021222A
Authority: KR
Inventors: 케시 리우; 프레데릭 디. 김; 마틴 에이치. 렌쉴러
Original assignee: 퀄컴 인코포레이티드
Priority date: 2013-01-13
Filing date: 2014-01-10
Publication date: 2015-09-23
Also published as: WO2014110437A1; EP2943853B1; JP6254193B2; ES2899753T3; CN109901722A; CN104937519A; US11366515B2; US20190278367A1; EP2943853A1; JP2016503217A; KR102159313B1; CN109901722B; US20140198129A1; CN104937519B; US10359841B2

Abstract

장치, 방법 및 컴퓨터 프로그램 물건이 제공된다. 장치는 실세계 장면의 제 1 지역 상에서 시선(eye gaze)을 검출하고, 제 1 지역을 둘러싸는 경계를 설정하고 ―이 경계는 실세계 장면의 적어도 제 2 지역을 배제함―, 경계 내부의 제 1 지역 상에서 오브젝트 인식 절차를 수행하고, 그리고 적어도 제 2 지역 상에서 오브젝트 인식 절차를 수행하는 것을 억제한다.

Description

증강 현실 디바이스를 제어하기 위한 장치 및 방법{APPARATUS AND METHOD FOR CONTROLLING AN AUGMENTED REALITY DEVICE}

[0001]본 개시물은 전반적으로 증강 현실 디바이스를 제어하기 위한 장치 및 방법에 관한 것이다.

[0002]모바일 디바이스 디스플레이들 상에서 증강 현실을 위한 사용자 인터페이스들은 충분히 직관적이지는 않다. 모바일 디바이스 상의 증강 현실과 상호작용하는 종래의 방법들은, 사용자가 콘텐츠를 증강시키기 위해서는 타겟에 밀접하게 디바이스를 포인팅하고 추가 제어를 위해서는 모바일 디바이스의 디스플레이를 터치할 필요가 있다. 이는, 디스플레이를 보는 것과 실세계 장면들에서 실제 오브젝트들을 보는 것 간에 일정한 콘텐츠 전환을 필요로 한다. 따라서, 증강 현실과 인터페이싱하는 종래의 방법들은 충분히 직관적이지는 않다. 이와 같이, 효율뿐만 아니라 사용자 경험과 제어를 향상시키기 위해서는 증강 현실과 상호작용하는 개선된 방법들이 요구된다.

[0003]콘텐츠를 디스플레이하도록 구성된 헤드 장착식 광학 디바이스들과 같은 향상된 모바일 디바이스플레이들의 경우, 시야가 상당히 확대된다. 따라서, 관심 오브젝트들을 포인팅하고 증강시키기 위한 효율적인 프로세싱 기술들 및 여러 다른 종류로 이루어진 사용자 입력들은 증강 현실 시스템을 위한 가치있는 특징들이다.

[0004]본 개시물의 양상에서, 장치, 방법 및 컴퓨터 프로그램 물건이 제공된다. 장치는 실세계 장면의 제 1 지역 상에서 시선(eye gaze)를 검출하고, 제 1 지역을 둘러싸는 경계를 설정하고 ―경계는 실세계 장면의 적어도 제 2 지역을 배제함―, 경계 내부의 제 1 지역 상에서 오브젝트 인식 절차를 수행하고, 그리고 적어도 제 2 지역 상에서 오브젝트 인식 절차를 수행하는 것을 억제한다.

[0005]도 1은 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 도시하는 다이어그램이다.
[0006]도 2는 실세계 장면을 도시한다.
[0007]도 3은 사용자가 광학 디바이스의 렌즈들을 통해 관찰하는 실세계 장면을 도시한다.
[0008]도 4는 사용자가 광학 디바이스의 렌즈들을 통해 관찰하는 실세계 장면을 도시한다.
[0009]도 5는 사용자가 광학 디바이스의 렌즈들을 통해 관찰하는 실세계 장면을 도시한다.
[0010]도 6은 사용자가 광학 디바이스의 렌즈들을 통해 관찰하는 실세계 장면을 도시한다.
[0011]도 7은 사용자가 광학 디바이스의 렌즈들을 통해 관찰하는 실세계 장면을 도시한다.
[0012]도 8은 사용자가 광학 디바이스의 렌즈들을 통해 관찰하는 실세계 장면을 도시한다.
[0013]도 9는 사용자가 광학 디바이스의 렌즈들을 통해 관찰하는 실세계 장면을 도시한다.
[0014]도 10은 사용자가 광학 디바이스의 렌즈들을 통해 관찰하는 실세계 장면을 도시한다.
[0015]도 11은 콘텐츠를 디스플레이하도록 구성된 광학 디바이스에 대한 방법의 흐름도이다.
[0016]도 12는 콘텐츠를 디스플레이하도록 구성된 광학 디바이스에 대한 방법의 흐름도이다.
[0017]도 13은 콘텐츠를 디스플레이하도록 구성된 광학 디바이스에 대한 방법의 흐름도이다.
[0018]도 14는 콘텐츠를 디스플레이하도록 구성된 광학 디바이스에 대한 방법의 흐름도이다.
[0019]도 15는 콘텐츠를 디스플레이하도록 구성된 광학 디바이스에 대한 방법의 흐름도이다.
[0020]도 16은 콘텐츠를 디스플레이하도록 구성된 광학 디바이스에 대한 방법의 흐름도이다.
[0021]도 17은 예시적인 장치 내의 상이한 모듈들/수단들/컴포넌트들의 동작을 도시하는 개념적인 흐름도이다.
[0022]도 18은 프로세싱 시스템을 채용하는 장치를 위한 하드웨어 구현의 예를 도시하는 다이어그램이다.

[0023]첨부 도면들과 관련하여 아래에 제시되는 상세한 설명은 다양한 구성들의 설명으로 의도되며 본 명세서에서 설명되는 개념들이 실시될 수 있는 유일한 구성들만을 나타내는 것으로 의도되는 것은 아니다. 상세한 설명은 다양한 개념들의 완전한 이해를 제공할 목적으로 특정 세부사항들을 포함한다. 그러나 이러한 개념들은 이러한 특정 세부사항들 없이 실시될 수도 있음이 해당 기술분야에서 통상의 지식을 가진 자들에게 명백할 것이다. 어떤 경우들에는, 이러한 개념들을 불명료하게 하는 것을 피하기 위해, 잘 알려진 구조들 및 컴포넌트들은 블록도 형태로 도시된다.

[0024]증강 현실 디바이스를 제어하기 위한 여러 양상들이 다양한 장치 및 방법들에 관하여 제시될 것이다. 이러한 장치 및 방법들은 다음의 상세한 설명에서 설명될 것이며 첨부 도면들에서 (통칭하여 "엘리먼트들"로 지칭되는) 다양한 블록들, 모듈들, 컴포넌트들, 회로들, 단계들, 프로세스들, 알고리즘들 등으로 예시될 것이다. 이러한 엘리먼트들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들의 임의의 결합을 사용하여 구현될 수 있다. 이러한 엘리먼트들이 하드웨어로 구현되는지 아니면 소프트웨어로 구현되는지는 전체 시스템에 부과된 설계 제약들 및 특정 애플리케이션에 좌우된다.

[0025]예로서, 엘리먼트나 엘리먼트의 임의의 부분 또는 엘리먼트들의 임의의 결합은 하나 또는 그보다 많은 프로세서들을 포함하는 "프로세싱 시스템"으로 구현될 수 있다. 프로세서들의 예들은 마이크로프로세서들, 마이크로컨트롤러들, 디지털 신호 프로세서(DSP: digital signal processor)들, 필드 프로그래밍 가능한 게이트 어레이(FPGA: field programmable gate array)들, 프로그래밍 가능한 로직 디바이스(PLD: programmable logic device)들, 상태 머신들, 게이티드(gated) 로직, 이산 하드웨어 회로들, 및 본 개시 전반에 걸쳐 설명되는 다양한 기능을 수행하도록 구성된 다른 적당한 하드웨어를 포함한다. 프로세싱 시스템의 하나 또는 그보다 많은 프로세서들은 소프트웨어를 실행할 수 있다. 소프트웨어는, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어 또는 다른 식으로 지칭되든지 간에, 명령들, 명령 세트들, 코드, 코드 세그먼트들, 프로그램 코드, 프로그램들, 서브프로그램들, 소프트웨어 모듈들, 애플리케이션들, 소프트웨어 애플리케이션들, 소프트웨어 패키지들, 루틴들, 서브루틴들, 객체들, 실행 파일(executable)들, 실행 스레드들, 프로시저들, 함수들 등을 의미하는 것으로 광범위하게 해석될 것이다.

[0026]따라서 하나 또는 그보다 많은 예시적인 실시예들에서, 설명되는 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 결합으로 구현될 수 있다. 소프트웨어로 구현된다면, 이 기능들은 비-일시적 컴퓨터 판독 가능 매체에 하나 또는 그보다 많은 명령들 또는 코드로서 저장되거나 인코딩될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체를 포함한다. 저장 매체는 컴퓨터에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 한정이 아닌 예로서, 이러한 컴퓨터 판독 가능 매체는 RAM, ROM, EEPROM, CD-ROM이나 다른 광 디스크 저장소, 자기 디스크 저장소 또는 다른 자기 저장 디바이스들, 또는 명령들이나 데이터 구조들의 형태로 원하는 프로그램 코드를 전달 또는 저장하는데 사용될 수 있으며 컴퓨터에 의해 액세스 가능한 임의의 다른 매체를 포함할 수 있다. 본 명세서에서 사용되는 것과 같은 디스크(disk 및 disc)는 콤팩트 디스크(CD: compact disc), 레이저 디스크(laser disc), 광 디스크(optical disc), 디지털 다기능 디스크(DVD: digital versatile disc), 플로피 디스크(floppy disk) 및 블루-레이 디스크(Blu-ray disc)를 포함하며, 여기서 디스크(disk)들은 보통 데이터를 자기적으로 재생하는 한편, 디스크(disc)들은 데이터를 레이저들에 의해 광학적으로 재생한다. 상기의 결합들 또한 컴퓨터 판독 가능 매체의 범위 내에 포함되어야 한다.

[0027]도 1은 콘텐츠를 디스플레이하도록 구성된 광학 디바이스(100)를 도시하는 다이어그램이다. 도 1에 도시된 바와 같이, 광학 디바이스(100)는, 프레임(102), 템플 부분들(104 및 106), 및 프레임(102) 상에 장착된 렌즈들(108 및 110)을 포함한다. 광학 디바이스(100)는 후방을 향하는 카메라들(112 및 118), 전방을 향하는 카메라들(114 및 120), 센서들(116 및 122)을 더 포함한다. 일 양상에서, 센서들(116 및 122) 각각은 손 제스처들을 검출하기 위한 하나 또는 그보다 많은 근접형 센서들 및 음성 명령들을 검출하기 위한 하나 또는 그보다 많은 마이크로폰들을 포함할 수 있다.

[0028]일 양상에서, 광학 디바이스(100)는 사용자가 직관적인 방식으로 매일의 환경들과 상호작용할 수 있게 하는 증강 현실(AR) 디스플레이("AR 안경" 또는 "헤드 장착식 디스플레이"로도 지칭됨)로서 구성될 수 있다. 일 구성에서, 렌즈(108) 및/또는 렌즈(110)는, 사용자가 광학 디바이스(100)를 착용할 경우 실세계 장면들을 명확하게 관찰할 수 있게 하기 위해서 유리 또는 플라스틱과 같은 투명한 또는 투시형 재료로 형성될 수 있다. 광학 디바이스(100)는 본 기술에 알려진 방법들을 이용하여 렌즈(108) 및/또는 렌즈(110)를 통해 디지털 AR 이미지너리와 같은 콘텐츠를 투영시키도록 구성될 수 있다. 그에 따라, 사용자는 광학 디바이스(100)를 착용한 채로 실세계 장면과 투영된 디지털 콘텐츠를 동시에 관찰할 수 있다.

[0029]일 양상에서, 도 1과 관련하여, 전방을 향하는 카메라(114) 및/또는 전방을 향하는 카메라(120)는 사용자의 시계(field of view)를 캡쳐할 수 있다. 후방을 향하는 카메라(112) 및/또는 후방을 향하는 카메라(118)는, 사용자가 렌즈들(108 및 110)을 통해 실세계 장면을 관찰함에 따라 사용자의 시선을 검출할 수 있다. 렌즈들(108 및 110)을 통해 사용자에 의해 관찰되는 실세계 장면의 예가 도 2에 도시된다. 도 2에 도시된 바와 같이, 실세계 장면(200)은 전경에 자동차(202)를 포함하고 배경으로 마켓(204), 버스 표지판(206), 및 빌딩(208)을 포함한다.

[0030]도 3은 사용자가 광학 디바이스(100)의 렌즈들(108 및 110)을 통해 관찰하는 실세계 장면(300)을 도시한다. 도 3에서, 사용자는 자동차(202)를 응시할 수 있고 광학 디바이스(100)는 자동차(202)가 위치되는 장소인 실세계 장면(300)의 지역 상에서 후방을 향하는 카메라(112) 및/또는 후방을 향하는 카메라(118)를 이용하여 사용자의 시선을 검출할 수 있다. 이후, 광학 디바이스(100)는 지역을 둘러싸는 경계(310)를 설정할 수 있다. 광학 디바이스(100)는 경계(310) 내부의 지역 상에서 오브젝트 인식 절차를 수행할 수 있고 경계(310) 외부의 지역들 상에서 오브젝트 인식 절차를 수행하는 것을 억제할 수 있다.

[0031]도 4는 사용자가 광학 디바이스(100)의 렌즈들(108 및 110)을 통해 관찰하는 실세계 장면(400)을 도시한다. 도 4에서, 사용자는, 자동차(202)가 도로(422)를 따라서 이동함에 따라 그 자동차(202)를 응시할 수 있고, 광학 디바이스(100)는, 시선이 이동하는 자동차(202)를 따라가고 있는 것으로 사용자의 시선을 검출할 수 있다. 도 4에 도시된 바와 같이, 광학 디바이스(100)는 사용자의 검출된 시선에 대응하는 실세계 장면(400)의 지역 상에 최초로 경계(409)를 설정할 수 있다. 이후, 광학 디바이스(100)는 사용자의 시선을 추적하여, 시선이 자동차(202)를 따라감에 따라 검출되는 사용자의 시선에 대응하는 실세계 장면(400)의 지역 상에 동적으로 경계(410)를 설정할 수 있다. 이후, 광학 디바이스(100)는 경계(410) 내부의 지역 상에서 오브젝트 인식 절차를 수행할 수 있고 경계(410) 외부의 지역들 상에서 오브젝트 인식 절차를 수행하는 것을 억제할 수 있다.

[0032]도 5는 사용자가 광학 디바이스(100)의 렌즈들(108 및 110)을 통해 관찰하는 실세계 장면(500)을 도시한다. 도 5에서, 사용자가 자동차(202)를 응시할 수 있고 광학 디바이스(100)는 자동차(202)가 위치되는 장소인 실세계 장면(500)의 지역 상에서 후방을 향하는 카메라(112) 및/또는 후방을 향하는 카메라(118)를 이용하여 사용자의 시선을 검출할 수 있다. 이후, 광학 디바이스(100)는 지역을 둘러싸는 경계(510)를 설정할 수 있다. 광학 디바이스(100)는 경계(510) 내부의 지역 상에서 오브젝트 인식 절차를 수행할 수 있고 경계(510) 외부의 지역들 상에서 오브젝트 인식 절차를 수행하는 것을 억제할 수 있다. 일 양상에서, 광학 디바이스(100)는, 오브젝트 인식 절차가 오브젝트의 결정에 실패한 경우 경계(510)의 사이즈를 동적으로 조정할 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 오브젝트 인식 절차가 경계(510) 내부에서 자동차(202)를 식별할 수 없는 경우, 광학 디바이스(100)는 경계(510)의 사이즈를 경계(520)의 사이즈로 증가시킬 수 있다. 일 구성에서, 경계의 사이즈는 미리결정된 양만큼 증가될 수 있다. 예를 들어, 모바일 디바이스는 원래 경계의 사이즈를 2배로 함으로써 경계의 사이즈를 증가시킬 수 있다.

[0033]다른 양상에서, 도 6에 도시된 바와 같이, 광학 디바이스(100)는 경계의 사이즈를 감소시킬 수 있다. 예를 들어, 광학 디바이스(100)의 배터리 전력 레벨이 낮고 광학 디바이스(100)가 절전 상태에서 동작하고 있다면, 광학 디바이스(100)는 실세계 장면(600)에서 경계(630)를 경계(640)의 사이즈로 감소시킬 수 있다. 일 구성에서, 경계의 사이즈는 미리결정된 양만큼 감소될 수 있다. 예를 들어, 광학 디바이스(100)는 경계의 사이즈를 원래 경계의 사이즈의 2분의 1로 감소시킬 수 있다. 이후, 광학 디바이스(100)가 경계(640) 내부의 지역 상에서 오브젝트 인식 절차를 수행할 수 있고 경계(640) 외부의 지역들 상에서 오브젝트 인식 절차를 수행하는 것을 억제할 수 있다. 따라서, 경계의 사이즈를 감소시키고 감소된 경계 내부의 지역 상에서 오브젝트 인식 절차를 수행함으로써, 광학 디바이스(100)는 오브젝트를 인식하기 위해서 필요로 되는 프로세싱의 양을 감소시킬 수 있고, 따라서, 배터리 전력을 절약할 수 있다.

[0034]도 7은 사용자가 광학 디바이스(100)의 렌즈들(108 및 110)을 통해 관찰하는 실세계 장면(700)을 도시한다. 도 7에서, 사용자는 버스 표지판(206)을 응시할 수 있고 광학 디바이스(100)는 버스 표지판(206)이 위치되는 장소인 실세계 장면(700)의 지역 상에서 후방을 향하는 카메라(112) 및/또는 후방을 향하는 카메라(118)를 이용하여 사용자의 시선을 검출할 수 있다. 광학 디바이스(100)는 지역을 둘러싸는 경계(710)를 설정할 수 있다. 이후, 광학 디바이스(100)는 경계(710) 내부의 지역 상에서 오브젝트 인식 절차를 수행할 수 있고 경계(710) 외부의 지역들 상에서 오브젝트 인식 절차를 수행하는 것을 억제할 수 있다. 일 양상에서, 광학 디바이스(100)는, 도 8의 실세계 장면(800)에 도시된 바와 같이 경계(710) 내부의 실세계 장면(700)의 일 부분의 확대("주밍"으로도 지칭됨)를 조정할 수 있다. 일 양상에서, 광학 디바이스(100)는 센서(116) 및/또는 센서(122)를 통해 수신된 손 제스처 및/또는 음성 커맨드에 응답하여 확대를 수행할 수 있다. 일 구성에서, 손 제스처는 "핀치 줌(pinch zoom)" 제스처일 수 있다. 다른 양상에서, 광학 디바이스(100)는, 사용자의 시선의 지속기간이 시간 임계치를 초과하는 경우 확대를 수행할 수 있다. 다른 양상에서, 광학 디바이스(100)는, 더 양호한 오브젝트 시야를 제공하기 위해서 시간 임계치를 초과하기 전에 경계(710) 내부의 오브젝트가 인식되는 때에 확대를 수행할 수 있다. 일 구성에서, 광학 디바이스(100)에 의해서 오브젝트 가까이에 디스플레이된 애플리케이션 아이콘들(도 8에 도시되지 않음)이 또한 확대될 수 있다.

[0035]도 9는 사용자가 광학 디바이스(100)의 렌즈들(108 및 110)을 통해 관찰하는 실세계 장면(900)을 도시한다. 도 9에서, 사용자가 자동차(202)를 응시할 수 있고 광학 디바이스(100)는 자동차(202)가 위치되는 장소인 실세계 장면(900)의 지역 상에서 후방을 향하는 카메라(112) 및/또는 후방을 향하는 카메라(118)를 이용하여 사용자의 시선을 검출할 수 있다. 이후, 광학 디바이스(100)는 지역을 둘러싸는 경계(910)를 설정할 수 있다. 광학 디바이스(100)는, 전방을 향하는 카메라(114) 및/또는 전방을 향하는 카메라(120)로 실세계 장면(900)의 포토를 캡처하기에 앞서 경계(910) 내부의 지역을 편집하기 위해서 사용될 수 있는 하나 또는 그보다 많은 포토 편집 툴들을 포함하는 포토 편집 인터페이스(912)를 디스플레이할 수 있다. 예를 들어, 포토 편집 툴들은, 아트 필터 애플리케이션 툴(914) 및/또는 다른 포토 편집 툴들, 이를 테면, 클립 아트 삽입 툴, 컬러 채도 툴, 적갈색 톤 변환 툴, 및 흑백 변환 툴을 포함할 수 있다. 일 양상에서, 포토 편집 툴들은, 센서(116) 및/또는 센서(122)를 통해 수신된 음성 커맨드 및/또는 손 제스처에 응답하여 적용되거나 또는 디스에이블될 수 있다. 광학 디바이스(100)는 앞서 논의된 포토 편집 툴들을 이용하여 편집되는 바와 같이 실세계 장면(900)의 포토를 캡쳐하고 저장할 수 있다.

[0036]도 10은 사용자가 광학 디바이스(100)의 렌즈들(108 및 110)을 통해 관찰하는 실세계 장면(1000)을 도시한다. 도 10에서, 사용자는 자동차(202)를 응시할 수 있고 광학 디바이스(100)는 자동차(202)가 위치되는 장소인 실세계 장면(1000)의 지역 상에서 후방을 향하는 카메라(112) 및/또는 후방을 향하는 카메라(118)를 이용하여 사용자의 시선을 검출할 수 있다. 이후, 광학 디바이스(100)는 지역을 둘러싸는 경계(1010)를 설정할 수 있다. 이후, 광학 디바이스(100)는 경계(1010) 내부의 지역 상에서 오브젝트 인식 절차를 수행할 수 있고 경계(1010) 외부의 지역들 상에서 오브젝트 인식 절차를 수행하는 것을 억제할 수 있다. 이후, 광학 디바이스(100)가 자동차(202)를 인식할 수 있고 도 10에 도시된 바와 같이 자동차(202)를 강조할 수 있다. 도 10의 구성에서, 광학 디바이스(100)는 센서(116) 및/또는 센서(122)를 통해 수신된 음성 커맨드 및/또는 손 제스처에 응답하여 광학 디바이스(100)의 메모리에, 인식된 자동차(202)를 저장할 수 있다. 사용자가 나중에 자동차(1002)를 응시할 수 있고 광학 디바이스(100)는 자동차(1002)가 위치되는 장소인 실세계 장면(1000)의 지역 상에서 후방을 향하는 카메라(112) 및/또는 후방을 향하는 카메라(118)를 이용하여 사용자의 시선을 검출할 수 있다. 광학 디바이스(100)는 지역을 둘러싸는 경계(1012)를 설정할 수 있다. 이후, 광학 디바이스(100)는 경계(1012) 내부의 지역 상에서 오브젝트 인식 절차를 수행할 수 있고 경계(1012) 외부의 지역들 상에서 오브젝트 인식 절차를 수행하는 것을 억제할 수 있다. 이후, 광학 디바이스(100)는 자동차(1002)를 인식할 수 있다. 광학 디바이스(100)는 센서(116) 및/또는 센서(122)를 통해 수신된 음성 커맨드 및/또는 손 제스처에 응답하여 광학 디바이스(100)의 메모리에, 인식된 자동차(1002)를 저장할 수 있다. 이후, 광학 디바이스(100)는, 사전에 인식되고 저장된 자동차(202)를 자동차(1002)와 비교할 수 있다. 광학 디바이스(100)는, 자동차(202)가 자동차(1002)와 동일한지 또는 상이한지 여부를 나타낼 수 있다.

[0037]도 11은 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 위한 방법의 흐름도(1100)이다. 단계(1102)에서, 광학 디바이스(100)는 실세계 장면의 제 1 지역 상에서 시선을 검출한다. 일 양상에서, 도 1을 참고하면, 후방을 향하는 카메라(112) 및/또는 후방을 향하는 카메라(118)는, 사용자가 광학 디바이스(100)의 렌즈들(108 및 110)을 통해 실세계 장면을 관찰함에 따라 사용자의 시선을 검출할 수 있다. 실세계 장면은 광학 디바이스(100)의 사용자의 시계 내에 있는 물리적인 환경을 포함할 수 있다. 렌즈들(108 및 110)을 통해 사용자에 의해 관찰된 바와 같은 실세계 장면의 예가 도 2에 도시된다. 도 2에 도시된 바와 같이, 실세계 장면(200)은 전경에 자동차(202)를 포함하고 배경에는 마켓(204), 버스 표지판(206), 및 빌딩(208)을 포함한다. 다른 양상들에서, 실세계 장면은, 가정, 사무실, 또는 도서관의 내부와 같은 실내 실세계 장면일 수 있다. 예를 들어, 사용자가 자동차(202)를 응시할 수 있고 광학 디바이스(100)는 자동차(202)가 위치되는 장소인 실세계 장면(200)의 지역 상에서 후방을 향하는 카메라(112) 및/또는 후방을 향하는 카메라(118)를 이용하여 사용자의 시선을 검출할 수 있다.

[0038]단계(1104)에서, 광학 디바이스(100)는 제 1 지역을 둘러싸는 경계를 설정하고, 이 경계는 실세계 장면의 적어도 제 2 지역을 배제한다. 예를 들어, 도 3을 참고하면, 광학 디바이스(100)는 자동차(202)가 위치되는 장소인 실세계 장면(300)의 지역을 둘러싸는 경계(310)를 설정할 수 있다. 일 양상에서, 경계는, 사용자가 광학 디바이스(100)를 이용하여 실세계 장면을 관찰함에 따라 경계가 실세계 장면(300)의 일 부분을 덮어 씌우도록 광학 디바이스(100)의 렌즈(108) 및/또는 렌즈(110)에 디스플레이될 수 있다. 광학 디바이스(100)에 의해 설정된 경계가 직사각 형상을 갖는 것으로 본원에서 설명되었지만, 이 경계는 원 형상과 같이 다수의 상이한 형상들 중 어느 것을 가질 수 있다는 것을 이해해야 한다.

[0039]단계(1106)에서, 광학 디바이스(100)는 경계 내부의 제 1 지역 상에서 오브젝트 인식 절차를 수행한다. 예를 들어, 도 3을 참고하면, 광학 디바이스(100)는 경계(310) 내부의 지역 상에서 오브젝트 인식 절차를 수행할 수 있다. 일 구성에서, 광학 디바이스(100)는, 전방을 향하는 카메라(114) 및/또는 전방을 향하는 카메라(120)를 이용하여 실세계 장면(300)의 이미지를 캡처함으로써 그리고 경계(310) 내부의 지역에 대응하는 이미지의 지역 상에 오브젝트 인식 알고리즘을 적용함으로써 오브젝트 인식 절차를 수행할 수 있다. 광학 디바이스(100)는, 오브젝트를 인식하기 위해서, 오브젝트 인식 알고리즘에 의해 생성된 데이터를 오브젝트 데이터베이스와 비교하여 데이터가 오브젝트 데이터베이스 내의 오브젝트들 중 임의의 오브젝트와 일치하는지 여부를 결정할 수 있다. 일 양상에서, 데이터베이스가 광학 디바이스(100)에 저장될 수 있다. 예를 들어, 도 3을 참고하면, 광학 디바이스(100)는 오브젝트 인식 알고리즘에 의해 생성된 데이터가 오브젝트 데이터베이스에서 자동차로 식별된 오브젝트와 일치한다고 결정할 수 있다.

[0040]단계(1108)에서, 광학 디바이스(100)는 적어도 제 2 지역 상에서 오브젝트 인식 절차를 수행하는 것을 억제한다. 예를 들어, 도 3을 참고하면, 광학 디바이스(100)는 경계(310) 외부의 실세계 장면(300)의 지역들 상에서 오브젝트 인식 알고리즘을 수행하는 것을 억제할 수 있다.

[0041]도 12는 콘텐츠를 디스플레이하도록 구성된 광학 디바이스에 대한 방법의 흐름도(1200)이다. 단계(1202)에서, 광학 디바이스(100)는 실세계 장면의 제 1 지역 상에서 시선을 검출한다. 일 양상에서, 도 1을 참고하면, 후방을 향하는 카메라(112) 및/또는 후방을 향하는 카메라(118)는, 사용자가 광학 디바이스(100)의 렌즈들(108 및 110)을 통해 실세계 장면을 관찰하는 바에 따라 사용자의 시선을 검출할 수 있다. 실세계 장면은 광학 디바이스(100)의 사용자의 시계 이내의 물리적인 환경을 포함할 수 있다. 렌즈들(108 및 110)을 통해 사용자에 의해 관찰되는 바와 같은 실세계 장면의 예가 도 2에 도시된다. 도 2에 도시된 바와 같이, 실세계 장면(200)은 전경에 자동차(202)를 포함하고 배경에는 마켓(204), 버스 표지판(206), 및 빌딩(208)을 포함한다. 다른 양상들에서, 실세계 장면은 가정, 사무실 또는 도서관 내부와 같은 실내 실세계 장면일 수 있다. 예를 들어, 사용자가 자동차(202)를 응시할 수 있고 광학 디바이스(100)는 자동차(202)가 위치되는 장소인 실세계 장면(200)의 지역 상에서 후방을 향하는 카메라(112) 및/또는 후방을 향하는 카메라(118)를 이용하여 사용자의 시선을 검출할 수 있다.

[0042]단계(1204)에서, 광학 디바이스(100)는 제 1 지역을 둘러싸는 경계를 설정하고, 이 경계는 실세계 장면의 적어도 제 2 지역을 배제한다. 예를 들어, 도 4를 참고하면, 광학 디바이스(100)는 자동차(202)가 위치되는 지역을 둘러싸는 경계(409)를 설정할 수 있다. 일 양상에서, 경계는, 사용자가 광학 디바이스(100)를 이용하여 실세계 장면을 관찰함에 따라 경계가 실세계 장면의 일 부분을 덮어 씌우도록 광학 디바이스(100)의 렌즈(108) 및/또는 렌즈(110)에 디스플레이될 수 있다. 광학 디바이스(100)에 의해 설정된 경계가 직사각 형상을 갖는 것으로 본원에서 설명되었지만, 이 경계는 원 형상과 같이 다수의 상이한 형상들 중 어느 것을 가질 수 있다는 것을 이해해야 한다.

[0043]단계(1206)에서, 광학 디바이스(100)는 경계 내부의 제 1 지역 상에서 오브젝트 인식 절차를 수행한다. 예를 들어, 도 4를 참고하면, 광학 디바이스(100)는 경계(409) 내부의 지역 상에서 오브젝트 인식 절차를 수행할 수 있다. 일 구성에서, 광학 디바이스(100)는, 전방을 향하는 카메라(114) 및/또는 전방을 향하는 카메라(120)를 이용하여 실세계 장면(400)의 이미지를 캡처함으로써 그리고 경계(409) 내부의 지역에 대응하는 이미지의 지역 상에 오브젝트 인식 알고리즘을 적용함으로써 오브젝트 인식 절차를 수행할 수 있다. 광학 디바이스(100)는, 오브젝트를 인식하기 위해서, 오브젝트 인식 알고리즘에 의해 생성된 데이터를 오브젝트 데이터베이스와 비교하여 데이터가 오브젝트 데이터베이스 내의 오브젝트들 중 임의의 오브젝트와 일치하는지 여부를 결정할 수 있다. 일 양상에서, 데이터베이스가 광학 디바이스(100)에 저장될 수 있다. 예를 들어, 도 4를 참고하면, 광학 디바이스(100)는 오브젝트 인식 알고리즘에 의해 생성된 데이터가 오브젝트 데이터베이스에서 자동차로 식별된 오브젝트와 일치한다고 결정할 수 있다.

[0044]단계(1208)에서, 광학 디바이스(100)는 적어도 제 2 지역 상에서 오브젝트 인식 절차를 수행하는 것을 억제한다. 예를 들어, 도 4를 참고하면, 광학 디바이스(100)는 경계(409) 외부의 실세계 장면(400)의 지역들 상에서 오브젝트 인식 절차를 수행하는 것을 억제할 수 있다.

[0045]단계(1210)에서, 광학 디바이스(100)는 실세계 장면의 제 3 지역 상에서 시선을 검출한다. 예를 들어, 사용자는, 자동차(202)가 거리(422)를 따라서 이동함에 따라 자동차(202)를 응시할 수 있고, 광학 디바이스(100)는, 자동차(202)가 위치되는 장소인 실세계 장면(400)의 지역 상에서 후방을 향하는 카메라(112) 및/또는 후방을 향하는 카메라(118)를 이용하여 사용자의 시선을 검출할 수 있다.

[0046]단계(1212)에서, 광학 디바이스(100)는 제 3 지역을 둘러싸는 경계를 설정하고, 이 경계는 실세계 장면의 적어도 제 4 지역을 배제한다. 예를 들어, 도 4를 참고하면, 광학 디바이스(100)는 자동차(202)가 위치되는 지역을 둘러싸는 경계(410)를 설정할 수 있다. 일 양상에서, 경계는, 사용자가 광학 디바이스(100)를 이용하여 실세계 장면을 관찰함에 따라 경계가 실세계 장면의 일 부분을 덮어 씌우도록 광학 디바이스(100)의 렌즈(108) 및/또는 렌즈(110)에 디스플레이될 수 있다.

[0047]단계(1214)에서, 광학 디바이스(100)는 경계 내부의 제 3 지역 상에서 오브젝트 인식 절차를 수행한다. 예를 들어, 도 4를 참고하면, 광학 디바이스(100)는 경계(410) 내부의 지역 상에서 오브젝트 인식 절차를 수행할 수 있다. 일 구성에서, 광학 디바이스(100)는, 전방을 향하는 카메라(114) 및/또는 전방을 향하는 카메라(120)를 이용하여 실세계 장면(400)의 이미지를 캡처함으로써 그리고 경계(410) 내부의 지역에 대응하는 이미지의 지역 상에 오브젝트 인식 알고리즘을 적용함으로써 오브젝트 인식 절차를 수행할 수 있다. 광학 디바이스(100)는, 오브젝트를 인식하기 위해서, 오브젝트 인식 알고리즘에 의해 생성된 데이터를 오브젝트 데이터베이스와 비교하여 데이터가 오브젝트 데이터베이스 내의 오브젝트들 중 임의의 오브젝트와 일치하는지 여부를 결정할 수 있다. 일 양상에서, 데이터베이스가 광학 디바이스(100)에 저장될 수 있다. 예를 들어, 도 4를 참고하면, 광학 디바이스(100)는 오브젝트 인식 알고리즘에 의해 생성된 데이터가 오브젝트 데이터베이스에서 자동차로 식별된 오브젝트와 일치한다고 결정할 수 있다.

[0048]단계(1216)에서, 광학 디바이스(100)는 적어도 제 4 지역 상에서 오브젝트 인식 절차를 수행하는 것을 억제한다. 예를 들어, 도 4를 참고하면, 광학 디바이스(100)는 경계(410) 외부의 실세계 장면(400)의 지역들에서 오브젝트 인식 절차를 수행하는 것을 억제할 수 있다.

[0049]도 13은 콘텐츠를 디스플레이하도록 구성된 광학 디바이스에 대한 방법의 흐름도(1300)이다. 단계(1302)에서, 광학 디바이스(100)는 실세계 장면의 제 1 지역 상에서 시선을 검출한다. 일 양상에서, 도 1을 참고하면, 후방을 향하는 카메라(112) 및/또는 후방을 향하는 카메라(118)는, 사용자가 광학 디바이스(100)의 렌즈들(108 및 110)을 통해 실세계 장면을 관찰하는 바에 따라 사용자의 시선을 검출할 수 있다. 실세계 장면은 광학 디바이스(100)의 사용자의 시계 이내의 물리적인 환경을 포함할 수 있다. 렌즈들(108 및 110)을 통해 사용자에 의해 관찰되는 바와 같은 실세계 장면의 예가 도 2에 도시된다. 도 2에 도시된 바와 같이, 실세계 장면(200)은 전경에 자동차(202)를 포함하고 배경에는 마켓(204), 버스 표지판(206), 및 빌딩(208)을 포함한다. 다른 양상들에서, 실세계 장면은 가정, 사무실 또는 도서관 내부와 같은 실내 실세계 장면일 수 있다. 예를 들어, 사용자가 자동차(202)를 응시할 수 있고 광학 디바이스(100)는 자동차(202)가 위치되는 장소인 실세계 장면(200)의 지역 상에서 후방을 향하는 카메라(112) 및/또는 후방을 향하는 카메라(118)를 이용하여 사용자의 시선을 검출할 수 있다.

[0050]단계(1304)에서, 광학 디바이스(100)는 제 1 지역을 둘러싸는 경계를 설정하고, 이 경계는 실세계 장면의 적어도 제 2 지역을 배제한다. 예를 들어, 도 3을 참고하면, 광학 디바이스(100)는 자동차(202)가 위치되는 지역을 둘러싸는 경계(310)를 설정할 수 있다. 일 양상에서, 경계는, 사용자가 광학 디바이스(100)를 이용하여 실세계 장면을 관찰함에 따라 경계가 실세계 장면의 사용자의 시야를 덮어 씌우도록 광학 디바이스(100)의 렌즈(108) 및/또는 렌즈(110)에 디스플레이될 수 있다. 광학 디바이스(100)에 의해 설정된 경계가 직사각 형상을 갖는 것으로 본원에서 설명되었지만, 이 경계는 원 형상과 같이 다수의 상이한 형상들 중 어느 것을 가질 수 있다는 것을 이해해야 한다.

[0051]단계(1306)에서, 광학 디바이스(100)는 경계 내부의 제 1 지역 상에서 오브젝트 인식 절차를 수행한다. 예를 들어, 도 3을 참고하면, 광학 디바이스(100)는 경계(310) 내부의 지역 상에서 오브젝트 인식 절차를 수행할 수 있다. 일 구성에서, 광학 디바이스(100)는, 전방을 향하는 카메라(114) 및/또는 전방을 향하는 카메라(120)를 이용하여 실세계 장면(300)의 하나 또는 그보다 많은 이미지들을 캡처함으로써 하나 또는 그보다 많은 이미지 프레임들을 생성하는 오브젝트 인식 절차를 수행할 수 있다. 이후, 광학 디바이스(100)는, 경계(310) 내부의 지역에 대응하는 하나 또는 그보다 많은 이미지 프레임들 중 일 지역 상에 오브젝트 인식 알고리즘을 적용할 수 있다. 광학 디바이스(100)는 오브젝트를 인식하기 위해서, 각각의 이미지 프레임에 대한 오브젝트 인식 알고리즘에 의해 생성된 데이터를 오브젝트 데이터베이스와 비교하여 데이터가 오브젝트 데이터베이스 내의 오브젝트들 중 임의의 오브젝트와 일치하는지 여부를 결정할 수 있다. 일 양상에서, 데이터베이스가 광학 디바이스(100)에 저장될 수 있다. 예를 들어, 도 3을 참고하면, 광학 디바이스(100)는 오브젝트 인식 알고리즘에 의해 생성된 데이터가 오브젝트 데이터베이스에 있는 자동차로 식별된 오브젝트와 일치한다고 결정할 수 있다.

[0052]단계(1308)에서, 광학 디바이스(100)는 적어도 제 2 지역 상에서 오브젝트 인식 절차를 수행하는 것을 억제한다. 예를 들어, 도 3을 참고하면, 광학 디바이스(100)는 경계(310) 외부의 실세계 장면(300)의 지역들 상에서 오브젝트 인식 절차를 수행하는 것을 억제할 수 있다.

[0053]단계(1310)에서, 광학 디바이스(100)는 오브젝트가 경계 내에서 인식되었던 연속 시간들들의 카운트를 저장한다. 일 구성에서, 이 카운트는, 연속적인 이미지 프레임들 각각의 경계 내부에서 오브젝트가 인식되었던 횟수를 나타낼 수 있다. 일 양상에서, 광학 디바이스(100)는 각각 성공적으로 인식된 오브젝트를 추가로 저장할 수 있다.

[0054]단계(1312)에서, 광학 디바이스(100)는 이 카운트가 임계치를 초과하는지 여부를 결정할 수 있다. 예를 들어, 임계치는 미리결정된 정수일 수 있다. 이 카운트가 임계치를 초과하면, 단계(1314)에서, 광학 디바이스(100)는 오브젝트를 강조할 수 있다. 일 양상에서, 광학 디바이스(100)는, 사용자가 오브젝트를 관찰할 때에 그 오브젝트가 강조되게 나타나도록 오브젝트가 위치되는 지역에 대응하는 광학 디바이스(100)의 렌즈(108) 및/또는 렌즈(110)의 지역에 투명 색(예를 들어, 황색)을 디스플레이함으로써 오브젝트를 강조할 수 있다. 다른 양상에서, 광학 디바이스(100)는 카운트가 미리결정된 시간 기간 이내의 임계치를 초과하는지 여부를 추가로 결정할 수 있고 미리결정된 시간 기간이 초과되었다면 맨 앞의 이미지 프레임을 드롭할 수 있다.

[0055]단계(1316)에서, 광학 디바이스(100)는 오브젝트 가까이에 아이콘을 디스플레이할 수 있다. 일 양상에서, 광학 디바이스(100)는 오브젝트가 위치되는 장소 가까이 있는 지역에 대응하여 광학 디바이스(100)의 렌즈(108) 및/또는 렌즈(110)의 지역에 아이콘을 디스플레이할 수 있다. 일 구성에서, 아이콘은 광학 디바이스(100)의 기능을 개시하도록 구성될 수 있다. 다른 구성에서, 아이콘은 오브젝트와 관련된 정보를 제공하도록 구성될 수 있다.

[0056]카운트가 임계치를 초과하지 않는다면(1312), 단계(1302)에서, 광학 디바이스(100)는 실세계 장면의 제 1 지역 상에서 시선을 검출할 수 있다.

[0057]도 14는 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 위한 방법의 흐름도(1400)이다. 단계(1402)에서, 광학 디바이스(100)는 실세계 장면의 제 1 지역 상에서 시선을 검출한다. 일 구성에서, 광학 디바이스(100)는 음성 커맨드 및/또는 손 제스처에 응답하여 시선 검출을 시작할 수 있다. 일 양상에서, 도 1을 참고하면, 후방을 향하는 카메라(112) 및/또는 후방을 향하는 카메라(118)는, 사용자가 광학 디바이스(100)의 렌즈들(108 및 110)을 통해 실세계 장면을 관찰함에 따라 사용자의 시선을 검출할 수 있다. 실세계 장면은 광학 디바이스(100)의 사용자의 시계 내의 물리적인 환경을 포함할 수 있다. 렌즈들(108 및 110)을 통해 사용자에 의해 관찰된 바와 같은 실세계 장면의 예가 도 2에 도시된다. 도 2에 도시된 바와 같이, 실세계 장면(200)은 전경에 자동차(202)를 포함하고 배경에는 마켓(204), 버스 표지판(206), 및 빌딩(208)을 포함한다. 다른 양상들에서, 실세계 장면은 가정, 사무실 또는 도서관 내부와 같은 실내 실세계 장면일 수 있다. 예를 들어, 사용자가 자동차(202)를 응시할 수 있고 광학 디바이스(100)는 자동차(202)가 위치되는 장소인 실세계 장면(200)의 지역 상에서 후방을 향하는 카메라(112) 및/또는 후방을 향하는 카메라(118)를 이용하여 사용자의 시선을 검출할 수 있다.

[0058]단계(1404)에서, 광학 디바이스(100)는 제 1 지역을 둘러싸는 경계를 설정하고, 이 경계는 실세계 장면의 적어도 제 2 지역을 배제한다. 예를 들어, 도 3을 참고하면, 광학 디바이스(100)는 제 1 지역을 둘러싸는 경계(310)를 설정할 수 있다. 일 양상에서, 경계는, 사용자가 광학 디바이스(100)를 이용하여 실세계 장면을 관찰함에 따라 경계가 실세계 장면의 사용자의 시야를 덮어 씌우도록 광학 디바이스(100)의 렌즈(108) 및/또는 렌즈(110)에 디스플레이될 수 있다. 광학 디바이스(100)에 의해 설정된 경계가 직사각 형상을 갖는 것으로 본원에서 설명되었지만, 이 경계는 원 형상과 같이 다수의 상이한 형상들 중 어느 것을 가질 수 있다는 것을 이해해야 한다.

[0059]단계(1406)에서, 광학 디바이스(100)는 경계 내부의 제 1 지역 상에서 오브젝트 인식 절차를 수행한다. 예를 들어, 도 3을 참고하면, 광학 디바이스(100)는 경계(310) 내부의 지역 상에서 오브젝트 인식 절차를 수행할 수 있다. 일 구성에서, 광학 디바이스(100)는, 전방을 향하는 카메라(114) 및/또는 전방을 향하는 카메라(120)를 이용하여 실세계 장면(300)의 하나 또는 그보다 많은 이미지들을 캡처함으로써 하나 또는 그보다 많은 이미지 프레임들을 생성하는 오브젝트 인식 절차를 수행할 수 있다. 이후, 광학 디바이스(100)는, 경계(310) 내부의 지역에 대응하는 하나 또는 그보다 많은 이미지 프레임들 중 일 지역 상에 오브젝트 인식 알고리즘을 적용할 수 있다. 광학 디바이스(100)는 오브젝트를 인식하기 위해서, 각각의 이미지 프레임에 대한 오브젝트 인식 알고리즘에 의해 생성된 데이터를 오브젝트 데이터베이스와 비교하여 데이터가 오브젝트 데이터베이스 내의 오브젝트들 중 임의의 오브젝트와 일치하는지 여부를 결정할 수 있다. 일 양상에서, 데이터베이스가 광학 디바이스(100)에 저장될 수 있다. 예를 들어, 도 3을 참고하면, 광학 디바이스(100)는 오브젝트 인식 알고리즘에 의해 생성된 데이터가 오브젝트 데이터베이스에 있는 자동차로 식별된 오브젝트와 일치한다고 결정할 수 있다.

[0060]단계(1408)에서, 광학 디바이스(100)는 적어도 제 2 지역 상에서 오브젝트 인식 절차를 수행하는 것을 억제한다. 예를 들어, 도 3을 참고하면, 광학 디바이스(100)는 경계(310) 외부의 실세계 장면(300)의 지역들 상에서 오브젝트 인식 절차를 수행하는 것을 억제할 수 있다.

[0061]단계(1410)에서, 광학 디바이스(100)는 오브젝트가 경계 내에서 인식되었던 횟수의 카운트를 저장한다. 일 구성에서, 이 카운트는, 이미지 프레임들 중 하나 또는 그보다 많은 프레임들의 경계 내부에서 오브젝트가 인식되었던 횟수를 나타낼 수 있다. 일 양상에서, 광학 디바이스(100)는 각각 성공적으로 인식된 오브젝트를 추가로 저장할 수 있다.

[0062]단계(1412)에서, 광학 디바이스(100)는 오브젝트 타입, 이력, 및 사용자 선호 중 적어도 하나에 기초하여 임계치를 동적으로 설정할 수 있다. 일 양상에서, 임계치는 정수일 수 있다. 예를 들어, 오브젝트의 타입이 빌딩과 같이 정지해 있는 것이고 식별하기 단순하다면, 더 낮은 임계값이 사용될 수 있다. 다른 예로서, 오브젝트의 타입이 자동차와 같이 이동하고 식별하기에 더 곤란한 것이라면, 더 높은 임계 값이 사용될 수 있다.

[0063]단계(1414)에서, 광학 디바이스(100)는 이 카운트가 임계치를 초과하는지 여부를 결정할 수 있다. 이 카운트가 임계치를 초과하면, 단계(1416)에서, 광학 디바이스(100)는 오브젝트를 강조할 수 있다. 일 양상에서, 광학 디바이스(100)는, 사용자가 오브젝트를 관찰할 때에 그 오브젝트가 강조되게 나타나도록 오브젝트가 위치되는 지역에 대응하는 광학 디바이스(100)의 렌즈(108) 및/또는 렌즈(110)의 지역에 투명 색(예를 들어, 황색)을 디스플레이함으로써 오브젝트를 강조할 수 있다. 다른 양상에서, 광학 디바이스(100)는 카운트가 미리결정된 시간 기간 이내의 임계치를 초과하는지 여부를 추가로 결정할 수 있고 미리결정된 시간 기간이 초과되었다면 맨 앞의 이미지 프레임을 드롭할 수 있다.

[0064]단계(1418)에서, 광학 디바이스(100)는 오브젝트 가까이에 아이콘을 디스플레이할 수 있다. 일 양상에서, 광학 디바이스(100)는 오브젝트가 위치되는 장소 가까이 있는 지역에 대응하여 광학 디바이스(100)의 렌즈(108) 및/또는 렌즈(110)의 지역에 아이콘을 디스플레이할 수 있다. 일 구성에서, 아이콘은 광학 디바이스(100)의 기능을 개시하도록 구성될 수 있다. 다른 구성에서, 아이콘은 오브젝트와 관련된 정보를 제공하도록 구성될 수 있다.

[0065]카운트가 임계치를 초과하지 않는다면(1414), 단계(1402)에서, 광학 디바이스(100)는 실세계 장면의 제 1 지역 상에서 시선을 검출할 수 있다.

[0066]도 15는 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 위한 방법의 흐름도(1500)이다. 단계(1502)에서, 광학 디바이스(100)는 실세계 장면의 제 1 지역 상에서 시선을 검출한다. 일 구성에서, 광학 디바이스(100)는 음성 커맨드 및/또는 손 제스처에 응답하여 시선 검출을 시작할 수 있다. 일 양상에서, 도 1을 참고하면, 후방을 향하는 카메라(112) 및/또는 후방을 향하는 카메라(118)는, 사용자가 광학 디바이스(100)의 렌즈들(108 및 110)을 통해 실세계 장면을 관찰함에 따라 사용자의 시선을 검출할 수 있다. 실세계 장면은 광학 디바이스(100)의 사용자의 시계 내의 물리적인 환경을 포함할 수 있다. 렌즈들(108 및 110)을 통해 사용자에 의해 관찰된 바와 같은 실세계 장면의 예가 도 2에 도시된다. 도 2에 도시된 바와 같이, 실세계 장면(200)은 전경에 자동차(202)를 포함하고 배경에는 마켓(204), 버스 표지판(206), 및 빌딩(208)을 포함한다. 다른 양상들에서, 실세계 장면은 가정, 사무실 또는 도서관 내부와 같은 실내 실세계 장면일 수 있다. 예를 들어, 사용자가 자동차(202)를 응시할 수 있고 광학 디바이스(100)는 자동차(202)가 위치되는 장소인 실세계 장면(200)의 지역 상에서 후방을 향하는 카메라(112) 및/또는 후방을 향하는 카메라(118)를 이용하여 사용자의 시선을 검출할 수 있다.

[0067]단계(1504)에서, 광학 디바이스(100)는 제 1 지역을 둘러싸는 경계를 설정하고, 이 경계는 실세계 장면의 적어도 제 2 지역을 배제한다. 예를 들어, 도 3을 참고하면, 광학 디바이스(100)는 자동차(202)가 위치되는 실세계 장면(200)의 지역을 둘러싸는 경계(310)를 설정할 수 있다. 일 양상에서, 경계는, 사용자가 광학 디바이스(100)를 이용하여 실세계 장면을 관찰함에 따라 경계가 실세계 장면의 일 부분을 덮어 씌우도록 광학 디바이스(100)의 렌즈(108) 및/또는 렌즈(110)에 디스플레이될 수 있다. 광학 디바이스(100)에 의해 설정된 경계가 직사각 형상을 갖는 것으로 본원에서 설명되었지만, 이 경계는 원 형상과 같이 다수의 상이한 형상들 중 어느 것을 가질 수 있다는 것을 이해해야 한다.

[0068]단계(1506)에서, 광학 디바이스(100)는 음성 커맨드와 제스처 커맨드 중 적어도 하나를 수신한다. 일 양상에서, 음성 커맨드와 제스처 커맨드는 광학 디바이스(100)의 센서(116) 및/또는 센서(122)를 통해 수신될 수 있다.

[0069]단계(1508)에서, 광학 디바이스(100)는 음성 커맨드와 제스처 커맨드 중 적어도 하나에 응답하여 경계 내부의 제 1 지역의 확대를 조정할 수 있다. 예를 들어, 도 7의 실세계 장면(700)을 참고하면, 광학 디바이스(100)는 도 8의 실세계 장면(800)에 도시된 바와 같은 경계(710) 내부의 실세계 장면(700)의 일 부분의 확대를 조정할 수 있다. 일 양상에서, 광학 디바이스(100)는 음성 커맨드 및/또는 손 제스처에 응답하여 확대를 수행할 수 있다. 일 구성에서, 손 제스처는, 경계(710) 내부의 실세계 장면(700)의 일 부분의 확대가 사용자가 핀치 제스처를 수행함에 따라서 증가되도록 하는 "핀치 줌" 제스처일 수 있다.

[0070]단계(1510)에서, 광학 디바이스(100)는 경계 내부의 제 1 지역 상에서 오브젝트 인식 절차를 수행한다. 예를 들어, 도 3을 참고하면, 광학 디바이스(100)는 경계(310) 내부의 지역 상에서 오브젝트 인식 절차를 수행할 수 있다. 일 구성에서, 광학 디바이스(100)는, 전방을 향하는 카메라(114) 및/또는 전방을 향하는 카메라(120)를 이용하여 실세계 장면(300)의 하나 또는 그보다 많은 이미지들을 캡처함으로써 그리고/또는 경계(310) 내부의 지역에 대응하는 이미지의 지역 상에 오브젝트 인식 알고리즘을 적용함으로써 오브젝트 인식 절차를 수행할 수 있다. 광학 디바이스(100)는 오브젝트를 인식하기 위해서, 각각의 이미지 프레임에 대한 오브젝트 인식 알고리즘에 의해 생성된 데이터를 오브젝트 데이터베이스와 비교하여 데이터가 오브젝트 데이터베이스 내의 오브젝트들 중 임의의 오브젝트와 일치하는지 여부를 결정할 수 있다. 일 양상에서, 데이터베이스가 광학 디바이스(100)에 저장될 수 있다. 예를 들어, 도 3을 참고하면, 광학 디바이스(100)는 오브젝트 인식 알고리즘에 의해 생성된 데이터가 오브젝트 데이터베이스에 있는 자동차로 식별된 오브젝트와 일치한다고 결정할 수 있다.

[0071]단계(1512)에서, 광학 디바이스(100)는 적어도 제 2 지역 상에서 오브젝트 인식 절차를 수행하는 것을 억제한다. 예를 들어, 도 3을 참고하면, 광학 디바이스(100)는 경계(310) 외부의 실세계 장면(300)의 지역들 상에서 오브젝트 인식 절차를 수행하는 것을 억제할 수 있다.

[0072]단계(1514)에서, 광학 디바이스(100)는, 경계 내부의 제 1 지역의 중앙으로 주밍하는 동작, 경계를 확대하는 동작, 또는 절전 상태에 진입하는 동작 중 적어도 하나를 수행한다. 일 양상에서, 광학 디바이스(100)는, 사용자의 시선의 지속기간이 시간 임계치를 초과하는 경우 경계 내부의 제 1 지역의 중앙으로 주밍할 수 있다. 다른 양상에서, 광학 디바이스(100)는 더 양호한 오브젝트 시야를 제공하기 위해서 시간 임계치를 초과하기 전에 경계 내부의 오브젝트가 인식되는 때에 경계 내부의 제 1 지역의 중앙으로 주밍할 수 있다. 일 구성에서, 광학 디바이스(100)는 또한, 오브젝트 가까이에 있는 하나 또는 그보다 많은 애플리케이션 아이콘들로 주밍될 수 있다.

[0073]예를 들어, 도 5를 참고하면, 광학 디바이스(100)는, 오브젝트 인식 절차가 오브젝트를 결정하는 데에 실패한 경우 경계(510)의 사이즈를 동적으로 조정할 수 있다. 예를 들어, 오브젝트 인식 절차가 경계(510) 내부의 자동차(202)를 식별할 수 없는 경우, 광학 디바이스(100)는 경계(510)의 사이즈를 경계(520)의 사이즈로 증가시킬 수 있다. 일 구성에서, 경계의 사이즈는 미리결정된 양만큼 증가될 수 있다. 예를 들어, 광학 디바이스(100)는 원래 경계의 사이즈를 2배로 함으로써 경계의 사이즈를 증가시킬 수 있다.

[0074]단계(1516)에서, 광학 디바이스(100)는 적어도 하나의 포토 편집 툴을 디스플레이한다. 일 양상에서, 도 9를 참고하면, 광학 디바이스(100)는 하나 또는 그보다 많은 포토 편집 툴들을 포함하는 포토 편집 인터페이스(912)를 디스플레이할 수 있다. 예를 들어, 포토 편집 툴들은 아트 필터 애플리케이션 툴(914) 및/또는 다른 포토 편집 툴들, 이를 테면, 클립 아트 삽입 툴, 컬러 채도 툴, 적갈색 톤 변환 툴, 및 흑백 변환 툴을 포함할 수 있다. 일 양상에서, 포토 편집 툴들은, 센서(116) 및/또는 센서(122)를 통해 수신된 음성 커맨드 및/또는 손 제스처에 응답하여 적용되거나 또는 디스에이블될 수 있다.

[0075]단계(1518)에서, 광학 디바이스(100)는 음성 커맨드 및 제스처 커맨드 중 적어도 하나에 기초하여 적어도 하나의 포토 편집 툴을 이용하여 경계 내부의 제 1 지역을 편집할 수 있다. 예를 들어, 도 9를 참고하면, 전방을 향하는 카메라(114) 및/또는 전방을 향하는 카메라(120)로 실세계 장면(900)의 포토를 캡처하기 전에 경계(910) 내부의 지역을 편집하기 위해서 적어도 하나의 포토 편집 툴이 사용될 수 있다.

[0076]단계(1520)에서, 광학 디바이스(100)는 편집된 제 1 지역의 이미지를 저장할 수 있다. 예를 들어, 도 9를 참고하면, 광학 디바이스(100)는 상기 논의된 포토 편집 툴들을 이용하여 편집된 바와 같이 실세계 장면(900)의 포토를 캡쳐하고 저장할 수 있다.

[0077]도 16은 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 위한 방법의 흐름도(1600)이다. 단계(1602)에서, 광학 디바이스(100)는 실세계 장면의 제 1 지역 상에서 시선을 검출한다. 일 양상에서, 도 10을 참고하면, 후방을 향하는 카메라(112) 및/또는 후방을 향하는 카메라(118)는, 사용자가 광학 디바이스(100)의 렌즈들(108 및 110)을 통해 실세계 장면을 관찰함에 따라 사용자의 시선을 검출할 수 있다. 실세계 장면은 광학 디바이스(100)의 사용자의 시계 내의 물리적인 환경을 포함할 수 있다. 렌즈들(108 및 110)을 통해 사용자에 의해 관찰된 바와 같은 실세계 장면의 예가 도 10에 도시된다. 도 10에 도시된 바와 같이, 실세계 장면(1000)은 전경에 자동차(202)를 포함하고 배경에는 마켓(204), 버스 표지판(206), 및 빌딩(208)을 포함한다. 다른 양상들에서, 실세계 장면은 가정, 사무실 또는 도서관 내부와 같은 실내 실세계 장면일 수 있다. 예를 들어, 사용자가 자동차(202)를 응시할 수 있고 광학 디바이스(100)는 자동차(202)가 위치되는 장소인 실세계 장면(1000)의 지역 상에서 후방을 향하는 카메라(112) 및/또는 후방을 향하는 카메라(118)를 이용하여 사용자의 시선을 검출할 수 있다.

[0078]단계(1604)에서, 광학 디바이스(100)는 제 1 지역을 둘러싸는 경계를 설정하고, 이 경계는 실세계 장면의 적어도 제 2 지역을 배제한다. 예를 들어, 도 10을 참고하면, 광학 디바이스(100)는, 자동차(202)가 위치되는 지역을 둘러싸는 경계(1010)를 설정할 수 있다. 일 양상에서, 경계는, 사용자가 광학 디바이스(100)를 이용하여 실세계 장면을 관찰함에 따라 경계가 실세계 장면의 일 부분을 덮어 씌우도록 광학 디바이스(100)의 렌즈(108) 및/또는 렌즈(110)에 디스플레이될 수 있다. 광학 디바이스(100)에 의해 설정된 경계가 직사각 형상을 갖는 것으로 본원에서 설명되었지만, 이 경계는 원 형상과 같이 다수의 상이한 형상들 중 어느 것을 가질 수 있다는 것을 이해해야 한다.

[0079]단계(1606)에서, 광학 디바이스(100)는 경계 내부의 제 1 지역 상에서 오브젝트 인식 절차를 수행한다. 예를 들어, 도 10을 참고하면, 광학 디바이스(100)는 경계(1010) 내부의 지역 상에서 오브젝트 인식 절차를 수행할 수 있다. 일 구성에서, 광학 디바이스(100)는, 전방을 향하는 카메라(114) 및/또는 전방을 향하는 카메라(120)를 이용하여 실세계 장면(1000)의 이미지를 캡처하고 그리고 경계(1010) 내부의 지역에 대응하는 이미지의 지역 상에 오브젝트 인식 알고리즘을 적용함으로써 오브젝트 인식 절차를 수행할 수 있다. 광학 디바이스(100)는 오브젝트를 인식하기 위해서, 각각의 이미지 프레임에 대한 오브젝트 인식 알고리즘에 의해 생성된 데이터를 오브젝트 데이터베이스와 비교하여 데이터가 오브젝트 데이터베이스 내의 오브젝트들 중 임의의 오브젝트와 일치하는지 여부를 결정할 수 있다. 일 양상에서, 데이터베이스가 광학 디바이스(100)에 저장될 수 있다. 예를 들어, 도 10을 참고하면, 광학 디바이스(100)는 오브젝트 인식 알고리즘에 의해 생성된 데이터가 오브젝트 데이터베이스에서 자동차로 식별된 오브젝트와 일치한다고 결정할 수 있다.

[0080]단계(1608)에서, 광학 디바이스(100)는 적어도 제 2 지역 상에서 오브젝트 인식 절차를 수행하는 것을 억제한다. 예를 들어, 도 10을 참고하면, 광학 디바이스(100)는 경계(1010) 외부의 실세계 장면(1000)의 지역들 상에서 오브젝트 인식 절차를 수행하는 것을 억제할 수 있다.

[0081]단계(1610)에서, 모바일 디바이스는 제 1 음성 커맨드와 제 1 제스처 커맨드 중 적어도 하나에 응답하여 적어도 제 1 인식 오브젝트를 저장한다. 예를 들어, 도 10을 참고하면, 광학 디바이스(100)는 제 1 음성 커맨드와 제 1 제스처 커맨드 중 적어도 하나에 응답하여 광학 디바이스(100)의 메모리에 자동차(202)를 저장할 수 있다.

[0082]단계(1612)에서, 광학 디바이스(100)는 제 2 음성 커맨드와 제 2 제스처 커맨드 중 적어도 하나에 응답하여 적어도 제 2 인식 오브젝트를 저장한다. 예를 들어, 도 10을 참고하면, 광학 디바이스(100)는 경계(1012) 내에서 자동차(1002)를 인식할 수 있고 제 2 음성 커맨드와 제 2 제스처 커맨드 중 적어도 하나에 응답하여 광학 디바이스(100)의 메모리에 자동차(1002)를 저장할 수 있다.

[0083]단계(1614)에서, 광학 디바이스(100)는 적어도 제 1 인식 오브젝트와 제 2 인식 오브젝트를 비교한다. 일 양상에서, 광학 디바이스(100)는, 자동차(202)가 자동차(1002)와 동일한지 또는 상이한지 여부를 나타낼 수 있다.

[0084]도 17은 예시적인 장치(1702) 내의 상이한 모듈들/수단들/컴포넌트들의 동작을 예시하는 개념적인 흐름도(1700)이다. 장치(1702)는 광학 디바이스, 이를 테면, 도 1에 도시된 광학 디바이스(100)일 수 있다. 장치(1702)는 시선 검출 모듈(1703), 경계 설정 모듈(1704), 오브젝트 인식 모듈(1706), 오브젝트 인식 억제 모듈(1708), 수신 모듈(1710), 확대 조정 모듈(1712), 포토 편집 툴 디스플레잉 모듈(1714), 편집 모듈(1716), 임계치 설정 모듈(1718), 결정 모듈(1720), 저장 모듈(1722), 비교 모듈(1724), 강조 모듈(1726), 아이콘 디스플레잉 모듈(1728), 및 동작 수행 모듈(1730)을 포함한다.

[0085]일 양상에서, 시선 검출 모듈(1703)은 실세계 장면의 지역 상의 사용자의 시선을 검출한다. 경계 설정 모듈(1704)은 실세계 장면의 지역을 둘러싸는 경계를 설정한다. 오브젝트 인식 모듈(1706)은 경계 내부의 지역 상에서 오브젝트 인식 절차를 수행한다. 일 구성에서, 실세계 장면의 복수의 이미지 프레임들 중 하나 또는 그보다 많은 이미지 프레임들에 대해 경계 내부의 제 1 지역 상에서 오브젝트 인식 절차가 수행된다. 오브젝트 인식 억제 모듈(1708)은 경계 외부의 지역들 상에서 오브젝트 인식 절차를 수행하는 것을 억제한다. 시선 검출 모듈(1703)은 실세계 장면의 제 3 지역 상에서 시선을 검출할 수 있고 경계 설정 모듈(1704)은 실세계 장면의 적어도 제 4 지역을 배제하면서 제 3 지역을 둘러싸도록 경계를 설정할 수 있다.

[0086]일 양상에서, 저장 모듈(1722)은 오브젝트가 경계 내부에서 인식되었던 연속 시간들의 제 1 카운트 또는 오브젝트가 경계 내부에서 인식되었던 횟수의 제 2 카운트를 저장한다. 결정 모듈(1720)은 제 1 카운트 또는 제 2 카운트가 임계치를 초과하는지 여부를 결정한다. 강조 모듈(1726)은 제 1 카운트 또는 제 2 카운트가 임계치를 초과할 경우 오브젝트를 강조한다. 아이콘 디스플레잉 모듈(1728)은, 제 1 카운트 또는 제 2 카운트가 임계치를 초과하는 경우 오브젝트 가까이에 아이콘을 디스플레이한다.

[0087]다른 양상에서, 저장 모듈(1722)은 제 1 음성 커맨드 및 제 1 제스처 커맨드 중 적어도 하나에 응답하여 적어도 제 1 인식 오브젝트를 저장하고 제 2 음성 커맨드 및 제 2 제스처 커맨드 중 적어도 하나에 응답하여 적어도 제 2 인식 오브젝트를 저장한다. 이후, 비교 모듈(1724)은, 제 1 인식 오브젝트가 제 2 인식 오브젝트와 동일한지 또는 상이한지 여부를 결정하기 위해서 적어도 제 1 인식 오브젝트와 제 2 인식 오브젝트를 비교한다.

[0088]일 양상에서, 실세계 장면의 복수의 이미지 프레임들 중 하나 또는 그보다 많은 것에 대한 경계 내부의 제 1 지역 상에서 오브젝트 인식 절차가 수행되고, 저장 모듈(1722)은, 오브젝트가 경계 내부에서 인식되었던 횟수의 카운트를 저장한다. 임계치 설정 모듈(1718)은 오브젝트의 타입, 이력, 및 사용자 선호 중 적어도 하나에 기초하여 임계치를 동적으로 설정한다. 결정 모듈(1720)은 카운트가 임계치를 초과하는지 여부를 결정한다. 강조 모듈(1726)은 카운트가 임계치를 초과한 경우 오브젝트를 강조한다. 아이콘 디스플레잉 모듈(1728)은 카운트가 임계치를 초과하는 경우 오브젝트 가까이에 아이콘을 디스플레이한다.

[0089]동작 수행 모듈(1730)은, 오브젝트가 경계 내부의 제 1 지역에서 인식되는 않는 경우 경계 내부의 제 1 지역의 중앙으로 주밍하는 동작, 경계를 확대하는 동작, 또는 절전 상태로 진입하는 동작 중 적어도 하나를 수행한다.

[0090]수신 모듈(1710)은 음성 커맨드 및 제스처 커맨드 중 적어도 하나를 수신한다. 확대 조정 모듈(1712)은 음성 커맨드 및 제스처 커맨드 중 적어도 하나에 응답하여 경계 내부의 제 1 지역의 확대를 조정한다.

[0091]포토 편집 툴 디스플레잉 모듈(1714)은 적어도 하나의 포토 편집 툴을 디스플레이한다. 편집 모듈(1716)은 음성 커맨드 및 제스처 커맨드 중 적어도 하나에 기초하여 적어도 하나의 포토 편집 툴을 이용하여 경계 내부의 제 1 지역을 편집한다. 저장 모듈(1722)은 편집된 제 1 지역의 이미지를 저장한다.

[0092]장치는 도 11 내지 도 16의 전술한 흐름도들에서 알고리즘의 단계들 각각을 수행하는 추가 모듈들을 포함할 수 있다. 이와 같이, 도 11 내지 도 16의 전술한 흐름도들의 각각의 단계는 모듈에 의해 수행될 수 있고 장치는 그러한 모듈들 중 하나 또는 그보다 많은 모듈들을 포함할 수 있다. 모듈들은 언급된 프로세스들/알고리즘을 수행하도록 구체적으로 구성되고, 언급된 프로세스들/알고리즘을 수행하도록 구성된 프로세서에 의해 구현되고, 프로세서에 의한 구현을 위한 컴퓨터-판독가능 매체 내에 저장된 하나 또는 그보다 많은 하드웨어 컴포넌트들, 또는 이들의 일부 조합일 수 있다.

[0093]도 18은 프로세싱 시스템(1814)을 채용하는 장치(1702')를 위한 하드웨어 구현의 예를 도시하는 다이어그램이다. 프로세싱 시스템(1814)은, 전반적으로 버스(1824)로 나타내어지는 버스 아키텍처로 구현될 수 있다. 버스(1824)는 프로세싱 시스템(1814)의 특정 애플리케이션 및 전체 설계 제약들에 따라 임의의 수의 상호접속 버스들 및 브리지들을 포함할 수 있다. 버스(1824)는, 프로세서(1804), 모듈들(1703, 1704, 1706, 1708, 1710, 1712, 1714, 1716, 1718, 1720, 1722, 1724, 1726, 1728, 및 1730), 및 컴퓨터 판독가능 매체(1806)으로 나타내어지는 하나 또는 그보다 많은 프로세서들 및/또는 하드웨어 모듈들을 비롯한 다양한 회로들을 함께 링크한다. 버스(1824)는 또한, 본 기술에 잘 알려져 있는 타이밍 소스들, 주변기기들, 전압 레귤레이터들, 및 전력 관리 회로들과 같은 다양한 다른 회로들을 링크할 수 있고, 따라서, 더 이상 추가로 설명하지 않을 것이다.

[0094]프로세싱 시스템(1814)은 컴퓨터 판독가능 매체(1806)에 결합된 프로세서(1804)를 포함한다. 프로세서(1804)는 컴퓨터 판독가능 매체(1806)에 저장된 소프트웨어의 실행을 비롯한 일반 프로세싱을 담당한다. 프로세서(1804)에 의해 실행될 경우, 소프트웨어는 프로세싱 시스템(1814)으로 하여금 임의의 특정 장치에 대해 앞서 설명된 다양한 기능들을 수행하게 한다. 컴퓨터 판독가능 매체(1806)는 또한 소프트웨어의 실행 시 프로세서(1804)에 의해 조작되는 데이터를 저장하는 데에 사용될 수 있다. 프로세싱 시스템은 모듈들(1703, 1704, 1706, 1708, 1710, 1712, 1714, 1716, 1718, 1720, 1722, 1724, 1726, 1728 및 1730) 중 적어도 하나를 더 포함한다. 모듈들은, 컴퓨터 판독가능 매체(1806)에 상주하는/저장된, 프로세서(1804)에서 실행되는 소프트웨어 모듈들, 프로세서(1804)에 결합된 하나 또는 그보다 많은 하드웨어 모듈들, 또는 이들의 일부 조합일 수 있다.

[0095]일 구성에서, 장치(1702/1702')는 실세계 장면의 제 1 지역 상에서 시선을 검출하기 위한 수단, 제 1 지역을 둘러싸는 경계를 설정하기 위한 수단 ―이 경계는 실세계 장면의 적어도 제 2 지역을 배제함―, 경계 내부의 제 1 지역 상에서 오브젝트 인식 절차를 수행하기 위한 수단, 적어도 제 2 지역 상에서 오브젝트 인식 절차를 수행하는 것을 억제하기 위한 수단, 실세계 장면의 제 3 지역 상에서 시선을 검출하기 위한 수단, 실세계 장면의 적어도 제 4 지역을 배제하면서 제 3 지역을 둘러싸도록 경계를 설정하기 위한 수단, 오브젝트가 경계 내에서 인식되었던 연속 시간들의 제 1 카운트 또는 오브젝트가 경계 내에서 인식되었던 횟수의 제 2 카운트를 저장하기 위한 수단, 제 1 카운트 또는 제 2 카운트가 임계치를 초과하는지 여부를 결정하기 위한 수단, 제 1 카운트 또는 제 2 카운트가 임계치를 초과하는 경우 오브젝트를 강조하기 위한 수단, 제 1 카운트 또는 제 2 카운트가 임계치를 초과하는 경우 오브젝트 가까이에 아이콘을 디스플레이하기 위한 수단, 적어도 하나의 동작을 수행하기 위한 수단 ―적어도 하나의 동작은 오브젝트가 경계 내부의 제 1 지역에서 인식되는 않는 경우 경계 내부의 제 1 지역의 중앙으로 주밍하는 동작, 경계를 확대하는 동작, 또는 절전 상태로 진입하는 동작 중 적어도 하나를 포함함―, 오브젝트가 경계 내에서 인식되었던 횟수의 카운트를 저장하기 위한 수단, 오브젝트의 타입, 이력, 및 사용자 선호 중 적어도 하나에 기초하여 임계치를 동적으로 설정하기 위한 수단, 카운트가 임계치를 초과하는지 여부를 결정하기 위한 수단, 카운트가 임계치를 초과하는 경우 오브젝트를 강조하기 위한 수단, 카운트가 임계치를 초과하는 경우 오브젝트 가까이에 아이콘을 디스플레이하기 위한 수단, 음성 커맨드 및 제스처 커맨드 중 적어도 하나를 수신하기 위한 수단, 음성 커맨드 및 제스처 커맨드 중 적어도 하나에 응답하여 경계 내부의 제 1 지역의 확대를 조정하기 위한 수단, 적어도 하나의 포토 편집 툴을 디스플레이하기 위한 수단, 음성 커맨드 및 제스처 커맨드 중 적어도 하나에 기초하여 적어도 하나의 포토 편집 툴을 이용하여 경계 내부의 제 1 지역을 편집하기 위한 수단, 편집된 제 1 지역의 이미지를 저장하기 위한 수단, 제 1 음성 커맨드 및 제 1 제스처 커맨드 중 적어도 하나에 응답하여 적어도 제 1 인식 오브젝트를 저장하기 위한 수단, 제 2 음성 커맨드 및 제 2 제스처 커맨드 중 적어도 하나에 응답하여 적어도 제 2 인식 오브젝트를 저장하기 위한 수단, 및 적어도 제 1 인식 오브젝트 및 제 2 인식 오브젝틀 비교하기 위한 수단을 포함한다.

[0096]상기 언급된 수단은, 상기 언급된 수단에 의해 언급된 기능들을 수행하도록 구성된 장치(1702)의 상기 언급된 모듈들 및/또는 장치(1702')의 프로세싱 시스템(1814) 중 하나 또는 그보다 많은 것일 수 있다.

[0097]따라서, 경계의 사이즈를 감소시키고 감소된 경계 내부의 지역 상에서 오브젝트 인식 절차를 수행함으로써, 광학 디바이스는 오브젝트를 인식하기 위해 필요로 되는 프로세싱의 양을 감소시킬 수 있고, 따라서, 배터리 전력을 절약할 수 있다. 더욱이, 본원에 개시된 양상들은 손 제스처들, 눈/머리 추적, 및 음성 커맨드들을 조정함으로써 증강 현실과의 상호작용을 개선한다.

[0098]개시된 프로세스들의 단계들의 특정 순서 또는 계층 구조는 예시적인 접근 방식들의 실례인 것으로 이해된다. 설계 선호들을 기초로, 프로세스들의 단계들의 특정 순서 또는 계층 구조는 재배열될 수도 있다고 이해된다. 추가로, 일부 단계들은 결합되거나 생략될 수도 있다. 첨부한 방법 청구항들은 다양한 단계들의 엘리먼트들을 예시적인 순서로 제시하며, 제시된 특정 순서 또는 계층 구조로 한정되는 것으로 여겨지는 것은 아니다.

[0099]상기 설명은 해당 기술분야에서 통상의 지식을 가진 임의의 자가 본 명세서에서 설명된 다양한 양상들을 실시할 수 있게 하도록 제공된다. 이러한 양상들에 대한 다양한 변형들이 해당 기술분야에서 통상의 지식을 가진 자들에게 쉽게 명백할 것이며, 본 명세서에 정의된 일반 원리들은 다른 양상들에 적용될 수도 있다. 따라서 청구항들은 본 명세서에 도시된 양상들로 한정되는 것으로 의도되는 것이 아니라 청구항 문언과 일치하는 전체 범위에 따르는 것이며, 여기서 엘리먼트에 대한 단수 언급은 구체적으로 그렇게 언급하지 않는 한 "하나 및 단 하나"를 의미하는 것으로 의도되는 것이 아니라, 그보다는 "하나 또는 그보다 많은"을 의미하는 것이다. 구체적으로 달리 언급되지 않는 한, "일부"라는 용어는 하나 또는 그보다 많은 것을 의미한다. 해당 기술분야에서 통상의 지식을 가진 자들에게 알려진 또는 나중에 알려지게 될 본 개시 전반에 걸쳐 설명된 다양한 양상들의 엘리먼트들에 대한 모든 구조적 그리고 기능적 등가물들은 인용에 의해 본 명세서에 명백히 포함되며, 청구항들에 의해 포괄되는 것으로 의도된다. 더욱이, 본 명세서에 개시된 내용은, 청구항들에 이러한 개시 내용이 명시적으로 기재되어 있는지 여부에 관계없이, 공중이 사용하도록 의도되는 것은 아니다. 청구항 엘리먼트가 명백히 "~을 위한 수단"이라는 문구를 사용하여 언급되지 않는 한, 어떠한 청구항 엘리먼트도 수단 + 기능으로서 해석되어야 하는 것은 아니다.

Claims

콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 방법으로서,
실세계 장면의 제 1 지역 상에서 시선(eye gaze)을 검출하는 단계;
상기 제 1 지역을 둘러싸는 경계를 설정하는 단계 ―상기 경계는 상기 실세계 장면의 적어도 제 2 지역을 배제함―;
상기 경계 내부의 상기 제 1 지역 상에서 오브젝트 인식 절차를 수행하는 단계; 및
상기 적어도 제 2 지역 상에서 오브젝트 인식 절차를 수행하는 것을 억제하는 단계를 포함하는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 방법.
제 1 항에 있어서,
상기 실세계 장면의 제 3 지역 상에서 상기 시선을 검출하는 단계; 및
상기 실세계 장면의 적어도 제 4 지역을 배제하면서 상기 제 3 지역을 둘러싸도록 상기 경계를 설정하는 단계를 더 포함하는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 방법.
제 1 항에 있어서,
상기 오브젝트 인식 절차를 수행하는 단계는 상기 실세계 장면의 복수의 이미지 프레임들 중 하나 또는 그보다 많은 이미지 프레임들에 대해 상기 경계 내부의 상기 제 1 지역 상에서 상기 오브젝트 인식 절차를 수행하는 단계를 포함하고,
상기 방법은,
오브젝트가 상기 경계 내부에서 인식되었던 연속 시간들의 제 1 카운트 또는 오브젝트가 상기 경계 내부에서 인식되었던 횟수의 제 2 카운트를 메모리에 저장하는 단계를 더 포함하는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 방법.
제 3 항에 있어서,
상기 제 1 카운트 또는 상기 제 2 카운트가 임계치를 초과하는지 여부를 결정하는 단계;
상기 제 1 카운트 또는 상기 제 2 카운트가 상기 임계치를 초과할 경우 상기 오브젝트를 강조하는 단계; 및
상기 제 1 카운트 또는 상기 제 2 카운트가 상기 임계치를 초과할 경우 상기 오브젝트 가까이에 아이콘을 디스플레이하는 단계를 더 포함하는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 방법.
제 1 항에 있어서,
상기 경계 내부의 상기 제 1 지역에서 오브젝트가 인식되지 않는 경우, 상기 방법은 상기 경계 내부의 상기 제 1 지역의 중앙으로 주밍하는 동작, 상기 경계를 확대하는 동작, 또는 절전 상태에 진입하는 동작 중 적어도 하나를 수행하는 단계를 더 포함하는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 방법.
제 1 항에 있어서,
상기 오브젝트 인식 절차를 수행하는 단계는 상기 실세계 장면의 복수의 이미지 프레임들 중 하나 또는 그보다 많은 이미지 프레임들에 대해 상기 경계 내부의 상기 제 1 지역 상에서 상기 오브젝트 인식 절차를 수행하는 단계를 포함하고,
상기 방법은,
오브젝트가 상기 경계 내에서 인식되었던 횟수의 카운트를 메모리에 저장하는 단계를 더 포함하는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 방법.
제 6 항에 있어서,
오브젝트의 타입, 이력, 및 사용자 선호 중 적어도 하나에 기초하여 임계치를 동적으로 설정하는 단계;
상기 카운트가 상기 임계치를 초과하는지 여부를 결정하는 단계;
상기 카운트가 상기 임계치를 초과할 경우 상기 오브젝트를 강조하는 단계; 및
상기 카운트가 상기 임계치를 초과할 경우 상기 오브젝트 가까이에 아이콘을 디스플레이하는 단계를 더 포함하는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 방법.
제 1 항에 있어서,
음성 커맨드 및 제스처 커맨드 중 적어도 하나를 수신하는 단계; 및
상기 음성 커맨드 및 상기 제스처 커맨드 중 적어도 하나에 응답하여 상기 경계 내부의 상기 제 1 지역의 확대를 조정하는 단계를 더 포함하는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 방법.
제 1 항에 있어서,
적어도 하나의 포토 편집 툴을 디스플레이하는 단계;
음성 커맨드 및 제스처 커맨드 중 적어도 하나에 기초하여 상기 적어도 하나의 포토 편집 툴을 이용하여 상기 경계 내부의 상기 제 1 지역을 편집하는 단계; 및
편집된 제 1 지역의 이미지를 저장하는 단계를 더 포함하는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 방법.
제 1 항에 있어서,
제 1 음성 커맨드 및 제 1 제스처 커맨드 중 적어도 하나에 응답하여 적어도 제 1 인식 오브젝트를 저장하는 단계;
제 2 음성 커맨드 및 제 2 제스처 커맨드 중 적어도 하나에 응답하여 적어도 제 2 인식 오브젝트를 저장하는 단계; 및
적어도 상기 제 1 인식 오브젝트 및 상기 제 2 인식 오브젝트를 비교하는 단계를 더 포함하는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 방법.
콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 장치로서,
실세계 장면의 제 1 지역 상에서 시선을 검출하기 위한 수단;
상기 제 1 지역을 둘러싸는 경계를 설정하기 위한 수단 ―상기 경계는 상기 실세계 장면의 적어도 제 2 지역을 배제함―;
상기 경계 내부의 상기 제 1 지역 상에서 오브젝트 인식 절차를 수행하기 위한 수단; 및
상기 적어도 제 2 지역 상에서 오브젝트 인식 절차를 수행하는 것을 억제하기 위한 수단을 포함하는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 장치.
제 11 항에 있어서,
상기 실세계 장면의 제 3 지역 상에서 상기 시선을 검출하기 위한 수단; 및
상기 실세계 장면의 적어도 제 4 지역을 배제하면서 상기 제 3 지역을 둘러싸도록 상기 경계를 설정하기 위한 수단을 더 포함하는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 장치.
제 11 항에 있어서,
상기 오브젝트 인식 절차를 수행하기 위한 수단은 상기 실세계 장면의 복수의 이미지 프레임들 중 하나 또는 그보다 많은 이미지 프레임들에 대해 상기 경계 내부의 상기 제 1 지역 상에서 상기 오브젝트 인식 절차를 수행하도록 구성되고,
상기 장치는,
오브젝트가 상기 경계 내부에서 인식되었던 연속 시간들의 제 1 카운트 또는 오브젝트가 상기 경계 내부에서 인식되었던 횟수의 제 2 카운트를 메모리에 저장하기 위한 수단을 더 포함하는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 장치.
제 11 항에 있어서,
상기 제 1 카운트 또는 상기 제 2 카운트가 임계치를 초과하는지 여부를 결정하기 위한 수단;
상기 제 1 카운트 또는 상기 제 2 카운트가 상기 임계치를 초과할 경우 상기 오브젝트를 강조하기 위한 수단; 및
상기 제 1 카운트 또는 상기 제 2 카운트가 상기 임계치를 초과할 경우 상기 오브젝트 가까이에 아이콘을 디스플레이하기 위한 수단을 더 포함하는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 장치.
제 11 항에 있어서,
적어도 하나의 동작을 수행하기 위한 수단을 더 포함하고,
상기 적어도 하나의 동작은,
상기 경계 내부의 상기 제 1 지역에서 오브젝트가 인식되지 않는 경우 상기 경계 내부의 상기 제 1 지역의 중앙으로 주밍하는 동작, 상기 경계를 확대하는 동작, 또는 절전 상태로 진입하는 동작 중 적어도 하나를 포함하는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 장치.
제 11 항에 있어서,
상기 오브젝트 인식 절차를 수행하기 위한 수단은 상기 실세계 장면의 복수의 이미지 프레임들 중 하나 또는 그보다 많은 이미지 프레임들에 대해 상기 경계 내부의 상기 제 1 지역 상에서 상기 오브젝트 인식 절차를 수행하도록 구성되고,
상기 장치는,
오브젝트가 상기 경계 내에서 인식되었던 횟수의 카운트를 저장하기 위한 수단을 더 포함하는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 장치.
제 16 항에 있어서,
오브젝트의 타입, 이력, 및 사용자 선호 중 적어도 하나에 기초하여 임계치를 동적으로 설정하기 위한 수단;
상기 카운트가 상기 임계치를 초과하는지 여부를 결정하기 위한 수단;
상기 카운트가 상기 임계치를 초과할 경우 상기 오브젝트를 강조하기 위한 수단; 및
상기 카운트가 상기 임계치를 초과할 경우 상기 오브젝트 가까이에 아이콘을 디스플레이하기 위한 수단을 더 포함하는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 장치.
제 11 항에 있어서,
음성 커맨드 및 제스처 커맨드 중 적어도 하나를 수신하기 위한 수단; 및
상기 음성 커맨드 및 상기 제스처 커맨드 중 적어도 하나에 응답하여 상기 경계 내부의 상기 제 1 지역의 확대를 조정하기 위한 수단을 더 포함하는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 장치.
제 11 항에 있어서,
적어도 하나의 포토 편집 툴을 디스플레이하기 위한 수단;
음성 커맨드 및 제스처 커맨드 중 적어도 하나에 기초하여 상기 적어도 하나의 포토 편집 툴을 이용하여 상기 경계 내부의 상기 제 1 지역을 편집하기 위한 수단; 및
상기 편집된 제 1 지역의 이미지를 저장하기 위한 수단을 더 포함하는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 장치.
제 11 항에 있어서,
제 1 음성 커맨드 및 제 1 제스처 커맨드 중 적어도 하나에 응답하여 적어도 제 1 인식 오브젝트를 저장하기 위한 수단;
제 2 음성 커맨드 및 제 2 제스처 커맨드 중 적어도 하나에 응답하여 적어도 제 2 인식 오브젝트를 저장하기 위한 수단; 및
적어도 상기 제 1 인식 오브젝트 및 상기 제 2 인식 오브젝트를 비교하기 위한 수단을 더 포함하는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 장치.
콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 장치로서,
실세계 장면의 제 1 지역 상에서 시선을 검출하고;
상기 제 1 지역을 둘러싸는 경계를 설정하고 ―상기 경계는 상기 실세계 장면의 적어도 제 2 지역을 배제함―;
상기 경계 내부의 상기 제 1 지역 상에서 오브젝트 인식 절차를 수행하고; 그리고
상기 적어도 제 2 지역 상에서 오브젝트 인식 절차를 수행하는 것을 억제하도록 구성된
프로세싱 시스템을 포함하는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 장치.
제 21 항에 있어서,
상기 프로세싱 시스템은 추가로,
상기 실세계 장면의 제 3 지역 상에서 상기 시선을 검출하고; 그리고
상기 실세계 장면의 적어도 제 4 지역을 배제하면서 상기 제 3 지역을 둘러싸도록 상기 경계를 설정하도록 구성되는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 장치.
제 21 항에 있어서,
상기 오브젝트 인식 절차는 상기 실세계 장면의 복수의 이미지 프레임들 중 하나 또는 그보다 많은 이미지 프레임들에 대해 상기 경계 내부의 상기 제 1 지역 상에서 상기 오브젝트 인식 절차를 수행함으로써 수행되고,
상기 프로세싱 시스템은 추가로,
오브젝트가 상기 경계 내부에서 인식되었던 연속 시간들의 제 1 카운트 또는 오브젝트가 상기 경계 내부에서 인식되었던 횟수의 제 2 카운트를 메모리에 저장시키도록 구성되는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 장치.
제 23 항에 있어서,
상기 프로세싱 시스템은 추가로,
상기 제 1 카운트 또는 상기 제 2 카운트가 임계치를 초과하는지 여부를 결정하고;
상기 제 1 카운트 또는 상기 제 2 카운트가 상기 임계치를 초과할 경우 상기 오브젝트를 강조하고; 그리고
상기 제 1 카운트 또는 상기 제 2 카운트가 상기 임계치를 초과할 경우 상기 오브젝트 가까이에 아이콘을 디스플레이하도록 구성되는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 장치.
제 21 항에 있어서,
상기 프로세싱 시스템은 추가로,
상기 경계 내부의 상기 제 1 지역에서 오브젝트가 인식되지 않는 경우,
상기 경계 내부의 상기 제 1 지역의 중앙으로 주밍하는 동작, 상기 경계를 확대하는 동작, 또는 절전 상태에 진입하는 동작 중 적어도 하나를 수행하도록 구성되는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 장치.
제 21 항에 있어서,
상기 오브젝트 인식 절차는 상기 실세계 장면의 복수의 이미지 프레임들 중 하나 또는 그보다 많은 이미지 프레임들에 대해 상기 경계 내부의 상기 제 1 지역 상에서 상기 오브젝트 인식 절차를 수행함으로써 수행되고,
상기 프로세싱 시스템은 추가로,
오브젝트가 상기 경계 내에서 인식되었던 횟수의 카운트를 메모리에 저장시키도록 구성되는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 장치.
제 26 항에 있어서,
상기 프로세싱 시스템은 추가로,
오브젝트의 타입, 이력, 및 사용자 선호 중 적어도 하나에 기초하여 임계치를 동적으로 설정하고;
상기 카운트가 상기 임계치를 초과하는지 여부를 결정하고;
상기 카운트가 상기 임계치를 초과할 경우 상기 오브젝트를 강조하고; 그리고
상기 카운트가 상기 임계치를 초과할 경우 상기 오브젝트 가까이에 아이콘을 디스플레이하도록 구성되는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 장치.
제 21 항에 있어서,
상기 프로세싱 시스템은 추가로,
음성 커맨드 및 제스처 커맨드 중 적어도 하나를 수신하고; 그리고
상기 음성 커맨드 및 상기 제스처 커맨드 중 적어도 하나에 응답하여 상기 경계 내부의 상기 제 1 지역의 확대를 조정하도록 구성되는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 장치.
제 21 항에 있어서,
상기 프로세싱 시스템은 추가로,
적어도 하나의 포토 편집 툴을 디스플레이하고;
음성 커맨드 및 제스처 커맨드 중 적어도 하나에 기초하여 상기 적어도 하나의 포토 편집 툴을 이용하여 상기 경계 내부의 상기 제 1 지역을 편집하고; 그리고
상기 편집된 제 1 지역의 이미지를 저장하도록 구성되는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 장치.
제 21 항에 있어서,
상기 프로세싱 시스템은 추가로,
제 1 음성 커맨드 및 제 1 제스처 커맨드 중 적어도 하나에 응답하여 적어도 제 1 인식 오브젝트를 저장하고;
제 2 음성 커맨드 및 제 2 제스처 커맨드 중 적어도 하나에 응답하여 적어도 제 2 인식 오브젝트를 저장하고; 그리고
적어도 상기 제 1 인식 오브젝트 및 상기 제 2 인식 오브젝트를 비교하도록 구성되는, 콘텐츠를 디스플레이하도록 구성된 광학 디바이스를 제어하는 장치.
컴퓨터 판독가능 매체를 포함하는 프로그램 물건으로서,
상기 컴퓨터 판독가능 매체는,
실세계 장면의 제 1 지역 상에서 시선을 검출하고;
상기 제 1 지역을 둘러싸는 경계를 설정하고 ―상기 경계는 상기 실세계 장면의 적어도 제 2 지역을 배제함―;
상기 경계 내부의 상기 제 1 지역 상에서 오브젝트 인식 절차를 수행하고; 그리고
상기 적어도 제 2 지역 상에서 오브젝트 인식 절차를 수행하는 것을 억제하기 위한
코드를 포함하는, 컴퓨터 판독가능 매체를 포함하는 프로그램 물건.
제 31 항에 있어서,
상기 컴퓨터 판독가능 매체는,
상기 실세계 장면의 제 3 지역 상에서 상기 시선을 검출하고; 그리고
상기 실세계 장면의 적어도 제 4 지역을 배제하면서 상기 제 3 지역을 둘러싸도록 상기 경계를 설정하기 위한
코드를 더 포함하는, 컴퓨터 판독가능 매체를 포함하는 프로그램 물건.
제 31 항에 있어서,
상기 오브젝트 인식 절차를 수행하는 것은 상기 실세계 장면의 복수의 이미지 프레임들 중 하나 또는 그보다 많은 이미지 프레임들에 대해 상기 경계 내부의 상기 제 1 지역 상에서 상기 오브젝트 인식 절차를 수행하는 것을 포함하고,
상기 컴퓨터 판독가능 매체는,
오브젝트가 상기 경계 내부에서 인식되었던 연속 시간들의 제 1 카운트 또는 오브젝트가 상기 경계 내부에서 인식되었던 횟수의 제 2 카운트를 메모리에 저장시키기 위한
코드를 더 포함하는, 컴퓨터 판독가능 매체를 포함하는 프로그램 물건.
제 33 항에 있어서,
상기 컴퓨터 판독가능 매체는,
상기 제 1 카운트 또는 상기 제 2 카운트가 임계치를 초과하는지 여부를 결정하고;
상기 제 1 카운트 또는 상기 제 2 카운트가 상기 임계치를 초과할 경우 상기 오브젝트를 강조하고; 그리고
상기 제 1 카운트 또는 상기 제 2 카운트가 상기 임계치를 초과할 경우 상기 오브젝트 가까이에 아이콘을 디스플레이하기 위한
코드를 더 포함하는, 컴퓨터 판독가능 매체를 포함하는 프로그램 물건.
제 31 항에 있어서,
상기 컴퓨터 판독가능 매체는,
상기 경계 내부의 상기 제 1 지역에서 오브젝트가 인식되지 않는 경우,
상기 경계 내부의 상기 제 1 지역의 중앙으로 주밍하는 동작, 상기 경계를 확대하는 동작, 또는 절전 상태에 진입하는 동작 중 적어도 하나를 수행하기 위한
코드를 더 포함하는, 컴퓨터 판독가능 매체를 포함하는 프로그램 물건.
제 31 항에 있어서,
상기 오브젝트 인식 절차를 수행하는 것은 상기 실세계 장면의 복수의 이미지 프레임들 중 하나 또는 그보다 많은 이미지 프레임들에 대해 상기 경계 내부의 상기 제 1 지역 상에서 상기 오브젝트 인식 절차를 수행하는 것을 포함하고,
상기 컴퓨터 판독가능 매체는,
오브젝트가 상기 경계 내에서 인식되었던 횟수의 카운트를 메모리에 저장시키기 위한
코드를 더 포함하는, 컴퓨터 판독가능 매체를 포함하는 프로그램 물건.
제 36 항에 있어서,
상기 컴퓨터 판독가능 매체는,
오브젝트의 타입, 이력, 및 사용자 선호 중 적어도 하나에 기초하여 임계치를 동적으로 설정하고;
상기 카운트가 상기 임계치를 초과하는지 여부를 결정하고;
상기 카운트가 상기 임계치를 초과할 경우 상기 오브젝트를 강조하고; 그리고
상기 카운트가 상기 임계치를 초과할 경우 상기 오브젝트 가까이에 아이콘을 디스플레이하기 위한
코드를 더 포함하는, 컴퓨터 판독가능 매체를 포함하는 프로그램 물건.
제 31 항에 있어서,
상기 컴퓨터 판독가능 매체는,
음성 커맨드 및 제스처 커맨드 중 적어도 하나를 수신하고; 그리고
상기 음성 커맨드 및 상기 제스처 커맨드 중 적어도 하나에 응답하여 상기 경계 내부의 상기 제 1 지역의 확대를 조정하기 위한
코드를 더 포함하는, 컴퓨터 판독가능 매체를 포함하는 프로그램 물건.
제 31 항에 있어서,
상기 컴퓨터 판독가능 매체는,
적어도 하나의 포토 편집 툴을 디스플레이하고;
음성 커맨드 및 제스처 커맨드 중 적어도 하나에 기초하여 상기 적어도 하나의 포토 편집 툴을 이용하여 상기 경계 내부의 상기 제 1 지역을 편집하고; 그리고
상기 편집된 제 1 지역의 이미지를 저장시키기 위한
코드를 더 포함하는, 컴퓨터 판독가능 매체를 포함하는 프로그램 물건.
제 31 항에 있어서,
상기 컴퓨터 판독가능 매체는,
제 1 음성 커맨드 및 제 1 제스처 커맨드 중 적어도 하나에 응답하여 적어도 제 1 인식 오브젝트를 저장시키고;
제 2 음성 커맨드 및 제 2 제스처 커맨드 중 적어도 하나에 응답하여 적어도 제 2 인식 오브젝트를 저장시키고; 그리고
적어도 상기 제 1 인식 오브젝트 및 상기 제 2 인식 오브젝트를 비교하기 위한
코드를 더 포함하는, 컴퓨터 판독가능 매체를 포함하는 프로그램 물건.