KR20220157992A

KR20220157992A - 콘텍스트-기반 이미지 상태 선택

Info

Publication number: KR20220157992A
Application number: KR1020227035509A
Authority: KR
Inventors: 데이비드 마이젠홀더
Original assignee: 스냅 인코포레이티드
Priority date: 2020-03-19
Filing date: 2021-02-25
Publication date: 2022-11-29
Also published as: US11686940B2; US20230288702A1; CN115335753A; WO2021188275A1; EP4121812A4; US20210294102A1; EP4121812A1

Abstract

모바일 디바이스 상에 이미지들을 제시하기 위한 시스템, 방법, 및 비-일시적인 컴퓨터 판독가능 매체가 제공된다. 적어도 하나의 센서를 사용하여 모바일 디바이스를 둘러싸는 하나 이상의 물리적 특성들을 모니터링하고, 모니터링된 하나 이상의 물리적 특성들에 기반하여 모바일 디바이스의 콘텍스추얼 상태를 결정하고, 복수의 관련 이미지들로부터, 결정된 콘텍스추얼 상태와 연관된 이미지를 선택하고, 선택된 이미지로부터 적어도 하나의 오버레이 이미지를 생성하고, 그리고 모바일 디바이스의 광학 어셈블리를 이용하여 적어도 하나의 오버레이 이미지를 제시함으로써, 이미지들이 제시된다.

Description

콘텍스트-기반 이미지 상태 선택

[0001] 본 출원은, "CONTEXT-BASED IMAGE STATE SELECTION"이라는 명칭으로 2020년 3월 19일자로 출원된 미국 출원 일련 번호 제16/824,250호를 우선권으로 주장하며, 위의 출원의 내용들은 인용에 의해 본원에 완전히 포함된다.

[0002] 본 청구 대상은 모바일 디바이스들, 예컨대 안경류 디바이스(eyewear device)들에 관한 것으로, 더 상세하게는, 콘텍스트(context)에 기반하여 이미지들을 시각적으로 제시(presenting)하는 것에 관한 것이다.

[0003] 셀룰러 전화들 및 안경류 디바이스들, 이를테면, 스마트 안경, 헤드웨어(headwear) 및 헤드기어(headgear)를 포함하는 모바일 디바이스들은 이미지 디스플레이들 및 카메라들을 통합한다. 이러한 디바이스들은 이미지들을 캡처하여 제시할 수 있다. 많은 모바일 디바이스들은 또한, 모바일 디바이스들을 둘러싸는 물리적 파라미터들을 결정할 수 있는 센서들을 통합한다.

[0004] 도시된 도면들은 제한들이 아니라 단지 예로서 하나 이상의 구현들을 묘사한다. 도면들에서, 유사한 참조 번호들은 동일한 또는 유사한 엘리먼트들을 지칭하며, 동일한 또는 유사한 엘리먼트들 사이를 구별하기 위해 문자 지정이 추가된다. 동일한 또는 유사한 엘리먼트들이 집합적으로 지칭될 때 또는 동일한 또는 유사한 엘리먼트들 중 비-특정 엘리먼트를 지칭할 때, 문자 지정은 생략될 수 있다.
[0005] 도 1a는 코너 상의 가시광 카메라 및 템플(temple) 상의 스피커를 포함하는 안경류 디바이스의 예시적인 하드웨어 구성의 측면도이다.
[0006] 도 1b 및 도 1c는 2 개의 상이한 타입들의 이미지 디스플레이들을 포함하는, 도 1a의 안경류 디바이스의 예시적인 하드웨어 구성들의 배면도들이다.
[0007] 도 2는 가시광 카메라, 머리 움직임 추적기, 및 회로 보드를 묘사하는, 도 1a의 안경류 디바이스의 코너의 평면 단면도이다.
[0008] 도 3a는 다양한 네트워크들을 통해 연결된 안경류 디바이스, 모바일 디바이스, 및 서버 시스템을 포함하는 예시적인 이미지 선택 및 디스플레이 시스템의 하이-레벨 기능 블록도이다.
[0009] 도 3b는 도 3a의 오디오 시각화기 시스템의 서버 시스템에 대한 하드웨어 구성의 일례의 단순화된 블록도이다.
[0010] 도 4는 모바일 디바이스에 대한 하드웨어 구성의 간략화된 블록도이다.
[0011] 도 5a, 도 5b, 및 도 5c는, 도 3a의 이미지 선택 및 디스플레이 시스템에서 사용하기 위해, 모바일 디바이스의 콘텍스추얼 상태(contextual state)를 결정하고 콘텍스추얼 상태에 기반하여 선택된 이미지를 사용하여 오버레이 이미지(overlay image)를 생성하기 위한 예시적인 단계들의 흐름도들이다.
[0012] 도 6a는 콘텍스추얼 상태들에 대응하는 이미지들의 집합을 묘사하는 예시이다.
[0013] 도 6b, 도 6c, 도 6d, 및 도 6e는, 모바일 디바이스가 동작하고 있는 콘텍스추얼 상태(도 6b, 도 6c, 및 도 6d)에 대응하는 또는 모바일 디바이스 자체의 물리적 파라미터(도 6e)에 대응하는 오버레이 이미지들을 갖는 안경류 디바이스의 시-스루(see-though) 광학 어셈블리를 통해 보이는 장면들의 사시도들이다.

[0014] 다음의 상세한 설명은 사용자의 모바일 디바이스(예컨대, 안경류 디바이스)가 동작하고 있는 콘텍스추얼 상태에 기반하여 모바일 디바이스에 의한 디스플레이를 위한 이미지들을 선택하기 위한 예들을 포함한다. 예컨대, 모바일 디바이스가 자동차에 있다면, 모바일 디바이스는 디스플레이를 위해 운전과 연관된 이미지를 선택하고, 모바일 디바이스가 상점에 있다면, 모바일 디바이스는 디스플레이를 위해 쇼핑과 연관된 이미지를 선택한다. 이는 예컨대 활동/콘텍스트에 관련된 시각적 경보들/리마인더들을 모바일 디바이스의 사용자에게 제공하기 위해 사용될 수 있다. 예컨대, 운전과 연관된 이미지는 안전 벨트를 착용한 애니메이션 이미지를 포함할 수 있고, 쇼핑과 연관된 이미지들은 세일이 현재 진행 중임을 표시하는 싸인을 묘사할 수 있다.

[0015] 다음의 상세한 설명에서, 관련 교시들의 철저한 이해를 제공하기 위해 많은 특정 세부사항들이 예들로서 제시된다. 그러나, 본 교시들이 이러한 세부사항들 없이도 실시될 수 있다는 것이 당업자들에게 명백해야 한다. 다른 경우들에서, 본 교시들의 양상들을 불필요하게 모호하게 하는 것을 피하기 위해, 잘-알려진 방법들, 절차들, 컴포넌트들, 및 회로부의 설명은 세부사항 없이 비교적 하이-레벨로 기술된다.

[0016] 본원에서 사용되는 바와 같은 "커플링된"이라는 용어는, 하나의 시스템 엘리먼트에 의해 생성 또는 공급되는 전기 신호들이 다른 커플링된 엘리먼트에 전해지게 하는 임의의 논리적, 광학적, 물리적 또는 전기적 연결, 링크 등을 지칭한다. 달리 설명되지 않는 한, 커플링된 엘리먼트들 또는 디바이스들은 반드시 서로 직접 연결되는 것은 아니며, 전기 신호들을 수정, 조작 또는 운반할 수 있는 중간 컴포넌트들, 엘리먼트들 또는 통신 매체들에 의해 분리될 수 있다. "~ 상에"라는 용어는, 엘리먼트에 의해 직접 지지되는 것을 의미하거나, 또는 엘리먼트에 통합되거나 또는 엘리먼트에 의해 지지되는 다른 엘리먼트를 통해, 엘리먼트에 의해 간접 지지되는 것을 의미한다. 본원에서 사용되는 바와 같이, "약"이라는 용어는 명시된 양(amount)으로부터 ± 10%를 의미한다.

[0017] 도면들 중 임의의 도면에 도시된 것과 같은 모바일 디바이스들, 안경류 디바이스들, 연관된 컴포넌트들, 및 카메라를 통합하는 임의의 완전한 디바이스들의 배향들은 단지 예로서, 예시 및 논의 목적들로 주어진다. 동작 시에, 특정 프로그래밍을 위해, 디바이스들은 특정 애플리케이션에 적합한 임의의 다른 방향으로, 예컨대 위로, 아래로, 옆으로, 또는 임의의 다른 배향으로 배향될 수 있다. 또한, 본원에서 사용되는 범위 내에서, 임의의 방향 용어, 이를테면, 전방, 후방, 내향, 외향, ~를 향해, 좌측, 우측, 측방향(lateral), 종방향, 위, 아래, 상부, 하부, 최상부, 최하부 및 측면(side)은 단지 예로서 사용되며, 본원에서 달리 설명되는 바와 같이 구성된 카메라의 컴포넌트 또는 임의의 카메라의 방향 또는 배향에 관해서는 제한하지 않는다.

[0018] 예들의 목적들, 이점들 및 신규한 특징들은 다음의 설명에서 부분적으로 제시될 것이고, 부분적으로는, 다음의 설명 및 첨부된 도면들의 검토 시에 당업자들에게 명백해질 것이거나, 또는 예들의 생성 또는 동작에 의해 학습될 수 있다. 본 청구 대상의 목적들 및 이점들은 첨부된 청구항들에서 특정하게 지적된 방법론들, 수단들 및 조합들에 의해 실현되고 달성될 수 있다.

[0019] 이제, 첨부된 도면들에 예시되고 아래에서 논의되는 예들이 상세히 참조된다.

[0020] 도 1a는, 모바일 디바이스가 동작하고 있는 콘텍스추얼 상태를 결정하고 그러한 상태들과 연관된 이미지들을 디스플레이하기 위한 안경류 디바이스(100) 형태의 모바일 디바이스의 예시적인 하드웨어 구성을 묘사한다. 모바일 디바이스는 모바일 폰 또는 태블릿과 같은 다른 형태들을 취할 수 있다. 추가적으로, 안경류 디바이스(100)는 다른 형태들을 취할 수 있고, 다른 타입들의 프레임워크들, 예컨대 헤드기어, 헤드셋, 또는 헬멧을 통합할 수 있다. 안경류 디바이스(100)는 뷰잉 영역(예컨대, 시야(field of view)) 내의 이미지들을 캡처하기 위한 적어도 하나의 가시광 카메라(114)를 코너(110B) 상에 포함한다. 예시된 안경류 디바이스(100)는 또한, 스피커(115) 및 마이크로폰(116)을 포함한다.

[0021] 가시광 카메라(114)는 가시광 범위 파장에 민감하다. 예에 도시된 바와 같이, 가시광 카메라(114)는 광학 어셈블리(180B)를 통해 보여지고 있는 장면의 이미지들을 캡처하도록 구성된, 착용자의 관점으로부터의 전방 시야를 갖는다. 그러한 가시광 카메라(114)의 예들은 640p(예컨대, 총 0.3 m 3egapixel들의 경우 640 x 480 픽셀들), 720p 또는 1080p와 같은 고해상도 CMOS(complementary metal-oxide-semiconductor) 이미지 센서 및 비디오 그래픽 어레이(VGA: video graphic array) 카메라를 포함한다. 안경류 디바이스(100)는 가시광 카메라(114)로부터의 이미지 센서 데이터, 및 선택적으로 다른 데이터, 이를테면, 지오로케이션 데이터 및 (마이크로폰(116)을 통해) 오디오 데이터를 캡처하고, 하나 이상의 프로세서들을 사용하여 데이터를 디지털화하며, 디지털화된 데이터를 메모리에 저장한다. "시야"라는 용어는, 모바일 디바이스의 사용자가 광학 어셈블리들(180)을 통해 또는 가시광 카메라(114)로 캡처된 정보를 제시하는 모바일 디바이스의 디스플레이 상에서 자신의 눈들로 볼 수 있는 뷰잉 영역을 설명한다.

[0022] 가시광 카메라(114)는, 장면의 이미지가 캡처되는 시간 및 위치에 대응하는 타임스탬프 및 위치 좌표들의 디지털 프로세싱 및 추가를 위해 이미지 프로세서(도 3a의 엘리먼트(312))에 커플링될 수 있다. 이미지 프로세서(312)는, 가시광 카메라(114)로부터 신호들을 수신하고, 가시광 카메라(114)로부터의 그러한 신호들을 메모리(도 3a의 엘리먼트(334))에 저장하기에 적합한 포맷으로 프로세싱하기 위한 회로부를 포함한다. 타임스탬프는 이미지 프로세서(312), 또는 가시광 카메라(114)의 동작을 제어하는 다른 프로세서에 의해 추가될 수 있다. 이미지 프로세서(312)는 추가적으로, 예컨대 글로벌 포지셔닝 시스템(도 3a의 엘리먼트(331))으로부터 수신된 위치 좌표들을 추가할 수 있다.

[0023] 마이크로폰(116)은 오디오가 캡처된 시간을 표시하는 타임스탬프를 디지털 프로세싱하고 추가하기 위해 오디오 프로세서(도 3a의 엘리먼트(313))에 커플링될 수 있다. 오디오 프로세서(313)는, 마이크로폰(116)으로부터(또는 메모리로부터) 신호들을 수신하고, 그러한 신호들을, 메모리(334) 내의 저장에 적합한 그리고/또는 스피커(115)에 의한 프리젠테이션에 적합한 포맷으로 프로세싱하기 위한 회로부를 포함한다. 타임스탬프는 오디오 프로세서(313), 또는 스피커(115) 및 마이크로폰(116)의 동작을 제어하는 다른 프로세서에 의해 추가될 수 있다.

[0024] 도 1a, 도 1b, 및 도 1c에 도시된 바와 같이, 안경류 디바이스(100)는 사용자의 코에 대해 적응된 브리지(bridge)(106)를 통해 우측 림(107B)에 연결된 좌측 림(107A)을 갖는 프레임(105)을 포함한다. 좌측 및 우측 림들(107A-107B)은 개개의 광학 어셈블리(180A-180B)를 홀딩하는 개개의 애퍼처들(175A-175B)을 포함한다. 좌측 및 우측 템플들(125A-125B)은 예컨대 개개의 좌측 및 우측 코너들(110A-110B)을 통해 프레임(105)의 개개의 측면들(170A-170B)로부터 연장된다. 각각의 템플(125A-125B)은 개개의 힌지(126A-126B)를 통해 프레임(105)에 연결된다. 프레임(105), 코너들(110), 및 템플들(125A-125B)을 형성하는 재료들 또는 기판은 플라스틱, 아세테이트, 금속, 또는 이들의 조합을 포함할 수 있다. 코너들(110A-110B)은 프레임(105) 및/또는 템플들(125A-125B)에 통합되거나, 또는 이에 연결될 수 있다.

[0025] 2 개의 광학 어셈블리들(180A-180B)을 갖는 것으로 도시되어 있지만, 안경류 디바이스(100)는 단일 어셈블리 또는 3 개의 광학 어셈블리들과 같은 다른 어레인지먼트(arrangement)들을 포함할 수 있거나, 또는 광학 어셈블리(180A-180B)는 안경류 디바이스(100)의 의도되는 사용자 또는 애플리케이션에 따라 상이한 어레인지먼트를 가질 수 있다.

[0026] 이를테면, 도 1b에 묘사된 일례에서, 각각의 광학 어셈블리(180A-180B)는 디스플레이 매트릭스(171) 및 광학 층 또는 층들(176A-176N)을 포함한다. 디스플레이 매트릭스(171)는 액정 디스플레이(LCD: liquid crystal display), 유기 발광 다이오드(OLED: organic light-emitting diode) 디스플레이, 또는 다른 이러한 디스플레이를 포함할 수 있다. 광학 층 또는 층들(176)은 렌즈들, 광학 코팅들, 프리즘들, 미러들, 도파관들, 광학 스트립들, 및 다른 광학 컴포넌트들을 임의의 조합으로 포함할 수 있다. 본원에서 사용되는 바와 같이, 렌즈라는 용어는, 광이 수렴/발산되게 하거나 또는 수렴 또는 발산을 거의 또는 전혀 야기하지 않는 만곡된 및/또는 평탄한 표면들을 갖는 투명한 또는 반투명한 유리 또는 플라스틱 조각들을 커버하는 것으로 여겨진다.

[0027] 광학 층들(176A-176N)은, 적절한 크기 및 구성을 가지며 그리고 디스플레이 매트릭스로부터 광을 수신하기 위한 제1 표면 및 사용자의 눈에 광을 방출하기 위한 제2 표면을 포함하는 프리즘을 포함할 수 있다. 광학 층들(176A-176N)의 프리즘은, 사용자의 눈이 대응하는 좌측 및 우측 림들(107A-107B)을 통해 보고 있을 때 사용자가 프리즘의 제2 표면을 볼 수 있게 하기 위해, 좌측 및 우측 림들(107A-107B)에 형성된 개개의 애퍼처들(175A-175B)의 적어도 일부 또는 전부에 걸쳐 연장된다. 광학 층들(176A-176N)의 프리즘의 제1 표면은 프레임(105)으로부터 위쪽을 향하고, 디스플레이 매트릭스는, 디스플레이 매트릭스에 의해 방출된 광자들 및 광이 제1 표면에 충돌하도록 프리즘 위에 놓인다. 프리즘은, 광이 프리즘 내에서 굴절되고 광학 층들(176A-176N)의 프리즘의 제2 표면에 의해 사용자의 눈을 향해 지향되도록, 크기가 정해지고 형상화된다. 이와 관련하여, 광학 층들(176A-176N)의 프리즘의 제2 표면은 눈의 중심을 향해 광을 지향시키도록 볼록할 수 있다. 프리즘은 선택적으로, 디스플레이 매트릭스(171)에 의해 투사된 이미지 및 프리즘을 통해 이동하는 광을 확대하도록 크기가 정해지고 형상화될 수 있으며, 그에 따라, 제2 표면으로부터 보여지는 이미지는 디스플레이 매트릭스(171)로부터 방출된 이미지보다 하나 이상의 차원들에서 더 크다.

[0028] 이를테면, 도 1c에 묘사된 다른 예에서, 광학 어셈블리(180A-180B)의 이미지 디스플레이 디바이스는 투사 이미지 디스플레이를 포함한다. 예시된 투사 이미지 디스플레이는, 안경류 디바이스(100)의 코너들(110A-B) 중 하나에 인접하게 배치된 레이저 투사기(150)(예컨대, 스캐닝 미러 또는 검류계를 사용하는 3-컬러 레이저 투사기), 및 광학 어셈블리(180A-180B)의 렌즈의 폭을 가로질러 또는 렌즈의 후방 표면과 전방 표면 사이의 렌즈의 깊이를 가로질러 이격된 광학 스트립들(155A-155N)을 포함한다.

[0029] 레이저 투사기(150)에 의해 투사된 광자들이 광학 어셈블리들(180A 및 180B)의 렌즈를 가로질러 이동함에 따라, 광자들은 광학 스트립들(155A-155N)에 부딪친다. 특정 광자가 특정 광학 스트립에 부딪칠 때, 광자는 사용자의 눈을 향해 재지향되거나 또는 광자는 다음 광학 스트립으로 전달된다. 레이저 투사기(150)의 변조와 광학 스트립들의 변조의 조합은 특정 광자들 또는 광 빔들을 제어한다. 일례에서, 프로세서는 기계적, 음향적, 또는 전자기 신호들을 개시함으로써 광학 스트립들(155A-155N)을 제어한다.

[0030] 일례에서, 안경류 디바이스(100)의 광학 어셈블리(180A-180B) 상에 생성된 가시적 출력은 광학 어셈블리들(180A-180B)을 통한 시야의 적어도 일부를 오버레이하는 오버레이 이미지를 포함한다. 일례에서, 광학 어셈블리들(180A-180B)은 착용자가 광학 어셈블리의 렌즈들을 통해 보고 있는 장면(또는 장면 내의 특징들) 상의 오버레이로서 오버레이 이미지를 제시하는 시-스루 디스플레이들이다. 다른 예에서, 광학 어셈블리들(180A-180B)은, 디스플레이들 상에서의 사용자에게의 프리젠테이션을 위해 안경류 디바이스의 카메라들(114)에 의해 캡처된 실시간 이미지들과 오버레이를 결합함으로써 오버레이 이미지를 제시하는 시-스루 디스플레이들이 아니다(예컨대, 불투명 디스플레이들임).

[0031] 위에서 언급된 바와 같이, 안경류 디바이스(100)는, 예컨대 안경류 디바이스(100) 자체 또는 시스템의 다른 부분에 있는 프로세서 및 메모리에 커플링된다. 후속적으로, 안경류 디바이스(100) 또는 시스템은 눈의 캡처된 이미지들을 프로세싱할 수 있는데, 예컨대, 시스템의 커플링된 메모리 및 프로세서가 눈의 캡처된 이미지들을 프로세싱하여 눈 움직임을 추적할 수 있다. 캡처된 이미지들의 이러한 프로세싱은 사용자의 눈의 움직임을 식별하기 위한 스캔 경로(scanpath)를 설정한다. 스캔 경로는 눈의 캡처된 반사 변동들에 기반한 연속적인 또는 일련의 눈 움직임들을 포함한다. 눈 움직임들은 통상적으로, 눈 시선이 특정 포지션에서 일시정지할 때와 눈 시선이 다른 포지션으로 이동할 때, 각각, 이러한 응시(fixation)들 및 단속성 운동(saccade)들로 분할된다. 결과적인 일련의 응시들 및 단속성 운동들은 스캔경로로 지칭된다. 매끄러운 추적은 움직이는 객체(object)를 따르는 눈을 설명한다. 응시 눈 움직임들은 미세 단속성 운동들: 응시 시도 동안 발생하는 작은 무의식의 단속성 운동들을 포함한다. 그런 다음, 스캔 경로들은 시야 조정을 결정하는 데 활용된다.

[0032] 눈 방향 데이터베이스는 교정 동안 설정될 수 있다. 교정 동안의 개개의 관심 포인트의 알려진 고정 포지션이 알려져 있기 때문에, 그 스캔 경로 데이터베이스는 이전에 획득된 교정 이미지들에 대한 유사성들을 설정하는 데 사용될 수 있다. 관심 포인트의 알려진 고정 포지션이 교정 이미지로부터 알려져 있고 눈 방향 데이터베이스에 기록되기 때문에, 안경류 디바이스(100)는 사용자의 눈의 현재 캡처된 이미지들을 눈 방향 데이터베이스와 비교함으로써 눈이 쳐다보고 있는 위치를 결정할 수 있다. 현재 캡처된 이미지와 가장 밀접하게 유사한 교정 이미지(들)는, 현재 캡처된 이미지에 대한 눈 방향의 양호한 근사치로서 활용되는 관심 포인트의 알려진 고정 포지션을 가질 수 있다.

[0033] 도 2는 우측 가시광 카메라(114), 머리 움직임 추적기(109), 및 마이크로폰(116)을 묘사하는, 도 1a의 안경류 디바이스(100)의 코너의 평면 단면도이다. 좌측 가시광 카메라의 구성 및 배치는, 연결들 및 커플링이 좌측 측면(170A)에 있다는 점을 제외하고는, 우측 가시광 카메라(114)와 실질적으로 유사하다.

[0034] 우측 코너(110B)는 코너 본체 및 코너 캡을 포함하며, 도 2의 단면에서는 코너 캡이 생략되어 있다. 도시된 바와 같이, 안경류 디바이스(100)는, 우측 가시광 카메라(114), 마이크로폰(들), 저전력 무선 회로부(예컨대, Bluetooth™를 통한 무선 단거리 네트워크 통신의 경우), 고속 무선 회로부(예컨대, WiFi를 통한 무선 로컬 영역 네트워크 통신의 경우)에 대한 제어기 회로들을 갖는 가요성 인쇄 회로 보드(PCB: printed circuit board)(240)일 수 있는 회로 보드를 포함한다. 우측 힌지(126B)는 안경류 디바이스(100)의 우측 템플(125C)에 우측 코너(110B)를 연결한다. 일부 예들에서, 우측 가시광 카메라(114), 가요성 PCB(140), 또는 다른 전기적 커넥터들 또는 접촉부들의 컴포넌트들은 우측 템플(125C) 또는 우측 힌지(126B) 상에 로케이팅될 수 있다.

[0035] 머리 움직임 추적기(109)는 예컨대 관성 측정 유닛(IMU: inertial measurement unit)을 포함한다. IMU는, 가속도계들 및 자이로스코프들의 조합, 때로는 또한 자력계들을 사용하여, 신체의 비력(specific force), 각속도(angular rate), 및 때로는 신체를 둘러싸는 자기장을 측정하여 보고하는 전자 디바이스이다. IMU는, 하나 이상의 가속도계들을 사용하여 선형 가속도를 검출하고 하나 이상의 자이로스코프들을 사용하여 회전 레이트를 검출함으로써 작동한다. IMU들의 통상적인 구성들은 3 개의 축들: 좌측-우측 움직임에 대한 수평 축(X), 최상부-최하부 움직임에 대한 수직 축(Y), 및 위-아래 움직임에 대한 깊이 또는 거리 축(Z) 각각에 대해 축마다 하나의 가속도계, 자이로, 및 자력계를 포함한다. 자이로스코프는 중력 벡터를 검출한다. 자력계는 헤딩 기준을 생성하는 컴퍼스와 같이 (예컨대, 남쪽, 북쪽 등을 향하는) 자기장의 회전을 정의한다. 3 개의 가속도계들은, 지면, 안경류 디바이스(100), 또는 안경류 디바이스(100)를 착용한 사용자에 대해 정의될 수 있는, 위에서 정의된 수평, 수직, 및 깊이 축을 따른 가속도를 검출한다.

[0036] 안경류 디바이스(100)는, 머리 움직임 추적기(109)를 통해 안경류 디바이스(100)의 사용자의 머리의 머리 움직임을 추적함으로써 사용자의 움직임을 검출한다. 머리 움직임은, 이미지 디스플레이 상에서의 초기 디스플레이된 이미지의 프리젠테이션 동안, 초기 머리 방향으로부터의 수평 축, 수직 축, 또는 이들의 조합 상에서의 머리 방향의 변화를 포함한다. 일례에서, 머리 움직임 추적기(109)를 통해, 사용자의 머리의 머리 움직임을 추적하는 것은, 관성 측정 유닛(109)을 통해, 수평 축(예컨대, X 축), 수직 축(예컨대, Y 축), 또는 이들의 조합(예컨대, 횡방향 또는 대각선 움직임) 상에서의 초기 머리 방향을 측정하는 것을 포함한다. 머리 움직임 추적기(109)를 통해, 사용자의 머리의 움직임을 추적하는 것은, 초기 디스플레이된 이미지의 프리젠테이션 동안, 관성 측정 유닛(109)을 통해, 수평 축, 수직 축, 또는 이들의 조합 상에서의 연속적인 머리 방향을 측정하는 것을 더 포함한다.

[0037] 도 3a는 예시적인 이미지 선택 및 디스플레이 시스템(300)의 하이-레벨 기능 블록도이다. 이미지 선택 및 디스플레이 시스템(300)은 예에서 안경류 디바이스(100)인 모바일 디바이스를 포함한다. 모바일 디바이스는 하나 이상의 무선 네트워크들 또는 무선 링크들을 통해 다른 모바일 디바이스들(390) 또는 서버 시스템들(398)과 통신할 수 있다. 이미지 선택 및 디스플레이 시스템(300)은 다른 모바일 디바이스들(390) 및 서버 시스템들(398)을 더 포함한다. 모바일 디바이스(390)는 스마트폰, 태블릿, 랩톱 컴퓨터, 액세스 포인트, 또는 예컨대 저전력 무선 연결(325) 및 고속 무선 연결(337)을 사용하여 안경류 디바이스(100)와 연결될 수 있는 다른 이러한 디바이스일 수 있다. 모바일 디바이스(390)는 네트워크(395)를 통해 서버 시스템(398)에 연결된다. 네트워크(395)는 유선 및 무선 연결들의 임의의 조합을 포함할 수 있다.

[0038] 안경류 디바이스(100)는 가시광 카메라(114), 스피커(115), 마이크로폰(116), 사용자 인터페이스(301), 광학 어셈블리(180)의 이미지 디스플레이, 이미지 디스플레이 구동기(342), 이미지 프로세서(312), 오디오 프로세서(313), 저전력 회로부(320), 및 고속 회로부(330)를 포함하고 이들을 지원한다. 안경류 디바이스(100)에 대해 도 3a에 도시된 컴포넌트들은 템플들에서 하나 이상의 회로 보드들, 예컨대 PCB 또는 가요성 PCB 상에 로케이팅된다. 대안적으로 또는 추가적으로, 묘사된 컴포넌트들은 안경류 디바이스(100)의 코너들, 프레임들, 힌지들, 또는 브리지에 로케이팅될 수 있다. 메모리(334)는 이미지 선택 및 디스플레이를 위해 본원에서 설명된 기능들을 수행하기 위한 특징 분석기(344), 특징 모델(345), 상태 선택 프로그래밍(346), 및 콘텐츠 식별 프로그래밍(347)을 포함한다. 메모리(334)는 추가적으로, 이미지 프로세서(312) 및 이미지 디스플레이 구동기(342)를 사용하여 디스플레이들(180A 및 180B) 상에 오버레이 이미지들을 렌더링하기 위한 렌더링 엔진(348)을 포함한다.

[0039] 특징 분석기(344)는, 안경류 디바이스(100)로 하여금, 안경류 디바이스(100)를 통해 보이는 장면으로부터 식별된 객체들 및/또는 양상들을 프로세싱하게 하기 위한 명령들을 구현한다. 특징 모델(345)은 객체들(이를테면, 문들, 포크들, 플레이트들, 자동차들, 창문들, 사람들, 동물들 등) 및/또는 양상들(이를테면, 움직임, 직선들, 곡선들, 재료들)을 식별하도록 트레이닝된 기계 학습 모델이다. 상태 선택 프로그래밍(346)은, 안경류 디바이스(100)로 하여금, 안경류 디바이스(100)가 현재 동작하고 있는 콘텍스추얼 상태를 결정하게 하기 위한 명령들을 구현한다. 콘텐츠 식별 프로그래밍(347)은, 안경류 디바이스(100)로 하여금, 결정된 콘텍스추얼 상태에 대한 응답으로 콘텐츠(예컨대, 이미지들)를 선택하게 하기 위한 명령들을 구현한다.

[0040] 도 3a에 도시된 바와 같이, 고속 회로부(330)는 고속 프로세서(343), 메모리(334), 및 고속 무선 회로부(336)를 포함한다. 일례에서, 이미지 디스플레이 구동기(342)는 광학 어셈블리(180)의 이미지 디스플레이를 구동하기 위해 고속 프로세서(343)에 의해 동작된다. 고속 프로세서(343)는 안경류 디바이스(100)에 필요한 임의의 일반적인 컴퓨팅 시스템의 고속 통신들 및 동작을 관리할 수 있는 임의의 프로세서일 수 있다. 고속 프로세서(343)는 고속 무선 회로부(336)를 사용하여 WLAN(wireless local area network)으로의 고속 무선 연결(337) 상에서의 고속 데이터 전송들을 관리하는 데 필요한 프로세싱 자원들을 포함한다. 일부 예들에서, 고속 프로세서(343)는 안경류 디바이스(100)의 LINUX 운영 시스템 또는 다른 이러한 운영 시스템과 같은 운영 시스템을 실행하고, 운영 시스템은 실행을 위해 메모리(334)에 저장된다. 임의의 다른 책임들에 추가하여, 고속 프로세서(343)는 안경류 디바이스(100)가 고속 무선 회로부(336)를 이용한 데이터 전송들을 관리하도록 하기 위한 소프트웨어 아키텍처를 실행한다. 일부 예들에서, 고속 무선 회로부(336)는 본원에서 Wi-Fi로 또한 지칭되는 IEEE(Institute of Electrical and Electronic Engineers) 802.11 통신 표준들을 구현하도록 구성된다. 다른 예들에서, 고속 무선 회로부(336)는 다른 고속 통신 표준들을 구현한다.

[0041] 안경류 디바이스(100)의 저전력 무선 회로부(324) 및 고속 무선 회로부(336)는 단거리 트랜시버들(Bluetooth™) 및 무선 광역, 로컬, 또는 광역 네트워크 트랜시버들(예컨대, 셀룰러 또는 WiFi)을 포함할 수 있다. 저전력 무선 연결(325) 및 고속 무선 연결(337)을 통해 통신하는 트랜시버들을 포함하는 모바일 디바이스(390)는, 네트워크(395)의 다른 엘리먼트들과 같이 안경류 디바이스(100)의 아키텍처의 세부사항들을 사용하여 구현될 수 있다.

[0042] 메모리(334)는, 무엇보다도, 가시광 카메라(114) 및 이미지 프로세서(312)에 의해 생성된 카메라 데이터뿐만 아니라, 광학 어셈블리(180)의 이미지 디스플레이 상에서의 이미지 디스플레이 구동기(342)에 의한 디스플레이를 위해 생성된 이미지들 그리고 마이크로폰(116) 및 오디오 프로세서(313)에 의해 생성된 오디오 데이터를 포함하는 다양한 데이터 및 애플리케이션들을 저장할 수 있는 저장 디바이스를 포함한다. 메모리(334)는 고속 회로부(330)와 통합되는 것으로 도시되지만, 다른 예들에서, 메모리(334)는 안경류 디바이스(100)의 독립적인 자립형 엘리먼트일 수 있다. 일부 예들에서, 전기적 라우팅 라인들은 이미지 프로세서(312)/오디오 프로세서(313) 또는 저전력 프로세서(324)로부터 고속 프로세서(343)를 포함하는 칩을 통해 메모리(334)로 연결을 제공할 수 있다. 다른 예들에서, 고속 프로세서(343)는, 메모리(334)를 수반하는 판독 또는 기록 동작이 필요할 때마다 저전력 프로세서(324)가 고속 프로세서(343)를 부팅하도록 메모리(334)의 어드레싱을 관리할 수 있다.

[0043] 안경류 디바이스(100)는 글로벌 포지셔닝 시스템(331), 컴퍼스(332), 및 관성 측정 유닛(333)을 더 포함한다. GPS(331)는 GPS 위성들로부터 지오로케이션 및 시간 정보를 수신하는 위성-기반 라디오 내비게이션 시스템에서 사용하기 위한 수신기이다. 컴퍼스(332)는 지리적 기본 방향(geographic cardinal direction)들(또는 포인트들)에 대한 방향을 제공한다. IMU(333)는 가속도계들, 자이로스코프들, 및/또는 자력계들의 조합을 사용하여 힘, 각속도, 및/또는 배향을 측정하여 보고하는 전자 디바이스이다.

[0044] 안경류 디바이스(100)는 호스트 컴퓨터와 연결될 수 있다. 예컨대, 안경류 디바이스(100)는 고속 무선 연결(337)을 통해 모바일 디바이스(390)와 페어링되거나 또는 네트워크(395)를 통해 서버 시스템(398)에 연결될 수 있다. 일례로, 안경류 디바이스(100)는 카메라(114)를 통해 장면의 이미지를 캡처하고, 특징 모델(364)을 트레이닝하기 위해서 서버 시스템(398)으로 포워딩하기 위해 이미지들을 호스트 컴퓨터에 전송한다. 다른 예에서, 안경류 디바이스(100)는 호스트 컴퓨터로부터 이미지들 및/또는 명령들을 수신한다.

[0045] 안경류 디바이스(100)는 다른 출력 컴포넌트 및 입력 컴포넌트들을 더 포함한다. 다른 출력 컴포넌트들은 음향 컴포넌트들(예컨대, 스피커들(115)), 햅틱 컴포넌트들(예컨대, 진동 모터), 및 다른 신호 생성기들을 포함한다. 안경류 디바이스(100), 모바일 디바이스(390), 및 서버 시스템(398)의 입력 컴포넌트들은 영숫자 입력 컴포넌트들(예컨대, 키보드, 영숫자 입력을 수신하도록 구성된 터치 스크린, 포토-광학 키보드, 또는 다른 영숫자 입력 컴포넌트들), 포인트-기반 입력 컴포넌트들(예컨대, 마우스, 터치패드, 트랙볼, 조이스틱, 모션 센서, 또는 다른 포인팅 기기들), 촉각적 입력 컴포넌트들(예컨대, 물리적 버튼, 터치들 또는 터치 제스처들의 위치 및 힘을 제공하는 터치 스크린, 또는 다른 촉각적 입력 컴포넌트들), 오디오 입력 컴포넌트들(예컨대, 마이크로폰) 등을 포함할 수 있다.

[0046] 이미지 선택 및 디스플레이 시스템(300)은 선택적으로, 추가적인 주변 디바이스 엘리먼트들(319)을 포함할 수 있다. 이러한 주변 디바이스 엘리먼트들(319)은 안경류 디바이스(100)와 통합된, 생체인식 센서들, 추가적인 센서들, 또는 디스플레이 엘리먼트들을 포함할 수 있다. 예컨대, 주변 디바이스 엘리먼트들(319)은 출력 컴포넌트들, 모션 컴포넌트들, 포지션 컴포넌트들, 또는 본원에서 설명되는 임의의 다른 이러한 엘리먼트들을 포함하는 임의의 I/O 컴포넌트들을 포함할 수 있다.

[0047] 예컨대, 이미지 선택 및 디스플레이 시스템(300)의 생체인식 컴포넌트들은 표현들(예컨대, 손 표현들, 얼굴 표현들, 보컬 표현들, 신체 제스처들 또는 눈 추적)을 검출하는 것, 생체 신호들(예컨대, 혈압, 심박수, 체온, 발한, 또는 뇌파들)을 측정하는 것, 사람을 식별하는 것(예컨대, 음성 식별, 망막 식별, 얼굴 식별, 지문 식별, 또는 뇌파도(electroencephalogram) 기반 식별) 등을 하기 위한 컴포넌트들을 포함한다. 모션 컴포넌트들은 가속도 센서 컴포넌트들(예컨대, 가속도계), 중력 센서 컴포넌트들, 회전 센서 컴포넌트들(예컨대, 자이로스코프) 등을 포함한다. 포지션 컴포넌트들은 위치 좌표들을 생성하기 위한 위치 센서 컴포넌트들(예컨대, GPS(Global Positioning System) 수신기 컴포넌트), 포지셔닝 시스템 좌표들을 생성하기 위한 WiFi 또는 Bluetooth™ 트랜시버들, 고도 센서 컴포넌트들(예컨대, 고도계들, 또는 고도가 도출될 수 있게 하는 기압을 검출하는 기압계들), 배향 센서 컴포넌트들(예컨대, 자력계들) 등을 포함한다. 이러한 포지셔닝 시스템 좌표들은 또한, 저전력 무선 회로부(324) 또는 고속 무선 회로부(336)를 통해 모바일 디바이스(390)로부터 무선 연결들(325 및 337)을 통해 수신될 수 있다.

[0048] 일례에서, 이미지 프로세서(312)는, 동작하기 위해 마이크로프로세서에 의해 사용되는 휘발성 메모리와 함께, 가시광 카메라(114)로부터의 이미지 센서 데이터를 프로세싱하도록 맞춤화된 마이크로프로세서 집적 회로(IC: integrated circuit)를 포함한다. 이미지 프로세서(312)가 전원을 켜서 데이터를 프로세싱하는 데 걸리는 시간량을 감소시키기 위해, 비-휘발성 ROM(read only memory)이 이미지 프로세서(312)를 동작시키거나 또는 부팅하기 위한 명령들과 함께 IC 상에 통합될 수 있다. 이 ROM은 가시광 카메라(114)로부터 센서 데이터를 수집하기 위한 기본 기능을 제공하는 데 필요한 최소 크기와 일치하도록 최소화될 수 있고, 그에 따라 부트 시간의 지연들을 야기할 어떤 가외의 기능도 존재하지 않는다. ROM은 이미지 프로세서(312)의 마이크로프로세서의 휘발성 메모리에 대한 직접 메모리 액세스(DMA: direct memory access)로 구성될 수 있다. DMA는 이미지 프로세서(312)의 메인 제어기의 동작과 독립적으로 ROM으로부터 이미지 프로세서(312)의 시스템 메모리로의 데이터의 메모리-대-메모리 전송을 가능하게 한다. 이 부트 ROM에 DMA를 제공하는 것은 추가로, 이미지 프로세서(312)의 전원이 켜진 것부터 가시광 카메라(114)로부터의 센서 데이터가 프로세싱 및 저장될 수 있을 때까지의 시간량을 감소시킨다. 일부 예들에서, 가시광 카메라(114)로부터의 카메라 신호의 최소 프로세싱은 이미지 프로세서(312)에 의해 수행되고, 추가적인 프로세싱은 모바일 디바이스(390) 또는 서버 시스템(398) 상에서 동작하는 애플리케이션들에 의해 수행될 수 있다.

[0049] 저전력 회로부(320)는 저전력 프로세서(322) 및 저전력 무선 회로부(324)를 포함한다. 저전력 회로부(320)의 이러한 엘리먼트들은 별개의 엘리먼트들로서 구현될 수 있거나, 또는 단일 칩 상의 시스템의 일부로서 단일 IC 상에 구현될 수 있다. 저전력 프로세서(324)는 안경류 디바이스(100)의 다른 엘리먼트들을 관리하기 위한 로직을 포함한다. 저전력 프로세서(324)는 모바일 디바이스(390)로부터 저전력 무선 연결(325)을 통해 입력 신호들 또는 명령 통신들을 수신하도록 구성된다. 이러한 명령들과 관련된 추가적인 세부사항들은 아래에서 추가로 설명된다. 저전력 무선 회로부(324)는 단거리 네트워크를 통해 저전력 무선 통신 시스템을 구현하기 위한 회로 엘리먼트들을 포함한다. Bluetooth™ 저 에너지로서 또한 알려진 Bluetooth™ 스마트는 저전력 무선 회로부(324)를 구현하는 데 사용될 수 있는 저전력 무선 통신 시스템의 하나의 표준 구현이다. 다른 예들에서, 다른 저전력 통신 시스템들이 사용될 수 있다.

[0050] 모바일 디바이스(390), 및 네트워크(395), 저전력 무선 연결(325), 및 고속 무선 아키텍처(337)의 엘리먼트들은, 모바일 디바이스(390)의 아키텍처의 세부사항들을 사용하여, 예컨대, 도 4에서 설명되는 모바일 디바이스(390)의 단거리 XCVR들 및 WWAN XCVR들을 활용하여 구현될 수 있다.

[0051] 도 3b에 도시된 바와 같이, 서버 시스템(398)은 예컨대 프로세서(360), 메모리(362), 및 네트워크(395)를 통해 모바일 디바이스(390) 및 안경류 디바이스(100)와 통신하기 위한 네트워크 통신 인터페이스(361)를 포함하는 서비스 또는 네트워크 컴퓨팅 시스템의 일부로서 하나 이상의 컴퓨팅 디바이스들일 수 있다. 메모리(362)는 특징 모델(364) 및 신경망 프로그래밍(neural network programming)(365)을 포함한다. 프로세서(360)에 의한 신경망 프로그래밍(365)의 실행은 본원에서 설명되는 기능들 중 일부를 수행하도록 서버 시스템(398)을 구성한다.

[0052] 일례에서, 서버 시스템(398)은, 특징 모델(364)을 트레이닝하기 위해서 신경망 프로그래밍(365)에 의한 사용을 위해, 모바일 디바이스(390)를 통해 안경류 디바이스(100)로부터 그리고 다른 안경류 디바이스들로부터 장면의 이미지들을 네트워크(395)를 통해 수신한다. 서버 시스템(398)은, 콘텍스추얼 상태들에 대응하는 특징들을 식별하는 데 사용하도록, 트레이닝된 특징 모델을 안경류 디바이스(100)에 전송한다.

[0053] 안경류 디바이스(100)의 특징 모델(346)은 서버 시스템(398)의 특징 모델(364)의 미러 이미지일 수 있다. 안경류 디바이스(100)의 특징 모델(346)은 고속 회로부(330)의 ROM(read-only memory), EPROM(erasable programmable read-only memory), 또는 플래시 메모리에 로컬로 저장된다.

[0054] 도 4는 도 3의 이미지 선택 및 디스플레이 시스템(300)을 위한 프로세싱을 제공하는 모바일 디바이스(390)의 일례의 하이-레벨 기능 블록도이다. 채팅 애플리케이션과 같은 다른 애플리케이션들과 함께 로딩되는, 특징 분석기(344), 이미지 리트리벌 프로그래밍(346), 콘텐츠 식별 프로그래밍, 및 디바이스 위치/배향 프로그래밍(348)을 갖는 터치 스크린 타입의 모바일 디바이스(390)의 엘리먼트들이 도시된다. 사용될 수 있는 터치 스크린 타입 모바일 디바이스들의 예들은 스마트 폰, PDA(personal digital assistant), 태블릿 컴퓨터, 랩톱 컴퓨터, 또는 다른 휴대용 디바이스를 포함한다(그러나 이에 제한되지 않음). 그러나, 터치 스크린 타입 디바이스들의 구조 및 동작은 예로서 제공되며; 본원에서 설명되는 바와 같은 본 기술은 그에 제한되도록 의도되지 않는다. 따라서, 이러한 논의를 목적들로, 도 4는, 콘텐츠를 디스플레이하고 사용자 인터페이스로서(또는 그 일부로서) 사용자 입력을 수신하기 위한 터치 스크린 디스플레이를 갖는 예시적인 모바일 디바이스(390)의 블록도 예시를 제공한다. 모바일 디바이스(390)는 또한, 가시광 카메라(들)와 같은 카메라(들)(470) 및 마이크로폰(471)을 포함한다.

[0055] 도 4에 도시된 바와 같이, 모바일 디바이스(390)는 광역 무선 모바일 통신 네트워크를 통한 디지털 무선 통신들을 위해 WWAN XCVR들로서 도시된 적어도 하나의 디지털 트랜시버(XCVR)(410)를 포함한다. 모바일 디바이스(390)는 또한, 이를테면, NFC, VLC, DECT, ZigBee, Bluetooth™, 또는 WiFi를 통한 단거리 네트워크 통신을 위한 단거리 XCVR들(420)과 같은 추가적인 디지털 또는 아날로그 트랜시버들을 포함한다. 예컨대, 단거리 XCVR들(420)은 IEEE 802.11 및 WiMAX 하의 Wi-Fi 표준들 중 하나와 같은 무선 로컬 영역 네트워크들에서 구현되는 하나 이상의 표준 통신 프로토콜들과 호환가능한 타입의 임의의 이용가능한 양방향 WLAN(wireless local area network) 트랜시버의 형태를 취할 수 있다.

[0056] 모바일 디바이스(390)의 포지셔닝을 위한 위치 좌표들을 생성하기 위해, 모바일 디바이스(390)는 GPS(global positioning system) 수신기(331)를 포함할 수 있다. 대안적으로 또는 추가적으로, 모바일 디바이스(390)는 포지셔닝을 위한 위치 좌표들을 생성하기 위해 단거리 XCVR들(420) 및 WWAN XCVR들(410) 중 어느 하나 또는 둘 모두를 활용할 수 있다. 예컨대, 셀룰러 네트워크, WiFi, 또는 Bluetooth™ 기반 포지셔닝 시스템들은, 특히 조합하여 사용될 때 매우 정확한 위치 좌표들을 생성할 수 있다. 이러한 위치 좌표들은 XCVR들(420)을 통해 하나 이상의 네트워크 연결들을 통해서 안경류 디바이스(100)에 송신될 수 있다. 추가적으로, 모바일 디바이스(390)는 방향 정보를 결정하기 위한 관성 측정 유닛(333) 및 컴퍼스(332)를 포함할 수 있다.

[0057] 트랜시버들(410, 420)(네트워크 통신 인터페이스들)은 현대의 모바일 네트워크들에 의해 활용되는 다양한 디지털 무선 통신 표준들 중 하나 이상을 따른다. WWAN 트랜시버들(410)의 예들은, 예컨대 그리고 제한 없이, 때때로 "4G"로 지칭되는 LTE 및 3GPP 타입 2(또는 3GPP2)를 포함하는 3GPP(3rd Generation Partnership Project) 네트워크 기술들 및 CDMA(Code Division Multiple Access)에 따라 동작하도록 구성된 트랜시버들을 포함한다(그러나 이에 제한되지 않음). 예컨대, 트랜시버들(410, 420)은 디지털화된 오디오 신호들, 정지 이미지 및 비디오 신호들, 디스플레이를 위한 웹 페이지 정보뿐만 아니라 웹 관련 입력들을 포함하는 정보의 양방향 무선 통신, 및 사용자 인증 전략들을 위해 모바일 디바이스(390)로의/모바일 디바이스(390)로부터의 다양한 타입들의 모바일 메시지 통신들을 제공한다.

[0058] 모바일 디바이스(390)는 CPU(430)로서 도시된 마이크로프로세서를 더 포함한다. 프로세서는 하나 이상의 프로세싱 기능들, 통상적으로는 다양한 데이터 프로세싱 기능들을 수행하도록 구조화 및 배열된 엘리먼트들을 갖는 회로이다. 이산 로직 컴포넌트들이 사용될 수 있지만, 예들은 프로그램가능 CPU를 형성하는 컴포넌트들을 활용한다. 예컨대, 마이크로프로세서는 CPU의 기능들을 수행하기 위한 전자 엘리먼트들을 통합하는 하나 이상의 집적 회로(IC: integrated circuit) 칩들을 포함한다. 프로세서(430)는 예컨대, 모바일 디바이스들 및 다른 휴대용 전자 디바이스들에서 오늘날 일반적으로 사용되는 ARM 아키텍처를 사용하는 RISC(Reduced Instruction Set Computing)와 같은 임의의 알려진 또는 이용가능한 마이크로프로세서 아키텍처에 기반할 수 있다. 스마트폰, 랩톱 컴퓨터, 및 태블릿에서 CPU(430) 또는 프로세서 하드웨어를 형성하기 위해 다른 프로세서 회로부가 사용될 수 있다.

[0059] 마이크로프로세서(430)는, 예컨대, 프로세서(430)에 의해 실행가능한 명령들 또는 프로그래밍에 따라, 다양한 동작들을 수행하도록 모바일 디바이스(390)를 구성함으로써, 모바일 디바이스(390)에 대한 프로그램가능 호스트 제어기로서의 역할을 한다. 예컨대, 이러한 동작들은 모바일 디바이스의 다양한 일반적인 동작들뿐만 아니라, 이미지가 캡처될 때 디바이스의 위치를 결정하는 것 및 이미지 오버레이들을 생성 및 제시할 때 디바이스의 위치 및 배향을 결정하는 것에 관련된 동작들을 포함할 수 있다. 프로세서가 하드와이어드 로직(hardwired logic)의 사용에 의해 구성될 수 있지만, 모바일 디바이스들의 통상적인 프로세서들은 프로그래밍의 실행에 의해 구성되는 일반적인 프로세싱 회로들이다.

[0060] 모바일 디바이스(390)는 데이터 및 프로그래밍을 저장하기 위한 메모리 또는 저장 디바이스 시스템을 포함한다. 예에서, 메모리 시스템은 플래시 메모리(440A) 및 랜덤 액세스 메모리(RAM: random access memory)(440B)를 포함할 수 있다. RAM(440B)은 예컨대 작동 데이터 프로세싱 메모리로서 프로세서(430)에 의해 핸들링되는 명령들 및 데이터에 대한 단기 저장소로서의 역할을 한다. 플래시 메모리(440A)는 통상적으로 더 장기의 저장소를 제공한다.

[0061] 디바이스의 타입에 따라, 모바일 디바이스(390)는 모바일 운영 시스템을 저장 및 실행하며, 모바일 운영 시스템을 통해, 특징 분석기(344), 특징 모델(345), 상태 선택 프로그래밍(346), 콘텐츠 식별 프로그래밍(347), 및 렌더링 엔진(348)을 포함할 수 있는 특정 애플리케이션들이 실행된다. 그러나, 일부 구현들에서, 프로그래밍은 펌웨어로 또는 펌웨어와 애플리케이션 계층의 조합으로 구현될 수 있다. 예컨대, 장면의 이미지를 캡처하고, 특징들을 식별하고, 특징들을 분석하고, 상태들을 선택하고, 콘텐츠를 식별하고, 그리고 오버레이를 생성하기 위한 명령들은 (예컨대, 전용 GPU 또는 VPU SOC를 갖는) 펌웨어에 상주할 수 있다. 사용자에게 가시적인 출력을 생성하기 위한 명령들은 애플리케이션에 상주할 수 있다. 상태 선택 프로그래밍(346), 콘텐츠 식별 프로그래밍, 및 다른 애플리케이션들과 같은 애플리케이션들은 네이티브 애플리케이션, 하이브리드 애플리케이션, 또는 모바일 디바이스(390) 상에서 실행되는 웹 애플리케이션(예컨대, 웹 브라우저에 의해 실행되는 동적 웹 페이지)일 수 있다. 모바일 운영 시스템들의 예들은 Google Android, Apple iOS(I-Phone 또는 iPad 디바이스들), Windows Mobile, Amazon Fire OS, RIM BlackBerry 운영 시스템 등을 포함한다.

[0062] 도 5a, 도 5b, 및 도 5c는, 각각, 모바일 디바이스(예컨대, 안경류 디바이스(100)) 또는 모바일 디바이스(390) 및 이미지 선택 및 디스플레이 시스템(300)의 다른 컴포넌트들의 예시적인 동작을 예시하는 흐름도들(500, 530, 및 550)이다. 연속적으로 발생하는 것으로 도시되지만, 흐름도들(500, 530, 및/또는 550)의 블록들 중 하나 이상은 구현에 따라 재정렬 또는 병렬화될 수 있다.

[0063] 흐름도들은 모바일 디바이스가, 이미지들을 선택하여 제시하는 안경류 디바이스(100)인 예를 참조하여 아래에서 설명된다. 안경류 디바이스(100)를 참조하여 설명된 기능은 다른 안경류 디바이스들 및 다른 모바일 디바이스들, 이를테면, 모바일 폰들 및 태블릿들에 의해 수행될 수 있다는 것이 이해된다. 다른 모바일 디바이스들(시-스루 디스플레이들을 갖는 모바일 디바이스들, 및 터치스크린들과 같은 비-시-스루(non-see through) 디스플레이들을 갖는 모바일 디바이스들을 포함함)에 대한 다음의 구현을 위한 적합한 수정들이 본원의 설명으로부터 용이하게 이해될 것이다.

[0064] 도 5a의 흐름도(500)를 참조하면, 블록(502)에서, 안경류 디바이스(100)는 물리적 특성들을 모니터링한다. 물리적 특성은, 안경류 디바이스가 사용되고 있는 현재 콘텍스트를 결정하는 데 유용한, 안경류 디바이스(100)를 둘러싼 또는 안경류 디바이스(100)와 연관된 특성들이다. 비-제한적인 예로서, 물리적 특성들은 속도, 시각(time of day), 위치, 그 주변(surroundings)의 이미지들 등을 포함한다. 안경류 디바이스(100)는 카메라(114), 마이크로폰(116), GPS(331), 컴퍼스(332), 및 관성 측정 유닛과 같은 하나 이상의 센서들을 사용하여 물리적 특성들을 모니터링한다. 안경류 디바이스(100)는 프로세싱 동안 리트리벌을 위해 물리적 특성들을 메모리(334)에 저장할 수 있다.

[0065] 블록(504)에서, 안경류 디바이스(100)는 자신이 현재 동작하고 있는 콘텍스추얼 상태를 결정한다. 안경류 디바이스(100)는, 자신의 콘텍스추얼 상태를 결정하기 위해, 단계(502)에서 모니터링된 물리적 특성들을 프로세싱한다. 안경류 디바이스(100)의 콘텍스추얼 상태는 안경류 디바이스(100)가 현재 동작하고 있는 세팅, 상황, 및/또는 위치를 표현한다. 비-제한적인 예로서, 콘텍스추얼 상태들은 식사(dining), 저녁(evening), 쇼핑(shopping), 운전(driving), 외부(outside), 및 이동(moving)을 포함한다.

[0066] 일례로, 안경류 디바이스(100)는 메모리(334)로부터 자신의 주변의 이미지들과 같은 물리적 특성들을 리트리브하고, 특징 분석기(344) 및 특징 모델(345)을 사용하여 이미지들에 객체 인식을 적용한다. 이미지에서 플레이트 및 포크가 식별되면, 안경류 디바이스(100)는 현재 콘텍스트가 식사라고 결정한다. 만약 태양이 인식된다면, 안경류 디바이스(100)는 현재 콘텍스트가 외부라고 결정한다. 다수의 콘텍스트들, 예컨대, 외부 및 식사가 적용가능할 수 있는 이벤트에서, 과거의 트레이닝 예들에 기반하여 가장 적절한 콘텍스트를 선택하기 위해, 안경류 디바이스(100)는, 예컨대, 착용자의 시선이 객체(예컨대, 플레이트 대 풍경)로 지향되는지 여부에 기반하여 인식된 객체들을 가중함으로써 또는 특징 모델들(345)을 이미지들에 적용함으로써, 가장 적절한 콘텍스트를 선택할 수 있다.

[0067] 다른 예에서, 안경류 디바이스(100)는 (예컨대, GPS(331)로부터의) 위치 정보 및 (예컨대, GPS(331)로부터의 GPS 신호들 또는 IMU(333)로부터의 입력에 기반한) 속도 정보를 수신한다. 안경류 디바이스(100)가 상점에 포지셔닝되고 속도가 시간당 3 마일 미만인 경우, 안경류 디바이스(100)는 현재 콘텍스트가 쇼핑이라고 결정한다. 대안적으로, 안경류 디바이스(100)가 도로에 포지셔닝되고 시간당 65 마일의 속도를 갖는 경우, 안경류 디바이스(100)는 현재 콘텍스트가 자동차에서의 운전이라고 결정한다. 특징 분석기(344)는 콘텍스트(예컨대, 자동차를 운전하고 있는 것 대 승객이 되어 자동차에 승차하고 있는 것)를 정교화(refine)하기 위해, 특징 모델(345)을 이미지들에 적용할 수 있다.

[0068] 블록(506)에서, 안경류 디바이스(100)는 결정된 콘텍스추얼 상태(블록(504))와 연관된 이미지를 선택한다. 각각의 잠재적인 콘텍스추얼 상태는 메모리(334)에 저장된 상태들, 이미지들, 및 연관들을 갖는 이미지와 연관된다. 일단 콘텍스추얼 상태가 결정되면, 안경류 디바이스(100)의 이미지 프로세서(312)는 결정된 콘텍스추얼 상태와 연관된 이미지를 메모리(334)로부터 리트리브함으로써 적절한 이미지를 선택한다.

[0069] 일례에서, 안경류 디바이스(100)의 사용자/착용자는 다수의 이용가능한 구성 테마들로부터 구성 스테이지 동안 테마, 예컨대, 아보카도를 선택한다. 이 예에 따르면, 테마는 다수의 이미지들의 집합과 연관되며, 여기서, 각각의 이미지는 잠재적인 콘텍스추얼 상태들 중 하나에 대응한다. 도 6a는 만화 아보카도(604)와 연관된 6 개의 잠재적인 상태들(602a-602f)을 표현하는 이미지들의 집합을 포함하는 하나의 잠재적인 테마(600)(즉, 아보카도들)를 예시한다. 각각의 잠재적인 상태(602a-602f)에 대해 하나씩, 만화 아보카도와 연관된 6 개의 이미지들(606a-606f)이 있다(즉, 저녁 상태(602b)는 담요(606b) 아래의 아보카도와 연관되고, 외부 상태(602e)는 선글라스(606e)를 쓴 아보카도와 연관됨). 다른 예에서, 사용자/착용자는 잠재적인 콘텍스추얼 상태들 각각에 대응하는 이미지들을 선택함으로써 자신들만의 테마를 설계할 수 있다.

[0070] 블록(508)에서, 안경류 디바이스(100)는 안경류 디바이스(100)에 의한 프리젠테이션을 위해 선택된 이미지를 포함하는 오버레이 이미지를 생성한다. 일례로, 안경류 디바이스(100)의 이미지 프로세서(312)는, 카메라(114)에 의해 캡처된 시야 내의 이미지(이는 안경류 디바이스(100)를 통해 사용자/착용자가 보고 있는 것을 표현함)를 분석하고 그리고 이미지가 시야에 있는 인식된 객체들을 가리지 않도록 이 선택된 이미지를 포지셔닝함으로써, 오버레이 이미지들을 생성한다. 다른 예에서, 안경류 디바이스(100)의 이미지 프로세서(312)는, 선택된 이미지가 항상 사용자의 시야 내의 동일한 위치에(예컨대, 중심의 오른쪽에 그리고 위에) 있도록, 선택된 이미지를 포지셔닝한다. 다른 예에서, 안경류 디바이스(100)의 이미지 프로세서(312)는, 도 5b를 참조하여 아래에서 설명되는 바와 같이, 선택된 이미지를 특정 객체(예컨대, 플레이트)에 정합(register)시키고, 그리고 선택된 이미지가 특정 객체와 관련하여 항상 동일한 포지션에(예컨대, 10시(10 o'clock) 포지션에서 플레이트의 에지에 인접하게) 있도록 시야 내에서의 선택된 이미지의 포지션을 계속해서 조정한다.

[0071] 블록(510)에서, 안경류 디바이스(100)는 안경류 디바이스(100)의 광학 어셈블리(180) 상에 오버레이 이미지를 제시한다. 안경류 디바이스(100)의 이미지 프로세서(312)는 이미지 디스플레이 구동기(342)를 통해 광학 어셈블리(180)의 이미지 디스플레이 상에 대체 오버레이 이미지들을 제시한다.

[0072] 도 6b는 오버레이 이미지를 포함하는, 안경류 디바이스(100)의 광학 어셈블리(180)를 통해 보여지는 시야를 갖는 예시적인 장면을 묘사한다. 예시된 예에서, 장면은 자동차 외부의 인도에서 보여지는 도로이다. 오버레이 이미지는 (예컨대, 도로와 관련된 속도 및 포지션에 기반하여 블록(504)에 따라 결정된) 움직이는 콘텍스트(602f)와 연관된 "움직이는" 아보카도(606f)를 포함한다. 예시된 바와 같이, 움직이는 아보카도(606f)는, 이미지 디스플레이 구동기(342)에 의해, 막지 않는 영역(non-obstructing area)(예컨대, 도 6b의 도로(610))에서 중앙에 포지셔닝된다.

[0073] 도 6c는 광학 어셈블리(180)를 통해 보여지는 다른 예시적인 장면을 묘사하며, 여기서, 장면은 자동차 내에서 보여지는 도로이다. 오버레이 이미지는 (예컨대, 도로와 관련된 속도 및 포지션, 객체 식별을 통한 도로의 자동차들(620a, 620b)의 식별, 그리고 객체 식별을 통한, 자동차 내의 객체들, 이를테면, 스티어링 휠(622), 운전석(624a) 및 조수석(624b)의 식별에 기반하여 블록(504)에 따라 결정된) 운전 콘텍스트(602d)와 연관된 "운전" 아보카도(606d)를 포함한다. 예시된 바와 같이, 운전 아보카도(606d)는, 도 5b를 참조하여 아래에서 설명되는 바와 같이, 이미지 디스플레이 구동기(342)에 의해 자동차의 좌석들(624a, 624b) 사이의 포지션에 정합된다.

[0074] 도 6d는 광학 어셈블리(180)를 통해 보여지는 다른 예시적인 장면을 묘사하며, 여기서, 장면은 테이블 상의 끼니(meal)를 포함한다. 오버레이 이미지는 (예컨대, 객체 인식을 통한, 플레이트(630a) 및 포크(630b)와 같은 객체들의 식별에 기반하여 블록(504)에 따라 결정된) 식사 콘텍스트(602a)와 연관된 "식사" 아보카도(606a)를 포함한다. 예시된 바와 같이, 식사 아보카도(606a)는 도 5b를 참조하여 아래에서 설명되는 바와 같이 플레이트(630a)와 관련된 포지션(예컨대, 10시)에 정합된다.

[0075] 블록(512)에서, 안경류 디바이스(100)는 배터리 레벨과 같은, 안경류 디바이스(100)의 파라미터(들)를 모니터링한다. 비-제한적인 예로서, 다른 파라미터들은 WiFi 신호 레벨, 에러들 등을 포함한다.

[0076] 결정 블록(514)에서, 모니터링되는 파라미터들에 관한 결정이 이루어진다. 모니터링되는 파라미터가 임계치와 교차(cross)하면, 프로세싱은 블록(516)에서 진행된다. 결정은 (도 5a에 예시된 바와 같이) 파라미터가 상한치를 초과하는 것, 파라미터가 제한치를 충족하는 것(예컨대, 하나의 임계 에러 코드), 파라미터가 하한치 미만으로 떨어지는 것(예컨대, 배터리 충전 레벨, 효과적인 통신을 위한 최소 신호 레벨 등), 또는 다른 타입의 비교에 기반할 수 있다는 것이 주목된다. 모니터링된 파라미터가 임계치와 교차하지 않는다면, 프로세싱은 블록(502)에서 진행되며, 프로세스는 반복되고 그리고 안경류 디바이스(100)가 동작하고 있는 콘텍스트가 변화함에 따라 대체 이미지들이 선택된다.

[0077] 블록(516)에서, 안경류 디바이스(100)는 모니터링된 파라미터가 임계치와 교차하는 것(블록(514))에 대한 응답으로 오버라이드 이미지(override image)를 선택한다. 일례에서, 안경류 디바이스(100)의 배터리 레벨이 미리 정의된 레벨(예컨대, 10 퍼센트) 미만으로 떨어질 때, (도 6e에 대해 도 6d를 대조시켜) 콘텍스추얼 이미지를 대체하도록 수면(sleep)을 표시하는 오버라이드 이미지(예컨대, 도 6e에 묘사된 바와 같은 저녁 콘텐츠 이미지(606b) 또는 다른 이미지)가 선택된다.

[0078] 블록(518)에서, 안경류 디바이스(100)는 안경류 디바이스(100)에 의한 프리젠테이션을 위해 선택된 오버라이드 이미지를 포함하는 오버레이 이미지를 생성한다. 안경류 디바이스(100)의 이미지 프로세서(312)는 블록(508)을 참조하여 위에서 설명된 바와 같이 대체 오버레이 이미지들을 생성한다.

[0079] 블록(520)에서, 안경류 디바이스(100)는 안경류 디바이스(100)의 광학 어셈블리(180) 상에 오버레이 이미지를 제시한다. 안경류 디바이스(100)의 이미지 프로세서(312)는, 이미지 디스플레이 구동기(342)를 통해, 블록(510)을 참조하여 위에서 설명된 바와 같이 대체 오버레이 이미지들을 제시한다.

[0080] 도 6e는 대체 오버레이 이미지를 포함하는, 안경류 디바이스(100)의 광학 어셈블리(180)를 통해 보여지는 시야를 갖는 예시적인 장면을 묘사한다. 예시된 예에서, 장면은, 예컨대, 안경류 디바이스(100)를 충전할 시간임을 친숙한 방식으로 사용자에게 경보하기 위해, 식사 콘텍스트 아보카도(606a)가 저녁/수면 아보카도(606b)로 대체된, 도 6d의 식사 장면이다.

[0081] 도 5b의 흐름도(530)를 참조하면, 블록(532)에서, 안경류 디바이스(100)는 하나 이상의 물리적 특징들(예컨대, 플레이트, 포크, 스티어링 휠, 좌석 등받이 등)을 식별한다.

[0082] 블록(534)에서, 안경류 디바이스(100)는 물리적 특징들에 대한 신뢰도 레벨을 결정한다. 특징 분석기(344)는 안경류 디바이스에 의해 캡처된 이미지들에 특징 모델(345)을 적용함으로써 특징들의 신뢰도 레벨들을 결정할 수 있다.

[0083] 블록(536)에서, 안경류 디바이스(100)는 선택된 이미지를 가장 높은 신뢰도 레벨들을 갖는 물리적 특징(들)에 정합시킨다. 이미지 프로세서(312)는 선택된 이미지들을 물리적 특징(들)에 정합시킬 수 있다.

[0084] 블록(538)에서, 안경류 디바이스(100)는, 선택된 이미지가 자신이 정합된 물리적 특징(들)에 인접한 오버레이 이미지들을 생성한다. 안경류 디바이스(100)의 이미지 프로세서(312)는 블록(508)을 참조하여 위에서 설명된 바와 같이 오버레이 이미지들을 생성한다.

[0085] 도 5c의 흐름도(550)를 참조하면, 블록(552)에서, 안경류 디바이스(100)는 자신의 위치를 식별한다. 안경류 디바이스는, 특정 위치들(이를테면, 예컨대 프로세서(343)에 의해 액세스가능한 메모리 내의 데이터베이스에 저장된 상점들, 식당들, 공원들, 이력 마커들)을 포함하는 데이터베이스 및 GPS(331)로부터의 GPS 좌표들을 사용하여 자신의 위치를 식별할 수 있다.

[0086] 블록(554)에서, 안경류 디바이스(100)는 식별된 위치에 대한 보충 정보를 결정한다. 보충 정보는 예컨대 가격책정 및 세일 표시 정보를 포함할 수 있다.

[0087] 블록(556)에서, 안경류 디바이스(100)는 보충 정보를 포함하도록 이미지(들)를 수정한다. 예컨대, 쇼핑 아보카도(606c)는 (도 6a에 묘사된 바와 같이) 쇼핑백들 상에 "세일(SALE)"이라는 단어를 포함하도록 또는 현재 적용가능한 퍼센트 할인을 포함하도록 수정될 수 있다. 이러한 방식으로, 시스템은 친숙한 방식으로 훨씬 더 많은 콘텍스추얼 정보를 사용자에게 제공할 수 있다.

[0088] 서버 시스템(398), 모바일 디바이스(390), 및 안경류 디바이스(100)에 대한 특징 분석기(344), 특징 모델(345), 상태 선택 프로그래밍(346), 및 렌더링 엔진(348)을 위한 프로그래밍과 같은 본원에서 설명된 방법들 중 임의의 방법은 이전에 설명된 바와 같은 하나 이상의 애플리케이션들로 또는 방법 단계들로서 이상의 방법들로 구현될 수 있다. 일부 예들에 따르면, "애플리케이션", "애플리케이션들", 또는 "펌웨어"는 프로그램에서 정의된 기능들, 이를테면, 소프트웨어 또는 하드웨어 명령들로 구현된 로직을 실행하는 프로그램(들)이다. 객체-지향 프로그래밍 언어들(예컨대, Objective-C, 자바, 또는 C++) 또는 절차적 프로그래밍 언어들(예컨대, C 또는 어셈블리 언어)과 같은 다양한 프로그래밍 언어들이 다양한 방식들로 구조화된 애플리케이션들 중 하나 이상을 생성하는 데 이용될 수 있다. 특정 예에서, 제3자 애플리케이션(예컨대, 특정 플랫폼의 벤더 이외의 엔티티에 의해 ANDROID™ 또는 IOS™ 소프트웨어 개발 키트(SDK: software development kit)를 사용하여 개발된 애플리케이션)은 모바일 운영 시스템, 이를테면, IOS™, ANDROID™, WINDOWS® Phone, 또는 다른 모바일 운영 시스템 상에서 실행되는 모바일 소프트웨어일 수 있다. 이 예에서, 제3자 애플리케이션은 본원에서 설명된 기능을 가능하게 하기 위해 운영 시스템에 의해 제공되는 애플리케이션 프로그래밍 인터페이스(API: application programming interface) 콜(call)들을 호출할 수 있다. 애플리케이션들은 임의의 타입의 컴퓨터 판독가능 매체 또는 컴퓨터 저장 디바이스에 저장될 수 있고, 하나 이상의 범용 컴퓨터들에 의해 실행될 수 있다. 추가하여, 본원에서 개시된 방법들 및 프로세스들은 대안적으로, 특수 컴퓨터 하드웨어 또는 주문형 집적 회로(ASIC: application specific integrated circuit), 필드 프로그램가능 게이트 어레이(FPGA: field programmable gate array) 또는 복합 프로그램가능 로직 디바이스(CPLD: complex programmable logic device)로 구현될 수 있다.

[0089] 기술의 프로그램 양상들은, 통상적으로 머신-판독가능 매체의 타입으로 수행되거나 또는 구현되는 실행가능 코드 및/또는 연관된 데이터의 형태인 "제품들" 또는 "제조품들"로 생각될 수 있다. 예컨대, 프로그래밍 코드는 내비게이션, 눈 추적 또는 본원에서 설명된 다른 기능들을 위한 코드를 포함할 수 있다. "저장" 타입 매체들은 소프트웨어 프로그래밍을 위해 임의의 시간에 비-일시적인 저장소를 제공할 수 있는 다양한 반도체 메모리들, 테이프 드라이브들, 디스크 드라이브들 등과 같이 컴퓨터들, 프로세서들 등 또는 이들의 연관된 모듈들의 임의의 또는 모든 유형(tangible)의 메모리를 포함한다. 때때로, 소프트웨어의 전부 또는 부분들은 인터넷 또는 다양한 다른 원격통신 네트워크들을 통해 통신될 수 있다. 예컨대, 이러한 통신들은 하나의 컴퓨터 또는 프로세서로부터 다른 컴퓨터 또는 프로세서로, 예컨대, 서비스 제공자의 서버 시스템(398) 또는 호스트 컴퓨터로부터 안경류 디바이스(100) 및 모바일 디바이스(390)의 컴퓨터 플랫폼들로 소프트웨어의 로딩을 가능하게 할 수 있다. 따라서, 프로그래밍, 미디어 콘텐츠 또는 메타-데이터 파일들을 보유할 수 있는 다른 타입의 매체들은, 이를테면, 로컬 디바이스들 사이의 물리적 인터페이스들을 가로질러, 유선 및 광학 랜드라인 네트워크들을 통해 그리고 다양한 공중-링크들을 통해서 사용되는 광학파, 전기파 및 전자기파를 포함한다. 이러한 파들을 운반하는 물리적 엘리먼트들, 이를테면, 유선 또는 무선 링크들, 광학 링크들 등이 또한, 소프트웨어를 보유하는 매체들로서 간주될 수 있다. 본원에서 사용된 바와 같이, "비-일시적인", "유형의", 또는 "저장" 매체들로 제한되지 않는 한, 컴퓨터 또는 머신 "판독가능 매체"와 같은 용어들은, 실행을 위해 프로세서에 명령들 또는 데이터를 제공하는 것에 참여하는 임의의 매체를 지칭한다.

[0090] 따라서, 머신-판독가능 매체는 많은 형태들의 유형의 저장 매체를 취할 수 있다. 예컨대, 비-휘발성 저장 매체들은, 이를테면, 도면들에 도시된 클라이언트 디바이스, 미디어 게이트웨이, 트랜스코더(transcoder) 등을 구현하는 데 사용될 수 있는 임의의 컴퓨터(들) 등의 저장 디바이스들 중 임의의 저장 디바이스와 같은 광학 또는 자기 디스크들을 포함한다. 휘발성 저장 매체들은 이러한 컴퓨터 플랫폼의 동적 메모리, 이를테면, 메인 메모리를 포함한다. 유형의 송신 매체들은 컴퓨터 시스템 내의 버스를 포함하는 와이어들을 포함하는 구리 와이어 및 광섬유; 동축 케이블들을 포함한다. 캐리어-파 송신 매체들은 전기 또는 전자기 신호들, 또는 음향 또는 광 파들, 이를테면, 라디오 주파수(RF: radio frequency) 및 적외선(IR: infrared) 데이터 통신들 동안 생성되는 것들의 형태를 취할 수 있다. 따라서, 컴퓨터-판독가능 매체들의 일반적인 형태들은, 예컨대, 플로피 디스크, 가요성 디스크, 하드 디스크, 자기 테이프, 임의의 다른 자기 매체, CD-ROM, DVD 또는 DVD-ROM, 임의의 다른 광학 매체, 펀치 카드 페이퍼 테이프, 홀들의 패턴들을 갖는 임의의 다른 물리적 저장 매체, RAM, PROM 및 EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 데이터 또는 명령들을 전달하는 반송파, 이러한 반송파를 전달하는 케이블들 또는 링크들, 또는 컴퓨터가 프로그래밍 코드 및/또는 데이터를 판독할 수 있는 임의의 다른 매체를 포함한다. 이러한 형태들의 컴퓨터 판독가능 매체들 중 많은 컴퓨터 판독가능 매체들은 실행을 위해 하나 이상의 명령들의 하나 이상의 시퀀스들을 프로세서에 운반하는 데 수반될 수 있다.

[0091] 보호 범위는, 이제 다음의 청구항들에 의해서만 제한된다. 그 범위는 본 명세서 및 후속하는 출원 이력을 고려하여 해석될 때 청구항들에서 사용되는 언어의 통상적인 의미와 일치하는 한 광범위하고 모든 구조적 및 기능적 등가물들을 포괄하도록 의도되고 해석되어야 한다. 그럼에도 불구하고, 청구항들 중 어떤 청구항도 특허법의 섹션들 101, 102, 또는 103의 요건을 충족시키지 못하는 청구 대상을 포괄하도록 의도되지 않으며, 이들이 그러한 방식으로 해석되어서도 안 된다. 이로써, 이러한 청구 대상의 임의의 의도되지 않은 포괄은 부인된다.

[0092] 바로 위에서 언급된 바를 제외하고, 언급되거나 예시된 어떤 것도, 그것이 청구항들에서 언급되든 또는 언급되지 않든 간에, 공중에게 임의의 컴포넌트, 단계, 특징, 목적, 이익, 이점, 또는 등가물의 전용을 야기하는 것으로 의도되거나 해석되어서는 안 된다.

[0093] 본원에서 사용된 용어들 및 표현들은, 특정 의미들이 본원에서 달리 제시된 경우를 제외하고는, 이들의 대응하는 개개의 질의 및 연구 영역들에 대해, 이러한 용어들 및 표현들에 부여되는 통상적인 의미를 갖는다는 것이 이해될 것이다. 제1 및 제2 등과 같은 관계 용어들은 단지, 하나의 엔티티 또는 액션을 다른 엔티티 또는 액션으로부터 구별하기 위해 이러한 엔티티들 또는 액션들 사이의 임의의 실제의 이러한 관계 또는 순서를 반드시 요구하거나 또는 암시하지 않으면서 사용될 수 있다. "포함한다", "포함하는", "구비한다", "구비하는"라는 용어들 또는 이들의 임의의 다른 변형은 비-배타적인 포함을 커버하도록 의도되며, 따라서 엘리먼트들 또는 단계들의 리스트를 포함하거나 또는 구비하는 프로세스, 방법, 물품 또는 장치는 그러한 엘리먼트들 또는 단계들만을 포함하는 것이 아니라, 이러한 프로세스, 방법, 물품 또는 장치에 고유하거나 또는 명시적으로 나열되지 않은 다른 엘리먼트들 또는 단계들을 포함할 수 있다. 단수형의 엘리먼트는, 추가적인 제약들 없이, 엘리먼트를 포함하는 프로세스, 방법, 물품 또는 장치에서의 추가적인 동일한 엘리먼트들의 존재를 배제하지 않는다.

[0094] 달리 언급되지 않는 한, 다음의 청구항들을 포함하여 본 명세서에서 제시된 임의의 그리고 모든 측정들, 값들, 등급들, 포지션들, 규모들, 크기들, 및 다른 규격들은 정확한 것이 아니라 대략적이다. 이러한 양들은, 이들이 관련되는 기능들 및 이들이 속하는 기술분야에서 관례적인 것과 일치하는 합리적인 범위를 갖도록 의도된다. 예컨대, 명시적으로 달리 언급되지 않는 한, 파라미터 값 등은 명시된 양으로부터 ± 10%만큼 변할 수 있다.

[0095] 추가하여, 전술한 상세한 설명에서, 본 개시내용을 간소화하는 목적을 위해 다양한 특징들이 다양한 예들에서 함께 그룹화된다. 이러한 개시 방법은, 청구된 예들이 각각의 청구항에서 명시적으로 언급된 것보다 더 많은 특징들을 요구한다는 의도를 반영하는 것으로 해석되지 않아야 한다. 오히려, 다음의 청구항들이 반영하는 바와 같이, 보호될 청구 대상은 임의의 단일의 개시된 예의 모든 특징들보다 더 적은 특징들에 있다. 따라서, 다음의 청구항들이 이로써 상세한 설명에 통합되며, 각각의 청구항은 그 자체로 별개로 청구되는 청구 대상을 주장한다.

[0096] 전술한 바가 최상의 모드인 것으로 간주되는 것 및 다른 예들을 설명하였지만, 다양한 수정들이 그 안에서 이루어질 수 있고, 본원에서 개시된 청구 대상은 다양한 형태들 및 예들로 구현될 수 있고, 이들은 많은 애플리케이션들에서 적용될 수 있으며, 이들 중 일부만이 본원에서 설명되었다는 것이 이해된다. 다음의 청구항들에 의해, 본 개념들의 진정한 범위 내에 속하는 임의의 그리고 모든 수정들 및 변형들을 청구하는 것이 의도된다.

Claims

시스템으로서,
모바일 디바이스;
상기 모바일 디바이스에 커플링된 프로세서;
상기 프로세서가 액세스가능한 메모리; 및
상기 메모리에 있는 프로그래밍을 포함하며,
상기 모바일 디바이스는,
광학 어셈블리 ― 상기 광학 어셈블리는 장면(scene)을 보기 위한 뷰잉 영역을 갖고, 그리고 상기 뷰잉 영역에서 상기 장면에 걸쳐 사용자에게 오버레이 이미지(overlay image)들을 제시하도록 구성됨 ―; 및
상기 모바일 디바이스를 둘러싸는 하나 이상의 물리적 특성(physical characteristic)들을 결정하도록 구성된 적어도 하나의 센서를 포함하고,
상기 메모리는 복수의 관련 이미지들을 포함하고, 상기 이미지들 각각은 개개의 콘텍스추얼 상태(contextual state)와 연관되고,
상기 프로세서에 의한 상기 프로그래밍의 실행은 기능들을 수행하도록 상기 시스템을 구성하며,
상기 기능들은,
상기 적어도 하나의 센서를 사용하여 상기 모바일 디바이스를 둘러싸는 상기 하나 이상의 물리적 특성들을 모니터링하기 위한 기능;
상기 모니터링된 하나 이상의 물리적 특성들에 기반하여 상기 모바일 디바이스의 콘텍스추얼 상태를 결정하기 위한 기능;
상기 복수의 관련 이미지들로부터, 상기 결정된 콘텍스추얼 상태와 연관된 이미지를 선택하기 위한 기능;
상기 선택된 이미지로부터 적어도 하나의 오버레이 이미지를 생성하기 위한 기능; 및
상기 광학 어셈블리 상에 상기 적어도 하나의 오버레이 이미지를 제시하기 위한 기능을 포함하는,
시스템.
제1 항에 있어서,
상기 모바일 디바이스는 안경류 디바이스(eyewear device)이며,
상기 안경류 디바이스는,
상기 광학 어셈블리를 지지하는 프레임; 및
상기 프레임의 측면(lateral side)으로부터 연장되는 템플(temple)을 포함하고,
상기 광학 어셈블리는 상기 프레임에 의해 지지되는 시-스루(see-through) 광학 어셈블리인,
시스템.
제1 항에 있어서,
상기 광학 어셈블리는 상기 장면의 이미지를 캡처하도록 구성된 카메라 및 상기 캡처된 이미지 및 상기 적어도 하나의 오버레이 이미지를 디스플레이하도록 구성된 디스플레이를 포함하는,
시스템.
제1 항에 있어서,
상기 프로세서에 의한 상기 프로그래밍의 실행은 추가적인 기능들을 수행하도록 상기 시스템을 추가로 구성하며,
상기 추가적인 기능들은,
상기 모바일 디바이스의 파라미터를 모니터링하기 위한 기능;
상기 모니터링된 파라미터가 임계치와 교차할 때를 결정하기 위한 기능;
상기 모니터링된 파라미터가 상기 임계치와 교차하는 것에 대한 응답으로 상기 복수의 관련 이미지들로부터 오버라이드 이미지(override image)를 선택하기 위한 기능;
상기 선택된 이미지로부터 적어도 하나의 대체 오버레이 이미지를 생성하기 위한 기능; 및
상기 광학 어셈블리 상에 상기 적어도 하나의 대체 오버레이 이미지를 제시하기 위한 기능을 포함하는,
시스템.
제1 항에 있어서,
상기 프로세서에 의한 상기 프로그래밍의 실행은 추가적인 기능들을 수행하도록 상기 시스템을 추가로 구성하며,
상기 추가적인 기능들은,
상기 모니터링된 하나 이상의 물리적 특성들에 기반하여 상기 모바일 디바이스의 상이한 콘텍스추얼 상태를 결정하기 위한 기능;
상기 복수의 관련 이미지들로부터, 상기 결정된 상이한 콘텍스추얼 상태와 연관된 다른 이미지를 선택하기 위한 기능;
상기 선택된 이미지로부터 적어도 하나의 대체 오버레이 이미지를 생성하기 위한 기능; 및
상기 광학 어셈블리 상에 상기 적어도 하나의 대체 오버레이 이미지를 제시하기 위한 기능을 포함하는,
시스템.
제1 항에 있어서,
상기 프로세서에 의한 상기 프로그래밍의 실행은 추가적인 기능들을 수행하도록 상기 시스템을 추가로 구성하며,
상기 추가적인 기능들은,
시야(field of view)에 있는 물리적 특징(physical feature)을 식별하기 위한 기능; 및
상기 이미지를 상기 물리적 특징에 정합(register)시키기 위한 기능을 포함하고,
상기 선택된 이미지로부터 상기 적어도 하나의 오버레이 이미지를 생성하기 위한 기능은, 상기 이미지가 정합된 상기 물리적 특징에 인접하게 상기 이미지를 포지셔닝하는,
시스템.
제1 항에 있어서,
오버레이 이미지들을 생성하도록 상기 시스템을 구성하기 위한 상기 프로세서에 의한 상기 프로그래밍의 실행은,
상기 모바일 디바이스를 둘러싸는 상기 하나 이상의 물리적 특성들에 대한 응답으로 상기 선택된 이미지를 수정하기 위한 기능들을 포함하는,
시스템.
제1 항에 있어서,
상기 프로세서에 의한 상기 프로그래밍의 실행은 추가적인 기능들을 수행하도록 상기 시스템을 추가로 구성하며,
상기 추가적인 기능들은,
상기 적어도 하나의 센서를 사용하여 상기 모바일 디바이스의 위치를 식별하기 위한 기능; 및
상기 식별된 위치와 연관된, 상기 선택된 이미지에 대한 보충 정보를 결정하기 위한 기능을 포함하며,
오버레이 이미지들을 생성하도록 상기 시스템을 구성하기 위한 상기 프로세서에 의한 상기 프로그래밍의 실행은 상기 보충 정보를 포함하도록 상기 선택된 이미지를 수정하기 위한 기능을 포함하는,
시스템.
제1 항에 있어서,
상기 모바일 디바이스를 둘러싸는 상기 하나 이상의 물리적 특성들은 물리적 객체(object), 위치 좌표들, 시각(time of day), 또는 속도 중 적어도 하나를 포함하는,
시스템.
모바일 디바이스를 이용하여 이미지들을 제시하기 위한 방법으로서,
적어도 하나의 센서를 사용하여 상기 모바일 디바이스를 둘러싸는 하나 이상의 물리적 특성들을 모니터링하는 단계;
상기 모니터링된 하나 이상의 물리적 특성들에 기반하여 상기 모바일 디바이스의 콘텍스추얼 상태를 결정하는 단계;
복수의 관련 이미지들로부터, 상기 결정된 콘텍스추얼 상태와 연관된 이미지를 선택하는 단계;
상기 선택된 이미지로부터 적어도 하나의 오버레이 이미지를 생성하는 단계; 및
상기 모바일 디바이스의 광학 어셈블리를 이용하여 상기 적어도 하나의 오버레이 이미지를 제시하는 단계를 포함하는,
모바일 디바이스를 이용하여 이미지들을 제시하기 위한 방법.
제10 항에 있어서,
상기 모바일 디바이스는, 상기 광학 어셈블리를 지지하는 프레임 및 상기 프레임의 측면으로부터 연장되는 템플을 포함하는 안경류 디바이스이며, 상기 광학 어셈블리는 상기 프레임에 의해 지지되는 시-스루 광학 어셈블리인,
모바일 디바이스를 이용하여 이미지들을 제시하기 위한 방법.
제10 항에 있어서,
상기 모바일 디바이스의 파라미터를 모니터링하는 단계;
상기 모니터링된 파라미터가 임계치와 교차할 때를 결정하는 단계;
상기 모니터링된 파라미터가 상기 임계치와 교차하는 것에 대한 응답으로 상기 복수의 관련 이미지들로부터 오버라이드 이미지를 선택하는 단계;
상기 선택된 이미지로부터 적어도 하나의 대체 오버레이 이미지를 생성하는 단계; 및
상기 광학 어셈블리 상에 상기 적어도 하나의 대체 오버레이 이미지를 제시하는 단계를 더 포함하는,
모바일 디바이스를 이용하여 이미지들을 제시하기 위한 방법.
제10 항에 있어서,
상기 모니터링된 하나 이상의 물리적 특성들에 기반하여 상기 모바일 디바이스의 상이한 콘텍스추얼 상태를 결정하는 단계;
상기 복수의 관련 이미지들로부터, 상기 결정된 상이한 콘텍스추얼 상태와 연관된 다른 이미지를 선택하는 단계;
상기 선택된 이미지로부터 적어도 하나의 대체 오버레이 이미지를 생성하는 단계; 및
상기 광학 어셈블리 상에 상기 적어도 하나의 대체 오버레이 이미지를 제시하는 단계를 더 포함하는,
모바일 디바이스를 이용하여 이미지들을 제시하기 위한 방법.
제10 항에 있어서,
상기 광학 어셈블리의 시야에 있는 물리적 특징을 식별하는 단계; 및
상기 이미지를 상기 물리적 특징에 정합시키는 단계를 더 포함하고,
상기 선택된 이미지로부터 상기 적어도 하나의 오버레이 이미지를 생성하는 단계는, 상기 이미지가 정합된 상기 물리적 특징에 인접하게 상기 이미지를 포지셔닝하는 단계를 포함하는,
모바일 디바이스를 이용하여 이미지들을 제시하기 위한 방법.
제10 항에 있어서,
상기 오버레이 이미지들을 생성하는 단계는, 상기 모바일 디바이스를 둘러싸는 상기 하나 이상의 물리적 특성들에 대한 응답으로 상기 선택된 이미지를 수정하는 단계를 포함하는,
모바일 디바이스를 이용하여 이미지들을 제시하기 위한 방법.
제10 항에 있어서,
상기 적어도 하나의 센서를 사용하여 상기 모바일 디바이스의 위치를 식별하는 단계; 및
상기 식별된 위치와 연관된, 상기 선택된 이미지에 대한 보충 정보를 결정하는 단계를 더 포함하며,
상기 오버레이 이미지들을 생성하는 단계는, 상기 보충 정보를 포함하도록 상기 선택된 이미지를 수정하는 단계를 포함하는,
모바일 디바이스를 이용하여 이미지들을 제시하기 위한 방법.
제10 항에 있어서,
상기 모바일 디바이스를 둘러싸는 상기 하나 이상의 물리적 특성들은 물리적 객체, 위치 좌표들, 시각, 또는 속도 중 적어도 하나를 포함하는,
모바일 디바이스를 이용하여 이미지들을 제시하기 위한 방법.
프로그램 코드를 저장한 비-일시적인 컴퓨터-판독가능 매체로서,
상기 프로그램 코드는, 실행될 때, 모바일 디바이스의 전자 프로세서로 하여금,
적어도 하나의 센서를 사용하여 상기 모바일 디바이스를 둘러싸는 하나 이상의 물리적 특성들을 모니터링하는 단계;
상기 모니터링된 하나 이상의 물리적 특성들에 기반하여 상기 모바일 디바이스의 콘텍스추얼 상태를 결정하는 단계;
복수의 관련 이미지들로부터, 상기 결정된 콘텍스추얼 상태와 연관된 이미지를 선택하는 단계;
상기 선택된 이미지로부터 적어도 하나의 오버레이 이미지를 생성하는 단계; 및
상기 모바일 디바이스의 광학 어셈블리를 이용하여 상기 적어도 하나의 오버레이 이미지를 제시하는 단계를 수행하게 하도록 동작하는,
비-일시적인 컴퓨터-판독가능 매체.
제18 항에 있어서,
상기 저장된 프로그램 코드는, 실행될 때,
상기 광학 어셈블리의 시야에 있는 물리적 특징을 식별하고; 그리고
상기 이미지를 상기 물리적 특징에 정합시킴으로써,
상기 적어도 하나의 오버레이 이미지를 생성하는 단계를 야기하도록 동작하고,
상기 선택된 이미지로부터 상기 적어도 하나의 오버레이 이미지를 생성하는 단계는, 상기 이미지가 정합된 상기 물리적 특징에 인접하게 상기 이미지를 포지셔닝하는 단계를 포함하는,
비-일시적인 컴퓨터-판독가능 매체.
제18 항에 있어서,
상기 저장된 프로그램 코드는, 실행될 때,
상기 적어도 하나의 센서를 사용하여 상기 모바일 디바이스의 위치를 식별하고; 그리고
상기 식별된 위치와 연관된, 상기 선택된 이미지에 대한 보충 정보를 결정함으로써,
상기 적어도 하나의 오버레이 이미지를 생성하는 단계를 야기하도록 동작하고,
상기 오버레이 이미지들을 생성하는 단계는, 상기 보충 정보를 포함하도록 상기 선택된 이미지를 수정하는 단계를 포함하는,
비-일시적인 컴퓨터-판독가능 매체.