KR20240051260A

KR20240051260A - 사용자 상태를 나타내기 위한 스냅샷 메시지들

Info

Publication number: KR20240051260A
Application number: KR1020247010803A
Authority: KR
Inventors: 한슬 준; 스벤 크라츠; 조앤 레옹; 싱유 리우; 안드레스 몬로이-헤르난데즈; 브라이언 앤서니 스미스; 유 지앙 탐; 라잔 바이쉬
Original assignee: 스냅 인코포레이티드
Priority date: 2021-09-02
Filing date: 2022-08-18
Publication date: 2024-04-19
Also published as: US20230069328A1; CN117916694A; WO2023034032A1

Abstract

제1 사용자에 의해 이미지를 캡처하고, 캡처된 이미지에서 물리적 마커를 식별하고, 캡처된 이미지의 물리적 마커가 사전 결정된 시간량 동안 전자 안경류 디바이스의 시야 내에 있었다는 것을 결정하는 전자 안경류 디바이스를 사용하여 스냅샷 메시지를 전송하기 위한 시스템들 및 방법들이 설명된다. 객체를 포함하는 3D 스냅샷이 캡처되고, 그리고 식별된 객체가 전자 안경류 디바이스의 시야에 나타날 때마다, 객체의 표현이 실제 객체가 전송된 것처럼 표시를 위해 제2 사용자에게 전송된다. 객체의 표현은 스냅샷 이미지, 스냅샷 이미지로부터 추출된 객체, 객체의 저장된 표현, 객체를 표현하는 증강 현실 컨텐츠 등을 포함할 수 있다.

Description

사용자 상태를 나타내기 위한 스냅샷 메시지들

[0001] 본 출원은 2021년 9월 2일자로 출원된 미국 가출원 일련번호 제63/240,126호에 대한 우선권을 주장하며, 이 출원의 내용들은 인용에 의해 본원에완전히 포함된다.

[0002] 본 개시내용에 제시된 예들은 스마트 안경과 같은 웨어러블 전자 디바이스들을 포함하는 휴대용 전자 디바이스들로부터의 메시징을 제공하기 위한 시스템들 및 방법들에 관한 것이다. 더욱 구체적으로, 본 개시내용은 전자 안경류 디바이스(electronic eyewear device)의 착용자들이 착용자의 상태 또는 상황을 나타내는 스냅샷(snapshot) 메시지들을 제공할 수 있게 하는 시스템들 및 방법들을 설명하지만, 이에 한정되는 것은 아니다.

[0003] 전자 안경류 디바이스들과 같은 웨어러블 전자 디바이스들은 사용자의 모바일 컴퓨팅 디바이스와 같은 모바일 디바이스들 상에서 실행되는 애플리케이션 프로그램들과 통신할 수 있으며, 일부 경우들에는 서버와 직접 통신할 수 있다. 어느 경우에든, 전자 안경류 디바이스는 통신 애플리케이션 백엔드 서비스들뿐만 아니라 텍스트-대-음성(text-to-speech), SHAZAM PLAYER® 앱, 객체 인식 등과 같은 제3자 애플리케이션 프로그래밍 인터페이스(API: application programming interface)들과의 직접적인 디바이스 통합을 지원할 수 있다. 전자 안경류 디바이스들의 착용자는 전자 안경류 디바이스와의 상호 작용을 통해 디스플레이 피처(feature)들을 선택할 수 있다.

[0004] 개시된 다양한 구현들의 피처들은 첨부된 도면 도해들을 참조하는 다음의 상세한 설명으로부터 쉽게 이해될 것이다. 설명의 각각의 엘리먼트와 도면의 여러 보기 전체에 걸쳐 참조 번호가 사용된다. 복수의 유사한 엘리먼트들이 존재하는 경우, 단일 참조 번호가 동일한 엘리먼트들에 할당되고, 부가된 소문자는 특정 엘리먼트를 지칭한다.
[0005] 도면들에 도시된 다양한 엘리먼트들은 달리 나타내지 않는 한 스케일대로 도시되지 않는다. 다양한 엘리먼트들의 치수들은 명료성을 위해 확대되거나 축소될 수 있다. 몇몇 도면들은 하나 이상의 구현들을 묘사하며 단지 예시의 방식으로 제공된 것이며 한정적인 것으로 해석되어서는 안 된다. 도면에는 다음의 그림들이 포함된다:
[0006] 도 1a는 이미지 디스플레이를 갖는 우측 광학 조립체를 도시하는 전자 안경류 디바이스의 예시적인 하드웨어 구성의 측면도를 예시하고;
[0007] 도 1b는 도 1a의 전자 안경류 디바이스의 템플(temple)의 상단 단면도를 예시하고;
[0008] 도 2a는 예시적인 하드웨어 구성의 전자 안경류 디바이스의 예시적인 하드웨어 구성의 후면도를 예시하고;
[0009] 도 2b는 예시적인 하드웨어 구성의 다른 전자 안경류 디바이스의 예시적인 하드웨어 구성의 후면도를 예시하고;
[0010] 도 2c 및 도 2d는 2 개의 상이한 유형의 이미지 디스플레이들을 포함하는 전자 안경류 디바이스의 예시적인 하드웨어 구성들의 후면도들을 예시하고;
[0011] 도 3은 좌측 미가공 이미지로서의 좌측 가시광 카메라에 의해 캡처된 가시광 및 우측 미가공 이미지로서의 우측 가시광 카메라에 의해 캡처된 가시광의 예를 예시하고;
[0012] 도 4는 샘플 구성의 객체들을 통해 소셜(social) 연결들을 제공하기 위한 시스템의 전자 안경류 디바이스의 전자 컴포넌트들의 블록도를 예시하고;
[0013] 도 5는 도 4의 시스템과 함께 사용하도록 적응된 모바일 디바이스의 전자 컴포넌트들의 블록도를 예시하고;
[0014] 도 6은 샘플 구성에서 도 4의 시스템의 서버를 구현하도록 적응된 컴퓨터 시스템의 샘플 구성을 예시하고;
[0015] 도 7은 샘플 구성에서 소셜 연결(social connection)을 확립하기 위해 제1 사용자에 대한 마커(marker)로서 제1 객체를 확립하는 것을 예시하고;
[0016] 도 8은 샘플 구성에서 제2 사용자에 대한 마커로서 제2 객체를 확립함으로써 소셜 연결의 완료를 예시하고;
[0017] 도 9는 마커로서 확립된 제1 객체를 단순히 응시하는 제1 사용자에 의한 제1 사용자로부터 제2 사용자로의 스파클(sparkle)들의 송신을 예시하고;
[0018] 도 10은 제2 사용자가 마커로서 확립된 제2 객체를 응시할 때 제2 사용자에 의한 스파클들의 수신을 예시하고;
[0019] 도 11은 제1 객체와 제2 객체 사이의 연결을 통해 제2 사용자에 의한 제1 사용자로의 송신을 위해 주변으로부터 세그먼트화된 객체(머그(mug))의 송신을 예시하고;
[0020] 도 12는 제1 객체와 제2 객체 사이의 연결을 통해 제2 사용자에 의해 제1 사용자로 송신된 객체(머그)의 수신을 예시하고;
[0021] 도 13은, 샘플 구성에서, 개개의 사용자들이 존재함을 나타내기 위해 스파클들을 전송함으로써 제1 사용자와 제2 사용자를 소셜 연결하기 위한 객체의 샘플 연결들을 예시하고;
[0022] 도 14는 샘플 구성에서, 사용자들 간에 객체들을 전송함으로써 제1 사용자와 제2 사용자를 소셜 연결하기 위한 객체들의 샘플 연결들을 예시하고;
[0023] 도 15는 샘플 구성에서 객체 페어링(pairing)을 제공하고 연결들을 관리하기 위해 모바일 디바이스에 의해 구현된 흐름도를 예시하고; 그리고
[0024] 도 16은, 샘플 구성에서 개개의 사용자를 소셜 연결하기 위해 마커-엔드포인트(marker-endpoint) 객체들을 식별 및 인식하고 환경으로부터 AR 객체들 또는 이미지들 중 적어도 하나의 전송을 프롬프팅하기 위해 전자 안경류 디바이스에 의해 구현되는 흐름도를 예시한다.

[0025] 본 개시내용은 이미지를 캡처하는 제1 사용자에 의해 전자 안경류 디바이스를 사용하여 스냅샷 메시지를 전송하고, 캡처된 이미지에서 물리적 마커(physical marker)를 식별하고, 캡처된 이미지의 물리적 마커가 사전 결정된 시간량 동안 전자 안경류 디바이스의 시야 내에 있었다는 것을 결정하기 위한 시스템들 및 방법들에 관한 것이다. 객체를 포함하는 2D 또는 3D 스냅샷이 캡처되고, 그리고 식별된 객체가 전자 안경류 디바이스의 시야에 나타날 때마다, 객체의 표현이 표시를 위해 제2 사용자에게 전송된다. 객체의 표현은 스냅샷 이미지, 스냅샷 이미지로부터 추출된 객체, 객체의 저장된 표현, 객체를 표현하는 증강 현실 컨텐츠 등을 포함할 수 있다. 샘플 구성에서, 스냅샷은 전송자가 객체 자체를 전송한 것처럼 수신자가 느끼도록 매우 현실적인 실세계 객체의 3D 모델이다. 이러한 예에서, 3D 모델은 마치 실제 객체인 것처럼 물리적 환경과 끊김 없이 혼합될 수 있다.

[0026] 일반적으로, 전자 안경류 디바이스들의 사용자들 사이의 소셜 연결을 제공하기 위한 유연한, 사용자 맞춤형 플랫폼이 설명된다. 본원에 설명된 시스템들 및 방법들은 전자 안경류 디바이스들의 착용자들이 소셜 연결을 위한 개인화된 앵커 포인트(anchor point)들로서 객체들을 확립함으로써 서로 간접적으로 상호 작용할 수 있게 한다. 시스템들 및 방법들은 개개의 사용자들의 환경들에 있는 객체들을 사용하여 분산되고 연결된 "웜홀(wormhole)들"을 생성함으로써 (호환 가능한 전자 안경류 디바이스를 또한 갖는) 원격의 친구가 무엇을 하고 있는지에 대한 인식을 생성함으로써 사용자가 다른 사용자와 연결되어 있다고 느낄 수 있게 한다. 원격의 친구들은 연결된 객체들 사이의 "웜홀들"을 사용하여 하루종일 각각의 친구가 무엇을 하는지에 대한 대인 인식을 생성함으로써 서로 연결을 유지할 수 있다. 다양한 형태들의 구성 가능한 주변 인식 디스플레이들이 전자 안경류 디바이스들의 착용자들의 물리적 환경에 통합되어 대인 인식을 지원하고 전자 안경류 디바이스들의 다른 착용자들과의 소셜, 정서적 연결들을 촉진한다.

[0027] 따라서, 본원에 설명되는 시스템들 및 방법들은 분산되고 연결된 실세계 객체들을 통한 소셜 연결/존재를 가능하게 한다. 연결들은 (같은 객체들 간에) 대칭 또는 (상이한 유형들의 객체들 간에) 비대칭일 수 있으며, 전달되는 컨텐츠는 추상적 증강 현실(AR: augmented reality) 컨텐츠 또는 실세계 컨텐츠일 수 있다. 시스템들 및 방법들은 또한 일시적 및 지속적 AR 컨텐츠를 지원한다. 분산되고 연결된 실세계 객체들을 통한 이러한 컨텐츠의 전달은 객체들을 소셜 연결을 위한 개인화된 앵커 포인트들로서 확립함으로써 원격의 친구들이 증강 현실(AR) 스마트 안경을 착용한 상태에서 서로 간접적으로 상호 작용할 수 있게 한다.

[0028] 샘플 구성들에서, 사용자들은 그들의 일상 생활들에서 사용하거나 접하는 다양한 객체들에 물리적 마커들을 배치한다. 컴패니언 모바일 디바이스 애플리케이션을 사용하여, 사용자는 물리적 마커와 원격 파트너의 물리적 마커들의 세트 간에 연결들을 확립할 수 있다. 일단 연결들이 확립되면, 개개의 사용자들에 의해 착용된 전자 안경류 디바이스들은 그들의 전자 안경류 디바이스의 시야에 있을 때 물리적 마커를 검출할 것이다. 물리적 마커의 인식 시, 전자 안경류 디바이스는 원격의 제1 사용자의 활동들에 기초하여 시각적 및 청각적 AR 컨텐츠가 제2 사용자에게 투사되도록 트리거링하고, AR 컨텐츠가 제2 사용자의 대응하는 물리적 마커 위치(마커-엔드포인트)에 배치되도록 트리거링한다. 대안적으로, AR 컨텐츠가 원격 파트너(사용자-엔드포인트)의 바로 근처 어디에든 배치되도록 설정이 변경될 수 있다. 따라서, 본원에 설명되는 시스템은 2 개의 시스템 구성들을 갖는다. 객체-대-객체의 경우, 컨텐츠는 대응하는 마커의 위치에 배치된다. 그러나, 객체-대-사용자 모드에서는 컨텐츠가 수신 파트너 근처의 위치에 로딩된다.

[0029] 마커-엔드포인트가 사용자의 전자 안경류 디바이스의 시야에 있는 시간 지속기간은 원격 파트너를 위해 어떠한 컨텐츠가 배치되는지 결정할 수 있다. 짧은 시간 기간은 원격 파트너의 마커-엔드포인트 또는 사용자-엔드포인트에서 스파클형(sparkle-like) 효과와 같은 심플한 추상적 효과의 배치를 트리거링할 수 있는 반면, 사전 결정된 더 긴 시간 기간은 전자 안경류 디바이스가 착용자의 실세계 주변으로부터의 컨텐츠를 복제하고 짧은 시간 지속기간(즉, 5초) 동안 오디오를 기록하도록 트리거링할 수 있다. 복제된 컨텐츠와 오디오는 그 후 원격 파트너의 마커-엔드포인트 또는 사용자-엔드포인트에 제공된다.

[0030] 본원에 설명되는 시스템들 및 방법들은 적어도 이하의 설명으로부터 명백해질 이하의 주요 피처들을 포함한다:

[0031] 트리거로들서의 객체들: 시스템은 각각의 사용자가 물리적 마커들을 사용하여 자신의 객체들의 세트에 태깅(tagging)할 수 있게 한다. 사용자는 해당 전자 안경류 디바이스들에 의한 활동 검출을 위한 프록시(proxy)로서 특정 객체들을 플래깅(flagging)할 수 있다. 그 후, 이러한 태깅된 객체들과 상호 작용할 때, 착용자의 전자 안경류 디바이스들이 트리거링되어 AR 또는 실세계 컨텐츠를 생성하여 해당 원격 파트너에 대해 "배치"되게 한다.

[0032] 엔드포인트들로서의 객체들 또는 사용자들: 시스템은 또한 2 개의 전략들 중 하나를 사용하여 AR 컨텐츠가 원격 파트너의 세계에 "배치"될 수 있게 한다. 컨텐츠는 대응하는 물리적 마커(마커-엔드포인트)로 태깅된 객체에 의해 배치되거나, 컨텐츠가 원격 파트너(사용자-엔드포인트) 근처에 생성된다.

[0033] AR 컨텐츠에 대한 소스로서의 실세계: 시스템은 원격 파트너가 경험할 수 있도록 실세계로부터의 시각적 컨텐츠가 캡처되고 생성될 수 있게 하는 복제 피처를 추가로 포함한다. 또한, 오디오 캡처 피처는 마커-엔드포인트 객체의 위치에서의 주변 사운드들 또는 음성들을 기록할 수 있으며, 캡처된 오디오는 또한 파트너에게 재생될 수 있다. 따라서, 친구들은 해당 원격 친구의 경험들과 관련된 고도로 개인화되고 모사한(authentic) 컨텐츠를 보고 들을 수 있다.

[0034] 다음의 상세한 설명은 본 개시내용에 제시된 예들을 예시하는 시스템들, 방법들, 기법들, 명령 시퀀스들 및 컴퓨터 프로그램 제품들을 포함한다. 개시된 주제 및 그 관련 교시들의 철저한 이해를 제공할 목적으로 수많은 상세 사항들 및 예들이 포함된다. 그러나, 관련 기술 분야의 통상의 기술자는 이러한 상세 사항들 없이 관련 교시들을 적용하는 방식을 이해할 수 있다. 개시된 주제의 양태들은 관련 교시들이 다양한 방식들로 적용되거나 실시될 수 있기 때문에 설명된 특정의 디바이스들, 시스템들 및 방법들로 제한되지 않는다. 본원에 사용되는 용어 및 명명법은 특정 양태들을 단지 설명하기 위한 목적일 뿐 제한하려는 의도는 아니다. 일반적으로 공지된 명령 인스턴스들, 프로토콜들, 구조들 및 기법들이 반드시 상세히 표시되는 것은 아니다.

[0035] 본원에 사용된 용어 "연결하다", "연결된", "커플링하다" 및 "커플링된"은 하나의 시스템 엘리먼트에 의해 생성되거나 공급되는 전기 또는 자기 신호들이 다른 커플링되거나 연결된 시스템 엘리먼트에 전달되는 링크들을 포함하는 임의의 논리적, 광학적, 물리적 또는 전기적 연결을 지칭한다. 달리 설명하지 않는 한, 커플링되거나 연결된 엘리먼트들 또는 디바이스들은 반드시 서로 직접 연결될 필요는 없으며, 중간 컴포넌트들, 엘리먼트들 또는 통신 매체에 의해 분리될 수 있으며, 이들 중 하나 이상은 전기 신호들을 수정, 조작 또는 반송할 수 있다. "상에(on)"라는 용어는 어떤 엘리먼트에 의해 직접적으로 지지되거나 해당 엘리먼트에 통합되거나 이에 의해 지지되는 다른 엘리먼트를 통해 해당 엘리먼트에 의해 간접적으로 지지되는 것을 의미한다.

[0036] 예들의 추가적인 목적들, 이점들 및 신규한 피처들은 다음 설명에서 부분적으로 제시될 것이며, 부분적으로는 이하의 첨부 도면들을 검토함으로써 본 기술 분야의 통상의 기술자에게 명백해지거나, 예들의 생성 또는 동작에 의해 학습될 수 있다. 본 주제의 목적들 및 이점들은 첨부된 청구항들에서 특히 지적된 방법론들, 수단들 및 조합들에 의해 실현되고 달성될 수 있다.

[0037] 도면들 중 임의의 도면에 도시된 바와 같은 전자 안경류 디바이스, 관련 컴포넌트들 및 눈 스캐너와 카메라를 통합한 임의의 완전한 디바이스들의 배향은 예시 및 논의의 목적으로 단지 예시의 방식으로 제공된다. 특정 가변 광학 프로세싱 애플리케이션에 대한 동작에서, 전자 안경류 디바이스는 전자 안경류 디바이스의 특정 애플리케이션에 적합한 임의의 다른 방향, 예를 들어 위, 아래, 옆 또는 임의의 다른 배향으로 배향될 수 있다. 또한, 본원에서 사용되는 범위에서, 앞, 뒤, 안쪽, 바깥쪽, 쪽, 좌측, 우측, 횡방향, 길이 방향, 위, 아래, 상위, 하위, 상단, 바닥 및 측면과 같은 임의의 방향 용어는 단지 예시의 방식으로 사용되며, 본원에 다르게 설명된 대로 구성된 임의의 광학계 또는 광학계의 컴포넌트의 방향 또는 배향에 대해 한정적이지 않다.

[0038] 이제 첨부 도면들에 예시되고 아래에 논의되는 예들을 상세히 참조한다. 전자 안경류 디바이스들의 사용자들 사이에 소셜 연결들을 제공하기 위한 샘플 전자 안경류 디바이스 및 연관된 시스템이 도 1 내지 도 16과 관련하여 설명될 것이다.

[0039] 본원에 설명되는 시스템은 3 개의 주요 하드웨어 컴포넌트들, 전자 안경류 디바이스, 모바일 디바이스 및 서버를 포함한다. 전자 안경류 디바이스는 도 1 내지 도 3과 관련하여 설명되고, 모바일 디바이스는 도 5와 관련하여 설명되고, 서버는 도 6과 관련하여 설명될 것이다. 대응하는 시스템은 도 4와 관련하여 설명될 것이다. 전자 안경류 디바이스 및 모바일 디바이스 상의 애플리케이션 소프트웨어를 포함하는 소프트웨어 컴포넌트들의 동작뿐만 아니라 시스템 동작의 예들이 도 7 내지 도 16과 관련하여 설명될 것이다. 이러한 소프트웨어 컴포넌트들은 마커들(예를 들어, 마커-엔드포인트들)을 배치하기 위한 시스템 소프트웨어, 객체 연결들을 확립하고 관리하기 위한 모바일 디바이스 소프트웨어 및 마커들(예를 들어, 장면의 객체들)을 인식하고 컨텐츠를 전송 및 수신하기 위한 전자 안경류 디바이스 소프트웨어를 포함한다. 그러나, 전자 안경류 디바이스가 모바일 디바이스 및/또는 서버의 설명된 기능들을 수행하기에 충분한 프로세싱 및 저장 능력들을 포함하도록 적응된다면, 모바일 디바이스 및/또는 서버가 시스템으로부터 제거될 수 있다는 것이 이해될 것이다.

전자 안경류 디바이스

[0040] 샘플 구성들에서, 증강 현실(AR) 능력들을 갖는 전자 안경류 디바이스들이 본원에 설명된 시스템들에 사용된다. 개인화된 경험들을 가능하게 하고, 효과들이 언제 어디서나 적용될 수 있도록 하고, 착용자만이 송신된 정보를 볼 수 있게 함으로써 사용자 프라이버시를 보장하도록 이러한 디바이스들이 확장 가능하고 맞춤화 가능하므로, 전자 안경류 디바이스들은 본원에 설명된 시스템에서 사용하기에 바람직하다. 캘리포니아주 산타 모니카 소재의 Snap, Inc.로부터 입수 가능한 SPECTACLES®과 같은 전자 안경류 디바이스는 샘플 구성에서 어떠한 특수 하드웨어 없이도 사용될 수 있다.

[0041] 도 1a는 이미지 디스플레이(180D)(도 2a)를 갖는 우측 광학 조립체(180B)를 포함하는 전자 안경류 디바이스(100)의 예시적인 하드웨어 구성의 측면도를 예시한다. 전자 안경류 디바이스(100)는 스테레오 카메라를 형성하는 복수의 가시광 카메라들(114A-B)(도 3)을 포함하며, 그 중 우측 가시광 카메라(114B)는 우측 템플(110B) 상에 위치되고 좌측 가시광 카메라(114A)는 좌측 템플(110A) 상에 위치된다.

[0042] 좌측 및 우측 가시광 카메라들(114A-B)은 가시광 범위 파장에 민감한 이미지 센서를 포함할 수 있다. 가시광 카메라들(114A-B)의 각각은 상이한 전방을 향하는 커버리지 각도를 가지며, 예를 들어, 가시광 카메라(114B)는 묘사된 커버리지 각도(111B)를 갖는다. 커버리지 각도는 가시광 카메라(114A-B)의 이미지 센서가 전자기 방사를 픽 업(pick up)하여 이미지들을 생성하는 각도 범위이다. 이러한 가시광 카메라(114A-B)의 예들은 640p(예를 들어, 총 0.3 메가픽셀들에 대해 640 x 480 픽셀들), 720p 또는 1080p와 같은 고해상도 상보형 금속-산화물-반도체(CMOS: complementary metal-oxide-semiconductor) 이미지 센서 및 비디오 그래픽 어레이(VGA: video graphic array) 카메라를 포함한다. 가시광 카메라들(114A-B)로부터의 이미지 센서 데이터는 지오로케이션(geolocation) 데이터와 함께 캡처되고, 이미지 프로세서에 의해 디지털화되어 메모리에 저장될 수 있다.

[0043] 스테레오스코픽 비전(stereoscopic vision)을 제공하기 위해, 가시광 카메라들(114A-B)은 장면의 이미지가 캡처되는 타임스탬프와 함께 디지털 프로세싱을 위해 이미지 프로세서(도 4의 엘리먼트(412))에 커플링될 수 있다. 이미지 프로세서(412)는 가시광 카메라(114A-B)로부터 신호들을 수신하고 가시광 카메라들(114A-B)로부터의 해당 신호들을 메모리(도 4의 엘리먼트(434))에 저장하기에 적합한 포맷으로 프로세싱하는 회로를 포함할 수 있다. 타임스탬프는 이미지 프로세서(412) 또는 가시광 카메라들(114A-B)의 동작을 제어하는 다른 프로세서에 의해 추가될 수 있다. 가시광 카메라들(114A-B)은 스테레오 카메라가 인간의 양안 비전을 시뮬레이팅하는 것을 허용한다. 스테레오 카메라들은 또한 각각 동일한 타임스탬프를 갖는 가시광 카메라들(114A-B)로부터 캡처된 2 개의 이미지들(도 3의 엘리먼트들(358A-B))에 기초하여 3차원 이미지들(도 3의 이미지(315))을 재생하는 능력을 제공한다. 이러한 3차원 이미지들(315)은 예를 들어, 가상 현실이나 비디오 게임에 대한 실감나는 몰입형 경험을 허용한다. 스테레오스코픽 비전의 경우, 이미지들(358A-B)의 쌍이 주어진 순간에 생성될 수 있으며 - 좌측 및 우측 가시광 카메라들(114A-B)의 각각에 대한 하나의 이미지이다. 좌측 및 우측 가시광 카메라들(114A-B)의 전방을 향하는 시야(FOV: field of view)(111A-B)로부터 생성된 이미지들의 쌍(358A-B)이 (예를 들어, 이미지 프로세서(412)에 의해) 함께 스티칭(stitching)될 때, 깊이 지각이 광학 조립체(180A-B)에 의해 제공된다.

[0044] 일 예에서, 전자 안경류 디바이스(100)는 프레임(105), 우측 테두리(107B), 프레임(105)의 우측 횡방향 측면(170B)으로부터 연장되는 우측 템플(110B) 및 사용자에게 그래픽 사용자 인터페이스를 제공하기 위한 광학 조립체(180B)를 포함하는 투시형(see-through) 이미지 디스플레이(180D)(도 2a 및 도 2b)를 포함한다. 전자 안경류 디바이스(100)는 장면의 제1 이미지를 캡처하기 위해 프레임(105) 또는 좌측 템플(110A)에 연결된 좌측 가시광 카메라(114A)를 포함한다. 전자 안경류 디바이스(100)는 제1 이미지와 부분적으로 중첩되는 장면의 제2 이미지를 (예를 들어 좌측 가시광 카메라(114A)와 동시에) 캡처하기 위해 프레임(105) 또는 우측 템플(110B)에 연결된 우측 가시광 카메라(114B)를 추가로 포함한다. 비록 도 1a 및 도 1b에는 도시되지 않았지만, 프로세서(432)(도 4)는 전자 안경류 디바이스(100)에 커플링되고 가시광 카메라들(114A-B) 및 프로세서(432)에 액세스 가능한 메모리(434)(도 4)에 연결되며, 메모리(434)의 프로그래밍은 전자 안경류 디바이스(100) 자체에 제공될 수 있다.

[0045] 도 1a에는 도시되지 않았지만, 전자 안경류 디바이스(100)는 또한 머리 이동 추적기(도 1b의 엘리먼트(109)) 또는 눈 이동 추적기(도 2a의 엘리먼트(113) 또는 도 2b 및 도 2c의 엘리먼트(213))를 포함할 수 있다. 전자 안경류 디바이스(100)는 각각 표시된 이미지들의 시퀀스를 제공하기 위한 광학 조립체(180A-B)의 투시형 이미지 디스플레이들(180C-D) 및 표시된 이미지들(315)의 시퀀스를 제공하기 위해 광학 조립체(180A-B)의 이미지 디스플레이들(180C-D)을 제어하기 위해 광학 조립체(180A-B)의 투시형 이미지 디스플레이들(180C-D)에 커플링된 이미지 디스플레이 드라이버(도 4의 엘리먼트(442))를 추가로 포함할 수 있으며, 이는 아래에 추가로 상세히 설명된다. 전자 안경류 디바이스(100)는 메모리(434) 및 이미지 디스플레이 드라이버(442) 및 메모리(434)에 대한 액세스를 갖는 프로세서(432)뿐만 아니라 메모리(434)의 프로그래밍도 추가로 포함할 수 있다. 프로세서(432)에 의한 프로그래밍의 실행은 전자 안경류 디바이스(100)가 투시형 이미지 디스플레이(180C-D)를 통해 표시된 이미지들의 시퀀스의 초기 표시된 이미지를 제공하는 기능들을 포함하는 기능들을 수행하도록 구성하며, 초기 표시된 이미지는 눈 이동 추적기(113 또는 213)에 의해 결정된 초기 머리 방향 또는 초기 시선 방향에 대응하는 초기 시야를 갖는다.

[0046] 프로세서(432)에 의한 프로그래밍의 실행은 (i) 머리 이동 추적기(도 1b의 엘리먼트(109))를 통한 사용자 머리의 머리 이동 추적, 또는 (ii) 눈 이동 추적기(도 2a의 엘리먼트(113) 또는 도 2b 및 도 2c의 엘리먼트(213))를 통한 전자 안경류 디바이스(100)의 사용자 눈의 눈 이동 추적에 의해 전자 안경류 디바이스(100)의 사용자의 이동을 검출하도록 전자 안경류 디바이스(100)를 추가로 구성할 수 있다. 프로세서(432)에 의한 프로그래밍의 실행은 사용자의 검출된 이동에 기초하여 초기 표시된 이미지의 초기 시야에 대한 시야 조정을 결정하도록 전자 안경류 디바이스(100)를 추가로 구성할 수 있다. 시야 조정은 연속적인 머리 방향 또는 연속적인 눈 방향에 대응하는 연속적인 시야를 포함할 수 있다. 프로세서(432)에 의한 프로그래밍의 실행은 시야 조정에 기초하여 표시된 이미지들의 시퀀스의 연속적인 표시된 이미지를 생성하도록 전자 안경류 디바이스(100)를 추가로 구성할 수 있다. 프로세서(432)에 의한 프로그래밍의 실행은 광학 조립체(180A-B)의 투시형 이미지 디스플레이들(180C-D)을 통해 연속적으로 표시된 이미지들을 제공하도록 전자 안경류 디바이스(100)를 추가로 구성할 수 있다.

[0047] 도 1b는 우측 가시광 카메라(114B), 머리 이동 추적기(109) 및 회로 기판(140)을 묘사하는 도 1a의 전자 안경류 디바이스(100)의 템플의 상단 단면도를 예시한다. 좌측 가시광 카메라(114A)의 구성 및 배치는 연결들 및 커플링들이 좌측 횡방향 측면(170A)(도 2a)에 있다는 점을 제외하면 우측 가시광 카메라(114B)와 실질적으로 유사하다. 도시된 바와 같이, 전자 안경류 디바이스(100)는 우측 가시광 카메라(114B) 및 가요성 인쇄 회로 기판(PCB: printed circuit board)(140)일 수 있는 회로 기판을 포함한다. 우측 힌지(hinge)(126B)는 전자 안경류 디바이스(100)의 힌지형 아암(125B)에 우측 템플(110B)을 연결한다. 일부 예들에서, 우측 가시광 카메라(114B), 가요성 PCB(140) 또는 다른 전기 커넥터들 또는 접점들의 컴포넌트들은 우측 템플(110B) 또는 우측 힌지(126B) 상에 위치될 수 있다.

[0048] 도시된 바와 같이, 전자 안경류 디바이스(100)는 예를 들어, 관성 측정 유닛(IMU: inertial measurement unit)을 포함하는 머리 이동 추적기(109)를 포함할 수 있다. 관성 측정 유닛은 가속도계들과 자이로스코프들, 때로는 또한 자력계들의 조합을 사용하여 신체의 특정 힘, 각속도, 때로는 신체 주변의 자기장을 측정하고 보고하는 전자 디바이스이다. 관성 측정 유닛은 하나 이상의 가속도계들을 사용하여 선형 가속도를 검출하고 하나 이상의 자이로스코프들을 사용하여 회전 속도를 검출함으로써 작동한다. 관성 측정 유닛들의 통상적인 구성들은 좌측-우측 이동에 대한 수평 축(X), 상하 이동에 대한 수직 축(Y) 및 업-다운 이동에 대한 깊이 또는 거리 축(Z)의 3 개의 축들의 각각에 대해 축당 하나의 가속도계, 자이로 및 자력계를 포함한다. 가속도계는 중력 벡터를 검출한다. 자력계는 방위 기준을 생성하는 나침반과 같이 자기장의 회전(예를 들어, 남쪽, 북쪽 등을 향함)을 정의한다. 3 개의 가속도계들은 위에서 정의된 수평, 수직 및 깊이 축을 따른 가속도를 검출하며, 이는 지면, 전자 안경류 디바이스(100) 또는 전자 안경류 디바이스(100)를 착용한 사용자에 대해 정의될 수 있다.

[0049] 전자 안경류 디바이스(100)는 머리 이동 추적기(109)를 통해 사용자 머리의 이동을 추적함으로써 전자 안경류 디바이스(100)의 사용자의 이동을 검출할 수 있다. 머리 이동은 이미지 디스플레이 상에 처음 표시된 이미지의 프리젠테이션(presentation) 동안 초기 머리 방향으로부터 수평 축, 수직 축 또는 이들의 조합으로 머리 방향의 변화를 포함한다. 일 예에서, 머리 이동 추적기(109)를 통해 사용자 머리의 머리 이동을 추적하는 것은 관성 측정 유닛(109)을 통해 수평 축(예를 들어, X 축), 수직 축(예를 들어, Y 축) 또는 이들의 조합(예를 들어, 가로 또는 대각선 이동) 상의 초기 머리 방향을 측정하는 것을 포함한다. 머리 이동 추적기(109)를 통해 사용자 머리의 머리 이동을 추적하는 것은 관성 측정 유닛(109)을 통해 초기 표시된 이미지의 프리젠테이션 동안 수평 축, 수직 축 또는 이들의 조합 상의 연속적인 머리 방향을 측정하는 것을 추가로 포함한다.

[0050] 머리 이동 추적기(109)를 통해 사용자 머리의 머리 이동을 추적하는 것은 초기 머리 방향 및 연속적인 머리 방향 모두에 기초하여 머리 방향의 변화를 결정하는 것을 추가로 포함할 수 있다. 전자 안경류 디바이스(100)의 사용자의 이동을 검출하는 것은 머리 이동 추적기(109)를 통해 사용자 머리의 머리 이동을 추적하는 것에 응답하여, 머리 방향의 변화가 수평 축, 수직 축 또는 이들의 조합 상의 편차 각도 임계값을 초과한다는 것을 결정하는 것을 추가로 포함할 수 있다. 샘플 구성들에서, 편차 각도 임계값은 약 3° 내지 10°이다. 본원에 사용되는 바와 같이, 각도를 지칭할 때 "약(about)"이라는 용어는 언급된 양으로부터 ± 10%를 의미한다.

[0051] 수평 축을 따른 변화는, 예를 들어, 3차원 객체의 가시성을 숨기거나 숨김 해제하거나 달리 조정함으로써 문자들, 비트모지(Bitmoji)들, 애플리케이션 아이콘들 등과 같은 3차원 객체들을 시야 안팎으로 슬라이딩시킨다. 예를 들어, 사용자가 위쪽을 바라볼 때 수직 축을 따른 변화는 일 예에서 날씨 정보, 시간(time of day), 날짜, 캘린더 약속들 등을 표시한다. 다른 예에서, 사용자가 수직 축 상에서 아래쪽을 바라볼 때, 전자 안경류 디바이스(100)는 전원을 끌 수 있다.

[0052] 도 1b에 도시된 바와 같이, 우측 템플(110B)은 템플 몸체(211)와 템플 캡(cap)을 포함하며, 도 1b의 단면에서는 템플 캡이 생략되어 있다. 우측 템플(110B) 내부에는 우측 가시광 카메라(114B), 마이크로폰(들)(130), 스피커(들)(132), 저전력 무선 회로(예를 들어, BLUETOOTH®를 통한 무선 단거리 네트워크 통신용) 및 고속 무선 회로(예를 들어, WI-FI®를 통한 무선 근거리 네트워크 통신용)에 대한 제어기 회로들을 포함하는 PCB들 또는 가요성 PCB들(140)과 같은 다양한 상호 연결된 회로 기판들이 있다.

[0053] 우측 가시광 카메라(114B)는 가요성 PCB(140)에 커플링 또는 배치되고, 우측 템플(110B)에 형성된 개구(들)를 통해 조준되는 가시광 카메라 커버 렌즈에 의해 덮여진다. 일부 예들에서, 우측 템플(110B)에 연결된 프레임(105)은 가시광 카메라 커버 렌즈에 대한 개구(들)를 포함한다. 프레임(105)은 사용자의 눈에서 멀어지는 바깥쪽을 향하도록 구성된 전방을 향하는 측면을 포함할 수 있다. 가시광 카메라 커버 렌즈에 대한 개구는 전방을 향하는 측면 상에 그리고 이를 통해 형성될 수 있다. 해당 예에서, 우측 가시광 카메라(114B)는 전자 안경류 디바이스(100)의 사용자의 우측 눈의 시선 또는 원근(perspective)과 함께 바깥쪽을 향하는 커버리지 각도(111B)를 갖는다. 가시광 카메라 커버 렌즈는 또한 우측 템플(110B)의 바깥쪽을 향하는 표면에 부착될 수 있으며, 여기서 개구는 바깥쪽을 향하는 커버리지 각도로 형성되지만, 상이한 바깥쪽으로의 방향을 갖는다. 커플링은 또한 중간 컴포넌트들을 통해 간접적으로 이루어질 수 있다.

[0054] 좌측(제1) 가시광 카메라(114A)는 제1의 연속적으로 표시된 이미지의 제1 배경 장면을 생성하기 위해 좌측 광학 조립체(180A)의 좌측 투시형 이미지 디스플레이(180C)에 연결될 수 있다. 우측(제2) 가시광 카메라(114B)는 제2의 연속적으로 표시된 이미지의 제2 배경 장면을 생성하기 위해 우측 광학 조립체(180B)의 우측 투시형 이미지 디스플레이(180D)에 연결될 수 있다. 제1 배경 장면과 제2 배경 장면은 연속적으로 표시되는 이미지의 3차원 관찰 가능 영역을 나타내기 위해 부분적으로 중첩될 수 있다.

[0055] 가요성 PCB(140)는 우측 템플(110B) 내부에 배치될 수 있고, 우측 템플(110B)에 하우징된 하나 이상의 다른 컴포넌트들에 커플링될 수 있다. 우측 템플(110B)의 회로 기판들(140) 상에 형성된 것으로 도시되었으나, 우측 가시광 카메라(114B)는 좌측 템플(110A)의 회로 기판들(140), 힌지형 아암들(125A-B) 또는 프레임(105) 상에 형성될 수 있다.

[0056] 도 2a는 전자 안경류 디바이스(100)의 예시적인 하드웨어 구성의 후면도를 예시한다. 도 2a에 도시된 바와 같이, 전자 안경류 디바이스(100)는 사용자가 착용할 수 있도록 구성된 형태이며, 도 2a의 예에서는 안경이다. 전자 안경류 디바이스(100)는 다른 형태를 취할 수 있으며, 예를 들어, 헤드기어, 헤드셋 또는 헬멧과 같은 다른 유형의 프레임워크들을 통합할 수 있다.

[0057] 안경 예에서, 전자 안경류 디바이스(100)는 사용자의 코에 적응된 브릿지(106)를 통해 우측 테두리(107B)에 연결된 좌측 테두리(107A)를 포함하는 프레임(105)을 포함한다. 좌측 및 우측 테두리들(107A-B)은 렌즈 및 투시형 디스플레이들(180C-D)과 같은 개개의 광학 엘리먼트(180A-B)를 유지하는 개개의 애퍼처(aperture)들(175A-B)을 포함한다. 본원에서 사용되는 렌즈라는 용어는 광이 수렴/발산하게 하거나 수렴/발산을 거의 또는 전혀 유발하지 않는 곡선의 표면 및 편평한 표면을 갖는 투명 또는 반투명 유리 또는 플라스틱 단편들을 덮는 것을 의미한다.

[0058] 2 개의 광학 엘리먼트들(180A-B)을 갖는 것으로 도시되어 있지만, 전자 안경류 디바이스(100)는 전자 안경류 디바이스(100)의 애플리케이션 또는 의도된 사용자에 따라 단일 광학 엘리먼트와 같은 다른 배열들을 포함할 수 있다. 추가로 도시된 바와 같이, 전자 안경류 디바이스(100)는 프레임(105)의 좌측 횡방향 측면(170A)에 인접한 좌측 템플(110A) 및 프레임(105)의 우측 횡방향 측면(170B)에 인접한 우측 템플(110B)을 포함한다. 템플들(110A-B)은 (예시된 바와 같이) 개개의 측면들(170A) 상의 프레임(105)으로 통합될 수 있거나 개개의 측면(170A-B) 상의 프레임(105)에 부착된 별도의 컴포넌트들로서 구현될 수 있다. 대안적으로, 템플들(110A-B)은 프레임(105)에 부착된 힌지형 아암들(125A-B)에 통합될 수 있다.

[0059] 도 2a의 예에서, 적외선 방출기(115) 및 적외선 카메라(120)를 포함하는 눈 스캐너(113)가 제공될 수 있다. 가시광 카메라들은 통상적으로 적외선 광 검출을 차단하기 위해 청색 광 필터를 포함한다. 일 예에서, 적외선 카메라(120)는 청색 필터가 제거된 저해상도 비디오 그래픽 어레이(VGA: video graphic array) 카메라(예를 들어, 총 0.3 메가픽셀에 대해 640 x 480 픽셀들)와 같은 가시광 카메라이다. 적외선 방출기(115) 및 적외선 카메라(120)는 프레임(105) 상에 동일 위치에 있을 수 있다. 예를 들어, 둘 모두 좌측 테두리(107A)의 상위 부분에 연결된 것으로 도시되어 있다. 프레임(105) 또는 좌측 및 우측 템플들(110A-B) 중 하나 이상은 적외선 방출기(115)와 적외선 카메라(120)를 포함하는 회로 기판(미도시)을 포함할 수 있다. 적외선 방출기(115)와 적외선 카메라(120)는 예를 들어, 납땜으로 회로 기판에 연결될 수 있다.

[0060] 적외선 방출기(115)와 적외선 카메라(120)가 모두 우측 테두리(107B)에 있거나 프레임(105) 상의 상이한 위치들에 있는 배열들을 포함하여 적외선 방출기(115)와 적외선 카메라(120)의 다른 배열들이 구현될 수 있다. 예를 들어, 적외선 방출기(115)는 좌측 테두리(107A) 상에 있을 수 있고, 적외선 카메라(120)는 우측 테두리(107B) 상에 있을 수 있다. 다른 예에서, 적외선 방출기(115)는 프레임(105) 상에 있을 수 있고 적외선 카메라(120)는 템플들(110A-B) 중 하나 상에 있을 수 있으며, 그 반대일 수도 있다. 적외선 방출기(115)는 본질적으로 프레임(105), 좌측 템플(110A) 또는 우측 템플(110B) 상의 어느 곳에나 연결되어 적외선 광의 패턴을 방출할 수 있다. 유사하게, 적외선 카메라(120)는 본질적으로 프레임(105), 좌측 템플(110A) 또는 우측 템플(110B) 상의 어느 곳에나 연결되어 적외선 광의 방출된 패턴에서 적어도 하나의 반사 변화를 캡처할 수 있다.

[0061] 적외선 방출기(115) 및 적외선 카메라(120)는 개개의 눈 포지션 및 시선 방향을 식별하기 위해 눈의 부분 또는 전체 시야로 사용자의 눈을 향해 안쪽을 향하도록 배열될 수 있다. 예를 들어, 적외선 방출기(115) 및 적외선 카메라(120)는 눈 바로 앞에, 프레임(105)의 상위 부분에 또는 프레임(105)의 어느 하나의 단부들에 있는 템플들(110A-B)에 포지셔닝될 수 있다.

[0062] 도 2b는 다른 전자 안경류 디바이스(200)의 예시적인 하드웨어 구성의 후면도를 예시한다. 이러한 예시적인 구성에서, 전자 안경류 디바이스(200)는 우측 템플(210B) 상의 눈 스캐너(213)를 포함하는 것으로 묘사된다. 도시된 바와 같이, 적외선 방출기(215)와 적외선 카메라(220)는 우측 템플(210B) 상에 함께 위치된다. 눈 스캐너(213) 또는 눈 스캐너(213)의 하나 이상의 컴포넌트들은 좌측 템플(210A) 및 전자 안경류 디바이스(200)의 다른 위치들, 예를 들어, 프레임(105)에 위치할 수 있다는 것이 이해되어야 한다. 적외선 방출기(215) 및 적외선 카메라(220)는 도 2a의 것과 유사하지만, 눈 스캐너(213)는 도 2a에서 상술한 바와 같이 상이한 광 파장들에 민감하도록 변경될 수 있다. 도 2a와 유사하게, 전자 안경류 디바이스(200)는 브릿지(106)를 통해 우측 테두리(107B)에 연결된 좌측 테두리(107A)를 포함하는 프레임(105)을 포함한다. 좌측 및 우측 테두리들(107A-B)은 투시형 디스플레이(180C-D)를 포함하는 개개의 광학 엘리먼트들(180A-B)을 유지하는 개개의 애퍼처들을 포함할 수 있다.

[0063] 도 2c 및 도 2d는 2 개의 상이한 유형의 투시형 이미지 디스플레이들(180C-D)을 포함하는 전자 안경류 디바이스(100)의 예시적인 하드웨어 구성들의 후면도들을 예시한다. 일 예에서, 광학 조립체(180A-B)의 이러한 투시형 이미지 디스플레이들(180C-D)은 통합된 이미지 디스플레이를 포함한다. 도 2c에 도시된 바와 같이, 광학 조립체들(180A-B)은 액정 디스플레이(LCD: liquid crystal display), 유기 발광 다이오드(OLED: organic light-emitting diode) 디스플레이, 도파관 디스플레이 또는 임의의 다른 이러한 디스플레이와 같은 임의의 적합한 유형의 적합한 디스플레이 매트릭스(180C-D)를 포함한다.

[0064] 광학 조립체(180A-B)는 또한 렌즈들, 광학 코팅들, 프리즘들, 거울들, 도파관들, 광학 스트립들 및 다른 광학 컴포넌트들을 임의의 조합으로 포함할 수 있는 광학 층 또는 층들(176)을 포함한다. 광학 층들(176A-N)은 적절한 크기 및 구성을 갖고 디스플레이 매트릭스로부터 광을 수신하기 위한 제1 표면과 사용자의 눈으로 광을 방출하기 위한 제2 표면을 포함하는 프리즘을 포함할 수 있다. 광학 층들(176A-N)의 프리즘은, 사용자의 눈이 대응하는 좌측 및 우측 테두리들(107A-B)을 통해 보고 있을 때 사용자가 프리즘의 제2 표면을 볼 수 있도록 허용하기 위해, 좌측 및 우측 테두리들(107A-B)에 형성된 개개의 애퍼처들(175A-B)의 전부 또는 적어도 일부 위로 연장될 수 있다. 광학 층들(176A-N)의 프리즘의 제1 표면은 프레임(105)으로부터 위쪽을 향하고 디스플레이 매트릭스는 디스플레이 매트릭스에 의해 방출된 광자들 및 광이 제1 표면에 충돌하도록 프리즘 위에 놓인다. 프리즘은 광이 프리즘 내에서 굴절되고 광학 층들(176A-N)의 프리즘의 제2 표면에 의해 사용자의 눈을 향해 지향되도록 크기 및 형상이 정해질 수 있다. 이와 관련하여, 광학 층들(176A-N)의 프리즘의 제2 표면은 눈의 중심을 향해 광을 지향시키기 위해 볼록할 수 있다. 프리즘은 투시형 이미지 디스플레이들(180C-D)에 의해 투사된 이미지를 확대하기 위해 선택적으로 크기 및 형상이 정해질 수 있으며, 광은 제2 표면으로부터 본 이미지가 투시형 이미지 디스플레이들(180C-D)로부터 방출된 이미지보다 하나 이상의 차원에서 더 크도록 프리즘을 통해 이동한다.

[0065] 다른 예에서, 광학 조립체(180A-B)의 투시형 이미지 디스플레이들(180C-D)은 도 2d에 도시된 바와 같은 프로젝션 이미지 디스플레이를 포함할 수 있다. 광학 조립체(180A-B)는 스캐닝 미러, 갈바노미터(galvanometer), 레이저 프로젝터 또는 다른 유형의 프로젝터들을 사용하는 3-컬러 프로젝터일 수 있는 프로젝터(150)를 포함한다. 동작 중에, 프로젝터(150)와 같은 광원은 전자 안경류 디바이스(100)의 템플들(110A-B) 중 하나 내에 또는 그 위에 배치된다. 광학 조립체(180A-B)는 광학 조립체(180A-B)의 렌즈의 폭에 걸쳐 또는 렌즈의 전방 표면과 후방 표면 사이의 렌즈의 깊이에 걸쳐 이격된 하나 이상의 광학 스트립들(155A-N)을 포함할 수 있다.

[0066] 프로젝터(150)에 의해 투사된 광자들이 광학 조립체(180A-B)의 렌즈를 가로질러 이동할 때, 광자들은 광학 스트립들(155A-N)과 마주친다. 특정 광자가 특정 광학 스트립과 마주칠 때, 광자는 사용자의 눈을 향해 재지향되거나 다음 광학 스트립으로 전달된다. 프로젝터(150)의 변조와 광학 스트립들의 변조의 조합은 특정 광자들 또는 광선들을 제어할 수 있다. 일 예에서, 프로세서는 기계, 음향 또는 전자기 신호들을 개시함으로서 광학 스트립들(155A-N)을 제어한다. 2 개의 광학 조립체들(180A-B)을 갖는 것으로 도시되어 있지만, 전자 안경류 디바이스(100)는 단일 또는 3 개의 광학 조립체들과 같은 다른 배열들을 포함할 수 있거나, 광학 조립체(180A-B)는 전자 안경류 디바이스(100)의 애플리케이션 또는 의도된 사용자에 따라 상이한 배열로 배열되었을 수 있다.

[0067] 도 2c 및 도 2d에 추가로 도시된 바와 같이, 전자 안경류 디바이스(100)는 프레임(105)의 좌측 횡방향 측면(170A)에 인접한 좌측 템플(110A) 및 프레임(105)의 우측 횡방향 측면(170B)에 인접한 우측 템플(110B)을 포함한다. 템플들(110A-B)은 (예시된 바와 같이 ) 개개의 횡방향 측면들(170A-B) 상의 프레임(105)으로 통합될 수 있거나 개개의 측면들(170A-B) 상의 프레임(105)에 부착된 별도의 컴포넌트들로서 구현될 수 있다. 대안적으로, 템플들(110A-B)은 프레임(105)에 부착된 힌지형 아암들(125A-B)에 통합될 수 있다.

[0068] 일 예에서, 투시형 이미지 디스플레이들은 제1 투시형 이미지 디스플레이(180C)와 제2 투시형 이미지 디스플레이(180D)를 포함한다. 전자 안경류 디바이스(100)는 개개의 제1 및 제2 광학 조립체(180A-B)를 유지하는 제1 및 제2 애퍼처들(175A-B)을 포함할 수 있다. 제1 광학 조립체(180A)는 제1 투시형 이미지 디스플레이(180C)(예를 들어, 도 2c의 디스플레이 매트릭스(177) 또는 광학 스트립들 및 좌측 템플(110A)의 프로젝터(미도시))를 포함할 수 있다. 제2 광학 조립체(180B)는 제2 투시형 이미지 디스플레이(180D)(예를 들어, 도 2c의 디스플레이 매트릭스 또는 광학 스트립들(155A-N) 및 우측 템플(110B)의 프로젝터(150))를 포함할 수 있다. 연속적으로 표시된 이미지의 연속적인 시야는 수평, 수직 또는 대각선으로 측정된 약 15° 내지 30°, 보다 구체적으로 24°의 화각(angle of view)을 포함할 수 있다. 연속적인 시야를 갖는 연속적으로 표시된 이미지는 제1 및 제2 이미지 디스플레이들에 제공된 2 개의 표시된 이미지들을 함께 스티칭하여 볼 수 있는 결합된 3차원 관찰 가능 영역을 표현한다.

[0069] 본원에 사용된 바와 같이, "화각(angle of view)"은 광학 조립체(180A-B)의 좌측 및 우측 이미지 디스플레이들(180C-D) 각각에 제공되는 표시된 이미지들과 연관된 시야의 각도 범위를 설명한다. "커버리지 각도"는 가시광 카메라(114A-B) 또는 적외선 카메라(220)의 렌즈가 이미징할 수 있는 각도 범위를 설명한다. 통상적으로, 렌즈에 의해 생성된 이미지 서클(circle)은 가능하게는 일부 비네팅(vignetting)(즉, 이미지 중심에 비해 주변으로 갈수록 이미지의 밝기나 채도가 감소)을 포함하여 필름이나 센서를 완전히 덮을 수 있을 만큼 충분히 크다. 렌즈의 커버리지 각도가 센서를 채우지 못하는 경우, 통상적으로 에지를 향해 강한 비네팅을 갖는 이미지 서클을 볼 수 있으며, 유효 화각은 커버리지 각도로 제한될 것이다. "시야(field of view)"는 전자 안경류 디바이스(100)의 사용자가 광학 조립체(180A-B)의 좌측 및 우측 이미지 디스플레이들(180C-D) 상에 제공되는 표시된 이미지들을 통해 자신의 눈을 통해 볼 수 있는 관찰 가능한 영역의 필드를 설명하도록 의도된다. 광학 조립체(180A-B)의 이미지 디스플레이(180C)는 15° 내지 30°, 예를 들어, 24°의 커버리지 각도를 갖는 시야를 가질 수 있고, 480 x 480 픽셀들의 해상도를 가질 수 있다.

[0070] 도 3은 카메라들(114A-B)로 가시광을 캡처하는 예를 예시한다. 가시광은 원형 시야(FOV)(111A)를 갖는 좌측 가시광 카메라(114A)에 의해 캡처된다. 선택된 직사각형 좌측 미가공 이미지(358A)는 이미지 프로세서(412)(도 4)에 의한 이미지 프로세싱을 위해 사용된다. 가시광은 또한 원형 FOV(111B)를 갖는 우측 가시광 카메라(114B)에 의해 캡처된다. 이미지 프로세서(412)에 의해 선택된 직사각형 우측 미가공 이미지(358B)는 프로세서(412)에 의한 이미지 프로세싱을 위해 사용된다. 중첩되는 시야(313)를 갖는 좌측 미가공 이미지(358A)와 우측 미가공 이미지(358B)의 프로세싱에 기초하여, 이하 몰입형 이미지라고 칭하는 3차원 장면의 3차원 이미지(315)가 프로세서(412)에 의해 생성되고 디스플레이(180C 및 180D)에 의해 표시되며 사용자가 볼 수 있다.

[0071] 도 4는 전자 안경류 디바이스(100 또는 200)에 배치된 예시적인 전자 컴포넌트들을 포함하는 하이-레벨 기능 블록도를 예시한다. 예시된 전자 컴포넌트들은 프로세서(432), 메모리(434) 및 투시형 이미지 디스플레이(180C 및 180D)를 포함한다.

[0072] 메모리(434)는 이미지(315)에서 제어하기 위한 프로세서(432)에 대한 명령들을 포함하여, 전자 안경류 디바이스들(100, 200)의 기능을 구현하기 위해 프로세서(432)에 의한 실행을 위한 명령들을 포함한다. 이러한 기능은 눈 추적 소프트웨어(445), 객체/마커 인식 및 연결 소프트웨어(460) 및 메모리(434)에 저장되고 고속 프로세서(432)에 의해 실행되는 이미지 세그먼트화 소프트웨어(470)의 명령들을 프로세싱함으로써 구현될 수 있다. 프로세서(432)는 배터리(450)로부터 전력을 수신하고 메모리(434)에 저장되거나 칩 상의 프로세서(432)와 통합된 명령들을 실행하여 전자 안경류 디바이스들(100 및 200)의 기능을 수행하고 무선 연결들을 통해 외부 디바이스들과 통신한다.

[0073] 전자 안경류 디바이스들(100 및 200)은 눈 이동 추적기(445)(예를 들어, 도 2b에서 적외선 방출기(215) 및 적외선 카메라(220)로 도시됨)를 통합할 수 있으며, 모바일 디바이스(500)(도 5) 및 다양한 네트워크들을 통해 연결된 서버 시스템(498)을 통해 사용자 인터페이스 조정들을 제공할 수 있다. 모바일 디바이스(500)는 스마트폰, 태블릿, 랩탑 컴퓨터, 액세스 포인트, 또는 저전력 무선 연결(425) 및 고속 무선 연결(437) 모두를 사용하여 전자 안경류 디바이스(100 또는 200)와 연결할 수 있는 임의의 다른 이러한 디바이스일 수 있다. 모바일 디바이스(500)는 추가로 네트워크(495)를 통해 서버 시스템(498)에 연결된다. 네트워크(495)는 유선 및 무선 연결들의 임의의 조합을 포함할 수 있다.

[0074] 전자 안경류 디바이스들(100 및 200)은 적어도 2 개의 가시광 카메라들(114A-B)(하나는 좌측 횡방향 측면(170A)과 연관되고 하나는 우측 횡방향 측면(170B)과 연관됨)을 포함할 수 있다. 전자 안경류 디바이스들(100 및 200)은 광학 조립체(180A-B)의 2 개의 투시형 이미지 디스플레이들(180C-D)(하나는 좌측 횡방향 측면(170A)과 연관되고 하나는 우측 횡방향 측면(170B)과 연관됨)을 추가로 포함한다. 전자 안경류 디바이스들(100 및 200)은 또한 이미지 디스플레이 드라이버(442), 이미지 프로세서(412), 저전력 회로(420) 및 고속 회로(430)를 포함한다. 전자 안경류 디바이스들(100 및 200)에 대해 도 4에 도시된 컴포넌트들은 하나 이상의 회로 기판들, 예를 들어, 템플들의 PCB 또는 가요성 PCB(140) 상에 위치된다. 대안적으로 또는 추가적으로, 묘사된 컴포넌트들은 전자 안경류 디바이스들(100 및 200)의 템플들, 프레임들, 힌지들, 힌지형 아암들 또는 브릿지에 위치될 수 있다. 좌측 및 우측 가시광 카메라들(114A-B)은 상보형 금속-산화물-반도체(CMOS) 이미지 센서, 전하 결합 디바이스, 렌즈, 또는 알려지지 않은 객체들을 갖는 장면들의 이미지들을 포함하는 데이터를 캡처하는 데 사용될 수 있는 임의의 다른 개개의 가시광 또는 광 캡처 엘리먼트들과 같은 디지털 카메라 엘리먼트들을 포함할 수 있다.

[0075] 눈 이동 추적 프로그래밍(445)은 전자 안경류 디바이스들(100 또는 200)로 하여금 눈 이동 추적기(213)를 통해 전자 안경류 디바이스들(100 또는 200)의 사용자의 눈의 눈 이동을 추적하게 하는 명령들을 포함하는 사용자 인터페이스 시야 조정 명령들을 구현한다. 다른 구현된 명령들(기능들)은 전자 안경류 디바이스들(100 및 200)로 하여금 연속적인 눈 방향에 대응하는 사용자의 검출된 눈 이동에 기초하여 초기 FOV(111A-B)에 대한 FOV 조정을 결정하게 한다. 추가로 구현된 명령들은 시야 조정에 기초하여 표시된 이미지들의 시퀀스의 연속적으로 표시된 이미지를 생성한다. 연속적으로 표시되는 이미지는 사용자 인터페이스를 통해 사용자에 대해 가시 출력으로서 생성된다. 이러한 가시 출력은 초기 시야를 갖는 초기 표시된 이미지와 연속적인 시야를 갖는 연속적으로 표시된 이미지를 포함하는 표시된 이미지들의 시퀀스를 제공하기 위해 이미지 디스플레이 드라이버(442)에 의해 구동되는 광학 조립체(180A-B)의 투시형 이미지 디스플레이들(180C-D) 상에 나타난다.

[0076] 객체/마커 인식 및 연결 프로그래밍(460) 및 이미지 세그먼트화 프로그래밍(470)에 대해서는 도 16과 관련하여 아래에서 더 상세히 설명한다.

[0077] 도 4에 도시된 바와 같이, 고속 회로(430)는 고속 프로세서(432), 메모리(434) 및 고속 무선 회로(436)를 포함한다. 해당 예에서, 이미지 디스플레이 드라이버(442)는 고속 회로(430)에 커플링되고 광학 조립체(180A-B)의 좌측 및 우측 이미지 디스플레이들(180C-D)을 구동하기 위해 고속 프로세서(432)에 의해 동작된다. 고속 프로세서(432)는 전자 안경류 디바이스(100 또는 200)에 필요한 임의의 일반 컴퓨팅 시스템의 동작 및 고속 통신들을 관리할 수 있는 임의의 프로세서일 수 있다. 고속 프로세서(432)는 고속 무선 회로(436)를 사용하여 무선 근거리 네트워크(WLAN)로의 고속 무선 연결(437) 상의 고속 데이터 전송들을 관리하는 데 필요한 프로세싱 자원들을 포함한다. 특정 예들에서, 고속 프로세서(432)는 LINUX 운영 체제 또는 전자 안경류 디바이스(100 또는 200)의 이러한 다른 운영 체제와 같은 운영 체제를 실행하며 운영 체제는 실행을 위해 메모리(434)에 저장된다. 임의의 다른 업무들에 추가하여, 전자 안경류 디바이스(100 또는 200)에 대한 소프트웨어 아키텍처를 실행하는 고속 프로세서(432)는 고속 무선 회로(436)와의 데이터 전송을 관리하는 데 사용된다. 특정 예들에서, 고속 무선 회로(436)는 본원에서 또한 WI-FI®라고도 칭하는 전기 전자 학회(IEEE: Institute of Electrical and Electronic Engineers) 802.11 통신 표준들을 구현하도록 구성된다. 다른 예들에서, 다른 고속 통신 표준들이 고속 무선 회로(436)에 의해 구현될 수 있다.

[0078] 전자 안경류 디바이스들(100 및 200)의 저전력 무선 회로(424) 및 고속 무선 회로(436)는 단거리 트랜시버들(BLUETOOTH®) 및 무선 광역, 근거리 또는 광역 네트워크 트랜시버들(예를 들어, 셀룰러 또는 WI-FI®)을 포함할 수 있다. 저전력 무선 연결(425) 및 고속 무선 연결(437)을 통해 통신하는 트랜시버를 포함하는 모바일 디바이스(500)는 네트워크(495)의 다른 엘리먼트들과 마찬가지로 전자 안경류 디바이스(100 및 200)의 아키텍처의 상세 사항들을 사용하여 구현될 수 있다.

[0079] 메모리(434)는, 특히, 컬러 맵들, 좌측 및 우측 가시광 카메라들(114A-B) 및 이미지 프로세서(412)에 의해 생성된 카메라 데이터뿐만 아니라 광학 조립체(180A-B)의 투시형 이미지 디스플레이들(180C-D) 상의 이미지 디스플레이 드라이버(442)에 의한 표시를 위해 생성된 이미지들을 포함하는 다양한 데이터 및 애플리케이션들을 저장할 수 있는 임의의 저장 디바이스를 포함한다. 메모리(434)는 고속 회로(430)와 통합된 것으로 도시되어 있지만, 다른 예들에서, 메모리(434)는 전자 안경류 디바이스(100 또는 200)의 독립적인 독립형 엘리먼트일 수 있다. 이러한 특정 예들에서, 전기 라우팅 라인은 이미지 프로세서(412) 또는 저전력 프로세서(422)로부터 메모리(434)로 고속 프로세서(432)를 포함하는 칩 상의 시스템을 통해 연결을 제공할 수 있다. 다른 예들에서, 고속 프로세서(432)는 저전력 프로세서(422)가 메모리(434)와 관련된 읽기 또는 쓰기 동작이 필요한 임의의 시간에 고속 프로세서(432)를 부팅하도록 메모리(434)의 어드레싱을 관리할 수 있다.

[0080] 서버 시스템(498)은 예를 들어, 프로세서, 메모리 및 모바일 디바이스(500) 및 전자 안경류 디바이스들(100 및 200)과 네트워크(495)를 통해 통신하는 네트워크 통신 인터페이스를 포함하는 서비스 또는 네트워크 컴퓨팅 시스템의 일부인 하나 이상의 컴퓨팅 디바이스들일 수 있다. 전자 안경류 디바이스(100, 200)는 호스트 컴퓨터와 연결될 수 있다. 예를 들어, 전자 안경류 디바이스들(100 또는 200)은 고속 무선 연결(437)을 통해 모바일 디바이스(500)와 페어링되거나 네트워크(495)를 통해 서버 시스템(498)에 연결될 수 있다. 또한, 아래에서 더욱 상세히 설명되는 바와 같이, 스냅샷들 및 AR 객체들의 갤러리(480)는 각각의 사용자에 대해 백엔드 서버 시스템(498)에 의해 유지될 수 있으며 저장된 스냅샷들 및 AR 객체들에 대한 링크들를 제공하는 통신들에 의해 호출될 수 있다.

[0081] 전자 안경류 디바이스들(100, 200)의 출력 컴포넌트들은 도 2c 및 도 2d에 설명된 바와 같이 광학 조립체(180A-B)의 좌측 및 우측 이미지 디스플레이(180C-D)와 같은 시각적 컴포넌트들을 포함한다(예를 들어, 액정 디스플레이(LCD), 플라즈마 디스플레이 패널(PDP: plasma display panel), 발광 다이오드(LED) 디스플레이, 프로젝터 또는 도파관과 같은 디스플레이). 광학 조립체(180A-B)의 이미지 디스플레이들(180C-D)은 이미지 디스플레이 드라이버(442)에 의해 구동된다. 전자 안경류 디바이스들(100 및 200)의 출력 컴포넌트들은 음향 컴포넌트들(예를 들어, 스피커들), 햅틱(haptic) 컴포넌트들(예를 들어, 진동 모터), 다른 신호 발생기들 등을 추가로 포함한다. 전자 안경류 디바이스들(100, 200), 모바일 디바이스(500) 및 서버 시스템(498)의 입력 컴포넌트들은 영숫자 입력 컴포넌트들(예를 들어, 키보드, 영숫자 입력을 수신하도록 구성된 터치 스크린, 포토-광(photo-optical) 키보드 또는 다른 영숫자 입력 컴포넌트들), 포인트-기반 입력 컴포넌트들(예를 들어, 마우스, 터치패드, 트랙볼, 조이스틱, 모션 센서 또는 다른 포인팅 도구들), 촉각 입력 컴포넌트들(예를 들어, 물리적 버튼, 터치들 또는 터치 제스처들의 위치 및 힘을 제공하는 터치 스크린, 또는 다른 촉각 입력 컴포넌트들), 오디오 입력 컴포넌트들(예를 들어, 마이크로폰) 등을 포함할 수 있다.

[0082] 전자 안경류 디바이스들(100 및 200)은 주변 광 및 스펙트럼 센서들, 생체 측정 센서들, 열 센서(440), 또는 전자 안경류 디바이스(100 또는 200)와 통합된 다른 디스플레이 엘리먼트들과 같은 추가 주변 디바이스 엘리먼트들을 선택적으로 포함할 수 있다. 예를 들어, 주변 디바이스 엘리먼트들은 출력 컴포넌트들, 모션 컴포넌트들, 포지션 컴포넌트들 또는 본원에 설명된 이러한 임의의 다른 엘리먼트들을 포함하는 임의의 I/O 컴포넌트들을 포함할 수 있다. 전자 안경류 디바이스들(100 및 200)은 다른 형태들을 취할 수 있으며, 예를 들어, 헤드기어, 헤드셋 또는 헬멧과 같은 다른 유형의 프레임워크들을 통합할 수 있다.

[0083] 예를 들어, 전자 안경류 디바이스들(100, 200)의 생체 측정 컴포넌트들은, 표현들(예를 들어, 손 표현들, 얼굴 표현들, 음성 표현들, 신체 제스처들 또는 눈 추적)을 검출하고, 생체 신호들(예를 들어, 혈압, 심박수, 체온, 땀 또는 뇌파)을 측정하고, 사람을 식별하는(예를 들어, 음성 식별, 망막 식별, 얼굴 식별, 지문 식별 또는 뇌파 기반 식별) 등을 하는 컴포넌트들을 포함할 수 있다. 모션 컴포넌트들은 가속도 센서 컴포넌트들(예를 들어, 가속도계), 중력 센서 컴포넌트들, 회전 센서 컴포넌트들(예를 들어, 자이로스코프) 등을 포함한다. 포지션 컴포넌트들은 위치 좌표들을 생성하는 위치 센서 컴포넌트들(예를 들어, 글로벌 포지셔닝 시스템(GPS: Global Positioning System) 수신기 컴포넌트), 포지셔닝 시스템 좌표들을 생성하는 WI-FI® 또는 BLUETOOTH® 트랜시버, 고도 센서 컴포넌트들(예를 들어, 고도가 도출될 수 있는 기압을 검출하는 기압계 또는 고도계), 배향 센서 컴포넌트들(예를 들어, 자력계들) 등을 포함한다. 이러한 포지셔닝 시스템 좌표들은 또한 저전력 무선 회로(424) 또는 고속 무선 회로(436)를 통해 모바일 디바이스(500)로부터 무선 연결들(425 및 437)을 통해 수신될 수 있다.

모바일 디바이스

[0084] 도 5는 샘플 구성에서 객체들을 통해 소셜 연결을 관리하도록 적응된 모바일 디바이스(500)의 샘플 구성을 예시한다. 특히, 도 5는 본원에 설명된 바와 같이 객체들을 통해 소셜 연결들을 관리하기 위해 사용자가 사용할 수 있는 예시적인 모바일 디바이스(500)의 하이-레벨 기능 블록도이다. 모바일 디바이스(500)는 본원에 설명된 기능들의 전부 또는 서브세트를 수행하기 위해 CPU(510)에 의해 실행되는 프로그래밍을 저장하는 플래시 메모리(505)를 포함할 수 있다. 예를 들어, 플래시 메모리는 CPU(510)에 의한 실행을 위해 객체 페어링 및 연결 관리 소프트웨어(515)를 저장하여 모바일 디바이스(500)의 사용자가 객체들을 마커들로서 확립하고 도 15와 관련하여 본원에 설명된 연결들을 관리할 수 있게 할 수 있다. 모바일 디바이스(500)는 하나 이상의 가시광 카메라들(중첩되는 시야를 갖는 제1 및 제2 가시광 카메라들) 또는 실질적으로 중첩되는 시야를 갖는 적어도 하나의 가시광 카메라 및 깊이 센서를 포함하는 카메라(525)를 추가로 포함할 수 있다. 플래시 메모리(505)는 카메라(525)를 통해 생성되는 복수의 이미지들 또는 비디오를 추가로 포함할 수 있다.

[0085] 모바일 디바이스(500)는 이미지 디스플레이(530), 이미지 디스플레이(530)를 제어하는 모바일 디스플레이 드라이버(535) 및 디스플레이 제어기(540)를 추가로 포함할 수 있다. 도 5의 예에서, 이미지 디스플레이(530)는 이미지 디스플레이(530)에 의해 사용되는 스크린의 상단에 층화되거나 그렇지 않으면 스크린으로 통합되는 사용자 입력 계층(545)(예를 들어, 터치스크린)을 포함할 수 있다. 사용될 수 있는 터치스크린-유형 모바일 디바이스들의 예들은 스마트 폰, 퍼스널 디지털 어시스턴트(PDA: personal digital assistant), 태블릿 컴퓨터, 랩탑 컴퓨터 또는 다른 휴대용 디바이스를 포함한다(그러나 이에 한정되지 않음). 그러나, 터치스크린-유형 디바이스들의 구조 및 동작은 예시의 방식으로 제공되며; 본원에 설명되는 주제 기술은 이에 한정되도록 의도되지 않는다. 이러한 논의의 목적을 위해, 도 5는 (터치, 다중-터치 또는 제스처 등에 의해, 손, 스타일러스 또는 다른 도구에 의해) 입력을 수신하기 위한 터치스크린 입력 계층(545) 및 컨텐츠를 표시하기 위한 이미지 디스플레이(530)를 포함하는 사용자 인터페이스를 갖는 예시적인 모바일 디바이스(500)의 블록도 예시를 그에 따라 제공한다.

[0086] 도 5에 도시된 바와 같이, 모바일 디바이스(500)는 광역 무선 모바일 통신 네트워크를 통한 디지털 무선 통신들을 위해 WWAN XCVR들로서 도시된 적어도 하나의 디지털 트랜시버(XCVR)(550)를 포함한다. 모바일 디바이스(500)는 또한 NFC, VLC, DECT, ZigBee, Bluetooth™ 또는 WI-FI®를 통해서와 같이 단거리 네트워크 통신을 위한 단거리 트랜시버(XCVR)들(555)과 같은 추가적인 디지털 또는 아날로그 트랜시버들을 포함할 수 있다. 예를 들어, 단거리 XCVR들(555)은 IEEE 802.11에 따른 WI-FI® 표준들 중 하나와 같이 무선 근거리 네트워크들에서 구현되는 통신의 하나 이상의 표준 프로토콜들과 호환 가능한 유형의 임의의 이용 가능한 양방향 무선 근거리 네트워크(WLAN: wireless local area network) 트랜시버의 형태를 취할 수 있다.

[0087] 모바일 디바이스(500)의 포지셔닝을 위한 위치 좌표들을 생성하기 위해, 모바일 디바이스(500)는 또한 글로벌 포지셔닝 시스템(GPS) 수신기를 포함할 수 있다. 대안적으로 또는 추가적으로, 모바일 디바이스(500)는 포지셔닝을 위한 위치 좌표들을 생성하기 위해 단거리 XCVR들(555) 및 WWAN XCVR들(550) 중 어느 하나 또는 둘 모두를 이용할 수 있다. 예를 들어, 셀룰러 네트워크, WI-FI® 또는 Bluetooth™ 기반 포지셔닝 시스템들은 특히 조합하여 사용될 때 매우 정확한 위치 좌표들을 생성할 수 있다. 이러한 위치 좌표들은 XCVR들(550, 555)을 통해 하나 이상의 네트워크 연결들을 통해 모바일 디바이스(500)로 송신될 수 있다.

[0088] 트랜시버들(550, 555)(즉, 네트워크 통신 인터페이스)은 현대 모바일 네트워크들에 의해 이용되는 다양한 디지털 무선 통신 표준들 중 하나 이상을 따를 수 있다. WWAN 트랜시버들(550)의 예들은 코드 분할 다중 액세스(CDMA: Code Division Multiple Access)와 예를 들어 제한 없이 3GPP 유형 2(또는 3GPP2) 및 때로는 "4G"로 칭하는 LTE를 포함하는 3세대 파트너십 프로젝트(3GPP: 3rd Generation Partnership Project) 네트워크 기술들에 따라 동작하도록 구성된 트랜시버들을 포함한다(그러나 이에 한정되지는 않음). 트랜시버들은 또한 "5G"라고 칭하는 광대역 셀룰러 네트워크 기술들을 통합할 수 있다. 예를 들어, 트랜시버들(550, 555)은 디지털화된 오디오 신호들, 스틸(still) 이미지 및 비디오 신호들, 디스플레이용 웹 페이지 정보뿐만 아니라 웹-관련 입력들 및 모바일 디바이스(500)로/로부터의 다양한 유형들의 모바일 메시지 통신들을 포함하는 정보의 양방향 무선 통신을 제공한다.

[0089] 모바일 디바이스(500)는 중앙 처리 장치(CPU: central processing unit)(510)로서 기능하는 마이크로프로세서를 추가로 포함할 수 있다. 프로세서는 하나 이상의 프로세싱 기능들, 통상적으로 다양한 데이터 프로세싱 기능들을 수행하도록 구조화되고 배열된 엘리먼트들을 갖는 회로이다. 이산 논리 컴포넌트들이 사용될 수도 있지만, 예들은 프로그래밍 가능한 CPU를 형성하는 컴포넌트들을 이용한다. 예를 들어, 마이크로프로세서는 CPU(510)의 기능들을 수행하기 위해 전자 엘리먼트들을 통합하는 하나 이상의 집적 회로(IC: integrated circuit) 칩들을 포함한다. 예를 들어, CPU(510)는 오늘날 모바일 디바이스들 및 다른 휴대용 전자 디바이스들에 일반적으로 사용되는 ARM 아키텍처를 사용하는 축소 명령 세트 컴퓨팅(RISC: Reduced Instruction Set Computing)과 같은 임의의 알려졌거나 이용 가능한 마이크로프로세서 아키텍처에 기초할 수 있다. 물론, 프로세서 회로의 다른 배열이 스마트폰, 랩탑 컴퓨터 및 태블릿의 CPU(510) 또는 프로세서 하드웨어를 형성하는 데 사용될 수 있다.

[0090] CPU(510)는 예를 들어, CPU(510)에 의해 실행 가능한 명령들 또는 프로그래밍에 따라 모바일 디바이스(500)가 다양한 동작들을 수행하도록 구성함으로써 모바일 디바이스(500)에 대한 프로그래밍 가능한 호스트 제어기 역할을 한다. 예를 들어, 이러한 동작들은 모바일 디바이스(500)의 다양한 일반적인 동작들뿐만 아니라 모바일 디바이스(500)의 메시징 앱들 및 AR 카메라 애플리케이션들에 대한 프로그래밍과 관련된 동작들도 포함할 수 있다. 프로세서는 하드와이어드(hardwired) 로직을 사용하여 구성될 수 있지만, 모바일 디바이스들의 통상적인 프로세서들은 프로그래밍의 실행에 의해 구성되는 일반 프로세싱 회로들이다.

[0091] 모바일 디바이스(500)는 프로그래밍 및 데이터를 저장하기 위한 메모리 또는 저장 시스템을 추가로 포함한다. 도 5에 도시된 예에서, 메모리 시스템은 필요에 따라 플래시 메모리(505), 랜덤-액세스 메모리(RAM: random-access memory)(560) 및 다른 메모리 컴포넌트들(565)을 포함할 수 있다. RAM(560)은 예를 들어, 작업 데이터 프로세싱 메모리로서 CPU(510)에 의해 처리되는 명령들 및 데이터에 대한 단기 저장소 역할을 할 수 있다. 플래시 메모리(505)는 통상적으로 장기 저장을 제공한다.

[0092] 따라서, 모바일 디바이스(500)의 예에서, 플래시 메모리(505)는 CPU(510)에 의한 실행을 위한 프로그래밍 또는 명령들을 저장하는 데 사용될 수 있다. 디바이스의 유형에 따라, 모바일 디바이스(500)는 모바일 운영 체제를 저장하고 실행하며, 이를 통해 특정 애플리케이션들이 실행된다. 모바일 운영 체제들의 예들은 Google Android, Apple iOS(iPhone 또는 iPad 디바이스들용), Windows Mobile, Amazon Fire OS, RIM BlackBerry OS 등을 포함한다.

[0093] 마지막으로, 모바일 디바이스(500)는 마이크로폰(미도시)을 통해 환경으로부터 오디오 신호들을 수신하고 스피커(미도시)를 통해 오디오 출력을 제공할 수 있는 오디오 트랜시버(570)를 포함할 수 있다. 오디오 신호들은 모바일 디바이스(500) 상에 구현된 메시징 애플리케이션 또는 소셜 미디어 애플리케이션에 의해 비디오 신호들 및 다른 메시지들과 커플링될 수 있다.

백엔드 서버 시스템

[0094] 본원에 설명된 기법들은 또한 본원에 설명된 하나 이상의 컴퓨터 시스템들 또는 하나 이상의 다른 시스템들과 함께 사용될 수 있다. 예를 들어, 본원에 설명된 다양한 절차들은 하드웨어 또는 소프트웨어, 또는 둘의 조합으로 구현될 수 있다. 예를 들어, 아래에 논의되는 프로세서, 메모리, 저장소, 출력 디바이스(들), 입력 디바이스(들) 또는 통신 연결들 중 적어도 하나는 각각 하나 이상의 하드웨어 컴포넌트들의 적어도 일부일 수 있다. 전용 하드웨어 논리 컴포넌트들이 본원에 설명된 기법들 중 하나 이상의 적어도 일부를 구현하도록 구성될 수 있다. 예를 들어, 제한 없이, 이러한 하드웨어 논리 컴포넌트들은 필드-프로그래밍 가능 게이트 어레이(FPGA: Field-programmable Gate Array)들, 주문형 집적 회로(ASIC: Program-specific Integrated Circuit)들, 프로그램-특정 표준 제품(ASSP: Program-specific Standard Product)들, 시스템-온-어 칩 시스템(SOC: System-on-a-chip system)들, 복합 프로그래밍 가능 논리 디바이스(CPLD: Complex Programmable Logic Device)들 등을 포함할 수 있다. 다양한 양태들의 장치 및 시스템들을 포함할 수 있는 애플리케이션들은 다양한 전자 및 컴퓨터 시스템들을 광범위하게 포함할 수 있다. 기법들은 2 개 이상의 특정 상호 연결된 하드웨어 모듈들 또는 모듈들 사이에서 모듈들을 통해 또는 주문형 집적 회로의 일부들로서 통신될 수 있는 관련 제어 및 데이터 신호들을 갖는 디바이스를 사용하여 구현될 수 있다. 추가적으로, 본원에 설명된 기법들은 컴퓨터 시스템에 의해 실행 가능한 소프트웨어 프로그램들에 의해 구현될 수 있다. 예를 들어, 구현들은 분산 프로세싱, 컴포넌트/객체 분산 프로세싱 및 병렬 프로세싱을 포함할 수 있다. 또한, 가상 컴퓨터 시스템 프로세싱은 본 명세서에 설명된 바와 같이, 기법들 또는 기능들 중 하나 이상을 구현하도록 구성될 수 있다.

[0095] 도 6은 본원에 설명된 시스템들 및 방법들을 구현하도록 적응된 컴퓨터 시스템의 샘플 구성을 예시한다. 특히, 도 6은 백엔드 서버 시스템(498)(도 4)의 하나 이상의 구성들이 구현될 수 있는 기계(600)의 일 예의 블록도를 예시한다. 본원에 설명된 바와 같이, 백엔드 서버 시스템(498)은 개개의 마커-엔드포인트 객체들 또는 사용자-엔드포인트 객체들의 ID들, 이미지들 및 설명들을 연결하고 제2 사용자가 사용자-엔드포인트이거나 사용자의 전자 안경류 디바이스로 사용자의 대응하는 마커-엔드포인트를 보았다는 표시의 수신 시 제2 사용자에게 송신하기 위해 제1 사용자로부터 수신된 AR 생성 객체들(예를 들어, 스파클들) 및/또는 사용자-생성 객체들(예를 들어, 커피 머그의 스냅샷)의 통신들을 저장하기 위한 명령들을 실행할 수 있다. 백엔드 서버 시스템(498)은 또한 사용자 스냅샷들 및 AR 객체들의 갤러리(480)를 유지할 수 있다. 대안적인 구성들에서, 기계(600)는 독립형 디바이스로서 동작할 수 있거나 다른 기계들에 연결(예를 들어, 네트워크화)될 수 있다. 네트워크화된 배치에서, 기계(600)는 서버-클라이언트 네트워크 환경들에서 서버 기계, 클라이언트 기계, 또는 둘 모두의 용량에서 동작할 수 있다. 일 예에서, 기계(600)는 피어-투-피어(P2P: peer-to-peer)(또는 다른 분산) 네트워크 환경에서 피어 기계로서의 역할을 할 수 있다. 샘플 구성들에서, 기계(600)는 개인용 컴퓨터(PC), 태블릿 PC, 셋-톱 박스(STB), 퍼스널 디지털 어시스턴트(PDA: personal digital assistant), 모바일 전화, 스마트 폰, 웹 기기, 서버, 네트워크 라우터, 스위치 또는 브릿지, 또는 해당 기계에 의해 수행될 액션들을 특정하는 명령들을 (순차적 또는 이와 달리) 실행할 수 있는 임의의 기계일 수 있다. 예를 들어, 기계(600)는 통신 시스템의 워크스테이션, 프론트-엔드 서버 또는 백-엔드 서버의 역할을 할 수 있다. 기계(600)는 본원에 설명된 바와 같이 IoT 디바이스들을 제어하기 위한 피처들을 구현하는 데 사용되는 소프트웨어를 실행함으로써 본원에 설명된 방법들을 구현할 수 있다. 추가로, 단일 기계(600)만이 예시되어 있지만, "기계"라는 용어는 또한 클라우드 컴퓨팅, 서비스로서의 소프트웨어(SaaS: software as a service), 다른 컴퓨터 클러스터 구성들과 같이 본원에 논의된 방법들 중 임의의 하나 이상을 수행하기 위해 명령들의 세트(또는 복수의 세트들)를 개별적으로 또는 공동으로 실행하는 기계들의 임의의 집합을 포함하는 것으로 간주될 것이다.

[0096] 본원에 설명된 바와 같은 예들은 프로세서, 논리, 또는 다수의 컴포넌트들, 모듈들 또는 메커니즘들(본원에서 "모듈들")을 포함하거나 그 상에서 동작할 수 있다. 모듈들은 특정된 동작들을 수행할 수 있는 유형의 엔티티들(예를 들어, 하드웨어)이며 특정 방식으로 구성되거나 배열될 수 있다. 일 예에서, 회로들은 모듈로서 특정된 방식으로 (예를 들어, 내부적으로 또는 다른 회로들과 같은 외부 엔티티들에 대해) 배열될 수 있다. 일 예에서, 하나 이상의 컴퓨터 시스템(예를 들어, 독립형, 클라이언트 또는 서버 컴퓨터 시스템)의 전체 또는 일부 또는 하나 이상의 하드웨어 프로세서들은 특정된 동작들을 수행하기 위해 동작하는 모듈로서 펌웨어 또는 소프트웨어(예를 들어, 명령들, 애플리케이션 부분 또는 애플리케이션)에 의해 구성될 수 있다. 일 예에서, 소프트웨어는 기계 판독 가능 매체 상에 상주할 수 있다. 소프트웨어는 모듈의 기본 하드웨어에 의해 실행될 때 하드웨어로 하여금 특정된 동작들을 수행하게 한다.

[0097] 따라서, "모듈"이라는 용어는 유형의 하드웨어 또는 소프트웨어 엔티티 중 적어도 하나를 포함하는 것으로 이해되며, 엔티티는 물리적으로 구성되거나, 구체적으로 구성되거나(예를 들어, 하드와이어링), 임시로(예를 들어, 일시적으로) 구성(예를 들어, 프로그래밍)되어 본원에 설명된 임의의 동작 중 일부 또는 전부를 수행하거나 특정된 방식으로 동작한다. 모듈들이 임시로 구성되는 예들을 고려하면, 모듈들의 각각은 임의의 한 시점에 인스턴스화될 필요가 없다. 예를 들어, 모듈이 소프트웨어를 사용하여 구성된 범용 하드웨어 프로세서를 포함하는 경우, 범용 하드웨어 프로세서는 상이한 시간들에서 개개의 상이한 모듈들로서 구성될 수 있다. 따라서, 소프트웨어는 예를 들어, 하나의 시점에 특정 모듈을 구성하고 다른 시점에 다른 모듈을 구성하도록 하드웨어 프로세서를 구성할 수 있다.

[0098] 기계(예를 들어, 컴퓨터 시스템)(600)는 하드웨어 프로세서(602)(예를 들어, 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU: graphics processing unit), 하드웨어 프로세서 코어, 또는 이들의 임의의 조합), 메인 메모리(604) 및 정적 메모리(606)를 포함할 수 있으며, 이들 중 일부 또는 전부는 인터링크(예를 들어, 버스)(608)를 통해 서로 통신할 수 있다. 기계(600)는 디스플레이 유닛(610)(비디오 디스플레이로 도시), 영숫자 입력 디바이스(612)(예를 들어, 키보드) 및 사용자 인터페이스(UI) 내비게이션 디바이스(614)(예를 들어, 마우스)를 추가로 포함할 수 있다. 일 예에서, 디스플레이 유닛(610), 입력 디바이스(612) 및 UI 내비게이션 디바이스(614)는 터치 스크린 디스플레이일 수 있다. 기계(600)는 대용량 저장 디바이스(예를 들어, 드라이브 유닛)(616), 신호 생성 디바이스(618)(예를 들어, 스피커), 네트워크 인터페이스 디바이스(620) 및 하나 이상의 센서들(622)을 추가로 포함할 수 있다. 예시적인 센서들(622)은 글로벌 포지셔닝 시스템(GPS) 센서, 나침반, 가속도계, 온도, 광, 카메라, 비디오 카메라, 물리적 상태들 또는 포지션들의 센서들, 압력 센서들, 지문 센서들, 망막 스캐너들 또는 다른 센서들 중 하나 이상을 포함한다. 기계(600)는 또한 직렬(예를 들어, 범용 직렬 버스(USB)), 병렬, 또는 다른 유선 또는 무선(예를 들어, 적외선(IR), 근거리 통신(NFC) 등) 연결과 같은 출력 제어기(624)를 포함하여 하나 이상의 주변 디바이스들(예를 들어, 프린터, 카드 리더 등) 중 하나 이상과 통신하거나 이를 제어할 수 있다.

[0099] 대용량 저장 디바이스(616)는 본원에 설명된 기법들 또는 기능들 중 임의의 하나 이상을 구현하거나 이에 의해 이용되는 데이터 구조 또는 명령들(628)(예를 들어, 소프트웨어)의 하나 이상의 세트들이 저장되어 있는 기계 판독 가능 매체(626)를 포함할 수 있다. 명령들(628)은 또한, 기계(600)에 의한 그의 실행 동안 메인 메모리(604), 정적 메모리(606) 또는 하드웨어 프로세서(602) 내에 완전히 또는 적어도 부분적으로 상주할 수 있다. 일 예에서, 하드웨어 프로세서(602), 메인 메모리(604), 정적 메모리(606), 또는 대용량 저장 디바이스(616)의 하나 또는 임의의 조합은 기계 판독 가능 매체를 구성할 수 있다.

[0100] 기계 판독 가능 매체(626)가 단일 매체로 예시되어 있지만, "기계 판독 가능 매체"라는 용어는 하나 이상의 명령들(628)을 저장하도록 구성된 단일 매체 또는 복수의 매체(예를 들어, 중앙 집중식 또는 분산형 데이터베이스, 또는 관련 캐시들 및 서버들 중 적어도 하나)를 포함할 수 있다. "기계 판독 가능 매체"라는 용어는, 기계(600)에 의한 실행을 위한 명령들을 저장, 인코딩 또는 반송할 수 있고 그리고 기계(600)로 하여금 본 개시내용의 기법들 중 임의의 하나 이상을 수행하게 할 수 있는, 또는 이러한 명령들에 의해 사용되거나 이들과 관련된 데이터 구조를 저장, 인코딩 또는 반송할 수 있는 임의의 매체를 포함할 수 있다. 비제한적인 기계 판독 가능 매체의 예들은 솔리드-스테이트 메모리들, 광학 및 자기 매체를 포함할 수 있다. 기계-판독 가능 매체의 특정 예들은 반도체 메모리 디바이스들(예를 들어, 전기적 프로그래밍 가능 판독-전용 메모리(EPROM: Electrically Programmable Read-Only Memory), 전기적 소거 가능 프로그래밍 가능 판독-전용 메모리(EEPROM: Electrically Erasable Programmable Read-Only Memory)) 및 플래시 메모리 디바이스들과 같은 비휘발성 메모리; 내부 하드 디스크들 및 제거 가능 디스크들과 같은 자기 디스크들; 광자기(magneto-optical) 디스크들; 랜덤 액세스 메모리(RAM: Random Access Memory); 솔리드 스테이트 드라이브(SSD: Solid State Drive)들; CD-ROM 및 DVD-ROM 디스크들을 포함할 수 있다. 일부 예들에서, 기계 판독 가능 매체는 비일시적 기계-판독 가능 매체를 포함할 수 있다. 일부 예들에서, 기계 판독 가능 매체는 일시적인 전파 신호가 아닌 기계 판독 가능 매체를 포함할 수 있다.

[0101] 명령들(628)은 추가로 네트워크 인터페이스 디바이스(620)를 통한 송신 매체를 사용하여 통신 네트워크(632)를 통해 송신 또는 수신될 수 있다. 기계(600)는 다수의 전송 프로토콜들(예를 들어, 프레임 릴레이, 인터넷 프로토콜(IP), 송신 제어 프로토콜(TCP), 사용자 데이터그램 프로토콜(UDP), 하이퍼텍스트 송신 프로토콜(HTTP) 등) 중 임의의 하나를 이용하여 하나 이상의 다른 기계들과 통신할 수 있다. 예시적인 통신 네트워크들은, 특히, 근거리 네트워크(LAN: local area network), 광역 네트워크(WAN: wide area network), 패킷 데이터 네트워크(예를 들어, 인터넷), 모바일 전화 네트워크들(예를 들어, 셀룰러 네트워크들), POTS(Plain Old Telephone) 네트워크들, 및 무선 데이터 네트워크들(예를 들어, WI-FI®로 알려진 전기 전자 학회(IEEE) 802.11 표준군), IEEE 802.15.4 표준군, 롱 텀 이볼루션(LTE: Long Term Evolution) 표준군, 범용 모바일 원격 통신 시스템(UMTS: Universal Mobile Telecommunications) 표준군, 피어-투-피어(P2P) 네트워크를 포함할 수 있다. 일 예에서, 네트워크 인터페이스 디바이스(620)는 통신 네트워크(632)에 연결하기 위한 하나 이상의 물리적 잭들(예를 들어, 이더넷, 동축 또는 전화 잭들) 또는 하나 이상의 안테나들(630)을 포함할 수 있다. 일 예에서, 네트워크 인터페이스 디바이스(620)는 단일-입력 다중-출력(SIMO: single-input multiple-output), 다중-입력 다중-출력(MIMO: multiple-input multiple-output) 또는 다중-입력 단일-출력(MISO: multiple-input single-output) 기법들 중 적어도 하나를 사용하여 무선으로 통신하기 위한 복수의 안테나들(630)을 포함할 수 있다. 일부 예들에서, 네트워크 인터페이스 디바이스(620)는 다중 사용자 MIMO 기법들을 사용하여 무선으로 통신할 수 있다.

[0102] 본원에 설명된 피처들 및 흐름도들은 방법 단계들로서 하나 이상의 방법들로 또는 이전에 설명한 바와 같이 하나 이상의 애플리케이션들로 구현될 수 있다. 일부 구성들에 따르면 "애플리케이션" 또는 "애플리케이션들"은 프로그램들에 정의된 기능들을 실행하는 프로그램(들)이다. 다양한 프로그래밍 언어들이 채용되어 객체-지향 프로그래밍 언어들(예를 들어, Objective-C, Java 또는 C++) 또는 절차적 프로그래밍 언어들(예를 들어, C 또는 어셈블리어)과 같이 다양한 방식으로 구조화된 애플리케이션들 중 하나 이상을 생성한다. 특정 예에서, 제3자 애플리케이션(예를 들어, 특정 플랫폼의 공급자가 아닌 엔티티에 의해 ANDROID™ 또는 IOS™ 소프트웨어 개발 키트(SDK: software development kit)를 사용하여 개발된 애플리케이션)은 IOS™, ANDROID™, WINDOWS® 폰 또는 다른 모바일 운영 체제와 같은 모바일 운영 체제 상에서 실행되는 모바일 소프트웨어일 수 있다. 이 예에서, 제3자 애플리케이션은 본원에 설명된 기능을 촉진하기 위해 운영 체제에 의해 제공되는 API 콜(call)들을 호출할 수 있다. 애플리케이션들은 임의의 유형의 컴퓨터 판독 가능 매체 또는 컴퓨터 저장 디바이스에 저장될 수 있으며 하나 이상의 범용 컴퓨터들에 의해 실행될 수 있다. 또한, 본원에 개시된 방법들 및 프로세스들은 대안적으로 특수 컴퓨터 하드웨어 또는 주문형 집적 회로(ASIC), 필드 프로그래밍 가능 게이트 어레이(FPGA) 또는 복합 프로그래밍 가능 논리 디바이스(CPLD: complex programmable logic device)에서 구현될 수 있다.

[0103] 기술의 프로그램 양태들은, 통상적으로 한 유형의 기계 판독 가능 매체에 반송되거나 또는 여기서 구현되는 실행 가능 코드 또는 관련 데이터 중 적어도 하나의 형태인 "제품들" 또는 "제조 물품들"로 간주될 수 있다. 예를 들어, 프로그래밍 코드는 터치 센서 또는 본원에 설명된 다른 기능들에 대한 코드를 포함할 수 있다. "저장" 유형 매체는, 다양한 반도체 메모리들, 테이프 드라이브들, 디스크 드라이브들 등과 같은 컴퓨터들, 프로세서 등 또는 이의 관련 모듈의 유형의 메모리 중 임의의 것 또는 전부를 포함하며, 이는 소프트웨어 프로그래밍을 위해 임의의 시간에 비일시적 저장을 제공할 수 있다. 소프트웨어의 전체 또는 부분들은 때때로 인터넷이나 다른 다양한 원격 통신 네트워크들을 통해 통신될 수 있다. 예를 들어, 이러한 통신들은 하나의 컴퓨터 또는 프로세서로부터 다른 컴퓨터 또는 프로세서로의 소프트웨어의 로딩을 가능하게 할 수 있다. 따라서, 프로그래밍, 미디어 컨텐츠 또는 메타-데이터 파일들을 보유할 수 있는 다른 유형의 매체는 예컨대 로컬 디바이스들 간의 물리적 인터페이스들에 걸쳐, 유선 및 광학 지상선 네트워크들을 통해서 그리고 다양한 무선-링크들을 통해 사용되는 광학, 전기 및 전자기 파들을 포함한다. 유선 또는 무선 링크들, 광 링크들 등과 같이 이러한 파들을 반송하는 물리적 엘리먼트도 또한 소프트웨어를 보유하는 매체로 간주될 수 있다. 본원에 사용된 "비일시적", "유형" 또는 "저장" 매체로 제한되지 않는 한, 컴퓨터 또는 기계 "판독 가능 매체"와 같은 용어들은 실행을 위해 프로세서에 명령들 또는 데이터를 제공하는 데 참여하는 임의의 매체를 지칭한다.

[0104] 따라서, 기계 판독 가능 매체는 다양한 형태의 유형의 저장 매체를 취할 수 있다. 비휘발성 저장 매체는 예를 들어, 도면들에 도시된 바와 같이, 클라이언트 디바이스, 미디어 게이트웨이, 트랜스코더 등을 구현하는 데 사용될 수 있는 임의의 컴퓨터(들) 등의 임의의 저장 디바이스들과 같은 광학 또는 자기 디스크들을 포함한다. 휘발성 저장 매체는 컴퓨터 플랫폼의 메인 메모리와 같은 동적 메모리를 포함한다. 유형의 송신 매체는 동축 케이블들, 컴퓨터 시스템 내의 버스를 포함하는 와이어들을 포함하는 구리 와이어 및 광 섬유를 포함한다. 반송파 송신 매체는 무선 주파수(RF) 및 적외선(IR) 데이터 통신들 중에 생성되는 것들과 같은 전기 또는 전자기 신호들, 음향 또는 광파들의 형태를 취할 수 있다. 따라서, 컴퓨터 판독 가능 매체의 일반적인 형태들은 예를 들어, 플로피 디스크, 가요성 디스크, 하드 디스크, 자기 테이프, 임의의 다른 자기 매체, CD-ROM, DVD 또는 DVD-ROM, 임의의 다른 광학 매체, 펀치 카드 페이퍼 테이프, 구멍들의 패턴들을 갖는 임의의 다른 물리적 저장 매체, RAM, PROM 및 EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 데이터 또는 명령들을 운송하는 반송파, 이러한 반송파를 운송하는 케이블들 또는 링크들, 또는 컴퓨터가 프로그래밍 코드나 데이터 중 적어도 하나를 판독할 수 있는 임의의 다른 매체를 포함한다. 이러한 형태의 컴퓨터 판독 가능 매체 중 다수는 실행을 위해 하나 이상의 명령들의 하나 이상의 시퀀스들을 프로세서에 반송하는 것과 관련될 수 있다.

분산되고 연결된 실세계 객체들

[0105] 본원에 설명된 바와 같이 객체들 사이의 소셜 연결들을 제공하기 위한 기능을 구현하기 위해, 2 개의 소프트웨어 애플리케이션들이 상술한 하드웨어 상에 구현된다. 하나의 애플리케이션은 모바일 디바이스(500)(iPhone/Android) 상에서 실행되고 하나는 전자 안경류 디바이스(100) 상에서 실행된다. 한 쌍의 양쪽 파트너들은 기능을 구현하기 위해 양쪽 애플리케이션들을 사용한다.

[0106] 샘플 구성에서, 모바일 디바이스 애플리케이션(515)(도 15)은 예를 들어, 캘리포니아주 산타 모니카 소재의 Snap, Inc.로부터 입수 가능한 Snap Code를 스캐닝함으로써 각각의 사용자에 의해 모바일 디바이스(500) 상에 설치된다. 각각의 사용자는 자신의 해당 로그인 정보로 모바일 디바이스 애플리케이션(515)에 로깅한다. 사용자가 서명하여 입장하고 자신의 메타데이터(즉, 쌍 ID 및 사용자 할당, 사용자 A 또는 사용자 B)를 식별했다면, 사용자는 마커들을 배치하고 모바일 디바이스 애플리케이션에 저장될 해당 위치들의 사진들을 찍을 수 있다. 각각의 사용자에 의해 한 쌍의 대응하는 마커들이 각각 설정되었다면, 이들 사이에 연결이 확립되며, 연결을 통해 AR 교환들이 발생할 수 있다. 개개의 사용자의 전자 안경류 디바이스들(100)은 이 연결 정보를 활용하기 위해 개개의 모바일 디바이스 애플리케이션들에 페어링된다.

[0107] 한편, 전자 안경류 디바이스 애플리케이션(460)(도 16)은 사용자의 전자 안경류 디바이스(100) 상에 설치되어 각각의 사용자가 원격 친구의 컨텐츠를 경험(보고 들음)할 수 있게 한다. 전자 안경류 디바이스 애플리케이션(460)을 포함하는 전자 안경류 디바이스(100)는 사용자의 물리적 마커들을 검출할 수 있으며, 사용자가 경험할 수 있도록 원격 파트너로부터 청각 및 시각 컨텐츠를 로딩할 것이다. 본원에 설명된 예들에서, 2 개의 형태의 시각적 AR 컨텐츠: 1) 플로팅 스파클들과 같은 사용자 존재를 나타내는 AR 컨텐츠 및 2) 실세계 환경으로부터 추출되는 기록된 오디오 조각(snippet)이 있거나 없는 AR 컨텐츠, 선택된 스냅샷들 또는 복제된 시각적 컨텐츠가 전송될 수 있다.

[0108] 이렇게 구성된 시스템은 객체를 소셜 연결을 위한 개인화된 앵커 포인트들로서 확립함으로써 증강 현실(AR) 전자 안경류 디바이스들(100)을 착용하는 동안 원격 친구들이 서로 간접적으로 상호 작용할 수 있게 한다. 시스템은, 실내에서든 또는 실외에서든, 친구들이 흔적들을 남김으로써 그들의 서로의 상태, 즉, 그들이 하루 종일 상호 작용하고 상이한 객체들을 사용할 때 무엇을 하고 있는지 알 수 있게 한다. 사용자들은 그들의 일상 생활에서 사용하거나 접하는 다양한 객체들에 물리적인 마커들을 배치한다. 물리적 마커들은 실제 객체 검출에 대한 프록시이며 동적으로 생성될 수 있다. 컴패니언 모바일 디바이스 애플리케이션(515)을 사용하여, 사용자는 그들의 물리적 마커들과 그들의 원격 파트너의 물리적 마커들의 세트 사이의 연결들을 확립할 수 있다. 사용자는 (램프에서 램프와 같은) 대칭 연결들 또는 (램프에서 머그와 같은) 비대칭 연결들을 설정할 수 있다. 일단 설정되면, 전자 안경류 디바이스 애플리케이션(460)을 실행하는 전자 안경류 디바이스(100)는 물리적 마커가 전자 안경류 디바이스(100)의 시야에 있을 때 물리적 마커를 검출할 수 있으며, 이에 의해 원격 파트너의 활동들과 원격 파트너의 대응하는 마커 위치(마커-엔드포인트)에 배치될 AR 컨텐츠에 기초하여 AR 컨텐츠(시각적 및 청각적 컨텐츠)가 사용자에 대해 투사되도록 트리거링할 수 있다.

[0109] 샘플 구성들에서, 마커가 착용자의 시야에 있는 시간 지속기간은 원격 파트너를 위해 어떤 컨텐츠가 배치되는지 결정한다. 시간-버퍼는 마커가 시야에 있는 시간 지속기간을 추적하는 데 사용된다. 짧은 시간 기간은 원격 파트너의 마커-엔드포인트에서 추상적 스파클형 효과와 같은 사전 결정된 AR 컨텐츠의 배치를 트리거링하는 반면, 더 긴 시간 기간은 전자 안경류 디바이스가 착용자의 실세계 주변으로부터의 컨텐츠를 복제하거나 사전 저장된 AR 컨텐츠를 선택할 뿐만 아니라 짧은 시간 지속기간(즉, 5초) 동안 오디오를 기록하도록 트리거링한다. 시스템은 또한 일시적 및 지속적 AR을 지원할 수 있다. 설정에 따라, 수신기 측의 AR 컨텐츠가 누적되어 구축되거나(지속적) 또는 본 후에 희미해질 수 있다(일시적). 시간이 지남에 따라, AR 컨텐츠의 컬러 및/또는 밝기도 희미해져 사용자가 얼마나 오래 전에 활동을 수행했는지 나타낼 수 있다.

[0110] 따라서, 본원에 설명된 시스템들 및 방법들은 사용자가 그 주변에 사전 설정된 물리적 마커들을 갖는 객체들을 단지 보는 것에 의해 친구들과 상호 작용하고 그들의 상태를 공유할 수 있게 한다. 물리적 마커들은 사용자 주변에 고정된 객체들일 수도 있지만, 얼굴들, 애완 동물들, 차량들, 사람과 같은 다른 움직이는 객체들일 수도 있다. 시스템들 및 방법들은 해당 상태를 나타내기 위해 특정 객체 또는 마커를 단지 봄(스캐닝)으로써 수동적인 핸즈-프리(hands-free) 메시징을 제공한다. 시스템을 사용하여, 사용자는 사용자가 위치될 수 있는 어디에나 하나의 객체로부터 다른 객체로 또는 객체로부터 사용자에게 직접 메시지들을 전송할 수 있다. 마커-엔드포인트들을 갖는 일련의 객체들이 설정되면, 사용자는 그 집이나 야외에서 단지 걸어다니면서 일상 생활을 할 수 있으며, 마커-엔드포인트를 단지 봄으로써 그들의 친구들은 그들의 활동들 및 액션들에 대해 통지받을 것이다. 샘플 구성들에서, 마커-엔드포인트 객체를 보면, 디폴트(default) AR 컨텐츠(예를 들어, 스파클들)가 트리거되고, 특정 위치 또는 마커-엔드포인트 객체가 연결되었던 임의의 장소에 있는 수신자에게 전송된다. 반대로, 마커-엔드포인트 객체를 보는 동안, 시스템은 사용자가 친구에게 전송하는 데 사용할 수 있는 실용적이거나 표현적인 목적으로 관련 AR 컨텐츠를 추천할 수 있다. 예를 들어, 전자 안경류 디바이스(100)의 사용자는 장면을 스캐닝하고, 예를 들어, 사용자가 선택하여 친구에게 전송할 수 있는 캘리포니아주 산타 모니카 소재의 Snap, Inc.로부터 입수 가능한 유형의 AR 렌즈들의 세트를 포함하는 AR 컨텐츠를 추천할 수 있다.

[0111] 얼굴이 마커로 사용되는 경우, 사용자가 얼굴을 바라볼 때 메시지들이 트리거링될 수 있다. 예를 들어, 사용자가 이 순이(Lee Suni)의 얼굴을 마커로서 선택하면, 사용자가 그녀의 공연을 볼 때마다, 사용자의 친구에게 통지된다. 따라서, 사용자가 바로 지금 체조를 시청하고 있음이 친구에게 알려질 것이다. 마찬가지로, 사용자가 그의 친구의 얼굴을 선택하면, 그가 그의 친구를 볼 때마다 두 사람이 함께 있음을 나타내는 메시지가 트리거링될 것이다.

[0112] 본원에 설명된 시스템들 및 방법들은 추가로 사용자들이 실제 객체가 그들의 친구의 위치에 있는 것처럼 그들의 상태와 (현실적인) 장소 AR 컨텐츠를 나타내기 위해 실세계 객체들의 3D 스냅샷을 생성할 수 있게 해 준다. 이는 또한 공개 또는 비공개 갤러리의 생성으로 이어질 수 있으며, 마켓플레이스(marketplace) 역할을 할 수 있다. 이러한 경우, 시스템은 사용자가 실세계 객체의 복제를 생성하고 해당 객체가 그들의 친구의 공간에 있는 것처럼 그들의 상태 또는 상황을 나타내기 위해 그들의 친구와 이를 공유할 수 있게 한다. 예를 들어, 사용자는 수동적인 스냅샷을 제공할 수 있다. 사용자가 머그를 마커로서 선택하면, 사용자가 머그를 보거나 스캐닝할 때마다 스냅샷이 생성되어 연결된 친구에게 현실적인 AR 머그로서 전송된다. 각각의 스냅샷은 실제 머그와 AR 머그 사이의 상태를 동기화함으로써 머그에 남아 있는 커피의 종류와 레벨을 나타낼 수 있다. 반면, 능동 스냅샷의 경우, 사용자는 걷기 중에 꽃과 같은 객체를 스캐닝하여 친구의 책상에 꽃을 AR로 원격으로 배치하여 사용자가 걷기 중임을 나타낼 수 있다. 유사하게, 사용자는 자신이 쇼핑 중임을 나타내기 위해 새로운 드레스의 스냅샷을 전송할 수 있다.

[0113] 오늘날 이용 가능한 사진, gif 및 비디오 갤러리들과 마찬가지로, 사용자들은 사용자들의 상태나 기분을 나타내는 데 사용할 수 있는 비공개 또는 공개 3D 스냅샷들의 갤러리(480)(도 4)를 생성할 수 있다. 이러한 접근법은 사용자들이 전자 안경류 디바이스들(100)을 통해 액세스할 수 있도록 통신들의 링크들을 제공하고 구매/대여/임대될 수 있는 객체들에 대한 마켓플레이스를 제공함으로써 호출되는 현실적인 AR 컨텐츠의 중요한 저장소를 생성할 수 있다. 개인 사용자들 외에도, 기업들은 사용자가 맵을 통해 액세스할 수 있는 음식이나 인공물들의 스냅샷들을 생성할 수 있다. 이러한 경우, 사용자들은 객체들이 스캐닝된 맵 상에 나타나는 AR 객체들을 스캐닝할 수 있다. 식당들은 음식이 보내어지기 전에 음식을 스캐닝할 수 있으며 사람들은 사람들에게 배달될 음식을 볼 수 있다. 사용자들은 장소의 모든 상이한 단편들을 스캐닝하여 실생활 장소를 표현하는 가상 장소를 맵 상에 생성할 수 있다. 샘플 구성에서, 스냅샷은 전송자가 객체 자체를 전송한 것처럼 수신자가 느끼는 매우 현실적인 실세계 객체의 3D 모델이다. 이러한 예에서, 3D 모델은 마치 실제 객체인 것처럼 물리적 환경과 끊김 없이 혼합될 수 있다.

[0114] 다른 애플리케이션들에서, 사용자들은 사용자들의 세계로부터 사용자들의 친구의 세계로 무언가를 배치하고, 해당 객체의 사본을 영원히 보관하고, 객체의 복수의 사본들을 상이한 사람들에게 제공하고, 디지털 객체를 수정 또는 증강하고, 해당 디지털 객체를 사용자들의 자신의 증강 현실(AR)/가상 현실(VR) 세계에 넣고, 해당 객체를 더 큰 객체의 구축 블록으로서 사용하고/사용하거나 해당 객체가 상이한 2 명의 사용자들 사이에 있는 것처럼 객체에 대해 논의함으로써 존재를 시뮬레이팅할 수 있다.

[0115] 시스템들 및 방법들의 동작은 이하의 예시적인 동작 예들로부터 명백해질 것이다.

[0116] 서로 상당한 거리에 살고 있는 한 쌍의 친한 친구들(사용자 1 및 사용자 2)이 그들의 전자 안경류 디바이스들(100)을 사용하여 서로에 대해 소셜 연결된 상태를 유지하기를 원하는 것으로 가정한다. 이를 위해, 사용자 1은 마커-엔드포인트로서 로컬 객체를 확립한다. 이를 위해, 사용자 1은 710에서 마커-엔드포인트로서 객체(700)의 이미지를 선택함으로써 자신의 아파트(도 7)에 있는 객체(700)(예를 들어, 냉장고)를 식별한다. 사용자 1의 모바일 디바이스(500₁)의 모바일 디바이스 애플리케이션(515)은 그 후 객체 식별자 및 선택된 객체(700)의 사진을 백엔드 서버 시스템(498)에 제공한다. 객체 식별자는 사용자 1에 의해 제공된 이름을 포함할 수 있다. 그 후 사용자 1은 모바일 디바이스 애플리케이션(515)을 사용하여 식별된 객체(700)를 사용자 2에 의해 유사하게 식별된 객체에 연결한다. 개개의 사용자들에 의해 마킹된 객체들에 대한 ID들, 사진들 및 제공된 이름들은 사용자 1과 사용자 2를 연결하는 소셜 미디어 통신 플랫폼의 일부로서 백엔드 서버 시스템(498)의 애플리케이션에 저장된다. 위에서 언급한 바와 같이, 객체 마커들은 실제 객체 검출에 대한 프록시이며 동적으로 생성될 수 있다. 이러한 복수의 연결들은 사용자 1과 사용자 2 사이에서 확립될 수 있다. 연결들은 (냉장고에서 냉장고와 같이) 대칭 또는 (램프에서 머그와 같이) 비대칭일 수 있으며, 1-1, 1-N, N-1 또는 N-N 연결들일 수 있으며, 여기서 N은 정수이다.

[0117] 도 8에 예시된 바와 같이, 810에서 사용자 2는 객체(800)의 이미지를 마커로서 선택하고 사용자 2의 모바일 디바이스(500₂)의 모바일 디바이스 애플리케이션을 사용하여 객체(800)를 사용자 1의 객체들(예를 들어 냉장고(700)) 중 하나 이상에 연결함으로써 자신의 아파트에 있는 객체(800)(예를 들어, 캐비닛)를 유사하게 식별한다. "냉장고"와 같은 이름을 제공하는 것은 이러한 연결들을 용이하게 할 수 있다.

[0118] 이제 사용자 1의 냉장고(700)와 사용자 2의 캐비닛(800) 사이에 연결이 이루어졌으므로, 시스템은 소셜 연결 기능을 구현할 준비가 되었다. 소셜 연결 피처들을 활성화하기 위해, 사용자 1은 자신의 전자 안경류 디바이스(100₁)를 착용한 채 자신의 냉장고(700)를 단순히 응시한다. 도 9에 도시된 바와 같이, 전자 안경류 디바이스(100₁)는 사용자 1의 주변을 스캐닝하고 전자 안경류 디바이스(100₁)의 객체 인식 능력들을 사용하여 냉장고(700)를 식별한다. 마커-엔드포인트 객체들에 대해 사용자의 주변을 스캐닝하거나 마커-엔드포인트 객체들로서 확립할 객체들을 식별하기 위해, 사용자의 전자 안경류 디바이스(100)는 장면을 추적하기 위해 사용자의 응시 방향과 사용자 머리의 선형 또는 회전 움직임을 모니터링할 수 있다. 전자 안경류 디바이스(100)에 의한 시각적 스캔은 버튼 탭 또는 스캔 버튼의 길게 누르기와 같은 스캔 개시 수단으로 언제든지 활성화될 수 있다. 시각적 스캔의 경우, 캡처된 이미지는 전자 안경류 디바이스(100) 상의 딥 러닝 모델의 훈련된 신경망으로 전달되거나 전자 안경류 디바이스(100)에 액세스 가능한 백엔드 서버 시스템(498) 상에서 이용 가능한 백엔드 서비스들로 전달되어 캡처된 이미지를 프로세싱하여 장면에서 객체들을 식별할 수 있다. 반면, 음성 스캔은 카메라(150)에 의한 스캔을 트리거링하거나 장면에서 객체들에 매칭되는 키워드들을 추출하기 위해 사용자의 음성의 음성-대-텍스트 프로세싱에 의해 객체들에 대한 검색을 트리거링하기 위해 슬립(sleep)으로부터 전자 안경류 디바이스(100)를 깨우는 문구인 "깨우기 단어"에 의해 개시될 수 있다. 어느 경우든, "신호 설명자 텍스트"는 캡처된 장면의 객체들 또는 캡처된 음성의 단어들이 인식될 때 전자 안경류 디바이스(100)의 디스플레이에 제시될 수 있다. 설정된 신뢰도 스코어보다 높은 인식 스코어를 갖는 객체들은 스캔에 응답하여 전자 안경류 디바이스(100)의 디스플레이에 제공될 잠재적인 마커 객체들로서 식별될 수 있다. 사운드들 또는 표시되는 단어들 또는 아이콘들과 같은 스캔 통지들이 백그라운드 스캔이 개시되었던 때를 나타내는 데 사용될 수 있다. 백그라운드 스캔이 완료되었을 때, 완료된 스캔 결과들의 통지가 디스플레이에 제공될 수 있다.

[0119] 스캐닝된 이미지에서 냉장고(700)를 인식할 때, 전자 안경류 디바이스(100₁)는 사용자 1이 활동 중이고 냉장고(700)를 보았다는 것을 나타내는, 사용자 2에 대한 심플한 통신의 송신을 개시한다. 예를 들어, 전자 안경류 디바이스(100₁)는 사용자 1과 사용자 2 사이의 엔드포인트인 마커로서 확립된 냉장고(700)를 단지 응시함으로써 사용자 1에서 사용자 2로 스파클들과 같은 사전 선택된 AR 이미지 또는 애니메이션을 호출하는 링크를 포함하는 통신의 송신을 개시할 수 있다. 전자 안경류 디바이스(100₁)는 냉장고(700)가 사용자 1에 의해 보일 때 활성화되는 웜홀(900)의 표현을 사용자 1의 디스플레이에 선택적으로 제시할 수 있고, 웜홀(900)을 통해 사용자 2에게 송신되기 위해 웜홀(900)로 빨려 들어가는 스파클들을 도시하는 애니메이션을 제시한다. 애니메이션은 또한 대응하는 사운드 효과들도 포함할 수 있다. 선택적으로, 냉장고(700)와 사용자 1의 상호 작용은 타임스탬핑(timestamping)될 수 있으며 타임스탬프 정보에는 (예를 들어, 스파클들과 함께) 통신이 제공된다.

[0120] 사용자 1로부터 통신(스파클들)을 수신하기 위해, 사용자 2는 단순히 자신의 전자 안경류 디바이스(100₂)를 착용하고 사용자 1의 객체(700)(예를 들어, 냉장고)에 연결된 자신의 마커-엔드포인트 객체(800)(예를 들어, 캐비닛)를 응시한다. 사용자 2의 전자 안경류 디바이스(100₂)가 객체(800)를 인식할 때, 객체(800)와 연관된 임의의 통신이 백엔드 서버 시스템(498)으로부터 사용자 2의 전자 안경류 디바이스(100₂)로 푸시(push)된다. 도 10에 도시된 바와 같이, 객체(800)의 인식 시, 사용자 1로부터의 통신에 의해 호출된 스파클들(1000)이 수신되어 사용자 2의 전자 안경류 디바이스(100₂)의 디스플레이 상에 오버레이로서 표시된다. 전자 안경류 디바이스(100₂)는 선택적으로 활성화된 웜홀(1010)의 표현을 사용자 2의 디스플레이에 제시할 수 있고 웜홀(1010)에서 발사되는 스파클들을 나타내는 애니메이션을 사용자 2의 전자 안경류 디바이스(100₂)의 디스플레이에 제시한다. 애니메이션은 또한 대응하는 사운드 효과들을 포함할 수 있다. 이러한 스파클들(1000)의 프리젠테이션은 사용자 1이 깨어 있고 활동 중이며 자신의 냉장고(700)를 응시했다는 것을 사용자 2에게 나타낸다.

[0121] 다른 예로서, 사용자 2는 자신이 하고 있는 것과 사용자 1에 대해 생각하고 있음을 나타내는 통신을 전송함으로써 사용자 1에게 응답하기를 원한다고 가정한다. 사용자 2는 사용자 1이 사용자 2에게 선물로 준 머그로부터 커피를 마시고 있다는 것을 사용자 1에게 보여 주기로 결정한다. 위에서 언급한 바와 같이, 사용자 2의 마커(예를 들어, 캐비닛(800))가 사용자 2의 시야에 있는 시간 지속기간은 사용자 1을 위해 어떤 컨텐츠가 배치되는지 결정할 수 있다. 짧은 시간 기간은 사용자 1로부터 수신된 스파클 효과와 같은 심플한 추상적 효과의 배치를 트리거링할 수 있다. 그러나, 사용자 2가 사전 결정된 더 긴 시간 기간 동안 캐비닛(800)을 보고 있었다는 사용자 2의 전자 안경류 디바이스(100₂)의 인식은 사용자 2의 전자 안경류 디바이스(100₂)가 사용자 2의 실세계 주변으로부터 컨텐츠를 복제하도록 트리거링할 수 있다. 이러한 경우, 사용자 2는 사용자 1이 사용자 2에게 선물로 준 머그(1100)의 스냅샷을 캡처하도록 선택할 수 있다. 머그(1100)는 사용자 2의 전자 안경류 디바이스(100₂)의 이미지 세그먼트화 소프트웨어(470)를 사용하여 캡처된 스냅샷으로부터 추출될 수 있다. 대안적으로, 세그먼트화된 이미지는 백엔드 서버 시스템(498)의 이미지 프로세싱 소프트웨어에 의해 프로세싱되어 세그먼트화된 이미지의 2D 또는 3D 렌더링을 제공할 수 있다. 사용자 2의 전자 안경류 디바이스(100₂)는 또한 머그(1100)의 세그먼트화된 이미지와 함께 전송하기 위해 짧은 시간 지속기간(즉, 5초) 동안 오디오를 기록하는 옵션을 사용자 2에게 제시할 수 있다.

[0122] 세그먼트화된 머그 이미지(1100)와 오디오 기록이 캡처되면, 사용자 2는 앞으로 스와이핑하거나 인식된 제스처를 제공하여 오디오 기록과 함께 머그(1100)의 고스트 이미지를 사용자 1에게 송신할 수 있다. 도 11에 도시된 바와 같이, 전자 안경류 디바이스(100₂)는 선택적으로 사용자 2의 전자 안경류 디바이스(100₂)의 디스플레이에 웜홀(1010) 앞에 있는 머그(1100)의 고스트 이미지의 표현을 제시할 수 있다. 사용자 2의 전자 안경류 디바이스(100₂)는 또한 연관된 사운드 효과들과 함께 활성화되어 머그(1100)의 고스트 이미지를 웜홀(1010)로 빨아들이는 웜홀(1010)을 나타내는 애니메이션을 제시할 수 있다.

[0123] 사용자 2로부터 머그(1100)의 이미지를 포함하는 통신을 수신하기 위해, 사용자 1은 사용자 2의 객체(800)(예를 들어, 캐비닛)에 연결된 자신의 마커-엔드포인트 객체(700)(예를 들어, 냉장고)를 단순히 응시한다. 사용자 1의 전자 안경류 디바이스(100₁)가 객체(700)를 인식할 때, 객체(700)와 연관된 임의의 통신이 백엔드 서버 시스템(498)으로부터 사용자 1의 전자 안경류 디바이스(100₁)로 푸시된다. 도 12에 도시된 바와 같이, 객체(700)의 인식 시, 사용자 2로부터의 머그(1100)의 스냅샷이 수신되고 사용자 1의 전자 안경류 디바이스(100₁)의 디스플레이 상에 오버레이로서 표시된다. 전자 안경류 디바이스(100₁)는 활성화되어 이미지의 프리젠테이션과 연관된 선택적인 사운드 효과들과 함께 웜홀(900)로부터 사용자 1의 전자 안경류 디바이스(100₁)의 디스플레이로 나타나는 머그(1100)의 이미지를 나타내는 애니메이션을 제시하는 웜홀(900)의 표현을 사용자 1의 디스플레이에 선택적으로 제시할 수 있다. 사용자 2로부터의 오디오 기록의 재생과 함께 머그(1100)의 이미지의 이러한 프리젠테이션은 사용자 2가 사용자 1이 사용자 2에게 선물로 준 머그로부터 커피를 마시고 있음을 사용자 1에게 나타낸다. 따라서, 사용자 1은 사용자 2가 사용자 2의 커피 브레이크(coffee break) 동안 사용자 1을 생각했음을 인식할 수 있다.

[0124] 도 13 및 도 14에 예시된 바와 같이, 사용자 1과 사용자 2를 소셜 연결하기 위한 사용자 1의 아파트(1300)와 사용자 2의 아파트(1310) 사이의 마커-엔드포인트 객체들의 연결들은 (유사 객체들 간) 대칭 또는 (상이한 유형의 객체들 간) 비대칭일 수 있으며, 정지된 객체와 움직이는 객체 사이에 있을 수 있다. 또한, 위에서 언급한 바와 같이, 연결들은 1-1, 1-N, N-1 및 N-N일 수 있으므로, 마커-엔드포인트 객체들의 임의의 조합이 사용되어 사용자 1과 사용자 2의 환경들(1300 및 1310)을 연결할 수 있다. 연결된 객체들은 개개의 사용자들의 개개의 주변 내의 개개의 객체들을 연결하는 소셜 그래프를 제공할 수 있다. 물론, 사용자들은 비대칭 연결들이 사용될 때 웜홀의 개개의 끝들을 추적하기 위해 더 많은 노력을 기울여야 한다.

[0125] 도 13에서, 스파클들(1320)은 개개의 사용들이 존재함을 나타내기 위해 사용자 1에서 사용자 2로 (그리고 그 반대로) 전송된다. 유사하게, 도 14에서, 머그(1100)의 스냅샷과 시리얼 그릇(1400)의 스냅샷은 송신이 전송된 시간에 각자 무엇을 하고 있는지를 나타냄으로써 사용자 1과 사용자 2의 소셜 연결성을 더욱 강화하기 위해 나타내어진 바와 같이 사용자 1과 사용자 2 사이에서 전송된다. 물론, 스냅샷들 또는 세그먼트화된 이미지들은 다른 친구 또는 친구들의 그룹의 이미지를 포함하여 임의의 객체일 수도 있다.

[0126] 도 15는 샘플 구성에서 객체 페어링을 제공하고 연결들을 관리하기 위해 전자 안경류 디바이스(100)와 연관된 모바일 디바이스(500)에 의해 구현되는 기능에 대한 흐름도를 예시한다. 이러한 기능은 도 5의 객체 페어링/연결 관리 소프트웨어(515)로서 구현될 수 있다.

[0127] 도 15에 나타낸 바와 같이, 모바일 디바이스(500)는 1500에서 연관된 전자 안경류 디바이스(100)의 사용자에 의해 선택된 마커-엔드포인트 객체에 대한 식별 태그(ID)를 수신한다. 사용자는 1510에서 식별된 마커 객체에 대한 이름을 제공하기 위한 옵션을 제시받는다. 예를 들어, 마커 객체가 사용자의 냉장고인 경우, 사용자는 마커를 "냉장고"로 명명할 수 있다. 이러한 명명은 다른 사용자에 의한 페어링을 용이하게 한다. 특정 구성들에서, 다른 사용자를 마커 객체로서 명명하는 것이 바람직할 수 있으며, 이 경우, 임의의 AR 객체들 또는 실세계 객체들의 이미지들은 다른 사용자의 모바일 디바이스(500) 및/또는 전자 모바일 디바이스로 직접 진행될 것이다. 후자의 경우, 다른 사용자는 사용자-엔드포인트 객체일 것이다.

[0128] 1520에서, 마커 객체 ID, 그 사진 및 그 이름은 다른 사용자들과의 페어링을 용이하게 하기 위해 백엔드 서버 시스템(498) 상에 저장된다. 1530에서, 사용자는 식별된 마커 객체와 페어링하기 위해 다른 사용자의 마커 객체들에 액세스할 수 있다. 이 경우, 다른 사용자의 사진들, 이름들 및 ID들을 갖는 마커 객체들이 선택을 위해 사용자의 모바일 디바이스(500)의 디스플레이에 제시된다. 다른 사용자의 선택된 마커 객체들은 사용자의 마커 객체와 페어링과 해당 연결은 백엔드 서버 시스템(498)에 저장된다. 다른 사용자의 마커 객체는 또한 사용자 자신을 포함할 수 있다. 이러한 경우, ID는 사용자 ID일 것이고 이미지는 사용자의 이미지일 것이다. 사용자 엔드포인트는 사용자의 모바일 디바이스(500) 또는 전자 안경류 디바이스(100)의 IP 어드레스일 것이다. 사용자는 또한 사용자 주변의 마커 객체들에 연결된 다른 사용자의 마커 객체들을 업데이트함으로써 자신의 연결들을 관리할 수 있다. 일단 연결들이 이렇게 확립되면, 백엔드 서버 시스템(498)의 갤러리(480)에 저장된 AR 컨텐츠 및/또는 전자 안경류 디바이스(100)에 의해 제공되는 객체의 스냅샷은 개개의 사용자들이 사용자들 사이의 연결(들)의 개개의 마커-엔드포인트 객체들인 개개의 마커 객체들을 스캐닝하거나 응시할 때 1540에서 백엔드 서버 시스템(498) 및 다른 사용자의 전자 안경류 디바이스(100₂)로/로부터의 통신들에 의해 호출될 수 있다.

[0129] 도 16은, 샘플 구성에서 개개의 사용자들을 소셜 연결하기 위해 마커 객체들을 식별 및 인식하고 환경으로부터 AR 객체들 및/또는 실세계 이미지들의 전송을 프롬프팅하기 위해 전자 안경류 디바이스(100)에 의해 구현되는 기능에 대한 흐름도를 예시한다. 이러한 기능은 도 4의 객체/마커 인식 및 연결 소프트웨어(460)로서 구현될 수 있다.

[0130] 도 16에 예시된 바와 같이, 전자 안경류 디바이스(100)는 상술한 바와 같이 음성 스캔 또는 시각적 스캔을 개시함으로써 1600에서 개시된다. 스캐닝된 장면은 전자 안경류 디바이스(100) 상의 딥 러닝 모델의 훈련된 신경망 또는 전자 안경류 디바이스(100)에 액세스 가능한 백엔드 서버 시스템(498) 상에서 이용 가능한 백엔드 서비스들로 전달되어 캡처된 이미지를 프로세싱하여 장면에서 객체들을 식별할 수 있다. 식별된 객체(들)에 대한 ID는 추적 목적으로 제공되며, 객체의 ID와 사진은, 1610에서, 페어링(도 15 참조)을 위해 연관된 모바일 디바이스(500)에 제공될 수 있다. 그러나, 메시지는 SMS 문자나 이메일과 같은 임의의 일반적인 통신 디바이스를 사용하여 전송될 수 있기 때문에 이러한 페어링은 필요하지 않다.

[0131] 식별된 객체가 이미 페어링된 경우, 전자 안경류 디바이스(100)는, 1620에서, 식별된 객체와 페어링된 객체를 갖는 다른 사용자에 의해 제공된 임의의 컨텐츠를 수신하고 표시할 수 있다. 이러한 컨텐츠는 백엔드 서버 시스템(498)에 저장될 수 있으며, 스캐닝된 이미지에서 페어링된 객체의 검출 시 사용자의 전자 안경류 디바이스(100)에 대한 통신에 의해 호출될 수 있다. 위에서 언급한 바와 같이, 설정에 따라, AR 컨텐츠는 누적되거나 구축되거나(지속 데이터) 또는 본 후 희미해질 수 있다(일시적 데이터). 시간이 지남에 따라, AR 컨텐츠의 컬러가 희미해져 사용자가 얼마나 오래 전에 활동을 수행했는지 나타낼 수 있다. 원하는 경우 활동 시간도 기록될 수 있으며 AR 컨텐츠는 메시지 갤러리(480)에 저장될 수 있다.

[0132] 샘플 구성들에서, 전자 안경류 디바이스(100)는 어떤 유형의 메시지가 페어링된 사용자에게 전송되어야 하는지를 결정하기 위해 사용자가 페어링된 마커-객체를 얼마나 오랫동안 보는지 추가적으로 추적한다. 1630에서 사용자가 사전 결정된 짧은 지속기간(예를 들어, x초, 여기서 x는 1-5) 동안만 페어링된 객체를 응시한 것으로 결정되면, 스파클들과 같은 사전 선택된 AR 객체가 1640에서 페이링된 사용자로 전송된 통신에 의해 호출된다. 반면, 1630에서 사용자가 적어도 사전 결정된 짧은 지속기간 동안 페어링된 객체를 본 것으로 결정되면, 1650에서 사용자는 스냅샷(능동 스냅샷)을 찍거나 환경으로부터 사전 저장된 스냅샷(수동 스냅샷)을 선택하거나 페어링된 사용자에게 전송할 AR 객체 갤러리(480)로부터의 사전 저장된 AR 객체를 선택하도록 프롬프팅될 수 있다. 1660에서, 사용자 옵션이 캡처된다. 사용자가 스냅샷을 전송하도록 선택한 경우, 이미지 세그먼트화 소프트웨어(470)(도 4)는 1670에서 선택적으로 활성화되어 페어링된 사용자에게 전송할 능동 또는 수동 스냅샷으로부터 객체를 세그먼트화할 수 있거나 스냅샷은 수정 없이 전송될 수 있다. 반면, 사용자가 AR 객체 갤러리(480)로부터 사전 저장된 AR 객체를 선택한 경우, 선택된 AR 객체는 사용자에게 전송된 통신에 의해 호출된다. 예를 들어, 위의 예에서 추출된 머그의 스냅샷을 전송하는 대신, 사전 저장된 머그의 스냅샷 또는 AR 객체 갤러리(480)에 사전 저장된 머그의 3D 표현이 대신 통신에 의해 (예를 들어, 머그의 사전 저장된 스냅샷 또는 머그의 3D 표현의 AR 객체 갤러리(480)의 저장 위치에 대한 링크에 의해) 호출될 수 있다. 1680에서, 실세계 장면으로부터 선택된 스냅샷 또는 AR 객체 또는 세그먼트화된 객체는 네트워크(495)를 통해 모바일 디바이스(500)로 전송된 통신에 의해 백엔드 서버 시스템(498)으로 호출된다. 백엔드 서버 시스템(498)은 결국 다른 사용자가 페어링된 마커 객체(들)를 볼 때, 페어링된 마커 객체(들) 근처를 보기 위해 다른 사용자의 전자 안경류 디바이스(100)에 호출된 이미지를 제공한다. 페어링된 마커 객체가 다른 사용자인 경우, 이미지는 다른 사용자 주변에 표시하기 위해 다른 사용자의 전자 안경류 디바이스(100)에 직접 제공될 수 있다. 대안적으로, 전자 안경류 디바이스(100)는, 인터넷 연결을 통해 직접 통신하기 위해 전자 안경류 디바이스(100)가 필수 회로를 갖는다면, 백엔드 서버 시스템(498)과 직접 통신할 수 있다. 그러나, 통신은 전자 안경류 디바이스(100) 또는 모바일 디바이스(500)를 통한 직접적인 것과 같이 페어링 없이 통상의 수단에 의해 제2 사용자에 의해 픽업될 수 있다.

[0133] 사용자는 본원에 설명된 시스템 및 방법들을 사용하여 다수의 상이한 시나리오들에서 서로 정보를 공유할 수 있다. 예를 들어, 사용자 1은 자신의 거울로서 마커-엔드포인트 객체를 확립하고 해당 일에 입기로 선택한 옷의 이미지들을 전송할 수 있다. 사용자 2는 자신의 피아노 근처에 마커-엔드포인트 객체를 배치하고 자신의 피아노를 연주하기 위해 앉을 때마다 스파클들 및 오디오 클립을 전송할 수 있다. 사용자들은 또한, 식사하는 동안 그들의 음식의 이미지들을 공유할 수 있다.

[0134] 백엔드 서버 시스템(498)은 SMS 메시징 시스템들이 사용자들 사이에 오가는 텍스트들의 기록을 유지하거나 캘리포니아주 산타 모니카 소재의 Snap, Inc.로부터 입수 가능한 SNAPCHAT®과 같은 메시징 시스템들이 메모리 피처에서 통신들을 유지하는 것과 매우 동일한 방식으로 사용자들이 특정 연결들을 통해 서로 교환한 AR 컨텐츠 및 이미지들의 갤러리(480)를 유지할 수 있다는 것이 추가로 이해될 것이다. 저장된 AR 컨텐츠 및 이미지들은 사용자가 이전에 전송된 이미지를 재전송하기를 원하는 경우 원하는 대로 선택을 위해 사용자의 전자 안경류 디바이스(100)의 디스플레이에 제시될 수 있다. 특정 구성들에서, AR 컨텐츠는 캘리포니아주 산타 모니카 소재의 Snap, Inc.로부터 입수 가능한 유형의 렌즈들일 수 있다.

[0135] 별도로, 회사들은 해당 제품에 대한 지원 인력 또는 다른 사용자들의 로고와의 통신 "웜홀들(wormhole)"을 확립하기 위해 개개의 마커-엔드포인트 객체들로서 사용될 수 있는 로고들을 해당 제품들에 제공할 수 있다는 것이 추가로 이해될 것이다. 이러한 통신 네트워크들은 제품의 사용자들 간의 스캔 기반 메시징을 통해 소셜 연결을 촉진하는 데 사용될 수 있다.

[0136] 다른 대안적인 구성에서, 전자 안경류 디바이스(100)는 단순히 마커-엔드포인트 객체를 응시하는 것이 아니라 세션에서 개개의 스캔들 동안 객체의 글로벌 포지셔닝 시스템(GPS) 좌표들을 추적할 수 있다. 그러면, 객체가 세션의 스캔들 간에 이동하면 AR 엘리먼트들(예를 들어, 스파클들) 또는 스캐닝된 객체들의 통신이 트리거링될 수 있다. 유사하게, 엔드포인트 객체는 페어링된 사용자의 모바일 디바이스일 수 있으며, 이에 의해 AR 객체 또는 세그먼트화된 이미지는 페어링된 사용자의 위치에 관계없이 페어링된 사용자의 페어링된 전자 안경류 디바이스(100)에 제공된다.

[0137] 또 다른 대안적인 구성에서, 마커-엔드포인트 객체들은 한 명 이상의 사용자들로부터 다른 사용자가 보고 있는 맵의 일부에 2D 또는 3D 이미지들의 스냅샷을 제공하기 위해 맵의 엔드포인트들에 연결될 수 있다. 예를 들어, 뷰어가 맵 상에서 필라델피아를 볼 때 치즈 스테이크의 이미지가 뷰어의 전자 안경류 디바이스(100)에 제시될 수 있다.

[0138] 본원에 설명된 방법들은 임의의 특정 제스처들 또는 터치 동작들 없이 개시되고 수행될 수 있다는 것이 본 기술 분야의 통상의 기술자에 의해 이해될 것이다. 예를 들어, 마커-엔드포인트 객체를 볼 때 나타내어진 효과들을 트리거링하기 위해 장면의 이미지들의 수동 프로세싱으로부터 액션들이 활성화될 수 있다. 이미지 추출은 어떠한 손 제스처들 또는 수동 선택도 없이 사전 결정된 시간 지속기간 동안 마커-엔드포인트 객체를 응시한 후 추출되어 전송될 객체에 초점을 맞춤으로써 수행될 수 있다.

[0139] 보호 범위는 이제 이하의 청구항들에 의해서만 제한된다. 해당 범위는 본 명세서와 후속하는 절차 이력을 고려하여 해석할 때 청구항들에 사용된 언어의 일반적인 의미와 일치하게 넓고 모든 구조적 및 기능적 등가물들을 포함하도록 의도되며 해석되어야 한다. 그럼에도 불구하고, 청구항들 중 어느 것도 특허법 101, 102 또는 103 섹션들의 요건을 충족하지 못하는 주제를 포함하려는 의도는 없으며 그러한 방식으로 해석되어서도 안 된다. 이러한 주제의 의도하지 않은 포함은 이에 의해 부인된다.

[0140] 바로 위에 언급된 경우를 제외하고, 언급된 또는 예시된 어떠한 내용도 청구항들에 인용되어 있는지 여부에 관계없이, 임의의 컴포넌트, 단계, 피처, 목적, 이익, 이점 또는 등가물을 공공에 헌납하도록 의도되거나 해석되어서는 안 된다.

[0141] 본원에 사용된 용어들 및 표현들은 특정한 의미가 본원에서 다르게 제시된 경우를 제외하고 대응하는 개개의 탐구 및 연구 분야와 관련하여 이러한 용어들 및 표현들에 따른 일반적인 의미를 갖는 것으로 이해될 것이다. 제1, 제2 등과 같은 관계 용어들은 이러한 엔티티들 또는 액션들 간의 이러한 임의의 실제 관계 또는 순서를 반드시 요구하거나 암시하지 않고 하나의 엔티티 또는 액션을 다른 엔티티 또는 액션과 구별하기 위해서만 사용될 수 있다. 용어 "포함하다(comprises)", "포함하는(comprising)", "포함하다(includes)", "포함하는(including)" 또는 그 임의의 다른 변형은 비배타적인 포함을 커버하도록 의도되어, 엘리먼트들 또는 단계들의 목록을 포괄하거나 포함하는 프로세스, 방법, 물품 또는 장치는 해당 엘리먼트들 또는 단계들만을 포함하는 것이 아니라 이러한 프로세스, 방법, 물품 또는 장치에 고유하거나 명시적으로 나열되지 않은 다른 엘리먼트들 또는 단계들도 포함할 수 있다. "어느(a)" 또는 "어떤(an)"이 앞에 오는 엘리먼트는 추가 제한 없이 해당 엘리먼트를 구성하는 프로세스, 방법, 물품 또는 장치에서 추가적인 동일한 엘리먼트들의 존재를 배제하지 않는다.

[0142] 달리 명시하지 않는 한, 이하의 청구항들을 포함하여 본 명세서에 제시되는 임의의 그리고 모든 측정치들, 값들, 등급들, 포지션들, 크기들, 사이즈들 및 다른 사양들은 대략적인 것이며 정확하지 않다. 이러한 양들은 관련된 기능 및 관련된 기술 분야의 관례와 일치하는 합리적인 범위를 갖도록 의도된다. 예를 들어, 달리 명시하지 않는 한, 파라미터 값 등은 언급된 양으로부터 ±10%까지 달라질 수 있다.

[0143] 또한, 상술한 상세한 설명에서, 본 개시내용을 간소화할 목적으로 다양한 피처들이 다양한 예들에서 함께 그룹화되어 있음을 알 수 있다. 이러한 개시 방법은 청구된 예들이 각각의 청구항에 명시적으로 인용된 것보다 더 많은 피처들을 요구한다는 의도를 반영하는 것으로 해석되어서는 안 된다. 오히려, 이하의 청구항들이 반영하는 것처럼, 보호되는 주제는 개시된 임의의 단일 예의 모든 피처보다 적다. 따라서, 이하의 청구항들은 이에 의해 상세한 설명에 통합되며, 각각의 청구항은 그 자체로 개별적으로 청구된 주제의 지위를 갖는다.

[0144] 상술한 내용은 최상의 모드 및 다른 예들인 것으로 생각되는 것을 설명했지만, 다양한 수정들이 본원에서 이루어질 수 있고 본원에 개시된 주제는 다양한 형태들과 예들로 구현될 수 있고, 수많은 애플리케이션들에 적용될 수 있으며, 이들 중 일부만이 본원에서 설명되었다는 것이 이해된다. 이하의 청구항들 본 개념들의 실제 범위 내에 속하는 임의의 그리고 모든 수정들 및 변형들을 청구하는 것으로 의도된다.

Claims

제1 사용자의 머리에 착용되도록 적응된 전자 안경류 디바이스(electronic eyewear device)로서,
적어도 하나의 카메라;
명령들을 저장하는 메모리; 및
동작들을 수행하기 위해 상기 명령들을 실행하는 프로세서
를 포함하고,
상기 동작들은,
상기 적어도 하나의 카메라를 사용하여 상기 제1 사용자의 환경에서 이미지를 캡처하는 동작;
상기 캡처된 이미지에서 적어도 하나의 물리적 마커(physical marker)를 식별하는 동작;
상기 캡처된 이미지의 상기 적어도 하나의 물리적 마커가 사전 결정된 시간량 동안 상기 전자 안경류 디바이스의 시야 내에 있었다는 것을 결정하는 동작;
상기 적어도 하나의 카메라를 사용하여, 객체를 포함하는 스냅샷(snapshot)을 캡처하는 동작; 및
표시를 위해 상기 객체의 표현을 제2 사용자에게 전송하는 동작
을 포함하는, 제1 사용자의 머리에 착용되도록 적응된 전자 안경류 디바이스.
제1 항에 있어서,
상기 명령들의 실행은 상기 프로세서로 하여금 추가적인 동작들을 수행하게 하고,
상기 추가적인 동작들은,
상기 객체의 상기 스냅샷으로부터 상기 객체를 추출하는 동작; 및
표시를 위해 상기 추출된 객체를 제2 사용자에게 전송하는 동작
을 포함하는, 제1 사용자의 머리에 착용되도록 적응된 전자 안경류 디바이스.
제1 항에 있어서,
상기 프로세서로 하여금 상기 객체의 표현을 캡처하고 전송하는 동작을 포함하는 동작들을 수행하게 하는 상기 명령들의 실행은 추가 동작들을 수행하기 위해 상기 명령들을 실행하는 것을 포함하고,
상기 추가 동작들은,
상기 객체가 다른 사전 결정된 시간량 동안 상기 전자 안경류 디바이스의 시야 내에 있었다는 것을 결정하는 동작;
상기 객체를 포함하는 상기 스냅샷을 캡처하는 동작;
상기 스냅샷으로부터 상기 객체를 추출하는 동작; 및
표시를 위해 상기 추출된 객체를 상기 제2 사용자에게 전송하는 동작
을 포함하는, 제1 사용자의 머리에 착용되도록 적응된 전자 안경류 디바이스.
제1 항에 있어서,
상기 명령들의 실행은 상기 프로세서로 하여금 추가적인 동작들을 수행하게 하고,
상기 추가적인 동작들은, 상기 객체를 포함하는 상기 스냅샷을 추후의 검색(retrieval)을 위해 객체 갤러리에 저장하는 동작을 포함하는, 제1 사용자의 머리에 착용되도록 적응된 전자 안경류 디바이스.
제1 항에 있어서,
상기 프로세서로 하여금 표시를 위해 상기 객체의 표현을 상기 제2 사용자에게 전송하게 하는 상기 명령들의 실행은 동작들을 수행하는 것을 포함하고,
상기 동작들은, 객체 갤러리로부터 상기 객체의 표현을 검색하는 동작을 포함하는, 제1 사용자의 머리에 착용되도록 적응된 전자 안경류 디바이스.
제1 항에 있어서,
상기 프로세서로 하여금 표시를 위해 상기 객체의 표현을 상기 제2 사용자에게 전송하게 하는 상기 명령들의 실행은 동작들을 수행하는 것을 포함하고,
상기 동작들은,
상기 객체가 상기 전자 안경류 디바이스의 시야에 나타날 때마다, 상기 객체의 다른 스냅샷을 찍는 동작; 및
표시를 위해 상기 객체의 다른 스냅샷을 상기 제2 사용자에게 전송하는 동작
을 포함하는, 제1 사용자의 머리에 착용되도록 적응된 전자 안경류 디바이스.
제1 항에 있어서,
상기 객체의 상기 캡처된 스냅샷은 3차원 스냅샷을 포함하는, 제1 사용자의 머리에 착용되도록 적응된 전자 안경류 디바이스.
제1 항에 있어서,
상기 객체의 표현은 상기 객체에 대응하는 증강 현실 컨텐츠를 포함하는, 제1 사용자의 머리에 착용되도록 적응된 전자 안경류 디바이스.
제1 항에 있어서,
상기 적어도 하나의 물리적 마커는 맵 상에 배치되는, 제1 사용자의 머리에 착용되도록 적응된 전자 안경류 디바이스.
제1 항에 있어서,
상기 명령들의 실행은 상기 프로세서로 하여금 추가적인 동작들을 수행하게 하고,
상기 추가적인 동작들은,
상기 제1 사용자로부터의 오디오 메시지를 기록하는 동작; 및
상기 객체의 표현과 함께 상기 오디오 메시지를 전송하는 동작
을 포함하는, 제1 사용자의 머리에 착용되도록 적응된 전자 안경류 디바이스.
제1 항에 있어서,
디스플레이를 더 포함하고,
상기 프로세서로 하여금 표시를 위해 상기 객체의 표현을 상기 제2 사용자에게 전송하게 하는 상기 명령들의 실행은 동작들을 수행하는 것을 포함하고,
상기 동작들은,
저장된 스냅샷 이미지들 또는 증강 현실 컨텐츠 중 적어도 하나를 선택을 위해 상기 디스플레이에 제시하는 동작; 및
표시를 위해 선택된 스냅샷 이미지 또는 증강 현실 컨텐츠를 상기 제2 사용자에게 전송하는 동작
을 포함하는, 제1 사용자의 머리에 착용되도록 적응된 전자 안경류 디바이스.
전자 안경류 디바이스를 사용한 스냅샷 메시징 방법으로서,
제1 사용자의 환경에서 이미지를 캡처하는 단계;
상기 캡처된 이미지에서 적어도 하나의 물리적 마커를 식별하는 단계;
상기 캡처된 이미지의 상기 적어도 하나의 물리적 마커가 사전 결정된 시간량 동안 상기 전자 안경류 디바이스의 시야 내에 있었다는 것을 결정하는 단계;
객체를 포함하는 스냅샷을 캡처하는 단계; 및
표시를 위해 상기 객체의 표현을 제2 사용자에게 전송하는 단계
를 포함하는, 전자 안경류 디바이스를 사용한 스냅샷 메시징 방법.
제12 항에 있어서,
상기 객체의 상기 스냅샷으로부터 상기 객체를 추출하는 단계; 및
표시를 위해 상기 추출된 객체를 상기 제2 사용자에게 전송하는 단계
를 더 포함하는, 전자 안경류 디바이스를 사용한 스냅샷 메시징 방법.
제12 항에 있어서,
상기 객체의 표현을 캡처하고 전송하는 단계는,
상기 객체가 다른 사전 결정된 시간량 동안 상기 전자 안경류 디바이스의 시야 내에 있었다는 것을 결정하는 단계;
상기 객체를 포함하는 상기 스냅샷을 캡처하는 단계;
상기 스냅샷으로부터 상기 객체를 추출하는 단계; 및
표시를 위해 상기 추출된 객체를 상기 제2 사용자에게 전송하는 단계
를 포함하는, 전자 안경류 디바이스를 사용한 스냅샷 메시징 방법.
제12 항에 있어서,
상기 객체를 포함하는 상기 스냅샷을 추후의 검색을 위해 객체 갤러리에 저장하는 단계를 더 포함하는, 전자 안경류 디바이스를 사용한 스냅샷 메시징 방법.
제12 항에 있어서,
표시를 위해 상기 객체의 표현을 상기 제2 사용자에게 전송하는 단계는, 객체 갤러리로부터 상기 객체의 표현을 검색하는 단계를 포함하는, 전자 안경류 디바이스를 사용한 스냅샷 메시징 방법.
제12 항에 있어서,
표시를 위해 상기 객체의 표현을 상기 제2 사용자에게 전송하는 단계는,
상기 객체가 상기 전자 안경류 디바이스의 시야에 나타날 때마다, 상기 객체의 다른 스냅샷을 찍는 단계; 및
표시를 위해 상기 객체의 다른 스냅샷을 상기 제2 사용자에게 전송하는 단계
를 포함하는, 전자 안경류 디바이스를 사용한 스냅샷 메시징 방법.
제12 항에 있어서,
상기 제1 사용자로부터의 오디오 메시지를 기록하는 단계; 및
상기 객체의 표현과 함께 상기 오디오 메시지를 전송하는 단계
를 더 포함하는, 전자 안경류 디바이스를 사용한 스냅샷 메시징 방법.
제12 항에 있어서,
상기 객체의 표현을 전송하는 단계는,
저장된 스냅샷 이미지들 또는 증강 현실 컨텐츠 중 적어도 하나를 선택을 위해 디스플레이에 제시하는 단계; 및
표시를 위해 선택된 스냅샷 이미지 또는 증강 현실 컨텐츠를 상기 제2 사용자에게 전송하는 단계
를 포함하는, 전자 안경류 디바이스를 사용한 스냅샷 메시징 방법.
명령들을 저장한 비일시적 컴퓨터-판독 가능 저장 매체로서,
상기 명령들은, 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금, 동작들을 수행함으로써 전자 안경류 디바이스를 사용하여 스냅샷 메시지를 제공하게 하고,
상기 동작들은,
제1 사용자의 환경에서 이미지를 캡처하는 동작;
상기 캡처된 이미지에서 적어도 하나의 물리적 마커를 식별하는 동작;
상기 캡처된 이미지의 상기 적어도 하나의 물리적 마커가 사전 결정된 시간량 동안 상기 전자 안경류 디바이스의 시야 내에 있었다는 것을 결정하는 동작;
객체를 식별하는 동작;
상기 식별된 객체가 상기 전자 안경류 디바이스의 시야에 나타날 때마다, 상기 객체의 스냅샷을 찍는 동작; 및
표시를 위해 상기 객체의 상기 스냅샷을 제2 사용자에게 전송하는 동작
을 포함하는, 명령들을 저장한 비일시적 컴퓨터-판독 가능 저장 매체.