KR102627363B1

KR102627363B1 - 혼합 현실 시스템들을 위한 로컬화 결정

Info

Publication number: KR102627363B1
Application number: KR1020217012722A
Authority: KR
Inventors: 벤자민 자론 라인하르트; 사무엘 포아 코
Original assignee: 매직 립, 인코포레이티드
Priority date: 2017-01-23
Filing date: 2018-01-23
Publication date: 2024-01-18
Also published as: IL284404A; US11711668B2; IL284404B; JP6918122B2; US20220053287A1; US11206507B2; KR20210049208A; AU2018210015B2; EP3989173A1; CA3047013A1; CN110199321A; US20180213359A1; KR102247675B1; EP3571669A1; EP3571669B1; AU2018210015A1; EP3571669A4; US20200367018A1; AU2021204725A1; JP2020509633A

Abstract

증강 현실 시스템들을 사용하여 공유되는 사용자 경험들을 가능하게 하기 위해, 가상 객체들의 일관된 배치(포지션 및 배향)를 갖도록 공유 기준점들이 제공되어야 한다. 게다가, 사용자들의 포지션 및 배향(자세)은 동일한 공유 기준점들에 대해 결정 가능해야 한다. 그러나 매우 민감하고 값 비싼 글로벌 포지셔닝 시스템(GPS) 디바이스들이 없으면, 포즈 정보는 적정한 수준의 정확도로 결정하기 어려울 수 있다. 따라서 제공되는 것은 증강 현실 시스템들에 대한 포즈 정보의 결정에 대한 대안적인 접근 방식이며, 이는 위치 기반 콘텐츠 획득 및 공유를 수행하는 데 사용될 수 있다. 또한, 제공되는 것은 이미 존재하는 GPS 디바이스들로부터의 정보를 사용하는 증강 현실 시스템들에 대한 포즈 정보의 결정에 대한 대안적인 접근 방식이다.

Description

혼합 현실 시스템들을 위한 로컬화 결정{LOCALIZATION DETERMINATION FOR MIXED REALITY SYSTEMS}

[0001] 본 출원은 "LOCALIZATION DETERMINATION FOR MIXED REALITY SYSTEMS"라는 명칭으로 2017년 1월 23일자 출원된 미국 가특허출원 제62/449,512호에 대한 우선권을 주장하며, 이 가출원의 개시내용은 이로써 그 전체가 인용에 의해 본 출원에 명백히 포함된다. 본 출원은 2015년 4월 18일자 출원된 미국 특허출원 일련번호 제14/690,401호에 관련되는데, 이 특허출원은 "SYSTEMS AND METHOD FOR AUGMENTED AND VIRTUAL REALITY"라는 명칭으로 2014년 4월 18일자 출원된 미국 가특허출원 일련번호 제61/981,701호 및 "METHODS AND SYSTEMS FOR CREATING VIRTUAL AND AUGMENTED REALITY"라는 명칭으로 2014년 6월 14일자 출원된 미국 가특허출원 일련번호 제62/012,273호로부터의 우선권을 주장한다. 14/690,401 출원은 또한 "PLANAR WAVEGUIDE APPARATUS WITH DIFFRACTION ELEMENT(S) AND SYSTEM EMPLOYING SAME"이라는 명칭으로 2014년 7월 14일자 출원된 미국 특허출원 일련번호 제14/331,218호에 관련된다. 앞서 말한 특허출원들의 내용들은 이로써 그 전체가 인용에 의해 본 출원에 명백히 포함된다.

[0002] 본 개시내용은 일반적으로 하나 이상의 사용자들에 대한 대화형 가상 또는 증강 현실 환경들의 정보 지속성 및 위치 기반 콘텐츠 공유를 위한 로컬화(localization) 결정을 위한 시스템들 및 방법들에 관한 것이다.

[0003] 증강 현실(AR: augmented reality) 환경들은 그 환경을 설명하는 데이터를 부분적으로 사용하여 컴퓨터들에 의해 생성된다. 이 데이터는 사용자가 감지하고 상호 작용할 수 있는 다양한 객체들(가상 및 실제 모두)을 설명할 수 있다. 이러한 객체들의 예들은 사용자가 보기 위해 렌더링되고 디스플레이되는 객체들, 사용자가 듣기 위해 재생되는 오디오, 및 사용자가 느낄 촉감(또는 햅틱) 피드백을 포함한다. 사용자들은 다양한 시각적, 청각적 및 촉각적 방법들을 통해 이러한 AR 환경들을 감지하고 이러한 AR 환경들과 상호 작용할 수 있다.

[0004] 가상 현실(VR: virtual reality) 또는 AR 시스템들은 몇 가지만 예로 들자면, 과학적 시각화, 의료 교육, 군사 훈련, 엔지니어링 설계 및 프로토타이핑, 원격 조작 및 원격 현실(tele-presence), 그리고 개인 엔터테인먼트의 분야들에 걸쳐 많은 애플리케이션들에 유용할 수 있다. AR은 VR과 달리 실제 세계의 실제 객체들과 관련하여 하나 이상의 가상 객체들을 포함하는데, 예컨대 가상 객체들은 실제 세계의 실제 객체들과 관련하여 포지셔닝된다. 이는 AR 디바이스들로 사용자의 경험과 즐거움을 향상시키고, 사용자가 실제 객체들과 가상 객체들을 동시에 경험할 수 있게 하는 다양한 애플리케이션들에 대한 문을 열어준다.

[0005] 그러나 AR 시스템을 제공하는 데는 중대한 과제들이 있다. 한 가지 예비 과제는 해당 문제를 해결하는 쪽으로 구체적으로 관련된 추가 디바이스들 또는 하드웨어, 이를테면 디바이스에 비용을 추가하고 전체 크기 및 전력 요건들을 증가시키는 위치 비컨들 및/또는 GPS 디바이스들을 요구하지 않으면서 사용자 및 디바이스의 위치를 어떻게 충분한 수준의 정확도로 결정할지이다.

[0006] 따라서 하나 이상의 사용자들에 대한 대화형 AR 환경들의 위치 기반 콘텐츠 공유를 제공하도록 로컬화 결정을 위한 개선된 시스템들 및 방법들이 필요하다.

[0007] 본 개시내용의 실시예들은 하나 이상의 사용자들에 대한 대화형 가상 또는 증강 현실 환경들의 위치 기반 콘텐츠 공유를 위한 로컬화 결정을 위한 개선된 디바이스들, 시스템들 및 방법들에 관한 것이다.

[0008] 본 명세서에서 설명되는 실시예들은 통상적으로 머리 착용식 디스플레이들과 같은 사용자 착용 컴포넌트들을 갖는 증강 현실 시스템들을 제공한다. 실시예들은 위치 기반 콘텐츠 공유, 이를테면 동일한 영역 내의 다른 사용자들이 또한 상호 작용할 수 있는 하나 이상의 가상 객체들과 상호 작용하는 것을 가능하게 하기 위해 사용자의 위치를 결정하기 위한 프로세스들 및 시스템들을 제공한다.

[0009] 일부 실시예들에서, 위치 결정 시퀀스는 하나 이상의 조건들에 기초하여 개시된다. 예를 들어, 위치 결정 시퀀스는 부팅시, 디바이스가 자신이 있는 영역을 알지 못한다는 결정시, 디바이스가 자신의 포지션 및 배향을 알지 못한다는 결정시, 임의의 애플리케이션의 시작시, 사용자에 의한 개시시, 또는 이들의 임의의 결합으로 개시될 수 있다.

[0010] 일부 실시예들에서, 사용자 위치에서 메타데이터를 수집하고 그 수집된 메타데이터를 이전에 수집된 메타데이터와 비교하는 것을 포함하는 영역 로컬화 프로세스가 수행된다. 수집된 메타데이터는 임의의 통신 네트워크, 예컨대 WiFi, 블루투스, ZigBee 등에 대응할 수 있다. 더욱이, 수집된 메타데이터는 방송 텔레비전 및 라디오와 같은 단방향 통신 네트워크들에 대응할 수 있다. 수집된 메타데이터는 이전에 수집된 메타데이터와 로컬로, 원격으로, 또는 이들의 어떤 결합으로 비교될 수 있다. 추가로, 수집된 메타데이터는 스코어들, 가중치들 또는 신뢰 수준 임계치들을 사용하여 처리될 수 있는데, 여기서 충돌하는 결과들을 해결하기 위해 로컬 결정과 원격 결정 간의 충돌들이 추가로 처리/평가될 수 있다.

[0011] 일부 실시예들에서, 영역 로컬화 프로세스는 글로벌 포지셔닝 시스템(GPS: global positioning system)을 포함하는 디바이스들로부터 메타데이터를 수집하는 것을 포함한다. 메타데이터는 디바이스들에 관한 정보, 메타데이터가 수집된 방법 그리고 디바이스들 자체로부터의 GPS 데이터를 포함할 수 있다. GPS 데이터 및 전송 매체/방법에 관한 신호 정보(예컨대, WiFi 네트워크의 신호 강도)에 기초하여 증강 현실 디스플레이 디바이스가 위치될 수 있는 포지션들의 범위를 결정하기 위해 GPS 데이터는 휴리스틱(heuristics)을 사용하여 처리될 수 있다. 더욱이, 일부 실시예들에서, 휴리스틱 처리는 포지션 정보를 휴리스틱하게 결정하기 위해 신호 강도와 같은 다른 데이터를 사용하여 그리고 WiFi 핫스팟의 위치가 주어진 범위 내로 알려져 있는 WiFi 네트워크들과 같은 다른 네트워크들로 확장될 수 있다. 그러나 일부 실시예들에서, 메타데이터는 임의의 글로벌 포지셔닝 시스템들로부터의 정보를 포함하지 않는다.

[0012] 일부 실시예들에서, 개략적(coarse) 로컬화 프로세스가 수행된다. 개략적 로컬화 프로세스는 사용자 디바이스에서 캡처된 키프레임과 가장 잘 매칭하는 키프레임을 결정하도록 키프레임 분석을 통해 동작한다. 예를 들어, 각각의 맵 영역은 알려진 포지션들 및 배향들(포즈)에서 취해진 몇 개의 이전에 캡처된 키프레임들과 연관될 수 있다. 따라서 사용자 디바이스에서 취해진 키프레임은 이전에 캡처된 키프레임들과 비교되어, 이전에 캡처된 키프레임들 각각이 사용자 디바이스에서 취해진 키프레임과 얼마나 유사한지를 결정할 수 있다. 마지막으로, 가장 유사한 키프레임(예컨대, 가장 높은 유사성 스코어를 갖는 키프레임)이 미세 로컬화 프로세스 동안 추가 처리를 위해 선택될 수 있다. 일부 실시예들에서, 가장 유사한 키프레임은 또한 가장 가까운 키프레임이다. 그러나 일부 실시예들에서, 가장 가까운 키프레임은 사용자 디바이스에서 캡처된 키프레임의 시야와 충분히 오버랩하지 않는 뷰를 캡처하기 때문에 가장 가까운 키프레임은 가장 유사한 키프레임이 아닐 수 있다.

[0013] 일부 실시예들에서, 미세 로컬화 프로세스가 수행된다. 일부 실시예들에서, 미세 로컬화 프로세스는 이전 단계에서 식별된 가장 유사한 키프레임을 사용하여 사용자 디바이스의 포즈를 결정한다. 먼저, 사용자 디바이스의 상대적인 포즈는 임의의 공지된 컴퓨터 비전 기술들을 통해 가장 유사한 키프레임과 관련하여 결정된다. 둘째, 영역 원점에 대한 증강 현실 디바이스의 포지션이 결정된다. 이것은 두 변환들: 원점에서 키프레임으로의 변환 그리고 키프레임에서 증강 현실 디바이스로의 변환을 체인으로 연결함으로써 이루어질 수 있다. 따라서 증강 현실 디바이스의 포즈는 맵 영역 원점에 대해 결정될 수 있다. 더욱이, 미세 로컬화 프로세스가 여기서는 2 단계 프로세스로서 논의되지만, 일부 실시예들에서 프로세스는 단일 단계로 결합되거나 복수의 단계들로 분리될 수 있다.

[0014] 일부 실시예들에서, 앞서 설명한 프로세스들의 실행은 위치 기반 콘텐츠 활동들을 트리거하는 데 사용될 수 있다. 예를 들어, 콘텐츠 획득이 트리거될 수 있는데, 영역 로컬화 프로세스에서는, 예컨대 영역 로컬화 프로세스가 사용자가 쇼핑몰에 대응하는 영역에 있다고 결정할 때 쇼핑몰과 연관된 애플리케이션의 전송, 개략적 로컬화 프로세스에서는, 예컨대 식별된 최상의 매칭 키프레임이 영화관 티켓 창으로부터 주어진 거리 내에서 캡처되었을 때 영화관과 연관된 애플리케이션의 전송, 또는 미세 로컬화 프로세스에서는, 예컨대 하나 이상의 인근 상점에 대한 가상 메뉴 애플리케이션 및 주문 시스템의 전송이 트리거될 수 있다. 더욱이, 위치 결정 시퀀스 동안 콘텐츠 공유가 트리거될 수 있다. 이 프로세스는 콘텐츠 획득과 비슷하지만 해당 영역 내의 사용자들로부터 송신된 콘텐츠의 경우이다. 예를 들어, 식별된 맵 영역의 레벨에서는, 예컨대 거리 공연자가 대중 공연에서 가상 객체들을 통합하는 콘텐츠 공유가 트리거될 수 있고, 최상의 매칭 키프레임에 대한 근접도를 기초로, 예컨대 영화관이 관련 영화를 위해 영화관에 입장하기 위해 기다리는 고객들에게 가상 퀴즈 게임을 위한 가상 객체들을 송신하는, 또는 식별된 위치를 기초로, 예컨대 영화관이 영화관 자체 내에 있는 것으로 확인되는 고객들에게 특별한 콘텐츠― 이 콘텐츠는 심지어 보유된 특정 영화 티켓에 대응할 수 있음 ―를 스트리밍하는 콘텐츠 공유가 트리거될 수 있다.

[0015] 일부 실시예들에서, 위치 기반 콘텐츠 활동들은 로컬 통신 네트워크를 통한 디바이스들 간의 단방향 또는 양방향 콘텐츠 교환을 포함한다. 예를 들어, 단방향 교환 콘텐츠는 프레젠테이션 자료들과 같은 콘텐츠를 하나의 디바이스에서 하나의 또는 많은 디바이스들로 스트리밍하는 것을 포함할 수도 있는 반면, 양방향 콘텐츠 교환은 프레젠테이션 자료들의 공동 생성을 가능하게 하기 위해 두 명 이상의 사람들이 콘텐츠를 교환하는 것을 포함할 수도 있다.

[0016] 본 개시내용의 추가 그리고 다른 목적들, 특징들 및 이점들이 상세한 설명, 도면들 및 청구항들에서 설명된다.

[0017] 도면들은 본 개시내용의 다양한 실시예들의 설계 및 유용성을 예시한다. 도면들은 실측대로 그려진 것이 아니며, 유사한 구조들 또는 기능들의 엘리먼트들은 도면들 전체에 걸쳐 동일한 참조 번호들로 표현된다는 점이 주목되어야 한다. 개시내용의 다양한 실시예들의 앞서 언급한 그리고 다른 이점들 및 목적들을 어떻게 얻을지를 보다 잘 인식하기 위해, 위에서 간략히 기술된 본 개시내용의 보다 상세한 설명은 첨부 도면들에 예시된 그 특정 실시예들을 참조하여 제공될 것이다. 이러한 도면들은 단지 본 개시내용의 일반적인 실시예들을 도시할 뿐이며 따라서 그 범위를 제한하는 것으로 여겨져서는 안 된다고 이해하여, 본 개시내용은 첨부 도면들의 사용을 통해 추가 특이성 및 세부사항으로 기술 및 설명될 것이다.
[0018] 도 1은 증강 현실 디스플레이 디바이스에 대해 위치 결정이 수행되는 예시적인 환경을 예시한다.
[0019] 도 2a - 도 2b는 일부 실시예들에 따른 예시적인 증강 현실 콘텐츠 서버 및 증강 현실 시스템을 예시한다.
[0020] 도 3은 일부 실시예들에 따라, 로컬화 프로세스를 수행하기 위한 예시적인 프로세스 흐름을 예시한다.
[0021] 도 4a - 도 4c는 일부 실시예들에 따라, 도 3에 예시된 "영역 로컬화 수행" 단계에 대한 예시적인 프로세스 흐름들을 예시한다.
[0022] 도 5는 일부 실시예들에 따라, 도 3에 예시된 "개략적 로컬화 수행" 단계에 대한 예시적인 프로세스 흐름을 예시한다.
[0023] 도 6은 일부 실시예들에 따라, 도 3에 예시된 "미세 로컬화 수행" 단계에 대한 예시적인 프로세스 흐름을 예시한다.
[0024] 도 7a - 도 7j는 일부 실시예들에 따라, 결정되지 않은 위치에 있는 사용자에 대한 로컬화 프로세스의 예시적인 일례를 제공한다.
[0025] 도 8a - 도 8d는 일부 실시예들에 따라, 결정되지 않은 위치에 있는 사용자에 대한 영역 로컬화 프로세스의 예시적인 일례를 제공한다.
[0026] 도 9는 본 개시내용이 구현될 수 있는 예시적인 컴퓨팅 시스템의 아키텍처를 도시한다.

[0027] 본 개시내용의 실시예들은 하나 이상의 사용자들에 대한 대화형 가상 현실(VR) 또는 증강 현실(AR) 환경들의 위치 기반 콘텐츠 공유를 위한 로컬화 결정을 위한 개선된 디바이스들, 시스템들 및 방법들에 관한 것이다.

[0028] 본 명세서에서 예시되는 실시예들은 위치 기반 콘텐츠 공유, 이를테면 동일한 영역 내의 다른 사용자들이 또한 상호 작용할 수 있는 하나 이상의 가상 객체들과 상호 작용하는 것을 제공하기 위해 사용자의 위치를 결정하기 위한 프로세스들 및 시스템들을 제공한다.

[0029] 도 1은 AR 디스플레이 디바이스에 대해 위치 결정이 수행되는 예시적인 환경을 예시한다. 본 명세서에서 개시되는 예시적인 환경은 가상 객체들 및 공유되든, 스트리밍되든 아니면 로컬로 생성되든, 다른 가상으로 디스플레이되는 콘텐츠와 같은 콘텐츠를 공유하기 위해 사용자 위치를 결정하기 위한 시스템을 포함한다.

[0030] 증강 현실 디스플레이 디바이스(101)는 사용자에게 증강 현실 뷰(102)를 제시한다. 일반적으로, AR은 실제 세계의 어떤 부분의 뷰를 포함하는데, 예컨대 가상 객체를 하나 이상의 디스플레이된 가상 객체들을 사용자들의 눈들에 반사시키는 한 쌍의 AR 안경에 가상 객체를 투사하여, 가상 객체들이 사용자와 실제 세계 사이에 놓이게 함으로써 그 뷰 위에 하나 이상의 가상 객체들이 오버레이된다. 더욱이, 가상 객체를 현실 세계와 관련하여 특정 위치 내에 나타나게 하기 위해 다양한 디바이스들 및 기술들이 사용될 수 있다. 예컨대, 도시된 증강 현실 디스플레이(101)는 증강 현실 디스플레이 디바이스 뷰(102) 내의 서프보드 위에서 그렘린이 파도를 타고 있는 것을 디스플레이하는 데 사용될 수 있다. 이러한 디스플레이는 증강 현실 디스플레이 디바이스(101) 상에 다양한 센서들, 이를테면 스테레오 비전용 안경의 좌측 및 우측 상의 카메라들, 가속도계, 자력계, 및 이동 및 배향의 검출을 위한 자이로스코프를 배치함으로써 가능해질 수도 있다. 예시적인 증강 현실 디스플레이 디바이스에 관련된 추가 세부사항들은 2014년 11월 27일자로 출원된 미국 특허출원 제14/555,585호에 기술되어 있으며, 이 출원은 이로써 그 전체가 인용에 의해 포함된다.

[0031] 증강 현실 디스플레이 디바이스 뷰(102)는 또한 디스플레이된 장황한 초기화 프로세스(103)를 포함하는데, 이는 메타데이터를 수집하고, 맵 영역을 식별하고, 가장 가까운 키프레임을 식별하고, 배향을 식별하는 것을 포함한다. 이 프로세스는 아래에서 더 상세히 논의될 것이다. 그러나 프로세스가 반드시 사용자들에게 도시될 필요가 없거나 또는 대안으로, 프로세스의 어떤 부분/요약 정보가 사용자들에게 도시될 수 있다.

[0032] 증강 현실 시스템(110)은 로컬화 프로세스를 위한 모듈들 및 데이터베이스 엘리먼트들을 제공한다. 이러한 모듈들 및 데이터베이스 엘리먼트들은 도 9 및 본 명세서의 대응하는 단락들에 개시된 것과 같은 컴퓨팅 시스템 상에 구현될 수 있다. 모듈들 및 데이터베이스 엘리먼트들 자체는 소프트웨어, 하드웨어, 또는 이들의 어떤 결합을 포함할 수 있다. 이러한 시스템들은 증강 현실 디스플레이 디바이스(101)에 ― 유선 또는 무선으로, 증강 현실 디스플레이 디바이스(101) 자체의 일부로서, 증강 현실 디스플레이 디바이스(101)에 접속하며 유선 또는 무선으로 접속되는 다른 시스템 또는 컴퓨팅 디바이스의 일부로서, 또는 이들의 임의의 결합으로 접속하는 전용 컴퓨팅 모듈에 제공될 수 있다.

[0033] 증강 현실 시스템(110)은 초기화 모듈(111)을 사용하여 로컬화 프로세스를 개시한다. 예컨대, 초기화 모듈(111)은, 증강 현실 디스플레이 디바이스(101)가 어떤 영역 구역/위치에 있는지를 증강 현실 디스플레이 디바이스(101)가 아는지 여부, 증강 현실 디스플레이 디바이스(101)가 어떤 키프레임이 가장 가까운 키프레임인지를 아는지 여부, 그리고 증강 현실 디스플레이 디바이스(101)가 자신이 영역 구역 원점에 대해 어느 배향인지를 아는지 여부에 관해 결정하는 데 사용될 수 있다. 그 결과, 초기화 모듈(111)은 프로세스의 정확한 스테이지에서 로컬화를 트리거할 수 있는데, 예컨대 해당 영역이 알려지지 않았을 때는 영역 로컬화를 트리거하거나 그 영역이 알려져 있지만 배향 및 가장 가까운 키프레임은 알려지지 않았다면 개략적 로컬화를 트리거할 수 있다. 그러나 대부분의 상황들 하에서, 증강 현실 디스플레이 디바이스(101)는 영역 로컬화 모듈(예컨대, 영역 로컬화 인터페이스 모듈(113))로 로컬화 프로세스를 시작할 것이다.

[0034] 로컬화 인터페이스 모듈들(112)은 영역 로컬화 인터페이스 모듈(113), 개략적 로컬화 인터페이스 모듈(114) 및 미세 로컬화 인터페이스 모듈(115)을 포함한다. 각각의 모듈은 특정 영역에 대해 원점에 대한 현재 위치 및 배향을 결정하기 위해 로컬화 프로세스의 서로 다른 부분을 처리한다.

[0035] 영역 로컬화 인터페이스 모듈(113)은 증강 현실 시스템(110)에 의해 지원되는 임의의 네트워크를 사용하여 범위 내의 무선 네트워크 디바이스들과 같은 관련 영역 메타데이터를 수집한다. 무선 네트워크들은 블루투스와 같은 단거리 네트워크들 및 WiFi와 같은 보다 장거리 네트워크들을 포함할 수 있다. 더욱이, WiMAX, ZigBee 또는 셀룰러 네트워크들과 같은 다른 무선 네트워킹 표준들이 사용될 수 있다. 더욱이, 단방향 네트워크들은 또한 디지털 또는 아날로그 텔레비전 신호들, 무선 신호들, 또는 영역과 연관된 임의의 다른 신호들과 같은 관련 메타데이터를 제공할 수 있다. 메타데이터가 수집되는 동안 또는 수집된 후에, 메타데이터는 적절한 저장 위치, 예컨대 임시 메모리에 또는 로컬 캐시/데이터베이스(130)에 로컬로 저장될 수 있다. 메타데이터는 맵 영역 데이터 세트(131)로 그리고 영역 메타데이터 부분(132)으로 구조화될 수 있다. 추가로, 맵 영역 데이터(131)는 임시 또는 작업 맵 영역을 포함할 수 있다. 예를 들어, 맵 영역 데이터(131)는 아직 식별되지 않은/정의되지 않은 맵 영역에 대응할 수 있다. 마지막으로, 메타데이터는 식별된 메타데이터와 가장 잘 매칭하는 맵 영역의 결정을 위해 증강 현실 콘텐츠 서버(150)로 송신될 수 있다. 일부 실시예들에서, 식별된 맵 영역에 대응하는 맵 영역 데이터는 증강 현실 시스템(110)에 송신되어 개략적 로컬화 및 미세 로컬화를 수행할 수 있다. 일부 실시예들에서, 개략적 로컬화 프로세스는 증강 현실 콘텐츠 서버(150) 또는 이와 연관된 디바이스에서 실행될 수 있다. 그러나 본 예시는 증강 현실 시스템(110)에서 개략적 로컬화 및 미세 로컬화를 수행하는 것을 제공한다. 맵 영역 데이터(131)는 채워지는 경우에, 적어도 영역 구역/위치 정의(이를테면, 영역 경계 및 토폴러지 데이터) 및 그 영역과 연관된 한 세트의 키프레임들을 포함한다.

[0036] 개략적 로컬화 인터페이스 모듈(114)은 영역 구역/위치 정보를 수신할 수 있고 이러한 정보를 이를테면, 로컬 캐시/데이터베이스(130) 내의 영역 구역/위치(133)에 적절하게 저장할 수 있다. 개략적 로컬화 인터페이스 모듈(114)은 적절하게 또한 저장될 수 있는 키프레임 정보를 또한 수신할 수 있다. 예를 들어, 개략적 로컬화 인터페이스 모듈(114)은 키프레임들(134)을 수신하고 키프레임들(134)을 로컬 캐시/데이터베이스(130) 내에 저장할 수 있다. 개략적 로컬화 인터페이스 모듈(114)은 키프레임들(134)의 피처들(134a)을 결정하고 피처들(134a)을 로컬 캐시/데이터베이스(130) 내에 저장할 수 있다. 피처들의 예들은 에지들, 코너들, 얼룩, 융기들 등을 포함한다. 그 다음, 개략적 로컬화 인터페이스 모듈(114)은 키프레임(예컨대, 키프레임들(134) 중 키프레임)을 캡처하고, 캡처된 키프레임을 증강 현실 콘텐츠 서버(150)로부터 수신된 한 세트의 키프레임들(예컨대, 키프레임들(164)) 및/또는 이들의 피처들(예컨대, 피처들(164a)과 비교하여 가장 가까운 그리고/또는 최상의 매칭 키프레임을 식별할 수 있다. 일부 실시예들에서, 개략적 로컬화 인터페이스 모듈(114)은 키프레임들(134) 내의 피처들(134a)을 증강 현실 콘텐츠 서버(150)의 서버 데이터베이스(160)로부터의 키프레임들(164)의 피처들(164a)과 비교할 수 있다. 그러나 최상의 매칭 키프레임이 항상 가장 가까운 키프레임은 아닐 수 있다. 예를 들어, 가장 가까운 키프레임이 증강 현실 디스플레이 디바이스(101)의 시야의 외부에 있는 뷰를 디스플레이하도록 위치된다면, 캡처된 가장 가까운 키프레임이 뷰로부터 숨겨져 있기 때문에 그 증강 현실 디스플레이 디바이스(101)를 사용하여 캡처된 키프레임은 캡처된 키프레임이 가장 가까운 키프레임과 유사하다는 점을 발견하지 못할 것이다. 일부 실시예들에서, 키프레임들은 사용자가 볼 수 있는 것보다 더 큰 시야를 캡처하도록 360도 또는 유사한 카메라, 또는 카메라들의 어떤 결합으로 캡처될 수 있다. 가장 가까운 또는 최상의 매칭 키프레임을 식별하는 프로세스의 추가 세부사항들은 아래에서 논의될 것이다. 키프레임 처리에 관한 추가 세부사항들은 "CREATING A TOPOLOGICAL MAP FOR LOCALIZATION IN AUGMENTED OR VIRTUAL REALITY SYSTEMS"라는 명칭으로 2015년 5월 7일자 출원된 미국 특허출원 제14/705,983호에서 설명되며, 이 출원은 이로써 그 전체가 인용에 의해 포함된다.

[0037] 가장 가까운 또는 최상의 매칭 키프레임(본 명세서에서는 매칭 키프레임)이 결정되었다면, 미세 로컬화 인터페이스 모듈(115)은 매칭 키프레임을 그 증강 현실 디스플레이 디바이스(101)를 사용하여 캡처된 키프레임과 비교할 수 있다. 이 비교에 기초하여, 증강 현실 시스템(110)은 증강 현실 디스플레이 디바이스(101)의 포즈(포지션 및 배향)를 결정할 수 있다. 포즈를 결정하는 것은 일반적으로 두 단계들로 수행된다. 먼저, 상대적인 포즈가 키프레임과 관련하여 결정된다. 둘째, 맵 영역 원점에 대한 증강 현실 디스플레이 디바이스(101)의 포지션이 결정된다. 이것은 두 변환들: 맵 영역 원점에서 키프레임으로의 변환 그리고 키프레임에서 증강 현실 디스플레이 디바이스(101)로의 변환을 체인으로 연결함으로써 이루어질 수 있다. 이와 같이, 증강 현실 디스플레이 디바이스(101)의 포즈가 맵 영역 원점에 대해 결정될 수 있다. 따라서 증강 현실 디스플레이 디바이스(101)의 맵 영역 원점을 결정하기 위해, 키프레임에 대한 상대적인 포지션이 맵 영역 원점에 대한 상대적인 포지션으로 변환(translate)될 수 있고, 이는 다수의 증강 현실 디스플레이 디바이스 사용자들이 공유된 맵 영역 원점 및 물리적 공간에 대해 동일한 위치에서 동일한 가상 객체(들)와 상호 작용할 수 있기 때문에, 주어진 영역에서 공유되는 사용자 경험을 가능하게 한다.

[0038] 로컬 캐시/데이터베이스(130)는 비휘발성 저장소― 예컨대, 고체 상태 드라이브들, 하드 디스크 드라이브들, 또는 임의의 다른 영구적인 재기록 가능한 매체들 또는 매체 ―만을 포함할 수 있다. 그러나 로컬 캐시/데이터베이스(130)는 또한 휘발성 저장소― 예컨대, 랜덤 액세스 메모리(RAM: random access memory) ―만을 포함할 수 있거나, 대안으로 휘발성 저장소와 비휘발성 저장소의 어떤 결합을 포함할 수 있다. 더욱이, 로컬 캐시/데이터베이스(130)는 작업 또는 현재 영역에 대한 맵 영역 데이터(131)를 유지하는 데 사용되는 휘발성 메모리, 및 빈번하게 액세스될 필요는 없는 현재 또는 작업 맵 영역에 대한 맵 영역 데이터를 저장하기 위한 또는 홈 오피스, 비즈니스 회의실 또는 다른 위치들과 같은 이전에 액세스 또는 마킹된 맵 영역들에 대한 맵 영역 데이터를 저장하기 위한 비휘발성 부분과 같은 서로 다른 구역들로 나뉠 수 있다.

[0039] 증강 현실 콘텐츠 서버(150)는 적어도 로컬화 모듈들(151) 및 서버 데이터베이스(160)를 갖는다. 로컬화 모듈들(151)은 주로 로컬화 인터페이스 모듈들(112)을 미러링한다. 그러나 로컬화 모듈들(151)은 도 2a와 관련하여 보다 상세하게 논의될 것이다.

[0040] 서버 데이터베이스(160)는 맵 데이터(131)를 미러링하는 맵 영역 데이터(161), 영역 메타데이터(132)에 대응하는 영역 메타데이터(162), 영역 구역/위치(133)에 대응하는 영역 구역/위치(163), 키프레임들(134)에 대응하는 키프레임들(164), 및 피처들(134a)에 대응하는 피처들(164a)을 갖는 로컬 캐시/데이터베이스(130)와 본질적으로 동일하다. 그러나 서버 데이터베이스(160)는 증강 현실 콘텐츠 서버(150)를 통하는 것을 제외하고는 증강 현실 시스템(110)에 의해 쉽게 액세스할 수 없는 다수의 소스들로부터의 데이터를 집성할 수 있다. 예컨대, 서버 데이터베이스(160)는 다른 사용자들로부터, 다른 시스템들로부터, 그리고 심지어 증강 현실 시스템들이 아닌 소스들, 예컨대 매핑 시스템들로부터 수집된 메타데이터, 및 셀폰 타워들, WiFi 핫스팟들 및 방송 미디어 안테나들과 같은 다른 무선 네트워킹 디바이스들의 물리적 위치를 나타내는 데이터와 같은 다른 데이터를 포함할 수 있다.

[0041] 도 2a - 도 2b는 일부 실시예들에 따른 예시적인 증강 현실 콘텐츠 서버 및 증강 현실 시스템을 예시한다. 도 2a는 서버 측 인프라구조의 보다 상세한 뷰를 갖는 실시예를 제공하는 한편, 도 2b는 증강 현실 디바이스의 보다 상세한 뷰의 실시예를 제공한다.

[0042] 도 2a는 예시적인 증강 현실 콘텐츠 서버(150) 및 서버 데이터베이스(160)를 예시한다. 도 1에 예시된 엘리먼트들에 추가하여, 증강 현실 콘텐츠 서버(150) 및 서버 데이터베이스(160)는 로컬화 및 콘텐츠 서비스들을 위한 데이터 및 모듈들을 예시하도록 수정되었다.

[0043] 동일한 참조 번호를 갖는 항목들은 여기서 다르게 설명되는 것을 제외하고는 도 1과 관련하여 설명된 것과 동일하다. 구체적으로, 증강 현실 콘텐츠 서버(150), 로컬화 모듈들(151), 서버 데이터베이스(160), 맵 영역 데이터(161), 영역 메타데이터(162), 영역 구역/위치(163), 키프레임(164) 및 피처들(164a)은 도 1과 관련하여 위에서 설명된다. 그러나 영역 로컬화 모듈(152), 개략적 로컬화 모듈(153) 및 미세 로컬화 모듈(154)로 이제 채워진 로컬화 모듈들(151) 내에서 하나의 차이점이 발견될 수 있다.

[0044] 영역 로컬화 모듈(152)은 매치 또는 가장 잘 매칭하는 맵 영역 또는 구역을 선택하는 데 사용될 수 있다. 영역 로컬화 모듈(152)은 단독이든 아니면 좌표 정보와 함께든, 사용자 디바이스(예컨대, 증강 현실 디스플레이 디바이스(101))로부터 수집된 메타데이터를 사용하여 영역 위치를 결정할 수 있다. 이러한 기술들은 적어도 도 3 - 도 7j와 관련하여 논의될 것이다. 그러나 간단히 이 기술은 이를테면, 증강 현실 디바이스에서 전송될 수 있는 무선 네트워크들에 관한 정보를 수집함으로써 증강 현실 디바이스(예컨대, 증강 현실 디스플레이 디바이스(101))에서 액세스 가능하거나 식별 가능한 관련 메타데이터를 수집하고, 복수의 맵 영역 데이터 세트들(예컨대, 맵 영역 데이터(161))의 영역 메타데이터(162)와 증강 현실 디바이스에 의해 수신/수집된 메타데이터를 비교하는 것을 포함한다. 예를 들어, 영역 로컬화 모듈(152)은 한 세트의 수신된 메타데이터를, 맵 영역 데이터(161)와 같은 한 세트의 영역 메타데이터를 각각 포함하거나 그에 대응하는 맵 영역 데이터의 복수의 세트들과 비교하여, 매칭하는 또는 수신된/수집된 영역 메타데이터에 대한 최상의 매칭인 하나 이상의 맵 영역들을 식별할 수 있다.

[0045] 개략적 로컬화 모듈(153)은 특정 맵 영역이 식별되면 최상의 매칭 키프레임을 식별하는 데 사용될 수 있다. 일반적으로, 맵 영역들은 영역 구역/위치를 포함한다. 예를 들어, 사용자의 집은 해당 영역의 경계가 이들의 특성 경계(예컨대, 구획)와 동일한 하나의 영역을 포함할 수 있고, 영역 구역/위치는 또한 다른 관련 객체들 또는 물리적 피처들과 함께 집의 다양한 벽들, 문들, 창문들을 나타내는 영역 와이어프레임(165)과 연관될 수 있다. 이 위치 내에서, 일부 사용자 디바이스들은 이전에 키프레임들(164)로서 저장되었던 증강 현실 콘텐츠 서버(150)에 이전에 키프레임들을 제공했을 수 있다. 키프레임들(164) 자체는 알려진 포지션 및 배향에서 캡처된 이미지, 대개는 스테레오 이미지에 대응한다. 키프레임들(164)과 연관된 피처들(164a)이 결정되고 저장될 수 있다. 피처들의 예들은 에지들, 코너들, 얼룩, 융기들 등을 포함한다. 키프레임들(164)은 키프레임들(164) 중 증강 현실 디스플레이 디바이스(101)에서 얻은 이미지와 최상의 매칭인 식별된 영역 구역과 연관된 키프레임을 식별함으로써 개략적 로컬화를 수행하기 위한 프로세스의 일부로서 사용될 수 있다. 개략적 로컬화는 키프레임들(134)을 캡처하는 것, 키프레임들(134)의 피처들(134a)을 결정하는 것, 그리고 키프레임들(134)의 피처들(134a)을 키프레임들(164)의 피처들(164a)과 비교하는 것을 포함할 수 있다. 일부 실시예들에서, (로컬 캐시/데이터베이스(130)에 저장된 맵 영역 데이터(131)와 연관된 키프레임들과 같은) 키프레임들(164)이 이미 디바이스 상에 존재할 때, 또는 키프레임들(164)이 증강 현실 시스템(110)으로 전송된다면, 증강 현실 시스템(110) 상에서 최상의 매칭 키프레임을 결정하기 위한 필수 처리가 수행될 수 있다. 그러나 일부 실시예들에서, 증강 현실 콘텐츠 서버는 키프레임들(164)의 처리를 수행할 수 있다.

[0046] 미세 로컬화 모듈(154)은 맵 영역 원점에 대한 증강 현실 시스템(110)의 포지션 및 배향을 결정하기 위한 프로세스의 일부로서 사용될 수 있다. 일반적으로, 이는 두 단계들로 완료될 수 있다. 첫째, 증강 현실 시스템(110)의 상대적인 포지션 및 배향이 매칭 키프레임과 관련하여 결정될 수 있다. 두 번째로, 매칭 키프레임에 대한 상대적인 포지션 및 배향을 맵 영역 원점에 대한 포지션 및 배향으로 변환시킴으로써 증강 현실 시스템(110)의 포지션 및 배향이 결정될 수 있다. 더욱이, 레이턴시가 너무 길다면, 사용자가 더 이상 동일한 또는 충분히 유사한 포즈로 있을 수 없기 때문에 사용자 디바이스의 포즈를 결정할 때 레이턴시가 문제가 될 수 있다. 그러나 증강 현실 시스템(110)의 처리 능력들은 증강 현실 콘텐츠 서버(150)에서의 처리 시간과 결합된 레이턴시가 증강 현실 시스템(110)에서의 처리 시간 미만이 되게 할 수 있다. 따라서 일부 실시예들에서는, 증강 현실 콘텐츠 서버(150)에서 미세 로컬화가 실행될 수 있다. 추가로, 증강 현실 콘텐츠 서버(150)에서의 레이턴시 및 처리 시간이 증강 현실 시스템(110)에서의 처리 시간 미만임을 나타내는 결정 또는 다른 데이터에 대해 실행이 예측될 수 있다.

[0047] 로컬화 모듈들(151)의 동작 동안 및 이후의 다양한 시간들에, 증강 현실 콘텐츠 서버(150)는 수집된 정보를 이용하여 추가 콘텐츠 서비스들을 개시할 수 있다. 이러한 동작들은 콘텐츠 스트리밍 및 콘텐츠 공유를 가능하게 하기 위해 취해질 수 있다.

[0048] 예를 들어, 영역 로컬화 모듈(152)은 애플리케이션들 및 데이터(170)로부터의 애플리케이션들 및 연관된 데이터의 관련 송신을 트리거하는 데 사용될 수 있다. 예컨대, 영역 로컬화 모듈(152)은 식별된 영역 구역/위치가 로컬 피트니스 센터를 포함한다고 결정할 수 있다. 그 결과, 피트니스 센터를 위한 애플리케이션 또는 피트니스 활동들과 연관된 애플리케이션이 사용자 디바이스(예컨대, 증강 현실 디스플레이 디바이스(101))에 송신될 수 있어, 사용자는 전송의 완료시 또는 사용자의 포지션 및 배향의 결정의 완료 직후에, 또는 이들의 어떤 결합으로 애플리케이션의 사용을 시작할 수 있다. 하나의 사용 사례로, 사용자는 하나 이상의 운동 기구들에 대한 예약을 설정하고 가상 트레이너와 함께 트레이닝 세션을 시작하기 위한 애플리케이션을 사용하는 것이 가능할 수 있다. 이러한 활동들을 가능하게 하기 위해, 콘텐츠 스트리밍 모듈(156)이 애플리케이션의 선택 및 서버 데이터베이스(160)로부터의 데이터의 스트리밍을 관리하는 데 사용될 수 있는데, 예를 들어 사용자들의 포지션 및 배향이 결정되기 전에 특정 사용자와 연관된 사용자 데이터(171)(예컨대, GOLD'S GYM에서의 현재 회원으로서의 자격 및 애플리케이션 선호도들) 및 사용자 디바이스에 대한 시스템/구성 데이터(172)가 데이터의 자동 송신을 트리거하는 데 사용될 수 있다.

[0049] 다른 예에서, 영역 로컬화 모듈(152)은 콘텐츠 공유를 위한 애플리케이션들 및 연관된 데이터의 관련 송신을 트리거하는 데 사용될 수 있다. 예컨대, 가상 그룹 사이클링 클래스를 가능하게 하기 위한 애플리케이션이 송신될 수 있다. 애플리케이션을 사용하여, 각각의 사용자가 클래스 내의 다른 사용자들과 연관된 가상 객체들과 함께 디스플레이되는 그룹 클래스에 사용자들이 참여할 수 있어, 실제 객체들(예컨대, 다른 참여자들)이 가상 객체들로 증강되고, 가상 객체가 지연의 발생을 피하기 위해 직접 또는 로컬 네트워크(예컨대, 시설 WiFi 네트워크) 내에서부터 송신된 개개의 사용자들로부터의 데이터에 의해 제공되거나 그러한 데이터로 채워진다. 예컨대, 개개의 참여자들은 증강 현실 디바이스들(예컨대, 증강 현실 디스플레이 디바이스 101)를 사용하는 참여자들만 볼 수 있는 가상 객체들로서 참여자들의 실제 옷에 가상으로 적용되는, 팀들에 대한 가상 로고들 및 번호들을 선택하거나 할당받을 수 있다. 이러한 활동들을 가능하게 하기 위해, 콘텐츠 공유 모듈(155)이 애플리케이션 및 데이터(170)로부터 제공할 적절한 애플리케이션들 및 데이터를 결정할 수 있다. 더욱이, 맵 영역 데이터(161)에 대한 사용자 리스트 및 데이터(168)는 영역 내에 존재하는 개별 사용자들을 식별할 수 있는 한편, 그 영역에 대한 가상/실제 객체 데이터(166)가 객체들 그리고 실제 세계 객체들에 대한 이들의 위치들을 식별할 수 있다. 게다가, 일부 실시예들에서 맵 영역은 애플리케이션 리스트 및 연관된 데이터(167)와 연관될 수 있다.

[0050] 영역 와이어프레임(165)은 실제 객체들(예컨대, 벽들, 창문들, 난간들, 계단들 등)의 가상 표현을 제공할 수 있다. 와이어프레임 데이터는 어떤 가상 객체들을 디스플레이할지를 결정하는 데 특히 유용할 수 있다. 예컨대, 프레젠테이션을 제공하는 회의실의 사용자는 통상적으로 프레젠테이션이 동일한 회의실 내의 사용자들에게만 보일 수 있을 것이라고 예상할 것이다. 와이어프레임 정보를 사용하여, 콘텐츠 공유 모듈(155)은 사용자가 동일한 회의실 내에 있는지 여부를 결정할 수 있고, 동일한 회의실 내에 있지 않은 사용자들에 의한 프레젠테이션의 적어도 가상 부분들에 대한 액세스를 제한 또는 차단할 수 있다.

[0051] 도 2b는 예시적인 증강 현실 시스템(110) 및 로컬 캐시/데이터베이스(130)를 예시한다. 도 1에 예시된 엘리먼트들에 추가하여, 증강 현실 시스템(110) 및 로컬 캐시/데이터베이스(130)는 추가 데이터 및 모듈들을 포함하도록 그리고 증강 현실 시스템(110)을 작동시키기 위해 수정되었다.

[0052] 동일한 참조 번호를 갖는 항목들은 여기서 다르게 설명되는 것을 제외하고는 도 1 및 도 2a와 관련하여 설명된 것과 동일하다. 구체적으로, 초기화 모듈(111), 로컬화 인터페이스 모듈들(112), 영역 로컬화 인터페이스 모듈(113), 개략적 로컬화 모듈(114) 및 미세 로컬화 인터페이스 모듈(115)은 앞서 설명한 바와 같다.

[0053] 콘텐츠 공유 인터페이스 모듈(121)은 증강 현실 시스템(110)으로부터의 콘텐츠 공유를 위해 증강 현실 디스플레이 디바이스(101) 측 기능을 제공한다. 예컨대, 콘텐츠 공유 인터페이스 모듈(121)은 사용자 또는 사용자의 증강 현실 디스플레이 디바이스(101)에 의해 생성되는 가상 객체들을 다른 사용자들과 공유하는 데 사용될 수 있다. 예컨대, 사용자의 증강 현실 디스플레이 디바이스(101)는 그 내부에, 이를테면 사용자의 증강 현실 디스플레이 디바이스(101)가 직접 또는 로컬 네트워크를 통해 다른 사용자들에게 제공할 수 있는 프레젠테이션을 사용자 데이터(141)에 저장할 수 있다. 동작시, 이는 먼저 사용자 리스트 및 데이터(138) 및/또는 사용자 리스트 및 데이터(168)를 사용하여 어느 사용자들이 지정된 영역 내에 있는지를 결정함으로써, 그리고 두 번째로는 콘텐츠를 공유하는 사용자와 콘텐츠를 수신하는 사용자 사이의 연결을 설정함으로써 수행될 수 있어, 공유된 콘텐츠가 사용자에게 직접 또는 로컬 네트워크를 통해, 그러나 공유된 콘텐츠를 외부 서버를 통해 전송하지 않고 송신될 수 있다. 더욱이, 일부 실시예들에서, 콘텐츠 공유 중 일부 또는 전부는 증강 현실 콘텐츠 서버(150)를 사용하여 가능하게 되거나 송신 및 처리될 수 있다. 그러나 국소적으로 조작되는 또는 시간에 민감한 콘텐츠는 일반적으로 증강 현실 콘텐츠 서버(150)에 의해 야기된 임의의 지연을 피하도록 직접 또는 로컬 네트워크를 통한 콘텐츠 제공자로부터 콘텐츠 수신기들로의 송신에 의해 로컬하게 공유될 것이다.

[0054] 콘텐츠 스트리밍 인터페이스 모듈(122)이 증강 현실 시스템(110)으로부터 발생하지 않은 콘텐츠를 처리하기 위해 제공된다는 점을 제외하고 콘텐츠 스트리밍 인터페이스 모듈(122)은 콘텐츠 공유 인터페이스 모듈(121)과 유사하다. 다른 곳에서 발생하는 콘텐츠는 증강 현실 시스템(110)으로부터 발생하는 콘텐츠와는 다른 문제를 제시한다. 구체적으로, 증강 현실 디스플레이 디바이스(101)에 의해 제공되는 콘텐츠가 증강 현실 콘텐츠 서버(150)로 전송되어야 하고 그 다음에, 이를테면 공유된 시청 동안 콘텐츠 소유자에게 로컬인 디바이스들로 재송신되어야 한다면, 이러한 콘텐츠는 일반적으로 부자연스러운 지연을 겪을 것이다. 그러나 다른 곳으로부터 발생하는 콘텐츠가 특정 증강 현실 시스템(110)에 먼저 송신된다면, 그러한 콘텐츠는 다음에 그 증강 현실 시스템(110)에 의해 다른 사용자 디바이스들로 재송신되기 전에 부자연스러운 지연을 겪을 것이다. 따라서 콘텐츠 스트리밍 인터페이스 모듈(122)을 사용하여 2개 이상의 디바이스들로 스트리밍되는 콘텐츠에 대해, 증강 현실 콘텐츠 서버(150)는 모든 사용자들이 콘텐츠를 동시에 수신하도록 이러한 콘텐츠를 각각의 디바이스들에 전송하는 데 사용될 수 있거나 증강 현실 콘텐츠 서버(150) 또는 콘텐츠 스트리밍 인터페이스 모듈(122)은 예컨대, 타임스탬프들 및 조정 가능한 지연들을 사용함으로써 각각의 디바이스들에서 플레이 백을 동기화하는 데 사용될 수 있다.

[0055] 로컬 캐시/데이터베이스(130)는 주로 서버 데이터베이스(160)를 미러링한다. 그러나 로컬 캐시/데이터베이스(130)는 증강 현실 시스템(110)에 대한 데이터 관리를 제공하고, 따라서 서버 데이터베이스(160)에 존재하지 않는 일부 데이터를 포함할 수 있다. 예를 들어, 로컬 캐시/데이터베이스(130)는 진행 중인 추적을 위해 유지되는 임시 데이터 및 서버 데이터베이스(160)의 일부를 미러링하는 다른 데이터, 예컨대 사용 중인 또는 빈번하게 사용되는 맵 영역 데이터의 로컬 사본들, 특히 좋아하는/즐겨 찾는 위치와 연관된 데이터, 또는 이전에 액세스된 맵 영역들에 대한 맵 영역 데이터(131)를 포함할 수 있다. 그러나 로컬 캐시/데이터베이스(130) 내의 데이터 중 대부분은 서버 데이터베이스(160) 상의 데이터 또는 그 데이터의 서브세트에 대응한다. 예컨대, 영역 메타데이터(132)는 영역 메타데이터(162)에 대응하고, 영역 구역/위치(133)는 영역 구역/위치(163)에 대응하고, 키프레임들(134)은 키프레임들(164)에 대응하고, 피처들(134a)은 피처들(164a)에 대응하고, 영역 와이어프레임(135)은 영역 와이어프레임(165)에 대응하고, 가상/실제 객체 데이터(136)는 가상/실제 객체 데이터(166)에 대응하고, 애플리케이션 리스트 및 데이터(137)는 애플리케이션 리스트 및 데이터(167)에 대응하고, 사용자 리스트 및 데이터(138)는 사용자 리스트 및 데이터(168)에 대응하고, 애플리케이션들 및 데이터(140)는 애플리케이션들 및 데이터(170)에 대응하며, 사용자 데이터(141)는 사용자 데이터(171)에 대응하고, 시스템/구성 데이터(142)는 시스템/구성 데이터(172)에 대응한다.

[0056] 마지막으로, 증강 현실 시스템(110)은 증강 현실 디스플레이 디바이스(101)와 인터페이스하기 위한 디스플레이 디바이스 제어기(123), 센서들 및 이들이 수집하는 데이터를 모니터링하고 관리하기 위한 디바이스 센서 모듈(124), 및 사용자가 증강 현실 디스플레이 디바이스(101)를 인터페이스하고 제어하도록 제공하기 위한 사용자 인터페이스 모듈(125)을 포함할 수 있다.

[0057] 도 3은 일부 실시예들에 따라, 로컬화 프로세스를 수행하기 위한 예시적인 프로세스 흐름을 예시한다. 일반적으로, 프로세스는 맵 영역의 식별, 가장 가까운 기준점의 식별을 수행하고, 그 기준점을 사용하여 포지션 및 배향을 결정함으로써 동작한다. 더욱이, 프로세스의 각각의 단계 동안, 콘텐츠를 획득하도록 그리고 적절하게 콘텐츠 공유를 수행하도록 특정 단계들이 수행될 수 있다.

[0058] 프로세스는 302에서 시작하여 위치 결정 시퀀스가 개시된다. 이 개시는 임의의 수의 것들에 의해 트리거될 수 있다. 예를 들어, 위치 결정 시퀀스는 부팅시, 증강 현실 디스플레이 디바이스(101)가 자신이 있는 맵 영역을 알지 못한다는 결정시, 증강 현실 디스플레이 디바이스(101)가 자신의 포지션 또는 배향을 알지 못한다는 결정시, 애플리케이션의 시작시, 사용자에 의한 개시시, 또는 이들의 임의의 결합으로 트리거될 수 있다.

[0059] 단계(304)에서, 증강 현실 디스플레이 디바이스(101)가 어느 맵 영역에 있는지를 결정하기 위해 영역 로컬화가 수행된다. 이 프로세스는 도 4a - 도 4c와 관련하여 추가로 논의될 것이다. 그러나 증강 현실 디스플레이 디바이스(101) 위치에서 식별 가능한 관련 메타데이터를 수집함으로써 간단히 영역 로컬화가 수행되는데, 이러한 관련 메타데이터는 결국, (예컨대, 서버 데이터베이스(160)에서) 이전에 저장된 메타데이터와 비교되어, 수집된 데이터와 가장 잘 매칭하는 영역을 식별한다.

[0060] 306에서, 맵 영역이 식별되면 개략적 로컬화가 수행될 수 있다. 간단히, 증강 현실 디스플레이 디바이스(101)에서 키프레임을 먼저 캡처하고 (한 세트의 키프레임들 중) 미세 로컬화를 수행하는 데 사용될 캡처된 키프레임과 가장 잘 매칭하는 맵 영역과 연관된 키프레임을 식별함으로써 개략적 로컬화가 수행된다. 개략적 로컬화 프로세스는 도 5와 관련하여 추가로 설명된다.

[0061] 최상의 매칭 키프레임이 식별되었으면, 308에서 미세 로컬화가 수행될 수 있다. 미세 로컬화는 많은 기술들을 사용하여, 예를 들어 최상의 매칭 키프레임에 대한 사용자의 상대적인 포지션을 결정한 다음, 일관되고 공유 가능한 가상 객체 포지셔닝, 예컨대 각각의 사용자에 대해 동일한 위치에 포지셔닝되며 다수의 증강 현실 세션들에 걸쳐 지속되는 가상 객체들을 제공하기 위해, 최상의 매칭 키프레임에 대한 사용자의 상대적인 포지션을 공유된 맵 영역 원점에 대한 상대적인 포지션으로 변환하여 수행될 수 있다. 이 프로세스는 도 6과 관련하여 추가로 설명된다.

[0062] 310에서 병렬 위치 기반 콘텐츠 획득이 수행될 수 있다. 이 프로세스는 임의의 수의 스테이지들에서 트리거될 수 있다. 예컨대, 영역 로컬화 프로세스는, 영역 로컬화 프로세스가 사용자가 몰의 맵 영역에 대응하는 영역에 있다고 결정할 때 쇼핑몰과 연관된 애플리케이션의 전송을 트리거할 수 있거나, 개략적 로컬화 프로세스는 식별된 최상의 매칭 키프레임이 영화관 티켓 창으로부터 주어진 거리 내에 있을 때 영화관과 연관된 애플리케이션의 전송을 트리거할 수 있거나, 또는 미세 로컬화 프로세스는 하나 이상의 인근 상점에 대한 가상 메뉴 애플리케이션 및 주문 시스템의 자동 전송을 트리거하는 데 사용될 수 있다.

[0063] 312에서 병렬 위치 기반 콘텐츠 공유가 수행될 수 있다. 이 프로세스는 콘텐츠 획득 프로세스와 비슷하지만 해당 영역 내의 사용자들로부터 송신된 콘텐츠의 경우이다. 예를 들어, 식별된 맵 영역의 레벨에서는, 예컨대 거리 공연자가 대중 공연에서 가상 객체들을 통합하는 콘텐츠 공유가 트리거될 수 있고, 최상의 매칭 키프레임에 대한 근접도를 기초로, 예컨대 영화관이 관련 영화를 위해 영화관에 입장하기 위해 기다리는 고객들에게 가상 퀴즈 게임을 위한 가상 객체들을 송신하는, 또는 식별된 위치를 기초로, 예컨대 영화관이 영화관 자체 내에 있는 것으로 확인되는 고객들에게 특별한 콘텐츠― 이 콘텐츠는 보유된 특정 영화 티켓에 대응함 ―를 스트리밍하는 콘텐츠 공유가 트리거될 수 있다.

[0064] 도 4a - 도 4c는 일부 실시예들에 따라, 도 3에 예시된 영역 로컬화 수행 단계(304)에 대한 예시적인 프로세스 흐름들을 예시한다. 도 4a - 도 4c는 증강 현실 시스템, 증강 현실 콘텐츠 서버, 또는 이들의 어떤 결합에서 처리를 수행함으로써 맵 영역을 결정하기 위한 세 가지 가능한 프로세스 흐름들의 가능한 하나의 흐름을 각각 예시한다. 게다가, 개별적으로 예시되어 있지만, 각각의 흐름의 양상들은 적절한 다른 프로세스 흐름들 중 임의의 프로세스 흐름에서 수행될 수 있다.

[0065] 도 4a는 메타데이터를 수집하고 그 메타데이터를 처리를 위해 증강 현실 콘텐츠 서버에 송신함으로써 실행되는 영역 로컬화 프로세스의 예시를 제공한다.

[0066] 프로세스는 402A에서 시작하여 증강 현실 시스템의 실제 위치에서 메타데이터가 수집된다. 메타데이터는 임의의 식별 가능한 관련 데이터, 예컨대 임의의 식별 가능한 WiFi 네트워크 정보, 블루투스 디바이스들, 라디오 스테이션들, 방송 텔레비전, 셀룰러 타워들, 또는 무선 프로토콜들을 통해 송신되는 임의의 다른 정보를 포함할 수 있다. 일부 실시예들에서, 온도, 태양의 포지션, 달, 신속 응답 코드들(QR(quick response) 코드들), 거리 표지 정보, 또는 이미지 처리를 통해 검색 가능한 임의의 다른 데이터와 같은 추가 메타데이터가 수집될 수 있다.

[0067] 관련 메타데이터가 수집되면, 404A에서 관련 메타데이터가 증강 현실 콘텐츠 서버의 데이터 서비스 또는 영역 로컬화 모듈로 송신될 수 있다. 그 다음, 이 정보는 처리를 위해 연관된 데이터베이스에 또는 임시 메모리에 저장될 수 있다.

[0068] 수집된 메타데이터는 406A에서 대응하는 맵 영역 위치를 결정하는 데 사용된다. 이는 증강 현실 콘텐츠 서버(예컨대 영역 메타데이터(162))에 저장된 대응하는 메타데이터를 갖는 맵 영역들을 식별하도록 그리고 그러한 맵 영역들을 좁혀 수신된 메타데이터와 가장 잘 매칭하는 맵 영역을 식별하도록 데이터를 매칭시키는 임의의 기술들을 사용하여 수행될 수 있다. 예를 들어, 한 세트의 메타데이터는 10개의 WiFi 네트워크들에 대응하는 정보를 포함할 수도 있으며, 첫 번째 패스에서는 맵 영역들이 메타데이터에서 식별된 10개의 WiFi 네트워크 중 적어도 하나와 연관되는 맵 영역들만을 포함하도록 좁혀질 수 있으며, 다른 또는 추가 데이터를 사용하여 최상의 매칭 맵 영역을 결정하기 위한 추가 처리가 이어질 수 있다. 더욱이, 일부 실시예들에서는, 적어도 일부 매칭하는 메타데이터를 포함하는 한 세트의 잠재적인 맵 영역들의 각각의 맵 영역에 대해 스코어들이 생성될 수 있고, 가장 높은 스코어를 갖는 영역이 최상의 매칭 맵 영역으로서 선택될 수 있다.

[0069] 일 실시예에서, 휴리스틱 방법들 및 위치 정보를 사용하여 406A에서 메타데이터가 처리될 수 있다. 예컨대, GPS 데이터가 셀룰러 디바이스들로부터 수집되어 (APIPA 또는 BONJOUR와 같은) 피어 투 피어 WiFi, 브로드캐스트 범용 데이터그램 프로토콜, 블루투스, 또는 임의의 다른 무선 디바이스 대 디바이스 방법을 통해 증강 현실 시스템에 송신될 수 있다. GPS 데이터 또는 이와 연관된 데이터가 분석되어, GPS 데이터가 어떤 수준의 정확도를 갖는지(예컨대, 0.1미터 이내로 또는 1.0미터 이내로 정확함)를 결정할 수 있다. 그 다음, GPS 데이터는 셀룰러 디바이스와 증강 현실 시스템 사이의, 예컨대 셀룰러 디바이스의 1 내지 5미터 이내의 거리를 나타내는 데이터와 결합될 수 있다. 이러한 타입의 처리를 사용하여, 증강 현실 디스플레이 디바이스의 위치가 (예컨대, 내부 경계와 외부 경계 사이의) 구역 내에서 발견될 수 있다. 예를 들어, 셀룰러 디바이스가 증강 현실 시스템으로부터 최대한 5미터이고 GPS 데이터의 정확도 수준이 1미터 이내라고 가정하면, 증강 현실 디스플레이 디바이스가 셀룰러 디바이스 주변 6미터 구역 내에 있다고 안다. 이 6미터 구역은 증강 현실 디스플레이 디바이스를 특정 맵 영역 내에 있는 것으로 식별하기에 충분히 정확할 수 있지만, 다양한 요소들, 예컨대 맵 영역 크기 및 맵 영역 경계로부터 충분히 멀리 떨어져 있는 GPS 좌표들의 위치에 의존할 것이다. 증강 현실 디바이스가 위치되는 범위를 좁히는 데 도움이 되도록 다른 셀룰러 디바이스들로부터 추가 GPS 정보가 사용될 수 있는데, 추가 GPS 정보는 증강 현실 디스플레이 디바이스가 위치될 수 있는 추가 구역들을 생성하는 데 사용될 수 있으며, 증강 현실 시스템은 모든 구역들이 오버랩하는 구역들의 영역 내에 있다. 더욱이, 다른 디바이스들은 GPS 좌표들과 연관될 수 있다. 예를 들어, WiFi 핫스팟들이 특정 영역들 및 좌표들에 매핑될 수 있는데, 예컨대 STARBUCKS의 핫스팟은 맵 데이터를 사용하여 결정된 어떤 세트의 좌표들에서 그 특정 STARBUCKS를 수용하는 구조물 내에 위치되는 것으로 가정될 수 있다. 추가로, 디바이스에 대한 GPS 정보는 우선, 신속하게 캡처되지만 특별히 정확하지는 않은 위치 데이터, 예컨대 1미터 이내까지 정확한 개략적 포지션 정보를 포함할 수도 있다. 그러나 GPS 데이터는 더 정확한 위치 정보, 예를 들어, 0.1미터 이내까지 정확한 미세 포지션 정보로 셀룰러 디바이스에 의해 업데이트될 수 있다. 따라서 셀룰러 디바이스들에 대한 GPS 포지션 정보는 초기에는 대응하는 맵 영역을 식별하기에 충분히 정확하지 않을 수 있지만, 시간이 지남에 따라 그렇게 될 수 있다. 더욱이, GPS 정보는 임의의 GPS 가능 디바이스에 의해 제공될 수 있는데, 이 디바이스는 그 디바이스와 증강 현실 시스템 사이에서 데이터의 피어 투 피어 송신을 위한 시스템/컴포넌트들을 포함한다. 일부 실시예들에서, 휴리스틱 방법은 잠재적인 맵 영역들을 좁히기 위해 또는 다른 유사한 데이터로 맵 영역들 사이를 선택하기 위해 앞서 설명한, 이를테면 데이터를 전처리하기 위한 메타데이터 매칭 기술들과 결합될 수 있다.

[0070] 일부 실시예들에서, 증강 현실 디스플레이 디바이스 사이의 거리는 통신 프로토콜에 기초하여 미리 결정될 수 있다. 예를 들어, 상이한 최대 거리가 블루투스 통신 프로토콜의 상이한 버전들과 연관될 수 있으며, 그러한 프로토콜들은 또한 디폴트 최소 거리(예컨대, 0미터)와 연관될 수 있다. 일부 실시예들에서, 최소 거리 및 최대 거리는 신호 강도 정보에 기초하여 결정될 수 있다. 예를 들어, WiFi 통신 프로토콜들은 일반적으로, 송신을 위한 서로 다른 신호 강도들 및 환경 내의 재료들에 의한 흡수에 대한 서로 다른 특성들과 연관된다. 따라서 증강 현실 시스템에서 수집된 정보를 사용하여, 송신 디바이스로부터의 거리를 추정하기 위한 계산들이 수행될 수 있다. 이러한 정보는 환경 특성들에 관계없이 항상 동일한 방식으로 적용되는 디폴트 또는 단순 모델들을 사용하여 분석될 수 있다. 그러나 일부 실시예들에서, 계산들은 벽들의 방사율, 대기 온도, 습도 등과 같은 것을 고려할 수 있다. 이런 식으로, 증강 현실 시스템은 적어도 신호 강도에 기초하여 송신 디바이스로부터의 증강 현실 시스템의 최소 거리 및 최대 거리를 추정할 수 있다.

[0071] 최상의 매칭 맵 영역이 식별되면, 408A에서 증강 현실 콘텐츠 서버는 영역 메타데이터(132), 영역 구역/위치(133), 키프레임들(134), 영역 와이어프레임(135), 가상/실제 객체 데이터(136) 및 사용자 리스트 및 데이터(138)에 대응하는 임의의 데이터를 포함하는 새로운/업데이트된 맵 영역 데이터를 사용자 증강 현실 시스템에 송신할 수 있다. 더욱이, 임의의 주어진 맵 영역에 대한 메타데이터가 메타데이터의 특정 부분의 단일 발생의 결과로서만 업데이트되는 것이 아니라, 가능하게는 최소량의 시간에 걸친 그리고/또는 최소 수의 사용자들 또는 디바이스들로부터의 어떤 수의 발생들의 결과로서 업데이트되도록 맵 영역 메타데이터를 업데이트하는 데 사용하기 위해 다양한 임계치들 또는 조건들이 구현될 수 있다.

[0072] 마지막으로, 406A 및/또는 408A에서의 프로세스는 콘텐츠 획득(310) 및 콘텐츠 공유(312)와 관련하여 앞서 논의한 바와 같이, 식별된 맵 영역에 대한 병렬 위치 기반 콘텐츠 프로세스들의 개시(410A)를 트리거할 수 있다.

[0073] 도 4b는 메타데이터를 수집하고 증강 현실 시스템에서 그 메타데이터를 처리하면서 동일한 메타데이터를 또한 처리하기 위해 증강 현실 콘텐츠 서버에 송신함으로써 실행되는 영역 로컬화 프로세스의 예시를 제공한다.

[0074] 프로세스는 402B에서 시작하여, 402A와 관련하여 앞서 논의한 바와 같이 증강 현실 시스템의 실제 위치에서 메타데이터가 수집된다. 그러나 도 4a에 예시된 프로세스와는 달리, 본 예시는 수집된 메타데이터가 증강 현실 시스템(110)에 저장된 맵 영역, 예컨대 영역 메타데이터(132)에서의 로컬 캐시/데이터베이스(130)에 저장된 맵 영역에 대응하는 메타데이터를 포함하는지 여부에 관한 403B에서의 결정을 포함한다. 메타데이터가 로컬로 저장된 메타데이터에 대응한다면, 프로세스는 405B에서의 맵 영역의 로컬 결정과 404B 및 406B에서의 맵 영역의 원격 결정으로 진행한다. 그렇지 않으면, 프로세스는 예컨대, 증강 현실 콘텐츠 서버(150)에서의 맵 영역의 원격 결정으로만 진행한다.

[0075] 404B에서 메타데이터 정보를 데이터 서비스에 송신하는 것은 본질적으로 404A와 관련하여 앞서 논의한 것과 동일하다. 마찬가지로, 406B에서 대응하는 맵 영역 위치(들)를 결정하는 것은 본질적으로 406A에서 논의된 것과 동일하다. 마지막으로, 405B에서 로컬 데이터베이스/캐시를 사용하여 대응하는 맵 영역 위치를 결정하는 것은 또한, 405B가 증강 현실 콘텐츠 서버(150)에 저장된 데이터 세트 대신에 로컬 데이터 세트를 사용하여 동작하는 것을 제외하고는 본질적으로 406A와 동일하다.

[0076] 407B에서, 프로세스는 맵 영역 충돌이 있는지, 예컨대 증강 현실 디스플레이 디바이스에서 식별된 맵 영역이 원격 서버에서 식별된 맵 영역과 동일하지 않은지 여부를 결정한다. 이는 증강 현실 디스플레이 디바이스, 증강 현실 시스템(110)에서 또는 원격 디바이스, 증강 현실 콘텐츠 서버(150)에서 수행될 수 있다. 이는 예컨대, 맵 영역 ID들을 비교하거나, 맵 영역 구역들/경계들을 비교하거나, 맵 영역 원점들을 비교하거나, 일부 또는 모든 맵 영역 데이터를 비교하거나, 또는 이들의 임의의 결합인 임의의 수의 기술들을 사용하여 수행될 수 있다. 더욱이, 403B에서 증강 현실 디스플레이 디바이스에 대응하는 저장된 맵 영역이 없었다고 결정된 경우, 다음에 프로세스는 407B에서의 결정을 스킵하고 바로 408B로 진행하여, 408A와 관련하여 설명한 바와 같이 증강 현실 디스플레이 디바이스가 새로운 또는 업데이트된 맵 영역 데이터를 수신할 수 있다.

[0077] 407B에서의 결정이 맵 영역 충돌을 포함하는 경우, 다음에 프로세스는 409B로 진행하여 충돌이 해결된다. 이는 본질적으로 증강 현실 디스플레이 디바이스에서 식별된 맵 영역과 원격 시스템에서 식별된 맵 영역 모두가 평가되어 어느 것이 더 나은 매칭인지를 결정하는 406A와 관련하여 위에서 설명한 프로세스의 제한된 형태이다. 이는 로컬 또는 원격 디바이스에서 수행될 수 있다. 그러나 본 예시는, 원격 디바이스가 맵 데이터의 전체 세트를 포함하기 때문에 이것이 원격 디바이스에서 발생할 것이지만, 증강 현실 디스플레이 디바이스는 원격 디바이스 상에서 그만큼 최신이 아닐 수 있는 맵 데이터의 제한된 세트를 포함한다고 추정한다. 그럼에도, 증강 현실 디바이스가 신뢰성 있는 결정을 수행할 수 있도록 적절한 데이터를 포함하거나 제공받는다면, 이 프로세스가 증강 현실 디스플레이 디바이스에서 수행될 수 있다.

[0078] 마지막으로, 프로세스는 410A에 관해 위에서 논의한 것과 유사한 병렬 위치 기반 콘텐츠 프로세스들을 410B에서 개시할 수 있다.

[0079] 도 4c는 메타데이터가 저장된 맵 영역에 대응할 때 증강 현실 시스템에서 수집된 메타데이터를 먼저 처리하고, 식별된 맵 영역이 주어진 임계 신뢰 수준보다 낮을 때 증강 현실 콘텐츠 서버에서 메타데이터를 후속 처리함으로써 실행되는 영역 로컬화 프로세스의 예시를 제공한다.

[0080] 도 4b의 예시에서와 같이, 본 도면은 도 4a 및 도 4b의 단계들에 대응하는 다수의 단계들을 포함한다. 구체적으로, 402C는 402A에 대응하고, 404C는 404A에 대응하고, 406C는 406A에 대응하고, 408C는 408A에 대응하고, 410C는 410A에 대응한다. 더욱이, 403C는 증강 현실 디스플레이 디바이스가 증강 현실 디스플레이 디바이스에서 수집된 메타데이터 중 적어도 일부와 매칭하는 메타데이터와 연관된 하나 이상의 맵 영역들을 포함하는 경우, 어떤 맵 영역이 가장 잘 매칭하는지에 대해 로컬 결정만이 이루어진다는 점을 제외하고는 403B와 유사하다. 그런 다음, 스코어가 계산되어, 그 매칭이 충분한 신뢰 수준을 가진 것으로 여겨지는지 여부를 결정한다. 매칭하는 저장된 메타데이터가 없는 경우 또는 신뢰 수준이 특정 임계치 미만인 경우, 프로세스는 404C에서 진행된다.

[0081] 403C에서 결정된 바와 같이 증강 현실 디스플레이 디바이스에서 매칭하는 메타데이터가 있는 경우, 이 프로세스는 405B에서 논의된 바와 같이 로컬 데이터베이스/캐시(130)를 사용하여 대응하는 맵 영역을 결정함으로써 405C에서 계속된다. 그 후에, 407C에서 맵 영역에 대해 신뢰 수준이 계산된다. 신뢰 수준은 예컨대, 대응 맵 영역에 대한 매칭인 맵 영역과 연관된 메타데이터의 양을 결정하거나, 대응하는 매칭을 갖지 않는 메타데이터의 양을 계산하거나, 서로 다른 타입들의 데이터에 대한 가중치들을 구현하거나, 또는 이들의 임의의 결합인 임의의 적절한 기술을 사용하여 계산될 수 있다.

[0082] 마지막으로, 409C에서, 계산된 신뢰 수준이 주어진 임계치보다 높다고 결정된다면, 프로세스는 410C로 진행할 수 있고, 그렇지 않으면 프로세스는 증강 현실 콘텐츠 서버에서의 404C, 406C 및 408C를 통해 최상의 매칭 맵 영역을 결정하는 것을 진행한다.

[0083] 앞서 말한 것은 가중치들 및 신뢰도 임계치들을 개별적으로 예시했지만, 가중치들 및 신뢰도 임계치들뿐만 아니라 임의의 다른 기술들도 최상의 매칭 맵 영역들을 결정하는 데 사용될 수 있다. 더욱이, 개시된 기술들은 이를테면, 최상의 매칭 맵 영역이 매칭 맵 영역으로서 사용되기에 충분한 유사성을 갖는지 여부에 대한 결정에 대해 최소 신뢰도 임계치들을 강화하는 데 사용될 수 있다. 예컨대, 임의의 매칭하는 메타데이터를 포함하는 맵 영역이 발견되지 않는다면 또는 메타데이터의 작은 부분만이 발견되었지만 그 메타데이터가 다수의 맵 영역들과 매칭한다면, 그 위치는 임의의 특정 맵 영역을 매칭하는 맵 영역으로서 식별하기에 불충분한 정보를 갖는 것으로 확인될 수 있다.

[0084] 도 5는 일부 실시예들에 따라, 도 3에 예시된 "개략적 로컬화 수행" 단계에 대한 예시적인 프로세스 흐름을 예시한다. 이 프로세스는 일반적으로 로컬 디바이스(예컨대, 증강 현실 디스플레이 디바이스)에서 키프레임을 캡처하고, 그 키프레임을 이전에 캡처된 한 세트의 키프레임들과 비교하여 가장 가까운 또는 최상의 매칭 키프레임을 결정하는 것을 포함한다. 예시된 바와 같이, 프로세스는 증강 현실 콘텐츠 서버 상에서 실행된다. 그러나 로컬 디바이스(증강 현실 시스템(110))가 키프레임들을 처리하는 데 또한 사용될 수 있으므로, 여기서는 그러한 제한이 없다. 두 가지 사이의 유일한 차이점은 이를테면, 추가 키프레임들이 이용 가능하거나 키프레임 데이터가 만료된 경우, 로컬 디바이스에서 키프레임을 처리하는 것은 로컬 디바이스로의 하나 이상의 키프레임의 전송을 필요로 할 수 있다는 점이다.

[0085] 프로세스는 502에서 시작하여 키프레임이 로컬 디바이스에서 캡처된다. 예를 들어, 키프레임은 증강 현실 디스플레이 디바이스에 부착되거나 그에 통합된 장치를 사용하여 캡처될 수 있고 디바이스 센서 모듈(124)을 사용하여 제어될 수 있다. 이 장치는 단일 카메라, 스테레오 비전용 이중 카메라들, 360도 카메라 또는 이들의 어떤 결합을 포함할 수 있다. 더욱이, 장치가 증강 현실 디스플레이 디바이스에 부착되거나 그에 통합되기 때문에, 캡처된 이미지(들)는 사용자들의 포지션에 대해 알려진/고정된 포지션을 갖는다.

[0086] 504에서, 이전에 식별된 맵 영역과 연관된 하나 이상의 키프레임들이 식별된다. 키프레임들은 이를테면, 키프레임들(134, 164)을 각각 그리고 피처들(134a, 164a)을 각각 포함하는 맵 영역 데이터(131, 161)에 예시된 맵 영역 데이터 세트의 일부로서 저장될 수 있다. 그러나 본 개시내용은 그렇게 제한되지 않는다. 키프레임들 및 피처들은 임의의 방식으로, 이를테면 키프레임/피처 데이터베이스를 통해 임의의 방식으로 저장될 수 있는데, 여기서는 예컨대, 맵 영역 ID, 임의의 데이터에 기초하여 생성된 고유 식별 키에 기초하여, 그러한 키프레임들과 연관된 포지션/위치 정보에 기초하여, 또는 이들의 임의의 결합으로, 개개의 키프레임들 및 연관된 피처들이 하나 이상의 식별자들로 식별된다. 키프레임들(134, 164) 내의 피처들(134a, 164a)이 각각 결정될 수 있다.

[0087] 506에서는, 로컬 디바이스에서 캡처된 키프레임이 504에서 식별된 하나 이상의 키프레임들과 비교되어 각각의 키프레임에 대한 유사성 스코어를 생성한다. 이 프로세스는 임의의 적절한 기술을 사용하여 수행될 수 있다. 일부 실시예들에서, 키프레임들(134) 내의 피처들(134a)은 키프레임들(164)의 피처들(164a)과 비교된다. 이러한 실시예들에서, 키프레임(134)에 대한 유사성 스코어는 피처들(134a) 및 피처들(164a)에 기초한다.

[0088] 마지막으로, 508에서 최상의 유사성 스코어를 갖는 키프레임이 선택되는데, 이는 콘텐츠 획득(310) 및 콘텐츠 공유(312)와 관련하여 앞서 논의한 바와 같이, 식별된 키프레임에 대한 병렬 위치 기반 콘텐츠 프로세스들(510)을 트리거하는 데 사용될 수 있다.

[0089] 도 6은 일부 실시예들에 따라, 도 3에 예시된 "미세 로컬화 수행" 단계에 대한 예시적인 프로세스 흐름을 예시한다.

[0090] 602에서, 캡처된 키프레임이 최상의 매칭 키프레임과 비교된다. 이 프로세스는 최상의 매칭 키프레임과 관련하여 디바이스 포즈를 결정하기 위해 임의의 적절한 기술을 사용하여 수행될 수 있다.

[0091] 마지막으로, 604에서, 맵 영역 원점에 대한 최상의 매칭 키프레임의 포지션 및 그 키프레임에 대한 로컬 디바이스의 상대적인 포지션을 사용하여 로컬 디바이스의 포즈가 결정될 수 있다. 맵 영역 원점에 대한 증강 현실 디바이스의 포지션은 키프레임에 대한 상대적 포즈 및 맵 영역 원점에 대한 키프레임 포즈를 사용하여 결정될 수 있다. 이것은 두 변환들: 맵 영역 원점에서 키프레임으로의 변환 그리고 키프레임에서 로컬 디바이스로의 변환을 체인으로 연결함으로써 이루어질 수 있다. 따라서 로컬 디바이스의 포즈는 맵 영역 원점에 대해 결정될 수 있다. 따라서 로컬 디바이스(예컨대, 증강 현실 디스플레이 디바이스(101))의 맵 영역 원점을 결정하기 위해, 키프레임에 대한 상대적인 포지션은 맵 영역 원점에 대한 상대적인 포지션으로 변환될 수 있다.

[0092] 일단 맵 영역 원점에 대한 로컬 디바이스의 포지션이 결정되면, 알려진 포지션에 의존하는 위치 기반 서비스들이 개시될 수 있다. 예컨대, 610에서, 로컬 디바이스 포지션 및 배향에 기초하여, 예컨대 보이는 하나 이상의 레스토랑들에 대해 증강 현실 콘텐츠 서버(150)로부터 예약 스케줄 데이터 및 예약 애플리케이션을 얻는 위치 기반 콘텐츠 획득이 수행될 수 있다. 위치 기반 서비스들의 다른 예에서는, 612에서 영역 내의 다른 사용자가 콘텐츠를 공유하고 있다는, 예컨대 토론 또는 프레젠테이션의 일부로서 가상 객체들을 포함하는 회의에 참가하고 있다는 결정을 기초로 위치 기반 콘텐츠 공유가 개시될 수 있다.

[0093] 도 7a - 도 7j는 일부 실시예들에 따라, 결정되지 않은 위치에 있는 사용자에 대한 로컬화 프로세스의 예시적인 일례를 제공한다. 일부 실시예들에서, 증강 현실 디스플레이 디바이스는, 증강 현실 디스플레이 디바이스의 뷰 내에서 또는 액세스 가능한 구역 내에서 잠재적으로 관련된 데이터의 검색을 가능하게 하거나 가상 객체들을 미리 디스플레이하기 위해 현재 위치가 마지막으로 알려진 위치라고 추정할 수 있다. 증강 현실 시스템을 또한 사용하고 있는 다른 사용자들과 공유되는 경험들을 가능하게 하기 위해, 위치 및 특정 포지셔닝 정보가 확인 또는 결정되어야 한다. 그럼에도, 본 예는 디폴트 포지션/위치 정보를 추정하지 않는다.

[0094] 도 7a는 증강 현실 시스템(110)에 의해 미결정/미확인된 사용자 위치(702)에서 사용자에 의해 착용된 증강 현실 디스플레이 디바이스(701)(예컨대, 증강 현실 디스플레이 디바이스(101))를 예시한다. 예컨대, 증강 현실 디스플레이 디바이스(701)가 방금 부팅/재부팅되었거나, 센서 데이터가 손상되었거나, 무선 신호들이 손실되었을 수 있는 등 임의의 수의 이유들로 인해 위치가 미결정/미확인될 수 있다. 따라서 증강 현실 디스플레이 디바이스(701)가 로컬화를 수행할 필요성을 트리거한다.

[0095] 도 7b는 사용자 위치(702)에 대한 2개의 서로 다른 통신 프로토콜들의 상대적인 범위들을 예시한다. 둘 중 더 짧은 제1 범위는 블루투스 신호 범위(720)이다. 둘 중 더 긴 제2 범위는 WiFi 신호 범위(710)이다.

[0096] 도 7c는 증강 현실 디스플레이 디바이스(701)에 의해 식별 가능할 수 있거나 식별 가능하지 않을 수 있는 다양한 WiFi 네트워크들의 추가를 예시한다. 예시된 바와 같이, WiFi 신호 범위(710)(여기서는 710c-d, 710f-m, 710o-r, 710t) 내의 WiFi 신호들은 증강 현실 디스플레이 디바이스(701)에 의해 검출될 수 있는 한편, 710a-b, 710e, 710n 및 710s는 증강 현실 디스플레이 디바이스(701)로부터 너무 멀리 떨어져서 검출될 수 없다. 이에 따라, 증강 현실 디스플레이 디바이스(701)는 정확한 맵 영역 위치를 결정하는 데 사용하기 위해 이러한 WiFi 네트워크들에 대응하는 메타데이터를 수집할 수 있다.

[0097] 도 7d는 사용자 위치(702)에 대해 근접하게 위치된 다양한 블루투스 네트워크들의 추가를 예시한다. 앞서 논의한 네트워크화된 WiFi와 유사하게, 검출 범위(720) 내의 네트워크/디바이스들에 관한 메타데이터가 수집될 수 있다. 여기서 이는 720h, 720l 및 720m을 포함하는 한편, 720a-g, 720i-k 및 720n-s는 검출 가능하지 않다.

[0098] 도 7e는 한 세트의 맵 영역들의 오버레이를 예시한다. 맵 영역들(705(X0, Y0) - 705(X3, Y3))은 여기서 X 축(704) 및 Y 축(703) 상의 포지션들에 의해 식별된 한 세트의 정사각형 구역들로서 예시된다. 이러한 맵 영역들은 수집된 메타데이터를 각각의 맵 영역들, 예컨대 하나 이상의 식별된 WiFi 네트워크들 및 블루투스 디바이스들과 연관된 것으로 알려진 맵 영역들과 연관된 위치에 미리 저장된 메타데이터와 매칭시킴으로써 식별될 수 있다. 그러나 이러한 구역들은 임의의 형상을 가질 수 있고, 앞서 논의한 바와 같이 임의의 방식으로 식별될 수 있으며, 예시의 편의상 단지 이러한 방식으로만 도시된다. 더욱이, 맵 영역들에 대한 증강 현실 디스플레이 디바이스(701)의 위치는 프로세스의 이 부분 동안 증강 현실 시스템(예컨대, 증강 현실 시스템(110)) 또는 증강 현실 콘텐츠 서버(예컨대, 증강 현실 콘텐츠 서버(150))에 의해 알려지지 않을 것이지만, 연속성을 위해 사용자 위치 및 맵 영역들은 이들의 실제 포지션들에 도시된다.

[0099] 도 7f는 최상의 매칭 맵 영역인 맵 영역의 결정을 예시한다. 이는 앞서 논의한 바와 같이 수행될 수 있는데, 여기서는 증강 현실 시스템에서 수집된 메타데이터가 알려진 위치들에서 수집된 이전에 저장된 메타데이터와 비교되어 최상의 매칭 맵 영역을 식별할 수 있다. 예컨대, 수집된 메타데이터에 대한 최상의 매칭 메타데이터를 포함하는 맵 영역이 디바이스가 존재하는 맵 영역으로서 선택될 수 있다. 여기서, 맵 영역(705(X2, Y1))은 최상의 매칭 맵 영역으로서 식별되었다.

[0100] 도 7g는 최상의 매칭 맵 영역 내에서부터 알려진 위치들에서 취한 한 세트의 키프레임들을 예시한다. 키프레임들(706a-e)은 여기에 예시된 바와 같이 맵 영역(705(X2, Y1))을 가로질러 랜덤하게 분산될 수 있다. 그러나 사용자가 캡처를 위해 원하는 위치에 있거나 그 근처에 있을 때마다 또는 설정 프로세스를 통해 키프레임의 캡처를 트리거하는 것과 같은 다른 기술들이 사용되어 키프레임들을 수집할 수 있다. 키프레임들 자체는 앞서 논의한 바와 같이 처리되어 최상의 매칭 또는 가장 가까운 키프레임을 결정한다.

[0101] 도 7h는 캡처된 키프레임에 대한 최상의 매칭 키프레임의 선택을 예시한다. 구체적으로, 키프레임(706a)은 사용자 디바이스에서 캡처된 키프레임과 가장 유사한 것으로 결정된다. 이어서, 증강 현실 디스플레이 디바이스(701)의 상대적인 포지션이 키프레임에 대해 결정될 수 있고, 마지막으로 증강 현실 디스플레이 디바이스(701)의 상대적인 포지션이 도 7i에 예시된 맵 영역 원점(707)에 대해 변환될 수 있다.

[0102] 마지막으로, 도 7j는 증강 현실 디스플레이 디바이스(701)의 위치 결정에 대한 응답으로 맵 영역 원점(707)에 대해 디스플레이된 예시적인 가상 객체(708)를 예시한다. 이러한 가상 객체(708)는 모든 사용자들에 대해 동일한 포지션 및 배향으로 디스플레이될 것이고, 따라서 공유된 경험들을 가능하게 한다. 따라서 한 사용자가 가상 사인 쪽을 가리킬 수도 있고 다른 사용자는 자연스럽게 그 방향을 보고 사용자가 가상 사인을 가리키고 있다는 것을 확인하는 것이 가능할 수도 있고, 또는 대안으로 사용자가 이미 사인을 보았고 사용자가 무엇을 가리키고 있는지를 이해할 수도 있다.

[0103] 도 8a - 도 8d는 일부 실시예들에 따라, 결정되지 않은 위치에 있는 사용자에 대한 영역 로컬화 프로세스의 예시적인 일례를 제공한다. 이 예시는 도 7a - 도 7j에 예시된 프로세스에 대한 대안으로서 또는 그와 결합하여 개별적으로 수행될 수 있는 접근 방식을 제공한다. 구체적으로, 도 8a - 도 8d는 증강 현실 디스플레이 디바이스가 존재하는 맵 영역을 결정하는 위치 기반 휴리스틱 방법을 예시한다.

[0104] 도 8a는 여기서 X 축(804) 및 Y 축(803) 상의 포지션들에 의해 식별된 한 세트의 정사각형 구역들로서 예시된 맵 영역들(805(X0, Y0) - 805(X3, Y3))을 포함한다. 이들은 맵 영역들(705(X0, Y0) - 705(X3, Y3))과 X 축(704) 및 Y 축(703))에 대한 이전의 예시와 본질적으로 동일하다. 마찬가지로, 증강 현실 디스플레이 디바이스(801)는 증강 현실 디스플레이 디바이스(701)와 동일하고, 사용자 위치(802)는 사용자 위치(702)와 동일하다.

[0105] 도 8b는 알려진 경계 내에서 발생하는 무선 신호의 추가를 예시한다. 구체적으로, 카페(810)는 신호가 발생하는 알려진 경계를 갖는 알려진 위치를 나타낸다. 적어도 신호와 연관된 메타데이터에 기초하여, 카페(810)의 경계로부터의 최소 및 최대 거리가 식별된다. 최소 거리는 둥근 모서리들(811)을 갖는 직사각형 엘리먼트로서 예시되는 한편, 최대 거리는 둥근 모서리들(812)을 갖는 직사각형 엘리먼트로서 예시된다. 그러한 신호는 WiFi 핫스팟, WiMAX 액세스 포인트, 또는 임의의 다른 적절한 무선 통신 프로토콜을 포함할 수도 있다.

[0106] 811과 812 사이의 공간으로 표현된 구역은 증강 현실 디스플레이 디바이스(801)가 위치될 수 있는 가능한 위치들을 나타낸다. 예시된 바와 같이, 이는 6개의 맵 영역들― (X1, Y0), (X2, Y0), (X3, Y0), (X1, Y1), (X2, Y1) 및 (X3, Y1) ―을 포함하지만, 6개 중 어느 것도 추가 정보 없이 매칭하는 맵 영역으로서 신뢰성 있게 식별될 수 없다. 일부 실시예들에서, 추가 정보는 앞서 논의한, 처리된 메타데이터 매칭에 기초하여 수집될 수도 있는데, 여기서 수집된 메타데이터가 6개의 맵 영역들 중 어느 것이 정확한 영역인지를 결정하는 데 사용된다.

[0107] 도 8c는 디바이스(820)의 결과로서 생성된 새로운 위치 데이터의 추가를 예시한다. 디바이스(820)는 GPS 매핑 디바이스, 셀룰러 디바이스, GPS 또는 보조 GPS를 갖는 셀룰러 디바이스, 또는 증강 현실 시스템(예컨대, 증강 현실 시스템(110))과 GPS 데이터를 교환할 수 있는 무선 통신 프로토콜을 갖는 임의의 다른 디바이스를 포함할 수도 있다. 둘 다 증강 현실 시스템이 위치될 수도 있는 원형 경계들로서 예시된 최소 거리(821) 및 최대 거리(822)가 디바이스(820)와 연관된다. 자연히, 디바이스(820)와의 통신의 결과로서 수집된 정보는 증강 현실 디스플레이 디바이스(801)가 821과 822로 경계를 나타낸 영역으로 표시된 4개의 맵 영역들― (X2, Y1), (X3, Y1), (X2, Y2) 및 (X3, Y2) ― 중 하나에 위치되는 것을 제안할 것이다. 그러나 이 정보는 이미 수집된 다른 정보와 결합될 수 있는데, 이 정보는 811과 812로 경계를 나타낸 영역이 821과 822로 경계를 나타낸 영역과 오버랩되는 오버랩 구역(850)에 증강 현실 시스템이 위치되어야 함을 나타낸다. 이 정보에 기초하여, 증강 현실 시스템이 맵 영역(X2, Y1) 또는 맵 영역(X3, Y1)에 위치되는 것으로 결정될 수 있다. 일부 실시예들에서, 이 정보는 2개의 맵 영역들 중 어느 것이 정확한 맵 영역인지를 결정하기 위해 앞서 논의한 메타데이터 매칭 프로세스를 통해 추가 메타데이터와 결합될 수도 있다.

[0108] 도 8d는 측정된 점으로부터 최소 및 최대 거리를 식별하는 데 사용될 수 있는 정보를 제공하는 다른 디바이스를 예시한다. 여기서 디바이스(830)가 식별되었고, 그 측정된 위치로부터의 최소 거리(831) 및 그 측정된 위치로부터의 최대 거리(832)를 결정하는 데 사용되는 위치 정보를 제공하였다. 따라서 이 추가 정보를 오버랩 구역(850)의 결정에 부가함으로써, 오버랩 구역(850)은 모든 경계들이 포괄하는 영역으로 좁혀질 수 있는데, 이는 증강 현실 시스템이 맵 영역(X2, Y1) 내에 위치된다는 것을 나타낸다.

[0109] 더욱이, 도 8a - 도 8d에 예시된 예는 위치 기반 휴리스틱 데이터 처리를 이용했지만, 이를테면 도 7a - 도 7j의 메타데이터 매칭 프로세스에 예시된 추가 데이터가 정확한 맵 영역을 결정하는 것을 돕는 데 사용될 수 있다. 예컨대, 위치 기반 휴리스틱 정보는 불완전할 수 있거나 수집된 메타데이터는 위치 데이터의 하나 이상의 세트들이 수집된 후에 증강 현실 시스템이 위치되는 정확한 맵 영역(예컨대, 증강 현실 시스템이 위치되는 구역들)을 결정하기에 불충분할 수 있다. 더욱이, 수집된 임의의 데이터는 데이터가 수신될 때 그 데이터를 분석하는 것을 포함하여 임의의 순서로 분석될 수 있어, 정확한 맵 영역을 결정하기에 충분한 정보의 임의의 결합이 수신되는 즉시, 프로세스가 완료될 수 있고 개략적 및 미세 로컬화 프로세스가 완료될 수 있다.

시스템 아키텍처

[0110] 도 9는 본 개시내용이 구현될 수 있는 예시적인 컴퓨팅 시스템의 아키텍처를 도시한다.

[0111] 예를 들어, 증강 현실 콘텐츠 서버(150)는 도 9에 예시된 컴퓨터 시스템(900)과 유사한 하나 이상의 시스템들을 포함하거나 구비할 수 있는데, 이들은 임의의 수의 증강 현실 시스템들로부터의 요청들을 서비스하도록 함께 링크된다. 게다가, 증강 현실 시스템(110)은 또한 컴퓨터 시스템(900)과 같은 컴퓨터 시스템에 대응할 수 있다. 추가로, 증강 현실 콘텐츠 서버(150) 및 증강 현실 시스템(110)의 모듈들은 컴퓨터 시스템(900)의 일부로서 하드웨어, 소프트웨어 또는 이들의 어떤 결합으로서 구현될 수 있다.

[0112] 컴퓨터 시스템(900)은 버스(906) 또는 정보를 통신하기 위한 다른 통신 메커니즘을 포함하는데, 이는 프로세서(들)(907), 시스템 메모리(908)(예컨대, RAM), 정적 저장 디바이스(909)(예컨대, ROM), 디스크 드라이브(910)(예컨대, 자기 또는 광), 데이터 인터페이스(933)(예컨대, 데이터베이스 접속), 통신 인터페이스(914)(예컨대, 모뎀 또는 이더넷 카드), 디스플레이(911)(예컨대, CRT 또는 LCD), 입력 디바이스(912)(예컨대, 키보드 및 커서 컨트롤)과 같은 서브시스템들 및 디바이스들을 상호 접속한다.

[0113] 본 개시내용의 일 실시예에 따르면, 컴퓨터 시스템(900)은 시스템 메모리(908)에 포함된 하나 이상의 명령들의 하나 이상의 시퀀스들을 실행하는 프로세서(들)(907)에 의해 특정 동작들을 수행한다. 이러한 명령들은 정적 저장 디바이스(909) 또는 디스크 드라이브(910)와 같은 다른 컴퓨터 판독 가능/사용 가능한 매체로부터 시스템 메모리(908)로 판독될 수 있다. 대안적인 실시예들에서, 본 개시내용을 구현하기 위해 소프트웨어 명령들 대신에 또는 이들과 결합하여 하드 와이어드 회로가 사용될 수 있다. 따라서 본 개시내용의 실시예들은 하드웨어 회로 및/또는 소프트웨어의 임의의 특정 결합으로 제한되지 않는다. 일 실시예에서, "로직"이라는 용어는 본 개시내용의 전부 또는 일부를 구현하는 데 사용되는 소프트웨어 또는 하드웨어의 임의의 결합을 의미할 것이다.

[0114] 본 명세서에서 사용된 "컴퓨터 판독 가능 매체" 또는 "컴퓨터 사용 가능 매체"라는 용어는 실행을 위해 프로세서(907)에 명령들을 제공하는 데 참여하는 임의의 매체를 의미한다. 이러한 매체는 비휘발성 매체들 및 휘발성 매체들을 포함하는(그러나 이에 한정된 것은 아님) 많은 형태들을 취할 수 있다. 비휘발성 매체는 예를 들어, 디스크 드라이브(910)와 같은 광 또는 자기 디스크들을 포함한다. 휘발성 매체는 시스템 메모리(908)와 같은 동적 메모리를 포함한다.

[0115] 컴퓨터 판독 가능 매체들의 일반적인 형태들은 예를 들어, 플로피 디스크, 플렉서블 디스크, 하드 디스크, 자기 테이프, 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광 매체, 펀치 카드들, 종이 테이프, 홀들의 패턴들을 가진 임의의 다른 물리적 매체, RAM, PROM, EPROM, FLASH-EPROM(예컨대, NAND 플래시, NOR 플래시), 임의의 다른 메모리 칩 또는 카트리지, 또는 컴퓨터가 판독할 수 있는 임의의 다른 매체를 포함한다.

[0116] 일부 실시예들에서, 본 개시내용을 실시하기 위한 명령들의 시퀀스들의 실행은 단일 컴퓨터 시스템(900)에 의해 수행된다. 일부 실시예들에서, 통신 링크(915)(예컨대, LAN, PTSN 또는 무선 네트워크)에 의해 결합된 2개 이상의 컴퓨터 시스템들(900)은 서로 협력하여 본 개시내용을 실시하는 데 필요한 명령들의 시퀀스를 수행할 수 있다.

[0117] 컴퓨터 시스템(900)은 통신 링크(915) 및 통신 인터페이스(914)를 통해 프로그램, 즉 애플리케이션 코드를 포함하는 메시지들, 데이터 및 명령들을 송신 및 수신할 수 있다. 수신된 프로그램 코드는 이 코드가 수신될 때 프로세서(907)에 의해 실행될 수 있고 그리고/또는 나중에 실행하기 위해 디스크 드라이브(910) 또는 다른 비휘발성 저장소에 저장될 수 있다. 저장 매체(931) 내의 데이터베이스(932)는 데이터 인터페이스(933)를 통해 시스템(900)에 의해 액세스 가능한 데이터를 저장하는 데 사용될 수 있다.

[0118] 청구된 발명에 추가하여 그리고 비제한적인 예들에 의해, 본 발명의 추가 실시예들 또는 양상들이 본 명세서에서 기술된다.

[0119] 1. 비-일시적 컴퓨터 판독 가능 매체로 구현된 컴퓨터 프로그램 제품으로서, 컴퓨터 판독 가능 매체는 프로세서에 의해 실행될 때 프로세서로 하여금 증강 현실 디스플레이의 포지션 및 배향 정보를 결정하기 위한 프로세스를 실행하게 하는 명령들의 시퀀스를 저장하며, 이 프로세스는: 증강 현실 디스플레이 디바이스의 현재 위치와 연관된 맵 영역을 식별하는 것; 맵 영역과 연관된 매칭 키프레임을 식별하는 것; 그리고 공유된 맵 영역 원점에 대해 증강 현실 디스플레이 디바이스에 대한 포즈를 결정하는 것을 포함한다.

[0120] 2. 실시예 1의 컴퓨터 프로그램 제품에서, 현재 위치와 연관된 맵 영역을 식별하는 것은: 증강 현실 디스플레이 디바이스의 현재 위치에서 수집된 메타데이터를 수신하는 것; 그리고 맵 영역을 결정하기 위해 메타데이터를 분석하는 것을 포함하며, 메타데이터는 하나 이상의 통신 네트워크들에 관한 정보에 대응한다.

[0121] 3. 실시예 1의 컴퓨터 프로그램 제품에서, 맵 영역과 연관된 매칭 키프레임을 식별하는 것은: 제1 복수의 키프레임들을 수신하는 것; 제1 복수의 키프레임들 중 하나의 키프레임을 캡처하는 것; 캡처된 키프레임을 맵 영역과 연관된 제2 복수의 키프레임들과 비교하는 것 ― 제2 복수의 키프레임들은 알려진 포즈들을 갖는 이전에 캡처된 키프레임들을 포함하고, 알려진 포즈들은 각각의 키프레임들에 대한 포지션 및 배향을 나타내는 정보를 적어도 포함함 ―; 제2 복수의 키프레임들에 대해 캡처된 키프레임을 분석함으로써 제2 복수의 키프레임들 중 적어도 일부에 대한 유사성 스코어를 결정하는 것; 그리고 적어도 유사성 스코어에 기초하여 제2 복수의 키프레임들 중 하나의 키프레임을 매칭 키프레임으로서 선택하는 것을 포함한다.

[0122] 4. 실시예 3의 컴퓨터 프로그램 제품에서, 공유된 맵 영역 원점에 대해 증강 현실 디스플레이 디바이스에 대한 포즈를 결정하는 것은: 키프레임 분석을 수행함으로써, 캡처된 키프레임 및 매칭 키프레임을 사용하여 매칭 키프레임에 대한 포즈를 결정하는 것; 그리고 적어도 매칭 키프레임에 대한 포즈를 사용하여 매칭 키프레임에 대한 포즈를 공유된 맵 영역 원점에 대한 포즈로 변환하는 것을 포함한다.

[0123] 5. 실시예 3의 컴퓨터 프로그램 제품에서, 맵 영역과 연관된 매칭 키프레임을 식별하는 것은: 캡처된 키프레임의 피처들을 결정하는 것을 더 포함하며; 캡처된 키프레임을 맵 영역과 연관된 제2 복수의 키프레임들과 비교하는 것은, 캡처된 키프레임의 피처들을 제2 복수의 키프레임들의 피처들과 비교하는 것을 포함하고, 그리고 제2 복수의 키프레임들 중 적어도 일부에 대한 유사성 스코어를 결정하는 것은, 제2 복수의 키프레임들의 피처들에 대해 캡처된 키프레임들의 피처들을 분석하는 것을 포함한다.

[0124] 6. 실시예 1의 컴퓨터 프로그램 제품에서, 이 프로세스는 맵 영역을 식별하는 것, 매칭 키프레임을 식별하는 것 또는 포즈를 결정하는 것 중 적어도 하나에 대한 응답으로 위치 기반 콘텐츠를 송신하는 것을 더 포함하며, 위치 기반 콘텐츠는 맵 영역, 매칭 키프레임 또는 포즈 중 적어도 하나와 연관된 하나 이상의 객체들 또는 하나 이상의 애플리케이션들에 대한 데이터에 대응한다.

[0125] 7. 실시예 1의 컴퓨터 프로그램 제품에서, 이 프로세스는 맵 영역을 식별하는 것, 매칭 키프레임을 식별하는 것 또는 포즈를 결정하는 것 중 적어도 하나에 대한 응답으로 콘텐츠 공유를 수행하기 위한 사용자 데이터를 송신하는 것을 더 포함하며, 콘텐츠 공유는 로컬 통신 네트워크를 통한 디바이스들 간의 단방향 또는 양방향 콘텐츠 교환을 포함한다.

[0126] 8. 실시예 1의 컴퓨터 프로그램 제품에서, 이 프로세스는 맵 영역을 식별하는 것에 대한 응답으로 맵 영역 데이터를 송신하는 것을 더 포함한다.

[0127] 9. 증강 현실 디스플레이 디바이스의 포지션 및 배향 정보를 결정하기 위한 시스템은: 데이터 및 명령들을 저장하기 위한 메모리; 및 증강 현실 디스플레이 디바이스의 현재 위치와 연관된 맵 영역을 식별하는 동작; 맵 영역과 연관된 매칭 키프레임을 식별하는 동작; 및 공유된 맵 영역 원점에 대해 증강 현실 디스플레이 디바이스에 대한 포즈를 결정하는 동작을 포함하는 동작들을 가능하게 하도록 명령들을 실행하는 프로세서를 포함한다.

[0128] 10. 실시예 9의 시스템에서, 현재 위치와 연관된 맵 영역을 식별하는 동작은: 증강 현실 디스플레이 디바이스의 현재 위치에서 수집된 메타데이터를 수신하는 동작; 및 맵 영역을 결정하기 위해 메타데이터를 분석하는 동작을 포함하며, 메타데이터는 하나 이상의 통신 네트워크들에 관한 정보에 대응한다.

[0129] 11. 실시예 9의 시스템에서, 맵 영역과 연관된 매칭 키프레임을 식별하는 동작은: 제1 복수의 키프레임들을 수신하는 동작; 제1 복수의 키프레임들 중 하나의 키프레임을 캡처하는 동작; 캡처된 키프레임을 맵 영역과 연관된 제2 복수의 키프레임들과 비교하는 동작 ― 제2 복수의 키프레임들은 알려진 포즈들을 갖는 이전에 캡처된 키프레임들을 포함하고, 알려진 포즈들은 각각의 키프레임들에 대한 포지션 및 배향을 나타내는 정보를 적어도 포함함 ―; 제2 복수의 키프레임들에 대해 캡처된 키프레임을 분석함으로써 제2 복수의 키프레임들 중 적어도 일부에 대한 유사성 스코어를 결정하는 동작; 및 적어도 유사성 스코어에 기초하여 제2 복수의 키프레임들 중 하나의 키프레임을 매칭 키프레임으로서 선택하는 동작을 포함한다.

[0130] 12. 실시예 11의 시스템에서, 공유된 맵 영역 원점에 대해 증강 현실 디스플레이 디바이스에 대한 포즈를 결정하는 동작은: 키프레임 분석을 수행함으로써, 캡처된 키프레임 및 매칭 키프레임을 사용하여 매칭 키프레임에 대한 포즈를 결정하는 동작; 및 적어도 매칭 키프레임에 대한 포즈를 사용하여 매칭 키프레임에 대한 포즈를 공유된 맵 영역 원점에 대한 포즈로 변환하는 동작을 포함한다.

[0131] 13. 실시예 11의 시스템에서, 맵 영역과 연관된 매칭 키프레임을 식별하는 동작은: 캡처된 키프레임의 피처들을 결정하는 동작을 더 포함하며; 캡처된 키프레임을 맵 영역과 연관된 제2 복수의 키프레임들과 비교하는 동작은, 캡처된 키프레임의 피처들을 제2 복수의 키프레임들의 피처들과 비교하는 동작을 포함하고, 그리고 제2 복수의 키프레임들 중 적어도 일부에 대한 유사성 스코어를 결정하는 동작은, 제2 복수의 키프레임들의 피처들에 대해 캡처된 키프레임들의 피처들을 분석하는 동작을 포함한다.

[0132] 14. 실시예 9의 시스템에서, 이 동작들은 맵 영역을 식별하는 동작, 매칭 키프레임을 식별하는 동작 또는 포즈를 결정하는 동작 중 적어도 하나에 대한 응답으로 위치 기반 콘텐츠를 송신하는 동작을 더 포함하며, 위치 기반 콘텐츠는 맵 영역, 매칭 키프레임 또는 포즈 중 적어도 하나와 연관된 하나 이상의 객체들 또는 하나 이상의 애플리케이션들에 대한 데이터에 대응한다.

[0133] 15. 실시예 9의 시스템에서, 이 동작들은 맵 영역을 식별하는 동작, 매칭 키프레임을 식별하는 동작 또는 포즈를 결정하는 동작 중 적어도 하나에 대한 응답으로 콘텐츠 공유를 수행하기 위한 사용자 데이터를 송신하는 동작을 더 포함하며, 콘텐츠 공유는 로컬 통신 네트워크를 통한 디바이스들 간의 단방향 또는 양방향 콘텐츠 교환을 포함한다.

[0134] 16. 실시예 9의 시스템에서, 이 동작들은 맵 영역을 식별하는 것에 대한 응답으로 맵 영역 데이터를 송신하는 동작을 더 포함한다.

[0135] 17. 비-일시적 컴퓨터 판독 가능 매체로 구현된 컴퓨터 프로그램 제품으로서, 컴퓨터 판독 가능 매체는 프로세서에 의해 실행될 때 프로세서로 하여금 증강 현실 디스플레이의 포지션 및 배향 정보를 결정하기 위한 프로세스를 실행하게 하는 명령들의 시퀀스를 저장하며, 이 프로세스는: 증강 현실 디스플레이 디바이스의 현재 위치와 연관된 맵 영역을 식별하는 것 ― 맵 영역은 적어도, 하나 이상의 디바이스들로부터 수신된 위치 정보를 사용하여 휴리스틱 처리를 수행함으로써 식별됨 ―; 맵 영역과 연관된 매칭 키프레임을 식별하는 것; 그리고 공유된 맵 영역 원점에 대해 증강 현실 디스플레이 디바이스에 대한 포즈를 결정하는 것을 포함한다.

[0136] 18. 실시예 17의 컴퓨터 프로그램 제품에서, 위치 정보를 사용하여 휴리스틱 처리를 수행하는 것은: 하나 이상의 디바이스들의 포지션들에 대응하는 위치 데이터를 식별하는 것 ― 위치 데이터는 하나 이상의 디바이스들과 연관된 글로벌 포지셔닝 시스템들에 의해 생성되고, 위치 데이터는 증강 현실 디스플레이 디바이스와 하나 이상의 디바이스들 중 각각의 디바이스 사이에서 각각의 피어 투 피어 통신 프로토콜들을 사용하여 무선으로 송신됨 ―; 하나 이상의 디바이스들 중 적어도 하나로부터 위치 데이터에 대한 정확도 수준을 결정하는 것; 증강 현실 디스플레이 디바이스와 하나 이상의 디바이스들 중 적어도 하나의 디바이스 간의 최소 거리 및 최대 거리를 추정하는 것; 그리고 하나 이상의 디바이스들 중 적어도 하나에 대한 정확도 수준, 최소 거리 및 최대 거리를 사용하여 증강 현실 디스플레이 디바이스가 위치되는 적어도 하나의 추정된 구역을 결정하는 것을 포함한다.

[0137] 19. 실시예 18의 컴퓨터 프로그램 제품에서, 최소 거리는 각각의 피어 투 피어 통신 프로토콜들 중 적어도 하나의 피어 투 피어 통신 프로토콜에 대해 미리 결정된다.

[0138] 20. 실시예 18의 컴퓨터 프로그램 제품에서, 최대 거리는 각각의 피어 투 피어 통신 프로토콜들 중 적어도 하나의 피어 투 피어 통신 프로토콜에 대해 미리 결정된다.

[0139] 21. 실시예 18의 컴퓨터 프로그램 제품에서, 최소 거리는 각각의 피어 투 피어 통신 프로토콜들 중 적어도 하나의 피어 투 피어 통신 프로토콜에 대한 적어도 신호 강도 정보에 기초하여 결정된다.

[0140] 22. 실시예 18의 컴퓨터 프로그램 제품에서, 최대 거리는 각각의 피어 투 피어 통신 프로토콜들 중 적어도 하나의 피어 투 피어 통신 프로토콜에 대한 적어도 신호 강도 정보에 기초하여 결정된다.

[0141] 23. 실시예 18의 컴퓨터 프로그램 제품에서, 적어도 하나의 추정된 구역은 단일 맵 영역에 대응한다.

[0142] 24. 실시예 18의 컴퓨터 프로그램 제품에서, 추정된 오버랩 구역을 결정하기 위해 복수의 추정된 구역들이 처리된다.

[0143] 25. 실시예 24의 컴퓨터 프로그램 제품에서, 추정된 오버랩 구역은 단일 맵 영역에 대응하지 않는다.

[0144] 26. 실시예 18의 컴퓨터 프로그램 제품에서, 현재 위치와 연관된 맵 영역을 식별하는 것은: 증강 현실 디스플레이 디바이스의 현재 위치에서 수집된 메타데이터를 수신하는 것; 그리고 맵 영역을 결정하기 위해 메타데이터를 분석하는 것을 더 포함하며, 메타데이터는 하나 이상의 통신 네트워크들에 관한 정보에 대응한다.

[0145] 27. 실시예 17의 컴퓨터 프로그램 제품에서, 맵 영역과 연관된 매칭 키프레임을 식별하는 것은: 제1 복수의 키프레임들을 수신하는 것; 제1 복수의 키프레임들 중 하나의 키프레임을 캡처하는 것; 캡처된 키프레임을 맵 영역과 연관된 제2 복수의 키프레임들과 비교하는 것 ― 제2 복수의 키프레임들은 알려진 포즈들을 갖는 이전에 캡처된 키프레임들을 포함하고, 이 포즈들은 각각의 키프레임들에 대한 포지션 및 배향을 나타내는 정보를 적어도 포함함 ―; 제2 복수의 키프레임들에 대해 캡처된 키프레임을 분석함으로써 제2 복수의 키프레임들 중 적어도 일부에 대한 유사성 스코어를 결정하는 것; 그리고 적어도 유사성 스코어에 기초하여 제2 복수의 키프레임들 중 하나의 키프레임을 매칭 키프레임으로서 선택하는 것을 포함한다.

[0146] 28. 실시예 27의 컴퓨터 프로그램 제품에서, 공유된 맵 영역 원점에 대해 증강 현실 디스플레이 디바이스에 대한 포즈를 결정하는 것은: 키프레임 분석을 수행함으로써, 캡처된 키프레임 및 매칭 키프레임을 사용하여 매칭 키프레임에 대한 포즈를 결정하는 것; 그리고 적어도 매칭 키프레임에 대응하는 포즈를 사용하여 매칭 키프레임에 대한 포즈를 공유된 맵 영역 원점에 대한 포즈로 변환하는 것을 포함한다.

[0147] 29. 실시예 27의 컴퓨터 프로그램 제품에서, 맵 영역과 연관된 매칭 키프레임을 식별하는 것은: 캡처된 키프레임의 피처들을 결정하는 것을 더 포함하며; 캡처된 키프레임을 맵 영역과 연관된 제2 복수의 키프레임들과 비교하는 것은, 캡처된 키프레임의 피처들을 제2 복수의 키프레임들의 피처들과 비교하는 것을 포함하고, 그리고 제2 복수의 키프레임들 중 적어도 일부에 대한 유사성 스코어를 결정하는 것은, 제2 복수의 키프레임들의 피처들에 대해 캡처된 키프레임들의 피처들을 분석하는 것을 포함한다.

[0148] 30. 실시예 17의 컴퓨터 프로그램 제품에서, 이 프로세스는 맵 영역을 식별하는 것, 매칭 키프레임을 식별하는 것 또는 포즈를 결정하는 것 중 적어도 하나에 대한 응답으로 위치 기반 콘텐츠를 송신하는 것을 더 포함하며, 위치 기반 콘텐츠는 맵 영역, 매칭 키프레임 또는 포즈 중 적어도 하나와 연관된 하나 이상의 객체들 또는 하나 이상의 애플리케이션들에 대한 데이터에 대응한다.

[0149] 31. 실시예 17의 컴퓨터 프로그램 제품에서, 이 프로세스는 맵 영역을 식별하는 것, 매칭 키프레임을 식별하는 것 또는 포즈를 결정하는 것 중 적어도 하나에 대한 응답으로 콘텐츠 공유를 수행하기 위한 사용자 데이터를 송신하는 것을 더 포함하며, 콘텐츠 공유는 로컬 통신 네트워크를 통한 디바이스들 간의 단방향 또는 양방향 콘텐츠 교환을 포함한다.

[0150] 32. 실시예 17의 컴퓨터 프로그램 제품에서, 이 프로세스는 맵 영역을 결정하는 것에 대한 응답으로 맵 영역 데이터를 송신하는 것을 더 포함한다.

[0151] 33. 증강 현실 디스플레이 디바이스의 포지션 및 배향 정보를 결정하기 위한 시스템은: 데이터 및 명령들을 저장하기 위한 메모리; 및 증강 현실 디스플레이 디바이스의 현재 위치와 연관된 맵 영역을 식별하는 동작 ― 맵 영역은 적어도, 하나 이상의 디바이스들로부터 수신된 위치 정보를 사용하여 휴리스틱 처리를 수행함으로써 식별됨 ―; 맵 영역과 연관된 매칭 키프레임을 식별하는 동작; 및 공유된 맵 영역 원점에 대해 증강 현실 디스플레이 디바이스에 대한 포즈를 결정하는 동작을 포함하는 동작들을 가능하게 하도록 명령들을 실행하는 프로세서를 포함한다.

[0152] 34. 실시예 33의 시스템에서, 위치 정보를 사용하여 휴리스틱 처리를 수행하는 동작은: 하나 이상의 디바이스들의 포지션들에 대응하는 위치 데이터를 식별하는 동작 ― 위치 데이터는 하나 이상의 디바이스들과 연관된 글로벌 포지셔닝 시스템들에 의해 생성되고, 위치 데이터는 증강 현실 디스플레이 디바이스와 하나 이상의 디바이스들 중 각각의 디바이스 사이에서 각각의 피어 투 피어 통신 프로토콜들을 사용하여 무선으로 송신됨 ―; 하나 이상의 디바이스들 중 적어도 하나로부터 위치 데이터에 대한 정확도 수준을 결정하는 동작; 증강 현실 디스플레이 디바이스와 하나 이상의 디바이스들 중 적어도 하나의 디바이스 간의 최소 거리 및 최대 거리를 추정하는 동작; 및 하나 이상의 디바이스들 중 적어도 하나에 대한 정확도 수준, 최소 거리 및 최대 거리를 사용하여 증강 현실 디스플레이 디바이스가 위치되는 적어도 하나의 추정된 구역을 결정하는 동작을 포함한다.

[0153] 35. 실시예 34의 시스템에서, 최소 거리는 각각의 피어 투 피어 통신 프로토콜들 중 적어도 하나의 피어 투 피어 통신 프로토콜에 대해 미리 결정된다.

[0154] 36. 실시예 34의 시스템에서, 최대 거리는 각각의 피어 투 피어 통신 프로토콜들 중 적어도 하나의 피어 투 피어 통신 프로토콜에 대해 미리 결정된다.

[0155] 37. 실시예 34의 시스템에서, 최소 거리는 각각의 피어 투 피어 통신 프로토콜들 중 적어도 하나의 피어 투 피어 통신 프로토콜에 대한 적어도 신호 강도 정보에 기초하여 결정된다.

[0156] 38. 실시예 34의 시스템에서, 최대 거리는 각각의 피어 투 피어 통신 프로토콜들 중 적어도 하나의 피어 투 피어 통신 프로토콜에 대한 적어도 신호 강도 정보에 기초하여 결정된다.

[0157] 39. 실시예 34의 시스템에서, 적어도 하나의 추정된 구역은 단일 맵 영역에 대응한다.

[0158] 40. 실시예 34의 시스템에서, 추정된 오버랩 구역을 결정하기 위해 복수의 추정된 구역들이 처리된다.

[0159] 41. 실시예 40의 시스템에서, 추정된 오버랩 구역은 단일 맵 영역에 대응하지 않는다.

[0160] 42. 실시예 41의 시스템에서, 현재 위치와 연관된 맵 영역을 식별하는 동작은: 증강 현실 디스플레이 디바이스의 현재 위치에서 수집된 메타데이터를 수신하는 동작; 및 맵 영역을 결정하기 위해 메타데이터를 분석하는 동작을 더 포함하며, 메타데이터는 하나 이상의 통신 네트워크들에 관한 정보에 대응한다.

[0161] 43. 실시예 34의 시스템에서, 맵 영역과 연관된 매칭 키프레임을 식별하는 동작은: 제1 복수의 키프레임들을 수신하는 동작; 제1 복수의 키프레임들 중 하나의 키프레임을 캡처하는 동작; 캡처된 키프레임을 맵 영역과 연관된 제2 복수의 키프레임들과 비교하는 동작 ― 제2 복수의 키프레임들은 알려진 포즈들을 갖는 이전에 캡처된 키프레임들을 포함하고, 이 포즈들은 각각의 키프레임들에 대한 포지션 및 배향을 나타내는 정보를 적어도 포함함 ―; 제2 복수의 키프레임들에 대해 캡처된 키프레임을 분석함으로써 제2 복수의 키프레임들 중 적어도 일부에 대한 유사성 스코어를 결정하는 동작; 및 적어도 유사성 스코어에 기초하여 제2 복수의 키프레임들 중 하나의 키프레임을 매칭 키프레임으로서 선택하는 동작을 포함한다.

[0162] 44. 실시예 43의 시스템에서, 공유된 맵 영역 원점에 대해 증강 현실 디스플레이 디바이스에 대한 포즈를 결정하는 동작은: 키프레임 분석을 수행함으로써, 캡처된 키프레임 및 매칭 키프레임을 사용하여 매칭 키프레임에 대한 포즈를 결정하는 동작; 및 적어도 매칭 키프레임에 대응하는 포즈를 사용하여 매칭 키프레임에 대한 포즈를 공유된 맵 영역 원점에 대한 포즈로 변환하는 동작을 포함한다.

[0163] 45. 실시예 43의 시스템에서, 맵 영역과 연관된 매칭 키프레임을 식별하는 동작은: 캡처된 키프레임의 피처들을 결정하는 동작을 더 포함하며; 캡처된 키프레임을 맵 영역과 연관된 제2 복수의 키프레임들과 비교하는 동작은, 캡처된 키프레임의 피처들을 제2 복수의 키프레임들의 피처들과 비교하는 동작을 포함하고, 그리고 제2 복수의 키프레임들 중 적어도 일부에 대한 유사성 스코어를 결정하는 동작은, 제2 복수의 키프레임들의 피처들에 대해 캡처된 키프레임들의 피처들을 분석하는 동작을 포함한다.

[0164] 46. 실시예 33의 시스템에서, 이 동작들은 맵 영역을 식별하는 동작, 매칭 키프레임을 식별하는 동작 또는 포즈를 결정하는 동작 중 적어도 하나에 대한 응답으로 위치 기반 콘텐츠를 송신하는 동작을 더 포함하며, 위치 기반 콘텐츠는 맵 영역, 매칭 키프레임 또는 포즈 중 적어도 하나와 연관된 하나 이상의 객체들 또는 하나 이상의 애플리케이션들에 대한 데이터에 대응한다.

[0165] 47. 실시예 33의 시스템에서, 이 동작들은 맵 영역을 식별하는 동작, 매칭 키프레임을 식별하는 동작 또는 포즈를 결정하는 동작 중 적어도 하나에 대한 응답으로 콘텐츠 공유를 수행하기 위한 사용자 데이터를 송신하는 동작을 더 포함하며, 콘텐츠 공유는 로컬 통신 네트워크를 통한 디바이스들 간의 단방향 또는 양방향 콘텐츠 교환을 포함한다.

[0166] 48. 실시예 33의 시스템에서, 이 동작들은 맵 영역을 결정하는 것에 대한 응답으로 맵 영역 데이터를 송신하는 동작을 더 포함한다.

[0167] 상기한 명세서에서, 본 개시내용은 이들의 특정한 실시예들을 참조로 설명되었다. 그러나 본 개시내용의 보다 넓은 사상 및 범위를 벗어나지 않으면서 이에 대해 다양한 수정들 및 변경들이 이루어질 수 있음이 명백할 것이다. 예를 들어, 앞서 설명한 프로세스 흐름들은 프로세스 동작들의 특정 순서를 참조하여 설명된다. 그러나 기술된 프로세스 동작들 중 많은 동작들의 순서는 본 개시내용의 범위 또는 동작에 영향을 미치지 않고 변경될 수 있다. 명세서 및 도면들은 이에 따라, 제한적인 의미보다는 예시적인 의미로 여겨져야 한다.

Claims

다수의 로컬화 모듈들을 포함하는 증강 현실 시스템에 의해 증강 현실 디스플레이 디바이스의 포지션 및 배향 정보를 결정하기 위한 방법으로서,
상기 증강 현실 디스플레이 디바이스의 현재 위치와 연관된 맵 영역을 식별하는 단계;
상기 맵 영역과 연관된 상기 현재 위치가 상기 증강 현실 디스플레이 디바이스에 대해 결정된 영역 또는 식별된 영역인지 여부에 적어도 부분적으로 기초하여 상기 증강 현실 디스플레이 디바이스를 로컬화하기 위한 다수의 로컬화 모듈들의 실행 순서를 결정하는 단계;
상기 맵 영역과 연관된 상기 현재 위치가 결정되지 않은 영역 또는 식별되지 않은 영역을 포함한다는 결정에 대한 응답으로, 상기 증강 현실 디스플레이 디바이스에 대해 결정되지 않은 영역 또는 식별되지 않은 영역을 인식하기 위해 사용되는 매칭 키프레임을 결정하는 단계 ― 상기 매칭 키프레임을 결정하는 단계는:
상기 증강 현실 디스플레이 디바이스에 의해 캡처된 키프레임을 상기 맵 영역과 연관된 복수의 알려진 키프레임들과 비교하는 제1 로컬화 모듈의 제1 실행을 트리거하는 단계; 및
상기 복수의 알려진 키프레임들 각각에 대해 결정된 개개의 유사성 스코어에 적어도 부분적으로 기초하여 상기 복수의 알려진 키프레임들로부터 알려진 키프레임을 상기 매칭 키프레임으로서 선택하는 단계
를 포함함 ―;
상기 매칭 키프레임이 결정된 이후에, 적어도 제1 매칭 키프레임을 결정하는 제2 로컬화 모듈의 제2 실행의 트리거에 의해 상기 증강 현실 디스플레이 디바이스에 대한 포즈를 결정하는 단계 ― 상기 제2 실행은:
상기 증강 현실 디스플레이 디바이스에 의해 캡처된 상기 키프레임의 하나 또는 그 초과의 피처들을 결정하는 단계;
상기 키프레임의 하나 또는 그 초과의 피처들을 상기 복수의 알려진 키프레임들 중 적어도 하나의 키프레임의 하나 또는 그 초과의 대응하는 피처들과 비교하는 단계; 및
상기 하나 또는 그 초과의 피처들을 비교한 결과에 적어도 부분적으로 기초하여 상기 복수의 알려진 키프레임들로부터 상기 제1 매칭 키프레임을 결정하는 단계
를 포함함 ―;
를 포함하는,
다수의 로컬화 모듈들을 포함하는 증강 현실 시스템에 의해 증강 현실 디스플레이 디바이스의 포지션 및 배향 정보를 결정하기 위한 방법.
제1 항에 있어서,
상기 현재 위치와 연관된 맵 영역을 식별하는 단계는:
상기 증강 현실 디스플레이 디바이스의 현재 위치에서 수집된 메타데이터를 수신하는 단계; 및
상기 맵 영역을 결정하기 위해 상기 메타데이터를 분석하는 단계를 포함하며,
상기 메타데이터는 하나 이상의 통신 네트워크들에 관한 정보에 대응하는,
다수의 로컬화 모듈들을 포함하는 증강 현실 시스템에 의해 증강 현실 디스플레이 디바이스의 포지션 및 배향 정보를 결정하기 위한 방법.
제1 항에 있어서,
상기 증강 현실 디스플레이 디바이스에 대한 포즈를 결정하는 단계는,
키프레임 분석을 수행함으로써, 상기 캡처된 키프레임 및 상기 매칭 키프레임을 사용하여 상기 매칭 키프레임에 대한 포즈를 결정하는 단계; 및
적어도 상기 매칭 키프레임에 대한 포즈를 사용하여 상기 매칭 키프레임에 대한 포즈를 공유된 맵 영역 원점에 대한 포즈로 변환하는 단계를 포함하는,
다수의 로컬화 모듈들을 포함하는 증강 현실 시스템에 의해 증강 현실 디스플레이 디바이스의 포지션 및 배향 정보를 결정하기 위한 방법.
제3 항에 있어서,
상기 매칭 키프레임에 대한 포즈를 상기 공유된 맵 영역 원점에 대한 포즈로 변환하는 단계는 상기 매칭 키프레임에 대한 포즈 상에서 제1 변환 및 제2 변환을 수행하는 단계를 포함하고, 상기 제1 변환은 상기 공유된 맵 영역 원점으로부터 상기 매칭 키프레임으로이고, 상기 제2 변환은 상기 매칭 키프레임으로부터 상기 캡처된 키프레임으로인,
다수의 로컬화 모듈들을 포함하는 증강 현실 시스템에 의해 증강 현실 디스플레이 디바이스의 포지션 및 배향 정보를 결정하기 위한 방법.
제1 항에 있어서,
상기 매칭 키프레임을 결정하는 단계는:
상기 캡처된 키프레임의 피처들을 결정하는 단계 ― 상기 캡처된 키프레임을 상기 맵 영역과 연관된 상기 복수의 알려진 키프레임들과 비교하는 단계는 상기 캡처된 키프레임의 피처들을 상기 복수의 알려진 키프레임들의 피처들과 비교하는 단계를 포함함; 및
상기 복수의 알려진 키프레임들 중 적어도 일부에 대한 유사성 스코어를 결정하는 단계 ― 상기 유사성 스코어를 결정하는 단계는 상기 복수의 알려진 키프레임들의 피처들에 대한 상기 캡처된 키프레임의 피처들을 분석하는 단계를 포함함 ―
를 더 포함하는,
다수의 로컬화 모듈들을 포함하는 증강 현실 시스템에 의해 증강 현실 디스플레이 디바이스의 포지션 및 배향 정보를 결정하기 위한 방법.
제1 항에 있어서,
상기 맵 영역을 식별하는 단계, 상기 매칭 키프레임을 결정하는 단계, 또는 상기 포즈를 결정하는 단계 중 적어도 하나에 응답하여 위치 기반 콘텐츠를 전송하는 단계를 더 포함하고, 위치 기반 콘텐츠는 상기 맵 영역, 상기 매칭 키프레임, 또는 상기 포즈 중 적어도 하나와 연관된 하나 또는 그 초과의 애플리케이션들 또는 하나 또는 그 초과의 객체들에 대한 데이터에 대응하는,
다수의 로컬화 모듈들을 포함하는 증강 현실 시스템에 의해 증강 현실 디스플레이 디바이스의 포지션 및 배향 정보를 결정하기 위한 방법.
제1 항에 있어서,
상기 맵 영역을 식별하는 단계, 상기 매칭 키프레임을 결정하는 단계, 또는 상기 포즈를 결정하는 단계 중 적어도 하나에 응답하여 콘텐츠 공유를 수행하기 위해 사용자 데이터를 전송하는 단계를 더 포함하고, 콘텐츠 공유는 로컬 통신 네트워크를 통한 디바이스들 간의 단방향 또는 양방향 콘텐츠 교환을 포함하는,
다수의 로컬화 모듈들을 포함하는 증강 현실 시스템에 의해 증강 현실 디스플레이 디바이스의 포지션 및 배향 정보를 결정하기 위한 방법.
제1 항에 있어서,
상기 맵 영역을 식별하는 단계에 응답하여 맵 영역 데이터를 전송하는 단계; 및 상기 복수의 알려진 키프레임들을 업데이트하는 단계를 더 포함하는,
다수의 로컬화 모듈들을 포함하는 증강 현실 시스템에 의해 증강 현실 디스플레이 디바이스의 포지션 및 배향 정보를 결정하기 위한 방법.
제1 항에 있어서,
상기 제1 매칭 키프레임이 결정된 이후에, 적어도 추가적으로 제3 로컬화 모듈의 제3 실행의 트리거에 의해 상기 증강 현실 디스플레이 디바이스에 대한 포즈를 결정하는 단계를 더 포함하고, 상기 제3 실행은:
상기 제1 매칭 키프레임에 관련된 상대적인 포즈를 결정하는 단계;
적어도 상기 맵 영역의 원점에서 상기 키프레임으로의 제1 변환 및 상기 키프레임에서 상기 증강 현실 디스플레이 디바이스로의 제2 변환을 체인으로 연결함으로써 상기 원점에 대한 상기 증강 현실 디스플레이 디바이스의 제1 포지션을 결정하는 단계;
상기 제1 변환 및 상기 제2 변환에 적어도 부분적으로 기초하여 상기 제1 매칭 키프레임에 대한 상기 상대적인 포지션을 상기 원점에 대한 제1 상대적인 포지션으로 변환하는 단계; 및
상기 제1 상대적인 포지션에 적어도 부분적으로 기초하여 상기 원점에 대한 상기 증강 현실 디스플레이 디바이스에 대한 포즈를 결정하는 단계
를 포함하는,
다수의 로컬화 모듈들을 포함하는 증강 현실 시스템에 의해 증강 현실 디스플레이 디바이스의 포지션 및 배향 정보를 결정하기 위한 방법.
제9 항에 있어서,
상기 제1 매칭 키프레임은 상기 매칭 키프레임과 상이한,
다수의 로컬화 모듈들을 포함하는 증강 현실 시스템에 의해 증강 현실 디스플레이 디바이스의 포지션 및 배향 정보를 결정하기 위한 방법.
제1 항에 있어서,
상기 증강 현실 디스플레이 디바이스에서의 상기 캡처된 키프레임은 상기 증강 현실 디스플레이 디바이스에 커플링된 이미징 디바이스로부터 수신되고, 그리고 상기 이미징 디바이스는 상기 증강 현실 디스플레이 디바이스의 사용자와 관련하여 알려진 포지션을 갖는,
다수의 로컬화 모듈들을 포함하는 증강 현실 시스템에 의해 증강 현실 디스플레이 디바이스의 포지션 및 배향 정보를 결정하기 위한 방법.
제1 항에 있어서,
상기 제1 로컬화 모듈의 제1 실행은:
제1 알려진 위치 및 제1 알려진 경계에 대응하는 제1 무선 신호를 수신하는 단계;
상기 제1 무선 신호와 연관된 제1 메타데이터에 적어도 부분적으로 기초하여 제1 쌍의 거리들을 식별하는 단계; 및
상기 증강 현실 디스플레이 디바이스가 상기 제1 쌍의 거리들에 적어도 부분적으로 기초하여 위치하는 맵에서의 맵 영역들의 제1 서브세트를 결정하는 단계 ― 상기 맵 영역과 연관된 상기 복수의 알려진 키프레임들은 맵 영역 데이터 세트의 부분들로서 저장됨 ―
를 포함하는,
다수의 로컬화 모듈들을 포함하는 증강 현실 시스템에 의해 증강 현실 디스플레이 디바이스의 포지션 및 배향 정보를 결정하기 위한 방법.
제12 항에 있어서,
제2 알려진 위치 및 제2 알려진 경계에 대응하는 제2 무선 신호를 수신하는 단계;
상기 제2 무선 신호와 연관된 제2 메타데이터에 적어도 부분적으로 기초하여 제2 쌍의 거리들을 식별하는 단계; 및
상기 증강 현실 디스플레이 디바이스가 상기 제2 쌍의 거리들에 적어도 부분적으로 기초하여 위치하는, 상기 제1 서브세트로부터의 제2 서브세트를 결정하는 단계
를 더 포함하는,
다수의 로컬화 모듈들을 포함하는 증강 현실 시스템에 의해 증강 현실 디스플레이 디바이스의 포지션 및 배향 정보를 결정하기 위한 방법.
제13 항에 있어서,
상기 제1 서브세트와 상기 제2 서브세트 사이의 오버랩을 결정하는 단계; 및
상기 오버랩에 적어도 부분적으로 기초하여 상기 증강 현실 디스플레이 디바이스의 포지션 및 배향을 결정하는 단계
를 더 포함하는,
다수의 로컬화 모듈들을 포함하는 증강 현실 시스템에 의해 증강 현실 디스플레이 디바이스의 포지션 및 배향 정보를 결정하기 위한 방법.
다수의 로컬화 모듈들을 포함하는 증강 현실 시스템에 의해 증강 현실 디스플레이 디바이스의 포지션 및 배향 정보를 결정하기 위한 방법으로서,
상기 증강 현실 디스플레이 디바이스의 현재 위치와 연관된 맵 영역을 식별하는 단계;
상기 맵 영역과 연관된 상기 현재 위치가 상기 증강 현실 디스플레이 디바이스에 대해 결정된 영역 또는 식별된 영역인지 여부에 적어도 부분적으로 기초하여 상기 증강 현실 디스플레이 디바이스를 로컬화하기 위한 다수의 로컬화 모듈들의 실행 순서를 결정하는 단계;
상기 맵 영역과 연관된 상기 현재 위치가 결정되지 않은 영역 또는 식별되지 않은 영역을 포함한다는 결정에 대한 응답으로, 상기 증강 현실 디스플레이 디바이스에 대해 결정되지 않은 영역 또는 식별되지 않은 영역을 인식하기 위해 사용되는 매칭 키프레임을 결정하는 단계 ― 상기 매칭 키프레임을 결정하는 단계는:
상기 증강 현실 디스플레이 디바이스로부터 수신되는 제1 복수의 키프레임들 중 제1 키프레임을 상기 맵 영역과 연관된 제2 복수의 알려진 키프레임들과 비교하는 제1 로컬화 모듈의 제1 실행을 트리거하는 단계;
상기 제1 키프레임을 비교한 제1 결과에 적어도 부분적으로 기초하여 상기 제2 복수의 알려진 키프레임들 중 적어도 일부에 대한 제1 유사성 스코어를 결정하는 단계; 및
적어도 상기 제1 유사성 스코어에 기초하여 상기 제2 복수의 알려진 키프레임들로부터 알려진 키프레임을 제1 매칭 키프레임으로서 선택하는 단계
를 포함함 ―; 및
상기 제1 복수의 키프레임들 중 제2 키프레임을 상기 맵 영역과 연관된 상기 제2 복수의 알려진 키프레임들과 비교하는 단계;
상기 제2 키프레임의 비교에 적어도 부분적으로 기초하여 상기 제2 복수의 알려진 키프레임들 중 적어도 일부에 대한 제2 유사성 스코어를 결정하는 단계; 및
적어도 상기 제2 유사성 스코어에 기초하여 상기 제2 복수의 알려진 키프레임들 중 분리된 알려진 키프레임을 제2 매칭 키프레임으로서 선택하는 단계
에 의해 상기 맵 영역과 연관된 상기 제2 매칭 키프레임을 식별하는 단계; 및
적어도 상기 제2 매칭 키프레임을 사용하여 공유된 맵 영역 원점에 대한 상기 증강 현실 디스플레이 디바이스에 대한 제1 포즈를 개선하는 단계
를 포함하는,
다수의 로컬화 모듈들을 포함하는 증강 현실 시스템에 의해 증강 현실 디스플레이 디바이스의 포지션 및 배향 정보를 결정하기 위한 방법.
제15 항에 있어서,
상기 현재 위치와 연관된 맵 영역을 식별하는 단계는:
상기 증강 현실 디스플레이 디바이스의 현재 위치에서 수집된 메타데이터를 수신하는 단계; 및
상기 메타데이터를 분석한 분석 결과에 적어도 부분적으로 기초하여 상기 맵 영역을 결정하는 단계 ― 상기 메타데이터는 하나 이상의 통신 네트워크들에 관한 정보에 대응함 ―
를 포함하는,
다수의 로컬화 모듈들을 포함하는 증강 현실 시스템에 의해 증강 현실 디스플레이 디바이스의 포지션 및 배향 정보를 결정하기 위한 방법.
제15 항에 있어서,
공유된 맵 영역 원점에 대한 상기 증강 현실 디스플레이 디바이스에 대한 포즈를 결정하는 단계를 더 포함하고, 상기 포즈를 결정하는 단계는:
적어도 키프레임 분석을 수행함으로써, 상기 제1 키프레임 및 상기 제1 매칭 키프레임을 사용하여 상기 제1 매칭 키프레임에 대한 상대적인 포즈를 결정하는 단계; 및
적어도 상기 제1 매칭 키프레임에 관한 상기 상대적인 포즈를 사용하여 상기 제1 매칭 키프레임에 대한 상기 상대적인 포즈를 공유된 맵 영역 원점에 대한 제1 포즈로 변환하는 단계
를 더 포함하는,
다수의 로컬화 모듈들을 포함하는 증강 현실 시스템에 의해 증강 현실 디스플레이 디바이스의 포지션 및 배향 정보를 결정하기 위한 방법.
제17 항에 있어서,
상기 상대적인 포즈를 상기 공유된 맵 영역 원점에 대한 제1 포즈로 변환하는 단계는 상기 상대적인 포즈 상에서 제1 변환 및 제2 변환을 수행하는 단계를 포함하고, 상기 제1 변환은 상기 공유된 맵 영역 원점으로부터 상기 제1 매칭 키프레임으로이고, 상기 제2 변환은 상기 제1 매칭 키프레임으로부터 상기 제1 키프레임으로인,
다수의 로컬화 모듈들을 포함하는 증강 현실 시스템에 의해 증강 현실 디스플레이 디바이스의 포지션 및 배향 정보를 결정하기 위한 방법.