KR102205689B1 - 증강 현실 시스템에서의 이미지 기반 추적 - Google Patents

Abstract

이미지 기반 로케이션 추정을 위한 시스템 및 방법이 설명된다. 한 예시적인 실시예에서, 제1 위치결정 시스템은 제1 위치 추정치를 생성하는데 이용된다. 그 다음, 제1 위치 추정치와 연관된 하나 이상의 구조물 파사드(structure facade)를 기술하는 구조물 파사드 데이터 세트가 액세스된다. 환경의 제1 이미지가 포착되고, 이미지의 일부가 구조물 파사드 데이터의 일부와 정합된다. 그 다음, 구조물 파사드 데이터에 정합되는 이미지의 일부와 구조물 파사드 데이터의 비교에 기초하여 제2 위치가 추정된다.

Description

증강 현실 시스템에서의 이미지 기반 추적{IMAGE BASED TRACKING IN AUGMENTED REALITY SYSTEMS}

우선권 주장

본 출원은 2015년 11월 30일자로 출원된 미국 특허 출원 제14/954,090호에 대한 우선권의 이득을 청구하고, 본 출원은 또한, 2015년 10월 30일자로 출원된 미국 가출원 제62/248,706호의 우선권에 대한 이득을 청구하며, 이에 의하여 이들 각각의 우선권의 이득이 청구되고, 이들 각각은, 그 전체내용이 본 명세서에 참조로 통합된다.

증강 현실이란, 컴퓨터로 생성된 강화를 이용하여 실시간 또는 준 실시간 방식으로 이미지 내에 새로운 정보를 추가하는 것을 말한다. 예를 들어, 디바이스의 디스플레이 상에 출력된 벽의 비디오 이미지는, 벽에 존재하지 않지만 증강 현실 시스템에 의해 벽 상에 있는 것처럼 보이도록 생성되는 디스플레이 상세사항으로 강화될 수 있다. 이러한 시스템은, 이미지 포착 디바이스에 의해 결정된 관점에서 최종 이미지를 매끄럽게 프리젠팅하려는 방식으로 포착된 장면에 추가될 증강 현실 정보와 통합되고 정합되는 이미지 포착 정보의 복합 혼합을 요구한다.

첨부된 도면의 다양한 도면들은 본 개시내용의 예시적인 실시예를 나타낼 뿐이고 그 범위를 제한하는 것으로서 간주되어서는 안 된다.
도 1a는 일부 예시적인 실시예들에 따른 네트워킹된 시스템을 나타내는 블록도이다.
도 1b는 일부 예시적인 실시예들에 따른 클라이언트 및 클라이언트 동반(예를 들면, 착용형) 디바이스를 포함하는 네트워킹된 시스템을 나타내는 블록도이다.
도 2는 일부 예시적인 실시예들에 따른 증강 현실 시스템의 한 예시적인 실시예를 나타내는 블록도이다.
도 3은 일부 실시예들에 따른 증강 현실 시스템의 양태를 나타낸다.
도 4a, 도 4b, 및 도 4c는 일부 실시예들에 따른 증강 현실 시스템의 양태를 나타낸다.
도 5a 내지 도 5f는 일부 예시적인 실시예들에 따른 증강 현실 시스템에서의 이미지 기반 추적의 양태를 나타낸다.
도 6은 일부 예시적인 실시예들에 따른 증강 현실 시스템에서 이용하기 위한 추적 시스템의 양태를 나타낸다.
도 7은 일부 실시예들에 따른 증강 현실 시스템의 양태를 나타낸다.
도 8은 일부 실시예들에 따른 증강 현실 시스템의 양태를 나타낸다.
도 9는 일부 예시적인 실시예들에 따른 이미지 기반 추적을 위한 방법이다.
도 10a는 일부 예시적인 실시예들에 따른 증강 현실 시스템에 이용될 수 있는 디바이스의 양태를 나타낸다.
도 10b는 일부 예시적인 실시예들에 따른 예시적인 모바일 디바이스 및 모바일 운영 체제 인터페이스를 도시하는 사용자 인터페이스 도면을 나타낸다.
도 11은 일부 예시적인 실시예들과 연관하여 이용될 수 있는 예시적인 착용형 디바이스이다.
도 12는 일부 예시적인 실시예들에 따른 머신 상에 설치될 수 있는 소프트웨어 아키텍쳐의 예를 나타내는 블록도이다.
도 13은 한 예시적인 실시예에 따른 머신으로 하여금 본 명세서에서 논의된 방법들 중 임의의 것을 수행하게 하기 위해 명령어 세트가 실행될 수 있는 컴퓨터 시스템 형태의 머신의 도식적 표현을 제시하는 블록도이다.

이하의 내용은 증강 현실 이미지 처리 및 이미지 기반 추적에 관한 것이다. 일부 특정한 실시예들은 초기 대략적 로케이션 추정을 이용하여 국지적 건물에 대한 파사드 데이터(facade data)를 식별하는 것을 설명한다. 그 다음, 증강 현실 시스템을 위해 포착된 이미지는 파사드 데이터와 비교될 수 있다. 이 비교는 건물 파사드의 일부 또는 전체를 포착된 이미지의 일부와 대조하여 정합을 시도한다. 파사드 데이터로부터의 로케이션 및 관점 정보는 포착된 이미지의 식별된 정합 부분과 함께 이용되어 포착된 이미지의 관점과 연관된 로케이션의 제2 추정치를 생성할 수 있다. 그 다음, 더 정확한 제2 로케이션은 증강 현실 디스플레이의 일부로서 포착된 이미지 또는 후속하는 관련된 포착 이미지들 내에 가상 항목을 배치하는데 이용될 수 있다.

이하의 설명은 본 발명의 실시예들을 나타내는 시스템, 디바이스 및 방법을 포함한다. 이하의 설명에서, 설명의 목적을 위해, 많은 구체적인 상세사항이 본 발명의 주제의 다양한 실시예에 대한 이해를 제공하기 위해 개시된다. 그러나, 본 기술분야의 통상의 기술자에게는, 본 발명의 주제의 실시예들은 이러한 구체적인 상세사항없이도 실시될 수 있다는 것이 명백할 것이다.

본 명세서에서 설명되는 바와 같이, 증강 현실이란, 이미지를 포착하고, 이들 이미지들을 추가 정보로 강화시킨 다음, 강화된 정보를 디스플레이 상에 프리젠팅하는 시스템 및 디바이스를 말한다. 이것은, 예를 들어, 사용자가 전화기를 붙잡은 채로 장면의 비디오 스트림을 포착하고, 전화기의 출력 디스플레이가 추가 정보와 함께 사용자에게 보여지도록 장면을 프리젠팅하는 것을 가능하게 한다. 이 정보는 장면에 가상 객체들을 배치하여 그 가상 객체들이 그 장면에 존재하는 것처럼 프리젠팅되도록 하는 것을 포함할 수 있다. 이러한 가상 객체들의 양태는, 환경을 포착하는 이미지 센서의 관점에서 볼 때 또 다른 실제 객체 또는 가상 객체가 그 가상 객체들의 앞을 지나가면 그 가상 객체들이 가려지도록 처리된다. 이러한 가상 객체들은 또한, 실제 객체와 가상 객체 양쪽 모두가 시간에 따라 이동할 때 및 환경을 포착하는 이미지 센서의 관점이 변할 때, 실제 객체와의 관계를 유지하도록 처리된다.

실제 객체와 가상 객체 양쪽 모두를 포함하는 이러한 증강 현실 장면에서 발생하는 하나의 문제점은 실제 객체와 가상 객체 사이의 추적을 설정하고 유지하는 것이다. 이러한 추적은 환경 내에서 가상 객체의 몰입형 프리젠테이션(immersive presentation)을 유지하고 가상 객체를 마치 환경 내에 실제하는 것처럼 취급하는 데 있어서 중요하다. 추적 실패는 장면 내의 가상 항목의 지터(jitter) 또는 예기치 않은 움직임을 발생시키거나, 실제 객체와 중첩하거나 동기화되지 않고 부자연스러운 방식으로 초기 가상 객체 배치를 설정할 수 있다.

동시 위치확인 및 맵핑(SLAM; Simultaneous location and mapping) 시스템은, 비디오의 2차원 이미지 프레임들에서 주요 지점들을 추적하고 이미지 프레임들로부터 3차원 객체들뿐만 아니라 이들 객체들에 대한 카메라의 상대 로케이션을 식별하는데 이용되는 시스템이다. 그러나, 3차원 객체를 식별하는 이러한 처리는 프로세서와 메모리 집약적이다.

본 명세서에서 사용될 때 "파사드(facade)"란, 건물 벽의 상세사항을 포함한, 건물 또는 물리적 구조물의 상세사항을 말한다. 건물의 실제 환경은 중요한 3차원 텍스처를 포함할 수 있지만, 본 명세서에서 사용될 때, 파사드는 2차원으로 모델링될 수 있는 벽 또는 건물의 부분들을 포함한다. 이것은 특히 건물 벽면의 일부일 수 있는 벽화 또는 기타의 이미지 등의 패턴을 포함한다. 건물의 파사드 데이터는, 건물의 하나 이상의 외벽에 대한 간소화된 2차원 모델을 포함할 수 있다. 이러한 모델은, 이러한 벽에 대한 로케이션 포인트들뿐만 아니라, 이러한 벽으로부터의 2차원 이미지 데이터를 포함할 수 있다. 객체의 복합 3차원 지점 클라우드 모델(complex three-dimensional point cloud model)과 비교할 때, 2차원 파사드 모델은 훨씬 간단하다. 이미지를 처리하여 벽의 2차원 모델과의 정합을 식별하는 것은, 객체의 3차원 모델과 대조하여 하나 이상의 비디오 이미지를 처리하는 것보다 일반적으로 적은 처리 자원을 소비한다. 프로세서 및 메모리 시스템의 효율성은 자원 가용성에 큰 제한이 있는 모바일 디바이스 또는 착용형 디바이스로 작업할 때 특히 중요하다.

또한, 전역 위치결정 시스템 또는 다른 위치확인 기반 시스템을 이용하여 초기 대략적 로케이션 추정을 식별함으로써, 포착된 이미지에 대조하여 2차원 파사드 데이터를 정합시키는데 필요한 처리 자원이 더 제한될 수 있다. 맵 데이터베이스는 특정한 로케이션에서 건물에 대한 이미지 정보 및/또는 파사드 모델을 포함할 수 있다. 초기 대략적 로케이션 추정과 함께 이러한 데이터베이스를 이용하는 것은, 포착된 이미지 내의 예상된 건물들을 매우 작은 수로 제한하는데 이용되거나, 단일 건물을 식별하는데 자동으로 이용될 수 있다. 이 정보로 시작하여, 제한된 처리 자원을 가진 일부 디바이스들은 포착된 이미지와 대조하여 2차원 파사드 데이터를 준 실시간으로 정합시킬 수 있다. 일부의 이러한 디바이스들은 3차원 정합을 위해 이러한 준 실시간 계산을 수행하지 못할 수도 있다. 포착된 이미지에서 표현되는 건물의 관점은, 포착된 이미지를 생성하는데 이용된 이미지 센서의 위치의 정확한 추정치를 생성하는데 이용될 수 있다. 이러한 정확한 위치 추정은, 증강 현실 시스템의 일부로서 환경 내에 가상 객체를 적절히 배치하고 추적하는 것을 포함한, 다양한 방법으로 이용될 수 있다.

도 1a는, 한 실시예에 따른, 네트워크를 통해 데이터를 교환하도록 구성된 클라이언트-서버 아키텍처를 갖는 네트워크 시스템(100)을 도시하는 네트워크 도면이다. 이러한 네트워크 시스템은, 클라이언트 디바이스(110) 상에 디스플레이될 가상 객체, 파사드 모델을 생성하는데 이용되는 거리 뷰 데이터, 및 증강 현실 시스템(160)에 의해 이용될 때의 결과적 파사드 모델들에 대한 정보를 전달하는데 이용될 수 있다. 일부 실시예들에서, 네트워크 시스템(100)은, 클라이언트들이 네트워크 시스템(100) 내에서 통신하고 데이터를 교환하는 메시징 시스템일 수 있다. 데이터는 네트워크 시스템(100) 및 그 사용자들과 연관된 다양한 기능(예를 들어, 텍스트 및 미디어 통신신호의 전송 및 수신, 지리위치(geolocation)의 결정 등) 및 양태에 관련될 수 있다. 본 명세서에서는 클라이언트-서버 아키텍처로 예시되었지만, 다른 실시예들은 피어-투-피어 또는 분산 네트워크 환경 등의 다른 네트워크 아키텍처를 포함할 수 있다.

도 1a에 도시된 바와 같이, 네트워크 시스템(100)은 소셜 메시징 시스템(130)을 포함한다. 소셜 메시징 시스템(130)은 일반적으로, 인터페이스 계층(124), 애플리케이션 로직 계층(126), 및 데이터 계층(128)으로 구성된 3-계층 아키텍처에 기초한다. 관련 컴퓨터 및 인터넷 관련 분야의 통상의 기술자라면 이해하는 바와 같이, 도 1a에 도시된 각각의 모듈 또는 엔진은 실행가능한 소프트웨어 명령어 세트 및 명령어를 실행하기 위한 대응하는 하드웨어(예를 들어, 메모리 및 프로세서)를 나타낸다. 불필요한 상세사항으로 본 발명의 주제를 모호하게 하는 것을 피하기 위해, 본 발명의 주제의 이해를 전달하는 것과 밀접하지 않은 다양한 기능 모듈 및 엔진은 도 1a에서 생략되었다. 물론, 본 명세서에서 구체적으로 설명되지 않은 추가 기능을 가능하게 하기 위해, 도 1a에 나타낸 것 등의, 추가 기능 모듈 및 엔진이 소셜 메시징 시스템과 함께 이용될 수 있다. 또한, 도 1a에 도시된 다양한 기능 모듈들 및 엔진들은 단일 서버 컴퓨터 상에 존재할 수 있거나, 다양한 배치로 여러 서버 컴퓨터들에 걸쳐 분산될 수 있다. 또한, 소셜 메시징 시스템(130)이 도 1a에서는 3-계층 아키텍처로서 도시되어 있지만, 본 발명의 주제는 결코 이러한 아키텍쳐로 제한되지 않는다.

도 1a에 도시된 바와 같이, 인터페이스 계층(124)은, 클라이언트 애플리케이션(112)을 실행하는 클라이언트 디바이스(110) 및 제3자 애플리케이션(122)을 실행하는 제3자 서버(120) 등의, 다양한 클라이언트 컴퓨팅 디바이스 및 서버로부터의 요청을 수신하는, 인터페이스 모듈(예를 들어, 웹 서버)(140)로 구성된다. 수신된 요청에 응답하여, 인터페이스 모듈(140)은 적절한 응답을 네트워크(104)를 통해 요청 디바이스들에 전달한다. 예를 들어, 인터페이스 모듈(140)은, HTTP(Hypertext Transfer Protocol) 요청, 또는 기타의 웹 기반 API(Application Programming Interface) 요청 등의 요청을 수신할 수 있다.

클라이언트 디바이스(110)는, 다양한 모바일 컴퓨팅 디바이스 및 모바일-특정 운영 체제(예를 들어, IOS™, ANDROID™, WINDOWS® PHONE) 중 임의의 것을 포함하는 특정한 플랫폼을 위해 개발된 종래의 웹 브라우저 애플리케이션 또는 애플리케이션들(또한 "앱"이라고도 함)을 실행할 수 있다. 한 예에서, 클라이언트 디바이스(110)는 클라이언트 애플리케이션(112)을 실행하고 있다. 클라이언트 애플리케이션(112)은, 사용자(106)에게 정보를 프리젠팅하고 네트워크(104)를 통해 전달하여 소셜 메시징 시스템(130)과 정보를 교환하는 기능을 제공할 수 있다. 클라이언트 디바이스들(110) 각각은 소셜 메시징 시스템(130)에 액세스하기 위해 적어도 디스플레이 및 네트워크(104)와의 통신 능력을 포함하는 컴퓨팅 디바이스를 포함할 수 있다. 클라이언트 디바이스(110)는, 원격 디바이스, 워크스테이션, 컴퓨터, 범용 컴퓨터, 인터넷 어플라이언스, 핸드헬드 디바이스, 무선 디바이스, 휴대형 디바이스, 착용형 컴퓨터, 셀룰러 또는 모바일 전화, 개인 휴대 정보 단말기(PDA), 운전자 헤드 장착 디스플레이(HUD)를 갖춘 자동차 컴퓨팅 디바이스, 스마트폰, 태블릿, 울트라북, 넷북, 랩톱, 데스크톱, 멀티-프로세서 시스템, 마이크로프로세서 기반의 또는 프로그래밍가능한 가전 제품, 게임 콘솔, 셋톱 박스, 네트워크 PC, 미니 컴퓨터 등을 포함하지만, 이것으로 제한되지 않는다. 사용자(106)는, 사람, 머신, 또는 클라이언트 디바이스(110)와 상호작용하는 기타의 수단일 수 있다. 일부 실시예들에서, 사용자(106)는 클라이언트 디바이스(110)를 통해 소셜 메시징 시스템(130)과 상호작용한다.

도 1a에 도시된 바와 같이, 데이터 계층(128)은 정보 저장소 또는 데이터베이스(134)로의 액세스를 가능하게 하는 하나 이상의 데이터베이스 서버(132)를 갖는다. 데이터베이스(134)는 클라이언트 디바이스(110)에 의해 생성되어 소셜 메시징 시스템(130)에 전송되는 외부 영역의 이미지 세트; 건물을 포함하는 이미지들로부터 생성된 파사드 데이터 세트; 이미지와 파사드 데이터를 지리위치들에 정합시키는 맵 데이터; 및 기타의 이러한 데이터 등의, 데이터를 저장하는 저장 디바이스이다. 한 실시예에서, 데이터베이스는 거리에서 포착된 이미지들을 저장하고 그 이미지들을 맵 데이터와 연관시킨다. 이러한 실시예의 일부 구현은, 사람들을 포함하는 높이 위의 이미지 데이터만을 저장하는 실시예와 같이, 이미지로부터 사람을 제거하기 위해 필터 또는 이미지 크로핑(cropping)을 이용할 수 있다. 데이터베이스(134)는 또한, 멤버 프로파일 데이터, 소셜 그래프 데이터(예를 들어, 소셜 메시징 시스템(130)의 멤버들 사이의 관계), 및 기타의 사용자 데이터 등의 데이터를 저장한다.

개인은 소셜 메시징 시스템(130)에 등록하여 소셜 메시징 시스템(130)의 멤버가 될 수 있다. 일단 등록되고 나면, 멤버는 소셜 메시징 시스템(130) 상에서 소셜 네트워크 관계(예를 들어, 친구, 팔로워, 또는 연락처)를 형성할 수 있고, 소셜 메시징 시스템(130)에 의해 제공되는 광범위한 애플리케이션과 상호작용할 수 있다.

애플리케이션 로직 계층(126)은 다양한 애플리케이션 로직 모듈(150)을 포함하며, 애플리케이션 로직 모듈(150)은, 인터페이스 모듈(140)과 연계하여, 데이터 계층(128) 내의 다양한 데이터 소스 또는 데이터 서비스로부터 회수된 데이터를 갖춘 다양한 사용자 인터페이스를 생성한다. 개개의 애플리케이션 로직 모듈(150)은, 증강 현실 시스템(160)의 양태들을 포함한, 소셜 메시징 시스템(130)의 다양한 애플리케이션, 서비스 및 피쳐들과 연관된 기능을 구현하는데 이용될 수 있다. 예를 들어, 소셜 메시징 애플리케이션은 애플리케이션 로직 모듈들(150) 중 하나 이상으로 구현될 수 있다. 소셜 메시징 애플리케이션은, 클라이언트 디바이스(110)의 사용자가 텍스트와 사진 및 비디오 등의 미디어 콘텐츠를 포함하는 메시지를 송수신하기 위한 메시징 메커니즘을 제공한다. 소셜 메시징 애플리케이션은 또한, 사진 및 비디오를 가상 객체와 통합하는 증강 현실 디스플레이 및 콘텐츠를 제공하기 위한 메커니즘을 포함할 수도 있다. 클라이언트 디바이스(110)는 증강 현실 디스플레이를 제공할 수 있고, 또한 사용자가 명시된 기간(예를 들어, 제한된 또는 무제한적인) 동안 소셜 메시징 애플리케이션으로부터의 메시지에 액세스하여 볼 수 있게 할 수 있다. 한 예에서, 특정한 메시지는, 특정한 메시지가 처음 액세스될 때 시작하는 (예를 들어, 메시지 전송자에 의해 지정된) 미리 정의된 기간 동안 메시지 수신자에게 액세스될 수 있다. 미리 정의된 기간이 경과한 후에, 메시지는 삭제되고 더 이상 메시지 수신자에게 액세스될 수 없다. 유사하게, 증강 현실 콘텐츠는 미리 정의된 기간 동안 제공될 수 있다. 다른 애플리케이션 및 서비스들은 그들 자신의 애플리케이션 로직 모듈(150)에서 별개로 구현될 수 있다.

도 1a에 나타낸 바와 같이, 소셜 메시징 시스템(130) 또는 클라이언트 애플리케이션(112)은 증강 현실 이미지를 생성하는 기능을 제공하는 증강 현실 시스템(160)을 포함한다. 일부 실시예들에서, 증강 현실 시스템(160)은 클라이언트 디바이스(110) 상의 독립형 시스템으로서 구현될 수 있고, 반드시 소셜 메시징 시스템(130)에 포함되는 것은 아니다. 다른 실시예들에서, 클라이언트 디바이스(110)는 증강 현실 시스템(160)의 일부를 포함한다(예를 들어, 증강 현실 시스템(160)의 일부는 독립적으로 또는 클라이언트 애플리케이션(112)에 포함될 수 있다). 클라이언트 디바이스(110)가 증강 현실 시스템(160)의 일부를 포함하는 실시예들에서, 클라이언트 디바이스(110)는, 특정한 애플리케이션 서버에 포함되거나 소셜 메시징 시스템(130)에 포함된 증강 현실 시스템(160)의 부분과 연계하여 또는 단독으로 작동할 수 있다.

도 1b는 특정한 실시예들과 함께 이용될 수 있는 대안적인 네트워크 시스템(101)을 나타낸다. 네트워크 시스템(101)은, 네트워크 시스템(100)에서와 같이, 인터페이스 모듈(140), 애플리케이션 로직 모듈(150), 데이터베이스 서버(132) 및 데이터베이스(134) 뿐만 아니라 클라이언트 애플리케이션(112)을 동작시키는 클라이언트 디바이스(110)를 갖춘 소셜 메시징 시스템(130)을 포함한다. 그러나, 네트워크 시스템(101)은 클라이언트 디바이스(110)에 접속된 클라이언트 동반 디바이스(client companion device, 114)를 추가로 포함한다. 클라이언트 동반 디바이스(114)는, 안경, 바이저(visor), 시계, 또는 다른 네트워크 가능형 항목 등의, 착용형 디바이스일 수 있다. 클라이언트 동반 디바이스는 또한, 클라이언트 디바이스(110) 등의 또 다른 디바이스를 통해 네트워크(104) 등의 네트워크에 액세스하는 본 명세서에서 설명된 임의의 디바이스일 수 있다. 클라이언트 동반 디바이스(114)는, 이미지 센서(116), 무선 입력 및 출력(I/O)(117), 및 디스플레이(118)를 포함한다. 클라이언트 동반 디바이스(114)는, 하나 이상의 프로세서, 배터리, 및 메모리를 포함할 수 있지만 제한된 처리 및 메모리 자원을 가질 수 있다. 이러한 실시예들에서, 소셜 메시징 시스템(130)에 이용되는 클라이언트 디바이스(110) 및/또는 서버 컴퓨팅 디바이스는, 클라이언트 동반 디바이스(114)에 원격 처리 및 메모리 자원을 제공하기 위해 네트워크 접속을 통해 이용될 수 있다. 한 실시예에서, 예를 들어, 클라이언트 동반 디바이스(114)는, 도 11의 안경 등의, 한 쌍의 네트워크 가능형 안경일 수 있다. 이러한 안경은 임의의 센서 기반 위치결정 시스템을 포함하지 않을 수 있으므로, 초기 로케이션 추정을 수행하는 본 명세서에서 설명된 방법은 안경에 무선으로 접속된 클라이언트 디바이스(110)의 위치를 추정할 수 있다. 그러나, 안경은 이미지 센서(116)를 이용하여 이미지를 수집하고, 이들 이미지들을 기초로서 이용하여 증강 현실 정보를 생성하고 디스플레이(118)를 통해 사용자에게 프리젠팅한다. 따라서 이미지 및 이미지에 추가된 모든 가상 객체의 관점은 클라이언트 동반 디바이스(114) 안경의 위치에 기초하여 추적될 필요가 있다. 이러한 실시예에서, 초기 로케이션은, 전역 위치결정 시스템(GPS) 또는 네트워크 강화된 위치확인 서비스를 이용하는 클라이언트 디바이스(110) 로케이션에 기초할 수 있다. 그 다음, 클라이언트 디바이스(110), 소셜 메시징 시스템(130), 또는 양쪽 모두 상에서 동작하는 이미지 기반 위치확인 시스템(161)은, 클라이언트 디바이스(110)의 초기 로케이션에 의해 식별된 파사드 데이터와 함께 이미지 센서(116)로부터의 이미지 데이터를 이용하여 클라이언트 동반 디바이스(114)의 로케이션을 결정할 수 있다. 일부 실시예들에서, 무선 I/O(117) 시스템의 범위가 낮기 때문에, 시스템은 클라이언트 디바이스(110)의 로케이션이 클라이언트 동반 디바이스(114)와 충분히 가까운 거리 내에 있다고 가정하고, 양쪽 모두의 디바이스에 가까운 건물에 대한 파사드 데이터가 동일할 것이라고 가정할 수 있다.

도 2는 증강 현실 시스템(160)의 한 실시예의 블록도(200)이다. 증강 현실 시스템(160)은, 이미지 기반 위치확인 시스템(161), 통신 모듈(210), 프리젠테이션 모듈(220), 구성 모듈(230), 정렬 모듈(240), 가상 항목 모듈(250), 분석 모듈(260), 및 맵 위치결정 시스템(270)을 포함하는 것으로 도시되어 있다. 모듈들(210-270)의 전부 또는 일부는, 예를 들어, 네트워크 결합, 공유된 메모리 등을 통해 서로 통신한다. 증강 현실 시스템(160)의 모듈들의 각각의 모듈은 단일 모듈로서 구현되거나, 다른 모듈들과 결합되거나, 또는 복수의 모듈들로 더 세분될 수 있다. 예시적인 실시예들과 관련이 없는 다른 모듈들도 역시 포함될 수 있지만, 도시되지는 않는다.

통신 모듈(210)은 다양한 통신 기능을 제공한다. 예를 들어, 통신 모듈(210)은 사용자 디바이스로부터 이미지의 이미지 데이터를 수신, 액세스 또는 기타의 방식으로 획득한다. 특정한 예에서, 통신 모듈(210)은 스마트폰의 카메라 센서로부터 실질적으로 실시간 이미지 데이터(예를 들어, 스마트폰의 카메라 센서에 의해 포착된 단일 프레임의 이미지 데이터 또는 프레임들의 연속 스트림)를 수신한다. 통신 모듈(210)은, 데이터베이스 서버(132), 클라이언트 디바이스(110), 및 제3자 서버(120)와 네트워크 통신신호를 교환한다. 통신 모듈(210)에 의해 회수된 정보는, 본 명세서에 설명된 기능을 가능하게 하기 위해 사용자와 연관된 데이터(예를 들어, 온라인 계정으로부터의 멤버 프로파일 데이터 또는 소셜 네트워크 서비스 데이터) 또는 기타의 데이터를 포함한다.

프리젠테이션 모듈(220)은, 사용자에게 대화식으로 정보를 프리젠팅하고 사용자로부터 정보를 수신하도록 동작가능한 다양한 프리젠테이션 및 사용자 인터페이스 기능을 제공한다. 예를 들어, 프리젠테이션 모듈(220)은, 증강 현실 이미지가 디스플레이 상에 프리젠팅될 수 있도록, 정렬되고 삽입된 가상 객체들을 갖는 이미지 데이터의 출력을 관리하는데 이용된다. 전술된 바와 같이, 이들 이미지들은, 이미지들이 포착되고, 가상 객체를 추가하도록 처리되고, 가능한 한 빨리 가상 객체와 함께 디스플레이될 때 실시간 또는 준 실시간으로 프리젠팅될 수 있다. 프리젠테이션 모듈(220)은 또한, 사용자 인터페이스, AR 객체, 또는 후술되는 광학 바코드(806) 등의 광학 바코드의 디코딩에 응답하여 생성된 임의의 이러한 정보를 프리젠팅하는데 이용될 수 있다. 다양한 실시예에서, 프리젠테이션 모듈(220)은 정보를 프리젠팅하거나 추가 정보의 프리젠테이션을 야기한다(예를 들어, 스크린 상에 시각적으로 정보를 디스플레이하는 것, 음향 출력, 햅틱 피드백). 대화식으로 정보를 프리젠팅하는 프로세스는 특정한 디바이스와 사용자 사이에서의 정보의 교환을 포함하도록 의도되어 있다. 사용자는, 영숫자, 포인트 기반(예를 들어, 커서), 촉각적, 또는 기타의 입력(예를 들어, 터치 스크린, 촉각 센서, 광 센서, 적외선 센서, 바이오메트릭 센서, 마이크로폰, 자이로스코프, 가속도계, 또는 기타의 센서) 등의 많은 가능한 방식으로 사용자 인터페이스와 상호작용하기 위한 입력을 제공할 수 있다. 프리젠테이션 모듈(220)은 본 명세서에서 설명된 기능을 가능하게 하기 위해 많은 다른 사용자 인터페이스를 제공한다. 용어 "프리젠팅(presenting)"은, 본 명세서에서 사용될 때, 전달된 정보 또는 명령어들에 기초하여 프리젠테이션을 수행하도록 동작가능한 특정한 디바이스에 정보 또는 명령어를 전달하는 것을 포함한다. 이것은 사용자의 눈에 이미지를 투사하는 것 뿐만 아니라 스크린 상에 출력하는 것 양쪽 모두를 포함할 수 있다.

구성 모듈(230)은 시스템 옵션의 사용자 선택을 수락하고 관리하는데 이용될 수 있다. 이것은, 증강 현실을 가능하게하고 소정 유형의 증강 현실 정보가 사용자 입력 또는 입력 기반 트리거를 기초하여 제공되거나 트리거되도록 요청하는 것을 포함한, 다양한 증강 현실 선택을 선택하는 옵션을 포함할 수 있다. 예를 들어, 구성 모듈(230)은, 이미지 기반 위치확인 시스템 또는 맵 위치결정 시스템에서 로케이션들이 식별될 때 로케이션들의 특정한 유형에 관한 정보를 자동으로 프리젠팅하도록 사용자에 의해 제공된 설정을 포함할 수 있다. 구성 모듈(230)은 또한, 방향 입력 트리거가 통신 모듈(210)을 통해 수신될 때 증강 현실 이미지에서 방향 정보를 자동으로 제공하는 사용자 설정을 수락할 수 있다. 다른 실시예들에서, 이미지 기반 위치확인 또는 증강 현실 이미지를 구현하기 위한 임의의 다른 트리거가 구성 모듈(230)에 의해 관리될 수 있다. 예를 들어, 구성 모듈(230)은, 시스템이 증강 현실 이미지의 디스플레이를 위한 트리거와 같은 분석을 포함할 때 사용자 디바이스(예를 들어, 클라이언트 디바이스(110))로부터 수신된 이미지의 이미지 데이터로부터 후보 형상 피쳐 또는 후보 윤곽 특성을 추출하고 분석한다. 구성 모듈(230)은 추출된 후보 형상 피쳐와 연관된 다양한 규칙 또는 기준의 만족을 결정한다. 구성 모듈(230)은 추출된 후보 형상 피쳐를 맞춤형 그래픽 또는 다른 기준 이미지의 기준 형상 피쳐와 비교한다. 구성 모듈(230)은 이미지의 이미지 데이터로부터 후보 형상 피쳐를 추출하고 후속해서 증강 현실 이미지의 디스플레이를 트리거하기 위해 다양한 방식 및 기술을 채용할 수 있다.

정렬 모듈(240)은 이미지 센서에 의해 포착된 이미지 데이터와 이미지 내에 배치된 가상 객체의 정렬을 결정하고 검증하기 위한 이미지 처리 기능을 제공한다. 일부 실시예들에서, 정렬 모듈(240)은 환경의 컴퓨터 모델에 액세스하거나 이를 생성할 수 있고, 컴퓨터 모델에 기초하여 가상 항목을 이미지 내에 삽입하기 위해 컴퓨터 모델을 이용할 수 있다. 일부 실시예들에서, 정렬 모듈(240)은 임계치 또는 규칙 체크를 수행하여 증강 현실 이미지 내에 디스플레이된 가상 항목이 소정의 품질 메트릭을 충족하는지를 검증하여 수용가능한 사용자 경험을 제공할 수 있다. 이것은, 가상 객체가 이미지 내의 객체들과 관련하여 예상치 못한 방식으로 움직이지 않는지, 이미지 센서에 의해 포착된 이미지들이 증강 현실 기능 또는 기타의 이러한 메트릭을 가능하게 하기에 시간 경과에 따라 충분히 안정한지를 검증하는 것을 포함할 수 있다. 일부 실시예들에서, 정렬 모듈(240)은 이미지 데이터로부터 공간적 속성을 추출한다. 다양한 실시예에서, 공간적 속성은, 위치, 배향, 스케일, 또는 이미지 내의 객체들의 다른 공간적 양태 중 적어도 하나를 포함한다. 정렬 모듈(240)은 공간적 속성(예를 들어, 특정한 배향)에 기초하여 이미지 객체들의 정렬을 결정한다. 한 예에서, 정렬 모듈(240)은 공간적 속성에 기초하여 위치 및 배향을 포함하는 정렬을 결정하고 정렬에 따라 변환된 이미지를 생성할 수 있다.

가상 항목 모듈(250)은 가상 항목과 연관된 이미지를 생성하는 기능을 제공한다. 일부 실시예들에서, 이것은, 가상 로케이션 마커, 가상 방향 화살표, 또는 가상 항목 또는 객체에 관련된 그래픽 정보를 포함할 수 있다. 일부 실시예들에서, 이것은 이동 가상 객체를 비디오 내에 삽입하기 위한 그래픽 정보를 포함할 수 있다(예를 들어, 가상 동물, 로봇, 공룡, 비디오 디스플레이 등). 일부 실시예들에서, 각각의 가상 객체에 대해, 프리젠테이션 규칙이 가상 항목 모듈(250)에 저장될 수 있고, 가상 객체가 충분한 출력 품질로 이미지 데이터 내에 삽입될 수 있는지를 검증하기 위해 다른 모듈에 의해 이용될 수 있다.

분석 모듈(260)은 다양한 이미지 처리 동작을 수행하는 기능을 제공한다. 이러한 동작들은, 이미지의 주요 지점들을 식별하고 이미지의 일부와 대조하여 2차원 파사드 데이터를 정합시켜 정합을 식별하는 이미지 처리 동작을 포함할 수 있다. 예를 들어, 일부 실시예들에서, 분석 모듈(260)은 이미지를 수락하고, 2차원 패턴 데이터를 포함할 수 있는 이미지 내의 건물 코너 또는 다른 주요 지점들을 파사드의 일부로서 식별할 수 있다. 그 다음, 분석 모듈(260)은 모델로부터 파사드 데이터를 취하여 이미지의 일부를 파사드 데이터에 포함된 건물 파사드 모델과 정합시킬 수 있다. 일부 실시예들에서, 정합이 발견되지 않으면, 클라이언트 디바이스(110) 상에서 동작하는 분석 모듈(260)은, 제3자 서버(120) 또는 소셜 메시징 시스템(130)의 일부인 서버 등의, 원격 서버 상에서 동작하는 분석 모듈(260)에 의한 추가 정보 또는 추가 처리를 요청할 수 있다.

맵 위치결정 시스템(270)은 로케이션 내의 건물과 연관된 맵 로케이션 및 파사드 데이터 사이의 연관을 포함하는 맵 데이터, 또는 시스템 내의 기타 임의의 이러한 정보를 제공한다. 맵 위치결정 시스템(270)은 또한, 이 정보를 제공할 수 있는 원격 서버 또는 시스템과 인터페이스할 수 있다. 맵 위치결정 시스템(270)의 추가 양태는 도 6과 관련하여 아래에서 논의된다.

이미지 기반 위치확인 시스템(161)은, 임의의 수의 소스로부터 거리 뷰 이미지를 수락하고 이미지를 분석하여 파사드 데이터를 생성하는 모듈을 포함할 수 있다. 이러한 파사드 데이터는, 건물 상의 소정의 패턴의 2차원 추정치 뿐만 아니라, 건물 코너 또는 건물 상의 2차원 파사드 패턴의 코너의 로케이션들과 같은 단순한 건물 로케이션들에 대한 주요 지점 정보를 포함할 수 있다. 일부 실시예들에서, 복수의 이미지로부터의 정보는 단일 건물에 대한 파사드 데이터를 생성하는데 이용될 수 있다. 복수의 이미지로부터의 이러한 정보는, 상이한 조명 상황에서 색상들을 정합하거나 시간 경과에 따른 사소한 변경을 건물 파사드와 정합시키는데 이용될 수 있다. 일부 실시예들에서, 전문화된 이미지 및 로케이션 포착 장비는, 이미지 기반 위치확인 시스템을 위한 정확한 기준을 제공하기 위하여, 건물 로케이션들, 건물의 주요 지점, 및 건물 파사드 데이터에 관한 정보를 높은 정확도로 생성하여 건물의 실외 이미지의 데이터베이스를 구축하는데 이용될 수 있다. 예를 들어, 건물 코너의 로케이션들을 높은 정확도(예를 들어, 한 자릿수 센티미터 또는 밀리미터 정도의 정확도)로 포착하는 것은 유사한 오차를 갖는 카메라 위치에 대한 이미지 기반 로케이션 추정을 위한 기초를 제공한다. 일부 실시예들에서, 수 센티미터(예를 들어, 5cm) 내에서 카메라 위치를 결정하는 것은, 증강 현실 이미지의 현실 착시를 깨뜨리는 출력 이미지에서의 명백한 오차의 낮은 가능성을 증강 현실 프리젠테이션에 제공하기에 충분하다.

일부 실시예들에서, 이미지 기반 위치확인 시스템(161)은 로컬 클라이언트 디바이스 및 원격 서버에 걸쳐 분산될 수 있고, 이 때 낮은 정보 파사드 모델(예를 들어, 저해상도 및/또는 낮은 색상 2차원 파사드 데이터 및/또는 작은 수의 주요 지점들을 갖는 모델)은, 정기적으로 방문하는 로케이션들, 예상된 미래 여행 로케이션들, 또는 미래에 디바이스 근처에 있을 것으로 시스템이 예상되는 건물에 대해 디바이스 상에 국지적으로 저장된다. 로컬 컴팩트 파사드 모델이 실패할 때 높은 정보 모델(예를 들어, 고해상도, 높은 색상 정보, 및/또는 많은 수의 3차원 주요 지점)이 원격으로 저장되고 이용될 수 있다. 이미지 기반 위치확인 시스템(161)은 분석 모듈(260)을 이용하여 포착된 이미지의 부분들과 정합시키기 위한 파사드 데이터 및 모델의 애플리케이션을 관리할 수 있다. 일단 분석 모듈(260)을 이용하여 정합이 발견되면 건물 내의 파사드 데이터 또는 주요 지점과 정합하는 건물에 관련된 로케이션 정보가 이용되어 포착된 이미지에서 카메라 관점의 상대적 위치를 계산할 수 있다. 이 상대적 위치는, 건물 주요 지점의 위치 또는 파사드 데이터와 연관된 건물에 대한 파사드 또는 기타의 모델의 일부인 다른 절대 위치 정보에 기초하여 절대 위치를 결정하는데 이용될 수 있다.

도 3은, 증강 현실 이미지에서 문제를 일으킬 수 있는 추적 및 이미지 센서 위치 오차를 포함한, 증강 현실 시스템의 양태를 나타낸다. 전술된 바와 같이, 증강 현실 시스템은 이미지 센서에 의해 포착된 장면 내에 가상 객체를 통합한다. 증강 현실 이미지 내에 가상 객체를 정확하게 위치시키고 수정하기 위해서는, 이미지 센서 위치, 장면 내의 실제 객체, 및 가상 객체 위치에 대한 정보 모두가 알려질 필요가 있다. 도 3은 카메라 디바이스(309)의 이미지 센서(311)에 의해 포착된 실제 객체 데이터(340)를 포함하는 AR(augmented reality, 증강 현실) 장면(302)을 나타낸다. 실제 객체 데이터(340)는 장면에 걸쳐 분포된 공간 내의 물리적 객체에 관한 정보를 포함한다. AR 장면(302)을 생성하기 위해, 실제 객체 데이터(340)로부터 생성된 장면은 수정되어 가상 객체 데이터(350)를 추가한다. 그러나, 가상 객체 데이터(350)는 추적 오차(362)에 의해 실제 객체 데이터(340)와 오정렬된 것으로 도시되어 있다. 이러한 추적 오차(362)는, AR 장면(302)에 프리젠팅되어 있는 바와 같이 실제 객체의 위 또는 뒤에서의 가상 객체의 부적절하고 부자연스러운 중첩을 초래할 수 있다. 이러한 중첩 오차의 예가 도 4a에 도시되어 있다. 추적 오차(362)는 복수의 원인 또는 기여 요인을 가질 수 있지만, 추적 오차(362)에 기여하는 하나의 요인은 이미지 센서 위치 오차(370)이며, 이 오차에 의해, 이미지 센서(311)의 파악된 위치의 오차가 AR 장면(302)에서의 가상 객체 데이터(350)의 배치로 전파한다.

도 4a는, 건물, 나무, 사람들, 및 통로의 실제 객체 데이터를 포함하는 AR 이미지(300)를 도시한다. 증강 현실 목적 객체(312) 및 증강 현실 방향 객체(320)를 추가하는데 이용되는 증강 현실 시스템은, 증강 현실 객체에 대한 로케이션을 결정하기 위해 환경의 맵 모델을 이용할 수 있으며, 그 다음, 증강 현실 방향 객체들(310, 320)을 AR 이미지(300)에 배치하기 위해 추정된 카메라 위치를 이용할 수 있다. AR 이미지(300)에서 관점을 제공하는 센서의 위치 추정에서의 오차는 객체(310 및 320)의 오 배치(misplacement)를 초래할 수 있다. 도시된 바와 같이, 증강 현실 방향 객체(320)는, 고체 객체를 통한 방향 경로, 및 예상치 않은 전경 배치에 떠 있는 목적 객체를 보여준다. 이러한 오차는, 일부 실시예들에서, 객체(310 및 320)의 배치를 결정하는데 이용되는 이미지 센서의 추정된 위치에서의 큰 오차로 인한 것일 수 있다.

그 다음, 도 4b는 추적 오차가 작거나 없는 AR 이미지(301) 내의 예상되고 올바른 위치에 있는 증강 현실 방향 객체(380) 및 증강 현실 목적 객체를 도시한다. 본 명세서에서 설명되는 바와 같이, AR 이미지(301)에 이용되는 원본 이미지의 제1 구조물 파사드 부분(360) 및/또는 제2 구조물 파사드 부분(369)이 식별되어 파사드 데이터와 정합될 수 있다. 제1 구조물 파사드 부분(360)에 대한 파사드 데이터는, 원본 이미지 내의 제1 시작 파사드 부분(360)을 식별하기 위해 초기에 이용될 수 있다. 이미지 내의 제1 구조물 파사드 부분(360)의 회전, 크기 및 배치, 및 정합 건물에 대한 파사드 데이터와의 비교는, 이미지 센서에 대한 고정밀 위치 추정치를 생성하는데 이용될 수 있다. 이것은 이미지 센서 위치 오차를 감소시키거나 제거할 수 있고, AR 이미지(301)에 대한 추적을 향상시킬 수 있다.

또한, 일부 실시예들에서, 데이터베이스로부터 파사드 데이터를 이미지의 일부와 정합시키기 위해 수행되는 계산은, 파사드 표면과 정합하는 2차원 증강 현실 객체를 생성하는데 역시 이용될 수 있다. 도 4c는 증강 현실 "스티커(sticker)" 객체에 대해 2차원 증강 현실 데이터를 이용하는 예를 나타낸다. 가장 간단한 예에서, 증강 현실 목적 객체(390)는 단순히 3차원 지리위치 좌표 세트와 연관된 2차원 삼각형일 수 있다.

이러한 2차원 스티커 객체를 어떤 각도로부터 보는지에 관계없이, 스티커 객체는 증강 현실 이미지에서 항상 동일한 형상으로 보일 것이다.

마찬가지로, 소정 실시예들에서는 이모티콘(emoji) 스티커 객체가 이용될 수 있다. 이러한 실시예들에서, 사용자는 간단한 인터페이스에 액세스하여 그래픽적으로 이모티콘을 선택하고 이미지에 이모티콘을 배치하여, 증강 현실 시스템이 이모티콘 스티커 객체를 이미지 내의 또 다른 객체나 설정된 로케이션과 연관시키게 할 수 있다. AR 객체(392)는, 예를 들어, 목적 로케이션에 부착된 2차원 이모티콘 스티커 객체다. AR 객체(392)는 AR 이미지(301) 및 임의의 관련된 AR 이미지들 내의 목적 로케이션 위에 떠 있을(floating) 것이다. AR 객체(392)가, 책, 또는 사람 위의 공간 등의, 움직이는 객체에 부착된다면, AR 객체(392)는 부착된 객체에 관한 상대 위치 또는 부착된 객체 위의 설정된 공간인 상대 위치를 유지할 수 있다.

이러한 일부 실시예들에서, AR 스티커 객체는 증강 현실 시스템 내의 연관된 파사드 데이터를 갖는 건물에 부착될 수 있다. AR 파사드 스티커 객체(394)는 이미지(301)에서 증강 현실 객체로서 이용되는 이모티콘 그래픽이다. 증강 현실 뷰의 관점이 변할 때, AR 파사드 스티커 객체(394)의 관점은 AR 파사드 스티커 객체(394)가 건물 벽에 부착된 모양을 유지하도록 변화한다. 중복적 계산을 제거하기 위해, 제1 구조물 파사드 부분(360)에 대한 관점 데이터는, 증강 현실 공간의 동일한 평면에 있기 때문에, AR 파사드 스티커 객체(394)에 대해 요구되는 관점을 계산하는데 이용될 수 있다.

다른 실시예들에서, AR 객체(392) 등의 AR 객체는, AR 객체(392) 등의 AR 객체가 한 측에 면을 갖는 구일 수 있도록 하는, 3D 객체일 수 있다. 또 다른 이러한 AR 객체는, 이모티콘, 얼굴, 동물 또는 기타의 객체의 임의의 이러한 3D 버전일 수 있다. 한 실시예에서, AR 객체는 다양한 패턴의 컬러 등(light)으로 덮인 3D 나무일 수 있다. 임의의 이러한 AR 객체는 또한 애니메이션을 포함할 수 있다. 예를 들어, 나무에 있는 등들은 상이한 패턴들로 번쩍이고 깜박일 수 있다. 이러한 AR 객체는, 깜박이는 등들이 공중을 통해 이동하면서 회전할 수 있도록 추가로 배치 또는 이동될 수 있다.

일부 실시예들에서, 시스템은 이러한 3D AR 객체의 연관된 "스티커" 버전을 생성하고 배치할 수 있다. 이것은 사용자 관찰 고도 또는 시스템 표준 (예를 들어, 0도, 15도 등) 고도에서의 3D 객체의 2D 투사로 이루어질 수 있다. 그 다음, 이러한 생성된 2D 스티커 객체는, 본 명세서에서의 다양한 다른 실시예의 정황 내에서 설명된 바와 같이 시스템에 의해 이전에 수행된 계산을 이용하여 벽 또는 파사드 상에 배치될 수 있다. 다수의 2D 스티커 객체가 상이한 관찰 각도에서 생성된다면, 스티커는 상이한 시점들로 인해 상이한 패턴들을 가질 수 있다. 2D 스티커 버전은 고정된 색상을 가질 수도 있고, 3D 객체의 애니메이션들 중 일부를 유지할 수도 있다. 예를 들어, 2D 나무 상의 등들은 대응하는 3D AR 객체의 것들과 유사하게 번쩍이고 깜박일 수 있다. 따라서, 본 명세서에서 설명되는 바와 같이, AR 객체는, 다양한 얼굴, 이모티콘, 동물, 맞춤형 사용자 제작 객체, 또는 기타 임의의 이러한 가능한 AR 객체를 포함할 수 있다. 이러한 AR 객체는, 연관된 애니메이션, 사운드, 변형, 및 기타 임의의 이러한 AR 객체 기능을 가질 수 있다.

그러면, 본 명세서에서 설명된 일부 실시예들은 디바이스에 저장된 통신 데이터 또는 픽토그램 데이터(pictogram data) 세트를 이용하여 이들 스티커 객체들을 갖는 증강 현실 이미지들을 생성할 수 있다. 한 실시예는, 디바이스에서, 스티커 객체에 대한 2차원 증강 현실 데이터를 수신 또는 액세스하는 단계, 스티커 객체 관점으로서 저해상도 2차원 파사드 패턴에 대한 예상된 관점을 이용하여, 하나 이상의 파사드 표면 로케이션을 갖는 평면 상에 놓일 때의 스티커 객체의 증강 현실 배치를 결정하는 단계, 및 상기 예상된 관점에 기초하여 하나 이상의 파사드 표면 로케이션을 갖는 평면 상에 스티커 객체를 포함하는 증강 현실 이미지를 생성하는 단계를 포함한다.

2차원 증강 현실 데이터는, 일부 실시예들에서, 증강 현실 시스템 픽토그램 세트로부터의 사용자 입력에 의해 선택된 이모티콘 객체를 나타낼 수 있다. 메시징 또는 증강 현실 시스템 내의 사용자 인터페이스는 도 10b의 인터페이스와 유사한 인터페이스 상에 픽토그램 또는 이모티콘 이미지 세트를 디스플레이할 수 있고, 그 다음 사용자가 소정 로케이션을 그 선택과 연관시켜 환경 내에 증강 현실 객체를 생성하여, 증강 현실 이미지(303) 등의 증강 현실 이미지를 생성하게 할 수 있다.

도 5a 내지 도 5f는 센서에 의해 포착된 이미지의 파사드 이미지 부분이 어떻게 이미지 센서의 위치를 추정하는데 이용될 수 있는지를 간략화된 형태로 나타낸다. 도시된 바와 같이, 건물 측의 크기 및 형상은 이미지를 포착하는 센서의 위치에 기초하여 변경될 것이다. 건물(500)에 대한 파사드(501)의 절대 크기 및 형상이 알려지면, 파사드(501)를 나타내는 파사드 이미지 부분이 주어질 경우, 센서 위치가 계산될 수 있다. 전술된 바와 같이, 이러한 크기 및 형상 데이터는, 이미지 및 건물의 특성에 대한 2차원 패턴 정보와 함께, 이미지로서 및 모델링된 파사드 데이터로서 포착되고 데이터베이스에 저장될 수 있다. 2차원 패턴을 정합시키고 파사드(501)의 크기 및 형상에 관한 정보를 제공하기 위해 이 파사드 데이터를 이용하여, 파사드 이미지 부분(502)이 주어지면, 위치 504는 파사드 이미지 부분(502)을 제공할 센서의 로케이션으로서 식별될 수 있다. 변환 계산은 또한, 예를 들어, 파사드 이미지 부분(512)은 파사드(501)가 위치 514로부터 포착됨으로써 발생할 것이고, 파사드 이미지 부분(522)은 이미지가 위치 524로부터 포착됨으로써 발생할 것이라고 결정하는데 이용될 수 있다. 따라서, 전술된 바와 같이, 건물에 대한 파사드 정보 및 파사드를 포함하는 디바이스 센서로부터의 포착된 이미지가 주어지면, 계산이 수행되어 파사드에 관한 센서의 위치를 식별할 수 있다.

2차원 파사드 정합의 제한에도 불구하고, 많은 건물에 대한 파사드 데이터를 이미지 내의 복수의 파사드와 비교하는 것은 프로세서 집약적인 프로세스이다. 따라서, 전술된 바와 같이, 초기 로케이션 추정은 필요한 정합 절차의 수를 제한할 수 있다. 따라서, 로케이션 결정을 위한 GPS, 네트워크 보조형 위치확인 시스템, 또는 기타의 디바이스 센서 및 시스템이 초기 로케이션 추정을 제공하는데 이용될 수 있다. 이러한 추정은 수 미터 또는 수십 미터의 오차를 가질 수 있다. 도 6은 초기 로케이션 추정치를 생성하고 영역 내의 건물에 대한 파사드 데이터를 식별하는데 이용되는 맵핑 시스템의 양태를 나타낸다. 그러나, 이러한 정보로부터 유도된 지리위치 데이터(600)는 이미지 센서에 의해 포착될 것으로 예상되는 환경을 식별하는데 이용될 수 있다. 오차가 클수록, 환경에서 식별된 건물 수 및 포착된 이미지와 정합시킬 가능한 파사드 데이터가 많아진다. 일부 실시예들에서, 위치 데이터는 또한, 이미지 센서와 연관된 방향에 기초하여 가능한 건물을 제한하는데 이용될 수 있다. 도 6에 도시된 바와 같이, 환경(610)은 제1 건물(620)을 포함할 수 있다. 데이터베이스 또는 이미지 기반 위치확인 시스템은 제1 건물(620)을 포함하는 환경(610) 내의 가능한 건물을 결정할 수 있고, 제1 건물(620)의 벽/제1 파사드(630)에 대한 연관된 파사드 데이터(640)를 가질 수도 있다. 그 다음, 이 파사드 데이터(640)는 지리위치 데이터(600)와 연관된 이미지와 비교될 수 있다.

그 다음, 도 7은 AR 비디오 또는 AR 이벤트의 일부일 수 있는 AR 이미지(700)를 나타낸다. AR 이벤트에서, 가상 객체(710) 등의 가상 객체는 실제 환경에 정합된 가상 환경 내에서 이동할 수 있어서, 카메라 시점이 변화함에 따라, 가상 객체(710)는 정적이 아니고, 가상 객체(710)가 센서에 의해 포착된 관점 영역 내에 있는지의 여부에 관계없이 시간에 따라 이동한다. AR 이미지(700)가 이미지 기반 추적을 이용하여 생성되어 AR 및 정합하는 실제 환경 내의 정확한 이미지 센서 로케이션 및 자세를 찾고 설정할 수 있다. 이러한 추적은, 이미지 데이터의 포착 및 이미지 데이터의 제1 구조물 파사드 부분(720)의 파사드 데이터(722)와의 정합에 의해 수행될 수 있고, 이 정합에 기초하여 센서의 위치가 결정된다. 일부 실시예들에서, 제2 구조물 파사드 부분(730)이 파사드 데이터(732)와 정합되도록 복수의 건물들이 정합될 수 있고, 양쪽 모두의 정합이 카메라 위치를 결정하는데 이용된다. 본 명세서에서 언급될 때, 카메라 및/또는 센서 위치란, 높이, 경도, 위도, 고도, 방위각, 회전, 또는 임의의 좌표 및 관점 기술 시스템에서의 기타 임의의 이러한 요소를 포함한, 생성된 이미지에 영향을 주는 센서 위치의 모든 양태를 말한다. 그 다음, 이 추정된 카메라 위치는, AR 이미지(700)의 일부로서 가상 객체를 정확하게 이미지화하고, 건물 또는 자동차를 통해 달리는 가상 객체(710)가 개방된 거리를 달리는 것이 아니라 마치 그곳에 존재하지 않는 것처럼 오차를 피하는데 이용될 수 있다.

도 8에 나타낸 바와 같이, 알려진 로케이션에서 2차원 표면에 대한 임의의 파사드 정보가 본 명세서에서 설명된 다양한 실시예에서 이용될 수 있다. 일부 실시예들에서, 벽화 또는 벽 그림이 파사드 데이터로서 이용될 수 있는 반면, 다른 실시예에서는 공지된 위치의 포스터 또는 광고가 이용될 수 있다. 일부 실시예들에서, 정합 목적을 위해 2차원으로서 신뢰성있게 추정될 수 있는 부호, 로고, 표지 또는 기타의 2차원 객체 또는 객체들이 이용될 수 있다. 이것은, 간판, 개방된 구조물의 측면, 또는 적어도 설정된 시간 동안 정적일 것으로 예상되는 기타 임의의 파사드 배치를 포함한, 건물 이외의 구조물을 포함한다.

도 8에서, 예를 들어, 이미지 부분 내의 맞춤형 그래픽은 그 맞춤형 그래픽에 관한 파사드 데이터와 더 정합될 수 있는 정렬 정보를 제공한다. 파사드 데이터는 또한, 포착된 이미지의 일부 내의 파사드의 그래픽 또는 기타의 요소들의 크기 및 형상에 기초하여 이미지 센서 위치를 정합 및 결정하는데 이용될 수 있는 맞춤형 그래픽에 대한 위치 및 고도 정보를 포함할 수 있다. 이러한 그래픽은 또한, 가상 환경 내의 이모티콘 스티커 등의 2차원 객체의 배치에 이용될 수 있다.

도면(800)에서, 장면(802)은 광학 바코드(806)를 포함하는 파사드(804)와 사용자(810)를 나타낸다. 광학 바코드(806)는, 사용자 디바이스 디스플레이, 컴퓨터 디스플레이 상에, 의류 또는 다른 제품에 직조되거나 기타의 방식으로 부착되거나, 또는 다양한 인쇄물에 포함되는 등의, 다양한 방식으로 디스플레이될 수 있다는 것을 이해할 것이다.

한 예시적인 실시예에서, 사용자 디바이스(814)는 광학 바코드(806)를 포함하는 포스터(804)의 이미지를 포착한다. 증강 현실 시스템(160)은 사용자 디바이스(814)로부터 이미지를 나타내는 이미지 데이터를 수신한다. 이 예시적인 실시예에서, 증강 현실 시스템(160)은 사용자 디바이스(814)(예를 들어, 사용자(810)의 스마트폰 상에서 실행중인 애플리케이션)에 포함되지만, 다른 예시적인 실시예에서는, 증강 현실 시스템(160)은 사용자 디바이스(814)와 통신가능하게 결합된 서버(예를 들어, 소셜 메시징 시스템(130)의 서버) 상에 존재할 수 있다. 포착된 이미지는 포스터(804)에 관한 파사드 데이터와 비교되어 이미지 센서의 위치를 식별할 수 있다. 그 다음, 이 이미지 센서 위치는 AR에서 가상 객체의 정확한 배치를 제공하는데 이용될 수 있다.

도 9는 이미지 센서에 대한 이미지 기반 추적 및 위치 추정을 위한 예시적인 방법(900)을 나타내는 흐름도이다. 일부 실시예들에서, 방법(900)의 동작은 전술된 바와 같이 증강 현실 시스템(160)의 컴포넌트들에 의해 수행될 수 있다.

동작 902는 제1 위치결정 시스템을 이용하여 디바이스에 대한 제1 위치 추정치를 결정하는 단계를 포함한다. 이러한 위치결정 시스템은, GPS, 보안 사용자 평면 위치확인(SUPL; secure user plane location) 시스템 등의 네트워크 보조형 위치확인 시스템, 가속도계 또는 자이로스코프 추적 시스템 등의 디바이스의 센서에 기초한 위치결정 시스템 또는 기타 임의의 이러한 초기 추적 방법 중의 임의의 조합을 포함할 수 있다.

그 다음, 제1 위치 추정치에 기초하여, 동작 904는 제1 위치 추정치와 연관된 하나 이상의 구조물 파사드를 기술하는 구조물 파사드 데이터 세트에 액세스하는 단계를 포함한다. 전술된 바와 같이, 일부 실시예들에서, 거리 이미지들 및 파사드 데이터의 데이터베이스는 전문화된 장비를 이용하여 생성될 수 있다. 다른 실시예에서, 많은 양의 사용자 데이터가 이미지 및 파사드 데이터 및 건물 주요 지점들에 관한 많은 데이터 지점들을 수집하는데 이용될 수 있다. 파사드 데이터는 상이한 유형들 및 조합들의 데이터를 포함할 수 있다. 일부 실시예들에서, 파사드 데이터는 명백하게 식별가능한 파사드 상의 하나 이상의 지점에 대한 절대 로케이션 정보를 포함한다. 이러한 지점들은, 건물 코너 또는 명확하게 정의된 패턴 또는 이미지 코너를 포함한다. 파사드 데이터는, 예술품, 간판, 로고, 단어, 창, 아치, 출입구, 또는 건물면의 다른 충분히 2차원적인 부분들의 데이터 버전 등의, 건물 파사드의 일부인 2차원 이미지 패턴을 추가로 포함할 수 있다.

일부 실시예들에서, 증강 현실 시스템에서 이용하기 위해 포착된 이미지는 사용자가 시스템을 이용하는 동안 파사드 데이터를 생성 및 업데이트하기 위한 피드백으로서 제공될 수 있다. 이러한 상황에서 사생활보호를 제공하기 위해, 일부 실시예들에서, 사용자에 의해 포착된 이미지 데이터는 사용자를 지우거나 흐리게 하도록 처리되거나, 지도, 건물 또는 환경 모델을 이용하여 파사드 데이터를 생성하거나 업데이트하는데 이용하기 위해 사용자 높이 레벨 아래의 모든 데이터를 제거하고 이미지의 건물 또는 파사드 부분만이 서버 시스템에 전송되게 한다.

그 다음, 동작 906은, 디바이스의 이미지 센서에 의해 환경의 제1 이미지를 포착하는 단계를 포함한다. 이러한 이미지 센서는, 건물 및 환경의 2차원 정보를 포착할 수 있는 임의의 카메라 디바이스 센서 또는 광 센서일 수 있다. 일부 실시예들에서, 복수의 이미지 센서 또는 3차원 데이터를 포착하기 위한 센서를 포함한 추가적인 센서가 존재할 수 있다. 이러한 실시예들은, 배터리 및 처리 능력 제한 등의 시스템 자원 제한에 의해 허용될 때 이미지의 파사드 부분에 정합되는 파사드 데이터의 2차원 분석을 보완할 수 있다.

그 다음, 동작 908에서, 구조물 파사드 데이터 세트를 이용하여, 환경의 제1 이미지의 제1 구조물 파사드 부분이 식별되고, 본 명세서에서, 제1 구조물 파사드 부분은 구조물 파사드 데이터 세트 중의 제1 구조물 파사드 데이터와 정합한다. 그 다음, 동작 910은, 환경의 제1 이미지의 제1 구조물 파사드 부분에 적어도 부분적으로 기초하여, 디바이스의 제2 위치 추정치를 계산하는 단계를 포함한다.

다양한 실시예에서, 사용자 디바이스로부터의 이미지 데이터는, 사용자 개시형 이미지 포착, 사용자 디바이스의 광학 센서에 의해 검출되는 이미지 데이터의 주기적 모니터링, 또는 이들의 조합에 응답하여 수신된다. 일부 실시예들에서, 이미지 데이터는, 실질적으로 실시간으로 사용자 디바이스에 의해 포착되는 이미지 또는 비디오(예를 들어, 스마트폰의 카메라 센서로부터의 라이브 이미지 피드)를 나타낸다. 일부 실시예들에서, 포착된 이미지의 요소들은, AR 이미지의 생성, 및 또한 실질적으로 실시간으로 AR 이미지들을 비디오로서 출력하려고 시도하는, AR 요소들로 강화된 비디오의 출력을 개시하는데 이용될 수 있다. 이미지 데이터가 비디오 이미지 데이터를 포함하는 실시예들에서, 증강 현실 시스템(160)은 비디오의 개개의 프레임들 또는 비디오의 복수의 프레임의 조합을 분석하여 트리거 요소 또는 이미지의 정합된 파사드 부분을 검출 및 디코딩할 수 있다.

방법(900)의 정합 부분은 파사드 데이터를 이미지와 정합하기 위한 다양한 기술을 이용할 수 있다. 일부 실시예들에서, 이미지들 내의 엣지 검출의 조합은 파사드 데이터에서 식별된 엣지와 비교될 수 있다. 다른 실시예들에서, 각각의 건물 파사드에 대한 후보 형상들이 파사드 데이터에 존재할 수 있고 이미지 데이터와 비교될 수 있다. 일부 실시예들은 윤곽선 또는 이미지의 색상이나 음영의 국지적 농도 등의 형상 피쳐를 식별한다. 일부 실시예들에서, 정합 시스템은 이미지 데이터로부터 복수의 후보 형상 피쳐를 추출한다. 일부 실시예들에서, 후보 형상 피쳐는 이미지의 경계에 관한 후보 형상 피쳐의 위치, 이미지에 관한 후보 형상 피쳐의 밝기, 후보 형상 피쳐의 평균 색상 등의 다양한 형상 피쳐 데이터를 포함한다. 전술된 2차원 파사드 데이터에 대한 정합의 제한은, 3차원 정합 프로세스와 비교할 때 위에서 설명한 바와 같이 자원 이용을 제한하면서 정합 성능을 증가시킨다.

추가의 예시적인 실시예들에서, 모바일 디바이스에 국지적으로 저장된 파사드 데이터는 이미지의 저해상도 사본을 포함한다. 포착된 이미지의 정합하는 해상도 버전이 생성된다. 블러(예를 들어, 가우시안 블러 함수(Gaussian blur function) 또는 다른 블러 함수) 및 임계화 등의 다양한 이미지 처리가 수행되어, 수정된 저해상도 이미지를 생성할 수 있다. 임계화 이미지 처리는, 이미지의 저해상도 사본의 (예를 들어, 임계값 또는 임계값 범위에 의해 결정된) 더 밝은 색상들을 백색 색상으로 및 이미지의 저해상도 사본의 (예를 들어, 임계값 또는 임계값 범위에 의해 결정된) 더 어두운 색상들을 검정 색상으로 조절하는 단계를 포함할 수 있다. 그 다음, 파사드 데이터는 표준화된 이미지와 비교될 수 있다. 다른 실시예들에서, 파사드 데이터는, 태양 위치, 이미지에 미치는 구름 효과, 또는 다른 환경 요인 등의, 이미지가 촬영될 때 존재하는 환경 요인에 대해 맞춤화된 정합 데이터를 포함할 수 있다.

일부 실시예들에서, 동작 908에서 설명된 정합은, 이미지의 후보 부분이 파사드 데이터와 연관된 하나 이상의 형상 피쳐 기준 또는 규칙을 만족한다고 결정함으로써 수행될 수 있다.

일부 실시예들에서, 정합 시스템은, 공간적 속성(예를 들어, 디-스큐(de-skew), 회전, 스케일, 또는 또 다른 유형의 이미지 변환)을 이용해 이미지 변환을 수행하여 이미지의 일부에 인코딩된 데이터의 검출능 또는 판독능을 향상시킬 수 있다. 정합을 식별하는데 이용되는 특정한 이미지 변환은 또한, 동작 910에서 디바이스의 제2 위치 추정치의 계산의 일부로서 이용될 수 있다. 일부 실시예들에서, 정합 계산의 초기 세트가 동작 908에서 수행되고, 일단 임계치 정합이 완료되고 나면, 후속 계산이 수행되어, 더 정교한 변환 조정 및 정합 검증을 포함한 이미지 변환의 추가적인 개선을 이용함으로써 제2 위치 추정치에서의 오차를 더욱 제한한다.

도 1a 및 도 1b와 관련하여 전술된 바와 같이, 일부 실시예들에서, 모바일 디바이스 상에 국지적으로 저장된 파사드 데이터를 이용하는 초기 정합 및/또는 위치 추정은 실패할 수 있다. 이것은, 특히 모바일 디바이스에서 저해상도 및 자원 제약된 정합 동작이 이용될 때, 조명, 이미지의 파사드 부분들을 가로막는 차량이나 나무 성장 등의 흔치 않은 장애물, 또는 기타 임의의 이러한 이미지 정합 실패로 인한 것일 수 있다.

이러한 실시예는, 제1 위치 추정치 및 하나 이상의 파사드 표면 로케이션으로부터, 저해상도 2차원 파사드 패턴에 대한 예상된 관점을 계산하고, 저해상도 2차원 파사드 패턴을 처리하여 제1 관점 패턴을 생성하는 단계를 포함할 수 있다. 그 다음, 제1 관점 패턴이 제1 이미지에 대한 임계치 정합 레벨을 만족시키지 않는다는 결정이 모바일 디바이스에서 이루어질 수 있다. 그 다음, 보충 파사드 데이터 세트는 제1 서버 컴퓨터에게 요청될 수 있다. 이것은, 추가의 상세한 정보 또는 분석을 제공하도록 요청받은 제3자 자원일 수도 있고, 도 1a, 도 1b, 및 도 2에서 설명된 바와 같이 증강 현실 또는 이미지 기반 정합 시스템의 일부를 운영하는 시스템의 서버일 수도 있다. 제1 서버 컴퓨터로부터의 보충 파사드 데이터 세트는 환경의 제1 이미지의 제1 구조물 파사드 부분을 식별하는데 이용되며, 본 명세서에서, 제1 구조물 파사드 부분을 구조물 파사드 데이터 세트 중의 제1 구조물 파사드 데이터와 정합시킬 때의 제1 구조물 파사드 부분은 보충 파사드 데이터 세트에 기초한 것이다. 일부 이러한 실시예들, 제1 서버 컴퓨터에게 보충 파사드 데이터 세트를 요청하는 것은, 환경의 제1 이미지를 제1 서버 컴퓨터에 전달하고 제1 이미지에 기초하여 제1 서버 컴퓨터로부터 보충 위치 추정치를 수신하는 것을 포함한다.

일부 실시예들, 특히 네트워크를 통해 원격 자원을 이용하는 실시예들에서, 파사드 데이터에 대한 이미지의 정합과, 준 실시간 증강 현실 비디오 또는 디스플레이를 위한 현재 시간에 또는 가장 최근에 포착된 이미지 사이에는 지연이 발생할 수 있다. 이러한 실시예들에서, 시스템은 시간에 따른 디바이스의 이동에서의 상대적 변화를 추적할 수 있고, 이미지 기반 위치확인을 이용하여 나중의 센서 위치 추정치를 개선할 수 있다. 이것은, 비디오 프레임들 및 이미지들 또는 기타의 센서 데이터의 기록을 유지하고 임의의 가용 데이터를 이용한 이미지 기반 추정치로부터 위치를 계산함으로써 이루어질 수 있다. 일부 실시예들에서, 초기 자원 집약적 정합은 원격으로 수행될 수 있고, 후속하는 정합 및 센서 로케이션 추정치는 더 낮은 자원 정합 및 추정 프로세스를 이용하여 국지적으로 수행된다. 일부 이러한 실시예들에서, 오차가 추적될 수 있고, 원격 자원은, 위치 추정치를 업데이트하고 국지적 모바일 디바이스 상의 계산에서 시간에 따라 증가할 수 있는 오차를 감소시키기 위해 주기적으로 이용된다.

임의의 상기 방법은 시간 경과에 따라 반복되어, 파사드 데이터와 정합되는 제1 이미지 및 후속 이미지 양쪽 모두에 기초하는 임의 개수의 후속 추정에 의해 위치 추정을 더욱 개선할 수 있다.

또한, 전술된 바와 같이, 일부 이러한 실시예들에서, 이미지는 착용형 디바이스 등의 제1 디바이스에 의해 포착될 수 있고, 스마트폰 등의 쌍을 이루는 디바이스에서 국지적 추정이 수행될 수 있다. 이러한 시스템들은 또한, 전술된 바와 같이 원격 서버 자원을 이용할 수 있다.

도 10a는 증강 현실 시스템에 이용될 수 있는 예시적인 모바일 디바이스(1000)를 나타낸다. 이러한 한 실시예에서, 디바이스 디스플레이 영역(1090)은 본 명세서에서 설명된 증강 현실 이미지를 프리젠팅할 수 있다. 본 명세서에서 설명된 임의의 시스템 동작에 대한 입력 및 조정은, 사용자(1094)에 의한 디바이스 디스플레이 영역(1090) 내의 터치 스크린 입력(1092)을 이용하여 수행될 수 있다.

도 10b는, 일부 실시예들에 따른, 모바일 운영 체제(예를 들어, IOS™, ANDROID™, WINDOWS® Phone 또는 기타의 모바일 운영 체제)를 실행하는 예시적인 모바일 디바이스(1000)를 나타낸다. 한 실시예에서, 모바일 디바이스(1000)는 사용자(1002)로부터 촉각 데이터를 수신하도록 동작가능한 터치 스크린을 포함한다. 예를 들어, 사용자(1002)는 모바일 디바이스(1000)를 물리적으로 터치(1004)할 수 있고, 터치(1004)에 응답하여, 모바일 디바이스(1000)는, 터치 로케이션, 터치 힘, 또는 제스쳐 동작 등의 촉각 데이터를 결정할 수 있다. 다양한 예시적인 실시예에서, 모바일 디바이스(1000)는 애플리케이션을 론칭하거나 모바일 디바이스(1000)의 다양한 양태를 관리하도록 동작가능한 홈 스크린(1006)(예를 들어 IOS™ 상의 Springboard)을 디스플레이한다. 일부 예시적인 실시예들에서, 홈 스크린(1006)은, 배터리 수명, 접속성, 또는 기타의 하드웨어 상태 등의, 상태 정보를 제공한다. 사용자(1002)는 각각의 사용자 인터페이스 요소에 의해 점유된 영역을 터치함으로써 사용자 인터페이스 요소를 활성화할 수 있다. 이러한 방식으로, 사용자(1002)는 모바일 디바이스(1000)의 애플리케이션들과 상호작용한다. 예를 들어, 홈 스크린(1006)에 포함된 특정한 아이콘에 의해 점유된 영역을 터치하는 것은 그 특정한 아이콘에 대응하는 애플리케이션의 론칭을 야기한다.

네이티브 애플리케이션(예를 들어, Objective-C, Swift, 또는 IOS™ 상에서 실행중인 다른 적절한 언어로 프로그램된 애플리케이션, 또는 ANDROID™에서 실행되는 Java로 프로그램된 애플리케이션), 모바일 웹 애플리케이션(예를 들어, HTML5(Hypertext Markup Language-5)로 작성된 애플리케이션) 또는 하이브리드 애플리케이션(예를 들어, HTML5 세션을 론칭하는 네이티브 쉘 애플리케이션) 등의, ("앱"이라고도 하는) 많은 다양한 애플리케이션들이 모바일 디바이스(1000) 상에서 실행될 수 있다. 예를 들어, 모바일 디바이스(1000)는, 메시징 앱, 오디오 녹음 앱, 카메라 앱, 북 리더 앱, 미디어 앱, 피트니스 앱, 파일 관리 앱, 위치확인 앱, 브라우저 앱, 설정 앱, 연락처 앱, 전화 통화 앱, 또는 기타의 앱(예를 들어, 게임 앱, 소셜 네트워킹 앱, 바이오메트릭 모니터링 앱)을 포함한다. 또 다른 예에서, 모바일 디바이스(1000)는, 일부 실시예와 일치하는, 사용자가 미디어 콘텐츠를 포함하는 단기 메시지(ephemeral message)를 교환하는 것을 허용하는 SNAPCHAT® 등의 소셜 메시징 앱(1008)을 포함한다. 이 예에서, 소셜 메시징 앱(1008)은 본 명세서에서 설명된 실시예들의 양태들을 포함할 수 있다.

소정 실시예들은, 본 명세서에서는, 로직 또는 다수의 컴포넌트, 모듈 또는 메커니즘을 포함하는 것으로서 설명된다. 모듈은, 소프트웨어 모듈(예를 들어, 머신-판독가능한 매체 상에 구현된 코드) 또는 하드웨어 모듈을 구성할 수 있다. "하드웨어 모듈"은, 소정의 동작을 수행할 수 있는 유형 유닛(tangible unit)이며, 소정의 물리적 방식으로 구성되거나 배열될 수 있다. 다양한 예시적인 실시예에서, 하나 이상의 컴퓨터 시스템(예를 들어, 독립형 컴퓨터 시스템, 클라이언트 컴퓨터 시스템, 또는 서버 컴퓨터 시스템) 또는 컴퓨터 시스템의 하나 이상의 하드웨어 모듈(예를 들어, 프로세서 또는 프로세서 그룹)는, 소프트웨어(예를 들어, 애플리케이션 또는 애플리케이션 부분)에 의해 본 명세서에서 설명된 소정의 동작을 수행하도록 동작하는 하드웨어 모듈로서 구성될 수 있다.

일부 실시예들에서, 하드웨어 모듈은, 기계적으로, 전자적으로, 또는 이들의 임의의 적절한 조합으로 구현될 수 있다. 예를 들어, 하드웨어 모듈은 소정의 동작들을 수행하도록 영구적으로 구성된 전용 회로 또는 로직을 포함할 수 있다. 예를 들어, 하드웨어 모듈은, FPGA(Field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit) 등의 특별-목적 프로세서일 수 있다. 하드웨어 모듈은 또한, 소정의 동작들을 수행하도록 소프트웨어에 의해 일시적으로 구성된 프로그램가능한 로직 또는 회로를 포함할 수 있다. 예를 들어, 하드웨어 모듈은, 범용 프로세서 또는 기타의 프로그램가능한 프로세서에 의해 실행가능한 소프트웨어를 포함할 수 있다. 일단 이러한 소프트웨어에 의해 구성되고 나면, 하드웨어 모듈은 구성된 기능을 수행하도록 고유하게 맞춤화된 특정한 머신(또는 머신의 특정한 컴포넌트)이 되고 더 이상 범용 프로세서가 아니다. 기계적으로, 전용 및 영구적으로 구성된 회로로, 또는 일시적으로 구성된 회로(예를 들어, 소프트웨어에 의해 구성됨)로 하드웨어 모듈을 구현하려는 결정은, 비용 및 시간 고려사항에 의해 결정될 수 있다는 것을 이해할 것이다.

따라서, "하드웨어 모듈"이라는 구문은, 소정 방식으로 동작하거나 본 명세서에서 설명된 소정 동작들을 수행하도록 물리적으로 구성되거나, 영구적으로 구성되거나(예를 들어, 물리결선된(hardwired)) 또는 일시적으로 구성된(예를 들어, 프로그램된) 유형 엔티티(tangible entity)를 포괄하는 것으로 이해되어야 한다. 본 명세서에서 사용될 때, "하드웨어-구현된 모듈"이란 하드웨어 모듈을 말한다. 하드웨어 모듈들이 일시적으로 구성되는(예를 들어, 프로그램된) 실시예들을 고려할 때, 하드웨어 모듈들 각각은 임의의 한 시점에서 구성되거나 인스턴스화될 필요는 없다. 예를 들어, 하드웨어 모듈이 소프트웨어에 의해 특별-목적 프로세서가 되도록 구성된 범용 프로세서를 포함하는 경우, 범용 프로세서는 상이한 시간들에서 (예를 들어, 상이한 하드웨어 모듈들을 포함하는) 각각 상이한 특별-목적 프로세서들로서 구성될 수 있다. 소프트웨어는, 그에 따라 특정한 프로세서 또는 프로세서들을 구성하여, 예를 들어 소정의 한 시점에서 특정한 하드웨어 모듈을 구성하고 상이한 한 시점에서 상이한 하드웨어 모듈을 구성한다.

하드웨어 모듈은 다른 하드웨어 모듈에 정보를 제공하고 다른 하드웨어 모듈로부터 정보를 수신할 수 있다. 따라서, 설명된 하드웨어 모듈들은 통신가능하게 결합된 것으로 간주될 수 있다. 복수의 하드웨어 모듈이 동시에 존재하는 경우, 통신은 2개 이상의 하드웨어 모듈들 사이에서 (예를 들어, 적절한 회로 및 버스를 통한) 신호 전송을 통해 달성될 수 있다. 복수의 하드웨어 모듈들이 상이한 시간들에서 구성되거나 인스턴스화되는 실시예에서, 이러한 하드웨어 모듈들 사이의 통신은, 예를 들어, 복수의 하드웨어 모듈들이 액세스하는 메모리 구조 내의 정보의 저장 및 검색을 통해 달성될 수 있다. 예를 들어, 하나의 하드웨어 모듈은 소정의 동작을 수행하고 그 동작의 출력을 통신가능하게 결합된 메모리 디바이스에 저장할 수 있다. 그 다음, 또 다른 하드웨어 모듈은, 나중에, 메모리 디바이스에 액세스하여 저장된 출력을 회수 및 처리할 수 있다. 하드웨어 모듈은 또한, 입력 또는 출력 디바이스와의 통신을 개시할 수 있고, 자원(예를 들어, 정보 모음)에 관해 동작할 수 있다.

본 명세서에서 설명된 예시적인 방법들의 다양한 동작들은, 적어도 부분적으로, 관련 동작들을 수행하도록 (예를 들어, 소프트웨어에 의해) 일시적으로 구성되거나 영구적으로 구성된 하나 이상의 프로세서에 의해 수행될 수 있다. 일시적으로 또는 영구적으로 구성되어 있는지에 관계없이, 이러한 프로세서들은 본 명세서에서 설명된 하나 이상의 동작 또는 기능을 수행하도록 동작하는 프로세서-구현된 모듈들을 구성한다. 본 명세서에서 사용될 때, "프로세서-구현된 모듈"이란 하나 이상의 프로세서를 이용하여 구현된 하드웨어 모듈을 말한다.

유사하게, 본 명세서에서 설명된 방법들은 하드웨어의 한 예인 특정한 프로세서 또는 프로세서들에 의해 적어도 부분적으로 프로세서-구현될 수 있다. 예를 들어, 방법의 동작들 중 적어도 일부는, 하나 이상의 프로세서 또는 프로세서-구현된 모듈에 의해 수행될 수 있다. 게다가, 하나 이상의 프로세서는 또한, "클라우드 컴퓨팅" 환경에서 관련 동작의 수행을 지원하도록 또는 "서비스로서의 소프트웨어"(SaaS; software as a service)로서 동작할 수 있다. 예를 들어, 동작들 중 적어도 일부는, (프로세서들을 포함하는 머신의 예로서의) 컴퓨터들의 그룹에 의해 수행될 수 있고, 이들 동작들은 네트워크(예를 들어, 인터넷)를 통해 및 하나 이상의 적절한 인터페이스(예를 들어, API)를 통해 액세스가능하다. 예를 들어, 일부 실시예들에서, 스마트폰은 디바이스에 대한 제1 위치 추정치를 결정하고 디바이스의 이미지 센서에 의해 환경의 제1 이미지를 포착한다.

스마트폰은, 제1 위치 추정치와 연관된 하나 이상의 구조물 파사드를 기술하는 구조물 파사드 데이터 세트에 국지적으로 액세스하는 것이 아니라, 그 로케이션을 이미지와 함께 클라우드 컴퓨팅 환경에 전달할 수 있다. 일부 실시예들에서, 이미지는 통신 자원을 절약하고 전송 시간을 감소시키기 위해 스마트폰에서 압축될 수 있다. 다른 실시예들에서, 시스템 내에서 수행되는 사용자 구성 또는 자원 분석은, 클라우드 컴퓨팅 자원 및 이미지 압축의 이용에 대한 옵션을 선택할 수 있다. 이러한 한 실시예에서, 클라우드 컴퓨팅 자원은 그 다음 스마트폰으로부터의 구조물 파사드 데이터 및 이미지 데이터 세트를 이용하여 환경의 제1 이미지의 제1 구조물 파사드 부분을 식별하도록 동작하며, 본 명세서에서 제1 구조물 파사드 부분은 구조물 파사드 데이터 세트 중의 제1 구조물 파사드 데이터와 정합된다. 그 다음, 클라우드 서버 자원은 또한, 환경의 제1 이미지의 제1 구조물 파사드 부분에 적어도 부분적으로 기초하여, 디바이스의 제2 위치 추정치를 계산할 수 있다.

그 다음, 이 위치 추정치는 스마트폰에 전송된다. 이미지 포착과 위치 추정치 수신 사이의 시간 지연으로 인해, 위치 추정치와 현재 스마트폰 위치 사이에는 오차가 발생할 수 있다. 이러한 실시예에서, 가속도계 또는 이미지 기반 움직임 추정 등의 스마트폰의 센서들이 이미지 포착 시간과 위치 추정치 수신 사이에서의 스마트폰 이동을 추정하는데 이용될 수 있다. 위치 추정치는 클라우드 컴퓨팅 자원의 위치 추정치와 스마트폰 이동 추정치 양쪽 모두에 기초하여 업로드될 수 있다.

다른 실시예들에서, 파사드 기반 추정은 스마트폰 및 클라우드 기반 컴퓨팅 자원 양쪽 모두에서 수행될 수 있다. 예를 들어, 스마트폰은 스마트폰의 로케이션에 기초하여 자동으로 매우 압축된 파사드 데이터 세트를 다운로드할 수 있다. 이 압축된 파사드 데이터는 스마트폰이 이동함에 따라 업데이트될 수 있다. 이미지가 스마트폰에서 포착되면, 스마트폰은 이미지와 압축된 파사드 데이터의 초기 정합을 수행하고, 또한, 이미지 또는 이미지의 압축된 버전을 클라우드 컴퓨팅 시스템에 업로드할 수 있다. 그 다음, 클라우드 컴퓨팅 서비스는, 파사드 데이터의 더욱 상세한 버전 또는 추가 컴퓨팅 자원을 이용하여 포착된 이미지로부터 스마트폰 로케이션을 추정할 수 있다. 그 다음, 이 추정치의 결과는 스마트폰에 전송될 수 있다. 그 다음, 스마트폰은, 로컬 파사드 기반 위치 추정, 클라우드 서비스 파사드 기반 위치 추정, 및 스마트폰 이동 추정을 함께 이용하여 업데이트된 위치 추정치를 생성할 수 있다. 추가 실시예들에서, 기타의 위치결정 시스템이 이용되는 경우, 전역 위치결정 시스템, 네트워크 보조형 위치결정 시스템, 또는 기타 임의의 이러한 위치결정 시스템으로부터의 이 데이터는, 스마트폰에 대한 최종 위치 추정치를 생성하기 위해 파사드 기반 위치결정 추정치와 통합될 수 있다.

소정 동작들의 수행은, 단일 머신 내에 존재할 뿐만 아니라 다수의 머신들에 걸쳐 배치된, 프로세서들 사이에서 분산될 수 있다. 일부 예시적인 실시예에서, 프로세서 또는 프로세서-구현된 모듈들은 단일의 지리적 로케이션에(예를 들어, 가정 환경, 사무실 환경, 또는 서버 팜 내에) 위치할 수 있다. 다른 예시적인 실시예들에서, 프로세서 또는 프로세서-구현된 모듈들은 다수의 지리적 로케이션에 걸쳐 분산된다.

상기 도면들과 연계하여 설명된 모듈, 방법, 애플리케이션 등은, 일부 실시예들에서, 머신 및 연관된 소프트웨어 아키텍쳐의 정황에서 구현된다. 이하의 섹션은 개시된 실시예들에서 이용하기에 적합한 대표적인 소프트웨어 아키텍쳐(들) 및 머신(예를 들어, 하드웨어) 아키텍쳐를 설명한다.

소프트웨어 아키텍쳐는 하드웨어 아키텍쳐와 연계하여 이용되어 특정한 목적에 맞게 조정된 디바이스 및 머신을 생성한다. 예를 들어 특정한 소프트웨어 아키텍쳐와 결합된 특정한 하드웨어 아키텍쳐는, 모바일 전화, 태블릿 디바이스 등의 모바일 디바이스를 생성할 것이다. 약간 상이한 하드웨어 및 소프트웨어 아키텍쳐는 "사물 인터넷"에서 이용하기 위한 스마트 디바이스를 생성할 수 있다. 역시 또 다른 조합은, 클라우드 컴퓨팅 아키텍쳐 내에서 이용하기 위한 서버 컴퓨터를 생성한다. 본 기술분야의 통상의 기술자라면 본 명세서에 포함된 개시내용과 상이한 정황에서 본 발명을 구현하는 방법을 용이하게 이해할 수 있으므로, 이러한 소프트웨어 및 하드웨어 아키텍쳐의 모든 조합이 본 명세서에 제시되지는 않는다.

도 11은 안경(31)의 정면 사시도로 나타낸 소정 실시예의 양태를 도시한다. 일부 실시예들에서, 안경(31)은, 이미지를 포착하고 증강 현실 이미지를 사용자에게 프리젠팅하는데 이용되는 클라이언트 동반 디바이스(114)일 수 있다. 이러한 실시예들에서, 본 명세서에서 설명된 이미지 기반 처리를 이용하여 추정된 위치확인은 다른 디바이스에 의해 수행되어 안경(31)의 로케이션(높이, 고도 및 기타 임의의 관점 정보를 포함함)을 결정함으로써, 증강 현실 이미지 내의 가상 항목들이 안경(31)의 위치에 적절한 관점에서 올바르게 보여지게 할 것이다. 안경(31)은, 임의의 적절한 형상 기억 합금을 포함한, 플라스틱 또는 금속 등의 임의의 적절한 재료로 형성된 프레임(32)을 포함할 수 있다. 프레임(32)은, 제1 또는 좌측 렌즈, 디스플레이, 또는 광학 요소 홀더(36)를 포함할 수 있는 전면 부분(33); 브릿지(38)에 의해 접속된 제2 또는 우측 렌즈, 디스플레이, 또는 광학 요소 홀더(37)를 가질 수 있다. 전면 부분(33)는 좌측 단부(end portion, 41) 및 우측 단부(42)를 추가로 포함한다. 제1 또는 좌측 광학 요소(44) 및 제2 또는 우측 광학 요소(43)는, 각각의 좌측 및 우측 광학 요소 홀더(36, 37) 내에 제공될 수 있다. 광학 요소들(43, 44) 각각은, 렌즈, 디스플레이, 디스플레이 어셈블리, 또는 이들의 조합일 수 있다. 본 명세서에서 개시된 디스플레이 어셈블리들 중 임의의 것이 안경(31)에 제공될 수 있다.

프레임(32)은, 힌지(미도시) 등의 임의의 적절한 수단에 의해 전면 부분(33)의 각각의 좌측 및 우측 단부(41, 42)에 결합된 좌측 아암 또는 템플 부분(temple piece, 46) 및 제2 아암 또는 템플 부분(47)을 포함하여, 전면 부분(33)에 결합되거나, 전면 부분(33)과 일체가 되도록 전면 부분에 견고하게 또는 고정적으로 고정된다. 템플 부분들(46, 47) 각각은, 전면 부분(33)의 각각의 단부(41 또는 42)에 결합되는 제1 부분(51) 및 사용자의 귀에 결합하기 위한 만곡 부분 또는 아치 부분 등의 임의의 적절한 제2 부분(52)을 포함할 수 있다. 한 실시예에서, 전면 부분(33)은 통합된 또는 일체형 구조를 갖도록 단일 재료로 형성될 수 있다.

안경(31)은, 프레임(32)에 의해 장착되도록 하는 임의의 적절한 유형일 수 있거나, 한 실시예에서는, 템플 부분(46 및 47) 중 하나에 적어도 부분적으로 배치될 수 있게 하는 임의의 적절한 크기 및 형상일 수 있는, 컴퓨터(61) 등의 컴퓨팅 디바이스를 포함할 수 있다. 한 실시예에서, 도 1a에 나타낸 바와 같이, 컴퓨터(61)는 템플 부분(46, 47) 중 하나의 크기 및 형상과 유사한 크기 및 형상을 가지므로, 구조물 내에 완전히는 아니더라도 거의 완전히 배치되고 이러한 템플 부분(46 및 47) 내에 국한된다. 한 실시예에서, 컴퓨터(61)는 템플 부분들(46, 47) 양쪽 모두에 배치될 수 있다. 컴퓨터(61)는, 메모리, 무선 통신 회로, 및 전원을 갖는 하나 이상의 프로세서를 포함할 수 있다. 소정 실시예에서, 컴퓨터(61)는, 저전력 회로, 고속 회로, 및 디스플레이 프로세서를 포함한다. 다양한 다른 실시예는, 이들 요소들을 상이한 구성들로 포함하거나 상이한 방식들로 함께 통합할 수 있다.

컴퓨터(61)는 배터리(62) 또는 다른 적절한 휴대형 전원을 추가로 포함한다. 한 실시예에서, 배터리(62)는 템플 부분들(46 또는 47) 중 하나에 배치된다. 도 11에 도시된 안경(31)에서, 배터리(62)는 좌측 템플 부분(46)에 배치되고, 접속(74)을 이용하여 우측 템플 부분(47)에 배치된 컴퓨터(61)의 나머지에 전기적으로 결합되는 것으로 도시되어 있다. 하나 이상의 입력 및 출력 디바이스는, 프레임(32)의 외부로부터 액세스가능한 배터리(62)를 충전하기에 적합한 커넥터 또는 포트(미도시), 무선 수신기, 전송기, 또는 트랜시버(미도시), 또는 이들 디바이스들의 조합을 포함할 수 있다.

안경(31)은 카메라(69)를 포함한다. 2개의 카메라가 도시되어 있지만, 다른 실시예들은 단일의 또는 추가적인(즉, 2개보다 많은) 카메라의 이용을 고려한다. 다양한 실시예에서, 안경(31)은 카메라(69) 외에도 임의의 수의 입력 센서 또는 주변 디바이스를 포함할 수 있다. 전면 부분(33)에는, 안경(31)이 사용자의 얼굴에 장착될 때 사용자로부터 전방 또는 외측을 향하는 외향면, 전방면 또는 외측면(66), 및 안경(31)이 사용자의 얼굴에 장착될 때 사용자의 얼굴을 향하는 내향면, 후방면, 또는 뒤쪽 또는 내측면(67)이 제공된다. 이러한 센서들은, 전면 부분(33)의 내측면(67) 또는 사용자 쪽으로 향하는 프레임(32) 상의 기타의 곳에 장착되거나 제공될 수 있는 카메라 등의 내측을 향하는 비디오 센서 또는 디지털 촬영 모듈, 및 전면 부분(33)의 외측면(66) 또는 사용자로부터 전방을 향하는 프레임(32) 상의 기타의 곳에 장착되거나 제공될 수 있는 카메라(69) 등의 외측을 향하는 비디오 센서 또는 디지털 촬영 모듈을 포함할 수 있다. 이러한 센서, 주변 디바이스, 또는 주변기기들은, 바이오메트릭 센서, 로케이션 센서, 또는 기타 임의의 이러한 센서를 추가로 포함할 수 있다. 추가적인 실시예들에서, 유사한 요소들이, 바이저로서, 헬멧 또는 구글 기반 시스템 내에, 차량 HUD 디스플레이 내에, 또는 기타 임의의 이러한 디바이스 내에 제공될 수 있다.

도 12는 전술된 디바이스들 중 임의의 하나 이상에 설치될 수 있는 소프트웨어(1202)의 아키텍쳐를 나타내는 블록도(1200)이다. 도 12는 소프트웨어 아키텍쳐의 비제한적 예일 뿐이고, 본 명세서에서 설명된 기능을 가능하게 하기 위해 많은 다른 아키텍쳐가 구현될 수 있다는 것을 이해할 것이다. 다양한 실시예에서, 소프트웨어(1202)는, 프로세서(1310), 메모리(1330), 및 입력/출력(I/O) 컴포넌트들(1350)을 포함하는 도 13의 머신(1300) 등의 하드웨어에 의해 구현된다. 이러한 예시적인 아키텍쳐에서, 소프트웨어(1202)는 각각의 계층이 특정한 기능을 제공할 수 있는 계층들의 스택으로서 개념화될 수 있다. 예를 들어, 소프트웨어(1202)는, 운영 체제(1204), 라이브러리들(1206), 프레임워크들(1208), 및 애플리케이션들(1210) 등의 계층들을 포함한다. 동작상, 애플리케이션들(1210)은, 일부 실시예에 따라, 소프트웨어 스택을 통해 API 호출들(1212)을 기동하고, API 호출들(1212)에 응답하여 메시지들(1214)을 수신한다. 한 예에서, 광고 선택 시스템(160)은 애플리케이션들(1210)로서 동작한다.

다양한 구현에서, 운영 체제(1204)는 하드웨어 자원을 관리하고 공통 서비스를 제공한다. 운영 체제(1204)는 예를 들어 커널(1220), 서비스들(1222) 및 드라이버들(1224)을 포함한다. 커널(1220)은 일부 실시예에 따라 하드웨어와 기타의 소프트웨어 계층들 사이의 추상화 계층(abstraction layer)으로서 기능한다. 예를 들어, 커널(1220)은, 특히, 메모리 관리, 프로세서 관리(예를 들어, 스케쥴링), 컴포넌트 관리, 네트워킹, 및 보안 설정을 제공한다. 서비스들(1222)은 다른 소프트웨어 계층들에 대한 다른 공통 서비스를 제공할 수 있다. 일부 실시예들에 따라, 드라이버들(1224)은 기저 하드웨어를 제어하거나 이와 인터페이싱하는 것을 책임진다. 예를 들어, 드라이버들(1224)은, 디스플레이 드라이버, 카메라 드라이버, BLUETOOTH® 드라이버, 플래시 메모리 드라이버, 직렬 통신 드라이버(예를 들어, USB 드라이버), WI-FI® 드라이버, 오디오 드라이버, 전력 관리 드라이버 등을 포함할 수 있다.

일부 실시예들에서, 라이브러리들(1206)은 애플리케이션들(1210)에 의해 이용되는 로우-레벨 공통 인프라스트럭쳐를 제공한다. 라이브러리들(1206)은, 메모리 할당 기능, 문자열 조작 기능, 수학 기능 등의 기능을 제공할 수 있는 시스템 라이브러리(1230)(예를 들어, C 표준 라이브러리)를 포함할 수 있다. 또한, 라이브러리들(1206)은, 미디어 라이브러리(예를 들어, MPEG4(Moving Picture Experts Group-4), H.264 또는 AVC(Advanced Video Coding), MP3(Moving Picture Experts Group Layer-3), AAC(Advanced Audio Coding), AMR(Adaptive Multi-Rate) 오디오 코덱, JPEG 또는 JPG(Joint Photographic Experts Group), PNG(Portable Network Graphics) 등의 다양의 미디어 포멧의 프리젠테이션과 조작을 지원하는 라이브러리들) 그래픽 라이브러리(예를 들어, 그래픽 콘텐츠를 2차원(2D) 및 3차원(3D)으로 디스플레이에 렌더링하는데 이용되는 OpenGL 프레임워크), 데이터베이스 라이브러리(예를 들어, 다양한 관계형 데이터베이스 기능을 제공하는 SQLite), 웹 라이브러리(예를 들어, 웹 브라우징 기능을 제공하는 WebKit) 등의 API 라이브러리(1232)를 포함할 수 있다. 라이브러리들(1206)은 또한, 많은 다른 API를 애플리케이션들(1210)에 제공하는 광범위한 다른 라이브러리(1234)를 포함할 수 있다.

프레임워크들(1208)은 일부 실시예들에 따라 애플리케이션들(1210)에 의해 이용될 수 있는 하이-레벨 공통 인프라스트럭쳐를 제공한다. 예를 들어, 프레임워크들(1208)은, 다양한 그래픽 사용자 인터페이스(GUI) 기능, 하이-레벨 자원 관리, 하이-레벨 위치확인 서비스 등을 제공한다. 프레임워크들(1208)은 애플리케이션들(1210)에 의해 이용될 수 있는 광범위한 스펙트럼의 다른 API들을 제공할 있으며, 그 중 일부는 특정한 운영 체제(1204) 또는 플랫폼 특유일 수 있다.

한 예시적인 실시예에서, 애플리케이션들(1210)은, 홈 애플리케이션(1250), 연락처 애플리케이션(1252), 브라우저 애플리케이션(1254), 북 리더 애플리케이션(1256), 로케이션 애플리케이션(1258), 미디어 애플리케이션(1260), 메시징 애플리케이션(1262), 게임 애플리케이션(1264), 및 제3자 애플리케이션(1266) 등의 광범위한 다른 애플리케이션들을 포함한다. 일부 실시예들에 따르면, 애플리케이션들(1210)은 프로그램에서 정의된 기능들을 실행하는 프로그램이다. 객체 지향형 프로그래밍 언어(Objective-C, Java 또는 C++) 또는 절차형 프로그래밍 언어(예를 들어, C 또는 어셈블리 언어) 등의 다양한 방식으로 구조화된 애플리케이션들(1210) 중 하나 이상을 생성하기 위해 다양한 프로그래밍 언어가 이용될 수 있다. 특정한 예에서, 제3자 애플리케이션(1266)(예를 들어, 특정한 플랫폼의 벤더 이외의 엔티티에 의해 ANDROID™ 또는 IOS™ 소프트웨어 개발 킷(SDK)을 이용하여 개발된 애플리케이션)은, IOS™, ANDROID™, WINDOWS® Phone 또는 또 다른 모바일 운영 체제 등의 모바일 운영 체제 상에서 실행되는 모바일 소프트웨어일 수 있다. 이 예에서, 제3자 애플리케이션(1266)은 본 명세서에서 설명된 기능을 가능하게 하기 위해 운영 체제(1204)에 의해 제공되는 API 호출들(1212)을 기동할 수 있다.

증강 현실 애플리케이션(1267)은, 맵 정보에 액세스하거나, 이미지와 파사드 데이터 정합을 처리하거나, 본 명세서에서 설명된 기타 임의의 동작을 포함한, 본 명세서에서 설명된 임의의 시스템 또는 방법을 구현할 수 있다. 또한, 일부 실시예들에서, 메시징 애플리케이션(1262) 및 증강 현실 애플리케이션(1267)은, 단기 메시징 애플리케이션의 일부로서 함께 동작할 수 있다. 이러한 단기 메시징 애플리케이션은, 이미지를 생성하고, 사용자가 증강 현실 요소를 이미지에 추가하고, 이미지 및/또는 증강 현실 데이터의 일부 또는 전부를 또 다른 시스템 사용자에게 전달하는 것을 허용하도록 동작할 수 있다. 삭제 트리거가 충족된 후에, 전송된 데이터는 수신 사용자의 시스템으로부터 전달되고, 또한 이미지 및/또는 증강 현실 데이터를 포함하는 단기 메시지의 전달에 관련된 임의의 서버로부터 이미지 및/또는 증강 현실 데이터를 삭제하도록 동기화될 수 있다. 일부 실시예들에서, 수신 사용자 디바이스로부터 데이터를 삭제하기 위한 트리거는 증강 현실 이미지가 얼마나 오랫동안 디스플레이되는지를 나타내는 타이머일 수 있다. 다른 실시예들에서, 단기 메시징 시스템은, 삭제를 위한 날짜 및 시간 트리거, 또는 수신 사용자가 데이터에 액세스한 횟수와 연관된 삭제를 설정할 수 있다.

예를 들어, 한 실시예에서, 사용자는 단기 메시징 시스템을 통해 증강 현실 데이터 세트를 또 다른 사용자에게 전송할 수 있다. 단기 메시징 데이터는 지리위치에 부착된 이모티콘 스티커 객체를 포함할 수 있다. 수신 사용자의 디바이스가 단기 메시지를 수신하면, 단기 메시징 시스템에 의해 설정된 제한과 함께 증강 현실 시스템에서 이모티콘을 볼 수 있다. 제한 트리거가 충족된 후에, 이모티콘 스티커는 더 이상 볼 수 없다. 다른 실시예들에서, 사용자는 증강 현실 데이터를 포함하는 이러한 메시지에 대해 단기 또는 비단기 상태 선택할 수 있어서, 데이터를 포함하는 비단기 메시지는 수신 사용자로부터 증강 현실 데이터를 삭제하기 위한 선택을 기다리고, 메시지의 일부인 증강 현실 데이터는 통신 서버에 무기한으로 저장될 수 있다.

도 13은, 머신-판독가능한 매체(예를 들어, 머신-판독가능한 저장 매체)로부터 명령어들을 판독하여 본 명세서에서 논의된 방법론들 중 임의의 하나 이상을 수행할 수 있는, 일부 예시적인 실시예에 따른 머신(1300)의 컴포넌트들을 나타내는 블록도이다. 구체적으로는, 도 13은 예시적인 형태의 컴퓨터 시스템으로 된 머신(1300)의 개략도를 도시하며, 머신 내부에서, 머신(1300)으로 하여금 본 명세서에서 논의된 방법론들 중 임의의 하나 이상을 수행하게 하기 위한 명령어(1316)(예를 들어, 소프트웨어, 프로그램, 애플리케이션, 애플릿, 앱 또는 기타의 실행가능한 코드)가 실행될 수 있다. 추가로, 또는 대안으로서, 명령어는 도 2의 임의의 모듈 등을 구현할 수 있다. 명령어들은, 일반적인 비프로그램된 머신을, 설명되고 예시된 기능들을 설명된 방식으로 수행하도록 프로그램된 특정한 머신으로 변환한다. 대안적인 실시예들에서, 머신(1300)은 독립형 디바이스로서 동작하거나 다른 머신에 결합(예를 들어, 네트워킹)될 수 있다. 네트워킹된 배치에서, 머신(1300)은 서버-클라이언트 네트워크 환경에서 서버 머신 또는 클라이언트 머신의 용량에서 동작하거나, 피어-투-피어(또는 분산형) 네트워크 환경에서 피어 머신으로서 동작할 수 있다. 머신(1300)은, 서버 컴퓨터, 클라이언트 컴퓨터, PC, 태블릿 컴퓨터, 랩탑 컴퓨터, 넷북, 셋탑 박스(STB), PDA, 엔터테인먼트 미디어 시스템, 셀룰러 전화, 스마트폰, 모바일 디바이스, 착용형 디바이스(예를 들어, 스마트 시계), 스마트 홈 디바이스(예를 들어, 스마트 어플라이언스), 기타의 스마트 디바이스, 웹 어플라이언스, 네트워크 라우터, 네트워크 스위치, 네트워크 브릿지, 또는 머신(1300)에 의해 취해질 동작들을 명시하는 명령어들(1316)을 순차적으로 또는 기타의 방식으로 실행할 수 있는 임의의 머신을 포함할 수 있지만, 이것으로 제한되지 않는다. 또한, 단 하나의 머신(1300)이 예시되어 있지만, "머신"이라는 용어는 또한, 본 명세서에서 논의된 방법론들 중 임의의 하나 이상을 수행하기 위해 명령어들(1316)을 개별적으로 또는 공동으로 실행하는 머신들의 집합체(1300)를 포함하는 것으로 간주되어야 한다.

머신(1300)은, 버스(1302) 등을 통해 서로 통신하도록 구성될 수 있는, 프로세서(1310), 메모리/스토리지(1330) 및 I/O 컴포넌트들(1350)을 포함할 수 있다. 한 예시적인 실시예에서, 프로세서(1310)(예를 들어, 중앙 처리 유닛(CPU), RISC(Reduced Instruction Set Computing) 프로세서, CISC(Complex Instruction Set Computing) 프로세서, GPU(Graphics Processing Unit), 디지털 신호 프로세서(DSP; Digital Signal Processor), 주문형 집적 회로(ASIC; Application Specific Integrated Circuit), 무선 주파수 집적 회로(RFIC), 또 다른 프로세서, 또는 이들의 임의의 적절한 조합)는, 예를 들어, 명령어(1316)를 실행할 수 있는 프로세서(1312) 및 프로세서(1314)를 포함할 수 있다. "프로세서"라는 용어는, 명령어들을 동시에 실행할 수 있는 2개 이상의 독립된 프로세서(때때로 "코어"라고도 함)를 포함할 수 있는 멀티-코어 프로세서를 포함하는 것을 의도한다. 도 13은 복수의 프로세서를 도시하지만, 머신(1300)은 단일 코어를 갖는 단일 프로세서, 다중 코어를 갖는 단일 프로세서(예를 들어, 멀티-코어 프로세서), 단일 코어를 갖는 다중 프로세서, 다중 코어를 갖는 다중 프로세서, 또는 이들의 임의의 조합을 포함할 수 있다.

메모리/스토리지(1330)는, 메인 메모리(1332), 정적 메모리(1334), 또는 기타의 메모리 스토리지, 및 스토리지 유닛(1336)을 포함할 수 있고, 모두는 버스(1302) 등을 통해 프로세서(1310)에 액세스가능하다. 스토리지 유닛(1336) 및 메모리(1332)는, 본 명세서에서 설명된 방법론들 또는 기능들 중 임의의 하나 이상을 구현하는 명령어들(1316)을 저장한다. 명령어들(1316)은 또한, 머신(1300)에 의한 그 실행 동안에, 완전히 또는 부분적으로, 메모리(1332) 내에, 스토리지 유닛(1336) 내에, 프로세서들(1310) 중 적어도 하나 내에(예를 들어, 프로세서의 캐시 메모리 내에), 또는 이들의 임의의 적절한 조합으로 존재할 수 있다. 따라서, 메모리(1332), 스토리지 유닛(1336), 및 프로세서(1310)의 메모리는 머신-판독가능한 매체의 예이다.

본 명세서에서 사용될 때, 용어 "머신-판독가능한 매체"란, 명령어 및 데이터를 일시적으로 또는 영구적으로 저장할 수 있는 디바이스를 의미하며, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 버퍼 메모리, 플래시 메모리, 광학 매체, 자기 매체, 캐시 메모리, 다른 유형의 스토리지(예를 들어, 소거가능하고 프로그램가능한 판독 전용 메모리(EEPROM)), 또는 이들의 임의의 적절한 조합을 포함할 수 있지만, 이것으로 제한되는 것은 아니다. "머신-판독가능한 매체"라는 용어는, 명령어(1316)를 저장할 수 있는 단일의 매체 또는 복수의 매체(예를 들어, 중앙집중형 또는 분산형 데이터베이스, 및/또는 연관된 캐시 및 서버)를 포함하는 것으로 간주되어야 한다. "머신-판독가능한 매체"라는 용어는 또한, 명령어들이, 머신(1300)의 하나 이상의 프로세서들(예를 들어, 프로세서들(1310))에 의해 실행될 때, 머신(1300)으로 하여금 본 명세서에서 설명된 방법론들 중 임의의 하나 이상을 수행하게 하도록, 머신(예를 들어, 머신(1300))에 의한 실행을 위한 명령어(예를 들어, 명령어(1316))를 저장할 수 있는 임의의 매체 또는 복수의 매체들의 조합을 포함하는 것으로 간주되어야 한다. 따라서, "머신-판독가능한 매체"란, 단일 스토리지 장치 또는 디바이스 뿐만 아니라, 복수의 스토리지 장치 또는 디바이스를 포함하는 "클라우드-기반" 스토리지 시스템 또는 스토리지 네트워크를 말한다. "머신-판독가능한 매체"라는 용어는 신호 그 자체를 제외한다.

I/O 컴포넌트들(1350)은, 입력을 수신하고, 출력을 제공하며, 출력을 생성하고, 정보를 전송하고, 정보를 교환하며, 측정치를 포착하는 등을 수행하는 다양한 컴포넌트를 포함할 수 있다. 특정한 머신에 포함되는 구체적인 I/O 컴포넌트들(1350)은 머신의 유형에 의존할 것이다. 예를 들어, 모바일 전화 등의 휴대형 머신은 터치 입력 디바이스 또는 기타의 이러한 입력 메커니즘을 포함할 수 있는 반면, 헤드리스 서버 머신(headless server machine)은 이러한 터치 입력 디바이스를 포함하지 않을 것이다. I/O 컴포넌트들(1350)은 도 13에 도시되지 않은 많은 다른 컴포넌트를 포함할 수 있다는 것을 이해할 것이다. I/O 컴포넌트들(1350)은 단지 이하의 논의를 간소화하기 위해 기능성에 따라 그룹화되어 있고, 이러한 그룹화는 어떠한 방식으로든 제한하는 것이 아니다. 다양한 예시적인 실시예에서, I/O 컴포넌트들(1350)은 출력 컴포넌트(1352) 및 입력 컴포넌트(1354)를 포함할 수 있다. 출력 컴포넌트들(1352)은, 시각적 컴포넌트(예를 들어, 플라즈마 디스플레이 패널(PDP), 발광 다이오드(LED) 디스플레이, 액정 디스플레이(LCD), 프로젝터, 또는 CRT(cathode ray tube) 등의 디스플레이), 음향 컴포넌트(예를 들어, 스피커), 햅틱 컴포넌트(예를 들어, 진동 모터, 저항 메커니즘), 기타의 신호 생성기 등을 포함할 수 있다. 입력 컴포넌트들(1354)은, 영숫자 입력 컴포넌트(예를 들어, 키보드, 영숫자 입력을 수신하도록 구성된 터치 스크린, 사진-광학 키보드, 또는 기타의 영숫자 입력 컴포넌트), 포인트 기반 입력 컴포넌트(예를 들어, 마우스, 터치패드, 트랙볼, 조이스틱, 움직임 센서 또는 다른 포인팅 도구), 촉각 입력 컴포넌트(예를 들어, 물리적 버턴, 터치 또는 터치 제스쳐의 로케이션 및 힘을 제공하는 터치 스크린, 또는 기타의 촉각 입력 컴포넌트), 오디오 입력 컴포넌트(예를 들어, 마이크로폰) 등을 포함한다.

추가의 예시적인 실시예들에서, I/O 컴포넌트들(1350)은, 특히, 바이오메트릭 컴포넌트(1356), 움직임 컴포넌트(1358), 환경 컴포넌트(1360), 또는 위치 컴포넌트(1362)를 포함할 수 있다. 예를 들어, 바이오메트릭 컴포넌트(1356)는, 표현(예를 들어, 손 표현, 얼굴 표정, 음성 표현, 몸짓, 또는 눈 추적)을 검출하고, 생체신호(예를 들어, 혈압, 심박수, 체온, 땀 또는 뇌파)를 측정하고, 사람을 식별(예를 들어, 음성 식별, 망막 식별, 얼굴 식별, 지문 식별, 또는 뇌파계 기반 식별)하는 컴포넌트들을 포함할 수 있다. 움직임 컴포넌트(1358)는, 가속도 센서 컴포넌트(예를 들어, 가속도계), 중력 센서 컴포넌트, 회전 센서 컴포넌트(예를 들어, 자이로스코프) 등을 포함할 수 있다. 환경 컴포넌트(1360)는, 예를 들어, 조명 센서 컴포넌트(예를 들어, 광도계), 온도 센서 컴포넌트(예를 들어, 주변 온도를 검출하는 하나 이상의 온도계), 습도 센서 컴포넌트, 압력 센서 컴포넌트(예를 들어, 기압계), 음향 센서 컴포넌트(예를 들어, 배경 잡음을 검출하는 하나 이상의 마이크로폰), 근접 센서 컴포넌트(예를 들어, 근처의 객체를 검출하는 적외선 센서), 개스 센서 컴포넌트(예를 들어, 머신 후각 검출 센서, 안전을 위해 위험한 개스의 농도를 검출하거나 대기 중의 오염 물질을 측정하는 개스 검출 센서), 또는 주변의 물리적 환경에 대응하는 표시, 측정치, 또는 신호를 제공할 수 있는 기타의 컴포넌트들을 포함할 수 있다. 위치 컴포넌트(1362)는, 로케이션 센서 컴포넌트(예를 들어, GPS(Global Positioning System) 수신기 컴포넌트), 고도 센서 컴포넌트(고도계 또는 고도가 도출될 수 있는 기압을 검출하는 기압계), 배향 센서 컴포넌트(예를 들어, 자력계) 등을 포함할 수 있다.

통신은 다양한 기술을 이용하여 구현될 수 있다. I/O 컴포넌트들(1350)은, 머신(1300)을 각각 결합(1382) 및 결합(1372)을 통해 네트워크(1380) 또는 디바이스들(1370)에 결합하도록 동작가능한 통신 컴포넌트(1364)를 포함할 수 있다. 예를 들어, 통신 컴포넌트(1364)는, 네트워크 인터페이스 컴포넌트, 또는 네트워크(1380)와 인터페이스하기에 적절한 다른 디바이스를 포함한다. 추가 예들에서, 통신 컴포넌트(1364)는, 유선 통신 컴포넌트, 무선 통신 컴포넌트, 셀룰러 통신 컴포넌트, 근접장 통신(NFC) 컴포넌트, BLUETOOTH® 컴포넌트(예를 들어, BLUETOOTH® Low Energy), WI-FI® 컴포넌트, 및 다른 양태를 통해 통신을 제공하는 기타의 통신 컴포넌트를 포함한다. 디바이스들(1370)은, 또 다른 머신 또는 임의의 다양한 주변 디바이스(예를 들어, USB를 통해 결합된 주변 디바이스)일 수 있다.

게다가, 통신 컴포넌트(1364)는 식별자를 검출하거나 식별자를 검출하도록 동작가능한 컴포넌트를 포함할 수 있다. 예를 들어, 통신 컴포넌트(1364)는, 무선 주파수 식별(RFID) 태그 판독기 컴포넌트, NFC 스마트 태그 검출 컴포넌트, 광학 판독기 컴포넌트(예를 들어, 범용 제품 코드(UPC) 바코드 등의 일차원 바코드, QR(Quick Response) 코드, Aztec 코드, Data Matrix, Dataglyph, MaxiCode, PDF417, Ultra 코드, UCC RSS(Uniform Commercial Code Reduced Space Symbology)-2D 바 코드, 및 기타의 광학 코드 등의 다차원 바코드를 검출하는 광학 센서), 음향 검출 컴포넌트(예를 들어, 태깅된 오디오 신호를 식별하는 마이크로폰), 또는 이들의 임의의 적절한 조합을 포함할 수 있다. 또한, 인터넷 프로토콜(IP) 지오-로케이션(geo-location)을 통한 로케이션, WI-FI® 신호 삼각측량을 통한 로케이션, 특정한 로케이션을 나타낼 수 있는 BLUETOOTH® 또는 NFC 비컨 신호 검출을 통한 로케이션 등의 다양한 정보가 통신 컴포넌트(1364)를 통해 도출될 수 있다.

다양한 예시적인 실시예에서, 네트워크(1380)의 하나 이상의 부분은, 애드혹 네트워크, 인트라넷, 엑스트라넷, 가상 사설망(VPN), 근거리 통신망(LAN), 무선 LAN(WLAN), 광역 네트워크(WAN), 무선 WAN(WWAN), 도시권 통신망(MAN; Metropolitan Area Network), 인터넷, 인터넷의 일부, PSTN(Public Switched Telephone Network)의 일부, POTS(plain old telephone service) 네트워크, 셀룰러 전화 네트워크, 무선 네트워크, WI-FI® 네트워크, 또 다른 유형의 네트워크, 또는 2개 이상의 이러한 네트워크들의 조합일 수 있다. 예를 들어, 네트워크(1380) 또는 네트워크(1380)의 일부는 무선 또는 셀룰러 네트워크를 포함할 수 있고, 결합(1382)은 CDMA(Code Division Multiple Access) 접속, GSM(Global System for Mobile communications) 접속, 또는 다른 유형의 셀룰러 또는 무선 결합을 포함할 수 있다. 이 예에서, 결합(1382)은, 1xRTT(Single Carrier Radio Transmission Technology), EVDO(Evolution-Data Optimized) 기술, GPRS(General Packet Radio Service) 기술, EDGE(Enhanced Data rates for GSM Evolution) 기술, 3G, 4G(fourth generation wireless) 네트워크, UMTS(Universal Mobile Telecommunications System), HSPA(High Speed Packet Access), WiMAX(Worldwide Interoperability for Microwave Access), LTE(Long Term Evolution) 표준, 다양한 표준-설정 기구에 의해 정의된 기타의 것들을 포함한 3GPP(third Generation Partnership Project), 기타의 장거리 프로토콜, 또는 기타의 데이터 전송 기술 등의, 다양한 유형의 데이터 전송 기술들 중 임의의 것을 구현할 수 있다.

명령어들(1316)은, 네트워크 인터페이스 디바이스(예를 들어, 통신 컴포넌트(1364)에 포함된 네트워크 인터페이스 컴포넌트)를 통해 전송 매체를 이용하여 및 다수의 널리 공지된 프로토콜들 중 임의의 하나(예를 들어, HTTP)를 이용하여 네트워크(1380)를 통해 전송되거나 수신될 수 있다. 유사하게, 명령어들(1316)은 디바이스들(1370)에 대한 결합(1372)(예를 들어, 피어-투-피어 결합)을 통해 전송 매체를 이용하여 전송되거나 수신될 수 있다. "전송 매체"라는 용어는, 머신(1300)에 의한 실행을 위한 명령어들(1316)을 저장, 인코딩 또는 운반할 수 있고, 이러한 소프트웨어의 전달을 가능하게 하는 디지털 또는 아날로그 통신 신호 또는 기타의 무형 매체(intangible medium)를 포함하는 임의의 무형의 매체를 포함하는 것으로 간주된다.

본 명세서 전체를 통해, 복수의 인스턴스는, 단일 인스턴스로서 설명된 컴포넌트, 동작 또는 구조를 구현할 수 있다. 하나 이상의 방법의 개개의 동작들이 별개의 동작들로서 예시되고 설명되지만, 개개의 동작들 중 하나 이상은 동시에 수행될 수 있고, 동작들이 예시된 순서로 수행될 필요는 없다. 예시적인 구성에서 별개의 컴포넌트들로서 제시된 구조 및 기능은 결합된 구조 또는 컴포넌트로서 구현될 수 있다. 유사하게, 단일 컴포넌트로서 제시된 구조 및 기능은 별개의 컴포넌트들로서 구현될 수 있다. 이들 및 다른 변형, 수정, 추가 및 개선은 본 명세서의 주제의 범위 내에 있다.

본 발명의 주제에 대한 개요가 특정한 예시적인 실시예를 참조하여 설명되었지만, 본 개시내용의 실시예들의 더 넓은 범위를 벗어나지 않으면서 이들 실시예들에 대한 다양한 수정 및 변경이 이루어질 수 있다. 본 발명의 주제의 이러한 실시예들은, 본 명세서에서, 사실상 하나보다 많은 발명 또는 발명적 개념이 개시되고 있지만, 본 출원의 범위를 임의의 단일의 개시내용이나 발명적 개념으로 자발적으로 제한하려는 의도없이 단지 편의상 "발명"이라는 용어에 의해, 개별적으로 또는 집합적으로 언급될 수 있다.

본 명세서에서 예시된 실시예들은 본 기술분야의 통상의 기술자가 본 명세서에서 개시된 교시를 실시할 수 있게 하도록 충분히 상세하게 설명되었다. 본 개시내용의 범위로부터 벗어나지 않고 구조적 및 논리적 치환과 변경이 이루어질 수 있도록 하는 다른 실시예들이 이용될 수 있고 본 개시내용으로부터 유도될 수 있다. 따라서, 본 상세한 설명은 제한적인 의미로 간주되어서는 안되며, 다양한 실시예들의 범위는 첨부된 청구항들과 이러한 청구항들의 균등물의 전체 범위에 의해서만 정의된다.

본 명세서에서 사용될 때, "또는"이라는 용어는 포함적 또는 배타적 의미로 해석될 수 있다. 게다가, 본 명세서에서 단일 인스턴스로서 설명된 자원, 동작, 또는 구조에 대해 복수의 인스턴스가 제공될 수 있다. 추가로, 다양한 자원, 동작, 모듈, 엔진 및 데이터 저장소들 사이의 경계는 다소 임의적이며, 특정한 동작은 특정한 예시적인 구성의 정황에서 예시된 것이다. 기능의 다른 할당들을 구상해 볼 수 있고 본 개시내용의 다양한 실시예의 범위 내에 있을 수 있다. 일반적으로, 예시적인 구성에서 별개의 자원들로서 제시된 구조 및 기능은 결합된 구조 또는 자원으로서 구현될 수 있다. 유사하게, 단일 자원으로서 제시된 구조 및 기능은 별개의 자원들로서 구현될 수 있다. 이들 및 다른 변형, 수정, 추가 및 개선은 첨부된 청구항들로 표현되는 본 개시내용의 실시예들의 범위 내에 있다. 따라서, 본 명세서 및 도면은 제한적 의미라기보다는 예시적인 의미로 간주되어야 한다.

Claims (20)

1. 디바이스 로케이션을 결정하기 위한 방법으로서,
   상기 디바이스의 이미지 센서에 의해, 환경의 제1 이미지를 포착하는 단계 - 상기 환경의 상기 제1 이미지는 적어도 하나의 제1 건물을 포함하고, 증강 현실 픽토그램이 상기 제1 이미지 내의 표면과 중첩되고 정렬됨 -;
   상기 디바이스의 하나 이상의 프로세서에 의해, 상기 적어도 하나의 제1 건물에 대한 하나 이상의 로케이션 포인트를 설명하는 건물 로케이션 정보를 액세스하는 단계 - 상기 건물 로케이션 정보는 상기 디바이스의 제1 위치 추정치와 연관됨 -;
   상기 하나 이상의 프로세서를 사용하여, 상기 환경의 상기 제1 이미지의 상기 제1 건물의 제1 벽 부분과 상기 건물 로케이션 정보의 상기 하나 이상의 로케이션 포인트 사이의 정합을 식별하기 위해, 상기 건물 로케이션 정보를 사용하여 상기 제1 건물을 포함하는 상기 환경의 상기 제1 이미지를 처리하는 단계; 및
   상기 하나 이상의 프로세서를 사용하여, 상기 제1 벽 부분과 연관된 관점 및 상기 제1 벽 부분과 상기 하나 이상의 로케이션 포인트 사이의 상기 정합에 적어도 부분적으로 기초하여, 상기 디바이스의 제2 위치 추정치를 계산하는 단계
   를 포함하는 방법.
2. 제1항에 있어서, 상기 디바이스의 전역 위치결정 시스템(GPS) 모듈을 사용하여, 상기 디바이스에 대한 상기 제1 위치 추정치를 결정하는 단계를 더 포함하는 방법.
3. 제2항에 있어서,
   상기 건물 로케이션 정보를 액세스하는 단계 이전에,
   상기 환경의 복수의 모델 이미지를 포착하는 단계;
   상기 환경의 상기 복수의 모델 이미지 중 각각의 모델 이미지에 대한 모델 로케이션을 포착하는 단계; 및
   상기 건물에 대한 상기 하나 이상의 로케이션 포인트를 포함하는 건물 로케이션의 포인트들의 데이터베이스를 생성하기 위해, 상기 복수의 모델 이미지 및 상기 복수의 모델 이미지 중 각각의 모델 이미지에 대한 상기 모델 로케이션을 처리하는 단계:
   를 더 포함하고,
   상기 처리된 하나 이상의 로케이션 포인트는 하나 이상의 파사드(facade) 표면 로케이션 및 2차원 파사드 패턴을 설명하는, 방법.
4. 제3항에 있어서,
   상기 디바이스에서, 상기 제1 위치 추정치에 응답하여, 상기 건물 로케이션 정보를 수신하는 단계 - 상기 건물 로케이션 정보의 상기 하나 이상의 로케이션 포인트는 하나 이상의 파사드 표면 로케이션 및 2차원 파사드 패턴을 포함함 -;
   를 더 포함하고,
   상기 제1 이미지의 상기 제1 벽 부분을 식별하는 단계는
   상기 제1 위치 추정치 및 상기 하나 이상의 파사드 표면 로케이션으로부터, 상기 2차원 파사드 패턴에 대한 예상된 관점을 계산하는 단계;
   제1 관점 패턴을 생성하기 위해 상기 2차원 파사드 패턴을 처리하는 단계; 및
   상기 제1 벽 부분을 식별하기 위해 상기 제1 관점 패턴을 사용하여 상기 환경의 상기 제1 이미지를 처리하는 단계
   를 포함하는, 방법.
5. 제4항에 있어서,
   상기 환경의 상기 제1 이미지의 상기 제1 벽 부분의 관점에 적어도 부분적으로 기초하여, 상기 디바이스의 상기 제2 위치 추정치를 계산하는 단계는
   상기 제1 관점 패턴과 상기 제1 이미지의 상기 제1 벽 부분 사이의 오차 값을 계산하는 단계;
   상기 오차 값과 연관된 상대 로케이션 값을 결정하는 단계; 및
   상기 상대 로케이션 값을 사용하여 상기 제1 위치 추정치로부터 상기 제2 위치 추정치를 결정하는 단계
   를 포함하는, 방법.
6. 제5항에 있어서,
   증강 현실 이미지 항목과 연관된 증강 현실 이미지 데이터 세트에 액세스하는 단계;
   상기 이미지 센서에 의해, 상기 환경의 제2 이미지를 포착하는 단계;
   상기 제2 위치 추정치를 사용하여 상기 증강 현실 이미지 항목에 대한 위치를 계산하는 단계;
   상기 제2 이미지, 상기 증강 현실 이미지 데이터 세트 및 상기 제2 위치 추정치를 사용하여, 증강 현실 이미지를 생성하는 단계; 및
   상기 증강 현실 이미지를 상기 디바이스의 디스플레이 상에 출력하는 단계
   를 더 포함하는 방법.
7. 제3항에 있어서,
   상기 제1 이미지의 상기 제1 벽 부분을 식별하는 단계는:
   상기 제1 위치 추정치 및 상기 하나 이상의 파사드 표면 로케이션으로부터, 상기 2차원 파사드 패턴에 대한 예상된 관점을 계산하는 단계;
   제1 관점 패턴을 생성하기 위해 상기 2차원 파사드 패턴을 처리하는 단계;
   상기 제1 관점 패턴이 상기 제1 이미지에 대한 임계치 정합 레벨을 만족하지 않는다고 결정하는 단계;
   제1 서버 컴퓨터에게 보충 파사드 데이터 세트(supplemental set of facade data)를 요청하는 단계; 및
   상기 제1 서버 컴퓨터로부터 상기 보충 파사드 데이터 세트를 수신하는 단계
   를 포함하고,
   상기 제1 벽 부분을 식별하는 단계는 상기 보충 파사드 데이터 세트에 기초하는, 방법.
8. 제7항에 있어서,
   상기 제1 서버 컴퓨터로부터 상기 보충 파사드 데이터 세트를 요청하는 단계는 상기 환경의 상기 제1 이미지를 상기 제1 서버 컴퓨터에 전달하는 단계를 포함하고,
   상기 보충 파사드 데이터 세트를 수신하는 단계는 상기 제1 이미지에 기초하여 상기 제1 서버 컴퓨터로부터 보충 위치 추정치를 수신하는 단계를 포함하는, 방법.
9. 제8항에 있어서,
   상기 환경의 제2 이미지를 포착하는 단계;
   상기 제2 이미지의 제1 표면을 식별하는 단계;
   상기 제2 이미지의 상기 제1 표면과 상기 제1 이미지의 상기 제1 벽 부분 사이의 관점 차이를 계산하는 단계; 및
   상기 제2 위치 추정치 및 상기 관점 차이를 사용하여 제3 위치 추정치를 생성하는 단계
   를 더 포함하는 방법.
10. 제7항에 있어서,
    상기 디바이스에서, 스티커 객체(sticker object)에 대한 2차원 증강 현실 데이터를 수신하는 단계;
    상기 하나 이상의 파사드 표면 로케이션을 갖는 평면 상에 위치될 때의 상기 스티커 객체의 증강 현실 배치를 결정하는 단계;
    상기 2차원 파사드 패턴에 대한 상기 예상된 관점을 스티커 객체 관점으로서 사용하는 단계; 및
    상기 예상된 관점에 기초하여 상기 하나 이상의 파사드 표면 로케이션을 갖는 상기 평면 상의 상기 스티커 객체를 포함하는 증강 현실 이미지를 생성하는 단계
    를 더 포함하는 방법.
11. 제10항에 있어서,
    상기 2차원 증강 현실 데이터는 증강 현실 시스템 픽토그램(pictogram) 세트로부터 사용자 입력에 의해 선택된 이모티콘 객체(emoji object)를 표현하는, 방법.
12. 제1항에 있어서,
    상기 건물 로케이션 정보를 사용하여, 상기 환경의 상기 제1 이미지의 제2 표면을 식별하는 단계 - 상기 제2 표면은 상기 건물 로케이션 정보의 제2 로케이션 포인트들과 정합됨 - 를 더 포함하고,
    상기 제2 위치 추정치는 상기 환경의 상기 제1 이미지의 상기 제2 표면의 제2 관점에 적어도 부분적으로 기초하여 더 계산하는 것인, 방법.
13. 제9항에 있어서,
    상기 하나 이상의 파사드 표면 로케이션 및 상기 2차원 파사드 패턴을 조정하기 위해, 상기 제1 이미지 및 상기 제2 이미지를 사용하여 상기 건물 로케이션 정보를 업데이트하는 단계를 더 포함하는 방법.
14. 제13항에 있어서,
    상기 제1 이미지의 적어도 일부 및 상기 제2 이미지의 적어도 일부를 상기 제2 위치 추정치 및 상기 제3 위치 추정치와 함께 상기 제1 서버 컴퓨터에 전달하는 단계를 더 포함하는 방법.
15. 시스템으로서,
    적어도 하나의 제1 건물에 대한 하나 이상의 로케이션 포인트를 설명하는 건물 로케이션 정보 및 환경의 이미지를 저장하도록 구성된 메모리 - 상기 건물 로케이션 정보는 디바이스의 제1 위치 추정치와 연관됨 -; 및
    상기 메모리에 결합되고 동작들을 수행하도록 구성된 하나 이상의 프로세서
    를 포함하고, 상기 동작들은
    상기 디바이스의 이미지 센서에 의해, 환경의 제1 이미지를 포착하고 - 상기 환경의 상기 제1 이미지는 적어도 하나의 제1 건물을 포함하고, 증강 현실 픽토그램이 상기 제1 이미지 내의 표면과 중첩되고 정렬됨 -;
    상기 디바이스의 하나 이상의 프로세서에 의해, 상기 적어도 하나의 제1 건물에 대한 하나 이상의 로케이션 포인트를 설명하는 건물 로케이션 정보를 액세스하고 - 상기 건물 로케이션 정보는 상기 디바이스의 제1 위치 추정치와 연관됨 -;
    상기 하나 이상의 프로세서를 사용하여, 상기 환경의 상기 제1 이미지의 상기 제1 건물의 제1 벽 부분과 상기 건물 로케이션 정보의 상기 하나 이상의 로케이션 포인트 사이의 정합을 식별하기 위해, 상기 건물 로케이션 정보를 사용하여 상기 제1 건물을 포함하는 상기 환경의 상기 제1 이미지를 처리하고;
    상기 하나 이상의 프로세서를 사용하여, 상기 제1 벽 부분과 연관된 관점 및 상기 제1 벽 부분과 상기 하나 이상의 로케이션 포인트 사이의 상기 정합에 적어도 부분적으로 기초하여, 상기 디바이스의 제2 위치 추정치를 계산하는 것
    을 포함하는, 시스템.
16. 제15항에 있어서,
    상기 제1 이미지를 포착하도록 구성된 이미지 센서 및 제1 무선 입력/출력(I/O) 모듈을 포함하는 제1 착용형(wearable) 디바이스; 및
    제1 위치 모듈(positioning module), 이미지 기반 로케이션 시스템 모듈(image based location system module) 및 제2 무선 I/O 모듈을 포함하는 제1 클라이언트 디바이스
    를 더 포함하고,
    상기 제1 클라이언트 디바이스는 상기 제1 착용형 디바이스의 상기 제1 무선 I/O 모듈을 통해 상기 제1 이미지를 액세스하는, 시스템.
17. 제16항에 있어서,
    상기 제1 착용형 디바이스는, 증강 현실 헬멧, 증강 현실 바이저(visor), 안경 및 증강 현실 안경 부착물의 세트로부터 선택된 디바이스를 포함하고,
    상기 제1 클라이언트 디바이스는 스마트폰을 포함하는, 시스템.
18. 디바이스에 의해 수행될 때 상기 디바이스로 하여금 방법을 수행하게 하는 명령어들을 포함하는 비일시적인 컴퓨터 판독가능한 매체로서,
    상기 방법은
    상기 디바이스의 이미지 센서에 의해, 환경의 제1 이미지를 포착하는 단계 - 상기 환경의 상기 제1 이미지는 적어도 하나의 제1 건물을 포함하고, 증강 현실 픽토그램이 상기 제1 이미지 내의 표면과 중첩되고 정렬됨 -;
    상기 디바이스의 하나 이상의 프로세서에 의해, 상기 적어도 하나의 제1 건물에 대한 하나 이상의 로케이션 포인트를 설명하는 건물 로케이션 정보를 액세스하는 단계 - 상기 건물 로케이션 정보는 상기 디바이스의 제1 위치 추정치와 연관됨 -;
    상기 하나 이상의 프로세서를 사용하여, 상기 환경의 상기 제1 이미지의 상기 제1 건물의 제1 벽 부분과 상기 건물 로케이션 정보의 상기 하나 이상의 로케이션 포인트 사이의 정합을 식별하기 위해, 상기 건물 로케이션 정보를 사용하여 상기 제1 건물을 포함하는 상기 환경의 상기 제1 이미지를 처리하는 단계; 및
    상기 하나 이상의 프로세서를 사용하여, 상기 제1 벽 부분과 연관된 관점 및 상기 제1 벽 부분과 상기 하나 이상의 로케이션 포인트 사이의 상기 정합에 적어도 부분적으로 기초하여, 상기 디바이스의 제2 위치 추정치를 계산하는 단계
    를 포함하는, 비일시적인 컴퓨터 판독가능한 매체.
19. 제18항에 있어서,
    상기 건물 로케이션 정보의 상기 하나 이상의 로케이션 포인트는 상기 제1 벽 부분과 연관된 2차원 파사드 패턴 및 하나 이상의 파사드 표면 로케이션을 포함하고,
    상기 제1 이미지의 상기 제1 벽 부분을 식별하는 단계는
    상기 제1 위치 추정치 및 상기 하나 이상의 파사드 표면 로케이션으로부터, 상기 2차원 파사드 패턴에 대한 예상된 관점을 계산하는 단계;
    제1 관점 패턴을 생성하기 위해 상기 2차원 파사드 패턴을 처리하는 단계; 및
    상기 제1 이미지의 상기 제1 벽 부분을 식별하기 위해 상기 제1 관점 패턴을 사용하여 상기 환경의 상기 제1 이미지를 처리하는 단계
    를 포함하는, 비일시적인 컴퓨터 판독가능한 매체.
20. 제19항에 있어서,
    상기 명령어들은 또한 상기 디바이스로 하여금
    증강 현실 데이터 세트를 수신하는 단계;
    상기 제2 위치 추정치에 기초하여 상기 증강 현실 데이터에 대한 위치 및 관점 정보를 결정하는 단계;
    상기 증강 현실 데이터 세트, 상기 위치 및 관점 정보, 및 상기 제2 위치 추정치를 사용하여 증강 현실 이미지를 생성하는 단계; 및
    상기 증강 현실 이미지를 상기 디바이스의 디스플레이에 출력하는 단계
    를 포함하는 방법을 수행하게 하는, 비일시적인 컴퓨터 판독가능한 매체.

Images