KR20180004109A

KR20180004109A - 모바일 디바이스 현지화를 위한 영역 서술 파일의 크라우드-소싱 생성 및 업데이트

Info

Publication number: KR20180004109A
Application number: KR1020177028033A
Authority: KR
Inventors: 브라이언 패트릭 윌리암스; 라이언 마이클 히크만; 라우렌트 투; 에샤 네루르카르; 시몬 리넨
Original assignee: 구글 엘엘씨
Priority date: 2015-05-11
Filing date: 2016-05-05
Publication date: 2018-01-10
Also published as: CN107430686A; CN107430686B; EP3295128A1; JP6602889B2; US9811734B2; WO2016182843A1; JP2018519558A; US20160335497A1; KR102044491B1

Abstract

네트워크 인터페이스, 제 1 데이터저장소, 제 2 데이터저장소, 및 병합 모듈을 포함하는 컴퓨팅 시스템이 제공된다. 병합 모듈은 하나 이상의 제 1 모바일 디바이스들의 세트로부터 하나 이상의 영역 서술 파일들의 세트를 수신하게 된다. 각각의 영역 서술 파일은 임의의 영역에서 임의의 대응하는 제 1 모바일 디바이스에 의해 검출된 공간 특징들의 포인트 클라우드를 나타낸다. 컴퓨팅 시스템은 또한, 현지화 모듈 및 질의 모듈을 포함한다. 현지화 발생 모듈은, 하나 이상의 영역 서술 파일들의 세트로부터 해당 영역에 대한 현지화 영역 서술 파일을 발생시키게 되고, 그리고 현지화 영역 서술 파일을 제 2 데이터저장소에 저장하게 된다. 현지화 영역 서술 파일은 해당 영역에 대한 공간 특징들의 포인트 클라우드를 나타낸다. 질의 모듈은 현지화 영역 서술 파일을 네트워크 인터페이스를 통해 제 2 모바일 디바이스에게 제공하게 된다.

Description

모바일 디바이스 현지화를 위한 영역 서술 파일의 크라우드-소싱 생성 및 업데이트

관련 출원들에 대한 상호-참조

본 출원은 다음과 같은 동시-계류 중인 특허 출원들과 관련되고, 이러한 특허 문헌들의 전체 내용은 참조로 본 명세서에 통합된다.

미국 특허 출원 번호 제14/708,955호(대리인 관리 번호: 1500-T014US, 발명의 명칭: "PRIVACY FILTERING OF AREA DESCRIPTION FILE PRIOR TO UPLOAD", 본 출원의 우선일과 같은 날짜에 출원됨); 그리고

미국 특허 출원 번호 제14/708,970호(대리인 관리 번호: 1500-T015US, 발명의 명칭: "PRIVACY-SENSITIVE QUERY FOR LOCALIZATION AREA DESCRIPTION FILE", 본 출원의 우선일과 같은 날짜에 출원됨).

본 출원의 개시내용은 일반적으로 시각적 맵핑 시스템(visual mapping system)들에 관한 것이고, 더 구체적으로는, 시각적 정보를 사용하여 모바일 디바이스(mobile device)들의 현지화(localization)를 수행하는 것에 관한 것이다.

시각적 맵핑 시스템들은, 3-차원(three-dimensional, 3D) 공간에서의 모바일 디바이스의 현재 위치 및 배향(orientation)을 결정하기 위해, 모바일 디바이스에 의해 캡처(capture)된 이미지(imagery)에서 검출된 공간 특징(spatial feature)들(이것은 또한 "시각적 특징(visual feature)들"로 지칭되기도 함)에 의존할 뿐만 아니라, 관성 정보(inertial information)에 의존한다. 전형적으로, 이러한 위치 및 배향은 임의의 알려진 고정된 기준 프레임(reference frame)에 대한 동기화(synchronization)를 요구하는 다양한 기능(예컨대, 가상 현실(Virtual Reality, VR) 기능, 증강 현실(Augmented Reality, AR) 기능, 또는 복수의 모바일 디바이스들 간의 게이밍(gaming) 혹은 다른 디바이스-인에이블드 상호작용(device-enabled interaction)들)을 용이하게 하기 위해 임의의 정의된 좌표 프레임(coordinate frame)의 상황에서 결정된다. 동시적 현지화 및 맵핑(Simultaneous Localization And Mapping, SLAM) 기법들은 모바일 디바이스로 하여금 이전의 맵핑되지 않은 영역을 맵핑할 수 있게 하는데, 그 영역 내에서 모바일 디바이스의 위치 및 배향을 학습함과 동시에 해당 영역을 맵핑할 수 있게 한다. 따라서, 따라서, 모바일 디바이스가 동일한 영역으로 되돌아 왔을 때, 모바일 디바이스는 "현지화(localization)"로 알려진 프로세스에서 이전에-관측된 공간 특징들의 검출을 통해 해당 영역 내에서 자신의 현재 위치 및 배향을 용이하게 결정할 수 있다. 하지만, 모바일 디바이스가 임의의 영역에 맨 처음 진입하는 경우, 모바일 디바이스는 이러한 이전에-검출된 현지화 단서(localization cues)를 가지고 있지 않다. 종래의 시각적 맵핑 시스템들에서, 모바일 디바이스는 시각적 맵핑 프로세스(visual mapping process)(상당량의 시간 및 자원(resource)들을 필요로 하는 프로세스)의 구현을 통해 해당 영역을 "학습(learn)"해야만 한다. 이전에-맵핑되지 않은 영역에 대해 시각적 맵핑 프로세스를 수행함에 있어 수반되는 지연을 피하기 위해, 종래의 시각적 맵핑 시스템들은 시각적 맵핑 프로세서를 수행하는 대신에 글로벌 위치결정 시스템(Global Positioning System, GPS) 정보 혹은 관성 센서(inertial sensor) 피드백(feedback)을 통한 위치 맵핑(location mapping)과 같은 비-시각적 배향 입력에 근거하여 모바일 디바이스의 배향 혹은 위치를 검출하는 것으로 되돌아 갈 수 있다. 하지만, 이러한 비-시각적 맵핑 해법들은 신뢰가능하지 않을 수 있고(예를 들어, 실내에서, 혹은 높은 장애물들로 둘러싸인 영역들 내에서 GPS 수신은 불량함), 부정확할 수 있고, 그리고 센서 및 측정 표류(drift)로 인해 오류가 일어나기 쉬울 수 있다.

본 개시내용은 첨부되는 도면들을 참조함으로써 관련 기술분야에서 숙련된 자들에 의해 더 잘 이해될 수 있고, 그리고 그 수많은 특징들 및 이점들이 이들에게 명백하게 될 것이다. 상이한 도면들에서의 동일한 참조 기호들의 사용은 유사하거나 동일한 아이템들을 표시한다.
도 1은 본 개시내용의 적어도 하나의 실시예에 따른, 현지화를 위해 모바일 디바이스들에게 제공되는 영역 서술 파일들의 크라우드-소싱 생성 및 업데이트(crowd-sourced creation and updating)를 위한 클라우드-기반 시각적 맵핑 시스템(cloud-based visual mapping system)을 예시하는 도면이다.
도 2는 본 개시내용의 적어도 하나의 실시예에 따른, 도 1의 시각적 맵핑 시스템의 영역 서술 파일 서버를 예시하는 블록도이다.
도 3은 본 개시내용의 적어도 하나의 실시예에 따른, 도 1의 시각적 맵핑 시스템의 모바일 디바이스를 예시하는 블록도이다.
도 4는 본 개시내용의 적어도 하나의 실시예에 따른, 이전에-맵핑된 현지화 프로세스(previously-mapped localization process) 혹은 이전에-맵핑되지 않은 현지화 프로세스(previously-unmapped localization process) 중 하나를 선택하기 위한 방법을 예시하는 흐름도이다.
도 5는 본 개시내용의 적어도 하나의 실시예에 따른, 현지화 영역 서술 파일(localization area description file)의 크라우드-소싱 발생을 위한 방법을 예시하는 흐름도이다.
도 6은 본 개시내용의 적어도 하나의 실시예에 따른, 원격 영역 서술 파일 서버로부터 획득된 현지화 영역 서술 파일을 사용하여 모바일 디바이스의 현지화를 수행하기 위한 방법을 예시하는 흐름도이다.
도 7은 본 개시내용의 적어도 하나의 실시예에 따른, 현지화 영역 서술 파일의 크라우드-소싱 업데이트를 위한 방법을 예시하는 흐름도이다.
도 8은 본 개시내용의 적어도 하나의 실시예에 따른, 후보 공간 특징을 현지화 영역 서술 파일 내에 포함시키기 위해서 평가하기 위한 방법을 예시하는 흐름도이다.
도 9는 본 개시내용의 적어도 하나의 실시예에 따른, 공간 특징을 현지화 영역 서술 파일로부터 제거하기 위해서 평가하기 위한 방법을 예시하는 흐름도이다.
도 10은 본 개시내용의 적어도 하나의 실시예에 따른, 현지화 영역 서술 파일 질의들(localization area description file queries)을 수행하기 위한 영역 서술 파일 서버의 LADF 데이터베이스에 대한 2-레벨 질의 인터페이스(two-level query interface)를 예시하는 도면이다.
도 11은 본 개시내용의 적어도 하나의 실시예에 따른, 현지화 영역 서술 파일에 대한 2-레벨 질의를 수행하기 위한 방법을 예시하는 흐름도이다.
도 12는 본 개시내용의 적어도 하나의 실시예에 따른, 현지화 영역 서술 파일 질의들을 수행하기 위한 영역 서술 파일 서버의 LADF 데이터베이스에 대한 대안적 2-레벨 질의 인터페이스를 예시하는 흐름도이다.

다음의 설명은 시각적 맵핑 시스템들과 관련된 다수의 특정 실시예들 및 세부사항들을 제공함으로써 본 개시내용의 완벽한 이해를 전달하도록 의도된 것이다. 하지만, 본 개시내용이 이러한 특정 실시예들 및 세부사항들로만 한정되지 않는다는 것, 그리고 이러한 특정 실시예들 및 세부사항들은 단지 예들일 뿐이고, 이에 따라 본 개시내용의 범위는 아래의 청구항들 및 그 등가물들에 의해서만 한정되도록 의도된 것임을 이해해야 한다. 본 발명의 기술분야에서 통상의 기술을 가지고 있는 사람은 알려진 시스템들 및 방법들에 비추어 특정 설계 및 다른 필요성에 따라 임의 개수의 대안적 실시예들에서 본 명세서에서 의도된 목적들 및 혜택들을 위해 본 개시내용의 용도를 알게 될 것임을 또한 이해해야 한다.

도 1 내지 도 12는 현지화 영역 데이터 파일들을 클라우드-기반으로 생성하고, 개정(revision)하고, 그리고 모바일 디바이스들에게 제공하기 위한 예시적인 시스템들 및 기법들을 예시한다. 적어도 하나의 실시예에서, 시각적 맵핑 시스템은 하나 이상의 유선 혹은 무선 네트워크들을 통해 복수의 모바일 디바이스들에 통신가능하게 결합되는 영역 서술 파일(Area Description File, ADF) 서버를 포함한다. 모바일 디바이스가 이전에-맵핑되지 않은 영역에 진입하는 경우, 모바일 디바이스는 영역 학습 프로세스를 개시하고, 그럼으로써 모바일 디바이스는 해당 영역의 이미지를 캡처하고, 캡처된 이미지를 사용하여 공간 특징들을 검출하고, 그리고 이러한 공간 특징들, 이들의 상대적인 기하학적 구조(relative geometry), 관련된 통계 데이터(statistical data), 그리고 동시에 캡처된 센서 데이터의 표현들을 ADF 형태로 만들어 ADF 서버로 전송한다. ADF 서버는 이러한 ADF를 사용하여 현지화 ADF(Localization ADF, LADF)를 발생시키게 되는데, LADF는 해당 영역의 공간 특징들의 비조밀한(sparse) 포인트 클라우드(point cloud)를 나타낸다. 본 명세서에서 사용되는 것으로 "영역 서술 파일(area description file)"에서 사용되는 바와 같은 혹은 다른 방식으로 사용되는 바와 같은 용어 "파일(file)"은 데이터 및 다른 정보 필드(information field)들을 관련시키기 위해 사용되는 임의의 데이터 구조, 혹은 그러한 데이터 구조들의 임의의 조합을 지칭하는 것임에 유의해야 한다. 그 다음에 LADF는 LADF에 의해 커버(cover)되는 영역 내의 또 하나의 다른 모바일 디바이스로 다운로드(download)될 수 있다. LADF를 수신하는 임의의 모바일 디바이스는 해당 영역의 이미지를 캡처할 수 있고, 이미지 내의 공간 특징들을 검출할 수 있고, 그리고 검출된 공간 특징들 및 이들의 상대적인 기하학적 구조를 LADF가 나타내는 공간 특징들 및 상대적인 기하학적 구조들과 비교할 수 있고, 이에 따라 LADF가 제시하는 기준 좌표 프레임(reference coordinate frame)을 사용하여 해당 영역 내에서 모바일 디바이스를 현지화시키게 된다. 이러한 방식으로, 이전에-맵핑되지 않은 영역의 영역 발견 및 맵핑이, 모바일 디바이스들에 의한 수동적 수집(passive collection) 및 업로드(uploading)를 통해 효율적으로 크라우드-소싱될 수 있다.

일부 실시예들에서, ADF 서버는 동일한 영역에 대해 혹은 인접하는 영역들에 대해 복수의 모바일 디바이스들로부터 ADF 파일들을 수신하고, 그리고 ADF 서버는 이러한 복수의 ADF 파일들을 병합하여 병합된 ADF 파일(혹은 ADF 파일들의 병합된 클러스터(cluster))을 생성하도록 동작하고, 이러한 병합된 ADF 파일(혹은 ADF 파일들의 병합된 클러스터)는 또한 해당 영역 혹은 해당 영역의 하위-영역(sub-area)들에 대한 하나 이상의 LADF들을 발생시키기 위해 사용될 수 있다. 더욱이, 해당 영역 내에서의 변화들이 일어날 가능성이 있기 때문에, ADF 서버는 임의의 영역에 대해 발생된 LADF의 크라우드-소싱 업데이트를 이용할 수 있는데, 이것은 그 영역에서의 현지화를 위해 LADF를 사용하는 모바일 디바이스들로부터의 피드백에 근거하여 이루어진다. 예를 들어, LADF에서의 일부 공간 특징들이 모바일 디바이스들에 의해 신뢰가능하게 관측되고 있지 않음을 표시하는 피드백에 응답하여, ADF 서버는 이러한 공간 특징들을 LADF로부터 제거할 수 있다. 역으로, LADF 내에 포함되지 않은 공간 특징들이 해당 영역 내의 모바일 디바이스들에 의해 신뢰가능하게 관측되고 있음을 표시하는 피드백에 응답하여, ADF 서버는 이러한 공간 특징들을 LADF에 추가할 수 있다.

ADF들 및 LADF들이 나타내는 포인트 클라우드들 및 관련된 데이터가 임의의 영역의 시각적 표현을 어느 정도 제공하기 때문에, 모바일 디바이스들로부터 ADF들을 수집하는 것, 그리고 LADF들을 모바일 디바이스들에게 배포하는 것은 사생활 암시(privacy implication)들을 가질 수 있다. 이에 따라, 일부 실시예들에서, 시각적 맵핑 시스템은 특정 사생활 제어(privacy control)들을 구현한다. 하나의 이러한 사생활 제어는 ADF가 ADF 서버로 업로드되기 전에 ADF의 데이터에 관해 하나 이상의 사생활 필터 프로세스(privacy filter process)들을 구현하도록 모바일 디바이스를 구성하는 것을 포함할 수 있고, 이에 따라 ADF의 업데이트되는 버전이 나타내는 정보가 해당 영역의 유용한 시각적 콘텐츠를 재현(recreating)할 목적으로 사용가능하기 않게 하는 것을 포함할 수 있다. 또 하나의 다른 이러한 사생활 제어는 모바일 디바이스들에게 배포하기 위한 LADF들에 액세스하기 위해서 2-스테이지 LADF 질의(two-stage LADF query)를 수행하는 것을 포함할 수 있다. 모바일 디바이스가 임의의 영역에 진입하고 그 영역에 대해 모바일 디바이스가 임의의 이용가능한 LADF를 가지고 있지 않은 경우, 모바일 디바이스는 이미지를 캡처하고, 캡처된 이미지로부터 공간 특징들을 검출하고, 그리고 LADF 요청을 ADF 서버에 제출하는데, 그럼으로써 LADF 요청에는 검출된 공간 특징들의 세트, 그리고 모바일 디바이스의 위치를 표시하는 표시자(예를 들어, GPS 좌표들 혹은 하나 이상의 무선 기지국 식별자(wireless base station identifier)들)가 포함되게 된다. 그 다음에 ADF 서버는 검출된 공간 특징들의 세트 혹은 위치 표시자 중 하나와 매칭(matching)되는 후보 LADF들의 세트를 식별하기 위해 제 1 질의 스테이지(query stage)를 수행할 수 있고, 그런 다음에, 그 검출된 공간 특징들 혹은 위치 식별자 중 다른 하나에 근거하여 후보 LADF들의 세트로부터 임의의 LADF를 선택할 수 있다. 이러한 방식으로, 모바일 디바이스에 의해 제출된 공간 식별자(spatial identifier)들의 세트는 모바일 디바이스가 그 식별된 영역 내에 있음 혹은 그 식별된 영역에 액세스함을 증명하는 것으로서의 역할을 할 수 있고, 따라서 LADF를 그 요청하는 모바일 디바이스에게 제공함에 있어 사생활 침해(privacy breach)의 위험성이 크게 감소된다.

도 1은 본 개시내용의 적어도 하나의 실시예에 따른 시각적 맵핑 시스템(100)을 예시한다. 도시된 예에서, 시각적 맵핑 시스템(100)은 하나 이상의 모바일 디바이스들(104)에 통신가능하게 결합되는 ADF 서버(102)를 포함한다. 클라우드(cloud)(106)가 나타내는 바와 같이, ADF 서버(102)는 모바일 디바이스(104)에 대해 원격 위치에 있는 컴퓨팅 시스템(computing system)을 포함하고, 그리고 하나 이상의 유선 혹은 무선 네트워크들을 통해, 예컨대 무선 로컬 영역 네트워크(Wireless Local Area Network, WLAN), 셀룰러 데이터 네트워크(cellular data network), 인터넷(Internet), 혹은 이들의 임의의 조합을 통해, 모바일 디바이스(104)에 결합된다. 본 명세서에서는 단일 서버의 예시적 상황에서 설명되고 있지만, 다른 실시예들에서, ADF 서버(102)는 서버들의 클러스터를 포함하는 컴퓨팅 시스템으로서 구현될 수 있다. ADF 서버(102)의 예시적 구현예는 도 2를 참조하여 아래에서 더 상세히 설명된다.

모바일 디바이스(104)는 하나 이상의 사용자들(110)에 의해 동작되는 다양한 휴대용 전자 디바이스들 중 어느 하나를 포함할 수 있는데, 예컨대, 머리 장착 디스플레이(Head Mounted Display, HMD), 태블릿 컴퓨터(tablet computer), 컴퓨팅-가능 셀룰러 전화기(computing-enabled cellular phone)(예를 들어, "스마트폰(smartphone)"), 노트북 컴퓨터(notebook computer), 개인 디지털 보조기기(Personal Digital Assistant, PDA), 게이밍 콘솔 시스템(gaming console system), 드론(drone), 등 중 어느 하나를 포함할 수 있다. 도시된 예에서, 모바일 디바이스(104)는 하우징(housing)(112)을 포함하고, 여기서 하우징(112)은 하나의 표면(114)과 그 반대편에 있는 또 하나의 다른 표면(116)을 가지며, 이에 따라 하우징(112)은 전형적으로 사용자가 하우징(112)의 표면(114)을 마주보도록 사용자(110)에 대해 배향되어 있다. 더욱이, 도시된 구현예에서, 모바일 디바이스(104)는 사용자(110)에게 시각적 정보를 제시하기 위해 표면(116)에 배치되는 디스플레이(118)를 포함한다. 따라서, 참조의 용이함을 위해, 본 예의 배향의 반영으로서, 표면(116)은 "전방을-향하는(forward-facing)" 표면으로서 본 명세서에서 지칭되고, 표면(114)은 "사용자를-향하는(user-facing)" 표면으로서 본 명세서에서 지칭되는데, 하지만 이와 같은 표면들의 배향은 이러한 관계적 지정들에 의해 제한되지 않는다.

모바일 디바이스(104)는 또한, 모바일 디바이스(104)가 현재 위치하고 있는 영역(122)에 관한 정보를 획득하기 위해 복수의 센서들을 포함한다. 모바일 디바이스(104)는 예를 들어, 전방을-향하는 표면(116)에 배치되는 이미지화 센서(imaging sensor)들(124, 126)과 같은 하나 이상의 이미지화 센서들을 통해 영역(122)에 대한 시각적 정보(이미지)를 획득한다. 이미지화 센서들(124, 126)은 이들의 각각의 시계(field of view)들이 모바일 디바이스(104)로부터 임의의 특정 거리에서 시작하여 중첩(overlap)되도록 전방을-향하는 표면(116) 상에 배치 및 배향될 수 있고, 그럼으로써 영역(122) 내에서 중복되는 시계의 범위 내에 위치하는 객체(object)들의 깊이(depth)를 다시점 분석(multiview analysis)을 통해 감지할 수 있게 된다. 대안적으로, 표면(116) 상에 배치되는 깊이 센서(depth sensor)(130)가 영역 내의 객체들에 대한 깊이 정보를 제공하기 위해 사용될 수 있다.

일 실시예에서, 깊이 센서(130)는 전방을-향하는 표면(116)으로부터의 변조된 광 패턴(modulated light pattern)들을 영역(122) 안으로 투사(project)하기 위해 변조 광 투사기(modulated light projector)를 사용하고, 그리고 이러한 변조된 광 패턴들이 영역(122) 내에서 객체들로부터 다시 반사됨에 따라 그 변조된 광 패턴들의 반사들을 캡처하기 위해 이미지화 센서들(124, 126) 중 하나 혹은 양쪽 모두를 사용한다. 이러한 변조된 광 패턴들은 공간적으로-변조된 광 패턴들이거나 혹은 시간적으로-변조된 광 패턴들일 수 있다. 변조된 광 플래시(modulated light flash)의 캡처된 반사들은 본 명세서에서 "깊이 이미지들(depth images)" 혹은 "깊이 이미지(depth imagery)"로 지칭된다. 그 다음에 깊이 센서(120)는 깊이 이미지의 분석에 근거하여 객체들의 깊이들을 계산할 수 있는데, 즉, 모바일 디바이스(104)로부터 객체들까지의 거리를 계산할 수 있다. 깊이 센서(130)로부터 획득되는 결과적인 깊이 데이터는 이미지화 센서들(124, 126)에 의해 캡처된 이미지 데이터의 다시점 분석(예를 들어, 입체적 분석(stereoscopic analysis))으로부터 획득되는 깊이 정보를 교정(calibrate)하는데 사용될 수 있거나, 혹은 그렇지 않으면 증강(augment)시키는데 사용될 수 있다. 대안적으로, 깊이 센서(130)로부터의 깊이 데이터는 다시점 분석으로부터 획득되는 깊이 정보 대신 사용될 수 있다. 모바일 디바이스(104)의 전자 시스템의 더 상세한 예는 도 3을 참조하여 아래에서 더 상세히 설명된다.

동작시, 모바일 디바이스(104)는 이미지화 센서들(124, 126) 중 하나 혹은 양쪽 모두를 통해 영역(122)의 이미지를 캡처하고, 캡처된 이미지를 수정하거나 혹은 그렇지 않으면 프로세싱하고, 그리고 프로세싱된 캡처된 이미지를 디스플레이 디바이스(108) 상에서의 디스플레이를 위해 제공한다. 캡처된 이미지의 프로세싱은, 예를 들어, 공간 필터링(spatial filtering) 혹은 색체 필터링(chromatic filtering), 증강 현실(AR) 오버레이(overlay)의 추가, 이미지의 실제 콘텐츠(real-life content)를 대응하는 가상 현실(VR) 콘텐츠로 변환하는 것, 등을 포함할 수 있다. 이러한 AR 혹은 VR 기능을 제공하기 위해, 모바일 디바이스(104)는 임의의 특정 좌표 프레임에 대해 모바일 디바이스(104)의 현재의 6 자유도(Degree Of Freedom)(6DOF) 배향 및 위치(본 명세서에서는 집합적으로 "자세(pose)"로 지칭됨)를 정확히 결정하는 것에 의존한다. 따라서, 일부 실시예들에서, 모바일 디바이스(104)는 또한, 동시적 위치결정 및 맵핑(Simultaneous Location And Mapping, SLAM) 프로세스, 시각적 주행측정 프로세스(visual odometry process), 혹은 다른 시각적 맵핑 프로세스(visual mapping process) 중 하나 이상을 사용하여, 모바일 디바이스(104)의 상대적인 위치/배향, 즉 영역(122)에 대한 위치/배향을 결정하기 위해, 이미지화 센서들(124, 126)에 의해 캡처된 이미지 및 비-이미지 센서 데이터(non-image sensor data)(예를 들어, 관성 센서 데이터)를 사용한다.

종래에는, 모바일 디바이스가 새로운 영역에 진입하는 경우(즉, 그 특정 모바일 디바이스가 이전에 진입한 적이 없었던 영역에 진입하는 경우), 모바일 디바이스는, 새로운 영역을 학습하기 위해 영역 학습 프로세스(예를 들어, SLAM 프로세스)를 완료해야만 하거나, 또는 임의의 좌표 프레임에 대한 모바일 디바이스의 현재 자세의 어떤 표시를 제공하기 위해 비-시각적 단서들(예를 들어, GPS 좌표들)에 의존해야만 한다. 이와는 대조적으로, 시각적 맵핑 시스템(100)은 해당 영역에서 다른 모바일 디바이스들에 의해 이전에 탐색된 것들(explorations)을 통해 제공되는 크라우드소싱에 영향력(leverage)을 부여하여 해당 영역에 새로이 진입한 모바일 디바이스로 하여금 해당 영역의 광범위한 시각적 맵핑을 수행함이 없이 임의의 좌표 프레임에 대한 신속한 현지화를 행할 수 있게 한다. 이러한 목적을 위해, ADF 서버(102)에 연결된 모바일 디바이스들(104)은, 모바일 디바이스들(104)이 영역(122)에서 이리 저리 움직임에 따라, ADF(132)를 수집하여 ADF 서버(102)에 업로로드하도록 동작한다. 아래에서 더 상세히 설명되는 바와 같이, ADF(132)는, 모바일 디바이스(104)에 의해 검출된 공간 특징들의 세트; 공간 특징들의 상대적인 기하학적 구조; 모바일 디바이스의 자세, 조명 상태(lighting conditions), 또는 다른 일시적 환경 상태 혹은 디바이스-특정 상태와는 실질적으로 독립된 방식으로 공간 특징들을 서술하는 공간 특징들에 관한 다양한 통계적 메타데이터(statistical metadata); 뿐만 아니라, 공간 특징들과 관련된 이미지의 캡처시 관성 관리 유닛(Inertial Management Unit, IMU) 혹은 다른 비-이미지 센서들로부터 수집된 센서 데이터를 포함한다. ADF 서버(102)는, ADF(132) 내에 포함된 정보에 근거하여, 동일한 영역(혹은 인접하는 영역들)에 대한 복수의 모바일 디바이스들(104)로부터의 ADF들을 필터링 및 병합하고, 그리고 결과적인 병합된 ADF들로부터 하나 이상의 LADF들(134)을 발생시키는데, 여기서 LADF들(134) 각각은 해당 영역 혹은 해당 영역의 대응하는 하위-영역에 대한 공간 특징들의 비조밀한 포인트 클라우드를 나타낸다.

따라서, 또 하나의 다른 모바일 디바이스(104)가 후속적으로 새로운 영역에 진입하는 경우, 모바일 디바이스(104)는 해당 영역과 관련된 LADF에 대해 ADF 서버(102)에게 질의할 수 있다. 이러한 질의에 응답하여, ADF 서버(102)는 LADF(134)를 그 요청하는 모바일 디바이스(104)에게 제공할 수 있다. 모바일 디바이스(104)는, 영역(122)의 이미지를 캡처할 수 있고, 그 안에 포함된 특정 공간 특징들을 검출할 수 있고, 그리고 검출된 공간 특징들 및 이들의 상대적인 기하학적 구조를 LADF(134)가 나타내는 공간 특징들 및 관련된 상대적인 기하학적 구조와 비교할 수 있고, 그리고 공간 특징들의 이러한 비교에 근거하여 (예컨대, 루프 클로저 알고리즘(loop closure algorithm)의 적용을 통해) 모바일 디바이스(104)의 현재 자세를 현지화할 수 있다(즉, 모바일 디바이스(104)의 현재 자세를 결정할 수 있거나, 혹은 표류된 이전에 결정된 자세를 정정할 수 있음). 모바일 디바이스(104)는 또한 모바일 디바이스가 LADF(134)를 사용한 것에 근거하여 ADF 서버(102)에게 피드백을 제공할 수 있는데, 예컨대, LADF(134)의 공간 특징이 모바일 디바이스(104)에 의해 관측되지 않았음을 표시하는 피드백 데이터, 또는 LADF(134) 내에 있지 않은 공간 특징이 모바일 디바이스(104)에 의해 관측되었음을 표시하는 피드백 데이터를 제공할 수 있다.

LADF들(134)의 크라우드-소싱 및 클라우드-기반 생성(creation), 정제(refinement), 및 배포(distribution)는 모바일 디바이스들(104)로 하여금 새로운 영역에 진입하는 경우 신속하게 그리고 효율적으로 현지화를 수행할 수 있게 하고, 따라서 시간-소모적인 영역 학습 프로세스를 수행할 필요성을 피할 수 있게 하고, 또는 GPS 센서 혹은 관성 센서로부터의 덜 정확한 그리고 종종 신뢰가능하지 않은 측정치들을 사용할 필요성을 피할 수 있게 한다. 더욱이, LADF(134)의 공간 특징들은 특정 좌표 프레임에 대해 참조될 수 있기 때문에, LADF(134)를 사용하는 복수의 모바일 디바이스들(104)은 공통 좌표 프레임에 대해 자신들의 현재 자세들을 현지화할 수 있고, 그럼으로써 복수플레이어 게임들(multiplayer games), 공유된 AR 혹은 VR 기능(shared AR or VR functionality) 등과 같은 디바이스 자세 정보에 의존하는 기능을 위해 모바일 디바이스들(104) 간의 더 효율적이고 정확한 상호작용이 용이하게 된다.

도 2는 본 개시내용의 적어도 하나의 실시예에 따른, 도 1의 ADF 서버(102)의 예시적 구현을 예시한다. 도시된 예에서, ADF 서버(102)는, 네트워크 인터페이스(network interface)(202), ADF 데이터저장소(datastore)(204), LADF 데이터저장소(206), 특징 점수 데이터저장소(feature score datastore)(208), 지리적참조 데이터저장소(georeference datastore)(210), 병합 모듈(merge module)(212), 지리적참조 모듈(georeference module)(214), 공간 특징 필터 모듈(spatial feature filter module)(216), 현지화 발생 모듈(localization generation module)(218), 및 질의 모듈(query module)(220)을 구비하는 컴퓨팅 시스템을 포함한다. 별개의 데이터저장소들로서 예시되고 있지만, 데이터저장소들(204, 206, 208, 210) 중 하나 이상은 단일 데이터저장소로서 함께 구현될 수 있다.

모듈들(212, 214, 216, 218, 220)은 하드-코딩 로직(hard-coded logic)(예를 들어, 애플리케이션 특정 집적 회로(application specific integrated circuit) 혹은 프로그래밍 로직(programmable logic))으로서 구현될 수 있거나, 또는 메모리(226) 혹은 다른 저장 디바이스에 저장된 소프트웨어 명령들(software instructions)(224)을 실행하는 하나 이상 프로세서들(222)로서 구현될 수 있거나, 또는 이들의 임의의 조합으로서 구현될 수 있다. 더욱이, 비록 예시의 용이함을 위해 단일 서버로서 도시되고 있지만, 이것 대신 ADF 서버(102)는 복수의 서버들을 포함하는 컴퓨팅 시스템으로서 구현될 수 있다. 예를 들어, 모듈들(212, 214, 216, 및 218)의 기능은 하나의 서버에서 구현될 수 있고, 그리고 질의 모듈(220) 및 LADF 데이터저장소(206)의 기능은 또 하나의 다른 서버에서 구현될 수 있다.

전반적인 개요로서, 병합기 모듈(merger module)(212)은 LADF가 아직 컴파일링(compiling)되어 있지 않은 영역에 진입한 하나 이상의 모바일 디바이스들(232)(도 1의 모바일 디바이스(104)의 일 실시예임)로부터의 ADF들(132)을 네트워크 인터페이스(202)를 통해 수신하도록 동작한다. 병합기 모듈(212)은 모바일 디바이스들(232)로부터의 하나 이상의 ADF들(132)을 병합하여 ADF 데이터저장소(204) 내의 저장을 위한 병합된 ADF 데이터를 발생시키게 된다. 지리적참조 모듈(214)은 병합된 ADF에 지리적 참조(geographic reference)를 제공하기 위해 지리적참조 데이터저장소(210)(여기에는 예를 들어, 구글 주식회사(Google Inc.)에 의해 제공되는 스트리트 뷰 툴(Street View tool)로부터의 이미지 및 관련된 지리적참조 위치가 포함될 수 있음)로부터의 지리적참조 정보를 이용할 수 있다. 현지화 발생 모듈(218)은 결과적인 병합된 ADF 데이터로부터 하나 이상의 LADF들을 발생시키고, 그리고 이러한 하나 이상의 LADF들을 후속의 정보검색(retrieval)을 위해 LADF 데이터저장소(206)에 저장하고 인덱싱(indexing)한다. 질의 모듈(220)은, 모바일 디바이스(234)(모바일 디바이스(104)의 일 실시예)로부터 네트워크 인터페이스(202)를 통해 LADF 요청(236)을 수신하고, LADF 요청(236)에 대응하는 LADF(134)에 대해 LADF 데이터저장소(206)를 검색하고, 그리고 LADF(134)를 모바일 디바이스(234)에게 제공한다. 모바일 디바이스(234)는 모바일 디바이스(234)의 현지화를 위해 LADF(134)를 사용한다. 이러한 현지화 프로세스 동안, 모바일 디바이스(234)는 LADF(134)에 관한 LADF 피드백(238)을 네트워크 인터페이스(202)를 통해 ADF 서버(102)에게 제공할 수 있다. ADF 서버(102)는 LADF 피드백(238)을 사용하여 특징 점수 데이터저장소(208) 내에 나타난 공간 특징들의 특징 점수들을 조정할 수 있고, 그리고 이러한 특징 점수들에 근거하여 공간 특징들을 추가 혹은 제거함으로써 LADF(134)를 정제할 수 있다. 이러한 동작들이 도 4 내지 도 12를 참조하여 아래에 더 상세히 설명된다.

논의된 바와 같이, 모바일 디바이스들(232 및 234)은 모바일 디바이스(104)의 실시예들을 나타낸다. 이들의 각각의 동작 요건들로 인해, LADF를 사용하여 현지화 프로세스를 수행하는 모바일 디바이스(232)는 ADF 업로드 프로세스를 수행하는 모바일 디바이스(234)와 동일한 능력들을 요구하지 않을 수 있다. 예시를 위해, 모바일 디바이스(234)는 ADF를 발생시키고 업로드하는 프로세스와 관련하여 SLAM 동작들을 용이하게 하기 위해 깊이 센서(120) 혹은 입체 카메라(stereo camera) 구성을 이용할 수 있고, 반면 모바일 디바이스(232)는 전형적으로 깊이 센서(120)를 요구하지 않을 것이고 단지 현지화 프로세스를 용이하게 위해 단안 카메라(monocular camera) 구성만을 요구한다.

도 3은 본 개시내용의 적어도 하나의 실시예에 따른, 모바일 디바이스(104)에 의해 구현되는 예시적 프로세싱 시스템(300)을 예시한다. 프로세싱 시스템(300)은 디스플레이(118), 이미지화 센서들(124, 126), 그리고 깊이 센서(130)를 포함한다. 프로세싱 시스템(300)은 또한, 그래픽 프로세싱 유닛(Graphics Processing Unit, GPU)(302), 프레임 버퍼들(frame buffers)(303 및 305), 애플리케이션 프로세서(application processor)(304), 디스플레이 제어기(display controller)(306), 시스템 메모리(system memory)(308), 비-이미지 센서들의 세트(310), 그리고 사용자 인터페이스(312)를 포함한다. 사용자 인터페이스(312)는 모바일 디바이스(104)에 사용자 입력을 제공하기 위해 사용자에 의해 조작되는 하나 이상의 컴포넌트(component)들을 포함하는데, 예컨대 터치스크린(314), 마우스, 키보드, 마이크로폰(microphone)(316), 다양한 버튼들 혹은 스위치들, 그리고 다양한 촉각적 작동기들(haptic actuators)(318)과 같은 것을 포함한다. 비-이미지 센서들의 세트(310)는 모바일 디바이스(104)의 비-이미지(non-image) 상황(context) 혹은 상태(state)를 제공하기 위해 사용되는 다양한 센서들 중 임의의 센서를 포함할 수 있다. 이러한 센서들의 예들은, 자이로스코프(gyroscope)(321), 자력계(magnetometer)(322), 및 가속도계(accelerometer)(323) 중 하나 이상을 포함하는 관성 관리 유닛(IMU)(320)을 포함한다. 비-이미지 센서들은 또한, 예를 들어, 주변 광 센서(ambient light sensor)(326)를 포함할 수 있을 뿐만 아니라 다양한 무선 수신 혹은 전송 기반 센서들, 예컨대 GPS 센서(328), 무선 로컬 영역 네트워크(WLAN) 인터페이스(330), 셀룰러 인터페이스(332), 피어-투-피어(Peer-to-Peer)(P2P) 무선 인터페이스(234), 및 근접장 통신(Near Field Communications, NFC) 인터페이스(336)를 포함할 수 있다. 비-이미지 센서들은 또한, 터치스크린(314) 혹은 마이크로폰(316)과 같은 사용자 인터페이스(312)의 사용자 입력 컴포넌트들을 포함할 수 있다.

모바일 디바이스(104)는 또한, 모바일 디바이스(104)의 이미지 프로세싱, 위치 맵핑, 및 위치-이용 프로세스들과 함께 사용되는 정보 혹은 메타데이터를 저장하는 다양한 데이터저장소들(338)에 액세스한다. 데이터저장소들(338)은, 모바일 디바이스(104)의 이미지화 센서들에 의해 캡처된 이미지로부터 식별되는 2D 혹은 3D 공간 특징들에 대한 메타데이터를 저장하기 위한 공간 특징 데이터저장소; 모바일 디바이스(104)에 의해 이미 탐색된 영역(122)(도 1)의 하위-영역들에 대한 맵핑 정보와 같은 SLAM-기반 정보를 저장하는 SLAM 데이터저장소; 그리고 영역(122) 내에서 관심 있는 객체들의 상대적인 위치들의 CAD-기반 표현들과 같은 AR 오버레이 정보 혹은 VR 정보를 저장하는 AR 데이터저장소를 포함할 수 있다. 데이터저장소들(338)은 모바일 디바이스(104)의 하나 이상의 저장 컴포넌트들에서 구현될 수 있는데, 예컨대, 하드 드라이브(hard drive), 고체 상태 메모리(solid state memory), 혹은 탈착가능한 저장 매체(미도시) 상에서 구현될 수 있다.

동작시, 이미지화 센서들(124, 126)은 임의의 영역의 이미지를 캡처하고, 캡처된 이미지를 프레임 버퍼들(303, 305) 내에 버퍼링(buffering)한다. 이미지가 본래의 형태 혹은 수정된 형태로 디스플레이되도록 하기 위해서, GPU(302)는 캡처된 이미지를 디스플레이를 위해 (예를 들어, AR 오버레이를 렌더링(redndering)함으로써) 프로세싱하고, 그리고 디스플레이 제어기(306)는 프로세싱된 이미지를 디스플레이하도록 디스플레이(118)를 제어한다. 더욱이, 본 명세서에서 설명되는 바와 같이, 모바일 디바이스(104)는 이전에-맵핑되지 않은 위치들에 대한 ADF들(134)을 업로드하도록 동작하고, 뿐만 아니라 이전에-맵핑된 위치들에 대한 LADF들을 다운로드하여 임의의 다운로드된 LADF를 모바일 디바이스(104)의 현지화를 용이하게 하는데 사용하도록 동작한다. 이러한 목적을 위해, 하나 이상의 소프트웨어 프로그램들이 시스템 메모리(308) 혹은 다른 비-일시적 컴퓨터 판독가능 매체에 저장될 수 있고, 그리고 이러한 ADF 발생 및 LADF 이용 기능을 제공하기 위해 애플리케이션 프로세서(304) 및 GPU(302) 중 하나 혹은 양쪽 모두에 의해 실행될 수 있다. 예시의 용이함을 위해, 하나 이상의 소프트웨어 프로그램들이 도 3에서 ADF 발생 프로그램(342) 및 LADF 프로세싱 프로그램(344)으로서 도시되어 있다. 이러한 프로그램들은, 프로세싱 시스템(300)에 의해 실행되는 운영 체계(Operating System, OS)에서 쓰레드(thread) 혹은 다른 프로세스로서 구현될 수 있거나, 또는 동일한 소프트웨어 애플리케이션의 쓰레드들, 프로세스들, 혹은 서브루틴(subroutine)들로서 구현될 수 있거나, 또는 별개로-실행되는 소프트웨어 애플리케이션들로서 구현될 수 있다. 더욱이, 일부 실시예들에서, 본 명세서에서 설명되는 프로그램들(342, 344)의 기능 중 일부 혹은 모두는 ASIC, 프로그래밍가능 로직(programmable logic), 혹은 다른 하드-코딩된 로직(hard-coded logic)을 통해 구현될 수 있다.

ADF 발생 프로그램(342)은 예를 들어, 사생활 필터 모듈(346), 공간 특징 검출 모듈(348), 그리고 ADF 조합 모듈(ADF assembly module)(350)을 포함할 수 있다. 도 3에서 도시된 바와 같이, 사생활 필터 모듈(346)은 하나 이상의 이미지 콘텐츠 필터들(image content filters)(예컨대, 텍스트 필터 모듈(text filter module)(352) 및 안면 필터 모듈(facial filter module))을 포함할 수 있을 뿐만 아니라 다운샘플러 모듈(downsampler module)(356)을 포함할 수 있다. LADF 프로세싱 프로그램(344)은 예를 들어, 공간 특징 검출 모듈(358)(이것은 공간 특징 검출 모듈(348)일 수 있음), 요청 모듈(360), 현지화 모듈(362), 및 피드백 모듈(364)을 포함할 수 있다. ADF 발생 프로그램(342) 및 LADF 프로세싱 프로그램(344)의 동작들을 포함하는 프로세싱 시스템(300)의 동작들은 아래에서 상세히 설명된다.

앞에서 설명된 바와 같이, 모바일 디바이스(104)가 임의의 맵핑되지 않은 영역(즉, ADF 서버(102)가 임의의 이용가능한 LADF를 가지고 있지 않은 영역) 내에 있을 때, 모바일 디바이스(104)는 ADF 발생 모드(ADF generation mode)로 동작할 수 있고, 그럼으로써 모바일 디바이스(104)는 그 맵핑되지 않은 영역에서 검출된 공간 특징들을 나타내는 ADF를 발생시키게 되고, 그리고 모바일 디바이스(104)는 ADF를 ADF 서버(102)로 업로드할 수 있다. 하지만, 만약 해당 영역이 이미 맵핑된 영역이고, ADF 서버(102)가 그 영역에 대한 LADF를 가지고 있다면, 모바일 디바이스(104)는 앞서와 같이 동작하는 대신 LADF 현지화 모드(LADF localization mode)로 동작할 수 있고, 그럼으로써 모바일 디바이스(104)는 ADF 서버(102)로부터 해당 영역에 대한 LADF를 획득하게 되고, 그리고 LADF가 나타내는 비조밀한 포인트 클라우드를 사용하여 현지화 프로세스를 수행하게 되며 이에 따라 해당 영역에 대해 모바일 디바이스(104)를 현지화시키게 된다.

도 4는 적어도 하나의 실시예에 따른 이러한 동작 모드들 간의 선택을 행하기 위한 예시적인 방법(400)을 예시한다. 설명의 용이함을 위해, 방법(400)은 도 3의 프로세싱 시스템(300)의 예시적 상황에서 설명된다. 방법(400)은 블록(402)에서 개시되며, 그럼으로써 모바일 디바이스(104)는 모바일 디바이스(104)에 의해 이전에 맵핑되지 않았던 영역 안으로 움직였음을 결정한다. 이에 응답하여, 모바일 디바이스(104)는 현지화 프로세스 혹은 움직임 추적 프로세스를 개시한다.

블록(404)에서, 모바일 디바이스(104)는 해당 영역에 대해 임의의 LADF가 이용가능한지 여부를 결정하기 위해 ADF 서버(102)에게 질의한다. 도 10 내지 도 12를 참조하여 아래에서 설명되는 바와 같이, ADF 서버(102)는 2-스테이지 질의 프로세스를 구현할 수 있고, 그럼으로써 모바일 디바이스(104)는, 해당 영역 내에서 모바일 디바이스에 의해 캡처된 이미지로부터의 공간 특징들의 세트와, 그리고 하나 이상의 위치 표시자들(예를 들어, GPS 좌표들, 혹은 모바일 디바이스(104)에 의해 검출된 WLAN 혹은 셀 타워(cell tower) 기지국(base station)들의 기지국 식별자들(base station identifiers))을 모두 제공하고, 그리고 ADF 서버(102)는 대응하는 LADF를 식별하기 위해 LADF 데이터저장소(206)에 질의한다.

ADF 서버(102)로부터 LADF가 이용가능하지 않은 경우에, 해당 영역은 맵핑되지 않은 위치인 것으로 고려되고, 따라서 블록(406)에서 모바일 디바이스(104)와 ADF 서버(102)는 그 맵핑되지 않은 위치에 대한 ADF/LADF 발생 프로세스를 수행하도록 조정(coordinate)된다. 이러한 프로세스가 도 5를 참조하여 아래에서 더 상세히 설명된다. ADF 서버(102)로부터 LADF가 이용가능한 경우에, 해당 영역은 맵핑된 위치인 것으로 고려되고, 따라서 블록(408)에서 모바일 디바이스(104)와 ADF 서버(102)는 LADF 현지화 및 업데이트 프로세스를 수행하도록 조정되고, 이것은 도 6을 참조하여 아래에서 더 상세히 설명된다.

도 5는 적어도 하나의 실시예에 따른 ADF/LADF 발생 프로세스를 구현하기 위한 예시적 방법(500)을 예시한다. 앞에서 논의된 바와 같이, ADF/LADF 발생 프로세스는 모바일 디바이스(104)가 새롭게 마주치게 되는 임의의 영역에 대해 LADF가 이용가능하지 않다는 결정에 응답하여 수행된다. 이에 따라, 영역 서술 데이터의 수동적 수집(passive collection)을 위한 사용자 동의(user consent)를 수신한 이후, 방법(500)은 블록(502)에서 개시되며, 블록(502)에서는 모바일 디바이스(104)의 센서들을 사용하여 영역 학습 프로세스가 개시된다. 영역 학습 프로세스를 수행하기 위해, 모바일 디바이스(104)는, 모바일 디바이스(104)가 해당 영역에서 이리저리 움직임에 따라, 이미지화 센서들(124, 126)을 통해 이미지(372)(도 3)를 캡처하고 아울러 대응하는 깊이 정보(373)를 깊이 센서(130)를 통해 캡처한다. 모바일 디바이스(104)는 이미지(372) 및 깊이 정보(373)가 모바일 디바이스(104)에 의해 캡처됨에 따라 해당 영역을 탐색하도록 모바일 디바이스(104)의 사용자를 유도하기 위해 예를 들어 상호작용형 게임(interactive game)을 이용할 수 있다.

이와 동시에, ADF 조합 모듈(350)은 비-이미지 센서들의 세트(310)에서의 비-이미지 센서들 중 하나 이상의 비-이미지 센서로부터 비-이미지 센서 데이터(374)(도 3)를 캡처한다. 예시를 위해, ADF 조합 모듈(350)은 이미지(372)의 캡처 동안 가속도계(323)로부터 센서 데이터를 캡처할 수 있고, 따라서 이미지 캡처시에 중력(gravity)에 대한 모바일 디바이스(104)의 배향을 나타낼 수 있다. 유사하게, 자이로스코프(321)로부터 캡처된 센서 데이터는 캡처된 이미지 내에서 나타나는 시각적 특징들에 대한 모바일 디바이스(104)의 이동 방향을 결정하는데 사용될 수 있다. 더욱이, 비-이미지 센서 데이터(374)는 모바일 디바이스(104)의 위치 표시자들로서 동작할 수 있는 센서 데이터를 포함할 수 있다. 이러한 위치 표시자들은 지리적참조 위치 표시자들(예컨대, GPS 센서(328)에 의해 제공되는 센서 데이터 내에서 나타나는 위도/경도 좌표들)일 수 있다. 대안적으로, 이러한 위치 표시자들은 추론된 위치 표시자들(inferred location indicators)일 수 있다. 예시를 위해, WLAN 기지국들 및 셀 타워 기지국들은 고정되어 있는 것으로 추정되기 때문에, WLAN 기지국 혹은 셀 타워 기지국의 검출은 모바일 디바이스가 그 검출된 기지국에 근접해 있다는 표시로서의 역할을 하고, 따라서 기지국 식별자(Base Station IDentifier, BSID), 매체 액세스 제어(Media Access Control, MAC) 어드레스(address), 혹은 기지국의 다른 식별자는 모바일 디바이스에 대한 추론된 위치 표시자로서의 역할을 할 수 있다.

아래에서 설명되는 바와 같이, 캡처된 이미지(372) 및 깊이 정보(373)는 궁극적으로 ADF 서버(102)로 업로드되는 공간 특징들의 포인트 클라우드를 결정하는데 사용된다. 이러한 포인트 클라우드는 이미지 데이터 자체는 아니지만, 포인트 클라우드의 밀도 및 다른 상태들에 따라, 임의의 수정되지 않은 포인트 클라우드가 그 캡처된 이미지(372) 내에 본래 존재하는 특정 시각적 콘텐츠를 재구성(reconstruct)하는 데 사용될 수 있음이 가능하다. 예를 들어, 만약 모바일 디바이스(104)가 임의의 문서(document)에 특히 가까이 배치되어 있다면, 그 문서의 캡처된 이미지로부터 결정되는 포인트 클라우드는 해당 문서의 텍스트를 재현(reproduce)하는 데 사용될 수 있음이 가능하다. 이에 따라, 의도하지 않은 시각적 콘텐츠의 공개를 방지하기 위해, 사생활 필터 모듈(346)이 적어도 2개의 사생활 제어들을 구현할 수 있다.

제 1 사생활 제어는 블록(504)에서 구현되며, 여기서 사생활 필터 모듈(346)은 캡처된 이미지(372)에 관해 하나 이상의 콘텐츠 필터 프로세스들을 수행하여 사생활 암시들을 가질 수 있는 영역들로부터 이미지 콘텐츠를 제거하게 된다. 예를 들어, 블록(504)에서, 텍스트 필터 모듈(352)은 텍스트 필터 프로세스를 수행할 수 있고, 그럼으로써 블록(502)에서 캡처된 각각의 이미지는 하나 이상의 잘-알려진 텍스트 인식 알고리즘들을 사용하여 스캐닝(scanning)되어 잠재적으로 텍스트 콘텐츠를 나타내는 임의의 영역들이 이미지 내에 존재하는지 여부를 결정하게 된다. 잠재적 텍스트 영역으로서 검출된 각각의 영역에 대해, 텍스트 필터 모듈(352)은 예를 들어, 해당 영역 내의 픽셀들 혹은 인접하는 영역들 내의 픽셀들과의 혼합 동작(blending operation)을 수행하는 것을 행함으로써, 또는 해당 영역 내의 픽셀 값들을 동일한 디폴트 픽셀 영역(default pixel region)으로 대체하거나 혹은 그렇지 않으면 해당 영역 내의 픽셀 값들을 삭제하는 것, 등을 행함으로써, 이러한 영역을 명확하지 않게 하거나 삭제할 수 있다. 마찬가지로, 블록(504)에서, 안면 필터 모듈(354)은 안면 필터 프로세스를 구현할 수 있고, 그럼으로써 각각의 캡처된 이미지는 하나 이상의 잘-알려진 안면 인식 알고리즘들을 사용하여 스캐닝되어 잠재적으로 사람 얼굴을 나타내는 임의의 영역들이 이미지 내에 존재하는지 여부를 결정하게 되고, 그리고 그렇게 식별된 각각의 이미지로부터 이미지를 제거하도록 이미지를 필터링하게 된다. 이러한 방식으로, 공간 특징 검출 이전에 잠재적으로 민감한 시각적 콘텐츠를 제거하도록 이미지는 사전에-필터링되고, 따라서 공간 특징들의 결과적인 포인트 클라우드는 잠재적으로 민감한 시각적 콘텐츠를 재구성하는데 사용될 수 없다.

블록(506)에서, 공간 특징 검출 모듈(348)은 필터링된 이미지를 분석하여 그 안에 포함된 공간 특징들을 검출하게 된다. 다양한 공간 특징 추출 알고리즘들 중 임의의 알고리즘이 사용될 수 있으며, 이러한 공간 특징 추출 알고리즘들은 예를 들어, 스케일-불변 특징 변환(Scale-Invariant Feature Transform, SIFT) 알고리즘, 스피디-업 로버스트 특징(Speeded-Up Robust Features, SURF) 알고리즘, 그레이 레벨 패치(Gray Level Patch) 알고리즘, 그레이디언트 위치 및 배향 히스토그램(Gradient Location and Orientation Histogram, GLOH) 알고리즘, 제르니케 모멘트(Zernike Moment) 알고리즘, 바이너리 로버스트 독립적 기본 특징(Binary Robust Independent Elementary Features, BREIF) 알고리즘, 지향성 BRISK(ORiented BRISK, ORB) 알고리즘, 바이너리 로버스트 불변 스케일가능 키포인트(Binary Robust Invariant Scalable Keypoints, BRISK) 알고리즘, 가우시안 차이(Difference Of Gaussians, DOG) 알고리즘, 고속 레티나 키포인트(Fast Retina Keypoint, FREAK) 알고리즘, 등과 같은 것이다. 공간 특징 검출 모듈(348)은 이러한 검출된 공간 특징들을 공간 특징 데이터(376)로서 제공한다. 예시를 위해, FREAK 알고리즘은 이미지 패치(image patch) 내의 픽셀들의 쌍(pair)들을 비교하는 것을 제공하는데, 여기서 각각의 비교의 출력은 "0" 또는 "1"이고, 이것에 근거하여 픽셀은 해당 쌍의 더 밝은 픽셀이 되거나 혹은 더 어두운 픽셀이 된다. FREAK 알고리즘에서는, 512개의 이러한 비교들이 이미지 패치에 걸쳐 컴퓨팅되고, 그 결과는 이미지 패치를 나타내는 대응하는 공간 특징에 대한, 뿐만 아니라, 그 공간 특징의 위치를 3D 기준 프레임 내에서 식별시키는 (x,y,z) 벡터(vector)에 대한 512 길이의 바이너리 스트링(binary string)인 공간 특징 서술자이다.

더욱이, 공간 특징 검출 모듈(348)은 각각의 검출된 지점에 대한 통계적 메타데이터(378)를 결정한다. 통계적 메타데이터(378)는, 모바일 디바이스(104)의 특정 화각(viewing angle)과는 실질적으로 독립된 방식으로, 또는 대응하는 이미지가 캡처된 때의 주변 조명과는 실질적으로 독립된 방식으로, 대응하는 공간 특징을 서술한다. 예를 들어, 통계적 메타데이터(378)는 공간 특징을 나타내는 픽셀들의 밝기의 평균 및 표준 편차, 하나 이상의 방향들에서의 밝기 그레이디언트들(brightness gradients)(혹은 다른 시각적 특성 그레이디언트들) 등을 나타내는 값들을 포함할 수 있다.

비록 사생활 필터 모듈(346)이, 검출된 텍스트 및 안면 콘텐츠의 이미지를 제거(scrub)했고, 따라서 공간 특징 데이터(376)가 나타내는 공간 특징들의 본래의 포인트 클라우드에 텍스트 콘텐츠 및 안면 콘텐츠가 실질적으로 없을지라도, 본래의 포인트 클라우드는 그 본래의 포인트 클라우드로부터 해당 영역의 시각적 외관을 어느 정도의 레벨로 재구성할 수 있을 만큼 충분한 공간 특징 밀도를 여전히 가질 수 있다. 따라서, 제 2 사생활 제어로서, 블록(508)에서, 사생활 필터 모듈(346)의 다운샘플러 모듈(downsampler module)(356)은 본래의 포인트 클라우드를 다운샘플링(downsampling)하여 공간 특징들의 필터링된 포인트 클라우드(380)(도 3)를 발생시키게 되는데, 이러한 필터링된 포인트 클라우드(380)(도 3)는 본래의 포인트 클라우드의 공간 특징들의 임의의 선택된 서브세트만을 포함한다. 이것은 결과적인 포인트 클라우드로부터 임의의 영역의 시각적 외관이 재구성될 수 있는 가능성을 감소시키는 이점, 뿐만 아니라 결과적인 필터링된 포인트 클라우드(380)를 나타내는데 필요한 데이터의 양을 감소시키는 이점을 모두 갖는다. 다운샘플링 프로세스는 하나 이상의 다운샘플링 기준들에 의해 제어될 수 있다. 예를 들어, 일부 실시예들에서, 다운샘플링 프로세스는, 필터링된 포인트 클라우드로부터 제외시키기 위한 공간 특징들의 무작위 선택, 매 X번째 공간 특징의 제거(여기서, X는 2보다 큰 정수임), 또는 필터링된 포인트 클라우드 내에 포함시키기 위한 최대 개수보다 많지 않은 개수의 공간 특징들의 선택을 포함할 수 있다. 또 하나의 다른 예로서, 다운샘플링 프로세스는 입방 단위(cubic unit) 당(즉, 단위 체적 당) 공간 특징들의 최대 개수를 특정하는 최대 공간 특징 밀도 기준에 의해 제어될 수 있다. 예를 들어, 최대 공간 특징 밀도 기준은 필터링된 포인트 클라우드(380)가 입방 피트(cubic foot) 당 최대 1개의 공간 특징을 포함하도록 특정할 수 있고, 따라서 결과적인 필터링된 포인트 클라우드 내에 입방 피트 당 1개보다 많지 않은 공간 특징이 나타나도록 본래의 포인트 클라우드가 다운샘플링될 수 있다.

블록(510)에서, ADF 조합 모듈(350)은 필터링된 포인트 클라우드(380), 통계적 메타데이터(378), 및 비-이미지 센서 데이터(374)를 사용하여 ADF(132)를 발생시키게 된다. 일 실시예에서, ADF(132)는 필터링된 포인트 클라우드(380)를 다차원 좌표들(multidimensional coordinates)의 목록(list) 혹은 다른 세트로서 나타내는 파일(file) 혹은 다른 데이터 구조를 포함하고, 여기에는 나타나는 공간 특징에 대한 통계적 메타데이터(378)를 저장하기 위한 각각의 다차원 좌표에 대한 필드(field)가 함께 포함된다. 예시를 위해, 각각의 다차원 좌표는 (x,y,z) 부동 소수점 벡터(floating point vector)를 포함할 수 있고, 이러한 (x,y,z) 부동 소수점 벡터는 대응하는 공간 특징의 3D 위치를 모바일 디바이스(104)의 (X,Y,Z) 좌표 프레임에서 나타낸다. 데이터 구조는 또한 비-이미지 센서 데이터(374)를 저장하기 위한 하나 이상의 필드들을 포함할 수 있고, 뿐만 아니라, ADF 서버(102)에 의해 ADF(132)에 할당되는 고유한 식별자(Unique IDentifier, UID)를 저장하기 위한 필드를 포함할 수 있는데, 이것은 아래에서 설명되는 바와 같다.

블록(512)에서, ADF 조합 모듈(350)은 ADF 서버(102)로의 전송을 위해 적절한 네트워크 인터페이스(예를 들어, 셀룰러 인터페이스(332) 혹은 WLAN 인터페이스(330))에 ADF(132)를 제공한다. 일부 실시예들에서, ADF 조합 모듈(350)은 ADF 업로드 요청 신호를 ADF 서버(102)에게 보내고, ADF 서버(102)는 ADF에 할당되는 UID로 응답하고, ADF 조합 모듈(350)은 이러한 UID를 ADF(132)가 업로드되기 전에 ADF(132) 내의 적절한 필드 안에 삽입한다. 더욱이, 블록들(502 내지 512)의 프로세스가 순차적 프로세스로서 설명되었고, 그럼으로써 ADF(132)는 업로드되기 전에 완성되게 되지만, 일부 실시예들에서, ADF(132)는 반복적 프로세스에서 발생 및 업로드되며, 그럼으로써 ADF(132)는 ADF 블록들의 시퀀스(sequence)로서 발생되고, 여기서 각각의 ADF 블록은 캡처된 이미지의 일부분으로부터 발생되는 포인트 클라우드의 서브세트를 포함하고, 그리고 각각의 ADF 블록은 ADF에 할당된 UID로 표시(mark)되고 그 발생에 따라 ADF 서버(102)로 업로드된다. 따라서, ADF 서버(102)는 이러한 ADF 블록들을 개별적으로 저장할 수 있고, 또는 동일한 UID로 표시(denote)된 ADF 블록들을 단일의 ADF(132)로 결합할 수 있다.

모바일 디바이스(104)에 의해 업로드되는 ADF(132)는 모바일 디바이스(104)가 위치하고 있는 영역 내에 존재하는 특정의 시각적 특징들을 나타낸다. 하지만, 블록들(504 및 508)을 참조하여 앞에서 설명된 바와 같이 모바일 디바이스(104)에 의해 구현되는 사생활 제어들을 통해, (ADF 서버(102)에 제공되는) ADF(132) 내에 포함되는 정보에는 사생활 암시들을 가질 수 있는 임의의 콘텐츠가 실질적으로 없다. 오히려, 결과적인 ADF(132)는 해당 영역의 다양한 에지(edge)들, 코너(corner)들, 및 다른 시각적 특징들을 서술하되 그러한 서술되는 시각적 특징들에 근거하여 또 하나의 다른 모바일 디바이스가 후속적으로 현지화를 수행할 수 있게 할 만큼 충분한 정도로 서술할 수 있는 비조밀한 포인트 클라우드를 포함하지만, 이러한 비조밀한 포인트 클라우드는 사람이 인식하는데 의미있는 방식으로 해당 영역의 시각적 외관들의 복제(replication)를 지원하기에는 불충분한 정보를 포함한다. 이에 따라, ADF 서버(102)는 임의의 맵핑된 영역에 관하여 잠재적으로 민감한 정보를 노출시킬 만큼 주목할만한 잠재력을 갖는 모바일 디바이스(104)로부터의 어떠한 정보도 소유하지 않게 된다.

ADF/LADF 발생 프로세스에서의 ADF 서버(102)의 역할은 블록(514)에서 개시하며, 블록(514)에서는 병합 모듈(212)이 네트워크 인터페이스(202)를 통해 모바일 디바이스(104)로부터 ADF(132)를 수신한다. ADF(132)를 수신하는 경우, 병합 모듈(212)은 일시적으로 ADF(132)을 인덱싱하고 ADF 데이터저장소(204) 내에 저장한다. ADF(132)는, ADF(132)에 할당된 UID에 근거하여, 그리고 ADF(132)가 나타내는 포인트 클라우드 내에서 나타나는 공간 특징들에 근거하여, 그리고 ADF(132)와 함께 포함되는 위치 표시자(들) 등에 근거하여, 일시적 저장을 위해 인덱싱될 수 있다. 적어도 하나의 실시예에서, 각각의 ADF(132)는 도 10 내지 도 12를 참조하여 아래에서 설명되는 2-계층 질의(two-layer query) 접근법을 사용하여 ADF 데이터저장소(204) 내에 저장 및 인덱싱된다.

일부 사례들에서, 복수의 모바일 디바이스들은 임의의 영역에 대한 혹은 인접하는 영역들에 대한 대응하는 ADF를 업로드했을 수 있다. 따라서, ADF 서버(102)는 블록(516)에서 이러한 같은-위치에 있는 ADF들(co-located ADFs)을 병합하도록 동작하는데, 이것은 결과적으로 병합되는 ADF들을 하나 이상의 LADF들로 프로세싱하기 전에 일어난다. 블록(516)의 병합 프로세스는 다양한 트리거(trigger)들 중 어느 하나에 응답하여 개시될 수 있다. 예를 들어, 병합 프로세스는, 특정된 양의 시간이 경과함에 의해, 그리고 모바일 디바이스들로부터의 특정된 개수의 ADF들을 수신함에 의해, 그리고 임의의 모바일 디바이스로부터의 LADF에 대한 요청 등에 의해, 트리거될 수 있다. 이러한 트리거에 응답하여, 블록(518)에서, 병합 모듈(212)은 임의의 "가까이 있는(nearby)" ADF들(즉, 동일한 영역 혹은 인접하는 영역을 커버하는 ADF들)이 존재하는지 여부를 식별하기 위해 질의 모듈(220)로 하여금 ADF 데이터저장소(204)에 질의하도록 하는 신호를 질의 모듈(220)에게 보낸다. 일부 실시예들에서, 가까이 있는 ADF들은 ADF 데이터저장소(240) 내에서 ADF들과 관련된 위치 표시자들을 비교하는 것에 근거하여 식별될 수 있다. 예를 들어, 모바일 디바이스로부터의 ADF(132)의 업로드가 병합 프로세스를 트리거했고 그 업로드된 ADF(132)가 위치 표시자들로서 하나 이상의 WLAN MAC 어드레스들을 포함한다고 가정하면, 업로드되는 ADF와 함께 제공되는 것과 동일한 WLAN MAC 어드레스들을 갖는 것으로서 질의 모듈(220)에 의해 식별된 ADF 데이터저장소(240) 내의 그러한 ADF들, 또는 업로드되는 ADF에 의해 식별되는 WLAN 기지국에 의해 커버되는 영역에 인접하는 것으로 알려진 WLAN 기지국들의 WLAN MAC 어드레스들을 갖는 것으로서 질의 모듈(220)에 의해 식별된 ADF 데이터저장소(240) 내의 그러한 ADF들이, 가까이 있는 ADF들로서 식별된다. 또 하나의 다른 예로서, 업로드되는 ADF에는 위치 표시자로서 GPS 좌표들이 제공될 수 있고, 질의 모듈(220)은 ADF 데이터저장소(240) 내의 ADF들을 이들의 대응하는 GPS 좌표들에 근거하여 가까이 있는 것으로서 식별할 수 있다. 다른 실시예들에서, 가까이 있는 ADF들은, 업로드되는 ADF 내에서 나타나는 공간 특징들을 ADF 데이터저장소(240) 내에 저장된 ADF들 내에서 나타나는 공간 특징들과 비교하는 것에 근거하여 식별될 수 있다. 따라서, 공간 특징들의 충분히 중첩되는 세트를 갖는 그러한 ADF들이, 동일한 영역 혹은 가까이 있는 영역을 나타내는 것으로서 식별될 수 있고, 이에 따라 가까이 있는 ADF들로서 식별될 수 있다. 또한 더욱이, 도 10 내지 도 12를 참조하여 아래에서 설명되는 바와 같이, ADF 서버(102)는 ADF 데이터저장소(204)와 LADF 데이터저장소(206) 중 하나 혹은 양쪽 모두에 대해 2-계층 질의를 구현할 수 있는데, 이에 따라 각각의 저장되는 ADF/LADF는 그 공간 특징 세트 및 하나 이상의 위치 표시자들에 모두 근거하여 저장을 위해 인덱싱되게 되고 그리고 가까이 있는 ADF들은, 업로드되는 ADF의 공간 특징 세트, 뿐만 아니라 업로드되는 ADF의 하나 이상의 위치 표시자들을 모두 사용하여 2-계층 인덱싱 프로세스를 수행함으로써 식별되게 된다.

질의 모듈(220)에 의해 식별되는 하나 이상의 가까이 있는 혹은 같은-위치에 있는 ADF들의 세트는 본 명세서에서 "ADF 클러스터(ADF cluster)"로서 지칭된다. ADF 클러스터가 식별되는 경우, 블록(520)에서, 병합 모듈(212)은 ADF 클러스터의 ADF들 내에서 나타나는 중복되는 공간 특징(duplicate spatial feature)들을 제거하기 위해 하나 이상의 중복부분제거 프로세스(deduplication process)들을 수행하도록 동작한다. 더욱이, ADF 클러스터가 과도하게 큰 영역을 나타내거나, 혹은 과도하게 많은 수의 공간 특징들을 포함하고 있는 경우에, 병합 모듈(212)은 ADF 클러스터를 하나 이상의 더 작은 ADF 클러스터들로 분할할 수 있고, 분할된 ADF 클러스터들 각각은 본 명세서에서 설명되는 바와 같이 프로세싱될 수 있다. 블록(522)에서, 병합 모듈(212)은 ADF 클러스터의 ADF들 간의 상대적인 정렬을 결정하기 위해 하나 이상의 잘-알려진 루프 클로저 알고리즘들을 이용한다. 블록(524)에서, 병합 모듈(212)은, 하나 이상의 안정도 기준들(stability criteria)을 사용하여 식별되는 바와 같이, ADF 클러스터의 ADF들 대부분 혹은 모두에서 신뢰가능하게 관측되지 않는 공간 특징들을 선택적으로 제거하기 위해 ADF 클러스터를 분석한다. 이것은 해당 영역의 영구적인 시각적 특징들을 나타낼 가능성이 없는(따라서, 현지화를 위한 신뢰가능하지 않는 소스들인) 공간 특징들을 제거할 목적, 뿐만 아니라 ADF 클러스터가 나타내는 결합된 포인트 클라우드 내의 공간 특징들의 총 개수를 감소시킬 목적으로 쓰인다. 제거할 공간 특징들을 선택함에 있어, 병합 모듈(212)은, 예를 들어, ADF 클러스터의 ADF들 내에서 공간 특징들이 관측되는 빈도에 근거하여 공간 특징들에게 점수들을 제공함으로써, 안정도 기준에 근거하는 점수화 시스템(scoring system)을 이용할 수 있다. 더욱이, 더 새로운 ADF들이 해당 영역의 현재 상태를 나타낼 가능성이 더 높기 때문에, 병합 모듈(212)은 더 새로운 ADF들 내의 공간 특징들에게 포함 우선권(inclusion preference)을 제공할 수 있다.

일부 경우들에서, ADF와 함께 제공되는 비-이미지 센서 데이터(374)는 ADF가 지리적참조될 수 있게 할 수 있다. 예를 들어, 비-이미지 센서 데이터(374)는 ADF 내의 공간 특징들의 검출시에 모바일 디바이스(104)의 지리적참조 자세(georeferenced pose)의 표시자들 및 GPS 좌표들을 포함할 수 있다. ADF 클러스터의 ADF들의 상대적인 정렬이 블록(522)에서 결정되는 경우, 만약 ADF 클러스터 내의 하나의 ADF가 지리적참조된다면, 블록(526)에서, ADF 클러스터 내의 다른 ADF들은 그 지리적참조된 ADF의 상대적인 정렬 및 지리적위치(geolocation) 정보를 사용하여 좌표 프레임 변환을 적용하는 것에 근거하여 지리적참조될 수 있다. 더욱이, 예를 들어, 구글 주식회사에서 제공되는 스트리트 뷰 툴을 통해 지리적참조되는 시각적 참조 데이터가 이용가능한 경우에, ADF 클러스터의 ADF들은 이러한 지리적참조되는 시각적 참조 데이터를 사용하여 지리적참조될 수 있다.

ADF 클러스터의 ADF들이 병합되는 경우, 블록(528)에서, 현지화 발생 모듈(218)은 병합된 ADF들을 사용하여 그 병합된 ADF들이 나타내는 영역들에 대한 하나 이상의 LADF들을 발생시킨다. 병합된 ADF들의 데이터 크기가 충분히 작거나, 혹은 충분히 작은 영역을 커버하는 경우에, 그 병합된 ADF들은 단일 LADF로서 저장 및 인덱싱될 수 있다. 하지만, 병합된 ADF들의 데이터 크기가 임의의 임계치보다 크거나, 혹은 병합된 ADF들이 너무 큰 영역을 커버하거나, 혹은 해당 영역이 (ADF들의 포인트 클라우드들 내에서 벽(wall)들, 칸막이(partition)들, 출입문(door)들, 및 창문(window)들을 통해 식별되는 바와 같은) 복수의 개별적인 하위-영역들을 포함하는 경우에, 현지화 발생 모듈(218)은 병합된 ADF들을 공간적으로 구획(partition)하여 복수의 LADF들을 발생시킬 수 있으며, 여기서 각각의 LADF는 상이한 하위-영역을 커버한다. 이러한 경우들에서, 현지화 발생 모듈(218)은 예를 들어, 병합된 ADF들이 나타내는 포인트 클라우드 내에서 벽들 혹은 다른 공간 분할자(room divider)들의 검출에 근거하여 해당 영역 내에서 복수의 공간들을 식별함으로써, 논리적 구획선(logical partition line)들을 식별하려고 시도할 수 있고, 그리고 각각의 식별된 공간에 대한 개별적인 LADF를 생성할 수 있으며, 이것은 LADF의 범위를 단일 공간으로 한정시킨다는 사생활 보호 관점에서 추가적인 혜택을 갖는다.

발생된 각각의 LADF에 대해, 블록(530)에서, 현지화 발생 모듈(218)은 이러한 LADF를 인덱싱 및 저장을 위해 LADF 데이터저장소(206)에 제공한다. 앞에서 언급되고 아래에서 더 상세히 설명되는 바와 같이, 일부 실시예들에서, LADF 데이터저장소(206)는 각각의 LADF에 대해 2-계층 인덱스를 이용하고, 그럼으로써 각각의 LADF는 하나 이상의 위치 표시들(location indicia)에 의해 인덱싱됨과 아울러 LADF가 나타내는 공간 특징들에 의해 인덱싱된다. 이에 따라, LADF를 LADF 데이터저장소(206) 내에 저장할 때, LADF 데이터저장소(206)는 LADF를 LADF의 위치 표시자(들) 혹은 LADF의 공간 특징 세트(및 그 안에서의 상대적인 기하학적 구조들) 중 하나에 의해 인덱싱된 데이터저장소 엔트리(datastore entry)에 저장하고, 그리고 그 위치 표시자(들) 혹은 그 공간 특징 세트 중 다른 하나는 유사하게 인덱싱된 복수의 LADF들 중에서 선택을 하는데 사용된다.

방법(500)의 블록(500)에서 프로세스가 종결되는 경우, ADF 서버(102)는 이전에-맵핑되지 않은 영역을 탐색할 기회를 가졌던 하나 이상의 모바일 디바이스(104)로부터 업로드된 하나 이상의 ADF들을 사용하여 이러한 이전에-맵핑되지 않은 영역에 대한 하나 이상의 LADF들을 발생시키게 된다. 따라서, ADF 서버(102)는 아래의 도 6에 의해 설명되는 바와 같이, 이러한 영역을 처음 마주치게 되는 임의의 다른 모바일 디바이스에게 LADF를 제공할 준비가 된다.

도 6은 적어도 하나의 실시예에 따른 도 4의 블록(408)이 나타내는 LADF 현지화 및 업데이트 프로세스를 수행하기 위한 예시적인 방법(600)을 예시한다. 방법(600)은 모바일 디바이스(104)가 이전에 마주치지 않았던 그리고 맵핑하지 않았던 그러한 영역에 모바일 디바이스(104)가 진입할 때 블록(602)에서 개시된다. 이러한 결정에 응답하여, 모바일 디바이스는 해당 영역에 대한 공간 특징 검출 프로세스를 개시한다. 이러한 목적을 위해, 모바일 디바이스(104)는 이미지화 센서들(124, 126)을 트리거하여 해당 영역의 이미지(382)(도 3)의 캡처를 시작하도록 하고, 그리고 깊이 센서(130)를 트리거하여 해당 영역에 대한 깊이 정보의 캡처를 시작하도록 하고, 그리고 이러한 이미지(382) 및 깊이 정보로부터 공간 특징 검출 모듈(358)은 해당 영역을 나타내는 공간 특징들의 초기 세트를 검출한다. 블록(604)에서, 요청 모듈(360)은 해당 영역 내에서의 공간 특징 검출시 모바일 디바이스(104)의 위치에 대한 하나 이상의 위치 표시자들을 결정한다. 앞에서 언급된 바와 같이, 이러한 위치 표시자들은, 특정 지리적 위치 표시자들(예컨대, GPS 센서(328)로부터 획득된 GPS 좌표들), 추론적 위치 표시자들(예컨대, WLAN MAC 어드레스들, WLAN BSID들, 혹은 셀 타워 BSID들), 또는 이들의 임의의 조합일 수 있다. 블록(606)에서, 요청 모듈(360)은 초기 공간 특징 세트 및 하나 이상의 위치 표시자들을 사용하여 LADF 요청(236)을 발생시키고 그리고 LADF 요청(236)을 전송하여 해당 영역에 대한 LADF의 이용가능성에 대한 문의(inquiry)를 개시하도록 한다.

네트워크 인터페이스(202)를 통해 ADF 서버(102)의 질의 모듈(220)에서 LADF 요청(236)을 수신함에 응답하여, 블록(608)에서, 질의 모듈(220)은 LADF 데이터저장소(206)에 질의하여 모바일 디바이스(104)에 의한 사용을 위해 해당 영역에 대한 임의의 적절한 LADF를 식별하게 된다. 적어도 하나의 실시예에서, 질의 모듈(220) 및 LADF 데이터저장소(206)는 도 10 내지 도 12를 참조하여 아래에서 상세히 설명되는 바와 같이, 초기 공간 특징 세트 및 위치 표시자들 모두에 근거하여 적절한 LADF를 식별하기 위해 2-계층 인덱싱 방식을 이용한다. 적절한 LADF가 식별되었다고 가정하면, 블록(610)에서, 질의 모듈(220)은 (LADF(134)로서) 선택된 LADF를 그 요청하는 모바일 디바이스(104)로 전송한다.

LADF 요청(236)에 대한 응답으로 LADF(134)를 수신함에 응답하여, 요청 모듈(360)은 현지화 모듈(362) 및 피드백 모듈(364) 모두에게 LADF(134)를 제공한다. 블록(612)에서, 현지화 모듈(362)은 하나 이상의 잘-알려진 루프 클로저 알고리즘들을 이용하여 모바일 디바이스(104)를 LADF(134) 내에서 나타나는 좌표 프레임에 현지화시키게 되고, 이것은 공간 특징 검출 모듈(358)에 의해 검출된 영역으로부터의 공간 특징들을 LADF(134) 내에서 나타나는 공간 특징들의 비조밀한 포인트 클라우드와 비교하는 것에 근거하여 이루어지며, 그 결과는 식별된 좌표 프레임 내에서 모바일 디바이스(104)의 자세(384)(도 3) 결정이다. 더욱이, LADF가 지리적참조될 수 있는 경우에, 그 결정된 자세(384)도 마찬가지로 적절한 변환을 통해 지리적참조될 수 있다. 모바일 디바이스(104)가 현지화되고, 자세(384)가 결정되는 경우, 블록(614)에서, 모바일 디바이스(104)의 하나 이상의 컴포넌트들은 정확한 자세 정보에 의존하는 다양한 기능을 제공할 수 있다(예컨대, AR 혹은 VR 콘텐츠, 복수-플레이어 게임들, 네비게이션 툴(navigation tool)들, 등의 구현).

LADF(134)의 발생은 하나 이상의 모바일 디바이스들(104)에 의한 해당 영역 내에서 관측된 공간 특징들의 검출 및 선택에 의존한다. 하지만, 해당 영역은 관측된 공간 특징들 내에 포함되는 일시적인 객체들을 가질 수 있기 때문에, 혹은 해당 영역의 구성이 시간 경과에 따라 변할 수 있기 때문에, LADF(134)는 덜 유용하게 될 수 있거나 혹은 "진부(stale)"하게 될 수 있다. 이에 따라, 일부 실시예들에서, 사용자 승인이 있는 경우, 모바일 디바이스들(104)은 LADF에 관한 피드백을 제공할 수 있고, 이러한 피드백은 다른 모바일 디바이스들에 의한 후속 사용을 위해서 ADF 서버(102)에 의해 LADF를 정제하거나 혹은 "갱신(refresh)"하는데 사용될 수 있다. 이러한 목적을 위해, 블록(616)에서, 피드백 모듈(364)은, 해당 영역 내에서 공간 특징 검출 모듈(358)에 의해 식별된 공간 특징들을 LADF(134)가 나타내는 비조밀한 포인트 클라우드의 공간 특징들과 비교할 수 있고, 그리고 공간 특징 검출 모듈(358)에 의해 또한 관측된 LADF(134)의 공간 특징들; 공간 특징 검출 모듈(358)에 의해 관측되지 않는 LADF(134)의 공간 특징들; 그리고 LADF(134) 내에 존재하지 않는 공간 특징 검출 모듈(358)에 의해 관측된 공간 특징들 중 하나 이상을 나타내는 LADF 피드백(238)을 발생시킬 수 있다. LADF 피드백(238)은 ADF 서버(102)로 업로드된다. 블록(618)에서, 공간 특징 필터 모듈(216)은, LADF 피드백(238)을 수신하고, 이에 따라 특징 점수 데이터저장소(208) 내에서 공간 특징들의 특징 점수들을 업데이트하고, 그 다음에, 업데이트된 특징 점수들에 근거하여, 새로운 공간 특징들을 포함하도록 혹은 이전에-포함된 공간 특징들을 제거하도록 LADF를 업데이트할 수 있다.

도 7 내지 도 9는 적어도 하나의 실시예에 따른, LADF 피드백(238)에 근거하여 LADF(134)를 정제하는 프로세스의 예를 함께 예시한다. 초기에, LADF(134) 내에서 나타나는 모든 공간 특징들에는 초기 특징 점수가 제공되고, 이러한 초기 특징 점수는 LADF(134) 내의 모든 공간 특징들에 대해 동일할 수 있고, 혹은 공간 특징의 하나 이상의 속성들(properties)에 근거할 수 있다. 예를 들어, ADF 클러스터의 ADF들로부터 LADF(134)가 발생되는 경우 그 ADF 클러스터의 ADF들 내에서 공간 특징이 출현하는 횟수에 근거하여 해당 공간 특징에 초기 특징 점수가 할당될 수 있다. 후속하는 설명을 위해, 더 높은 특징 점수는 더 신뢰가능한 공간 특징을 반영하고, 반대로 더 낮은 특징 점수는 덜 신뢰가능한 공간 특징을 표시한다고 가정된다. 모바일 디바이스(104)에 의해 제공되는 LADF 피드백(238)은 하나 이상의 엔트리들을 포함할 수 있고, 이 경우 각각의 엔트리는, LADF(134) 내에 존재하는 공간 특징을 모바일 디바이스(104)가 관측함을 확인(confirming)시키거나, 혹은 LADF(134) 내에 존재하는 공간 특징을 모바일 디바이스(104)가 관측함을 부인(denying)하거나, 혹은 모바일 디바이스(104)에 의해 관측된 것으로 LADF(134) 내에 존재하지 않은 새로운 공간 특징을 제안(suggesting)한다. 따라서, 공간 특징들의 특징 점수들은 엔트리들 및 이들이 나타내는 피드백 타입에 근거하여 조정될 수 있다.

도 7의 방법(700)은 LADF 피드백(238)의 각각의 엔트리에 대해서 ADF 서버(102)에 의해 구현되는 프로세싱을 나타낸다. 블록(702)에서, 공간 특징 필터 모듈(216)은 LADF 피드백(238)의 선택된 엔트리에 액세스하여 그 엔트리가 나타내는 피드백의 타입을 결정하게 된다. 모바일 디바이스(104)가 LADF(134)의 대응하는 공간 특징을 관측했음을 피드백 엔트리가 확인시키는 경우에, 블록(704)에서, 공간 특징 필터 모듈(216)은 피드백 엔트리에서 나타나는 바와 같은 공간 특징의 식별과 관련된 하나 이상의 파라미터들(예컨대, 모바일 디바이스(104)에 의해 공간 특징이 관측된 시간을 표시하는 타임 스탬프(time stamp))을 추출하고, 그리고 그 추출된 파라미터들을 특징 점수 데이터저장소(208) 내에 기록(record)한다. 더욱이, 블록(706)에서, 공간 특징 필터 모듈(216)은 이러한 최근 관측을 반영하기 위해 그 대응하는 공간 특징에 대한 특징 점수를 증가시킨다.

블록(702)으로 되돌아가서, 모바일 디바이스(104)가 LADF(134) 내에서 나타나는 공간 특징을 관측하지 못했음을 피드백 엔트리가 표시하는 경우에, 블록(708)에서, 공간 특징 필터 모듈(216)은 피드백 엔트리에서 나타나는 바와 같은 공간 특징의 식별과 관련된 하나 이상의 파라미터들(예컨대, 공간 특징이 관측되었어야 하지만 존재하지 않았던 영역의 이미지를 모바일 디바이스(104)가 캡처하고 있었을 때의 시간을 표시하는 타임스탬프)을 추출하고, 그리고 그 추출된 파라미터들을 특징 점수 데이터저장소(208) 내에 기록한다. 더욱이, 블록(710)에서, 공간 특징 필터 모듈(216)은 이러한 상실(miss)된 관측을 반영하기 위해 그 대응하는 공간 특징에 대한 특징 점수를 감소시킨다.

블록(702)으로 다시 되돌아가서, 모바일 디바이스(104)가 LADF(134) 내에서 나타나지 않는 공간 특징을 신뢰가능하게 관측했음을 피드백 엔트리가 표시하는 경우에, 블록(712)에서, 공간 특징 필터 모듈(216)은 피드백 엔트리에서 나타나는 바와 같은 이전에-관측되지 않은 공간 특징의 식별과 관련된 하나 이상의 파라미터들(예컨대, 모바일 디바이스(104)가 해당 공간 특징을 처음으로 혹은 마지막으로 관측한 때의 시간을 표시하는 타임스탬프, 해당 공간 특징을 관측한 빈도(예를 들어, 모바일 디바이스(104)가, 해당 공간 특징을 포함하는 영역의 방향으로 지향되어 있었을 때에 해당 공간 특징이 관측되었던 시간들의 백분율(percentage)), 등)을 추출하고, 그리고 그 추출된 파라미터들을 특징 점수 데이터저장소(208) 내에 기록한다. 더욱이, 블록(714)에서, 공간 특징 필터 모듈(216)은, 특징 점수 데이터저장소(208) 내에 그 대응하는 공간 특징에 대한 특징 점수를 생성하고, 생성된 특징 점수에 초기값을 할당하는데, 이러한 것은 해당 공간 특징이 특징 점수 데이터저장소(208) 내에서 이미 나타난 것이 아닌 경우에 수행된다. 그렇지 않은 경우, 만약 그 새롭게-관측된 공간 특징에 대한 특징 점수가 이미 존재한다면(즉, 해당 공간 특징이 이전에 또 하나의 다른 모바일 디바이스(104)에 의해 또한 관측된 경우), 공간 특징 필터 모듈(216)은 해당 공간 특징에 대한 특징 점수를 증가시킨다. 그 다음에 방법(700)은 블록(702)으로 되돌아가서 LADF 피드백(238) 내의 다음 엔트리에 대해 프로세스를 반복하게 된다.

도 8은 적어도 하나의 실시예에 따른, 후보 공간 특징을 LADF(134) 내에 포함시키기 위해서 평가하기 위한 예시적인 방법(800)을 예시한다. 앞에서 설명된 바와 같이, 모바일 디바이스들(104)은 임의의 영역 내에서 새롭게 관측된 공간 특징들(이들은 해당 영역에 대한 LADF(134) 내에 포함시키기 위한 후보들일 수 있음)을 식별시키는 LADF 피드백(238)을 제공할 수 있고, 그리고 공간 특징 필터 모듈(216)은 공간 특징이 검출되는 처음에 특징 점수를 생성할 수 있고, 동일한 공간 특징이 또 하나의 다른 모바일 디바이스(104)에 의해 관측될 때마다 그 특징 점수를 증가시킬 수 있다. 따라서, 이러한 공간 특징들 각각에 대한 특징 점수는 LADF(134) 내에 포함시키기 위한 해단 공간 특징의 후보성(candidacy)의 생존력(viability)의 표시자로서의 역할을 한다(즉, 해당 공간 특징이 현지화의 목적을 위해 얼마나 "신뢰가능한(reliable)"지를 표시하는 역할을 함). 이에 따라, 트리거 조건(trigger condition)(예컨대, LADF(134)의 노화(aging)가 특정 임계치를 초과하는 것)에 응답하여, 혹은 LADF(134)에 대한 개정이 정당화되게 될 것이라고 표시하는 충분한 피드백이 모바일 디바이스들(104)로부터 수신되는 것에 응답하여, 블록(802)에서, 공간 특징 필터 모듈(216)은 특징 점수 데이터저장소(208)로부터 LADF(134) 내에 포함시키기 위해서 고려중인 후보 공간 특징들 중 하나를 선택하고, 그리고 블록(804)에서, 공간 특징 필터 모듈(216)은 선택된 후보 공간 특징의 특징 점수를 특정된 임계치("THRESH_H"로 지정됨)와 비교한다. 이러한 임계치는 고정된 임계치일 수 있거나 또는 하나 이상의 현재 상태들에 근거할 수 있다. 예를 들어, 일 실시예에서, 임계치(THRESH_H)는 LADF(134) 내에 현재 포함되어 있는 공간 특징들에 대한 중간치(median)의 현재 특징 점수로 설정될 수 있다.

후보 공간 특징의 특징 점수가 임계치(THRESH_H)를 초과하지 않는 경우에, 공간 특징 필터 모듈(216)은 (평가의 현재 단계에서) 그 후보 공간 특징에 관한 임의의 추가 고려를 멈추고, 그리고 방법(800)은 다음 후보 공간 특징을 선택하기 위해 블록(802)으로 되돌아 간다. 그렇지 않은 경우, 만약 해당 특징 점수가 임계치(THRESH_H)를 초과한다면, 블록(806)에서, 공간 특징 필터 모듈(216)은 그 선택된 후보 공간 특징을 LADF(134) 내에 통합시키도록 하는 신호를 현지화 발생 모듈(218)에게 보낸다. 일부 구현예들에서, 새로운 공간 특징을 LADF(134) 내에 통합시키는 것은 LADF(134)로부터 또 하나의 다른 공간 특징을 제거할 것을 요구할 수 있다. 이러한 경우들에서, 공간 특징 필터 모듈(216)은 예를 들어, LADF(134) 내에 현재 포함되어 있는 모든 공간 특징들 중에서 가장 낮은 특징 점수를 갖는 공간 특징을 선택할 수 있다. 후보 공간 특징을 LADF(134) 내에 통합시킨 후에, 방법(800)은 다음 후보 공간 특징을 선택 및 평가하기 위해 블록(802)으로 되돌아 간다.

도 9는 적어도 하나의 실시예에 따른, 공간 특징을 LADF(134)로부터 제거하기 위해서 평가하기 위한 예시적인 방법(900)을 예시한다. 앞에서 설명된 바와 같이, 모바일 디바이스들(104)은 LADF(134)의 공간 특징들이 모바일 디바이스(104)에 의해 관측되었는지 여부를 확인시키는 LADF 피드백(238)을 제공할 수 있고, 그리고 공간 특징 필터 모듈(216)은 이에 따라 공간 특징들의 특징 점수들을 조정할 수 있다. 따라서, 이러한 공간 특징들 각각에 대한 특징 점수는 현지화 목적을 위해 해당 공간 특징의 현재 신뢰가능성의 표시자로서의 역할을 한다. 이에 따라, 트리거 조건에 응답하여, 블록(902)에서, 공간 특징 필터 모듈(216)은 LADF(134) 내에 현재 포함되어 있는 공간 특징을 선택하고, 블록(904)에서, 선택된 공간 특징의 특징 점수를 특정된 임계치("THRESH_L"로 지정됨)와 비교한다. 이러한 임계치는 고정된 임계치일 수 있거나 또는 하나 이상의 현재 상태들에 근거할 수 있다. 예를 들어, 일 실시예에서, 임계치(THRESH_L)는 LADF(134) 내에 현재 포함되어 있지 않은 후보 공간 특징들에 대한 중간치의 현재 특징 점수로 설정될 수 있다.

후보 공간 특징의 특징 점수가 임계치(THRESH_L)를 초과하는 경우에, 공간 특징 필터 모듈(216)은 (평가의 현재 단계에서) 그 선택된 공간 특징에 관한 임의의 추가 고려를 멈추고, 그리고 방법(900)은 LADF(134) 내의 다음 공간 특징을 선택하기 위해 블록(902)으로 되돌아 간다. 그렇지 않은 경우, 만약 해당 특징 점수가 임계치(THRESH_L) 아래로 떨어진다면, 블록(906)에서, 공간 특징 필터 모듈(216)은 그 선택된 공간 특징을 LADF(134)로부터 제거하도록 하는 신호를 현지화 발생 모듈(218)에게 보낸다. 일부 구현예들에서, 임의의 공간 특징을 LADF(134)로부터 제거하는 것은, 제거되는 공간 특징을 대체하기 위해 또 하나의 다른 공간 특징을 선택할 것을 요구할 수 있고, 따라서 이러한 제거는 도 8의 방법(800)의 후보 공간 특징 평가 프로세스를 개시시키도록 하는 트리거 조건으로서의 역할을 할 수 있다. 선택된 공간 특징을 LADF(134)로부터 제거한 후에, 방법(900)은 LADF(134) 내의 다음 공간 특징을 선택 및 평가하기 위해 블록(902)으로 되돌아 간다.

ADF 서버(102)에 의해 유지되는 LADF들은 실세계의 임의의 영역의 시각적 특징들 및 기하학적 정보의 표현들을 포함한다. 이러한 정보는 잠재적으로 민감한 것이고, 따라서 ADF 서버(102)는 LADF 데이터저장소(206) 내에 저장된 LADF 콘텐츠 및 ADF 데이터저장소(204) 내에 저장된 ADF 콘텐츠에 대한 승인되지 않은 액세스 혹은 의도하지 않은 액세스를 막기 위해 주의를 기울인다(일부 구현예들에서 LADF 데이터저장소(206)와 ADF 데이터저장소(204)는 동일한 데이터저장소를 포함할 수 있음). 이러한 목적을 위해, ADF 서버(102)는 LADF 데이터저장소(206)의 LADF 콘텐츠에 대한 2-계층 인덱싱 방식의 형태로서 사생활 보호(privacy safeguard)를 이용한다. 도 10 내지 도 12는 이러한 2-계층 인덱싱 방식에 따른, 질의 모듈(220) 및 LADF 데이터저장소(206)의 예시적 구성 및 그 동작들을 예시한다. ADF 데이터저장소(204)는 아래에서 설명되는 방식으로 유사하게 구성될 수 있다.

도 10은 질의 모듈(220) 및 LADF 데이터저장소(206)에 의해 구현되는 예시적인 2-계층 질의 인터페이스(1000)를 예시한다. 도시된 바와 같이, LADF 데이터저장소(206)에 의해 저장되는 각각의 LADF(예를 들어, LADF(134))는 LADF 데이터저장소(206) 내에 구현되는 LADF 데이터베이스(1004)의 대응하는 LADF 엔트리(1002) 내에 저장된다. 각각의 LADF 엔트리(1002)는 복수의 필드들을 포함하고, 이러한 필드들은, 저장된 LADF와 관련된 UID를 저장하기 위한 UID 필드(1006); LADF가 현재 나타내는 공간 특징들의 세트를 저장하기 위한 공간 특징 필드(1008); 그리고 LADF와 관련된 위치 표시자 혹은 다른 위치 데이터를 저장하기 위한 위치 필드(1010)를 포함한다.

적절한 보호수단들이 없다면, 승인되지 않은 대상이 LADF 데이터저장소(206)로부터 LADF(134)을 획득할 수 있고, 따라서 잠재적으로 민감한 정보가 노출될 위험이 있을 수 있다. 2-계층 질의 인터페이스(1000)는 그 요청하는 모바일 디바이스(104) 혹은 다른 요청자가 임의의 요청된 LADF와 관련된 영역에 있음(혹은 있었음)을 이들이 증명하도록 요청함으로써 LADF 데이터저장소(206)의 LADF 데이터를 더 완전하게 보안화(secure)할 수 있다. GPS 좌표들과 같은 일부 위치 표시자들은 쉽게 스푸핑(spoofing)될 수 있거나, 혹은 그렇지 않으면 위조(forge)될 수 있다. 더욱이, WLAN MAC 어드레스들 혹은 셀 타워 BSID들과 같은 다른 타입의 위치 표시자들은 관심있는 영역보다 훨씬 더 큰 영역들을 커버할 수 있고, 따라서 충분한 세밀도(granularity)가 부족할 수 없다. 이처럼, 위치 표시자들 단독으로는 임의의 요청하는 모바일 디바이스가 실제로 그 특정 영역 내에 있는지에 관한 충분한 증명이 될 수 없다. 따라서, 질의 인터페이스(1000)는 그 대신, 모바일 디바이스(104)로 하여금 특정 영역 내에서 모바일 디바이스(104)가 관측한 공간 특징들의 세트를 제출하도록 요구함으로써 모바일 디바이스(104)가 그 특정 영역 내에 있음을 증명할 것을 요구할 수 있다. 그 다음에, 질의 인터페이스(1000)는 공간 특징들의 이러한 세트를 LADF 엔트리들의 공간 특징들과 비교하여 매칭되는 LADF를 식별할 수 있게 된다. 하지만, 다수의 영역들이 유사한 구조적 구성들(예를 들어, 사무실 건물 내에서의 유사한 공간들)을 갖고 있고, 따라서 복수의 LADF들이 그 제출된 공간 특징들의 세트와 적당히 매칭될 위험이 존재하며, 이에 따라 부정확한 LADF가 그 요청하는 모바일 디바이스에게 제공될 수 있고, 이것은 이중의 문제가 되는데, 왜냐하면 이것은 잠재적으로 사생활 침해를 나타내기 때문에, 뿐만 아니라 이것은 현지화를 위한 부정확한 참조를 모바일 디바이스(104)에게 제공하기 때문이다.

따라서, 모바일 디바이스가 자신이 해당 영역에 있음을 나타내는 그 영역 내에 자신이 실제로 있다는 것을 보장하기 위해, 그리고 모바일 디바이스에 올바른 LADF가 제공되고 있다는 것을 보장하기 위해, 질의 인터페이스(1000)는 모바일 디바이스에 의해 제출된 하나 이상의 위치 표시자들 및 공간 특징들의 세트를 모두 이용하여 LADF 데이터베이스(1004)로부터 올바른 LADF를 식별하게 된다. 이러한 접근법 하에서, 모바일 디바이스 혹은 다른 요청자는, 식별된 영역 내에서 관측된 공간 특징들을 제출함으로써 그 식별된 영역 내에 요청자 자신이 있음을 증명하고, 따라서 그 식별된 영역에 대한 LADF의 배포(release)는 잠재적으로 민감한 정보의 의도하지 않은 공개의 위험성을 낮추는데, 왜냐하면 요청자는 그 제공되는 LADF가 나타내는 시각적 정보보다 훨씬 더 세부적인 시각적 정보를 획득하기 위해 그 표시된 영역을 간단히 둘러볼 수 있기 때문임을 이해해야 한다.

이러한 목적을 위해, 질의 모듈(220)은 공간 특징 질의 인터페이스(1012) 및 위치 선택 모듈(1014)을 포함한다. 공간 특징 질의 인터페이스(1012)는, 모바일 디바이스(104)에 의해 제출되는 LADF 요청(236) 내의 공간 특징 세트(1016)를 사용하여, LADF 데이터베이스(1004)의 LADF 엔트리들(1002)의 공간 특징 필드들(1008)의 검색에 근거하는 후보 LADF들에 관한 초기 질의를 수행한다. 이러한 검색은 공간 특징들의 상대적인 기하학적 구조를 고려하는데, 왜냐하면 이들은 LADF 요청(236)이 나타내는 이미지 안에 투사되어 있기 때문이며, 이에 따라 LADF 데이터베이스(1004) 내의 것들과 대비되는 일치성(consistency)을 점검하기 위함이다. 그 다음에, 위치 선택 모듈(1014)은 식별된 후보 LADF들로부터 선택을 하는데, 이것은 LADF 요청(236)과 함께 제출된 하나 이상의 위치 표시자(1018)를 그 후보 LADF들의 위치 필드들(1010) 내의 각각의 LADF에 대한 위치 정보와 비교한 것에 근거하여 이루어진다.

더욱이, 위치 표시자를 사용하여 혹은 공간 특징들의 세트 이외의 다른 핵심요소(key)를 사용하여 LADF 엔트리들(1002)의 검색 혹은 다른 액세스를 막기 위해, 일부 구현예들에서, LADF 데이터저장소(206)는, LADF 엔트리들(1002)을 공간 특징 필드들(1008)에 의해 인덱싱하도록 구성되고, 아울러 또한 LADF 엔트리들(1002)을 위치 필드들(1010)에 의해 인덱싱하는 것을 피하도록 구성된다. 이러한 구성에서, LADF 데이터베이스(1004)의 LADF 엔트리들(1002)은 LADF들의 공간 특징 세트들을 통해서는 검색가능하지만 위치에 의해서는 초기에 검색될 수 없다. 이러한 방식으로, 위치 표시자만을 제출하는 것은 결과적으로 LADF 데이터베이스(1004)로부터 어떠한 LADF들(134)도 식별 혹은 생성될 수 없게 할 것이다.

도 11은 본 개시내용의 적어도 하나의 실시예에 따른, 도 10의 2-계층 질의 인터페이스(1000)의 동작의 예시적인 방법(1100)을 예시한다. 방법(1100)은 블록(1102)에서 개시하고, 블록(1102)에서, 모바일 디바이스 혹은 다른 요청자로부터 임의의 표시된 영역에 대한 LADF 요청(236)이 제출된다. 적어도 하나의 실시예에서, 프로세싱을 위해 LADF 요청(236)을 수용하기 위해서, ADF 서버(102)는, 해당 LADF 요청(236)이 적어도, 그 표시된 영역 내에서 관측된 공간 특징 세트(1016) 및 그 표시된 영역 내에서 모바일 디바이스에 의해 획득 혹은 결정된 하나 이상의 위치 표시자들(1018)을 포함할 것을 요구한다.

블록(1104)에서, 공간 특징 질의 인터페이스(1012)는 LADF 데이터베이스(1004)의 LADF 엔트리들(1002)을 검색하여, LADF 요청(236)의 공간 특징 세트(1016)와 충분히 겹쳐지는 아울러 공간 특징 세트(1016)의 투사된 공간 특징들의 기하학적 구조들과 일치하는 상대적인 기하학적 구조들을 갖고 있는, 공간 특징 필드들(1008) 내의 공간 특징 세트들을 갖는 그러한 LADF 엔트리들(1002)을 찾게 된다. 일 실시예에서, 분석되는 각각의 LADF 엔트리(1002)에 대해, 공간 특징 질의 인터페이스(1012)는 공간 특징 세트(1016)와 LADF 엔트리(1002)의 공간 특징 필드(1008) 간의 매칭되는 공간 특징들의 계수(count)를 결정할 수 있다. 그 다음에, 공간 특징 질의 인터페이스(1012)는 LADF 엔트리들(1002)에 대해 결정된 계수 값(count value)들에 근거하여 N개의 후보 LADF들(예를 들어, 도 10의 후보 LADF들(1021, 1022, 1023))을 선택할 수 있다. 예를 들어, 일부 경우들에서, 임의의 특정 임계치보다 큰 계수를 갖는 모든 LADF가 후보 LADF로서 선택될 수 있다. 다른 경우들에서, 공간 특징 질의 인터페이스(1012)는 가장 큰 계수 값들을 갖는 N개의 LADF들을 N개의 후보 LADF들로서 선택할 수 있다.

블록(1106)에서, 공간 특징 질의 인터페이스(1012)는 적어도 하나의 후보 LADF가 LADF 데이터베이스(1004)로부터 식별되었음을 검증한다. 만약 그렇지 않다면, 블록(1108)에서, 질의 모듈(220)은 표시된 영역에 대한 LADF가 이용가능하지 않다는 신호를 그 요청하는 모바일 디바이스에게 보낸다. 그렇지 않다면, 하나 이상의 식별된 후보 LADF들이 (예를 들어, 후보 LADF들의 UID들을 식별함으로써) 위치 선택 모듈(1014)에게 제공되고, 그리고 블록(1110)에서, 위치 선택 모듈(1014)은, LADF 요청(236)의 하나 이상의 위치 표시자들(1018)을 후보 LADF들의 위치 필드들(1010)에 의해 표시된 위치들과 비교하여 각각의 후보 LADF와 하나 이상의 위치 표시자들(1018) 간의 매칭을 점수화하게 된다. 블록(1112)에서, 위치 선택 모듈(1014)은 하나 이상의 위치 표시자들(1018)과 후보 LADF들 중 하나의 후보 LADF의 위치 정보 간에 충분한 매칭이 존재하는지 여부를 검증한다. 만약 그렇지 않다면, 블록(1114)에서, 질의 모듈(220)은 표시된 영역에 대한 LADF가 이용가능하지 않다는 신호를 그 요청하는 모바일 디바이스에게 보낸다. 그렇지 않다면, 블록(1116)에서, 위치 선택 모듈(1014)은 최상의 위치 매칭 점수를 갖는 후보 LADF를 그 식별된 영역과 같은 위치에 있는 LADF로서 선택하고, 그리고 이렇게 선택된 LADF를 (LADF 요청(236)에 대한 응답으로서) 해당 영역에 대한 LADF(134)로서 모바일 디바이스에게 제공한다.

LADF 데이터베이스(1004)의 LADF들에 대한 인증되지 않은 혹은 의도하지 않은 액세스에 대항하는 보호를 제공하는 것에 추가하여, 모바일 디바이스에 의해 검출되는 바와 같은 공간 특징들 및 이들의 기하학적 구조를 사용하여 LADF 질의를 수행하는 것은, 2-스테이지 질의 프로세스를 통해 궁극적으로 선택되는 LADF가 모바일 디바이스로 하여금 그 매칭되는 LADF를 사용하여 성공적으로 현지화를 수행할 수 있게 할 것임을 보장한다. 그 이유는 LADF 질의 프로세스의 제 1 스테이지가, LADF 내의 관측된 공간 특징들 및 이들의 이미지 기하학적 구조를 사용하여 LADF와 관련된 모바일 디바이스의 자세를 찾기 위해 모바일 기기에서 수행되는 현지화 프로세스와 동일한 혹은 유사한 (후보 LADF들을 식별하기 위한) "현지화(localization)" 프로세스를 수행하기 때문이다.

도 12는 적어도 하나의 실시예에 따른, 2-계층 질의 인터페이스(1000)의 대안적 구성을 예시한다. 도 10에서 도시된 구현예에서와 같이, LADF 데이터저장소(206)는 복수의 LADF 엔트리들(1202)을 포함하는 LADF 데이터베이스(1204)를 구현하는데, 여기서 각각의 LADF 엔트리(1202)는 UID 필드(1006), 공간 특징 필드(1008), 및 위치 필드(1010)를 갖는다. 하지만, 도 10의 구현예와는 대조적으로, LADF 데이터베이스(1204)는 대신, 위치 필드(1010)에 근거하여 LADF 엔트리들(1202)을 인덱싱한다. 더욱이, 본 실시예에서, 질의 모듈(220)은 LADF 데이터베이스(1204) 및 공간 특징 선택 모듈(1214)에 대한 위치 질의 인터페이스(1212)를 포함한다.

도시된 구현예에서, LADF에 대한 2-계층 질의는, 하나 이상의 후보 LADF들의 세트를 식별하기 위해서, LADF 요청(236)의 하나 이상의 위치 표시자들(1018)과 충분히 매칭되는 위치 정보를 갖는 LADF들을 찾기 위해 위치 질의 인터페이스(1212)에 의해 수행되는 LADF 엔트리들(1202)의 제 1 계층 검색으로서 구현된다. 그 다음에, 공간 특징 선택 모듈(1214)은 LADF 요청(236)의 공간 특징 세트(1016)를 비교해 공간 특징 세트(1016)와 최상으로 매칭되는 후보 LADF를 LADF(134)로서 선택하게 되고, 이러한 LADF(134)는 LADF 요청(236)에 대한 응답으로서 그 요청하는 모바일 디바이스에게 제공되게 된다.

앞서 설명된 다수의 본 발명의 기능 및 다수의 본 발명의 원리들은, 애플리케이션 특정 집적 회로(Application Specific Integrated Circuit, ASIC)들과 같은 집적 회로(IC)들 함께 혹은 집적 회로(IC)들 내에 구현하는데 매우 적합하다. 통상의 기술을 가진 자는 본 명세서에서 개시되는 개념들 및 원리들에 의해 안내를 받는 경우 예를 들어, 이용가능한 시간, 현재의 기술, 및 경제적 고려상황들에 의해 유발되는 아마도 상당량의 노력 및 많은 설계적 선택들에도 불구하고, 최소의 실험으로 이러한 IC들을 용이하게 발생시킬 수 있을 것으로 예상된다. 따라서, 본 개시내용에 따른 원리들 및 개념들을 모호하게 할 임의의 위험성을 최소화하고 간결한 설명을 위해, 이러한 소프트웨어 및 IC들의 추가 논의는, 만약 있다면, 바람직한 실시예들 내에서 원리들 및 개념들에 관하여 필요로 하는 것들만으로 한정될 것이다.

본 문서에서, 제1 및 제2 등과 같은 상관적 용어들은, 이러한 용어를 사용하는 개체들 혹은 동작들 간의 임의의 실제 이러한 관계 혹은 순서를 반드시 요구 혹은 시사함이 없이, 오로지 하나의 개체 혹은 동작을 또 하나의 다른 개체 혹은 동작과 구분하기 위해서만 사용될 수 있다. 용어들 "포함한다", "포함하는" 혹은 이들의 임의의 다른 변형은 비-배타적 포함(non-exclusive inclusion)의 의미를 포괄하도록 의도된 것이고, 이에 따라 일련의 나열되는 요소들을 포함하는 프로세스, 방법, 물품, 혹은 장치는 오로지 이러한 요소들만을 포함하는 것이 아니라 명시적으로 나열되지 않은 다른 요소들을 포함할 수 있고, 또는 이러한 프로세스, 방법, 물품, 혹은 장치에 내재하는 다른 요소들을 포함할 수 있다. "... 요소를 포함한다"와 같은 문구에서 "요소"라는 표현은, 더 이상의 제한사항들이 없다면, 그 요소를 포함하는 프로세스, 방법, 물품, 혹은 장치에서 추가적인 동일한 요소들의 존재를 배제하는 것이 아니다. 본 명세서에서 사용되는 바와 같은 용어 "또 하나의 다른"은 적어도 두 번째 혹은 그 이상으로서 정의된다. 본 명세서에서 사용되는 바와 같은 용어들 "구비하는" 및/또는 "갖는"은 "포함하는"으로서 정의된다. 전기-광학 기술과 관련되어 본 명세서에서 사용되는 바와 같은 용어 "결합되는"은 반드시 직접적으로 연결되는 것이 아니어도 그리고 반드시 기계적으로 연결되는 것이 아니어도 "연결되는" 것으로서 정의된다. 본 명세서에서 사용되는 바와 같은 용어 "프로그램"은 컴퓨터 시스템 상에서의 실행을 위해 설계된 명령들의 시퀀스로서 정의된다. "프로그램" 혹은 "컴퓨터 프로그램"은 서브루틴(subroutine), 함수(function), 프로시저(procedure), 오브젝트 메소드(object method), 오브젝트 구현(object implementation), 실행가능한 애플리케이션(executable application), 애플릿(applet), 서브릿(servlet), 소스 코드(source code), 오브젝트 코드(object code), 공유된 라이브러리/동적 로드 라이브러리(shared library/dynamic load library) 그리고/또는 컴퓨터 시스템 상에서의 실행을 위해 설계된 명령들의 다른 시퀀스를 포함할 수 있다.

본 명세서 및 도면들은 오로지 예시적인 것들로서 고려돼야만 하고, 이에 따라 본 개시내용의 범위는 다음의 청구항들 및 그 등가물들에 의해서만 한정되도록 의도되었다. 일반적인 서술로서 앞에서 설명된 동작들 혹은 요소들 모두가 요구되는 것은 아니라는 점, 그리고 특정 동작 혹은 디바이스의 일부는 요구되지 않을 수 있다는 점, 그리고 하나 이상의 추가 동작들이 수행될 수 있거나 요소들이 포함될 수 있다는 점을, 본 명세서에서 설명되는 것들에 추가하여, 유의해야 한다. 또한 더욱이, 동작들이 나열된 순서가 반드시 이들이 수행되는 순서일 필요는 없다. 앞에서 도시된 흐름도들의 단계들은 달리 특정되지 않는다면 임의의 순서를 가질 수 있고, 그리고 구현에 따라 이러한 단계들은 제거, 반복 및/또는 추가될 수 있다. 또한, 본 발명의 개념들이 특정 실시예들을 참조하여 설명되었다. 하지만, 본 발명의 기술분야에서 통상의 기술을 가진 자는, 아래의 청구항들에서 기재되어 있는 바와 같이 본 개시내용의 범위로부터 벗어남이 없이 다양한 수정들 및 변경들이 수행될 수 있음을 이해하고 있다. 이에 따라, 본 명세서 및 도면들은 한정의 의미라기보다는 오히려 예시의 의미로 고려돼야 하고, 그리고 이러한 수정들은 모두 본 개시내용의 범위 내에 포함되도록 의도되었다.

혜택들, 다른 장점들, 및 문제들에 대한 해법들이 특정 실시예들과 관련하여 앞에서 설명되었다. 하지만, 이러한 혜택들, 장점들, 및 문제들에 대한 해법들, 그리고 임의의 혜택, 장점, 혹은 해법이 일어나도록 혹은 더욱 드러나도록 할 수 있는 임의의 특징(들)이 본 청구항들 중 어느 하나 혹은 모두의 임계적, 혹은 필수적, 혹은 본질적 특징으로서 해석돼서는 안 된다.

Claims

방법으로서, 상기 방법은,
컴퓨팅 시스템(computing system)에서, 하나 이상의 제 1 모바일 디바이스(mobile device)들의 세트로부터 하나 이상의 영역 서술 파일(area description file)들의 세트를 수신하는 단계와,
여기서 각각의 영역 서술 파일은 임의의 영역에서 대응하는 제 1 모바일 디바이스에 의해 검출된 공간 특징(spatial feature)들의 포인트 클라우드(point cloud)를 나타내고;
상기 컴퓨팅 시스템에서, 하나 이상의 영역 서술 파일들의 상기 세트로부터 상기 영역에 대한 현지화 영역 서술 파일(localization area description file)을 발생시키는 단계와,
여기서 상기 현지화 영역 서술 파일은 상기 영역에 대한 공간 특징들의 포인트 클라우드를 나타내고; 그리고
상기 컴퓨팅 시스템으로부터의 상기 현지화 영역 서술 파일을 제 2 모바일 디바이스에게 제공하는 단계를
포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 방법은 또한,
상기 현지화 영역 서술 파일을 사용하여 상기 제 2 모바일 디바이스에서 현지화 프로세스(localization process)를 수행하는 단계를
포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
하나 이상의 영역 서술 파일들의 상기 세트의 각각의 영역 서술 파일은,
영역 서술 파일이 나타내는 포인트 클라우드의 각각의 공간 특징에 대해, 대응하는 좌표 프레임(coordinate frame)에 근거하여 공간 특징의 다차원 좌표(multidimensional coordinate)를 특정하는 공간 특징 데이터(spatial feature data)와;
각각의 공간 특징에 대해, 화각(angle of view) 혹은 조명 상태(lighting conditions)와는 독립적으로 공간 특징의 시각적 외관(visual appearance)을 나타내는 통계 데이터(statistical data)와; 그리고
포인트 클라우드의 공간 특징들의 검출과 동시에 하나 이상의 비-이미지 센서(non-image sensor)들로부터 캡처(capture)된 센서 데이터(sensor data)를
포함하는 것을 특징으로 하는 방법.
제3항에 있어서,
상기 현지화 영역 서술 파일을 발생시키는 단계는,
상기 세트의 각각의 영역 서술 파일의 상기 공간 특징 데이터 및 상기 통계 데이터의 적어도 서브세트(subset)를 상기 현지화 영역 서술 파일에 통합(incorporating)시키는 것과; 그리고
상기 세트 내의 각각의 영역 서술 파일의 상기 센서 데이터를 상기 현지화 영역 서술 파일로부터 제외(excluding)시키는 것을
포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
하나 이상의 영역 서술 파일의 상기 세트는 복수의 영역 서술 파일들을 포함하고,
상기 현지화 영역 서술 파일을 발생시키는 단계는,
상기 복수의 영역 서술 파일들을 상기 영역과 관련되어 있는 것으로서 식별하는 것과;
상기 복수의 영역 서술 파일들이 나타내는 포인트 클라우드들에서 중복부분을 제거(deduplicating)하는 것과;
포인트 클라우드들의 상대적 정렬(relative alignment)을 결정하는 것과; 그리고
포인트 클라우드들을 상기 현지화 영역 서술 파일에 통합시키는 것을
포함하는 것을 특징으로 하는 방법.
제5항에 있어서,
상기 현지화 영역 서술 파일을 발생시키는 단계는 또한,
적어도 하나의 안정도 기준(stability criterion)에 근거하여 포인트 클라우드들로부터 공간 특징들을 제거하는 것을
포함하는 것을 특징으로 하는 방법.
제5항에 있어서,
상기 현지화 영역 서술 파일을 발생시키는 단계는 또한,
포인트 클라우드들에 근거하여 복수의 하위-영역(sub-area)들을 식별하는 것과; 그리고
하위-영역 내에 위치하는 포인트 클라우드들의 공간 특징들로부터 각각의 하위-영역에 대한 현지 영역 서술 파일을 발생시키는 것을
포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 방법은 또한,
상기 컴퓨팅 시스템에서, 상기 제 2 모바일 디바이스로부터 피드백 데이터(feedback data)를 수신하는 단계와,
여기서 상기 피드백 데이터는 상기 현지화 영역 서술 파일이 나타내는 공간 특징들 중 하나 이상이 상기 제 2 모바일 디바이스에 의해 상기 영역 내에 있는 동안 검출되었는지 여부를 식별시키고;
상기 컴퓨팅 시스템에서, 상기 피드백 데이터에 근거하여 상기 현지화 영역 서술 파일을 업데이트(updating)하여 업데이트된 현지화 영역 서술 파일을 발생시키는 단계와; 그리고
상기 컴퓨팅 시스템으로부터의 상기 업데이트된 현지화 영역 서술 파일을 제 3 모바일 디바이스에게 제공하는 단계를
포함하는 것을 특징으로 하는 방법.
제8항에 있어서,
상기 현지화 영역 서술 파일을 업데이트하는 것은,
상기 현지 영역 서술 파일이 나타내는 각각의 공간 특징에 대한 점수(score)를 유지시키는 것과; 그리고
상기 현지화 영역 서술 파일이 나타내는 공간 특징에 대해,
공간 특징이 상기 제 2 모바일 디바이스에 의해 검출되었음을 상기 피드백 데이터가 표시함에 응답하여 공간 특징의 점수를 증가시키는 것과;
공간 특징이 상기 제 2 모바일 디바이스에 의해 검출되지 않았음을 상기 피드백 데이터가 표시함에 응답하여 공간 특징의 점수를 감소시키는 것과; 그리고
상기 점수를 적어도 하나의 임계치와 비교하는 것에 근거하여 상기 현지화 영역 서술 파일로부터 공간 특징을 선택적으로 제거하는 것을
포함하는 것을 특징으로 하는 방법.
제8항에 있어서,
상기 피드백 데이터는, 상기 제 2 모바일 디바이스에 의해 검출된 공간 특징을 식별시키고, 그리고 상기 현지화 영역 서술 파일이 어떤 것을 나타내지 못했는지를 식별시키고,
상기 현지화 영역 서술 파일을 업데이트하는 것은,
상기 제 2 모바일 디바이스에 의해 검출된 공간 특징과 관련된 점수를 증가시키는 것과; 그리고
상기 점수와 적어도 하나의 임계치의 비교에 응답하여, 상기 제 2 모바일 디바이스에 의해 검출된 공간 특징을 포함하도록 상기 현지화 영역 서술 파일을 선택적으로 수정(modifying)하는 것을
포함하는 것을 특징으로 하는 방법.
컴퓨팅 시스템으로서, 상기 컴퓨팅 시스템은,
복수의 모바일 디바이스들에 결합되는 네트워크 인터페이스(network interface)와;
제 1 데이터저장소(datastore)와;
제 2 데이터저장소와;
상기 네트워크 인터페이스 및 상기 제 1 데이터저장소에 결합되는 병합 모듈(merge module)과;
상기 제 1 데이터저장소 및 상기 제 2 데이터저장소에 결합되는 현지화 발생 모듈(localization generation module)과; 그리고
상기 제 2 데이터저장소 및 상기 네트워크 인터페이스에 결합되는 질의 모듈(query module)을 포함하고,
상기 병합 모듈은 하나 이상의 제 1 모바일 디바이스들의 세트로부터 하나 이상의 영역 서술 파일들의 세트를 수신하고, 여기서 각각의 영역 서술 파일은 임의의 영역에서 대응하는 제 1 모바일 디바이스에 의해 검출된 공간 특징들의 포인트 클라우드를 나타내고;
상기 현지화 모듈은, 하나 이상의 영역 서술 파일들의 상기 세트로부터 상기 영역에 대한 현지화 영역 서술 파일을 발생시키고, 그리고 상기 현지화 영역 서술 파일을 상기 제 2 데이터저장소에 저장하고, 여기서 상기 현지화 영역 서술 파일은 상기 영역에 대한 공간 특징들의 포인트 클라우드를 나타내고;
상기 질의 모듈은 상기 현지화 영역 서술 파일을 상기 네트워크 인터페이스를 통해 적어도 하나의 제 2 모바일 디바이스에게 제공하는 것을 특징으로 하는 컴퓨팅 시스템.
제11항에 있어서,
상기 세트의 각각의 영역 서술 파일은,
영역 서술 파일이 나타내는 포인트 클라우드의 각각의 공간 특징에 대해, 대응하는 좌표 프레임에 근거하여 공간 특징의 다차원 좌표를 특정하는 공간 특징 데이터와;
각각의 공간 특징에 대해, 화각 혹은 조명 상태와는 독립적으로 공간 특징의 시각적 외관을 나타내는 통계 데이터와; 그리고
포인트 클라우드의 공간 특징들의 검출과 동시에 하나 이상의 비-이미지 센서들로부터 캡처된 센서 데이터를
포함하고,
상기 현지화 영역 서술 파일은,
상기 세트의 각각의 영역 서술 파일의 상기 공간 특징 데이터의 적어도 서브세트와; 그리고
상기 세트의 각각의 영역 서술 파일의 상기 통계 데이터의 적어도 서브세트를
포함하는 것을 특징으로 하는 컴퓨팅 시스템.
제12항에 있어서,
하나 이상의 영역 서술 파일의 상기 세트는 복수의 영역 서술 파일들을 포함하고,
상기 질의 모듈은 상기 복수의 영역 서술 파일들을 상기 영역과 관련되어 있는 것으로서 식별하고
상기 병합 모듈은,
상기 복수의 영역 서술 파일들이 나타내는 포인트 클라우드들에서 중복부분을 제거하는 것과;
포인트 클라우드들의 상대적 정렬을 결정하는 것과; 그리고
포인트 클라우드들을 상기 현지화 영역 서술 파일에 통합시키는 것을
수행함으로써 상기 현지화 영역 서술 파일을 발생시키는 것을 특징으로 하는 컴퓨팅 시스템.
제13항에 있어서,
상기 병합 모듈은 또한,
적어도 하나의 안정도 기준에 근거하여 포인트 클라우드들로부터 공간 특징들을 제거하는 것을
수행함으로써 상기 현지화 영역 서술 파일을 발생시키는 것을 특징으로 하는 컴퓨팅 시스템.
제13항에 있어서,
상기 병합 모듈은 또한,
포인트 클라우드들에 근거하여 복수의 하위-영역들을 식별하는 것과; 그리고
하위-영역 내에 위치하는 포인트 클라우드들의 공간 특징들로부터 각각의 하위-영역에 대한 현지 영역 서술 파일을 발생시키는 것을
수행함으로써 상기 현지화 영역 서술 파일을 발생시키는 것을 특징으로 하는 컴퓨팅 시스템.
제11항에 있어서,
상기 컴퓨팅 시스템은 또한 상기 제 1 데이터저장소 및 상기 네트워크 인터페이스에 결합되는 공간 특징 필터 모듈(spatial feature filter module)을 포함하고,
상기 공간 특징 필터 모듈은 상기 제 2 모바일 디바이스로부터 피드백 데이터 수신하고, 여기서 상기 피드백 데이터는 상기 현지화 영역 서술 파일이 나타내는 공간 특징들 중 하나 이상이 상기 제 2 모바일 디바이스에 의해 상기 현지화 영역 서술 파일을 사용하여 검출되었는지 여부를 식별시키고, 그리고
상기 공간 특징 필터 모듈은 상기 피드백 데이터에 근거하여 상기 현지화 영역 서술 파일을 업데이트하여 업데이트된 현지화 영역 서술 파일을 발생시키고,
상기 질의 모듈은 상기 업데이트된 현지화 영역 서술 파일을 상기 네트워크 인터페이스를 통해 적어도 하나의 제 3 모바일 디바이스에게 제공하는 것을 특징으로 하는 컴퓨팅 시스템.
제16항에 있어서,
상기 공간 특징 필터 모듈은,
상기 현지 영역 서술 파일이 나타내는 각각의 공간 특징에 대한 점수를 유지시키는 것과; 그리고
상기 현지화 영역 서술 파일이 나타내는 공간 특징에 대해,
공간 특징이 상기 제 2 모바일 디바이스에 의해 검출되었음을 상기 피드백 데이터가 표시함에 응답하여 공간 특징의 점수를 증가시키는 것과;
공간 특징이 상기 제 2 모바일 디바이스에 의해 검출되지 않았음을 상기 피드백 데이터가 표시함에 응답하여 공간 특징의 점수를 감소시키는 것과; 그리고
상기 점수를 적어도 하나의 임계치와 비교하는 것에 근거하여 상기 현지화 영역 서술 파일로부터 공간 특징을 선택적으로 제거하는 것을
수행함으로써 상기 현지화 영역 서술 파일을 업데이트하는 것을 특징으로 하는 컴퓨팅 시스템.
제17항에 있어서,
상기 피드백 데이터는, 상기 제 2 모바일 디바이스에 의해 검출된 공간 특징을 식별시키고, 그리고 상기 현지화 영역 서술 파일이 어떤 것을 나타내지 못했는지를 식별시키고,
상기 공간 특징 필터 모듈은,
상기 제 2 모바일 디바이스에 의해 검출된 공간 특징과 관련된 점수를 증가시키는 것과; 그리고
상기 점수와 적어도 하나의 임계치의 비교에 응답하여, 상기 제 2 모바일 디바이스에 의해 검출된 공간 특징을 포함하도록 상기 현지화 영역 서술 파일을 선택적으로 수정하는 것을
수행함으로써 상기 현지화 영역 서술 파일을 업데이트하는 것을 특징으로 하는 컴퓨팅 시스템.
모바일 디바이스로서, 상기 모바일 디바이스는,
원격 컴퓨팅 시스템에 결합되는 네트워크 인터페이스와;
상기 모바일 디바이스가 위치하는 영역에서 이미지(imagery)를 캡처하는 복수의 이미지화 센서(imaging sensor)들과;
상기 캡처된 이미지 내에서 공간 특징들의 제 1 세트를 검출하는 공간 특징 검출 모듈과; 그리고
상기 네트워크 인터페이스를 통해 상기 원격 컴퓨팅 시스템으로부터 상기 영역에 대한 현지화 영역 서술 파일을 획득하는 현지화 모듈을 포함하고,
상기 현지화 영역 서술 파일은 상기 영역에 대한 공간 특징들의 제 2 세트를 나타내고,
상기 현지화 모듈은 공간 특징들의 상기 제 1 세트를 공간 특징들의 상기 제 2 세트와 비교하는 것에 근거하여 상기 모바일 디바이스를 상기 영역과 관련된 좌표 프레임에 현지화(localize)시키는 것을 특징으로 하는 모바일 디바이스.
제19항에 있어서,
상기 현지화 모듈은 또한, 상기 네트워크 인터페이스를 통해 상기 원격 컴퓨팅 시스템에게 피드백 데이터를 제공하고,
상기 피드백 데이터는,
상기 제 2 세트의 공간 특징이 상기 제 1 세트 내에서 검출되었는지 여부; 그리고
상기 제 1 세트 내의 공간 특징이 상기 제 2 세트 내에서 검출되지 않았는지 여부
중 적어도 하나를 식별시키는 것을 특징으로 하는 모바일 디바이스.
모바일 디바이스로서, 상기 모바일 디바이스는,
원격 컴퓨팅 시스템에 결합되는 네트워크 인터페이스와;
상기 모바일 디바이스가 위치하는 영역에서 이미지를 캡처하는 복수의 이미지화 센서들과;
상기 복수의 이미지화 센서들에 결합되어 상기 캡처된 이미지 내에서 공간 특징들의 세트를 검출하는 공간 특징 검출 모듈과;
상기 이미지를 캡처하는 것과 동시에 센서 데이터를 캡처하는 하나 이상의 비-이미지 센서들의 세트와; 그리고
상기 네트워크 인터페이스, 상기 공간 특징 검출 모듈, 및 적어도 하나의 비-이미지 센서들의 상기 세트에 결합되는 조합 모듈(assembly module)을 포함하고,
상기 조합 모듈은 상기 네트워크 인터페이스를 통해 상기 원격 컴퓨팅 시스템에게 영역 서술 파일을 제공하고,
상기 영역 서술 파일은, 공간 특징들의 상기 세트의 선택된 서브세트의 포인트 클라우드를 나타내고 그리고 상기 센서 데이터를 포함하는 것을 특징으로 하는 모바일 디바이스.
제21항에 있어서,
상기 조합 모듈은 또한, 상기 모바일 디바이스가 위치하는 영역을 식별하고, 그리고 상기 식별된 영역에 대한 현지화 영역 서술 파일을 상기 원격 컴퓨팅 시스템으로부터 요청하고,
상기 조합 모듈은, 상기 요청된 현지화 영역 서술 파일이 상기 식별된 영역에 대해 이용가능하지 않다는 상기 원격 컴퓨팅 시스템으로부터의 표시에 응답하여 상기 영역 서술 파일을 제공하는 것을 특징으로 하는 모바일 디바이스.