KR20150079730A

KR20150079730A - 컴퓨터 비전 기반 추적을 위해 멀티 맵들을 병합하는 시스템들 및 방법들

Info

Publication number: KR20150079730A
Application number: KR1020157013412A
Authority: KR
Inventors: 마헤쉬 라마찬드란; 아브히쉑 티아기; 세라핀 디아즈 스핀돌라
Original assignee: 퀄컴 인코포레이티드
Priority date: 2012-10-31
Filing date: 2013-10-08
Publication date: 2015-07-08
Also published as: US20140119598A1; EP2915138B1; US9177404B2; WO2014070390A1; EP2915138A1; JP2016500885A; CN104756155B; JP6339579B2; CN104756155A

Abstract

컴퓨터 비전 기반 추적을 위해 다수의 맵들을 병합하기 위한 방법, 장치, 및 컴퓨터 프로그램 물건이 개시된다. 일 실시형태에서, 컴퓨터 비전 기반 추적을 위해 다수의 맵들을 병합하는 방법은, 적어도 하나의 모바일 디바이스로부터 장소의 장면의 복수의 맵들을 수신하는 단계, 장면의 복수의 맵들의 다수의 키프레임들을 식별하는 단계, 및 장면의 전반적인 맵을 생성하기 위해서 다수의 키프레임들을 병합하는 단계를 포함한다.

Description

컴퓨터 비전 기반 추적을 위해 멀티 맵들을 병합하는 시스템들 및 방법들{Systems and methods of merging multiple maps for computer vision based tracking}

[0001]본 출원은, 2013년 3월 14일에 출원되고 명칭이 "Systems and Methods of Merging Multiple Maps for Computer Vision Based Mobile Device Tracking"인 미국 출원 번호 제13/830,664호의 우선권을 주장하며, 결과적으로 2012년 10월 31일에 출원되고 명칭이 "Systems and Methods of Merging Multiple Maps for Computer Vision Based Mobile Device Tracking"인 미국 가출원 번호 제61/720,804호의 우선권을 주장한다. 상기 언급된 미국 출원들은 이로써 그 전체가 인용에 의해 본원에 포함된다.

[0002]본 개시는 무선 통신들, 컴퓨터 비전 및 증강 현실 분야에 관한 것이다. 특히, 본 개시는 컴퓨터 비전 기반 추적을 위해 다수의 맵들을 병합하는 시스템들 및 방법들에 관한 것이다.

[0003]수많은 종래의 방법들은 다수의 서브 맵들로부터 전체 맵을 생성하기 위해 이용가능하다. 이러한 종래의 방법들은 다수의 서브 맵의 병합을 지원하기 위해 메모리에 불필요한(redundant) 서브 맵들을 저장한다. 이러한 불필요한 서브 맵들은 전체 맵의 품질에 기여도가 낮을 수 있다. 그러나, 이들은 상당한 저장량을 소모할 수 있다. 이외에도, 이러한 불필요한 서브 맵들을 프로세싱하기 위해서 값비싼 컴퓨팅 리소스들과 시간이 낭비될 수 있다.

[0004]본 개시물은 컴퓨터 비전 기반 추적을 위해 다수의 맵들을 병합하는 시스템들 및 방법들에 관한 것이다. 일 실시형태에서, 컴퓨터 비전 기반 추적을 위해 다수의 맵들을 병합하는 방법은 적어도 하나의 모바일 디바이스로부터 장소의 장면의 복수의 맵들을 수신하는 단계, 장면의 복수의 맵들의 다수의 키프레임들을 식별하는 단계, 및 장면의 전반적인 맵(global map)을 생성하기 위해서 다수의 키프레임들을 병합하는 단계를 포함한다. 방법은 장소에서 적어도 하나의 모바일 디바이스의 위치를 추적하는 단계를 더 포함한다.

[0005]장소의 장면의 복수의 맵들을 수신하는 방법은 다수의 모바일 디바이스들로부터 장면의 복수의 맵들을 수신하는 단계를 포함한다. 방법은 다수의 모바일 디바이스들로부터의 장면의 복수의 맵들로부터 다수의 키프레임들을 중복(redundancy)에 대해 평가하는 단계, 및 불필요한 키프레임들을 제거하는 단계를 더 포함한다. 방법은 다수의 모바일 디바이스들로부터의 장면의 복수의 맵들을 이용하여 SLAM(simultaneous localization and mapping) 맵을 생성하는 단계, 및 다수의 모바일 디바이스들 사이에서 SLAM 맵을 공유하는 단계를 더 포함한다.

[0006]장면의 복수의 맵들의 다수의 키프레임들을 식별하는 방법은 장면의 다수의 뷰포인트들을 나타내는 다수의 키프레임들을 다수의 각도들로부터 식별하는 단계, 및 장면의 다수의 뷰포인트들을 나타내는 다수의 키프레임들을 다수의 스케일들로 식별하는 단계 중 적어도 하나를 포함하고, 다수의 키프레임들은 복수의 맵들의 공통 피쳐들, 위치 좌표들, 및 외관들을 포함한다. 다수의 스케일들은 적어도 하나의 모바일 디바이스와 장면 간의 다수의 거리들, 및 적어도 하나의 모바일 디바이스로부터 장면의 다수의 종횡비들 중 적어도 하나를 포함한다.

[0007]장면의 전반적인 맵을 생성하기 위해서 다수의 키프레임들을 병합하는 방법은, 다수의 키프레임들의 각각의 키프레임에 대하여, 키프레임의 각도 다양성 및 키프레임의 스케일 다양성에 적어도 부분적으로 기초하여 기여도 점수를 결정하는 단계, 및 기여도 점수가 미리결정된 임계치 미만인 것에 응답하여 키프레임을 제거하는 단계를 포함한다. 키프레임의 각도 다양성 및 스케일 다양성에 적어도 부분적으로 기초하여 기여도 점수를 결정하는 방법은 제 1 가중치 팩터를 키프레임의 각도 다양성에 적용함으로써 각도 다양성 스코어링 메트릭(scale diversity scoring metric)을 계산하는 단계, 제 2 가중치 팩터를 키프레임의 스케일 다양성에 적용함으로써 스케일 다양성 스코어링 메트릭을 계산하는 단계, 및 기여도 점수를 생성하기 위해서 각도 다양성 스코어링 메트릭과 스케일 다양성 스코어링 메트릭을 결합하는 단계를 포함한다.

[0008]장면의 전반적인 맵을 생성하기 위해서 다수의 키프레임들을 병합하는 방법은, 다수의 키프레임들의 각각의 키프레임에 대하여, 키프레임의 각도 다양성에 적어도 부분적으로 기초하여 기여도 점수를 결정하는 단계, 및 기여도 점수가 미리결정된 임계치 미만인 것에 응답하여 키프레임을 제거하는 단계를 더 포함한다. 장면의 전반적인 맵을 생성하기 위해서 다수의 키프레임들을 병합하는 방법은, 다수의 키프레임들의 각각의 키프레임에 대하여, 키프레임의 스케일 다양성에 적어도 부분적으로 기초하여 기여도 점수를 결정하는 단계, 및 기여도 점수가 미리결정된 임계치 미만인 것에 응답하여 키프레임을 제거하는 단계를 더 포함한다.

[0009]장면의 전반적인 맵을 생성하기 위해서 다수의 키프레임들을 병합하는 방법은 각도 히스토그램 내의 다수의 키프레임들을 집계하는(tallying) 단계 ― 각도 히스토그램은 장면의 상이한 시야각들을 나타내는 복수의 빈들(bins)을 포함하고, 그리고 복수의 빈들 내의 각각의 빈은 장면의 상이한 시야 스케일들을 나타내는 복수의 섹션들을 포함함―를 더 포함한다. 방법은, 각도 히스토그램 내의 다수의 키프레임들의 각각의 키프레임들에 대하여, 키프레임의 각도 다양성과 키프레임의 스케일 다양성에 적어도 부분적으로 기초하여 기여도 점수를 결정하는 단계, 및 기여도 점수가 미리결정된 임계치 미만인 것에 응답하여 키프레임을 제거하는 단계를 더 포함한다.

[0010]키프레임의 각도 다양성과 스케일 다양성에 적어도 부분적으로 기초하여 기여도 점수를 결정하는 방법은 제 1 가중치 팩터를 키프레임의 각도 다양성에 적용함으로써 각도 다양성 스코어링 메트릭을 계산하는 단계 ― 제 1 가중치 팩터는 키프레임이 있는 빈 내의 키프레임들의 수에 적어도 부분적으로 기초함―; 제 2 가중치 팩터를 키프레임의 스케일 다양성에 적용함으로써 스케일 다양성 스코어링 메트릭을 계산하는 단계 ― 제 2 가중치 팩터는 키프레임이 있는 섹션 내의 키프레임들의 수에 적어도 부분적으로 기초함―; 및 기여도 점수를 생성하기 위해서 각도 다양성 스코어링 메트릭과 스케일 다양성 스코어링 메트릭을 결합하는 단계를 포함한다.

[0011]다른 실시형태에서, 장치는 적어도 하나의 모바일 디바이스로부터 장소의 장면의 복수의 맵들을 수신하도록 구성된 로직, 장면의 복수의 맵들의 다수의 키프레임들을 식별하도록 구성된 로직; 및 장면의 전반적인 맵을 생성하기 위해서 다수의 키프레임들을 병합하도록 구성된 로직을 포함한다.

[0012]또 다른 실시형태에서, 컴퓨터 프로그램 물건은 하나 또는 그보다 많은 컴퓨터 시스템들에 의한 실행을 위해 명령들을 저장하는 비일시적 매체를 포함한다. 명령들은, 적어도 하나의 모바일 디바이스로부터 장소의 장면의 복수의 맵들을 수신하기 위한 명령들, 장면의 복수의 맵들의 다수의 키프레임들을 식별하기 위한 명령들, 및 장면의 전반적인 맵을 생성하기 위해서 다수의 키프레임들을 병합하기 위한 명령들을 포함한다.

[0013]또 다른 실시형태에서, 시스템은 적어도 하나의 모바일 디바이스로부터 장소의 장면의 복수의 맵들을 수신하기 위한 수단, 장면의 복수의 맵들의 다수의 키프레임들을 식별하기 위한 수단, 및 장면의 전반적인 맵을 생성하기 위해서 다수의 키프레임들을 병합하기 위한 수단을 포함한다.

[0014]본 개시물의 상기 언급된 피쳐들 및 이점들뿐만 아니라 본 개시물의 추가적인 피쳐들 및 이점들은, 다음의 도면들과 함께 본 개시물의 실시형태의 상세한 설명들을 읽고 난 후 더욱 명확하게 이해가능할 것이다.
[0015]도 1은 본 개시물의 일부 양상들에 따른 예시적인 장소를 도시한다.
[0016]도 2는 본 개시물의 일부 양상들에 따른 다수의 각도로부터 장면의 다수의 뷰포인트들을 캡쳐하는 방법을 도시한다.
[0017]도 3은 본 개시물의 일부 양상들에 따른 다수의 거리들로부터 장면의 다수의 뷰포인트들을 캡쳐하는 방법을 도시한다.
[0018]도 4는 본 개시물의 일부 양상들에 따른 다수의 종횡비들로 장면의 다수의 뷰포인트들을 캡쳐하는 방법을 도시한다.
[0019]도 5는 본 개시물의 일부 양상들에 따른 컴퓨터 비전 기반 추적을 위해 다수의 맵들을 병합하는 방법을 구현하는 예시적인 장치를 도시한다.
[0020]도 6은 본 개시물의 일부 양상들에 따른 컴퓨터 비전 기반 추적을 위해 다수의 맵들을 병합하는 방법을 구현하기 위한 예시적인 흐름도를 도시한다.
[0021]도 7은 본 개시물의 일부 양상들에 따른 모바일 디바이스의 예시적인 블록도를 도시한다.
[0022]도 8은 본 개시물의 일부 양상들에 따른 키프레임들의 각도 및 스케일의 다양성들을 결정하기 위한 예시적인 방법을 도시한다.
[0023]도 9는 본 개시물의 일부 양상들에 따른 키프레임들의 각도 및 스케일의 다양성을 결정하기 위한 다른 예시적인 방법을 도시한다.
[0024] 동일한 도면 부호들이 도면들 전체에 걸쳐 사용된다.

[0025]컴퓨터 비전 기반 추적을 위해 다수의 맵들을 병합하는 실시형태들이 개시된다. 다음의 설명들은, 어떠한 당업자라도 본 개시물을 실시하고 사용할 수 있게 하기 위해서 제시된다. 특정 실시형태들 및 응용들의 설명들이 단지 예시로서 제공된다. 본원에 설명된 실시예들의 다양한 변경들 및 조합들이 당업자에게 자명할 것이고, 본원에 정의된 일반 원리들은 본 개시물의 범위로부터 벗어남 없이 다른 실시예들과 응용들에 적용될 수 있다. 이와 같이, 본 개시물은 설명되고 나타내어진 실시예들로 제한되도록 의도되지 않고, 본원에 개시된 원리들 및 피쳐들과 부합하는 범위를 따른다.

[0026]본 개시물의 일부 양상들에 따르면, SLAM(simultaneous localization and mapping) 기반 애플리케이션들은 환경 또는 장소에 있는 적어도 하나의 모바일 디바이스의 위치를 추적하기 위해서 적어도 하나의 모바일 디바이스에 의해 관찰된 환경 또는 장소에 대한 정보를 구축하고 유지한다. 이러한 정보는, 환경 맵으로도 또한 지칭될 수 있는 피쳐들의 구조(3D 위치들) 및 외관을 포함하지만, 이것으로 제한되는 것은 아니다. 맵 구축을 위한 기술들은 상이한 환경들 또는 장소들에서 다양한 이용 사례들을 지원하는 데에 유리할 수 있다. 예를 들어, 다수의 모바일 디바이스들을 이용하여 대규모 장소의 전반적인 맵들을 구축하는 것은 환경 내에서 다수의 모바일 디바이스들의 위치들을 추적하는데 유용할 수 있다. 다수의 모바일 디바이스들을 이용하는 것은, 하나의 모바일 디바이스를 이용하여 전반적인 맵을 구축하는 것과는 대조적으로 전반적인 맵을 구축하는데 바람직할 수 있다는 것을 주목한다.

[0027]일부 실시형태들에서, 전반적인 맵들은 로컬리제이션(localization)의 구현 시 환경 내 다수의 모바일 디바이스들에 의해 공유될 수 있다. 상이한 모바일 디바이스들로부터의 장면의 다수의 맵들을 이용하여, 하나의 접근법은 전반적인 맵을 획득하기 위해 이러한 맵들을 병합하는 것이다. 본 개시물의 양상들에 따르면, 전반적인 맵은 실시간으로 생성될 수 있거나 또는 서버에서 오프라인으로 생성될 수 있다. 다른 접근법은, 다수의 맵들을 병합하면서 중복되는 것을 제거함으로써 전반적인 맵을 이용하여 더 작은 전반적인 맵 사이즈와 더 적은 추적 시간들에 이를 수 있도록 하는 것이다. 효율적인 방식으로 환경 또는 장소에 대한 정보를 나타내는 병합 맵들을 생성하기 위한 방법들을 다음 섹션들에서 설명한다.

[0028]본 개시물의 일부 양상들에 따르면, 장면의 맵들은 다양한 뷰포인트들로부터 캡쳐된 이미지들인 키프레임들로서 나타내어질 수 있다. 각각의 키프레임은 장면에서 3D 피쳐들(포인트들, 라인들 등)의 이미지들 및 관찰들의 피쳐들의 세트(포인트들/라인들의 위치 좌표들과 외관)를 포함할 수 있다. 일부 구현들에서, 과거의 관찰들과 키프레임들은, 새로 인입하는 관찰들 또는 제한조건들을 이용하여 기하학적 구조를 리파인(refine)하기 위해 저장되고 사용된다. 일 접근법은 키프레임들의 피쳐 관찰들을 저장하는 것이다. 맵의 키프레임들은 다양한 뷰포인트들에서 장면 피쳐들의 관찰들을 캡쳐할 수 있다. 이외에도, 키프레임들은 저장된 정보에서 최소의 중복이 있는 장면의 상이한 부분들의 관찰들을 제공할 수 있다. 외관을 이용한 피쳐 추적의 경우, 도 2에 따라서 설명된 바와 같이 다수의 뷰포인트들로부터의 피쳐들의 관측들을 취하고 그리고 도 3 및 도 4과 관련되어 설명된 바와 같이 다수의 스케일들 이용하는 데에 유용하다. 이러한 피쳐 추적 방법들은 추적 품질 및 강인성을 개선하는 데에 유용하다.

[0029]맵들 간의 정보를 병합할 경우, 키프레임들 모두를 보유하는 것은 불필요한 정보가 있을 경우 조인트 맵 사이즈를 증가시킬 수 있다는 것을 주목한다. 이외에도, 키프레임들은 성능을 추적하는 데에 중요한 것이기 때문에, 키프레임들을 잘라내는것(폐기하는 것)이 추적 품질에 영향을 미치지 않을 수 있는 것이 바람직하다. 일 접근법에서, 상이한 각도들에서 피쳐들을 보여주는 키프레임들이 보유될 수 있지만, 상이한 스케일로 피쳐들을 보여주는 키프레임들은 폐기될 수 있다. 그러나, 이러한 접근법은 상이한 거리들에서 계속적으로 피쳐들을 추적하는 데에 유용한 정보를 보유하지 않는다. 이는 단지 구조에 대해 삼각측량을 실시하거나 분석(solving)하기 위해 필요한 정보를 보유할 뿐이다. 다른 접근법에서, 피쳐들을 더 가까이에서 관측하는 키프레임들이 바람직할 수 있다. 또 다른 접근법에서, 상이한 거리들에서 피쳐들을 관찰하는 키프레임들이 보유될 수 있지만, 상이한 각도들에서 피쳐들을 관찰하는 키프레임들은 폐기될 수 있다. 키프레임들은 전체 맵 또는 이미지를 생성하는 것에 대한 그들의 기여도들로 평가될 수 있다.

[0030]본 개시물의 다른 양상들에 따르면, 상이한 스케일들에서 피쳐들을 관찰하는 키프레임들은 도 3 및 도 4와 관련되어 설명된 바와 같이 스케일 변화에 따른 외관의 변화들을 캡쳐하기 위해 사용될 수 있다. 또한, 예측되는 외관이 최소의 아티팩트들 또는 외관 왜곡들을 갖도록, 다양한 스케일들 중에서 올바른 스케일로부터 외관을 예측하기 위해 키프레임들이 사용될 수 있다.

[0031]일 예시적인 구현에서, 키프레임과 연관된 기여도 점수는 키프레임의 각도 다양성과 스케일 다양성에 적어도 부분적으로 기초하여 결정될 수 있다. 예를 들어, 기여도 점수의 일 부분은, 키프레임에 의해 관찰된 피쳐들에 대해 각도 다양성에 대한 키프레임의 기여도로부터 유도될 수 있다. 기여도 점수의 다른 부분은 키프레임에 의해 관찰된 피쳐들에 대해 스케일 다양성에 대한 키프레임의 기여도로부터 유도될 수 있다. 그런 다음, 키프레임은, 기여도 점수가 미리결정된 임계치 미만인 경우 제거될 수 있다. 본 개시물의 양상들에 따르면, 기여도 점수에 대한 미리결정된 임계치는 애플리케이션에 의존하여 프로그래밍 가능할 수 있다. 일부 다른 구현들에서, 기여도 점수는 특정 시야각으로부터의 그리고 특정 시야 스케일 또는 거리로부터의 키프레임들의 발생 수를 집계하도록 구성되는 빈(bin)에 이미 존재하는 키프레임들의 수를 나타낼 수 있다. 일부 애플리케이션들에서, 빈에 있는 키프레임들의 수에 대해 미리결정된 임계치는 2로 설정될 수 있고, 일부 다른 애플리케이션들에서, 빈에 있는 키프레임들의 수에 대해 미리결정된 임계치는 예를 들어, 5로 설정될 수 있다.

[0032]즉, 키프레임 스코어링 방법은 각도 다양성을 측정하기 위해서 제 1 스코어링 메트릭을 이용하고 키프레임의 스케일 다양성을 측정하기 위해서 제 2 스코어링 메트릭을 이용할 수 있다. 이 2개의 메트릭들은 이후 상이한 가중치 팩터들로 결합되고 합산될 수 있다. 가중치 팩터들은, 하나의 스코어링 메트릭 대 다른 스코어링 메트릭에 대해 더 많은 강조를 두기 위해 사용될 수 있다. 본 개시물의 양상들에 따르면, 각도 다양성과 스케일 다양성에 대한 가중치 팩터들이 프로그래밍 가능할 수 있고 이들의 범위는 0(0%) 내지 1(100%)로 변할 수 있다. 예를 들어, 일부 구현들에서, 각도 다양성의 가중치는 0일 수 있고 스케일 다양성의 가중치는 1일 수 있거나, 또는 그 반대의 경우도 가능하다. 일부 다른 구현들에서, 각도 다양성의 가중치는 0.5일 수 있고 스케일 다양성의 가중치는 0.5일 수 있다. 또 다른 일부 구현들에서, 각도 다양성의 가중치는 0.6일 수 있고 스케일 다양성의 가중치는 0.4일 수 있는 식이다. 이후, 조인트 메트릭이 맵핑 및 추적을 위한 키프레임의 기여도를 평가하기 위해 사용될 수 있다. 상기 설명된 바와 같이, 키프레임은, 그의 기여도 점수가 미리결정된 임계치 미만인 경우 제거될(또는 잘라내어질) 수 있다. 예를 들어, 매우 유사한 거리와 각도로부터의 장면에서 동일한 오브젝트를 보는 9개의 다른 키프레임들이 있다면, 이러한 9개의 키프레임들은 낮은 각도 및 스케일 다양성 점수들을 가질 것인데, 이는 다른 키프레임들이 동일한 정보 콘텐츠를 갖기 때문에 이들 중 어느 하나를 제거하는 것이 문제가 되지 않기 때문이다.

[0033]다른 예시적인 구현에서, 장면의 각도 다양성 메트릭의 결정 시, 각각의 장면 관찰의 정보 콘텐츠가 컴퓨팅될 수 있다. 이후, 정규화된 스코어가 누산되어 키프레임의 기여도 점수를 형성할 수 있다. 이 접근법은 각도 다양성을 조장하지만, 대응하는 거리들이 모바일 디바이스에 더 가까운 장면들을 나타내는 키프레임들을 선호한다는 것을 주목한다.

[0034]장면의 스케일 다양성 메트릭의 결정 시, 스케일 다양성의 척도가 사용될 수 있다. 방법은, 예로서, 0.5x 내지 2x의 거리들로부터의 뷰들을 합성하기 위해서 거리x에서 키프레임을 사용하도록 구성될 수 있고, 이는 하나의 피라미드 레벨만큼 다운-샘플링/업-샘플링하는 것에 대응한다. 이 접근법에서, 이 브래킷 내에 있는 모든 키프레임들의 경우, 방법은, 1을 그 브래킷 내의 키프레임들의 수(N)로 제산한 것 일 수 있는 기여도 점수를 할당한다. 이후, 관찰되는 맵 포인트들로부터의 기여도 점수들을 합산한다. 본 개시물의 양상들에 따르면, 다양한 접근법들은 스케일 다양성에 기초하여 스코어들을 할당하도록 사용될 수 있는데, 예를 들어, 일 접근법은 다음 식을 사용할 수 있다: N<=5인 경우, 0.25*N+1.5, N>5인 경우, 1/N.

[0035]도 1은 본 개시물의 일부 양상들에 따른 예시적인 장소를 도시한다. 도 1에 도시된 바와 같이, 예시적인 장소(102)는 복합 축구 경기장일 수 있다. 이러한 복합 장소의 경우, 통상의 모바일 디바이스는 전체 경기장을 나타내는 이미지를 캡쳐하지 못할 수 있다. 애플리케이션들의 추적 및 포지셔닝에 사용될 수 있는 전반적인 이미지를 구축하기 위해서 하나 또는 그보다 많은 모바일 디바이스들에 의해 캡쳐된 다수의 이미지들을 병합하는 것이 바람직하다.

[0036]도 2는 본 개시물의 일부 양상들에 따른, 다수의 각도들로부터 장면의 다수의 뷰포인트들을 캡쳐하는 방법을 도시한다. 도 2에 도시된 실시예에서, 장면(202)은 상이한 시야각들에서 하나 또는 그보다 많은 모바일 디바이스들(201a 내지 201f)에 의해 캡쳐될 수 있다. 예를 들어, 모바일 디바이스(201a)가 시야각(A1)을 갖고 모바일 디바이스(201b)가 시야각(A2)을 갖고...그리고 모바일 디바이스(201f)가 시야각(A6)을 갖는다. 일부 구현들에서, 다수의 뷰포인트들(A1 내지 A6)이 하나의 모바일 디바이스에 의해 캡쳐될 수 있다. 일부 다른 구현들에서, 다수의 뷰포인트들(A1 내지 A6)이 다수의 모바일 디바이스들에 의해 캡쳐될 수 있다.

[0037]도 3은 본 개시물의 일부 양상들에 따른, 다수의 거리들로부터 장면의 다수의 뷰포인트들을 캡쳐하는 방법을 도시한다. 도 3에 도시된 실시예에서, 장면(302)은 상이한 거리들로부터 하나 또는 그보다 많은 모바일 디바이스들(301a 내지 301c)에 의해 캡쳐될 수 있다. 예를 들어, 모바일 디바이스(301a)는 거리 D1에서 장면(302)을 캡쳐하고, 모바일 디바이스(301b)는 거리 D2에서 장면(302)을 캡쳐하고, 모바일 디바이스(301c)는 거리 D3에서 장면(302)을 캡쳐한다. 일부 구현들에서, 상이한 거리들(D1 내지 D3)로부터의 다수의 뷰포인트들이 하나의 모바일 디바이스에 의해 캡쳐될 수 있다. 일부 다른 구현들에서, 상이한 거리들(D1 내지 D3)로부터의 다수의 뷰포인트들이 다수의 모바일 디바이스들에 의해 캡쳐될 수 있다.

[0038]도 4는 본 개시물의 일부 양상들에 따른 다수의 종횡비들로 장면의 다수의 뷰포인트들을 캡쳐하는 방법을 도시한다. 도 4에 도시된 실시예에서, 장면(402)의 다수의 뷰포인트들이 하나 또는 그보다 많은 모바일 디바이스들의 상이한 종횡비 셋팅들을 가진 하나 또는 그보다 많은 모바일 디바이스들(401a 내지 401c)에 의해 캡쳐될 수 있다. 예를 들어, 모바일 디바이스(401a)는 거리 D에서 종횡비(AR1)로 장면(402)을 캡쳐하고, 모바일 디바이스(401b)는 거리 D에서 종횡비(AR2)로 장면(402)을 캡쳐하고, 모바일 디바이스(401c)는 거리 D에서 종횡비(AR3)로 장면(402)을 캡쳐한다. 일부 구현들에서, 상이한 종횡비들(AR1 내지 AR3)을 이용한 장면(402)의 다수의 뷰포인트들은 하나의 모바일 디바이스에 의해 캡쳐될 수 있다. 일부 다른 구현들에서, 상이한 종횡비들(AR1 내지 AR3)을 가진 장면(402)의 다수의 뷰포인트들이 다수의 모바일 디바이스들에 의해 캡쳐될 수 있다.

[0039]도 5는 본 개시물의 일부 양상들에 따른 컴퓨터 비전 기반 추적을 위해 다수의 맵들을 병합하는 방법을 구현하는 예시적인 장치를 도시한다. 도 5에 도시된 실시예에서, 장치(500)는 하나 또는 그보다 많은 프로세서들(502), 네트워크 인터페이스(504), 맵 데이터베이스(506), 키프레임 프로세싱 모듈(508), 및 메모리(510)를 포함한다. 하나 또는 그보다 많은 프로세서들(502)은 장치(500)의 동작들을 제어하도록 구성될 수 있다. 네트워크 인터페이스(504)는 네트워크(미도시)와 통신하도록 구성될 수 있으며, 이는, 네트워크 상에서 서버들, 컴퓨터들, 및 모바일 디바이스들과 통신하도록 구성될 수 있다. 맵 데이터베이스(506)는 상이한 장소, 랜드마크들, 맵들, 및 다른 사용자-정의 정보의 이미지들을 저장하도록 구성될 수 있다. 키프레임 프로세싱 모듈(538)은, 컴퓨터 비전 기반 추적을 위해 다수의 맵들을 병합하는 방법들을 구현하도록 구성될 수 있다. 예를 들어, 프로세서(들)(502)와의 작업으로, 키프레임 프로세싱 모듈(508)은 상술된 방법들 및 도 6, 도 8 및 도 9와 관련하여 아래에 설명된 방법들을 구현하도록 구성될 수 있다. 메모리(510)는 장치(500)를 위해 프로그램 코드들 및 데이터를 저장하도록 구성될 수 있다. 다른 실시형태들에서, 도 6, 도 8 및 도 9와 관련하여 아래에 설명된 방법들은 도 2, 도 3 및 도 4에 도시된 바와 같이 모바일 디바이스들 중 하나에 의해 구현될뿐만 아니라 서버에 의해 구현될 수 있다는 것을 주목한다.

[0040]도 6은 본 개시물의 일부 양상들에 따른 컴퓨터 비전 기반 추적을 위해 다수의 맵들을 병합하는 방법을 구현하기 위한 예시적인 흐름도를 도시한다. 도 6에 도시된 예시적인 구현에서, 블록(602)에서, 방법은 적어도 하나의 모바일 디바이스로부터 장소의 장면의 복수의 맵들을 수신한다. 블록(604)에서, 방법은 장면의 복수의 맵들의 다수의 키프레임들을 식별한다. 블록(606)에서, 방법은 장면의 전반적인 맵을 생성하기 위해서 다수의 키프레임들을 병합한다. 본 개시물의 양상들에 따르면, 전반적인 맵은 장소의 3차원 모델들, SLAM(simultaneous localization and mapping) 맵들, 및 2차원 모델들을 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 이외에도, 전반적인 맵은 동적으로 업데이트될 수 있거나 또는 원격 서버에서 오프라인으로 업데이트될 수 있다. 어떤 상황들에서, 복수의 맵들 중 어느 것도 서로 중첩하지 않을 수 있고; 이러한 상황들에서, 복수의 맵들 내 대응하는 키프레임들 중 어느 것도 제거되지 않을 수 있는데, 이러한 키프레임들이 그들 각각의 하나 또는 그보다 많은 인근의 키프레임들과 관련하여 높은 각도 및/또는 스케일 다양성을 갖는 것으로 간주될 수 있기 때문이라는 것을 주목한다. 어떤 다른 상황들에서는, 복수의 맵들 중 일부가 서로 중첩할 수 있고; 이러한 상황들에서, 복수의 맵들 내의 대응하는 키프레임들 중 일부가 제거될 수 있는데, 불필요한 키프레임들 중 일부는 그들 각각의 하나 또는 그보다 많은 인근의 키프레임들과 관련하여 낮은 각도 및/또는 스케일 다양성을 갖는 것으로 간주될 수 있기 때문이다. 일부 특수 상황들에서, 둘 또는 그보다 많은 맵들이 실질적으로 서로 중첩할 수 있고; 일부 상황들에서, 맵들 중 적어도 하나로부터의 대응하는 키프레임들 중 대부분이 제거될 수 있는데, 불필요한 키프레임들 중 대부분이 그들 각각의 하나 또는 그보다 많은 인근의 키프레임들과 관련하여 낮은 각도 및/또는 스케일 다양성을 갖는 것으로 간주될 수 있기 때문이다.

[0041]본 개시물의 일부 양상들에 따르면, 블록(602)에서 수행되는 방법들은 블록(608)에서 수행되는 방법들을 더 포함할 수 있고, 블록(608)에서 수행되는 방법들은 블록들(609 및 610)에서 수행되는 방법을 더 포함할 수 있다. 블록(608)에서, 방법은 다수의 모바일 디바이스들로부터 장면의 복수의 맵들을 수신한다. 블록(609)에서, 방법은 다수의 모바일 디바이스들로부터의 장면의 복수의 맵들로부터 다수의 키프레임들을 평가하고 중복인 경우 불필요한 키프레임들을 제거한다. 블록(610)에서, 방법은 다수의 모바일 디바이스들로부터의 장면의 복수의 맵들을 이용하여 전반적인 맵을 생성하고, 다수의 모바일 디바이스들 사이에서 전반적인 맵을 공유한다.

[0042]본 개시물의 일부 양상들에 따르면, 블록(604)에서 수행되는 방법들은 블록(612)에서 수행되는 방법들을 더 포함할 수 있고, 블록(612)에서 수행되는 방법들은 블록(614)의 엘리먼트들을 더 포함할 수 있다. 블록(612)에서, 방법은 다수의 각도들로부터 장면의 다수의 뷰포인트들을 나타내는 다수의 키프레임들을 식별하고, 그리고/또는 다수의 스케일들을 갖는 장면의 다수의 뷰포인트들을 나타내는 다수의 키프레임들을 식별하며, 여기서, 다수의 키프레임들은 피쳐들, 3차원 좌표들, 및 복수의 맵들의 외관들을 포함한다. 블록(614)에서, 다수의 스케일들은, 적어도 하나의 모바일 디바이스와 장면 사이의 다수의 거리들, 및 적어도 하나의 모바일 디바이스로부터의 장면의 다수의 종횡비들 중 적어도 하나를 포함한다.

[0043]본 개시물의 일부 양상들에 따르면, 블록(606)에서 수행된 방법들은 블록(616)에서 수행된 방법들을 더 포함할 수 있고, 블록(616)에서 수행된 방법들은 블록(618)에서 수행된 방법들을 더 포함할 수 있다. 블록(616)에서, 다수의 키프레임들의 각각의 키프레임에 대해, 방법은 키프레임의 각도 다양성 및/또는 키프레임의 스케일 다양성에 적어도 부분적으로 기초하여 기여도 점수를 결정하고, 기여도 점수가 미리결정된 임계치 미만인 것에 응답하여 키프레임을 제거한다. 블록(618)에서, 방법은 제 1 가중치 팩터를 키프레임의 각도 다양성에 적용함으로써 각도 다양성 스코어링 메트릭을 계산하고, 제 2 가중치 팩터를 키프레임의 스케일 다양성에 적용함으로써 스케일 다양성 스코어링 메트릭을 계산하고, 그리고 각도 다양성 스코어링 메트릭과 스케일 다양성 스코어링 메트릭을 결합하여 기여도 점수를 생성한다. 블록(620)에서, 방법은 장소 내에서 적어도 하나의 모바일 디바이스의 위치를 선택적으로 추적할 수 있다.

[0044]도 7은 본 개시물의 일부 양상들에 따른 모바일 디바이스의 예시적인 블록도를 도시한다. 모바일 디바이스(201)(201a 내지 201f를 구현하도록 구성될 수 있음)는 서버들 및 다른 모바일 디바이스들, 환경의 이미지들(비디오의 개개의 사진들이거나 또는 프레임들일 수 있음)을 캡쳐하기 위한 카메라(108)를 비롯한 (그러나 이것으로 제한되지 않는다) 다른 컴퓨팅 디바이스들과의 통신을 위한 트랜시버(106)를 포함한다. 모바일 디바이스(201)는 또한, 모바일 디바이스(201)가 그의 포지션 및 배향, 즉, 포즈(pose)를 결정할 수 있는 데이터를 제공하는 데에 사용될 수 있는 센서들(116)을 또한 포함할 수 있다. 모바일 디바이스(201)와 함께 사용될 수 있는 센서들의 예들은 가속도계들, 석영 센서들, 자이로들, 선형 가속도계들로서 사용되는 마이크로 전기기계 시스템(MEMS) 센서들뿐만 아니라 자력계들을 포함한다.

[0045]모바일 디바이스(201)는 또한, 이미지들을 디스플레이할 수 있는 디스플레이(112)를 포함하는 사용자 인터페이스(110)를 포함할 수 있다. 사용자 인터페이스(110)는 또한, 사용자가 정보를 모바일 디바이스(201)로 입력할 수 있는 키패드(114) 또는 다른 입력 디바이스를 포함할 수 있다. 원한다면, 키패드(114)는, 가상 키패드를 터치 센서를 지닌 디스플레이(112)에 통합시킴으로써 배제될 수 있다. 사용자 인터페이스(110)는 또한, 예를 들어, 모바일 플랫폼이 셀룰러 전화인 경우, 마이크로폰(117) 및 하나 또는 그보다 많은 스피커들(118)을 포함할 수 있다. 물론, 모바일 디바이스(201)는 본 개시물과 관련되지 않는 다른 컴포넌트들을 포함할 수 있다.

[0046]모바일 디바이스(201)는, 임의의 다른 원하는 피쳐들에 따라, 카메라(108) 및 센서들(116)에 연결되고 카메라(108) 및 센서들(116)과 통신하는 제어 유닛(120)뿐만 아니라 사용자 인터페이스(110)를 더 포함한다. 제어 유닛(120)은 하나 또는 그보다 많은 프로세서들(122) 및 연관된 메모리/저장소(124)에 의해 제공될 수 있다. 제어 유닛(120)은 또한 소프트웨어(126)뿐만 아니라 하드웨어(128), 및 펌웨어(130)를 포함할 수 있다. 제어 유닛(120)은 모바일 디바이스(201)에 의해 캡쳐된 관측들에 기초하여 키프레임들을 프로세싱하도록 구성된 키프레임 프로세싱 모듈(132)을 포함한다. 제어 유닛(120)은 복수의 서브맵들에 기초하여 맵을 생성하도록 구성된 맵 생성 모듈(134)을 더 포함한다. 키프레임 프로세싱 모듈(132) 및 맵 생성 모듈(134)은 명료함을 위해서 프로세서(122) 및/또는 하드웨어(128)로부터 분리되어 도시되었지만, 프로세서(122) 및/또는 하드웨어(128)에 결합되고 그리고/또는 소프트웨어(126) 및 펌웨어(130) 내 명령들에 기초하여 프로세서(122) 및/또는 하드웨어(128)에서 구현될 수 있다. 제어 유닛(120)은 키프레임 프로세싱 및 맵 생성의 방법들을 구현하도록 구성될 수 있다는 것을 주목한다. 예를 들어, 제어 유닛(120)은, 도 2, 도 3, 및 도 4에 설명된 모바일 디바이스(201)의 기능들을 구현하도록 구성될 수 있다.

[0047]도 8은 본 개시물의 일부 양상들에 따른 키프레임들의 각도 및 스케일 다양성들을 결정하기 위한 예시적인 방법을 도시한다. 도 8에 도시된 바와 같이, 흑색 정사각형으로 도시된 오브젝트(802)는 상이한 각도들, 상이한 거리들로부터 그리고 상이한 스케일로 관찰될 수 있다. 일 접근법에서, 가능한 방향들이 도 8에 도시된 구체(sphere)(800)의 빈들, 이를 테면 804 및 806으로 분리될 수 있다. 본 개시물의 양상들에 따르면, 빈은 구체(800)의 (대체로 피라미드형으로 나타내어지는) 섹터를 나타낼 수 있다. 빈은 또한, 관측들(빈 안의 하나 또는 그보다 많은 별들로 나타내어짐)을 포함하는 키프레임들을 기록하는 각도 히스토그램으로 간주될 수 있다. 예시를 위해서, 빈(804)은 구체(800)의 우측에 별개로 나타내어진다. 이 실시예에서, 빈(804)은 관측들(810a, 810b, 810c, 810d, 810e 및 810f)을 포함할 수 있다. 일부 실시형태들에서, 빈은 추가로, 도 8에 도시된 바와 같이 다수의 섹션들, 이를 테면, 섹션 1 및 섹션 2로 추가로 분리될 수 있다. 빈 안의 각각의 관측이 섹터 내의 다른 관측들에 대하여 평가될 수 있거나, 또는 다른 빈들로부터의 다른 관측들에 대하여 평가될 수 있다.

[0048]일부 구현들에서, 빈 안의 관측들의 수가 미리결정된 수, 예를 들어, 3 미만인 경우, 관측들은 높은 각도 중요성을 갖는 것으로 간주될 수 있고 관측들이 보유될 수 있다. 반면에, 관측들의 수가 미리결정된 수보다 더 큰 경우, 추가 관측이 낮은 각도 중요성을 갖는 것으로 간주될 수 있고, 추가 관측은 폐기될 수 있다.

[0049]본 개시물의 양상들에 따르면, 뷰포인트로부터 맵포인트의 관측이 주어지면, 상이한 뷰포인트와 유사한 보는 각도로부터 그의 외관이, 1/f 내지 f 곱하기 맵포인트에 대한 카메라의 거리 이내에서 정확하게 생성될 것으로 예상될 수 있다. 일부 구현들에서, f는 2와 같을 수 있고; 다른 구현들에서, f의 값은 얼마나 많은 스케일 커버리지를 원하는지에 따라 더 낮을 수 있다. 각각의 관측의 경우 맵포인트에 대한 카메라의 거리의 로그가 빈에 할당될 수 있고, 이는, 관찰들의 각도 히스토그램을 나타낸다. 그 거리는 선형 스케일로 또는 로그 스케일로 기록될 수 있다.

[0050]일부 구현들에서, 빈 안의 관측들의 수가 미리결정된 수, 예를 들어, 2 미만인 경우, 관측들은 높은 스케일 중요도를 갖는 것으로 간주될 수 있고, 이러한 관측들이 보유될 수 있다. 반면에, 빈 안에서의 관측들의 수가 미리결정된 수보다 더 큰 경우, 빈 안에서의 추가 관측이 낮은 스케일 중요도를 갖는 것으로 간주될 수 있고, 추가 관측은 폐기될 수 있다.

[0051]본 개시물의 양상들에 따르면, 관측들이 높은 각도 또는 스케일 중요도를 갖는 경우, 이것은 중요한 것으로 플래그될 수 있다. 관측이 낮은 각도 및 낮은 스케일 중요도를 갖는 경우, 이것은 중요하지 않은 것으로 플래그될 수 있고, 이것은 제거가능할 수 있다. 키 프레임이 제거가능한 관측들의 미리결정된 소부분(예를 들어, 0.8)을 초과하고 중요한 관측들의 미리결정된 소부분(fraction)(예를 들어, 0.1) 미만인 경우, 이것은 제거할 것으로 플래그될 수 있다.

[0052]도 9는 본 개시물의 일부 양상들에 따른 키프레임들의 각도 및 스케일 다양성을 결정하기 위한 다른 예시적인 방법을 도시한다. 도 9에 도시된 실시예에서, 흑색 정사각형으로 도시된 오브젝트(902)는 상이한 각도들, 상이한 거리들로부터 관측되고 그리고 상이한 스케일들로 관측될 수 있다. 일 접근법에서, 가능한 방향들이 도 9에서 도시되는 구(900)의 빈들, 이를 테면, 904 및 906으로 분리될 수 있다. 도 8에 도시된 예와 비슷하게, 빈은 구(900)의 섹터(이는 원뿔로 나타내어짐)를 나타낼 수 있다. 빈은 또한, 빈 안의 하나 또는 그보다 많은 별들로 나타내어지는 관측들을 포함하는 키프레임들을 기록하는 각도 히스토그램으로 간주될 수 있다. 예시를 위해서, 빈(904)이 구(900)의 우측에 따로 도시된다. 이 실시예에서, 빈(904)은 관측들(910a, 910b, 910c, 910d, 910e, 910f 및 910g)을 포함할 수 있다. 일부 구현들에서, 빈은 추가로, 다수의 섹션들, 이를 테면, 도 9에 도시된 바와 같이 섹션 1 및 섹션 2로 나누어질 수 있다. 빈 안의 각각의 관측은 섹터 내의 다른 관측들에 대하여 평가될 수 있고, 또는 다른 빈들로부터의 다른 관측들에 대하여 평가될 수 있다.

[0053]본 개시물의 양상들에 따르면, 제 1 관측이 제 1 빈에 이미 존재한다고 가정하면, 제 2 빈 안에서 제 2 관측을 하는 것이 제 1 빈 안에서 제 2 관측을 하는 것보다 더 높은 각도 다양성(즉, 중요도)에 기여할 수 있다. 예를 들어, 관측(910a)이 이미 빈(904)에 존재하는 경우, 빈(906) 안에서 관측하는 것(912a)은 빈(904) 안에서 관측을 하는 것(910b) 보다 더 높은 각도 다양성에 기여할 수 있다. 일부 구현들에서, 빈에 대한 추가 관측에 의한 각도 다양성의 기여도는 빈 안에서의 관측들의 수에 반비례할 수 있다.

[0054]본 개시물의 양상들에 따르면, 관측이 빈의 제 1 섹션 내에 이미 존재한다고 가정하면, 빈의 제 2 섹션 내에서 추가 관측을 하는 것은 제 1 섹션 내에서 추가 관측을 하는 것보다 더 높은 스케일 다양성(즉, 중요도)에 기여할 수 있다. 예를 들어, 관측(910a)이 이미 빈(904)의 섹션 1에 존재하는 경우, 빈(904)의 섹션 2 안에서 추가 관측하는 것(910f)은 빈(904)의 섹션 1 안에서 관측을 하는 것(910b) 보다 더 높은 스케일 다양성에 기여할 수 있다. 일부 구현들에서, 빈의 섹션 내에서의 추가 관측에 의한 스케일 다양성의 기여도는 빈의 섹션 내에서의 관측들의 수에 반비례할 수 있다.

[0055]본 개시물의 양상들에 따르면, 이미지 프레임들 내의 피쳐들을 식별하고 추적하는 것이 다수의 기술들을 이용하여 수행될 수 있다. 일 접근법에서, 피쳐들을 식별하는 방법은 각각 2×2 그래디언트 매트릭스의 최소 고유값을 검사함으로써 수행될 수 있다. 그런 다음, 2개의 윈도우들 사이에서의 차를 최소화하는 뉴턴-랩슨(Newton-Raphson) 방법을 이용하여 피쳐들이 추적된다. 멀티-리졸루션 추적 방법은 이미지들 간에 상대적으로 큰 변위를 허용한다. 일 프레임에서 다음 프레임으로 피쳐들을 추적하는 동안, 에러들이 누산될 수 있다는 것을 주목한다. 잠재적으로 불량한 피쳐들을 검출하기 위해서, 모바일 디바이스는 현재 프레임 내의 피쳐들 주위의 윈도우 내 이미지 신호가 이전 프레임 내의 피쳐들 주위의 이미지 신호와 계속 유사한지 여부를 모니터링하도록 구성될 수 있다. 피쳐들이 많은 프레임들에 걸쳐 추적될 수 있기 때문에, 이미지 콘텐츠가 변형될 수 있다. 이러한 문제를 해결하기 위해서, 유사성 또는 아핀(affine) 맵핑으로 일관성 검사가 수행될 수 있다.

[0056]본 개시물의 양상들에 따르면, 이미지 내의 오브젝트를 식별하기 위해서, 오브젝트의 피쳐 디스크립션들(키포인트들, 피쳐 포인트들, 또는 줄여서 피쳐들로도 지칭됨)을 제공하기 위해 오브젝트 상의 포인트들이 추출될 수 있다. 트레이닝 이미지로부터 추출된 이 디스크립션은 이후, 오브젝트를 많은 다른 오브젝트들을 포함하는 테스트 이미지에 위치시키려고 시도할 때, 오브젝트를 식별하기 위해 사용될 수 있다. 신뢰가능한 인식을 수행하기 위해서, 트레이닝 이미지로부터 추출된 피쳐들은 심지어 이미지 스케일, 잡음 및 조명에서의 변화들 하에서도 검출가능할 수 있다. 이러한 포인트들은 통상적으로 오브젝트 에지들과 같은 이미지의 하이(high)-콘트라스트 영역들에 존재한다.

[0057]이러한 피쳐들의 다른 특성은, 원래의 장면에서 이들 사이의 상대적인 위치들은 하나의 이미지로부터 다른 이미지로 변하지 않을 수 있다는 것이다. 예를 들어, 문의 4개의 코너들만이 피쳐들로서 사용되는 경우, 이들은 문의 위치와 무관하게 작용할 수 있지만; 프레임 내 포인트들이 사용되는 경우, 문이 열리거나 닫히는 경우 인식을 하지 못할 수 있다. 유사하게, 관절식 또는 플렉서블 오브젝트들에 위치된 피쳐들은 통상적으로, 그들의 내부 기하학적 형상에 있어서의 어떠한 변화가, 프로세싱되고 있는 세트 내의 2개의 이미지들 간에 발생하는 경우 작용하지 않을 수 있다. 일부 구현들에서, SIFT는 이미지들로부터 많은 수의 피쳐들을 검출하고 이용하는데, 이는 에러들과 매칭되는 모든 피쳐의 평균 에러에 있어서의 국부적인 변화들에 의해 유발된 에러들의 기여도를 감소시킬 수 있다. 이와 같이, 개시된 방법은 심지어 클러터 중에 그리고 부분 폐색 하에서도 오브젝트들을 식별할 수 있는데; SIFT 피쳐 디스크립터는 균일한 스케일링, 배향, 그리고 아핀 왜곡 및 조명 변화들에 대한 부분 불변성일 수 있기 때문이다.

[0058]예를 들어, 오브젝트의 키포인트들이 먼저, 기준 이미지들의 세트로부터 추출되고 데이터베이스에 저장될 수 있다. 오브젝트는, 새로운 이미지로부터의 각각의 피쳐를 이 데이터베이스와 비교하고 이들의 피쳐 벡터들의 유클리드 기하학 거리에 기초하여 피쳐들과 매칭되는 후보를 찾음으로써 새로운 이미지에서 인식된다. 매칭들의 전체 세트로부터, 새로운 이미지에서의 오브젝트 및 그의 위치, 스케일 및 배향에 동의하는 키포인트들의 서브세트들은, 양호한 매칭들을 필터링해 내기 위해서 식별될 수 있다. 일반화된 허프(Hough) 변환의 해시 테이블 구현을 이용함으로써 일관된 클러스터들의 결정이 수행될 수 있다. 이후, 오브젝트 및 그의 포즈에 동의하는 3개 또는 그보다 많은 피쳐들의 각각의 클러스터가 더 상세한 모델 인증을 겪게 될 수 있고 후속적으로 아웃라이어(outlier)들이 폐기될 수 있다. 이후, 피쳐들의 특정 세트가 오브젝트의 존재를 나타내는 확률은 가능성 있는 오류 매치들의 수와 피트(fit)의 정확도에 기초하여 계산될 수 있다. 테스트들을 통과한 오브젝트 매치들은 높은 신뢰도를 가진 정확한 것으로 식별될 수 있다.

[0059]본 개시물의 양상들에 따르면, 이미지 피쳐 생성은 이미지를 피쳐 벡터들의 큰 모음(collection)으로 변환시키며, 피쳐 벡터들 각각은 이미지 트랜슬레이션, 스케일링, 및 회전에 대해 불변일 뿐만 아니라 조명 변화들에 대해 불변이고 그리고 국부적인 기하학적 형상 왜곡에 대해 강인할 수 있다. 이러한 피쳐들은 영장류의 시각에서 오브젝트 인식을 위해 사용되는 하측두 피질 내의 신경들과 유사한 성질을 공유한다. 핵심 위치들은, 평탄화되고 리샘플링된 일련의 이미지들에 대해 스케일 공간에 인가된 가우시안 함수의 차의 결과의 최대치와 최소치로서 정의될 수 있다. 에지를 따라 낮은 콘트라스트 후보 포인트들과 에지 응답 포인트들이 폐기될 수 있다. 지배적인 배향들은 국부화된 키포인트들에 할당된다. 이러한 접근법은, 키포인트들이 매칭과 인식에 대해 보다 안정되도록 보장한다. 그런 다음, 국부적인 아핀 왜곡에 대해 강인한 SIFT 디스크립터들이, 핵심 위치의 반경 주변의 픽셀들, 로컬 이미지 배향 평면들의 번짐(blurring) 및 리샘플링을 고려함으로써 획득될 수 있다.

[0060]피쳐들의 매칭 및 인덱싱은 SIFT 키들을 저장하고 새로운 이미지로부터 매칭 키들을 식별하는 것을 포함할 수 있다. 일 접근법에서, 베스트-빈-퍼스트 탐색(best-bin-first search) 방법으로도 지칭되는 k-d 트리 알고리즘의 변형은 제한된 양의 계산을 이용하여 높은 확률을 가진 가장 가까운 이웃들(neighbors)을 식별하는 데에 사용될 수 있다. 베스트-빈-퍼스트 알고리즘은 k-d 트리 알고리즘에 대한 변경된 탐색 순서를 이용하므로, 피쳐 공간 내 빈들은 질의 위치로부터 그들의 가장 가까운 거리에 있는 것 순서로 탐색될 수 있다. 이러한 탐색 순서는 그 탐색 순서의 효율적인 결정을 위해 히프(heap)-기반 우선순위 큐의 사용을 요구한다. 각각의 키포인트에 대한 최선의 후보 매치는, 트레이닝 이미지들로부터의 키포인트들의 데이터베이스에서 그의 가장 가까운 이웃을 식별함으로써 찾을 수 있다. 가장 가까운 이웃들은, 주어진 디스크립터 벡터로부터 최소 유클리드 거리를 갖는 키포인트들로서 정의될 수 있다. 가장 가까운 이웃으로부터 두 번째로 가까운 이웃의 거리까지의 거리의 비를 택함으로써 매치가 정확할 확률이 결정될 수 있다.

[0061]일 예시적인 구현에서, 거리 비가 0.8을 초과하는 매치들이 거부될 수 있고, 이는 오류 매치들의 90%를 제거하면서 정확한 매치들의 5% 미만을 폐기한다. 베스트-빈-퍼스트 알고리즘의 효율을 추가로 개선하기 위해서, 이웃 후보들에 가장 가까운 미리결정된 수(예를 들어, 100)를 체크한 후에 탐색이 차단될 수 있다. 100,000개의 키포인트들의 데이터베이스의 경우, 이것은 정확하게 가장 가까운 이웃 탐색에 대해 약 두 자릿수까지 속력증가(speedup)를 제공할 수 있지만, 정확히 일치하는 수치에서는 5% 미만의 손실이 있을 뿐이다.

[0062]예시적인 구현에서, 허프 변환(Hough Transform)은 특정 모델 포즈에 동의하는 키들을 탐색하도록 신뢰할 만한 모델 가설들을 클러스터링하는 데에 사용될 수 있다는 것을 주목한다. 허프 변환은 피쳐와 일치할 수 있는 오브젝트 포즈들에 투표(vote)하기 위해서 각각의 피쳐를 이용함으로써 일관적인 해석으로 피쳐들의 클러스터들을 식별하는 데에 사용될 수 있다. 피쳐들의 클러스터들이 오브젝트의 동일한 포즈에 투표하는 것으로 발견되는 경우, 해석이 정확할 확률은 어느 하나의 피쳐에 대한 것보다 더 높을 수 있다. 매치 가설로부터 모델 위치, 배향, 및 스케일을 예측하기 위해 해시 테이블 내의 엔트리가 생성될 수 있다. 해시 테이블은 하나의 빈 안에 적어도 3개의 엔트리들의 클러스터들을 식별하도록 탐색될 수 있고, 빈들은 사이즈가 감소하는 순서로 소팅될 수 있다.

[0063]본 개시물의 양상들에 따르면, SIFT 키포인트들 각각은 2D 위치, 스케일, 및 배향을 지정할 수 있다. 이외에도, 데이터베이스 내의 각각의 매칭된 키포인트는, 이것이 발견되는 트레이닝 이미지와 관련하여 그의 파라미터들의 기록을 가질 수 있다. 이러한 4개의 파라미터들이 의미하는 유사성 변환은 3D 오브젝트에 대한 6 자유도 포즈 공간에 대한 근사화일 수 있고 또한 어떠한 넌-리지드(non-rigid) 변형도 고려하지 않는다. 이와 같이, 예시적인 구현은, 배향에 대해서 30도의 넓은 빈 사이즈들, 스케일에 대해서 2배, 그리고 위치에 대해서 (예측된 스케일을 이용하여) 0.25 곱하기 최대 프로젝티드 트레이닝 이미지 차원을 사용할 수 있다. 더 큰 스케일에서 생성된 SIFT 키 샘플들은, 더 작은 스케일에서 그들의 가중치를 2배로 하여 주어질 수 있다. 이러한 접근법의 경우, 더 큰 스케일은 사실상, 더 작은 스케일로 체크하기 위해 가장 가능성이 높은 이웃들을 필터링하는 것이 가능할 수 있다. 이러한 접근법은 또한, 최소-잡음 스케일에 더 많은 가중치를 줌으로써 인식 성능을 개선한다. 본 개시물의 양상들에 따르면, 빈 할당에 있어서 경계 효과들의 문제를 방지하기 위해서, 포즈 범위를 추가로 넓히고 각각의 가설에 대해 총 16개의 엔트리들이 주어지면, 각각의 키포인트 매치는 각각의 차원에서 2개의 가장 가까운 빈들에 대해 투표할 수 있다.

[0064]본 개시물의 양상들에 따르면, 주어진 파라미터 솔루션에 대해, 각각의 이미지 피쳐와 모델 간의 동의를 체크함으로써 아웃라이어들이 제거될 수 있다. 예를 들어, 선형 최소 자승 솔루션이 주어지면, 각각의 매치는, 허프 변환 빈들에서 파라미터들 용으로 사용되는 에러 범위의 절반 이내에서 동의하도록 요구될 수 있다. 아웃라이어들이 폐기됨에 따라, 선형 최소 자승 솔루션은 남아있는 포인트들을 이용하여 해결될 수 있고, 프로세스가 반복될 수 있다. 일부 구현들에서, 아웃라이어들의 폐기 이후에 미리결정된 수의 포인트들(예를 들어, 3 포인트들) 미만이 남은 경우, 매치가 거부될 수 있다. 이외에도, 유사성 변환 근사화 또는 다른 에러들로 인해 허프 변환 빈으로부터 누락되었을 수 있는, 프로젝팅된 모델 위치와 일치하는 임의의 추가 매치들을 추가하기 위해서 탑-다운 매칭 페이즈가 사용될 수 있다.

[0065]모델 가설을 수락하거나 거부하는 결정은 상세한 확률적 모델에 기초할 수 있다. 방법은 먼저, 프로젝팅된 모델의 사이즈, 영역 내의 피쳐들의 수, 피트의 정확성이 주어지면 모델 포즈에 대한 오류 매치들의 예상되는 수를 계산한다. 이후, 베이스(Bayesian)의 확률 분석은, 발견된 매칭 피쳐들의 실제 수에 기초하여 오브젝트가 나타내어질 수 있는 확률을 제공할 수 있다. 정확한 해석을 위한 최종 확률이 미리결정된 백분율(예를 들어, 95%)을 초과하는 경우 모델이 수용될 수 있다.

[0066]본 개시물의 양상들에 따르면, 일 접근법에서, RIFT(rotation invariant feature transform) 방법은 클러터 또는 부분 폐색 상황들 하에서 다루기 위한 SIFT의 회전-불변 일반화로서 사용될 수 있다. RIFT 디스크립터는 동일한 폭의 동심 링들로 분할된 원형의 정규화된 패치들을 이용하여 구성되고 그리고 그래디언트 배향 히스토그램이 계산될 수 있는 각각의 링 내에서 구성될 수 있다. 회전 불변을 유지하기 위해서, 중심에서 바깥으로 가리키는 방향에 대하여 각각의 포인트에서 배향이 측정될 수 있다.

[0067]다른 접근법에서, G-RIF(generalized robust invariant feature) 방법이 사용될 수 있다. G-RIF는 에지 배향, 에지 밀도 및 색깔 정보를, 지각적 정보와 공간 인코딩과의 결합한 통일된 형태로 인코딩한다. 이 오브젝트 인식 방식은 오브젝트 모델들을 추정하기 위해서 이웃 콘텍스트 기반 투표를 사용한다.

[0068]또 다른 접근법에서, 반복성, 특수성, 및 강인성에 대하여 이전에 제안된 방식들을 능가할 수 있는 스케일 및 회전-불변 관심 포인트 검출기/디스크립터를 사용하는 SURF(speeded up robust feature) 방법이 사용될 수 있다. SURF는 계산 시간을 감소시키기 위해서 이미지 컨벌루션들에 대해 완전한 이미지들에 의존하고, (검출기 및 분배-기반 디스크립터를 위한 고속의 헤센(Hessian) 매트릭스-기반 척도를 이용하여) 선두적인 기존 검출기들 및 디스크립터들의 강점들을 기반으로 한다. SURF 방법은 관심 포인트 인근에 있는 하르(Haar) 웨이블릿 응답들의 분포를 기술한다. 속도를 높이기 위해 인티그럴(integral) 이미지들이 사용될 수 있고, 64개의 차원들이 피쳐 계산 및 매칭 위한 시간을 줄이기 위해 사용될 수 있다. 인덱싱 단계는, 속도 매칭과 디스크립터 강인성을 증가시키는 라플라시안(Laplacian)의 기호에 기초할 수 있다.

[0069]또 다른 접근법에서, PCA-SIFT(principle component analysis SIFT) 방법이 사용될 수 있다. 일부 구현들에서, PCA-SIFT 디스크립터는 써포트 영역 내에서 계산된 x 및 y 방향의 이미지 그래디언트들의 벡터이다. 그래디언트 영역은 39×39개의 위치들에서 샘플링될 수 있다. 이와 같이, 벡터는 차원 3042일 수 있다. 차원은 PCA를 이용하여 36개로 감소될 수 있다. 또 다른 접근법에서, GLOH(Gradient location-orientation histogram) 방법이 사용될 수 있는데, 이 방법은 그의 강인성과 특수성을 증가시키기 위해 설계된 SIFT 디스크립터의 확장이다. 일부 구현들에서, SIFT 디스크립터는 방사 방향(6, 11 및 15로 설정된 반경)으로 3개의 빈들과 각도 방향으로 8개, 결과적으로 17개의 위치 빈들이 갖는 로그-극성(log-polar) 위치 그리드에 대해 계산될 수 있다. 중앙 빈은 각도 방향들로 분할되지 않을 수 있다. 그래디언트 배향들은 272개의 빈 히스토그램을 발생시키는 16개의 빈들 안에서 양자화된다. 이 디스크립터의 사이즈는 PCA에 따라 감소될 수 있다. PCA에 대한 공분산 행렬은 다양한 이미지들로부터 수집된 이미지 패치들에 대하여 추정될 수 있다. 이후, 설명을 위해 128개의 최대 고유벡터들이 사용될 수 있다.

[0070]또 다른 접근법에서, 2-오브젝트 인식 알고리즘이, 현재 모바일 디바이스들의 제한들과 함께 사용하기 위해 활용될 수 있다. 전통적인 SIFT 접근법과는 대조적으로, FAST(Features from Accelerated Segment Test) 코너 검출기가 피쳐 검출을 위해 사용될 수 있다. 이러한 접근법은, 오프-라인 준비 페이즈(여기서 피쳐들이 상이한 스케일 레벨들로 생성될 수 있음)와 온-라인 페이즈(여기서 피쳐들이 모바일 디바이스의 카메라 이미지의 현재 고정 스케일 레벨로 생성될 수 있음) 사이를 구별한다. 일 예시적인 구현에서, 피쳐들은 미리결정된 고정 패치 사이즈(예를 들어, 15×15 픽셀들)로부터 생성될 수 있고 36개의 차원들을 가진 SIFT 디스크립터를 형성할 수 있다. 이 접근법은 인식 파이프라인에서 스케일러블 어휘 트리(scalable vocabulary tree)를 통합함으로써 추가로 확장될 수 있다. 이는, 모바일 디바이스들에서 많은 수의 오브젝트들의 효율적인 인식을 허용한다.

[0071]본 개시물의 양상들에 따르면, 로컬 이미지 피쳐들의 검출 및 디스크립션이 오브젝트 인식에 도움을 줄 수 있다. SIFT 피쳐들은 국부적일 수 있고 특정 관심 포인트들에서 오브젝트의 외관에 기초할 수 있고, 그리고 이미지 스케일 및 회전에 대해 불변일 수 있다. 또한, 이들은 조명, 잡음의 변화들에 대해 강인하고 뷰포인트에 있어서 미소한 변화가 있을 수 있다. 이러한 속성들 이외에도, 피쳐들은 매우 독특하고, 상대적으로 추출하기 용이하고 낮은 미스매치 확률로 정확한 오브젝트 식별을 가능하게 할 수 있다. 피쳐들은 로컬 피쳐들의 (대형) 데이터베이스에 대하여 상대적으로 매치하기 쉬울 수 있고, 베스트-빈-퍼스트 탐색을 이용하는 k-차원(k-d) 트리들과 같은 일반적 확률적 알고리즘들이 사용될 수 있다. SIFT 피쳐들의 세트에 의한 오브젝트 디스크립션들은 또한 부분 폐색에 대해 강인할 수 있다. 예를 들어, 오브젝트로부터 3개의 적은 SIFT 피쳐들도 그의 위치와 포즈를 계산하는 데에 충분할 수 있다. 일부 구현들에서, 인식이, 작은 데이터베이스들에 대해 그리고 현대 컴퓨터 하드웨어 상에서 준실시간으로 수행될 수 있다.

[0072]본 개시물의 양상들에 따르면, 카메라의 시야에서 이동하는 오브젝트들에 의해 유발된 아웃라이어들을 제거하기 위해서 랜덤 샘플 콘센서스(random sample consensus)(RANSAC) 기술이 사용될 수 있다. RANSAC는 아웃라이어들을 포함하는 관측 데이터의 세트로부터 수학적 모델의 파라미터들을 추정하기 위해서 반복적인 방법을 이용한다는 것을 주목한다. 이 방법은, 이것이 연관된 확률을 이용하여 타당한 결과를 생성하기 때문에 비결정론적일 수 있고, 확률은 반복이 더 수행될수록 증가할 수 있다.

[0073]일 예시적인 구현에서, 관찰된 데이터 값들의 세트, 파라미터화된 모델은 대응하는 컨피던스 파라미터들을 이용하여 관측들에 피팅될 수 있다. 이 예시적인 구현에서, 방법은 원래의 데이터의 랜덤 서브셋을 반복적으로 선택한다. 이러한 데이터는 가설적인 인라이어들일 수 있고 그 가설은 다음과 같이 테스트될 수 있다:

1.모델은 가설적인 인라이어들에 피팅될 수 있다, 즉, 모델의 프리(free) 파라미터들 모두가 인라이어들로부터 재구성된다.

2.이후, 다른 데이터 모두가 피팅된 모델에 대하여 테스트될 수 있고, 포인트가 추정 모델에 잘 피팅되는 경우; 이것은 가설적인 인라이어인 것으로 간주될 수 있다.

3.추정된 모델은, 충분한 수의 포인트들이 가설적인 인라이어들로 분류되었던 경우 수용가능한 것으로 간주될 수 있다.

4.모델은, 이것이 단지 가설적인 인라이어들의 최초 세트로부터 추정되었기 때문에, 가설적인 인라이어들 모두로부터 재추정될 수 있다.

5.최종적으로, 모델은 그 모델과 관련하여 인라이어들의 에러를 추정함으로써 평가될 수 있다.

[0074]상기 절차는 미리결정된 수의 횟수들 동안 반복될 수 있고, 매번, 너무 적은 포인트들이 인라이너들로 분류되기 때문에 거부될 수 있는 모델 또는 리파인 모델을 대응하는 에러 측정과 함께 생성한다. 후자의 경우, 에러가 이전에 저장된 모델보다 더 낮은 경우 그 리파인 모델이 유지될 수 있다.

[0075]다른 예시적인 구현에서, 카메라의 시야에서 이동하는 오브젝트들이 모델 기반 모션 추적 방법을 이용하여 적극적으로 식별되고 제거될 수 있다. 일 접근법에서, 추적의 목표는 모델 인식의 문제로서 취급될 수 있다. 타겟의 이진 표현이 추적될 수 있고, 오브젝트에 대한 이미지의 영역들을 탐색하기 위해서 하우스도르프(Hausdorff) 거리 기반 탐색이 사용될 수 있다. 타겟(모델)의 2진 표현의 경우, 가우시안 평탄화 이미지의 표준 케니(canny) 에지 검출기로부터의 출력은 모델 히스토리의 견해에 따라 증강될 수 있다. 각각의 프레임에서, 하우스도르프 탐색이, 현재 이미지와 현재 모델로부터의 케니 에지들을 이용하여 각각의 타겟에서 수행될 수 있다. 이외에도, 아핀 추정이 수행되어 네트 배경 모션을 근사화한다. 이러한 2개의 탐색들의 결과들로부터, 정보가 타겟에 대하여 수집될 수 있고, 타겟의 모션을 근사화할 뿐만 아니라 타겟의 영역에서의 모션으로부터 배경을 분리하기 위해서 사용될 수 있다. (오브젝트가 쉐도우 안으로 진행하여 가려지는 것, 오브젝트가 프레임을 떠나는 것, 또는 카메라 이미지 왜곡이 불량한 이미지 품질을 제공하는 것과 같은) 위험한/특이한 조건들을 다루게 될 수 있기 위해서, 타겟에 대한 히스토리 데이터, 이를 테면, 타겟의 과거 모션과 사이즈 변경, 타겟 특유의 시야들(타겟이 추적되었던 상이한 방식들의 정확한 표현을 제공하는 시간 전체에 걸친 스냅샷들) 및 과거의 매치 품질들이 보유될 수 있다.

[0076]타겟 추적의 히스토리는 위험한/특이한 조건들을 단순히 보조하는 것보다 더 유용할 수 있다; 솔리드 모션 추적 방법의 일부는 히스토리 데이터를 수반할 수 있고, 단순한 프레임 단위의 모션 비교 방법은 아니다. 이러한 히스토리 상태는, 타겟의 일부인 것으로 간주될 수 있는 것(예를 들어, 동일한 속도로 이동하는 오브젝트 가까이로 이동하는 것들은 그 오브젝트에 포함되어야 함)을 결정하는 방법에 관한 정보와, 모션과 사이즈에 대한 정보를 제공할 수 있고, 방법은 잃어버린 오브젝트가 가고 없는 경우, 또는 이것이 다시 나타날 수 있는 경우를 예측적으로 추정할 수 있다(이는, 프레임을 떠나고 시간에 맞춰 나중에 다시 나타나는 타겟들을 복원하는 데에 유용함).

[0077]모션 추적 방법에서의 고유 과제는 (고정 카메라와는 대조적으로) 카메라가 임의적으로 움직일 수 있다는 사실에 의해 야기될 수 있으며, 이는 카메라 모션에서의 예측불가능한 변경들을 취급할 수 있는 추적 시스템을 개발하는 것을 곤란하게 한다. 카메라와 장면의 모션에 관한 정보를 제공하기 위해서 계산적으로 효율적인 아핀 배경 추정 방식이 사용될 수 있다.

[0078]본 개시물의 양상들에 따르면, 이미지에 대한 아핀 변환은 시간 t+dt에서의 이미지에 대해 시간 t에서 수행될 수 있고, 이는 모션을 2개의 이미지들에 상관시킬 수 있다. 이 배경 정보는, 시간 t에서의 이미지로부터 시간 t+dt에서의 이미지를 합성하는 방법과 네트 장면 모션의 근사화일 수 있는 아핀 변환을 허용한다. 이 합성된 이미지는 새로운 모델 정보를 생성하고 모델 공간으로부터 배경 클러터를 제거하는 데에 유용할 수 있는데, 이는 t+td에서 실제 이미지와 t+td에서 생성된 이미지의 차가 타겟들을 둘러싸는 공간으로부터 이미지 피쳐들을 제거하기 위해 택하여질 수 있기 때문이다.

[0079]아핀 변환을, 탐색 공간을 클린-업하기 위한 툴로서 사용하는 것 이외에도, 이것은 또한 타겟들의 좌표 이동을 정규화하기 위해 사용될 수 있다:, 배경이 얼마나 이동하고 있는지를 추적하는 벡터와 타겟이 얼마나 이동하고 있는지 추적하는 벡터를 가짐으로써, 2개의 벡터의 차가 배경에 대하여 타겟의 모션을 설명하는 벡터을 생성하기 위해 택하여 질 수 있다. 이 벡터는, 방법이, 타겟이 존재할 장소를 예측적으로 매칭시키고, 위험한 조건을 예측(예를 들어, 모션의 방향을 향해 앞을 보는 것은 다가올 장애물들에 대한 단서들을 제공할 수 있을 뿐만 아니라 오브젝트가 위험한 상태의 경우에 있을 수 있는 장소를 파악한다)하게 허용한다. 오브젝트가 위험한 상태에 진입할 경우, 방법은 여전히 배경 모션을 추정할 수 있고, 모델이 다시 나타날 수 있거나, 또는 프레임에 다시 진입할 장소를 추측하기 위해 모델의 이전 움직임들의 지식과 결합된 것을 사용할 수 있다.

[0080]배경 추정은 연장된 오브젝트들의 추적 시 핵심 팩터일 수 있다. 단기간 추적은 배경 추정 없이 수행될 수 있지만, 일정 시간 기간 이후에, 양호한 배경 추정을 하지 않고는 오브젝트 왜곡 및 위험들에 효율적으로 대처하기 어려울 수 있다는 것을 주목한다.

[0081]본 개시물의 양상들에 따르면, 하우스도르프 거리를 이용하는 이점들 중 하나는, 이것이 매칭 동안 형상 변화들에 상당히 관대할 수 있지만, 매칭 연산자로서 하우스도르프 거리를 이용하는 것은 추적되는 오브젝트들이 더욱 정확하게 정의될 것을 요구할 수 있다는 것이다.

[0082]일 접근법에서, 시간 t+1 이미지로부터 새로운 모델을 그래빙(grabbing)하는 직선-팽창 기반 방법들이 사용될 수 있다. (상당히 빈번히 발생하는) 오브젝트에 가까운 비-오브젝트 피쳐들이 존재할 수 있는 일부 상황들에서, 팽창 방법은 효율적이지 않을 수 있는데, 이것이 전체 장면을 모델에 천천히 포함시킬 수 있기 때문이라는 것을 주목한다. 이와 같이, 모델 형상의 변화들에 관대할 수 있지만, 넌-모델 픽셀들을 모델에 포함시킨다는 점에서 그다지 완화되지 않은 모델을 프레임 별로 업데이트하는 방법이 채택될 수 있다. 일 예시적인 구현은 배경 제거와 이전 모델들을 현재 모델 매치 윈도우에 추가하는 것과 안정한 픽셀들뿐만 아니라 이들을 둘러싸는 새로운 것들로 간주되는 것들을 택하는 것(이는 시간에 따라, 안정하지 않을 수 있기 때문에 모델로부터 제거될 수 있거나 모델에 포함될 수 있다)의 조합을 사용하는 것이다. 이러한 접근법은 이미지 내의 클러터로부터 모델들을 상대적으로 클린한 상태로 유지시키는 데에 효과적일 수 있다. 예를 들어, 이러한 접근법을 이용하여, 더 이상, 트럭에 가까이 있는 도로가 픽셀 단위로 모델 안으로 당겨지지 않는다. 모델들이 확대되어 나타날 수 있지만, 이것은 모델들이 구성된 방법의 히스토리 효과의 결과일 수 있고, 그러나, 이 방법은 더 많은 모델 픽셀들이 다음 프레임에서 매치될 가능성이 있게 할 수 있기 때문에 탐색 결과들을 더 뚜렷하게 하는 피쳐를 또한 가질 수 있다는 것을 주목한다.

[0083]각각의 프레임에서, 상당량의 계산이 수행될 수 있다는 것을 주목한다. 일부 구현들에 따르면, 모바일 디바이스는 평탄화/피쳐 추출, 각각의 타겟을 매칭시키는 하우스도르프(예를 들어, 모델당 하나의 매칭)뿐만 아니라 아핀 배경 추정을 수행하도록 구성될 수 있다. 이러한 동작들 각각은 개별적으로 상당한 계산 비용이 들 수 있다. 모바일 디바이스 상에서 실시간 성능을 달성하기 위해서, 설계는 가능한 한 많은 병렬처리(parallelism)를 이용하도록 구성될 수 있다.

[0084]적어도 단락들[0085]-[0086]에서, 도 5, 도 6, 도 7 및 이들의 대응하는 설명들은, 적어도 하나의 모바일 디바이스로부터 장소의 장면의 복수의 맵들을 수신하기 위한 수단, 장면의 복수의 맵들의 다수의 키프레임들을 식별하기 위한 수단, 및 장면의 전반적인 맵을 생성하기 위해서 다수의 키프레임들을 병합하기 위한 수단을 제공한다는 것을 주목한다.

[0085]본 명세서에 설명된 방법들 및 모바일 디바이스는, 애플리케이션에 의존하여 다양한 수단에 의해 구현될 수 있다. 예를 들어, 이들 방법들은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 임의의 결합으로 구현될 수 있다. 하드웨어 구현에 대해, 프로세싱 유닛들은 하나 또는 그보다 많은 주문형 집적 회로(ASIC)들, 디지털 신호 프로세서(DSP)들, 디지털 신호 프로세싱 디바이스(DSPD)들, 프로그래밍가능 로직 디바이스(PLD)들, 필드 프로그래밍가능 게이트 어레이(FPGA)들, 프로세서들, 제어기들, 마이크로-제어기들, 마이크로프로세서들, 전자 디바이스들, 본 명세서에 설명된 기능들을 수행하도록 설계된 다른 전자 유닛들, 또는 이들의 결합 내에서 구현될 수 있다. 본원에서, 용어 "제어 로직"은 소프트웨어, 하드웨어, 펌웨어, 또는 그 조합에 의해 구현된 로직을 포함한다.

[0086]펌웨어 및/또는 소프트웨어 구현에 대해, 방법들은, 본 명세서에 설명된 기능들을 수행하는 모듈들(예를 들어, 코드, 절차들, 함수들 등)을 이용하여 구현될 수 있다. 명령들을 유형으로 수록한 임의의 머신-판독가능 매체가 본 명세서에 설명된 방법들을 구현할 시에 사용될 수 있다. 예를 들어, 소프트웨어 코드들은 메모리에 저장될 수 있고, 프로세싱 유닛에 의해 실행될 수 있다. 메모리는, 프로세싱 유닛 내부 또는 프로세싱 유닛 외부에서 구현될 수 있다. 본 명세서에 사용된 바와 같이, 용어 "메모리"는 임의의 타입의 장기, 단기, 휘발성, 비휘발성, 또는 다른 저장 디바이스를 지칭하며, 임의의 특정한 타입의 메모리 또는 메모리들의 수, 또는 메모리가 저장되는 매체들의 타입에 제한되지 않는다.

[0087]펌웨어 및/또는 소프트웨어로 구현되면, 기능들은 컴퓨터-판독가능 매체 상의 하나 또는 그보다 많은 명령들 또는 코드로서 저장될 수 있다. 예들은, 데이터 구조로 인코딩된 컴퓨터-판독가능 매체들, 및 컴퓨터 프로그램으로 인코딩된 컴퓨터-판독가능 매체들을 포함한다. 컴퓨터-판독가능 매체들은 제조자 물품의 형태를 취할 수 있다. 컴퓨터-판독가능 매체들은 물리적 컴퓨터 저장 매체들을 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있다. 제한이 아닌 예로서, 그러한 컴퓨터-판독가능 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장부, 자기 디스크 저장 또는 다른 자기 저장 디바이스들, 또는 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있으며; 본 명세서에 사용된 바와 같이, 디스크(disk) 및 디스크(disc)는, 컴팩트 디스크(disc)(CD), 레이저 디스크(disc), 광학 디스크(disc), DVD(digital versatile disc), 플로피 디스크(disk) 및 블루-레이 디스크(disc)를 포함하며, 여기서, 디스크(disk)들은 일반적으로 데이터를 자기적으로 재생하지만, 디스크(disc)들은 레이저들을 이용하여 광학적으로 데이터를 재생한다. 상기의 결합들은 또한, 컴퓨터-판독가능 매체들의 범위 내에 포함되어야 한다.

[0088]컴퓨터 판독가능 매체 상의 저장에 부가하여, 명령들 및/또는 데이터는 통신 장치에 포함된 송신 매체들 상에서 신호들로서 제공될 수 있다. 예를 들어, 통신 장치는, 명령들 및 데이터를 표시하는 신호들을 갖는 트랜시버를 포함할 수 있다. 명령들 및 데이터는 적어도 하나의 프로세서들로 하여금, 청구항들에서 약술된 기능들을 구현하게 하도록 구성된다. 즉, 통신 장치는, 기재된 기능들을 수행하기 위한 정보를 표시하는 신호들을 갖는 송신 매체들을 포함한다. 제 1 시간에서, 통신 장치에 포함된 송신 매체들은 기재된 기능들을 수행하기 위한 정보의 제 1 부분을 포함할 수 있지만, 제 2 시간에서, 통신 장치에 포함된 송신 매체들은 기재된 기능들을 수행하기 위한 정보의 제 2 부분을 포함할 수 있다.

[0089]본 개시물은, 무선 광역 네트워크(WWAN), 무선 로컬 영역 네트워크(WLAN), 무선 개인 영역 네트워크(WPAN) 등과 같은 다양한 무선 통신 네트워크들과 함께 구현될 수 있다. 용어 "네트워크" 및 "시스템" 은 종종 상호교환가능하게 사용된다. 용어 "포지션" 및 "위치"는 종종 상호교환가능하게 사용된다. WWAN은 코드 분할 다중 액세스(CDMA) 네트워크, 시분할 다중 액세스(TDMA) 네트워크, 주파수 분할 다중 액세스(FDMA) 네트워크, 직교 주파수 분할 다중 액세스(OFDMA) 네트워크, 단일-캐리어 주파수 분할 다중 액세스(SC-FDMA) 네트워크, 롱텀 에볼루션(LTE) 네트워크, WiMAX(IEEE 802.16) 네트워크 등일 수 있다. CDMA 네트워크는 cdma2000, 광대역-CDMA(W-CDMA) 등과 같은 하나 또는 그보다 많은 라디오 액세스 기술(RAT)들을 구현할 수 있다. cdma2000은 IS-95, IS2000, 및 IS-856 표준들을 포함한다. TDMA 네트워크는 모바일 통신들을 위한 글로벌 시스템(GSM), D-AMPS(Digital Advanced Mobile Phone System), 또는 몇몇 다른 RAT를 구현할 수 있다. GSM 및 W-CDMA는 "3세대 파트너쉽 프로젝트(3GPP)"로 명칭된 콘소시엄으로부터의 문헌들에 설명되어 있다. cdma2000은 "3세대 파트너쉽 프로젝트 2(3GPP2)"로 명칭된 콘소시엄으로부터의 문헌들에 설명되어 있다. 3GPP 및 3GPP2 문헌들은 공용으로 이용가능하다. WLAN은 IEEE 802.11x 네트워크일 수 있고, WPAN은 블루투스 네트워크, IEEE 802.15x, 또는 몇몇 다른 타입의 네트워크일 수 있다. 기술들은 또한, WWAN, WLAN 및/또는 WPAN의 임의의 결합과 함께 구현될 수 있다.

[0090]모바일 디바이스는, 셀룰러 폰, 모바일 폰 또는 다른 무선 통신 디바이스, 개인용 통신 시스템(PCS) 디바이스, 개인용 네비게이션 디바이스(PND), 개인용 정보 관리자(PIM), 개인 휴대 정보 단말(PDA), 랩탑 또는 무선 통신 및/또는 네비게이션 신호들을 수신할 수 있는 다른 적절한 모바일 디바이스와 같은 모바일 스테이션(MS) 또는 사용자 장비(UE)로 종종 지칭된다. 또한, 용어 "모바일 스테이션"은, 위성 신호 수신, 보조 데이터 수신, 및/또는 포지션-관련 프로세싱이 디바이스 또는 PND에서 발생하는지에 관계없이, 예컨대 단거리 무선, 적외선, 유선 접속, 또는 다른 접속에 의해 개인용 네비게이션 디바이스(PND)와 통신하는 디바이스들을 포함하도록 의도된다. 또한, "모바일 스테이션"은 위성 신호 수신, 보조 데이터 수신, 및/또는 포지션-관련 프로세싱이 네트워크와 연관된 디바이스, 서버, 또는 다른 디바이스에서 발생하는지에 관계없이 그리고 예컨대, 인터넷, Wi-Fi, 또는 다른 네트워크를 통해 서버와의 통신이 가능한 무선 통신 디바이스들, 컴퓨터들, 랩탑들 등을 포함하는 모든 디바이스들을 포함하도록 의도된다. 또한, 상기의 임의의 동작가능한 결합이 "모바일 스테이션"으로 고려된다.

[0091]무엇인가가 "최적화되고", "요구된다"는 지정 또는 다른 지정은 현재 개시물이 최적화되는 시스템들, 또는 "요구되는" 엘리먼트들이 존재하는 시스템들(또는 다른 지정들로 인한 다른 제한)에만 적용된다는 것을 나타내지 않는다. 이러한 지정들은 특정하게 설명된 구현만을 지칭한다. 물론, 많은 구현들이 가능하다. 이 기술들은, 개발 중이거나 또는 개발될 프로토콜들을 비롯하여 본원에 논의된 것 이외의 프로토콜들과 함께 사용될 수 있다.

[0092]개시된 실시형태들의 많은 가능한 변경들 및 조합들이 사용될 수 있으면서, 동일한 기본적인 근본 메커니즘들 및 방법론들을 여전히 사용한다는 것을 당업자가 인지할 것이다. 앞의 설명은, 설명을 위해서 특정 실시형태들을 참고로 하여 기재하였다. 그러나, 위의 예시적인 논의는 배타적인 것으로 의도되거나 본 개시물을 개시된 정확한 형태로 제한하려고 의도되지 않는다. 상기 교시들을 고려하여 많은 변형들 및 변경들이 가능하다. 본 개시물의 원리들과 이들의 실제 응용들을 설명하고 당업자로 하여금 본 개시물과 다양한 실시형태들을 참착되는 특정 용도에 맞게 다양한 변형들을 이용하여 최선으로 활용할 수 있게 하기 위해서 실시형태들이 선택되고 설명되었다.

Claims

컴퓨터 비전 기반 추적을 위해 다수의 맵들을 병합하는 방법으로서,
적어도 하나의 모바일 디바이스로부터 장소의 장면의 복수의 맵들을 수신하는 단계;
상기 장면의 상기 복수의 맵들의 다수의 키프레임들을 식별하는 단계; 및
상기 장면의 전반적인 맵(global map)을 생성하기 위해서 상기 다수의 키프레임들을 병합하는 단계를 포함하는, 컴퓨터 비전 기반 추적을 위해 다수의 맵들을 병합하는 방법.
제 1 항에 있어서,
상기 장소의 장면의 복수의 맵들을 수신하는 단계는 다수의 모바일 디바이스들로부터 상기 장면의 상기 복수의 맵들을 수신하는 단계를 포함하는, 컴퓨터 비전 기반 추적을 위해 다수의 맵들을 병합하는 방법.
제 2 항에 있어서,
다수의 모바일 디바이스들로부터의 상기 장면의 상기 복수의 맵들로부터 상기 다수의 키프레임들을 중복에 대해 평가하는 단계; 및
불필요한 키프레임들을 제거하는 단계를 더 포함하는, 컴퓨터 비전 기반 추적을 위해 다수의 맵들을 병합하는 방법.
제 2 항에 있어서,
다수의 모바일 디바이스들로부터의 상기 장면의 상기 복수의 맵들을 이용하여 SLAM(simultaneous localization and mapping) 맵을 생성하는 단계; 및
상기 다수의 모바일 디바이스들 사이에서 상기 SLAM 맵을 공유하는 단계를 더 포함하는, 컴퓨터 비전 기반 추적을 위해 다수의 맵들을 병합하는 방법.
제 1 항에 있어서,
상기 장면의 상기 복수의 맵들의 상기 다수의 키프레임들을 식별하는 단계는:
상기 장면의 다수의 뷰포인트들을 나타내는 상기 다수의 키프레임들을 다수의 각도들로부터 식별하는 단계; 및
상기 장면의 다수의 뷰포인트들을 나타내는 상기 다수의 키프레임들을 다수의 스케일들로 식별하는 단계
중 적어도 하나를 포함하고,
상기 다수의 키프레임들은 상기 복수의 맵들의 공통 피쳐들, 위치 좌표들, 및 외관들을 포함하는, 컴퓨터 비전 기반 추적을 위해 다수의 맵들을 병합하는 방법.
제 5 항에 있어서,
다수의 스케일들은:
상기 적어도 하나의 모바일 디바이스와 상기 장면 간의 다수의 거리들; 및
상기 적어도 하나의 모바일 디바이스로부터의 상기 장면의 다수의 종횡비들
중 적어도 하나를 포함하는, 컴퓨터 비전 기반 추적을 위해 다수의 맵들을 병합하는 방법.
제 1 항에 있어서,
상기 장면의 전반적인 맵을 생성하기 위해서 상기 다수의 키프레임들을 병합하는 단계는,
상기 다수의 키프레임들의 각각의 키프레임에 대하여,
상기 키프레임의 각도 다양성(angular diversity) 및 상기 키프레임의 스케일 다양성(scale diversity)에 적어도 부분적으로 기초하여 기여도 점수를 결정하는 단계, 및
상기 기여도 점수가 미리결정된 임계치 미만인 것에 응답하여 상기 키프레임을 제거하는 단계를 포함하는, 컴퓨터 비전 기반 추적을 위해 다수의 맵들을 병합하는 방법.
제 7 항에 있어서,
상기 키프레임의 각도 다양성 및 스케일 다양성에 적어도 부분적으로 기초하여 기여도 점수를 결정하는 단계는,
제 1 가중치 팩터를 상기 키프레임의 상기 각도 다양성에 적용함으로써 각도 다양성 스코어링 메트릭을 계산하는 단계;
제 2 가중치 팩터를 상기 키프레임의 상기 스케일 다양성에 적용함으로써 스케일 다양성 스코어링 메트릭을 계산하는 단계; 및
상기 기여도 점수를 생성하기 위해서 상기 각도 다양성 스코어링 메트릭과 상기 스케일 다양성 스코어링 메트릭을 결합하는 단계를 포함하는, 컴퓨터 비전 기반 추적을 위해 다수의 맵들을 병합하는 방법.
제 1 항에 있어서,
상기 장면의 전반적인 맵을 생성하기 위해서 상기 다수의 키프레임들을 병합하는 단계는,
상기 다수의 키프레임들의 각각의 키프레임에 대하여,
상기 키프레임의 각도 다양성에 적어도 부분적으로 기초하여 기여도 점수를 결정하는 단계, 및
상기 기여도 점수가 미리결정된 임계치 미만인 것에 응답하여 상기 키프레임을 제거하는 단계를 포함하는, 컴퓨터 비전 기반 추적을 위해 다수의 맵들을 병합하는 방법.
제 1 항에 있어서,
상기 장면의 전반적인 맵을 생성하기 위해서 상기 다수의 키프레임들을 병합하는 단계는,
상기 다수의 키프레임들의 각각의 키프레임에 대하여,
상기 키프레임의 스케일 다양성에 적어도 부분적으로 기초하여 기여도 점수를 결정하는 단계, 및
상기 기여도 점수가 미리결정된 임계치 미만인 것에 응답하여 상기 키프레임을 제거하는 단계를 포함하는, 컴퓨터 비전 기반 추적을 위해 다수의 맵들을 병합하는 방법.
제 1 항에 있어서,
상기 장면의 전반적인 맵을 생성하기 위해서 상기 다수의 키프레임들을 병합하는 단계는,
각도 히스토그램 내의 상기 다수의 키프레임들을 집계하는 단계 ―상기 각도 히스토그램은 상기 장면의 상이한 시야각들을 나타내는 복수의 빈들을 포함하고, 그리고 상기 복수의 빈들 내의 각각의 빈은 상기 장면의 상이한 시야 스케일들을 나타내는 복수의 섹션들을 포함함―;
상기 각도 히스토그램 내의 상기 다수의 키프레임들의 각각의 키프레임들에 대하여,
상기 키프레임의 각도 다양성과 상기 키프레임의 스케일 다양성에 적어도 부분적으로 기초하여 기여도 점수를 결정하는 단계, 및
상기 기여도 점수가 미리결정된 임계치 미만인 것에 응답하여 상기 키프레임을 제거하는 단계를 포함하는, 컴퓨터 비전 기반 추적을 위해 다수의 맵들을 병합하는 방법.
제 11 항에 있어서,
상기 키프레임의 각도 다양성과 스케일 다양성에 적어도 부분적으로 기초하여 기여도 점수를 결정하는 단계는,
제 1 가중치 팩터를 상기 키프레임의 상기 각도 다양성에 적용함으로써 각도 다양성 스코어링 메트릭을 계산하는 단계 ―상기 제 1 가중치 팩터는 상기 키프레임이 있는 빈 내의 키프레임들의 수에 적어도 부분적으로 기초함―;
제 2 가중치 팩터를 상기 키프레임의 상기 스케일 다양성에 적용함으로써 스케일 다양성 스코어링 메트릭을 계산하는 단계 ―상기 제 2 가중치 팩터는 상기 키프레임이 있는 섹션 내의 키프레임들의 수에 적어도 부분적으로 기초함―; 및
상기 기여도 점수를 생성하기 위해서 상기 각도 다양성 스코어링 메트릭과 상기 스케일 다양성 스코어링 메트릭을 결합하는 단계를 포함하는, 컴퓨터 비전 기반 추적을 위해 다수의 맵들을 병합하는 방법.
제 1 항에 있어서,
상기 장소의 상기 적어도 하나의 모바일 디바이스의 위치를 추적하는 단계를 더 포함하는, 컴퓨터 비전 기반 추적을 위해 다수의 맵들을 병합하는 방법.
장치로서,
적어도 하나의 모바일 디바이스로부터 장소의 장면의 복수의 맵들을 수신하도록 구성된 로직;
상기 장면의 상기 복수의 맵들의 다수의 키프레임들을 식별하도록 구성된 로직; 및
상기 장면의 전반적인 맵을 생성하기 위해서 상기 다수의 키프레임들을 병합하도록 구성된 로직을 포함하는, 장치.
제 14 항에 있어서,
장소의 장면의 복수의 맵들을 수신하도록 구성된 로직은 다수의 모바일 디바이스들로부터 상기 장면의 상기 복수의 맵들을 수신하도록 구성된 로직을 포함하는, 장치.
제 15 항에 있어서,
다수의 모바일 디바이스들로부터의 상기 장면의 상기 복수의 맵들로부터 상기 다수의 키프레임들을 중복에 대해 평가하도록 구성된 로직; 및
불필요한 키프레임들을 제거하도록 구성된 로직을 더 포함하는, 장치.
제 15 항에 있어서,
다수의 모바일 디바이스들로부터의 상기 장면의 상기 복수의 맵들을 이용하여 SLAM(simultaneous localization and mapping) 맵을 생성하도록 구성된 로직; 및
상기 다수의 모바일 디바이스들 사이에서 상기 SLAM 맵을 공유하도록 구성된 로직을 더 포함하는, 장치.
제 14 항에 있어서,
상기 장면의 상기 복수의 맵들의 상기 다수의 키프레임들을 식별하도록 구성된 로직은:
상기 장면의 다수의 뷰포인트들을 나타내는 상기 다수의 키프레임들을 다수의 각도들로부터 식별하도록 구성된 로직; 및
상기 장면의 다수의 뷰포인트들을 나타내는 상기 다수의 키프레임들을 다수의 스케일들로 식별하도록 구성된 로직
중 적어도 하나를 포함하고,
상기 다수의 키프레임들은 상기 복수의 맵들의 공통 피쳐들, 위치 좌표들, 및 외관들을 포함하는, 장치.
제 18 항에 있어서,
다수의 스케일들은:
상기 적어도 하나의 모바일 디바이스와 상기 장면 간의 다수의 거리들; 및
상기 적어도 하나의 모바일 디바이스로부터의 상기 장면의 다수의 종횡비들
중 적어도 하나를 포함하는, 장치.
제 14 항에 있어서,
상기 장면의 전반적인 맵을 생성하기 위해서 상기 다수의 키프레임들을 병합하도록 구성된 로직은,
상기 다수의 키프레임들의 각각의 키프레임에 대하여,
상기 키프레임의 각도 다양성 및 상기 키프레임의 스케일 다양성에 적어도 부분적으로 기초하여 기여도 점수를 결정하도록 구성된 로직, 및
상기 기여도 점수가 미리결정된 임계치 미만인 것에 응답하여 상기 키프레임을 제거하도록 구성된 로직을 포함하는, 장치.
제 20 항에 있어서,
상기 키프레임의 각도 다양성 및 스케일 다양성에 적어도 부분적으로 기초하여 기여도 점수를 결정하도록 구성된 로직은,
제 1 가중치 팩터를 상기 키프레임의 상기 각도 다양성에 적용함으로써 각도 다양성 스코어링 메트릭을 계산하도록 구성된 로직;
제 2 가중치 팩터를 상기 키프레임의 상기 스케일 다양성에 적용함으로써 스케일 다양성 스코어링 메트릭을 계산하도록 구성된 로직; 및
상기 기여도 점수를 생성하기 위해서 상기 각도 다양성 스코어링 메트릭과 상기 스케일 다양성 스코어링 메트릭을 결합하도록 구성된 로직을 포함하는, 장치.
제 14 항에 있어서,
상기 장면의 전반적인 맵을 생성하기 위해서 상기 다수의 키프레임들을 병합하도록 구성된 로직은,
상기 다수의 키프레임들의 각각의 키프레임에 대하여,
상기 키프레임의 각도 다양성에 적어도 부분적으로 기초하여 기여도 점수를 결정하도록 구성된 로직, 및
상기 기여도 점수가 미리결정된 임계치 미만인 것에 응답하여 상기 키프레임을 제거하도록 구성된 로직을 포함하는, 장치.
제 14 항에 있어서,
상기 장면의 전반적인 맵을 생성하기 위해서 상기 다수의 키프레임들을 병합하도록 구성된 로직은,
상기 다수의 키프레임들의 각각의 키프레임에 대하여,
상기 키프레임의 스케일 다양성에 적어도 부분적으로 기초하여 기여도 점수를 결정하도록 구성된 로직, 및
상기 기여도 점수가 미리결정된 임계치 미만인 것에 응답하여 상기 키프레임을 제거하도록 구성된 로직을 포함하는, 장치.
제 14 항에 있어서,
상기 장면의 전반적인 맵을 생성하기 위해서 상기 다수의 키프레임들을 병합하도록 구성된 로직은,
각도 히스토그램 내의 상기 다수의 키프레임들을 집계하도록 구성된 로직 ―상기 각도 히스토그램은 상기 장면의 상이한 시야각들을 나타내는 복수의 빈들을 포함하고, 그리고 상기 복수의 빈들 내의 각각의 빈은 상기 장면의 상이한 시야 스케일들을 나타내는 복수의 섹션들을 포함함―;
상기 각도 히스토그램 내의 상기 다수의 키프레임들의 각각의 키프레임들에 대하여,
상기 키프레임의 각도 다양성과 상기 키프레임의 스케일 다양성에 적어도 부분적으로 기초하여 기여도 점수를 결정하도록 구성된 로직, 및
상기 기여도 점수가 미리결정된 임계치 미만인 것에 응답하여 상기 키프레임을 제거하도록 구성된 로직을 포함하는, 장치.
제 24 항에 있어서,
상기 키프레임의 각도 다양성과 스케일 다양성에 적어도 부분적으로 기초하여 기여도 점수를 결정하도록 구성된 로직은,
제 1 가중치 팩터를 상기 키프레임의 상기 각도 다양성에 적용함으로써 각도 다양성 스코어링 메트릭을 계산하도록 구성된 로직 ―상기 제 1 가중치 팩터는 상기 키프레임이 있는 빈 내의 키프레임들의 수에 적어도 부분적으로 기초함―;
제 2 가중치 팩터를 상기 키프레임의 상기 스케일 다양성에 적용함으로써 스케일 다양성 스코어링 메트릭을 계산하도록 구성된 로직 ―상기 제 2 가중치 팩터는 상기 키프레임이 있는 섹션 내의 키프레임들의 수에 적어도 부분적으로 기초함―; 및
상기 기여도 점수를 생성하기 위해서 상기 각도 다양성 스코어링 메트릭과 상기 스케일 다양성 스코어링 메트릭을 결합하도록 구성된 로직을 포함하는, 장치.
제 14 항에 있어서,
상기 장소의 상기 적어도 하나의 모바일 디바이스의 위치를 추적하도록 구성된 로직을 더 포함하는, 장치.
하나 또는 그보다 많은 컴퓨터 시스템들에 의한 실행을 위해 명령들을 저장하는 비일시적 매체를 포함하는 컴퓨터 프로그램 물건으로서,
상기 명령들은,
적어도 하나의 모바일 디바이스로부터 장소의 장면의 복수의 맵들을 수신하기 위한 명령들;
상기 장면의 상기 복수의 맵들의 다수의 키프레임들을 식별하기 위한 명령들; 및
상기 장면의 전반적인 맵을 생성하기 위해서 상기 다수의 키프레임들을 병합하기 위한 명령들을 포함하는, 명령들을 저장하는 비일시적 매체를 포함하는 컴퓨터 프로그램 물건.
제 27 항에 있어서,
장소의 장면의 복수의 맵들을 수신하기 위한 명령들은 다수의 모바일 디바이스들로부터 상기 장면의 상기 복수의 맵들을 수신하기 위한 명령들을 포함하는, 명령들을 저장하는 비일시적 매체를 포함하는 컴퓨터 프로그램 물건.
제 28 항에 있어서,
다수의 모바일 디바이스들로부터의 상기 장면의 상기 복수의 맵들로부터 상기 다수의 키프레임들을 중복에 대해 평가하기 위한 명령들; 및
불필요한 키프레임들을 제거하기 위한 명령들을 더 포함하는, 명령들을 저장하는 비일시적 매체를 포함하는 컴퓨터 프로그램 물건.
제 28 항에 있어서,
다수의 모바일 디바이스들로부터의 상기 장면의 상기 복수의 맵들을 이용하여 SLAM(simultaneous localization and mapping) 맵을 생성하기 위한 명령들; 및
상기 다수의 모바일 디바이스들 사이에서 상기 SLAM 맵을 공유하기 위한 명령들을 더 포함하는, 명령들을 저장하는 비일시적 매체를 포함하는 컴퓨터 프로그램 물건.
제 27 항에 있어서,
상기 장면의 상기 복수의 맵들의 상기 다수의 키프레임들을 식별하기 위한 명령들은:
상기 장면의 다수의 뷰포인트들을 나타내는 상기 다수의 키프레임들을 다수의 각도들로부터 식별하기 위한 명령들; 및
상기 장면의 다수의 뷰포인트들을 나타내는 상기 다수의 키프레임들을 다수의 스케일들로 식별하기 위한 명령들
중 적어도 하나를 포함하고,
상기 다수의 키프레임들은 상기 복수의 맵들의 공통 피쳐들, 위치 좌표들, 및 외관들을 포함하는, 명령들을 저장하는 비일시적 매체를 포함하는 컴퓨터 프로그램 물건.
제 27 항에 있어서,
다수의 스케일들은:
상기 적어도 하나의 모바일 디바이스와 상기 장면 간의 다수의 거리들; 및
상기 적어도 하나의 모바일 디바이스로부터의 상기 장면의 다수의 종횡비들
중 적어도 하나를 포함하는, 명령들을 저장하는 비일시적 매체를 포함하는 컴퓨터 프로그램 물건.
제 27 항에 있어서,
상기 장면의 전반적인 맵을 생성하기 위해서 상기 다수의 키프레임들을 병합하기 위한 명령들은,
상기 다수의 키프레임들의 각각의 키프레임에 대하여,
상기 키프레임의 각도 다양성 및 상기 키프레임의 스케일 다양성에 적어도 부분적으로 기초하여 기여도 점수를 결정하기 위한 명령들, 및
상기 기여도 점수가 미리결정된 임계치 미만인 것에 응답하여 상기 키프레임을 제거하기 위한 명령들을 포함하는, 명령들을 저장하는 비일시적 매체를 포함하는 컴퓨터 프로그램 물건.
제 33 항에 있어서,
상기 키프레임의 각도 다양성 및 스케일 다양성에 적어도 부분적으로 기초하여 기여도 점수를 결정하기 위한 명령들은,
제 1 가중치 팩터를 상기 키프레임의 상기 각도 다양성에 적용함으로써 각도 다양성 스코어링 메트릭을 계산하기 위한 명령들;
제 2 가중치 팩터를 상기 키프레임의 상기 스케일 다양성에 적용함으로써 스케일 다양성 스코어링 메트릭을 계산하기 위한 명령들; 및
상기 기여도 점수를 생성하기 위해서 상기 각도 다양성 스코어링 메트릭과 상기 스케일 다양성 스코어링 메트릭을 결합하기 위한 명령들을 포함하는, 명령들을 저장하는 비일시적 매체를 포함하는 컴퓨터 프로그램 물건.
제 27 항에 있어서,
상기 장소의 상기 적어도 하나의 모바일 디바이스의 위치를 추적하기 위한 명령들을 더 포함하는, 명령들을 저장하는 비일시적 매체를 포함하는 컴퓨터 프로그램 물건.
시스템으로서,
적어도 하나의 모바일 디바이스로부터 장소의 장면의 복수의 맵들을 수신하기 위한 수단;
상기 장면의 상기 복수의 맵들의 다수의 키프레임들을 식별하기 위한 수단; 및
상기 장면의 전반적인 맵을 생성하기 위해서 상기 다수의 키프레임들을 병합하기 위한 수단을 포함하는, 시스템.