KR20160051804A

KR20160051804A - 물리 평면의 디지털 표현의 확장

Info

Publication number: KR20160051804A
Application number: KR1020167007720A
Authority: KR
Inventors: 퀴 판; 이스트반 시크로시; 아이린 레이즈너-콜맨; 마이클 게바우츠; 퍼 오름 닐슨; 로이 로렌스 아속 이니고
Original assignee: 퀄컴 인코포레이티드
Priority date: 2013-08-30
Filing date: 2014-08-29
Publication date: 2016-05-11
Also published as: US9595125B2; EP3039647A1; CN105531740A; WO2015031855A1; JP2016532211A; US20150062166A1

Abstract

물리 씬으로부터 물리 평면의 디지털 표현을 확장하기 위한 기법들이 제시된다. 일부 양상들에서, 방법은 씬에서 물리 평면의 초기 부분 및 배향을 결정하는 단계, 및 씬에 대한 정제된 이미지를 복수의 그리드 셀들로 세분화하는 단계를 포함할 수 있다. 그리드 셀들에 대해, 이미지 시그니처가 생성될 수 있다. 평면의 획득된 초기 부분과 인접한 그리드 셀은 평면의 일부를 포함하는 것으로 결정될 수 있다. 반복적 프로세스가 획득된 초기 부분 중 적어도 일부와 인접한 그리드 셀로부터의 각각의 이웃 그리드 셀에 대해 수행될 수 있어서, 이웃 그리드 셀의 이미지 시그니처가 평면의 일부로서 포함되는 것으로 이미 결정된 그리드 셀의 이미지 시그니처와 유사하면, 상기 이웃 그리드 셀이 평면의 일부로서 포함될 것인지 여부를 결정한다.

Description

물리 평면의 디지털 표현의 확장{EXPANDING A DIGITAL REPRESENTATION OF A PHYSICAL PLANE}

[0001] 본 개시들은 일반적으로 증강 현실 환경(environments)에 관한 것으로, 더 구체적으로는, 실-세계 주변 환경(surroundings)의 기계-기반 인식에 관한 것이다.

[0002] 증강 현실(AR) 환경들에서, 사용자는 사용자의 자연 환경(natural surroundings)과 인위적 또는 가상 그래픽들의 통합을 볼 수 있다. AR의 몇몇 이전 구현들에서, 사용자는, 예를 들어, 증강 현실 고글들을 통해 사용자의 자연 환경 사이에서 또는 그 내에서 인위적으로 디스플레이되는 그래픽들을 볼 수 있다. 예를 들어, 랜덤한 나비의 그래픽은, 사용자가 실물 그대로(naturally) 보고 있는 임의의 것들과 나비가 어떠한 관련이 있는지 여부에 관계없이, 사용자가 자신의 자연 환경을 계속 보고 있는 동안 AR 고글들의 뷰를 따라 날 수 있다. AR의 더 정교한(sophisticated) 구현들에서, 사용자는 사용자의 자연 환경의 오브젝트들 또는 구조들에 AR 피처들 또는 그래픽들을 직접적으로 적용시킬 수 있다. 예를 들어, 사용자는 벽 또는 테이블 위에 내려 앉도록 나비의 그래픽을 지향(direct)하기를 원할 수 있고, 이는 먼저, AR 환경이, 사실상 사용자의 시야에서 벽 또는 테이블이 실제로 어디에 존재하는지를 인식하는 것을 요구한다.

[0003] 다른 경우들에서, 로봇들 또는 다른 자동화된 기계들은 자연 환경에서 로봇들을 배향(orient)하게 하려고 시도하는 경우 AR 필드에 유사한 개념들 및 기법들을 적용시킬 수 있다. 예를 들어, 로봇은 로봇이 벽들 또는 테이블들과 부딪치지 않도록 로봇의 자연 환경에서 벽들 및 테이블들이 어디에 있는지에 대한 이해를 요구할 수 있다. 다른 경우들에서, 로봇은, 예를 들어, 테이블 위의 컵을 식별하고 컵을 집어올림으로써 자연 환경과 상호작용할 수 있다. 이러한 태스크를 수행하는 것은 먼저, 컵 및 일부 경우들에서, 컵이 올려져 있는 테이블을 성공적으로 식별하도록 로봇에 요구할 수 있다. 그러나, 기존의 기법들이, 예를 들어, 실시간을 위해 충분히 빠르거나, 또는 충분히 에너지 효율적이지 않을 수 있으므로, 실시간으로 자연 환경의 기계-기반 인식을 달성하는 것은 해결하기 어려운 문제인 것으로 입증되었다. 따라서, 실시간 세팅에서의 자연 환경의 기계-기반 인식의 개선된 방법들에 대한 필요성이 당해 기술 분야에 존재한다.

[0004] 본 개시들은 일반적으로 증강 현실 환경들에 관한 것으로, 더 구체적으로는, 실-세계 주변 환경의 기계-기반 인식에 관한 것이다.

[0005] 물리 씬(physical scene)으로부터 물리 평면(physical plane)의 디지털 표현을 확장하기 위한 시스템들, 방법들 및 디바이스들이 제시된다. 일부 양상들에서, 방법은 씬에서 물리 평면의 초기 부분 및 배향(orientation)을 결정하는 단계, 및 씬에 대한 정제된 이미지를 복수의 그리드 셀들로 세분화하는 단계를 포함할 수 있다. 그리드 셀들에 대해, 이미지 시그니처가 생성될 수 있다. 평면의 획득된 초기 부분과 인접한 그리드 셀은 물리 평면의 일부를 포함하는 것으로 결정될 수 있다. 반복적 프로세스가 획득된 초기 부분 중 적어도 일부와 인접한 그리드 셀로부터의 각각의 이웃 그리드 셀에 대해 수행될 수 있어서, 이웃 그리드 셀의 이미지 시그니처가 평면의 일부로서 포함되는 것으로 이미 결정된 그리드 셀의 이미지 시그니처와 유사하면, 상기 이웃 그리드 셀이 평면의 일부로서 포함될 것인지 여부를 결정한다.

[0006] 물리 씬으로부터 물리 평면의 디지털 표현을 구성하기 위한 예시적 방법은, 3차원 공간에서 물리 씬의 이미지에서 물리 평면의 초기 부분 및 배향(orientation)을 결정하는 단계, 정제된 이미지를 생성하는 단계 ― 정제된 이미지는 물리 평면 중 적어도 일부의 물리 평면의 전면-평행 뷰(fronto-parallel view)를 포함함 － , 정제된 이미지를 복수의 그리드 셀들로 세분화하는 단계, 복수의 그리드 셀들 각각에 대해, 그리드 셀과 연관된 적어도 하나의 이미지 특성에 기초하여 이미지 시그니처를 생성하는 단계, 물리 평면의 디지털 표현의 일부로서 포함하기 위해, 물리 평면의 획득된 초기 부분 중 적어도 일부와 인접한 하나 또는 둘 이상의 초기 그리드 셀들을 선택하는 단계, 하나 또는 둘 이상의 초기 그리드 셀들과 인접한 각각의 이웃 그리드 셀에 대한 이미지 시그니처를 물리 평면의 디지털 표현에 현재 포함되는 하나 또는 둘 이상의 그리드 셀들의 이미지 시그니처와 비교하는 단계, 및 물리 평면의 디지털 표현에 미리 결정된 임계치를 충족하는 각각의 그리드 셀을 추가하는 단계를 포함할 수 있다.

[0007] 물리 씬으로부터 물리 평면의 디지털 표현을 구성하기 위한 또 다른 예시적 방법은, 3차원 공간에서 물리 씬에서 물리 평면의 초기 부분 및 배향을 결정하는 단계, 정제된 이미지를 생성하는 단계 ― 정제된 이미지는 물리 평면 중 적어도 일부의 물리 평면의 전면-평행 뷰를 포함함 － , 및 물리 평면의 전면-평행 뷰를 복수의 그리드 셀들로 세분화하는 단계를 포함할 수 있다.

[0008] 복수의 그리드 셀들 각각에 대해, 방법은 상기 그리드 셀들과 연관된 적어도 하나의 이미지 특성에 기초하여 이미지 시그니처를 생성하는 단계, 물리 평면의 디지털 표현의 일부로서 포함하기 위해, 물리 평면의 획득된 초기 부분 중 적어도 일부와 인접한 그리드 셀을 결정하는 단계, 및 획득된 초기 부분 중 적어도 일부와 인접한 그리드 셀들로부터의 각각의 이웃 그리드 셀에 대해: (a) 이웃 그리드 셀의 이미지 시그니처가 물리 평면의 디지털 표현의 일부로서 포함되는 것으로 이미 결정된 그리드 셀의 이미지 시그니처와 유사하면, 상기 이웃 그리드 셀이 물리 평면의 디지털 표현의 일부로서 추가적으로 포함될 것인지 여부를 결정하는 단계 － 유사성은 적어도 하나의 미리 결정된 임계 기준에 기초함 － , 및 평면의 일부로서 추가적으로 포함되도록, (a)에서의 프로세스에 기초하여, 결정된 어떠한 이웃 그리드 셀들도 존재하지 않을 때까지, 물리 평면의 디지털 표현의 일부로서 이미 포함된 그리드 셀과 인접한 각각의 이웃 그리드 셀에 대해, (a)에서의 프로세스를 계속하는 단계를 더 포함할 수 있다.

[0009] 하나의 양상에서, 물리 평면의 초기 부분은 물리 평면 상에 포지셔닝되는 공지된 오브젝트에 기초한다. 또 다른 양상에서, 물리 평면의 초기 부분은 포인트 클라우드 모델로의 물리 평면의 피팅(fitting)에 기초한다.

[0010] 특정 양상들에서, 이미지 시그니처는 그리드 셀과 연관된 이미지 정보를 표시하는 적어도 하나의 히스토그램을 포함한다. 일부 구현들에서, 적어도 하나의 히스토그램은 그리드 셀에 존재하는 색들의 타입 및 양, 그리드 셀의 그래디언트 배향(gradient orientation), 및 그리드 셀에 존재하는 색들을 표현하는 그레이 스케일 셰이드(gray scale shade)들의 타입 및 양의 통계적 표현을 포함할 수 있다.

[0011] 일부 구현들에서, 상기 그리드 셀과 연관된 적어도 하나의 이미지 특성은 3차원 정보를 포함한다. 하나의 양상에서, 물리 평면의 디지털 표현의 일부로서 포함되지 않는 것으로 결정되는 각각의 이웃 그리드 셀에 대해, 방법은 복수의 2차 그리드 셀들을 생성하는 단계 － 복수의 2차 그리드 셀들 각각의 포지션은 상기 이웃 그리드 셀의 포지션으로부터의 오프셋에 기초하고, 오프셋은 상기 이웃 그리드 셀의 폭 및 길이 내에 있음 － , 및 복수의 2차 그리드 셀들 각각에 대해: 2차 그리드 셀과 연관된 적어도 하나의 이미지 특성에 기초하여 이미지 시그니처를 생성하는 단계, 및 상기 2차 그리드 셀의 이미지 시그니처가 물리 평면의 디지털 표현의 일부로서 포함되는 것으로 이미 결정된 그리드 셀의 이미지 시그니처와 유사하면, 상기 2차 그리드 셀이 물리 평면의 디지털 표현의 일부로서 추가적으로 포함될 것인지 여부를 결정하는 단계를 더 포함하고, 유사성은 적어도 하나의 미리 결정된 임계 기준에 기초한다.

[0012] 물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 장치는 메모리 및 하나 또는 둘 이상의 프로세서들을 포함할 수 있다. 하나 또는 둘 이상의 프로세서들은, 3차원 공간에서 물리 씬에서 물리 평면의 초기 부분 및 배향을 결정하고, 물리 씬의 하나 또는 둘 이상의 이미지들을 수신하고, 정제된 이미지를 생성하고 ― 정제된 이미지는 물리 평면 중 적어도 일부의 물리 평면의 전면-평행 뷰를 포함함 － , 정제된 이미지를 복수의 그리드 셀들로 세분화하고, 복수의 그리드 셀들 각각에 대해, 그리드 셀과 연관된 적어도 하나의 이미지 특성에 기초하여 이미지 시그니처를 생성하고, 물리 평면의 디지털 표현의 일부로서 포함하기 위해, 물리 평면의 획득된 초기 부분 중 적어도 일부와 인접한 하나 또는 둘 이상의 초기 그리드 셀들을 선택하고, 하나 또는 둘 이상의 초기 그리드 셀들과 인접한 각각의 이웃 그리드 셀에 대한 이미지 시그니처를 물리 평면의 디지털 표현에 현재 포함되는 하나 또는 둘 이상의 그리드 셀들의 이미지 시그니처와 비교하고, 그리고 물리 평면의 디지털 표현에 미리 결정된 임계치를 충족하는 각각의 그리드 셀을 추가하도록 구성될 수 있다.

[0013] 물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 예시적 장치는 메모리, 이미지 데이터를 수신하기 위한 카메라, 하나 또는 둘 이상의 프로세서들을 포함할 수 있다. 프로세서들은 3차원 공간에서 물리 씬에서 물리 평면의 초기 부분 및 배향을 결정하고, 정제된 이미지를 생성하고 ― 정제된 이미지는 물리 평면 중 적어도 일부의 물리 평면의 전면-평행 뷰를 포함함 － , 그리고 물리 평면의 전면-평행 뷰를 복수의 그리드 셀들로 세분화하도록 구성될 수 있다.

[0014] 복수의 그리드 셀들 각각에 대해, 하나 또는 둘 이상의 프로세서들은 상기 그리드 셀들과 연관된 적어도 하나의 이미지 특성에 기초하여 이미지 시그니처를 생성하고, 물리 평면의 디지털 표현의 일부로서 포함하기 위해, 물리 평면의 획득된 초기 부분 중 적어도 일부와 인접한 그리드 셀을 결정하고, 그리고 획득된 초기 부분 중 적어도 일부와 인접한 그리드 셀들로부터의 각각의 이웃 그리드 셀에 대해: (a) 이웃 그리드 셀의 이미지 시그니처가 물리 평면의 디지털 표현의 일부로서 포함되는 것으로 이미 결정된 그리드 셀의 이미지 시그니처와 유사하면, 이웃 그리드 셀이 물리 평면의 디지털 표현의 일부로서 추가적으로 포함될 것인지 여부를 결정하고 － 유사성은 적어도 하나의 미리 결정된 임계 기준에 기초함 － , 및 평면의 일부로서 추가적으로 포함되도록, (a)에서의 프로세스에 기초하여, 결정된 어떠한 이웃 그리드 셀들도 존재하지 않을 때까지, 물리 평면의 디지털 표현의 일부로서 이미 포함된 그리드 셀과 인접한 각각의 이웃 그리드 셀에 대해, (a)에서의 프로세스를 계속하기 위해 추가로 구성될 수 있다.

[0015] 하나의 양상에서, 물리 평면의 초기 부분은 물리 평면 상에 포지셔닝되는 공지된 오브젝트에 기초한다. 또 다른 양상에서, 물리 평면의 초기 부분은 포인트 클라우드 모델로의 물리 평면의 피팅(fitting)에 기초한다.

[0016] 특정 양상들에서, 이미지 시그니처는 그리드 셀과 연관된 이미지 정보를 표시하는 적어도 하나의 히스토그램을 포함한다. 일부 구현들에서, 적어도 하나의 히스토그램은 그리드 셀에 존재하는 색들의 타입 및 양, 그리드 셀의 그래디언트 배향, 및 그리드 셀에 존재하는 색들을 표현하는 그레이 스케일 셰이드들의 타입 및 양의 통계적 표현을 포함할 수 있다.

[0017] 일부 구현들에서, 상기 그리드 셀과 연관된 적어도 하나의 이미지 특성은 3차원 정보를 포함한다. 하나의 양상에서, 적어도 하나의 미리 결정된 임계 기준은 평면의 일부로서 이미 포함된 그리드 셀의 적어도 하나의 히스토그램을 이웃 그리드 셀의 히스토그램과 비교하는 것에 기초한다.

[0018] 하나의 양상에서, 하나 또는 둘 이상의 프로세서들에 의해 물리 평면의 디지털 표현의 일부로서 포함되지 않는 것으로 결정되는 각각의 이웃 그리드 셀에 대해, 장치는 복수의 2차 그리드 셀들을 생성하고 － 복수의 2차 그리드 셀들 각각의 포지션은 상기 이웃 그리드 셀의 포지션으로부터의 오프셋에 기초하고, 오프셋은 상기 이웃 그리드 셀의 폭 및 길이 내에 있음 － , 및 복수의 2차 그리드 셀들 각각에 대해, 2차 그리드 셀과 연관된 적어도 하나의 이미지 특성에 기초하여 이미지 시그니처를 생성하고, 그리고 상기 2차 그리드 셀의 이미지 시그니처가 물리 평면의 디지털 표현의 일부로서 포함되는 것으로 이미 결정된 그리드 셀의 이미지 시그니처와 유사하면, 상기 2차 그리드 셀이 물리 평면의 디지털 표현의 일부로서 추가적으로 포함될 것인지 여부를 결정하도록 추가로 구성될 수 있고, 유사성은 적어도 하나의 미리 결정된 임계 기준에 기초한다.

[0019] 예시적 비-일시적 컴퓨터 판독가능한 저장 매체로서, 여기서, 비-일시적 컴퓨터 판독가능한 저장 매체는 프로세서에 의해 실행가능한 명령들을 포함하고, 명령들은, 3차원 공간에서 물리 씬에서 물리 평면의 초기 부분 및 배향을 결정하기 위한 명령, 물리 씬의 하나 또는 둘 이상의 이미지들을 수신하기 위한 명령, 정제된 이미지를 생성하기 위한 명령 ― 정제된 이미지는 물리 평면 중 적어도 일부의 물리 평면의 전면-평행 뷰를 포함함 － , 정제된 이미지를 복수의 그리드 셀들로 세분화하기 위한 명령, 복수의 그리드 셀들 각각에 대해, 그리드 셀과 연관된 적어도 하나의 이미지 특성에 기초하여 이미지 시그니처를 생성하기 위한 명령, 물리 평면의 디지털 표현의 일부로서 포함하기 위해, 물리 평면의 획득된 초기 부분 중 적어도 일부와 인접한 하나 또는 둘 이상의 초기 그리드 셀들을 선택하기 위한 명령, 하나 또는 둘 이상의 초기 그리드 셀들과 인접한 각각의 이웃 그리드 셀에 대한 이미지 시그니처를 물리 평면의 디지털 표현에 현재 포함되는 하나 또는 둘 이상의 그리드 셀들의 이미지 시그니처와 비교하기 위한 명령, 및 물리 평면의 디지털 표현에 미리 결정된 임계치를 충족하는 각각의 그리드 셀을 추가하기 위한 명령을 포함한다.

[0020] 또 다른 예시적 비-일시적 컴퓨터-판독가능한 저장 매체로서, 여기서, 비-일시적 컴퓨터 판독가능한 저장 매체는, 3차원 공간에서 물리 씬에서 물리 평면의 초기 부분 및 배향을 결정하고, 정제된 이미지를 생성하고 ― 정제된 이미지는 물리 평면 중 적어도 일부의 물리 평면의 전면-평행 뷰를 포함함 － , 그리고 물리 평면의 전면-평행 뷰를 복수의 그리드 셀들로 세분화하기 위해, 프로세서에 의해 실행가능한 명령들을 포함할 수 있다.

[0021] 복수의 그리드 셀들 각각에 대해, 명령들은 상기 그리드 셀들과 연관된 적어도 하나의 이미지 특성에 기초하여 이미지 시그니처를 생성하고, 물리 평면의 디지털 표현의 일부로서 포함하기 위해, 물리 평면의 획득된 초기 부분 중 적어도 일부와 인접한 그리드 셀을 결정하고, 그리고 획득된 초기 부분 중 적어도 일부와 인접한 그리드 셀들로부터의 각각의 이웃 그리드 셀에 대해: (a) 이웃 그리드 셀의 이미지 시그니처가 물리 평면의 디지털 표현의 일부로서 포함되는 것으로 이미 결정된 그리드 셀의 이미지 시그니처와 유사하면, 상기 이웃 그리드 셀이 물리 평면의 디지털 표현의 일부로서 추가적으로 포함될 것인지 여부를 결정하고 － 유사성은 적어도 하나의 미리 결정된 임계 기준에 기초함 － , 그리고 평면의 일부로서 추가적으로 포함되도록, (a)에서의 프로세스에 기초하여, 결정된 어떠한 이웃 그리드 셀들도 존재하지 않을 때까지, 물리 평면의 디지털 표현의 일부로서 이미 포함된 그리드 셀과 인접한 각각의 이웃 그리드 셀에 대해, (a)에서의 프로세스를 계속하도록 추가로 구성될 수 있다.

[0022] 하나의 양상에서, 물리 평면의 초기 부분은 물리 평면 상에 포지셔닝되는 공지된 오브젝트에 기초한다. 또 다른 양상에서, 물리 평면의 초기 부분은 포인트 클라우드 모델로의 물리 평면의 피팅(fitting)에 기초한다.

[0023] 특정 양상들에서, 이미지 시그니처는 그리드 셀과 연관된 이미지 정보를 표시하는 적어도 하나의 히스토그램을 포함한다. 일부 구현들에서, 적어도 하나의 히스토그램은 그리드 셀에 존재하는 색들의 타입 및 양, 그리드 셀의 그래디언트 배향, 및 그리드 셀에 존재하는 색들을 표현하는 그레이 스케일 셰이드들의 타입 및 양의 통계적 표현을 포함할 수 있다.

[0024] 일부 구현들에서, 상기 그리드 셀과 연관된 적어도 하나의 이미지 특성은 3차원 정보를 포함한다. 하나의 양상에서, 하나 또는 둘 이상의 프로세서들에 의해 물리 평면의 디지털 표현의 일부로서 포함되지 않는 것으로 결정되는 각각의 이웃 그리드 셀에 대해, 명령들은 복수의 2차 그리드 셀들을 생성하고 － 복수의 2차 그리드 셀들 각각의 포지션은 상기 이웃 그리드 셀의 포지션으로부터의 오프셋에 기초하고, 오프셋은 상기 이웃 그리드 셀의 폭 및 길이 내에 있음 － , 그리고 복수의 2차 그리드 셀들 각각에 대해, 2차 그리드 셀과 연관된 적어도 하나의 이미지 특성에 기초하여 이미지 시그니처를 생성하고, 그리고 상기 2차 그리드 셀의 이미지 시그니처가 물리 평면의 디지털 표현의 일부로서 포함되는 것으로 이미 결정된 그리드 셀의 이미지 시그니처와 유사하면, 상기 2차 그리드 셀이 물리 평면의 디지털 표현의 일부로서 추가적으로 포함될 것인지 여부를 결정하도록 추가로 구성될 수 있고, 유사성은 적어도 하나의 미리 결정된 임계 기준에 기초한다.

물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 예시적 장치는, 3차원 공간에서 물리 씬의 이미지에서 물리 평면의 초기 부분 및 배향을 결정하기 위한 수단, 정제된 이미지를 생성하기 위한 수단 ― 정제된 이미지는 물리 평면 중 적어도 일부의 물리 평면의 전면-평행 뷰를 포함함 － , 정제된 이미지를 복수의 그리드 셀들로 세분화하기 위한 수단, 복수의 그리드 셀들 각각에 대해, 그리드 셀과 연관된 적어도 하나의 이미지 특성에 기초하여 이미지 시그니처를 생성하기 위한 수단, 물리 평면의 디지털 표현의 일부로서 포함하기 위해, 물리 평면의 획득된 초기 부분 중 적어도 일부와 인접한 하나 또는 둘 이상의 초기 그리드 셀들을 선택하기 위한 수단, 하나 또는 둘 이상의 초기 그리드 셀들과 인접한 각각의 이웃 그리드 셀에 대한 이미지 시그니처를 물리 평면의 디지털 표현에 현재 포함되는 하나 또는 둘 이상의 그리드 셀들의 이미지 시그니처와 비교하기 위한 수단, 및 물리 평면의 디지털 표현에 미리 결정된 임계치를 충족하는 각각의 그리드 셀을 추가하기 위한 수단을 포함할 수 있다.

[0025] 물리 씬으로부터 물리 평면의 디지털 표현을 구성하기 위한 또 다른 예시적 장치는, 3차원 공간에서 물리 씬에서 물리 평면의 초기 부분 및 배향을 결정하기 위한 수단, 정제된 이미지를 생성하기 위한 수단 ― 정제된 이미지는 물리 평면 중 적어도 일부의 물리 평면의 전면-평행 뷰를 포함함 － , 및 물리 평면의 전면-평행 뷰를 복수의 그리드 셀들로 세분화하기 위한 수단을 포함할 수 있다.

[0026] 복수의 그리드 셀들 각각에 대해, 장치는 상기 그리드 셀들과 연관된 적어도 하나의 이미지 특성에 기초하여 이미지 시그니처를 생성하기 위한 수단, 물리 평면의 디지털 표현의 일부로서 포함하기 위해, 물리 평면의 획득된 초기 부분 중 적어도 일부와 인접한 그리드 셀을 결정하기 위한 수단, 및 획득된 초기 부분 중 적어도 일부와 인접한 그리드 셀들로부터의 각각의 이웃 그리드 셀에 대해: (a) 이웃 그리드 셀의 이미지 시그니처가 물리 평면의 디지털 표현의 일부로서 포함되는 것으로 이미 결정된 그리드 셀의 이미지 시그니처와 유사하면, 상기 이웃 그리드 셀이 물리 평면의 디지털 표현의 일부로서 추가적으로 포함될 것인지 여부를 결정하기 위한 수단 － 유사성은 적어도 하나의 미리 결정된 임계 기준에 기초함 － , 및 평면의 일부로서 추가적으로 포함되도록, (a)에서의 프로세스에 기초하여, 결정된 어떠한 이웃 그리드 셀들도 존재하지 않을 때까지, 물리 평면의 디지털 표현의 일부로서 이미 포함된 그리드 셀과 인접한 각각의 이웃 그리드 셀에 대해, (a)에서의 프로세스를 계속하기 위한 수단을 더 포함할 수 있다.

[0027] 하나의 양상에서, 물리 평면의 초기 부분은 물리 평면 상에 포지셔닝되는 공지된 오브젝트에 기초한다. 또 다른 양상에서, 물리 평면의 초기 부분은 포인트 클라우드 모델로의 물리 평면의 피팅에 기초한다.

[0028] 특정 양상들에서, 이미지 시그니처는 그리드 셀과 연관된 이미지 정보를 표시하는 적어도 하나의 히스토그램을 포함한다. 일부 구현들에서, 적어도 하나의 히스토그램은 그리드 셀에 존재하는 색들의 타입 및 양, 그리드 셀의 그래디언트 배향, 및 그리드 셀에 존재하는 색들을 표현하는 그레이 스케일 셰이드들의 타입 및 양의 통계적 표현을 포함할 수 있다.

[0029] 일부 구현들에서, 상기 그리드 셀과 연관된 적어도 하나의 이미지 특성은 3차원 정보를 포함한다. 하나의 양상에서, 적어도 하나의 미리 결정된 임계 기준은 평면의 일부로서 이미 포함된 그리드 셀의 적어도 하나의 히스토그램을 이웃 그리드 셀의 히스토그램과 비교하는 것에 기초한다.

[0030] 하나의 양상에서, 물리 평면의 디지털 표현의 일부로서 포함되지 않는 것으로 결정되는 각각의 이웃 그리드 셀에 대해, 장치는 복수의 2차 그리드 셀들을 생성하기 위한 수단 － 복수의 2차 그리드 셀들 각각의 포지션은 상기 이웃 그리드 셀의 포지션으로부터의 오프셋에 기초하고, 오프셋은 상기 이웃 그리드 셀의 폭 및 길이 내에 있음 － , 및 복수의 2차 그리드 셀들 각각에 대해, 2차 그리드 셀과 연관된 적어도 하나의 이미지 특성에 기초하여 이미지 시그니처를 생성하기 위한 수단, 및 상기 2차 그리드 셀의 이미지 시그니처가 물리 평면의 디지털 표현의 일부로서 포함되는 것으로 이미 결정된 그리드 셀의 이미지 시그니처와 유사하면, 상기 2차 그리드 셀이 물리 평면의 디지털 표현의 일부로서 추가적으로 포함될 것인지 여부를 결정하기 위한 수단을 더 포함하고, 유사성은 적어도 하나의 미리 결정된 임계 기준에 기초한다.

[0031] 위의 설명은, 다음의 상세한 설명이 더 양호하게 이해될 수 있도록 예들의 특징들 및 기술적 이점들을 상당히 광범위하게 약술하였다. 추가 특징들 및 이점들이 이하에서 설명될 것이다. 개시되는 개념 및 특정 예들은 본 개시의 동일한 목적들을 수행하기 위해 다른 구조들을 수정 또는 설계하기 위한 기초로서 쉽게 활용될 수 있다. 이러한 등가의 구조들은 첨부된 청구항들의 사상 및 범위로부터 벗어나지 않는다. 연관된 이점들과 함께 그들의 구성 및 동작 방법 둘 모두에 대해, 본원에 개시되는 개념들의 특성으로 여겨지는 특징들은 첨부한 도면들과 관련하여 고려될 때 다음의 설명으로부터 더 잘 이해될 것이다. 도면들 각각은 청구항들의 제한들에 대한 한정으로서가 아닌 단지 예시 및 설명을 목적으로 제공된다.

[0032] 다양한 실시예들의 특성 및 이점들의 이해가 다음의 도면들에 대한 참조에 의해 실현될 수 있다. 첨부된 도면들에서, 유사한 컴포넌트들 또는 특징들은 동일한 참조 라벨을 가질 수 있다. 추가로, 동일한 타입의 다양한 컴포넌트들은 참조 라벨 다음에 대시기호 및 유사한 컴포넌트들 사이를 구별하는 제 2 라벨에 의해 구별될 수 있다. 단지 제 1 참조 라벨만이 본 명세서에서 사용된다면, 본 설명은 제 2 참조 라벨과 관계없이 동일한 제 1 참조 라벨을 갖는 유사한 컴포넌트들 중 임의의 하나의 컴포넌트에 적용가능하다.
[0033] 도 1은 본 개시들의 다양한 양상들을 이용하기 위한 예시적 디바이스 및 시나리오를 예시한다.
[0034] 도 2는 본 개시의 일부 양상들에 따른, 자연 환경에서 물리 평면을 식별하는데 사용되는 예시적 이미지를 도시한다.
[0035] 도 3은 본 개시의 특정 양상들에 따른, 물리 평면을 포함하는 물리 씬에 대한 예시적 정제된 이미지를 예시한다.
[0036] 도 4는 본 개시의 일부 양상들에 따른, 에지들에서 그리드 셀들을 포함하기 위한 예시적 방법을 예시한다.
[0037] 도 5는 일부 실시예들에 따라 물리 평면을 식별하는 예시적 결과(outcome)를 예시한다.
[0038] 도 6은 본 개시의 특정 양상들에 따른, 물리 평면의 디지털 표현을 생성하기 위한 특정 모듈들 및 컴포넌트들을 예시하는 예시적 블록도이다.
[0039] 도 7은 본 개시의 일부 양상들에 따른, 물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 예시적 방법 흐름을 예시하는 흐름도이다.
[0040] 도 8은 본 개시의 일부 양상들에 따른, 물리 씬으로부터의 물리 평면의 디지털 표현의 일부로서 그리드 셀의 부분들을 포함하기 위한 예시적 방법 흐름을 예시하는 흐름도이다.
[0041] 도 9는 일부 실시예들에 따른 컴퓨팅 디바이스의 블록도이다.

[0042] 몇몇 예시적 실시예들은 이제, 실시예들의 일부를 형성하는 첨부한 도면들에 대해 설명될 것이다. 본 개시의 하나 또는 둘 이상의 양상들이 구현될 수 있는 특정 실시예들이 아래에서 설명되지만, 다른 실시예들이 사용될 수 있고, 다양한 수정들이 본 개시의 범위 또는 첨부된 청구항들의 사상으로부터 벗어나지 않고 이루어질 수 있다.

[0043] "예시적"이라는 용어는 본원에서 "예, 예시 또는 예증으로서 제공되는"의 의미로 사용된다. "예시적"으로서 본원에 설명되는 임의의 실시예들 또는 설계가 반드시 다른 실시예들 또는 설계들보다 선호되거나 또는 유리한 것으로 해석되는 것은 아니다.

[0044] 사용자의 자연 환경에 기초하여, 증강 현실(AR) 환경에서, 평평한 표면들(flat surfaces)의 조밀한 디지털 표현을 식별 및 결정하기 위한 방법들 및 장치들이 제시된다. 평평한 표면의 예는 주방 내의 테이블 윗면, 바닥 또는 카운터 공간일 수 있다. 이하에서 언급되는 바와 같이, 평평한 표면은 평면 또는 물리 평면으로서 상호 교환가능하게 지칭될 수 있다.

[0045] 공지되지 않은 실-세계 씬에 기초하여 AR 애플리케이션을 구축하는 것은, 어떤 오브젝트들의 씬 그리고 어떤 타입의 오브젝트들이 실행 시간에서 재구성될 것인지가 미리 공지되지 않기 때문에, 난해할(challenging) 수 있다. 예를 들어, 사용자가 방으로 진입하고 있거나, 또는 자연 환경 밖으로 나가고 있는지 여부가 미리 공지되지 않는다. 따라서, 임의의 타입의 씬에 기초하여 정교한 증강 현실 애플리케이션을 생성하는 것이 매우 어려울 수 있다.

[0046] 일반적으로, 씬의 일반적 표현, 이를테면, 전체 씬에 대한 하나의 큰 삼각 메쉬(triangle mesh)를 사용하는 것이 가능할 수 있다. 일부 경우들에서, 이것은 누군가가 재구성된 씬을 렌더링하기를 원한다면 적당할 수 있다. 그러나, 재구성된 씬을 렌더링하는 것뿐만 아니라, 다양한 실제 그리고 가상 오브젝트들을 갖는 렌더링된 씬과 상호작용하는 것이 바람직할 수 있다. 더 복잡한 사용의 경우들, 이를테면, 실-세계 오브젝트 주변에 가상 식물을 키우는 것은 재구성된 씬을 부분들로 세그먼팅함으로써 달성될 수 있다. 본원에 설명되는 실시예들은 일반적 씬들을 다양한 속성들을 갖는 개별 표면들 및 오브젝트들과 상관하는 중요한(meaningful) 재구성된 컴포넌트들로 재구성하는 것을 가능하게 한다.

[0047] 본 개시의 특정 실시예들은 다수의 오브젝트들이 그 위에 있는 물리 평면(증강 현실(AR) 평면으로도 또한 지칭됨)의 디지털 표현으로서 공지되지 않은 실-세계 씬을 표현할 수 있다. 제안된 표현은, 실내 AR 애플리케이션들, 이를테면, 테이블위 또는 바닥에 대한 전형적 시나리오들의 대부분에 대해 사용될 수 있다. 제안된 표현은 또한, 실외 AR 애플리케이션들에 대해 사용될 수 있다.

[0048] 설명되는 실시예들에 따라, 씬을 표현하고 재구성함으로써, 중요한 세그멘테이션이 지면(ground plane)(예를 들어, 테이블/바닥)을 표현하는 물리 평면의 디지털 표현에 대해 수행될 수 있고, 개별 오브젝트들이 물리 평면의 디지털 표현 위에서 표현될 수 있다. 특정 실시예들에 있어서, 표현된 오브젝트들은 실-세계 오브젝트들의 개별 증강들 및 대체가 AR 환경에서 물리 씬을 형성하는 것에 대해 사용될 수 있다. 예를 들어, 실-세계 오브젝트의 색이 상이한 색으로 증강될 수 있거나, 또는 실-세계 오브젝트가 가상 오브젝트로 완전하게 대체될 수 있다. 또한, 정교한 게임 플레이가 다수의 오브젝트들에 기초하여 생성될 수 있다.

[0049] 본원에 제안되는 바와 같은, 물리 평면의 디지털 표현, 즉, AR 평면은 표면의 실제 에지들(예를 들어, 테이블의 에지들)에 대응하는 경계들을 가질 수 있다. 제안된 표현을 사용하여, 개발자는 특정 외관(appearance)을 갖는 물리 평면의 디지털 표현을 렌더링할 수 있다(예를 들어, 지면 상에 잔디가 자라게 함).

[0050] 물리 평면의 디지털 표현은 정제된 이미지로부터의 정보를 사용하여 유추될 수 있다. 일부 구현에서, 정제된 이미지는 3차원 정보를 갖는 2차원 이미지를 포함할 수 있고, 여기서, 3차원 정보는 2차원 이미지의 특정 피처들과 연관된다. 다른 구현들에서, 정제된 이미지는 3차원 이미지일 수 있다.

[0051] 아래에서 더 상세하게 설명되는 바와 같이, 정제된 이미지 씬은 물리 씬에 대한 복수의 2차원 이미지들을 분석함으로써 생성될 수 있다. 예를 들어, 특정 실시예들에서, 물리 환경을 분석하기 위해, SLAM(simultaneous localization and mapping) 프로세스는 정제된 이미지를 생성하기 위해 사용될 수 있다. SLAM 프로세스는 카메라를 사용하여 캡처되는 물리 환경의 제 1 2차원 이미지를 포함할 수 있다. 2차원 이미지에는 깊이 정보가 결여될 수 있다. 그 다음, 카메라는 일정 거리 이동될 수 있다. 이 거리(및 방향)가 측정될 수 있다. 물리 환경의 제 2 이미지가 캡처될 수 있다. 이동된 거리 및 방향을 사용함으로써, 매칭하도록 결정된 2개의 이미지들에서의 다수의 식별된 참조 포인트들의 깊이가 계산될 수 있다. SLAM 프로세스의 구현들은, 정제된 이미지를 생성하기 위해, 대응하는 참조 포인트들의 결정된 위치들을 정제하고 물리 환경에서 추가 참조 포인트들을 식별하는데 훨씬 더 많은 이미지들을 사용할 수 있다. SLAM의 사용에 추가로, 이를테면, 예를 들어, 움직임-시간-분석(time-of-flight analysis) 또는 입체 카메라 시스템을 사용하여, 깊이 정보를 포함하는 이미지들을 캡처함으로써, 일부 다른 형태의 3차원 맵핑 프로세스가 사용될 수 있다. 본원에 설명되는 바와 같이, SLAM 프로세스가 예시를 목적으로 사용될 수 있지만, 다른 기법들이 본 발명의 범위로부터 벗어나지 않으면서 SLAM 대신 사용될 수 있다.

[0052] 일부 실시예들에서, 다수의 참조 포인트들을 포함하는 포인트 클라우드가 생성될 수 있고, 각각의 참조 포인트는 깊이 값을 갖는다. 본원에 상세되는 바와 같이, SLAM 프로세스를 사용하여 획득되는 포인트 클라우드는 정제된 이미지를 생성하는데 사용될 수 있다.

[0053] 물리 평면의 디지털 표현은, 어떠한 물리 오브젝트들도 존재하지 않고, 가상 오브젝트들이 물리 오브젝트와의 가능한 충돌을 고려하지 않고 AR 환경에서 포지셔닝 및 이동될 수 있는 평탄한(planar) 영역을 표현할 수 있다.

[0054] 물리 평면의 디지털 표현은 다수의 그리드 셀들, 이를테면, 다각형 셀들로 구성되는 평면을 정의할 수 있다. 각각의 그리드 셀은 (물리 오브젝트의 사용자의 뷰와 같은) 가상 오브젝트가 또 다른 오브젝트와의 충돌없이 포지셔닝될 수 있는 볼록한 평탄한 영역을 표현할 수 있다.

[0055] 도 1을 참조하면, 예시적 AR 시스템(100)이 예시된다. 특정 실시예들에서, AR 시스템(100)은 SLAM 프로세스를 수행하도록 구성될 수 있다. 시스템(100)은 컴퓨팅 디바이스(102), 이를테면, 모바일 디바이스를 포함한다. 모바일 디바이스는 입력 감지 유닛, 이를테면, 카메라 및 디스플레이(108)를 갖는 임의의 휴대용 컴퓨팅 디바이스일 수 있다. 여기서, 컴퓨팅 디바이스(102)는 모바일 디바이스, 이를테면, 스마트 폰일 수 있지만, 본원에 설명되는 기능은 스마트 폰들로 제한되지 않는다. 예를 들어, 컴퓨팅 디바이스(102)는 임의의 휴대용 또는 모바일 디바이스, 이를테면, 디지털 카메라, 캠코더, 태블릿 컴퓨터, 개인용 디지털 보조기, 비디오 게임 콘솔, HMD(head-mounted display) 또는 다른 착용가능한 디스플레이, 프로젝터 디바이스, 또는 다른 디바이스일 수 있다. 추가로, 모바일 디바이스 대신에, 컴퓨팅 디바이스(102), 이를테면, 개인용 컴퓨터(예를 들어, 데스크탑 컴퓨터), 또는 다른 넌-핸드-헬드 디바이스 또는 전형적으로 모바일 디바이스로 라벨링되지 않는 디바이스가 사용될 수 있다. 컴퓨팅 디바이스(102)는 실-세계 물리 환경에서 물리 오브젝트들의 이미지를 캡처하기 위한 카메라를 포함할 수 있다. 예시된 실시예에서, 실린더(110)(예를 들어, 수프의 캔)가 테이블(104) 상에 존재한다.

[0056] 컴퓨팅 디바이스(102)는, 물리 환경의 이미지들을 캡처 － 수프의 캔이 놓인 테이블(104)의 이미지를 캡처 － 하고, 하나 또는 둘 이상의 가상 오브젝트들로 보충된 투명한 또는 반-투명한 디스플레이 상에 추가 이미지를 디스플레이함으로써 증강 현실하도록 구성될 수 있다. 도 1에서, 3차원 캐릭터(character)(106)는 테이블(104)을 포함한, 물리 환경의 뷰 상에서 슈퍼임포즈(superimpose)된다. 3차원 캐릭터(106)는 임의의 형태의 가상 오브젝트일 수 있으며, 휴머노이드(humanoid) 캐릭터로 제한되지 않는다. 3차원 캐릭터(106)는 본원에 상세되는 바와 같은 테이블(104)의 표면의 부분들에 대응하도록 생성된 물리 평면의 디지털 표현 상의 다양한 위치들로 이동하도록 허가될 수 있다. 특정 실시예들에서, AR 평면은 수프의 캔이 AR 평면으로부터 배제되도록 구성될 수 있어서, 따라서, 3차원 캐릭터(106)가 컴퓨팅 디바이스(102)의 디스플레이 상에 제시되는 AR 환경에서 수프의 캔과 충돌하는 것으로 나타나는 것을 방지한다.

[0057] 하나 또는 둘 이상의 배열들에서, 컴퓨팅 디바이스(100)는 물리 경계들을 정의하기 위한 하나 또는 둘 이상의 이미지들 또는 다른 수단에 기초하여 컴퓨팅 디바이스(100)의 자연 환경에 대한 데이터를 획득하기 위해 센서들 중 임의의 것을 그리고/또는 센서들 모두를 결합하여 또는 단독으로 사용할 수 있다. 예를 들어, 컴퓨팅 디바이스(100)는 하나 또는 둘 이상의 카메라들을 사용하여 컴퓨팅 디바이스(100)의 자연 환경의 하나 또는 둘 이상의 그래픽 뷰들을 획득할 수 있다. 더 복잡한 예로서, 컴퓨팅 디바이스(100) 내의 하나 또는 둘 이상의 카메라들과 결합하는 하나 또는 둘 이상의 프로세서들은 시간이 지남에 따라 레코딩되고 그리고/또는 수신되는 다수의 이미지들을 통해 자연 환경을 보는데 사용될 수 있다. 특정 예에서, 자연 환경은 테이블 또는 다른 평평한 표면, 및 테이블 위에 놓여 있는 다수의 오브젝트들을 포함할 수 있다. 컴퓨팅 디바이스(100)는 다수의 각도들 또는 관점들로부터 테이블을 보기 위해 하나 또는 둘 이상의 카메라들을 활용하여, 테이블 및 테이블 상의 오브젝트들에 대한 이미지 데이터의 다수의 프레임들을 제공할 수 있다. 이러한 이미지 데이터는 예들로서 여기에 설명되지만, 컴퓨팅 디바이스(100)에 의해 획득되는 임의의 다른 종류의 데이터는, 컴퓨팅 디바이스(100) 내의 하나 또는 둘 이상의 센서들을 통하든 아니면 무선 수단 또는 유선 수단을 통하든 간에, 본 개시의 하나 또는 둘 이상의 양상들을 구현하는 것의 일부로서 고려될 수 있다.

[0058] 도 2를 참조하면, 예시(200)는 일부 실시예들에 따른, 물리 평면을 결정하고 경계들을 식별하기 위한 예시적 물리 씬을 제시한다. 여기서, 표면(202)은 이미지(200)의 환경에서 물리 평면으로서 식별될 것이다. 표면(202)은 다색(multi-colored)의 바위들 또는 조약돌들의 반점이 있는 디자인(speckled design)을 갖는 카운터톱(countertop)인 것으로 나타난다. 예시적 타겟 오브젝트(204)는 표면(202)에서의 디자인과는 시각적으로 별개인 표면(202)의 위에 존재한다. 일부 실시예들에서, 표면 및 표면의 경계들을 식별하기 위한 방법들은 표면 결정 알고리즘들에 대한 초기 시작 포인트로서 타겟 오브젝트와 같은 공지된 오브젝트를 사용하는 단계를 포함한다. 다른 경우들에서, 표면(202)의 배향 및 포지션의 초기 결정은, 예를 들어, SLAM(simultaneous and localization and mapping)에 기초하는 방법들 또는 깊이 센서에 기초하는 방법들을 통해 포인트 클라우드로부터 획득되는 데이터를 사용하여 결정될 수 있다. 즉, 이를테면, SLAM에서의 방법들을 통해 환경을 표현하는 포인트들의 드문(sparse) 또는 조밀한 세트가 주어지면, 물리 평면의 배향 및 포지션이 가설이 될 수 있다. 물리 평면의 배향 및 포지션을 결정하기 위한 다른 기법들은 본 발명의 범위로부터 벗어나지 않고 사용될 수 있다. 예를 들어, 검출하는 다수의 공면(coplanar) 피처들 또는 유사한 색을 갖는 셀들은, 일부 경우들에서 물리 평면의 초기 배향 및 포지션을 표시할 수 있다. 도시된 바와 같이, 표면(202)은 또한, 위에 존재하는 다수의 오브젝트들, 이를테면, 오브젝트들(206)을 포함한다. 표면의 결정으로부터 이러한 오브젝트들을 배제하는 것이 바람직하다.

[0059] 평면의 배향 및 포지션의 추정치가 주어지면, 일부 실시예들에 따른 알고리즘들은 물리 평면에 대한 다양한 이미지 특성들 또는 시그니처들, 이를테면, 카메라 이미지들에서의 색 및 명암도(intensity) 통계들을 검토함으로써 물리 평면의 디지털 표현의 경계들을 확장하는데 사용될 수 있다. 하나의 구현에서, 평면의 경계들은 카메라 이미지에서의 픽셀들의 명암도 또는 색에 기초하는 플러드-필링(flood-filling) 알고리즘을 사용함으로써 결정될 수 있다. 그러나, 이것은 또한, 하나의 일정한 색을 갖고 있지 않거나(예를 들어, 도 2의 주방의 화강암 조리대(200)), 표면 상에서의 반사들과 같은 효과들이 존재하는(예를 들어, 유리) 표면에 대해서는 작용하지 않을 수 있다.

[0060] 도 3은 본 개시의 특정 양상들에 따른, 물리 평면을 포함하는 물리 씬에 대한 예시적 정제된 이미지를 예시한다. 정제된 이미지(300)는 물리 평면(314) 중 적어도 일부 물리 평면의 전면-평행 뷰(fronto-parallel view)를 포함할 수 있다. 도 3을 참조하면, 일부 실시예들에서, 씬(예를 들어, 이미지(200))에 대한 이미지 데이터는 새의 눈의 오버헤드 뷰(300)에서 재배향될 수 있다. 이러한 뷰는 정규 뷰(canonical view) 또는 전면-평행 뷰(300)로 본원에서 지칭될 수 있다. 일부 구현들에서, 정제된 이미지는 3차원 정보를 갖는 2차원 이미지를 포함할 수 있고, 여기서, 3차원 정보는 2차원 이미지의 특정 피처들과 연관된다. 다른 구현들에서, 정제된 이미지는 3차원 이미지일 수 있다.

[0061] 위에서 설명된 바와 같이, 하나의 구현에서, 정제된 이미지는 물리 씬에 대한 복수의 2차원 이미지들을 분석함으로써 생성될 수 있다. 예를 들어, 상이한 관점들로부터 식별된 오브젝트를 포함하는 물리 씬의 다수의 이미지들은, 일부 경우들에서, 정제된 이미지에서 오브젝트의 경계들을 더 양호하게 정의하고 오브젝트들의 특정 피처들의 깊이를 결정하는데 사용될 수 있고, 여기서, 정제된 이미지는 전면-평행 뷰에서 재배향된다. 일부 실시예들에서, 다수의 참조 포인트들을 포함하는 포인트 클라우드가 생성될 수 있고, 각각의 참조 포인트는 깊이 값을 갖는다. 본원에 상세되는 바와 같이, SLAM 프로세스를 사용하여 획득되는 포인트 클라우드는 정제된 이미지를 생성하는데 사용될 수 있다.

[0062] 일부 실시예들에서, 전면-평행 뷰(300)는, 예를 들어, 뷰(300)에 도시된 바와 같이, 그리드에서 배열되는 복수의 셀들(예를 들어, 302, 302', 308, 310)로 세분화될 수 있다. 특정 실시예들에서, 정제된 이미지의 전체 또는 부분들은 복수의 셀들로 세분화된다. 각각의 셀은 그리드 셀로 본원에서 지칭될 수 있다. 초기 부분(304)은 오버헤드 뷰로부터 도시된 공지된 타겟 또는 오브젝트(204), 예를 들어, 평면을 초기에 식별하는데 사용되는 타겟 또는 마커에 대응할 수 있다. 그러나, 일부 구현들에서, 물리 평면의 초기 부분은 포인트 클라우드 모델로의 물리 평면의 피팅에 기초할 수 있다.

[0063] 일부 실시예들에서, 각각의 그리드 셀에 대해, 그리드 셀에 대한 다양한 이미지 특성들을 포함하는 시그니처가 생성될 수 있다. 일부 실시예들에서, 색들의 타입들 및 색들 각각의 인스턴스들의 수(예를 들어, 픽셀 바이 픽셀) 또는 3차원 정보, 이를테면, 배향의 통계적 히스토그램은 그리드 셀의 시그니처를 표현할 수 있다. 다른 실시예들에서, 명료함을 위해 본원에서 이미지 시그니처로 지칭될 수 있는 시그니처는 다른 타입들의 히스토그램들, 이를테면, 이미지가 그레이 스케일로 변환되었다면 셰이드들의 수를 표현하는 그레이 스케일 히스토그램, 또는 색들 및/또는 명암도들이 변하는 포인트들에서 배향들(예를 들어, 그래디언트들)의 세트를 캡처할 수 있는 배향 히스토그램을 포함할 수 있다. 예를 들어, 색 히스토그램은 UV 색 공간(예를 들어, 3x3으로 분할됨)에서의 히스토그램일 수 있다. 또 다른 예로서, 배향 히스토그램은, 예를 들어, 8개의 동등하게 이격되는 배향 빈들일 수 있다. 일부 실시예들에서, 히스토그램과 상이한 이미지 디스크립터(descriptor)는 셀 그리드의 중간 색(median color), 셀 그리드의 색들의 일부 가중된 평균 등과 같은 이미지 시그니처를 표현할 수 있다.

[0064] 2차원 이미지 상에서 유사한 단계들을 수행하는 것 대신에, 정제된 뷰를 그리드 셀들로 세분화하는 것 및 이러한 정제된 뷰로부터의 그리드 셀들의 시그니처들을 분석하는 것은, 정제된 이미지에서 이용가능한 물리 평면 및 오브젝트들의 3차원 양상들을 고려하고, 물리 평면의 더 정제된 디지털 표현을 제공하도록 허용할 수 있다. 예를 들어, 다수의 2차원 이미지들(또는 깊이 센서)로부터의 정보를 전면-평행 뷰에서 재배향되는 정제된 이미지로 결합함으로써, 물리 평행 상에 배치되는 물리 오브젝트들의 경계들은 훨씬 더 정제될 수 있다. 예를 들어, 2차원 이미지에서, 그것의 높이로 인해 물리 평면 상에 배치되는 오브젝트는 그것의 셰도우가 드리워지는 물리 평면의 큰 부분을 가릴 수 있지만, 그것은 물리 평면의 작은 부분 상에 물리적으로 놓일 수 있다. 그러나, 정제된 뷰는 전면-평행(fronto-parallel) 또는 하향식(top-down) 뷰이기 때문에, 정제된 뷰에서, 물리 평면 상에 놓여 있는 오브젝트에 의해 물리 평면에서 생성되는 실제 홀(hole)은 훨씬 더 양호한 정확도를 갖고 추정될 수 있다. 따라서, 정제된 이미지로부터 생성되는 물리 평면의 디지털 표현은 증강 현실을 목적으로 물리 평면의 더 정확한 표현을 제공할 수 있다.

[0065] 일부 실시예들에서, 물리 평면을 표현하는 영역을 결정하기 위한 알고리즘은 초기 부분으로부터 시작하고, 초기 부분은, 일부 경우들에서, 평면의 위에 존재하도록 미리-지정된다. 따라서, 초기 부분(304), 예를 들어, 그리드 셀(302)을 둘러싸는 적어도 다수의 그리드 셀들이 평면의 일부로서 포함될 수 있다고 가정하는 것이 안전할 것이다. 이러한 방식으로, 평탄한 표면(planar surface)의 통계적 모델이 구축된다. 평면을 확장하기 위해, 물리 평면의 디지털 표현의 그러한 이전 부분과 이웃하는 그리드 셀들에 대한 통계적 히스토그램은 그들이 물리 평면의 디지털 표현을 형성하는 셀들의 통계들과 유사한지 여부를 알기 위해 테스트된다. 그 테스트들에서의 비교들은 평면의 디지털 표현의 일부로서 이미 포함된 셀들 중 적어도 하나와 이웃 그리드 셀 사이의 이미지 시그니처들의 비교에 기초할 수 있다. 그리드 셀들이 충분히 유사하면, 일부 미리 결정된 통계적 기준들에 기초하여, 그리드 셀들은 물리 평면의 디지털 표현에 추가된다. 그렇지 않으면, 그리드 셀들은 거부된다.

[0066] 여전히, 도 3을 참조하면, 그리드 셀(302)에서의 라인들은 그리드 셀(302)의 이미지 시그니처를 표현하는 예시적 히스토그램을 표현한다. 그리드 셀들(302')은 그리드 셀(302)과 유사한 이미지 시그니처를 갖는 것으로 나타난다는 것이 도시될 수 있다. 따라서, 그리드 셀(302')은 평면의 일부로서 포함될 것이다. 그에 반해, 그리드 셀(308)은 그리드 셀(302)과 상당히 유사한 이미지 시그니처를 갖는 것으로 나타나지 않는다. 이것은 대각선으로 셰이드된 영역(306)이 물리 평면의 일부가 아닌 이미지(300)의 부분을 표현하기 때문이다. 예를 들어, 영역(306)은 표면보다는 바닥일 수 있다. 유사하게, 그리드 셀(310)은 또한, 유사한 충분한 이미지 시그니처를 갖는 것으로 나타나지 않는다. 이것은, 표면의 위에 존재하는 오브젝트(312)가 존재하고, 따라서, 오브젝트(312)를 교차하는 4개의 그리드 셀들이 그리드 셀이 전반적으로 상이한 이미지 시그니처를 갖게 만드는 많은 다른 색들, 셰이드들, 배향 등을 갖기 때문이다.

[0067] 추가 정제 기법들은 물리 평면에 속하지만 물리 평면의 디지털 표현에 포함되지 않는 그리드 셀들의 부분들을 포함하기 위해 물리 평면의 디지털 표현의 경계들을 정제하는데 사용될 수 있다. 예를 들어, 일부 실시예들에서, 그리드 셀들의 2차 세트는 에지 그리드 셀들, 예를 들어, 셀들(308 또는 310)로부터 시작하여 생성될 수 있다. 그리드 셀들의 2차 세트는 그리드 셀들(308 또는 310)의 원래의 포지션들로부터 오프셋된 일부 수의 픽셀들일 수 있다. 2차 그리드 셀들의 전체 세트는 상이한 오프셋들로부터 각각 유추되는 2차 그리드 셀을 포함할 수 있는데, 예를 들어, 하나의 2차 그리드 셀은 (0, +1) 픽셀들에 의해 오프셋되고, 또 다른 2차 그리드 셀은 (0, +2) 픽셀들에 의해 오프셋되며, 다른 2차 그리드 셀들은 (+1, 0), (+1, +1), (+1, +2) 등의 픽셀들에 의해 오프셋된다. 이들 각각은 이들의 이미지 시그니처들이 평면의 공지된 그리드 셀들의 이미지 시그니처와 충분히 유사한지 여부를 알기 위해 테스트될 수 있다. 만약 그렇다면, 이들은 포함된다. 만약 그렇지 않다면, 이들은 거부된다. 이러한 방식으로, 이미지(308 또는 310)의 그리드 셀들의 적절한 부분들은 평면의 일부로서 성공적으로 포함될 수 있다. 일부 경우들에서, 본원에 설명되는 기법들은 물리 평면의 색의 점진적 변화를 허용할 수 있으며, 물리 평면의 디지털 표현 및 검출을 여전히 허용할 수 있다. 예를 들어, 각각의 이웃 그리드 셀에 대한 이미지 시그니처는, 그리드 셀과 그것의 이웃 그리드 사이의 변화가 여전히 임계치 내에 있지만 그리드 셀과 이웃 그리드 셀이 아닌 그리드 셀 사이의 변화는 임계치 내에 있지 않을 수 있도록, 다수의 그리드 셀들 상에서 점진적으로 변화할 수 있다. 이러한 기법은 색, 텍스처 또는 다른 특성들을 점진적으로 변화시키는, 표면에 대한 물리 평면의 디지털 표현을 생성하기 위한 유연성을 제공한다.

[0068] 도 4를 참조하면, 예시(400)는 평탄한 표면의 에지 그리드 셀들에 대한 2차 그리드 셀들의 예시적 오프셋들의 더 상세한 뷰를 도시한다. 위에서 언급된 바와 같이, 예시적 그리드 셀(308)은 초기에 평면의 일부로서 포함되지 않을 것이지만, 일부 부분 － 단지 전부가 아님 － 은 여전히 평면의 일부로서 포함되어서는 안 된다. 그리드 셀(308)로부터 시작하여 생성되는 2차 그리드 셀들은 그리드 셀(308)의 초기 포지션으로부터의 일부 수의 픽셀들에 의해 오프셋될 수 있다. 픽셀 포지션(402')은 2차 그리드 셀의 좌측 상단 코너에 대한 픽셀 포지션을 시작하는 예를 표현한다. 즉, 픽셀 포지션(402')은 2차 그리드 셀(404)의 좌측 상단 코너를 표현할 수 있으며, 여기서, 픽셀 포지션(402')은 하나 또는 둘 이상의 픽셀 포지션들을 우측으로 그리고/또는 하나 또는 둘 이상의 픽셀 포지션들을 그리드 셀(308)의 픽셀(402)로부터 하단으로 시프트(shift)하도록 시각화될 수 있다. 픽셀 포지션(402)의 시프트의 각각의 상이한 오프셋에서, 2차 그리드 셀은 픽셀 포지션(402')에 포지셔닝되는 좌측 상단 픽셀을 통해 생성될 수 있다.

[0069] 일부 실시예들에서, 2차 그리드 셀의 크기는 원래의 셀과 동일하고, 따라서, 오프셋된 픽셀 포지션(402)이, 예를 들어, 원래의 그리드 셀(308)의 하단으로 그리고/또는 우측으로 시프트됨에 따라, 2차 그리드 셀(404)의 부분은 원래의 그리드 셀(308)의 경계들 밖에 있다. 상기 2차 그리드 셀(404)의 이미지 시그니처가 물리 평면의 디지털 표현에 이미 포함된 하나 또는 둘 이상의 그리드 셀들의 이미지 시그니처들과 충분히 유사한 것으로 발견되면, 시프트된 픽셀 포지션(402')에 따라 오프셋되는 각각의 2차 그리드 셀은 평면의 일부로서 포함될 수 있다. 예를 들어, 오프셋된 픽셀 포지션(402')은 2차 그리드 셀(404)의 좌측 상단 코너를 표현할 수 있다. 도시된 바와 같이, 2차 그리드 셀(404)의 부분이 그리드 셀(308)의 밖에 있으며, 이는 또한, 2차 그리드 셀(404)의 부분이 그리드 셀(308)과 인접한 원래의 그리드 셀들(도시되지 않음)의 일부를 포함한다는 것을 의미한다. 이미지 시그니처는 본원에 설명되는 방법들 중 임의의 방법과 일치되게, 2차 그리드 셀(404)에 대해 생성될 수 있고, 그 다음, 상기 이미지 시그니처는 물리 평면의 디지털 표현의 일부로서 이미 포함된 이미지 시그니처들에 대해 비교될 수 있다. 그리드 셀(404)의 이미지 시그니처가 충분히 유사하면, 그리드 셀(404)은 평면의 일부로서 포함될 수 있다. 따라서, 평탄한 표면의 일부로서 초기에 포함되지 않았던 영역(406), 즉, 그리드 셀(308)과 2차 그리드 셀(404) 사이의 공통 부분은 이제, 평탄한 표면의 디지털 표현의 일부로서 포함될 것이다.

[0070] 일부 실시예들에서, 원래 거부된 그리드 셀, 예를 들어, 그리드 셀(308)에 걸치는 모든 각각의 오프셋이 검사될 필요는 없다. 예를 들어, 물리 평면이 이전 그리드 셀 포함들에 기초하여 그리드 셀(308) 우측 및 하단으로 확장되는 것이 공지되는 경우, 상단 좌측으로부터 시작하여, 일단 포함되는 픽셀들과 배제되는 픽셀들 사이의 픽셀들의 분리 선(dividing line)이 발견되면, 추가로 하단으로 그리고 우측으로의 오프셋들을 갖는 나머지 2차 그리드 셀들이 또한 포함될 것이고 따라서 테스트할 필요가 없어야 한다고 가정될 수 있다.

[0071] 일부 실시예들에서, 상이한 뷰포인트들로부터 취해지는 다수의 이미지들은 전면-평행 그리드 구조를 포함하는 단일의 정제된 이미지에 통계적 정보를 추가하기 위해 사용될 수 있다. 예를 들어, 공지된 타겟 또는 SLAM을 사용하여 추적하는 카메라 뷰는 이러한 추가 이미지들을 전면-평행 뷰로 워핑(warp)하기 위해 사용될 수 있다. 전면-평행 그리드 셀들로 투영하는 픽셀들은 위의 단일 이미지에 대해 설명되는 것들과 유사한 통계적 히스토그램들을 컴퓨팅하기 위해 사용된다. 개별 히스토그램 엔트리들은 특정 뷰들에서 물리 평면을 가릴 수 있는 오브젝트들로서, 각각의 프레임에 대해 유지될 수 있다. 특정 수의 프레임들 － 또는 일부 실시예들에서 하나의 프레임 조차도 － 이 그리드 셀이 물리 평면을 표현하는 통계적 모델에 동의함을 도시하는 경우, (물리 평면의 디지털 표현의 셀의 이전 부분과 인접하면) 그리드 셀은 평면에 추가된다.

[0072] 도 5를 참조하면, 예시(500)는 물리 평면의 디지털 표현의 부분들로서 선(502) 내의 부분을 포함하는, 굵은 선(502)에 의해 도시된 바와 같은, 물리 씬(200)에 대한 물리 평면 결정의 디지털 표현의 예시적 결과를 도시한다.

[0073] 도 6은 본 개시의 특정 양상들에 따른, 물리 평면의 디지털 표현을 생성하기 위한 특정 모듈들 및 컴포넌트들을 예시하는 예시적 블록도이다. 도 6에 설명된 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 다른 결합을 사용하여 구현될 수 있다. 하나의 실시예에서, 도 6에 설명된 모듈들은 자기, 전자, 광학 또는 다른 컴퓨터 판독가능한 저장 매체일 수 있는 컴퓨터 판독가능한 매체(600) 상의 소프트웨어 모듈들로서 저장될 수 있다. 하나의 구현에서, 컴퓨터 판독가능한 저장 매체(600)는 평면 선택 모듈(602), 정제된 이미지 생성기 모듈(604), 그리드 셀 세분화기 모듈(606), 이웃 그리드 셀 선택기 모듈(608), 그리드 셀 비교기 모듈(610), 디지털 평면 업데이터 모듈(612) 및 물리 평면 표현 모듈(614)을 포함할 수 있다.

[0074] 평면 선택 모듈(602)은 물리 씬에서 물리 평면의 초기 부분 및 배향을 결정한다. 다양한 기법들은 본 발명의 범위로부터 벗어나지 않으면서 평면의 초기 부분을 결정하기 위해 사용될 수 있다. 예를 들어, 물리 평면 상에 배치되는 공지된 타겟 또는 이미지는 물리 평면의 초기 부분 및 배향을 결정하는데 사용될 수 있다. 다른 기법들, 이를테면, 피처 및/또는 오브젝트 검출은 또한, 물리 평면의 초기 부분 및 배향을 결정하는데 사용될 수 있다.

[0075] 정제된 이미지 생성기 모듈(604)은 물리 평면 중 적어도 일부의 물리 평면의 전면-평행 뷰를 포함하는 정제된 이미지를 생성한다. 하나의 구현에서, 정제된 이미지는, 앞서 설명된 바와 같이, 물리 씬의 하나 또는 둘 이상의 이미지들 및/또는 포즈(pose) 및 배향 정보를 사용하여 생성될 수 있다. 하나의 구현에서, 정제된 이미지는 2차원 및 3차원 정보를 포함하는 이미지의 표현일 수 있다.

[0076] 그리드 셀 세분화기 모듈(606)은 정제된 이미지 또는 정제된 이미지의 부분들을 복수의 그리드 셀들로 세분화할 수 있다. 복수의 그리드 셀들 각각에 대해, 이미지 시그니처는 상기 그리드 셀과 연관된 적어도 하나의 이미지 특성에 기초하여 생성될 수 있다. 이미지 시그니처는 그리드 셀이 물리 평면의 디지털 표현의 일부로서 포함되어야 하는지 여부를 결정하는데 사용될 수 있다.

[0077] 이웃 그리드 셀 선택기 모듈(608)은 물리 평면의 디지털 표현의 일부로서 포함될 잠재적 후보들로서 물리 평면의 디지털 표현의 일부로서 이미 포함된 평면의 부분들 또는 물리 평면의 획득된 초기 부분 중 적어도 일부와 인접한 그리드 셀들을 선택할 수 있다.

[0078] 그리드 셀 비교기 모듈(610)은 이웃 그리드 셀들이 물리 평면의 디지털 표현의 일부로서 포함되어야 하는지 여부를 결정하기 위해, 이웃 그리드 셀들의 시그니처들을 물리 평면의 디지털 표현의 일부로서 포함되는 그리드 셀들과 비교한다.

[0079] 이웃 그리드 셀의 시그니처가 물리 평면의 디지털 표현에 이미 포함된 하나 또는 둘 이상의 그리드 셀들의 시그니처와 유사하면, 디지털 평면 업데이터 모듈(612)은 물리 평면 표현 모듈(614)을 업데이트한다. 일부 실시예들에서, 유사성은 적어도 하나의 미리 결정된 임계 기준에 기초한다.

[0080] 이웃 그리드 셀 선택기 모듈(608)은, 더 이상의 어떠한 이웃 그리드 셀들도 이미지 시그니처들의 차이로 인해 물리 평면의 디지털 표현의 일부로서 포함될 수 없을 때까지, 물리 평면의 디지털 표현의 일부로서 이미 포함된 그리드 셀과 인접한 각각의 이웃 그리드 셀에 대해 반복 또는 되풀이할 수 있다.

[0081] 도 7은 일부 실시예들에 따른, 물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 예시적 방법 흐름을 예시하는 흐름도이다. 하나 또는 둘 이상의 양상들에 따라, 본원에 설명되는 방법들 및/또는 방법 프로세스들 중 임의의 것 및/또는 그 전부는, 예를 들어, 모바일 디바이스(102), 이를테면, 모바일 디바이스(102) 및/또는 도 9에 더 상세하게 설명되는 디바이스로 그리고/또는 이들에 의해 구현될 수 있다. 하나의 실시예에서, 도 7에 대해 아래에서 설명되는 방법 프로세스들 중 하나 또는 둘 이상은 모바일 디바이스(900)의 프로세서, 이를테면, 프로세서(910) 또는 또 다른 프로세서로 구현된다. 추가적으로 또는 대안적으로, 본원에 설명되는 방법들 및/또는 방법 단계들 중 임의의 것 및/또는 그 전부는 컴퓨터 판독가능한 명령들, 이를테면, 메모리(935), 저장소(925) 또는 또 다른 컴퓨터 판독가능한 매체와 같은 컴퓨터 판독가능한 매체 상에 저장되는 컴퓨터 판독가능한 명령들로 구현될 수 있다.

[0082] 블록(702)에서, 컴퓨팅 디바이스의 컴포넌트들은 3차원 공간에서 물리 씬에서 평면의 초기 부분을 결정할 수 있다. 하나의 구현에서, 물리 평면의 초기 부분은 물리 평면 상에 포지셔닝되는 공지된 오브젝트에 기초하여 결정될 수 있다. 또 다른 구현에서, 물리 평면의 초기 부분은 본 발명의 범위로부터 벗어나지 않고 포인트 클라우드 모델 또는 임의의 다른 적합한 기법으로의 물리 평면의 피팅에 기초한다. 일부 발명에서, 이미지를 촬영하는 카메라에 대해 평면의 초기 배향이 또한 결정될 수 있다.

[0083] 블록(704)에서, 컴퓨팅 디바이스의 컴포넌트들은 정제된 이미지를 생성할 수 있고, 정제된 이미지는 물리 평면 중 적어도 일부의 물리 평면의 전면-평행 뷰를 포함한다. 하나의 구현에서, 정제된 이미지는, 앞서 설명된 바와 같이, 물리 씬의 하나 또는 둘 이상의 이미지들 및/또는 포즈 및 배향 정보를 사용하여 생성될 수 있다. 하나의 구현에서, 정제된 이미지는 2차원 및 3차원 정보를 포함하는 이미지의 표현일 수 있다.

[0084] 블록(706)에서, 컴퓨팅 디바이스의 컴포넌트들은 물리 평면의 전면-평행 뷰를 포함하는 정제된 이미지를 복수의 그리드 셀들로 세분화할 수 있다. 각각의 그리드 셀은 복수의 2차원 및/또는 3차원 정보를 포함할 수 있다.

[0085] 블록(708)에서, 컴퓨팅 디바이스의 컴포넌트들은 복수의 그리드 셀들 각각에 대해, 그리드 셀에 대한 적어도 하나의 이미지 특성에 기초하여 이미지 시그니처를 생성할 수 있다. 하나의 구현에서, 이미지 시그니처는 그리드 셀에 대한 이미지 정보를 표시하는 적어도 하나의 히스토그램, 이를테면, 그리드 셀에 존재하는 색들의 타입 및 양, 그리드 셀의 그래디언트 배향, 또는 그리드 셀에 존재하는 색들을 표현하는 그레이 스케일 셰이드들의 타입 및 양의 통계적 표현을 포함할 수 있다.

[0086] 블록(710)에서, 컴퓨팅 디바이스의 컴포넌트들은 물리 평면의 디지털 표현의 일부로서 포함하기 위해, 물리 평면의 획득된 초기 부분 중 적어도 일부와 인접한 하나 또는 둘 이상의 초기 그리드 셀들을 선택할 수 있다. 특정 구현들에서, 정제된 이미지로부터 획득된 초기 부분 중 적어도 일부와 인접한 그리드 셀들이 물리 평면에 속한다고 가정될 수 있다.

[0087] 블록(712)에서, 컴퓨팅 디바이스의 컴포넌트들은 각각의 이웃 그리드 셀에 대한 이미지 시그니처를 평면의 디지털 표현에 현재 포함되는 하나 또는 둘 이상의 그리드 셀들의 이미지 시그니처와 비교할 수 있다.

[0088] 블록(714)에서, 컴퓨팅 디바이스의 컴포넌트들은 평면의 디지털 표현에 미리 결정된 임계치를 충족하는 각각의 그리드 셀을 추가할 수 있다. 하나의 구현에서, 상기 그리드 셀과 연관된 적어도 하나의 이미지 특성은 3차원 정보를 포함한다. 일부 구현들에서, 임계 값은 AR 시스템, 애플리케이션 또는 사용자에 의해 구성될 수 있다. 다른 구현들에서, 컴퓨팅 디바이스의 컴포넌트들은 이미지 특성들, 이를테면, 이미지의 해상도, 이미지에서의 왜곡 등에 기초하여 임계치를 결정할 수 있다.

[0089] 블록(716)에서, 컴퓨팅 디바이스의 컴포넌트들은, 추가 이웃 셀들이 여전히 물리 평면의 디지털 표현에 잠재적으로 추가하는데 이용가능한지 여부를 결정한다. 예를 들어, 경계가 도달되었으면, 추가 셀들은 이용가능하지 않을 수 있다. 특정 실시예들에서, 각각의 나머지 이웃 그리드 셀에 대해, 컴퓨팅 디바이스의 컴포넌트들은, 이미지 시그니처를 평면의 디지털 표현에 현재 포함되는 하나 또는 둘 이상의 그리드 셀들과 비교함으로써 블록들(712)을 반복하며, 평면의 디지털 표현에 미리 결정된 임계치를 충족하는 각각의 그리드 셀을 추가함으로써 블록(714)을 반복한다. 어떠한 추가 그리드 셀들도 추가 평가를 위해 남아 있지 않으면, 블록(718)에서, 컴퓨팅 디바이스의 컴포넌트들은 물리 평면의 디지털 표현을 생성한다.

[0090] 도 7에 예시된 특정 단계들은 본 발명의 실시예에 따라 동작 모드들 사이에서 스위칭하는 특정 방법을 제공한다는 것이 인식되어야 한다. 따라서, 다른 단계 시퀀스들은 또한, 대안적 실시예들에서 수행될 수 있다. 예를 들어, 본 발명의 대안적 실시예들은 상이한 순서로 위에서 약술된 단계들을 수행할 수 있다. 게다가, 단계들에 대한 추가 단계들 또는 변형들은 특정 애플리케이션들에 따라 부가 또는 제거될 수 있다. 당업자는 프로세스에 대한 많은 변형들, 수정들 및 대안들을 인지 및 인식할 것이다.

[0091] 도 8은 본 개시의 일부 양상들에 따른, 물리 씬으로부터의 물리 평면의 디지털 표현의 일부로서 그리드 셀의 부분들을 포함하기 위한 예시적 방법 흐름을 예시하는 흐름도이다. 하나 또는 둘 이상의 양상들에 따라, 본원에 설명되는 방법들 및/또는 방법 프로세스들 중 임의의 것 및/또는 그 전부는, 예를 들어, 모바일 디바이스(102), 이를테면, 모바일 디바이스(102) 및/또는 도 9에 더 상세하게 설명되는 디바이스로 그리고/또는 이들에 의해 구현될 수 있다. 하나의 실시예에서, 도 8에 대해 아래에서 설명되는 방법 프로세스들 중 하나 또는 둘 이상은 모바일 디바이스(900)의 프로세서, 이를테면, 프로세서(910) 또는 또 다른 프로세서로 구현된다. 추가적으로 또는 대안적으로, 본원에 설명되는 방법들 및/또는 방법 단계들 중 임의의 것 및/또는 그 전부는 컴퓨터 판독가능한 명령들, 이를테면, 메모리(935), 저장소(925) 또는 또 다른 컴퓨터 판독가능한 매체와 같은 컴퓨터 판독가능한 매체 상에 저장되는 컴퓨터 판독가능한 명령들로 구현될 수 있다.

[0092] 도 7의 블록(712-716)에서, 컴퓨팅 디바이스의 컴포넌트들은 그리드 셀이 물리 평면의 일부가 아님을 결정하고, 추가 이웃 그리드 셀들을 통한 반복을 중단할 수 있다. 그러나, 그 시점에서, 일부 구현들에서, 경계에 대한 정제 프로세스는 아래의 도 8에 설명되는 바와 같이 개시할 수 있다. 프로세스는 단일 그리드 셀에 대해 설명되지만, 그들의 이웃 그리드 셀들과 유사하지 않는 것으로 결정되는 경계 상의 그리드 셀들의 대부분 또는 그 전부에 적용할 수 있다.

[0093] 블록(802)에서, 컴퓨팅 디바이스의 컴포넌트들은 그리드 셀이 물리 평면의 일부가 아님을 결정할 수 있다. 일부 양상들에서, 프로세서는 그리드 셀이 물리 평면의 일부가 아님을 결정할 시, 그리드 셀의 시그니처를 물리 평면의 디지털 표현의 일부로서 포함되는 하나 또는 둘 이상의 그리드 셀들의 시그니처와 비교할 수 있다.

[0094] 블록(804)에서, 컴퓨팅 디바이스의 컴포넌트들은 2차 그리드 셀을 생성할 수 있고, 여기서, 2차 셀의 포지션은 그리드 셀의 포지션으로부터의 오프셋에 기초한다. 2차 그리드 셀은 물리 평면의 더 큰 부분이 그리드 셀이 아닌 2차 그리드 셀에 포함되도록 생성될 수 있다.

[0095] 블록(806)에서, 컴퓨팅 디바이스의 컴포넌트들은 2차 그리드 셀과 연관된 적어도 하나의 이미지 특성에 기초하여 이미지 시그니처를 생성할 수 있다. 하나의 구현에서, 이미지 시그니처는 그리드 셀에 대한 이미지 정보를 표시하는 적어도 하나의 히스토그램, 이를테면, 그리드 셀에 존재하는 색들의 타입 및 양, 그리드 셀의 그래디언트 배향, 또는 그리드 셀에 존재하는 색들을 표현하는 그레이 스케일 셰이드들의 타입 및 양의 통계적 표현을 포함할 수 있다. 하나의 양상에서, 적어도 하나의 미리 결정된 임계 기준은 평면의 일부로서 이미 포함된 그리드 셀의 적어도 하나의 히스토그램의 이웃 그리드 셀의 히스토그램과의 비교에 기초한다. 하나의 구현에서, 상기 그리드 셀과 연관된 적어도 하나의 이미지 특성은 3차원 정보를 포함한다.

[0096] 블록(808)에서, 컴퓨팅 디바이스의 컴포넌트들은 2차 그리드 셀이 물리 평면의 디지털 표현으로부터의 그리드 셀의 이미지 시그니처와 유사한 이미지 시그니처를 갖는지 여부를 결정할 수 있다.

[0097] 블록(810)에서, 컴퓨팅 디바이스의 컴포넌트들은 2차 그리드 셀이 물리 평면의 디지털 표현으로부터의 하나 또는 둘 이상의 그리드 셀들의 이미지 시그니처와 유사한 이미지 시그니처를 갖는지 여부를 결정할 수 있다.

[0098] 2차 그리드 셀이 물리 평면의 디지털 표현으로부터의 하나 또는 둘 이상의 그리드 셀들의 이미지 시그니처와 유사한 이미지 시그니처를 가지면, 블록(812)에서, 컴퓨팅 디바이스의 컴포넌트들은 물리 평면의 디지털 표현에 2차 그리드 셀들을 포함시킬 수 있다.

[0099] 2차 그리드 셀이 물리 평면의 디지털 표현으로부터의 하나 또는 둘 이상의 그리드 셀들의 이미지 시그니처와 유사한 이미지 시그니처를 갖지 않으면, 컴퓨팅 디바이스의 컴포넌트들은 블록(804)에서 새로운 오프셋을 통해 또 다른 2차 셀을 생성함으로써 재반복할 수 있다.

[00100] 일부 실시예들에서, 2차 그리드 셀의 크기가 원래의 셀과 동일하고, 따라서, 오프셋된 픽셀 포지션(402)이, 예를 들어, 원래의 그리드 셀(308)의 하단으로 그리고/또는 우측으로 시프트됨에 따라, 2차 그리드 셀의 부분은 원래의 그리드 셀(308)의 경계들 밖에 있다. 상기 2차 그리드 셀의 이미지 시그니처가 물리 평면의 디지털 표현에 포함되는 그리드 셀들의 이미지 시그니처들과 충분히 유사한 것으로 발견되면, 시프트된 픽셀 포지션(402')에 따라 오프셋되는 각각의 2차 그리드 셀은 평면의 일부로서 포함될 수 있다. 예를 들어, 오프셋된 픽셀 포지션(402')은 2차 그리드 셀(404)의 좌측 상단 코너를 표현할 수 있다. 도시된 바와 같이, 2차 그리드 셀(404)의 부분은 그리드 셀(308)의 밖에 있으며, 이는 또한, 2차 그리드 셀(404)의 부분이 그리드 셀(308)과 인접한 원래의 그리드 셀들(도시되지 않음)의 일부를 포함한다는 것을 의미한다. 이미지 시그니처는 본원에 설명되는 방법들 중 임의의 방법과 일치되게, 2차 그리드 셀(404)에 대해 생성될 수 있고, 그 다음, 상기 이미지 시그니처는 물리 평면의 디지털 표현의 일부로서 이미 포함된 이미지 시그니처들에 대해 비교될 수 있다. 그리드 셀(404)의 이미지 시그니처가 충분히 유사하면, 그리드 셀(404)은 평면의 일부로서 포함될 수 있다. 따라서, 평탄한 표면의 일부로서 초기에 포함되지 않았던 영역(406), 즉, 그리드 셀(308)과 2차 그리드 셀(404) 사이의 공통 부분은 이제, 평탄한 표면의 일부로서 포함될 것이다.

[00101] 일부 구현들에서, 원래 거부된 그리드 셀에 걸치는 모든 각각의 오프셋이 검사되지 않을 수 있다. 예를 들어, 경계에 대한 충분히 드물게(sparsely) 포함되는 코너 픽셀들에 있어서, 그 사이에 오프셋들을 갖는 나머지 2차 그리드 셀들이 또한 포함될 것이고 따라서 테스트할 필요가 없어야 한다고 가정될 수 있다.

[00102] 도 8에 예시된 특정 단계들은 본 발명의 실시예에 따라 동작 모드들 사이에서 스위칭하는 특정 방법을 제공한다는 것이 인식되어야 한다. 따라서, 다른 단계 시퀀스들은 또한, 대안적 실시예들에서 수행될 수 있다. 예를 들어, 본 발명의 대안적 실시예들은 상이한 순서로 위에서 약술된 단계들을 수행할 수 있다. 게다가, 단계들에 대한 추가 단계들 또는 변형들은 특정 애플리케이션들에 따라 부가 또는 제거될 수 있다. 당업자는 프로세스에 대한 많은 변형들, 수정들 및 대안들을 인지 및 인식할 것이다.

[00103] 많은 실시예들은 특정 요건들에 따라 이루어질 수 있다. 예를 들어, 커스터마이징된(customized) 하드웨어가 또한 사용될 수 있고 그리고/또는 특정 엘리먼트들이 하드웨어, (휴대용 소프트웨어, 이를테면, 애플릿들(applets) 등을 포함하는) 소프트웨어 또는 이 둘 모두로 구현될 수 있다. 추가로, 네트워크 입력/출력 디바이스들과 같은 다른 컴퓨팅 디바이스들로의 연결들이 이용될 수 있다.

[00104] AR 환경들에서 평탄한 표면(planar surface)의 조밀한 표현을 정의하는 다수의 양상들이 설명되었고, 본 개시의 다양한 양상들이 구현될 수 있는 컴퓨팅 시스템의 예가 도 9에 대해 이제 설명될 것이다. 하나 또는 둘 이상의 양상들에 따라, 도 9에 예시된 바와 같은 컴퓨터 시스템은 본원에 설명된 특징들, 방법들 및/또는 방법 단계들 중 임의의 것 및/또는 그 전부를 구현, 수행 및/또는 실행할 수 있는 컴퓨팅 디바이스의 일부로서 포함될 수 있다. 예를 들어, 컴퓨터 시스템(900)은 핸드-헬드 디바이스의 컴포넌트들의 일부를 표현할 수 있다. 핸드-헬드 디바이스는 무선 수신기 또는 모뎀과 같은 입력 감지 유닛을 갖는 임의의 컴퓨팅 디바이스일 수 있다. 핸드-헬드 디바이스의 예들은 비디오 게임 콘솔들, 태블릿들, 스마트 폰들, 텔레비전들, AR 고글들, 및 모바일 디바이스들 또는 이동국들을 포함한다(그러나, 이들에 제한되는 것은 아님). 일부 실시예들에서, 시스템(900)은 위에서 설명된 방법들 중 임의의 방법을 구현하도록 구성된다. 도 9는, 본원에 설명된 바와 같이 다양한 다른 실시예들에 의해 제공된 방법들을 수행할 수 있고 그리고/또는 호스트 컴퓨터 시스템, 원격 키오스크/단말, 판매-시점(point-of-sale) 디바이스, 모바일 디바이스, 셋탑 박스 및/또는 컴퓨터 시스템으로서 기능할 수 있는 컴퓨터 시스템(900)의 하나의 실시예의 개략적 예시를 제공한다. 도 9는 단지 다양한 컴포넌트들 － 이들 중 임의의 것 또는 이들 전부가 적절하게 활용될 수 있음 － 의 일반화된 예시를 제공하는 것으로 의미된다. 따라서, 도 9는 개별 시스템 엘리먼트들이 상대적으로 분리된 또는 상대적으로 더 통합된 방식으로 어떻게 구현될 수 있는지를 광범위하게 예시한다.

[00105] 컴퓨터 시스템(900)은 버스(905)를 통해 전기적으로 커플링될 수 있는(또는 그렇지 않으면 적절하게 통신할 수 있는) 하드웨어 엘리먼트들을 포함하는 것으로 도시된다. 하드웨어 엘리먼트들은, (제한없이, 하나 또는 둘 이상의 범용 프로세서들, 및/또는 하나 또는 둘 이상의 특수 목적 프로세서들(이를테면, 디지털 신호 프로세싱 칩들, 그래픽 가속 프로세서들 등)을 포함하는) 하나 또는 둘 이상의 프로세서들(910); (제한없이, 카메라, 무선 수신기들, 무선 센서들, 마우스, 키보드 등을 포함할 수 있는) 하나 또는 둘 이상의 입력 디바이스들(915); 및 (제한없이, 디스플레이 유닛, 프린터 등을 포함할 수 있는) 하나 또는 둘 이상의 출력 디바이스들(920)을 포함할 수 있다. 일부 실시예들에서, 하나 또는 둘 이상의 프로세서(910)는 도 1-8에 대해 위에서 설명된 기능들의 서브세트 또는 그 전부를 수행하도록 구성될 수 있다. 프로세서(910)는 예를 들어, 일반 프로세서 및/또는 애플리케이션 프로세서를 포함할 수 있다. 일부 실시예들에서, 프로세서는 시각 추적 디바이스 입력들 및 무선 센서 입력들을 프로세싱하는 엘리먼트로 통합된다.

[00106] 컴퓨터 시스템(900)은, (제한없이, 로컬 및/또는 네트워크 액세스가능한 저장소를 포함하고 그리고/또는 제한없이, 프로그래밍가능하고, 플래시-업데이트 가능한 식일 수 있는 디스크 드라이브, 드라이브 어레이, 광학 저장 디바이스, 고체-상태 저장 디바이스, 이를테면, "RAM"(random access memory) 및/또는 "ROM"(read-only memory)을 포함할 수 있는) 하나 또는 둘 이상의 비-일시적 저장 디바이스들(925)을 더 포함할 수 있다(그리고/또는 이들과 통신할 수 있다). 이러한 저장 디바이스들은, (제한없이, 다양한 파일 시스템들, 데이터베이스 구조들 등을 포함하는) 임의의 적절한 데이터 저장들을 구현하도록 구성될 수 있다.

[00107] 컴퓨터 시스템(900)은 또한, (제한없이, 모뎀, 네트워크 카드(무선 또는 유선), 적외선 통신 디바이스, 무선 통신 디바이스, 및/또는 칩셋(이를테면, Bluetooth® 디바이스, 902.11 디바이스, WiFi 디바이스, WiMax 디바이스, 셀룰러 통신 설비들 등) 등을 포함할 수 있는) 통신 서브시스템(930)을 포함할 수 있다. 통신 서브시스템(930)은 데이터가 네트워크(이를테면, 하나의 예를 들자면, 아래에서 설명되는 네트워크), 다른 컴퓨터 시스템들, 및/또는 본원에 설명된 임의의 다른 디바이스들과 교환되게 허용할 수 있다. 많은 실시예들에서, 컴퓨터 시스템(900)은 (위에서 설명된 바와 같이, RAM 또는 ROM 디바이스를 포함할 수 있는) 비-일시적 작업 메모리(935)를 더 포함할 것이다. 일부 실시예들에서, 통신 서브시스템(930)은 액세스 포인트들 또는 모바일 디바이스들로부터 신호들을 수신 및 송신하도록 구성되는 트랜시버(들)(950)와 인터페이싱할 수 있다. 일부 실시예들은 별개의 수신기 또는 수신기들, 및 별개의 송신기 또는 송신기들을 포함할 수 있다.

[00108] 컴퓨터 시스템(900)은 또한, 운영 시스템(940), 디바이스 드라이버들, 실행가능한 라이브러리들 및/또는 다른 코드, 이를테면, 본원에 설명된 바와 같이, 다양한 실시예들에 의해 제공되는 컴퓨터 프로그램들을 포함할 수 있고, 그리고/또는 다른 실시예들에 의해 제공되는 방법들을 구현하고 그리고/또는 시스템들을 구성하도록 설계될 수 있는 하나 또는 둘 이상의 애플리케이션 프로그램들(945)을 포함하는 작업 메모리(935) 내에 현재 로케이팅되어 있는 것으로 도시된 소프트웨어 엘리먼트들을 포함할 수 있다. 단지 예로서, 예를 들어, 도 9에 대해 설명된 바와 같은 위에서 논의된 방법(들)에 대해 설명된 하나 또는 둘 이상의 프로시저들은 컴퓨터(및/또는 컴퓨터 내의 프로세서)에 의해 실행가능한 코드 및/또는 명령들로서 구현될 수 있고, 양상에서, 그 다음, 이러한 코드 및/또는 명령들은 설명된 방법들에 따라 하나 또는 둘 이상의 동작들을 수행하도록 범용 컴퓨터(또는 다른 디바이스)를 구성시키고 그리고/또는 적응시키기 위해 사용될 수 있다.

[00109] 이 명령들 및/또는 코드의 세트는, 위에서 설명된 저장 디바이스(들)(925)와 같은 컴퓨터 판독가능한 저장 매체 상에 저장될 수 있다. 일부 경우들에서, 저장 매체는 컴퓨터 시스템, 이를테면, 컴퓨터 시스템(900) 내에 포함될 수 있다. 다른 실시예들에서, 저장 매체는 컴퓨터 시스템(예를 들어, 탈착식(removable) 매체, 이를테면, 컴팩트 디스크(disc))과 별개일 수도 있고, 그리고/또는 저장 매체가 저장 매체 상에 저장된 명령들/코드로 범용 컴퓨터를 프로그래밍하고, 구성하고 그리고/또는 적응시키는데 사용될 수 있도록 설치 패키지로 제공될 수 있다. 이 명령들은 컴퓨터 시스템(900)에 의해 실행가능한 실행가능 코드의 형태를 취할 수 있고 그리고/또는 (그 다음, 컴퓨터 시스템(900) 상에서의 컴파일(compilation) 및/또는 설치(installation) 시에, (예를 들어, 다양한 일반적으로 이용가능한 컴파일러들, 설치 프로그램들, 압축/압축해제 유틸리티들 등 중 임의의 것을 사용하여) 실행가능한 코드의 형태를 취하는) 소스 및/또는 설치가능한 코드의 형태를 취할 수 있다.

[00110] 특정 요건들에 따라 상당한 변형들이 이루어질 수 있다. 예를 들어, 커스터마이징된 하드웨어가 또한 사용될 수 있고 그리고/또는 특정 엘리먼트들이 하드웨어, 소프트웨어(애플릿들과 같은 휴대용 소프트웨어 등을 포함함) 또는 둘 모두로 구현될 수 있다. 추가로, 네트워크 입력/출력 디바이스들과 같은 다른 컴퓨팅 디바이스들로의 연결이 이용될 수 있다.

[00111] 일부 실시예들은 본 개시에 따라 방법들을 수행하기 위해 컴퓨터 시스템(이를테면, 컴퓨터 시스템(900))을 이용할 수 있다. 예를 들어, 프로세서(910)가 작업 메모리(935)에 포함되는 하나 또는 둘 이상의 명령들(애플리케이션 프로그램(945)과 같은 운영 시스템(940) 및/또는 다른 코드로 통합될 수 있음)의 하나 또는 둘 이상의 시퀀스들을 실행하는 것에 응답하여, 설명된 방법들의 프로시저들의 일부 또는 그 전부가 컴퓨터 시스템(900)에 의해 수행될 수 있다. 이러한 명령들은 또 다른 컴퓨터 판독가능한 매체, 이를테면, 저장 디바이스(들)(925) 중 하나 또는 둘 이상의 저장 디바이스(들)로부터 작업 메모리(935)로 판독될 수 있다. 단지 예로서, 작업 메모리(935)에 포함되는 명령들의 시퀀스들의 실행은, 프로세서(들)(910)로 하여금 본원에 설명된 방법들, 예를 들어, 도 9에 대해 설명된 방법들의 하나 또는 둘 이상의 프로시저들을 수행하게 할 수 있다.

[00112] 본원에 사용되는 바와 같은 "기계 판독가능한 매체" 및 "컴퓨터 판독가능한 매체"라는 용어들은, 기계로 하여금 특정 방식으로 동작하게 하는 데이터를 제공하는데 참여하는 임의의 매체를 지칭한다. 컴퓨터 시스템(900)을 사용하여 구현되는 실시예에서, 다양한 컴퓨터 판독가능한 매체들이, 실행을 위한 명령들/코드를 프로세서(들)(910)에 제공하는데 수반될 수 있고, 그리고/또는 (예를 들어, 신호들과 같은) 이러한 명령들/코드를 저장 및/또는 전달하는데 사용될 수 있다. 많은 구현들에서, 컴퓨터 판독가능한 매체는 물리적 그리고/또는 유형의 저장 매체이다. 이러한 매체는 비-휘발성 매체들, 휘발성 매체들 및 송신 매체들을 포함하는(그러나, 이에 제한되는 것은 아님) 많은 형태들을 취할 수 있다. 비-휘발성 매체들은, 예를 들어, 광학 그리고/또는 자기 디스크들, 이를테면, 저장 디바이스(들)(925)를 포함한다. 휘발성 매체들은, 제한없이, 동적 메모리, 이를테면, 작업 메모리(935)를 포함한다. 송신 매체들은, 제한없이, 버스(905)뿐만 아니라 통신 서브시스템(930)의 다양한 컴포넌트들 (및/또는 통신 서브시스템(930)이 다른 디바이스들과의 통신을 제공하게 하는 매체들)을 포함하는 와이어들을 포함하는 동축 케이블들, 구리 유선 및 광섬유들을 포함한다. 따라서, 송신 매체들은 또한, (제한없이, 라디오파(radio-wave) 및 적외선 데이터 통신들 동안 생성되는 것들과 같은 라디오, 어쿠스틱(acoustic) 및/또는 광파들을 포함하는) 파들의 형태를 취할 수 있다.

[00113] 물리적 그리고/또는 유형의 컴퓨터 판독가능한 매체들의 일반적 형태들은, 예를 들어, 플로피 디스크, 플렉서블 디스크, 하드 디스크, 자기 테이프 또는 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광학 매체, 펀치카드들(punchcards), 페이퍼테이프(papertape), 홀들의 패턴들을 갖는 임의의 다른 물리적 매체, RAM, PROM, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 이하에 설명되는 바와 같은 반송파, 또는 컴퓨터가 명령들 및/또는 코드를 판독할 수 있는 임의의 다른 매체를 포함한다.

[00114] 다양한 형태들의 컴퓨터 판독가능한 매체들은 실행을 위한 하나 또는 둘 이상의 명령들의 하나 또는 둘 이상의 시퀀스들을 프로세서(들)(910)에 전달하는데 수반될 수 있다. 단지 예로서, 명령들은 초기에, 원격 컴퓨터의 자기 디스크 및/또는 광학 디스크 상에서 전달될 수 있다. 원격 컴퓨터는 그것의 동적 메모리에 명령들을 로딩하고, 컴퓨터 시스템(900)에 의해 수신 및/또는 실행되도록 송신 매체 상에서 신호들로서 명령들을 전송할 수 있다. 전자기파 신호들, 어쿠스틱 신호들, 광학 신호들 등의 형태일 수 있는 이러한 신호들은 본 발명의 다양한 실시예들에 따라, 명령들이 인코딩될 수 있는 반송파들의 모든 예들이다.

[00115] 통신 서브시스템(930)(및/또는 이것의 컴포넌트들)은 일반적으로 신호들을 수신할 것이고, 그 다음, 버스(905)는 신호들(및/또는 신호들에 의해 전달되는 데이터, 명령들 등)을 작업 메모리(935)에 전달할 수 있고, 프로세서(들)(910)는 이러한 작업 메모리(935)로부터의 명령들을 리트리브하고 실행한다. 작업 메모리(935)에 의해 수신되는 명령들은 프로세서(들)(910)에 의한 실행 이전에 또는 그 이후에 비-일시적 저장 디바이스(925) 상에 선택적으로 저장될 수 있다. 메모리(935)는 본원에 설명된 데이터베이스들 및 방법들 중 임의의 것에 따른 적어도 하나의 데이터베이스를 포함할 수 있다. 따라서, 메모리(635)는 도 1-8 및 관련 설명들을 포함하는 본 개시들 중 임의의 것에서 논의된 값들 중 임의의 값을 저장할 수 있다.

[00116] 도 7 및 도 8에서 설명된 방법들은 도 9의 다양한 블록들에 의해 구현될 수 있다. 예를 들어, 프로세서(910)는 흐름도(700) 및 흐름도(800)에서의 블록들의 기능들 중 임의의 것을 수행하도록 구성될 수 있다. 저장 디바이스(925)는 본원에 언급된 블록들 중 임의의 것 내에서 논의된 전반적으로(globally) 고유한 속성 또는 국부적으로(locally) 고유한 속성과 같은 중간 결과를 저장하도록 구성될 수 있다. 저장 디바이스(925)는 또한, 본 개시들 중 임의의 것과 일치하는 데이터베이스를 포함할 수 있다. 유사하게, 메모리(935)는 신호들, 신호들의 표현 또는 본원에 언급된 블록들 중 임의의 것에서 설명된 기능들 중 임의의 것을 수행하는데 필요한 데이터베이스 값들을 기록하도록 구성될 수 있다. RAM과 같은 일시적 또는 휘발성 메모리에 저장될 필요가 있을 수 있는 결과들은 또한, 메모리(935)에 포함될 수 있으며, 저장 디바이스(925)에 저장될 수 있는 것과 유사한 임의의 중간 결과를 포함할 수 있다. 입력 디바이스(915)는 본원에 설명된 본 개시들에 따라 위성들 및/또는 기지국들로부터 무선 신호들을 수신하도록 구성될 수 있다. 출력 디바이스(920)는 본 개시들 중 임의의 것에 따라, 이미지들을 디스플레이하고, 텍스트를 프린트하며, 신호들을 송신하고 그리고/또는 다른 데이터를 출력하도록 구성될 수 있다.

[00117] 위에서 논의된 방법들, 시스템들 및 디바이스들은 예들이다. 다양한 실시예들은 적절하게 다양한 프로시저들 또는 컴포넌트들을 생략, 치환 또는 부가할 수 있다. 예를 들어, 대안적 구성들에서, 설명된 방법들은 설명된 것과 상이한 순서로 수행될 수 있고, 그리고/또는 다양한 스테이지들이 부가, 생략 및/또는 결합될 수 있다. 또한, 특정 실시예들에 대해 설명된 특징들은 다양한 다른 실시예들에서 결합될 수 있다. 실시예들의 상이한 양상들 및 엘리먼트들은 유사한 방식으로 결합될 수 있다. 또한, 기술은 진화하고, 따라서, 엘리먼트들 중 다수가 이러한 특정 예들에 대한 본 개시의 범위를 제한하지 않는 예들이다.

[00118] 특정 세부사항들이 실시예들의 완전한 이해를 제공하기 위해 설명에 주어진다. 그러나, 실시예들은 이러한 특정 세부사항들 없이도 실시될 수 있다. 예를 들어, 잘-알려져 있는 회로들, 프로세스들, 알고리즘들, 구조들 및 기법들은 실시예들을 모호하게 하는 것을 회피하기 위해 불필요한 세부사항 없이 나타낸다. 이러한 설명은 단지 예시적 실시예들만을 제공하며, 본 발명의 범위, 적용가능성 또는 구성을 제한하는 것으로 의도되지 않는다. 오히려, 실시예들의 상기 설명은 본 발명의 실시예들을 구현하기 위한 가능한 설명을 당업자들에게 제공할 것이다. 본 발명의 사상 및 범위로부터 벗어나지 않으면서 엘리먼트들의 배열 및 기능에서 다양한 변화들이 이루어질 수 있다.

[00119] 또한, 일부 실시예들은 흐름도들 또는 블록도들로서 도시되는 프로세스들로서 설명된다. 각각은 순차적 프로세스로서 동작들을 설명할 수 있지만, 동작들 중 다수는 병렬로 또는 동시에 수행될 수 있다. 또한, 동작들의 순서가 재배열될 수 있다. 프로세스는 도면들에 포함되지 않는 추가적 단계들을 가질 수 있다. 게다가, 방법들의 실시예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술어들 또는 이들의 임의의 결합에 의해 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현되는 경우, 연관된 태스크들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들은 저장 매체와 같은 컴퓨터 판독가능한 매체에 저장될 수 있다. 프로세서들은 연관된 태스크들을 수행할 수 있다.

[00120] 몇몇 실시예들을 설명하였지만, 다양한 수정들, 대안적 구조들 및 등가물들이 본 개시의 사상으로부터 벗어나지 않고 사용될 수 있다. 예를 들어, 위의 엘리먼트들은 단지 더 큰 시스템의 컴포넌트일 수 있고, 여기서 다른 규정들은 본 발명의 애플리케이션보다 우선권을 얻거나, 그렇지 않으면 본 발명의 애플리케이션을 수정할 수 있다. 또한, 다수의 단계들이 위의 엘리먼트들이 고려되기 전에, 그 동안 또는 그 이후 착수될 수 있다. 따라서, 위의 설명은 본 개시의 범위를 제한하지 않는다.

[00121] 다양한 예들이 설명되었다. 이러한 그리고 다른 예들은 다음의 청구항들의 범위 내에 있다.

Claims

물리 씬(physical scene)으로부터의 물리 평면(physical plane)의 디지털 표현을 구성하기 위한 방법으로서,
3차원 공간에서 상기 물리 씬의 이미지에서 물리 평면의 초기 부분 및 배향(orientation)을 결정하는 단계;
정제된 이미지를 생성하는 단계 ― 상기 정제된 이미지는 상기 물리 평면 중 적어도 일부의 물리 평면의 전면-평행 뷰(fronto-parallel view)를 포함함 － ;
상기 정제된 이미지를 복수의 그리드 셀들로 세분화하는 단계;
상기 복수의 그리드 셀들 각각에 대해, 그리드 셀과 연관된 적어도 하나의 이미지 특성에 기초하여 이미지 시그니처를 생성하는 단계;
상기 물리 평면의 디지털 표현의 일부로서 포함하기 위해, 상기 물리 평면의 획득된 초기 부분 중 적어도 일부와 인접한 하나 또는 둘 이상의 초기 그리드 셀들을 선택하는 단계;
상기 하나 또는 둘 이상의 초기 그리드 셀들과 인접한 각각의 이웃 그리드 셀에 대한 이미지 시그니처를 상기 물리 평면의 디지털 표현에 현재 포함되는 하나 또는 둘 이상의 그리드 셀들의 이미지 시그니처와 비교하는 단계; 및
상기 물리 평면의 디지털 표현에 미리 결정된 임계치를 충족하는 각각의 그리드 셀을 추가하는 단계를 포함하는,
물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 방법.
제 1 항에 있어서,
상기 물리 평면의 디지털 표현의 일부로서 이미 포함된 그리드 셀과 인접한 각각의 이웃 그리드 셀에 대한 이미지 시그니처를 상기 인접한 그리드 셀과 비교하는 단계; 및
상기 물리 평면의 디지털 표현에 미리 결정된 임계치를 충족하는 각각의 그리드 셀을 추가하는 단계를 더 포함하는,
물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 방법.
제 1 항에 있어서,
상기 물리 평면의 초기 부분은 상기 물리 평면 상에 포지셔닝되는 공지된 오브젝트에 기초하는,
물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 방법.
제 1 항에 있어서,
상기 물리 평면의 초기 부분은 포인트 클라우드 모델로의 상기 물리 평면의 피팅(fitting)에 기초하는,
물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 방법.
제 1 항에 있어서,
상기 이미지 시그니처는 상기 그리드 셀과 연관된 이미지 정보를 표시하는 적어도 하나의 히스토그램을 포함하는,
물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 방법.
제 5 항에 있어서,
상기 적어도 하나의 히스토그램은 상기 그리드 셀에 존재하는 색들의 타입 및 양의 통계적 표현을 포함하는,
물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 방법.
제 5 항에 있어서,
상기 적어도 하나의 히스토그램은 상기 그리드 셀의 그래디언트 배향(gradient orientation)의 통계적 표현을 포함하는,
물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 방법.
제 5 항에 있어서,
상기 적어도 하나의 히스토그램은 상기 그리드 셀에 존재하는 색들을 표현하는 그레이 스케일 셰이드(gray scale shade)들의 타입 및 양의 통계적 표현을 포함하는,
물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 방법.
제 1 항에 있어서,
상기 그리드 셀과 연관된 상기 적어도 하나의 이미지 특성은 3차원 정보를 포함하는,
물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 방법.
제 1 항에 있어서,
상기 물리 평면의 디지털 표현의 일부로서 포함되지 않는 것으로 결정되는 각각의 이웃 그리드 셀에 대해:
복수의 2차 그리드 셀들을 생성하는 단계 － 상기 복수의 2차 그리드 셀들 각각의 포지션은 상기 이웃 그리드 셀의 포지션으로부터의 오프셋에 기초하고, 상기 오프셋은 상기 이웃 그리드 셀의 폭 및 길이 내에 있음 － ; 및
상기 복수의 2차 그리드 셀들 각각에 대해:
2차 그리드 셀과 연관된 적어도 하나의 이미지 특성에 기초하여 이미지 시그니처를 생성하는 단계; 및
상기 2차 그리드 셀의 이미지 시그니처가 상기 물리 평면의 디지털 표현의 일부로서 포함되는 것으로 이미 결정된 그리드 셀의 이미지 시그니처와 유사하면, 상기 2차 그리드 셀이 상기 물리 평면의 디지털 표현의 일부로서 추가적으로 포함될 것인지 여부를 결정하는 단계를 더 포함하고,
유사성은 적어도 하나의 미리 결정된 임계 기준에 기초하는,
물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 방법.
물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 장치로서,
메모리; 및
하나 또는 둘 이상의 프로세서들을 포함하고,
상기 하나 또는 둘 이상의 프로세서들은,
3차원 공간에서 상기 물리 씬에서 물리 평면의 초기 부분 및 배향을 결정하고;
상기 물리 씬의 하나 또는 둘 이상의 이미지들을 수신하고;
정제된 이미지를 생성하고 ― 상기 정제된 이미지는 상기 물리 평면 중 적어도 일부의 물리 평면의 전면-평행 뷰를 포함함 － ;
상기 정제된 이미지를 복수의 그리드 셀들로 세분화하고;
상기 복수의 그리드 셀들 각각에 대해, 그리드 셀과 연관된 적어도 하나의 이미지 특성에 기초하여 이미지 시그니처를 생성하고;
상기 물리 평면의 디지털 표현의 일부로서 포함하기 위해, 상기 물리 평면의 획득된 초기 부분 중 적어도 일부와 인접한 하나 또는 둘 이상의 초기 그리드 셀들을 선택하고;
상기 하나 또는 둘 이상의 초기 그리드 셀들과 인접한 각각의 이웃 그리드 셀에 대한 이미지 시그니처를 상기 물리 평면의 디지털 표현에 현재 포함되는 하나 또는 둘 이상의 그리드 셀들의 이미지 시그니처와 비교하고; 그리고
상기 물리 평면의 디지털 표현에 미리 결정된 임계치를 충족하는 각각의 그리드 셀을 추가하도록 구성되는,
물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 장치.
제 11 항에 있어서,
상기 물리 평면의 디지털 표현의 일부로서 이미 포함된 그리드 셀과 인접한 각각의 이웃 그리드 셀에 대한 이미지 시그니처를 상기 인접한 그리드 셀과 비교하는 것; 및
상기 물리 평면의 디지털 표현에 미리 결정된 임계치를 충족하는 각각의 그리드 셀을 추가하는 것을 더 포함하는,
물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 장치.
제 11 항에 있어서,
상기 물리 평면의 초기 부분은 상기 물리 평면 상에 포지셔닝되는 공지된 오브젝트에 기초하는,
물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 장치.
제 11 항에 있어서,
상기 물리 평면의 초기 부분은 포인트 클라우드 모델로의 상기 물리 평면의 피팅(fitting)에 기초하는,
물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 장치.
제 11 항에 있어서,
상기 이미지 시그니처는 상기 그리드 셀과 연관된 이미지 정보를 표시하는 적어도 하나의 히스토그램을 포함하는,
물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 장치.
제 15 항에 있어서,
상기 적어도 하나의 히스토그램은 상기 그리드 셀에 존재하는 색들의 타입 및 양의 통계적 표현을 포함하는,
물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 장치.
제 15 항에 있어서,
상기 적어도 하나의 히스토그램은 상기 그리드 셀의 그래디언트 배향의 통계적 표현을 포함하는,
물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 장치.
제 15 항에 있어서,
상기 적어도 하나의 히스토그램은 상기 그리드 셀에 존재하는 색들을 표현하는 그레이 스케일 셰이드들의 타입 및 양의 통계적 표현을 포함하는,
물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 장치.
제 11 항에 있어서,
상기 그리드 셀과 연관된 상기 적어도 하나의 이미지 특성은 3차원 정보를 포함하는,
물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 장치.
제 11 항에 있어서,
상기 물리 평면의 디지털 표현의 일부로서 포함되지 않는 것으로 결정되는 각각의 이웃 그리드 셀에 대해, 하나 또는 둘 이상의 프로세서들은,
복수의 2차 그리드 셀들을 생성하고 － 상기 복수의 2차 그리드 셀들 각각의 포지션은 상기 이웃 그리드 셀의 포지션으로부터의 오프셋에 기초하고, 상기 오프셋은 상기 이웃 그리드 셀의 폭 및 길이 내에 있음 － ; 그리고
상기 복수의 2차 그리드 셀들 각각에 대해:
2차 그리드 셀과 연관된 적어도 하나의 이미지 특성에 기초하여 이미지 시그니처를 생성하고; 그리고
상기 2차 그리드 셀의 이미지 시그니처가 상기 물리 평면의 디지털 표현의 일부로서 포함되는 것으로 이미 결정된 그리드 셀의 이미지 시그니처와 유사하면, 상기 2차 그리드 셀이 상기 물리 평면의 디지털 표현의 일부로서 추가적으로 포함될 것인지 여부를 결정하도록 추가로 구성되고,
유사성은 적어도 하나의 미리 결정된 임계 기준에 기초하는,
물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 장치.
프로세서에 의해 실행가능한 명령들을 포함하는 비-일시적 컴퓨터 판독가능한 저장 매체로서,
상기 명령들은,
3차원 공간에서 물리 씬에서 물리 평면의 초기 부분 및 배향을 결정하기 위한 명령;
상기 물리 씬의 하나 또는 둘 이상의 이미지들을 수신하기 위한 명령;
정제된 이미지를 생성하기 위한 명령 ― 상기 정제된 이미지는 상기 물리 평면 중 적어도 일부의 물리 평면의 전면-평행 뷰를 포함함 － ;
상기 정제된 이미지를 복수의 그리드 셀들로 세분화하기 위한 명령;
상기 복수의 그리드 셀들 각각에 대해, 그리드 셀과 연관된 적어도 하나의 이미지 특성에 기초하여 이미지 시그니처를 생성하기 위한 명령;
상기 물리 평면의 디지털 표현의 일부로서 포함하기 위해, 상기 물리 평면의 획득된 초기 부분 중 적어도 일부와 인접한 하나 또는 둘 이상의 초기 그리드 셀들을 선택하기 위한 명령;
상기 하나 또는 둘 이상의 초기 그리드 셀들과 인접한 각각의 이웃 그리드 셀에 대한 이미지 시그니처를 상기 물리 평면의 디지털 표현에 현재 포함되는 하나 또는 둘 이상의 그리드 셀들의 이미지 시그니처와 비교하기 위한 명령; 및
상기 물리 평면의 디지털 표현에 미리 결정된 임계치를 충족하는 각각의 그리드 셀을 추가하기 위한 명령을 포함하는,
비-일시적 컴퓨터 판독가능한 저장 매체.
제 21 항에 있어서,
상기 물리 평면의 디지털 표현의 일부로서 이미 포함된 그리드 셀과 인접한 각각의 이웃 그리드 셀에 대한 이미지 시그니처를 상기 인접한 그리드 셀과 비교하기 위한 명령; 및
상기 물리 평면의 디지털 표현에 미리 결정된 임계치를 충족하는 각각의 그리드 셀을 추가하기 위한 명령을 더 포함하는,
비-일시적 컴퓨터 판독가능한 저장 매체.
제 21 항에 있어서,
상기 이미지 시그니처는 상기 그리드 셀과 연관된 이미지 정보를 표시하는 적어도 하나의 히스토그램을 포함하는,
비-일시적 컴퓨터 판독가능한 저장 매체.
제 21 항에 있어서,
상기 그리드 셀과 연관된 상기 적어도 하나의 이미지 특성은 3차원 정보를 포함하는,
비-일시적 컴퓨터 판독가능한 저장 매체.
제 21 항에 있어서,
상기 물리 평면의 디지털 표현의 일부로서 포함되지 않는 것으로 결정되는 각각의 이웃 그리드 셀에 대해, 하나 또는 둘 이상의 프로세서들은,
복수의 2차 그리드 셀들을 생성하고 － 상기 복수의 2차 그리드 셀들 각각의 포지션은 상기 이웃 그리드 셀의 포지션으로부터의 오프셋에 기초하고, 상기 오프셋은 상기 이웃 그리드 셀의 폭 및 길이 내에 있음 － ; 그리고
상기 복수의 2차 그리드 셀들 각각에 대해:
2차 그리드 셀과 연관된 적어도 하나의 이미지 특성에 기초하여 이미지 시그니처를 생성하고; 그리고
상기 2차 그리드 셀의 이미지 시그니처가 상기 물리 평면의 디지털 표현의 일부로서 포함되는 것으로 이미 결정된 그리드 셀의 이미지 시그니처와 유사하면, 상기 2차 그리드 셀이 상기 물리 평면의 디지털 표현의 일부로서 추가적으로 포함될 것인지 여부를 결정하도록 추가로 구성되고,
유사성은 적어도 하나의 미리 결정된 임계 기준에 기초하는,
비-일시적 컴퓨터 판독가능한 저장 매체.
물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 장치로서,
3차원 공간에서 상기 물리 씬의 이미지에서 물리 평면의 초기 부분 및 배향을 결정하기 위한 수단;
정제된 이미지를 생성하기 위한 수단 ― 상기 정제된 이미지는 상기 물리 평면 중 적어도 일부의 물리 평면의 전면-평행 뷰를 포함함 － ;
상기 정제된 이미지를 복수의 그리드 셀들로 세분화하기 위한 수단;
상기 복수의 그리드 셀들 각각에 대해, 그리드 셀과 연관된 적어도 하나의 이미지 특성에 기초하여 이미지 시그니처를 생성하기 위한 수단;
상기 물리 평면의 디지털 표현의 일부로서 포함하기 위해, 상기 물리 평면의 획득된 초기 부분 중 적어도 일부와 인접한 하나 또는 둘 이상의 초기 그리드 셀들을 선택하기 위한 수단;
상기 하나 또는 둘 이상의 초기 그리드 셀들과 인접한 각각의 이웃 그리드 셀에 대한 이미지 시그니처를 상기 물리 평면의 디지털 표현에 현재 포함되는 하나 또는 둘 이상의 그리드 셀들의 이미지 시그니처와 비교하기 위한 수단; 및
상기 물리 평면의 디지털 표현에 미리 결정된 임계치를 충족하는 각각의 그리드 셀을 추가하기 위한 수단을 포함하는,
물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 장치.
제 26 항에 있어서,
상기 물리 평면의 디지털 표현의 일부로서 이미 포함된 그리드 셀과 인접한 각각의 이웃 그리드 셀에 대한 이미지 시그니처를 상기 인접한 그리드 셀과 비교하기 위한 수단; 및
상기 물리 평면의 디지털 표현에 미리 결정된 임계치를 충족하는 각각의 그리드 셀을 추가하기 위한 수단을 더 포함하는,
물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 장치.
제 26 항에 있어서,
상기 이미지 시그니처는 상기 그리드 셀과 연관된 이미지 정보를 표시하는 적어도 하나의 히스토그램을 포함하는,
물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 장치.
제 26 항에 있어서,
상기 그리드 셀과 연관된 상기 적어도 하나의 이미지 특성은 3차원 정보를 포함하는,
물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 장치.
제 26 항에 있어서,
상기 물리 평면의 디지털 표현의 일부로서 포함되지 않는 것으로 결정되는 각각의 이웃 그리드 셀에 대해,
복수의 2차 그리드 셀들을 생성하기 위한 수단 － 상기 복수의 2차 그리드 셀들 각각의 포지션은 상기 이웃 그리드 셀의 포지션으로부터의 오프셋에 기초하고, 상기 오프셋은 상기 이웃 그리드 셀의 폭 및 길이 내에 있음 － ; 및
상기 복수의 2차 그리드 셀들 각각에 대해:
상기 2차 그리드 셀과 연관된 적어도 하나의 이미지 특성에 기초하여 이미지 시그니처를 생성하기 위한 수단; 및
상기 2차 그리드 셀의 이미지 시그니처가 상기 물리 평면의 디지털 표현의 일부로서 포함되는 것으로 이미 결정된 그리드 셀의 이미지 시그니처와 유사하면, 상기 2차 그리드 셀이 상기 물리 평면의 디지털 표현의 일부로서 추가적으로 포함될 것인지 여부를 결정하기 위한 수단을 더 포함하고,
유사성은 적어도 하나의 미리 결정된 임계 기준에 기초하는,
물리 씬으로부터의 물리 평면의 디지털 표현을 구성하기 위한 장치.