KR20130060121A - 이동장치에서 가상 여행생성방법 및 장치 - Google Patents

Abstract

이동장치에서 가상 여행(VT) 생성방법 및 장치에 관한 것으로, 특히, 이동장치에서 가상여행을 비디오로 생성하는 이동장치에서 가상여행 생성방법 및 장치에 관한 것이다.
이를 달성하기 위해, 이동장치에서 가상여행(VT) 생성방법은, VT 생성모드에서 이미지를 캡쳐하는 과정과; 상기 이미지를 캡쳐하는 동안 VT맵을 자동으로 생성하는 과정과; 상기 VT생성모드가 종료되며, 상기 캡쳐된 이미지들을 VT을 위한 파일로 저장하는 과정을 포함하는 것을 특징으로 한다.

Description

이동장치에서 가상 여행생성방법 및 장치{Method and apparatus for Virtual Tour Creation IN MOBILE DEVICE}

본 발명은 이미지 처리에 관한 것으로, 특히, 이동 장치에서 가상여행을 비디오로 생성하는 이동장치에서 가상여행 생성방법 및 장치에 관한 것이다.

가상 여행(VT: Virtual Tour)은 보통 비선형적 데이터 컨텐츠를 통해 사용자가 특정 장소를 보고 그 주위를 걸을 수 있도록 하는 모드를 지칭한다. 현재 웹 상에서 이용 가능한 가장 유명한 VT 제품은 구글의 “스트릿 뷰(Street View)”이며, 여기서 데이터는 전용 카메라들 및 하드웨어를 이용하여 구글에 의해 캡쳐된다. 주로 부동산업자들을 위해 VT 컨텐츠를 생성하기 위한 서비스를 제공하는 회사들도 있다. 그러나, 기존의 솔루션들에 따르면, VT의 생성은 전용 하드웨어 및/또는 오프라인 편집 도구들의 이용을 필요로 한다.

사용자가 VT 컨텐츠를 생성하기 위한 현재 옵션들은 다음과 같다.

a) VT 컨텐츠를 생성하기 위해 전문적인 회사를 이용하고 있다. 상기 회사들은 전용 하드웨어(주로 360° 카메라)와 전용 편집 도구들을 이용한다.

b) 이미지들 또는 비디오를 촬영하고 포토샵 및 플러그인을 이용하여 이를 오프라인 작업하고 있다. 그러나 이런 겨우 시간이 오래 걸리며 캡쳐 과정의 세심한 계획이 요구된다.

c) VT를 생성하기 위해 비디오를 쉽게 편집하는 도구를 제공하고 있다. 그러나 이러한 해결책에도 여전히 장면의 계획을 요구하며, 촬영 중에 어떠한 피드백도 제공하지 않는다.

기존의 해결책에서도 다양한 에디터들은 많은 한계점을 갖는다.

- 이들 모두는 촬영 장면의 사전 계획을 요구한다.

- 이들 모두는 오프라인이므로, 촬영 중에 사용자에게 피드백이 제공되지 않는다.

- 편집은 시간 및 연습(practice)을 필요로 한다.

따라서 본 발명의 목적은, VT생성을 위한 별도의 하드웨어 없이 이동장치를 통해 VT를 생성할 수 있는 이동장치에서 가상여행 생성 방법 및 장치를 제공하는 것이다.

본 발명의 다른 목적은, VT생성을 위한 이미지 캡쳐 수행 중에 사용자에게 캡쳐에 대한 도움과 피드백을 제공하는 이동장치에서 가상여행 생성 방법 및 장치를 제공하는 것이다.

본 발명의 또 다른 목적은, VT생성을 위한 이미지 캡쳐 수행 중에 VT맵을 자동으로 생성하는 이동장치에서 가상여행 생성 방법 및 장치를 제공하는 것이다.

본 발명의 또 다른 목적은, 이동장치를 통해 생성된 VT를 소셜로 공유할 수 있는 이동장치에서 가상여행 생성 방법 및 장치를 제공하는 것이다.

상기 목적을 달성하기 위한 이동장치에서 가상여행(VT) 생성방법은, VT 생성모드에서 이미지를 캡쳐하는 과정과; 상기 이미지를 캡쳐하는 동안 VT맵을 자동으로 생성하는 과정과; 상기 VT생성모드가 종료되며, 상기 캡쳐된 이미지들을 VT을 위한 파일로 저장하는 과정을 포함하는 것을 특징으로 한다.

또한 상기 목적을 달성하기 위한 이동장치에서 가상여행(VT) 생성장치에 있어서, 카메라와, 센서들과, VT 생성모드에서 이미지를 캡쳐하고, 상기 이미지를 캡쳐하는 동안 VT맵을 자동으로 생성하며, 상기 VT생성모드가 종료되며, 상기 캡쳐된 이미지들을 VT을 위한 파일로 저장하는 캡쳐 엔진을 포함하는 것을 특징으로 한다.

본 발명은 이동장치에서 가상여행 생성 방법 및 장치를 제공함으로써, VT 생성을 위한 이미지 캡쳐 중에 사용자에게 캡쳐에 대한 도움과 피드백을 제공하고, 캡쳐 중에 VT맵을 자동으로 생성하여 제공하며, 선택적으로는 소셜(social) 공유를 수행 할 수 있는 효과가 있다.

도 1a는 이동장치에서 VT생성을 위한 캡쳐 동작을 나타내는 도면.
도 1b는 이동장치에서 자동으로 생성된 VT 맵을 수동으로 수정하는 동작을 나타내는 도면.
도 1c는 이동장치에서 뷰어를 통해 생성된 VT를 실행하는 동작을 나타내는 도면.
도 2는 이동장치에서 VT을 생성하기 위한 캡쳐를 수행하는 동안 이동전화기에 구비된 가속도계의 출력신호를 도시한 도면.
도 3은 이동장치에서 이미지 매칭을 위해 이미지를 변환하는 과정을 도시한 흐름도.
도 4는 이동장치에서 VT생성을 위한 캡쳐를 수행하기 전에 캡쳐 경로를 보여주는 도면.
도 5는 이동장치에서 VT생성을 위한 캡쳐동작을 수행하는 동안, 캡쳐를 가이드하는 GUI표시를 도시하는 도면.
도 6 - 도 8은 이동장치의 수동 맵 편집단계에서 편집동작을 도시한 도면.

본 발명에 따르면, 적절한 소프트웨어가 카메라에 제공되어(또는 다른 식으로 연관되어), VT 컨텐츠를 캡쳐하는 과정에서 사용자를 안내함으로써, 온라인 VT 생성을 가능하게 한다.

본 발명의 일 실시예에서, 그 중에서도 특히, 다음의 요소들이 제공된다.

a) 캡쳐 - 캡쳐된 장면의 표시(indication)를 사용자에게 제공하고, 현재 진행 중인 촬영과 관련해 사용자에게 지시하기 위한, 안내되는(guided) 캡쳐이다. 상기 획득은 모든 적절한 비디오 포맷 또는 원본(raw) 이미지들의 형태일 수 있다.

b) 자동 편집 - 캡쳐 과정 중에, 시스템이 디스플레이를 위해 관련 프레임들을 선택하고 장면 맵을 구성(build up)한다. 상기 자동 편집은 반복 동작일 수 있다.

c) 검토(review) 및 수동 편집 - 사용자는 결과를 검토하고 필요한 경우 정정하거나 수정할 수 있다. 사용자는 장치에서 VT를 보고 촬영을 계속할지 이를 확인할지를 결정한다.

d) 피어 투 피어(peer to peer) 또는 서버를 통해 친구들과 VT를 소셜하게(socially) 공유한다. VT의 공유에는 2가지 모드들, 즉 (1)보기 전용과 (2)메타데이터를 포함하는 편집 가능한 버전이 있다.

VT 의 획득:

이미지 처리 기술 및/또는 다른 센서의 데이터를 이용한, 카메라 장치와 연관된 소프트웨어는 VT를 촬영하는 동안 캡쳐된 장면을 분석한다. 상기 캡쳐 과정은 3가지의 주요 특징들로 구분된다.

a. 둘러보기(“스캐닝”);

b. 전후방으로 이동(“걷기”); 및

c. 제자리에 머무르고 이미지 캡쳐 장치를 잡고 있기(“정지”)

본 발명과 센서 데이터 및 이미지 처리에 따라, 전술한 3가지의 서로 다른 상황들을 인지하고 이들을 온라인 상에서 결합하여 가상 여행을 생성할 수 있다. 사용자는, 맵 장면과 현재 캡쳐 모드에 대한 표시를 제공하는 GUI를 갖는다.

캡쳐된 여행의 맵은 캡쳐 중에 생성된다. 상기 맵은 이후의 단계에서 가상 여행 뷰어(viewer)를 위해 이용된다.

전술한 분류는 이미지 처리와 센서 데이터의 조합에 기초하며, 그 이유는 다음과 같다.

●(GPS가 없는) 센서들은 사용자가 전방 또는 후방으로 이동할 때와 사용자가 가만히 서있을 때의 차이를 검출할 수 없다.

●이미지 처리는 이동을 분석하는데 비반복적 패턴들을 필요로 한다. 예를 들면, 특별한 패턴이 없는 벽의 일부는 회전(turn around) 동작을 검출하는데 에러를 발생시킬 수 있다.

회전과 전방이동 간의 구별은 센서들과 이미징으로 부터의 파라미터들의 조합에 기초한다.

이 점을 더 상세히 예시하면, 외부에 있는 동안, GPS가 잘 작동하는 곳에서, 구별하는 간단한 방법은, 카메라 위치가 변하는 경우에는 사용자가 전방으로 이동한 것이고 카메라 위치가 변하지 않는 경우에는 사용자가 서있거나 회전한 것이다.

반면에, 자이로(gyro), 나침반 및/또는 가속도계들은 서있는 것과 전방이동을 구별할 수 없다. 이러한 구별은 이미지 처리에 의해 지원되어야 한다.

상기 센서들은 또한 환경 소음을 겪는다. 예를 들면, 나침반은 주변의 전기 장치들의 영향을 받는다.

연속된 프레임들의 광학적 흐름은 완전히(full) 필요한 정보를 제공할 수 있다. 예를 들면 연속된 소정개수의 프레임들에서,

● 픽셀들이 같은 자리에 고정된 경우 - 비이동

● 픽셀들의 흐름이 완전히 수평인 경우 -사용자가 회전함

● 픽셀들의 흐름이 중앙으로부터 퍼지는 경우 - 이는 사용자가 전방으로 걸었다는 것을 의미함

전술한 “광학적 흐름” 방법은 2개의 프레임들 간의 카메라 움직임을 판단하는데 적절한 방법들 중 하나이다. 당업계에서 알려졌지만 간결성을 위해 여기서 상세히 논의되지 않은 다른 방법들도 이용될 수 있다.

VT에 대한 데이터의 캡쳐는 비연속적(non-continuous)일 수도 있다. 예를 들면, 사용자는 A 지점에서 시작하고, B 지점으로 이동한 후, A 지점으로부터 C 지점까지의 VT 경로(route)를 캡쳐하고자 할 수도 있다. 이 경우, 사용자는 B 지점에서 캡쳐를 중단하고 A 지점으로 돌아왔을 때 캡쳐를 재시작할 수도 있다.

VT 의 실시간 맵 생성:

본 발명은 VT 맵의 생성 및 편집을 가능하게 한다. 도면들에 도시되고 아래에서 상세히 더 논의되는 바와 같이, 캡쳐 과정 중에 개략적인 맵이 생성된다. 이 맵은 도 1A- 도 1C에 도시된 바와 같이, VT를 온라인으로 캡쳐하는 동안 사용자에게 제시될 수 있다. 상기 맵을 생성하는 예시적인 방법은 아래에 기술되며, 이는 통상적인 사용자가 캡쳐 과정 중에 외부 편집 도구를 이용하고 그 결과를 볼 필요 없이, 자신의 이동 장치에서 VT 컨텐츠를 생성할 수 있도록 한다.

나침반과 가속도계를 갖는 이동 전화에서의 예시적인 구현에 대한 상세한 설명 :

하기의 예시적인 설명은 나침반과 가속도계들(자이로 불포함)을 갖는 이동 전화에서 구현되는 기술적 특징들과 GUI를 참조한다. 언급한 바와 같이, 본 발명은, 사용자가 가상 여행(VT)을 생성하고 공유할 수 있도록 하는 것이다. 가상 여행은, 일단 생성되면 어떤 장소에 실제로 가지 않고도 그 장소를 탐험(explore)할 수 있도록 한다. 본 발명의 일 실시예에서, 예시적인 구현은 3가지 단계들로 나뉜다.

1) 여행 캡쳐(Tour Capture) - 사용자는 여행 지역을 지나면서 관심 있는 여러 장소들의 영상(movie)을 캡쳐한다.도 1a의 (a)에서는 이동장치를 통해 영상을 캡쳐하는 동작을 나타내는 도면이고, 도 1a의 (b)는 도 1a의 (a)를 간략히 설명하기 위한 도면이다. 캡쳐 소프트웨어는 이동장치에 구비된 센서들을 이용하여, 사용자의 위치를 측정하고 각 지점에서의 뷰(view)와 상관된 맵을 생성한다.

2) 여행 맵 편집(Tour Map edit) - 맵 생성이 최적이 아니므로(실내 내비게이션 기술들로 생성되었음), 하기에서 더 상세히 설명되는 바와 같이, 이 단계에서 사용자가 생성된 맵을 수동으로 수정한다도 1b의 (a)는 이동장치에서 자동으로 생성된 VT 맵을 수동으로 수정하는 동작을 나타내는 도면이고, 도 1b의 (b)는 도 1b의 (a)를 간략히 설명하기 위한 도면이다.

3) 여행 뷰(Tour view) - 사용자의 장치(이는 종래의 것으로 간결성을 위해 상세히 설명하지 않음)에 제공되는 뷰어는, 사용자가 가상 여행을 통해 걸을 수 있도록 한다. 사용자는 맵을 가지고 여러 장소들로 항해할 수 있으며, 맵을 캡쳐하는 동안 생성자(creator)가 본 것을 볼 수 있다. 도 1c는 이동장치에서 뷰어를 통해 생성된 VT을 실행하는 동작을 나타내는 도면이고, 도 1c의 (b)는 도 1c의 (a)를 간략히 설명하기 위한 도면이다.

예

캡쳐 엔진 설명

엔진 I/O

캡쳐 엔진은 각 프레임에 대해 다음의 입력들을 수신한다:

1. 프레임 버퍼

2. 센서 데이터 - x, y, z 방향의 중력 투사(projection), x, y, z 방향의 북쪽 방향 투사, 나침반(실제 이용되지 않음).

캡쳐 엔진은 상기 입력들을 통해 하기를 출력한다:

1. 현재 상태(스캐닝, 걷기 등).

2. 이전 프레임 유지/무시를 위한 지시.

From VirtualTourApi.h:

unsigned long VirtualTour_HandleData(

VirtualTourInstance inst, unsigned char *frameBuffer, float accX, float accY, float accZ, float mgtX, float mgtY, float mgtZ, float cmp,

VT_API_FrameResult* pFrameRes // keep or ignore a previous frame

);

처리 결과는 각각의 유지된 프레임이 단일의 행으로 표시되는 뷰 테이블이다(자세한 설명은 아래 참조).

캡쳐 엔진 처리 설명(예시적인 특정 실시예 )

각 프레임에 대해 수행된 분석

1. 이전 프레임에 대해 2D 강직(rigid) 등록 수행.

2. 검출 단계 - 2D 카메라 위치 변화들 및 마지막 몇 개의 프레임들상에서의 센서 입력들에 따른 상태 분석. 이 단계는 자동적으로 스캔 상태 (360도 회전) 시작, 종료 및 걷기 상태 검출.

3. 검출된 상태에 따라 프레임 처리.

하기에 상세한 설명이 있다.

강직( Rigid ) 등록

카메라의 움직임 측정은 중요(significant) 지점들의 집합(set)에 대한 절대값 차의 합(SAD) 최소화에 의해 수행된다.

검출 단계

우선, 가속도계 입력의 편차(variance)는 마지막 몇 개의 프레임들에 대한 체크(check)이다. 걷는 동안의 악수는 가속도계 입력에서 분명히 보인다. 스캔은 몇몇 프레임들에 대해서 일어난다. 도 2는 이동장치에서 VT을 생성하기 위한 캡쳐을 수행하는 동안 이동장치에 구비된 가속도계의 출력신호를 도시한 도면이다.

상기 편차가 크고 현재 “걷기” 모드에 있는 경우 - 계속 걷기.

상기 편차가 작고 현재 “스캔” 모드에 있는 경우 - 계속 스캔.

그 밖의 경우 - 2D 등록으로 체크

마지막 몇몇 프레임들의 시각 정보에 의한 카메라 움직임이 부드럽고(smooth) 수평인 경우 -“스캔” 모드에 있는 것이고, 그 밖의 경우에는 -“걷기” 모드에 있는 것임.

마지막 몇몇 프레임들에 시각적인 정보가 존재하지 않는 경우(즉, 흰 벽을 등지고 스캔하거나 걷는 경우), 상기 검출 단계에서 나침반 데이터가 상기 시각적인 정보를 대신할 수 있다.

일반적으로, 상기 시각 정보는 분석에 걸쳐 더 신뢰성이 있는 것으로 간주되며, 방위각은 대체(fallback)로서 재확인(sanity check)을 위해서만 이용된다. 이는 개발 및 테스트 중에 이용되는 신뢰할 수 없는 입력들에서의 결과이다.

프레임 처리( Frame handling )

각 스캔은 그 시작 근처에서 “마커” 프레임을 가지며, 이는 스캔이 종료될 때 후속(coming) 프레임들에 비교되고 매칭된다.

스캔이 시작되면, 각 후속 프레임이 체크된다. 충분한 시각적인 정보를 갖는 프레임이 검출되면, 이는 마커로 설정될 것이다. 마커 프레임 이전 스캔의 프레임들은 유지되지 않는다.

스캔 프레임들은 축적된다. 프레임들은, 이들 간의 간격(gap)이 약 프레임 사이즈의 1/6이 되도록 유지된다. 이는, 스캔 방향의 시야각(field of view)이 45도 이면, 프레임은 7.5도(degree) 마다 유지될 것이며 전체 스캔은 약 48개의 프레임들을 유지할 것임을 의미한다.

약 270도를 스캔한 후, 현재 프레임들을 마커에 비교하기 시작하여, 스캔을 “종료(closing)”하고자 한다. 상기 270 임계값은 센서들과 이미지 등록 입력들에 기초한 방위각 추정값의 비신뢰성(unreliability)을 나타낸다.

일단 프레임이 마커에 매치되면, 스캔이 종료된다. 이 단계에서, 걷기 단계로부터의 마지막 프레임을 관련 스캔 프레임에 연결하여, 스캔 진입(entry)시 정확한 접점(junction point)을 생성할 필요가 있다.

이는 경로(걷기 단계) 상의 마지막 프레임을 스캔 프레임들에 비교함으로써 수행된다.

사용자는 종료된 스캔의 피드백을 얻고, 방을 떠날 때까지 스캔을 계속해야 한다.

사용자가 방으로부터 걸어 나오기 시작하면, 스캔 중지가 검출되고, 경로의 제1프레임이 스캔 프레임들에 비교되어, 스캔 퇴장(exit)시 정확한 접점을 생성한다.

스캔 종료 지점을 놓친 경우, 스캔 프레임들 중 새로운 마커가 선택되고, 스캔 시작이 소거되며, 스캔이 계속된다. 이는 드문 일이며, 대부분은 장면이 변경되거나, 사용자가 스캔하는 동안 움직이거나, 장치가 기울어지면 발생한다.

대체 및 검출 에러( Fallbacks and detection errors )

불완전한 스캔

스캔이 종료되기 전에 중단되는 경우, 캡쳐엔진은 스캔을 “부분 스캔”으로 유지할지 모든 프레임들을 경로 프레임들로 변환할 지를 결정한다. 이미 180도 이상을 유지하고 있는 경우에는 스캔이 유지된다.

매우 짧은 경로

“스캔”으로부터 “경로” 상태로 이동하고, 이후 곧바로 스캔을 다시 검출한 경우, 스캔 중지가 틀렸으며 아마도 사용자의 손 떨림으로 인한 것으로 결론지을 것이다. 이 경우, 이전에 중지된 스캔을 계속한다. “중복(redundant) 스캔” 모드에 있는 경우, 즉 스캔이 이미 종료된 경우에는, 계속하는데 문제가 없다. 스캔이 아직 종료되지 않은 경우에는, 스캔을 재시작(즉, 생성된 불완전한 스캔을 소거)하고 새로운 마커를 선택해야 한다.

이미지 매칭

2개의 이미지들을 매칭하는 것은 연속적이지 않은 2개의 프레임들을 “연결”할 필요가 있을 때마다 수행된다. 이는 스캔 프레임 대(versus) 스캔 마커, 스캔 진입 또는 스캔 퇴장에 대한 것일 수 있다.

매칭은 다음과 같이 수행된다.

우선, 연속된 프레임들에 대해 수행된 바와 같이, 2개의 이미지들이 2D 변환(translation)에 의해 등록된다. 등록 중에 발견된 최소값들의 “중요도(significance)”, 즉 다른 변환들에서의 SAD값을 위해 최적 매치에서의 SAD값의 비(ratio),는 상기 매치를 평가하기 위한 제1 스코오로써 계산되고 유지된다..

다음으로, 호모그래피 변환(transformation)이 하나의 이미지를 다른 이미지로 변환하도록 발견된다. 상기 호모그래피는 카메라 기울임이나 사용자의 장면으로 가까워지거나 멀어지는 이동으로 인한, 이미지들 간의 사소한 왜곡을 나타낸다.

왜곡된 이미지는 2D 변환 및 호모그래피에 따라 생성된다. 상기 왜곡된 이미지와 다른 이미지와의 유사성은 2개의 독립적인 계산 - 이미지에 균일하게 분포된, 선택된 그리드 지점들의 세트에서의 SAD와 다운 샘플링된 이미지들에 대한 교차 상관도-에 의해 평가된다.

3개의 스코어들 - SAD 최소 중요도, 그리드 지점들에서의 SAD 및 교차 상관도-이 조합되고, 2개의 이미지들에 대한 최종 판단을 얻기 위한 임계값과 매칭된다.

도 3에서는 이동장치에서 하나의 이미지(a)가 2D이미지로 변환(b) 및 약간의 왜곡된 이미지(c)와 같은 두 단계를 통해 다른 이미지(d)로 변환되는 과정을 도시한 도면이다.

뷰 테이블 구조

뷰 테이블은 가상 여행을 위해 저장되도록 선택된 각 프레임에 대한 메타데이터 파라미터들의 세트를 포함한다. 아래는 테이블의 서로 다른 필드들에 대한 설명이다.

● 프레임 Id: 프레임 번호에 대한 고유 인덱스

● 좌측 Id: 현재 프레임의 왼쪽 방향의 프레임의 인덱스. 그러한 프레임이 존재하지 않은 경우, -1.

●우측 Id: 현재 프레임의 오른쪽 방향의 프레임의 인덱스. 그러한 프레임이 존재하지 않은 경우, -1.

● 전방 Id: 현재 프레임의 전방의 프레임의 인덱스. 그러한 프레임이 존재하지 않은 경우, -1.

●후방 Id: 현재 프레임의 후방의 프레임의 인덱스. 그러한 프레임이 존재하지 않은 경우, -1.

●네비게이션 X: 현재 프레임의 X 위치(이는 대략적인 실내 네비게이션 알고리즘에 기초하여 계산됨).

●네비게이션 Y: 현재 프레임의 Y 위치(이는 대략적인 실내 네비게이션 알고리즘에 기초하여 계산됨).

●방위각: 현재 프레임에 대한 카메라의 (북쪽에 대한) 방향(heading).

이 테이블 구조는 VirtualTourTypes.H에 정의됨:

typedef struct

{

IM_API_INT mInputId;

IM_API_INT mLeft, mRight, mForward, mBackward;

IM_API_FLOAT mNavigationX, mNavigationY;

IM_API_FLOAT mCmpVal;

} VT_API_ViewRecord;

가상 여행의 생성 - 애플리케이션 + GUI 설명

가상 여행을 생성하기 위한 2 단계들이 존재한다. 첫 번째는 여행을 캡쳐하는 것이다. 이 과정은 여행 경로(route)를 통과하고 관심 지역들의 카메라 피드(feed)를 얻는 것이다. 두 번째 단계는 자동으로 생성된 맵을 편집하는 것이다.

캡쳐 단계

개관

캡쳐 단계를 시작하기 전에, 사용자는 여행에서 관심 있는 모든 장소들을 포함하는 경로를 계획해야 한다. 도 4는 이동장치에서 VT생성을 위한 캡쳐을 수행하기 전에 캡쳐 경로를 보여주는 도면이다. 2가지 캡쳐 모드들이 있음에 유의한다.

1) 방(room) 스캔 - 360도 스캔.

2) 복도(Corridor) 스캔 - 방과 방 사이의 걷기 스캔.

도 4의 예에서, 사용자는 집 입구로부터 걷기 시작하여(경로 #1으로 표시), 360도 회전하여(원 #2로 표시) 모든 영역들이 완료될 때까지 스캔 입구 홀을 스캔한다.

UI

도 5의 (a)는 이동장치에서 VT생성을 위한 캡쳐동작을 수행하는 동안, 캡쳐을 가이드하는 GUI표시를 도시하는 도면이고, 도 5의 (b)는 도 5의 (a)를 간략히 설명하기 위한 도면이다. 상기 도 5에서는 VT생성을 위한 캡쳐동작을 수행하는 동안, 캡쳐을 가이드하는 GUI로써, 화면에 시작/중지버튼(501), 방위각(502) 및 캡쳐상태 지시자(503)를 표시한다.

상기 시작/중지버튼(501)은 캡쳐되는 영상의 기록 또는 기록중지를 수행한다.

상기 방위각(502)은 현재 사용자의 위치를 알리는 방위각을 나타내고 있다.

●상기 캡쳐상태 지시자(503)는 사용자에게 자동 캡쳐 상태에 대해 알려준다. 상기 캡쳐상태 지시자(503)은 하기와 같은 색상으로 표시되며, 각각의 색상들은 서로 다른 상태를 표시한다.

o 녹색 - 복도 맵핑이 현재 활성화되어 있음.

o 파란색 - 방 맵핑(360도 회전)이 현재 활성화되어 있음.

o 회색 - 현재 방 맵핑이 완료됨. 이는 사용자에게 애플리케이션이 방의 전체 스캔을 검출하였고 다음 복도로 계속 걸을 수 있음을 나타낸다.

o 적색 - 가상 여행 엔진 에러.

또한, 이러한 특정 예에서, 사용자는 다음의 동작들을 수행하기 위해 안드로이드 메뉴를 이용할 수 있다.

●뷰 기록 - 현재 완료된 vtour 파일을 위해 vtour 뷰어를 시작함. 기록 전에 선택되면, 사용자는 리스트로부터 파일을 선택할 것을 요청 받음.

●뷰 맵 - 현재 완료된 vtour 파일을 위해 vtour 맵 뷰어를 시작함. 기록 전에 선택되면, 사용자는 리스트로부터 파일을 선택할 것을 요청 받음.

●리스트 - 사용자가 리스트로부터 기존의 vtour 파일을 선택하고 맵 뷰어에서 이를 열도록 함.

●삭제(delete) - 사용자가 리스트로부터 기존의 vtour 파일을 선택하고 이를 삭제하도록 함.

●마지막 기록 삭제 - 기록된 마지막 vtour 파일 삭제.

맵 편집 단계

캡쳐 단계를 완료한 후에는, 모든 이미지들과 이들의 계산된 위치를 포함한 데이터베이스를 이용할 수 있다. 이 데이터베이스로부터, 애플리케이션이 자동으로 맵을 생성한다. 센서 데이터가 충분히 정확하지 않으므로, 수동 맵 편집이 필요하다. 이는 맵 편집 단계에 의해 수행된다. 맵 편집 단계는 사용자가 맵에 대한 다음의 변경들을 가능하게 한다.

방 이동( Room Movement )

자동으로 생성된 VT맵에서 방을 길게 누르고, 이를 원하는 새로운 위치로 드래그한다. 이렇게 하여, 사용자는 방 위치들을 이들의 실제 위치에 매칭하기 위해 고정할 수 있다.

도 6 은 이동장치의 수동 맵 편집단계에서 방 이동 편집동작을 도시한 도면으로, 도 6a의 (a)는 방 이동 전의 VT 맵을 도시하고 있으며, 도 6a의 (b)는 도 6a의 (a)를 간략히 설명하기 위한 도면이다. 또한 도 6b의 (a)는 도 방 이동 이후의 VT맵을 도시하고 있으며, 도 6b의 (b)는 도 6b의(a)를 간략히 설명하기 위한 도면이다.

따라서 사용자는 방들을 이동시켜, 실제로 이루어진 90도 회전과 직선 걷기를 매치한다.

방을 이동시키기 위해서는, 사용자가 방에서 길게 누르고 이를 새로운 원하는 위치로 드래그해야 한다. 모든 변경의 끝에는, 사용자가 새로운 vtour 파일을 (옵션 메뉴 - 저장을 통해)저장할 필요가 있음을 유의한다.

방 병합( room merge )

동일한 방이 2번 스캔되면, 2개의 방들을 병합할 수 있다. 예를 들면, 도 4에 도시된 평면도를 살펴보면, 복도(#1)로부터 올 때 방(#2)이 첫 번째로 스캔되고, 복도(#5)로부터 올 때 두 번째로 동일한 방(#2)이 스캔된다. 이 경우, 2개의 방들이 병합되어야 할 것이다. 도 7의 스크린 샷들은 통상적인 맵의 병합 이전(도 7a)과 병합 이후(도 7b)를 나타낸다.

실제로 방 병합을 수행하기 위해, 사용자는 방에서 길게 누르고 이를 병합할 목표 방 위에 드래그한다. 사용자는 방들을 병합하기를 원하는지를 질문 받고, OK를 누르면, 병합이 수행된다.

도 7 은 이동장치의 수동 맵 편집단계에서 방 병합 편집동작을 도시한 도면으로, 도 7a의 (a)는 방 병합 전의 VT 맵을 도시하고 있으며, 도 7a의 (b)는 도 7a의 (a)를 간략히 설명하기 위한 도면이다. 또한 도 7a의 (a)는 방 병합 이후의 VT 맵을 도시하고 있으며, 도 7b의 (b)는 도 7b의 (a)를 간략히 설명하기 위한 도면이다.

모든 변경의 끝에는, 사용자가 새로운 vtour 파일을 (옵션 메뉴 - 저장을 통해)저장할 필요가 있음을 유의한다.

복도 분할( corridor split )

맵 뷰는 항상 복도를 2개의 방들 간의 직선으로서 보여준다. 때때로, 복도가 직선이 아닐 경우에는, 복도 선에 분할점(split point)을 추가할 필요가 있다. 이러한 새로운 분할점은 이동될 수 있으며 직선이 아닌 복도를 생성할 수 있다복도 분할점을 생성하기 위해서는, 사용자가 원하는 분할점의 위치에서 복도에서 길게 누를 필요가 있다. 분할점을 이동시키기 위해서, 사용자는 분할점을 길게 누르고 이를 이동시킨다.

도 8은 이동장치의 수동 맵 편집단계에서 복도분할 편집동작을 도시한 도면으로, 도 8a의 (a)는 복도 분할 전의 VT 맵을 도시하고 있으며, 도 8a의 (b)는 도 8a의 (a)를 간략히 설명하기 위한 도면이다. 또한 도 8b의 (a)는 복도 분할 이후의 VT 맵을 도시하고 있으며, 도 8b의 (b)는 도 8b의 (a)를 간략히 설명하기 위한 도면이다.

모든 변경의 끝에는, 사용자가 새로운 vtour 파일을 (옵션 메뉴 - 저장을 통해)저장할 필요가 있음을 유의한다.

복도 분할 병합( Corridor split merge )

복도 분할점을 방과 병합할 수도 있다. 이는 사용자가 한 방향으로 걷는 동안 몇 개의 방들을 맵핑하고, 다른 방향으로 복도 뷰를 기록하기 위해서 되돌아 가는 경우에 필요하다. 모든 변경의 끝에는, 사용자가 새로운 vtour 파일을 (옵션 메뉴 - 저장을 통해)저장할 필요가 있음을 유의한다.

옵션 메뉴

이동장치에서옵션 메뉴를 누르면, 사용자가 다음의 동작들을 수행할 수 있게 된다.

●열기 -편집할 vtour 파일 선택.

●뷰 - vtour 뷰어 실행.

●설정 -다음이 가능한 설정 화면 열기:

o 현재 방위각에 따라 맵이 회전될 수 있도록 하는 “자동 회전” 체크.

o 맵 상의 각 프레임의 위치(사진이 촬영된 방향으로 화살표로 표시)를 보기 위해 “맵 디버그 정보 보기” 체크.

●저장 - 맵에서 이루어진 모든 변경들 저장.

위의 설명 및 예들은 모두 예시를 위해 제공되었으며 어떤 식으로든 본 발명을 제한하고자 하는 것은 아니다. 본 발명의 범위를 벋어나지 않고, 많은 대안적인 센서들과 센서 분석들이 제공될 수 있으며, 많은 다른 뷰 및 편집 옵션들이 제공될 수도 있다.

Claims (16)

1. 이동장치에서 가상여행(VT) 생성방법에 있어서,
   VT 생성모드에서 이미지를 캡쳐하는 과정과,
   상기 이미지를 캡쳐하는 동안 VT맵을 자동으로 생성하는 과정과,
   상기 VT생성모드가 종료되며, 상기 캡쳐된 이미지들을 VT을 위한 파일로 저장하는 과정을 포함하는 것을 특징으로 하는 이동장치에서 가상여행(VT) 생성방법.
2. 제1 항에 있어서, 상기 이미지를 캡쳐하는 과정은,
   상기 이미지를 캡쳐하는 동안, 화면에 캡쳐를 가이드하는 GUI를 표시하는 과정을 포함하는 것을 특징으로 하는 이동장치에서 가상여행(VT) 생성방법.
3. 제2 항에 있어서, 상기 GUI는,
   캡쳐되는 이미지의 기록 또는 기록 중지를 수행을 위한 시작/중지버튼, 사용자의 현재 위치를 알리는 방위각, 및 현재 캡쳐상태를 알리는 캡쳐상태 지시자를 포함하는 것을 특징으로 하는 이동장치에서 가상여행(VT) 생성방법.
4. 제3 항에 있어서, 상기 캡쳐상태 지시자는,
   스캐닝 활성화 상태, 스캐닝 완료상태, 이동 활성화 상태 및 이동 완료상태를 서로 다른 색으로 표시하는 것을 특징으로 하는 이동장치에서 가상여행(VT) 생성방법.
5. 제1 항에 있어서, 상기 이미지를 캡쳐하는 과정은,
   상기 VT 생성모드에서, 카메라의 위치변화 및 센서 데이터들을 이용하여, 캡쳐동작을 판단하는 과정과,
   상기 캡쳐동작이 306도 회전되는 스캐닝동작이면, 상기 캡쳐동작이 발생된 위치에 상기 스캐닝 동작을 통해 캡쳐된 이미지들을 매칭하는 과정과,
   상기 캡쳐동작이 전후방 이동동작이면, 상기 캡쳐동작이 발생된 위치에 상기 이동 동작을 통해 캡쳐된 이미지들을 매칭하는 과정과,
   상기 캡쳐동작이 정지동작이면, 상기 캡쳐동작이 발생된 위치에 상기 정지동작을 통해 캡쳐된 이미지들을 매칭하는 과정을 포함하는 것을 특징으로 하는 이동장치에서 가상여행(VT) 생성방법.
6. 제1 항에 있어서, 상기 VT맵을 자동으로 생성하는 과정은,
   상기 이동장치에 구비된 위치를 측정할 수 있는 센서를 이용하여, 캡쳐동작이 발생된 각 지점과 연관된 맵을 생성하는 과정을 포함하는 것을 특징으로 하는 이동장치에서 가상여행(VT) 생성방법.
7. 제1 항에 있어서,
   상기 자동으로 생성된 VT맵을 수동으로 편집하는 과정과,
   상기 수동으로 편집된 VT맵을 가지는 VT를 위한 파일로 저장하는 과정을 더 포함하는 것을 특징으로 하는 이동장치에서 가상여행(VT) 생성방법.
8. 제1 항에 있어서,
   상기 저장된 VT을 위한 파일을 소셜로 공유되는 과정을 더 포함하는 것을 특징으로 하는 이동장치에서 가상여행(VT) 생성방법.
9. 이동장치에서 가상여행(VT) 생성장치에 있어서,
   카메라와,
   센서들과,
   VT 생성모드에서 이미지를 캡쳐하고, 상기 이미지를 캡쳐하는 동안 VT맵을 자동으로 생성하며, 상기 VT생성모드가 종료되며, 상기 캡쳐된 이미지들을 VT을 위한 파일로 저장하는 캡쳐 엔진을 포함하는 것을 특징으로 하는 이동장치에서 가상여행(VT) 생성장치.
10. 제9 항에 있어서, 상기 캡쳐 엔진은,
    상기 이미지를 캡쳐하는 동안, 화면에 캡쳐를 가이드하는 GUI를 표시하는 것을 특징으로 하는 이동장치에서 가상여행(VT) 생성장치.
11. 제10 항에 있어서, 상기 GUI는,
    캡쳐되는 이미지의 기록 또는 기록 중지를 수행을 위한 시작/중지버튼, 사용자의 현재 위치를 알리는 방위각, 및 현재 캡쳐상태를 알리는 캡쳐상태 지시자를 포함하는 것을 특징으로 하는 이동장치에서 가상여행(VT) 생성장치.
12. 제10 항에 있어서, 상기 캡쳐상태 지시자는,
    스캐닝 활성화 상태, 스캐닝 완료상태, 이동 활성화 상태 및 이동 완료상태를 서로 다른 색으로 표시하는 것을 특징으로 하는 이동장치에서 가상여행(VT) 생성장치.
13. 제9 항에 있어서, 상기 캡쳐엔진은,
    상기 VT 생성모드에서, 상기 카메라의 위치변화 및 상기 센서의 데이터들을 이용하여, 캡쳐동작을 판단하고, 상기 캡쳐동작이 306도 회전되는 스캐닝동작이면 상기 캡쳐동작이 발생된 위치에 상기 스캐닝 동작을 통해 캡쳐된 이미지들을 매칭하며, 상기 캡쳐동작이 전후방 이동동작이면 상기 캡쳐동작이 발생된 위치에 상기 이동 동작을 통해 캡쳐된 이미지들을 매칭하며, 상기 캡쳐동작이 정지동작이면, 상기 캡쳐동작이 발생된 위치에 상기 정지동작을 통해 캡쳐된 이미지들을 매칭하는 것을 특징으로 하는 이동장치에서 가상여행(VT) 생성장치.
14. 제9 항에 있어서, 상기 캡쳐 엔진은,
    상기 이동장치에 구비된 위치를 측정할 수 있는 센서를 이용하여, 캡쳐동작이 발생된 각 지점과 연관된 맵을 생성하는 것을 특징으로 하는 이동장치에서 가상여행(VT) 생성장치.
15. 제9 항에 있어서,
    상기 자동으로 생성된 VT맵을 수동으로 편집하는 수동 맵 편집부를 더 포함하는 것을 특징으로 하는 이동장치에서 가상여행(VT) 생성장치.
16. 제9 항에 있어서,
    상기 저장된 VT을 위한 파일은 소셜로 공유되는 것을 특징으로 하는 이동장치에서 가상여행(VT) 생성장치.
    
    
    

Images