KR20230157275A

KR20230157275A - 3차원 가상모델 제공 방법 및 그를 위한 3차원 가상모델 제공 시스템

Info

Publication number: KR20230157275A
Application number: KR1020230151137A
Authority: KR
Inventors: 김켄; 파르호드 루스탐 욱리 후다이베르가노브; 미하일 이; 정지욱
Original assignee: 주식회사 쓰리아이
Priority date: 2021-12-31
Filing date: 2023-11-03
Publication date: 2023-11-16
Also published as: KR102600420B1; WO2023128100A1; KR20230103054A; JP2024506763A

Abstract

본 출원의 일 기술적 측면에 따른 3차원 가상모델 제공 시스템은, 사용자 단말 및 서버를 포함한다. 상기 사용자 단말은, 현실 실내 공간 내의 복수의 촬영 지점의 각 지점에서, 이전의 촬영 지점에서 해당 촬영 지점까지의 상대적 이동 정보를 도출하여 해당 촬영 지점에 대한 위치 정보를 생성하고, 해당 촬영 지점을 기준으로 생성된 360도 색상 이미지 및 360도 깊이 맵 이미지를 생성하여 해당 촬영 지점에 대한 촬영 데이터 셋을 생성한다. 상기 서버는, 상기 사용자 단말로부터 상기 현실 실내 공간 내의 복수의 촬영 지점 각각에 대한 복수의 촬영 데이터 셋을 수신하고, 상기 복수의 촬영 지점의 각 촬영 지점에서 생성된 360도 색상 이미지와 360도 깊이 맵 이미지를 단위 픽셀의 위치 별로 연관하여, 각 단위 픽셀 별로 거리값 및 색상값을 설정하여 포인트 그룹을 생성한다. 상기 포인트 그룹은 각각의 촬영 지점마다 개별적으로 생성되고, 상기 서버는, 상기 복수의 촬영 지점마다 각각 개별적으로 생성된 복수의 포인트 그룹을 상기 위치 정보를 기준으로 위치적으로 연관하여 하나의 통합 포인트 그룹을 형성하고, 상기 통합 포인트 그룹을 기초로 3차원 가상 모델을 생성한다.

Description

3차원 가상모델 제공 방법 및 그를 위한 3차원 가상모델 제공 시스템 {System and method for providing virtual three-dimensional model}

본 출원은 3차원 가상모델 제공 방법 및 그를 위한 3차원 가상모델 제공 시스템에 관한 것이다.

근래에 들어서는 실제 공간에 대응되는 온라인 상의 가상 공간을 제공받음으로써, 사용자가 직접 실제 공간에 방문하지 않고서도 실제 공간에 있는 듯한 체험이 가능한 가상공간 구현기술이 개발되고 있다.

디지털 트윈 또는 메타버스(metaverse)는 이와 같이 현실공간을 기반으로 가상 공간을 제공하는 기술들을 기초로 한다.

이러한 현실 공간에 대응되는 가상공간을 구현하기 위해서는, 구현하고자 하는 실제 공간에 대한 이미지 정보 및 거리 정보를 기초로 입체적인 가상 이미지인 가상의 3차원 모델을 생성하는 것이 필요하다.

종래의 경우, 이와 같은 3차원 모델을 생성하기 위하여, 실내 공간의 여러 촬영지점에서 촬영된 360도 이미지를 획득하고 이들을 이용하여 3차원 모델을 생성하였다.

다만, 종래의 경우, 실내 공간의 여러 촬영 지점에 대한 위치 정보를 확인하기 어려워, 각 촬영 지점에서 촬영된 이미지들을 기초로 여러 촬영 지점의 위치를 역산하는 방식 등을 사용하였으나, 이는 촬영 위치를 결정하는데 높은 리소스가 요구되고 그 처리가 느린 한계를 가지고 있다.

본 출원의 일 기술적 측면은 상기한 종래 기술의 문제점을 해결하기 위한 것으로, 실내 공간에서의 여러 촬영 지점에서 수집된 촬영 데이터 셋을 기초로 실내 공간에 대응되는 3차원 가상 공간을 제공하는 것을 목적으로 한다.

본 출원에 개시되는 일 실시예에 따르면, 360도 회전 가능한 구동형 보조 거치장치를 이용하여 스마트 폰과 같은 일반적인 스마트 기기를 이용하여도 손쉽게 3차원 가상 모델을 생성할 수 있는 환경을 제공하는 것을 목적으로 한다.

본 출원에 개시되는 일 실시예에 따르면, 실내 공간에서의 여러 촬영 지점 간의 거리 정보를 효율적이고 정확하게 산출함으로써, 3차원 가상 모델의 정확도를 향상시킬 수 있는 것을 목적으로 한다.

본 출원의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 출원의 일 기술적 측면은 3차원 가상모델 제공 시스템을 제안한다. 상기 3차원 가상모델 제공 시스템은, 사용자 단말 및 서버를 포함한다. 상기 사용자 단말은, 현실 실내 공간 내의 복수의 촬영 지점의 각 지점에서, 이전의 촬영 지점에서 해당 촬영 지점까지의 상대적 이동 정보를 도출하여 해당 촬영 지점에 대한 위치 정보를 생성하고, 해당 촬영 지점을 기준으로 생성된 360도 색상 이미지 및 360도 깊이 맵 이미지를 생성하여 해당 촬영 지점에 대한 촬영 데이터 셋을 생성한다. 상기 서버는, 상기 사용자 단말로부터 상기 현실 실내 공간 내의 복수의 촬영 지점 각각에 대한 복수의 촬영 데이터 셋을 수신하고, 상기 복수의 촬영 지점의 각 촬영 지점에서 생성된 360도 색상 이미지와 360도 깊이 맵 이미지를 단위 픽셀의 위치 별로 연관하여, 각 단위 픽셀 별로 거리값 및 색상값을 설정하여 포인트 그룹을 생성한다. 상기 포인트 그룹은 각각의 촬영 지점마다 개별적으로 생성되고, 상기 서버는, 상기 복수의 촬영 지점마다 각각 개별적으로 생성된 복수의 포인트 그룹을 상기 위치 정보를 기준으로 위치적으로 연관하여 하나의 통합 포인트 그룹을 형성하고, 상기 통합 포인트 그룹을 기초로 3차원 가상 모델을 생성한다.

본 출원의 다른 일 기술적 측면은 3차원 모델 생성 방법을 제안한다. 상기 3차원 모델 생성 방법은, 사용자 단말 및 상기 사용자 단말과 연동하여 현실 실내 공간에 대응되는 가상의 3차원 모델을 제공하는 서버를 포함하는 시스템에서 수행되는 3차원 모델 생성 방법으로서, 상기 사용자 단말이, 상기 현실 실내 공간 내의 복수의 촬영 지점 각각에서 복수의 촬영 데이터 셋- 촬영 데이터 셋은, 상기 복수의 촬영 지점 중 어느 한 촬영 지점을 기준으로 생성된 360도 색상 이미지, 상기 어느 한 촬영 지점을 기준으로 생성된 360도 깊이 맵 이미지 및 이전 촬영 지점로부터 상기 어느 한 촬영 지점까지의 상대적 이동 정보를 기초로 도출되는 위치 정보를 포함함-을 생성하여 상기 서버에 제공하는 단계, 상기 서버가, 상기 복수의 촬영 지점의 각 촬영 지점에서 생성된 360도 색상 이미지와 360도 깊이 맵 이미지를 단위 픽셀의 위치 별로 연관하여, 각 단위 픽셀 별로 거리값 및 색상값을 설정하여 포인트 그룹을 생성 -상기 포인트 그룹은 각각의 촬영 지점마다 개별적으로 생성됨- 하는 단계 및 상기 서버가, 상기 복수의 촬영 지점마다 개별적으로 생성된 복수의 포인트 그룹을 상기 위치 정보를 기준으로 위치적으로 연관하여 하나의 통합 포인트 그룹을 형성하는 단계를 포함한다.

상기한 과제의 해결 수단은, 본 출원의 특징을 모두 열거한 것은 아니다. 본 출원의 과제 해결을 위한 다양한 수단들은 이하의 상세한 설명의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.

본 출원에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.

본 출원에 개시되는 일 실시예에 따르면, 실내 공간에서의 여러 촬영 지점에서 수집된 촬영 데이터 셋을 이용하여 내 공간에 대응되는 3차원 가상 공간을 정확하게 제공할 수 있는 효과가 있다.

본 출원에 개시되는 일 실시예에 따르면, 360도 회전 가능한 구동형 보조 거치장치를 이용함으로써, 스마트 폰과 같은 일반적인 스마트 기기를 이용하여도 손쉽게 3차원 가상 모델을 생성할 수 있는 환경을 제공하는 효과가 있다.

본 출원에 개시되는 일 실시예에 따르면, 실내 공간에서의 여러 촬영 지점 간의 거리 정보를 효율적이고 정확하게 산출함으로써, 3차원 가상 모델의 정확도를 향상시킬 수 있는 효과가 있다.

본 출원의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 출원에 개시되는 일 실시예에 따른 3차원 가상모델 제공 시스템을 예시하는 도면이다.
도 2는 본 출원에 개시되는 일 실시예에 따른 사용자 단말 및 구동형 보조 장치의 일 사용예를 도시하는 도면이다.
도 3은 본 출원에 개시되는 일 실시예에 따른 구동형 보조 장치를 설명하는 블록 구성도이다.
도 4는 본 출원에 개시되는 일 실시예에 따른 사용자 단말을 설명하는 블록 구성도이다.
도 5는 실내 공간 내의 복수의 촬영 지점에서의 촬영 예를 설명하기 위한 도면이다.
도 6은 본 출원에 개시되는 일 실시예에 따른 사용자 단말에서 수행되는 제어 방법의 일 예를 설명하는 도면이다.
도 7은 본 출원에 개시되는 일 실시예에 따른 사용자 단말에서 수행되는 제어 방법의 다른 일 예를 설명하는 도면이다.
도 8은 본 출원에 개시되는 일 실시예에 따른 서버를 설명하는 블록 구성도이다.
도 9는 본 출원에 개시되는 일 실시예에 따른 서버에서 수행되는 제어 방법의 일 예를 설명하는 도면이다.
도 10은 본 출원에 개시되는 일 실시예에 따른 서버에서 수행되는 제어 방법의 다른 일 예를 설명하는 도면이다.
도 11 내지 도 15는 본 출원에 개시되는 일 실시예에 따른 서버에서 수행되는 텍스처링 방법을 설명하기 위한 도면들이다.

이하, 첨부된 도면을 참조하여 본 출원의 바람직한 실시 형태들을 설명한다.

그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다

본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.

본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 출원에서, "A 또는 B", "A 및 B 중 적어도 하나","A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나" 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다.

"제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예를 들어, 중요성 또는 순서)에서 한정하지 않는다.

어떤(예를 들어, 제 1) 구성요소가 다른(예를 들어, 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드", "커넥티드" 또는 "연결된" 이라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.

본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것 만을 반드시 의미하지 않을 수 있다.

실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다

본 출원의 다양한 실시 예들은 기기(machine)에 의해 읽을 수 있는 저장 매체(storage medium)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예를 들어, 프로그램)로서 구현될 수 있다. 예를 들면, 프로세서(301)는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 장치가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예를 들어, 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.

본 출원의 실시형태를 설명하기 위하여 다양한 순서도가 개시되고 있으나, 이는 각 단계 또는 동작의 설명의 편의를 위한 것으로, 반드시 순서도의 순서에 따라 각 단계가 수행되는 것은 아니다. 즉, 순서도에서의 각 단계는, 서로 동시에 수행되거나, 순서도에 따른 순서대로 수행되거나, 또는 순서도에서의 순서와 반대의 순서로도 수행될 수 있다.

도 1은 본 출원에 개시되는 일 실시예에 따른 3차원 가상모델 제공 시스템을 예시하는 도면이다.

3차원 가상모델 제공 시스템은 사용자 단말(200), 구동형 촬영 보조 장치(200) 및 서버(300)를 포함할 수 있다.

사용자 단말(200)은 실내 공간의 각 촬영 지점에서 촬영 데이터 셋을 생성하기 위한 전자 기기로서, 카메라 및 거리 측정센서를 포함하는 휴대형 전자 기기이다. 예를 들어,

예를 들어, 사용자 단말(200)은 스마트 폰(smart phone), 태블릿 PC(tablet PC), 노트북 컴퓨터(laptop computer), PDA(personal digital assistants), PMP(portable multimedia player), 워치형 단말기 (smartwatch)나 글래스형 단말기 (smart glass) 등의 웨어러블 디바이스(wearable device) 일 수 있다.

사용자 단말(200)은 색으로 표현되는 색상 이미지를 생성할 수 있다. 본 출원 명세서에서, 색상 이미지는 색으로 표현되는 이미지를 모두 포괄하는 것으로서, 특정한 표현 방식으로 제한하는 것은 아니다. 따라서, 색상 이미지는 RGB(Red Green Blue)로 표현되는 RGB 이미지 뿐만 아니라, CMYK(Cyan Magenta Yellow Key)로 표현되는 CMYK 이미지 등 다양한 표준으로 적용 가능하다.

사용자 단말(200)은 깊이 정보를 생성하여 깊이 맵 이미지를 생성할 수 있는 장치이다. 본 출원 명세서에서, 깊이 맵 이미지는 피사 공간에 대하여 깊이 정보를 포함하는 이미지이다. 예컨대, 깊이 맵 이미지에서의 각 픽셀은, 촬상 지점에서 촬영된 피사 공간의 각 지점-각 픽셀에 대응되는 지점-까지의 거리 정보 일 수 있다.

사용자 단말(200)은 실내에 위치되는 복수의 촬영 지점에서 각각 360도 색상 이미지와 360도 깊이 맵 이미지를 생성할 수 있다. 또한, 사용자 단말(200)은 그러한 복수의 촬영 지점 각각에 대한 위치 정보를 생성할 수 있다.

사용자 단말(200)은 실내에 위치되는 복수의 촬영 지점의 각 지점에 대하여, 촬영 데이터 셋을 개별적으로 생성할 수 있다. 여기에서, 촬영 데이터 셋은 해당 촬영 지점에서의 360도 색상 이미지, 360도 깊이 맵 이미지 및 해당 촬영 지점에 대한 위치 정보를 포함할 수 있다.

일 실시예에서, 각 지점의 위치 정보는, 이전 지점을 기준으로 생성되는 상대적인 위치 정보를 기초로 할 수 있다. 이는, 실내 공간에 대해서는 GPS(Global Positioning System)과 같은 절대적인 위치 정보를 산출하기 어려우므로, 사용자 단말(200)은 영상 인식 및 관성 측정 데이터의 변화를 기초로 상대적인 이동 정보를 생성하고 이를 기초로 위치 정보를 설정할 수 있다.

일 실시예에서, 사용자 단말(200)은 구동형 촬영 보조 장치(200)에 고정되고, 구동형 촬영 보조 장치(200)의 구동을 제어함으로써 360도 촬영이 가능하도록 할 수 있다. 이는, 사용자 단말(200) 자체는 회전 구동이 불가능하므로, 본 시스템에서는 사용자 단말(200)의 제어에 따라 구동하는 구동형 촬영 보조 장치(200)를 포함함으로써, 사용자 단말(200)이 원활하게 360도 촬영-즉, 360도 색상 이미지 및 360도 깊이 맵 이미지의 생성-이 가능하도록 할 수 있다.

서버(300)는 사용자 단말(200)로부터 실내의 여러 촬영 지점에서 각각 생성된 복수의 촬영 데이터 셋을 수신할 수 있다. 서버(300)는 복수의 촬영 데이터 셋, 즉, 실내의 여러 지점에서 각각 생성된 색상 이미지와 깊이 맵 이미지를 이용하여, 실내 공간에 대응되는 3차원 가상공간인 3차원 가상 모델을 생성할 수 있다.

일 예로, 서버(300)는 사용자 단말로부터 현실 실내 공간 내의 복수의 촬영 지점 각각에 대한 복수의 촬영 데이터 셋을 수신하고, 복수의 촬영 지점의 각 촬영 지점에서 생성된 360도 색상 이미지와 360도 깊이 맵 이미지를 단위 픽셀의 위치 별로 연관하여, 각 단위 픽셀 별로 거리값 및 색상값을 설정하여 포인트 그룹을 생성할 수 있다. 여기에서, 포인트 그룹은 각각의 촬영 지점마다 개별적으로 생성될 수 있다. 서버(300)는 복수의 촬영 지점마다 각각 개별적으로 생성된 복수의 포인트 그룹을 위치 정보를 기준으로 위치적으로 연관하여 하나의 통합 포인트 그룹을 형성할 수 있다. 서버(300)는, 통합 포인트 그룹을 기초로 3차원 가상 모델을 생성할 수 있다.

서버(300)는 사용자 단말(200) 또는 기타 다른 단말에, 3차원 가상 모델을 제공함으로써 현실 공간에 대응되는 3차원 가상 공간을 제공할 수 있다.

도 2는 본 출원에 개시되는 일 실시예에 따른 사용자 단말 및 구동형 보조 장치의 일 사용예를 도시하는 도면이다.

사용자 단말(200)은 구동형 보조 장치(100)의 상부에 고정될 수 있으며, 구동형 보조 장치(100)는 사용자 단말(200)이 거치된 회전부를 회전시킴으로써, 사용자 단말(200)이 360도 촬영 가능하도록 동작할 수 있다.

구동형 보조 장치(100)는 트라이포드(101) 등의 높이 보완 부재를 이용할 수 있으며, 이러한 높이 보완 부재를 반영한 카메라의 촬영 높이(HC)에 대한 정보는, 사용자에 입력되거나 또는 사전 설정된 높이-규격화된 높이 보완부재를 사용하여 사전 설정됨-로서 서버(300)에 제공될 수 있다.

도 3은 본 출원에 개시되는 일 실시예에 따른 구동형 보조 장치를 설명하는 블록 구성도이다.

단말 거치대(100)는 회전부(110) 및 본체부(120)를 포함할 수 있다.

회전부(110)에는 사용자 단말(200)가 거치되고, 모터부(121)의 동작에 의하여 회전될 수 있다. 회전부(110)의 회전에 따라 사용자 단말(200)의 촬영 방향이 변경될 수 있다. 또한, 회전부(110)의 회전 방향 및 회전 속도는 모터부(121)의 구동에 따라 변경될 수 있다.

일 예로, 회전부(110)는 고정대, 조이개 및 회전대를 포함할 수 있다. 고정대 및 조이개는 회전대 상에 배치될 수 있다. 고정대와 조이개는 사용자 단말(200)을 고정할 수 있다. 회전대는 모터부(121)의 동작에 따라 회전할 수 있으며, 이를 위해 회전대는 모터부(121)와 기계적으로 연결될 수 있다.

본체부(120)는 모터부(121), 제어부(122) 및 통신부(123)를 포함할 수 있다. 제어부(122)는 본체부(120)의 구성요소들을 제어하여 단말 거치대(100)의 동작을 제어할 수 있다.

통신부(123)는 사용자 단말(200)과 통신 연결을 수행하고, 사용자 단말(200)로부터 단말 거치대(100)를 구동시키기 위한 제어 신호를 제공받을 수 있다. 일 예로, 통신부(123)는 근거리 통신 모듈 또는 유선 통신 중 적어도 하나를 이용하여 사용자 단말(200)과 통신 연결을 형성할 수 있다.

제어부(122)는 통신부(123)를 통하여 수신된 제어 신호에 대응하여, 모터부(121)를 구동하여, 회전부(110)의 구동을 제어할 수 있다.

도 4는 본 출원에 개시되는 일 실시예에 따른 사용자 단말을 설명하는 블록 구성도이다.

도 4를 참조하면, 사용자 단말(200)은 카메라(210), 거리 측정 센서(220), 측정 센서(230), 통신 모듈(240), 프로세서(250) 및 메모리(260)를 포함한다.

도시하지는 않았으나, 사용자 단말(200)의 구성은 상기 나열된 구성이나 각 구성요소의 명칭에 제한되지 않는다. 예컨대, 사용자 단말(200)에 전원을 공급하기 위한 배터리 등이 사용자 단말(200)에 포함될 수도 있다.

이하에서, 사용자 단말(200) 또는 프로세서(250)를 어플리케이션을 구동하여 제어, 지시 또는 기능의 주체로서 표현하나, 이는, 프로세서(250)가 메모리(260)에 저장된 인스트럭션 또는 어플리케이션을 구동하여 동작하는 것을 의미한다.

카메라(210)는 적어도 하나의 카메라를 포함할 수 있다. 카메라(210)는 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.

카메라(210)는 사용자 단말(200)의 전방 영상을 촬영할 수 있다. 일 예로, 구동형 촬영 보조 장치(100)의 회전 구동에 의하여, 카메라(210)의 촬영 방향이 회전할 수 있으며, 이를 통하여 360도 촬영이 가능하다. 카메라(210)의 360도 촬영은 실시예에 따라 다양하게 구현 가능하며, 예컨대, 소정 각도마다 이미지를 촬영하고, 프로세서(250)는 이들을 정합하여 360도 색상 이미지를 생성할 수 있다. 실시예에 따라, 360도 촬영을 위하여 360도 회전을 통하여 소정 각도마다 전방 이미지를 촬영하고 이들을 서버(300)에 제공하고 서버(300)에서 이들을 정합하여 360도 이미지를 생성할 수도 있다.

거리 측정 센서(220)는 사용자 단말(200)로부터 피사체의 거리를 측정할 수 있다. 예를 들어, 이러한 거리 측정 센서(220)로는, 라이다(LiDAR) 센서, 적외선 센서, 초음파 센서 등이 사용될 수 있다.

실시예에 따라서는, 거리 측정 센서(220)를 대체하여 거리 정보를 측정할 수 있는 스테레오 카메라(stereo camera), 스테레오스코픽 카메라(stereoscopic camera), 3D 깊이 카메라(3D, depth camera)로 구현될 수도 있다.

구동형 촬영 보조 장치(100)의 회전 구동에 의하여, 거리 측정 센서(220)의 측정 방향이 회전할 수 있으며, 이를 통하여 360도 측정이 가능하다. 거리 측정 센서(220)의 측정을 기초로 깊이 맵 이미지가 생성될 수 있다. 깊이 맵 이미지는, 피사 공간에 대하여 깊이 정보를 포함하는 이미지이다. 예컨대, 깊이 맵 이미지에서의 각 픽셀은, 촬상 지점에서 촬영된 피사 공간의 각 지점-각 픽셀에 대응되는 지점-까지의 거리 정보 일 수 있다.

일 실시예에서, 360도 색상 이미지 및 360도 깊이 맵 이미지는, 360도를 커버하기 위하여 적합한 파노라마 이미지, 예컨대, 등장방형 투영 파노라마 이미지일 수 있다.

관성 측정 센서(230)는 사용자 단말(200)의 관성적 특징을 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다.

일 예로, 관성 측정 센서(230)는 자이로 센서 및 가속도 센서를 포함할 수 있다. 관성 측정 센서(230)에 의하여 측정된 데이터를 이하, 관성 센싱 데이터라 칭한다.

통신 모듈(240)은, 사용자 단말(200)과 구동형 촬영 보조 장치(100) 사이, 또는 사용자 단말(200)와 서버(300) 사이의 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 이러한 통신 모듈(240)은 이동통신 모듈, 무선 인터넷 모듈 및 근거리 통신모듈 중 적어도 하나를 포함할 수 있다.

프로세서(250)는 메모리(260)에 저장된 응용 프로그램, 즉, 어플리케이션을 구동하기 위하여, 도 3에서 도시된 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(250)는 상기 응용 프로그램의 구동을 위하여, 모바일 단말(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다. 프로세서(250)는 메모리(260)에 저장된 인스트럭션들(instructions)을 실행하여 어플리케이션을 구동할 수 있다.

프로세서(250)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 사용자 단말(200)의 전반적인 동작을 제어한다. 프로세서(250)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(260)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다. 프로세서(250)는 하나의 프로세서 또는 복수의 프로세서로 구현 가능하다.

프로세서(250)는 전방 영상의 변화 및 관성 센싱 데이터의 변화량을 이용하여, 전방위 이미지가 획득된 실내 지점에 대한 상대적 이동 정보를 생성할 수 있다. 예컨대, 프로세서(250)는 실내 공간의 여러 촬영 지점의 각각에 대하여, 이전의 촬영 지점에서 해당 촬영 지점 까지의 전방 영상의 변화 및 관성 센싱 데이터의 변화량을 기초로, 이전의 촬영 지점에서 해당 촬영 지점까지의 상대적인 위치 변화를 생성하여 상대적 이동 정보로서 설정할 수 있다.

일 예로, 프로세서(250)는, 전방 영상에서 적어도 하나의 특징점을 추출하고, 추출된 상기 적어도 하나의 특징점의 변화를 기초로 모바일 단말의 시각적 이동 정보 -상기 시각적 이동 정보는 이동 방향 및 이동 거리 중 적어도 하나를 포함함- 를 생성할 수 있다.

일 예로, 프로세서(250)는, 관성 센싱 데이터의 변화량을 이용하여 모바일 단말의 관성적 이동 정보 -상기 관성적 이동 정보는 이동 방향 및 이동 거리 중 적어도 하나를 포함함- 를 생성하고, 관성적 이동 정보를 기초로 시각적 이동 정보를 검증하여 상기 상대적 이동 정보를 생성할 수 있다.

일 예로, 프로세서(250)는, 시각적 이동 정보에서 기 설정된 임계값-상기 임계값은 방향 전환의 임계값 및 이동 거리의 임계값 중 적어도 하나를 포함함- 을 초과하는 이상치 데이터가 발생하면, 시각적 이동 정보의 이상치 데이터에 대응되는 관성적 이동 정보의 데이터를 이상치 데이터와 비교하여, 이상치 데이터의 적용 여부를 판단할 수 있다.

프로세서(250)는 구동형 촬영 보조 장치(100)의 구동을 제어하여 구동형 촬영 보조 장치(100)의 회전부가 360도 회전하도록 제어할 수 있다. 도 7은 사용자 단말에서 수행되는 제어 방법의 일 예를 설명하는 도면으로서 도 7을 더 참조하여 설명한다. 프로세서(250)는 통신모듈(240)을 제어하여 구동형 촬영 보조 장치(100)와의 통신 연결, 예컨대, 근거리 무선 통신을 연결할 수 있다(S701). 프로세서(250)는, 360도 색상 이미지를 촬영하기 위하여, 촬영 보조장치의 회전 동작을 제어함과 함께 카메라를 촬영 제어하여 360도 촬영을 하도록 할 수 있다(S702). 또한, 프로세서(250)는 360도 깊이 맵 이미지를 촬영하기 위하여, 촬영 보조장치의 회전 동작을 제어함과 함께 거리측정 센서(220)의 구동을 제어하여 360도 측정을 하도록 할 수 있다(S703).

프로세서(250)는 카메라(210)에서 촬상된 이미지를 기초로 360도 색상 이미지를 생성하고, 거리 측정 센서(220)의 측정 데이터를 기초로 360도 깊이 맵 이미지를 생성할 수 있다. 다만 실시예에 따라, 이러한 360도 색상 이미지 또는 360도 깊이 맵 이미지의 생성은, 서버(300)에서 수행될 수도 있다.

일 실시예예서, 프로세서(250)는 구동형 촬영 보조 장치(100)에 의한 제1 회전 시 카메라의 촬영을 제어하여 360도 촬영을 수행하고, 제2 회전 시 거리 측정 센서(220)의 감지를 제어하여 360도 감지를 수행할 수 있다. 예컨대, 프로세서(250)는, 실내 공간의 어느 한 촬영 지점에서, 구동형 촬영 보조 장치(100)의 동작을 제어하여 사용자 단말의 촬영 방향이 360도로 제1 회전되도록 제어하여 어느 한 촬영 지점에서의 360도 색상 이미지를 생성할 수 있다. 프로세서(250)는, 구동형 촬영 보조 장치(100)의 동작을 제어하여 사용자 단말의 촬영 방향이 360도로 제2 회전되도록 제어하여 어느 한 촬영 지점에서의 360도 뎁스맵 이미지를 생성할 수 있다.

프로세서(250)는 실내 공간의 각각의 지점에 대한 상대적 거리 정보, 360도 색상 이미지-또는 이들을 생성하기 위한 복수의 색상 이미지- 및 360도 깊이 맵 이미지-또는 이들을 생성하기 위한 복수의 깊이 맵 이미지-를 하나의 데이터 셋, 즉, 촬영 데이터 셋으로 저장하고, 이를 서버(300)에 제공할 수 있다.

도 5는 실내 공간 내의 복수의 촬영 지점에서의 촬영 예를 설명하기 위한 도면이고, 도 6은 본 출원에 개시되는 일 실시예에 따른 사용자 단말에서 수행되는 제어 방법의 일 예를 설명하는 도면이다.

도 5 및 도 6을 참조하여, 사용자 단말에서 수행되는 촬영 데이터 셋 생성 방법에 대하여 설명한다.

도 5의 실내 공간에서는 총 4번의 촬영이 이루어졌음을 알 수 있으며, 이러한 촬영 지점의 이동은 사용자에 의하여 수행될 수 있다.

도 6을 참조하면, 사용자는 스타트 촬영 지점(SP)에서 360도 촬영을 수행할 수 있다. 예컨대, 사용자는 사용자 단말(200)에 표시되는 평면도에서 스타트 촬영 지점(SP)을 설정할 수 있다(S601).

사용자는 사용자 단말(200)에 설치된 소프트웨어를 통하여 촬영 명령을 입력할 수 있고, 사용자 단말(200)은 구동형 촬영 보조 장치(100)의 동작을 제어하여 360도 촬영 및 감지를 수행할 수 있다(S602).

사용자 단말(200)은 설정된 스타트 촬영 지점(SP)의 위치 정보 및 그 위치에서 촬영된 360도 색상 이미지 및 360도 깊이 이미지를 포함하여 스타트 촬영 지점(SP)에 대한 촬영 데이터 셋을 생성할 수 있다(S603).

이후, 사용자는 스타트 촬영 지점(SP)에서 제1 촬영 지점(P1)으로 이동할 수 있으며, 이러한 이동 간에 사용자 단말(200)의 카메라(210)는 이동 중 영상을 촬영할 수 있다. 사용자 단말(200)은 이동 중 영상에 대한 영상 변화와, 관성 센싱 데이터의 변화량을 기초로, 스타트 촬영 지점(SP)에서 제1 촬영 지점(P1) 까지의 상대적인 위치 변화를 생성하고 이를 상대적 이동정보로서 설정할 수 있다(S604).

사용자는 제1 촬영 지점(P1)에서 360도 촬영 및 센싱을 수행하도록 하여, 제1 촬영 지점(SP1)에 대한 360도 색상 이미지 및 360도 깊이 이미지를 생성하도록 할 수 있다(S605).

사용자 단말(200)은 생성된 360도 색상 이미지 및 360도 깊이 이미지에, 상대적 이동 정보를 포함하여 제1 촬영 지점(P1)에 대한 촬영 데이터 셋을 생성할 수 있다(S606).

이와 같은 과정은, 제2 촬영 지점 및 제3 촬영 지점에서도 계속 수행되고, 사용자에 의하여 촬영 종료가 설정되는 지점 -도시된 예에서는, 제3 촬영 지점-에서 모든 촬영 데이터 셋의 생성이 종료될 수 있다. 사용자 단말(200)은 생성한 모든 촬영 데이터 셋을 서버(300)에 송신할 수 있다.

이하, 도 8 내지 도 15를 참조하여, 서버(300)의 다양한 실시예에 대하여 설명한다.

도 8은 본 출원에 개시되는 일 실시예에 따른 서버를 설명하는 블록 구성도이다. 도 8을 참조하면, 서버(300)는 통신모듈(310), 메모리(320) 및 프로세서(330)를 포함할 수 있다. 그러나, 이와 같은 구성은 예시적인 것으로서, 본 개시를 실시함에 있어 이와 같은 구성에 더하여 새로운 구성이 추가되거나 일부 구성이 생략될 수 있음을 물론이다.

통신모듈(310)는 사용자 단말(200)과의 통신을 수행할 수 있다. 예컨대, 프로세서(330)는 통신모듈(310)를 통해 연결된 사용자 단말(200)로부터 각종 데이터 또는 정보를 수신할 수 있으며, 외부 장치로 각종 데이터 또는 정보를 전송할 수도 있다. 통신모듈(310)는 다양한 통신모듈이 적용가능 하며, 유선 통신 또는 무선 통신을 지원할 수 있다.

메모리(320)에는 전자장치(300)에 관한 적어도 하나의 명령이 저장될 수 있다. 메모리(320)에는 전자장치(300)를 구동시키기 위한 O/S(Operating System)가 저장될 수 있다. 또한, 메모리(320)에는 본 개시의 다양한 실시 예들에 따라 서버(300)가 동작하기 위한 각종 소프트웨어 프로그램이나 애플리케이션이 저장될 수 도 있다. 그리고, 메모리(320)는 플래시 메모리(Flash Memory) 등과 같은 반도체 메모리나 하드디스크(HardDisk) 등과 같은 자기 저장 매체 등을 포함할 수 있다.

구체적으로, 메모리(320)에는 본 개시의 다양한 실시 예에 따라 서버(300)가 동작하기 위한 각종 소프트웨어 모듈이 저장될 수 있으며, 프로세서(330)는 메모리(320)에 저장된 각종 소프트웨어 모듈을 실행하여 서버(300)의 동작을 제어할 수 있다. 즉, 메모리(320)는 프로세서(330)에 의해 액세스되며, 프로세서(330)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.

그 밖에도 본 개시의 목적을 달성하기 위한 범위 내에서 필요한 다양한 정보가 메모리(320)에 저장될 수 있으며, 메모리(320)에 저장된 정보는 외부 장치로부터 수신되거나 사용자에 의해 입력됨에 따라 갱신될 수도 있다.

프로세서(330)는 전자 장치(300)의 전반적인 동작을 제어한다. 구체적으로, 프로세서(330)는 상술한 바와 같은 통신모듈(310) 및 메모리(320)를 포함하는 전자 장치(300)의 다른 구성들과 전기적으로 연결되며, 메모리(320)에 저장된 적어도 하나의 명령을 실행하여 서버(300)의 동작을 전반적으로 제어할 수 있다.

프로세서(330)는 다양한 방식으로 구현될 수 있다. 예를 들어, 프로세서(330)는 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 임베디드 프로세서, 마이크로 프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(hardware Finite State Machine, FSM), 디지털 신호 프로세서(Digital Signal Processor, DSP) 중 적어도 하나로 구현될 수 있다. 한편, 본 개시에서 프로세서(330)라는 용어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 및 MPU(Main Processing Unit)등을 포함하는 의미로 사용될 수 있다.

도 9는 본 출원에 개시되는 일 실시예에 따른 서버에서 수행되는 제어 방법의 일 예를 설명하는 도면으로서, 도 9를 참조하여 프로세서(330)의 가상의 3차원 모델을 생성하는 동작에 대하여 설명한다.

프로세서(330)는 사용자 단말(200)로부터 현실 실내 공간 내의 복수의 촬영 지점 각각에 대한 복수의 촬영 데이터 셋을 수신할 수 있다(S901).

프로세서(330)는 복수의 촬영 지점의 각 촬영 지점에서 생성된 360도 색상 이미지와 360도 뎁스맵 이미지를 단위 픽셀의 위치 별로 연관하여, 각 단위 픽셀 별로 거리값 및 색상값을 설정하여 포인트 그룹을 생성할 수 있다(S902).

여기에서, 포인트 그룹은 각각의 촬영 지점마다 개별적으로 생성될 수 있다.

예컨대, 복수의 포인트 그룹은 각각의 촬영 지점마다 개별적으로 독립 좌표계를 기준으로 생성될 수 있다. 즉, 프로세서(330)는 각각의 촬영 지점에서 생성된 360도 색상 이미지와 360도 뎁스 맵 이미지를 단위 픽셀의 위치 별로 연관하여, 각각의 거리값과 색상값을 가지는 포인트를 생성하여 포인트 그룹을 생성할 수 있다. 이러한 포인트 그룹은 촬영 지점별로 개별로 하나씩 생성되며, 카메라의 위치가 일 축 상에 위치하는 3차원 절대 좌표계를 기초로 생성될 수 잇다.

프로세서(330)는 각각 독립 좌표계를 기준으로 생성된 복수의 포인트 그룹에 대하여 위치를 반영하여 하나의 좌표계에 반영하여, 하나의 통합 포인트 그룹을 형성할 수 있다. 예컨대, 프로세서(330)는 각각 독립 좌표계를 기준으로 생성된 복수의 포인트 그룹 각각에 대한 위치 정보, 즉, 상대적 위치 정보를 기초로 하나의 통합적인 절대 좌표계에 배치하여 통합 포인트 그룹을 형성할 수 있다(S903).

도 5의 예를 들면, 스타트 촬영 지점(SP)를, 통합적인 절대 좌표계, 예컨대, 통합 3축 좌표계의 기준 위치로 설정하고, 스타트 촬영 지점(SP)에서 제1 촬영 지점(P1)까지의 상대적 거리 정보를 반영하여 통합 3축 좌표계에서의 제1 촬영 지점(P1)의 절대 좌표 위치를 설정할 수 있다. 일 예로, 상대적 거리 정보는 절대 좌표계에서의 수평 평면(예컨대, X-Y평면)의 위치를 설정하는데 사용되고, 높이 정보(예컨대, Z축 값)은 카메라 높이 Hc로 모두 동일하게 설정될 수 있다.

프로세서(330)는 통합 포인트 그룹을 기초로 3차원 가상 모델을 생성할 수 있다. 예컨대, 프로세서(330)는 통합 포인트 그룹을 기초로 메쉬 네트워크를 생성할 수 있다(S904).

메쉬 네트워크는 통합 포인트 그룹을 기초로 설정되며, 통합 포인트 그룹을 단위 공간으로 구획하고, 단위 공간 마다 하나의 메쉬 포인트를 생성하고 이러한 메쉬 포인트를 인접한 메쉬 포인트와 연결함으로서 생성될 수 있다. 일 예로 메쉬 포인트는 단위 공간을 대표하는 -예컨대, 단위 공간의 평균에 가장 가까운- 단위 공간 내의 어느 하나의 포인트로 설정될 수 있다. 다른 예로, 메쉬 포인트는 단위 공간 내에 존재하는 복수의 포인트들의 평균적인 값-예컨대, 위치값 및 색상값-을 산출하여 설정될 수 있다.

프로세서(330)는 생성된 메쉬 네트워크를 기초로, 복수의 메쉬 포인트를 꼭지점으로 하는 페이스를 다수 개 설정하여, 3차원 메쉬 모델을 생성할 수 있다. 예컨대, 인접한 3개의 메쉬 포인트를 연결하여 삼각형 형상의 페이스를 복수개 생성함으로써, 3차원 메쉬 모델을 생성할 수 있다.

프로세서(330)는, 생성된 메쉬 네트워크, 즉, 3차원 메쉬 모델에 포함된 복수의 페이스 각각에 대하여, 360도 색상 이미지를 이용하여 텍스처링하여 3차원 가상 모델을 생성할 수 있다(S905).

이러한 텍스처링의 수행 시, 카메라의 사각지대에 있는 영역에 대해서는 텍스처링이 수행되지 않을 수 있다. 이러한 경우, 텍스처링이 수행되지 않은 페이스는 홀(Hole)로서 남아 있으며, 프로세서(330)는 이러한 홀을 채우는 과정을 수행할 수 있다. 예컨대, 프로세서(330)는, 메쉬 네트워크, 즉, 3차원 메쉬 모델에 포함된 복수의 페이스 중에서 360도 색상 이미지에 대응되지 않아 홀(Hole)로 남아있는 적어도 하나의 페이스에 대하여, 포인트 그룹의 포인트 색상을 기초로 색상을 설정할 수 있다.

여기에서, 포인트 그룹에 포함되는 포인트는 전술한 바와 같이, 360도 색상 이미지를 기초로 색상값을 가지므로, 이러한 색상값을 이용하여 페이스의 색상을 설정할 수 있다. 예컨대, 포인트 그룹 내의 포인트를 기초로 메쉬 포인트의 색상을 결정할 수 있고, 홀로 표현되는 페이스는 그러한 페이스를 구성하는 복수의 꼭지점 메쉬 포인트를 가진다. 따라서, 홀 페이스의 복수의 꼭지점 메쉬 포인트의 색상을 기초로 색상을 확장하여-예컨대, 삼각형 페이스의 경우, 각 꼭지점의 색상을 기초로 페이스로의 색상을 확장하여- 페이스의 색상을 결정할 수 있다. 이러한 색상의 확장은 서로 다른 색을 가지는 두 점 사이에서 그라데이션 형태로 중간색을 포함하도록 변화하는 것 등으로 설정될 수 있다.

도 10은 본 출원에 개시되는 일 실시예에 따른 서버에서 수행되는 제어 방법의 다른 일 예를 설명하는 도면으로서, 도 10은 서버에서 수행되는 텍스처링 방법의 일 실시예를 설명하며, 도 11 내지 도 15의 예를 참조하여 이하에서 설명한다.

프로세서(330)는, 3차원 메쉬 모델에 포함된 복수의 페이스 중 어느 하나인 제1 페이스를 선택하고, 제1 페이스와 연관된 복수의 360도 색상 이미지(이하, 색상 이미지로 통칭함) 중에서 제1 페이스에 적합한 어느 하나의 제1 색상 이미지를 선택할 수 있다(S1001).

여기에서, 제1 페이스와 연관된 색상 이미지를 선정함에 있어서, 프로세서(330)는, 제1 페이스에 수직하는 단위 벡터를 산출하고 이를 기반으로 해당 단위 벡터에 대응되는 촬영 각도를 가지는 적어도 하나의 색상 이미지를, 해당 페이스와 연관된 색상 이미지로서 선정할 수 있다. 이는, 색상 이미지의 촬영 시, 해당 색상 이미지의 촬영 각도에 대한 정보가 함께 생성되므로, 색상 이미지에 대한 촬영 높이 및 촬영 각도 정보를 기초로 제1 페이스와 연관된, 즉, 제1 페이스가 찍혀있는 색상 이미지를 선정할 수 있다. 예컨대, 프로세서(330)는 제1 페이스에 수직하는 단위 벡터와, 그에 소정 각도 내에서 대향하는, 즉, 소정 각도 내로 서로 마주보는 촬영 각도를 가지는 색상 이미지를, 해당 페이스와 연관된 색상 이미지로서 선정할 수 있다.

프로세서(330)는 페이스와 연관된 색상 이미지 중에서, 해당 페이스에 적합한 어느 하나의 색상 이미지를 선별할 수 있다. 예컨대, 프로세서(330)는 연관된 색상 이미지 각각에 대하여 복수의 가중치 요소를 산출한 후 이를 기초로 가중치를 산정한 후, 가중치를 기초로 어느 하나의 색상 이미지를 선택할 수 있다.

일 예로, 제1 페이스에 매칭되는 제1 색상 이미지는, 3차원 메쉬 모델과 연관된 복수의 색상 이미지 중에서 제1 페이스에 대한 촬영 방향, 해상도 및 컬러 노이즈를 기준으로 평가하여 선별될 수 있다.

프로세서(330)는 선택된 어느 하나의 선택된 어느 하나의 색상 이미지에서, 제1 페이스에 대응되는 로컬 영역을 선택하여 제1 페이스에 매핑하여 텍스처링을 수행할 수 있다(S1002).

프로세서(330)는 각각의 색상 이미지의 촬영 위치에 대한 정보를 가지고 있으므로, 각각의 색상 이미지에서의 각 객체와 3D 메쉬 모델의 각 객체를 서로 투영하여 매핑할 수 있다. 따라서, 이러한 2차원 색상 이미지와 3차원 메쉬 모델의 투영 매핑을 기초로, 해당 페이스에 대응되는 2차원 색상 이미지에서의 로컬 영역을 선택할 수 있다.

프로세서(330)는 3차원 메쉬 모델의 모든 페이스에 대하여, 상술한 단계 S1001 내지 S1002를 반복하여, 각 페이스에 대하여 색상 정보를 생성하여 텍스처링을 수행할 수 있다(S1003). 이와 같이 생성된 3D 모델은 각 색상 이미지 간의 색상 보정이 이루어지지 않은 상태이므로, 동일한 면에 대해서도 얼룩이 발생할 수 있다. 이는 전술한 바와 같이, 실내의 각 촬영 지점에서의 촬영 환경이 상이하기 때문이다.

프로세서(330)는, 이러하니 실내의 각 촬영 지점에서의 촬영 환경에 의한 색상 차이를 보정하기 위하여, 컬러 조정을 수행할 수 있다(S1004).

도 11은 일 예로서 실내 공간 내의 육면체 피사체, 이에 대하여 실내의 제1 촬영 지점 PP1과 제2 촬영 지점 PP2를 도시하는 사시도이다. 도 12의 그림 (a)는 제1 촬영 지점 PP1에서 촬영된 색상 이미지의 일 예를, 도 12의 그림 (b)는 제2 촬영 지점 PP2에서 촬영된 색상 이미지의 일 예를 도시한다.

도 12의 그림 (a) 및 그림 (b)는 동일한 피사체에 촬영하였으나, 그림 (b)에서는 음영에 의한 색상 변화가 발생한 예를 도시하고 있다.

프로세서(330)는, 3차원 메쉬 모델의 제1 페이스에 대한 기준 벡터, 즉, 제1 페이스에 수직하는 제1 방향 벡터 Vfc1를 설정할 수 있다.

프로세서(330)는 제1 페이스와 연관된 복수의 색상 이미지에 대해, 제1 방향 벡터와 방향적 연관성을 가지는 제1 가중치 요소를 각각 산정할 수 있다.

프로세서(330)는 제1 페이스와 연관된 복수의 색상 이미지들의 촬영 방향을 확인하고, 제1 페이스의 제1 방향 벡터와 상기 촬영 방향 간의 방향적 연관성을 기초로 제1 가중치 요소를 산정할 수 있다. 예컨대, 제1 페이스의 제1 방향 벡터와 촬영 방향 간의 각도가 적을수록 보다 높은 가중치 요소가 산정될 수 있다.

프로세서(330)는 제1 페이스와 연관된 복수의 색상 이미지에 대해, 해상도에 대한 제2 가중치 요소를 각각 산정할 수 있다.

일 예로, 프로세서(330)는 상기 복수의 색상 이미지 자체에 대한 해상도를 확인하고, 이를 기반으로 제2 가중치 요소를 산정할 수 있다. 즉, 높은 해상도를 가질수록 높은 제2 가중치 요소를 가지도록 산정할 수 있다.

다른 예로, 프로세서(330)는 텍스처링의 대상이 되는 객체 또는 해당 객체의 일부인 페이스를 식별하고, 식별된 객체 또는 페이스의 해상도를 기초로 제2 가중치 요소를 산정할 수 있다. 이러한 객체 또는 페이스에 대한 해상도는 촬영 지점에서의 객체간의 거리에 반비례하여 설정되므로, 거리 상 유리한 색상 이미지에게 높은 제2 가중치가 부여된다.

프로세서(330)는 제1 페이스와 연관된 복수의 색상 이미지에 대해, 컬러 노이즈에 대한 제3 가중치 요소를 각각 산정할 수 있다.

프로세서(330)는 각 색상 이미지에 대하여 컬러 노이즈를 산출할 수 있다. 컬러 노이즈를 산출하기 위하여, DCGAN(Deep Convolutional Generative Adversarial Network)을 이용한 비지도 학습, Enlighten GAN을 이용한 방법 등 다양한 방법론들이 적용될 수 있다.

프로세서(330)는 컬러 노이즈가 적을수록 높은 제3 가중치 요소가 부여되도록 할 수 있다.

프로세서(330)는 제1 가중치 요소 내지 제3 가중치 요소를 반영하여, 상기 복수의 색상 이미지 각각에 대하여 가중치를 산출할 수 있다. 프로세서(330)는 가장 높은 가중치를 가지는 하나의 색상 이미지를, 제1 페이스와 매핑되는 제1 이미지로서 선정할 수 있다.

제1 가중치 요소 내지 제3 가중치 요소의 반영에는 다양한 알고리즘이 적용 가능하다. 예컨대, 프로세서(330)는 제1 가중치 요소 내지 제3 가중치 요소를 단순 합산하거나, 또는 이들의 평균을 도출하는 등 다양한 방식으로 가중치를 산정할 수 있다.

상술한 예에서는 제1 가중치 요소 내지 제3 가중치 요소를 모두 반영하는 것을 예시하였으나, 이에 한정되는 것은 아니다. 따라서, 제1 가중치 요소와 제2 가중치 요소를 기초로 가중치를 산정하거나, 또는 제1 가중치 요소와 제3 가중치 요소를 기초로 가중치를 산정하는 등의 변형 실시가 가능하다. 다만 이러한 변형에 있어서도, 제1 가중치 요소를 포함하는 것이 보다 높은 성능을 제공하는 요소이다.

도 13은 육면체 중 제1 페이스(Fc1)에 수직하는 제1 방향 벡터를 설정하는 예를 도시하고 있다. 도 13과 도 11에 도시된 예를 참조하면, 제1 촬영 지점 PP1이, 제2 촬영 지점 PP2보다 높은 제1 가중치를 가질 것을 알 수 있다.

도 14의 그림 (a)는 제1 촬영 지점 PP1에서의 색상 이미지에서 제1 페이스에 대응하는 로컬 영역(P1Fc1)을, 그림 (b)는 제2 촬영 지점 PP2에서의 색상 이미지에서 제1 페이스에 대응하는 로컬 영역(P2Fc1)을 예시하고 있다.

도 14를 참조하면, 그림 (a)에 도시된, 제1 촬영 지점 PP1에서의 색상 이미지가, 그림 (b)에 도시된, 제2 촬영 지점 PP2에서의 색상 이미지 보다 높은 해상도를 가지므로 제2 가중치 요소가 더 높을 것을 알 수 있다. 이러한 해상도는 해당 페이스의 크기를 기초로 설정될 수 있다.

컬러 노이즈는 도 14의 그림 (b)에 도시된 제2 촬영 지점 PP2에서의 색상 이미지에서 보다 높게 설정될 것이므로, 따라서, 그림 (a)에 도시된 제1 촬영 지점 PP1가 더 높은 제3 가중치 요소를 가질 것이다.

따라서, 제1 페이스에 대해서는 제1 촬영 지점 PP1에서의 색상 이미지가 선택될 것이고, 제1 촬영 지점 PP1에서의 색상 이미지에서의 로컬 영역(P1Fc1)을 제1 페이스에 매칭하여 제1 페이스에 대하여 텍스처링이 수행된 것을 도 15에서 도시하고 있다.

이상에서 설명한 본 출원은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고 후술하는 특허청구범위에 의해 한정되며, 본 출원의 구성은 본 출원의 기술적 사상을 벗어나지 않는 범위 내에서 그 구성을 다양하게 변경 및 개조할 수 있다는 것을 본 출원이 속하는 기술 분야에서 통상의 지식을 가진 자는 쉽게 알 수 있다.

100 : 구동형 촬영 보조 장치
110 : 회전부 120 : 본체부
121 : 모터부 122 : 제어부
123 : 통신부
200 : 사용자 단말
210 : 카메라 220 : 거리 측정센서
230 : 관성 측정센서 240 : 통신모듈
250 : 프로세서 260 : 메모리
300 : 서버
310 : 통신모듈 320 : 프로세서
330 : 메모리

Claims

현실 실내 공간 내의 복수의 촬영 지점의 각 지점에 대하여, 이전의 촬영 지점에서 해당 촬영 지점까지의 상대적 이동 정보를 도출하여 해당 촬영 지점에 대한 위치 정보를 생성하고, 해당 촬영 지점을 기준으로 생성된 360도 색상 이미지 및 360도 깊이 맵 이미지를 생성하여 해당 촬영 지점에 대한 촬영 데이터 셋을 생성하는 사용자 단말; 및
상기 사용자 단말로부터 상기 현실 실내 공간 내의 복수의 촬영 지점 각각에 대한 복수의 촬영 데이터 셋을 수신하고, 상기 복수의 촬영 지점의 각 촬영 지점에서 생성된 360도 색상 이미지와 360도 깊이 맵 이미지를 단위 픽셀의 위치 별로 연관하여, 각 단위 픽셀 별로 거리값 및 색상값을 설정하여 포인트 그룹을 생성하는 서버; 를 포함하고,
상기 사용자 단말은,
상기 실내 공간의 이전의 촬영 지점에서 상기 해당 촬영 지점 까지의 상기 사용자 단말의 이동에 의하여 발생하는 전방 영상의 변화 및 관성 센싱 데이터의 변화량을 이용하여, 상기 이전의 촬영 지점에서 상기 해당 촬영 지점까지의 상기 상대적 이동 정보를 설정하고,
상기 포인트 그룹은 각각의 촬영 지점마다 개별적으로 생성되고,
상기 서버는, 상기 복수의 촬영 지점마다 각각 개별적으로 생성된 복수의 포인트 그룹을 상기 위치 정보를 기준으로 위치적으로 연관하여 하나의 통합 포인트 그룹을 형성하고, 상기 통합 포인트 그룹을 기초로 3차원 가상 모델을 생성하는,
3차원 가상모델 제공 시스템.
제1항에 있어서, 상기 3차원 가상모델 제공 시스템은,
상기 사용자 단말이 거치되고, 상기 사용자 단말의 제어에 따라 동작하여 상기 사용자 단말의 촬영 방향을 360도로 회전시키는 구동형 촬영 보조 장치; 를 더 포함하는,
3차원 가상모델 제공 시스템.
제2항에 있어서, 상기 사용자 단말은,
어느 한 촬영 지점에서, 상기 구동형 촬영 보조 장치의 동작을 제어하여 상기 사용자 단말의 촬영 방향이 360도로 제1 회전되도록 제어하여 상기 어느 한 촬영 지점에서의 360도 색상 이미지를 생성하고,
상기 구동형 촬영 보조 장치의 동작을 제어하여 상기 사용자 단말의 촬영 방향이 360도로 제2 회전되도록 제어하여 상기 어느 한 촬영 지점에서의 360도 깊이 맵 이미지를 생성하는,
3차원 가상모델 제공 시스템.
제2항에 있어서, 상기 사용자 단말은,
전방 영상에서 적어도 하나의 특징점을 추출하고, 추출된 상기 적어도 하나의 특징점의 변화를 기초로 상기 사용자 단말의 시각적 이동 정보를 생성하고, 상기 관성 센싱 데이터의 변화량을 이용하여 상기 시각적 이동 정보를 검증하여 상기 상대적 이동 정보를 생성하는,
3차원 가상모델 제공 시스템.
제1항에 있어서,
상기 복수의 포인트 그룹은
각각의 촬영 지점마다 개별적으로 독립 좌표계를 기준으로 생성되고,
상기 서버는,
각각 독립 좌표계를 기준으로 생성된 상기 복수의 포인트 그룹을 상기 위치 정보를 기초로 하나의 통합적인 절대 좌표계에 배치하여 상기 통합 포인트 그룹을 형성하는,
3차원 가상모델 제공 시스템.
제1항에 있어서, 상기 서버는,
상기 통합 포인트 그룹을 기초로 3차원 메쉬 모델을 생성하고, 생성된 3차원 메쉬 모델에 포함된 복수의 페이스 각각을 360도 색상 이미지를 이용하여 텍스처링하여 상기 3차원 가상 모델을 생성하는,
3차원 가상모델 제공 시스템.
제6항에 있어서, 상기 서버는,
상기 3차원 메쉬 모델에 포함된 복수의 페이스 중 360도 색상 이미지에 대응되지 않아 홀(Hole)로 남아있는 적어도 하나의 페이스에 대하여, 상기 포인트 그룹의 포인트 색상을 기초로 색상을 설정하는,
3차원 가상모델 제공 시스템.
사용자 단말 및 상기 사용자 단말과 연동하여 현실 실내 공간에 대응되는 가상의 3차원 모델을 제공하는 서버를 포함하는 시스템에서 수행되는 3차원 가상 모델 생성 방법으로서,
상기 사용자 단말이, 상기 현실 실내 공간 내의 복수의 촬영 지점 각각에서 복수의 촬영 데이터 셋을 생성하여 상기 서버에 제공하는 단계;
- 촬영 데이터 셋은, 상기 복수의 촬영 지점 중 어느 한 촬영 지점을 기준으로 생성된 360도 색상 이미지, 상기 어느 한 촬영 지점을 기준으로 생성된 360도 깊이 맵 이미지 및 이전 촬영 지점로부터 상기 어느 한 촬영 지점까지의 상대적 이동 정보를 기초로 도출되는 위치 정보를 포함함-
상기 서버가, 상기 복수의 촬영 지점의 각 촬영 지점에서 생성된 360도 색상 이미지와 360도 깊이 맵 이미지를 단위 픽셀의 위치 별로 연관하여, 각 단위 픽셀 별로 거리값 및 색상값을 설정하여 포인트 그룹을 생성 -상기 포인트 그룹은 각각의 촬영 지점마다 개별적으로 생성됨- 하는 단계; 및
상기 서버가, 상기 복수의 촬영 지점마다 개별적으로 생성된 복수의 포인트 그룹을 상기 위치 정보를 기준으로 위치적으로 연관하여 하나의 통합 포인트 그룹을 형성하는 단계; 를 포함하고,
상기 사용자 단말이 상기 현실 실내 공간 내의 복수의 촬영 지점 각각에서 복수의 촬영 데이터 셋을 생성하여 상기 서버에 제공하는 단계는,
상기 이전의 촬영 지점에서 상기 어느 한 촬영 지점 까지의 상기 사용자 단말의 이동에 의하여 발생하는 전방 영상의 변화 및 관성 센싱 데이터의 변화량을 이용하여, 상기 이전의 촬영 지점에서 상기 어느 한 촬영 지점까지의 상기 상대적 이동 정보를 설정하는 단계;를 포함하는,
3차원 가상 모델 제공 방법.
제8항에 있어서, 상기 시스템은,
상기 사용자 단말이 거치되고, 상기 사용자 단말의 제어에 따라 동작하여 상기 사용자 단말의 촬영 방향을 360도로 회전시키는 구동형 촬영 보조 장치; 를 더 포함하는,
3차원 가상 모델 제공 방법.
제9항에 있어서,
상기 사용자 단말이 상기 현실 실내 공간 내의 복수의 촬영 지점 각각에서 복수의 촬영 데이터 셋을 생성하여 상기 서버에 제공하는 단계는,
상기 사용자 단말이, 어느 한 촬영 지점에서, 상기 구동형 촬영 보조 장치의 동작을 제어하여 상기 사용자 단말의 촬영 방향이 360도로 제1 회전되도록 제어하여 상기 어느 한 촬영 지점에서의 360도 색상 이미지를 생성하는 단계; 및
상기 사용자 단말이, 상기 구동형 촬영 보조 장치의 동작을 제어하여 상기 사용자 단말의 촬영 방향이 360도로 제2 회전되도록 제어하여 상기 어느 한 촬영 지점에서의 360도 깊이 맵 이미지를 생성하는 단계; 를 포함하는,
3차원 가상 모델 제공 방법.
제8항에 있어서, 상기 복수의 포인트 그룹은
각각의 촬영 지점마다 개별적으로 독립 좌표계를 기준으로 생성되고,
상기 서버는,
각각 독립 좌표계를 기준으로 생성된 상기 복수의 포인트 그룹을 상기 위치 정보를 기초로 하나의 통합적인 절대 좌표계에 배치하여 상기 통합 포인트 그룹을 형성하는,
3차원 가상 모델 제공 방법.
제8항에 있어서, 상기 3차원 모델 생성 방법은,
상기 서버가, 상기 통합 포인트 그룹을 기초로 3차원 메쉬 모델을 생성하고, 생성된 3차원 메쉬 모델에 포함된 복수의 페이스 각각을 360도 색상 이미지를 이용하여 텍스처링하여 상기 3차원 가상 모델을 생성하는 단계; 를 더 포함하는,
3차원 가상 모델 제공 방법.
제13항에 있어서, 상기 3차원 모델 생성 방법은,
상기 3차원 메쉬 모델에 포함된 복수의 페이스 중 360도 색상 이미지에 대응되지 않아 홀(Hole)로 남아있는 적어도 하나의 페이스에 대하여, 상기 포인트 그룹의 포인트 색상을 기초로 색상을 설정하는 단계; 를 더 포함하는,
3차원 가상 모델 제공 방법.