KR20240045736A - 3차원 가상모델 생성 방법 및 그를 위한 컴퓨팅 장치 - Google Patents

Abstract

본 출원의 일 기술적 측면에 따른 3차원 가상모델 생성 방법은, 실내 공간의 복수의 촬영 지점에서 각각 생성되는 복수의 데이터 셋-상기 데이터 셋은 색상 이미지, 깊이 이미지 및 각 지점의 위치 정보를 포함함-을 기초로 3차원 가상모델을 생성하는 컴퓨팅 장치에서 수행 가능한 방법으로서, 상기 실내 공간의 복수의 촬영 지점에서 각각 생성된 복수의 데이터 셋을 기초로 3차원 메쉬 모델을 생성하는 단계, 상기 3차원 메쉬 모델에 포함된 복수의 페이스 각각에 대하여, 해당 페이스와 연관되는 복수의 색상 이미지 중 어느 하나를 선택하고, 선택된 어느 하나의 색상 이미지 중에서 해당 페이스에 대응되는 로컬 영역을 해당 페이스에 매핑하여 텍스처링을 수행하는 단계 및 적합한 색상 이미지의 선택되지 않아 홀로 표시되는 홀 페이스를 선택하고, 선택된 홀 페이스와 연관된 복수의 연관 버텍스를 확인하고, 확인된 복수의 연관 버텍스의 색상을 기초로 보간하여 상기 홀 페이스의 색상을 설정하는 단계를 포함할 수 있다.

Description

3차원 가상모델 생성 방법 및 그를 위한 컴퓨팅 장치 {Texturing method for generating 3D virtual model and computing device therefor}

본 출원은 실내 공간에 대한 3차원 가상모델 생성 방법 및 그를 위한 컴퓨팅 장치에 관한 것이다.

근래에 들어서는 실제 공간에 대응되는 온라인 상의 가상 공간을 제공받음으로써, 사용자가 직접 실제 공간에 방문하지 않고서도 실제 공간에 있는 듯한 체험이 가능한 가상공간 구현기술이 개발되고 있다.

이러한 현실공간 기반의 가상 기술은 디지털 트윈 또는 메타버스(metaverse) 구현을 위한 기술로서, 다양한 개발이 이루어지고 있다.

이러한 가상공간을 구현하기 위해서는, 구현하고자 하는 실제 공간을 대상으로 촬영된 평면 이미지를 획득하고, 이를 기초로 입체적인 가상 이미지, 즉, 3차원 가상모델을 생성하여 가상 공간을 제공하는 과정이 필요하다.

이러한 3차원 가상모델은 실내 공간 내부의 여러 지점에서 촬영된 데이터를 기초로 생성된다. 이러한 경우, 3차원 가상모델을 구성하기 위해서, 실내 공간의 여러 지점에서 360도로 취득된 색상 및 거리 데이터들을 수집하고, 이를 기반으로 3차원 가상모델을 생성한다.

이러한 3차원 가상모델은 실내 공간에 대한 촬영을 기초로 생성되므로, 촬영 시 카메라의 사각 지역에 대해서는 이미지 데이터를 가질 수 없어 홀이 발생하는 문제가 있다.

본 출원의 일 기술적 측면은 상기한 종래 기술의 문제점을 해결하기 위한 것으로, 본 출원에 개시되는 일 실시예에 따르면, 촬영 시 카메라의 사각 지역에 의하여 발생하는 홀 페이스를 효과적으로 채우는 것을 목적으로 한다.

본 출원에 개시되는 일 실시예에 따르면, 실내의 여러 지점에서 생성된 복수의 이미지 중에서 3D 모델의 페이스에 적합한 이미지를 효과적으로 선택하는 것을 목적으로 한다.

본 출원에 개시되는 일 실시예에 따르면, 실내의 여러 다른 지점 간의 상이한 촬영 조건에 의하여 발생하는 칼라 불균형을 보다 정확하게 보상하는 것을 목적으로 한다.

본 출원의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 출원의 일 기술적 측면은 3차원 가상모델 생성 방법을 제안한다. 상기 3차원 가상모델 생성 방법은, 실내 공간의 복수의 촬영 지점에서 각각 생성되는 복수의 데이터 셋-상기 데이터 셋은 색상 이미지, 깊이 이미지 및 각 지점의 위치 정보를 포함함-을 기초로 3차원 가상모델을 생성하는 컴퓨팅 장치에서 수행 가능한 방법으로서, 상기 실내 공간의 복수의 촬영 지점에서 각각 생성된 복수의 데이터 셋을 기초로 3차원 메쉬 모델을 생성하는 단계, 상기 3차원 메쉬 모델에 포함된 복수의 페이스 각각에 대하여, 해당 페이스와 연관되는 복수의 색상 이미지 중 어느 하나를 선택하고, 선택된 어느 하나의 색상 이미지 중에서 해당 페이스에 대응되는 로컬 영역을 해당 페이스에 매핑하여 텍스처링을 수행하는 단계 및 적합한 색상 이미지의 선택되지 않아 홀로 표시되는 홀 페이스를 선택하고, 선택된 홀 페이스와 연관된 복수의 연관 버텍스를 확인하고, 확인된 복수의 연관 버텍스의 색상을 기초로 보간하여 상기 홀 페이스의 색상을 설정하는 단계를 포함할 수 있다.

본 출원의 다른 일 기술적 측면은 컴퓨팅 장치를 제안한다. 상기 컴퓨팅 장치는, 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 실내 공간의 복수의 촬영 지점에서 각각 생성된 복수의 데이터 셋-상기 데이터 셋은 색상 이미지, 깊이 이미지 및 각 지점의 위치 정보를 포함함-을 기초로 3차원 메쉬 모델을 생성하고, 상기 3차원 메쉬 모델에 포함된 복수의 페이스 각각에 대하여, 해당 페이스와 연관되는 복수의 색상 이미지 중 어느 하나를 선택하고, 선택된 어느 하나의 색상 이미지 중에서 해당 페이스에 대응되는 로컬 영역을 해당 페이스에 매핑하여 텍스처링을 수행하고, 적합한 색상 이미지의 선택되지 않아 홀로 표시되는 홀 페이스를 선택하고, 선택된 홀 페이스와 연관된 복수의 연관 버텍스를 확인하고, 확인된 복수의 연관 버텍스의 색상을 기초로 보간하여 상기 홀 페이스의 색상을 설정 할 수 있다.

본 출원의 다른 일 기술적 측면은 저장 매체를 제안한다. 상기 저장 매체는, 컴퓨터 판독 가능한 인스트럭션들(instructions)을 저장하고 있는 저장 매체이다. 상기 인스트럭션들은, 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금, 상기 실내 공간의 복수의 촬영 지점에서 각각 생성된 복수의 데이터 셋-상기 데이터 셋은 색상 이미지, 깊이 이미지 및 각 지점의 위치 정보를 포함함-을 기초로 3차원 메쉬 모델을 생성하는 동작, 상기 3차원 메쉬 모델에 포함된 복수의 페이스 각각에 대하여, 해당 페이스와 연관되는 복수의 색상 이미지 중 어느 하나를 선택하고, 선택된 어느 하나의 색상 이미지 중에서 해당 페이스에 대응되는 로컬 영역을 해당 페이스에 매핑하여 텍스처링을 수행하는 동작 및 적합한 색상 이미지의 선택되지 않아 홀로 표시되는 홀 페이스를 선택하고, 선택된 홀 페이스와 연관된 복수의 연관 버텍스를 확인하고, 확인된 복수의 연관 버텍스의 색상을 기초로 보간하여 상기 홀 페이스의 색상을 설정하는 동작을 수행하도록 할 수 있다.

상기한 과제의 해결 수단은, 본 출원의 특징을 모두 열거한 것은 아니다. 본 출원의 과제 해결을 위한 다양한 수단들은 이하의 상세한 설명의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.

본 출원에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.

본 출원에 개시되는 일 실시예에 따르면, 포인트 클라우드의 포인트의 색상을 이용하여 홀 페이스를 채움으로써, 홀 페이스를 효율적인 리소스로 정확하게 채울 수 있는 효과가 있다.

본 출원에 개시되는 일 실시예에 따르면, 3D 모델의 페이스에 적합한 이미지를 효과적으로 선택함으로써, 실내에서 서로 이격된 여러 지점에서 촬영되는 이미지를 기반으로 하는 3D 생성 환경에서도 보다 정확한 텍스처링을 제공할 수 있는 효과가 있다.

본 출원에 개시되는 일 실시예에 따르면, 실내의 여러 다른 지점 간의 상이한 촬영 조건에 의하여 발생하는 칼라 불균형을 정확하게 보상하여, 가상의 실내 공간의 각 면에 대하여 이질감을 최소화하고 보다 실제 공간과 유사한 가상 공간의 텍스처를 제공할 수 있는 효과가 있다.

본 출원의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 출원에 개시되는 일 실시예에 따른 3차원 가상모델 생성 방법을 제공하는 시스템을 설명하기 위한 하나의 예시 도면이다.
도 2는 본 출원에 개시되는 일 실시예에 따른 컴퓨팅 장치를 설명하는 블록 구성도이다.
도 3은 본 출원에 개시되는 일 실시예에 따른 3차원 가상모델 생성 방법을 설명하는 순서도이다.
도 4 내지 도 7은 본 출원에 개시되는 일 실시예에 따른 색상 이미지의 취득 예를 설명하는 도면이다.
도 8은 본 출원에 개시되는 일 실시예에 따른 3차원 가상모델 생성을 위한 색상 이미지 선정 방법을 설명하는 순서도이다.
도 9 내지 도 12는 본 출원에 개시되는 일 실시예에 따른 색상 이미지의 선정 예를 설명하는 도면이다.
도 13은 본 출원에 개시되는 일 실시예에 따른 3차원 가상모델 생성을 위한 언씬 페이스 설정 방법을 설명하는 순서도이다.
도 14 내지 도 15는 본 출원에 개시되는 일 실시예에 따른 언씬 페이스 설정 예를 설명하는 도면이다.
도 16은 본 출원에 개시되는 일 실시예에 따른 3차원 가상모델 생성을 위한 색상 보정 방법을 설명하는 순서도이다.
도 17 내지 도 18은 본 출원에 개시되는 일 실시예에 따른 색상 보정 예를 설명하는 도면이다.
도 19는 본 출원에 개시되는 일 실시예에 따른 3차원 가상모델 생성을 위한 언 씬 영역 텍스처링 방법을 설명하는 순서도이다.
도 20은 본 출원에 개시되는 일 실시예에 따른 언 씬 영역 텍스처링 예를 설명하는 도면이다.

이하, 첨부된 도면을 참조하여 본 출원의 바람직한 실시 형태들을 설명한다.

그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다

본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.

본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 출원에서, "A 또는 B", "A 및 B 중 적어도 하나","A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나" 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다.

"제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예를 들어, 중요성 또는 순서)에서 한정하지 않는다.

어떤(예를 들어, 제 1) 구성요소가 다른(예를 들어, 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드", "커넥티드" 또는 "연결된" 이라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.

본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것 만을 반드시 의미하지 않을 수 있다.

대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.

실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다

본 출원의 다양한 실시 예들은 기기(machine)-예를 들어, 사용자 단말(500)이나 컴퓨팅 장치(300)-에 의해 읽을 수 있는 저장 매체(storage medium)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예를 들어, 프로그램)로서 구현될 수 있다. 예를 들면, 프로세서(301)는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 장치가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예를 들어, 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.

본 출원의 실시형태를 설명하기 위하여 다양한 순서도가 개시되고 있으나, 이는 각 단계 또는 동작의 설명의 편의를 위한 것으로, 반드시 순서도의 순서에 따라 각 단계가 수행되는 것은 아니다. 즉, 순서도에서의 각 단계는, 서로 동시에 수행되거나, 순서도에 따른 순서대로 수행되거나, 또는 순서도에서의 순서와 반대의 순서로도 수행될 수 있다.

도 1은 본 출원에 개시되는 일 실시예에 따른 3차원 가상모델 생성 방법을 제공하는 시스템을 설명하기 위한 하나의 예시 도면이다.

3차원 가상모델 생성 방법을 제공하는 시스템은 이미지 취득 장치(100), 컴퓨팅 장치(300) 및 사용자 단말기(500)를 포함할 수 있다.

이미지 취득 장치(100)는 구형 가상 이미지를 생성하는데 사용되는, 색상 이미지 및 깊이 맵 이미지를 생성하는 장치이다.

도시된 예에서, 이미지 취득 장치(100)는 거리측정 장치, 도시된 예에서 깊이 스캐너 및 카메라를 포함할 수 있다.

카메라는 촬영 기능을 제공하는 기기로서, 피사 영역(촬상 영역)에 대하여 색으로 표현되는 색상 이미지를 생성한다.

본 출원 명세서에서, 색상 이미지는 색으로 표현되는 이미지를 모두 포괄하는 것으로서, 특정한 표현 방식으로 제한하는 것은 아니다. 따라서, 색상 이미지는 RGB(Red Green Blue)로 표현되는 RFG 이미지 뿐만 아니라, CMYK(Cyan Magenta Yellow Key)로 표현되는 CMYK 이미지 등 다양한 표준으로 적용 가능하다.

일 예로, 카메라는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), PDA(personal digital assistants), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 촬영 디바이스(wearable device, 예를 들어, 글래스형 단말기 (smart glass)) 등이 사용될 수도 있다.

깊이 스캐너는 피사 영역에 대하여 깊이 정보를 생성하여 깊이 맵 이미지를 생성할 수 있는 장치이다.

본 출원 명세서에서, 깊이 맵 이미지는 피사 공간에 대하여 깊이 정보를 포함하는 이미지이다. 예컨대, 깊이 맵 이미지에서의 각 픽셀은, 촬상 지점에서 촬영된 피사 공간의 각 지점-각 픽셀에 대응되는 지점-까지의 거리 정보 일 수 있다.

깊이 스캐너는 거리 측정을 위한 소정의 센서, 예컨대, 라이다(LiDAR) 센서, 적외선 센서, 초음파 센서 등을 포함할 수 있다. 또는, 깊이 스캐너는 센서를 대체하여 거리 정보를 측정할 수 있는 스테레오 카메라(stereo camera), 스테레오스코픽 카메라(stereoscopic camera), 3D 깊이 카메라(3D, depth camera) 등을 포함할 수 있다.

카메라는 색상 이미지를 생성하고, 깊이 스캐너는 깊이 맵(Depth map)를 생성한다. 카메라에 의하여 생성된 색상 이미지와 깊이 스캐너에 의하여 생성된 깊이 맵 이미지는 동일한 피사 영역에 대하여 동일한 조건(예컨대, 해상도 등)을 대상으로 생성될 수 있으며, 서로 1:1로 매칭된다.

깊이 스캐너와 카메라는 실존하는 실내 공간에 대하여 360도 파노라마 이미지 형태, 즉, 각각 360도 깊이 맵 파노라마 이미지와 360도 색상 파노라마 이미지를 생성할 수 있고, 이를 컴퓨팅 장치(300)에 제공할 수 있다.

깊이 스캐너는, 이러한 360도 촬영이 수행된 실내의 여러 지점 각각에 대한 거리 정보를 생성할 수 있다. 이러한 거리 정보는 상대적인 거리 정보 일 수 있다. 예를 들어, 깊이 스캐너는, 실내 공간에 대한 평면도를 구비하고 사용자의 입력에 따라 평면도 내에서 최초의 시작 실내 지점을 입력받을 수 있다. 이후, 깊이 스캐너는, 영상 분석 및/또는 이동감지 센서-예컨대, 3축 가속도 센서 및/또는 자이로 센서 등-를 기초로 상대적인 거리 이동 정보를 생성할 수 있다. 예컨대, 시작 실내 지점으로부터의 상대적인 거리 이동 정보를 기초로 제2 실내 지점에 대한 정보를 생성하고, 제2 실내 지점으로부터의 상대적인 거리 이동 정보를 기초로 제3 실내 지점에 대한 정보를 생성할 수 있다. 이러한 거리 정보의 생성은 카메라에 의하여 수행될 수도 있다.

일 실시예예서, 깊이 스캐너와 카메라는 하나의 이미지 취득 장치로서 구현 가능하다. 예를 들어, 이미지 취득 장치(100)는, 이미지 취득을 위한 카메라와 거리 측정을 위한 라이다(LiDAR) 센서를 포함하는 스마트폰 일 수 있다.

깊이 스캐너 또는 카메라는 촬영 높이에 대한 정보를 저장하여 컴퓨팅 장치(300)에 제공할 수 있다. 이러한 촬영 높이 정보는 컴퓨팅 장치(300)에서 3차원 가상모델을 생성하는데 사용될 수 있다.

깊이 맵 이미지와 색상 이미지는 360도 파노라마 이미지일 수 있으며, 설명의 편의를 위하여, 깊이 맵 이미지와 색상 이미지로 통칭한다. 이러한 깊이 맵 이미지와 색상 이미지는 360도 이미지를 제공하기 위하여 적합한 형태의 파노라마 이미지, 예컨대, 등장방형 투영 파노라마 이미지일 수도 있다.

사용자 단말기(500)는 사용자가 컴퓨팅 장치(300)에 접속하여 실내 공간에 대응되는 가상의 3D 모델을 체험할 수 있는 전자 기기로서, 예를 들어, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 퍼스널 컴퓨터(PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등을 포괄한다. 그러나, 그 외에도 사용자 단말기(500)는 VR(Virtual Reality), AR(Augmented Reality)에 사용되는 전자 기기를 포함할 수 있다.

컴퓨팅 장치(300)는 실내의 여러 지점에서 각각 생성된 색상 이미지와 깊이 맵 이미지를 이용하여, 실내 공간에 대응되는 3차원 가상공간인 3차원 가상 모델을 생성할 수 있다.

컴퓨팅 장치(300)는 현실 공간에 대응되는 가상 공간으로서, 실내의 복수의 촬영 지점에서 생성된 색상 이미지 및 깊이 이미지를 기초로 3D 모델을 생성할 수 있다. 3D 모델은 깊이 정보가 반영된 가상 모델로서, 실제와 동등한 입체적인 공간을 제공할 수 있다.

컴퓨팅 장치(300)는 실내 공간의 복수의 촬영 지점에서 각각 생성되는 복수의 데이터 셋-상기 데이터 셋은 색상 이미지, 깊이 이미지 및 각 지점의 위치 정보를 포함함-을 기초로, 3차원 상에 복수의 포인트 집합-예컨대, 포인트 클라우드-를 생성하고, 이러한 포인트 집합을 기초로 3D 메쉬 모델을 생성할 수 있다. 3D 메쉬 모델은, 포인트 클라우드를 기초로 선정된 복수의 버텍스를 기초로, 복수의 페이스를 설정하여 만들어지는 메쉬 모델일 수 있다. 일 예로, 인접한 3개의 버텍스를 기준으로 하나의 페이스를 생성할 수 있으며, 각각의 페이스는 3개의 꼭지점으로 설정되는 평평한 삼각형일 수 있다.

3D 메쉬 모델에서 각각의 페이스가 결정되면, 컴퓨팅 장치(300)는 각각의 페이스와 연관된 색상 이미지를 기초로 각각의 페이스의 색상값을 설정할 수 있다. 페이스와 연관된 색상 이미지는 페이스에 수직하는 방향 벡터를 기준으로 설정될 수 있다.

컴퓨팅 장치(300)는 각각의 페이스의 색상값을 설정하기 위하여 하나의 색상 이미지를 선택할 수 있고, 이를 위하여 각각의 색상 이미지에 대하여 복수의 가중치 요소를 산출한 후 이를 기초로 가중치를 산정할 수 있다. 컴퓨팅 장치(300)는 가중치를 기초로 어느 하나의 색상 이미지를 선택할 수 있다.

컴퓨팅 장치(300)는 언씬 페이스에 대한 색 채우기를 수행할 수 있다. 언씬(Unseen) 페이스는, 촬상 이미지에 표시되지 않는 페이스를 의미한다. 예를 들어, 촬영 지점보다 높은 평면-예컨대, 냉장고의 윗면 등-의 경우, 카메라에 의하여 촬영되지 않으므로 언씬 페이스로 설정된다. 컴퓨팅 장치(300)는 버텍스의 컬러 정보를 기초로 이러한 언씬 페이스에 색상을 채울(filling)수 있다.

컴퓨팅 장치(300)는 각각의 페이스에 대하여 색상 채움이 완료되어 생성되는 3D 모델에 대하여 색상 보정을 수행할 수 있다. 본 출원에서 동일한 카메라로 촬영한다고 하더라도, 실내 공간의 여러 지점에서의 촬영 조건은 서로 상이하다. 밝기의 정도, 추가적인 광원, 광원의 색상 등 같은 실내 공간이라 하더라도 실내 공간의 각 지점에서의 촬영 조건이 상이하다. 예를 들어, 창가의 실내 촬영 지점에서는 태양에 의한 자연광이 추가되고, 조명이 꺼진 실내 촬영 지점에서는 조도가 낮게 나와 카메라의 촬영 조건이 변경될 수 있다. 이와 같이, 실내 공간의 여러 지점은 촬영 조건이 상이하므로, 동일한 피사체에 대해서도 각 색상 이미지는 서로 다른 색상값을 가지게 된다. 따라서, 하나의 피사체가 복수의 페이스를 가지고, 각각의 페이스가 서로 다른 색상 이미지를 기초로 텍스처링 된다면, 하나의 피사체의 색상 표현에 얼룩이 발생할 수 있다. 컴퓨팅 장치(300)는 이러한 얼룩을 보상하기 위하여 색상 보정을 수행할 수 있다. 이러한 색상 보정은, 실내 공간의 여러 촬영 지점 간의 차이에 의한 요소를 반영하여 수행될 수 있다.

이상에서 살펴본 바와 같이, 본 출원 발명에서의 3D 모델은, 실내 공간에 대응되는 가상 공간을 생성하기 위한 조건에 의하여 특수한 환경을 가진다. 즉, 실내 공간에 대한 색상 이미지 및 깊이 이미지를 획득하는 것이 요구되며, 이를 위하여 실내의 복수의 촬영 지점에서 색상 이미지 및 깊이 이미지를 획득하게 된다. 한편, 이미지를 획득하는 실내 지점이 많을수록 3D 모델에 대한 데이터량이 많아지므로 3D 모델의 표현이 향상되나, 본 출원의 실시예들에서는 컴퓨팅 장치(300)에서의 처리에 따라 이러한 3D 모델의 표현, 예컨대 텍스처링을 향상시킬 수 있으며, 그에 따라 실내 이미지 획득을 위한 실내 촬영 지점의 수를 적정한 수로 설정하여도 높은 품질의 3D 모델을 획득하도록 한다.

이하, 도 2 내지 도 15를 참조하여 이러한 컴퓨팅 장치(300)에 대하여 보다 상세히 설명한다.

도 2는 본 출원에 개시되는 일 실시예에 따른 컴퓨팅 장치를 설명하는 블록 구성도이다.

도 2에 도시된 바와 같이, 본 개시의 일 실시 예에 따른 컴퓨팅 장치(300)는 통신모듈(310), 메모리(320) 및 프로세서(330)를 포함할 수 있다. 그러나, 이와 같은 구성은 예시적인 것으로서, 본 개시를 실시함에 있어 이와 같은 구성에 더하여 새로운 구성이 추가되거나 일부 구성이 생략될 수 있음을 물론이다.

통신모듈(310)은 회로를 포함하며, 외부 장치(서버를 포함함)와의 통신을 수행할 수 있다. 구체적으로, 프로세서(330)는 통신모듈(310)을 통해 연결된 외부 장치로부터 각종 데이터 또는 정보를 수신할 수 있으며, 외부 장치로 각종 데이터 또는 정보를 전송할 수도 있다.

통신모듈(310)은 WiFi 모듈, Bluetooth 모듈, 무선 통신 모듈, 및 NFC 모듈 중 적어도 하나를 포함할 수 있으며, IEEE, Zigbee, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), 5G(5th Generation) 등과 같은 다양한 통신 규격에 따라 통신을 수행할 수 있다.

메모리(320)에는 컴퓨팅 장치(300)에 관한 적어도 하나의 명령이 저장될 수 있다. 메모리(320)에는 컴퓨팅 장치(300)를 구동시키기 위한 O/S(Operating System)가 저장될 수 있다. 또한, 메모리(320)에는 본 개시의 다양한 실시 예들에 따라 컴퓨팅 장치(300)가 동작하기 위한 각종 소프트웨어 프로그램이나 애플리케이션이 저장될 수도 있다. 그리고, 메모리(320)는 플래시 메모리(Flash Memory) 등과 같은 반도체 메모리나 하드디스크(HardDisk) 등과 같은 자기 저장 매체 등을 포함할 수 있다.

구체적으로, 메모리(320)에는 본 개시의 다양한 실시 예에 따라 컴퓨팅 장치(300)가 동작하기 위한 각종 소프트웨어 모듈이 저장될 수 있으며, 프로세서(330)는 메모리(320)에 저장된 각종 소프트웨어 모듈을 실행하여 컴퓨팅 장치(300)의 동작을 제어할 수 있다. 즉, 메모리(320)는 프로세서(330)에 의해 액세스되며, 프로세서(330)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.

그 밖에도 본 개시의 목적을 달성하기 위한 범위 내에서 필요한 다양한 정보가 메모리(320)에 저장될 수 있으며, 메모리(320)에 저장된 정보는 외부 장치로부터 수신되거나 사용자에 의해 입력됨에 따라 갱신될 수도 있다.

프로세서(330)는 하나 이상의 프로세서로 구성될 수 있다.

프로세서(330)는 컴퓨팅 장치(300)의 전반적인 동작을 제어한다. 구체적으로, 프로세서(330)는 상술한 바와 같은 통신부(301) 및 메모리(320)를 포함하는 컴퓨팅 장치(300)의 구성과 연결되며, 상술한 바와 같은 메모리(320)에 저장된 적어도 하나의 명령을 실행하여 컴퓨팅 장치(300)의 동작을 전반적으로 제어할 수 있다.

프로세서(330)는 다양한 방식으로 구현될 수 있다. 예를 들어, 프로세서(330)는 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 임베디드 프로세서, 마이크로 프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(hardware Finite State Machine, FSM), 디지털 신호 프로세서(Digital Signal Processor, DSP) 중 적어도 하나로 구현될 수 있다. 한편, 본 개시에서 프로세서(330)라는 용어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 및 MPU(Main Processing Unit)등을 포함하는 의미로 사용될 수 있다.

도 3은 본 출원에 개시되는 일 실시예에 따른 3차원 가상모델 생성 방법을 설명하는 순서도이다.

도 3을 참조하면, 컴퓨팅 장치(300)는 이미지 취득 장치(100)로부터 복수의 실내 공간의 각 실내 지점에서 각각 생성된 복수의 데이터 셋을 제공받는다(S301). 여기에서, 데이터 셋은 해당 지점에서 촬영된 색상 이미지, 깊이 이미지 및 해당 실내 지점에 대한 위치 정보를 포함한다.

컴퓨팅 장치(300)는 복수의 데이터 셋을 기반으로 실내 공간에 대한 3D 모델을 생성하기 위한 3차원 메쉬 모델을 생성한다(S302).

3차원 메쉬 모델은 각 실내 지점에 대하여 색상 이미지 및 깊이 이미지를 기초로 생성되는 복수의 포인트 집합-예컨대 포인트 클라우드-을 생성하고, 이들을 위치 정보를 기초로 3차원 공간 상에 배치함으로서 생성될 수 있다.

컴퓨팅 장치(300)는 포인트 클라우드를 기초로 복수의 버텍스를 선정하고, 선정된 복수의 버텍스를 기초로 복수의 페이스를 설정하여 3차원 메쉬 모델을 생성할 수 있다. 일 예로, 컴퓨팅 장치(300)는 인접한 3개의 버텍스를 기준으로 하나의 삼각형 페이스를 설정할 수 있다.

이러한 3차원 메쉬 모델에서의 페이스에는 색상값이 설정되지 않은 상태이므로, 컴퓨팅 장치(300)는 각각의 페이스에 대한 색상값을 설정하기 위하여, 즉, 텍스처링을 수행하기 위하여 단계 S303 내지 S304를 반복하여 수행한다.

컴퓨팅 장치(300)는 3차원 메쉬 모델에 포함된 복수의 페이스 중 어느 하나(제1) 페이스를 선택하고, 제1 페이스와 연관된 복수의 색상 이미지 중에서 제1 페이스에 적합한 어느 하나의 제1 색상 이미지를 선택할 수 있다(S303).

여기에서, 제1 페이스와 연관된 색상 이미지를 선정함에 있어서, 컴퓨팅 장치(300)는 제1 페이스에 수직하는 단위 벡터를 산출하고 이를 기반으로 해당 단위 벡터에 대응되는 촬영 각도를 가지는 적어도 하나의 색상 이미지를, 해당 페이스와 연관된 색상 이미지로서 선정할 수 있다. 이는, 색상 이미지의 촬영 시, 해당 색상 이미지의 촬영 각도에 대한 정보가 함께 생성되므로, 색상 이미지에 대한 촬영 높이 및 촬영 각도 정보를 기초로 제1 페이스와 연관된, 즉, 제1 페이스가 찍혀있는 색상 이미지를 선정할 수 있다. 예컨대, 컴퓨팅 장치(300)는 제1 페이스에 수직하는 단위 벡터와, 그에 소정 각도 내에서 대향하는, 즉, 소정 각도 내로 서로 마주보는 촬영 각도를 가지는 색상 이미지를, 해당 페이스와 연관된 색상 이미지로서 선정할 수 있다.

컴퓨팅 장치(300)는 페이스와 연관된 색상 이미지 중에서, 해당 페이스에 적합한 어느 하나의 색상 이미지를 선별할 수 있다. 예컨대, 컴퓨팅 장치(300)는 연관된 색상 이미지 각각에 대하여 복수의 가중치 요소를 산출한 후 이를 기초로 가중치를 산정한 후, 가중치를 기초로 어느 하나의 색상 이미지를 선택할 수 있다.

일 예로, 제1 페이스에 매칭되는 제1 색상 이미지는, 3차원 메쉬 모델과 연관된 복수의 색상 이미지 중에서 제1 페이스에 대한 촬영 방향, 해상도 및 컬러 노이즈를 기준으로 평가하여 선별될 수 있다.

컴퓨팅 장치(300)는 선택된 어느 하나의 선택된 어느 하나의 색상 이미지에서, 제1 페이스에 대응되는 로컬 영역을 선택하여 제1 페이스에 매핑하여 텍스처링을 수행할 수 있다(S304).

컴퓨팅 장치(300)는 각각의 색상 이미지의 촬영 위치에 대한 정보를 가지고 있으므로, 각각의 색상 이미지에서의 각 객체와 3D 메쉬 모델의 각 객체를 서로 투영하여 매핑할 수 있다. 따라서, 이러한 2차원 색상 이미지와 3차원 메쉬 모델의 투영 매핑을 기초로, 해당 페이스에 대응되는 2차원 색상 이미지에서의 로컬 영역을 선택할 수 있다.

컴퓨팅 장치(300)는 3차원 메쉬 모델의 모든 페이스에 대하여, 상술한 단계 S303 내지 S304를 반복하여, 각 페이스에 대하여 색상 정보를 생성하여 텍스처링을 수행할 수 있다(S305). 이와 같이 생성된 3D 모델은 각 색상 이미지 간의 색상 보정이 이루어지지 않은 상태이므로, 동일한 면에 대해서도 얼룩이 발생할 수 있다. 이는 전술한 바와 같이, 실내의 각 촬영 지점에서의 촬영 환경이 상이하기 때문이다.

컴퓨팅 장치(300)는, 이러하니 실내의 각 촬영 지점에서의 촬영 환경에 의한 색상 차이를 보정하기 위하여, 컬러 조정을 수행할 수 있다(S306).

도 4 내지 도 7은 본 출원에 개시되는 일 실시예에 따른 색상 이미지의 취득 예를 설명하는 도면으로서, 이들을 참조하여 설명한다.

도 4는 일 예로서 실내 공간 내의 육면체 피사체와, 이에 대하여 실내의 제1 촬영 지점 PP1과 제2 촬영 지점 PP2를 도시하는 사시도이고, 도 5는 도 4에 대응되는 평면도이다. 도 6은 제1 촬영 지점 PP1에서 촬영된 색상 이미지의 일 예를, 도 7은 제2 촬영 지점 PP2에서 촬영된 색상 이미지의 일 예를 도시한다.

도 6 및 도 7은 동일한 피사체에 대하여 색상 이미지를 촬영하였으나, 도 7에서는 음영에 의한 색상 변화가 발생한 예를 도시하고 있다.

도 8은 본 출원에 개시되는 일 실시예에 따른 3차원 가상모델 생성을 위한 색상 이미지 선정 방법을 설명하는 순서도이다.

도 8에 도시된 순서도는, 제1 페이스와 연관되는 복수의 색상 이미지 중에서, 제1 페이스에 매핑될 제1 색상 이미지를 선택하는 과정에 대한 것이다. 도 9 내지 도 12는 본 출원에 개시되는 일 실시예에 따른 색상 이미지의 선정 예를 설명하는 도면으로 이를 더 참조하여 설명한다.

도 8을 참조하면, 컴퓨팅 장치(300)는 3차원 메쉬 모델의 제1 페이스에 대한 기준 벡터, 즉, 제1 페이스에 수직하는 제1 방향 벡터를 설정할 수 있다(S801).

컴퓨팅 장치(300)는 제1 페이스와 연관된 복수의 색상 이미지에 대해, 제1 방향 벡터와 방향적 연관성을 가지는 제1 가중치 요소를 각각 산정할 수 있다(S802).

컴퓨팅 장치(300)는 제1 페이스와 연관된 복수의 색상 이미지들의 촬영 방향을 확인하고, 제1 페이스의 제1 방향 벡터와 상기 촬영 방향 간의 방향적 연관성을 기초로 제1 가중치 요소를 산정할 수 있다. 예컨대, 제1 페이스의 제1 방향 벡터와 촬영 방향 간의 각도가 적을수록 보다 높은 가중치 요소가 산정될 수 있다.

컴퓨팅 장치(300)는 제1 페이스와 연관된 복수의 색상 이미지에 대해, 해상도에 대한 제2 가중치 요소를 각각 산정할 수 있다(S803).

일 예로, 컴퓨팅 장치(300)는 상기 복수의 색상 이미지 자체에 대한 해상도를 확인하고, 이를 기반으로 제2 가중치 요소를 산정할 수 있다. 즉, 높은 해상도를 가질수록 높은 제2 가중치 요소를 가지도록 산정할 수 있다.

다른 예로, 컴퓨팅 장치(300)는 텍스처링의 대상이 되는 객체 또는 해당 객체의 일부인 페이스를 식별하고, 식별된 객체 또는 페이스의 해상도를 기초로 제2 가중치 요소를 산정할 수 있다. 이러한 객체 또는 페이스에 대한 해상도는 촬영 지점에서의 객체간의 거리에 반비례하여 설정되므로, 거리 상 유리한 색상 이미지에게 높은 제2 가중치가 부여된다.

컴퓨팅 장치(300)는 제1 페이스와 연관된 복수의 색상 이미지에 대해, 컬러 노이즈에 대한 제3 가중치 요소를 각각 산정할 수 있다(S804).

컴퓨팅 장치(300)는 각 색상 이미지에 대하여 컬러 노이즈를 산출할 수 있다. 컬러 노이즈를 산출하기 위하여, DCGAN(Deep Convolutional Generative Adversarial Network)을 이용한 비지도 학습, Enlighten GAN을 이용한 방법 등 다양한 방법론들이 적용될 수 있다.

컴퓨팅 장치(300)는 컬러 노이즈가 적을수록 높은 제3 가중치 요소가 부여되도록 할 수 있다.

컴퓨팅 장치(300)는 제1 가중치 요소 내지 제3 가중치 요소를 반영하여, 상기 복수의 색상 이미지 각각에 대하여 가중치를 산출할 수 있다. 컴퓨팅 장치(300)는 가장 높은 가중치를 가지는 하나의 색상 이미지를, 제1 페이스와 매핑되는 제1 이미지로서 선정할 수 있다(S805).

제1 가중치 요소 내지 제3 가중치 요소의 반영에는 다양한 알고리즘이 적용 가능하다. 예컨대, 컴퓨팅 장치(300)는 제1 가중치 요소 내지 제3 가중치 요소를 단순 합산하거나, 또는 이들의 평균을 도출하는 등 다양한 방식으로 가중치를 산정할 수 있다.

상술한 예에서는 제1 가중치 요소 내지 제3 가중치 요소를 모두 반영하는 것을 예시하였으나, 이에 한정되는 것은 아니다. 따라서, 제1 가중치 요소와 제2 가중치 요소를 기초로 가중치를 산정하거나, 또는 제1 가중치 요소와 제3 가중치 요소를 기초로 가중치를 산정하는 등의 변형 실시가 가능하다. 다만 이러한 변형에 있어서도, 제1 가중치 요소를 포함하는 것이 보다 높은 성능을 제공하는 요소이다.

도 9는 육면체 중 제1 페이스(Fc1)에 수직하는 제1 방향 벡터를 설정하는 예를 도시하고 있다. 도 9와 도 4에 도시된 예를 참조하면, 제1 촬영 지점 PP1이, 제2 촬영 지점 PP2보다 높은 제1 가중치를 가질 것을 알 수 있다.

도 10은 제1 촬영 지점 PP1에서의 색상 이미지에서 제1 페이스에 대응하는 로컬 영역(P1Fc1)을, 도 11은 제2 촬영 지점 PP2에서의 색상 이미지에서 제1 페이스에 대응하는 로컬 영역(P2Fc1)을 예시하고 있다.

도 10 및 도 11을 참조하면, 도 10에 도시된 제1 촬영 지점 PP1에서의 색상 이미지가, 도 11의 색상 이미지 보다 높은 해상도를 가지므로 제2 가중치 요소가 더 높을 것을 알 수 있다.

컬러 노이즈는 도 11에 도시된 제2 촬영 지점 PP2에서의 색상 이미지에서 보다 높게 설정될 것이므로, 따라서, 도 10에 도시된 제1 촬영 지점 PP1가 더 높은 제3 가중치 요소를 가질 것이다.

따라서, 제1 페이스에 대해서는 제1 촬영 지점 PP1에서의 색상 이미지가 선택될 것이고, 제1 촬영 지점 PP1에서의 색상 이미지에서의 로컬 영역(P1Fc1)을 제1 페이스에 매칭하여 제1 페이스에 대하여 텍스처링이 수행된 것을 도 12에서 도시하고 있다.

도 13은 본 출원에 개시되는 일 실시예에 따른 3차원 가상모델 생성을 위한 언씬 페이스 설정 방법을 설명하는 순서도이다.

상술한 과정을 통하여 각 페이스에 대하여 색상 이미지 매핑 및 텍스처링이 수행되는데, 일부 페이스의 경우에는 매핑할 이미지가 선택되지 않을 수 있다. 이러한 페이스는, 통상적으로 언씬 페이스라고 칭해지는데, 이는 이미지 촬영 각도 상 촬영이 불가능한 부분에서 발생한다.

도 14는 이런 언씬 페이스가 도시된 3D 모델을 도시한다. 언씬 페이스는 파란색으로 표시되며, 침대의 침구 뒤쪽, 세면대의 아래 부분, 탁자에 의하여 가려진 부분 등에 언씬 페이스가 발생함을 알 수 있다.

컴퓨팅 장치(300)는 이러한 언씬 페이스에 대하여 도 13에 도시된 바와 같이 색 채우기를 수행할 수 있다.

도 13을 참조하면, 컴퓨팅 장치(300)는 미촬영 영역에 의하여 발생하는 언씬 페이스를 설정할 수 있다(S1301). 컴퓨팅 장치(300)는 페이스에 매핑되는 색상 이미지가 없는 페이스를, 언씬 페이스로 설정할 수 있다.

컴퓨팅 장치(300)는 언씬 페이스와 연관된 복수의 버텍스 각각의 색상값을 확인한다(S1302).

각 페이스가 3개의 버텍스를 가지는 삼각형인 예를 들면, 컴퓨팅 장치(300)는 언씬 페이스를 구성하는 3개의 버텍스의 색상값을 확인할 수 있다. 일 예로, 버텍스의 색상값은, 버텍스를 구성하는 깊이 이미지의 픽셀에 대응되는 색상 이미지의 픽셀값으로 결정될 수 있다. 즉, 컴퓨팅 장치(300)는 어느 버텍스를 결정하기 위해 위치 정보를 도출하는데 사용되는 깊이 이미지를 선택할 수 있고, 또한 해당 깊이 이미지와 동일한 데이터 셋을 구성하는 색상 이미지를 선택할 수 있다. 컴퓨팅 장치(300)는 해당 깊이 이미지에서 버텍스에 대응되는 버텍스 연관 깊이 픽셀을 선택할 수 있고, 또한, 깊이 이미지에서 선택된 버텍스 연관 깊이 픽셀에 대응하는 어느 버텍스 연관 색상 픽셀을 색상 이미지에서 선택할 수 있다. 컴퓨팅 장치(300)는 버텍스 연관 색상 픽셀의 색상값을 해당 버텍스의 색상 값으로 설정할 수 있다.

컴퓨팅 장치(300)는 복수의 버텍스 각각의 색상값을 기초로 상기 언씬 페이스를 채울 수 있다. 예컨대, 컴퓨팅 장치(300)는 각 버텍스를 시작점으로 설정하고, 각 버텍스의 색상값을 기초로 인접한 버텍스의 색상값과 그라디언트하여 상기 언씬 페이스의 색상값을 설정할 수 있다(S1303). 여기서 그라디언트는 색상 그라데이션(gradation)에 의하여 설정되는 색체의 변경되는 기법을 의미하는 것이며, 이러한 그라데이션 기법은 다양한 방식이 적용 가능하다.

도 15는 도 14의 예에 대하여, 언씬 페이스가 체워진 예를 도시하고 있으며, 도시된 예에서 색상 그라데이션을 기반으로 언씬 페이스가 채워짐을 알 수 있다. 이러한 그라데이션에 의한 언씬 페이스의 텍스처링은 그 자체로서는 주변의 색상과 다소 부자연스러운 느낌이 발생하나, 이하에서 설명하는 색상 보정 과정에 의하여 보다 자연스럽게 보상될 수 있다.

도 16은 본 출원에 개시되는 일 실시예에 따른 3차원 가상모델 생성을 위한 색상 보정 방법을 설명하는 순서도이다.

전술한 바와 같이, 실내의 촬영 지점 간의 촬영 환경이 달라 동일한 면에 대해서도 서로 다른 색상으로 표시될 수 있다. 특히, 여러 페이스가 인접하여 하나의 연속된 면 또는 곡면을 형성하는 경우, 각 페이스의 색상값의 차이는 부자연스러운 느낌을 준다.

도 17은 컬러 보정이 이루어지기 전의 3D 모델의 일부를 예시하고 있으며, 도 17의 예에서는 동일한 벽면에 대하여 상당한 색상 얼룩이 발생함을 알 수 있다. 컴퓨팅 장치(300)는 이러한 색상 외곡, 즉, 실내 촬영 지점간의 촬영 환경 차이에 의하여 유발되는 색상 외곡을 보상하기 위한 처리를 제공하며 도 16을 참조하여 설명한다.

도 16을 참조하면, 컴퓨팅 장치(300)는 텍스처링이 완료된 제1 3D 모델에 대하여 색상 이미지 간의 보정 및 인접한 페이스 간의 보정을 수행할 수 있다.

컴퓨팅 장치(300)는 인접한 촬영 지점에서 촬영된 색상 이미지들을 연관하여 이미지 서브셋을 설정할 수 있다(S1601). 이러한 색상 이미지 서브셋은 복수개가 설정될 수 있다. 컴퓨팅 장치(300)는 각각의 색상 이미지 서브셋에 대하여, 해당 색상 이미지 서브셋에 연관된 색상 이미지 간의 보정 가중치를 기반으로 글로벌 색상 보정을 수행할 수 있다(S1602). 이러한 글로벌 색상 보정은 이미지 전체에 대하여 수행되는 것이다.

일 예로, 컴퓨팅 장치(300)는 색상 이미지 서브셋에 연관된 색상 이미지들에 대하여 주된 색상을 결정할 수 있다. 도 17의 예에서 주된 색상은 회색일 수 있고, 도 17과 연관된 색상 이미지들에 대하여 주된 색상인 회색에 대하여 각각 주된 색상 가중치를 설정할 수 있다. 주된 색상 가중치는, 연관된 색상 이미지들의 주된 색상에 대한 평균값에 대한 차이로부터 설정될 수 있다. 주된 색상이 평균값으로부터 차이가 많이 나는 색상 이미지일수록 보정 가중치가 크게 설정되고, 각각의 색상 이미지에 대하여 보정 가중치를 기초로 색상 보정을 수행할 수 있다. 이와 같이 글로벌 색상 보정이 수행되면, 색상 이미지 자체에 대한 보정이 수행된 것이므로, 이러한 보정된 이미지를 기초로 텍스처링을 재 수행할 수 있다.

이후, 컴퓨팅 장치(300)는 페이스 간의 차이를 기반으로 로컬 색상 보정을 수행할 수 있다.

컴퓨팅 장치(300)는 인접한 페이스들을 연관하여 복수의 페이스 서브셋을 설정할 수 있다(S1603).

컴퓨팅 장치(300)는 페이스 서브셋 각각에 대하여, 페이스 서브셋을 구성하는 페이스 간의 색상 차이를 평준화하도록 설정함으로써 로컬 색상 보정을 수행할 수 있다(S1604). 이러한 색상 차이 평준화는 다양한 방식이 적용가능하므로, 여기에서는 특정 방식으로 한정하지 않는다.

도 18은 도 17의 예에 대하여 글로벌 색상 보정 및 로컬 색상 보정이 적용된 예를 도시한다. 도 17에서 큰 색상 차이를 가지던 부분이 상당히 유사한 색상으로 보정되었음을 알 수 있다.

실제 사용자는, 동일한 면 또는 곡면에 대하여 여러 색상이 있는 경우, 이를 상당히 자연스럽지 못하게 느끼게 되므로, 실제 3D 모델에 대한 실감나는 이미지를 제공하는데는 이러한 색상 보정의 역할이 크다.

본 출원에서는 이러한 색상 보정을 글로벌 보정과 로컬 보정으로 조합하여 사용하는데, 이는 촬영 지점이 상당히 이격되어 있고 그로 인하여 촬영 조건의 차이가 큰 본 발명에서는 이러한 조합적인 색상 보정을 통하여 3D 모델을 보다 자연스럽게 표현할 수 있다.

도 19는 본 출원에 개시되는 일 실시예에 따른 3차원 가상모델 생성을 위한 언 씬 영역 텍스처링 방법을 설명하는 순서도이다.

도 19를 참조하면, 컴퓨팅 장치(300)는 3차원 메쉬 모델의 복수의 페이스 중에서, 적합한 색상 이미지가 선택되지 않아 홀로 표시되는 홀 페이스를 선택할 수 있다(S1901). 이러한 홀 페이스는, 촬영 시 사각에 위치하여 발생하므로, 언 씬(Unseen) 영역에 의하여 발생하는 언 씬 홀 페이스로 칭한다.

컴퓨팅 장치(300)는 언 씬 홀 페이스와 연관된 복수의 연관 버텍스를 선별할수 있다(S1902).

컴퓨팅 장치(300)는 선별된 복수의 연관 버텍스 각각의 색상을 확인하고(S1903), 확인된 복수의 연관 버텍스의 색상을 기초로 보간하여 언 씬 홀 페이스의 색상을 설정하여 텍스처링을 수행할 수 있다(S1902).

도 20은 본 출원에 개시되는 일 실시예에 따른 언 씬 영역 텍스처링 예를 설명하는 도면으로서, 그림 (a)는 언 씬 영역이 발생한 예를 도시하고 있고, 그림 (b)에서는 이러한 언 씬 영역이 텍스처링 된 예를 도시하고 있다.

한편, 상술한 실시 예에 따른 컴퓨팅 장치(300)에서 수행되는 제어 방법은 프로그램으로 구현되어 컴퓨팅 장치(300)에 제공될 수 있다. 예를 들어, 컴퓨팅 장치(300)의 제어 방법을 포함하는 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.

이상에서 컴퓨팅 장치(300)의 제어 방법, 그리고 컴퓨팅 장치(300)의 제어 방법을 실행하는 프로그램을 포함하는 컴퓨터 판독 가능 기록매체에 대해 간략하게 설명하였으나, 이는 중복 설명을 생략하기 위한 것일 뿐이며, 전자장치(100)에 대한 다양한 실시 예는 컴퓨팅 장치(300)의 제어 방법, 그리고 컴퓨팅 장치(300)의 제어 방법을 실행하는 프로그램을 포함하는 컴퓨터 판독 가능 기록매체에 대해서도 적용될 수 있음은 물론이다.

한편, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.

이상에서 설명한 본 출원은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고 후술하는 특허청구범위에 의해 한정되며, 본 출원의 구성은 본 출원의 기술적 사상을 벗어나지 않는 범위 내에서 그 구성을 다양하게 변경 및 개조할 수 있다는 것을 본 출원이 속하는 기술 분야에서 통상의 지식을 가진 자는 쉽게 알 수 있다.

100 : 이미지 취득 장치 300 : 컴퓨팅 장치
500 : 사용자 단말
310 : 통신모듈 320 : 메모리
330 : 프로세서

Claims (10)

1. 실내 공간의 복수의 촬영 지점에서 각각 생성되는 복수의 데이터 셋-데이터 셋은 색상 이미지 및 깊이 이미지를 포함함-을 기초로 3차원 가상 모델을 생성하는 컴퓨팅 장치에서 수행되는 방법으로서,
   복수의 데이터 셋 각각에 대하여, 색상 이미지 내에 삭제 대상 피사체가 존재하는지 판단하는 단계;
   색상 이미지에 삭제 대상 피사체가 존재하는 경우, 해당 색상 이미지에서 삭제 대상 피사체를 삭제하는 단계;
   딥 러닝 모델을 이용하여, 상기 삭제 대상 피사체가 삭제되어 발생한 홀 영역에 대하여 색상을 채워 보정된 색상 이미지를 생성하는 단계; 및
   상기 보정된 색상 이미지를 이용하여 3차원 가상 모델을 생성하는 단계; 를 포함하는,
   3차원 가상모델 생성 방법.
   
2. 제1항에 있어서, 상기 3차원 가상모델 생성 방법은,
   제2 딥러닝 모델을 이용하여 상기 보정된 색상 이미지로부터 추정 깊이 이미지를 생성하는 단계;
   상기 보정된 색상 이미지와 연관된 깊이 이미지와 상기 추정 깊이 이미지를 이용하여, 상기 홀 영역에 대응되는 영역에 대한 추정 깊이 정보를 생성하여 상기 깊이 이미지를 보정하는 단계; 를 포함하는,
   3차원 모델 기반의 평면도 생성 방법.
   
3. 실내 공간의 복수의 촬영 지점에서 각각 생성되는 복수의 데이터 셋-상기 데이터 셋은 색상 이미지, 깊이 이미지 및 각 지점의 위치 정보를 포함함-을 기초로 3차원 가상모델을 생성하는 컴퓨팅 장치에서 수행 가능한 방법으로서,
   상기 실내 공간의 복수의 촬영 지점에서 각각 생성된 복수의 데이터 셋을 기초로 3차원 메쉬 모델을 생성하는 단계;
   상기 3차원 메쉬 모델에 포함된 복수의 페이스 각각에 대하여, 해당 페이스와 연관되는 복수의 색상 이미지 중 어느 하나를 선택하고, 선택된 어느 하나의 색상 이미지 중에서 해당 페이스에 대응되는 로컬 영역을 해당 페이스에 매핑하여 텍스처링을 수행하는 단계; 및
   적합한 색상 이미지의 선택되지 않아 홀로 표시되는 홀 페이스를 선택하고, 선택된 홀 페이스와 연관된 복수의 연관 버텍스를 확인하고, 확인된 복수의 연관 버텍스의 색상을 기초로 보간하여 상기 홀 페이스의 색상을 설정하는 단계; 를 포함하는,
   3차원 가상모델 생성 방법.
   
4. 컴퓨팅 장치로서,
   하나 이상의 인스트럭션을 저장하는 메모리; 및
   상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서를 포함하고,
   상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
   상기 실내 공간의 복수의 촬영 지점에서 각각 생성된 복수의 데이터 셋-상기 데이터 셋은 색상 이미지, 깊이 이미지 및 각 지점의 위치 정보를 포함함-을 기초로 3차원 메쉬 모델을 생성하고,
   상기 3차원 메쉬 모델에 포함된 복수의 페이스 각각에 대하여, 해당 페이스와 연관되는 복수의 색상 이미지 중 어느 하나를 선택하고, 선택된 어느 하나의 색상 이미지 중에서 해당 페이스에 대응되는 로컬 영역을 해당 페이스에 매핑하여 텍스처링을 수행하고,
   적합한 색상 이미지의 선택되지 않아 홀로 표시되는 홀 페이스를 선택하고, 선택된 홀 페이스와 연관된 복수의 연관 버텍스를 확인하고, 확인된 복수의 연관 버텍스의 색상을 기초로 보간하여 상기 홀 페이스의 색상을 설정하는,
   컴퓨팅 장치.
   
5. 컴퓨터 판독 가능한 인스트럭션들(instructions)을 저장하고 있는 저장 매체에 있어서,
   상기 인스트럭션들은, 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금,
   상기 실내 공간의 복수의 촬영 지점에서 각각 생성된 복수의 데이터 셋-상기 데이터 셋은 색상 이미지, 깊이 이미지 및 각 지점의 위치 정보를 포함함-을 기초로 3차원 메쉬 모델을 생성하는 동작;
   상기 3차원 메쉬 모델에 포함된 복수의 페이스 각각에 대하여, 해당 페이스와 연관되는 복수의 색상 이미지 중 어느 하나를 선택하고, 선택된 어느 하나의 색상 이미지 중에서 해당 페이스에 대응되는 로컬 영역을 해당 페이스에 매핑하여 텍스처링을 수행하는 동작; 및
   적합한 색상 이미지의 선택되지 않아 홀로 표시되는 홀 페이스를 선택하고, 선택된 홀 페이스와 연관된 복수의 연관 버텍스를 확인하고, 확인된 복수의 연관 버텍스의 색상을 기초로 보간하여 상기 홀 페이스의 색상을 설정하는 동작; 을 수행하도록 하는,
   저장 매체.
   
6. 실내 공간의 복수의 촬영 지점에서 각각 생성되는 복수의 데이터 셋-데이터 셋은 색상 이미지 및 깊이 이미지를 포함함-을 기초로 3차원 가상 모델을 생성하는 컴퓨팅 장치에서 수행되는 방법으로서,
   복수의 데이터 셋 각각에 대하여, 색상 이미지 내에 삭제 대상 피사체가 존재하는지 판단하는 단계;
   색상 이미지에 삭제 대상 피사체가 존재하는 경우, 해당 색상 이미지에서 삭제 대상 피사체를 삭제하는 단계;
   딥 러닝 모델을 이용하여, 상기 삭제 대상 피사체가 삭제되어 발생한 홀 영역에 대하여 색상을 채워 보정된 색상 이미지를 생성하는 단계; 및
   상기 보정된 색상 이미지를 이용하여 3차원 가상 모델을 생성하는 단계; 를 포함하는,
   3차원 가상모델 생성 방법.
   
7. 제6항에 있어서, 상기 3차원 가상모델 생성 방법은,
   제2 딥러닝 모델을 이용하여 상기 보정된 색상 이미지로부터 추정 깊이 이미지를 생성하는 단계;
   상기 보정된 색상 이미지와 연관된 깊이 이미지와 상기 추정 깊이 이미지를 이용하여, 상기 홀 영역에 대응되는 영역에 대한 추정 깊이 정보를 생성하여 상기 깊이 이미지를 보정하는 단계; 를 포함하는,
   3차원 모델 기반의 평면도 생성 방법.
   
8. 실내 공간의 복수의 촬영 지점에서 각각 생성되는 복수의 데이터 셋-상기 데이터 셋은 색상 이미지, 깊이 이미지 및 각 지점의 위치 정보를 포함함-을 기초로 3차원 가상모델을 생성하는 컴퓨팅 장치에서 수행 가능한 방법으로서,
   상기 실내 공간의 복수의 촬영 지점에서 각각 생성된 복수의 데이터 셋을 기초로 3차원 메쉬 모델을 생성하는 단계;
   상기 3차원 메쉬 모델에 포함된 복수의 페이스 각각에 대하여, 해당 페이스와 연관되는 복수의 색상 이미지 중 어느 하나를 선택하고, 선택된 어느 하나의 색상 이미지 중에서 해당 페이스에 대응되는 로컬 영역을 해당 페이스에 매핑하여 텍스처링을 수행하는 단계; 및
   적합한 색상 이미지의 선택되지 않아 홀로 표시되는 홀 페이스를 선택하고, 선택된 홀 페이스와 연관된 복수의 연관 버텍스를 확인하고, 확인된 복수의 연관 버텍스의 색상을 기초로 보간하여 상기 홀 페이스의 색상을 설정하는 단계; 를 포함하는,
   3차원 가상모델 생성 방법.
   
9. 컴퓨팅 장치로서,
   하나 이상의 인스트럭션을 저장하는 메모리; 및
   상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서를 포함하고,
   상기 적어도 하나의 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
   상기 실내 공간의 복수의 촬영 지점에서 각각 생성된 복수의 데이터 셋-상기 데이터 셋은 색상 이미지, 깊이 이미지 및 각 지점의 위치 정보를 포함함-을 기초로 3차원 메쉬 모델을 생성하고,
   상기 3차원 메쉬 모델에 포함된 복수의 페이스 각각에 대하여, 해당 페이스와 연관되는 복수의 색상 이미지 중 어느 하나를 선택하고, 선택된 어느 하나의 색상 이미지 중에서 해당 페이스에 대응되는 로컬 영역을 해당 페이스에 매핑하여 텍스처링을 수행하고,
   적합한 색상 이미지의 선택되지 않아 홀로 표시되는 홀 페이스를 선택하고, 선택된 홀 페이스와 연관된 복수의 연관 버텍스를 확인하고, 확인된 복수의 연관 버텍스의 색상을 기초로 보간하여 상기 홀 페이스의 색상을 설정하는,
   컴퓨팅 장치.
   
10. 컴퓨터 판독 가능한 인스트럭션들(instructions)을 저장하고 있는 저장 매체에 있어서,
    상기 인스트럭션들은, 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금,
    상기 실내 공간의 복수의 촬영 지점에서 각각 생성된 복수의 데이터 셋-상기 데이터 셋은 색상 이미지, 깊이 이미지 및 각 지점의 위치 정보를 포함함-을 기초로 3차원 메쉬 모델을 생성하는 동작;
    상기 3차원 메쉬 모델에 포함된 복수의 페이스 각각에 대하여, 해당 페이스와 연관되는 복수의 색상 이미지 중 어느 하나를 선택하고, 선택된 어느 하나의 색상 이미지 중에서 해당 페이스에 대응되는 로컬 영역을 해당 페이스에 매핑하여 텍스처링을 수행하는 동작; 및
    적합한 색상 이미지의 선택되지 않아 홀로 표시되는 홀 페이스를 선택하고, 선택된 홀 페이스와 연관된 복수의 연관 버텍스를 확인하고, 확인된 복수의 연관 버텍스의 색상을 기초로 보간하여 상기 홀 페이스의 색상을 설정하는 동작; 을 수행하도록 하는,
    저장 매체.