KR20230087196A

KR20230087196A - 영상 기반 경량 3차원 모델 생성 장치 및 방법

Info

Publication number: KR20230087196A
Application number: KR1020210175934A
Authority: KR
Inventors: 강경규; 박창준
Original assignee: 한국전자통신연구원
Priority date: 2021-12-09
Filing date: 2021-12-09
Publication date: 2023-06-16
Also published as: US20230186565A1

Abstract

본 개시는 영상 기반 경량 3차원 모델 복제 장치 및 방법에 관한 것으로, 입력 영상을 해석하여 포인트 클라우드를 생성하고, 상기 포인트 클라우드를 기초로 초경량 메쉬를 생성하고 생성된 상기 초경량 메쉬를 텍스쳐 매핑 가능한 경량 메쉬로 생성하고, 상기 입력 영상으로부터 텍스쳐를 생성하고, 생성된 상기 경량 메쉬와 생성된 상기 텍스쳐를 저장하는 것을 요지로 한다.

Description

영상 기반 경량 3차원 모델 생성 장치 및 방법 {Apparatus for image-based lightweight 3D model generation and the method thereof}

본 개시는 3차원 모델 생성 장치 및 방법에 대한 것으로서, 구체적으로, 영상 기반 경량 3차원 도심 모델 복제 장치 및 방법에 대한 기술이다.

영상 기반 3차원 복원 방법 기반의 대상물의 복제 기술은 다양한 관점에서 빠르게 발전하고 있으며, 대중화되면서 해당 기술이 탑재된 소프트웨어가 다수 출시되었다. 해당 방법은 기본적으로 대상의 다시점 사진을 입력으로 고용량, 고품질의 메쉬 모델을 결과물로 생성한다. 또한, 해당 기술은 도시의 3차원 지도를 실제와 유사하게 복제하는 과정에서 이용된다. 해당 결과물은 VR 투어, 영화 특수효과, 게임 배경으로 다양하게 활용되고 있다.

하지만 여전히 다양한 분야에서는 단순화된 건축물이 포함된 경량화된 도심 모델이 필요한다. 해당 분야로는 기류, 열 시뮬레이션, 전파 확산 시뮬레이션, 가상현실 등 렌더링 속도의 확보가 필요한 콘텐츠 등이 있다. 경량화된 도심 모델을 제작하여 판매하는 업체도 존재한다.

하지만, 종래의 경량화 모델 제작 방법의 경우, 복제된 고품질의 모델을 기초로 수작업으로 작업이 진행되며, 경량화 기술을 이용하더라도 조건에 만족하는 결과물을 얻기 위해서는 후반 수작업이 필수적으로 요구되어 사용자가 불편함을 느끼는 문제점이 있었다.

본 개시의 목적은 대상 도심 지역의 다수의 영상 정보로부터 3차원 도심 모델을 복제할 때, 단순화된 건축물로 구성된 경량 도심 모델을 자동으로 생성하는 3차원 모델 생성 장치 및 방법을 제공하는 것을 그 목적으로 한다.

본 개시의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 개시의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 개시의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

본 개시의 일 실시예에 따른, 영상 기반 경량 3차원 모델 생성 방법은, 입력 영상을 해석하여 포인트 클라우드를 생성하는 단계; 상기 포인트 클라우드를 기초로 초경량 메쉬를 생성하고 생성된 상기 초경량 메쉬를 기초로 텍스쳐 매핑 가능한 경량 메쉬를 생성하는 단계; 상기 입력 영상으로부터 텍스쳐를 생성하는 단계; 및 생성된 상기 경량 메쉬와 생성된 상기 텍스쳐를 저장하는 단계를 포함한다.

본 개시의 일 실시예에 따른, 영상 기반 경량 3차원 모델 생성 방법은, 상기 포인트 클라우드를 그룹화하는 단계; 그룹화된 상기 포인트 클라우드를 기초로 초경량 메쉬를 생성하는 단계; 생성된 상기 초경량 메쉬를 기초로 리메쉬 작업을 수행하여 경량 메쉬를 생성하는 단계; 상기 경량 메쉬를 기초로 상기 텍스쳐에 대응하는 텍스쳐 좌표를 생성하는 단계를 더 포함한다.

본 개시의 일 실시예에 따른, 영상 기반 경량 3차원 모델 생성 방법은, 상기 포인트 클라우드를 그룹화하는 단계는 상기 포인트 클라우드를 상기 입력 영상의 벽면 또는 지붕면 중 어느 하나의 면 단위로 그룹화하는 단계를 포함한다.

본 개시의 일 실시예에 따른, 영상 기반 경량 3차원 모델 생성 방법은,

상기 포인트 클라우드를 그룹화하는 단계는 상기 입력 영상에 포함된 개별 건물마다 다른 색상으로 상기 포인트 클라우드를 그룹화한다.

본 개시의 일 실시예에 따른, 영상 기반 경량 3차원 모델 생성 방법은, 상기 그룹화된 상기 포인트 클라우드를 기초로 초경량 메쉬를 생성하는 단계는, 상기 그룹화된 포인트 클라우드에 초기 평면을 배치하는 단계; 배치된 상기 초기 평면의 기울기 및 위치 중 적어도 하나를 조율하면서 최종 평면을 배치하는 단계; 배치된 최종 평면과 이웃 평면과의 관계를 기초로 절단하여 초경량 메쉬를 생성하는 단계를 더 포함한다.

본 개시의 일 실시예에 따른, 영상 기반 경량 3차원 모델 생성 방법은, 상기 생성된 상기 초경량 메쉬를 기초로 리메쉬 작업을 수행하여 경량 메쉬를 생성하는 단계는, 상기 초경량 메쉬를 소정 크기의 균일하게 하는 리메쉬 작업을 수행하여 경량 메쉬를 생성하는 단계를 더 포함한다.

본 개시의 일 실시예에 따른, 영상 기반 경량 3차원 모델 생성 방법은, 상기 경량 메쉬의 수는 상기 초경량 메쉬의 수와 다르다.

본 개시의 일 실시예에 따른, 영상 기반 경량 3차원 모델 생성 방법은, 상기 경량 메쉬를 기초로 상기 텍스쳐에 대응하는 텍스쳐 좌표를 생성하는 단계는 상기 경량 메쉬를 위치 기반으로 그룹화하는 단계; 그룹화된 상기 경량 메쉬를 기초로 텍스쳐 패치를 생성하는 단계; 및 생성된 상기 텍스쳐 패치를 기초로 텍스쳐 좌표를 생성하는 단계를 더 포함한다.

본 개시의 일 실시예에 따른, 영상 기반 경량 3차원 모델 생성 방법은, 생성된 텍스쳐 패치를 기초로 UV 레이아웃 자동 생성 기술을 이용해서 텍스쳐 좌표를 생성한다.

본 개시의 일 실시예에 따른, 영상 기반 경량 3차원 모델 생성 방법은, 상기 입력 영상은 2차원 이미지를 포함한다.

본 개시의 일 실시예에 따른, 영상 기반 경량 3차원 모델 생성 장치는, 입력 영상을 해석하여 포인트 클라우드를 생성하는 입력 영상 해석부; 상기 포인트 클라우드를 기초로 초경량 메쉬를 생성하고 생성된 상기 초경량 메쉬를 기초로 텍스쳐 매핑 가능한 경량 메쉬를 생성하는 경량 메쉬 생성부; 상기 입력 영상으로부터 텍스쳐를 생성하는 텍스쳐 생성부; 및 생성된 상기 경량 메쉬와 생성된 상기 텍스쳐를 저장하는 저장부를 포함한다.

본 개시의 일 실시예에 따른, 영상 기반 경량 3차원 모델 생성 장치는, 상기 경량 메쉬 생성부(120)는 상기 포인트 클라우드를 그룹화하고, 그룹화된 상기 포인트 클라우드를 기초로 초경량 메쉬를 생성하고, 생성된 상기 초경량 메쉬를 기초로 리메쉬 작업을 수행하여 경량 메쉬를 생성하고, 생성된 상기 경량 메쉬를 기초로 상기 텍스쳐에 대응하는 텍스쳐 좌표를 생성한다.

본 개시의 일 실시예에 따른, 영상 기반 경량 3차원 모델 생성 장치는, 상기 경량 메쉬 생성부는, 상기 포인트 클라우드를 상기 입력 영상의 벽면 또는 지붕면 중 어느 하나의 면 단위로 그룹화한다.

본 개시의 일 실시예에 따른, 영상 기반 경량 3차원 모델 생성 장치는, 상기 경량 메쉬 생성부는, 상기 입력 영상에 포함된 개별 건물마다 다른 색상으로 상기 포인트 클라우드를 그룹화한다.

본 개시의 일 실시예에 따른, 영상 기반 경량 3차원 모델 생성 장치는, 상기 경량 메쉬 생성부는, 상기 그룹화된 상기 포인트 클라우드를 기초로 초경량 메쉬를 생성하고, 상기 그룹화된 포인트 클라우드에 초기 평면을 배치하고, 배치된 상기 초기 평면의 기울기 및 위치 중 적어도 하나를 조율하면서 최종 평면을 배치하고, 배치된 최종 평면과 이웃 평면과의 관계를 기초로 절단하여 초경량 메쉬를 생성한다.

본 개시의 일 실시예에 따른, 영상 기반 경량 3차원 모델 생성 장치는, 상기 경량 메쉬 생성부는, 상기 생성된 상기 초경량 메쉬를 기초로 리메쉬 작업을 수행하여 경량 메쉬를 생성하고, 상기 초경량 메쉬를 소정 크기의 균일하게 하는 리메쉬 작업을 수행하여 경량 메쉬를 생성한다.

본 개시의 일 실시예에 따른, 영상 기반 경량 3차원 모델 생성 장치는, 상기 경량 메쉬의 수는 상기 초경량 메쉬의 수와 다르다.

본 개시의 일 실시예에 따른, 영상 기반 경량 3차원 모델 생성 장치는, 경량 메쉬 생성부는, 상기 경량 메쉬를 기초로 상기 텍스쳐에 대응하는 텍스쳐 좌표를 생성하고, 상기 경량 메쉬를 위치 기반으로 그룹화하고, 그룹화된 상기 경량 메쉬를 기초로 텍스쳐 패치를 생성하고, 생성된 상기 텍스쳐 패치를 기초로 텍스쳐 좌표를 생성한다.

본 개시의 일 실시예에 따른, 영상 기반 경량 3차원 모델 생성 장치는, 경량 메쉬 생성부는, 생성된 텍스쳐 패치를 기초로 UV 레이아웃 자동 생성 기술을 이용해서 텍스쳐 좌표를 생성한다.

본 개시의 일 실시예에 따른, 영상 기반 경량 3차원 모델 생성 장치는,

상기 입력 영상은 2차원 이미지를 포함한다.

본 개시의 일 실시예에 따르면, 다시점의 영상을 기반으로 건축물 외형의 특징이 표현된 단순화된 모델과 이 건축물로 표현된 경량의 도심 모델을 자동으로 생성할 수 있어서 데이터 저장 공간을 보다 충분히 확보하고 외부로 경량 모델을 용이하게 전송할 수 있는 장점이 있다.

본 발명의 다른 실시 예에 따르면, 다시점의 영상을 기반으로 건축물 외형의 특징이 표현된 단순화된 모델과 이 건축물로 표현된 경량의 도심 모델을 자동으로 생성할 수 있어서 후반 수작업 프로세스를 생략할 수 있으므로 사용자 편의성을 향상시킬 수 있다.

본 발명의 다른 실시 예에 따르면, 다시점의 영상을 기반으로 건축물 외형의 특징이 표현된 단순화된 모델과 이 건축물로 표현된 경량의 도심 모델을 자동으로 생성할 수 있고, 경량 모델은 다양한 콘텐츠의 가시화 속도 향상을 위해서 원경, 배경 모델로 사용될 수 있으며, 도시 공학 시뮬레이션 기술에서도 타겟 모델로 활용될 수 있으므로 사용자 편의성을 향상시킬 수 있다.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 개시의 일 실시예에 따른, 영상 기반 경량 3차원 모델 복제 장치의 구성도를 도시한 도면이다.
도 2는 본 개시의 일 실시예에 따른, 영상 기반 경량 3차원 모델 복제 방법의 순서도를 도시한 도면이다.
도 3은 본 개시의 일 실시 예에 따른, 텍스쳐 매핑 가능한 경량 메쉬 모델을 생성하는 프로세스를 도시한 도면이다.
도 4는 본 개시의 일 실시 예에 따른, 입력 영상과 포인트 클라우드를 도시한 도면이다.
도 5는 본 개시의 일 실시 예에 따른, 종래 기술의 결과물을 도시한 도면이다.
도 6은 본 개시의 일 실시 예에 따른, 본원발명의 결과물을 도시한 도면이다.
도 7은 본 개시의 일 실시 예에 따른, 포인트 클라우드 그룹화 단계와 초경량 메쉬 생성 단계를 도시한 도면이다.
도 8은 본 개시의 일 실시예에 따른, 경량 메쉬 생성 단계와 텍스쳐 좌표 생성 단계를 도시한 도면이다.
도 9는 본 개시의 일 실시 예에 따른, 경량 메쉬 생성 프로세스를 도시한 도면이다.
도 10 본 개시의 일 실시예에 따른, 영상 기반 경량 3차원 모델 복제 장치의 구성도를 도시한 도면이다.

이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.

본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들을 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.

본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들 간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시예에서의 제2 구성요소를 다른 실시예에서 제1 구성요소라고 칭할 수도 있다.

본 개시의 어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 “직접 연결되어” 있다거나, “직접 접속되어” 있다고 언급된 때에는, 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다.

또한, 본 개시에 있어서 본 개시의 실시예를 도시한 일 도면이 다른 도면과 양자 택일의 실시예에 해당하지 않는 한 각 도면에 대한 설명은 서로 다른 도면에 적용될 수 있다.

이하, 도면을 참조하여 본 개시에 대하여 더욱 상세하게 설명할 것이다.

도 1은 본 개시의 일 실시예에 따른, 영상 기반 경량 3차원 모델 복제 장치의 구성도를 도시한 도면이다.

도 1을 참조하면, 영상 기반 경량 3차원 모델 복제 장치(100)는 입력 영상 해석부(110), 경량 메쉬 생성부(130), 텍스쳐 생성부(130), 저장부(140)를 포함한다.

입력 영상 해석부(110)는 입력된 다수의 도심 영상(사진)의 3차원 공간 정보를 해석하여 건축물 표면에 해당하는 밀도 높은 포인트 클라우드를 생성한다.

입력 영상 해석부(110)는 입력 영상을 해석하여 포인트 클라우드를 생성한다.

경량 메쉬 생성부(120)는 포인트 클라우드를 기초로 초경량 메쉬를 생성하고, 생성된 초경량 메쉬를 기초로 텍스쳐 매핑 가능한 경량 메쉬를 생성한다.

경량 메쉬 생성부(120)는 포인트 클라우드를 그룹화하고, 그룹화된 상기 포인트 클라우드를 기초로 초경량 메쉬를 생성하고, 생성된 상기 초경량 메쉬를 기초로 리메쉬 작업을 수행하여 경량 메쉬를 생성하고, 생성된 상기 경량 메쉬를 기초로 상기 텍스쳐에 대응하는 텍스쳐 좌표를 생성한다.

경량 메쉬 생성부(120)는, 상기 포인트 클라우드를 상기 입력 영상의 벽면 또는 지붕면 중 어느 하나의 면 단위로 그룹화한다.

경량 메쉬 생성부(120)는, 상기 입력 영상에 포함된 개별 건물마다 다른 색상으로 상기 포인트 클라우드를 그룹화한다.

경량 메쉬 생성부(120)는, 상기 그룹화된 상기 포인트 클라우드를 기초로 초경량 메쉬를 생성하고, 상기 그룹화된 포인트 클라우드에 초기 평면을 배치하고, 배치된 상기 초기 평면의 기울기 및 위치 중 적어도 하나를 조율하면서 최종 평면을 배치하고, 배치된 최종 평면과 이웃 평면과의 관계를 기초로 절단하여 초경량 메쉬를 생성한다.

경량 메쉬 생성부(120)는, 생성된 상기 초경량 메쉬를 기초로 리메쉬 작업을 수행하여 경량 메쉬를 생성하고, 초경량 메쉬를 소정 크기의 균일하게 하는 리메쉬 작업을 수행하여 경량 메쉬를 생성한다. 초경량 메쉬는 삼각형으로 구성되고, 경량 메쉬는 균일한 크기의 사각형으로 구성된다.

여기서, 경량 메쉬의 수는 상기 초경량 메쉬의 수와 다르다. 경량 메쉬의 수는 초경량 메수의 수보다 더 크다.

경량 메쉬 생성부(120)는, 상기 경량 메쉬를 기초로 상기 텍스쳐에 대응하는 텍스쳐 좌표를 생성하고, 상기 경량 메쉬를 위치 기반으로 그룹화하고, 그룹화된 상기 경량 메쉬를 기초로 텍스쳐 패치를 생성하고, 생성된 상기 텍스쳐 패치를 기초로 텍스쳐 좌표를 생성한다.

경량 메쉬 생성부(120)는, 생성된 텍스쳐 패치를 기초로 UV 레이아웃 자동 생성 기술을 이용해서 텍스쳐 좌표를 생성한다.

여기서, 입력 영상은 2차원 이미지를 포함한다.

텍스쳐 생성부(130)는 입력 영상으로부터 텍스쳐를 생성한다.

텍스쳐 생성부(130)는 경량 메쉬 모델에 텍스쳐를 생성한다.

택스쳐 생성부(130)는 경량 메쉬를 구성하는 다각형의 위치와 방향을 고려해서 입력 영상으로부터 텍스쳐를 생성한다.

저장부(140)는 생성된 상기 경량 메쉬와 생성된 상기 텍스쳐를 저장한다.

저장부(140)는 생성한 메쉬와 택스쳐를 사용자가 원하는 파일 포멧으로 저장한다. 여기서, 저장부(140)는 메모리를 포함한다.

여기서, 파일 포맷은 기기의 종류에 상관없이 적용이 가능한 포맷이 될 수 있다.

도 2는 본 개시의 일 실시예에 따른, 영상 기반 경량 3차원 모델 복제 방법의 순서도를 도시한 도면이다. 본 발명은 영상 기반 경량 3차원 모델 복제 장치(100)에 의하여 수행된다.

도 2를 참조하면, 입력 영상을 해석하여 포인트 클라우드를 생성한다(S210).

포인트 클라우드에 대응하는 초경량 메쉬를 생성하고 생성된 초경량 메쉬를 기초로 텍스쳐 매핑 가능한 경량 메쉬를 생성한다(S220).

입력 영상으로부터 텍스쳐를 생성한다(S230).

생성된 메쉬와 생성된 텍스쳐를 저장한다(S240).

구체적으로, 생성된 메쉬와 텍스쳐를 메모리(140)에 저장한다.

도 3은 본 개시의 일 실시 예에 따른, 텍스쳐 매핑 가능한 경량 메쉬 모델을 생성하는 프로세스를 도시한 도면이다. 본 발명은 경량 메쉬 생성부(120)에 의하여 수행된다.

먼저, 포인트 클라우드를 그룹화한다(S310).

그룹화된 상기 포인트 클라우드를 기초로 초경량 메쉬를 생성한다(S320).

생성된 상기 초경량 메쉬를 기초로 리메쉬 작업을 수행하여 경량 메쉬를 생성한다(S330).

경량 메쉬를 기초로 상기 텍스쳐에 대응하는 텍스쳐 좌표를 생성한다(S340).

도 4는 본 개시의 일 실시 예에 따른, 입력 영상과 포인트 클라우드를 도시한 도면이다. 도 4는 도 4(a)와 도 4(b)를 포함한다.

도 4(a)는 입력 영상을 도시한 도면이다. 도 4(b)는 포인트 클라우드를 도시한 도면이다.

도 4(a)를 참조하면, 입력 영상은 적어도 하나의 항공 사진, 2D 이미지를 포함한다. 또한, 입력 영상은 적어도 하나의 다시점 항공 사진, 다시점 2D 이미지를 포함한다.

도 4(b)를 참조하면, 포인트 클라우드(Point cloud)는 3차원 공간 상에 퍼져있는 여러 포인트(point)의 집합을 의미한다.

도 5는 본 개시의 일 실시 예에 따른, 종래 기술의 결과물을 도시한 도면이다. 도 5는 도 5(a)와 도 5(b)를 포함한다.

도 5(a)는 고밀도 메쉬 모델을 도시한 도면이다. 도 5(b)는 고밀도 메쉬 모델에 텍스쳐를 추가한 것을 도시한 도면이다.

도 6은 본 개시의 일 실시 예에 따른, 본원발명의 결과물을 도시한 도면이다. 도 6은 도 6(a)와 도 6(b)를 포함한다.

도 6(a)는 경량 모델을 도시한 도면이다. 도 6(b)는 경량 모델에 텍스쳐를 추가한 것을 도시한 도면이다.

도 5(b)와 도 6(b)를 비교하였을 때, 세부적이고 디테일한 부분은 도 5(b)에 도시된 고밀도 복원 모델이 경량 복원 모델보다 더 우수한다.

그러나, 경량 복원 모델은 고밀도 복원 모델이 묘사하고 표현하는 것과 비교하여 크게 정확도 면에서 떨어지지 않고 동시에 파일 크기를 줄일 수 있는 장점이 있다.

종래 기술의 경우, 고밀도 복원 모델을 생성하고나서 후반 작업은 수작업에 의존해서 변환 작업을 수행하여 경량 모델을 생성하였다.

본 발명에 따르면, 다시점 2차원 이미지를 기초로 파일 크기가 감소된 3차원 경량 모델을 수작업 없이 자동으로 생성할 수 있어서 사용자 편의성을 향상시킬 수 있다.

도 7은 본 개시의 일 실시 예에 따른, 포인트 클라우드 그룹화 단계와 초경량 메쉬 생성 단계를 도시한 도면이다. 도 7은 도 7(a)와 도 7(b)를 포함한다.

도 7(a)는 그룹화된 포인트 클라우드를 도시한 도면이다.

도 7(b)는 초경량 메쉬 모델을 도시한 도면이다.

도 7(a)를 참조하여 포인트 클라우드를 그룹화에 대하여 설명한다. 포인트 클라우드를 입력 영상의 벽면 또는 지붕면 중 어느 하나의 면 단위로 그룹화한다.

예를 들어, 기하학적 분석을 통해서 벽면이나 지붕면 등의 면단위로 군집을 찾고 분류한다. 포인트 클라우드를 그룹화할 때 RANSAC과 같은 세그멘테이션 기술을 이용할 수 있다. RANSAC은 주어진 데이터에서 반복적으로 샘플을 취하여 전체 데이터를 분석하는 방법을 의미한다. RANSAC는 모든 데이터를 이용하지 않기 때문에 비교적 빠르고, 잡음에 강한 장점이 있다.

포인트 클라우드를 그룹화할 때, 입력 영상에 포함된 개별 건물마다 다른 색상으로 상기 포인트 클라우드를 그룹화한다.

도 7(b)를 참조하여, 초경량 메쉬 생성에 대하여 설명한다.

구체적으로, 그룹화된 포인트 클라우드에 초기 평면을 배치하고, 배치된 상기 초기 평면의 기울기 및 위치 중 적어도 하나를 조율하면서 최종 평면을 배치하고, 배치된 최종 평면과 이웃 평면과의 관계를 기초로 절단하여 초경량 메쉬를 생성한다.

예를 들어, 그룹들에 초기 평면들을 배치하고 평면들의 기울기나 위치들을 조율하면서 최종적인 평면의 배치를 하고, 해당 평면들을 이웃 평면과의 관계를 고려해서 절단하여 초경량 메쉬 모델을 생성한다. 초경량 메쉬 모델은 Polygonal Surface Reconstruction 기술을 활용하여 생성할 수 있다.

도 8은 본 개시의 일 실시예에 따른, 경량 메쉬 생성 단계와 텍스쳐 좌표 생성 단계를 도시한 도면이다. 도 8은 도 8(a)와 도 8(b)를 포함한다.

도 8(a)는 경량 메쉬가 생성된 것을 도시한 도면이다.

도 8(b)는 경량 메쉬 모델에 텍스쳐 좌표가 추가된 것을 도시한 도면이다.

도 8(a)를 참조하여, 경량 메쉬 생성에 대하여 설명한다.

초경량 메쉬를 소정 크기의 균일하게 하는 리메쉬 작업을 수행하여 경량 메쉬를 생성한다.

구체적으로, 초경량 메쉬는 불규칙한 형태를 포함해서 텍스쳐 매핑에 부적절하다. 따라서, 초경량 메쉬를 일정한 크기의 메쉬로 재구성하는 리메쉬 작업을 수행하여야 한다.

초경량 메쉬는 삼각형으로 구성되어 있고, 경량 메쉬는 균일한 크기의 사각형으로 구성되어 있다.

리메쉬 작업을 수행할 때, 경량 메쉬의 수는 상기 초경량 메쉬의 수와 다르다. 구체적으로, 경량 메수의 수는 초경량 메쉬의 수보다 더 크다.

메쉬의 수량이 약간 증가한 경량 메쉬가 생성된다. 이 경우, quad-based autoretopology와 같은 리메쉬 기술을 이용할 수 있다.

도 8(b)을 참조하여, 텍스쳐 좌표 생성에 대하여 설명한다.

경량 메쉬를 위치 기반으로 그룹화하고, 그룹화된 상기 경량 메쉬를 기초로 텍스쳐 패치를 생성한다. 생성된 상기 텍스쳐 패치를 기초로 텍스쳐 좌표를 생성한다.

예를 들어, 효과적인 텍스쳐 생성을 위해서 메쉬를 위치 기반으로 그룹화하고 텍스쳐 패치를 구성한다.

도 8(b)에 도시한 바와 같이, 텍스쳐 패치가 건물의 벽면 단위로 생성된다. 여기서, 텍스쳐 패치를 구성할 때, UV Layout 자동 생성 기술을 활용할 수 있다.

도 9는 본 개시의 일 실시 예에 따른, 경량 메쉬 생성 프로세스를 도시한 도면이다.

도 9에 도시한 바와 같이, 2차원 이미지(10)으로부터 메쉬(12)와 텍스처(14)를 추출한다.

메쉬(12)의 표면 샘플링을 실행한다(S910).

표면 샘플리의 경우, 메쉬(11)을 입력으로 받아 포인트 클라우드(13)을 출력한다.

표면 샘플링에 대하여 설명한다.

벡터화 기술은 포인트 클라우드(13)를 입력으로 받기 때문에, 메쉬 모델(11)로부터 포인트 클라우드(13)를 추출한다.

메쉬(11)에서 포인트 클라우드를 얻는 방법은 정점을 포인트 클라우드로 변환하는 것이다. 그러나, 일반적으로 정점은 낮은 밀도를 갖고 있어서, 벡터화 알고리즘을 적용하기 위하여 밀도를 높이는 것이 필요하다. 정점의 위치를 기초로 메쉬의 점을 샘플링하여 필요한 만큼 밀도가 높은 포인트 클라우드(13)를 생성한다.

포인트 클라우드의 벡터화를 실행한다(S920).

벡터화의 경우, 포인트 클라우드(13)을 입력으로 받아 초경량 메쉬(14)를 출력한다.

벡터화는 카이네틱 쉐이프 재건축(Kinetic shape reconstruction)을 이용하여 실행된다. 먼저, 포인트 클라우드는 최초 압축에 기초한 RANSAC 알고리즘을 이용하여 분할되고, 벡터화 프로세스의 시작에서 최초 표면의 생성한다. 그 결과, 초 경량 메쉬(14)가 생성된다.

리메쉬를 실행한다(S930).

리메쉬의 경우, 초경량 메쉬(14)를 입력으로 받아, 경량 메쉬(15)를 출력한다.

이전 단계인 벡터화(S920)에서 결과물은 불규칙적은 크기의 다각형으로 구성된 초경량 메쉬(14)이다. 리메쉬 단계에서는 초경량 메쉬(14)를 리매슁 프로세스를 실행하여 경량 메쉬(15)로 변환하는 것이다.

여기서, 인스턴트 메쉬(Instant mesh) 기술은 이러한 목표를 달성하기 위해 최적화된 기술이다. obj 형식을 지원하여 대상 폴리곤의 수를 입력하면 일반 메쉬 크기의 경량 메쉬 버전이 자동으로 생성된다. 이렇게 하면 쉽게 UV 레이아웃을 만들고 LOD를 적용할 수 있다.

리메쉬 단계(S930)의 결과물은 경량 메쉬(15)가 된다.

UV 레이아웃을 계산한다(S940).

UV 레이아웃의 경우, 경량 메쉬(15)를 입력으로 받아, UV 레이아웃(16)을 출력한다.

UV 레이아웃은 2차원 평면에 평평하게 된 3차원 모델의 시각적 표현을 의미한다. 2차원 평면의 각점을 UV라고 하고 3차원 오브젝트의 정점을 나타낸다. 이 방법으로 UV 레이아웃 경계 내의 모든 영역은 모델의 특정 지점에 해당한다.

타겟 메쉬의 텍스처 매핑을 위한 새로운 UV 레이아웃을 생성한다. UV 좌표 생성 과정이 가장 시간이 많이 소요되고, UV 맵을 조심하게 펼치면서 작업한다.

이 단계를 자동화하기 위해 UV 레이아웃 생성 기술은 모델의 기하학적 구조 해석을 기반으로 한다. 도시 공간 모델을 대상으로 할 때 건물의 벽을 매핑 단위(아틀라스)로 설정하면 좋은 UV 매핑 결과를 얻을 수 있다.

본 발명의 경우, 일반화 모토 사이클 그래프(Generalized Motorcycle Graph)가 사용되었다. 이 기술은 육면체 단위로 구성된 메쉬 모델, 특히 건물 모델에서 우수한 UV 좌표 생성 성능을 갖고 있다.

텍스쳐 베이킹(Texture baking)을 실행한다(S950).

텍스쳐 베이킹의 경우, UV 레이 아웃(16)과 텍스처(12)를 입력으로 받아, 베이킹된 텍스쳐(17)를 출력한다.

텍스쳐 베이킹은 원본 모델의 외부 색상 정보를 대상 모델의 텍스처에 베이킹하는 과정을 의미한다.

텍스처 매핑이 된 원본과 텍스쳐 좌표와 벡터화된 메시는 블랜더에 로드되고 블렌더에 설치된 싸이클 렌더러(Cycle renderer)의 베이크 기능을 사용하여 다음과 같이 진행된다. 구체적으로, 원본 디퓨즈 컬러를 타겟 모델의 텍스처에 복사하는 과정으로 진행된다.

도 9에 도시된 프로세스에 의한 출력물인 벡터화된 모델(19)은 경량 메쉬(15), UV(18), 베이킹된 텍스쳐(17)를 포함한다.

도 10은 본 개시의 일 실시예에 따른, 영상 기반 경량 3차원 모델 복제 장치의 구성도를 도시한 도면이다.

도 1의 영상 기반 경량 3차원 모델 복제 장치(100)의 일 실시 예는 디바이스(1600)가 될 수 있다. 도 10을 참조하면, 디바이스(1600)는 메모리(1602), 프로세서(1603), 송수신부(1604) 및 주변 장치(1601)를 포함할 수 있다. 또한, 일 예로, 디바이스(1600)는 다른 구성을 더 포함할 수 있으며, 상술한 실시예로 한정되지 않는다.

보다 상세하게는, 도 10의 디바이스(1600)는 3차원 모델 복제 장치, 이미지 처리 장치 등과 같은 예시적인 하드웨어/소프트웨어 아키텍처일 수 있다. 이때, 일 예로, 메모리(1602)는 비이동식 메모리 또는 이동식 메모리일 수 있다. 또한, 일 예로, 주변 장치(1601)는 디스플레이, GPS 또는 다른 주변기기들을 포함할 수 있으며, 상술한 실시예로 한정되지 않는다.

또한, 일 예로, 상술한 디바이스(1600)는 상기 송수신부(1604)와 같이 통신 회로를 포함할 수 있으며, 이에 기초하여 외부 디바이스와 통신을 수행할 수 있다.

또한, 일 예로, 프로세서(1603)는 범용 프로세서, DSP(digital signal processor), DSP 코어, 제어기, 마이크로제어기, ASIC들(Application Specific Integrated Circuits), FPGA(Field Programmable Gate Array) 회로들, 임의의 다른 유형의 IC(integrated circuit) 및 상태 머신과 관련되는 하나 이상의 마이크로프로세서 중 적어도 하나 이상일 수 있다. 즉, 상술한 디바이스(1600)를 제어하기 위한 제어 역할을 수행하는 하드웨어적/소프트웨어적 구성일 수 있다.

이때, 프로세서(1603)는 영상 기반 경량 3차원 모델 복제 장치의 다양한 필수 기능들을 수행하기 위해 메모리(1602)에 저장된 컴퓨터 실행가능한 명령어들을 실행할 수 있다. 일 예로, 프로세서(1603)는 신호 코딩, 데이터 처리, 전력 제어, 입출력 처리 및 통신 동작 중 적어도 어느 하나를 제어할 수 있다. 또한, 프로세서(1603)는 물리 계층, MAC 계층, 어플리케이션 계층들을 제어할 수 있다. 또한, 일 예로, 프로세서(1603)는 액세스 계층 및/또는 어플리케이션 계층 등에서 인증 및 보안 절차를 수행할 수 있으며, 상술한 실시예로 한정되지 않는다.

일 예로, 프로세서(1603)는 송수신부(1604)를 통해 다른 장치들과 통신을 수행할 수 있다. 일 예로, 프로세서(1603)는 컴퓨터 실행가능한 명령어들의 실행을 통해 3차원 모델 복제 장치가 네트워크를 통해 다른 장치들과 통신을 수행하게 제어할 수 있다. 즉, 본 발명에서 수행되는 통신이 제어될 수 있다. 일 예로, 송수신부(1604)는 안테나를 통해 RF 신호를 전송할 수 있으며, 다양한 통신망에 기초하여 신호를 전송할 수 있다.

또한, 일 예로, 안테나 기술로서 MIMO 기술, 빔포밍 등이 적용될 수 있으며, 상술한 실시예로 한정되지 않는다. 또한, 송수신부(1604)를 통해 송수신한 신호는 변조 및 복조되어 프로세서(1603)에 의해 제어될 수 있으며, 상술한 실시 예로 한정되지 않는다.

본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.

또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다. 예를 들어, 종단 혹은 에지에서 사용될 수 있는 비 일시적 컴퓨터 판독가능한 매체에 저장된 프로그램의 형식이나, 에지 혹은 클라우드에서 사용될 수 있는 비 일시적 컴퓨터 판독 가능한 매체에 저장된 프로그램의 형식으로도 구현될 수 있음은 자명하다. 또한, 다양한 하드웨어 및 소프트웨어의 결합으로도 구현될 수 있다.

본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행 가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

이상에서 설명한 본 개시는, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 개시의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로, 본 개시의 범위는 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

Claims

영상 기반 경량 3차원 모델 생성 방법에서,
입력 영상을 해석하여 포인트 클라우드를 생성하는 단계;
상기 포인트 클라우드를 기초로 초경량 메쉬를 생성하고 생성된 상기 초경량 메쉬를 기초로 텍스쳐 매핑 가능한 경량 메쉬를 생성하는 단계;
상기 입력 영상으로부터 텍스쳐를 생성하는 단계; 및
생성된 상기 경량 메쉬와 생성된 상기 텍스쳐를 저장하는 단계를 포함하는,
경량 3차원 모델 생성 방법.
제 1 항에 있어서,
상기 포인트 클라우드를 그룹화하는 단계;
그룹화된 상기 포인트 클라우드를 기초로 초경량 메쉬를 생성하는 단계;
생성된 상기 초경량 메쉬를 기초로 리메쉬 작업을 수행하여 경량 메쉬를 생성하는 단계;
상기 경량 메쉬를 기초로 상기 텍스쳐에 대응하는 텍스쳐 좌표를 생성하는 단계를 더 포함하는,
경량 3차원 모델 생성 방법.
제 2 항에 있어서,
상기 포인트 클라우드를 그룹화하는 단계는
상기 포인트 클라우드를 상기 입력 영상의 벽면 또는 지붕면 중 어느 하나의 면 단위로 그룹화하는 단계를 포함하는,
경량 3차원 모델 생성 방법.
제 2 항에 있어서,
상기 포인트 클라우드를 그룹화하는 단계는
상기 입력 영상에 포함된 개별 건물마다 다른 색상으로 상기 포인트 클라우드를 그룹화하는 단계를 포함하는,
경량 3차원 모델 생성 방법.
제 2 항에 있어서,
상기 그룹화된 상기 포인트 클라우드를 기초로 초경량 메쉬를 생성하는 단계는,
상기 그룹화된 포인트 클라우드에 초기 평면을 배치하는 단계;
배치된 상기 초기 평면의 기울기 및 위치 중 적어도 하나를 조율하면서 최종 평면을 배치하는 단계;
배치된 최종 평면과 이웃 평면과의 관계를 기초로 절단하여 초경량 메쉬를 생성하는 단계를 더 포함하는,
경량 3차원 모델 생성 방법.
제 2 항에 있어서,
상기 생성된 상기 초경량 메쉬를 기초로 리메쉬 작업을 수행하여 경량 메쉬를 생성하는 단계는,
상기 초경량 메쉬를 소정 크기의 균일하게 하는 리메쉬 작업을 수행하여 경량 메쉬를 생성하는 단계를 더 포함하는,
경량 3차원 모델 생성 방법.
제 2 항에 있어서,
상기 경량 메쉬의 수는 상기 초경량 메쉬의 수와 다른,
경량 3차원 모델 생성 방법.
제 2 항에 있어서,
상기 경량 메쉬를 기초로 상기 텍스쳐에 대응하는 텍스쳐 좌표를 생성하는 단계는
상기 경량 메쉬를 위치 기반으로 그룹화하는 단계;
그룹화된 상기 경량 메쉬를 기초로 텍스쳐 패치를 생성하는 단계; 및
생성된 상기 텍스쳐 패치를 기초로 텍스쳐 좌표를 생성하는 단계를 더 포함하는,
경량 3차원 모델 생성 방법.
제 8 항에 있어서,
생성된 텍스쳐 패치를 기초로 UV 레이아웃 자동 생성 기술을 이용해서 텍스쳐 좌표를 생성하는,
경량 3차원 모델 생성 방법.
제 1 항에 있어서,
상기 입력 영상은 2차원 이미지를 포함하는,
경량 3차원 모델 생성 방법.
영상 기반 경량 3차원 모델 생성 장치에서,
입력 영상을 해석하여 포인트 클라우드를 생성하는 입력 영상 해석부;
상기 포인트 클라우드를 기초로 초경량 메쉬를 생성하고 생성된 상기 초경량 메쉬를 기초로 텍스쳐 매핑 가능한 경량 메쉬를 생성하는 경량 메쉬 생성부;
상기 입력 영상으로부터 텍스쳐를 생성하는 텍스쳐 생성부; 및
생성된 상기 경량 메쉬와 생성된 상기 텍스쳐를 저장하는 저장부를 포함하는,
경량 3차원 모델 생성 장치.
제 11 항에 있어서, 상기 경량 메쉬 생성부는
상기 포인트 클라우드를 그룹화하고,
그룹화된 상기 포인트 클라우드를 기초로 초경량 메쉬를 생성하고,
생성된 상기 초경량 메쉬를 기초로 리메쉬 작업을 수행하여 경량 메쉬를 생성하고,
생성된 상기 경량 메쉬를 기초로 상기 텍스쳐에 대응하는 텍스쳐 좌표를 생성하는,
경량 3차원 모델 생성 장치.
제 12 항에 있어서, 상기 경량 메쉬 생성부는,
상기 포인트 클라우드를 상기 입력 영상의 벽면 또는 지붕면 중 어느 하나의 면 단위로 그룹화하는,
경량 3차원 모델 생성 장치.
제 12 항에 있어서, 상기 경량 메쉬 생성부는,
상기 입력 영상에 포함된 개별 건물마다 다른 색상으로 상기 포인트 클라우드를 그룹화하는,
경량 3차원 모델 생성 장치.
제 12 항에 있어서, 상기 경량 메쉬 생성부는,
상기 그룹화된 상기 포인트 클라우드를 기초로 초경량 메쉬를 생성하고,
상기 그룹화된 포인트 클라우드에 초기 평면을 배치하고,
배치된 상기 초기 평면의 기울기 및 위치 중 적어도 하나를 조율하면서 최종 평면을 배치하고,
배치된 최종 평면과 이웃 평면과의 관계를 기초로 절단하여 초경량 메쉬를 생성하는,
경량 3차원 모델 생성 장치.
제 12 항에 있어서, 상기 경량 메쉬 생성부는,
상기 생성된 상기 초경량 메쉬를 기초로 리메쉬 작업을 수행하여 경량 메쉬를 생성하고,
상기 초경량 메쉬를 소정 크기의 균일하게 하는 리메쉬 작업을 수행하여 경량 메쉬를 생성하는,
경량 3차원 모델 생성 장치.
제 12 항에 있어서,
상기 경량 메쉬의 수는 상기 초경량 메쉬의 수와 다른,
경량 3차원 모델 생성 장치.
제 12 항에 있어서, 상기 경량 메쉬 생성부는,
상기 경량 메쉬를 기초로 상기 텍스쳐에 대응하는 텍스쳐 좌표를 생성하고,
상기 경량 메쉬를 위치 기반으로 그룹화하고,
그룹화된 상기 경량 메쉬를 기초로 텍스쳐 패치를 생성하고,
생성된 상기 텍스쳐 패치를 기초로 텍스쳐 좌표를 생성하는,
경량 3차원 모델 생성 장치.
제 18 항에 있어서, 상기 경량 메쉬 생성부는,
생성된 텍스쳐 패치를 기초로 UV 레이아웃 자동 생성 기술을 이용해서 텍스쳐 좌표를 생성하는,
경량 3차원 모델 생성 장치.
영상 기반 경량 3차원 모델 생성 장치에서,
외부 장치와 데이터를 송수신하는 송수신부;
상기 데이터에 대응하는 입력 영상을 해석하여 포인트 클라우드를 생성하고,
상기 포인트 클라우드를 기초로 초경량 메쉬를 생성하고 생성된 상기 초경량 메쉬를 기초로 텍스쳐 매핑 가능한 경량 메쉬를 생성하고, 상기 입력 영상으로부터 텍스쳐를 생성하는 프로세서; 및
생성된 상기 경량 메쉬와 생성된 상기 텍스쳐를 저장하는 메모리를 포함하는,
경량 3차원 모델 생성 장치.