KR20130094015A

KR20130094015A - 입체 모델 생성 장치 및 방법

Info

Publication number: KR20130094015A
Application number: KR1020120015325A
Authority: KR
Inventors: 추창우; 박일규; 차영미; 이지형; 구본기
Original assignee: 한국전자통신연구원
Priority date: 2012-02-15
Filing date: 2012-02-15
Publication date: 2013-08-23
Also published as: US9208607B2; KR101841668B1; US20130207966A1

Abstract

본 발명은 3차원 스캐닝을 통해 획득한 포인트 클라우드와 영상을 이용하여 정적인 배경의 3차원 모델을 생성하는 입체 모델 생성 장치 및 방법을 제안한다. 이를 위해 본 발명은 미리 정해진 지역을 촬영하여 얻은 카메라 영상에 상기 지역을 스캐닝하여 얻은 포인트 클라우드(point cloud)를 정합하여 정합 영상을 생성하는 영상 정합부; 상기 지역에 위치하는 오브젝트를 메쉬 모델로 생성하는 메쉬 모델 생성부; 및 상기 메쉬 모델에 상기 정합 영상으로부터 얻은 텍스처 정보를 반영하여 상기 오브젝트에 대한 입체 모델을 생성하는 입체 모델 생성부를 포함하는 것을 특징으로 하는 입체 모델 생성 장치를 제안한다. 본 발명은 3차원 지도 서비스에 이용될 수 있다.

Description

입체 모델 생성 장치 및 방법 {Apparatus and method for producing 3D model}

본 발명은 입체 모델을 생성하는 장치 및 방법에 관한 것이다. 보다 상세하게는, 포인트 클라우드(point cloud)를 이용하여 입체 모델을 생성하는 장치 및 방법에 관한 것이다.

스마트폰의 보급에 따라 PC나 노트북을 사용할 수 있는 환경에서 사용할 수 있던 위치 정보 서비스가 언제 어디서나 자신의 위치와 주변 정보를 쉽게 검색할 수 있는 환경으로 발전되었다. 구글(Google)에서는 위성 영상을, 국내의 다음(Daum)을 비롯한 포털 사이트에서는 항공 사진을 지도 서비스에 사용하고 있으며, 또한 파노라마 영상을 이용하여 거리의 모습을 둘러볼 수 있는 서비스도 제공되고 있다. 한편, 마이크로스프트(Microsoft)에서는 인터넷에 공유된 사진을 검색, 수집하여 각 영상의 촬영 위치, 방향 및 주요 특징점의 3차원 좌표를 계산하여, 수집된 사진을 단순한 나열식의 미리보기(thumbnail view)가 아닌 실제 내비게이션하듯이 볼수 있는 포토신스(Photosynth) 서비스를 공개하였고, 여러 대학에서 이를 확장하여 특징점의 3차원 좌표 뿐만 아니라 3차원 모델을 생성하기 위한 연구도 진행하고 있다. 구글에서는 구글 스케치업(Google Sketchup)과 같은 3차원 모델링 툴을 이용하여 모델링한 3차원 모델을 구글어스(Google Earth)에 올려 3차원의 지도 서비스를 제공하고 있으며, 3차원 스캐너를 이용하여 실제 거리의 3차원 데이터를 수집하고 있다. 이와 같이, 기존의 영상을 이용한 지도 서비스에서 3차원 지도 서비스로 확대하기 위한 여러가지 방법이 시도되고 있다.

이와 같은 정적인 배경의 3차원 모델을 제작하기 위한 종래의 방법은 컴퓨터 그래픽스 소프트웨어를 이용한 수작업, 다수의 영상을 이용한 영상기반 모델링 방법 등이 있다.

마야(Maya), 3D Max와 같은 컴퓨터 그래픽스 전문 소프트웨어를 이용하여 숙련된 디자이너에 의해 제작하는 방법은 소프트웨어에서 제공하는 다양한 기능을 이용하여 자세한 모델을 만들 수 있으나, 디자이너의 능력에 따라 3차원 모델의 품질과 제작 시간에 많은 차이가 발생할 수 있으며, 실제 존재하는 건물과 같은 물체와의 기하학적인 정확성을 보장할 방법이 없는 문제점이 있다.

다수의 영상을 이용한 영상 기반 모델링 방법은 포토신스와 같이 수많은 영상 간의 대응점을 이용하여 카메라 셀프 캘리브레이션(self-calibration)을 수행하여 카메라 행렬과 특징점의 3차원 좌표를 계산한다. 이때 계산되어지는 3차원 좌표는 조밀하지 않기 때문에, 이 점들을 초기값으로 하여 조밀하게 3차원 점을 확산하여 3차원 메쉬를 생성하거나, 카메라 행렬을 이용하여 사용자 인터랙션에 의해 수작업으로 3차원 메쉬를 모델링할 수 있다. 이 방법은 컴퓨터 그래픽스 소프트웨어를 이용한 수작업으로 만든 모델에 비해 비교적 기하학적으로 정확한 3차원 모델을 생성할 수 있고, 영상으로부터 텍스처를 추출할 수 있으므로 사실적인 모델을 생성할 수 있으나, 모델의 정확도가 이미지 해상도에 의존하는 문제점이 있다.

본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 3차원 스캐닝을 통해 획득한 포인트 클라우드와 영상을 이용하여 정적인 배경의 3차원 모델을 생성하는 입체 모델 생성 장치 및 방법을 제안함을 목적으로 한다.

본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 미리 정해진 지역을 촬영하여 얻은 카메라 영상에 상기 지역을 스캐닝하여 얻은 포인트 클라우드(point cloud)를 정합하여 정합 영상을 생성하는 영상 정합부; 상기 지역에 위치하는 오브젝트를 메쉬 모델로 생성하는 메쉬 모델 생성부; 및 상기 메쉬 모델에 상기 정합 영상으로부터 얻은 텍스처 정보를 반영하여 상기 오브젝트에 대한 입체 모델을 생성하는 입체 모델 생성부를 포함하는 것을 특징으로 하는 입체 모델 생성 장치를 제안한다.

바람직하게는, 상기 메쉬 모델 생성부는 상기 정합 영상에 상기 포인트 클라우드를 중첩시켜 중첩 영상을 생성하는 영상 중첩부; 상기 중첩 영상 상에서 상기 오브젝트와 관련된 사용자 입력을 검출하는 사용자 입력 검출부; 상기 사용자 입력 중에서 선택된 선택 입력과 관련된 좌표 정보를 상기 포인트 클라우드로부터 추출하는 좌표 정보 추출부; 및 상기 좌표 정보를 기초로 상기 메쉬 모델을 생성하는 좌표 기반 모델 생성부를 포함한다.

바람직하게는, 상기 영상 중첩부는 상기 카메라 영상과 상기 포인트 클라우드를 정합할 때 얻은 카메라 행렬을 이용하여 상기 중첩 영상을 생성한다.

바람직하게는, 상기 영상 중첩부는 그래픽 라이브러리를 이용하여 상기 카메라 영상을 직교투사(orthographic projection)하고 상기 카메라 영상과 상기 포인트 클라우드를 정합할 때 얻은 카메라 행렬을 이용하여 상기 포인트 클라우드를 사영투사(perspective projection)하여 상기 중첩 영상을 생성한다.

바람직하게는, 상기 좌표 정보 추출부는 상기 선택 입력으로부터 미리 정해진 거리 이내에 위치하는 점군(point group)을 수집하는 점군 수집부; 및 상기 점군을 이용하여 상기 좌표 정보로 정점 요소의 3차원 좌표 정보를 추출하는 점군 기반 좌표 추출부를 포함한다.

바람직하게는, 상기 영상 정합부는 상기 지역에 배치된 마커를 인식하여 상기 카메라 영상과 상기 포인트 클라우드 간 관계 정보를 계산하는 관계 정보 계산부; 및 상기 관계 정보를 기초로 상기 정합 영상을 생성하는 관계 기반 영상 생성부를 포함한다.

바람직하게는, 상기 입체 모델 생성 장치는 스캐너에 부착된 카메라를 이용하여 상기 포인트 클라우드를 획득할 때에 상기 카메라 영상을 함께 획득하는 카메라 영상 획득부를 더욱 포함할 수 있다.

바람직하게는, 상기 영상 정합부는 상기 카메라 영상의 특징점과 상기 포인트 클라우드의 특징점 간 대응 관계를 지정하는 특징점 대응 관계 지정부; 상기 대응 관계를 기초로 카메라 행렬을 계산하는 카메라 행렬 계산부; 상기 카메라 행렬을 기초로 상기 카메라 영상과 상기 포인트 클라우드 간 매핑 관계를 설정하는 매핑 관계 설정부; 및 상기 매핑 관계를 기초로 상기 정합 영상을 생성하는 매핑 관계 기반 영상 생성부를 포함한다. 더욱 바람직하게는, 상기 매핑 관계 설정부는 상기 카메라 행렬과 상기 포인트 클라우드의 각 점의 3차원 좌표를 곱하여 상기 매핑 관계로 상기 카메라 영상의 각 점의 2차원 좌표를 설정한다.

바람직하게는, 상기 입체 모델 생성 장치는 상기 텍스처 정보를 생성하는 텍스처 정보 생성부를 더욱 포함한다. 더욱 바람직하게는, 상기 텍스처 정보 생성부는 상기 메쉬 모델의 각 면에 반영할 텍스처 영상을 상기 정합 영상으로부터 획득하는 텍스처 영상 획득부; 및 상기 텍스처 영상에서 원근 왜곡(perspective distortion)을 제거하여 상기 텍스처 정보를 생성하는 왜곡 제거부를 포함한다. 더욱더 바람직하게는, 상기 텍스처 영상 획득부는 상기 메쉬 모델의 일면에서의 법선 벡터와 카메라의 시선 벡터 간 각이 미리 정해진 기준에 부합할 때 상기 시선 벡터와 관련된 정합 영상의 일면을 상기 정합 영상에서 선택하는 영상 선택부; 및 선택된 정합 영상의 일면으로부터 상기 텍스처 영상을 획득하는 선택 영상 기반 획득부를 포함한다.

바람직하게는, 상기 입체 모델 생성 장치는 상기 지역을 입체적으로 스캐닝하여 상기 포인트 클라우드를 생성하는 포인트 클라우드 생성부를 더욱 포함한다.

바람직하게는, 상기 메쉬 모델 생성부는 사용자의 인터랙션(interaction)에 의해 상기 오브젝트를 직관적으로 모델링하여 상기 메쉬 모델로 생성한다.

또한, 본 발명은 미리 정해진 지역을 촬영하여 얻은 카메라 영상에 상기 지역을 스캐닝하여 얻은 포인트 클라우드(point cloud)를 정합하여 정합 영상을 생성하는 영상 정합 단계; 상기 지역에 위치하는 오브젝트를 메쉬 모델로 생성하는 메쉬 모델 생성 단계; 및 상기 메쉬 모델에 상기 정합 영상으로부터 얻은 텍스처 정보를 반영하여 상기 오브젝트에 대한 입체 모델을 생성하는 입체 모델 생성 단계를 포함하는 것을 특징으로 하는 입체 모델 생성 방법을 제안한다.

바람직하게는, 상기 메쉬 모델 생성 단계는 상기 정합 영상에 상기 포인트 클라우드를 중첩시켜 중첩 영상을 생성하는 영상 중첩 단계; 상기 중첩 영상 상에서 상기 오브젝트와 관련된 사용자 입력을 검출하는 사용자 입력 검출 단계; 상기 사용자 입력 중에서 선택된 선택 입력과 관련된 좌표 정보를 상기 포인트 클라우드로부터 추출하는 좌표 정보 추출 단계; 및 상기 좌표 정보를 기초로 상기 메쉬 모델을 생성하는 좌표 기반 모델 생성 단계를 포함한다.

바람직하게는, 상기 영상 중첩 단계는 상기 카메라 영상과 상기 포인트 클라우드를 정합할 때 얻은 카메라 행렬을 이용하여 상기 중첩 영상을 생성한다.

바람직하게는, 상기 영상 중첩 단계는 그래픽 라이브러리를 이용하여 상기 카메라 영상을 직교투사(orthographic projection)하고 상기 카메라 영상과 상기 포인트 클라우드를 정합할 때 얻은 카메라 행렬을 이용하여 상기 포인트 클라우드를 사영투사(perspective projection)하여 상기 중첩 영상을 생성한다.

바람직하게는, 상기 좌표 정보 추출 단계는 상기 선택 입력으로부터 미리 정해진 거리 이내에 위치하는 점군(point group)을 수집하는 점군 수집 단계; 및 상기 점군을 이용하여 상기 좌표 정보로 정점 요소의 3차원 좌표 정보를 추출하는 점군 기반 좌표 추출 단계를 포함한다.

바람직하게는, 상기 영상 정합 단계는 상기 지역에 배치된 마커를 인식하여 상기 카메라 영상과 상기 포인트 클라우드 간 관계 정보를 계산하는 관계 정보 계산 단계; 및 상기 관계 정보를 기초로 상기 정합 영상을 생성하는 관계 기반 영상 생성 단계를 포함한다.

바람직하게는, 상기 입체 모델 생성 방법은 스캐너에 부착된 카메라를 이용하여 상기 포인트 클라우드를 획득할 때에 상기 카메라 영상을 함께 획득하는 카메라 영상 획득 단계를 더욱 포함한다.

바람직하게는, 상기 영상 정합 단계는 상기 카메라 영상의 특징점과 상기 포인트 클라우드의 특징점 간 대응 관계를 지정하는 특징점 대응 관계 지정 단계; 상기 대응 관계를 기초로 카메라 행렬을 계산하는 카메라 행렬 계산 단계; 상기 카메라 행렬을 기초로 상기 카메라 영상과 상기 포인트 클라우드 간 매핑 관계를 설정하는 매핑 관계 설정 단계; 및 상기 매핑 관계를 기초로 상기 정합 영상을 생성하는 매핑 관계 기반 영상 생성 단계를 포함한다. 더욱 바람직하게는, 상기 매핑 관계 설정 단계는 상기 카메라 행렬과 상기 포인트 클라우드의 각 점의 3차원 좌표를 곱하여 상기 매핑 관계로 상기 카메라 영상의 각 점의 2차원 좌표를 설정한다.

바람직하게는, 상기 입체 모델 생성 방법은 상기 텍스처 정보를 생성하는 텍스처 정보 생성 단계를 더욱 포함한다. 더욱 바람직하게는, 상기 텍스처 정보 생성 단계는 상기 메쉬 모델의 각 면에 반영할 텍스처 영상을 상기 정합 영상으로부터 획득하는 텍스처 영상 획득 단계; 및 상기 텍스처 영상에서 원근 왜곡(perspective distortion)을 제거하여 상기 텍스처 정보를 생성하는 원근 왜곡 제거 단계를 포함한다. 더욱더 바람직하게는, 상기 텍스처 영상 획득 단계는 상기 메쉬 모델의 일면에서의 법선 벡터와 카메라의 시선 벡터 간 각이 미리 정해진 기준에 부합할 때 상기 시선 벡터와 관련된 정합 영상의 일면을 상기 정합 영상에서 선택하는 영상 선택 단계; 및 선택된 정합 영상의 일면으로부터 상기 텍스처 영상을 획득하는 선택 영상 기반 획득 단계를 포함한다.

바람직하게는, 상기 입체 모델 생성 방법은 상기 지역을 입체적으로 스캐닝하여 상기 포인트 클라우드를 생성하는 포인트 클라우드 생성 단계를 더욱 포함한다.

바람직하게는, 상기 메쉬 모델 생성 단계는 사용자의 인터랙션(interaction)에 의해 상기 오브젝트를 직관적으로 모델링하여 상기 메쉬 모델로 생성한다.

본 발명은 3차원 스캐닝을 통해 획득한 포인트 클라우드와 영상을 이용하여 정적인 배경의 3차원 모델을 생성함으로써 다음 효과를 얻을 수 있다. 첫째, 대용량 3차원 포인트 클라우드와 영상을 정합하여 사용자에게 영상과 포인트 클라우드를 중첩시켜 보여주며, 3차원 모델링할 부분을 시각적으로 직관적으로 보여주고, 모델링 결과를 제시함으로써 쉽게 3차원 모델을 생성할 수 있다. 둘째, 영상이 포인트 클라우드에 정합되어 있으므로 3차원 모델에 사실적인 텍스처를 생성할 수 있다. 세째, 종래보다 3차원 모델의 정확도와 사실감을 향상시킨 3차원 모델을 생성하는 방법을 제공할 수 있으며, 이를 토대로 역공학 뿐만 아니라 3차원 지도 서비스 등에 널리 활용될 수 있다.

도 1은 본 발명의 바람직한 실시예에 따른 입체 모델 생성 장치를 개략적으로 도시한 블록도이다.
도 2는 도 1에 도시된 입체 모델 생성 장치에 부가되는 구성을 개략적으로 도시한 블록도이다.
도 3은 도 1에 도시된 메쉬 모델 생성부를 구체적으로 도시한 블록도이다.
도 4는 도 1에 도시된 영상 정합부를 구체적으로 도시한 블록도이다.
도 5는 도 2에 도시된 텍스처 정보 생성부를 구체적으로 도시한 블록도이다.
도 6은 포인트 클라우드 및 영상을 이용한 3차원 모델링 시스템의 구성도이다.
도 7은 도 6에 도시된 모델링부의 구성도이다.
도 8은 본 발명의 바람직한 실시예에 따른 입체 모델 생성 방법을 도시한 흐름도이다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

도 1은 본 발명의 바람직한 실시예에 따른 입체 모델 생성 장치를 개략적으로 도시한 블록도이다. 도 2는 도 1에 도시된 입체 모델 생성 장치에 부가되는 구성을 개략적으로 도시한 블록도이다. 도 3은 도 1에 도시된 메쉬 모델 생성부를 구체적으로 도시한 블록도이다. 도 4는 도 1에 도시된 영상 정합부를 구체적으로 도시한 블록도이다. 도 5는 도 2에 도시된 텍스처 정보 생성부를 구체적으로 도시한 블록도이다. 이하 설명은 도 1 내지 도 5를 참조한다.

도 1에 따르면, 입체 모델 생성 장치(100)는 영상 정합부(110), 메쉬 모델 생성부(120), 입체 모델 생성부(130), 전원부(140) 및 주제어부(150)를 포함한다.

정적인 배경의 3차원 모델을 제작하기 위한 방법에는 3차원 스캐너를 이용하는 방법이 있다. 3차원 스캐너를 이용하는 방법은 3차원 스캐닝을 통해 획득한 조밀한 3차원 포인트 클라우드에서 자동으로 3차원 메쉬를 생성하고, 불필요한 면(face)를 제거하기 위해 간략화(decimation) 및 정제(refinement) 과정을 거친다. 하지만 이러한 과정을 거쳐 생성한 3차원 메쉬도 여전히 많은 수의 정점과 면을 가지고 있어 실제 콘텐츠에 사용하기에는 불편한 문제가 있다. 이를 보완하기 위해 포인트 클라우드에서 간단한 3차원 모델을 만들기 위한 포인트 클라우드에 대한 3차원 도형이 피팅(fitting) 방법과 인터랙티브 모델링 방법이 연구되고 있으나, 제한적으로 활용되거나 사용자 인터페이스가 직관적이지 않은 문제가 있다. 초창기의 3차원 스캐너는 모아레 패턴이나 레이저 슬릿광을 이용하여 기계 부품의 역공학과 같이 작은 물체를 정확하게 3차원 측량하기 위한 도구로 많이 사용되었으나, 스캐닝 기술이 발달되어 최근에 라이다(LiDAR: Light Detection And Ranging) 장비는 항공, 지상에서 넓은 지역의 3차원 스캐닝을 위한 도구로도 많이 활용되고 있다.

입체 모델 생성 장치(100)는 3차원 스캐닝을 통해 획득한 대용량 포인트 클라우드(point cloud)와 영상을 이용하여 정적인 배경의 3차원 모델을 생성하는 장치이다. 이 입체 모델 생성 장치(100)는 3차원 스캐닝한 대용량 포인트 클라우드와 동일 지역 또는 물체를 촬영한 영상을 바탕으로 사용자의 인터랙션에 의해 쉽게 3차원 모델을 직관적으로 모델링한다. 포인트 클라우드를 획득하기 위한 3차원 스캐닝은 특정한 한 방법에 제한받지 않으며, 3차원 모델링할 대상 물체의 크기에 제한을 두지 않는다.

영상 정합부(110)는 미리 정해진 지역을 촬영하여 얻은 카메라 영상에 상기 지역을 스캐닝하여 얻은 포인트 클라우드(point cloud)를 정합하여 정합 영상을 생성하는 기능을 수행한다. 상기에서, 미리 정해진 지역이란 적어도 하나의 오브젝트를 포함하는 장소로서, 이하 설명에서는 대상 지역이라 칭한다.

영상 정합부(110)는 도 4 (a)에 도시된 바와 같이 관계 정보 계산부(111) 및 관계 기반 영상 생성부(112)를 포함할 수 있다. 관계 정보 계산부(111)는 대상 지역에 배치된 마커를 인식하여 카메라 영상과 포인트 클라우드 간 관계 정보를 계산하는 기능을 수행한다. 관계 기반 영상 생성부(112)는 관계 정보를 기초로 정합 영상을 생성하는 기능을 수행한다.

메쉬 모델 생성부(120)는 대상 지역에 위치하는 오브젝트를 메쉬 모델로 생성하는 기능을 수행한다. 이 메쉬 모델 생성부(120)는 사용자의 인터랙션(interaction)에 의해 오브젝트를 직관적으로 모델링하여 메쉬 모델로 생성할 수 있다.

메쉬 모델 생성부(120)는 도 3 (a)에 도시된 바와 같이 영상 중첩부(121), 사용자 입력 검출부(122), 좌표 정보 추출부(123) 및 좌표 기반 모델 생성부(124)를 포함할 수 있다.

영상 중첩부(121)는 정합 영상에 포인트 클라우드를 중첩시켜 중첩 영상을 생성하는 기능을 수행한다. 이 영상 중첩부(121)는 카메라 영상과 포인트 클라우드를 정합할 때 얻은 카메라 행렬을 이용하여 중첩 영상을 생성할 수 있다. 이 영상 중첩부(121)는 그래픽 라이브러리를 이용하여 카메라 영상을 직교투사(orthographic projection)하고 카메라 영상과 포인트 클라우드를 정합할 때 얻은 카메라 행렬을 이용하여 포인트 클라우드를 사영투사(perspective projection)하여 중첩 영상을 생성할 수 있다.

사용자 입력 검출부(122)는 중첩 영상 상에서 오브젝트와 관련된 사용자 입력을 검출하는 기능을 수행한다.

좌표 정보 추출부(123)는 사용자 입력 중에서 선택된 선택 입력과 관련된 좌표 정보를 포인트 클라우드로부터 추출하는 기능을 수행한다. 이 좌표 정보 추출부(123)는 도 3 (b)에 도시된 바와 같이 점군 수집부(125) 및 점군 기반 좌표 추출부(126)를 포함할 수 있다. 점군 수집부(125)는 선택 입력으로부터 미리 정해진 거리 이내에 위치하는 점군(point group)을 수집하는 기능을 수행한다. 점군 기반 좌표 추출부(126)는 점군을 이용하여 좌표 정보로 정점 요소의 3차원 좌표 정보를 추출하는 기능을 수행한다. 상기에서, 점군은 포인트 클라우드 내에 구비되는 점들로 이루어진 그룹을 의미한다.

좌표 기반 모델 생성부(124)는 좌표 정보를 기초로 메쉬 모델을 생성하는 기능을 수행한다.

입체 모델 생성부(130)는 메쉬 모델에 정합 영상으로부터 얻은 텍스처 정보를 반영하여 오브젝트에 대한 입체 모델을 생성하는 기능을 수행한다.

전원부(140)는 입체 모델 생성 장치(100)를 구성하는 각 구성부에 전원을 공급하는 기능을 수행한다.

주제어부(150)는 입체 모델 생성 장치(100)를 구성하는 각 구성부의 전체 작동을 제어하는 기능을 수행한다.

본 실시예에서는 카메라 영상과 포인트 클라우드를 같은 위치에서 획득할 수 있으며, 서로 다른 위치에서 획득하는 것도 가능하다.

카메라 영상과 포인트 클라우드를 같은 위치에서 획득할 경우, 입체 모델 생성 장치(100)는 도 2에 도시된 바와 같이 카메라 영상 획득부(160)를 더욱 포함할 수 있다. 카메라 영상 획득부(160)는 스캐너에 부착된 카메라를 이용하여 포인트 클라우드를 획득할 때에 카메라 영상을 함께 획득하는 기능을 수행한다.

반면, 카메라 영상과 포인트 클라우드를 서로 다른 위치에서 획득할 경우, 영상 정합부(110)는 도 4 (b)에 도시된 바와 같이 특징점 대응 관계 지정부(113), 카메라 행렬 계산부(114), 매핑 관계 설정부(115) 및 매핑 관계 기반 영상 생성부(116)를 포함할 수 있다. 특징점 대응 관계 지정부(113)는 카메라 영상의 특징점과 포인트 클라우드의 특징점 간 대응 관계를 지정하는 기능을 수행한다. 카메라 행렬 계산부(114)는 대응 관계를 기초로 카메라 행렬을 계산하는 기능을 수행한다. 매핑 관계 설정부(115)는 카메라 행렬을 기초로 카메라 영상과 포인트 클라우드 간 매핑 관계를 설정하는 기능을 수행한다. 매핑 관계 설정부(115)는 카메라 행렬과 포인트 클라우드의 각 점의 3차원 좌표를 곱하여 매핑 관계로 상기 카메라 영상의 각 점의 2차원 좌표를 설정할 수 있다. 매핑 관계 기반 영상 생성부(116)는 매핑 관계를 기초로 정합 영상을 생성하는 기능을 수행한다.

입체 모델 생성 장치(100)는 도 2에 도시된 바와 같이 텍스처 정보 생성부(170)를 더욱 포함할 수 있다. 텍스처 정보 생성부(170)는 텍스처 정보를 생성하는 것으로서, 도 5 (a)에 도시된 바와 같이 텍스처 영상 획득부(171) 및 왜곡 제거부(172)를 포함할 수 있다. 텍스처 영상 획득부(171)는 메쉬 모델의 각 면에 반영할 텍스처 영상을 정합 영상으로부터 획득하는 기능을 수행한다. 왜곡 제거부(172)는 텍스처 영상에서 원근 왜곡(perspective distortion)을 제거하여 텍스처 정보를 생성하는 기능을 수행한다.

한편, 텍스처 영상 획득부(171)는 도 5 (b)에 도시된 바와 같이 영상 선택부(173) 및 선택 영상 기반 획득부(174)를 포함할 수 있다. 영상 선택부(173)는 메쉬 모델의 일면에서의 법선 벡터와 카메라의 시선 벡터 간 각이 미리 정해진 기준에 부합할 때 시선 벡터와 관련된 정합 영상의 일면을 정합 영상에서 선택하는 기능을 수행한다. 선택 영상 기반 획득부(174)는 선택된 정합 영상의 일면으로부터 텍스처 영상을 획득하는 기능을 수행한다.

입체 모델 생성 장치(100)는 도 2에 도시된 바와 같이 포인트 클라우드 생성부(180)를 더욱 포함할 수 있다. 포인트 클라우드 생성부(180)는 대상 지역을 입체적으로 스캐닝하여 포인트 클라우드를 생성하는 기능을 수행한다.

다음으로, 입체 모델 생성 장치(100)의 일실시예로 3차원 모델링 시스템에 대해 설명한다. 도 6은 포인트 클라우드 및 영상을 이용한 3차원 모델링 시스템의 구성도이다. 도 7은 도 6에 도시된 모델링부의 구성도이다. 이하 설명은 도 6과 도 7을 참조한다.

3차원 모델링 시스템(600)은 대용량 3차원 포인트 클라우드와 영상을 활용하여 사용자의 인터랙션에 의해 3차원 모델을 생성하는 시스템이다.

3차원 모델링 시스템(600)은 사용자가 지정한 대용량 포인트 클라우드의 특징점을 이용하여 3차원 메쉬를 생성한다. 이때, 3차원 모델링 시스템(600)은 영상과 포인트 클라우드를 정합하여 사용자에게 제시함으로써 3차원 모델을 직관적으로 생성할 수 있게 한다.

3차원 모델링 시스템(600)은 영상과 포인트 클라우드가 정합된 출력 화면에 사용자가 모델링 대상 물체를 2차원으로 그리는 궤적의 특징점의 3차원 좌표를 포인트 클라우드에서 추출한다. 이때, 3차원 모델링 시스템(600)은 사용자가 영상 위에 표시한 좌표에 임계값보다 가깝게 투영되는 포인트 클라우드의 점들과 영상에서의 좌표를 카메라 행렬을 이용하여 최적화하여 특징점의 3차원 좌표를 추출한다.

3차원 모델링 시스템(600)은 대용량 3차원 포인트 클라우드와 영상을 정합함으로써, 모델링한 3차원 메쉬가 영상에 자동 정합되어 사용자에게 모델링된 결과를 영상에 중첩하여 보여줄 수 있게 한다.

3차원 모델링 시스템(600)은 대용량 3차원 포인트 클라우드와 영상을 정합함으로써 모델링된 3차원 모델에 사실적인 텍스처를 추출한다. 이때, 3차원 모델링 시스템(600)은 여러 방향에서 촬영된 다수의 영상에서, 모델링한 3차원 모델과 모델링하지 않은 전경 물체에 의해 가려지는 부분을 판단하여 가려지지 않는 부분의 영상을 샘플링하여 텍스처를 추출한다. 이때, 3차원 모델링 시스템(600)은 입력한 모든 영상에서 다른 물체에 의해 가려져서 영상에서 샘플링할 수 없는 경우에, 생성중인 텍스처에서 샘플링하여 텍스처의 빈 부분을 채운다.

도 6에 따르면, 3차원 모델링 시스템(600)은 포인트 클라우드 입력부(610), 영상 입력부(620), 영상-포인트 클라우드 정합부(630), 모델링부(640), 텍스처 추출부(650) 및 3차원 모델 출력부(660)로 구성된다.

포인트 클라우드 입력부(610)와 영상 입력부(620)는 컴퓨터에 저장된 포인트 클라우드와 영상을 입력하는 기능을 한다. 영상-포인트 클라우드 정합부(630)는 영상과 포인트 클라우드를 정합하여 영상의 카메라 파라미터를 추출하는 기능을 한다. 모델링부(640)는 사용자의 인터랙션에 의해 3차원 메쉬 모델을 생성하는 기능을 한다. 텍스처 추출부(650)는 정합된 영상으로부터 3차원 메쉬의 각 면(face)의 텍스처(texture)를 추출하는 기능을 한다. 3차원 모델 출력부(660)는 텍스처가 입혀진 3차원 메쉬 모델을 컴퓨터 파일과 화면으로 출력하는 기능을 한다.

도 7에 따르면, 모델링부(640)는 영상-포인트 클라우드 화면 표시부(710), 모델링 인터페이스부(720), 3차원 좌표 추출부(730) 및 3차원 메쉬 생성부(740)로 구성된다.

영상-포인트 클라우드 화면 표시부(710)는 영상-포인트 클라우드 정합부(630)의 처리 결과로 얻어지는 카메라 행렬을 이용하여 영상과 포인트 클라우드를 중첩하여 사용자에게 보여주는 기능을 한다. 즉, 영상-포인트 클라우드 화면 표시부(710)는 영상-포인트 클라우드 정합부(630)에서 정합 과정을 거친 영상에 포인트 클라우드를 중첩하여 표시하는 기능을 한다. 모델링 인터페이스부(720)는 영상-포인트 클라우드 화면 표시부(710)에서 3차원 모델링하고자 하는 물체에 대하여 사용자가 모델을 그리는 동작을 입력받는 기능을 한다. 3차원 좌표 추출부(730)는 사용자 입력을 기초로 3차원 모델링에서 중요한 요소인 정점(vertex) 요소의 3차원 좌표를 포인트 클라우드에서 추출하는 기능을 한다. 3차원 메쉬 생성부(740)는 정점의 3차원 좌표를 이용하여 메쉬를 생성하는 기능을 한다.

3차원 모델링 대상이 되는 장소를 3차원 스캐닝한 포인트 클라우드와 여러 위치에서 촬영한 영상은 컴퓨터에 저장되어 포인트 클라우드 입력부(610)와 영상 입력부(620)를 통해 입력된다. 3차원 스캐닝 장비에 따라서는 스캐너 본체에 카메라를 부착하고, 스캐닝 작업 전에 특별히 고안된 마커를 배경 지역에 부착하여 스캐닝과 영상 촬영을 하여 포인트 클라우드와 영상의 관계를 미리 계산하여 스캐닝 및 영상 촬영을 한 후에 포인트 클라우드와 영상이 정합된 결과를 보여주기도 한다. 하지만 사용자가 임의의 위치에서 촬영한 영상은 이와 같은 사전 작업을 할 수 없으므로, 스캐닝과 영상 촬영 후에 작업을 해야 한다. 영상-포인트 클라우드 정합부(630)에서는 영상의 특징점과 포인트 클라우드의 특징점의 대응 관계를 사용자가 지정하고 이를 이용하여 포인트 클라우드의 3차원 점들과 영상으로의 매핑 관계를 설정할 수 있는 카메라 행렬을 계산한다. 이 카메라 행렬에 포인트 클라우드 한 점의 3차원 좌표를 곱하면 영상에서의 2차원 좌표를 알 수 있다. 모델링부(640)의 영상-포인트 클라우드 화면 표시부(710)에서는 영상-포인트 클라우드 정합부(630)에서 계산한 카메라 행렬을 이용하여 영상에 포인트 클라우드를 중첩하여 화면에 표시한다. OpenGL과 같은 범용 3차원 그래픽 라이브러리를 이용하여 영상을 직교투사(orthographic projection)하고, 카메라 행렬을 3차원 그래픽 라이브러리의 카메라 파라미터로 변환하여 포인트 클라우드를 사영투사(perspective projection)하여 이미지 위에 포인트 클라우드를 중첩하여 보여준다. 이때, 포인트 클라우드가 무수히 많은 경우에는 포인트 클라우드를 계층적 또는 공간적으로 분할하여 화면에 렌더링하는 속도를 향상시키는 방법을 통해 사용자에게 지연이 느껴지지 않게 화면에 보여준다. 이러한 영상이 컴퓨터 모니터에 출력이 되면 사용자는 마우스 또는 타블렛 등의 도구를 이용하여 모델링하고자 하는 물체를 영상 위에 그린다. 모델링 인터페이스부(720)에서는 사용자가 입력한 화면상의 좌표를 영상의 좌표로 변환하여 3차원 좌표 추출부(730)로 입력한다. 3차원 좌표 추출부(730)는 모델링 인터페이스부(720)로부터 입력받은 영상의 좌표에서 일정 거리 내에 투영(projection)되는 포인트 집합을 수집하여 최적화하여 3차원 좌표를 추출한다. 이 3차원 좌표는 3차원 메쉬 생성부(740)에서 정점(vertex)의 3차원 좌표로 활용한다. 3차원 메쉬 생성부(740)에서는 이러한 3차원 정점들의 연결 정보를 생성하여 메쉬를 생성한다. 3차원 메쉬 생성부(740)는 모델링 인터페이스부(720)와 연관되어 있다. 3차원 메쉬 생성부(740)에서 메쉬를 생성 편집하는 방법에 따라 그에 대응하는 인터페이스가 모델링 인터페이스부(720)를 통해 지원된다. 예를 들어, 3차원 메쉬 생성부(740)에서 면 분할, 익스트루젼(extrusion)등의 메쉬 편집이 지원한다면, 모델링 인터페이스부(720)에서는 면 분할을 위한 분할선 그리기, 면 선택, 이동을 위한 인터페이스를 제공해야 한다. 모델링부(640)에서 생성된 3차원 메쉬 모델은 텍스처 추출부(650)에서 메쉬의 각 면의 텍스처를 추출한다. 영상과 포인트 클라우드가 정합되어 있으므로, 이를 이용하여 생성한 3차원 메쉬도 영상에 정합되어 있다. 따라서, 메쉬의 각 면에 대해 가장 적합한 영상을 선택하여 해당 부분을 샘플링하여 텍스처 영상을 생성한다. 이때, 영상의 원근 왜곡(perspective distortion)을 제거한다. 텍스처 영상을 생성할 소스 영상을 선택하기 위한 기준은 해당 면의 법선 벡터와 카메라의 시선 벡터의 각이 180도에 가까울수록, 즉, 면을 정면에 가장 가깝게 찍은 영상을 선택할 수 있다. 또한, 3차원 모델링한 물체 또는 모델링하지 않는 나무 등의 물체에 의한 가려짐 정보도 사용할 수 있다. 텍스처 추출부(650)를 거친 3차원 메쉬 모델은 3차원 모델 출력부(660)를 통해 화면 및 응용을 위해 여러가지 형식의 컴퓨터 파일로 출력된다.

다음으로, 입체 모델 생성 장치(100)의 입체 모델 생성 방법에 대해서 설명한다. 도 8은 본 발명의 바람직한 실시예에 따른 입체 모델 생성 방법을 도시한 흐름도이다. 이하 설명은 도 8을 참조한다.

먼저, 대상 지역을 촬영하여 얻은 카메라 영상에 대상 지역을 스캐닝하여 얻은 포인트 클라우드(point cloud)를 정합하여 정합 영상을 생성한다(영상 정합 단계, S10).

영상 정합 단계(S10)는 다음과 같이 구체적으로 수행될 수 있다. 먼저, 대상 지역에 배치된 마커를 인식하여 카메라 영상과 포인트 클라우드 간 관계 정보를 계산한다. 이후, 관계 정보를 기초로 정합 영상을 생성한다.

영상 정합 단계(S10) 이후, 대상 지역에 위치하는 오브젝트를 메쉬 모델로 생성한다(메쉬 모델 생성 단계, S20). 이 단계에서는 사용자의 인터랙션(interaction)에 의해 오브젝트를 직관적으로 모델링하여 메쉬 모델로 생성할 수 있다.

메쉬 모델 생성 단계(S20)는 다음과 같이 구체적으로 수행될 수 있다. 먼저, 정합 영상에 포인트 클라우드를 중첩시켜 중첩 영상을 생성한다. 이 단계에서는 카메라 영상과 포인트 클라우드를 정합할 때 얻은 카메라 행렬을 이용하여 중첩 영상을 생성할 수 있다. 이 단계에서는 그래픽 라이브러리를 이용하여 카메라 영상을 직교투사(orthographic projection)하고 카메라 영상과 포인트 클라우드를 정합할 때 얻은 카메라 행렬을 이용하여 포인트 클라우드를 사영투사(perspective projection)하여 중첩 영상을 생성할 수 있다. 이후, 중첩 영상 상에서 오브젝트와 관련된 사용자 입력을 검출한다. 이후, 사용자 입력 중에서 선택된 선택 입력과 관련된 좌표 정보를 포인트 클라우드로부터 추출한다. 이 단계에서는 선택 입력으로부터 미리 정해진 거리 이내에 위치하는 점군(point group)을 수집하며, 이 점군을 이용하여 좌표 정보로 정점 요소의 3차원 좌표 정보를 추출할 수 있다. 이후, 좌표 정보를 기초로 메쉬 모델을 생성한다.

메쉬 모델 생성 단계(S20) 이후, 메쉬 모델에 정합 영상으로부터 얻은 텍스처 정보를 반영하여 오브젝트에 대한 입체 모델을 생성한다(입체 모델 생성 단계, S30).

입체 모델을 생성할 때에는 카메라 영상과 포인트 클라우드를 같은 위치에서 획득할 수 있으며, 카메라 영상과 포인트 클라우드를 서로 다른 위치에서 획득하는 것도 가능하다. 전자의 경우, 영상 정합 단계(S10) 이전에 카메라 영상 획득 단계(S5)가 수행될 수 있다. 이 단계에서는 스캐너에 부착된 카메라를 이용하여 포인트 클라우드를 획득할 때에 카메라 영상을 함께 획득한다. 후자의 경우, 영상 정합 단계(S10)는 다음과 같이 수행될 수 있다. 먼저, 카메라 영상의 특징점과 포인트 클라우드의 특징점 간 대응 관계를 지정한다. 이후, 대응 관계를 기초로 카메라 행렬을 계산한다. 이후, 카메라 행렬을 기초로 카메라 영상과 포인트 클라우드 간 매핑 관계를 설정한다. 이 단계에서는 카메라 행렬과 포인트 클라우드의 각 점의 3차원 좌표를 곱하여 매핑 관계로 카메라 영상의 각 점의 2차원 좌표를 설정할 수 있다. 이후, 매핑 관계를 기초로 정합 영상을 생성한다.

메쉬 모델 생성 단계(S20)와 입체 모델 생성 단계(S30) 사이에 텍스처 정보 생성 단계(S25)가 수행될 수 있다. 이 단계에서는 텍스처 정보를 생성한다. 즉, 메쉬 모델의 각 면에 반영할 텍스처 영상을 정합 영상으로부터 획득한다. 이후, 텍스처 영상에서 원근 왜곡(perspective distortion)을 제거하여 텍스처 정보를 생성한다. 텍스처 영상을 획득하는 단계는 다음과 같이 구체적으로 수행될 수 있다. 먼저, 메쉬 모델의 일면에서의 법선 벡터와 카메라의 시선 벡터 간 각이 미리 정해진 기준에 부합할 때 시선 벡터와 관련된 정합 영상의 일면을 정합 영상에서 선택한다. 이후, 선택된 정합 영상의 일면으로부터 텍스처 영상을 획득한다.

영상 정합 단계(S10) 이전에 포인트 클라우드 생성 단계(S5')가 수행될 수 있다. 이 단계에서는 대상 지역을 입체적으로 스캐닝하여 포인트 클라우드를 생성한다. 포인트 클라우드 생성 단계(S5')는 카메라 영상 획득 단계(S5)와 동시에 수행될 수 있으나, 그 전 또는 그 후에 수행되어도 무방하다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 입체 모델 생성 장치 110 : 영상 정합부
111 : 관계 정보 계산부 112 : 관계 기반 영상 생성부
113 : 특징점 대응 관계 지정부 114 : 카메라 행렬 계산부
115 : 매핑 관계 설정부 116 : 매핑 관계 기반 영상 생성부
120 : 영상 정합부 121 : 영상 중첩부
122 : 사용자 입력 검출부 123 : 좌표 정보 추출부
124 : 좌표 기반 모델 생성부 125 : 점군 수집부
126 : 점군 기반 좌표 추출부 130 : 입체 모델 생성부
140 : 전원부 150 : 주제어부
160 : 카메라 영상 획득부 170 : 텍스처 정보 생성부
171 : 텍스처 영상 획득부 172 : 왜곡 제거부
173 : 영상 선택부 174 : 선택 영상 기반 획득부
180 : 포인트 클라우드 생성부

Claims

미리 정해진 지역을 촬영하여 얻은 카메라 영상에 상기 지역을 스캐닝하여 얻은 포인트 클라우드(point cloud)를 정합하여 정합 영상을 생성하는 영상 정합부;
상기 지역에 위치하는 오브젝트를 메쉬 모델로 생성하는 메쉬 모델 생성부; 및
상기 메쉬 모델에 상기 정합 영상으로부터 얻은 텍스처 정보를 반영하여 상기 오브젝트에 대한 입체 모델을 생성하는 입체 모델 생성부
를 포함하는 것을 특징으로 하는 입체 모델 생성 장치.
제 1 항에 있어서,
상기 메쉬 모델 생성부는,
상기 정합 영상에 상기 포인트 클라우드를 중첩시켜 중첩 영상을 생성하는 영상 중첩부;
상기 중첩 영상 상에서 상기 오브젝트와 관련된 사용자 입력을 검출하는 사용자 입력 검출부;
상기 사용자 입력 중에서 선택된 선택 입력과 관련된 좌표 정보를 상기 포인트 클라우드로부터 추출하는 좌표 정보 추출부; 및
상기 좌표 정보를 기초로 상기 메쉬 모델을 생성하는 좌표 기반 모델 생성부
를 포함하는 것을 특징으로 하는 입체 모델 생성 장치.
제 2 항에 있어서,
상기 영상 중첩부는 상기 카메라 영상과 상기 포인트 클라우드를 정합할 때 얻은 카메라 행렬을 이용하여 상기 중첩 영상을 생성하는 것을 특징으로 하는 입체 모델 생성 장치.
제 2 항에 있어서,
상기 영상 중첩부는 그래픽 라이브러리를 이용하여 상기 카메라 영상을 직교투사(orthographic projection)하고 상기 카메라 영상과 상기 포인트 클라우드를 정합할 때 얻은 카메라 행렬을 이용하여 상기 포인트 클라우드를 사영투사(perspective projection)하여 상기 중첩 영상을 생성하는 것을 특징으로 하는 입체 모델 생성 장치.
제 2 항에 있어서,
상기 좌표 정보 추출부는,
상기 선택 입력으로부터 미리 정해진 거리 이내에 위치하는 점군(point group)을 수집하는 점군 수집부; 및
상기 점군을 이용하여 상기 좌표 정보로 정점 요소의 3차원 좌표 정보를 추출하는 점군 기반 좌표 추출부
를 포함하는 것을 특징으로 하는 입체 모델 생성 장치.
제 1 항에 있어서,
상기 영상 정합부는,
상기 지역에 배치된 마커를 인식하여 상기 카메라 영상과 상기 포인트 클라우드 간 관계 정보를 계산하는 관계 정보 계산부; 및
상기 관계 정보를 기초로 상기 정합 영상을 생성하는 관계 기반 영상 생성부
를 포함하는 것을 특징으로 하는 입체 모델 생성 장치.
제 1 항에 있어서,
스캐너에 부착된 카메라를 이용하여 상기 포인트 클라우드를 획득할 때에 상기 카메라 영상을 함께 획득하는 카메라 영상 획득부
를 더욱 포함하는 것을 특징으로 하는 입체 모델 생성 장치.
제 1 항에 있어서,
상기 영상 정합부는,
상기 카메라 영상의 특징점과 상기 포인트 클라우드의 특징점 간 대응 관계를 지정하는 특징점 대응 관계 지정부;
상기 대응 관계를 기초로 카메라 행렬을 계산하는 카메라 행렬 계산부;
상기 카메라 행렬을 기초로 상기 카메라 영상과 상기 포인트 클라우드 간 매핑 관계를 설정하는 매핑 관계 설정부; 및
상기 매핑 관계를 기초로 상기 정합 영상을 생성하는 매핑 관계 기반 영상 생성부
를 포함하는 것을 특징으로 하는 입체 모델 생성 장치.
제 8 항에 있어서,
상기 매핑 관계 설정부는 상기 카메라 행렬과 상기 포인트 클라우드의 각 점의 3차원 좌표를 곱하여 상기 매핑 관계로 상기 카메라 영상의 각 점의 2차원 좌표를 설정하는 것을 특징으로 하는 입체 모델 생성 장치.
제 1 항에 있어서,
상기 텍스처 정보를 생성하는 텍스처 정보 생성부
를 더욱 포함하며,
상기 텍스처 정보 생성부는,
상기 메쉬 모델의 각 면에 반영할 텍스처 영상을 상기 정합 영상으로부터 획득하는 텍스처 영상 획득부; 및
상기 텍스처 영상에서 원근 왜곡(perspective distortion)을 제거하여 상기 텍스처 정보를 생성하는 왜곡 제거부
를 포함하는 것을 특징으로 하는 입체 모델 생성 장치.
제 10 항에 있어서,
상기 텍스처 영상 획득부는,
상기 메쉬 모델의 일면에서의 법선 벡터와 카메라의 시선 벡터 간 각이 미리 정해진 기준에 부합할 때 상기 시선 벡터와 관련된 정합 영상의 일면을 상기 정합 영상에서 선택하는 영상 선택부; 및
선택된 정합 영상의 일면으로부터 상기 텍스처 영상을 획득하는 선택 영상 기반 획득부
를 포함하는 것을 특징으로 하는 입체 모델 생성 장치.
제 1 항에 있어서,
상기 지역을 입체적으로 스캐닝하여 상기 포인트 클라우드를 생성하는 포인트 클라우드 생성부
를 더욱 포함하는 것을 특징으로 하는 입체 모델 생성 장치.
제 1 항에 있어서,
상기 메쉬 모델 생성부는 사용자의 인터랙션(interaction)에 의해 상기 오브젝트를 직관적으로 모델링하여 상기 메쉬 모델로 생성하는 것을 특징으로 하는 입체 모델 생성 장치.
미리 정해진 지역을 촬영하여 얻은 카메라 영상에 상기 지역을 스캐닝하여 얻은 포인트 클라우드(point cloud)를 정합하여 정합 영상을 생성하는 영상 정합 단계;
상기 지역에 위치하는 오브젝트를 메쉬 모델로 생성하는 메쉬 모델 생성 단계; 및
상기 메쉬 모델에 상기 정합 영상으로부터 얻은 텍스처 정보를 반영하여 상기 오브젝트에 대한 입체 모델을 생성하는 입체 모델 생성 단계
를 포함하는 것을 특징으로 하는 입체 모델 생성 방법.
제 14 항에 있어서,
상기 메쉬 모델 생성 단계는,
상기 정합 영상에 상기 포인트 클라우드를 중첩시켜 중첩 영상을 생성하는 영상 중첩 단계;
상기 중첩 영상 상에서 상기 오브젝트와 관련된 사용자 입력을 검출하는 사용자 입력 검출 단계;
상기 사용자 입력 중에서 선택된 선택 입력과 관련된 좌표 정보를 상기 포인트 클라우드로부터 추출하는 좌표 정보 추출 단계; 및
상기 좌표 정보를 기초로 상기 메쉬 모델을 생성하는 좌표 기반 모델 생성 단계
를 포함하는 것을 특징으로 하는 입체 모델 생성 방법.
제 15 항에 있어서,
상기 좌표 정보 추출 단계는,
상기 선택 입력으로부터 미리 정해진 거리 이내에 위치하는 점군(point group)을 수집하는 점군 수집 단계; 및
상기 점군을 이용하여 상기 좌표 정보로 정점 요소의 3차원 좌표 정보를 추출하는 점군 기반 좌표 추출 단계
를 포함하는 것을 특징으로 하는 입체 모델 생성 방법.
제 14 항에 있어서,
상기 영상 정합 단계는,
상기 지역에 배치된 마커를 인식하여 상기 카메라 영상과 상기 포인트 클라우드 간 관계 정보를 계산하는 관계 정보 계산 단계; 및
상기 관계 정보를 기초로 상기 정합 영상을 생성하는 관계 기반 영상 생성 단계
를 포함하는 것을 특징으로 하는 입체 모델 생성 방법.
제 14 항에 있어서,
스캐너에 부착된 카메라를 이용하여 상기 포인트 클라우드를 획득할 때에 상기 카메라 영상을 함께 획득하는 카메라 영상 획득 단계
를 더욱 포함하거나,
상기 영상 정합 단계는,
상기 카메라 영상의 특징점과 상기 포인트 클라우드의 특징점 간 대응 관계를 지정하는 특징점 대응 관계 지정 단계;
상기 대응 관계를 기초로 카메라 행렬을 계산하는 카메라 행렬 계산 단계;
상기 카메라 행렬을 기초로 상기 카메라 영상과 상기 포인트 클라우드 간 매핑 관계를 설정하는 매핑 관계 설정 단계; 및
상기 매핑 관계를 기초로 상기 정합 영상을 생성하는 매핑 관계 기반 영상 생성 단계
를 포함하는 것을 특징으로 하는 입체 모델 생성 방법.
제 14 항에 있어서,
상기 텍스처 정보를 생성하는 텍스처 정보 생성 단계
를 더욱 포함하며,
상기 텍스처 정보 생성 단계는,
상기 메쉬 모델의 각 면에 반영할 텍스처 영상을 상기 정합 영상으로부터 획득하는 텍스처 영상 획득 단계; 및
상기 텍스처 영상에서 원근 왜곡(perspective distortion)을 제거하여 상기 텍스처 정보를 생성하는 원근 왜곡 제거 단계
를 포함하고,
상기 텍스처 영상 획득 단계는,
상기 메쉬 모델의 일면에서의 법선 벡터와 카메라의 시선 벡터 간 각이 미리 정해진 기준에 부합할 때 상기 시선 벡터와 관련된 정합 영상의 일면을 상기 정합 영상에서 선택하는 영상 선택 단계; 및
선택된 정합 영상의 일면으로부터 상기 텍스처 영상을 획득하는 선택 영상 기반 획득 단계
를 포함하는 것을 특징으로 하는 입체 모델 생성 방법.
제 14 항에 있어서,
상기 메쉬 모델 생성 단계는 사용자의 인터랙션(interaction)에 의해 상기 오브젝트를 직관적으로 모델링하여 상기 메쉬 모델로 생성하는 것을 특징으로 하는 입체 모델 생성 방법.