KR20110070660A

KR20110070660A - 3차원 도시 모델링 장치 및 방법

Info

Publication number: KR20110070660A
Application number: KR1020100018863A
Authority: KR
Inventors: 추창우; 김호원; 구본기
Original assignee: 한국전자통신연구원
Priority date: 2009-12-18
Filing date: 2010-03-03
Publication date: 2011-06-24
Also published as: KR101314120B1

Abstract

수치표고 모델과 항공 및 지상에서 촬영한 영상을 이용하여 도시 건물의 3차원 외형과 3차원 지형을 모델링하고 사실적인 텍스쳐를 추출하도록 한 3차원 도시 모델링 장치 및 방법을 제시한다. 제시된 장치는 입력받은 항공 영상 및 지상 영상에 대한 촬영 당시의 촬영장치의 위치와 자세의 데이터를 보정하는 보정부, 보정부에 의한 보정 결과가 반영된 항공 영상 및 지상 영상을 근거로 3차원의 건물 모델을 생성하는 건물 모델 생성부, 입력받은 수치표고 모델을 3차원 메쉬화하여 3차원의 지형 모델을 생성하는 지형 모델 생성부, 항공 영상 및 지상 영상을 이용하여 건물 모델과 지형 모델에 대한 텍스쳐를 추출하는 텍스쳐 추출부, 및 텍스쳐를 이용한 건물 모델과 지형 모델의 정합에 의해 3차원의 도시 모델을 생성하는 모델 정합부를 포함한다. 수치 지형 데이터와 항공 영상, 지상 영상을 이용하여 사실적인 텍스쳐를 가진 3차원 메쉬를 생성할 수 있게 된다. 항공 및 지상 영상을 모두 활용함으로 인해 어떠한 뷰에서도 사실적인 장면을 연출할 수 있다.

Description

3차원 도시 모델링 장치 및 방법{Three-dimensional urban modeling apparatus and three-dimensional urban modeling method}

본 발명은 3차원 도시 모델링 장치 및 방법에 관한 것으로, 보다 상세하게는 수치표고 모델과 항공 및 지상에서 촬영한 영상을 이용한 3차원 도시 모델링 장치 및 방법에 관한 것이다.

본 발명은 문화체육관광부의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-F-030-02, 과제명: 방통융합형 Full 3D 복원기술 개발(표준화연계)].

초고속 인터넷의 확산에 힘입어, 고해상도 위성영상을 이용한 지도 서비스가 널리 대중화되고 있다.

이에 더하여 지상에서 촬영한 영상을 이용한 로드뷰 또는 스트리트 뷰 형태의 서비스가 새로운 서비스로 각광받고 있다.

위성영상을 이용한 지도 서비스는 사용자가 찾고자 하는 지역의 위성영상에 건물, 도로명 등을 표시하고, 출발지와 목적지를 설정하면 경로를 찾아주기도 한다.

또한, 그 지역에서 사용자가 지상에서 촬영한 영상을 서버에게로 업로드하여 위성영상 뿐만 아니라, 그 지역의 분위기를 지상 영상으로도 확인할 수 있다. 더불어, 사용자가 직접 제작한 3차원 모델을 공유하여 3차원으로 그 지역을 둘러볼 수도 있다.

하지만, 위성 영상을 이용한 지도 서비스는 지역에 따라 위성 영상의 해상도가 낮아서 분간이 어려운 곳이 있을 수 있고, 조금 단조로운 면이 있다.

이에 반해 최근에 시작된 로드뷰, 스트리트 뷰 등의 서비스는 주로 차량에 장착한 전방향 카메라(예컨대, 360도 전체를 한번에 촬영할 수 있는 장치 등)를 사용하여 영상을 획득하고 연속된 파노라마 영상 형식의 서비스를 제공한다. 그에 따라, 사용자는 실제 거리에서 주위를 둘러보는 듯한 환경에서 지역 정보를 알 수 있게 된다. 또한, 촬영시 GPS와 연동하여 촬영한 위치를 알고 있기 때문에, 위성영상과 연계한 서비스가 가능한다.

이와 같은 종래 기술들은 2차원 평면정보를 서비스하는 것이다.

한편, 위성영상 또는 항공영상을 이용하여 건물의 3차원 모델을 생성하는 연구도 많이 수행되어오고 있다.

그러나, 대부분 영상에서 건물이 차지하는 영역이 작기 때문에 건물의 정확도가 떨어진다. 또한, 건물의 옆면의 텍스쳐가 없는 경우가 많으며, 전체적으로 텍스쳐의 품질이 떨어지는 문제점이 있다.

본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 수치표고 모델과 항공 및 지상에서 촬영한 영상을 이용하여 도시 건물의 3차원 외형과 3차원 지형을 모델링하고 사실적인 텍스쳐를 추출하도록 한 3차원 도시 모델링 장치 및 방법을 제공함에 그 목적이 있다.

본 발명은 수치표고 모델(DEM; Digital Elevation Model)에 더하여 수직 (vertical)및 경사(oblique) 방향으로 촬영한 항공 영상을 이용하여 건물의 3차원 모델을 생성하여 텍스쳐를 추출하고, 지상에서 촬영한 영상에서 3차원 모델을 좀 더 자세하게 모델링하거나, 보다 좋은 해상도의 텍스쳐를 추출할 수 있도록 함을 기술적 과제로 한다.

상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 3차원 도시 모델링 장치는, 입력받은 항공 영상 및 지상 영상에 대한 촬영 당시의 촬영장치의 위치와 자세의 데이터를 보정하는 보정부; 보정부에 의한 보정 결과가 반영된 항공 영상 및 지상 영상을 근거로 3차원의 건물 모델을 생성하는 건물 모델 생성부; 입력받은 수치표고 모델을 3차원 메쉬화하여 3차원의 지형 모델을 생성하는 지형 모델 생성부; 항공 영상 및 지상 영상을 이용하여 건물 모델과 지형 모델에 대한 텍스쳐를 추출하는 텍스쳐 추출부; 및 텍스쳐를 이용한 건물 모델과 지형 모델의 정합에 의해 3차원의 도시 모델을 생성하는 모델 정합부;를 포함한다.

보정부는 촬영장치의 위치와 자세의 데이터를 사용하여, 항공 영상 및 지상 영상중에서 모델링할 건물을 촬영한 영상만을 선별하여 보정을 행한다. 이 경우, 촬영장치의 위치와 자세의 데이터를 입력받아 보정부에게로 보내는 위치 자세 데이터 입력부를 추가로 포함한다.

보정부는 촬영장치의 위치와 자세의 데이터가 없는 영상이 입력된 경우, 미리 구축한 3차원 건물 모델의 정점과 영상의 특징점 대응관계 및 미리 계산한 촬영장치의 내부 인자를 이용하여 항공 영상 및 지상 영상에 대한 촬영 당시의 촬영장치 위치와 자세의 데이터를 계산해 낸다.

건물 모델 생성부는 건물의 주요 형태를 구성하는 기본 도형을 보정된 영상에 대응시켜 제 1의 3차원 건물 모델을 생성하고, 제 1의 3차원 건물 모델을 3차원 메쉬 편집 기법으로 편집하여 건물의 세부 외형을 모델링함에 의해 3차원의 건물 모델을 생성한다.

건물 모델 생성부는 항공 영상을 이용하여 제 1의 3차원 건물 모델을 생성하고, 지상 영상을 이용하여 제 1의 3차원 건물 모델의 지면으로부터 기설정된 영역을 3차원 모델링함에 의해 3차원의 건물 모델을 생성한다.

텍스쳐 추출부는 건물 모델 생성부에 의한 3차원의 건물 모델을 구성하는 각 면과 영상간의 대응관계를 이용하여 3차원의 건물 모델의 각 면의 텍스쳐를 추출한다.

텍스쳐 추출부는 건물 모델을 구성하는 각 면에 가려짐이 없는 직교 투영된 텍스쳐를 추출한다.

텍스쳐 추출부는 항공 영상중에서 수직 방향으로 촬영한 영상과 지형 모델간의 대응관계를 설정하여 텍스쳐를 추출한다.

텍스쳐 추출부는 지형 모델에 대해 가려짐이 없는 텍스쳐를 추출한다.

모델 정합부는 건물 모델을 수치표고 모델의 맵투영 좌표계로 변환시킴에 의해 지형 모델과 정합된 3차원의 도시 모델을 생성한다.

본 발명의 바람직한 실시양태에 따른 3차원 도시 모델링 방법은, 보정부가, 입력받은 항공 영상 및 지상 영상에 대한 촬영 당시의 촬영장치의 위치와 자세의 데이터를 보정하는 보정 단계; 건물 모델 생성부가, 보정 단계에 의한 보정 결과가 반영된 항공 영상 및 지상 영상을 근거로 3차원의 건물 모델을 생성하는 건물 모델 생성 단계; 지형 모델 생성부가, 입력받은 수치표고 모델을 3차원 메쉬화하여 3차원의 지형 모델을 생성하는 지형 모델 생성 단계; 텍스쳐 추출부가, 항공 영상 및 지상 영상을 이용하여 건물 모델과 지형 모델에 대한 텍스쳐를 추출하는 텍스쳐 추출 단계; 및 모델 정합부가, 텍스쳐를 이용한 건물 모델과 지형 모델의 정합을 통하여 3차원의 도시 모델을 생성하는 모델 정합 단계;를 포함한다.

보정 단계는 촬영장치의 위치와 자세의 데이터를 사용하여, 항공 영상 및 지상 영상중에서 모델링할 건물을 촬영한 영상만을 선별하여 보정을 행한다.

건물 모델 생성 단계는, 건물의 주요 형태를 구성하는 기본 도형을 보정단계에 의해 보정된 영상에 대응시켜 제 1의 3차원 건물 모델을 생성하는 단계; 및 제 1의 3차원 건물 모델을 3차원 메쉬 편집 기법으로 편집하여 건물의 세부 외형을 모델링하는 단계;를 포함한다.

건물 모델 생성 단계는, 항공 영상을 이용하여 제 1의 3차원 건물 모델을 생성하는 단계; 및 지상 영상을 이용하여 제 1의 3차원 건물 모델의 지면으로부터 기설정된 영역을 3차원 모델링하는 단계;를 포함한다.

텍스쳐 추출 단계는 건물 모델을 구성하는 각 면과 영상간의 대응관계를 이용하여 건물 모델의 각 면의 텍스쳐를 추출한다.

텍스쳐 추출 단계는 건물 모델을 구성하는 각 면에 가려짐이 없는 직교 투영된 텍스쳐를 추출한다.

텍스쳐 추출 단계는 항공 영상중에서 수직 방향으로 촬영한 영상과 지형 모델간의 대응관계를 설정하여 텍스쳐를 추출한다.

텍스쳐 추출 단계는 지형 모델에 대해 가려짐이 없는 텍스쳐를 추출한다.

모델 정합 단계는 건물 모델을 수치표고 모델의 맵투영 좌표계로 변환시킴에 의해 지형 모델과 정합된 3차원의 도시 모델을 생성한다.

이러한 구성의 본 발명에 따르면, 수치 지형 데이터와 항공 영상, 지상 영상을 이용하여 사실적인 텍스쳐를 가진 3차원 메쉬를 생성할 수 있게 된다.

항공 및 지상 영상을 모두 활용함으로 인해 어떠한 뷰에서도 사실적인 장면을 연출할 수 있다.

수치표고 모델에 정합된 3차원 도시 모델이므로, 3차원 지도 서비스, 도시 계획 등에 다양하게 활용될 수 있는 장점이 있다.

도 1은 본 발명의 실시예에 따른 3차원 도시 모델링 장치가 채용된 시스템을 설명하기 위한 블럭도이다.
도 2는 본 발명의 실시예에 따른 3차원 도시 모델링 방법을 설명하기 위한 플로우차트이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 3차원 도시 모델링 장치 및 방법에 대하여 설명하면 다음과 같다. 본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니된다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

다수의 영상(예컨대, 항공 영상, 지상 영상)으로부터 3차원 모델을 생성하기 위해서는 촬영 당시 카메라의 정확한 위치와 자세를 알아야 한다. 또한, 본 발명에서와 같이 도시의 3차원 모델을 생성하기 위해서는 수많은 건물을 3차원 모델링해야 한다. 이를 위해서 수많은 영상이 필요하기 때문에 건물별로 따로 3차원 모델링하여 수치표고 모델의 좌표계(예컨대, TM(Transverse Mercator))에 맞게 정합하는 접근이 필요하다. 따라서, 수많은 항공 영상 및 지상 영상에서 모델링하려는 건물이 촬상된 영상을 선별하는 작업이 선행되어야 한다. 이를 위해서, 촬영 당시의 카메라의 위치와 자세 정보를 별도로 입력받는다. 최근에는 항공 영상(사진 포함) 뿐만 아니라 지상 영상(사진 포함)도 GPS/INS 장비가 연동되어 촬영 당시의 카메라 위치와 자세 정보를 함께 기록하는 기술이 개발되어 있다. 이러한 장비를 활용하여 영상과 함께 카메라의 위치와 자세 데이터를 취득하면 된다. 본 발명에서와 같이 도시지역을 3차원 모델링하기 위해서는 짧은 시간에 많은 영상을 취득해야 하므로, GPS/INS 장비가 탑재된 차량을 운행하면서 영상을 취득할 수 있다. 하지만, 일반적으로 보급된 대부분의 카메라는 GPS가 연동되어 있지 않다. 이런 경우는 사용자가 어떤 건물을 촬영하였는지 특정해줌으로써 GPS/INS 장비의 역할을 대체할 수 있다.

도 1은 본 발명의 실시예에 따른 3차원 도시 모델링 장치가 채용된 시스템을 설명하기 위한 블럭도이다.

도 1의 시스템은 영상 입력부(10), 수치표고 모델 입력부(20), 위치 자세 데이터 입력부(30), 건물 모델 저장부(40), 3차원 모델링부(50), 및 디스플레이부(60)를 포함한다.

영상 입력부(10)는 컴퓨터 등에 저장된 도시의 상공에서 촬영한 항공 영상과 지상에서 촬영한 지상 영상을 입력받는다.

수치표고 모델 입력부(20)는 수치표고 모델(DEM; Digital Elevation Model)을 입력받는다. 여기서, 수치표고 모델이라 함은 일정한 간격으로 지형의 변화지점의 표고를 포함한 3차원(x,y,z) 모형을 말한다.

위치 자세 데이터 입력부(30)는 항공 영상 및 지상 영상의 촬영시 촬영장치(예컨대, 카메라)의 위치와 자세의 데이터를 위치/자세 센서(도시 생략)로부터 입력받는다.

건물 모델 저장부(40)는 다양한 3차원의 건물 모델이 저장되어 있다. 물론, 건물 모델 저장부(40)는 후술할 3차원 모델링부(50)에 의해 생성된 3차원의 건물 모델을 저장하기도 한다. 필요에 따라서, 건물 모델 저장부(40)의 정보는 갱신가능하다.

3차원 모델링부(50)는 실제의 3차원 도시 모델을 생성한다. 3차원 모델링부(50)의 내부 구성에 대한 자세한 설명은 후술한다.

디스플레이부(60)는 3차원 모델링부(50)에서 생성한 3차원 도시 모델을 화면에 출력한다.

3차원 모델링부(50)는 카메라 보정부(72), 건물 모델 생성부(74), 지형 모델 생성부(76), 텍스쳐 추출부(78), 및 모델 정합부(80)를 포함한다.

카메라 보정부(72)는 영상 입력부(10)로부터의 항공 영상 및 지상 영상에 대한 촬영 당시의 카메라의 위치와 자세의 데이터를 보정한다. 위치 자세 데이터 입력부(30)에 입력된 카메라의 위치 및 자세 데이터는 위치/자세 센서(예컨대, GPS/INS 장비; 도시 생략) 자체의 오차에 더하여 항공기 및 차량의 속도로 인해 오차를 가지게 된다. 그에 따라, 카메라 보정부(72)는 이러한 오차를 줄이고 촬영 당시의 카메라의 위치와 자세를 정확히 알기 위해서 영상간의 대응점을 이용하여 정확한 카메라 보정을 한다. 이때, 촬영 전에 카메라의 초점거리, 주점(principal point) 좌표 등의 내부 인자 및 렌즈 왜곡 계수 등은 미리 계측된다. 특정 건물을 촬상한 영상들이 선별되면 카메라 보정부(72)는 영상의 특징점들을 추출하고 영상간의 대응관계를 설정하며 잘못 설정된 대응관계를 제거하는 절차를 거친다. 각 단계는 기존에 알려진 방법을 사용하거나, 사용자가 직접 설정 또는 편집할 수 있는 인터페이스를 통해 수동으로 수행할 수도 있다. 영상간 대응관계가 설정이 되면 카메라 보정부(72)는 미리 계측한 내부 인자와 대응관계를 이용하여 카메라의 위치와 자세를 계산한다. 그리고, 카메라 보정부(72)는 번들조정(bundle adjustment)과 같은 기법을 통해 재투영(reprojection) 오차를 줄이는 최적화를 수행한다. 즉, 카메라 보정부(72)는 다수의 영상에서 위치/자세 센서(도시 생략)로부터 획득한 촬영 당시의 카메라의 위치와 자세의 데이터를 사용하여, 모델링할 건물을 촬영한 영상만을 선별하여 보정을 행한다. 한편, 카메라 보정부(72)는 촬영 당시의 카메라 위치 및 자세의 데이터가 없는 영상(즉, 위치 자세 데이터 입력부(30)를 갖추지 않은 경우)에 대해서는 건물 모델 저장부(40)에 미리 저장(구축)되어 있는 3차원 건물 모델의 정점과 영상의 특징점 대응관계 및 미리 계산한 카메라 내부 인자 등을 이용하여 영상의 촬영 당시의 카메라 위치와 자세를 계산해 낸다. 이러한 카메라 보정부(72)는 본 발명의 특허청구범위에 기재된 보정부로 이해함이 바람직하다. 도 1에는 위치 자세 데이터 입력부(30)와 건물 모델 저장부(40)가 모두 포함되는 것처럼 도시하였으나, 위치 자세 데이터 입력부(30)와 건물 모델 저장부(40)중 어느 하나만 있어도 본 발명을 구현하는데는 아무런 문제가 없다.

건물 모델 생성부(74)는 카메라 보정부(72)의 보정 결과를 사용한다. 통상적으로, 카메라 보정된 두 영상에서 대응점을 알고 있으면 각 카메라의 원점과 영상의 특징점을 지나는 3차원 직선을 알 수 있다. 두 영상의 대응점에 대해 3차원 직선의 교점을 계산함으로써 2차원으로 촬상된 점의 3차원 좌표를 알 수 있다. 이와 같은 방식으로 건물 외벽에 대한 무수히 많은 3차원 좌표를 계산하면 이들을 이용해서 3차원 메쉬로 재구성할 수 있다. 이와 같은 방법은 자동으로 3차원 메쉬를 생성할 수 있으나, 이렇게 생성한 메쉬는 인터넷 등의 서비스로 활용하기에는 데이터 크기가 너무 큰 단점이 있다. 이를 해결하기 위해, 건물 모델 생성부(74)는 건물의 주요 형태를 구성하는 직육면체, 평면 등의 기본 도형(프리미티브 도형)을 각 영상의 특징점에 대응되게 삽입하여 1차적으로 대강의 3차원 건물 모델을 만든다. 그리고, 건물 모델 생성부(74)는 건물의 세부적인 외형에 대해 대강의 3차원 건물 모델을 편집하여 모델링한다. 이를 위해, 건물 모델 생성부(74)는 면(face)의 분할, 밀어내기/당기기(push/pull), 병합(merge) 등의 3차원 메쉬 편집 기법을 사용한다. 이와 같은 3차원 모델링 기법을 통해 데이터 크기가 작은 대신 기하학적으로 정확한 3차원 모델을 사실적으로 생성할 수 있다. 이와 다르게는, 건물 모델 생성부(74)는 항공 영상을 이용하여 제 1의 3차원 건물 모델을 생성한다. 그리고, 건물 모델 생성부(74)는 제 1의 3차원 건물 모델의 지면으로부터 기설정된 영역에 대해 지상 영상을 이용하여 3차원 모델링함에 의해 원하는 3차원의 건물 모델을 최종적으로 생성한다. 즉, 많은 건물이 옥상에 구조물을 가지고 있기 때문에, 건물 모델 생성부(74)는 항공 영상들을 이용해서 먼저 3차원 건물을 생성하고, 지상 영상을 이용하여 지면에 가까운 부분의 세밀한 3차원 모델링 작업을 수행한다. 이때, 위치/자세 센서(예컨대, GPS/INS 장비)가 연동되지 않은 지상 카메라로 촬영한 영상이 사용될 수 있다. 이 경우에는 이미 건물 모델 저장부(40)가 3차원 모델링한 건물 모델을 가지고 있으므로 이를 지상 카메라의 내부 인자를 사용한 가상 카메라로 렌더링한다. 그에 따라, 3차원 네비게이션을 통해 촬상된 영상에 근접하게 가상 카메라의 위치와 자세를 찾아낸다. 그리고, 3차원 건물의 중요한 정점(vertex)과 지상 영상의 대응되는 대응점 지정을 통해 지상 영상을 촬영한 당시의 카메라 위치와 자세를 계산할 수 있다. 이렇게 지상 카메라에 대한 카메라 보정을 한 후에 상기의 3차원 모델링 기법을 이용하여 3차원 건물을 더 자세히 모델링할 수 있다.

지형 모델 생성부(76)는 수치표고 모델 입력부(20)로부터의 수치표고 모델을 3차원 메쉬화하여 3차원의 지형 모델을 생성한다. 수치표고 모델은 균등하게 분할된 지면의 각 평면 좌표에 대한 높이 값을 가지고 있으므로, 지형 모델 생성부(76)는 이를 3차원 메쉬화하여 지형의 3차원 모델을 생성한다.

텍스쳐 추출부(78)는 영상 입력부(10)로부터의 항공 영상 및 지상 영상을 이용하여 건물 모델 생성부(74)로부터의 건물 모델과 지형 모델 생성부(76)로부터의 지형 모델에 대한 텍스쳐를 추출한다. 건물의 3차원 모델링 과정을 통해 3차원 건물 모델을 구성하는 각 면과 영상간의 대응관계가 파악된다. 텍스쳐 추출부(78)는 이 정보를 이용하여 3차원 건물 모델의 각 면의 텍스쳐를 추출한다. 이때, 고해상도 텍스쳐를 추출하기 위해, 텍스쳐 추출부(78)는 면이 영상에서 가장 넓은 면적을 차지하는 영상에서 호모그래피(homography) 행렬을 이용하여 직교투영된 텍스쳐를 추출한다. 텍스쳐 추출부(78)는 나무 등에 가려진 부분은 다른 위치에서 촬영한 영상에서 텍스쳐를 추출한다. 만약, 가려지지 않게 촬영된 영상이 없을 때는 텍스쳐 추출부(78)는 인페인팅(inpainting) 기법을 이용하여 가리는 물체를 분리하여 삭제하고, 주변의 값으로 채워서 가려짐이 없는 텍스쳐를 생성한다. 한편, 지형 모델의 텍스쳐를 추출하는 경우, 텍스쳐 추출부(78)는 항공 영상중에서 수직(vertical) 방향으로 촬영한 영상에서 지형의 3차원 메쉬와 영상의 대응관계를 설정하여 텍스쳐를 추출한다. 수직 영상(즉, 수직(vertical) 방향으로 촬영한 영상)을 사용하면 텍스쳐 추출부(78)는 호모그래피 행렬을 사용하지 않고 텍스쳐를 추출할 수 있다. 수직 영상이 없는 영역에 대해서는 텍스쳐 추출부(78)는 비스듬하게 촬영한 경사(oblique) 영상이나 지상 영상을 사용한다. 마찬가지로, 가리는 물체가 있을 경우에는 텍스쳐 추출부(78)는 인페인팅 기법을 이용하여 가리는 물체를 삭제한 텍스쳐를 추출한다.

모델 정합부(80)는 텍스쳐 추출부(78)의 텍스쳐를 이용한 건물 모델과 지형 모델의 정합에 의해 3차원의 도시 모델을 생성한다. 건물 모델 생성부(74)에서 생성되는 다수의 3차원 건물 모델은 제각기 로컬 좌표계(x,y,z의 정보를 가짐)를 가지고 있다. 모델 정합부(80)는 각각의 로컬 좌표계를 갖는 3차원 건물 모델을 수치표고 모델에서 사용한 맵투영(map projection) 좌표계로 변환시켜 지형과 건물이 정합된 3차원 도시 모델을 생성한다. 즉, 3차원 건물 모델과 지형 모델의 정합은 3차원 건물 메쉬의 바닥면에 있는 정점을 수직방향으로 평행투사(orthographic projection)한 3차원 지형에 대응시킴으로써 이루어진다. 이와 같이 모델 정합부(80)에 의해 생성된 3차원 도시 모델은 사용자의 조작에 따라 도시 지역을 렌더링하여 디스플레이부(60)를 통해 사용자에게 보여진다.

상술한 도 1에서는 영상 입력부(10), 수치표고 모델 입력부(20), 위치 자세 데이터 입력부(30), 건물 모델 저장부(40), 및 디스플레이부(60)를 3차원 모델링부(50)와는 별개로 구성시켰다. 필요에 따라서는, 영상 입력부(10), 수치표고 모델 입력부(20), 위치 자세 데이터 입력부(30), 건물 모델 저장부(40), 및 디스플레이부(60)가 3차원 모델링부(50)의 내부에 포함되는 것으로 하여도 무방하다.

이어, 본 발명의 실시예에 따른 3차원 도시 모델링 방법에 대하여 도 2의 플로우차트를 참조하여 설명하면 다음과 같다.

영상 입력부(10)는 도시의 상공에서 촬영한 항공 영상과 지상에서 촬영한 지상 영상을 입력받고, 위치 자세 데이터 입력부(30)는 항공 영상 및 지상 영상의 촬영 당시의 카메라의 위치와 자세의 데이터를 위치/자세 센서(도시 생략)로부터 입력받는다(S10). 항공 영상과 지상 영상 및 촬영 당시의 카메라의 위치와 자세의 데이터는 카메라 보정부(72)에게로 전달된다.

위치 자세 데이터 입력부(30)의 카메라의 위치 및 자세 데이터는 위치/자세 센서(예컨대, GPS/INS 장비; 도시 생략) 자체의 오차에 더하여 항공기 및 차량의 속도로 인해 오차를 가지게 된다. 그에 따라, 카메라 보정부(72)는 이러한 오차를 줄이고 촬영 당시의 카메라의 위치와 자세를 정확히 알기 위해서 영상간의 대응점을 이용하여 정확한 카메라 보정을 한다(S12). 한편, 촬영 당시의 카메라 위치 및 자세의 데이터가 없는 영상에 대해서는 카메라 보정부(72)는 건물 모델 저장부(40)에 미리 구축되어 있는 3차원 건물 모델의 정점과 영상의 특징점 대응관계 및 미리 계산한 카메라 내부 인자 등을 이용하여 영상의 촬영 당시의 카메라 위치와 자세를 계산해 낼 수 있다.

카메라 보정부(72)에서의 보정 결과는 건물 모델 생성부(74)에게로 보내진다. 그에 따라, 건물 모델 생성부(74)는 카메라 보정부(72)에 의한 보정 결과가 반영된 항공 영상 및 지상 영상을 근거로 3차원의 건물 모델을 생성한다(S14). 생성된 3차원의 건물 모델은 건물 모델 저장부(40)에 저장된다.

이와 같이 3차원의 건물 모델이 생성되는 동안, 수치표고 모델 입력부(20)는 수치표고 모델을 입력받아 지형 모델 생성부(76)에게로 보낸다(S16).

수치표고 모델은 균등하게 분할된 지면의 각 평면 좌표에 대한 높이 값을 가지고 있으므로, 지형 모델 생성부(76)는 이를 3차원 메쉬화하여 지형의 3차원 모델을 생성한다(S18). 상술한 설명에 의하면 마치 S10, S12, S14, S16, S18의 순서대로 진행되는 것처럼 이해할 수도 있으나, 실제로는 S10 ~ S14의 동작과 S16 ~S18의 동작이 함께 진행되는 것으로 이해함이 바람직하다.

상술한 동작에 의해 생성된 3차원의 건물 모델과 3차원의 지형 모델은 텍스쳐 추출부(78)에게로 전달된다.

텍스쳐 추출부(78)는 영상 입력부(10)로부터의 항공 영상 및 지상 영상을 이용하여 3차원의 건물 모델 및 지형 모델에 대한 텍스쳐를 추출한다(S20). 동일 내용의 반복 기재를 피하기 위해, 텍스쳐 추출 동작에 대한 보다 자세한 설명은 도 1을 근거로 설명한 텍스쳐 추출부(78)의 내용으로 대신한다.

텍스쳐 추출이 완료되면, 3차원의 건물 모델 및 지형 모델, 및 텍스쳐 추출부(78)에서의 텍스쳐가 모델 정합부(80)에게로 전달된다. 건물 모델 생성부(74)에서 생성되는 다수의 3차원 건물 모델은 제각기 로컬 좌표계(x,y,z의 정보를 가짐)를 가지고 있다.

모델 정합부(80)는 각각의 로컬 좌표계를 갖는 3차원 건물 모델을 수치표고 모델에서 사용한 맵투영(map projection) 좌표계로 변환시켜 지형과 건물이 정합된 3차원 도시 모델을 생성한다. 즉, 3차원 건물 모델과 지형 모델의 정합은 3차원 건물 메쉬의 바닥면에 있는 정점을 수직방향으로 평행투사(orthographic projection)한 3차원 지형에 대응시킴으로써 이루어진다(S22).

이와 같이 모델 정합부(80)에 의해 생성된 3차원 도시 모델은 사용자의 조작에 따라 도시 지역을 렌더링하여 디스플레이부(60)를 통해 사용자에게 보여진다(S24).

한편, 본 발명은 상술한 실시예로만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위내에서 수정 및 변형하여 실시할 수 있고, 그러한 수정 및 변형이 가해진 기술사상 역시 이하의 특허청구범위에 속하는 것으로 보아야 한다.

10 : 영상 입력부 20 : 수치표고 모델 입력부
30 : 위치 자세 데이터 입력부 40 : 건물 모델 저장부
50 : 3차원 모델링부 60 : 디스플레이부
72 : 카메라 보정부 74 : 건물 모델 생성부
76 : 지형 모델 생성부 78 : 텍스쳐 추출부
80 : 모델 정합부

Claims

입력받은 항공 영상 및 지상 영상에 대한 촬영 당시의 촬영장치의 위치와 자세의 데이터를 보정하는 보정부;
상기 보정부에 의한 보정 결과가 반영된 상기 항공 영상 및 지상 영상을 근거로 3차원의 건물 모델을 생성하는 건물 모델 생성부;
입력받은 수치표고 모델을 3차원 메쉬화하여 3차원의 지형 모델을 생성하는 지형 모델 생성부;
상기 항공 영상 및 지상 영상을 이용하여 상기 건물 모델과 상기 지형 모델에 대한 텍스쳐를 추출하는 텍스쳐 추출부; 및
상기 텍스쳐를 이용한 상기 건물 모델과 상기 지형 모델의 정합에 의해 3차원의 도시 모델을 생성하는 모델 정합부;를 포함하는 것을 특징으로 하는 3차원 도시 모델링 장치.
청구항 1에 있어서,
상기 보정부는 상기 촬영장치의 위치와 자세의 데이터를 사용하여, 상기 항공 영상 및 지상 영상중에서 모델링할 건물을 촬영한 영상만을 선별하여 보정을 행하는 것을 특징으로 하는 3차원 도시 모델링 장치.
청구항 2에 있어서,
상기 촬영장치의 위치와 자세의 데이터를 입력받아 상기 보정부에게로 보내는 위치 자세 데이터 입력부를 추가로 포함하는 것을 특징으로 하는 3차원 도시 모델링 장치.
청구항 1에 있어서,
상기 보정부는 상기 촬영장치의 위치와 자세의 데이터가 없는 영상이 입력된 경우, 미리 구축한 3차원 건물 모델의 정점과 영상의 특징점 대응관계 및 미리 계산한 촬영장치의 내부 인자를 이용하여 상기 항공 영상 및 지상 영상에 대한 촬영 당시의 촬영장치 위치와 자세의 데이터를 계산해 내는 것을 특징으로 하는 3차원 도시 모델링 장치.
청구항 1에 있어서,
상기 건물 모델 생성부는 건물의 주요 형태를 구성하는 기본 도형을 상기 보정된 영상에 대응시켜 제 1의 3차원 건물 모델을 생성하고, 상기 제 1의 3차원 건물 모델을 3차원 메쉬 편집 기법으로 편집하여 상기 건물의 세부 외형을 모델링함에 의해 상기 3차원의 건물 모델을 생성하는 것을 특징으로 하는 3차원 도시 모델링 장치.
청구항 1에 있어서,
상기 건물 모델 생성부는 상기 항공 영상을 이용하여 제 1의 3차원 건물 모델을 생성하고, 상기 지상 영상을 이용하여 상기 제 1의 3차원 건물 모델의 지면으로부터 기설정된 영역을 3차원 모델링함에 의해 상기 3차원의 건물 모델을 생성하는 것을 특징으로 하는 3차원 도시 모델링 장치.
청구항 1에 있어서,
상기 텍스쳐 추출부는 상기 건물 모델 생성부에 의한 3차원의 건물 모델을 구성하는 각 면과 영상간의 대응관계를 이용하여 상기 3차원의 건물 모델의 각 면의 텍스쳐를 추출하는 것을 특징으로 하는 3차원 도시 모델링 장치.
청구항 1에 있어서,
상기 텍스쳐 추출부는 상기 건물 모델을 구성하는 각 면에 가려짐이 없는 직교 투영된 텍스쳐를 추출하는 것을 특징으로 하는 3차원 도시 모델링 장치.
청구항 1에 있어서,
상기 텍스쳐 추출부는 상기 항공 영상중에서 수직 방향으로 촬영한 영상과 상기 지형 모델간의 대응관계를 설정하여 텍스쳐를 추출하는 것을 특징으로 하는 3차원 도시 모델링 장치.
청구항 1에 있어서,
상기 텍스쳐 추출부는 상기 지형 모델에 대해 가려짐이 없는 텍스쳐를 추출하는 것을 특징으로 하는 3차원 도시 모델링 장치.
청구항 1에 있어서,
상기 모델 정합부는 상기 건물 모델을 상기 수치표고 모델의 맵투영 좌표계로 변환시킴에 의해 상기 지형 모델과 정합된 3차원의 도시 모델을 생성하는 것을 특징으로 하는 3차원 도시 모델링 장치.
보정부가, 입력받은 항공 영상 및 지상 영상에 대한 촬영 당시의 촬영장치의 위치와 자세의 데이터를 보정하는 보정 단계;
건물 모델 생성부가, 상기 보정 단계에 의한 보정 결과가 반영된 상기 항공 영상 및 지상 영상을 근거로 3차원의 건물 모델을 생성하는 건물 모델 생성 단계;
지형 모델 생성부가, 입력받은 수치표고 모델을 3차원 메쉬화하여 3차원의 지형 모델을 생성하는 지형 모델 생성 단계;
텍스쳐 추출부가, 상기 항공 영상 및 지상 영상을 이용하여 상기 건물 모델과 상기 지형 모델에 대한 텍스쳐를 추출하는 텍스쳐 추출 단계; 및
모델 정합부가, 상기 텍스쳐를 이용한 상기 건물 모델과 상기 지형 모델의 정합을 통하여 3차원의 도시 모델을 생성하는 모델 정합 단계;를 포함하는 것을 특징으로 하는 3차원 도시 모델링 방법.
청구항 12에 있어서,
상기 보정 단계는 상기 촬영장치의 위치와 자세의 데이터를 사용하여, 상기 항공 영상 및 지상 영상중에서 모델링할 건물을 촬영한 영상만을 선별하여 보정을 행하는 것을 특징으로 하는 3차원 도시 모델링 방법.
청구항 12에 있어서,
상기 건물 모델 생성 단계는,
건물의 주요 형태를 구성하는 기본 도형을 상기 보정단계에 의해 보정된 영상에 대응시켜 제 1의 3차원 건물 모델을 생성하는 단계; 및
상기 제 1의 3차원 건물 모델을 3차원 메쉬 편집 기법으로 편집하여 상기 건물의 세부 외형을 모델링하는 단계;를 포함하는 것을 특징으로 하는 3차원 도시 모델링 방법.
청구항 12에 있어서,
상기 건물 모델 생성 단계는,
상기 항공 영상을 이용하여 제 1의 3차원 건물 모델을 생성하는 단계; 및
상기 지상 영상을 이용하여 상기 제 1의 3차원 건물 모델의 지면으로부터 기설정된 영역을 3차원 모델링하는 단계;를 포함하는 것을 특징으로 하는 3차원 도시 모델링 방법.
청구항 12에 있어서,
상기 텍스쳐 추출 단계는 상기 건물 모델을 구성하는 각 면과 영상간의 대응관계를 이용하여 상기 건물 모델의 각 면의 텍스쳐를 추출하는 것을 특징으로 하는 3차원 도시 모델링 방법.
청구항 12에 있어서,
상기 텍스쳐 추출 단계는 상기 건물 모델을 구성하는 각 면에 가려짐이 없는 직교 투영된 텍스쳐를 추출하는 것을 특징으로 하는 3차원 도시 모델링 방법.
청구항 12에 있어서,
상기 텍스쳐 추출 단계는 상기 항공 영상중에서 수직 방향으로 촬영한 영상과 상기 지형 모델간의 대응관계를 설정하여 텍스쳐를 추출하는 것을 특징으로 하는 3차원 도시 모델링 방법.
청구항 12에 있어서,
상기 텍스쳐 추출 단계는 상기 지형 모델에 대해 가려짐이 없는 텍스쳐를 추출하는 것을 특징으로 하는 3차원 도시 모델링 방법.
청구항 12에 있어서,
상기 모델 정합 단계는 상기 건물 모델을 상기 수치표고 모델의 맵투영 좌표계로 변환시킴에 의해 상기 지형 모델과 정합된 3차원의 도시 모델을 생성하는 것을 특징으로 하는 3차원 도시 모델링 방법.