KR20110044092A - Apparatus and method for modeling building - Google Patents
Apparatus and method for modeling building Download PDFInfo
- Publication number
- KR20110044092A KR20110044092A KR1020090100917A KR20090100917A KR20110044092A KR 20110044092 A KR20110044092 A KR 20110044092A KR 1020090100917 A KR1020090100917 A KR 1020090100917A KR 20090100917 A KR20090100917 A KR 20090100917A KR 20110044092 A KR20110044092 A KR 20110044092A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- wall
- building
- occlusion
- area
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
Description
본 발명은 건물의 모델링을 위한 장치 및 방법에 관한 것으로, 특히 항공영상을 이용하여 3차원 건물의 모델링 시 건물 벽면의 이미지를 항공영상에서 취득하여 가공할 수 있는 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for modeling a building, and more particularly, to an apparatus and method for acquiring and processing an image of a wall of a building from an aerial image when modeling a 3D building using an aerial image.
본 발명은 지식경제부의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2007-F-042-03, 과제명: 3차원 GIS기반 전파분석 고도화 기술 개발].The present invention is derived from a study conducted as part of the IT source technology development project of the Ministry of Knowledge Economy [Task Management Number: 2007-F-042-03, Task name: Development of 3D GIS-based radio wave analysis advanced technology].
최근 3차원 공간정보를 이용하여 지형이나 지세를 수치상으로 표현하여 실제 지상시설물과 지하매설물 등의 관련정보를 지속적으로 관리하며, 도시경관계획, 재해관리 시스템, 네비게이션 및 인터넷 지도 서비스 등과 같이 다양한 응용분야에 적용하고 있다.Recent three-dimensional spatial information is used to numerically represent the terrain or topography to continuously manage related information such as actual ground facilities and underground burial, and various application fields such as urban landscape planning, disaster management system, navigation and internet map service. Is being applied to.
이러한 3차원 공간정보에서 가장 핵심적인 3차원 건물모델을 구축하는 방법으로는 수치지도와 건물 대장의 층수 정보를 이용하는 방법, 센서모델링을 수반하는 스테레오 입체 영상을 이용하는 방법, 건물의 그림자 또는 기복변위 관측방법을 이용하여 한 장의 영상만으로 건물모델을 취득하는 방법 및 항공기에 탑재된 레이저 거리측정 장비로 지표면을 이루는 점들의 높이값을 직접 취득한 라이다(Light Detection And Ranging, LiDAR) 데이터를 이용하는 방법 등이 있다.The most important three-dimensional building model in the three-dimensional spatial information is to use the digital map and the floor information of the building director, the stereoscopic image with sensor modeling, the shadow or relief displacement of the building The method of acquiring a building model using only one image using the method, and the method of using light detection and ranging (LiDAR) data, which directly acquires height values of the points forming the ground surface with the laser distance measuring equipment mounted on the aircraft, have.
이러한 방법 중에서 건물 벽면의 이미지 취득을 위한 방법으로는 건물의 기하학적 3차원 정보만을 취득 한 후, 건물벽면에 임의의 가상 이미지를 매핑하거나 현장에 나가 건물벽면의 이미지들을 직접 촬영하여 일일이 수작업으로 입력하는 방법보다는 스테레오 입체 영상 또는 단영상을 이용하여 건물의 3차원 정보 취득과 동시에 영상으로부터 건물의 해당벽면 이미지를 직접 취득하는 방법이 보다 신속하게 건물을 모델링 할 수 있어 주로 사용된다.Among these methods, the method for acquiring the image of the building wall is to acquire only the geometric 3D information of the building, and then map arbitrary virtual images on the building wall or go out to the site to manually capture the images of the building wall and input them manually. Rather than using a stereoscopic stereoscopic image or a single image, the method of acquiring the 3D information of the building and directly acquiring the corresponding wall image of the building from the image is used mainly because it can model the building more quickly.
하지만 영상을 이용하는 이러한 방법의 경우, 상공에서 지표면 방향으로 촬영되어야 하므로 영상의 주점 근처에 분포하는 건물들이나 벽면 방향이 카메라 방향과 일치하지 않는 건물의 경우 좋은 품질의 이미지를 취득하기 힘들다. 뿐만 아니라, 도심밀집지역 등에서는 벽면 이미지가 인접건물 및 수목에 의해 가려지거나 건물자체의 그림자 등이 심각한 잡음요소로 작용하게 되는 것과 같은 이유로 보다 좋은 품질의 건물의 이미지를 취득하기 힘든 문제점이 있다.However, in this method of using images, it is difficult to acquire good quality images in buildings distributed near the main point of the image or in buildings where the wall direction does not coincide with the camera direction because the images must be photographed in the direction of the surface from above. In addition, it is difficult to obtain a better image of a building because the wall image is obscured by neighboring buildings and trees, or the shadow of the building itself acts as a serious noise factor in an urban dense area.
따라서, 건물 벽면의 모델링을 위해 신속하고 현실감 있게 잡음의 영향이 최소화된 건물 벽면의 이미지를 취득하기 위한 기술이 요구된다.Therefore, there is a need for a technique for obtaining an image of a building wall surface in which the effect of noise is minimized quickly and realistically for modeling a building wall surface.
본 발명이 이루고자 하는 기술적 과제는 항공영상을 이용하여 3차원 건물의 모델링 시 건물 벽면의 이미지를 항공영상에서 취득할 수 있는 건물의 모델링을 위한 장치 및 방법에 관한 것이다.The technical problem to be achieved by the present invention relates to an apparatus and method for modeling a building that can obtain the image of the building wall surface from the aerial image when modeling the three-dimensional building using the aerial image.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 항공영상을 이용하여 건물 모델링을 하는 장치에 있어서,In the device for building the building using the aerial image according to the characteristics of the present invention for achieving the above object,
상기 항공영상을 통해 상기 건물에 대한 3차원 건물모델의 정보를 수신하며, 상기 3차원 건물모델의 정보를 이용하여 상기 각 건물의 벽면에 대한 벽면 텍스쳐 이미지를 취득하는 벽면 이미지 취득부, 그리고 상기 벽면 이미지 취득부로부터 상기 벽면 텍스쳐 이미지를 수신하며, 상기 벽면 텍스쳐 이미지에 포함된 폐색영역을 보정하기 위해 텍셀 이미지를 설정하며, 상기 텍셀 이미지를 상기 폐색영역의 이미지에 합성하여 최종 벽면 이미지를 생성하는 벽면 이미지 가공부를 포함한다.Wall image acquisition unit for receiving the information of the three-dimensional building model for the building through the aerial image, and using the information of the three-dimensional building model to obtain a wall texture image of the wall surface of each building, and the wall surface Receives the wall texture image from an image acquisition unit, sets a texel image to correct the occlusion area included in the wall texture image, and combines the texel image with the image of the occlusion area to generate a final wall image. It includes an image processing unit.
또한, 본 발명의 다른 특징에 따른 항공영상을 이용하여 건물 모델링을 하는 방법에 있어서,In addition, in the building modeling method using the aerial image according to another feature of the present invention,
상기 항공영상을 통해 상기 건물에 대한 3차원 건물모델의 정보를 수신하는 단계, 상기 3차원 건물모델의 정보를 이용하여 상기 건물의 벽면에 대한 벽면 텍스쳐 이미지를 취득하는 단계, 상기 벽면 텍스쳐 이미지에 포함된 폐색영역의 보정을 위한 텍셀 이미지를 설정하는 단계, 그리고 상기 폐색영역의 이미지에 상기 텍셀 이미지를 합성하여 최종 벽면 이미지를 생성하는 단계를 포함한다.Receiving information of the 3D building model of the building through the aerial image, acquiring a wall texture image of the wall surface of the building using the information of the 3D building model, included in the wall texture image And setting a texel image for correcting the occluded region, and generating a final wall image by synthesizing the texel image with the image of the occluded region.
본 발명의 실시예에 따르면, 항공영상을 이용하여 3차원 건물의 모델링 시 항공영상으로부터 건물 벽면의 이미지를 취득하며, 건물 벽면의 이미지에 존재하는 다양한 잡음요소를 보정 및 복원함에 따라 보다 현실감 있고 신속하게 건물을 모델링 할 수 있다.According to an embodiment of the present invention, when the 3D building is modeled using the aerial image, the image of the building wall is acquired from the aerial image, and the various noise elements present in the image of the building wall are corrected and restored to make it more realistic and quick. Model the building.
또한, 본 발명의 실시예에 따르면, 항공영상으로부터 건물 벽면의 이미지를 취득하므로 보다 저렴한 비용으로 건물을 모델링 할 수 있다.In addition, according to an embodiment of the present invention, since the image of the building wall surface is acquired from the aerial image, it is possible to model the building at a lower cost.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when a part is said to "include" a certain component, it means that it can further include other components, without excluding other components unless specifically stated otherwise.
도 1은 본 발명의 실시예에 따른 건물의 모델링을 위한 장치를 개략적으로 나타내는 도면이다. 1 is a view schematically showing an apparatus for modeling a building according to an embodiment of the present invention.
도 1에 도시한 바와 같이, 본 발명의 실시예에 따른 건물의 모델링을 위한 건물 모델링 장치(100)는 영상 수신부(110), 벽면 이미지 취득부(120) 및 벽면 이미지 가공부(130)를 포함한다.As shown in FIG. 1, the
영상 수신부(110)는 항공영상을 수신하며, 항공영상을 통해 이미 구축되어 있는 건물모델의 정보를 입력 받는다. 그리고 영상 수신부(110)는 건물모델의 정보를 벽면 이미지 취득부(120)로 전달한다. 여기서 건물모델의 정보는 한 장의 항공영상에서 각 3차원 건물모델들의 그림자 관측 또는 기복변위 관측을 통해 건물의 높이를 획득하여 구축되거나, 또는 두 장 이상의 스테레오 입체영상을 이용하는 방법으로 구축되는 3차원 정보이며, 이러한 3차원 정보의 구축방법은 이미 공지되어 있는 기술이므로 구체적인 설명은 생략한다.The
벽면 이미지 취득부(120)는 영상 수신부(110)로부터 건물모델의 정보를 수신한다. 벽면 이미지 취득부(120)는 3차원 건물모델의 정보를 2차원 역투영을 통해 해당 건물모델의 각 벽면에 대한 벽면 텍스쳐 이미지를 취득하여 벽면 이미지 가공부(130)로 전달한다. 여기서 벽면 텍스쳐 이미지는 항공영상에서 건물모델의 정보를 통해 획득한 건물 벽면에 대한 2차원 이미지이다. 이때, 복수의 항공영상을 이용하여 동일 건물모델에 대한 벽면 텍스쳐 이미지를 취득하는 경우, 건물모델의 촬영자세에 따른 건물모델의 벽면 이미지의 유효성을 판단하여 벽면 텍스쳐 이미지를 설정하므로 최적의 벽면 텍스쳐 이미지를 선별할 수 있다.The wall
벽면 이미지 가공부(130)는 벽면 이미지 취득부(120)로부터 취득된 벽면 텍스쳐 이미지를 전달받으며, 벽면 텍스쳐 이미지에 포함된 잡음요소를 보정 및 복원하여 최종 벽면 이미지를 생성한다. 여기서 잡음요소는 벽면 자체의 그림자, 인접한 수목(樹木)(이하 "인접수목"이라고 함)의 폐색영역 및 인접한 벽면(이하 "인접벽면"이라고 함)에 의한 폐색영역 등과 같은 요소를 포함하며, 구체적인 설명은 후 술한다. The wall
구체적으로, 벽면 이미지 가공부(130)는 그림자 보정부(131), 폐색영역 검출부(132), 텍셀 이미지 설정부(133) 및 최종 이미지 생성부(134)를 포함한다.In detail, the wall
그림자 보정부(131)는 벽면 텍스쳐 이미지에서 해당 벽면의 그림자 영향을 최소화 하기 위해 그림자 보정을 수행한다.The
폐색영역 검출부(132)는 그림자 보정부(131)에서 그림자 보정이 수행된 벽면 텍스쳐 이미지를 수신하여 인접수목 폐색영역 및 인접벽면 폐색영역을 검출한다. 그리고 폐색영역 검출부(132)는 인접수목 폐색영역에 해당하는 화소를 표시하여 인접수목 폐색 스텐실 이미지를 생성한다. 폐색영역 검출부(132)는 벽면과 벽면에 인접한 인접벽면에 대한 벽면 텍스쳐 영역 정보를 이용하여 중첩영역을 계산하고, 중첩영역을 표시하여 인접벽면 스텐실 이미지를 생성한다. 폐색영역 검출부(132)는 인접수목 폐색 스텐실 이미지와 인접벽면 스텐실 이미지를 합성하여 병합 폐색 스텐실 이미지를 생성한다. The
텍셀 이미지 설정부(133)는 병합 폐색 스텐실 이미지에서 폐색영역의 상한선을 검출하며, 검출된 폐색영역의 상한선을 탐색 기준선(Base Line, BL)으로 설정하고, 탐색 기준선(BL)로부터 위쪽 방향, 즉 폐색영역이 존재하지 않는 방향으로 이동하면서 텍셀 이미지를 설정한다. 여기서 텍셀(texture element, texel) 이미지는 컴퓨터그래픽에서 텍스처 데이터를 구성하는 최소 단위로 폴리곤에 이미지를 사용해 현실감을 주는 텍스처 매핑(mapping)에 사용하는 이미지를 구성하는 각각의 요소이며, 무늬소라고 불리기도 한다. 본 발명의 실시예에서 언급하는 텍셀 이미지는 건물 벽면의 폐색영역을 복원하기 위해 폐색영역의 상한선의 위쪽 방향에서 해당 건물 벽면의 일부로 설정되는 이미지이다. 텍셀 이미지의 설정에 대한 구체적인 설명은 후술한다.The texel
최종 이미지 생성부(134)는 병합 폐색 스텐실 이미지의 폐색영역에 텍셀 이미지를 합성하여 최종 벽면 이미지를 생성한다.The
이하 벽면 텍스쳐 이미지에 포함된 잡음요소를 보정 및 가공하여 최종 벽면 이미지를 생성하는 방법에 대하여 도 2 내지 도 14를 참고하여 구체적으로 설명한다.Hereinafter, a method of generating a final wall image by correcting and processing a noise element included in a wall texture image will be described in detail with reference to FIGS. 2 to 14.
도 2는 도 1에 도시한 건물 모델링 장치의 벽면 이미지 취득부에서 벽면 텍스쳐 이미지를 취득하는 순서를 나타내는 도면이다. 도 3은 도 2의 벽면 이미지 취득부에서 텍스쳐 유효도의 계산방법을 설명하기 위한 한 예를 나타내는 도면이다. 도 4a 내지 도 4d는 도 2의 벽면 이미지 취득부에서 벽면 텍스쳐 이미지를 설정하는 한 예를 나타내는 도면이다. FIG. 2 is a diagram illustrating a procedure of acquiring a wall texture image by a wall image acquisition unit of the building modeling apparatus illustrated in FIG. 1. FIG. 3 is a diagram illustrating an example for explaining a method of calculating texture validity in the wall image obtaining unit of FIG. 2. 4A to 4D are diagrams illustrating an example of setting a wall texture image in the wall image acquisition unit of FIG. 2.
도 2에 도시한 바와 같이, 본 발명의 실시예에 따른 건물 모델링 장치(100)의 벽면 이미지 취득부(120)는 영상 수신부(110)로부터 건물모델의 정보를 수신한다(S200). 벽면 이미지 취득부(120)는 3차원 건물모델의 정보의 2차원 역투영을 통해 해당 건물모델의 각 벽면에 대한 영상 상의 벽면 텍스쳐 영역을 계산한다(S210). 본 발명의 실시예에 따른 벽면 텍스쳐 영역은 직사각형 형태의 3차원 상의 건물벽면을 영상 위에 역투영하여 형성된 변형된 사각 폴리곤 형태이다. 이때 복수의 항공영상으로부터 건물모델의 정보가 수신되었으므로 동일 벽면에 대해 각 각의 영상에서 해당 벽면의 서로 다른 벽면 이미지들을 취득하게 되는데 상공에서 지표면 방향으로 촬영되는 항공영상의 특성상 영상의 주점과 가까운 건물일수록 벽면 이미지의 품질이 좋지 못하며 주점에서 멀리 떨어져 있다 하더라도 벽면의 방향이 카메라의 방향과 틀어질수록 양질의 벽면 이미지의 취득에 어려움이 발생한다. As shown in FIG. 2, the wall
벽면 이미지 취득부(120)는 이러한 촬영자세에 따른 건물 벽면 이미지의 유효성을 판단하기 위해 도 3에서와 같이 해당 건물모델의 각 벽면에 대한 영상상의 벽면 텍스쳐 영역에서 건물을 구성하는 각 벽면의 법선 벡터()과 벽면의 중심으로부터 영상의 주점을 향하는 벡터()와의 관계로 텍스쳐 유효도(Validation Factor: VF)를 계산하며, 텍스쳐 유효도는 수학식 1과 같다(S220).The wall
벽면 이미지 취득부(120)는 동일 벽면에 대해 여러 장의 영상이 이용 가능한 경우 각각의 영상에서 텍스쳐 유효도(VF)가 최대인 벽면 이미지를 선택하고 이를 직사각형 이미지 형태로 리샘플링(resampling)한 벽면 텍스쳐 이미지를 벽면 이미지 가공부(130)로 전달한다(S230).The wall
예를 들어 벽면 이미지 취득부(120)는 도 4a 내지 도 4d에 도시된 촬영위치 및 자세가 서로 다른 여러 장의 항공영상에서 관측된 동일 건물에 대해 음영 표시된 건물앞면의 텍스쳐 유효도(VF)를 수학식 1을 이용하여 계산한다. 벽면 이미지 취득부(120)는 도 4a 내지 도 4d 중 건물에 대한 텍스쳐 유효도(VF)가 최대인 도 4c의 벽면 이미지를 선택하여 직사각형 이미지 형태로 리샘플링한 벽면 텍스쳐 이미지를 벽면 이미지 가공부(130)로 전달한다.For example, the wall
도 5는 본 발명의 실시예에 따른 벽면 텍스쳐 이미지에서 발생하는 잡음요소들의 한 예를 나타내는 도면이다.5 is a diagram illustrating an example of noise elements generated in a wall texture image according to an exemplary embodiment of the present invention.
도 5에 도시한 바와 같이, 본 발명의 실시예에서는 벽면 텍스쳐 이미지에서 발생하는 잡음요소들로 셀프 쉐이딩 벽면, 인접수목 폐색, 인접벽면 폐색영역 및 인접 그림자가 포함된다.As shown in FIG. 5, in the embodiment of the present invention, noise components generated in the wall texture image include a self-shading wall, an adjacent tree blockage, an adjacent wall blockage area, and an adjacent shadow.
셀프 쉐이딩(self shading)은 해당 벽면(500)의 법선 벡터()와 태양(600)의 방위각의 단위 벡터()가 마주하는 각이 소정 범위 이상을 벗어나게 되어 벽면 자체의 그림자에 의해 이미지가 훼손되는 것이며, 이러한 벽면을 셀프 쉐이딩 벽면이라고 한다.Self shading is the normal vector of the wall 500 ) And the unit vector of the azimuth of the sun 600 ( The angles facing each other are outside the predetermined range and the image is damaged by the shadow of the wall itself. Such a wall is called a self-shading wall.
인접수목 폐색영역은 해당 벽면(500)에 인접한 수목(樹木)(700)에 의해 폐색이 발생하는 것이며, 인접벽면 폐색영역은 해당 벽면(500)에 인접한 벽면(800)에 의해 폐색이 발생하는 것이다. 여기서 폐색영역은 잡음요소 중의 하나로 장애 요소, 예를 들어 수목(700) 및 인접 벽면(800) 등에 의해 정상적이지 못한 훼손된 이미지로 표현되는 영역이다.Adjacent tree occlusion area is the occlusion is generated by the
인접 그림자는 해당 벽면(500)에 인접한 벽면(800)에 의해 발생하는 그림자에 의해 이미지가 훼손되는 것이다.Adjacent shadows are images that are damaged by shadows generated by the
도 6은 도 1에 도시한 건물 모델링 장치의 벽면 이미지 가공부에서 최종 벽면 텍스쳐 이미지를 생성하는 순서를 나타내는 도면이다.FIG. 6 is a diagram illustrating a procedure of generating a final wall texture image by a wall image processing unit of the building modeling apparatus illustrated in FIG. 1.
도 6에 도시한 바와 같이, 본 발명의 실시예에 따른 건물 모델링 장치(100)의 벽면 이미지 가공부(130)는 벽면 이미지 취득부(120)로부터 벽면 텍스쳐 이미지를 전달받는다. 벽면 이미지 가공부(130)의 그림자 보정부(131)는 벽면 텍스쳐 이미지에서 해당 벽면의 그림자 영향을 최소화 하기 위해 그림자 보정을 수행한다(S600). 그리고 폐색영역 검출부(132)는 폐색영역 추출 및 텍스쳐 복원작업의 수행을 위한 시간이 길어질 수 있으므로 모든 건물과 벽면에 대하여 일괄적으로 보정작업을 수행하지 않으며 건물의 높이나 또는 텍스쳐 유효도 등의 정보를 이용하여 가공 대상 벽면인지의 여부를 먼저 판단한다(S610). As shown in FIG. 6, the wall
해당 건물의 벽면이 가공 대상 벽면인 경우, 폐색영역 검출부(132)는 해당 벽면에 포함되어 있는 인접수목 폐색영역을 검출한다(S620). 그리고 폐색영역 검출부(132)는 인접벽면 폐색영역을 검출한다(S630). 텍셀 이미지 설정부(133)는 검출된 인접수목 폐색영역 및 인접벽면 폐색영역을 고려하여 텍셀 이미지를 설정한다. 최종 이미지 생성부(134)는 인접수목 폐색영역 및 인접벽면 폐색영역에 텍셀 이미지를 반복적으로 합성하여 최종 벽면 이미지를 생성한다(S640).When the wall surface of the building is a wall to be processed, the
한편, 해당 건물의 건물의 벽면이 가공 대상 벽면이 아닌 경우, 벽면 이미지 가공부(130)는 폐색영역 추출 및 복원 과정을 수행하지 않는다. On the other hand, if the wall surface of the building of the building is not the target wall surface, the wall
도 7은 도 1에 도시한 벽면 이미지 가공부의 그림자 보정부에서 그림자 보정을 수행하는 방법을 나타내는 순서도이다.7 is a flowchart illustrating a method of performing shadow correction in the shadow correcting unit of the wall image processing unit of FIG. 1.
도 7에 도시한 바와 같이, 발명의 실시예에 따른 건물 모델링 장치(100)에서 벽면 이미지 가공부(130)의 그림자 보정부(131)는 벽면 이미지 취득부(120)로부터 벽면 텍스쳐 이미지를 전달받으며(S601), 해당 벽면의 법선 벡터 및 태양의 방위각 간의 내적 계산을 이용하여 전달된 벽면 텍스쳐 이미지의 해당 벽면이 셀프 쉐이딩 벽면인지의 여부를 판단한다(S602). As shown in FIG. 7, the
해당 벽면이 셀프 쉐이딩 벽면인 경우, 그림자 보정부(131)는 벽면의 법선 벡터와 태양의 방위각을 이용하여 셀프 쉐이딩 보정을 수행한다(S603). If the wall surface is a self-shading wall surface, the
한편, 해당 벽면이 셀프 쉐이딩 벽면이 아닌 경우, 그림자 보정부(131)는 태양과 해당 벽면 및 인접 벽면간의 기하학적 배치에 의해 인접벽면의 그림자가 해당벽면에 발생된 것으로 판단하여 영상처리 기법을 통해 우선 인접벽면의 그림자 영역을 검출한다(S604). 그리고 그림자 보정부(131)는 검출된 인접벽면의 그림자 영역만을 대상으로 하여 그림자 영역 보정을 수행한다(S605).On the other hand, if the wall is not a self-shading wall, the
도 8은 도 1에 도시한 벽면 이미지 가공부의 폐색영역 검출부에서 인접수목 폐색영역을 검출하는 방법을 나타내는 순서도이다.8 is a flowchart illustrating a method of detecting an adjacent tree occlusion area by the occlusion area detection part of the wall image processing part shown in FIG. 1.
도 8에 도시한 바와 같이, 발명의 실시예에 따른 건물 모델링 장치(100)에서 벽면 이미지 가공부(130)의 폐색영역 검출부(132)는 그림자 보정이 완료되면, 그림자 보정이 완료된 벽면 텍스쳐 이미지를 수신한다(S621). 폐색영역 검출부(132)는 인접수목에 의한 폐색영역을 검출하기 위해 수목에 대한 화소(pixel)를 탐색한다(S622). 즉, 폐색영역 검출부(132)는 수목에 대한 화소를 탐색하기 위해 색상정보를 활용하는 방법 또는 텍스쳐 엔트로피를 활용하는 방법 등을 이용하여 수목에 대한 화소를 탐색한다.As shown in FIG. 8, in the
폐색영역 검출부(132)는 추출된 수목에 대한 화소들을 "0"으로 설정하며, 나머지 화소들을 "1"로 설정하여 인접수목에 의한 폐색 스텐실 이미지(이하, "인접수목 폐색 스텐실 이미지"라고 함)를 제작한다(S623). 이때, 폐색 스텐실 이미지는 입력된 벽면 텍스쳐 이미지와 동일한 크기의 폐색정보를 포함한다. 본 발명의 실시예에서는 수목에 대한 화소들을 "0"으로 설정하며, 나머지 화소들을 "1"로 설정하였으나, 본 발명은 이에 한정되지 않으며 수목에 대한 화소들을 "1"으로 설정하며, 나머지 화소들을 "0"으로 설정할 수도 있다.The occlusion
도 9는 도 1에 도시한 벽면 이미지 가공부의 폐색영역 검출부에서 인접벽면 폐색영역을 검출하는 방법을 나타내는 순서도이다.9 is a flowchart illustrating a method of detecting an adjacent wall occlusion area by the occlusion area detection part of the wall image processing part shown in FIG. 1.
도 9에 도시한 바와 같이, 발명의 실시예에 따른 건물 모델링 장치(100)에서 벽면 이미지 가공부(130)의 폐색영역 검출부(132)는 벽면 이미지 취득부(120)로부터 해당 벽면과 인접벽면에 대한 벽면 텍스쳐 영역에 대한 정보를 요청하여 전달받는다(S631). As shown in FIG. 9, in the
폐색영역 검출부(132)는 해당 벽면과 인접벽면에 대한 벽면 텍스쳐 영역 정보 사이의 중첩 영역을 계산한다(S632). 즉, 폐색영역 검출부(132)는 해당 벽면의 벽면 텍스쳐 영역 정보와 함께 인접벽면의 벽면 텍스쳐 영역 정보들을 입력 받아 텍스쳐 영역 간의 교차연산(Intersection)을 통해 중첩영역을 계산한다. 이때, 폐색영역 검출부(132)는 인접벽면의 벽면 텍스쳐 영역의 효율적인 검색을 위해 해당 벽면으로부터 주점방향의 인접 벽면에 대한 벽면 텍스쳐 영역들 만을 검색하는 식 으로 검색 범위를 제한하여 검색시간을 최소화한다.The
폐색영역 검출부(132)는 계산된 중첩영역에 대응하는 화소들을 "0"으로 설정하며, 중첩되지 않은 화소들을 "1"로 설정하여 인접벽면에 의한 폐색 스텐실 이미지(이하, "인접벽면 폐색 스텐실 이미지"라고 함)를 제작한다(S633). 본 발명의 실시예에서는 중첩영역에 대응하는 화소들을 "0"으로 설정하며, 중첩되지 않은 화소들을 "1"로 설정하였으나, 본 발명은 이에 한정되지 않으며 중첩영역에 대응하는 화소들을 "1"으로 설정하며, 중첩되지 않은 화소들을 "0"로 설정할 수도 있다. 이때, 폐색영역 검출부(132)는 벽면 텍스쳐 이미지가 아직 직사각형 형태로 리샘플링되지 않은 상태로 해당 벽면과 인접벽면에 대한 벽면 텍스쳐 영역 사이의 중첩영역이 계산되므로 교차연산 이후에 인접벽면 폐색 스텐실 이미지를 직사각형 형태로 리샘플링을 수행한다.The
도 10은 도 1에 도시한 벽면 이미지 가공부의 텍셀이미지 설정부 및 최종 이미지 생성부에서 최종 벽면 이미지를 생성하는 방법을 나타내는 순서도이다. 도 11은 본 발명의 실시예에 따른 병합 폐색 스텐실 이미지의 한 예를 나타내는 도면이다. 도 12는 도 1에 도시한 벽면 이미지 가공부의 텍셀 이미지 설정부에서 텍셀 이미지를 설정하는 한 예를 나타내는 도면이다. 도 13은 본 발명의 실시예에 따른 인접수목 폐색영역을 복원한 최종 벽면 이미지의 한 예를 나타내는 도면이다. 도 14는 본 발명의 실시예에 따른 인접벽면 폐색영역을 복원한 최종 벽면 이미지의 한 예를 나타내는 도면이다.FIG. 10 is a flowchart illustrating a method of generating a final wall image by the texel image setting unit and the final image generating unit of the wall image processing unit of FIG. 1. 11 is a diagram illustrating an example of a merged occlusion stencil image according to an embodiment of the present invention. FIG. 12 is a diagram illustrating an example of setting a texel image in the texel image setting unit of the wall image processing unit illustrated in FIG. 1. FIG. 13 is a diagram illustrating an example of a final wall image of restoring an adjacent tree occlusion area according to an exemplary embodiment of the present invention. FIG. 14 is a view showing an example of the final wall image restored the adjacent wall occlusion area in accordance with an embodiment of the present invention.
도 10에 도시한 바와 같이, 발명의 실시예에 따른 벽면 이미지 가공부(130) 의 폐색영역 검출부(132)는 인접수목 폐색 스텐실 이미지와 인접벽면 폐색 스텐실 이미지를 병합하여 병합 폐색 스텐실 이미지를 생성하며, 병합 폐색 스텐실 이미지의 한 예는 도 11에 도시한 바와 같다(S641).As shown in FIG. 10, the occlusion
도 10및 도 12를 참고하면, 텍셀 이미지 설정부(133)는 병합 폐색 스텐실 이10 and 12, the texel
미지에서 폐색영역의 상한선을 검출하며, 검출된 폐색영역의 상한선을 탐색 기준선(Base Line, BL)으로 설정한다(S642). 여기서, 폐색영역의 상한선은 병합 폐색 스텐실 이미지에서 폐색영역의 가장 위쪽 끝으로 설정된다.The upper limit of the occlusion area is detected in an unknown manner, and the upper limit of the detected occlusion area is set as a search base line (Base Line, BL) (S642). Here, the upper limit of the occlusion area is set to the uppermost end of the occlusion area in the merge occlusion stencil image.
텍셀 이미지 설정부(133)는 탐색 기준선(BL)로부터 위쪽 방향으로 이동하면서 해당 화소의 선분의 y축 방향의 변화도(gradient)가 최대가 되는 화소선분을 텍셀 하한선(Lower Line, LL)으로 설정한다(S643). 이때, y축 방향 변화도는 Horizontal Prewitt Operator와 같은 미분연산자를 이용하여 산출할 수 있다.The texel
텍셀 이미지 설정부(133)는 텍셀 하한선(LL)으로부터 위쪽 방향으로 텍셀 하한선(LL)과의 교차상관관계(Cross-correlation) 값이 최대가 되는 텍셀 상한선(Upper Line, UL)을 설정한다(S644). 이때, 텍셀 상한선(UL)을 중심으로 소정의 범위로 마스크를 설정하고 마스크 내의 전체 화소에 대하여 비정규 교차상관(un-normalized cross-correlation)을 적용하여 매칭 정확도를 높이며, 정규화되지 않은 교차상관관계는 수학식 2에 의해 계산한다. 즉, 텍셀 이미지 설정부(133)는 텍셀 하한선(LL)으로부터 위로 한 라인(line)씩 이동하면서 교차상관을 계산하며 비정규 교차상관이 최대인 d번째 라인(line)을 텍셀 상한선(UL)으로 설정한다.The texel
여기서, i는 마스크 내의 화소를 나타내는 인덱스이며, d는 교차상관을 계산하는 대상 라인(line)의 인덱스이다.Here, i is an index representing a pixel in the mask, and d is an index of a line to calculate the cross correlation.
그리고 텍셀 이미지 설정부(133)는 텍셀 하한선(LL)에서 텍셀 상한선(UL)까지의 이미지의 조각을 해당 벽면 텍스쳐 이미지에 대한 텍셀 이미지로 설정하여 최종 이미지 생성부로 전달한다(S645). The texel
최종 이미지 생성부(134)는 텍셀 이미지 설정부(133)로부터 텍셀 이미지를 전달받고, 텍셀 하한선(LL) 아래의 폐색영역에 설정된 텍셀을 반복적으로 합성하여 인접수목에 의한 폐색영역 및 인접벽면 폐색영역을 복원하여 최종 벽면 이미지를 생성한다(S646).The
예를 들어, 도 13에 도시한 바와 같이, 텍셀 이미지 설정부(133)는 병합 폐색 스텐실 이미지에서 해당 건물의 벽면 텍스쳐 이미지에 인접수목에 의한 폐색영역이 존재하는 경우, 해당 벽면 텍스쳐 이미지에 대한 텍셀 이미지를 설정한다. 그리고, 최종 이미지 생성부(134)는 인접수목에 의한 폐색영역에 텍셀 이미지를 반복적으로 합성하여 인접수목에 의한 폐색영역을 복원하여 최종 벽면 이미지를 생성한다. For example, as shown in FIG. 13, the texel
다른 예로, 도 14에 도시한 바와 같이, 텍셀 이미지 설정부(133)는 병합 폐색 스텐실 이미지에서 해당 건물의 벽면 텍스쳐 이미지에 인접벽면 폐색영역이 존 재하는 경우, 해당 벽면 텍스쳐 이미지의 텍셀 이미지를 설정한다. 그리고, 최종 이미지 생성부(134)는 인접벽면 폐색영역에 대응하여 설정된 텍셀 이미지를 반복적으로 합성하여 인접벽면 폐색영역을 복원하여 최종 벽면 이미지를 생성한다.As another example, as shown in FIG. 14, the texel
이와 같이, 본 발명의 실시예에 따른 건물 모델링 장치(100)는 항공영상을 이용하여 3차원 건물의 모델링 시 항공영상의 3차원 건물모델의 정보에서 해당 건물의 벽면 텍스쳐 이미지를 설정하고, 벽면 텍스쳐 이미지를 가공하여 설정된 텍셀 이미지를 반복적으로 합성하여 잡음요소가 최소화된 최종 벽면 이미지를 생성함에 따라 보다 현실감 있고 신속하게 건물을 모델링 할 수 있다. 그리고, 항공영상으로부터 건물 벽면의 이미지를 취득하므로 보다 저렴한 비용으로 건물을 모델링 할 수 있다.As such, the
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다. The embodiments of the present invention described above are not only implemented through the apparatus and the method, but may be implemented through a program for realizing a function corresponding to the configuration of the embodiments of the present invention or a recording medium on which the program is recorded.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.
도 1은 본 발명의 실시예에 따른 건물의 모델링을 위한 장치를 개략적으로 나타내는 도면이다.1 is a view schematically showing an apparatus for modeling a building according to an embodiment of the present invention.
도 2는 도 1에 도시한 건물 모델링 장치의 벽면 이미지 취득부에서 벽면 텍스쳐 이미지를 취득하는 순서를 나타내는 도면이다.FIG. 2 is a diagram illustrating a procedure of acquiring a wall texture image by a wall image acquisition unit of the building modeling apparatus illustrated in FIG. 1.
도 3은 도 2의 벽면 이미지 취득부에서 텍스쳐 유효도의 계산방법을 설명하기 위한 한 예를 나타내는 도면이다.FIG. 3 is a diagram illustrating an example for explaining a method of calculating texture validity in the wall image obtaining unit of FIG. 2.
도 4a 내지 도 4d는 도 2의 벽면 이미지 취득부에서 벽면 텍스쳐 이미지를 설정하는 한 예를 나타내는 도면이다.4A to 4D are diagrams illustrating an example of setting a wall texture image in the wall image acquisition unit of FIG. 2.
도 5는 본 발명의 실시예에 따른 벽면 텍스쳐 이미지에서 발생하는 잡음요소들의 한 예를 나타내는 도면이다.5 is a diagram illustrating an example of noise elements generated in a wall texture image according to an exemplary embodiment of the present invention.
도 6은 도 1에 도시한 건물 모델링 장치의 벽면 이미지 가공부에서 최종 벽면 텍스쳐 이미지를 생성하는 순서를 나타내는 도면이다.FIG. 6 is a diagram illustrating a procedure of generating a final wall texture image by a wall image processing unit of the building modeling apparatus illustrated in FIG. 1.
도 7은 도 1에 도시한 벽면 이미지 가공부의 그림자 보정부에서 그림자 보정을 수행하는 방법을 나타내는 순서도이다.7 is a flowchart illustrating a method of performing shadow correction in the shadow correcting unit of the wall image processing unit of FIG. 1.
도 8은 도 1에 도시한 벽면 이미지 가공부의 폐색영역 검출부에서 인접수목 폐색영역을 검출하는 방법을 나타내는 순서도이다.8 is a flowchart illustrating a method of detecting an adjacent tree occlusion area by the occlusion area detection part of the wall image processing part shown in FIG. 1.
도 9는 도 1에 도시한 벽면 이미지 가공부의 폐색영역 검출부에서 인접벽면 폐색영역을 검출하는 방법을 나타내는 순서도이다.9 is a flowchart illustrating a method of detecting an adjacent wall occlusion area by the occlusion area detection part of the wall image processing part shown in FIG. 1.
도 10은 도 1에 도시한 벽면 이미지 가공부의 텍셀이미지 설정부 및 최종 이 미지 생성부에서 최종 벽면 이미지를 생성하는 방법을 나타내는 순서도이다.FIG. 10 is a flowchart illustrating a method of generating a final wall image by the texel image setting unit and the final image generating unit of the wall image processing unit shown in FIG. 1.
도 11은 본 발명의 실시예에 따른 병합 폐색 스텐실 이미지의 한 예를 나타내는 도면이다.11 is a diagram illustrating an example of a merged occlusion stencil image according to an embodiment of the present invention.
도 12는 도 1에 도시한 벽면 이미지 가공부의 텍셀 이미지 설정부에서 텍셀 이미지를 설정하는 한 예를 나타내는 도면이다.FIG. 12 is a diagram illustrating an example of setting a texel image in the texel image setting unit of the wall image processing unit illustrated in FIG. 1.
도 13은 본 발명의 실시예에 따른 인접수목 폐색영역을 복원한 최종 벽면 이미지의 한 예를 나타내는 도면이다.FIG. 13 is a diagram illustrating an example of a final wall image of restoring an adjacent tree occlusion area according to an exemplary embodiment of the present invention. FIG.
도 14는 본 발명의 실시예에 따른 인접벽면 폐색영역을 복원한 최종 벽면 이미지의 한 예를 나타내는 도면이다.14 is a view showing an example of the final wall image restored the adjacent wall occlusion area in accordance with an embodiment of the present invention.
Claims (12)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090100917A KR101289885B1 (en) | 2009-10-22 | 2009-10-22 | Apparatus and method for modeling building |
CA2704656A CA2704656C (en) | 2009-10-22 | 2010-05-19 | Apparatus and method for modeling building |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090100917A KR101289885B1 (en) | 2009-10-22 | 2009-10-22 | Apparatus and method for modeling building |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110044092A true KR20110044092A (en) | 2011-04-28 |
KR101289885B1 KR101289885B1 (en) | 2013-07-24 |
Family
ID=43896978
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090100917A KR101289885B1 (en) | 2009-10-22 | 2009-10-22 | Apparatus and method for modeling building |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR101289885B1 (en) |
CA (1) | CA2704656C (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014026021A1 (en) * | 2012-08-08 | 2014-02-13 | Virginia Tech Intellectual Properties, Inc. | Systems and methods for image-based searching |
CN107610237A (en) * | 2017-09-08 | 2018-01-19 | 北京奇虎科技有限公司 | Image capture device Real-time Data Processing Method and device, computing device |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019082958A1 (en) * | 2017-10-27 | 2019-05-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Three-dimensional model encoding device, three-dimensional model decoding device, three-dimensional model encoding method, and three-dimensional model decoding method |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010000443A (en) * | 2000-09-29 | 2001-01-05 | 서정헌 | Media that can record computer program sources for extracting building by fusion with photogrammetric image and lidar data, and system and method thereof |
-
2009
- 2009-10-22 KR KR1020090100917A patent/KR101289885B1/en active IP Right Grant
-
2010
- 2010-05-19 CA CA2704656A patent/CA2704656C/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014026021A1 (en) * | 2012-08-08 | 2014-02-13 | Virginia Tech Intellectual Properties, Inc. | Systems and methods for image-based searching |
CN107610237A (en) * | 2017-09-08 | 2018-01-19 | 北京奇虎科技有限公司 | Image capture device Real-time Data Processing Method and device, computing device |
Also Published As
Publication number | Publication date |
---|---|
CA2704656A1 (en) | 2011-04-22 |
KR101289885B1 (en) | 2013-07-24 |
CA2704656C (en) | 2013-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2011312140B2 (en) | Rapid 3D modeling | |
KR102255031B1 (en) | Mismatch detection system, complex reality system, program and mismatch detection method | |
CN106327573B (en) | A kind of outdoor scene three-dimensional modeling method for urban architecture | |
EP3550513B1 (en) | Method of generating panorama views on a mobile mapping system | |
US8107722B2 (en) | System and method for automatic stereo measurement of a point of interest in a scene | |
JP5682060B2 (en) | Image composition apparatus, image composition program, and image composition system | |
Maurer et al. | Tapping into the Hexagon spy imagery database: A new automated pipeline for geomorphic change detection | |
CN109472865A (en) | It is a kind of based on iconic model draw freedom can measure panorama reproducting method | |
KR101220271B1 (en) | Numerical map manufacturing system for posting of reality building based on gps | |
KR101289885B1 (en) | Apparatus and method for modeling building | |
Grun et al. | Automatic DTM generation from three-line-scanner (TLS) images | |
Gong et al. | Improvement of an oak canopy model extracted from digital photogrammetry | |
Cheng et al. | Texture mapping 3d planar models of indoor environments with noisy camera poses | |
Zhang et al. | Tests and performance evaluation of DMC images and new methods for their processing | |
Mccollum | Refining the Data Collection Methodology of Outdoor Forensic Scenes Involving Scattered Human Remains Using Close-Range Photogrammetry | |
JP5409451B2 (en) | 3D change detector | |
Hughes et al. | Investigation of joint visibility between SAR and optical images of urban environments | |
Shariat et al. | Analysis and the solutions for generating a true digital ortho photo in close range photogrammetry | |
CN112955781B (en) | Photogrammetry system for locating geological radar data over a measurement scene | |
US20240144509A1 (en) | Methods and systems for determining 3d coordinates describing a scene | |
He | Co-registration between imagery and point cloud acquired by mls platform | |
Tao | Registration of LiDAR Data and Dense-Matching Point Cloud in Forest Areas | |
Suliman et al. | An efficient approach for image-DSM co-registration for urban building extraction | |
Chang et al. | Stereo-mate generation of high-resolution satellite imagery using a parallel projection model | |
Fisher et al. | A hybrid image and model based approach to photorealistic building reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20161117 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20170619 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20180510 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20190806 Year of fee payment: 7 |