KR20110044092A - Apparatus and method for modeling building - Google Patents

Apparatus and method for modeling building Download PDF

Info

Publication number
KR20110044092A
KR20110044092A KR1020090100917A KR20090100917A KR20110044092A KR 20110044092 A KR20110044092 A KR 20110044092A KR 1020090100917 A KR1020090100917 A KR 1020090100917A KR 20090100917 A KR20090100917 A KR 20090100917A KR 20110044092 A KR20110044092 A KR 20110044092A
Authority
KR
South Korea
Prior art keywords
image
wall
building
occlusion
area
Prior art date
Application number
KR1020090100917A
Other languages
Korean (ko)
Other versions
KR101289885B1 (en
Inventor
임영재
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020090100917A priority Critical patent/KR101289885B1/en
Priority to CA2704656A priority patent/CA2704656C/en
Publication of KR20110044092A publication Critical patent/KR20110044092A/en
Application granted granted Critical
Publication of KR101289885B1 publication Critical patent/KR101289885B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

PURPOSE: An apparatus for a building modeling and a method thereof are provided to rapidly and more realistically perform a modeling by compensating various noises in the picture. CONSTITUTION: A wall image acquisition unit(120) receives 3D building modeling information using an aerial picture. The wall image acquisition unit obtains wall texture image about each building wall using the 3D building modeling information. A wall image processing unit(130) receives the wall texture image from the wall image acquisition unit. The wall image processing unit sets textual image in order to compensate an occlusion region in the wall textual image. The wall image processing unit creates final wall image by synthesizing the textual image with the image of the occlusion region.

Description

건물의 모델링을 위한 장치 및 방법{APPARATUS AND METHOD FOR MODELING BUILDING}Apparatus and method for modeling a building {APPARATUS AND METHOD FOR MODELING BUILDING}

본 발명은 건물의 모델링을 위한 장치 및 방법에 관한 것으로, 특히 항공영상을 이용하여 3차원 건물의 모델링 시 건물 벽면의 이미지를 항공영상에서 취득하여 가공할 수 있는 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for modeling a building, and more particularly, to an apparatus and method for acquiring and processing an image of a wall of a building from an aerial image when modeling a 3D building using an aerial image.

본 발명은 지식경제부의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2007-F-042-03, 과제명: 3차원 GIS기반 전파분석 고도화 기술 개발].The present invention is derived from a study conducted as part of the IT source technology development project of the Ministry of Knowledge Economy [Task Management Number: 2007-F-042-03, Task name: Development of 3D GIS-based radio wave analysis advanced technology].

최근 3차원 공간정보를 이용하여 지형이나 지세를 수치상으로 표현하여 실제 지상시설물과 지하매설물 등의 관련정보를 지속적으로 관리하며, 도시경관계획, 재해관리 시스템, 네비게이션 및 인터넷 지도 서비스 등과 같이 다양한 응용분야에 적용하고 있다.Recent three-dimensional spatial information is used to numerically represent the terrain or topography to continuously manage related information such as actual ground facilities and underground burial, and various application fields such as urban landscape planning, disaster management system, navigation and internet map service. Is being applied to.

이러한 3차원 공간정보에서 가장 핵심적인 3차원 건물모델을 구축하는 방법으로는 수치지도와 건물 대장의 층수 정보를 이용하는 방법, 센서모델링을 수반하는 스테레오 입체 영상을 이용하는 방법, 건물의 그림자 또는 기복변위 관측방법을 이용하여 한 장의 영상만으로 건물모델을 취득하는 방법 및 항공기에 탑재된 레이저 거리측정 장비로 지표면을 이루는 점들의 높이값을 직접 취득한 라이다(Light Detection And Ranging, LiDAR) 데이터를 이용하는 방법 등이 있다.The most important three-dimensional building model in the three-dimensional spatial information is to use the digital map and the floor information of the building director, the stereoscopic image with sensor modeling, the shadow or relief displacement of the building The method of acquiring a building model using only one image using the method, and the method of using light detection and ranging (LiDAR) data, which directly acquires height values of the points forming the ground surface with the laser distance measuring equipment mounted on the aircraft, have.

이러한 방법 중에서 건물 벽면의 이미지 취득을 위한 방법으로는 건물의 기하학적 3차원 정보만을 취득 한 후, 건물벽면에 임의의 가상 이미지를 매핑하거나 현장에 나가 건물벽면의 이미지들을 직접 촬영하여 일일이 수작업으로 입력하는 방법보다는 스테레오 입체 영상 또는 단영상을 이용하여 건물의 3차원 정보 취득과 동시에 영상으로부터 건물의 해당벽면 이미지를 직접 취득하는 방법이 보다 신속하게 건물을 모델링 할 수 있어 주로 사용된다.Among these methods, the method for acquiring the image of the building wall is to acquire only the geometric 3D information of the building, and then map arbitrary virtual images on the building wall or go out to the site to manually capture the images of the building wall and input them manually. Rather than using a stereoscopic stereoscopic image or a single image, the method of acquiring the 3D information of the building and directly acquiring the corresponding wall image of the building from the image is used mainly because it can model the building more quickly.

하지만 영상을 이용하는 이러한 방법의 경우, 상공에서 지표면 방향으로 촬영되어야 하므로 영상의 주점 근처에 분포하는 건물들이나 벽면 방향이 카메라 방향과 일치하지 않는 건물의 경우 좋은 품질의 이미지를 취득하기 힘들다. 뿐만 아니라, 도심밀집지역 등에서는 벽면 이미지가 인접건물 및 수목에 의해 가려지거나 건물자체의 그림자 등이 심각한 잡음요소로 작용하게 되는 것과 같은 이유로 보다 좋은 품질의 건물의 이미지를 취득하기 힘든 문제점이 있다.However, in this method of using images, it is difficult to acquire good quality images in buildings distributed near the main point of the image or in buildings where the wall direction does not coincide with the camera direction because the images must be photographed in the direction of the surface from above. In addition, it is difficult to obtain a better image of a building because the wall image is obscured by neighboring buildings and trees, or the shadow of the building itself acts as a serious noise factor in an urban dense area.

따라서, 건물 벽면의 모델링을 위해 신속하고 현실감 있게 잡음의 영향이 최소화된 건물 벽면의 이미지를 취득하기 위한 기술이 요구된다.Therefore, there is a need for a technique for obtaining an image of a building wall surface in which the effect of noise is minimized quickly and realistically for modeling a building wall surface.

본 발명이 이루고자 하는 기술적 과제는 항공영상을 이용하여 3차원 건물의 모델링 시 건물 벽면의 이미지를 항공영상에서 취득할 수 있는 건물의 모델링을 위한 장치 및 방법에 관한 것이다.The technical problem to be achieved by the present invention relates to an apparatus and method for modeling a building that can obtain the image of the building wall surface from the aerial image when modeling the three-dimensional building using the aerial image.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 항공영상을 이용하여 건물 모델링을 하는 장치에 있어서,In the device for building the building using the aerial image according to the characteristics of the present invention for achieving the above object,

상기 항공영상을 통해 상기 건물에 대한 3차원 건물모델의 정보를 수신하며, 상기 3차원 건물모델의 정보를 이용하여 상기 각 건물의 벽면에 대한 벽면 텍스쳐 이미지를 취득하는 벽면 이미지 취득부, 그리고 상기 벽면 이미지 취득부로부터 상기 벽면 텍스쳐 이미지를 수신하며, 상기 벽면 텍스쳐 이미지에 포함된 폐색영역을 보정하기 위해 텍셀 이미지를 설정하며, 상기 텍셀 이미지를 상기 폐색영역의 이미지에 합성하여 최종 벽면 이미지를 생성하는 벽면 이미지 가공부를 포함한다.Wall image acquisition unit for receiving the information of the three-dimensional building model for the building through the aerial image, and using the information of the three-dimensional building model to obtain a wall texture image of the wall surface of each building, and the wall surface Receives the wall texture image from an image acquisition unit, sets a texel image to correct the occlusion area included in the wall texture image, and combines the texel image with the image of the occlusion area to generate a final wall image. It includes an image processing unit.

또한, 본 발명의 다른 특징에 따른 항공영상을 이용하여 건물 모델링을 하는 방법에 있어서,In addition, in the building modeling method using the aerial image according to another feature of the present invention,

상기 항공영상을 통해 상기 건물에 대한 3차원 건물모델의 정보를 수신하는 단계, 상기 3차원 건물모델의 정보를 이용하여 상기 건물의 벽면에 대한 벽면 텍스쳐 이미지를 취득하는 단계, 상기 벽면 텍스쳐 이미지에 포함된 폐색영역의 보정을 위한 텍셀 이미지를 설정하는 단계, 그리고 상기 폐색영역의 이미지에 상기 텍셀 이미지를 합성하여 최종 벽면 이미지를 생성하는 단계를 포함한다.Receiving information of the 3D building model of the building through the aerial image, acquiring a wall texture image of the wall surface of the building using the information of the 3D building model, included in the wall texture image And setting a texel image for correcting the occluded region, and generating a final wall image by synthesizing the texel image with the image of the occluded region.

본 발명의 실시예에 따르면, 항공영상을 이용하여 3차원 건물의 모델링 시 항공영상으로부터 건물 벽면의 이미지를 취득하며, 건물 벽면의 이미지에 존재하는 다양한 잡음요소를 보정 및 복원함에 따라 보다 현실감 있고 신속하게 건물을 모델링 할 수 있다.According to an embodiment of the present invention, when the 3D building is modeled using the aerial image, the image of the building wall is acquired from the aerial image, and the various noise elements present in the image of the building wall are corrected and restored to make it more realistic and quick. Model the building.

또한, 본 발명의 실시예에 따르면, 항공영상으로부터 건물 벽면의 이미지를 취득하므로 보다 저렴한 비용으로 건물을 모델링 할 수 있다.In addition, according to an embodiment of the present invention, since the image of the building wall surface is acquired from the aerial image, it is possible to model the building at a lower cost.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when a part is said to "include" a certain component, it means that it can further include other components, without excluding other components unless specifically stated otherwise.

도 1은 본 발명의 실시예에 따른 건물의 모델링을 위한 장치를 개략적으로 나타내는 도면이다. 1 is a view schematically showing an apparatus for modeling a building according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 본 발명의 실시예에 따른 건물의 모델링을 위한 건물 모델링 장치(100)는 영상 수신부(110), 벽면 이미지 취득부(120) 및 벽면 이미지 가공부(130)를 포함한다.As shown in FIG. 1, the building modeling apparatus 100 for modeling a building according to an exemplary embodiment of the present invention includes an image receiving unit 110, a wall image obtaining unit 120, and a wall image processing unit 130. do.

영상 수신부(110)는 항공영상을 수신하며, 항공영상을 통해 이미 구축되어 있는 건물모델의 정보를 입력 받는다. 그리고 영상 수신부(110)는 건물모델의 정보를 벽면 이미지 취득부(120)로 전달한다. 여기서 건물모델의 정보는 한 장의 항공영상에서 각 3차원 건물모델들의 그림자 관측 또는 기복변위 관측을 통해 건물의 높이를 획득하여 구축되거나, 또는 두 장 이상의 스테레오 입체영상을 이용하는 방법으로 구축되는 3차원 정보이며, 이러한 3차원 정보의 구축방법은 이미 공지되어 있는 기술이므로 구체적인 설명은 생략한다.The image receiving unit 110 receives the aerial image, and receives the information of the building model already built through the aerial image. The image receiver 110 transmits the information of the building model to the wall image acquisition unit 120. The building model information is constructed by acquiring the height of a building through shadow observation or undulation displacement observation of each three-dimensional building model in one aerial image, or three-dimensional information constructed by using two or more stereoscopic images. Since the construction method of the 3D information is a known technique, a detailed description thereof will be omitted.

벽면 이미지 취득부(120)는 영상 수신부(110)로부터 건물모델의 정보를 수신한다. 벽면 이미지 취득부(120)는 3차원 건물모델의 정보를 2차원 역투영을 통해 해당 건물모델의 각 벽면에 대한 벽면 텍스쳐 이미지를 취득하여 벽면 이미지 가공부(130)로 전달한다. 여기서 벽면 텍스쳐 이미지는 항공영상에서 건물모델의 정보를 통해 획득한 건물 벽면에 대한 2차원 이미지이다. 이때, 복수의 항공영상을 이용하여 동일 건물모델에 대한 벽면 텍스쳐 이미지를 취득하는 경우, 건물모델의 촬영자세에 따른 건물모델의 벽면 이미지의 유효성을 판단하여 벽면 텍스쳐 이미지를 설정하므로 최적의 벽면 텍스쳐 이미지를 선별할 수 있다.The wall image obtaining unit 120 receives the information of the building model from the image receiving unit 110. The wall image acquisition unit 120 acquires the wall texture image of each wall surface of the building model through the 2D reverse projection and transmits the information of the 3D building model to the wall image processing unit 130. Here, the wall texture image is a two-dimensional image of the building wall obtained through the information of the building model in the aerial image. At this time, when acquiring the wall texture image of the same building model using a plurality of aerial images, the wall texture image is set by determining the validity of the wall image of the building model according to the shooting attitude of the building model, so the optimal wall texture image is obtained. Can be screened.

벽면 이미지 가공부(130)는 벽면 이미지 취득부(120)로부터 취득된 벽면 텍스쳐 이미지를 전달받으며, 벽면 텍스쳐 이미지에 포함된 잡음요소를 보정 및 복원하여 최종 벽면 이미지를 생성한다. 여기서 잡음요소는 벽면 자체의 그림자, 인접한 수목(樹木)(이하 "인접수목"이라고 함)의 폐색영역 및 인접한 벽면(이하 "인접벽면"이라고 함)에 의한 폐색영역 등과 같은 요소를 포함하며, 구체적인 설명은 후 술한다. The wall image processing unit 130 receives the wall texture image acquired from the wall image acquisition unit 120, and corrects and restores noise elements included in the wall texture image to generate a final wall image. Noise components include elements such as shadows of the walls themselves, occlusion areas of adjacent trees (hereinafter referred to as "adjacent trees"), and occlusion areas by adjacent walls (hereinafter called "adjacent wall surfaces"). The explanation is described later.

구체적으로, 벽면 이미지 가공부(130)는 그림자 보정부(131), 폐색영역 검출부(132), 텍셀 이미지 설정부(133) 및 최종 이미지 생성부(134)를 포함한다.In detail, the wall image processing unit 130 includes a shadow correcting unit 131, a closed area detecting unit 132, a texel image setting unit 133, and a final image generating unit 134.

그림자 보정부(131)는 벽면 텍스쳐 이미지에서 해당 벽면의 그림자 영향을 최소화 하기 위해 그림자 보정을 수행한다.The shadow correction unit 131 performs shadow correction to minimize the shadow effect of the wall surface in the wall texture image.

폐색영역 검출부(132)는 그림자 보정부(131)에서 그림자 보정이 수행된 벽면 텍스쳐 이미지를 수신하여 인접수목 폐색영역 및 인접벽면 폐색영역을 검출한다. 그리고 폐색영역 검출부(132)는 인접수목 폐색영역에 해당하는 화소를 표시하여 인접수목 폐색 스텐실 이미지를 생성한다. 폐색영역 검출부(132)는 벽면과 벽면에 인접한 인접벽면에 대한 벽면 텍스쳐 영역 정보를 이용하여 중첩영역을 계산하고, 중첩영역을 표시하여 인접벽면 스텐실 이미지를 생성한다. 폐색영역 검출부(132)는 인접수목 폐색 스텐실 이미지와 인접벽면 스텐실 이미지를 합성하여 병합 폐색 스텐실 이미지를 생성한다. The occlusion area detector 132 detects an adjacent tree occlusion area and an adjacent wall occlusion area by receiving the wall texture image on which the shadow correction is performed by the shadow correction part 131. The occlusion area detector 132 displays pixels corresponding to the adjacent tree occlusion areas to generate an adjacent tree occlusion stencil image. The occlusion area detector 132 calculates an overlapping area by using wall texture area information of the wall and the adjacent wall surface adjacent to the wall, and generates an adjacent wall stencil image by displaying the overlapping area. The occlusion area detector 132 synthesizes the adjacent tree occlusion stencil image and the adjacent wall stencil image to generate a merge occlusion stencil image.

텍셀 이미지 설정부(133)는 병합 폐색 스텐실 이미지에서 폐색영역의 상한선을 검출하며, 검출된 폐색영역의 상한선을 탐색 기준선(Base Line, BL)으로 설정하고, 탐색 기준선(BL)로부터 위쪽 방향, 즉 폐색영역이 존재하지 않는 방향으로 이동하면서 텍셀 이미지를 설정한다. 여기서 텍셀(texture element, texel) 이미지는 컴퓨터그래픽에서 텍스처 데이터를 구성하는 최소 단위로 폴리곤에 이미지를 사용해 현실감을 주는 텍스처 매핑(mapping)에 사용하는 이미지를 구성하는 각각의 요소이며, 무늬소라고 불리기도 한다. 본 발명의 실시예에서 언급하는 텍셀 이미지는 건물 벽면의 폐색영역을 복원하기 위해 폐색영역의 상한선의 위쪽 방향에서 해당 건물 벽면의 일부로 설정되는 이미지이다. 텍셀 이미지의 설정에 대한 구체적인 설명은 후술한다.The texel image setting unit 133 detects an upper limit line of the occlusion area in the merge occlusion stencil image, sets the upper limit line of the detected occlusion area as the base line BL, and moves upward from the search base line BL. Set the texel image while moving in the direction where no occlusion area exists. Here, a texel (texture element) image is the smallest unit that constitutes texture data in computer graphics, and each element of an image is used to construct a texture mapping using an image on a polygon. Also do. The texel image referred to in the embodiment of the present invention is an image set as a part of the building wall in the upper direction of the upper limit of the occlusion area to restore the occlusion area of the building wall. A detailed description of the setting of the texel image will be described later.

최종 이미지 생성부(134)는 병합 폐색 스텐실 이미지의 폐색영역에 텍셀 이미지를 합성하여 최종 벽면 이미지를 생성한다.The final image generator 134 generates a final wall image by synthesizing the texel image to the occlusion area of the merged occlusion stencil image.

이하 벽면 텍스쳐 이미지에 포함된 잡음요소를 보정 및 가공하여 최종 벽면 이미지를 생성하는 방법에 대하여 도 2 내지 도 14를 참고하여 구체적으로 설명한다.Hereinafter, a method of generating a final wall image by correcting and processing a noise element included in a wall texture image will be described in detail with reference to FIGS. 2 to 14.

도 2는 도 1에 도시한 건물 모델링 장치의 벽면 이미지 취득부에서 벽면 텍스쳐 이미지를 취득하는 순서를 나타내는 도면이다. 도 3은 도 2의 벽면 이미지 취득부에서 텍스쳐 유효도의 계산방법을 설명하기 위한 한 예를 나타내는 도면이다. 도 4a 내지 도 4d는 도 2의 벽면 이미지 취득부에서 벽면 텍스쳐 이미지를 설정하는 한 예를 나타내는 도면이다. FIG. 2 is a diagram illustrating a procedure of acquiring a wall texture image by a wall image acquisition unit of the building modeling apparatus illustrated in FIG. 1. FIG. 3 is a diagram illustrating an example for explaining a method of calculating texture validity in the wall image obtaining unit of FIG. 2. 4A to 4D are diagrams illustrating an example of setting a wall texture image in the wall image acquisition unit of FIG. 2.

도 2에 도시한 바와 같이, 본 발명의 실시예에 따른 건물 모델링 장치(100)의 벽면 이미지 취득부(120)는 영상 수신부(110)로부터 건물모델의 정보를 수신한다(S200). 벽면 이미지 취득부(120)는 3차원 건물모델의 정보의 2차원 역투영을 통해 해당 건물모델의 각 벽면에 대한 영상 상의 벽면 텍스쳐 영역을 계산한다(S210). 본 발명의 실시예에 따른 벽면 텍스쳐 영역은 직사각형 형태의 3차원 상의 건물벽면을 영상 위에 역투영하여 형성된 변형된 사각 폴리곤 형태이다. 이때 복수의 항공영상으로부터 건물모델의 정보가 수신되었으므로 동일 벽면에 대해 각 각의 영상에서 해당 벽면의 서로 다른 벽면 이미지들을 취득하게 되는데 상공에서 지표면 방향으로 촬영되는 항공영상의 특성상 영상의 주점과 가까운 건물일수록 벽면 이미지의 품질이 좋지 못하며 주점에서 멀리 떨어져 있다 하더라도 벽면의 방향이 카메라의 방향과 틀어질수록 양질의 벽면 이미지의 취득에 어려움이 발생한다. As shown in FIG. 2, the wall image obtaining unit 120 of the building modeling apparatus 100 according to the exemplary embodiment of the present invention receives the information of the building model from the image receiving unit 110 (S200). The wall image acquisition unit 120 calculates a wall texture area on the image of each wall of the building model through two-dimensional inverse projection of information of the three-dimensional building model (S210). The wall texture area according to the embodiment of the present invention is a modified rectangular polygonal shape formed by retroprojecting a three-dimensional building wall surface of a rectangular shape onto an image. At this time, since the information of the building model is received from the plurality of aerial images, different wall images of the corresponding wall surface are acquired from each image on the same wall surface. The higher the quality of the wall image, the more difficult it is to acquire a high quality wall image, even if it is far from the pub, as the direction of the wall is different from the direction of the camera.

벽면 이미지 취득부(120)는 이러한 촬영자세에 따른 건물 벽면 이미지의 유효성을 판단하기 위해 도 3에서와 같이 해당 건물모델의 각 벽면에 대한 영상상의 벽면 텍스쳐 영역에서 건물을 구성하는 각 벽면의 법선 벡터(

Figure 112009064862605-PAT00001
)과 벽면의 중심으로부터 영상의 주점을 향하는 벡터(
Figure 112009064862605-PAT00002
)와의 관계로 텍스쳐 유효도(Validation Factor: VF)를 계산하며, 텍스쳐 유효도는 수학식 1과 같다(S220).The wall image acquisition unit 120 normal vector of each wall constituting the building in the wall texture area on the image for each wall of the building model as shown in Figure 3 to determine the validity of the building wall image according to the shooting position (
Figure 112009064862605-PAT00001
) And the vector from the center of the wall toward the pub of the image
Figure 112009064862605-PAT00002
The texture validity (VF) is calculated in relation to the above, and the texture validity is equal to Equation 1 (S220).

Figure 112009064862605-PAT00003
Figure 112009064862605-PAT00003

벽면 이미지 취득부(120)는 동일 벽면에 대해 여러 장의 영상이 이용 가능한 경우 각각의 영상에서 텍스쳐 유효도(VF)가 최대인 벽면 이미지를 선택하고 이를 직사각형 이미지 형태로 리샘플링(resampling)한 벽면 텍스쳐 이미지를 벽면 이미지 가공부(130)로 전달한다(S230).The wall image acquisition unit 120 selects a wall image having the maximum texture validity (VF) in each image when multiple images are available for the same wall and resamples the wall texture image into a rectangular image. To transmit to the wall image processing unit 130 (S230).

예를 들어 벽면 이미지 취득부(120)는 도 4a 내지 도 4d에 도시된 촬영위치 및 자세가 서로 다른 여러 장의 항공영상에서 관측된 동일 건물에 대해 음영 표시된 건물앞면의 텍스쳐 유효도(VF)를 수학식 1을 이용하여 계산한다. 벽면 이미지 취득부(120)는 도 4a 내지 도 4d 중 건물에 대한 텍스쳐 유효도(VF)가 최대인 도 4c의 벽면 이미지를 선택하여 직사각형 이미지 형태로 리샘플링한 벽면 텍스쳐 이미지를 벽면 이미지 가공부(130)로 전달한다.For example, the wall image acquisition unit 120 calculates the texture validity (VF) of the front surface of the shaded building for the same building observed in several aerial images having different shooting positions and postures shown in FIGS. 4A to 4D. Calculate using Equation 1. The wall image acquisition unit 120 selects the wall image of FIG. 4C having the maximum texture validity (VF) of the building from FIGS. 4A to 4D and resamples the wall texture image into a rectangular image to form the wall image processing unit 130. To pass).

도 5는 본 발명의 실시예에 따른 벽면 텍스쳐 이미지에서 발생하는 잡음요소들의 한 예를 나타내는 도면이다.5 is a diagram illustrating an example of noise elements generated in a wall texture image according to an exemplary embodiment of the present invention.

도 5에 도시한 바와 같이, 본 발명의 실시예에서는 벽면 텍스쳐 이미지에서 발생하는 잡음요소들로 셀프 쉐이딩 벽면, 인접수목 폐색, 인접벽면 폐색영역 및 인접 그림자가 포함된다.As shown in FIG. 5, in the embodiment of the present invention, noise components generated in the wall texture image include a self-shading wall, an adjacent tree blockage, an adjacent wall blockage area, and an adjacent shadow.

셀프 쉐이딩(self shading)은 해당 벽면(500)의 법선 벡터(

Figure 112009064862605-PAT00004
)와 태양(600)의 방위각의 단위 벡터(
Figure 112009064862605-PAT00005
)가 마주하는 각이 소정 범위 이상을 벗어나게 되어 벽면 자체의 그림자에 의해 이미지가 훼손되는 것이며, 이러한 벽면을 셀프 쉐이딩 벽면이라고 한다.Self shading is the normal vector of the wall 500
Figure 112009064862605-PAT00004
) And the unit vector of the azimuth of the sun 600 (
Figure 112009064862605-PAT00005
The angles facing each other are outside the predetermined range and the image is damaged by the shadow of the wall itself. Such a wall is called a self-shading wall.

인접수목 폐색영역은 해당 벽면(500)에 인접한 수목(樹木)(700)에 의해 폐색이 발생하는 것이며, 인접벽면 폐색영역은 해당 벽면(500)에 인접한 벽면(800)에 의해 폐색이 발생하는 것이다. 여기서 폐색영역은 잡음요소 중의 하나로 장애 요소, 예를 들어 수목(700) 및 인접 벽면(800) 등에 의해 정상적이지 못한 훼손된 이미지로 표현되는 영역이다.Adjacent tree occlusion area is the occlusion is generated by the tree 700 adjacent to the wall surface 500, the adjacent wall occlusion area is the occlusion is generated by the wall surface 800 adjacent to the wall surface 500. . In this case, the occlusion area is one of noise elements, and is an area represented by an abnormally damaged image due to an obstacle element, for example, the tree 700 and the adjacent wall 800.

인접 그림자는 해당 벽면(500)에 인접한 벽면(800)에 의해 발생하는 그림자에 의해 이미지가 훼손되는 것이다.Adjacent shadows are images that are damaged by shadows generated by the wall surface 800 adjacent to the wall surface 500.

도 6은 도 1에 도시한 건물 모델링 장치의 벽면 이미지 가공부에서 최종 벽면 텍스쳐 이미지를 생성하는 순서를 나타내는 도면이다.FIG. 6 is a diagram illustrating a procedure of generating a final wall texture image by a wall image processing unit of the building modeling apparatus illustrated in FIG. 1.

도 6에 도시한 바와 같이, 본 발명의 실시예에 따른 건물 모델링 장치(100)의 벽면 이미지 가공부(130)는 벽면 이미지 취득부(120)로부터 벽면 텍스쳐 이미지를 전달받는다. 벽면 이미지 가공부(130)의 그림자 보정부(131)는 벽면 텍스쳐 이미지에서 해당 벽면의 그림자 영향을 최소화 하기 위해 그림자 보정을 수행한다(S600). 그리고 폐색영역 검출부(132)는 폐색영역 추출 및 텍스쳐 복원작업의 수행을 위한 시간이 길어질 수 있으므로 모든 건물과 벽면에 대하여 일괄적으로 보정작업을 수행하지 않으며 건물의 높이나 또는 텍스쳐 유효도 등의 정보를 이용하여 가공 대상 벽면인지의 여부를 먼저 판단한다(S610). As shown in FIG. 6, the wall image processing unit 130 of the building modeling apparatus 100 according to an exemplary embodiment of the present invention receives a wall texture image from the wall image acquisition unit 120. The shadow correction unit 131 of the wall image processing unit 130 performs shadow correction to minimize the shadow effect of the corresponding wall surface in the wall texture image (S600). In addition, since the occlusion area detection unit 132 may take a long time to perform the occlusion area extraction and texture restoration work, the occlusion area detection unit 132 does not collectively perform corrections on all buildings and walls. First, it is determined whether the object is a wall to be processed (S610).

해당 건물의 벽면이 가공 대상 벽면인 경우, 폐색영역 검출부(132)는 해당 벽면에 포함되어 있는 인접수목 폐색영역을 검출한다(S620). 그리고 폐색영역 검출부(132)는 인접벽면 폐색영역을 검출한다(S630). 텍셀 이미지 설정부(133)는 검출된 인접수목 폐색영역 및 인접벽면 폐색영역을 고려하여 텍셀 이미지를 설정한다. 최종 이미지 생성부(134)는 인접수목 폐색영역 및 인접벽면 폐색영역에 텍셀 이미지를 반복적으로 합성하여 최종 벽면 이미지를 생성한다(S640).When the wall surface of the building is a wall to be processed, the occlusion area detector 132 detects an adjacent tree occlusion area included in the wall surface (S620). The occlusion area detection unit 132 detects an adjacent wall surface occlusion area (S630). The texel image setting unit 133 sets the texel image in consideration of the detected adjacent tree occlusion area and the adjacent wall occlusion area. The final image generator 134 generates a final wall image by repeatedly synthesizing the texel image in the adjacent tree occlusion area and the adjacent wall occlusion area (S640).

한편, 해당 건물의 건물의 벽면이 가공 대상 벽면이 아닌 경우, 벽면 이미지 가공부(130)는 폐색영역 추출 및 복원 과정을 수행하지 않는다. On the other hand, if the wall surface of the building of the building is not the target wall surface, the wall image processing unit 130 does not perform the process of extracting and restoring the occlusion area.

도 7은 도 1에 도시한 벽면 이미지 가공부의 그림자 보정부에서 그림자 보정을 수행하는 방법을 나타내는 순서도이다.7 is a flowchart illustrating a method of performing shadow correction in the shadow correcting unit of the wall image processing unit of FIG. 1.

도 7에 도시한 바와 같이, 발명의 실시예에 따른 건물 모델링 장치(100)에서 벽면 이미지 가공부(130)의 그림자 보정부(131)는 벽면 이미지 취득부(120)로부터 벽면 텍스쳐 이미지를 전달받으며(S601), 해당 벽면의 법선 벡터 및 태양의 방위각 간의 내적 계산을 이용하여 전달된 벽면 텍스쳐 이미지의 해당 벽면이 셀프 쉐이딩 벽면인지의 여부를 판단한다(S602). As shown in FIG. 7, the shadow correcting unit 131 of the wall image processing unit 130 receives the wall texture image from the wall image acquisition unit 120 in the building modeling apparatus 100 according to the embodiment of the present invention. In operation S601, it is determined whether the corresponding wall surface of the transferred wall texture image is a self-shading wall surface by using an inner product calculation between the normal vector of the wall surface and the azimuth angle of the sun (S602).

해당 벽면이 셀프 쉐이딩 벽면인 경우, 그림자 보정부(131)는 벽면의 법선 벡터와 태양의 방위각을 이용하여 셀프 쉐이딩 보정을 수행한다(S603). If the wall surface is a self-shading wall surface, the shadow correction unit 131 performs self-shading correction using the normal vector of the wall surface and the azimuth angle of the sun (S603).

한편, 해당 벽면이 셀프 쉐이딩 벽면이 아닌 경우, 그림자 보정부(131)는 태양과 해당 벽면 및 인접 벽면간의 기하학적 배치에 의해 인접벽면의 그림자가 해당벽면에 발생된 것으로 판단하여 영상처리 기법을 통해 우선 인접벽면의 그림자 영역을 검출한다(S604). 그리고 그림자 보정부(131)는 검출된 인접벽면의 그림자 영역만을 대상으로 하여 그림자 영역 보정을 수행한다(S605).On the other hand, if the wall is not a self-shading wall, the shadow correction unit 131 determines that the shadow of the adjacent wall is generated on the wall by the geometric arrangement between the sun, the wall and the adjacent wall, and then, through the image processing technique, The shadow area of the adjacent wall surface is detected (S604). The shadow correction unit 131 performs shadow area correction only on the detected shadow area of the adjacent wall surface (S605).

도 8은 도 1에 도시한 벽면 이미지 가공부의 폐색영역 검출부에서 인접수목 폐색영역을 검출하는 방법을 나타내는 순서도이다.8 is a flowchart illustrating a method of detecting an adjacent tree occlusion area by the occlusion area detection part of the wall image processing part shown in FIG. 1.

도 8에 도시한 바와 같이, 발명의 실시예에 따른 건물 모델링 장치(100)에서 벽면 이미지 가공부(130)의 폐색영역 검출부(132)는 그림자 보정이 완료되면, 그림자 보정이 완료된 벽면 텍스쳐 이미지를 수신한다(S621). 폐색영역 검출부(132)는 인접수목에 의한 폐색영역을 검출하기 위해 수목에 대한 화소(pixel)를 탐색한다(S622). 즉, 폐색영역 검출부(132)는 수목에 대한 화소를 탐색하기 위해 색상정보를 활용하는 방법 또는 텍스쳐 엔트로피를 활용하는 방법 등을 이용하여 수목에 대한 화소를 탐색한다.As shown in FIG. 8, in the building modeling apparatus 100 according to an exemplary embodiment of the present invention, when the shadow correction is completed, the occlusion area detector 132 of the wall image processing unit 130 displays the wall texture image of which shadow correction is completed. It receives (S621). The occlusion area detector 132 searches for a pixel for the tree in order to detect the occlusion area by an adjacent tree (S622). That is, the occlusion area detector 132 searches for pixels for trees using a method of using color information or a method of using texture entropy to search for pixels for trees.

폐색영역 검출부(132)는 추출된 수목에 대한 화소들을 "0"으로 설정하며, 나머지 화소들을 "1"로 설정하여 인접수목에 의한 폐색 스텐실 이미지(이하, "인접수목 폐색 스텐실 이미지"라고 함)를 제작한다(S623). 이때, 폐색 스텐실 이미지는 입력된 벽면 텍스쳐 이미지와 동일한 크기의 폐색정보를 포함한다. 본 발명의 실시예에서는 수목에 대한 화소들을 "0"으로 설정하며, 나머지 화소들을 "1"로 설정하였으나, 본 발명은 이에 한정되지 않으며 수목에 대한 화소들을 "1"으로 설정하며, 나머지 화소들을 "0"으로 설정할 수도 있다.The occlusion area detection unit 132 sets the pixels for the extracted trees to "0", and sets the remaining pixels to "1" so that the occlusion stencil image by the adjacent trees (hereinafter, referred to as "neighboring tree occlusion stencil image") Produce (S623). At this time, the occlusion stencil image includes occlusion information of the same size as the input wall texture image. In the embodiment of the present invention, the pixels for the tree are set to "0", and the remaining pixels are set to "1". However, the present invention is not limited thereto, and the pixels for the tree are set to "1" and the remaining pixels are set to "1". It can also be set to "0".

도 9는 도 1에 도시한 벽면 이미지 가공부의 폐색영역 검출부에서 인접벽면 폐색영역을 검출하는 방법을 나타내는 순서도이다.9 is a flowchart illustrating a method of detecting an adjacent wall occlusion area by the occlusion area detection part of the wall image processing part shown in FIG. 1.

도 9에 도시한 바와 같이, 발명의 실시예에 따른 건물 모델링 장치(100)에서 벽면 이미지 가공부(130)의 폐색영역 검출부(132)는 벽면 이미지 취득부(120)로부터 해당 벽면과 인접벽면에 대한 벽면 텍스쳐 영역에 대한 정보를 요청하여 전달받는다(S631). As shown in FIG. 9, in the building modeling apparatus 100 according to the exemplary embodiment of the present invention, the occlusion area detecting unit 132 of the wall image processing unit 130 is connected to the wall surface and the adjacent wall surface from the wall image obtaining unit 120. Information about the wall texture area is received and received (S631).

폐색영역 검출부(132)는 해당 벽면과 인접벽면에 대한 벽면 텍스쳐 영역 정보 사이의 중첩 영역을 계산한다(S632). 즉, 폐색영역 검출부(132)는 해당 벽면의 벽면 텍스쳐 영역 정보와 함께 인접벽면의 벽면 텍스쳐 영역 정보들을 입력 받아 텍스쳐 영역 간의 교차연산(Intersection)을 통해 중첩영역을 계산한다. 이때, 폐색영역 검출부(132)는 인접벽면의 벽면 텍스쳐 영역의 효율적인 검색을 위해 해당 벽면으로부터 주점방향의 인접 벽면에 대한 벽면 텍스쳐 영역들 만을 검색하는 식 으로 검색 범위를 제한하여 검색시간을 최소화한다.The occlusion area detector 132 calculates an overlapping area between the wall surface texture area information on the wall surface and the adjacent wall surface (S632). That is, the occlusion area detector 132 receives the wall texture area information of the adjacent wall along with the wall texture area information of the corresponding wall and calculates an overlapping area through intersection between the texture areas. At this time, the occlusion area detector 132 minimizes the search time by limiting the search range by searching only the wall texture areas of the adjacent wall in the main direction from the wall for efficient search of the wall texture area of the adjacent wall.

폐색영역 검출부(132)는 계산된 중첩영역에 대응하는 화소들을 "0"으로 설정하며, 중첩되지 않은 화소들을 "1"로 설정하여 인접벽면에 의한 폐색 스텐실 이미지(이하, "인접벽면 폐색 스텐실 이미지"라고 함)를 제작한다(S633). 본 발명의 실시예에서는 중첩영역에 대응하는 화소들을 "0"으로 설정하며, 중첩되지 않은 화소들을 "1"로 설정하였으나, 본 발명은 이에 한정되지 않으며 중첩영역에 대응하는 화소들을 "1"으로 설정하며, 중첩되지 않은 화소들을 "0"로 설정할 수도 있다. 이때, 폐색영역 검출부(132)는 벽면 텍스쳐 이미지가 아직 직사각형 형태로 리샘플링되지 않은 상태로 해당 벽면과 인접벽면에 대한 벽면 텍스쳐 영역 사이의 중첩영역이 계산되므로 교차연산 이후에 인접벽면 폐색 스텐실 이미지를 직사각형 형태로 리샘플링을 수행한다.The occlusion area detector 132 sets pixels corresponding to the calculated overlap area to "0", and sets non-overlapping pixels to "1" to block the occlusion stencil image by the adjacent wall surface (hereinafter, the "adjacent wall occlusion stencil image"). "," (S633). In the exemplary embodiment of the present invention, pixels corresponding to the overlapping region are set to "0", and pixels not overlapping are set to "1", but the present invention is not limited thereto, and the pixels corresponding to the overlapping region are set to "1". It is also possible to set non-overlapping pixels to "0". At this time, the occlusion area detecting unit 132 calculates an overlapping area between the wall texture area of the wall and the adjacent wall while the wall texture image has not yet been resampled in the form of a rectangle. Perform resampling in the form.

도 10은 도 1에 도시한 벽면 이미지 가공부의 텍셀이미지 설정부 및 최종 이미지 생성부에서 최종 벽면 이미지를 생성하는 방법을 나타내는 순서도이다. 도 11은 본 발명의 실시예에 따른 병합 폐색 스텐실 이미지의 한 예를 나타내는 도면이다. 도 12는 도 1에 도시한 벽면 이미지 가공부의 텍셀 이미지 설정부에서 텍셀 이미지를 설정하는 한 예를 나타내는 도면이다. 도 13은 본 발명의 실시예에 따른 인접수목 폐색영역을 복원한 최종 벽면 이미지의 한 예를 나타내는 도면이다. 도 14는 본 발명의 실시예에 따른 인접벽면 폐색영역을 복원한 최종 벽면 이미지의 한 예를 나타내는 도면이다.FIG. 10 is a flowchart illustrating a method of generating a final wall image by the texel image setting unit and the final image generating unit of the wall image processing unit of FIG. 1. 11 is a diagram illustrating an example of a merged occlusion stencil image according to an embodiment of the present invention. FIG. 12 is a diagram illustrating an example of setting a texel image in the texel image setting unit of the wall image processing unit illustrated in FIG. 1. FIG. 13 is a diagram illustrating an example of a final wall image of restoring an adjacent tree occlusion area according to an exemplary embodiment of the present invention. FIG. 14 is a view showing an example of the final wall image restored the adjacent wall occlusion area in accordance with an embodiment of the present invention.

도 10에 도시한 바와 같이, 발명의 실시예에 따른 벽면 이미지 가공부(130) 의 폐색영역 검출부(132)는 인접수목 폐색 스텐실 이미지와 인접벽면 폐색 스텐실 이미지를 병합하여 병합 폐색 스텐실 이미지를 생성하며, 병합 폐색 스텐실 이미지의 한 예는 도 11에 도시한 바와 같다(S641).As shown in FIG. 10, the occlusion area detection unit 132 of the wall image processing unit 130 according to an embodiment of the present invention merges the adjacent tree occlusion stencil image and the adjacent wall occlusion stencil image to generate a merge occlusion stencil image. An example of the merged occlusion stencil image is shown in FIG. 11 (S641).

도 10및 도 12를 참고하면, 텍셀 이미지 설정부(133)는 병합 폐색 스텐실 이10 and 12, the texel image setting unit 133 may have a merge occlusion stencil.

미지에서 폐색영역의 상한선을 검출하며, 검출된 폐색영역의 상한선을 탐색 기준선(Base Line, BL)으로 설정한다(S642). 여기서, 폐색영역의 상한선은 병합 폐색 스텐실 이미지에서 폐색영역의 가장 위쪽 끝으로 설정된다.The upper limit of the occlusion area is detected in an unknown manner, and the upper limit of the detected occlusion area is set as a search base line (Base Line, BL) (S642). Here, the upper limit of the occlusion area is set to the uppermost end of the occlusion area in the merge occlusion stencil image.

텍셀 이미지 설정부(133)는 탐색 기준선(BL)로부터 위쪽 방향으로 이동하면서 해당 화소의 선분의 y축 방향의 변화도(gradient)가 최대가 되는 화소선분을 텍셀 하한선(Lower Line, LL)으로 설정한다(S643). 이때, y축 방향 변화도는 Horizontal Prewitt Operator와 같은 미분연산자를 이용하여 산출할 수 있다.The texel image setting unit 133 sets the pixel line segment in which the gradient in the y-axis direction of the line segment of the pixel is maximized while moving upward from the search reference line BL as the texel lower line (LL). (S643). In this case, the degree of change in the y-axis direction may be calculated using a differential operator such as a horizontal prewitt operator.

텍셀 이미지 설정부(133)는 텍셀 하한선(LL)으로부터 위쪽 방향으로 텍셀 하한선(LL)과의 교차상관관계(Cross-correlation) 값이 최대가 되는 텍셀 상한선(Upper Line, UL)을 설정한다(S644). 이때, 텍셀 상한선(UL)을 중심으로 소정의 범위로 마스크를 설정하고 마스크 내의 전체 화소에 대하여 비정규 교차상관(un-normalized cross-correlation)을 적용하여 매칭 정확도를 높이며, 정규화되지 않은 교차상관관계는 수학식 2에 의해 계산한다. 즉, 텍셀 이미지 설정부(133)는 텍셀 하한선(LL)으로부터 위로 한 라인(line)씩 이동하면서 교차상관을 계산하며 비정규 교차상관이 최대인 d번째 라인(line)을 텍셀 상한선(UL)으로 설정한다.The texel image setting unit 133 sets a texel upper line UL that has a maximum cross-correlation value with the texel lower limit LL in the upward direction from the texel lower limit line LL (S644). ). In this case, the mask is set in a predetermined range around the texel upper limit UL and the un-normalized cross-correlation is applied to all pixels in the mask to increase the matching accuracy. It calculates by (2). That is, the texel image setting unit 133 calculates the cross-correlation while moving up one line from the texel lower limit line LL, and sets the d-th line having the maximum irregular cross correlation as the texel upper limit UL. do.

Figure 112009064862605-PAT00006
Figure 112009064862605-PAT00006

여기서, i는 마스크 내의 화소를 나타내는 인덱스이며, d는 교차상관을 계산하는 대상 라인(line)의 인덱스이다.Here, i is an index representing a pixel in the mask, and d is an index of a line to calculate the cross correlation.

그리고 텍셀 이미지 설정부(133)는 텍셀 하한선(LL)에서 텍셀 상한선(UL)까지의 이미지의 조각을 해당 벽면 텍스쳐 이미지에 대한 텍셀 이미지로 설정하여 최종 이미지 생성부로 전달한다(S645). The texel image setting unit 133 sets a piece of the image from the texel lower limit line LL to the texel upper limit UL as a texel image for the corresponding wall texture image and transmits the fragment to the final image generator (S645).

최종 이미지 생성부(134)는 텍셀 이미지 설정부(133)로부터 텍셀 이미지를 전달받고, 텍셀 하한선(LL) 아래의 폐색영역에 설정된 텍셀을 반복적으로 합성하여 인접수목에 의한 폐색영역 및 인접벽면 폐색영역을 복원하여 최종 벽면 이미지를 생성한다(S646).The final image generator 134 receives the texel image from the texel image setting unit 133 and repeatedly synthesizes the texels set in the occlusion area below the texel lower limit line LL to block the occlusion area and the adjacent wall occlusion area by the adjacent trees. Reconstructing to generate a final wall image (S646).

예를 들어, 도 13에 도시한 바와 같이, 텍셀 이미지 설정부(133)는 병합 폐색 스텐실 이미지에서 해당 건물의 벽면 텍스쳐 이미지에 인접수목에 의한 폐색영역이 존재하는 경우, 해당 벽면 텍스쳐 이미지에 대한 텍셀 이미지를 설정한다. 그리고, 최종 이미지 생성부(134)는 인접수목에 의한 폐색영역에 텍셀 이미지를 반복적으로 합성하여 인접수목에 의한 폐색영역을 복원하여 최종 벽면 이미지를 생성한다. For example, as shown in FIG. 13, the texel image setting unit 133 is a texel for the wall texture image when the occluded area by adjacent trees exists in the wall texture image of the building in the merged occlusion stencil image. Set the image. The final image generator 134 repeatedly synthesizes the texel image in the occluded area by the adjacent trees to restore the occluded area by the adjacent trees to generate the final wall image.

다른 예로, 도 14에 도시한 바와 같이, 텍셀 이미지 설정부(133)는 병합 폐색 스텐실 이미지에서 해당 건물의 벽면 텍스쳐 이미지에 인접벽면 폐색영역이 존 재하는 경우, 해당 벽면 텍스쳐 이미지의 텍셀 이미지를 설정한다. 그리고, 최종 이미지 생성부(134)는 인접벽면 폐색영역에 대응하여 설정된 텍셀 이미지를 반복적으로 합성하여 인접벽면 폐색영역을 복원하여 최종 벽면 이미지를 생성한다.As another example, as shown in FIG. 14, the texel image setting unit 133 sets the texel image of the wall texture image when the adjacent wall occlusion area exists in the wall texture image of the building in the merge occlusion stencil image. do. The final image generator 134 generates a final wall image by reconstructing the adjacent wall occlusion area by repeatedly synthesizing the texel image set corresponding to the adjacent wall occlusion area.

이와 같이, 본 발명의 실시예에 따른 건물 모델링 장치(100)는 항공영상을 이용하여 3차원 건물의 모델링 시 항공영상의 3차원 건물모델의 정보에서 해당 건물의 벽면 텍스쳐 이미지를 설정하고, 벽면 텍스쳐 이미지를 가공하여 설정된 텍셀 이미지를 반복적으로 합성하여 잡음요소가 최소화된 최종 벽면 이미지를 생성함에 따라 보다 현실감 있고 신속하게 건물을 모델링 할 수 있다. 그리고, 항공영상으로부터 건물 벽면의 이미지를 취득하므로 보다 저렴한 비용으로 건물을 모델링 할 수 있다.As such, the building modeling apparatus 100 according to an exemplary embodiment of the present invention sets a wall texture image of a corresponding building from information of a 3D building model of an aerial image when modeling a 3D building using an aerial image, and sets a wall texture. It is possible to model the building more realistically and quickly by processing the image and repeatedly synthesizing the set texel image to generate the final wall image with the minimum noise component. And since the image of the building wall is acquired from the aerial image, the building can be modeled at a lower cost.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다. The embodiments of the present invention described above are not only implemented through the apparatus and the method, but may be implemented through a program for realizing a function corresponding to the configuration of the embodiments of the present invention or a recording medium on which the program is recorded.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.

도 1은 본 발명의 실시예에 따른 건물의 모델링을 위한 장치를 개략적으로 나타내는 도면이다.1 is a view schematically showing an apparatus for modeling a building according to an embodiment of the present invention.

도 2는 도 1에 도시한 건물 모델링 장치의 벽면 이미지 취득부에서 벽면 텍스쳐 이미지를 취득하는 순서를 나타내는 도면이다.FIG. 2 is a diagram illustrating a procedure of acquiring a wall texture image by a wall image acquisition unit of the building modeling apparatus illustrated in FIG. 1.

도 3은 도 2의 벽면 이미지 취득부에서 텍스쳐 유효도의 계산방법을 설명하기 위한 한 예를 나타내는 도면이다.FIG. 3 is a diagram illustrating an example for explaining a method of calculating texture validity in the wall image obtaining unit of FIG. 2.

도 4a 내지 도 4d는 도 2의 벽면 이미지 취득부에서 벽면 텍스쳐 이미지를 설정하는 한 예를 나타내는 도면이다.4A to 4D are diagrams illustrating an example of setting a wall texture image in the wall image acquisition unit of FIG. 2.

도 5는 본 발명의 실시예에 따른 벽면 텍스쳐 이미지에서 발생하는 잡음요소들의 한 예를 나타내는 도면이다.5 is a diagram illustrating an example of noise elements generated in a wall texture image according to an exemplary embodiment of the present invention.

도 6은 도 1에 도시한 건물 모델링 장치의 벽면 이미지 가공부에서 최종 벽면 텍스쳐 이미지를 생성하는 순서를 나타내는 도면이다.FIG. 6 is a diagram illustrating a procedure of generating a final wall texture image by a wall image processing unit of the building modeling apparatus illustrated in FIG. 1.

도 7은 도 1에 도시한 벽면 이미지 가공부의 그림자 보정부에서 그림자 보정을 수행하는 방법을 나타내는 순서도이다.7 is a flowchart illustrating a method of performing shadow correction in the shadow correcting unit of the wall image processing unit of FIG. 1.

도 8은 도 1에 도시한 벽면 이미지 가공부의 폐색영역 검출부에서 인접수목 폐색영역을 검출하는 방법을 나타내는 순서도이다.8 is a flowchart illustrating a method of detecting an adjacent tree occlusion area by the occlusion area detection part of the wall image processing part shown in FIG. 1.

도 9는 도 1에 도시한 벽면 이미지 가공부의 폐색영역 검출부에서 인접벽면 폐색영역을 검출하는 방법을 나타내는 순서도이다.9 is a flowchart illustrating a method of detecting an adjacent wall occlusion area by the occlusion area detection part of the wall image processing part shown in FIG. 1.

도 10은 도 1에 도시한 벽면 이미지 가공부의 텍셀이미지 설정부 및 최종 이 미지 생성부에서 최종 벽면 이미지를 생성하는 방법을 나타내는 순서도이다.FIG. 10 is a flowchart illustrating a method of generating a final wall image by the texel image setting unit and the final image generating unit of the wall image processing unit shown in FIG. 1.

도 11은 본 발명의 실시예에 따른 병합 폐색 스텐실 이미지의 한 예를 나타내는 도면이다.11 is a diagram illustrating an example of a merged occlusion stencil image according to an embodiment of the present invention.

도 12는 도 1에 도시한 벽면 이미지 가공부의 텍셀 이미지 설정부에서 텍셀 이미지를 설정하는 한 예를 나타내는 도면이다.FIG. 12 is a diagram illustrating an example of setting a texel image in the texel image setting unit of the wall image processing unit illustrated in FIG. 1.

도 13은 본 발명의 실시예에 따른 인접수목 폐색영역을 복원한 최종 벽면 이미지의 한 예를 나타내는 도면이다.FIG. 13 is a diagram illustrating an example of a final wall image of restoring an adjacent tree occlusion area according to an exemplary embodiment of the present invention. FIG.

도 14는 본 발명의 실시예에 따른 인접벽면 폐색영역을 복원한 최종 벽면 이미지의 한 예를 나타내는 도면이다.14 is a view showing an example of the final wall image restored the adjacent wall occlusion area in accordance with an embodiment of the present invention.

Claims (12)

항공영상을 이용하여 건물 모델링을 하는 장치에 있어서,In the device for modeling buildings using aerial images, 상기 항공영상을 통해 상기 건물에 대한 3차원 건물모델의 정보를 수신하며, 상기 3차원 건물모델의 정보를 이용하여 상기 각 건물의 벽면에 대한 벽면 텍스쳐 이미지를 취득하는 벽면 이미지 취득부, 그리고A wall image acquisition unit which receives information of a 3D building model of the building through the aerial image, and acquires a wall texture image of the wall surface of each building using the information of the 3D building model, and 상기 벽면 이미지 취득부로부터 상기 벽면 텍스쳐 이미지를 수신하며, 상기 벽면 텍스쳐 이미지에 포함된 폐색영역을 보정하기 위해 텍셀 이미지를 설정하며, 상기 텍셀 이미지를 상기 폐색영역의 이미지에 합성하여 최종 벽면 이미지를 생성하는 벽면 이미지 가공부The wall texture image is received from the wall image acquisition unit, a texel image is set to correct the occlusion area included in the wall texture image, and the final wall image is generated by combining the texel image with the image of the occlusion area. Wall image processing unit 를 포함하는 건물 모델링 장치.Building modeling device comprising a. 제1항에 있어서,The method of claim 1, 상기 벽면 이미지 취득부는,The wall image acquisition unit, 상기 3차원 건물모델의 정보의 2차원 역투영을 통해 상기 건물의 벽면에 대한 벽면 텍스쳐 영역을 계산하며, 상기 벽면 텍스쳐 영역에서 상기 건물의 벽면의 텍스쳐 유효도를 계산하여 상기 벽면 텍스쳐 이미지를 취득하는 건물 모델링 장치.Computing the wall texture area for the wall surface of the building through the two-dimensional reverse projection of the information of the three-dimensional building model, and obtains the wall texture image by calculating the texture effectiveness of the wall surface of the building in the wall texture area Building modeling device. 제2항에 있어서,The method of claim 2, 상기 텍스쳐 유효도는,The texture validity is 상기 벽면의 법선벡터와 상기 벽면의 중심으로부터 영상의 주점을 향하는 벡터를 이용하여 계산되는 건물 모델링 장치.Building modeling apparatus is calculated using the normal vector of the wall surface and the vector toward the principal point of the image from the center of the wall surface. 제2항에 있어서,The method of claim 2, 상기 벽면 이미지 가공부는,The wall image processing unit, 상기 벽면 텍스쳐 이미지의 그림자 보정을 수행하는 그림자 보정부,A shadow correction unit for performing shadow correction on the wall texture image; 상기 벽면 텍스쳐 이미지의 벽면이 가공 대상인지의 여부를 판단하여, 상기 폐색영역을 검출하는 폐색영역 검출부,An occlusion area detector for detecting the occlusion area by determining whether a wall surface of the wall texture image is to be processed; 상기 폐색영역을 보정하기 위해 상기 텍셀 이미지를 생성하는 텍셀 이미지 설정부, 그리고A texel image setting unit which generates the texel image to correct the occlusion area, and 상기 페색영역의 이미지에 상기 텍셀 이미지를 합성하여 상기 최종 벽면 이미지를 생성하는 최종 이미지 생성부A final image generator for generating the final wall image by synthesizing the texel image with the image of the colored region 를 포함하는 건물 모델링 장치.Building modeling device comprising a. 제4항에 있어서,The method of claim 4, wherein 상기 폐색영역은 인접수목 폐색영역 및 인접벽면 폐색영역을 포함하며,The occluded area includes an adjacent tree occlusion area and an adjacent wall occlusion area, 상기 폐색영역 검출부는,The occlusion area detector, 상기 폐색영역이 상기 인접수목 폐색영역인 경우, 인접수목에 해당하는 화소를 표시하여 인접수목 폐색 스텐실 이미지를 생성하며,When the occlusion area is the adjacent tree occlusion area, a pixel corresponding to the adjacent tree is displayed to generate an adjacent tree occlusion stencil image. 상기 폐색영역이 상기 인접벽면 폐색영역인 경우, 상기 벽면과 상기 벽면에 인접한 인접벽면에 대한 벽면 텍스쳐 영역 정보를 이용하여 중첩영역을 계산하고, 상기 중첩영역을 표시하여 인접벽면 스텐실 이미지를 생성하는 건물 모델링 장치.When the occlusion area is the adjacent wall occlusion area, a building that calculates an overlapping area by using wall texture area information of the wall surface and the adjacent wall surface adjacent to the wall, and displays the overlapping area to generate an adjacent wall stencil image. Modeling device. 제5항에 있어서,The method of claim 5, 상기 텍셀 이미지 설정부는,The texel image setting unit, 상기 인접수목 폐색 스텐실 이미지와 상기 인접벽면 폐색 스텐실 이미지를 합성하여 병합 폐색 스텐실 이미지를 생성하며, 상기 병합 폐색 스텐실 이미지에서 상기 폐색영역이 포함되지 않는 일부 영역을 상기 텍셀 이미지로 설정하는 건물 모델링 장치.And a composite occlusion stencil image by synthesizing the adjacent tree occlusion stencil image and the adjacent wall occlusion stencil image, and setting a part of the merge occlusion stencil image not including the occlusion area as the texel image. 항공영상을 이용하여 건물 모델링을 하는 방법에 있어서,In the method of building modeling using aerial image, 상기 항공영상을 통해 상기 건물에 대한 3차원 건물모델의 정보를 수신하는 단계,Receiving information of a 3D building model of the building through the aerial image; 상기 3차원 건물모델의 정보를 이용하여 상기 건물의 벽면에 대한 벽면 텍스쳐 이미지를 취득하는 단계,Acquiring a wall texture image of the wall surface of the building using the information of the 3D building model; 상기 벽면 텍스쳐 이미지에 포함된 폐색영역의 보정을 위한 텍셀 이미지를 설정하는 단계, 그리고Setting a texel image for correcting the occlusion area included in the wall texture image, and 상기 폐색영역의 이미지에 상기 텍셀 이미지를 합성하여 최종 벽면 이미지를 생성하는 단계Generating a final wall image by synthesizing the texel image with the image of the occlusion area 를 포함하는 건물 모델링 방법.Building modeling method comprising a. 제7항에 있어서,The method of claim 7, wherein 상기 벽면 텍스쳐 이미지를 취득하는 단계는,Acquiring the wall texture image, 상기 3차원 건물모델의 정보의 2차원 역투영을 통해 상기 건물의 벽면에 대한 벽면 텍스쳐 영역을 계산하는 단계, 그리고Calculating a wall texture area of the wall surface of the building through two-dimensional reverse projection of information of the three-dimensional building model, and 상기 벽면 텍스쳐 영역에서 상기 건물의 벽면의 텍스쳐 유효도를 계산하여 상기 벽면 텍스쳐 이미지를 취득하는 단계를 포함하는 건물 모델링 방법.And calculating the texture validity of the wall surface of the building in the wall texture area to obtain the wall texture image. 제7항에 있어서,The method of claim 7, wherein 상기 텍셀 이미지를 설정하는 단계는,Setting the texel image, 상기 벽면 텍스쳐 이미지의 그림자를 보정하는 단계, Correcting a shadow of the wall texture image; 상기 벽면 텍스쳐 이미지의 벽면이 가공 대상인지의 여부를 판단하여 상기 폐색영역을 검출하는 단계, 그리고Detecting the occlusion area by determining whether a wall surface of the wall texture image is a processing object, and 상기 폐색영역의 보정을 위한 상기 텍셀 이미지를 생성하는 단계Generating the texel image for correcting the occlusion area 를 포함하는 건물 모델링 방법.Building modeling method comprising a. 제9항에 있어서,10. The method of claim 9, 상기 폐색영역은 인접수목 폐색영역 및 인접벽면 폐색영역을 포함하는 건물 모델링 방법.The occlusion area includes a tree occlusion area and an adjacent wall occlusion area. 제10항에 있어서,The method of claim 10, 상기 폐색영역을 검출하는 단계는,Detecting the occlusion area, 상기 폐색영역이 상기 인접수목 폐색영역인 경우, 인접수목에 해당하는 화소를 표시하여 인접수목 폐색 스텐실 이미지를 생성하는 단계, 그리고Generating the adjacent tree occlusion stencil image by displaying a pixel corresponding to the adjacent tree when the occlusion area is the adjacent tree occlusion area, and 상기 폐색영역이 상기 인접벽면 폐색영역인 경우, 상기 벽면과 상기 벽면에 인접한 인접벽면에 대한 벽면 텍스쳐 영역 정보를 이용하여 중첩영역을 계산하고, 상기 중첩영역을 표시하여 인접벽면 스텐실 이미지를 생성하는 단계를 포함하는 건물 모델링 방법.When the occlusion area is the adjacent wall occlusion area, an overlapping area is calculated by using wall texture area information of the wall surface and the adjacent wall surface adjacent to the wall, and the overlapping area is displayed to generate an adjacent wall stencil image. Building modeling method comprising a. 제11항에 있어서,The method of claim 11, 상기 텍셀 이미지를 생성하는 단계는,Generating the texel image, 상기 인접수목 폐색 스텐실 이미지와 상기 인접벽면 스텐실 이미지를 합성하여 병합 폐색 스텐실 이미지를 생성하는 단계, 그리고Synthesizing the adjacent tree occlusion stencil image and the adjacent wall stencil image to generate a merged occlusion stencil image; and 상기 병합 폐색 스텐실 이미지에서 상기 폐색영역이 포함되지 않는 일부 영역을 상기 텍셀 이미지로 설정하는 단계를 포함하는 건물 모델링 방법.And setting a portion of the merged occlusion stencil image not included in the occlusion region as the texel image.
KR1020090100917A 2009-10-22 2009-10-22 Apparatus and method for modeling building KR101289885B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090100917A KR101289885B1 (en) 2009-10-22 2009-10-22 Apparatus and method for modeling building
CA2704656A CA2704656C (en) 2009-10-22 2010-05-19 Apparatus and method for modeling building

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090100917A KR101289885B1 (en) 2009-10-22 2009-10-22 Apparatus and method for modeling building

Publications (2)

Publication Number Publication Date
KR20110044092A true KR20110044092A (en) 2011-04-28
KR101289885B1 KR101289885B1 (en) 2013-07-24

Family

ID=43896978

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090100917A KR101289885B1 (en) 2009-10-22 2009-10-22 Apparatus and method for modeling building

Country Status (2)

Country Link
KR (1) KR101289885B1 (en)
CA (1) CA2704656C (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014026021A1 (en) * 2012-08-08 2014-02-13 Virginia Tech Intellectual Properties, Inc. Systems and methods for image-based searching
CN107610237A (en) * 2017-09-08 2018-01-19 北京奇虎科技有限公司 Image capture device Real-time Data Processing Method and device, computing device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019082958A1 (en) * 2017-10-27 2019-05-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Three-dimensional model encoding device, three-dimensional model decoding device, three-dimensional model encoding method, and three-dimensional model decoding method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010000443A (en) * 2000-09-29 2001-01-05 서정헌 Media that can record computer program sources for extracting building by fusion with photogrammetric image and lidar data, and system and method thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014026021A1 (en) * 2012-08-08 2014-02-13 Virginia Tech Intellectual Properties, Inc. Systems and methods for image-based searching
CN107610237A (en) * 2017-09-08 2018-01-19 北京奇虎科技有限公司 Image capture device Real-time Data Processing Method and device, computing device

Also Published As

Publication number Publication date
CA2704656A1 (en) 2011-04-22
KR101289885B1 (en) 2013-07-24
CA2704656C (en) 2013-07-23

Similar Documents

Publication Publication Date Title
AU2011312140B2 (en) Rapid 3D modeling
KR102255031B1 (en) Mismatch detection system, complex reality system, program and mismatch detection method
CN106327573B (en) A kind of outdoor scene three-dimensional modeling method for urban architecture
EP3550513B1 (en) Method of generating panorama views on a mobile mapping system
US8107722B2 (en) System and method for automatic stereo measurement of a point of interest in a scene
JP5682060B2 (en) Image composition apparatus, image composition program, and image composition system
Maurer et al. Tapping into the Hexagon spy imagery database: A new automated pipeline for geomorphic change detection
CN109472865A (en) It is a kind of based on iconic model draw freedom can measure panorama reproducting method
KR101220271B1 (en) Numerical map manufacturing system for posting of reality building based on gps
KR101289885B1 (en) Apparatus and method for modeling building
Grun et al. Automatic DTM generation from three-line-scanner (TLS) images
Gong et al. Improvement of an oak canopy model extracted from digital photogrammetry
Cheng et al. Texture mapping 3d planar models of indoor environments with noisy camera poses
Zhang et al. Tests and performance evaluation of DMC images and new methods for their processing
Mccollum Refining the Data Collection Methodology of Outdoor Forensic Scenes Involving Scattered Human Remains Using Close-Range Photogrammetry
JP5409451B2 (en) 3D change detector
Hughes et al. Investigation of joint visibility between SAR and optical images of urban environments
Shariat et al. Analysis and the solutions for generating a true digital ortho photo in close range photogrammetry
CN112955781B (en) Photogrammetry system for locating geological radar data over a measurement scene
US20240144509A1 (en) Methods and systems for determining 3d coordinates describing a scene
He Co-registration between imagery and point cloud acquired by mls platform
Tao Registration of LiDAR Data and Dense-Matching Point Cloud in Forest Areas
Suliman et al. An efficient approach for image-DSM co-registration for urban building extraction
Chang et al. Stereo-mate generation of high-resolution satellite imagery using a parallel projection model
Fisher et al. A hybrid image and model based approach to photorealistic building reconstruction

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161117

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170619

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180510

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190806

Year of fee payment: 7