KR20230016315A - A method and apparatus for automatically generating deep learning training data for building area detection using aerial images and digital maps - Google Patents

A method and apparatus for automatically generating deep learning training data for building area detection using aerial images and digital maps Download PDF

Info

Publication number
KR20230016315A
KR20230016315A KR1020210097612A KR20210097612A KR20230016315A KR 20230016315 A KR20230016315 A KR 20230016315A KR 1020210097612 A KR1020210097612 A KR 1020210097612A KR 20210097612 A KR20210097612 A KR 20210097612A KR 20230016315 A KR20230016315 A KR 20230016315A
Authority
KR
South Korea
Prior art keywords
building area
image
coordinates
learning data
building
Prior art date
Application number
KR1020210097612A
Other languages
Korean (ko)
Inventor
김한결
이수암
Original Assignee
(주)쓰리디랩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)쓰리디랩스 filed Critical (주)쓰리디랩스
Priority to KR1020210097612A priority Critical patent/KR20230016315A/en
Publication of KR20230016315A publication Critical patent/KR20230016315A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data

Abstract

As a method for automatically generating deep learning learning data for detecting a building area using an aerial photographing image and a digital map and a device for automatically generating the deep learning learning data for detecting the building area, the present invention discloses a measure for automatically generating the learning data for deep learning that grasps a 3D coordinate for the building area through the digital map and DEM, and has 3D coordinate information by projecting the building area onto the aerial photographing image. The method comprises: a data acquisition step; a building area grasping step; an image projecting step; a labeling step; and a learning data acquisition step.

Description

공중 촬영 영상과 수치지도를 이용한 건물 영역 검출을 위한 딥러닝 학습데이터 자동 생성 방법 및 건물 영역 검출을 위한 딥러닝 학습데이터 자동 생성 장치{A method and apparatus for automatically generating deep learning training data for building area detection using aerial images and digital maps}A method and apparatus for automatically generating deep learning training data for building area detection using aerial images and digital maps aerial images and digital maps}

본 발명은 공중 촬영 영상과 수치지도를 이용한 건물 영역 검출을 위한 딥러닝 학습데이터 자동 생성 방법 및 건물 영역 검출을 위한 딥러닝 학습데이터 자동 생성 장치로서, 보다 상세하게는 수치 지도와 DEM을 통해 건물 영역에 대한 3차원 좌표를 파악하고 상기 건물 영역을 공중 촬영 영상에 투영하여 3차원 좌표 정보를 갖는 딥러닝을 위한 학습 데이터를 자동 생성하는 방안에 대한 것이다.The present invention provides a method for automatically generating deep learning learning data for detecting building areas using aerial images and digital maps and an apparatus for automatically generating deep learning learning data for detecting building areas, and more specifically, a building area through digital maps and DEMs. It relates to a method of automatically generating learning data for deep learning having 3D coordinate information by grasping 3D coordinates for and projecting the building area onto an aerial image.

전세계적으로 3차원 도시 모델, 도시 관리의 필요성이 증가함에 따라 이에 필수적인 건물의 위치 및 모델을 추출하는 기술이 널리 연구되고 있다. 3D 건물 모델은 포인트 클라우드를 이용하여 생성하는 기술이 주로 연구되었으며, 이 밖에도 수치지도를 이용하는 방법이 사용되고 있다.As the need for a 3D city model and city management increases worldwide, technology for extracting the location and model of a building essential for this is being widely studied. 3D building models have been mainly studied using point clouds, and methods using digital maps are also being used.

포인트 클라우드를 이용하여 건물 모델을 생성하는 기술의 경우 세세한 부분까지 표현이 가능하며, 텍스쳐의 표현이 가능하다는 장점이 있으나, 포인트 클라우드의 품질에 건물 모델의 품질이 크게 좌우되며 시간이 오래 걸린다는 단점이 있다. 또한 일반적으로 건물과 지형 지물이 분리되지 않은 모델이 생성되기 때문에, 건물의 영역을 추출하는 기술이 추가적으로 필요하다.The technology of creating a building model using a point cloud has the advantage of being able to express detailed parts and textures, but the quality of the building model is greatly dependent on the quality of the point cloud, and it takes a long time. there is In addition, since a model in which a building and a terrain feature are not separated is generally generated, a technique for extracting a building area is additionally required.

이러한 포인트 클라우드를 이용하여 건물 영역에 대한 딥러닝의 학습 데이터를 생성하는 경우, 방대한 데이터 처리로 인해 학습 데이터 생성에 오랜 시간과 고성능 장비가 요구되며, 특히 건물 영역을 추출하기 위한 별도의 과정이 요구되는 문제가 있다.In the case of generating deep learning training data for building areas using these point clouds, a long time and high-performance equipment are required to generate training data due to massive data processing, and a separate process for extracting building areas is particularly required. there is a problem

수치지도를 이용하여 건물 모델을 생성하는 방법은, 빠르고 정확한 모델을 생성할 수 있으나, 세세한 모델의 구조를 표현하는 데에는 한계가 있으며. 특히 2차원적으로만 건물 영역을 파악할 수 있다.The method of creating a building model using a digital map can create a fast and accurate model, but has limitations in expressing the structure of a detailed model. In particular, it is possible to grasp the building area only in two dimensions.

따라서 수치지도를 이용하여 건물 영역에 대한 딥러닝의 학습 데이터를 생성하는 경우, 빠르고 정확한 학습 데이터 생성이 가능하지만, 세세한 건물 영역을 파악할 수 없고 2차원적인 건물 영역에 대한 학습만이 가능하므로 여러 방향의 각도에서 촬영된 영상에서 건물 영역에 대한 인식이 어려운 문제가 있다. Therefore, when generating deep learning learning data for a building area using a digital map, fast and accurate learning data can be generated. However, detailed building areas cannot be identified and only two-dimensional building areas can be learned. There is a problem in that it is difficult to recognize a building area in an image taken from an angle of .

한국 등록공개공보 제10-2021-0072689호Korean Registration Publication No. 10-2021-0072689

본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로서, 건물 영역의 검출시 딥러닝 기술을 사용하기 위한 다수의 학습 데이터를 자동적으로 생성할 수 있는 방안을 제시하고자 한다.The present invention was made to solve the problems of the prior art as described above, and proposes a method for automatically generating a plurality of learning data for using deep learning technology when detecting a building area.

특히, 포인트 클라우드를 이용하여 건물 영역에 대한 딥러닝의 학습 데이터를 생성하는 경우, 방대한 데이터 처리로 인해 학습 데이터 생성에 오랜 시간과 고성능 장비가 요구되는 문제를 해소하고, 건물 영역을 추출하기 위한 별도의 과정이 요구되는 문제를 해결하고자 한다.In particular, in the case of generating deep learning learning data for building areas using a point cloud, it solves the problem of requiring a long time and high-performance equipment to generate learning data due to massive data processing, and a separate method for extracting building areas. We want to solve the problem that requires the process of

나아가서 수치지도를 이용하여 건물 영역에 대한 딥러닝의 학습 데이터를 생성하는 경우, 세세한 건물 영역을 파악할 수 없는 문제를 해소하고, 2차원적인 건물 영역에 대한 학습만이 가능하여 여러 방향의 각도에서 촬영된 영상에서 건물 영역에 대한 인식이 어려운 문제를 해결하고자 한다.Furthermore, when generating deep learning learning data for building areas using digital maps, it solves the problem of not being able to identify detailed building areas, and only learning for two-dimensional building areas is possible, taking pictures from various angles. We want to solve the problem of difficult recognition of the building area in the image.

본 발명의 목적은 전술한 바에 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있다. The object of the present invention is not limited to the above, and other objects and advantages of the present invention not mentioned can be understood by the following description.

상기의 과제를 해결하고자 본 발명에 따른 건물 영역 검출을 위한 딥러닝 학습데이터 자동 생성 방법의 일실시예는, 공중 촬영 영상 및 상기 공중 촬영 영상에 대응되는 수치 지도를 획득하는 자료 획득 단계; DEM(Digital Elevation Model)을 기초로 상기 수치 지도 상의 건물 영역에 대한 3차원 좌표를 파악하는 건물 영역 파악 단계; 상기 건물 영역을 상기 공중 촬영 영상에 투영하여 투영 영상을 생성하는 영상 투영 단계; 상기 투영 영상에 대하여 상기 건물 영역을 학습 규칙에 따라 라벨링하여 라벨링된 영상을 획득하는 라벨링 단계; 및 라벨링된 영상을 증강(augmentation)하여 학습 데이터를 획득하는 학습 데이터 획득 단계를 포함할 수 있다.In order to solve the above problems, an embodiment of a method of automatically generating deep learning learning data for detecting a building area according to the present invention includes a data acquisition step of acquiring an aerial image and a numerical map corresponding to the aerial image; A building area identification step of figuring out three-dimensional coordinates of a building area on the digital map based on a DEM (Digital Elevation Model); an image projection step of generating a projection image by projecting the building area onto the aerial photographed image; a labeling step of labeling the building area with respect to the projection image according to a learning rule to obtain a labeled image; and a learning data acquisition step of obtaining learning data by augmenting the labeled image.

여기서 상기 자료 획득 단계는, 상기 공중 촬영 영상과 함께 상기 공중 촬영 영상에 대한 외부 표정 요소와 내부 표정 요소를 획득할 수 있다.Here, in the data acquisition step, an external facial expression element and an internal facial expression element for the aerial photographed image may be acquired together with the aerial photographed image.

일례로서, 상기 건물 영역 파악 단계는, 상기 수치 지도에서 하나 이상의 건물 영역을 파악하고, 상기 건물 영역을 포함하는 레이어를 추출하는 레이어 추출 단계; 및 상기 수치 지도의 2차원 좌표와 상기 DEM의 높이 좌표를 기초로 상기 건물 영역에 대한 3차원 좌표를 파악하는 좌표 파악 단계를 포함할 수 있다.As an example, the step of identifying building areas may include a layer extraction step of identifying one or more building areas from the digital map and extracting a layer including the building areas; and determining the coordinates of the 3D coordinates of the building area based on the 2D coordinates of the digital map and the height coordinates of the DEM.

또한 상기 좌표 파악 단계는, 상기 수치 지도를 통해 상기 건물 영역에 대한 2차원 좌표를 파악하는 단계; 상기 DEM에서 상기 건물 영역에 대한 2차원 좌표를 검색하여 높이 좌표를 파악하는 단계; 및 상기 건물 영역에 대한 3차원 좌표를 획득하는 단계를 포함할 수 있다.The step of determining the coordinates may include: determining the 2D coordinates of the building area through the digital map; acquiring height coordinates by searching for 2D coordinates of the building area in the DEM; and acquiring 3D coordinates of the building area.

바람직하게는 상기 좌표 파악 단계는, 상기 건물 영역에서 건물 외측 부분의 꼭지점에 대한 3차원 좌표를 획득할 수 있다.Preferably, in the step of determining the coordinates, 3D coordinates of a vertex of an outer part of the building in the building area may be obtained.

나아가서, 상기 영상 투영 단계는, 상기 건물 영역의 꼭지점에 대한 3차원 좌표를 파악하는 단계; 및 상기 공중 촬영 영상에 대한 외부 표정 요소와 내부 표정 요소를 이용하여 상기 건물 영역의 꼭지점에 대한 3차원 좌표에 대응시켜 상기 공중 촬영 영상을 투영하는 단계를 포함할 수 있다.Furthermore, the image projection step may include determining 3D coordinates of vertices of the building area; and projecting the aerial image by using external expression elements and internal expression elements of the aerial image to correspond to 3D coordinates of vertices of the building area.

일례로서, 상기 영상 투영 단계는, 상기 공중 촬영 영상의 외부 표정 요소와 내부 표정 요소를 기초로 하기 [식 1]과 하기 [식 2]를 통해 컬럼(column) 좌표와 로우(row) 좌표를 산출하여 상기 건물 영역의 꼭지점에 대한 3차원 좌표에 대응시키며,As an example, the image projection step calculates column coordinates and row coordinates through [Equation 1] and [Equation 2] based on the external expression elements and internal expression elements of the aerial photographed image to correspond to the three-dimensional coordinates of the vertices of the building area,

[식 1][Equation 1]

Figure pat00001
Figure pat00001

[식 2][Equation 2]

Figure pat00002
Figure pat00002

여기서 f는 촬영 카메라의 초점거리를 나타내고,

Figure pat00003
Figure pat00004
는 대상지점의 3차원 지상좌
Figure pat00005
표를 나타내고,
Figure pat00006
Figure pat00007
Figure pat00008
는 촬영 카메라의 위치좌표를 나타내며,
Figure pat00009
Figure pat00010
은 촬영 카메라의 회전요소를 이용하여 생성된 회전행렬의 요소를 나타낼 수 있다.where f represents the focal length of the shooting camera,
Figure pat00003
Figure pat00004
is the 3D ground locus of the target point
Figure pat00005
represent the table,
Figure pat00006
Figure pat00007
Figure pat00008
Represents the location coordinates of the shooting camera,
Figure pat00009
Figure pat00010
may represent an element of a rotation matrix generated using a rotation element of a photographing camera.

또한 상기의 건물 영역 검출을 위한 딥러닝 학습데이터 자동 생성 방법을 구현하기 위한 본 발명에 따른 건물 영역 검출을 위한 딥러닝 학습데이터 생성 장치의 일실시예는, 공중 촬영 영상 및 수치 지도를 획득하는 자료 획득부; 수치 지도 상의 건물 영역에 대한 3차원 좌표를 파악하고, 파악된 3차원 좌표를 기초로 건물 영역을 공중 촬영 영상에 투영하여 투영 영상을 생성하는 영상 처리부; 및 투영 영상에 대하여 건물 영역을 라벨링하여 라벨링된 영상을 생성하는 학습 데이터 생성부를 포함할 수 있다.In addition, an embodiment of the deep learning learning data generation device for detecting a building area according to the present invention for implementing the method of automatically generating deep learning learning data for detecting a building area described above is data for obtaining aerial images and numerical maps. acquisition unit; an image processing unit that identifies 3D coordinates of a building area on the digital map and projects the building area to an aerial image based on the identified 3D coordinates to generate a projection image; and a learning data generation unit generating a labeled image by labeling the building area with respect to the projection image.

바람직하게는 수치 지도 상의 2차원 좌표에 대응되는 높이 좌표값의 DEM을 보유한 DEM 저장부를 더 포함할 수 있다.Preferably, a DEM storage unit holding a DEM of height coordinate values corresponding to two-dimensional coordinates on the digital map may be further included.

일례로서, 상기 영상 처리부는, 수치 지도에서 건물 영역을 파악하여 건물 영역을 포함하는 레이어를 추출하는 건물 영역 판단부; 수치 지도의 2차원 좌표와 DEM의 높이 좌표를 기초로 건물 영역에 대한 3차원 좌표를 파악하는 좌표 판단부; 및 건물 영역을 포함하는 레이어를 공중 촬영 영상에 투영하여 투영 영상을 생성하는 영상 투영부를 포함할 수 있다.As an example, the image processing unit may include: a building area determination unit that detects a building area from a digital map and extracts a layer including the building area; a coordinate determination unit for identifying 3-dimensional coordinates of a building area based on the 2-dimensional coordinates of the digital map and the height coordinates of the DEM; and an image projection unit generating a projection image by projecting a layer including a building area onto an aerial photographed image.

이와 같은 본 발명에 의하면, 건물 영역의 검출시 딥러닝 기술을 사용하기 위한 다수의 학습 데이터를 자동적으로 생성할 수 있다.According to the present invention, it is possible to automatically generate a plurality of learning data for using deep learning technology when detecting a building area.

특히, 수치지도를 이용하여 빠르고 정확한 학습 데이터의 생성이 가능하며, DEM을 통해 높이 좌표를 반영함으로써 건물 영역에 대한 3차원의 입체적인 학습 데이터를 생성할 수 있다.In particular, it is possible to generate fast and accurate learning data using a digital map, and by reflecting height coordinates through a DEM, it is possible to generate three-dimensional three-dimensional learning data for a building area.

본 발명의 효과는 위에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 발명에 따른 건물 영역 검출을 위한 딥러닝 학습 데이터 생성 장치의 일실시예에 대한 구성도를 도시한다.
도 2는 본 발명에 따른 딥러닝 학습 데이터 생성 장치의 영상 처리부에 대한 일실시예의 구성도를 도시한다.
도 3은 본 발명에 따른 건물 영역 검출을 위한 딥러닝 학습데이터 자동 생성 방법의 일실시예에 대한 흐름도를 도시한다.
도 4는 본 발명에서 학습 데이터 생성을 위한 자료 정보의 일례를 도시한다.
도 5는 본 발명에 따른 딥러닝 학습데이터 자동 생성 방법에서 건물 영역의 3차원 좌표를 파악하는 과정의 일실시예에 대한 흐름도를 도시한다.
도 6은 본 발명에 따른 딥러닝 학습데이터 자동 생성 방법에서 공중 촬영 영상을 건물 영역에 투영하는 과정의 일실시예에 대한 흐름도를 도시한다.
도 7은 본 발명에서 수치지도의 각 레이어가 공중 촬영 영상에 중첩된 일례를 나타낸다.
도 8은 본 발명에서 공중 촬영 영상에 건물 영역을 라벨링한 일례를 나타낸다.
도 9는 본 발명에서 학습 데이터를 증강한 일례를 나타낸다.
도 10은 본 발명을 통해 생성된 학습데이터를 이용하여 딥러닝을 수행한 결과에 대한 일례를 나타낸다.1 shows a configuration diagram of an embodiment of a device for generating deep learning learning data for detecting a building area according to the present invention.
Figure 2 shows a configuration diagram of an embodiment of the image processing unit of the deep learning learning data generation device according to the present invention.
3 shows a flowchart of an embodiment of a method for automatically generating deep learning learning data for detecting a building area according to the present invention.
4 shows an example of data information for generating learning data in the present invention.
5 shows a flowchart of an embodiment of a process of determining three-dimensional coordinates of a building area in the method of automatically generating learning data for deep learning according to the present invention.
6 shows a flowchart of an embodiment of a process of projecting an aerial image onto a building area in the method of automatically generating learning data for deep learning according to the present invention.
7 shows an example in which each layer of a digital map is superimposed on an aerial image in the present invention.
8 shows an example of labeling a building area on an aerial image in the present invention.
9 shows an example of augmenting learning data in the present invention.
10 shows an example of a result of performing deep learning using learning data generated through the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세하게 설명하지만, 본 발명이 실시예들에 의해 한정되거나 제한되는 것은 아니다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, but the present invention is not limited or limited by the embodiments.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 설명하기 위하여 이하에서는 본 발명의 바람직한 실시예를 예시하고 이를 참조하여 살펴본다.In order to explain the present invention and the operational advantages of the present invention and the objects achieved by the practice of the present invention, the following describes a preferred embodiment of the present invention and references it.

먼저, 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 또한 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.First, the terms used in this application are used only to describe specific embodiments, and are not intended to limit the present invention, and singular expressions may include plural expressions unless the context clearly dictates otherwise. In addition, in this application, terms such as "comprise" or "have" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other It should be understood that the presence or addition of features, numbers, steps, operations, components, parts, or combinations thereof is not precluded.

본 발명을 설명함에 있어서, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.In describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present invention, the detailed description will be omitted.

본 발명은 수치 지도와 DEM을 통해 건물 영역에 대한 3차원 좌표를 파악하고 상기 건물 영역을 공중 촬영 영상에 투영하여 3차원 좌표 정보를 갖는 딥러닝을 위한 학습 데이터를 자동 생성하는 방법과 이를 구현하기 위한 딥러닝 학습데이터 자동 생성 장치를 제시한다.The present invention identifies the 3D coordinates of a building area through a digital map and a DEM, and projects the building area onto an aerial image to automatically generate learning data for deep learning having 3D coordinate information, and to implement the same. We present a device for automatically generating deep learning learning data for

딥러닝(Deep Learning)에서 지도학습(Supervised Learning)을 하는 경우, 주어지는 데이터에 대한 라벨이 필요한데, 부정확한 라벨로 딥러닝을 수행하게 되면 모델의 성능이 떨어지기 때문에, 정확한 라벨링이 매우 중요하다.In the case of supervised learning in deep learning, labels for the given data are required, but accurate labeling is very important because the performance of the model deteriorates when deep learning is performed with inaccurate labels.

3차원적인 건물을 단순히 2차원 좌표값으로 라벨링된 학습 데이터를 통해 딥러닝이 수행된 경우, 건물의 수직 방향을 벗어나는 다양한 방향의 각도에서 촬영된 공중 촬영 영상에서 건물 영역을 적절히 검출하지 못하거나 검출에 오류가 발생될 수 있다.When deep learning is performed through training data that simply labels a 3D building as a 2D coordinate value, the building area cannot be properly detected or detected in aerial images taken from various angles away from the vertical direction of the building. error may occur.

따라서 본 발명에서는 3차원 좌표값으로 라벨링된 학습 데이터를 자동 생성하여 제공함으로써 공중 촬영 영상의 촬영 방향에 대한 제한 없이 건물 영역 검출의 신뢰도를 향상시킬 수 있는 딥러닝 학습 데이터를 생성하는 방안을 제시하고자 한다.Therefore, the present invention proposes a method of generating deep learning learning data that can improve the reliability of building area detection without limiting the shooting direction of aerial images by automatically generating and providing learning data labeled with three-dimensional coordinate values. do.

도 1은 본 발명에 따른 학습 데이터 생성 장치의 일실시예에 대한 구성도를 도시한다.1 shows a configuration diagram of an embodiment of a learning data generating device according to the present invention.

딥러닝을 위한 학습 데이터 생성 장치(100)는 자료 획득부(110), 영상 처리부(130), 학습 데이터 생성부(150)를 포함할 수 있으며, 추가적으로 DEM 저장부(170)를 포함할 수도 있다.The learning data generation device 100 for deep learning may include a data acquisition unit 110, an image processing unit 130, and a learning data generation unit 150, and may additionally include a DEM storage unit 170. .

자료 획득부(110)는 딥러닝 학습데이터를 생성하기 위한 다양한 자료를 획득한다. 일례로서, 자료 획득부(110)는 일정 지역에 대한 공중 촬영 영상과 해당 지역에 대한 수치 지도 정보를 획득할 수 있다. 여기서 공중 촬영 영상으로는 위성이 촬영한 지상에 대한 영상, 항공기가 촬영한 지상에 대한 영상, 드론이 촬영한 지상에 대한 영상 등 다양한 공중 촬영 영상이 적용될 수 있다. The data acquisition unit 110 acquires various data for generating deep learning learning data. As an example, the data acquisition unit 110 may obtain an aerial image of a certain region and digital map information of the corresponding region. Here, as the aerial image, various aerial images such as a ground image captured by a satellite, a ground image captured by an aircraft, and a ground image captured by a drone may be applied.

아울러 자료 획득부(110)는 공중 촬영 영상과 함께 상기 공중 촬영 영상에 대한 외부 표정 요소와 내부 표정 요소를 획득할 수 있다.In addition, the data acquisition unit 110 may obtain an external facial expression element and an internal facial expression element for the aerial photographed image together with the aerial photographed image.

내부표정요소는 영상을 촬영한 카메라의 사양에 관한 것으로, focal length, ccd size 등이 포함될 수 있으며, 외부표정요소는 영상 촬영시 측정된 카메라의 위치(x, y, z)좌표와 카메라의 자세값(omega, phi, kappa or roll, pitch, yaw)으로 구성될 수 있다The internal expression factor is related to the specifications of the camera that took the image, and may include focal length, ccd size, etc., and the external expression factor is the position (x, y, z) coordinates of the camera and the posture of the camera measured during the image capture Can consist of values (omega, phi, kappa or roll, pitch, yaw)

영상 처리부(130)는 자료 획득부(110)가 획득한 다양한 자료를 종합하여 공중 촬영 영상에 건물 영역이 투영된 투영 영상을 생성할 수 있다.The image processor 130 may synthesize various data obtained by the data acquisition unit 110 and generate a projection image in which a building area is projected onto an aerial photographed image.

일례로서 영상 처리부(130)는 수치 지도 상에서 건물 영역을 파악하여 상기 건물 영역을 포함하는 레이어를 추출하며, 수치 지도의 2차원 좌표와 DEM의 높이 좌표를 기초로 추출된 레이어 상의 건물 영역에 대한 3차원 좌표를 파악할 수 있다. 그리고 영상 처리부(130)는 공중 촬영 영상에 대한 외부 표정 요소와 내부 표정 요소를 이용하여 건물 영역의 3차원 좌표에 대응시켜 상기 공중 촬영 영상을 건물 영역을 포함하는 레이어에 투영함으로써 건물 영역이 투영된 영상을 생성할 수 있다.As an example, the image processing unit 130 identifies a building area on a digital map, extracts a layer including the building area, and calculates a 3D map for the building area on the extracted layer based on the 2D coordinates of the digital map and the height coordinates of the DEM. dimensional coordinates can be identified. In addition, the image processing unit 130 projects the aerial photographed image onto a layer including the building area by using external expression elements and internal expression elements of the aerial photographed image to correspond to the 3D coordinates of the building area, so that the building area is projected. You can create video.

영상 처리부(130)에 대한 일실시예로서, 도 2를 참조하여 살펴본다.As an example of the image processing unit 130, it will be described with reference to FIG. 2.

영상 처리부(130)는 건물 영역 판단부(131), 좌표 판단부(133), 영상 투영부(135) 등을 포함할 수 있다.The image processing unit 130 may include a building area determination unit 131 , a coordinate determination unit 133 , an image projection unit 135 , and the like.

건물 영역 판단부(131)는 수치 지도 상에서 건물 영역을 파악하고 파악된 건물 영역을 포함하는 레이어를 추출할 수 있다.The building area determining unit 131 may identify a building area on the digital map and extract a layer including the identified building area.

좌표 판단부(133)는 수치 지도의 2차원 좌표와 이에 대응되는 DEM의 높이 좌표를 기초로 건물 영역에 대한 3차원 좌표를 파악할 수 있다.The coordinate determining unit 133 may determine the 3D coordinates of the building area based on the 2D coordinates of the digital map and the corresponding height coordinates of the DEM.

영상 투영부(135)는 공중 촬영 영상에 대한 외부 표정 요소와 내부 표정 요소를 건물 영역의 3차원 좌표에 매칭시켜 공중 촬영 영상을 건물 영역을 포함하는 레이어에 투영시킴으로써 건물 영역이 투영된 영상을 생성할 수 있다.The image projection unit 135 generates an image on which the building area is projected by matching external expression elements and internal expression elements of the aerial image with the 3D coordinates of the building area and projecting the aerial image onto a layer including the building area. can do.

학습 데이터 생성부(150)는 투영 영상에 대하여 건물 영역을 라벨링하여 라벨링된 영상의 학습 데이터를 생성할 수 있다. 여기서 학습 데이터의 라벨은 건물 영역에 대한 3차원 좌표 정보를 포함한다.The learning data generation unit 150 may label the building area with respect to the projection image and generate learning data of the labeled image. Here, the label of the training data includes 3D coordinate information about the building area.

또한 학습 데이터 생성부(150)는 라벨링된 영상을 증강(augmentation)하여 딥러닝의 효율을 높일 수 있도록 충분한 학습 데이터를 생성할 수도 있다.In addition, the learning data generation unit 150 may generate sufficient training data to increase the efficiency of deep learning by augmenting the labeled image.

DEM 저장부(170)는 수치 지도 상의 2차원 좌표에 대응되는 높이 좌표값인 수치 고도 데이터의 DEM(Digital Elevation Model)을 보유할 수 있다.The DEM storage unit 170 may hold a Digital Elevation Model (DEM) of digital altitude data, which is height coordinate values corresponding to two-dimensional coordinates on a digital map.

나아가서 학습 데이터 생성 장치(100)는 외부 장치로 특정 수치 지도에 대한 DEM을 요청하여 이를 획득할 수도 있다. 또는 학습 데이터 생성 장치(100)는 공중 촬영 영상에서 DEM을 추출할 수도 있고 수치 지도 상의 등고선 계층을 기초로 DEM을 생성할 수도 있다. DEM을 추출하거나 생성하는 사항은 공지된 기술을 적용할 수 있으므로 이에 대한 설명은 생략하기로 한다.Furthermore, the learning data generating device 100 may obtain a DEM for a specific numerical map by requesting it from an external device. Alternatively, the learning data generation apparatus 100 may extract a DEM from an aerial image or may generate a DEM based on a contour layer on a digital map. Since a known technique can be applied to extracting or generating a DEM, description thereof will be omitted.

본 발명에서는 상기에서 살펴본 학습 데이터 생성 장치를 통해 건물 영역 검출을 위한 딥러닝 학습데이터 자동 생성 방법을 제시한다. 이하에서는 본 발명에 따른 건물 영역 검출을 위한 딥러닝 학습데이터 자동 생성 방법에 대하여 상기의 학습 데이터 생성 장치에 대한 실시예를 함께 참조하여 살펴보기로 한다.In the present invention, a method for automatically generating deep learning learning data for detecting a building area through the above learning data generating device is proposed. Hereinafter, a method for automatically generating deep learning learning data for detecting a building area according to the present invention will be described with reference to an embodiment of the learning data generating device.

도 3은 본 발명에 따른 딥러닝 학습데이터 자동 생성 방법의 일실시예에 대한 흐름도를 도시한다.3 shows a flowchart of an embodiment of a method for automatically generating deep learning learning data according to the present invention.

발명에 따른 딥러닝 학습데이터 자동 생성 방법은, 공중 촬영 영상 및 상기 공중 촬영 영상에 대응되는 수치 지도를 획득하는 자료 획득 단계(S100); DEM(Digital Elevation Model)을 기초로 상기 수치 지도 상의 건물 영역에 대한 3차원 좌표를 파악하는 건물 영역 파악 단계(S200); 상기 건물 영역을 상기 공중 촬영 영상에 투영하여 투영 영상을 생성하는 영상 투영 단계(S300); 상기 투영 영상에 대하여 상기 건물 영역을 학습 규칙에 따라 라벨링하여 라벨링된 영상을 획득하는 라벨링 단계(S400); 및 라벨링된 영상을 증강(augmentation)하여 학습 데이터를 획득하는 학습 데이터 획득 단계(S500)를 포함할 수 있다.A method of automatically generating learning data for deep learning according to the present invention includes a data acquisition step (S100) of acquiring an aerial image and a numerical map corresponding to the aerial image; A building area identification step (S200) of determining three-dimensional coordinates of a building area on the digital map based on a DEM (Digital Elevation Model); An image projection step (S300) of generating a projection image by projecting the building area onto the aerial photographed image; a labeling step (S400) of labeling the building area with respect to the projection image according to a learning rule to obtain a labeled image; and a learning data acquisition step ( S500 ) of obtaining learning data by augmenting the labeled image.

이러한 각 단계에 대하여 보다 구체적으로 설명한다.Each of these steps will be described in more detail.

자료 획득 단계(S100)와 관련하여, 학습 데이터 생성 장치(100)는 공중 촬영 영상과 이에 대응되는 수치 지도를 획득할 수 있는데, 이때 학습 데이터 생성 장치(100)는 공중 촬영 영상과 함께 상기 공중 촬영 영상에 대한 외부 표정 요소와 내부 표정 요소를 획득할 수 있다.In connection with the data acquisition step (S100), the learning data generating device 100 may obtain an aerial image and a corresponding numerical map. An external expression element and an internal expression element of the image may be acquired.

학습 데이터 생성 장치(100)가 획득하는 자료와 관련하여 도 4는 본 발명에서 학습 데이터 생성을 위한 자료 정보의 일례를 도시한다.Regarding data obtained by the learning data generating device 100, FIG. 4 shows an example of data information for generating learning data in the present invention.

상기 도 4의 (a)는 공중 촬영 영상으로 항공 촬영 영상을 나타내고, 상기 도 4의 (b)는 공중 촬영 영상에 대응되는 수치 지도를 나타내며, 상기 도 4의 (c)는 수치 고도 데이터인 DEM을 나타낸다.4(a) shows an aerial image as an aerial image, FIG. 4(b) shows a digital map corresponding to the aerial image, and FIG. 4(c) shows DEM that is numerical altitude data. indicates

학습 데이터 생성 장치(100)는 상기 도 4에 제시된 바와 같은 다양한 자료 정보를 획득하여 이를 기초로 딥러닝을 위한 학습 데이터를 자동 생성할 수 있다.The learning data generation apparatus 100 may acquire various data information as shown in FIG. 4 and automatically generate learning data for deep learning based on the acquired data.

건물 영역 파악 단계(S200)와 관련하여, 도 5는 본 발명에 따른 딥러닝 학습데이터 자동 생성 방법에서 건물 영역의 3차원 좌표를 파악하는 과정의 일실시예에 대한 흐름도를 도시한다.In relation to the building area identification step (S200), FIG. 5 shows a flowchart of an embodiment of a process of determining the 3D coordinates of a building area in the method for automatically generating deep learning learning data according to the present invention.

학습 데이터 생성 장치(100)는 획득된 모든 수치 지도에서 건물 영역을 파악하고 파악된 건물 영역을 포함하는 레이어를 추출(S210)할 수 있다. 수치 지도는 건물뿐만 아니라 도로, 철도, 하천 등 다양한 인공지물과 자연지형이 다양한 레이어로 포함되어 있다. 건물 영역의 검출을 위해서는 건물에 해당하는 레이어만 필요하므로 학습 데이터 생성 장치(100)는 수치 지도 상에 존재하는 모든 레이어 중에서 건물 영역을 포함하는 레이어만을 추출하여 보관할 수 있다.The learning data generating device 100 may identify building areas from all obtained numerical maps and extract a layer including the identified building areas (S210). Numerical maps include not only buildings, but also various artificial and natural features such as roads, railways, and rivers in various layers. Since only the layer corresponding to the building is required to detect the building area, the learning data generating apparatus 100 may extract and store only the layer including the building area from all layers existing on the digital map.

이때 학습 데이터 생성 장치(100)는 추출한 레이어에서 건물 영역에 대한 X 좌표와 Y 좌표의 2차원 좌표를 수치 지도를 통해 파악(S230)하여 추출한 레이어에 매칭시켜 보관할 수 있다.In this case, the learning data generating device 100 may identify the 2D coordinates of the X coordinate and the Y coordinate of the building area in the extracted layer through a digital map (S230), match them to the extracted layer, and store them.

그리고 학습 데이터 생성 장치(100)는 DEM에서 건물 영역에 대한 2차원 좌표에 대응되는 지점을 검색하여 이에 대한 높이 좌표를 파악(S250)하고, 2차원 좌표에 함께 매칭시킴으로써 건물 영역에 대한 3차원 좌표를 획득(S270)하여 보관할 수 있다.In addition, the learning data generating device 100 searches for a point corresponding to the 2-dimensional coordinates of the building area in the DEM, identifies the height coordinates for this point (S250), and matches them with the 2-dimensional coordinates to match the 3-dimensional coordinates of the building area. It can be obtained (S270) and stored.

바람직하게는 학습 데이터 생성 장치(100)는 건물 영역에서 건물 외측 부분의 꼭지점에 대한 3차원 좌표를 획득하여 보관할 수 있다.Preferably, the learning data generating device 100 may obtain and store 3D coordinates of vertices of the outer part of the building in the building area.

영상 투영 단계(S300)와 관련하여, 도 6은 본 발명에 따른 딥러닝 학습데이터 자동 생성 방법에서 공중 촬영 영상을 건물 영역에 투영하는 과정의 일실시예에 대한 흐름도를 도시한다.Regarding the image projection step (S300), FIG. 6 shows a flowchart of an embodiment of a process of projecting an aerial image onto a building area in the method for automatically generating learning data for deep learning according to the present invention.

학습 데이터 생성 장치(100)는 보관된 레이어의 건물 영역에 대한 3차원 좌표를 파악(S310)하고 공중 촬영 영상에 대한 외부 표정 요소와 내부 표정 요소를 추출(S330)할 수 있다.The learning data generating apparatus 100 may determine the 3D coordinates of the building area of the stored layer (S310) and extract external expression elements and internal expression elements of the aerial photographed image (S330).

그리고 학습 데이터 생성 장치(100)는 건물 영역에 대한 3차원 좌표와 공중 촬영 영상에 대한 외부 표정 요소와 내부 표정 요소를 이용하여 건물 영역을 공중 촬영 영상에 투영(S350)하여 투영 영상을 생성할 수 있다.In addition, the learning data generation device 100 may generate a projection image by projecting the building area onto the aerial image using the three-dimensional coordinates of the building area and the external and internal expression elements of the aerial image (S350). there is.

바람직하게는 학습 데이터 생성 장치(100)는 건물 영역에서 건물 외측 부분의 각 꼭지점에 대한 3차원 좌표를 공중 촬영 영상에 대한 외부 표정 요소와 내부 표정 요소와 매칭시켜 건물 영역의 각 꼭지점을 공중 촬영 영상에 투영할 수 있다.Preferably, the learning data generating device 100 matches the 3D coordinates of each vertex of the outer part of the building in the building area with the external expression elements and internal expression elements of the aerial photographed image, and each vertex of the building area is obtained from the aerial photographed image. can be projected onto

3차원 좌표를 외부 표정 요소와 내부 표정 요소와 매칭시키는 일례로서, 하기 [식 1]과 하기 [식 2]를 통해 컬럼(column) 좌표와 로우(row) 좌표를 산출하여 건물 영역의 3차원 좌표에 대응시킬 수 있다.As an example of matching the three-dimensional coordinates with the external expression elements and the internal expression elements, the three-dimensional coordinates of the building area by calculating column coordinates and row coordinates through [Equation 1] and [Equation 2] below can correspond to

[식 1][Equation 1]

Figure pat00011
Figure pat00011

[식 2][Equation 2]

Figure pat00012
Figure pat00012

여기서 f는 촬영 카메라의 초점거리를 나타내고,

Figure pat00013
Figure pat00014
는 대상지점의 3차원 지상좌
Figure pat00015
표를 나타내고,
Figure pat00016
Figure pat00017
Figure pat00018
는 촬영 카메라의 위치좌표를 나타내며,
Figure pat00019
Figure pat00020
은 촬영 카메라의 회전요소를 이용하여 생성된 회전행렬의 요소를 나타낸다.where f represents the focal length of the shooting camera,
Figure pat00013
Figure pat00014
is the 3D ground locus of the target point
Figure pat00015
represent the table,
Figure pat00016
Figure pat00017
Figure pat00018
Represents the location coordinates of the shooting camera,
Figure pat00019
Figure pat00020
denotes elements of a rotation matrix generated using rotation elements of a photographing camera.

도 7은 본 발명에서 수치지도의 각 레이어가 공중 촬영 영상에 중첩된 일례를 나타낸다.7 shows an example in which each layer of a digital map is superimposed on an aerial image in the present invention.

수치 지도(213)에서 추출된 건물 영역의 각 레이어(210a, 210b, 210c, 201d, 210e)에 존재하는 건물 영역의 각 꼭지점에 대한 3차원 좌표를 촬영 영상(211)의 외부 표정 요소와 내부 표정 요소와 매칭시켜 투영함으로써 투영 영상(210)을 생성할 수 있다.3D coordinates for each vertex of the building area existing in each layer 210a, 210b, 210c, 201d, and 210e of the building area extracted from the digital map 213 are external expression elements and internal expression elements of the photographed image 211 A projection image 210 may be generated by matching and projecting an element.

라벨링 단계(S400)와 관련하여, 학습 데이터 생성 장치(100)는 앞서 살펴본 투영 영상의 각 건물 영역을 딥러닝의 학습 데이터로 사용 가능하도록 라벨링을 수행하여 라벨링된 영상을 생성할 수 있다.In relation to the labeling step ( S400 ), the learning data generation apparatus 100 may generate labeled images by performing labeling so that each building area of the projected image described above can be used as training data for deep learning.

학습 데이터 생성 장치(100)는 공중 촬영 영상에 존재하는 각각의 건물 영역에 투영된 수치지도 상의 건물 영역을 학습 데이터로 사용하기 위해 딥러닝의 학습 규칙에 따라 다양한 정보의 라벨링을 수행할 수 있다.The learning data generation apparatus 100 may perform labeling of various information according to a learning rule of deep learning in order to use a building area on a digital map projected on each building area existing in an aerial image as training data.

일례로서, 라벨링으로는 공중 촬영 영상의 건물 영역에 색상 입력, 꼭지점의 공중 촬영 영상 좌표를 이용한 바운딩 박스 생성 등 다양한 방법을 사용할 수 있다. 이 밖에도 앞선 단계에서 추출된 건물 영역에 대한 3차원 좌표와 이에 대응되는 투영 영상의 좌표를 학습데이터로 이용하여 건물 영역뿐만 아니라 건물의 3차원 외곽점을 학습 데이터로 사용할 수 있다.As an example, various methods may be used for labeling, such as inputting a color to a building area of an aerial image and creating a bounding box using coordinates of vertices of an aerial image. In addition, by using the 3D coordinates of the building area extracted in the previous step and the coordinates of the projection image corresponding thereto as learning data, the 3D outer point of the building as well as the building area can be used as learning data.

도 8은 본 발명에서 공중 촬영 영상에 건물 영역을 라벨링한 일례를 나타낸다.8 shows an example of labeling a building area on an aerial image in the present invention.

상기 도 8의 (a), (b) 및 (c)에서 보는 바와 같이 공중 촬영 영상(230)에 대하여 상기의 건물 영역 파악 단계(S200), 영상 투영 단계(S300), 라벨링 단계(S400)를 수행하여 건물 영역에 대하여 색상 라벨(241)이 입력된 영상(240)을 학습 데이터로 생성할 수 있다.As shown in (a), (b) and (c) of FIG. 8, the building area identification step (S200), image projection step (S300), and labeling step (S400) are performed for the aerial photographed image 230. By performing this, an image 240 in which a color label 241 is input for a building area may be generated as learning data.

라벨링 단계(S400)를 수행함으로써 학습 데이터가 생성될 수 있는데, 여기에 추가적으로 라벨링된 영상을 증강(augmentation)하여 학습 데이터를 획득하는 학습 데이터 획득 단계(S500)가 수행될 수도 있다.Learning data may be generated by performing the labeling step (S400), and a learning data acquisition step (S500) of obtaining learning data by augmenting an additionally labeled image may be performed.

학습 데이터 생성 장치(100)는 라벨링된 영상에 대하여 증강을 통해 다양하고 충분한 학습 데이터를 획득할 수 있다.The learning data generating apparatus 100 may acquire various and sufficient learning data through augmentation with respect to the labeled image.

일례로서, 학습 데이터 생성 장치(100)는 라벨링된 영상을 축소, 확대, 색상 스케일 변환, 크롭(crop) 등 다양한 방식으로 변형함으로써 다양하고 충분한 학습 데이터를 획득할 수 있다.As an example, the learning data generating apparatus 100 may obtain various and sufficient learning data by transforming the labeled image in various ways such as reduction, enlargement, color scale conversion, and cropping.

도 9는 본 발명에서 학습 데이터를 증강한 일례를 나타낸다.9 shows an example of augmenting learning data in the present invention.

상기 도 9에서는 라벨링된 영상(250)에 대하여 크롭(crop)과 확대하여 다수의 라벨링된 영상(260a, 260b, 260c, 260d)으로 획득함으로써 보다 다양한 학습 데이터가 확보될 수 있다. In FIG. 9 , by cropping and enlarging the labeled image 250 to obtain a plurality of labeled images 260a, 260b, 260c, and 260d, more diverse learning data can be secured.

도 10은 본 발명을 통해 생성된 학습데이터를 이용하여 딥러닝을 수행한 결과에 대한 일례를 나타낸다.10 shows an example of a result of performing deep learning using learning data generated through the present invention.

본 발명을 통해 생성된 학습 데이터로 딥러닝의 학습을 수행함으로써 건물 영역에 대한 3차원의 입체적인 형태에 대한 학습이 가능하므로, 상기 도 10의 (a) 내지 (f)와 같이 다양 위치와 여러 방향의 각도에서 촬영된 공중 촬영 영상(270a, 270b, 270c, 270d, 270e, 270f)에서 빠르고 정확하게 건물 영역을 인식하여 검출한 영상(280a, 280b, 280c, 280d, 280e, 280f)를 획득할 수 있게 된다.By performing deep learning learning with the learning data generated through the present invention, it is possible to learn about the three-dimensional shape of the building area, so it is possible to learn about the three-dimensional shape in various locations and in various directions as shown in (a) to (f) of FIG. 10. To acquire images (280a, 280b, 280c, 280d, 280e, 280f) detected by quickly and accurately recognizing the building area from aerial images (270a, 270b, 270c, 270d, 270e, 270f) taken at an angle of do.

이와 같은 본 발명에 의하면, 건물 영역의 검출시 딥러닝 기술을 사용하기 위한 다수의 학습 데이터를 자동적으로 생성할 수 있다.According to the present invention, it is possible to automatically generate a plurality of learning data for using deep learning technology when detecting a building area.

특히, 수치지도를 이용하여 빠르고 정확한 학습 데이터의 생성이 가능하며, DEM을 통해 높이 좌표를 반영함으로써 건물 영역에 대한 3차원의 입체적인 학습 데이터를 생성할 수 있다.In particular, it is possible to generate fast and accurate learning data using a digital map, and by reflecting height coordinates through a DEM, it is possible to generate three-dimensional three-dimensional learning data for a building area.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 기재된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상이 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의해서 해석되어야하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely an example of the technical idea of the present invention, and various modifications and variations can be made to those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments described in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed by the following claims, and all technical ideas within the equivalent range should be construed as being included in the scope of the present invention.

100 : 학습 데이터 생성 장치,
110 : 자료 획득부,
130 : 영상 처리부,
131 : 건물 영역 판단부,
133 : 좌표 판단부,
135 : 영상 투영부,
150 : 학습 데이터 생성부,
170 : DEM 저장부. 100: learning data generating device,
110: data acquisition unit,
130: image processing unit,
131: building area determination unit,
133: coordinate determination unit,
135: image projection unit,
150: learning data generation unit,
170: DEM storage unit.

Claims (10)

공중 촬영 영상 및 상기 공중 촬영 영상에 대응되는 수치 지도를 획득하는 자료 획득 단계;
DEM(Digital Elevation Model)을 기초로 상기 수치 지도 상의 건물 영역에 대한 3차원 좌표를 파악하는 건물 영역 파악 단계;
상기 건물 영역을 상기 공중 촬영 영상에 투영하여 투영 영상을 생성하는 영상 투영 단계;
상기 투영 영상에 대하여 상기 건물 영역을 학습 규칙에 따라 라벨링하여 라벨링된 영상을 획득하는 라벨링 단계; 및
라벨링된 영상을 증강(augmentation)하여 학습 데이터를 획득하는 학습 데이터 획득 단계를 포함하는 것을 특징으로 하는 건물 영역 검출을 위한 딥러닝 학습데이터 자동 생성 방법.A data acquisition step of acquiring an aerial image and a numerical map corresponding to the aerial image;
A building area identification step of figuring out three-dimensional coordinates of a building area on the digital map based on a DEM (Digital Elevation Model);
an image projection step of generating a projection image by projecting the building area onto the aerial photographed image;
a labeling step of labeling the building area with respect to the projection image according to a learning rule to obtain a labeled image; and
A deep learning learning data automatic generation method for detecting a building area, comprising a learning data acquisition step of acquiring learning data by augmenting a labeled image. 제 1 항에 있어서,
상기 자료 획득 단계는,
상기 공중 촬영 영상과 함께 상기 공중 촬영 영상에 대한 외부 표정 요소와 내부 표정 요소를 획득하는 것을 특징으로 하는 건물 영역 검출을 위한 딥러닝 학습데이터 자동 생성 방법.According to claim 1,
The data acquisition step,
A deep learning learning data automatic generation method for detecting a building area, characterized in that for obtaining an external expression element and an internal expression element for the aerial photographed image together with the aerial photographed image. 제 1 항에 있어서,
상기 건물 영역 파악 단계는,
상기 수치 지도에서 하나 이상의 건물 영역을 파악하고, 상기 건물 영역을 포함하는 레이어를 추출하는 레이어 추출 단계; 및
상기 수치 지도의 2차원 좌표와 상기 DEM의 높이 좌표를 기초로 상기 건물 영역에 대한 3차원 좌표를 파악하는 좌표 파악 단계를 포함하는 것을 특징으로 하는 건물 영역 검출을 위한 딥러닝 학습데이터 자동 생성 방법.According to claim 1,
The building area identification step,
a layer extraction step of identifying one or more building areas from the digital map and extracting a layer including the building areas; and
Deep learning learning data automatic generation method for detecting a building area, characterized in that it comprises a coordinate grasping step of grasping the three-dimensional coordinates of the building area based on the two-dimensional coordinates of the digital map and the height coordinates of the DEM. 제 3 항에 있어서,
상기 좌표 파악 단계는,
상기 수치 지도를 통해 상기 건물 영역에 대한 2차원 좌표를 파악하는 단계;
상기 DEM에서 상기 건물 영역에 대한 2차원 좌표를 검색하여 높이 좌표를 파악하는 단계; 및
상기 건물 영역에 대한 3차원 좌표를 획득하는 단계를 포함하는 것을 특징으로 하는 건물 영역 검출을 위한 딥러닝 학습데이터 자동 생성 방법.According to claim 3,
The step of determining the coordinates,
figuring out 2-dimensional coordinates of the building area through the numerical map;
acquiring height coordinates by searching for 2D coordinates of the building area in the DEM; and
A deep learning learning data automatic generation method for detecting a building area, comprising the step of acquiring three-dimensional coordinates of the building area. 제 4 항에 있어서,
상기 좌표 파악 단계는,
상기 건물 영역에서 건물 외측 부분의 꼭지점에 대한 3차원 좌표를 획득하는 것을 특징으로 하는 건물 영역 검출을 위한 딥러닝 학습데이터 자동 생성 방법.According to claim 4,
The step of determining the coordinates,
Deep learning learning data automatic generation method for detecting a building area, characterized in that for acquiring the three-dimensional coordinates of the vertex of the outer part of the building in the building area. 제 1 항에 있어서,
상기 영상 투영 단계는,
상기 건물 영역의 꼭지점에 대한 3차원 좌표를 파악하는 단계; 및
상기 공중 촬영 영상에 대한 외부 표정 요소와 내부 표정 요소를 이용하여 상기 건물 영역의 꼭지점에 대한 3차원 좌표에 대응시켜 상기 공중 촬영 영상을 투영하는 단계를 포함하는 것을 특징으로 하는 건물 영역 검출을 위한 딥러닝 학습데이터 자동 생성 방법.According to claim 1,
The image projection step,
figuring out 3D coordinates of vertices of the building area; and
Projecting the aerial image by using an external expression element and an internal expression element of the aerial image to correspond to 3D coordinates of a vertex of the building region. How to automatically generate running learning data. 제 1 항에 있어서,
상기 영상 투영 단계는,
상기 공중 촬영 영상의 외부 표정 요소와 내부 표정 요소를 기초로 하기 [식 1]과 하기 [식 2]를 통해 컬럼(column) 좌표와 로우(row) 좌표를 산출하여 상기 건물 영역의 꼭지점에 대한 3차원 좌표에 대응시키며,
[식 1]
Figure pat00021

[식 2]
Figure pat00022

여기서 f는 촬영 카메라의 초점거리를 나타내고,
Figure pat00023
Figure pat00024
는 대상지점의 3차원 지상좌
Figure pat00025
표를 나타내고,
Figure pat00026
Figure pat00027
Figure pat00028
는 촬영 카메라의 위치좌표를 나타내며,
Figure pat00029
Figure pat00030
은 촬영 카메라의 회전요소를 이용하여 생성된 회전행렬의 요소를 나타내는 것을 특징으로 하는 건물 영역 검출을 위한 딥러닝 학습데이터 자동 생성 방법.According to claim 1,
The image projection step,
3 for the vertex of the building area by calculating column coordinates and row coordinates through [Equation 1] and [Equation 2] below based on the external expression elements and internal expression elements of the aerial photographic image. Corresponds to dimensional coordinates,
[Equation 1]
Figure pat00021

[Equation 2]
Figure pat00022

where f represents the focal length of the shooting camera,
Figure pat00023
Figure pat00024
is the 3D ground locus of the target point
Figure pat00025
represent the table,
Figure pat00026
Figure pat00027
Figure pat00028
Represents the location coordinates of the shooting camera,
Figure pat00029
Figure pat00030
A deep learning learning data automatic generation method for detecting a building area, characterized in that represents an element of a rotation matrix generated using a rotation element of a photographing camera. 공중 촬영 영상 및 수치 지도를 획득하는 자료 획득부;
수치 지도 상의 건물 영역에 대한 3차원 좌표를 파악하고, 파악된 3차원 좌표를 기초로 건물 영역을 공중 촬영 영상에 투영하여 투영 영상을 생성하는 영상 처리부; 및
투영 영상에 대하여 건물 영역을 라벨링하여 라벨링된 영상을 생성하는 학습 데이터 생성부를 포함하는 것을 특징으로 하는 딥러닝 학습데이터 생성 장치.a data acquisition unit that acquires aerial images and digital maps;
an image processing unit that identifies 3D coordinates of a building area on the digital map and projects the building area to an aerial image based on the identified 3D coordinates to generate a projection image; and
A deep learning learning data generation device comprising a learning data generation unit for labeling a building area with respect to a projection image and generating a labeled image. 제 8 항에 있어서,
수치 지도 상의 2차원 좌표에 대응되는 높이 좌표값의 DEM을 보유한 DEM 저장부를 더 포함하는 것을 특징으로 하는 딥러닝 학습데이터 생성 장치.According to claim 8,
Deep learning learning data generation device further comprising a DEM storage unit holding a DEM of height coordinates corresponding to the two-dimensional coordinates on the numerical map. 제 8 항에 있어서,
상기 영상 처리부는,
수치 지도에서 건물 영역을 파악하여 건물 영역을 포함하는 레이어를 추출하는 건물 영역 판단부;
수치 지도의 2차원 좌표와 DEM의 높이 좌표를 기초로 건물 영역에 대한 3차원 좌표를 파악하는 좌표 판단부; 및
건물 영역을 포함하는 레이어를 공중 촬영 영상에 투영하여 투영 영상을 생성하는 영상 투영부를 포함하는 것을 특징으로 하는 딥러닝 학습데이터 생성 장치.According to claim 8,
The image processing unit,
a building area determination unit that determines a building area from the digital map and extracts a layer including the building area;
a coordinate determination unit for identifying 3-dimensional coordinates of a building area based on the 2-dimensional coordinates of the digital map and the height coordinates of the DEM; and
An apparatus for generating learning data for deep learning, comprising: an image projection unit for generating a projection image by projecting a layer including a building area onto an aerial photographed image.
KR1020210097612A 2021-07-26 2021-07-26 A method and apparatus for automatically generating deep learning training data for building area detection using aerial images and digital maps KR20230016315A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210097612A KR20230016315A (en) 2021-07-26 2021-07-26 A method and apparatus for automatically generating deep learning training data for building area detection using aerial images and digital maps

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210097612A KR20230016315A (en) 2021-07-26 2021-07-26 A method and apparatus for automatically generating deep learning training data for building area detection using aerial images and digital maps

Publications (1)

Publication Number Publication Date
KR20230016315A true KR20230016315A (en) 2023-02-02

Family

ID=85225587

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210097612A KR20230016315A (en) 2021-07-26 2021-07-26 A method and apparatus for automatically generating deep learning training data for building area detection using aerial images and digital maps

Country Status (1)

Country Link
KR (1) KR20230016315A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210072689A (en) 2019-12-09 2021-06-17 주식회사 업데이터 Method for creating obstruction detection model using deep learning image recognition and apparatus thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210072689A (en) 2019-12-09 2021-06-17 주식회사 업데이터 Method for creating obstruction detection model using deep learning image recognition and apparatus thereof

Similar Documents

Publication Publication Date Title
US9799139B2 (en) Accurate image alignment to a 3D model
Neitzel et al. Mobile 3D mapping with a low-cost UAV system
JP6023831B2 (en) Method for position and orientation detection using virtual reference images
CN110617821B (en) Positioning method, positioning device and storage medium
KR102200299B1 (en) A system implementing management solution of road facility based on 3D-VR multi-sensor system and a method thereof
KR20090064679A (en) Method and apparatus of digital photogrammetry by integrated modeling for different types of sensors
JP6877293B2 (en) Location information recording method and equipment
JP2012118666A (en) Three-dimensional map automatic generation device
US20230138487A1 (en) An Environment Model Using Cross-Sensor Feature Point Referencing
CN114766042A (en) Target detection method, device, terminal equipment and medium
JP2017201261A (en) Shape information generating system
CN114692720A (en) Image classification method, device, equipment and storage medium based on aerial view
JP4852006B2 (en) Spatial information database generation device and spatial information database generation program
Zingoni et al. Real-time 3D reconstruction from images taken from an UAV
JP6198104B2 (en) 3D object recognition apparatus and 3D object recognition method
KR20230016315A (en) A method and apparatus for automatically generating deep learning training data for building area detection using aerial images and digital maps
CN115423863A (en) Camera pose estimation method and device and computer readable storage medium
Meza et al. A structure-from-motion pipeline for topographic reconstructions using unmanned aerial vehicles and open source software
CN114387532A (en) Boundary identification method and device, terminal, electronic equipment and unmanned equipment
Hwang et al. 3D modeling and accuracy assessment-a case study of photosynth
CN117649619B (en) Unmanned aerial vehicle visual navigation positioning recovery method, system, device and readable storage medium
KR102578456B1 (en) System and method for change management of facilities through recognition of structural objects and integration of multiple images
US11747141B2 (en) System and method for providing improved geocoded reference data to a 3D map representation
Ayadi et al. The skyline as a marker for augmented reality in urban context
Armenakis et al. Feasibility study for pose estimation of small UAS in known 3D environment using geometric hashing

Legal Events

Date Code Title Description
E902 Notification of reason for refusal