KR102406150B1 - Method for creating obstruction detection model using deep learning image recognition and apparatus thereof - Google Patents
Method for creating obstruction detection model using deep learning image recognition and apparatus thereof Download PDFInfo
- Publication number
- KR102406150B1 KR102406150B1 KR1020200140906A KR20200140906A KR102406150B1 KR 102406150 B1 KR102406150 B1 KR 102406150B1 KR 1020200140906 A KR1020200140906 A KR 1020200140906A KR 20200140906 A KR20200140906 A KR 20200140906A KR 102406150 B1 KR102406150 B1 KR 102406150B1
- Authority
- KR
- South Korea
- Prior art keywords
- obstacle
- bounding box
- prediction model
- image
- segmentation
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 238000001514 detection method Methods 0.000 title claims description 14
- 230000011218 segmentation Effects 0.000 claims abstract description 74
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 238000011835 investigation Methods 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 6
- 230000003628 erosive effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 229920003023 plastic Polymers 0.000 description 7
- 238000012549 training Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 1
- 235000017491 Bambusa tulda Nutrition 0.000 description 1
- 241001330002 Bambuseae Species 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 1
- 239000011425 bamboo Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009933 burial Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 125000000391 vinyl group Chemical group [H]C([*])=C([H])[H] 0.000 description 1
- 229920002554 vinyl polymer Polymers 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Tourism & Hospitality (AREA)
- Geometry (AREA)
- Artificial Intelligence (AREA)
- Educational Administration (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Quality & Reliability (AREA)
- General Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Development Economics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
본 발명의 딥러닝 영상인식을 활용한 지장물 예측 모델 생성 방법 및 장치가 개시된다. 본 발명의 일 실시예에 따른 지장물 예측 모델 생성 방법은 공중에서 촬영한 토지의 정사 영상을 획득하는 단계와, 상기 획득한 영상 내의 지장물들을 탐지하고 상기 지장물들을 미리 정해진 카테고리별로 분류하여 학습 데이터를 구축하는 단계와 상기 학습 데이터에 기초하여 시맨틱 세그멘테이션(Semantic Segmentation)을 응용한 지장물 예측 모델을 생성하는 단계를 포함하여 구성된다.Disclosed is a method and apparatus for generating an obstacle prediction model using deep learning image recognition of the present invention. The method for generating an obstacle prediction model according to an embodiment of the present invention includes the steps of acquiring an orthogonal image of land photographed from the air, detecting obstacles in the acquired image, and classifying the obstacles into predetermined categories and learning It is configured to include the steps of constructing data and generating an obstacle prediction model to which semantic segmentation is applied based on the learning data.
Description
본 발명은 딥러닝 영상인식을 활용한 지장물 예측 모델 생성 방법 및 장치에 관한 것으로, 좀 더 상세하게는 드론을 이용하여 촬영한 조사 대상지 영상을 분석하여 지장물의 형태와 면적을 예측하기 위한 모델을 생성하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for generating an obstacle prediction model using deep learning image recognition, and more particularly, a model for predicting the shape and area of an obstacle by analyzing an image of an investigation target taken using a drone. It relates to a method and apparatus for generating.
최근 정부의 부동산 투기 억제 정책 및 주거복지로드맵 등으로 공공 택지 개발이 본격적으로 증가되어 이에 따른 보상액이 높은 증가세를 보이고 있다. 토지 보상에 절차 중 가장 근간이 되는 것은 토지 및 물건 등 기본 조사에 해당하는 지장물 조사로써 이에 대한 합리적이고 공정한 조사 필요성 증대되고 있다. Recently, public housing development has increased in earnest due to the government's policy to curb real estate speculation and housing welfare roadmap, and the compensation amount is showing a high trend. The most fundamental of the procedures for land compensation is the investigation of obstacles that fall under the basic investigation of land and objects, and the need for a reasonable and fair investigation is increasing.
지장물은 공익사업시행지구 내의 토지에 정착한 건축물ㆍ공작물ㆍ시설ㆍ입목ㆍ죽목 및 농작물 그 밖의 물건 중에서 당해 공익사업의 수행을 위하여 직접 필요하지 않은 물건을 의미하는데, 토지 보상금 중 지장물 보상 비율이 높기 때문에 지장물 조사 과정에서 불법 사례가 높아 늘 개발사업의 잡음이 존재하여 객관적인 근거 기반 마련의 필요한 상황이다.Obstacles refer to objects that are not directly necessary for the performance of the relevant public utility project among buildings, structures, facilities, trees, bamboo trees, and other objects that have settled on land within the public utility implementation district. Due to this high level, there is always a noise in the development project due to the high number of illegal cases in the process of investigating obstacles, so it is necessary to prepare an objective basis for evidence.
종래의 지장물 조사방법은 드론을 통해 확보한 영상을 담당자가 일일이 수동으로 검토하기 때문에 시간이 오래 걸리고 부정확한 문제가 있어서, 영상 분석을 통해서 자동으로 분류할 필요성이 있다. 그러나 드론을 통해 촬영한 영상이미지 내의 많은 종류의 지장물이 혼재하고 그 형태도 다양하기 때문에 종래의 영상 인식 알고리즘만으로는 지장물의 형태와 면적을 정확하게 도출하기 어려운 문제가 있다.The conventional method for investigating obstacles takes a long time and has inaccurate problems because the person in charge manually reviews the images obtained through the drone, so there is a need to automatically classify the images through image analysis. However, there is a problem in that it is difficult to accurately derive the shape and area of an obstacle only with the conventional image recognition algorithm because many types of obstacles in the video image taken by the drone are mixed and their shapes are varied.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 지장물의 형태와 면적을 정확하게 도출할 수 있는 지장물 예측 모델생성 방법을 제공하는 데 있다.An object of the present invention for solving the above problems is to provide a method for generating an obstacle prediction model capable of accurately deriving the shape and area of the obstacle.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 지장물의 형태와 면적을 정확하게 도출할 수 있는 지장물 예측 모델생성 장치를 제공하는 데 있다.Another object of the present invention for solving the above problems is to provide an obstacle prediction model generating apparatus capable of accurately deriving the shape and area of the obstacle.
상기 목적을 달성하기 위하여 본 발명은 지장물 예측 모델 생성 장치에서 수행되는 딥러닝 영상인식을 활용한 지장물 예측 모델 생성 방법에 있어서, 공중에서 촬영한 토지의 정사 영상을 획득하는 단계와, 상기 획득한 영상 내의 지장물들을 탐지하고 상기 지장물들을 미리 정해진 카테고리별로 분류하여 학습 데이터를 구축하는 단계와 상기 학습 데이터에 기초하여 시맨틱 세그멘테이션(Semantic Segmentation)을 응용한 지장물 예측 모델을 생성하는 단계를 포함하는 지장물 예측 모델 생성 방법을 제공한다.In order to achieve the above object, the present invention provides a method for generating an obstacle prediction model using deep learning image recognition performed in a device for generating an obstacle prediction model, the method comprising: acquiring an orthogonal image of land photographed from the air; It includes the steps of detecting obstacles in an image and classifying the obstacles into predetermined categories to build learning data, and generating an obstacle prediction model applying semantic segmentation based on the learning data. It provides a method of generating an obstacle prediction model.
여기서, 상기 학습 데이터를 구축하는 단계는 상기 획득한 영상을 일정한 크기로 분할(cropping)하되 미리 정해진 범위 내의 중첩을 허용하도록 분할하는 단계와, 라벨링 도구를 활용하여 상기 분할된 영상 내의 지장물을 탐지하여 탐지된 영역에 외곽선을 설정하고 미리 정해진 카테고리로 라벨링하되, 상기 탐지된 지장물이 속하는 카테고리에 따라서 다른 형태로 외곽선을 설정하여 라벨링하는 단계를 포함한다.Here, the step of constructing the learning data includes cropping the acquired image to a certain size, but dividing it to allow overlap within a predetermined range, and detecting an obstacle in the divided image by using a labeling tool and setting an outline in the detected area and labeling it with a predetermined category, and setting and labeling an outline in a different form according to the category to which the detected obstacle belongs.
또한 여기서, 상기 지장물 예측 모델은 상기 학습 데이터를 이용한 딥러닝 결과를 기초로 객체 탐지 알고리즘을 적용하여 조사 대상지 영상에서 지장물을 탐지하는 제1 연산과, 상기 탐지 결과에 시맨틱 세그멘테이션 네트워크 기반의 알고리즘을 적용하여 제1 세그멘테이션 영역을 생성하는 제2 연산과, 상기 제1 세그멘테이션 영역을 지장물의 형태에 맞추어 로테이션함으로써 제2 세그멘테이션 영역을 생성하는 제3 연산을 포함하여 구성된다.Also, here, the obstacle prediction model includes a first operation for detecting an obstacle in the image of the investigation target by applying an object detection algorithm based on the deep learning result using the learning data, and a semantic segmentation network-based algorithm based on the detection result and a second operation of generating the first segmentation area by applying , and a third operation of generating the second segmentation area by rotating the first segmentation area according to the shape of the obstacle.
또한 여기서, 제3항에 있어서, 상기 제3 연산은 상기 제1 세그멘테이션 영역에 모폴로지 연산을 적용하여 침식과 확장을 반복하면서 노이즈를 제거하는 모듈과, 상기 모폴로지 연산을 적용한 후에 변형된 영역들의 테두리를 도출하여 바운딩 박스(bounding box)를 그리는 모듈과, 상기 바운딩 박스에 기초하여 상기 제2 세그멘테이션 영역을 설정하는 모듈을 포함하여 구성되며, 상기 바운딩 박스를 그리는 모듈은 상기 바운딩 박스의 영역을 최소화하는 함수를 적용함으로써, 상기 제2 세그멘테이션(segmentation) 영역들이 지장물의 형태에 맞추어 회전하도록 하는 것을 특징으로 한다.Also, according to claim 3, wherein the third operation includes a module that removes noise while repeating erosion and expansion by applying a morphology operation to the first segmentation region, and borders of the regions deformed after applying the morphology operation It is configured to include a module for drawing a bounding box by deriving it, and a module for setting the second segmentation area based on the bounding box, wherein the module for drawing the bounding box is a function that minimizes the area of the bounding box By applying , it is characterized in that the second segmentation regions are rotated according to the shape of the obstacle.
또한 여기서, 상기 바운딩 박스를 그리는 모듈은 인접 영역을 병합하고 다시 바운딩 박스를 그림으로써 중첩된 영역을 최소화하는 것을 특징으로 한다.Also, here, the module for drawing the bounding box is characterized in that the overlapping area is minimized by merging adjacent areas and drawing the bounding box again.
상기 다른 목적을 달성하기 위한 본 발명은 공중에서 촬영한 토지 영상을 획득하는 영상 획득부와, 상기 획득한 영상 내의 지장물들을 탐지하고 상기 지장물들을 미리 정해진 카테고리별로 분류하여 학습 데이터를 구축하는 학습데이터 구축부와, 상기 학습 데이터에 기초하여 시맨틱 세그멘테이션(Semantic Segmentation)을 응용한 지장물 예측 모델을 생성하는 단계를 포함하는 지장물 예측 모델 생성장치를 제공한다.The present invention for achieving the above other object is an image acquisition unit for acquiring a land image taken from the air, and learning to detect obstacles in the acquired image and classify the obstacles into predetermined categories to build learning data It provides an obstacle prediction model generating apparatus comprising: a data construction unit; and generating an obstacle prediction model to which semantic segmentation is applied based on the learning data.
여기서, 상기 학습 데이터 구축부는 상기 획득한 영상을 일정한 크기로 분할(cropping)하되 미리 정해진 범위 내의 중첩을 허용하도록 분할하고, 라벨링 도구를 활용하여 상기 분할된 영상 내의 지장물을 탐지하여 탐지된 영역에 외곽선을 설정하고 미리 정해진 카테고리로 라벨링하되, 상기 탐지된 지장물이 속하는 카테고리에 따라서 다른 형태로 외곽선을 설정하여 라벨링하는 것을 특징으로 한다.Here, the learning data construction unit crops the acquired image to a certain size, but divides it to allow overlap within a predetermined range, and uses a labeling tool to detect an obstacle in the segmented image and place it in the detected area. It is characterized in that the outline is set and labeled with a predetermined category, and the outline is set and labeled in a different form according to the category to which the detected obstacle belongs.
또한 여기서, 상기 지장물 예측모델은 상기 학습 데이터를 이용한 딥러닝 결과를 기초로 객체 탐지 알고리즘을 적용하여 조사 대상지 영상에서 지장물을 탐지하는 제1 연산과, 상기 탐지 결과에 시맨틱 세그멘테이션 네트워크 기반의 알고리즘을 적용하여 제1 세그멘테이션 영역을 생성하는 제2 연산과, 상기 제1 세그멘테이션 영역을 지장물의 형태에 맞추어 로테이션함으로써 제2 세그멘테이션 영역을 생성하는 제3 연산을 포함하여 구성된다.Also, here, the obstacle prediction model includes a first operation for detecting an obstacle in the image of the investigation target by applying an object detection algorithm based on the deep learning result using the learning data, and a semantic segmentation network-based algorithm for the detection result and a second operation of generating the first segmentation area by applying , and a third operation of generating the second segmentation area by rotating the first segmentation area according to the shape of the obstacle.
또한 여기서, 상기 제3 연산은 상기 제1 세그멘테이션 영역에 모폴로지 연산을 적용하여 침식과 확장을 반복하면서 노이즈를 제거하는 모듈과, 상기 모폴로지 연산을 적용한 후에 변형된 영역들의 테두리를 도출하여 바운딩 박스(bounding box)를 그리는 모듈과, 상기 바운딩 박스에 기초하여 상기 제2 세그멘테이션 영역을 설정하는 모듈을 포함하되, 상기 바운딩 박스를 그리는 모듈은 상기 바운딩 박스의 영역을 최소화하는 함수를 적용함으로써, 상기 제2 세그멘테이션(segmentation) 영역들이 지장물의 형태에 맞추어 회전하는 것을 특징으로 한다.In addition, the third operation includes a module that removes noise while repeating erosion and expansion by applying a morphology operation to the first segmentation region, and deriving the borders of the deformed regions after applying the morphology operation to a bounding box (bounding box). box) and a module for setting the second segmentation area based on the bounding box, wherein the module for drawing the bounding box applies a function that minimizes the area of the bounding box, so that the second segmentation (segmentation) characterized in that the regions rotate according to the shape of the obstacle.
또한 여기서, 상기 바운딩 박스를 그리는 모듈은 인접 영역을 병합하고 다시 바운딩 박스를 그림으로써 중첩된 영역을 최소화하는 것을 특징으로 한다.Also, here, the module for drawing the bounding box is characterized in that the overlapping area is minimized by merging adjacent areas and drawing the bounding box again.
본 발명의 딥러닝 영상인식을 활용한 지장물 예측 모델 생성 방법 및 장치의 지장물 예측 모델은 딥러닝 알고리즘을 활용해서 인식률을 구하되, 시멘틱 세그멘테이션 기법을 활용하여 본 발명의 지장물의 특성에 맞는 알고리즘을 개발함으로써 세그멘테이션(segmentation)을 지장물의 형태에 맞게 회전함으로써 지장물의 인식률을 높이고 실제 면적을 더욱 정확하게 산출하는 효과가 있다.The obstacle prediction model generating method and apparatus using deep learning image recognition of the present invention obtains a recognition rate using a deep learning algorithm, but uses semantic segmentation technique to suit the characteristics of the obstacle of the present invention. By developing an obstacle, the segmentation is rotated to match the shape of the obstacle, thereby increasing the recognition rate of the obstacle and calculating the actual area more accurately.
특히 세그멘테이션의 회전은 큰 사이즈의 드론 영상을 분할 후에 데이터를 학습하는 경우 예측 결과(오브젝트)가 분할되어서 도출되는 문제와 세그멘테이션 영역의 정확도를 개선하는 효과가 있다.In particular, the rotation of the segmentation has the effect of improving the accuracy of the segmentation area and the problem that the prediction result (object) is divided when the data is learned after segmenting the large-sized drone image.
도 1은 본 발명의 일 실시예에 따른 지장물 예측 모델 생성 방법을 설명하는 순서도이다.
도 2는 본 발명의 일 실시예에 따른 드론에서 촬영한 조사 대상 토지 영상이다.
도 3은 도 2의 영상을 일정한 크기로 분할한 영상이다.
도 4는 도 3의 영상에서 지장물을 탐지하여 카테고리별로 라벨링한 영상이다.
도 5는 본 발명의 일 실시예에 따른 지장물 예측 모델을 설명하는 순서도이다.
도 6은 본 발명의 일 실시예에 따른 지장물 예측 모델을 적용하여 영상에서 건물을 도출하는 예를 보여준다.
도 7은 본 발명의 일 실시예에 따른 지장물 예측 모델 생성 장치의 블록도이다.1 is a flowchart illustrating a method for generating an obstacle prediction model according to an embodiment of the present invention.
2 is an image of a land to be surveyed taken by a drone according to an embodiment of the present invention.
FIG. 3 is an image obtained by dividing the image of FIG. 2 into predetermined sizes.
4 is an image in which obstacles are detected in the image of FIG. 3 and labeled by category.
5 is a flowchart illustrating an obstacle prediction model according to an embodiment of the present invention.
6 shows an example of deriving a building from an image by applying the obstacle prediction model according to an embodiment of the present invention.
7 is a block diagram of an obstacle prediction model generating apparatus according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. In describing each figure, like reference numerals have been used for like elements.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. Terms such as first, second, A, and B may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않은 것으로 이해되어야 할 것이다. When an element is referred to as being “connected” or “connected” to another element, it is understood that it may be directly connected or connected to the other element, but other elements may exist in between. it should be On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that the other element does not exist in the middle.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상의 의미와 일치하는 의미로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as meanings consistent with the contextual meaning of the related art, and are not interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 지장물 예측 모델 생성 방법을 설명하는 순서도이다.1 is a flowchart illustrating a method for generating an obstacle prediction model according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따른 드론에서 촬영한 조사 대상 토지 영상이다.2 is an image of a land to be surveyed taken by a drone according to an embodiment of the present invention.
도 3은 도 2의 영상을 일정한 크기로 분할한 영상이다.FIG. 3 is an image obtained by dividing the image of FIG. 2 into predetermined sizes.
도 4는 도 3의 영상에서 지장물을 탐지하여 카테고리별로 라벨링한 영상이다.4 is an image in which obstacles are detected in the image of FIG. 3 and labeled by category.
도 1을 참조하면, 본 발명의 일 실시예에 따른 지장물 예측 모델 생성 방법은 딥러닝 영상인식 기법을 활용하여 예측 모델을 생성하며, 토지 영상 획득 단계(S110), 학습 데이터 구축 단계(S130), 예측 모델 생성 단계(S140), 모델 검증 단계(S150)를 포함하여 구성될 수 있다. 1, the obstacle prediction model generation method according to an embodiment of the present invention generates a prediction model by using a deep learning image recognition technique, a land image acquisition step (S110), a learning data construction step (S130) , it may be configured to include a predictive model generation step (S140) and a model verification step (S150).
이하, 도면을 참조하여 본 발명의 일 실시예에 따른 지장물 예측 모델 생성방법의 각 단계를 설명한다. Hereinafter, each step of the method for generating an obstacle prediction model according to an embodiment of the present invention will be described with reference to the drawings.
먼저, 토지 영상 획득 단계(S110)는 드론 등을 이용하여 공중에서 촬영한 토지(예를 들면, 수목, 건물, 비닐하우스, 묘지 등의 지장물이 있는 토지)의 영상(예를 들면 도 2의 영상)을 입력장치를 통해서 획득하여 컴퓨터 메모리에 저장할 수 있다. First, the land image acquisition step ( S110 ) is an image (for example, in FIG. image) can be acquired through an input device and stored in the computer memory.
종래의 항공 영상은 최신성 및 해상도의 한계가 있기 때문에 기상변화와 해상도를 고려한 최적의 촬영조건으로 최적의 영상을 제공할 수 있는 드론 촬영 영상을 확보하는 것이 바람직하다. 특히, 지장물 조사 대상지에 대한 기초적인 조사 및 정보를 바탕으로 고해상도의 드론 정사 영상을 확보하는 것이 좋다. 드론 정사 영상은 드론을 통해 촬영된 다량의 사진을 중첩하여 하나의 사진으로 융합하고, 지형의 기복의 편위를 제거하여 일반지도와 같은 평면과 축적이 일정하도록 만든 사진을 의미할 수 있다.Since conventional aerial images have limitations in up-to-dateness and resolution, it is desirable to secure drone-captured images that can provide optimal images under optimal shooting conditions in consideration of weather changes and resolution. In particular, it is recommended to secure a high-resolution orthographic image of the drone based on the basic survey and information on the object to be investigated. A drone orthographic image may refer to a photograph made to have the same plane and scale as a general map by superimposing a large number of photos taken by a drone, merging them into one photo, and removing the deviation of undulations of the terrain.
다음으로, 학습 데이터 구축 단계(S130)에서는 획득한 영상 내의 지장물들을 탐지하고 지장물들을 미리 정해진 카테고리별로 분류하여 딥러닝을 위한 학습 데이터를 구축할 수 있다. Next, in the learning data construction step ( S130 ), it is possible to detect obstacles in the acquired image and classify the obstacles into predetermined categories to build learning data for deep learning.
이때, 효율적 학습을 위해서 최적의 해상도를 유지하는 수준으로 이미지를 축소(예를 들면, 원본 사진의 80%의 픽셀 해상도를 유지)하고, 일정한 크기(예를 들면, 1000x1000)로 분할(cropping)하되 일정한 범위 내의 중첩을 허용하는 것이 좋다. 도 2는 특정 지역을 촬영한 통 영상이며, 도 3은 도 2의 통 영상을 30% 중첩하여 분할한 영상이다. At this time, for efficient learning, the image is reduced to a level that maintains the optimal resolution (for example, 80% of the pixel resolution of the original photo is maintained), and cropped to a certain size (for example, 1000x1000). It is good to allow overlap within a certain range. FIG. 2 is a whole image taken in a specific area, and FIG. 3 is an image divided by overlapping the whole image of FIG. 2 by 30%.
또한, 라벨링 도구를 활용하여 분할된 영상 내의 지장물을 탐지하여 탐지된 영역에 외곽선을 설정하고 지장물 카테고리에 따라서 다른 형태로 외곽선을 설정하여 라벨링할 할 수 있다. 도 4는 영상 내에 지장물에 카테고리별로 영역을 설정하여 라벨링한 예를 보여준다. 도 4를 참조하면, (a)의 건물 외곽선을 폴리건 형태로 외곽선을 설정하고 “building”으로 라벨링하고, (b)의 비닐하우스의 테두리를 설정하고 “greenhouse”로 라벨링하고, (c)의 분묘를 무덤의 형태로 설정하고 “grave”로 라벨링하고, (d)의 수목의 테두리를 설정하고 “tree”로 라벨링할 수 있다. In addition, by using a labeling tool, an obstacle in the segmented image is detected, an outline is set in the detected area, and an outline can be set in a different form according to the obstacle category for labeling. 4 shows an example of labeling by setting regions for each category in an obstacle in an image. Referring to FIG. 4, the outline of the building in (a) is set in the form of a polygon and labeled as “building”, the border of the plastic house in (b) is set and labeled as “greenhouse”, and the burial in (c) is can be set as the shape of a grave and labeled as “grave”, and the border of the tree in (d) can be set and labeled as “tree”.
다만, 분할된 영상으로 학습을 하는 경우 탐지하려는 오브젝트가 분할된 상태로 학습에 반영될 수 있으므로, 학습 후 후처리 과정에서 왜곡을 보정할 수 있으며, 좀더 상세한 사항은 지장물 예측모델과 관련하여 설명한다. However, in the case of learning with a segmented image, since the object to be detected can be reflected in the learning in a segmented state, distortion can be corrected in the post-processing process after learning, and more details will be described in relation to the obstacle prediction model do.
다음으로, 예측 모델 생성 단계(S140)는 앞 단계에서 구축한 학습 데이터를 이용하여 시맨틱 세그멘테이션(Semantic Segmentation)을 응용한 지장물 예측 모델을 생성할 수 있다. Next, the predictive model generation step ( S140 ) may generate an obstacle prediction model to which semantic segmentation is applied using the training data constructed in the previous step.
시맨틱 세그멘테이션은 이미지에 있는 모든 픽셀을 다 채색하고 모든 픽셀에 클래스를 부여한다. 즉, 시맨틱 세그멘테이션은 이미지 내에 있는 물체들을 의미 있는 단위로 분할하여, 이미지의 각 픽셀이 어느 클래스에 속하는지 예측하는 것이다. 예를 들면, 영상 내에 사람, 고양이, 강아지, 가구 등 여러 종류의 물체가 포함되어 있다면, 이렇게 서로 다른 종류의 물체들을 깔끔하게 분할해내는 것이 시맨틱 세그멘테이션의 목적이다. Semantic segmentation colorizes every pixel in the image and assigns a class to every pixel. That is, semantic segmentation divides objects in an image into meaningful units and predicts which class each pixel of the image belongs to. For example, if several types of objects such as people, cats, dogs, and furniture are included in the image, the purpose of semantic segmentation is to neatly divide these different types of objects.
본 발명의 일 실시예에 따른 지장물 예측 모델은 시맨틱 세그멘테이션을 응용하되, 지장물에 맞도록 개선된 알고리즘을 적용하여 건물, 비닐하우스, 나무, 숲, 무덤 등과 같이 지장물의 형태적 특성에 맞게 예측함으로써 지장물의 면적을 정확하게 예측할 수 있다.The obstacle prediction model according to an embodiment of the present invention applies semantic segmentation, but predicts according to the morphological characteristics of obstacles such as buildings, vinyl houses, trees, forests, graves, etc. by applying an improved algorithm to fit the obstacles. This makes it possible to accurately predict the area of the obstacle.
이하, 도면을 참조하여 본 발명의 지장물 예측 모델에 대하여 좀 더 상세하게 설명한다.Hereinafter, the obstacle prediction model of the present invention will be described in more detail with reference to the drawings.
도 5는 본 발명의 일 실시예에 따른 지장물 예측 모델을 설명하는 순서도이다.5 is a flowchart illustrating an obstacle prediction model according to an embodiment of the present invention.
도 5를 참조하면, 본 발명의 일 실시예에 따른 지장물 예측 모델은 학습 데이터를 이용하여 딥러닝 학습한 결과를 기초로 객체 탐지 알고리즘을 적용하여 조사 대상지 영상에서 지장물을 탐지하는 연산(S141)을 포함할 수 있다. 딥러닝 학습과 영상 인식 알고리즘(예를 들면, R-CNN, FAST R-CNN, FASTER R-CNN, MASKR-CNN, YOLO, YOLO V2 등)은 알려진 기술로서 상세한 설명을 생략한다. Referring to FIG. 5 , the obstacle prediction model according to an embodiment of the present invention applies an object detection algorithm based on the result of deep learning using learning data to detect an obstacle in the image of the investigation target (S141) ) may be included. Deep learning learning and image recognition algorithms (eg, R-CNN, FAST R-CNN, FASTER R-CNN, MASKR-CNN, YOLO, YOLO V2, etc.) are known techniques and detailed descriptions are omitted.
특히, 학습과정에서 영상의 이미지가 일정한 크기(예를 들면, 1000x1000)로 분할(cropping)되어 학습하면서 잘린 이미지가지 학습에 반영되어 잘려진 여러개의 오브젝트가 검출될 수 있는데, 이는 후술하는 바와 같이 이미지처리 라이브러리를 활용하여 인접 오브젝트를 병합하고 바운딩박스를 다시 그림으로써 오브젝트를 정확하게 탐지할 수 있다. In particular, in the learning process, the image of the image is cropped to a certain size (for example, 1000x1000), and the cropped image is reflected in the learning while learning, and several cropped objects can be detected, which will be described later by image processing. The library can be used to accurately detect objects by merging adjacent objects and redrawing the bounding box.
본 발명의 지장물 예측 모델은 지장물 탐지 결과에 시맨틱 세그멘테이션 네트워크 기반의 알고리즘을 적용하여 제1 세그멘테이션 영역을 생성하는 연산(S142)과, 제1 세그멘테이션 영역을 지장물의 형태에 맞추어 로테이션함으로써 제2 세그멘테이션 영역을 생성하는 연산(S143)을 포함하여 구성될 수 있다. 이때, OpenCV 이미지처리 라이브러리를 활용할 수 있다. The obstacle prediction model of the present invention performs an operation (S142) of generating a first segmentation area by applying a semantic segmentation network-based algorithm to the obstacle detection result, and a second segmentation by rotating the first segmentation area according to the shape of the obstacle. It may be configured to include an operation (S143) for generating a region. In this case, the OpenCV image processing library can be used.
또한, 본 발명의 제2 세그멘테이션 영역을 생성하는 연산(S143)은 제1 세그멘테이션 영역에 모폴로지 연산을 적용하여 침식과 확장을 반복하면서 노이즈를 제거하는 모듈과, 상기 모폴로지 연산을 적용한 후에 변형된 영역들의 테두리를 도출하여 바운딩 박스(bounding box)를 그리는 모듈과, 바운딩 박스에 기초하여 제2 세그멘테이션 영역을 설정하는 모듈을 포함하여 구성될 수 있다.In addition, the operation (S143) for generating the second segmentation region of the present invention includes a module that removes noise while repeating erosion and expansion by applying a morphology operation to the first segmentation region, and It may be configured to include a module for drawing a bounding box by deriving a border, and a module for setting a second segmentation area based on the bounding box.
이때, 바운딩 박스를 그리는 모듈은 바운딩 박스의 영역을 최소화하는 함수를 적용함으로써, 제2 세그멘테이션 영역들이 지장물의 형태에 맞추어 회전하는 효과를 발휘할 수 있다. 또한, 바운딩 박스를 그리는 모듈은 인접 영역을 병합하고 다시 바운딩 박스를 그림으로써 중첩된 영역을 최소화할 수 있다.In this case, the module for drawing the bounding box applies a function that minimizes the area of the bounding box, so that the second segmentation areas rotate according to the shape of the obstacle. Also, the module drawing the bounding box can minimize the overlapping area by merging adjacent areas and drawing the bounding box again.
특히, 본 발명의 세그멘테이션 알고리즘은 비닐하우스, 건물 등과 같은 지장물의 면적 분석을 위하여 U-Net 등 정확도를 고려한 이미지 세그멘테이션을 수행하며, 시멘틱 세그멘테이션 네트워크 기법을 활용하여 오브젝트가 아닌 픽셀별로 카테고리를 분류하는 방법을 적용한다. In particular, the segmentation algorithm of the present invention performs image segmentation in consideration of accuracy such as U-Net for area analysis of obstacles such as plastic houses and buildings, and uses a semantic segmentation network technique to classify categories by pixels rather than objects. apply
지장물 예측 모델의 검증(S150)은 학습에 사용하지 않은 별도의 Ground Truth 데이터를 활용하여 검증할 수 있다. The verification of the obstacle prediction model (S150) can be verified by utilizing separate ground truth data not used for learning.
이하, 도면을 참조하여, 본 발명의 일실시예에 따른 지장물 예측 모델을 적용하여 지장물을 도출한 예를 설명한다.Hereinafter, an example in which an obstacle is derived by applying the obstacle prediction model according to an embodiment of the present invention will be described with reference to the drawings.
도 6은 본 발명의 일 실시예에 따른 지장물 예측 모델을 적용하여 영상에서 건물과 비닐하우스를 도출하는 예를 보여준다.6 shows an example of deriving a building and a plastic house from an image by applying the obstacle prediction model according to an embodiment of the present invention.
도 6의 (a)와 (b)는 드론에서 촬영한 영상에서 건물과 비닐하우스를 탐지하여 제1 세그멘테이션 영역을 도출한 예이고, (a’)와 (b’)는 제1 세그멘테이션 영역에 모폴로지 연산을 적용한 후에, 변형된 테두리를 도출하고, OpenCV 이미지처리 라이브러리를 활용하여 바운딩 박스 영역을 최소화하는 함수를 적용하여 바운딩 박스가 회전하는 효과를 내면서 박스의 중첩부분을 최소화하여 건물의 모양에 맞게 바운딩박스 테두리를 완성한 예이다. 6 (a) and (b) are examples of deriving a first segmentation area by detecting a building and a plastic house in an image taken by a drone, and (a') and (b') are morphologies in the first segmentation area After applying the calculation, the deformed border is derived, and the function that minimizes the bounding box area is applied using the OpenCV image processing library to create the effect of rotating the bounding box and minimize the overlapping portion of the box to match the shape of the building. This is an example of completing the box border.
특히, 도 6의 (a)는 빌딩이 분할된 채로 개체가 탐지된 것을 보여주고 있으며, 이를 바운딩박스 로테이션을 통해서 하나의 객체로 통합하고 탐지 영역이 중첩되는 것을 최소화한 모델을 적용한 것이 도 6의 (a')이다. 이와 같이, 본 발명은 일반적인 영상 인식 방법으로는 고해상도의 분할된 영상으로 구성된 지장물을 정확하게 탐지하는 것이 어렵기 때문에, 본 발명의 예측 모델에 따라서 오브젝트에 맞게 바운딩하면서 회전하는 방식을 채택하고, 분할된 객체를 통합함으로써 정확도가 향상될 수 있다.In particular, (a) of FIG. 6 shows that an object is detected while the building is divided, and the model in FIG. 6 is applied by integrating it into one object through the bounding box rotation and minimizing overlapping detection areas. (a'). As described above, in the present invention, since it is difficult to accurately detect an obstacle composed of a high-resolution segmented image with a general image recognition method, a method of rotating while bounding according to an object according to the prediction model of the present invention is adopted, and segmentation Accuracy can be improved by integrating the objects.
이와 같이 드론 영상을 통해 분석된 지장물 정보(건물의 종류, 면적 등)는 실제 건축물 대장 정보(건축물 등록 DB)와 비교함으로써 가건물 및 무허가 건물을 파악하는데 활용될 수 있다. 또한, 토지 위의 지장물 조사뿐 아니라 토지 지적도를 통해 지목 및 소유관계, 공시지가 등을 융합하여 사업 예산 계획 수립과 업무 추진에 활용될 수 있다.In this way, the obstacle information (type of building, area, etc.) analyzed through the drone image can be used to identify temporary and unauthorized buildings by comparing it with the actual building ledger information (building registration DB). In addition, it can be used for project budget planning and business promotion by fusion of designation titles, ownership relationships, and official land prices through land cadastral maps as well as investigation of obstacles on the land.
이하, 본 발명의 다른 실시예에 따른 지장물 예측 모델 생성 장치를 설명한다.Hereinafter, an apparatus for generating an obstacle prediction model according to another embodiment of the present invention will be described.
도 7은 본 발명의 일 실시예에 따른 지장물 예측 모델 생성 장치의 블록도이다.7 is a block diagram of an obstacle prediction model generating apparatus according to an embodiment of the present invention.
도 7을 참조하면, 본 발명의 일 실시예에 따른 지장물 예측 모델 생성 장치는 딥러닝 영상인식을 활용하여 예측 모델을 생성하며, 영상 획득부(110), 학습 데이터 구축부(130), 예측 모델 생성부(140)를 포함하여 구성될 수 있다. Referring to FIG. 7 , the obstacle prediction model generating apparatus according to an embodiment of the present invention generates a predictive model by utilizing deep learning image recognition, and includes an image acquisition unit 110 , a learning data construction unit 130 , and prediction It may be configured to include the model generator 140 .
먼저, 영상 획득부(110)는 드론 등을 이용하여 공중에서 촬영한 토지(예를 들면, 수목, 거물, 비닐하우스, 묘지 등의 지장물이 있는 토지)의 영상(예를 들면 도 2의 영상)을 입력장치를 통해서 획득하여 컴퓨터 메모리에 저장할 수 있다. First, the image acquisition unit 110 is an image (eg, the image of FIG. 2 ) of land (eg, land with obstacles such as trees, giants, plastic houses, graveyards, etc.) photographed from the air using a drone or the like. ) can be acquired through an input device and stored in the computer memory.
다음으로, 학습 데이터 구축부(130)에서는 획득한 영상 내의 지장물들을 탐지하고 지장물들을 미리 정해진 카테고리별로 분류하여 딥러닝을 위한 학습 데이터를 구축할 수 있다. Next, the learning data construction unit 130 may construct learning data for deep learning by detecting obstacles in the acquired image and classifying the obstacles into predetermined categories.
이때, 효율적 학습을 위해서 최적의 해상도를 유지하는 수준으로 이미지를 축소(예를 들면, 원본 사진의 80%의 픽셀 해상도를 유지)하고, 일정한 크기(예를 들면, 1000x1000)로 분할(cropping)하되 미리 정해진 범위 내의 중첩을 허용하도록 분할할 수 있다.At this time, for efficient learning, the image is reduced to a level that maintains the optimal resolution (for example, 80% of the pixel resolution of the original photo is maintained), and cropped to a certain size (for example, 1000x1000). It can be partitioned to allow overlap within a predetermined range.
또한, 라벨링 도구를 활용하여 분할된 영상 내의 지장물을 탐지하여 탐지된 영역에 외곽선을 설정하고, 지장물 카테고리에 따라서 다른 형태로 외곽선을 설정하여 라벨링할 할 수 있다.In addition, by using a labeling tool, an obstacle in the segmented image is detected, an outline is set in the detected area, and an outline can be set in a different form according to the obstacle category for labeling.
다음으로, 예측 모델 생성부(140)는 학습 데이터 구축부(130)에서 구축한 학습 데이터를 이용하여 시맨틱 세그멘테이션(Semantic Segmentation)을 응용한 지장물 예측 모델을 생성할 수 있다. Next, the prediction model generation unit 140 may generate an obstacle prediction model to which semantic segmentation is applied by using the training data constructed by the training data construction unit 130 .
본 발명의 일 실시예에 따른 지장물 예측 모델은 시맨틱 세그멘테이션을 응용하고, 개선된 알고리즘을 적용하여 건물, 비닐하우스, 나무, 숲, 무덤 등과 같이 지장물의 형태적 특성에 맞게 예측함으로써 지장물의 면적을 정확하게 예측할 수 있다.The obstacle prediction model according to an embodiment of the present invention applies semantic segmentation and predicts the area of the obstacle by applying an improved algorithm to match the morphological characteristics of the obstacle, such as a building, a plastic house, a tree, a forest, a grave, etc. can be predicted accurately.
또한, 본 발명의 일 실시예에 따른 지장물 예측 모델은 학습 데이터를 이용하여 딥러닝 학습한 결과를 기초로 객체 탐지 알고리즘을 적용하여 조사 대상지 영상에서 지장물을 탐지하는 연산을 포함할 수 있다. In addition, the obstacle prediction model according to an embodiment of the present invention may include an operation of detecting an obstacle in the image of the investigation target by applying an object detection algorithm based on the result of deep learning learning using the learning data.
또한, 본 발명의 일 실시예에 따른 지장물 예측 모델은 지장물 탐지 결과에 시맨틱 세그멘테이션 네트워크 기반의 알고리즘을 적용하여 제1 세그멘테이션 영역을 생성하는 연산과, 제1 세그멘테이션 영역을 지장물의 형태에 맞추어 로테이션함으로써 제2 세그멘테이션 영역을 생성하는 연산을 포함하여 구성될 수 있다. 이때, OpenCV 이미지처리 라이브러리를 활용할 수 있다. In addition, the obstacle prediction model according to an embodiment of the present invention generates a first segmentation region by applying a semantic segmentation network-based algorithm to the obstacle detection result, and rotates the first segmentation region according to the shape of the obstacle. By doing so, it may be configured including an operation for generating the second segmentation area. In this case, the OpenCV image processing library can be used.
또한, 본 발명의 제2 세그멘테이션 영역을 생성하는 연산은 제1 세그멘테이션 영역에 모폴로지 연산을 적용하여 침식과 확장을 반복하면서 노이즈를 제거하는 모듈과, 상기 모폴로지 연산을 적용한 후에 변형된 영역들의 테두리를 도출하여 바운딩 박스(bounding box)를 그리는 모듈과, 바운딩 박스에 기초하여 상기 제2 세그멘테이션 영역을 설정하는 모듈을 포함하여 구성될 수 있다.In addition, the operation for generating the second segmentation region of the present invention includes a module that removes noise while repeating erosion and expansion by applying a morphology operation to the first segmentation region, and the edges of the deformed regions after applying the morphology operation and a module for drawing a bounding box and a module for setting the second segmentation area based on the bounding box.
이때, 바운딩 박스를 그리는 모듈은 바운딩 박스의 영역을 최소화하는 함수를 적용함으로써, 제2 세그멘테이션 영역들이 지장물의 형태에 맞추어 회전하는 효과를 발휘할 수 있다. 또한, 바운딩 박스를 그리는 모듈은 인접 영역을 병합하고 다시 바운딩 박스를 그림으로써 중첩된 영역을 최소화할 수 있다.In this case, the module for drawing the bounding box applies a function that minimizes the area of the bounding box, so that the second segmentation areas rotate according to the shape of the obstacle. Also, the module drawing the bounding box can minimize the overlapping area by merging adjacent areas and drawing the bounding box again.
특히, 본 발명의 세그멘테이션 알고리즘은 비닐하우스, 건물 등과 같은 지장물의 면적 분석을 위하여 U-Net 등 정확도를 고려한 이미지 세그멘테이션을 수행하며, 시멘틱 세그멘테이션 네트워크 기법을 활용하여 오브젝트가 아닌 픽셀별로 카테고리를 분류하는 방법을 적용한다. In particular, the segmentation algorithm of the present invention performs image segmentation in consideration of accuracy such as U-Net for area analysis of obstacles such as plastic houses and buildings, and uses a semantic segmentation network technique to classify categories by pixels rather than objects. apply
이와 같이 본 발명의 딥러닝 영상인식을 활용한 지장물 예측 모델은 시멘틱 세그멘테이션 기법을 응용하여 본 발명의 지장물의 특성에 맞는 알고리즘을 개발함으로써 세그멘테이션(segmentation)을 사물에 맞게 회전함으로써 지장물의 인식률을 높이고 실제 면적을 더욱 정확하게 산출하는 효과가 있다. As described above, the obstacle prediction model using the deep learning image recognition of the present invention increases the recognition rate of the obstacle by applying the semantic segmentation technique to develop an algorithm suitable for the characteristics of the obstacle of the present invention, thereby rotating the segmentation to fit the object. It has the effect of more accurately calculating the actual area.
특히 세그멘테이션의 회전은 큰 사이즈의 드론 영상을 분할후에 데이터를 학습하는 경우 예측 결과가 분할되어서 도출되는 문제와 세그멘테이션 영역의 정확도를 개선하는 효과가 있다.In particular, the rotation of the segmentation has the effect of improving the accuracy of the segmentation area and the problem that the prediction result is derived when the data is learned after segmenting the large-sized drone image.
한편, 본 발명의 일 실시예에 따른 장치는 사용자 단말에서 구동하는 어플리케이션의 형태로 구비될 수 있다. 이때, 사용자 단말은 스마트폰, 태블릿 PC, 랩톱 컴퓨터, 데스크톱 컴퓨터, PDA 등을 포함하는 다양한 컴퓨팅 장치를 포함할 수 있다.Meanwhile, the device according to an embodiment of the present invention may be provided in the form of an application running in a user terminal. In this case, the user terminal may include various computing devices including a smart phone, a tablet PC, a laptop computer, a desktop computer, a PDA, and the like.
한편, 앞에서 설명한 본 발명의 방법은 컴퓨터에서 실행될 수 있도록 프로그램 코드로 제작되어 컴퓨터로 읽을 수 있는 매체에 저장될 수 있고, 또한, 본 발명의 방법을 실행하는 프로그램이 어플리케이션으로 제작되어 기록매체에 저장될 수 있다. 기록매체란 컴퓨터, 모바일 단말, 서버 등의 하드디스크, 메모리, 보조 메모리, 컴팩트 디스크 등 이동 가능한 저장 매체 등을 포함할 수 있다.On the other hand, the method of the present invention described above may be produced as a program code to be executed on a computer and stored in a computer readable medium, and also, a program for executing the method of the present invention is produced as an application and stored in a recording medium. can be The recording medium may include a hard disk such as a computer, a mobile terminal, and a server, a memory, an auxiliary memory, a removable storage medium such as a compact disk, and the like.
또한, 지금까지 설명한 본 발명의 방법 및 장치는 실제로 컴퓨터 프로그램에 의해 구현될 수 있고, 컴퓨터에서 실행될 때 컴퓨터 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터 판독 가능한 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있도록 프로그램 및 데이터가 저장되는 모든 종류의 기록매체를 포함하며, ROM, RAM, CD, DVD-ROM, 자기테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 인터넷을 통한 전송되는 형태로 구현되는 것도 포함될 수 있다. 즉, 이와 같은 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.In addition, the method and apparatus of the present invention described so far may be actually implemented by a computer program, and may be stored in a computer-readable recording medium when executed in a computer. Computer-readable recording media includes all kinds of recording media in which programs and data are stored so that they can be read by a computer system, ROM, RAM, CD, DVD-ROM, magnetic tape, floppy disk, optical data storage device, etc. Also, it may be implemented in the form of transmission through the Internet. That is, such a medium is distributed in computer systems connected by a network, and computer-readable codes can be stored and executed in a distributed manner.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art can variously modify and change the present invention within the scope without departing from the spirit and scope of the present invention as set forth in the claims below. You will understand that it can be done.
Claims (10)
공중에서 촬영한 토지의 정사 영상을 획득하는 단계와,
상기 획득한 영상을 미리 정해진 범위 내의 중첩을 허용하도록 일정한 크기로 분할하고, 상기 분할된 영상 내의 지장물을 탐지하여 외곽선을 설정하고 미리 정해진 카테고리로 분류하고 라벨링하여 학습데이터를 구축하는 단계와,
상기 학습 데이터에 기초하여 시맨틱 세그멘테이션(Semantic Segmentation)을 응용한 지장물 예측 모델을 생성하는 단계를 포함하되,
상기 지장물 예측 모델을 생성하는 단계는
상기 학습 데이터를 구축하는 단계에서 분할된 채로 탐지된 지장물 객체에 모폴로지 연산을 적용하여 변형된 영역의 테두리를 도출하여 바운딩 박스를 그리고, OpenCV 이미지처리 라이브러리를 활용하여 바운딩 박스 영역을 최소화하는 함수를 적용하여 바운딩 박스가 회전하는 효과를 내면서 지장물의 모양에 맞게 상기 바운딩 박스의 테두리를 완성함으로써 분할된 지장물을 하나의 객체로 통합하고, 인접 영역을 병합하고 다시 바운딩 박스를 그림으로써 중첩된 영역을 최소화하고, 탐지된 지장물 객체의 면적분석을 위하여 시맨틱 세그멘테이션 네트워크 기법을 활용하여 픽셀별로 카테고리를 분류하는 것을 특징으로 하는 지장물 예측 모델 생성 방법.In the obstacle prediction model generation method using deep learning image recognition performed in the obstacle prediction model generation device,
acquiring an orthographic image of the land taken from the air;
constructing learning data by dividing the acquired image into a certain size to allow overlap within a predetermined range, detecting an obstacle in the divided image, setting an outline, classifying it into a predetermined category, and labeling;
Comprising the step of generating an obstacle prediction model applying semantic segmentation based on the learning data,
The step of generating the obstacle prediction model is
In the step of constructing the learning data, a morphological operation is applied to an obstacle object detected as being divided to derive the border of the deformed area to draw a bounding box, and a function to minimize the bounding box area using the OpenCV image processing library. By applying the application to create the effect of rotating the bounding box and completing the border of the bounding box to match the shape of the obstacle, the divided obstacles are integrated into one object, the adjacent regions are merged, and the overlapping region is drawn again by drawing the bounding box. A method of generating an obstacle prediction model, characterized in that the category is classified for each pixel by using a semantic segmentation network technique to minimize and analyze the area of the detected obstacle object.
상기 학습 데이터를 이용한 딥러닝 결과를 기초로 객체 탐지 알고리즘을 적용하여 조사 대상지 영상에서 지장물을 탐지하는 제1 연산과,
상기 탐지 결과에 시맨틱 세그멘테이션 네트워크 기반의 알고리즘을 적용하여 제1 세그멘테이션 영역을 생성하는 제2 연산과,
상기 제1 세그멘테이션 영역을 지장물의 형태에 맞추어 로테이션함으로써 제2 세그멘테이션 영역을 생성하는 제3 연산을 포함하여 구성되는 지장물 예측 모델 생성 방법.The method of claim 1, wherein the obstacle prediction model is
A first operation for detecting an obstacle in the image of the investigation target by applying an object detection algorithm based on the result of deep learning using the learning data;
a second operation for generating a first segmentation region by applying a semantic segmentation network-based algorithm to the detection result;
and a third operation of generating a second segmentation area by rotating the first segmentation area according to the shape of the obstacle.
상기 제1 세그멘테이션 영역에 모폴로지 연산을 적용하여 침식과 확장을 반복하면서 노이즈를 제거하는 모듈과,
상기 모폴로지 연산을 적용한 후에 변형된 영역들의 테두리를 도출하여 바운딩 박스(bounding box)를 그리는 모듈과,
상기 바운딩 박스에 기초하여 상기 제2 세그멘테이션 영역을 설정하는 모듈을 포함하여 구성되며,
상기 바운딩 박스를 그리는 모듈은 상기 바운딩 박스의 영역을 최소화하는 함수를 적용함으로써, 상기 제2 세그멘테이션(segmentation) 영역들이 지장물의 형태에 맞추어 회전하도록 하는 것을 특징으로 하는 지장물 예측 모델 생성 방법.4. The method of claim 3, wherein the third operation is
a module for removing noise while repeating erosion and expansion by applying a morphology operation to the first segmentation region;
A module for drawing a bounding box by deriving the borders of the deformed regions after applying the morphology operation;
and a module for setting the second segmentation area based on the bounding box,
The method for generating an obstacle prediction model, characterized in that the module for drawing the bounding box rotates the second segmentation regions according to the shape of the obstacle by applying a function that minimizes the area of the bounding box.
상기 획득한 영상을 미리 정해진 범위 내의 중첩을 허용하도록 일정한 크기로 분할하고, 상기 분할된 영상 내의 지장물을 탐지하여 외곽선을 설정하고 미리 정해진 카테고리로 분류하고 라벨링하여 학습데이터를 구축하는 학습데이터 구축부와,
상기 학습 데이터에 기초하여 시맨틱 세그멘테이션(Semantic Segmentation)을 응용한 지장물 예측 모델을 생성하는 지장물 예측모델 생성부를 포함하되,
상기 지장물 예측 모델 생성부는
상기 학습데이터 구축부에서 분할된 채로 탐지된 지장물 객체에 모폴로지 연산을 적용하여 변형된 영역의 테두리를 도출하여 바운딩 박스를 그리고, OpenCV 이미지처리 라이브러리를 활용하여 바운딩 박스 영역을 최소화하는 함수를 적용하여 바운딩 박스가 회전하는 효과를 내면서 지장물의 모양에 맞게 상기 바운딩 박스의 테두리를 완성함으로써 분할된 지장물을 하나의 객체로 통합하고, 인접 영역을 병합하고 다시 바운딩 박스를 그림으로써 중첩된 영역을 최소화하고, 탐지된 지장물 객체의 면적분석을 위하여 시맨틱 세그멘테이션 네트워크 기법을 활용하여 픽셀별로 카테고리를 분류하는 것을 특징으로 하는 지장물 예측 모델 생성장치.An image acquisition unit that acquires a land image taken from the air;
A learning data construction unit that divides the acquired image into a certain size to allow overlap within a predetermined range, detects an obstacle in the divided image, sets an outline, classifies and labels it into a predetermined category, and builds learning data Wow,
Including an obstacle prediction model generator for generating an obstacle prediction model to which semantic segmentation is applied based on the learning data,
The obstacle prediction model generation unit
By applying a morphological operation to the obstacle object detected as being divided in the learning data construction unit, the boundary of the deformed area is drawn to draw a bounding box, and a function to minimize the bounding box area using the OpenCV image processing library is applied. By completing the border of the bounding box according to the shape of the obstacle while creating the effect of rotating the bounding box, the divided obstacles are integrated into one object, and the overlapping region is minimized by merging adjacent regions and drawing the bounding box again. , An obstacle prediction model generating apparatus, characterized in that the category is classified by pixel by using a semantic segmentation network technique for area analysis of the detected obstacle object.
상기 학습 데이터를 이용한 딥러닝 결과를 기초로 객체 탐지 알고리즘을 적용하여 조사 대상지 영상에서 지장물을 탐지하는 제1 연산과,
상기 탐지 결과에 시맨틱 세그멘테이션 네트워크 기반의 알고리즘을 적용하여 제1 세그멘테이션 영역을 생성하는 제2 연산과,
상기 제1 세그멘테이션 영역을 지장물의 형태에 맞추어 로테이션함으로써 제2 세그멘테이션 영역을 생성하는 제3 연산을 포함하여 구성되는 지장물 예측 모델 생성장치.The method of claim 6, wherein the obstacle prediction model is
A first operation for detecting an obstacle in the image of the investigation target by applying an object detection algorithm based on the result of deep learning using the learning data;
a second operation for generating a first segmentation region by applying a semantic segmentation network-based algorithm to the detection result;
and a third operation for generating a second segmentation area by rotating the first segmentation area according to the shape of the obstacle.
상기 제1 세그멘테이션 영역에 모폴로지 연산을 적용하여 침식과 확장을 반복하면서 노이즈를 제거하는 모듈과,
상기 모폴로지 연산을 적용한 후에 변형된 영역들의 테두리를 도출하여 바운딩 박스(bounding box)를 그리는 모듈과,
상기 바운딩 박스에 기초하여 상기 제2 세그멘테이션 영역을 설정하는 모듈을 포함하되,
상기 바운딩 박스를 그리는 모듈은 상기 바운딩 박스의 영역을 최소화하는 함수를 적용함으로써, 상기 제2 세그멘테이션(segmentation) 영역들이 지장물의 형태에 맞추어 회전하는 것을 특징으로 하는 지장물 예측 모델 생성장치.The method of claim 8, wherein the third operation is
a module for removing noise while repeating erosion and expansion by applying a morphology operation to the first segmentation region;
A module for drawing a bounding box by deriving the borders of the deformed regions after applying the morphology operation;
A module for setting the second segmentation area based on the bounding box,
The obstacle prediction model generating apparatus, characterized in that the module for drawing the bounding box rotates the second segmentation regions according to the shape of the obstacle by applying a function that minimizes the region of the bounding box.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20190162371 | 2019-12-09 | ||
| KR1020190162371 | 2019-12-09 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210072689A KR20210072689A (en) | 2021-06-17 |
| KR102406150B1 true KR102406150B1 (en) | 2022-06-08 |
Family
ID=76603962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200140906A KR102406150B1 (en) | 2019-12-09 | 2020-10-28 | Method for creating obstruction detection model using deep learning image recognition and apparatus thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102406150B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102689062B1 (en) | 2023-12-22 | 2024-07-26 | (주)띵스파이어 | device and method for verifying a reliability of forestation carbon credits through satellite image analysis |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230016315A (en) | 2021-07-26 | 2023-02-02 | (주)쓰리디랩스 | A method and apparatus for automatically generating deep learning training data for building area detection using aerial images and digital maps |
| KR102570984B1 (en) * | 2021-08-26 | 2023-08-24 | 한국로봇융합연구원 | Robot controlling apparatus and controlling method of robot |
| CN114721404B (en) * | 2022-06-08 | 2022-09-13 | 超节点创新科技(深圳)有限公司 | Obstacle avoidance method, robot and storage medium |
| CN115100531A (en) * | 2022-07-26 | 2022-09-23 | 复旦大学 | Unmanned aerial vehicle vision-based illegal construction inspection and measurement method and system |
| CN116012708A (en) * | 2023-01-03 | 2023-04-25 | 兰州大学 | Plastic greenhouse rapid detection method based on remote sensing image |
| CN116403132B (en) * | 2023-06-08 | 2023-08-18 | 江西省公路科研设计院有限公司 | Ground object identification method for generating symptom ground removal table based on image and machine algorithm |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101389126B1 (en) * | 2013-08-07 | 2014-04-25 | (주) 지오씨엔아이 | Method for levee mapping using lidar data and orthophotograph |
| KR101496317B1 (en) | 2014-11-25 | 2015-03-03 | (주)그린공간정보 | Correcting method for the drawing image by modifing the ground features location in photographing image |
| JP2016176697A (en) * | 2015-03-18 | 2016-10-06 | 株式会社リコー | Distance measurement device, distance measurement program, method for distance measurement, and vehicle |
| US20170076438A1 (en) * | 2015-08-31 | 2017-03-16 | Cape Analytics, Inc. | Systems and methods for analyzing remote sensing imagery |
| KR101984259B1 (en) | 2018-08-31 | 2019-05-30 | (주)엔젤스윙 | Method and device for making a topographic map |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9818048B2 (en) * | 2015-01-19 | 2017-11-14 | Ebay Inc. | Fine-grained categorization |
| KR102053906B1 (en) * | 2017-08-31 | 2019-12-10 | 서울시립대학교 산학협력단 | Methods and system for real-time supervised learning using geo-spatial information |
| KR102553327B1 (en) * | 2018-04-13 | 2023-07-10 | 삼성전자주식회사 | Method of image proccessing, Computer readable storage medium of recording the method and image processing apparatus |
-
2020
- 2020-10-28 KR KR1020200140906A patent/KR102406150B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101389126B1 (en) * | 2013-08-07 | 2014-04-25 | (주) 지오씨엔아이 | Method for levee mapping using lidar data and orthophotograph |
| KR101496317B1 (en) | 2014-11-25 | 2015-03-03 | (주)그린공간정보 | Correcting method for the drawing image by modifing the ground features location in photographing image |
| JP2016176697A (en) * | 2015-03-18 | 2016-10-06 | 株式会社リコー | Distance measurement device, distance measurement program, method for distance measurement, and vehicle |
| US20170076438A1 (en) * | 2015-08-31 | 2017-03-16 | Cape Analytics, Inc. | Systems and methods for analyzing remote sensing imagery |
| KR101984259B1 (en) | 2018-08-31 | 2019-05-30 | (주)엔젤스윙 | Method and device for making a topographic map |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102689062B1 (en) | 2023-12-22 | 2024-07-26 | (주)띵스파이어 | device and method for verifying a reliability of forestation carbon credits through satellite image analysis |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210072689A (en) | 2021-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102406150B1 (en) | Method for creating obstruction detection model using deep learning image recognition and apparatus thereof | |
| US10592780B2 (en) | Neural network training system | |
| Hong et al. | Synthetic data generation using building information models | |
| Xu et al. | Segmentation of building roofs from airborne LiDAR point clouds using robust voxel-based region growing | |
| US20120093411A1 (en) | Active Segmentation for Groups of Images | |
| Chen et al. | 3D photogrammetry point cloud segmentation using a model ensembling framework | |
| Zhou et al. | Super-segments based classification of 3D urban street scenes | |
| US11861843B2 (en) | System and method for object analysis | |
| US11341183B2 (en) | Apparatus and method for searching for building based on image and method of constructing building search database for image-based building search | |
| CN113554661A (en) | Integrated interactive image segmentation | |
| Kukolj et al. | Road edge detection based on combined deep learning and spatial statistics of LiDAR data | |
| Keyvanfar et al. | Performance comparison analysis of 3D reconstruction modeling software in construction site visualization and mapping | |
| Park et al. | Estimating the camera direction of a geotagged image using reference images | |
| US20240265630A1 (en) | System and method for 3d modeling | |
| Yang et al. | Point cloud semantic segmentation of grotto scenes using the knowledge-guided deep learning method | |
| Amirkolaee et al. | Convolutional neural network architecture for digital surface model estimation from single remote sensing image | |
| Leberl et al. | Recognizing cars in aerial imagery to improve orthophotos | |
| Vu et al. | Adaptive ground segmentation method for real-time mobile robot control | |
| Zhang et al. | Procedural roof generation from a single satellite image | |
| Ou et al. | Building an annotated damage image database to support AI-assisted hurricane impact analysis | |
| Ro et al. | Scalable approach to create annotated disaster image database supporting AI-driven damage assessment | |
| Jiao et al. | Individual Building Rooftop and Tree Crown Segmentation from High‐Resolution Urban Aerial Optical Images | |
| Wang et al. | Laser-based online sliding-window approach for UAV loop-closure detection in urban environments | |
| Doulamis | Automatic 3D reconstruction from unstructured videos combining video summarization and structure from motion | |
| Wang | Understanding high resolution aerial imagery using computer vision techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |