KR102204046B1 - Correcting system restoring dead zone on the image - Google Patents

Correcting system restoring dead zone on the image Download PDF

Info

Publication number
KR102204046B1
KR102204046B1 KR1020200104546A KR20200104546A KR102204046B1 KR 102204046 B1 KR102204046 B1 KR 102204046B1 KR 1020200104546 A KR1020200104546 A KR 1020200104546A KR 20200104546 A KR20200104546 A KR 20200104546A KR 102204046 B1 KR102204046 B1 KR 102204046B1
Authority
KR
South Korea
Prior art keywords
image
shape
edited
module
ground
Prior art date
Application number
KR1020200104546A
Other languages
Korean (ko)
Inventor
한춘득
남양윤
김창훈
한영섭
Original Assignee
(주)동광지엔티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)동광지엔티 filed Critical (주)동광지엔티
Priority to KR1020200104546A priority Critical patent/KR102204046B1/en
Application granted granted Critical
Publication of KR102204046B1 publication Critical patent/KR102204046B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/001
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/487Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003Maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Library & Information Science (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to an image correction processing system having a blind spot supplementation function. According to the present invention, the image correction processing system having a blind spot supplementation function comprises: an image DB; a cadastral map DB for storing cadastral map information; a ground object information DB; a correction target detection module; an image analysis module; an object image extraction module; an editing module for generating a first edited image and a second edited image; and an auxiliary image reinforcement module. According to the present invention, a complete image can be generated.

Description

사각지대 보완 기능을 갖는 영상이미지 보정 처리시스템{CORRECTING SYSTEM RESTORING DEAD ZONE ON THE IMAGE}Image correction processing system with blind spot compensation function {CORRECTING SYSTEM RESTORING DEAD ZONE ON THE IMAGE}

본 발명은 촬영을 통해 수집한 다수의 촬영이미지에서 사각지대를 탐색하고 편집하여 영상지도 또는 수치지도 제작을 위한 영상이미지를 제작하고 영상이미지에서 사각지대의 범위와 위치를 확인하고 보완하는 사각지대 보완 기능을 갖는 영상이미지 보정 처리시스템에 관한 것이다.The present invention searches for and edits a blind spot from a plurality of photographed images collected through photographing to create a video image for producing a video map or a digital map, and supplements the blind spot to check and supplement the range and location of the blind spot in the video image. It relates to a video image correction processing system having a function.

영상지도 또는 수치지도 제작을 위한 도화의 기준 이미지인 영상은 항공촬영 등을 통해 수집된다. 이렇게 수집된 촬영이미지는 기준점을 기준으로 대상을 분류하고 중첩 및 편집해서 영상이미지를 제작한다. 영상이미지는 지형적 구조와 건축물 또는 각종 식생물 등의 지상물에 의해 사각지대(a2; 도 1 참조) 및 음영지대(이하 '사각지대')가 발생하고, 동일한 지상물이라도 촬영 각도에 따라 사각지대(a2)의 범위는 다양해질 수 있다.An image, which is a reference image for drawing for the production of an image map or digital map, is collected through aerial photography. The collected images are classified based on the reference point, overlapped, and edited to produce a video image. In the video image, blind spots (a2; see Fig. 1) and shadow zones (hereinafter,'blind spots') are generated by topographical structures and ground objects such as buildings or various vegetation, and even the same ground objects are blind spots according to the shooting angle. The scope of (a2) can be varied.

그런데 사각지대(a2)는 영상이미지에서 특정 구역을 시각적으로나 영상적으로 정확하게 파악할 수 없게 하므로, 사각지대(a2)를 갖는 영상이미지는 영상지도 또는 수치지도 제작에 그대로 활용할 수 없었다. 결국, 사각지대(a2)에 대한 현장 조사를 별도로 진행해서 사각지대(a2)의 위치좌표와 지상물 등의 형상 및 점유 범위 등을 파악하고 영상지도 또는 수치지도 제작에 활용하였다.However, since the blind spot (a2) makes it impossible to accurately identify a specific area visually or visually in the video image, the video image having the blind spot (a2) could not be used as it is for the production of an image map or a digital map. Eventually, a field survey was conducted on the blind spot (a2) separately, and the location coordinates of the blind spot (a2) and the shape and occupied range of ground objects were identified and utilized in the production of image maps or digital maps.

하지만, 이러한 제작 방법은 비용적으로나 업무적으로 부담이 있었고, 다수의 사각지대(a2)를 일일이 현장 조사해야 하므로 시간적으로도 부담이 적지 않았다.However, this production method was burdensome in terms of cost and business, and the burden was not small in terms of time as a number of blind spots (a2) had to be inspected on-site.

결국, 사각지대(a2)를 좀 더 신속히 파악하고 보완 및 보정할 수 있는 기술이 절실하게 요구되었다.In the end, there is an urgent need for a technology that can more quickly identify the blind spot (a2), supplement and correct it.

선행기술문헌 1. 특허등록번호 제10-1938402호(2019.01.15 공고)Prior Art Document 1. Patent Registration No. 10-1938402 (announced on January 15, 2019)

이에 본 발명은 상기의 문제를 해소하기 위한 것으로, 영상이미지에서 사각지대를 파악하여 보완하고 지도 생성을 위한 기초자료로서 완전한 영상이미지를 생성시킬 수 있는 사각지대 보완 기능을 갖는 영상이미지 보정 처리시스템의 제공을 해결하고자 하는 과제로 한다.Accordingly, the present invention is to solve the above problem, and the image image correction processing system having a blind spot supplement function capable of identifying and supplementing the blind spot in an image image and generating a complete image image as basic data for map generation. Make it a task to solve the provision.

상기의 과제를 달성하기 위하여 본 발명은,In order to achieve the above object, the present invention,

다수의 촬영이미지가 GPS좌표에 맞춰 합성 편집된 영상이미지를 저장하는 영상DB; A video DB for storing video images synthesized and edited according to GPS coordinates;

GPS좌표에 맞춰 필지가 구분 표시된 지적도 정보를 저장하는 지적도DB;A cadastral map DB that stores cadastral map information in which parcels are classified according to GPS coordinates;

지상물의 GPS좌표값과 제원데이터를 저장하는 지상물정보DB; Ground object information DB for storing GPS coordinate values and specification data of ground objects;

상기 영상DB에서 검색된 영상이미지의 수집 고도에 비례해서 영상이미지의 보정대상 범위를 지정하는 보정대상 검출모듈; A correction target detection module for designating a correction target range of the image image in proportion to the collection height of the image image retrieved from the image DB;

상기 영상이미지에서 보정대상 범위 이내의 픽셀들의 RGB값을 확인하여 지정된 대표색도 군에 속하는 색도의 픽셀의 RGB값을 해당 대표색도로 통일시키고, 상기 대표색도로 통일된 픽셀들의 위치값을 확인하여 동일한 RGB값을 갖는 픽셀들의 군집 형태를 딥러닝을 통해 정형화하고, 상기 정형화된 군집 형태를 독립된 형상이미지로 설정하고, 서로 접하는 3개 이상의 형상이미지의 집합체를 객체이미지로 지정하며, 상기 객체이미지의 형상이미지 중에서 면적이 가장 큰 형상이미지를 평면형상으로 지정하고, 다른 형상이미지는 측면형상으로 지정하는 이미지 분석모듈; In the image image, the RGB values of pixels within the range to be corrected are checked, and the RGB values of the pixels of the chromaticity belonging to the designated representative chromaticity group are unified with the corresponding representative chromaticity, and the position values of the pixels unified with the representative chromaticity are checked. The cluster shape of pixels having RGB values is standardized through deep learning, the standardized cluster shape is set as an independent shape image, a collection of three or more shape images in contact with each other is designated as an object image, and the shape of the object image An image analysis module that designates a shape image having the largest area among the images as a flat shape, and designates another shape image as a side shape;

상기 객체이미지의 측면형상 중 평면형상과 미접하는 객체 외곽선이 보정대상 범위에 기준비율 이상 위치하고, 상기 평면형상과 일 측면형상의 전체 폭 대비 일 측면형상의 폭이 기준치 이내이면, 해당 객체이미지를 보정대상으로 지정하는 객체이미지 추출모듈;If the outline of the object that is not in contact with the planar shape among the side shapes of the object image is located at a reference ratio or more in the range to be corrected, and the width of one side shape relative to the total width of the flat shape and one side shape is within the reference value, the object image is corrected. An object image extraction module designated as a target;

상기 객체 외곽선에 평면형상이 맞춰지며 측면형상이 삭제된 제1편집이미지를 생성하고, 상기 객체이미지의 GPS좌표값에 해당하는 지상물의 제원데이터를 지상물정보DB에서 검색해서 해당 지상물과 촬영지점 간의 거리값과 촬영 고도와 지상물의 높이값과 촬영지점의 GPS좌표값과 지상물의 GPS좌표값을 확인하고, 상기 거리값과 촬영 고도와 높이값과 촬영지점의 GPS좌표값과 지상물의 GPS좌표값에 비례해서 제1편집이미지가 벡터량의 비율로 확장된 제2편집이미지를 생성하고, 상기 영상이미지의 보정대상 범위에 해당하는 지적도 정보를 지적도DB에서 검색하여 지적도 이미지를 보정대상 범위에 오버랩하고, 상기 지적도 이미지의 필지 경계선에 맞춰서 영상이미지를 필지 별로 이미지 삭제하며 제2편집이미지를 해당 삭제영역에 합성하여 편집영상이미지를 생성하는 편집모듈; 및A first edited image is created in which the plane shape is matched to the object outline and the side shape is deleted, and the surface object and the photographing point by searching the ground object specification data corresponding to the GPS coordinate value of the object image in the ground object information DB. The distance value between the distance, the shooting altitude, the height of the ground object, the GPS coordinate value of the shooting point and the GPS coordinate value of the ground object, and the distance value, the shooting altitude and height value, the GPS coordinate value of the shooting point and the GPS coordinate value of the ground object A second edited image in which the first edited image is expanded in proportion to the vector amount is generated, and cadastral map information corresponding to the correction target range of the video image is retrieved from the cadastral map DB, and the cadastral map image is overlapped with the correction target range, An editing module for generating an edited video image by deleting the video image for each lot in line with the parcel boundary of the cadastral map image and synthesizing the second edited image to a corresponding deletion area; And

상기 편집영상이미지의 삭제영역에서 제2편집이미지를 제외한 구간에 나무이미지, 도로이미지와 출입구 이미지 중 선택된 하나 이상을 합성하여 영상지도이미지를 생성하는 보조이미지 보강모듈;An auxiliary image reinforcement module for generating an image map image by synthesizing at least one selected from a tree image, a road image, and an entrance image in a section other than the second edit image in the deletion area of the edited image image;

을 포함하는 사각지대 보완 기능을 갖는 영상이미지 보정 처리시스템이다.It is an image image correction processing system having a blind spot supplement function including.

상기의 본 발명은, 영상이미지에서 사각지대를 파악하여 제 형상으로 보완하고 지도 생성을 위한 기초자료로서 완전한 영상이미지를 생성시킬 수 있는 효과가 있다.The present invention has an effect of recognizing a blind spot in an image image, supplementing it with a shape, and generating a complete image image as basic data for generating a map.

도 1은 본 발명에 따른 보정 처리시스템이 보정하는 영상이미지의 수집 모습을 개략적으로 도시한 도면이고,
도 2는 본 발명에 따른 보정 처리시스템에 구성된 모듈의 일실시 예를 도시한 블록도이고,
도 3은 본 발명에 따른 보정 처리시스템의 동작 프로세스를 순차로 보인 플로차트이고,
도 4는 본 발명에 따른 보정 처리시스템이 객체이미지의 보정 대상 여부를 검출하기 위한 기준을 보인 도면이고,
도 5는 본 발명에 따른 보정 처리시스템이 검색한 영상이미지 구역의 지적도 모습을 도시한 도면이고,
도 6은 편집 이전의 영상이미지에 지적도를 합성한 경우를 개략적으로 예시한 도면이고,
도 7은 본 발명에 따른 보정 처리시스템이 보정 대상 객체이미지가 위치한 필지를 영상이미지에서 삭제한 모습을 보인 이미지이고,
도 8과 도 9는 촬영각도별 상기 객체이미지의 평면형상 변화를 개략적으로 도시한 도면이고,
도 10은 본 발명에 따른 보정 처리시스템이 지정 비율에 맞춰 평면형상을 보정하는 모습을 개략적으로 도시한 도면이고,
도 11은 본 발명에 따른 보정 처리시스템이 지적구역별로 객체이미지의 평면형상을 합성한 모습을 개략적으로 도시한 도면이고,
도 12는 도 11을 영상이미지로 보인 이미지이다.
1 is a diagram schematically showing a state of collection of an image image corrected by a correction processing system according to the present invention,
2 is a block diagram showing an embodiment of a module configured in the correction processing system according to the present invention,
3 is a flowchart sequentially showing the operation process of the correction processing system according to the present invention,
4 is a diagram showing a reference for detecting whether an object image is to be corrected by the correction processing system according to the present invention;
5 is a diagram showing an cadastral view of an image image area searched by the correction processing system according to the present invention,
6 is a diagram schematically illustrating a case of synthesizing an cadastral map to a video image before editing,
7 is an image showing a state in which the correction processing system according to the present invention deletes the parcel where the object image to be corrected is located from the image image,
8 and 9 are diagrams schematically showing a change in the planar shape of the object image for each photographing angle,
10 is a diagram schematically showing a state in which the correction processing system according to the present invention corrects the planar shape according to a specified ratio,
11 is a diagram schematically showing a state in which the correction processing system according to the present invention synthesizes the planar shape of object images for each cadastral area,
12 is an image showing FIG. 11 as a video image.

상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 출원에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다.The features and effects of the present invention described above will become apparent through the following detailed description in connection with the accompanying drawings, whereby those of ordinary skill in the technical field to which the present invention pertains can easily implement the technical idea of the present invention. There will be. Since the present invention can apply various changes and have various forms, specific embodiments will be illustrated in the drawings and described in detail in the text. However, this is not intended to limit the present invention to a specific disclosed form, and it should be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention. The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention.

이하, 본 발명을 구체적인 내용이 첨부된 도면에 의거하여 상세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 보정 처리시스템이 보정하는 영상이미지의 수집 모습을 개략적으로 도시한 도면이고, 도 2는 본 발명에 따른 보정 처리시스템에 구성된 모듈의 일실시 예를 도시한 블록도이다.FIG. 1 is a diagram schematically showing a collection of image images corrected by a correction processing system according to the present invention, and FIG. 2 is a block diagram showing an embodiment of a module configured in the correction processing system according to the present invention.

도 1과 도 2를 참조하면, 본 발명의 보정 처리시스템은, 다수의 촬영이미지가 GPS좌표에 맞춰 합성 편집된 영상이미지(M1; 도 5 참조)를 저장하는 영상DB(11); GPS좌표에 맞춰 필지(Z1, Z2; 도 5 참조)가 구분 표시된 지적도 정보를 저장하는 지적도DB(12); 지상물(B1 내지 B5)의 GPS좌표값과 제원데이터를 저장하는 지상물정보DB(13); 영상DB(11)에서 검색된 영상이미지(M1)의 수집 고도에 비례한 보정대상 범위를 해당 영상이미지(M1)에서 지정하는 보정대상 검출모듈(14); 영상이미지(M1)에서 보정대상 범위 이내의 픽셀들의 RGB값을 확인하여 지정된 대표색도 군에 속하는 색도의 픽셀의 RGB값을 해당 대표색도로 통일시키고, 상기 대표색도로 통일된 픽셀들의 위치값을 확인하여 동일한 RGB값을 갖는 픽셀들의 군집 형태를 딥러닝을 통해 정형화하고, 상기 정형화된 군집 형태를 독립된 형상이미지로 설정하고, 서로 접하는 3개 이상의 형상이미지의 집합체를 객체이미지(BM, BM'; 도 4 참조)로 지정하며, 객체이미지(BM, BM')의 형상이미지 중에서 면적이 가장 큰 형상이미지를 평면형상(P1, P1'; 도 4 참조)으로 지정하고, 다른 형상이미지는 측면형상(P2, P2', P3, P3')으로 지정하는 이미지 분석모듈(15); 객체이미지(BM, BM')의 측면형상(P2, P2', P3, P3') 중 평면형상(P1, P1')과 미접하는 객체 외곽선(UL1, UL2; 도 4 참조)이 보정대상 범위에 기준비율 이상 위치하면 해당 객체이미지(BM, BM')를 보정대상으로 지정하는 객체이미지 추출모듈(16); 객체 외곽선(UL1, UL2)에 평면형상(P1, P1')이 맞춰지며 측면형상(P2, P2', P3, P3')이 삭제된 제1편집이미지를 생성하고, 객체이미지(BM, BM')의 GPS좌표값에 해당하는 지상물(B1 내지 B5)의 제원데이터를 지상물정보DB(13)에서 검색해서 해당 지상물(B1 내지 B5)과 촬영지점 간의 거리값과 지상물의 높이값을 확인하고, 상기 거리값과 높이값에 비례해서 제1편집이미지(MM)가 벡터량의 비율로 확장된 제2편집이미지(MM')를 생성하고, 영상이미지(M1)의 보정대상 범위에 해당하는 지적도 정보를 지적도DB(12)에서 검색하여 지적도 이미지(M2; 도 5 참조)를 보정대상 범위에 오버랩하고, 지적도 이미지(M2)의 필지 경계선(BL; 도 5 참조))에 맞춰서 영상이미지(M1)를 필지(Z1, Z2) 별로 이미지 삭제하며 제2편집이미지(MM')를 해당 삭제영역에 합성하는 편집모듈(17); 상기 삭제영역에서 제2편집이미지(MM')를 제외한 구간에 나무이미지(미도시함), 도로이미지(미도시함)와 출입구 이미지(미도시함) 중 선택된 하나 이상을 합성하는 보조이미지 보강모듈(18);을 포함한다.1 and 2, the correction processing system of the present invention comprises: an image DB 11 for storing an image image M1 (refer to FIG. 5) synthesized and edited according to a GPS coordinate; A cadastral map DB 12 for storing cadastral map information on which parcels (Z1, Z2; see Fig. 5) are divided and displayed according to GPS coordinates; A ground object information DB 13 for storing GPS coordinate values and specification data of the ground objects B1 to B5; A correction target detection module 14 that designates a range to be corrected in proportion to the collection height of the image image M1 retrieved from the image DB 11 in the image image M1; In the image image (M1), the RGB values of the pixels within the range to be corrected are checked, and the RGB values of the pixels of the chromaticity belonging to the designated representative chromaticity group are unified with the corresponding representative chromaticity, and the location values of the pixels unified with the representative chromaticity are checked. Thus, a cluster shape of pixels having the same RGB value is standardized through deep learning, the standardized cluster shape is set as an independent shape image, and a collection of three or more shape images in contact with each other is an object image (BM, BM'; 4), and the shape image with the largest area among the shape images of the object image (BM, BM') is designated as the flat shape (P1, P1'; see Fig. 4), and the other shape image is the side shape (P2). , An image analysis module 15 designated as P2', P3, P3'); Of the side shapes (P2, P2', P3, P3') of the object image (BM, BM'), the object outlines (UL1, UL2; see Fig. 4) that are not in contact with the planar shapes (P1, P1') are within the range to be corrected. An object image extraction module 16 for designating a corresponding object image (BM, BM') as a correction target if it is positioned above the reference ratio; Create a first edited image in which the flat shape (P1, P1') is aligned with the object outline (UL1, UL2) and the side shape (P2, P2', P3, P3') is deleted, and the object image (BM, BM') ) Of the ground object (B1 to B5) corresponding to the GPS coordinate value of the ground object (B1 to B5) is searched in the ground object information DB (13) to check the distance value between the corresponding ground object (B1 to B5) and the shooting point and the height value of the ground object And, in proportion to the distance value and the height value, a second edited image (MM') in which the first edited image (MM) is expanded at a ratio of the vector amount is generated, and a cadastral map corresponding to the correction target range of the video image (M1) The information is retrieved from the cadastral map DB 12, overlaps the cadastral map image (M2; see Fig. 5) with the range to be corrected, and matches the parcel boundary (BL; see Fig. 5) of the cadastral map image M2) to the image image M1. An editing module 17 that deletes the image for each parcel (Z1, Z2) and combines the second edited image (MM') into a corresponding deletion area; An auxiliary image reinforcement module that combines at least one selected from a tree image (not shown), a road image (not shown), and an entrance image (not shown) in the section excluding the second edited image (MM') in the deletion area (18); includes.

본 발명에 따른 보정 처리시스템의 구성요소를 좀 더 구체적으로 설명하면, 영상DB(11)는 영상지도의 배경을 이루는 통상의 영상이미지(M1)를 저장한다. 영상이미지(M1)는 드론 등의 항공기(D)가 항공 촬영해서 수집한 다수의 촬영이미지를 공지된 이미지 편집 프로세스에 따라 GPS좌표에 맞춰서 합성 및 편집한 것이다. 촬영이미지를 기반으로 한 영상이미지(MI) 생성 기술은 이미 공지의 기술이므로 여기서는 이에 대한 구체적인 설명은 생략한다.In more detail, the components of the correction processing system according to the present invention will be described in more detail, and the image DB 11 stores a general image image M1 forming a background of an image map. The video image M1 is a composite and edited image of a plurality of photographed images collected by aerial photographing by an aircraft D such as a drone according to the GPS coordinates according to a known image editing process. Since the image image (MI) generation technology based on the photographed image is a known technology, a detailed description thereof will be omitted here.

지적도DB(12)는 GPS좌표에 맞춰 필지(Z1, Z2; 도 5 참조)가 구분 표시된 지적도 정보를 저장한다. 지적도 정보는 GPS좌표값과 지적도 이미지(M2)를 포함하므로, GPS좌표값을 이용해서 해당 구간의 필지(Z1, Z2)를 검색하고 모니터를 통해 출력시킬 수 있다.The cadastral map DB 12 stores cadastral map information in which parcels (Z1, Z2; see Fig. 5) are classified and displayed according to GPS coordinates. Since the cadastral map information includes the GPS coordinate value and the cadastral map image (M2), the parcels (Z1, Z2) of the corresponding section can be searched using the GPS coordinate value and displayed through the monitor.

지상물정보DB(13)는 지상물(B1 내지 B5)의 GPS좌표값과 제원데이터를 저장한다. 영상이미지(M1)에 게시된 지상물 이미지는 지상에 실재하는 건축물 및 구조물 등의 지상물(B1 내지 B5)이므로, 실재 위치값인 GPS좌표값과, 지상물의 높이, 층수, 폭, 명칭 등의 제원데이터를 구성한다. 따라서 영상이미지(M1)에 게시된 해당 지상물 이미지별로 GPS좌표값과 제원데이터가 링크되고, 상기 GPS좌표값과 제원데이터는 지상물정보DB(13)에 저장된다.The ground object information DB 13 stores GPS coordinate values and specification data of the ground objects B1 to B5. Since the ground object image posted on the video image (M1) is ground objects (B1 to B5) such as buildings and structures that exist on the ground, the actual position value of the GPS coordinate value and the height, number of floors, width, name, etc. Compose specification data. Accordingly, the GPS coordinate value and the specification data are linked for each corresponding ground object image posted on the image image M1, and the GPS coordinate value and the specification data are stored in the ground object information DB 13.

보정대상 검출모듈(14)은, 영상DB(11)에서 검색된 영상이미지(M1)의 수집 고도에 비례해서 영상이미지(ML)의 보정대상 범위를 지정한다. 도 1과 같이 카메라는 화각에 따라 촬영범위가 제한되고, 촬영 항공기(D)의 고도에 따라 촬영범위가 제한된다. 즉, 화각이 크거나 촬영고도가 높을수록 촬영범위는 증가한다. 그런데 촬영범위에서도 가장자리로 갈수록 이미지의 변형과 왜곡이 증가하므로, 영상이미지(M1)에서 유효한 범위는 중앙부로 한정되고, 상기 중앙부에 위치한 지상물 이미지 중에서도 보정이 가능한 지상물 이미지는 극히 제한된다. 따라서 보정대상 검출모듈(14)은 영상이미지(M1)의 생성 기반인 촬영이미지의 수집 고도에 맞춰 지정된 비율에 따라 보정대상 범위가 설정된다. 상기 보정대상 범위가 설정되면, 후속 프로세스의 처리 대상은 해당 보정대상 범위로 제한되고, 상기 보정대상 범위 내에 위치하는 지상물 이미지로 처리 대상이 제한된다.The correction object detection module 14 designates a correction object range of the image image ML in proportion to the collection altitude of the image image M1 retrieved from the image DB 11. As shown in FIG. 1, the camera is limited in the shooting range according to the angle of view, and the shooting range is limited according to the altitude of the shooting aircraft D. In other words, the larger the angle of view or the higher the photographing altitude, the greater the photographing range. However, since the deformation and distortion of the image increases toward the edge of the shooting range, the effective range of the image image M1 is limited to the center, and the ground object image that can be corrected among the ground object images located at the center is extremely limited. Accordingly, the correction target detection module 14 sets the correction target range according to a specified ratio according to the collection altitude of the photographed image, which is the basis for the generation of the image image M1. When the range to be corrected is set, the target to be processed in the subsequent process is limited to the range to be corrected, and the target to be processed is limited to an image of a ground object located within the range to be corrected.

이미지 분석모듈(15)은, 영상이미지(M1)에서 보정대상 범위 이내의 픽셀들의 RGB값을 확인하여 지정된 대표색도 군에 속하는 색도의 픽셀의 RGB값을 해당 대표색도로 통일시키고, 상기 대표색도로 통일된 픽셀들의 위치값을 확인하여 동일한 RGB값을 갖는 픽셀들의 군집 형태를 딥러닝을 통해 정형화하고, 상기 정형화된 군집 형태를 독립된 형상이미지로 설정하고, 서로 접하는 3개 이상의 형상이미지의 집합체를 객체이미지(BM, BM'; 도 4 참조)로 지정하며, 객체이미지(BM, BM')의 형상이미지 중에서 면적이 가장 큰 형상이미지를 평면형상(P1, P1'; 도 4 참조)으로 지정하고, 다른 형상이미지는 측면형상(P2, P2', P3, P3')으로 지정한다. 이미지 분석모듈(15)은 보정대상 범위에 위치하는 픽셀들을 위치와 RGB값에 따라 분석해서 평면형상(P1, P1')과 측면형상(P2, P2', P3, P3')을 구성한 객체이미지(BM, BM')를 분류해 확인한다. 이에 대한 구체적인 설명은 프로차트를 설명하며 상세히 한다.The image analysis module 15 checks the RGB values of pixels within the range to be corrected in the image image M1 and unifies the RGB values of the pixels of the chromaticity belonging to the designated representative chromaticity group with the corresponding representative chromaticity. By checking the position values of unified pixels, the cluster form of pixels having the same RGB value is formalized through deep learning, the standardized cluster form is set as an independent shape image, and a collection of three or more shape images in contact with each other is an object. It is designated as an image (BM, BM'; see Fig. 4), and the shape image with the largest area among the shape images of the object image (BM, BM') is designated as a flat shape (P1, P1'; see Fig. 4), Other shape images are designated as side shapes (P2, P2', P3, P3'). The image analysis module 15 analyzes the pixels located in the range to be corrected according to the position and RGB value, and an object image (P1, P1') and side shape (P2, P2', P3, P3') BM, BM') are classified and confirmed. A detailed description of this will be described in detail by describing the pro chart.

객체이미지 추출모듈(16)은, 객체이미지(BM, BM')의 측면형상(P2, P2', P3, P3') 중 평면형상(P1, P1')과 미접하는 객체 외곽선(UL1, UL2; 도 4 참조)이 보정대상 범위에 기준비율 이상 위치하면 해당 객체이미지(BM, BM')를 보정대상으로 지정한다. 보정대상 검출모듈(14)이 검출한 보정대상 범위에는 객체이미지(BM, BM') 전체가 위치할 수도 있지만, 그 일부만이 위치할 수도 있다. 따라서 객체이미지 추출모듈(16)은 보정대상 범위에 대한 객체 외곽선(UL1, UL2)의 위치 정도를 기준으로 보정대상 여부를 판독한다. 이에 대한 구체적인 설명은 프로차트를 설명하며 상세히 한다.The object image extraction module 16 includes object outlines (UL1, UL2) that are not in contact with the planar shapes (P1, P1') of the side shapes (P2, P2', P3, P3') of the object images (BM, BM'); 4) if the reference ratio or more is located in the range to be corrected, a corresponding object image (BM, BM') is designated as a correction target. The entire object images BM and BM' may be located in the range of the target to be corrected detected by the target detection module 14, but only a part of the image may be located. Accordingly, the object image extraction module 16 reads whether or not to be corrected based on the degree of position of the object outlines UL1 and UL2 with respect to the range to be corrected. A detailed description of this will be described in detail by describing the pro chart.

편집모듈(17)은, 객체 외곽선(UL1, UL2)에 평면형상(P1, P1')이 맞춰지며 측면형상(P2, P2', P3, P3')이 삭제된 제1편집이미지를 생성하고, 객체이미지(BM, BM')의 GPS좌표값에 해당하는 지상물(B1 내지 B5)의 제원데이터를 지상물정보DB(13)에서 검색해서 해당 지상물(B1 내지 B5)과 촬영지점 간의 거리값과 지상물의 높이값을 확인하고, 상기 거리값과 높이값에 비례해서 제1편집이미지(MM)가 벡터량의 비율로 확장된 제2편집이미지(MM')를 생성하고, 영상이미지(M1)의 보정대상 범위에 해당하는 지적도 정보를 지적도DB(12)에서 검색하여 지적도 이미지(M2; 도 5 참조)를 보정대상 범위에 오버랩하고, 지적도 이미지(M2)의 필지 경계선(BL; 도 5 참조))에 맞춰서 영상이미지(M1)를 필지(Z1, Z2) 별로 이미지 삭제하며 제2편집이미지(MM')를 해당 삭제영역에 합성한다. 편집모듈(17)은 현장 정보 수집 및 재촬영 정보 수집 등의 추가 작업 없이도 지상물 이미지에서 촬영 각도에 의해 생성된 사각지대(a2)를 제거하며 영상이미지를 편집할 수 있게 하는 기술이다. 이를 위해 편집모듈(17)은 영상이미지(M1)에서 지상물 이미지의 주변 이미지, 즉 주차된 차량이미지, 나무 이미지, 벤치 이미지, 공원 이미지 등을 삭제하고 경사지게 촬영된 지상물 이미지를 편집하는 것이다. 이에 대한 구체적인 설명은 프로차트를 설명하며 상세히 한다.The editing module 17 generates a first edited image in which planar shapes (P1, P1') are aligned with object outlines (UL1, UL2) and side shapes (P2, P2', P3, P3') are deleted, The distance value between the ground object (B1 to B5) and the shooting point by searching the ground object information DB 13 for the specification data of the ground object (B1 to B5) corresponding to the GPS coordinate value of the object image (BM, BM') And the height value of the ground object are checked, and in proportion to the distance value and the height value, a second edited image (MM') in which the first edited image (MM) is expanded by the ratio of the vector amount is generated, and the image image (M1) is The cadastral map information corresponding to the range to be corrected is retrieved from the cadastral map DB 12, and the cadastral map image (M2; see Fig. 5) is overlapped with the correction target range, and the parcel border BL of the cadastral map image M2 (see Fig. 5)) In accordance with this, the image image M1 is deleted for each parcel (Z1, Z2), and the second edited image MM' is combined with the corresponding deletion area. The editing module 17 is a technology that removes the blind spot (a2) generated by the shooting angle from the ground object image without additional work such as collecting on-site information and collecting re-shooting information, and enables editing of a video image. To this end, the editing module 17 deletes the surrounding image of the ground object image, that is, a parked vehicle image, a tree image, a bench image, a park image, etc. from the video image M1, and edits the obliquely photographed ground object image. A detailed description of this will be described in detail by describing the pro chart.

보조이미지 보강모듈(18)은, 편집영상이미지(M3)의 삭제영역에서 제2편집이미지(MM')를 제외한 구간에 나무이미지(미도시함), 도로이미지(미도시함)와 출입구 이미지(미도시함) 중 선택된 하나 이상을 합성하여 영상지도이미지(M4)를 생성한다. 전술한 바와 같이 영상이미지(M1)는 지적도 이미지(M2)의 필지(Z1, Z2)에 맞춰 삭제 편집하므로, 제2편집이미지(MM')를 삭제영역에 합성해도 빈 공간이 존재한다. 따라서 보조이미지 보강모듈(18)은 상기 빈 공간에 보조이미지를 보강해서 편집영상이미지(M3)를 미장한다.The auxiliary image reinforcement module 18 includes a tree image (not shown), a road image (not shown) and an entrance image (not shown) in the section excluding the second edited image (MM') in the deleted area of the edited video image (M3). (Not shown) by synthesizing at least one selected to generate an image map image (M4). As described above, since the video image M1 is deleted and edited according to the parcels Z1 and Z2 of the cadastral map image M2, an empty space exists even when the second edited image MM' is combined with the deletion area. Accordingly, the auxiliary image reinforcement module 18 reinforces the auxiliary image in the empty space to plaster the edited image image M3.

참고로, 영상이미지(M1)를 필지(Z1, Z2)별로 모든 영상정보를 삭제하면 필지(Z1, Z2)에 위치하는 지상물의 입구 경로, 출구 경로 및 기타 가시할 수 있는 필요 정보들이 편집영상이미지(M3)에서 누락될 수 있다. 보조이미지 보강모듈(18)은 이를 보완하기 위해서 전술한 대로 보조이미지를 보강 편집하여 영상지도이미지(M4)를 제작한다.For reference, if you delete all the video information for each lot (Z1, Z2) from the video image (M1), the entrance route, the exit route and other visible necessary information of the ground objects located on the lot (Z1, Z2) are edited. It may be omitted from (M3). In order to supplement this, the auxiliary image reinforcement module 18 reinforces and edits the auxiliary image as described above to produce an image map image M4.

도 3은 본 발명에 따른 보정 처리시스템의 동작 프로세스를 순차로 보인 플로차트이고, 도 4는 본 발명에 따른 보정 처리시스템이 객체이미지의 보정 대상 여부를 검출하기 위한 기준을 보인 도면이고, 도 5는 본 발명에 따른 보정 처리시스템이 검색한 영상이미지 구역의 지적도 모습을 도시한 도면이고, 도 6은 편집 이전의 영상이미지에 지적도를 합성한 경우를 개략적으로 예시한 도면이고, 도 7은 본 발명에 따른 보정 처리시스템이 보정 대상 객체이미지가 위치한 필지를 영상이미지에서 삭제한 모습을 보인 이미지이고, 도 8과 도 9는 촬영각도별 상기 객체이미지의 평면형상 변화를 개략적으로 도시한 도면이고, 도 10은 본 발명에 따른 보정 처리시스템이 지정 비율에 맞춰 평면형상을 보정하는 모습을 개략적으로 도시한 도면이고, 도 11은 본 발명에 따른 보정 처리시스템이 지적구역별로 객체이미지의 평면형상을 합성한 모습을 개략적으로 도시한 도면이고, 도 12는 도 11을 영상이미지로 보인 이미지이다.3 is a flowchart sequentially showing the operation process of the correction processing system according to the present invention, and FIG. 4 is a diagram showing the criteria for detecting whether an object image is to be corrected by the correction processing system according to the present invention, and FIG. It is a diagram showing the state of the cadastral map of the image image area searched by the correction processing system according to the present invention, FIG. 6 is a diagram schematically illustrating a case of synthesizing the cadastral map to the image image before editing, and FIG. 7 It is an image showing the state that the parcel where the object image to be corrected is located has been deleted from the image image, and FIGS. 8 and 9 are diagrams schematically showing a change in the planar shape of the object image for each shooting angle, and FIG. 10 Is a diagram schematically showing a state in which the correction processing system according to the present invention corrects the planar shape according to a specified ratio, and FIG. 11 is a view in which the correction processing system according to the present invention synthesizes the planar shape of object images for each cadastral area. FIG. 12 is an image schematically showing FIG. 11 as an image image.

도 1 내지 도 12를 참조하면, 본 발명의 보정 처리시스템은 하기의 프로세스로 동작하여 영상지도이미지(M4)를 생성한다.1 to 12, the correction processing system of the present invention operates in the following process to generate an image map image M4.

S10; 보정대상 범위 지정 단계S10; Steps to specify the range to be corrected

보정대상 검출모듈(14)은, 작업자가 영상DB(11)에서 영상이미지(M1)를 검색하면 영상이미지(M1)를 구성한 촬영이미지의 수집 고도를 확인하고, 상기 수집 고도에 비례하여 지정된 비율에 맞춰서 영상이미지(M1)에 보정대상 범위를 지정한다.When the operator searches the image image M1 in the image DB 11, the correction target detection module 14 checks the collection altitude of the photographed images constituting the image image M1, and at a specified ratio in proportion to the collection altitude. According to this, the range to be corrected is designated in the video image M1.

보정대상 범위는 해당 영상이미지(M1)를 이루는 촬영이미지의 촬영 시점에 항공기(D)가 위치한 지점을 중심으로 하는 원형 구간이다.The range to be corrected is a circular section centered on the point where the aircraft D is located at the time of photographing the photographed image forming the corresponding image M1.

결국, 항공기(D)의 고도가 높을수록 보정대상 범위는 넓어진다. 그런데 영상이미지(M1) 제작을 위해 유효한 촬영이미지는 항공기(D)가 제한된 고도에 위치한 상태에서 수집한 촬영이미지로 한정되므로, 보정대상 검출모듈(14)이 영상이미지(M1)에서 지정하는 보정대상 범위는 영상이미지(M1)별로 큰 차이를 보이지 않는다.Consequently, the higher the altitude of the aircraft D, the wider the range to be corrected. However, since the effective photographed image for the production of the image image M1 is limited to the photographed image collected while the aircraft D is located at a limited altitude, the correction target detection module 14 is the target of correction specified in the image image M1. The range does not show much difference for each image image (M1).

S11; 영상이미지 분석 단계S11; Video image analysis stage

보정대상 검출모듈(14)이 검출한 보정대상 범위 내에 게시된 지상물 이미지를 이미지 분석모듈(15)이 픽셀의 위치값과 RGB값을 분석해서 지상물 이미지를 구성하는 평면형상(P1, P1'; 도 4 참조)과 측면형상(P2, P2', P3, P3')을 추출한다.The image analysis module 15 analyzes the position value and RGB value of the pixels on the ground object image posted within the range of the object to be corrected detected by the detection module 14 to be corrected to form a planar shape (P1, P1') ;See Fig. 4) and side shapes (P2, P2', P3, P3') are extracted.

항공기(D)에서 디지털 카메라로 수집된 촬영이미지는 영상이미지(M1)로 보정 및 편집된 후에 RGB값이 설정된 픽셀을 통해 모니터에 출력된다. 따라서 이미지 분석모듈(15)은 영상이미지(M1)를 모니터에 출력하기 위한 픽셀별로 위치값과 해당 RGB값을 확인한다. 지상물은 표면에 고유한 색상이 도색되므로, 이웃하는 다른 지상물과는 다른 색도를 갖는다. 그런데 동일한 색상으로 표면이 도색된 지상물이라도 지상물 이미지는 지상물의 표면 굴곡과 위치별 명암 차이 등에 의해 색도가 차이를 보일 수 있다. 즉, 동일한 지상물 이미지의 동일한 표면이라도 해당 픽셀에 설정된 RGB값에 다소 차이가 있을 수 있는 것이다.The photographed image collected by the digital camera in the aircraft D is corrected and edited into the image image M1, and then output to the monitor through the pixel set with the RGB value. Therefore, the image analysis module 15 checks the position value and corresponding RGB value for each pixel for outputting the image image M1 to the monitor. Ground objects are painted with a unique color on their surface, so they have a different chromaticity than other adjacent ground objects. However, even if the surface is painted in the same color, the image of the ground object may show a difference in chromaticity due to the surface curvature of the ground object and the difference in contrast by location. That is, even with the same surface of the same ground object image, there may be a slight difference in the RGB value set for the corresponding pixel.

따라서 이미지 분석모듈(15)은 지정된 대표색도 군에 속하는 색도로 설정된 픽셀의 RGB값을 해당 대표색도로 통일시킨다. 일 예를 들면, 임의의 대표색도군에 적색과 옅은 적색과 밝은 적색이 일군을 이루고 이중 대표색도가 적색인 경우, 임의의 픽셀에 설정된 RGB값이 밝은 적색으로 확인되면 해당 픽셀의 설정 RGB값을 해당 색도의 대표색도인 적색으로 RGB값을 변경한다.Accordingly, the image analysis module 15 unifies the RGB values of pixels set as chromaticities belonging to the designated representative chromaticity group with the corresponding representative chromaticity. For example, if red, pale red, and bright red form a group in an arbitrary representative chromaticity group, and the representative chromaticity is red, if the RGB value set in a random pixel is confirmed as bright red, the set RGB value of the pixel is determined. The RGB value is changed to red, which is the representative chromaticity of the corresponding chromaticity.

상기와 같이 RGB값이 대표색도로 통일되면, 이미지 분석모듈(15)은 픽셀들의 위치값을 확인하여 동일한 RGB값을 갖는 픽셀들의 군집 형태를 딥러닝을 통해 정형화한다. 그런데 특정 형태로 정형화된 피사체라도 촬영으로 수집된 지상물 이미지는 경계라인이 불분명해지거나 왜곡될 수 있다. 즉, 피사체가 사각형이라도 해당 피사체의 경계를 이루는 변은 직선 형태가 아닌 굴곡진 형태를 이룰 수 있는 것이다. 따라서 지상물 이미지가 다소 굴곡진 사각형이라도 이미지 분석모듈(15)은 딥러닝 기술을 통해 지상물 이미지를 4각형으로 정형화해서 독립된 형상이미지를 생성한다.When the RGB values are unified by the representative chromaticity as described above, the image analysis module 15 checks the position values of the pixels and formalizes the cluster form of pixels having the same RGB value through deep learning. However, even if a subject has been stereotyped in a specific shape, the boundary line may become unclear or distorted in the image of the ground object collected by photographing. In other words, even if the subject is a square, the sides that form the boundary of the subject may form a curved shape rather than a straight line. Therefore, even if the ground object image is a somewhat curved square, the image analysis module 15 generates an independent shape image by forming the ground object image into a square shape through deep learning technology.

계속해서 이미지 분석모듈(15)은 영상이미지(M1)를 분석해서 정형화된 형상이미지들 중 3개 이상의 형상이미지(P1, P2, P3)가 서로 접하는 집합체를 추출하고 해당 집합체를 객체이미지(BM, BM')로 지정한다. 영상이미지(M1)에서 확인할 수 있는 바와 같이, 건축물은 항공 촬영 시 다소 기울어지게 촬영되므로, 평면과 적어도 2개 이상의 측면이 서로 접하는 형태로 수집된다. 따라서, 3개 이상의 형상이미지(P1, P2, P3)가 서로 접하는 집합체는 지상물 이미지로 간주하고 객체이미지(BM, BM')로 지정한다.Subsequently, the image analysis module 15 analyzes the image image M1, extracts an aggregate of three or more shape images (P1, P2, P3) in contact with each other among the standardized shape images, and converts the aggregate into an object image (BM, P3). BM'). As can be seen from the video image M1, the structure is photographed slightly inclined during aerial photographing, so the plane and at least two or more sides are collected in contact with each other. Therefore, an aggregate of three or more shape images (P1, P2, P3) in contact with each other is regarded as a ground object image and is designated as an object image (BM, BM').

S12; 보정 대상 객체이미지 추출 단계S12; Step of extracting object image to be corrected

이미지 분석모듈(15)은 객체이미지(BM, BM')로 지정된 3개 이상의 형상이미지(P1, P2, P3)에서 면적이 가장 큰 형상이미지를 평면형상(P1, P1')으로 지정하고, 다른 형상이미지는 측면형상(P2, P2', P3, P3')으로 지정한다. The image analysis module 15 designates the shape image with the largest area from three or more shape images (P1, P2, P3) designated as object images (BM, BM') as flat shapes (P1, P1'), and The shape image is designated as the side shape (P2, P2', P3, P3').

계속해서 객체이미지 추출모듈(16)은, 평면형상(P1, P1')과 일 측면형상(P2, P2', P3, P3')의 전체 폭 대비 일 측면형상(P2, P2', P3, P3')의 폭이 기준치 이내이고, 객체이미지(BM, BM')의 측면형상(P2, P2', P3, P3') 중 평면형상(P1, P1')과 미접하는 객체 외곽선(UL1, UL2)이 보정대상 범위에 기준비율 이상 위치하면 해당 객체이미지(BM, BM')를 보정대상으로 지정한다. Subsequently, the object image extraction module 16, compared to the total width of the planar shape (P1, P1') and one side shape (P2, P2', P3, P3'), one side shape (P2, P2', P3, P3). The width of') is within the standard value, and the outline of the object (UL1, UL2) not in contact with the planar shape (P1, P1') of the side shapes (P2, P2', P3, P3') of the object image (BM, BM') If it is located above the reference ratio in the range to be corrected, the object image (BM, BM') is designated as the target to be corrected.

이에 대해 좀 더 구체적으로 설명하면, 지상물 이미지가 지나치게 기울어진 상태로 수집되면, 평면형상(P1, P1')과 일 측면형상(P2, P2', P3, P3')의 전체 폭(d1, d1') 대비 일 측면형상(P2, P2', P3, P3')의 폭(d2, d2')이 증가한다. 즉, 촬영 과정에서 대상 지상물을 지나치게 측면으로 촬영해서 보정 대상으로는 무리가 있는 것이다. 따라서 이렇게 수집된 객체이미지(BM, BM')는 보정 대상에서 제외한다. 참고로, 도 4의 (a)도면은 평면형상(P1)과 일 측면형상(P2)의 전체 폭(d1) 대비 일 측면형상(P2)의 폭(d2)이 기준치 이상이므로, 객체이미지 추출모듈(16)은 보정 대상에서 제외한다.In more detail, when the ground object image is collected in an excessively inclined state, the overall width d1, P1' and one side shape P2, P2', P3, P3' Compared to d1'), the widths d2, d2' of one side shape (P2, P2', P3, P3') increase. In other words, it is unreasonable as a correction target because the target ground object is photographed too sideways during the shooting process. Therefore, object images (BM, BM') collected in this way are excluded from correction. For reference, in the drawing (a) of FIG. 4, since the width (d2) of one side shape (P2) compared to the total width (d1) of the planar shape (P1) and one side shape (P2) is more than the reference value, the object image extraction module (16) is excluded from correction.

또한, 객체이미지(BM, BM')의 측면형상(P2, P2', P3, P3') 중 평면형상(P1, P1')과 미접하는 객체 외곽선(UL1, UL2)은 해당 지상물이 지면에 실제로 위치하는 지점이다. 결국, 평면형상(P1, P1')은 보정대상 범위를 벗어나더라도 객체 외곽선(UL1, UL2)은 보정대상 범위 이내에 위치해야만 하는 것이다. 따라서 객체 외곽선(UL1, UL2)이 보정대상 범위 이내에 기준비율 이상 즉, 90% 이상 위치하면, 해당 객체이미지(BM, BM')의 지상물은 보정대상 범위 이내에 위치한 것으로 간주하고 보정 대상으로 지정한다. 상기 기준비율은 필요에 따라 변경되므로, 예시된 90%로 한정하는 것은 아니다.Also, among the side shapes (P2, P2', P3, P3') of the object image (BM, BM'), the object outlines (UL1, UL2) that are not in contact with the planar shape (P1, P1') are This is where it is actually located. Consequently, even if the planar shapes P1 and P1' are out of the range to be corrected, the object outlines UL1 and UL2 must be located within the range to be corrected. Therefore, if the object outline (UL1, UL2) is located within the range to be corrected above the reference ratio, that is, more than 90%, the ground object of the object image (BM, BM') is considered to be located within the range to be corrected and designated as the target for correction. . Since the reference ratio is changed as necessary, it is not limited to the illustrated 90%.

S13; 지적도 검색 단계S13; Cadastral Map Search Step

편집모듈(17)은 보정대상 범위의 GPS좌표를 확인하고 지적도DB(12)에서 해당하는 지적도 정보를 검색하며, 상기 지적도 정보에서 지적도 이미지(M2)를 추출한다.The editing module 17 checks the GPS coordinates of the range to be corrected, searches for corresponding cadastral map information from the cadastral map DB 12, and extracts a cadastral map image M2 from the cadastral map information.

S14; 영상이미지의 지적구간별 삭제 편집 단계S14; Deletion and editing steps for each cadastral section of video images

편집모듈(17)은 앞서 추출한 지적도 이미지(M2)를 보정대상 범위에 오버랩하고, 지적도 이미지(M2)의 필지 경계선(BL)에 맞춰서 영상이미지(M1)를 필지(Z1, Z2) 별로 구간 삭제한다. 즉, 편집모듈(17)은 도 5의 (b)와 같이 지적도 이미지(M2)의 경계선(BL)을 영상이미지(M1)에 오버랩해서 도 6과 같이 합성이미지(M12)로 생성하고, 해당 필지(Z1, Z2) 구간을 삭제해서 도 7과 같은 편집영상이미지(M3)를 생성하는 것이다. The editing module 17 overlaps the previously extracted cadastral map image M2 with the range to be corrected, and deletes the video image M1 for each parcel (Z1, Z2) according to the parcel boundary BL of the cadastral map image M2. . That is, the editing module 17 overlaps the boundary line BL of the cadastral map image M2 with the video image M1 as shown in (b) of FIG. 5 to create a composite image M12 as shown in FIG. The edited video image M3 as shown in FIG. 7 is created by deleting the (Z1, Z2) section.

S15; 평면형상 보정 단계S15; Plane shape correction step

편집모듈(17)은 객체이미지(BM, BM')에서 평면형상(P1, P1')을 이동시켜서 객체 외곽선(UL1, UL2)에 맞추고, 측면형상(P2, P2', P3, P3')을 삭제헤서 제1편집이미지(MM)를 생성한다.The editing module 17 moves the flat shape (P1, P1') from the object image (BM, BM') to fit the object outline (UL1, UL2), and adjusts the side shape (P2, P2', P3, P3'). After deletion, the first edited image (MM) is created.

그런데, 제1편집이미지(MM)를 구성하는 평면형상(P1, P1')은 동일한 지상물이어도 촬영 거리(L1, L2, h1, h2)와 촬영 각도와 항공기(D)와의 거리값(37, 37', 38, 38')과 촬영 고도(h1, h2) 등에 따라 해당 객체이미지(BM3 내지 BM8)의 촬영 면적(31 내지 36)이 달라진다. However, even if the planar shapes P1 and P1' constituting the first edited image MM are the same ground object, the shooting distances L1, L2, h1, h2, the shooting angle, and the distance value 37, 37', 38, 38') and photographing altitudes h1, h2, etc., the photographing areas 31 to 36 of the corresponding object images BM3 to BM8 vary.

따라서 편집모듈(17)은 제1편집이미지(MM)를 촬영 거리(L1, L2)와 촬영 고도(h1, h2)와 촬영 각도와 항공기(D)와의 거리(37, 37', 38, 38') 등과 같은 가변요소에 상관 없이 항공기(D)가 해당 지상물로부터 연직방향으로 평면을 정확히 촬영한 것과 같이 보정한다. 이를 위해 편집모듈(17)은 해당 객체이미지(BM, BM')의 GPS좌표값을 확인해서 해당하는 지상물(B1 내지 B5)의 제원데이터를 지상물정보DB(13)에서 검색하고, 해당 지상물(B1 내지 B5)과 촬영지점 간의 거리값(37, 37', 38, 38')과 지상물의 높이값을 확인해서 촬영 면적(31 내지 36)의 변화량을 확인한다. 즉, 도 8과 같이 항공기(D)가 지상물을 직상방에서 해당 촬영 고도(h1)와 'L1'의 촬영 거리로 촬영해 수집한 객체이미지(BM4)를 표준으로 본 평면의 촬영 면적(32)을 기준으로 보고, 촬영각과 촬영 거리(L2), 제원데이터에서 확인한 해당 지상물의 높이, 촬영지점 간의 거리값(37, 37', 38, 38') 등에 의해 달라진 촬영 면적(31, 33 내지 36)을 기준 면적(32)의 크기로 맞춰 보정하는 것이다.Therefore, the editing module 17 takes the first edited image (MM) from the shooting distance (L1, L2), the shooting altitude (h1, h2), the shooting angle, and the distance (37, 37', 38, 38') to the aircraft (D). Regardless of variable factors such as ), etc., it is corrected as if the aircraft D accurately photographed the plane in the vertical direction from the ground object. To this end, the editing module 17 checks the GPS coordinate value of the object image (BM, BM'), searches for the specification data of the corresponding ground object (B1 to B5) in the ground object information DB 13, and By checking the distance values (37, 37', 38, 38') between the water (B1 to B5) and the photographing point and the height value of the ground object, the amount of change in the photographing area (31 to 36) is confirmed. That is, as shown in FIG. 8, the plane D is taken as a standard image of the object image (BM4) collected by photographing the ground object at a corresponding shooting altitude h1 and a shooting distance of'L1'. ), and the shooting area (31, 33 to 36) changed by the shooting angle and shooting distance (L2), the height of the corresponding ground object identified in the specification data, and the distance values between shooting points (37, 37', 38, 38'), etc. ) To the size of the reference area 32.

결국, 편집모듈(17)은 거리값(37, 37', 38, 38')과 높이값과 촬영 고도(h1, h2)와 촬영지점의 GPS좌표값과 지상물의 GPS좌표값에 비례해서 제1편집이미지(MM)를 도 10의 (c)도면과 같이 벡터량의 비율로 확장해서 제2편집이미지(MM')를 생성한다. 참고로, 거리값(37, 37', 38, 38')은 항공기(D) 촬영 시의 GPS좌표값과 해당 지상물(B1 내지 B5)의 GPS좌표값의 차이다.As a result, the editing module 17 is in proportion to the distance value (37, 37', 38, 38'), the height value, the shooting altitude (h1, h2), the GPS coordinate value of the shooting point, and the GPS coordinate value of the ground object. The second edited image MM' is generated by expanding the edited image MM at the ratio of the vector amount as shown in Fig. 10C. For reference, the distance values 37, 37', 38, 38' are the difference between the GPS coordinate values of the aircraft D and the GPS coordinate values of the corresponding ground objects B1 to B5.

S16; 평면형상 합성 단계S16; Planar shape synthesis step

도 11 및 도 12와 같이 편집모듈(17)은 편집영상이미지(M3)에 구성된 필지(Z1, Z2)의 삭제영역별로 해당하는 제2편집이미지(MM1, MM2)를 합성해서 영상지도이미지(M4)를 생성한다. 편집영상이미지(M3)는 GPS좌표계(미도시함)가 구성되므로, 지상물의 해당 좌표값이 링크된 제2편집이미지(MM1, MM2)는 상기 좌표값에 따라 편집영상이미지(M3)에 합성된다.As shown in FIGS. 11 and 12, the editing module 17 synthesizes the second edited images MM1 and MM2 corresponding to the deletion areas of the parcels Z1 and Z2 configured in the edited video image M3, thereby synthesizing the image map image M4. ). Since the edited video image M3 is composed of a GPS coordinate system (not shown), the second edited images MM1 and MM2 linked to the corresponding coordinate values of the ground object are combined into the edited video image M3 according to the coordinate values. .

도 12에서 보인 영상지도이미지(M4)는 필지(Z2)에서 제2편집이미지(MM1, MM2)가 합성되는 구간(Z21)만을 삭제하고 다른 구간은 기존 이미지를 유지한 것이다.In the image map image M4 shown in FIG. 12, only the section Z21 in which the second edited images MM1 and MM2 are combined in the parcel Z2 is deleted, and the other section retains the existing image.

S17; 보조이미지 보강 단계S17; Secondary image enhancement step

편집모듈(17)은 영상이미지를 필지(Z1, Z2) 단위로 삭제하므로, 제2편집이미지(MM')를 삭제영역에 합성해도 도 11과 같이 채워지지 않은 빈 공간이 잔존한다. 따라서 보조이미지 보강모듈(18)은 제2편집이미지(MM')를 제외한 삭제영역의 빈 공간에 나무이미지(미도시함), 도로이미지(미도시함)와 출입구 이미지(미도시함) 중 선택된 하나 이상을 합성해서 영상지도이미지(M4)를 미려하게 보강한다.Since the editing module 17 deletes the video image in units of parcels (Z1, Z2), even if the second edited image MM' is combined into the deletion area, an unfilled empty space remains as shown in FIG. 11. Therefore, the auxiliary image reinforcement module 18 is selected from a tree image (not shown), a road image (not shown), and an entrance image (not shown) in the empty space of the deleted area excluding the second edited image (MM'). By combining one or more, the image map image (M4) is beautifully reinforced.

결국, 영상지도이미지(M4)는 필지(Z1, Z2) 단위의 이미지 삭제로 인해 보이는 조잡한 외관 없이 사실적인 영상 모습을 이루며 활용할 수 있다.In the end, the image map image M4 can be used to form a realistic image without the crude appearance seen due to the deletion of images in the parcels (Z1, Z2).

앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예들을 참조해 설명했지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.In the detailed description of the present invention described above, it has been described with reference to preferred embodiments of the present invention, but those skilled in the art or those of ordinary skill in the relevant technical field, the spirit of the present invention described in the claims to be described later. And it will be understood that various modifications and changes can be made to the present invention within a range not departing from the technical field.

a2; 사각지대 B1 내지 B5; 지상물 BL; 경계선
BM, BM', BM1 내지 BM8; 객체이미지 D; 항공기
d1, d2; 폭 M1; 영상이미지 M12; 합성이미지
M2; 지적도 이미지 M3; 편집영상이미지 M4; 영상지도이미지
MM; 제1편집이미지 MM'; 제2편집이미지 P1, P1'; 평면형상
P2, P2', P3, P3'; 측명형상 UL1, UL2; 객체 외곽선
a2; Blind spots B1 to B5; Ground water BL; boundary
BM, BM', BM1 to BM8; Object image D; aircraft
d1, d2; Width M1; Video image M12; Composite image
M2; Cadastral map image M3; Edited video image M4; Video map image
MM; The first edited image MM'; Second edited images P1, P1'; Plane shape
P2, P2', P3, P3'; Side name shape UL1, UL2; Object outline

Claims (1)

기울어진 촬영 각도로 인해 객체이미지별로 생성된 사각지대를 보완하는 영상이미지 보정 처리시스템에 있어서,
다수의 촬영이미지가 GPS좌표에 맞춰 합성 편집된 상기 영상이미지를 저장하는 영상DB;
GPS좌표에 맞춰 필지가 구분 표시된 지적도 정보를 저장하는 지적도DB;
지상물의 GPS좌표값과 제원데이터를 저장하는 지상물정보DB;
상기 영상DB에서 검색된 영상이미지의 수집 고도에 비례해서 영상이미지의 보정대상 범위를 지정하는 보정대상 검출모듈;
상기 영상이미지에서 보정대상 범위 이내의 픽셀들의 RGB값을 확인하여 지정된 대표색도 군에 속하는 색도의 픽셀의 RGB값을 해당 대표색도로 통일시키고, 상기 대표색도로 통일된 픽셀들의 위치값을 확인하여 동일한 RGB값을 갖는 픽셀들의 군집 형태를 딥러닝을 통해 정형화하고, 상기 정형화된 군집 형태를 독립된 형상이미지로 설정하고, 서로 접하는 3개 이상의 형상이미지의 집합체를 객체이미지로 지정하며, 상기 객체이미지의 형상이미지 중에서 면적이 가장 큰 형상이미지를 평면형상으로 지정하고, 다른 형상이미지는 측면형상으로 지정하는 이미지 분석모듈;
상기 객체이미지의 측면형상 중 평면형상과 미접하는 객체 외곽선이 보정대상 범위에 기준비율 이상 위치하고, 상기 평면형상과 일 측면형상의 전체 폭 대비 일 측면형상의 폭이 기준치 이내이면, 해당 객체이미지를 보정대상으로 지정하는 객체이미지 추출모듈;
상기 객체 외곽선에 평면형상이 맞춰지도록 이동시켜서 측면형상이 삭제된 제1편집이미지를 생성하고, 상기 객체이미지의 GPS좌표값에 해당하는 지상물의 제원데이터를 지상물정보DB에서 검색해서 해당 지상물과 촬영지점 간의 거리값과 촬영 고도와 지상물의 높이값과 촬영지점의 GPS좌표값과 지상물의 GPS좌표값을 확인하고, 상기 거리값과 촬영 고도와 높이값과 촬영지점의 GPS좌표값과 지상물의 GPS좌표값에 비례해서 제1편집이미지를 벡터량의 비율로 확장해서 제2편집이미지로 생성하고, 상기 영상이미지의 보정대상 범위에 해당하는 지적도 정보를 지적도DB에서 검색하여 지적도 이미지를 보정대상 범위에 오버랩하고, 상기 지적도 이미지의 필지 경계선에 맞춰서 영상이미지를 필지 별로 이미지 삭제하며 삭제영역에 빈 공간이 잔존하도록 제2편집이미지를 삭제영역의 일부에 합성하여 편집영상이미지를 생성하는 편집모듈; 및
상기 편집영상이미지에서 삭제영역의 빈 공간에 나무이미지, 도로이미지와 출입구 이미지 중 선택된 하나 이상을 합성하여 영상지도이미지를 생성하는 보조이미지 보강모듈;
을 포함하는 것을 특징으로 하는 사각지대 보완 기능을 갖는 영상이미지 보정 처리시스템.
In the image image correction processing system that complements the blind spots created for each object image due to an inclined shooting angle,
An image DB for storing the image image synthesized and edited according to the GPS coordinates;
A cadastral map DB that stores cadastral map information in which parcels are classified according to GPS coordinates;
Ground object information DB for storing GPS coordinate values and specification data of ground objects;
A correction target detection module for designating a correction target range of the image image in proportion to the collection height of the image image retrieved from the image DB;
In the image image, the RGB values of pixels within the range to be corrected are checked, and the RGB values of the pixels of the chromaticity belonging to the designated representative chromaticity group are unified with the corresponding representative chromaticity, and the position values of the pixels unified with the representative chromaticity are checked. The cluster shape of pixels having RGB values is standardized through deep learning, the standardized cluster shape is set as an independent shape image, a collection of three or more shape images in contact with each other is designated as an object image, and the shape of the object image An image analysis module that designates a shape image having the largest area among the images as a flat shape, and designates another shape image as a side shape;
If the outline of the object that is not in contact with the planar shape among the side shapes of the object image is located at a reference ratio or more in the range to be corrected, and the width of one side shape relative to the total width of the flat shape and one side shape is within the reference value, the object image is corrected. An object image extraction module designated as a target;
The first edited image from which the side shape is deleted is generated by moving the object outline to match the plane shape, and the ground object data corresponding to the GPS coordinate value of the object image is retrieved from the ground object information DB, Check the distance value between the shooting points, the shooting altitude, the height of the ground object, the GPS coordinate value of the shooting point, and the GPS coordinate value of the ground object, and the distance value, the shooting altitude and height value, the GPS coordinate value of the shooting point and the GPS of the ground object. In proportion to the coordinate value, the first edited image is expanded by the ratio of the vector amount to create a second edited image, and the cadastral map information corresponding to the correction target range of the video image is retrieved from the cadastral map DB, and the cadastral map image is overlapped with the correction target range. And an editing module for generating an edited video image by deleting the image image for each lot in accordance with the parcel boundary of the cadastral map image, and synthesizing the second edited image with a part of the deletion area so that empty space remains in the deletion area; And
An auxiliary image reinforcement module for generating an image map image by synthesizing at least one selected from among a tree image, a road image, and an entrance image in the empty space of the deletion area in the edited image image;
Image image correction processing system having a blind spot compensation function comprising a.
KR1020200104546A 2020-08-20 2020-08-20 Correcting system restoring dead zone on the image KR102204046B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200104546A KR102204046B1 (en) 2020-08-20 2020-08-20 Correcting system restoring dead zone on the image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200104546A KR102204046B1 (en) 2020-08-20 2020-08-20 Correcting system restoring dead zone on the image

Publications (1)

Publication Number Publication Date
KR102204046B1 true KR102204046B1 (en) 2021-01-18

Family

ID=74236782

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200104546A KR102204046B1 (en) 2020-08-20 2020-08-20 Correcting system restoring dead zone on the image

Country Status (1)

Country Link
KR (1) KR102204046B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102345140B1 (en) * 2021-09-14 2021-12-30 서광항업 주식회사 Cadastral Survey Data Acquisition Apparatus using Ortho Image of Drone and Method Thereof
KR102631220B1 (en) 2023-05-15 2024-01-31 네이버시스템(주) Image processing device for extracting the same video image

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101102415B1 (en) * 2011-05-04 2012-01-05 주식회사 우리강산시스템 Editing system and editing method for the security space in the photoreconnaissance inage
KR101723641B1 (en) * 2016-12-12 2017-04-06 (주)동광지엔티 Apparatus for air shooting able to get the image of blind spot and to control resolution automatically
KR101938402B1 (en) 2018-06-27 2019-01-15 동아항업 주식회사 Drawing image compositing system for features in blind area
KR102081332B1 (en) * 2019-10-15 2020-02-25 (주)그린공간정보 Equipment for confirming the error of image by overlapping of orthoimage

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101102415B1 (en) * 2011-05-04 2012-01-05 주식회사 우리강산시스템 Editing system and editing method for the security space in the photoreconnaissance inage
KR101723641B1 (en) * 2016-12-12 2017-04-06 (주)동광지엔티 Apparatus for air shooting able to get the image of blind spot and to control resolution automatically
KR101938402B1 (en) 2018-06-27 2019-01-15 동아항업 주식회사 Drawing image compositing system for features in blind area
KR102081332B1 (en) * 2019-10-15 2020-02-25 (주)그린공간정보 Equipment for confirming the error of image by overlapping of orthoimage

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102345140B1 (en) * 2021-09-14 2021-12-30 서광항업 주식회사 Cadastral Survey Data Acquisition Apparatus using Ortho Image of Drone and Method Thereof
KR102631220B1 (en) 2023-05-15 2024-01-31 네이버시스템(주) Image processing device for extracting the same video image

Similar Documents

Publication Publication Date Title
US11551331B2 (en) Cut-line steering methods for forming a mosaic image of a geographical area
KR102204044B1 (en) Image checking assembly used by overlap for each orthophoto
KR102204043B1 (en) System for automatic satellite image processing for improving image accuracy by position correcting of geographic feature
JP5324240B2 (en) Road marking map generation method and road marking map generation device
US8818076B2 (en) System and method for cost-effective, high-fidelity 3D-modeling of large-scale urban environments
JP4380838B2 (en) Video image automatic road sign recognition method, road sign automatic recognition device, and road sign automatic recognition program
US20020061132A1 (en) Stereo image processing apparatus and method of processing stereo image
KR101475895B1 (en) Image processing system recognizing point and auto-correcting for image update
KR101483955B1 (en) System for processing reflection image by adjusting a 3d position in the reflection image
KR102204046B1 (en) Correcting system restoring dead zone on the image
KR100915600B1 (en) Method for measuring 3-dimensinal coordinates of images using a target for ground control point
US7616828B2 (en) Geospatial modeling system providing geospatial model data target point filtering based upon radial line segments and related methods
JP4103898B2 (en) Map information updating method and map updating apparatus
JP2009223220A (en) Road surface marking map creating method
KR102204041B1 (en) System for correcting the error able to modify boundary line for mapping
JP2008287379A (en) Road sign data input system
JPH05181411A (en) Map information collation and update system
CN106339985A (en) Method for aviation image mosaic by selecting mosaic lines from vector building data
JP2004198530A (en) Map updating system, map updating method and computer program
KR102204040B1 (en) Image processing system for unifying collecting images by altitude
KR101938400B1 (en) Image drawing management system editing secure zone on 3d image
JP3437671B2 (en) Landmark recognition device and landmark recognition method
JP4088386B2 (en) How to update map information
Nakagawa et al. Fusing stereo linear CCD image and laser range data for building 3D urban model
KR100935491B1 (en) Method for making map of mountain path

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant