KR102197654B1 - Image processing apparatus and method for generating true ortho-image - Google Patents

Image processing apparatus and method for generating true ortho-image Download PDF

Info

Publication number
KR102197654B1
KR102197654B1 KR1020190002989A KR20190002989A KR102197654B1 KR 102197654 B1 KR102197654 B1 KR 102197654B1 KR 1020190002989 A KR1020190002989 A KR 1020190002989A KR 20190002989 A KR20190002989 A KR 20190002989A KR 102197654 B1 KR102197654 B1 KR 102197654B1
Authority
KR
South Korea
Prior art keywords
image
surface model
digital surface
generating
images
Prior art date
Application number
KR1020190002989A
Other languages
Korean (ko)
Other versions
KR20200086584A (en
Inventor
이자용
김호성
정원조
최종범
Original Assignee
네이버랩스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버랩스 주식회사 filed Critical 네이버랩스 주식회사
Priority to KR1020190002989A priority Critical patent/KR102197654B1/en
Publication of KR20200086584A publication Critical patent/KR20200086584A/en
Application granted granted Critical
Publication of KR102197654B1 publication Critical patent/KR102197654B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

영상 처리 장치에 의한 진정사 영상 생성 방법에 있어서, 복수의 영상 내 오브젝트의 높이 정보를 포함하는 디지털 표면 모델(digital surface model)을 획득하는 단계; 획득한 디지털 표면 모델에서 도로 영역을 식별하는 단계; 식별된 도로 영역의 높이 값을 변경하여 수정 디지털 표면 모델을 획득하는 단계; 수정 디지털 표면 모델에 기초하여, 복수의 영상 각각에 대응하는 복수의 패치를 생성하는 단계; 및 복수의 패치를 조합하여 소정 영역에 대한 진정사 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 일 실시예에 따른 진정사 영상 생성 방법이 개시된다.What is claimed is: 1. A method of generating a true image by an image processing apparatus, the method comprising: obtaining a digital surface model including height information of objects in a plurality of images; Identifying a road area from the obtained digital surface model; Changing a height value of the identified road area to obtain a modified digital surface model; Generating a plurality of patches corresponding to each of the plurality of images based on the modified digital surface model; And generating a tranquilizer image for a predetermined area by combining a plurality of patches. The method for generating a tranquilizer image according to an exemplary embodiment is disclosed.

Description

영상 처리 장치 및 이에 의한 진정사 영상 생성 방법{IMAGE PROCESSING APPARATUS AND METHOD FOR GENERATING TRUE ORTHO-IMAGE}Image processing device and method of generating sedation image by it {IMAGE PROCESSING APPARATUS AND METHOD FOR GENERATING TRUE ORTHO-IMAGE}

본 개시는 영상 처리 분야에 관한 것이다. 보다 구체적으로, 본 개시는 오브젝트에 의해 가려질 수 있는 차선 등의 용이한 추출이 가능한 진정사 영상을 생성하는 방법 및 장치에 관한 것이다.The present disclosure relates to the field of image processing. More specifically, the present disclosure relates to a method and an apparatus for generating a true image that can be easily extracted, such as a lane that may be covered by an object.

특정 지역의 지리 정보를 획득하기 위해 포털 사이트 등에서 지도를 검색하는 일은 평범한 일상이 되었다. 웹 사이트는 항공기 등에서 실제 촬영된 영상에 기반한 지도를 위성지도라는 이름으로 제공하고 있는데, 이러한 영상 지도는 특정 지역의 상공에서 지면을 수직 방향으로 바라본 것과 같은 뷰(view)를 제공한다. 이와 같이 사용자가 수직 방향의 상공에서 바라본 것과 같은 뷰를 제공하는 영상 중, 디지털 표면 모델(digital surface model)을 이용하여 지형 지물의 높이 변화로 인한 왜곡을 최소화하여 만들어진 수직 영상을 진정사 영상(true ortho-photo)라 한다It has become commonplace to search maps on portal sites to obtain geographic information of a specific area. The web site provides maps based on images actually taken from aircraft, etc. under the name of satellite maps, and such image maps provide a view as if looking at the ground vertically from above a specific area. Among the images that provide the same view as viewed from above in the vertical direction, the vertical image created by minimizing the distortion caused by the height change of the topographic feature using a digital surface model is a true image (true). ortho-photo)

자율주행 또는 내비게이션 등은 지상에서 획득된 데이터에 기초하여 제공되는 것이 일반적인데, 진정사 영상은 도로 맵을 작성하기 위한 많은 정보들을 제공할 수 있으므로, 진정사 영상으로부터 도로 맵을 생성하는 방안도 논의되고 있다. 그러나, 앞서 설명한 바와 같이, 진정사 영상은 수직 상공에서 지표면을 바라본 것과 같은 뷰를 제공하므로, 도로 맵 생성을 위해 이용되는 차선 및/또는 노면 표지가 나무나 도로 위의 자동차 등에 의해 가려지는 경우가 많다. 나무나 자동차 등에 의해 차선 및 노면 표지가 가려지면 도로 맵의 정확성과 완전성에 문제가 발생하게 된다.In general, autonomous driving or navigation is provided based on data acquired from the ground.Since the tranquility image can provide a lot of information for creating a road map, a plan to create a road map from the tranquilizer image is also discussed. Has become. However, as described above, since the true image provides the same view as looking at the ground surface from the vertical sky, lanes and/or road signs used for road map generation may be obscured by trees or cars on the road. many. When lanes and road markings are obscured by trees or cars, problems arise in the accuracy and completeness of the road map.

일 실시예에 따른 영상 처리 장치 및 이에 의한 진정사 영상 생성 방법은 차선의 추출이 용이한 진정사 영상을 생성하는 것을 기술적 과제로 한다.An image processing apparatus according to an exemplary embodiment and a method of generating an image of tranquility by the same is a technical task of generating an image of tranquility from which lane extraction is easy.

또한, 일 실시예에 따른 영상 처리 장치 및 이에 의한 진정사 영상 생성 방법은 정확성과 완전성을 갖는 도로 맵을 생성하는 것을 기술적 과제로 한다.In addition, the image processing apparatus according to an embodiment and a method for generating an image of a true image according to the present invention make it a technical task to generate a road map having accuracy and completeness.

일 실시예에 따른 진정사 영상 생성 방법은, 복수의 영상 내 오브젝트의 높이 정보를 포함하는 디지털 표면 모델(digital surface model)을 획득하는 단계; 상기 획득한 디지털 표면 모델에서 도로 영역을 식별하는 단계; 상기 식별된 도로 영역의 높이 값을 변경하여 수정 디지털 표면 모델을 획득하는 단계; 상기 수정 디지털 표면 모델에 기초하여, 상기 복수의 영상 각각에 대응하는 복수의 패치를 생성하는 단계; 및 상기 복수의 패치를 조합하여 소정 영역에 대한 진정사 영상을 생성하는 단계를 포함할 수 있다.According to an exemplary embodiment, a method of generating a true image may include: obtaining a digital surface model including height information of an object in a plurality of images; Identifying a road area from the obtained digital surface model; Changing a height value of the identified road area to obtain a modified digital surface model; Generating a plurality of patches corresponding to each of the plurality of images based on the modified digital surface model; And generating a true image for a predetermined area by combining the plurality of patches.

일 실시예에 따른 영상 처리 장치는, 복수의 영상 내 오브젝트의 높이 정보를 포함하는 디지털 표면 모델(digital surface model)을 획득하는 DSM 획득부; 상기 획득한 디지털 표면 모델에서 도로 영역을 식별하는 영역 식별부; 상기 식별된 도로 영역의 높이 값을 변경하여 수정 디지털 표면 모델을 획득하는 DSM 수정부; 및 상기 수정 디지털 표면 모델에 기초하여, 상기 복수의 영상 각각에 대응하는 복수의 패치를 생성하고, 상기 복수의 패치를 조합하여 소정 영역에 대한 진정사 영상을 생성하는 영상 처리부를 포함할 수 있다.An image processing apparatus according to an embodiment includes: a DSM acquisition unit that acquires a digital surface model including height information of a plurality of objects in an image; An area identification unit for identifying a road area in the obtained digital surface model; A DSM correction unit for obtaining a modified digital surface model by changing a height value of the identified road area; And an image processing unit that generates a plurality of patches corresponding to each of the plurality of images based on the modified digital surface model, and generates a true image for a predetermined region by combining the plurality of patches.

일 실시예에 따른 영상 처리 장치 및 이에 의한 진정사 영상 생성 방법은 차선의 추출이 용이한 진정사 영상을 생성할 수 있다.The image processing apparatus according to an exemplary embodiment and a method of generating an image of a true image may generate an image of a true image in which lane extraction is easy.

또한, 일 실시예에 따른 영상 처리 장치 및 이에 의한 진정사 영상 생성 방법은 정확성과 완전성을 갖는 도로 맵을 생성할 수 있다.In addition, the image processing apparatus according to an exemplary embodiment and a method of generating an image of a true image may generate a road map having accuracy and completeness.

다만, 일 실시예에 따른 영상 처리 장치 및 이에 의한 진정사 영상 생성 방법이 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, the effects that can be achieved by the image processing apparatus according to an embodiment and the method of generating a tranquilizer image therefrom are not limited to those mentioned above, and other effects not mentioned are to which this disclosure belongs It will be clearly understood by those of ordinary skill in the art.

본 명세서에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 일 실시예에 따른 영상 처리 장치를 도시하는 도면이다.
도 2는 일 실시예에 따른 진정사 영상 생성 방법을 설명하기 위한 순서도이다.
도 3은 디지털 표면 모델이 생성되는 과정을 설명하기 위한 도면이다.
도 4는 수정 디지털 표면 모델을 생성하는 방법을 설명하기 위한 도면이다.
도 5는 디지털 표면 모델과 수정 디지털 표면 모델을 비교하는 도면이다.
도 6은 복수의 영상 및 이들 각각에 대응하는 복수의 패치를 도시하는 도면이다.
도 7은 일 실시예에 따라 생성된 진정사 영상을 도시하는 도면이다.
도 8은 다른 실시예에 따른 진정사 영상의 생성 방법을 설명하기 위한 도면이다.
도 9는 디지털 표면 모델 기반의 복수의 패치를 모자이킹하여 생성한 진정사 영상을 도시하는 도면이다.
도 10은 일 실시예에 따른 영상 처리 장치의 구성을 나타내는 블록도이다.In order to more fully understand the drawings cited in the present specification, a brief description of each drawing is provided.
1 is a diagram illustrating an image processing apparatus according to an exemplary embodiment.
2 is a flow chart for explaining a method of generating a true image according to an exemplary embodiment.
3 is a diagram illustrating a process of generating a digital surface model.
4 is a diagram for describing a method of generating a modified digital surface model.
5 is a diagram comparing a digital surface model and a modified digital surface model.
6 is a diagram illustrating a plurality of images and a plurality of patches corresponding to each of them.
7 is a diagram illustrating a tranquilizer image generated according to an exemplary embodiment.
8 is a diagram for explaining a method of generating a tranquilizer image according to another embodiment.
FIG. 9 is a diagram illustrating a true image generated by mosaicing a plurality of patches based on a digital surface model.
10 is a block diagram illustrating a configuration of an image processing apparatus according to an exemplary embodiment.

본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고, 이를 상세한 설명을 통해 설명하고자 한다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.In the present disclosure, various changes may be made and various embodiments may be provided, and specific embodiments are illustrated in the drawings, and will be described through detailed description. However, this is not intended to limit the present disclosure to a specific embodiment, it should be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present disclosure.

실시예를 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 실시예의 설명 과정에서 이용되는 숫자(예를 들어, 제 1, 제 2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.In describing the embodiments, when it is determined that a detailed description of a related known technology may unnecessarily obscure the subject matter, a detailed description thereof will be omitted. In addition, numbers (eg, first, second, etc.) used in the description process of the embodiment are merely identification symbols for distinguishing one component from another component.

또한, 본 명세서에서 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 7접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.In addition, in the present specification, when one component is referred to as "connected" or "connected" to another component, the one component may be directly connected to the other component or directly connected to the other component. It should be understood that as long as there is no opposing substrate, it may be connected or may be connected via another component in the middle.

또한, 본 명세서에서 '~부(유닛)', '모듈' 등으로 표현되는 구성요소는 2개 이상의 구성요소가 하나의 구성요소로 합쳐지거나 또는 하나의 구성요소가 보다 세분화된 기능별로 2개 이상으로 분화될 수도 있다. 또한, 이하에서 설명할 구성요소 각각은 자신이 담당하는 주기능 이외에도 다른 구성요소가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성요소 각각이 담당하는 주기능 중 일부 기능이 다른 구성요소에 의해 전담되어 수행될 수도 있음은 물론이다.In addition, in the components expressed as'~ unit (unit)','module', etc. in the present specification, two or more components are combined into one component, or two or more components are divided into more subdivided functions. It can also be differentiated into. In addition, each of the components to be described below may additionally perform some or all of the functions that other components are responsible for in addition to its own main function, and some of the main functions that each component is responsible for are different. It goes without saying that it may be performed exclusively by components.

이하, 본 개시의 기술적 사상에 의한 실시예들을 차례로 상세히 설명한다.Hereinafter, embodiments according to the technical idea of the present disclosure will be described in detail in order.

도 1은 일 실시예에 따른 영상 처리 장치(100)를 도시하는 도면이다.1 is a diagram illustrating an image processing apparatus 100 according to an exemplary embodiment.

도 1을 참조하면, 영상 처리 장치(100)는 복수의 영상(10a, 10b, 10c)을 획득하고, 복수의 영상(10a, 10b, 10c)에 기초하여 진정사 영상(30)을 생성한다. 복수의 영상(10a, 10b, 10c)은 항공 사진, 드론 사진 및 위성 사진 중 적어도 하나를 포함할 수 있다. 일 실시예에서, 영상 처리 장치(100)는 복수의 영상(10a, 10b, 10c)으로부터 디지털 지표면 모델(digital surface model, 이하 DSM)(40, 도 3 참조)을 생성하고, DSM(40)에 기초하여 복수의 영상(10a, 10b, 10c) 각각에 대응하는 복수의 패치(20a, 20b, 20c)를 생성한 후, 복수의 패치(20a, 20b, 20c)를 조합하여 진정사 영상(30)을 생성할 수 있다. 복수의 패치(20a, 20b, 20c) 각각도 수직 방향의 상공에서 지표면을 바라본 것과 같은 진정사 영상일 수 있다. Referring to FIG. 1, the image processing apparatus 100 acquires a plurality of images 10a, 10b, and 10c, and generates a tranquilizer image 30 based on the plurality of images 10a, 10b, and 10c. The plurality of images 10a, 10b, and 10c may include at least one of aerial photographs, drone photographs, and satellite photographs. In one embodiment, the image processing apparatus 100 generates a digital surface model (hereinafter referred to as DSM) 40 (refer to FIG. 3) from a plurality of images 10a, 10b, and 10c, and the DSM 40 After generating a plurality of patches (20a, 20b, 20c) corresponding to each of the plurality of images (10a, 10b, 10c), by combining the plurality of patches (20a, 20b, 20c), the tranquilizer image (30) Can be created. Each of the plurality of patches 20a, 20b, and 20c may also be an image of a true reflection as viewed from the ground in the vertical direction.

DSM(40)은 지표면, 건물, 나무 등 영상에 포함된 오브젝트의 높이 정보를 포함하는 데이터일 수 있다. 예를 들어, DSM(40)은 3차원 이미지의 형태로 구현될 수 있다. The DSM 40 may be data including height information of an object included in an image, such as a ground surface, a building, or a tree. For example, the DSM 40 may be implemented in the form of a 3D image.

복수의 영상(10a, 10b, 10c)을 DSM(40)에 기초하여 복수의 패치로 변환하고, 복수의 패치에 기초하여 진정사 영상을 생성하는 경우, 도로의 차선 및 노면 표지가 나무나 자동차에 의해 가려질 가능성이 높아진다. 가로수가 도로의 바깥(즉, 인도)쪽에 심어져 있더라도, 이러한 가로수를 수직 상공에서 바라보면 가로수의 나뭇가지 등이 도로를 침범할 수 있기 때문이다. When a plurality of images (10a, 10b, 10c) are converted into a plurality of patches based on the DSM (40), and a true image is generated based on the plurality of patches, the lanes of the road and road signs are applied to trees or cars. It is more likely to be obscured by. Even if street trees are planted outside of the road (ie, sidewalks), if you look at these trees from above vertically, the branches of the street trees can invade the road.

일 실시예에 따른 영상 처리 장치(100)는 일정 기준에 따라 DSM(40)을 수정하고, 수정된 DSM(60, 도 4 참조)에 기초하여 진정사 영상(30)을 생성함으로써, 진정사 영상(30) 내 차선 가림을 최소화할 수 있다.The image processing apparatus 100 according to an embodiment modifies the DSM 40 according to a predetermined criterion, and generates the tranquilizer image 30 based on the modified DSM 60 (see FIG. 4). (30) I can minimize the blocking of my lane.

한편, 도 1은 영상 처리 장치(100)로서 데스크탑 컴퓨터를 도시하고 있으나, 영상 처리 장치(100)는 이에 한정되는 것은 아니다. 영상 처리 장치(100)는 데이터를 수신하여 일정 처리를 할 수 있는 다양한 종류의 기기, 예를 들어, 서버, 태블릿 PC, 스마트폰, 노트북, 웨어러블 기기 등을 포함할 수 있다.Meanwhile, although FIG. 1 illustrates a desktop computer as the image processing apparatus 100, the image processing apparatus 100 is not limited thereto. The image processing apparatus 100 may include various types of devices, for example, servers, tablet PCs, smart phones, notebook computers, wearable devices, etc. capable of receiving data and performing a predetermined process.

또한, 도 1은 진정사 영상(30)의 생성을 위해 세 개의 영상(10a, 10b, 10c)이 이용되는 것으로 도시하고 있으나, 진정사 영상(30)의 생성에 이용될 수 있는 영상의 개수는 당업자에게 자명한 범위에서 다양할 수 있다.In addition, FIG. 1 shows that three images 10a, 10b, and 10c are used to generate the tranquilizer image 30, but the number of images that can be used to generate the tranquilizer image 30 is It may vary within a range apparent to those skilled in the art.

도 2는 일 실시예에 따른 진정사 영상 생성 방법을 설명하기 위한 순서도이다.2 is a flow chart for explaining a method of generating a true image according to an exemplary embodiment.

S210 단계에서, 영상 처리 장치(100)는 복수의 영상(10a, 10b, 10c)을 획득하고, 복수의 영상(10a, 10b, 10c) 내 오브젝트의 높이 정보를 포함하는 DSM(40)을 획득한다. 복수의 영상(10a, 10b, 10c)은 항공 영상, 드론 영상 및 위성 영상 중 적어도 하나를 포함할 수 있다. 복수의 영상(10a, 10b, 10c) 각각은 공통된 소정 영역(R)에 대한 영상을 포함할 수 있다.In step S210, the image processing apparatus 100 acquires a plurality of images 10a, 10b, 10c, and acquires a DSM 40 including height information of an object in the plurality of images 10a, 10b, 10c. . The plurality of images 10a, 10b, and 10c may include at least one of an aerial image, a drone image, and a satellite image. Each of the plurality of images 10a, 10b, and 10c may include an image of a common predetermined region R.

전술한 바와 같이, DSM(40)은 지표면, 건물, 나무 등 각 영상(10a, 10b, 10c)에 포함된 오브젝트들의 높이 값을 가질 수 있다. DSM(40)은 여러 영상으로부터 스테레오 매칭 방식 등을 통해 생성될 수 있는데, DSM(40)의 생성 방법 자체는 공지된 것이므로, 본 명세서에서는 상세한 설명을 생략한다.As described above, the DSM 40 may have height values of objects included in each image 10a, 10b, 10c, such as a ground surface, a building, and a tree. The DSM 40 may be generated from several images through a stereo matching method, etc., and a method for generating the DSM 40 itself is known, and thus a detailed description thereof is omitted herein.

일 실시예에서, 영상 처리 장치(100)는 외부 장치로부터 복수의 영상(10a, 10b, 10c)을 수신하거나, 관리자로부터 복수의 영상(10a, 10b, 10c)을 입력받고, 복수의 영상(10a, 10b, 10c)에 기초하여 DSM(40)을 생성할 수 있다.In an embodiment, the image processing apparatus 100 receives a plurality of images 10a, 10b, 10c from an external device, or receives a plurality of images 10a, 10b, 10c from an administrator, and receives a plurality of images 10a. , 10b, 10c), the DSM 40 may be generated.

또한, 영상 처리 장치(100)는 외부 장치나 관리자로부터 복수의 영상(10a, 10b, 10c)이 저장되어 있는 네트워크 주소 정보(예를 들어, URL 주소 등)를 수신 또는 입력받을 수도 있다. 영상 처리 장치(100)는 네트워크 주소 정보에 따라 외부 장치에 접속하여 복수의 영상(10a, 10b, 10c)을 획득하고, 복수의 영상(10a, 10b, 10c)에 기초하여 DSM(40)을 생성할 수 있다.In addition, the image processing apparatus 100 may receive or receive network address information (eg, URL address, etc.) in which a plurality of images 10a, 10b, and 10c are stored from an external device or an administrator. The image processing apparatus 100 accesses an external device according to network address information to obtain a plurality of images 10a, 10b, and 10c, and generates the DSM 40 based on the plurality of images 10a, 10b, and 10c. can do.

또한, 일 실시예에서, 영상 처리 장치(100)는 외부 장치로부터 복수의 영상(10a, 10b, 10c) 및 이에 대응하는 DSM(40)을 수신하거나 관리자로부터 복수의 영상(10a, 10b, 10c) 및 이에 대응하는 DSM(40)을 입력받을 수도 있다.In addition, in one embodiment, the image processing apparatus 100 receives a plurality of images 10a, 10b, 10c and a DSM 40 corresponding thereto from an external device, or a plurality of images 10a, 10b, 10c from an administrator. And the DSM 40 corresponding thereto may be input.

도 3은 복수의 영상(10a, 10b, 10c) 및 DSM(40)을 도시하고 있는데, 복수의 영상(10a, 10b, 10c)은 공통된 소정의 영역(R)을 포함할 수 있고, 복수의 영상(10a, 10b, 10c)에 기초하여 소정 영역(R)에 대한 DSM(40)이 생성될 수 있다. 도 3은 3개의 영상(10a, 10b, 10c)을 도시하고 있는데, DSM(40)의 생성 및 후술하는 진정사 영상(30)의 생성에 이용되는 영상의 개수는 3개에 한정되는 것은 아니며, 당업자에게 자명한 범위 내에서 다양한 개수의 영상이 이용될 수 있다.3 shows a plurality of images 10a, 10b, and 10c and a DSM 40, wherein the plurality of images 10a, 10b, and 10c may include a common predetermined area R, and a plurality of images The DSM 40 for the predetermined region R may be generated based on (10a, 10b, 10c). 3 shows three images 10a, 10b, and 10c, the number of images used for the generation of the DSM 40 and the generation of the tranquilizer image 30 to be described later is not limited to three, Various numbers of images may be used within a range apparent to those skilled in the art.

다시 도 2를 보면, S220 단계에서, 영상 처리 장치(100)는 DSM(40)에서 도로 영역을 식별한다. 도로 영역은 DSM(40)에서 도로로 판정된 영역으로서, 일 실시예에서는 도로 영역을 추출하기 위한 마스크를 DSM(40)에 적용하여 도로 영역을 식별할 수 있다. 마스크는 도 4에 도시된 것과 같은 2진(binary) 영상 형태일 수 있고, 또는, 도로에 해당하는 좌표 값 데이터일 수도 있다. 영상 처리 장치(100)는 마스크를 외부 장치로부터 수신하거나 관리자로부터 입력받을 수 있다.Referring back to FIG. 2, in step S220, the image processing apparatus 100 identifies a road area in the DSM 40. The road area is an area determined as a road by the DSM 40, and in one embodiment, a mask for extracting the road area may be applied to the DSM 40 to identify the road area. The mask may be in the form of a binary image as shown in FIG. 4, or may be coordinate value data corresponding to a road. The image processing apparatus 100 may receive a mask from an external device or input from an administrator.

예를 들어, 영상 처리 장치(100)는 DSM(40)에 2진 영상 형태의 마스크를 적용하여 도로 영역을 추출할 수 있다. For example, the image processing apparatus 100 may extract a road area by applying a mask in the form of a binary image to the DSM 40.

또는, 예를 들어, DSM(40)은 소정 영역 내 각 지점에 대한 좌표 값(예를 들어, GPS 좌표 값)을 포함할 수 있는데, 영상 처리 장치(100)는 DSM(40)에서 도로 좌표 값들에 대응하는 도로 영역을 추출할 수 있다. Alternatively, for example, the DSM 40 may include a coordinate value (eg, a GPS coordinate value) for each point in a predetermined area, and the image processing device 100 may include road coordinate values in the DSM 40 It is possible to extract the road area corresponding to.

S230 단계에서, 영상 처리 장치(100)는 DSM(40)에서 식별된 도로 영역의 높이 값을 변경하여 수정 디지털 표면 모델(이하, 수정 DSM)(60)을 획득한다.In step S230, the image processing apparatus 100 obtains a modified digital surface model (hereinafter, modified DSM) 60 by changing the height value of the road area identified by the DSM 40.

영상 처리 장치(100)는 DSM(40)에서 식별된 도로 영역의 높이 값을 미리 획득한 지형 높이 값으로 변경할 수 있다. 상기 지형 높이 값은 도로의 높이 값일 수 있다.The image processing apparatus 100 may change the height value of the road area identified by the DSM 40 to a terrain height value obtained in advance. The terrain height value may be a height value of a road.

나무, 자동차, 사람 등의 오브젝트가 도로 상에 존재하는 경우, 해당 오브젝트의 높이 값이, 해당 오브젝트가 위치하는 지점의 높이 값으로 DSM(40)에 포함되지만, 영상 처리 장치(100)는 이러한 오브젝트의 높이 값을 오브젝트를 제외시킨 지형의 높이 값으로 변경할 수 있는 것이다. 예를 들어, 도로 위에 나뭇가지가 위치하는 경우, DSM(40)은 나뭇가지의 높이 값을 해당 지점에서의 높이 값으로 가지고 있으나, 영상 처리 장치(100)는 나뭇가지의 높이 값을 도로의 높이 값으로 변경할 수 있다.When an object such as a tree, a car, or a person exists on the road, the height value of the object is included in the DSM 40 as the height value of the point where the object is located, but the image processing device 100 The height value of can be changed to the height value of the terrain excluding objects. For example, when a tree branch is located on a road, the DSM 40 has the height value of the tree branch as the height value at the corresponding point, but the image processing apparatus 100 uses the height value of the tree branch as the height of the road Can be changed by value.

도 4는 수정 DSM(60)을 생성하는 방법을 설명하기 위한 도면이고, 도 5는 DSM(40)과 수정 DSM(60)을 비교하는 도면이다. 도 4에 도시된 바와 같이, DSM(40)에 마스크(50)를 적용시켜 DSM(40)에서 도로 영역을 식별하고, 식별된 도로 영역의 높이 값을 지형 높이 값으로 변경함으로써 수정 DSM(60)이 획득될 수 있다. 도 5를 참조하면, 예를 들어, DSM(40)에 포함된 영역(41)의 가장자리는 나무의 높이 값이 할당되어 표면이 불규칙하지만, 수정 DSM(60)에 포함된 대응 영역(61)의 가장자리는 나무의 높이 값 대신 도로의 높이 값이 할당되어 비교적 평탄해진 것을 알 수 있다.4 is a diagram for explaining a method of generating the modified DSM 60, and FIG. 5 is a diagram for comparing the DSM 40 and the modified DSM 60. As shown in FIG. 4, by applying the mask 50 to the DSM 40 to identify the road area in the DSM 40, and changing the height value of the identified road area to the terrain height value, the DSM 60 Can be obtained. Referring to FIG. 5, for example, the edge of the area 41 included in the DSM 40 is assigned a height value of a tree, so that the surface is irregular, but the corresponding area 61 included in the modified DSM 60 It can be seen that the edge is relatively flat because the height value of the road is assigned instead of the height value of the tree.

일 실시예에 따르면, 건물 등의 구조물 영역에 대해서는 수정 DSM(60)에서 높이 값이 변경되지 않을 수도 있는데, 그 이유는 구조물의 높이 값을 지형의 높이 값으로 변경하는 경우, 패치(20a, 20b, 20c)에서 구조물이 도로를 침범하게 되어 오히려 가독성이 저감되기 때문이다.According to an embodiment, the height value may not be changed in the modified DSM 60 for a structure area such as a building. The reason is that when the height value of the structure is changed to the height value of the terrain, the patches 20a and 20b This is because, in 20c), the structure invades the road, thereby reducing the readability.

다시 도 2를 참조하면, S240 단계에서, 영상 처리 장치(100)는 수정 DSM(60)에 기초하여 복수의 영상(10a, 10b, 10c) 각각에 대응하는 복수의 패치(20a, 20b, 20c)를 생성한다. 복수의 패치(20a, 20b, 20c) 각각은 수직 방향의 상공에서 바라본 것과 같은 영상에 해당한다. 복수의 영상(10a, 10b, 10c) 각각은 예를 들어, 항공기가 비행을 하면서 촬영을 한 것이기 때문에 지표면상의 구조물과 항공기 사이의 상대적인 위치 관계에 따라 사시도의 형태를 가질 수 있다. 영상 처리 장치(100)는 수정 DSM(60)에 기반하여 복수의 영상(10a, 10b, 10c) 각각을 평면도와 같은 복수의 패치(20a, 20b, 20c)로 변환할 수 있다. DSM(40)에 포함된 각 지점별 좌표 값 및 높이 값(예를 들어, 각 화소별 좌표 값 및 높이 값)에 기초하여 영상(10a, 10b, 10c)을 진정사 영상 형태의 패치(20a, 20b, 20c)로 변환하는 방법은 공지된 것이므로, 본 명세서에서 상세한 설명은 생략한다.Referring back to FIG. 2, in step S240, the image processing apparatus 100 includes a plurality of patches 20a, 20b, and 20c corresponding to each of the plurality of images 10a, 10b, and 10c based on the modified DSM 60. Create Each of the plurality of patches 20a, 20b, and 20c corresponds to the same image as viewed from above in the vertical direction. Each of the plurality of images 10a, 10b, and 10c may have a perspective view according to a relative positional relationship between a structure on the ground surface and an aircraft because, for example, an aircraft was photographed while flying. The image processing apparatus 100 may convert each of the plurality of images 10a, 10b, and 10c into a plurality of patches 20a, 20b, and 20c such as a plan view based on the modified DSM 60. Based on the coordinate values and height values for each point included in the DSM 40 (for example, coordinate values and height values for each pixel), the images 10a, 10b, and 10c are applied to the patch 20a, Since the method of converting to 20b and 20c) is known, a detailed description will be omitted herein.

S250 단계에서, 영상 처리 장치(100)는 복수의 패치(20a, 20b, 20c)를 조합하여 소정 영역에 대한 진정사 영상(30)을 생성한다. In step S250, the image processing apparatus 100 generates a true image 30 for a predetermined region by combining the plurality of patches 20a, 20b, and 20c.

하나의 패치가 아닌 복수의 패치(20a, 20b, 20c)를 이용하여 진정사 영상(30)을 생성하는 이유는, 하나의 패치에는 픽셀 값이 존재하지 않는 영역이 존재할 수 있기 때문이다. 복수의 패치(20a, 20b, 20c) 각각도 진정사 영상의 형태를 가지고 있으나, 특정 하나의 영상(예를 들어, 10a)을 진정사 영상 형태로 변환하는 경우, 진정사 영상 내 일부 영역에 픽셀 값이 존재하지 않을 수 있다. 예를 들어, 어느 구조물과 항공기의 상대적인 위치 관계에 따라, 해당 구조물의 옥상의 일부만이 영상(10a) 내에 포함되어 있던 경우, 옥상의 나머지에 대응하는 픽셀 값들은 원 영상(10a)에도 포함되어 있지 않으므로 해당 영상(10a)을 진정사 영상 형태로 변환시키더라도, 진정사 영상 내에서 옥상의 나머지가 표현될 수 없게 되는 것이다. 도 6을 참조하면, 복수의 영상(10a, 10b, 10c) 각각에 대응하는 복수의 패치(20a, 20b, 20c)에서 픽셀 값이 존재하지 않는 영역(예를 들어, 도면부호 21 부분)이 존재하는 것을 알 수 있다. 한편, 픽셀 값이 존재하지 않는다는 것은, 픽셀 값이 소정 값, 예를 들어, 255인 경우를 포함할 수 있다.The reason why the true image 30 is generated using a plurality of patches 20a, 20b, and 20c instead of one patch is that a region in which a pixel value does not exist may exist in one patch. Each of the plurality of patches 20a, 20b, and 20c also has a form of a tranquilizer image, but when converting a specific image (for example, 10a) to a form of a tranquilizer image The value may not exist. For example, according to the relative positional relationship between a structure and an aircraft, when only a part of the rooftop of the structure is included in the image 10a, pixel values corresponding to the rest of the rooftop are not included in the original image 10a. Therefore, even if the corresponding image 10a is converted into the form of a true temple image, the rest of the rooftop cannot be expressed in the true temple image. Referring to FIG. 6, a region in which a pixel value does not exist (for example, part 21) exists in a plurality of patches 20a, 20b, and 20c corresponding to each of a plurality of images 10a, 10b, and 10c. I can see that. Meanwhile, that the pixel value does not exist may include a case in which the pixel value is a predetermined value, for example, 255.

따라서, 영상 처리 장치(100)는 복수의 패치(20a, 20b, 20c)를 조합하는 방식으로 진정사 영상(30)을 생성할 수 있다.Accordingly, the image processing apparatus 100 may generate the true image 30 by combining the plurality of patches 20a, 20b, and 20c.

일 방법으로서, 영상 처리 장치(100)는 복수의 패치(20a, 20b, 20c)를 오버래핑시켜 진정사 영상(30)을 생성할 수 있다. 영상 처리 장치(100)는 복수의 패치(20a, 20b, 20c) 각각이 소정의 투명도를 갖도록 처리한 후, 이들 복수의 패치(20a, 20b, 20c)들을 오버래핑시킬 수 있다. As a method, the image processing apparatus 100 may generate the tranquilizer image 30 by overlapping the plurality of patches 20a, 20b, and 20c. The image processing apparatus 100 may process each of the plurality of patches 20a, 20b, and 20c to have a predetermined transparency, and then overlap the plurality of patches 20a, 20b, and 20c.

도 7은 오버래핑 기법을 통해 생성된 진정사 영상(30)을 도시한다. 전술한 바와 같이, 복수의 패치(20a, 20b, 20c)는 수정 DSM(60)에 기반하여 생성되었으므로, 복수의 영상(10a, 10b, 10c)에서 도로 영역에 해당하는 부분은 복수의 패치(20a, 20b, 20c)에서 크게 변경되지 않는다. 즉, 일부 영상 내 도로 영역은 사시 방향에서 바라본 그대로 패치에 포함되게 되는 것이다. 복수의 영상(10a, 10b, 10c) 중 도로 영역의 수직 상공에서 촬영된 영상 내 도로의 차선은 나무 등에 의해 가려진 형태 그대로 패치에 포함되게 되지만, 도로 영역을 사시 방향으로 바라보면서 촬영된 영상 내 도로의 차선은 나무에 의해 가려지지 않은 형태로 패치에 포함될 수 있게 된다. 이러한 복수의 영상(10a, 10b, 10c)들에 기반하여 생성된 복수의 패치(20a, 20b, 20c)를 오버래핑시킴으로써 차선을 특정하기 쉬워지게 된다.7 shows a true image 30 generated through an overlapping technique. As described above, since the plurality of patches 20a, 20b, and 20c were generated based on the modified DSM 60, portions of the plurality of images 10a, 10b, and 10c corresponding to the road area are the plurality of patches 20a. , 20b, 20c) does not change significantly. That is, the road area in some images is included in the patch as viewed from the perspective direction. Among the plurality of images (10a, 10b, 10c), the lanes of the road in the image taken from the vertical sky of the road area are included in the patch as they are covered by trees, etc., but the road in the image taken while looking at the road area in the perspective The lanes of will be able to be included in the patch without being obscured by trees. By overlapping the plurality of patches 20a, 20b, and 20c generated based on the plurality of images 10a, 10b, and 10c, it becomes easy to specify a lane.

다른 방법으로서, 영상 처리 장치(100)는 복수의 패치(20a, 20b, 20c)로부터 소정 영역(R) 내 부분 영상들을 추출하고, 추출된 부분 영상들을 위치에 따라 모자이킹(mosaicking)하여 진정사 영상(30)을 생성할 수도 있다. 예를 들어, 도 8에 도시된 바와 같이, 제 1 패치(20a) 내 R1 영역에 해당하는 부분 영상, 제 2 패치(20b) 내 R2 영역에 해당하는 부분 영상 및 제 3 패치(20c) 내 R3 영역에 해당하는 부분 영상 등을 조합하여 진정사 영상(30)을 생성할 수 있다. As another method, the image processing apparatus 100 extracts partial images within a predetermined region R from a plurality of patches 20a, 20b, and 20c, and mosaicks the extracted partial images according to their positions to reduce tranquility. An image 30 may also be generated. For example, as shown in FIG. 8, a partial image corresponding to region R1 in the first patch 20a, a partial image corresponding to region R2 in the second patch 20b, and R3 in the third patch 20c The tranquilizer image 30 may be generated by combining a partial image corresponding to the region.

영상 처리 장치(100)는 차선을 포함하는 부분 영상을 추출할 때, 복수의 패치(20a, 20b, 20c) 중 차선의 식별이 가능한 패치에서 차선을 포함하는 부분 영상을 추출할 수 있다. 예를 들어, 복수의 패치(20a, 20b, 20c)로부터 픽셀 값이 존재하는 부분 영상들을 추출하여 모자이킹할 수 있는데, 도로 영역에 해당하는 부분 영상을 제 1 패치(20a) 및 제 2 패치(20b) 모두에서 추출 가능한 경우, 차선이 식별되지 않는 제 1 패치(20a) 대신 차선이 식별되는 제 2 패치(20b)에서 부분 영상을 추출하여 모자이킹하는데 이용할 수 있다. When extracting a partial image including a lane, the image processing apparatus 100 may extract a partial image including a lane from a patch capable of identifying the lane among the plurality of patches 20a, 20b, and 20c. For example, partial images with pixel values may be extracted from the plurality of patches 20a, 20b, and 20c, and the partial images corresponding to the road area may be converted to the first patch 20a and the second patch ( 20b) When extractable from all of them, a partial image may be extracted from the second patch 20b in which the lane is identified instead of the first patch 20a in which the lane is not identified and used for mosaicking.

도 9는 DSM(40)에 기초하여 생성된 복수의 패치를 모자이킹하여 생성한 진정사 영상(90)을 도시하는 도면으로서, 앞서 설명한 오버래핑 방식에 따라 생성된 진정사 영상(30)과 비교하면, 도 9에 도시된 진정사 영상(90) 내 영역(91) 대비 일 실시예에 따른 진정사 영상(30) 중 차선을 포함하는 영역(31)에서 차선 식별이 보다 용이하다는 것을 알 수 있다. 오버래핑을 통해 진정사 영상(30)이 생성되었기 때문에 차선이 비교적 흐릿해지지만, 차선의 식별 자체는 가능해진다는 면에서, 식별이 불가능한 진정사 영상(90) 대비 차선 추출이 용이해질 수 있다.FIG. 9 is a diagram showing a tranquilizer image 90 generated by mosaicing a plurality of patches generated based on the DSM 40, compared with the tranquilizer image 30 generated according to the overlapping method described above. , It can be seen that it is easier to identify the lane in the region 31 including the lane in the tranquilizer image 30 according to an exemplary embodiment compared to the region 91 in the tranquilizer image 90 shown in FIG. 9. Since the tranquilizer image 30 is generated through overlapping, the lane becomes relatively blurry, but the lane can be easily extracted compared to the tranquilizer image 90 that cannot be identified in that lane identification itself becomes possible.

일 실시예에서, 영상 처리 장치(100)는 진정사 영상(30)에서 도로의 차선 및/또는 노면 표지를 식별하고, 식별된 차선 및/또는 노면 표지에 기초하여 도로 맵을 생성할 수도 있다.In an embodiment, the image processing apparatus 100 may identify a lane and/or a road sign of a road from the true image 30 and generate a road map based on the identified lane and/or a road sign.

도 10은 일 실시예에 따른 영상 처리 장치(100)의 구성을 나타내는 블록도이다.10 is a block diagram illustrating a configuration of an image processing apparatus 100 according to an exemplary embodiment.

도 10을 참조하면, 일 실시예에 따른 영상 처리 장치(100)는 DSM 획득부(1010), 영역 식별부(1030), DSM 수정부(1050) 및 영상 처리부(1070)를 포함할 수 있다. DSM 획득부(1010), 영역 식별부(1030), DSM 수정부(1050) 및 영상 처리부(1070)는 적어도 하나의 프로세서로 구현될 수 있으며, 도시되지 않은 메모리에 저장된 프로그램에 따라 동작할 수 있다.Referring to FIG. 10, the image processing apparatus 100 according to an embodiment may include a DSM acquisition unit 1010, an area identification unit 1030, a DSM correction unit 1050, and an image processing unit 1070. The DSM acquisition unit 1010, the region identification unit 1030, the DSM correction unit 1050, and the image processing unit 1070 may be implemented with at least one processor, and may operate according to programs stored in a memory (not shown). .

전술한 바와 같이, 영상 처리 장치(100)는 서버 장치로 구현될 수 있고, 데스크탑 컴퓨터, 태블릿 PC, 노트북, 스마트폰 등의 사용자 단말로 구현될 수도 있다. 영상 처리 장치(100)가 서버 장치로 구현되는 경우, 영상 처리 장치(100)는 전술한 방법들을 통해 생성된 진정사 영상(30)을 사용자 단말의 요청에 따라 네트워크를 통해 사용자 단말로 제공할 수 있다.As described above, the image processing apparatus 100 may be implemented as a server device, or may be implemented as a user terminal such as a desktop computer, a tablet PC, a notebook, and a smart phone. When the image processing device 100 is implemented as a server device, the image processing device 100 may provide the sedation image 30 generated through the above-described methods to the user terminal through the network at the request of the user terminal. have.

DSM 획득부(1010)는 복수의 영상(10a, 10b, 10c) 내 오브젝트(지표면, 도로, 구조물, 나무 등)의 높이 정보를 포함하는 DSM(40)을 획득한다. 일 예에서, DSM 획득부(1010)는 외부 장치 또는 관리자로부터 복수의 영상(10a, 10b, 10c)을 획득하고, 복수의 영상(10a, 10b, 10c)에 기초하여 DSM(40)을 생성할 수 있다. 또한, 일 예에서, DSM 획득부(1010)는 외부 장치 또는 관리자로부터 복수의 영상(10a, 10b, 10c) 및 이에 대응하는 DSM(40)을 획득할 수도 있다.The DSM acquisition unit 1010 acquires the DSM 40 including height information of an object (surface, road, structure, tree, etc.) in the plurality of images 10a, 10b, and 10c. In one example, the DSM acquisition unit 1010 acquires a plurality of images 10a, 10b, 10c from an external device or a manager, and generates the DSM 40 based on the plurality of images 10a, 10b, 10c. I can. In addition, in an example, the DSM acquisition unit 1010 may acquire a plurality of images 10a, 10b, and 10c and a DSM 40 corresponding thereto from an external device or an administrator.

영역 식별부(1030)는 DSM(40)에서 도로 영역을 식별한다. 영역 식별부(1030)는 마스크(50)를 DSM(40)에 적용하여 도로 영역을 식별할 수 있다.The area identification unit 1030 identifies a road area in the DSM 40. The area identification unit 1030 may apply the mask 50 to the DSM 40 to identify the road area.

DSM 수정부(1050)는 DSM(40)에서 식별된 도로 영역의 높이 값을 변경하여 수정 DSM(60)을 획득한다. DSM 수정부(1050)는 DSM(40)에서 식별된 도로 영역의 높이 값을 지형 높이 값으로 변경할 수 있다. DSM 수정부(1050)는 도로 영역 내 지형의 높이 값 정보를 미리 획득할 수 있다.The DSM correction unit 1050 obtains the corrected DSM 60 by changing the height value of the road area identified by the DSM 40. The DSM correction unit 1050 may change the height value of the road area identified by the DSM 40 into a terrain height value. The DSM correction unit 1050 may obtain information on the height value of the terrain in the road area in advance.

영상 처리부(1070)는 수정 DSM(60)에 기초하여 복수의 영상(10a, 10b, 10c) 각각에 대응하는 복수의 패치(20a, 20b, 20c)를 생성하고, 복수의 패치(20a, 20b, 20c)를 조합하여 진정사 영상(30)을 생성한다. 영상 처리부(1070)는 복수의 패치(20a, 20b, 20c)에서 추출되는 여러 부분 영상들을 모자이킹하여 진정사 영상(30)을 생성할 수 있다. 일 실시예에서, 영상 처리부(1070)는 복수의 패치(20a, 20b, 20c)들을 오버래핑하여 진정사 영상(30)을 생성할 수도 있다. 이때, 영상 처리부(1070)는 복수의 패치(20a, 20b, 20c)들이 소정 투명도를 갖도록 처리한 후, 복수의 패치(20a, 20b, 20c)를 오버래핑시킬 수도 있다.The image processing unit 1070 generates a plurality of patches 20a, 20b, and 20c corresponding to each of the plurality of images 10a, 10b, and 10c based on the modified DSM 60, and generates a plurality of patches 20a, 20b, and 20c) is combined to generate a true image 30. The image processing unit 1070 may generate the tranquilizer image 30 by mosaicing several partial images extracted from the plurality of patches 20a, 20b, and 20c. In an embodiment, the image processing unit 1070 may generate the tranquilizer image 30 by overlapping the plurality of patches 20a, 20b, and 20c. In this case, the image processing unit 1070 may process the plurality of patches 20a, 20b, and 20c to have a predetermined transparency, and then overlap the plurality of patches 20a, 20b, and 20c.

영상 처리부(1070)는 진정사 영상(30)에서 차선 및/또는 노면 표지를 식별하고, 식별된 차선 및/또는 노면 표지를 이용하여 도로 맵을 생성할 수도 있다.The image processing unit 1070 may identify lanes and/or road signs from the true image 30 and generate a road map using the identified lanes and/or road signs.

한편, 상술한 본 개시의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 작성된 프로그램은 매체에 저장될 수 있다.Meanwhile, the above-described embodiments of the present disclosure can be written as a program that can be executed on a computer, and the written program can be stored in a medium.

매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.The medium may be one that continuously stores a program executable by a computer, or temporarily stores a program for execution or download. In addition, the medium may be a variety of recording means or storage means in a form in which a single piece of hardware or several pieces of hardware are combined, but is not limited to a medium directly connected to a computer system, and may be distributed on a network. Examples of media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magnetic-optical media such as floptical disks, and And ROM, RAM, flash memory, and the like may be configured to store program instructions. In addition, examples of other media include an app store that distributes applications, a site that supplies or distributes various software, and a recording medium or storage medium managed by a server.

이상, 본 개시의 기술적 사상을 바람직한 실시예를 들어 상세하게 설명하였으나, 본 개시의 기술적 사상은 상기 실시예들에 한정되지 않고, 본 개시의 기술적 사상의 범위 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 여러 가지 변형 및 변경이 가능하다.Above, the technical idea of the present disclosure has been described in detail with reference to a preferred embodiment, but the technical idea of the present disclosure is not limited to the above embodiments, and those having ordinary knowledge in the art within the scope of the technical idea of the present disclosure Various modifications and changes are possible by the user.

100: 영상 처리 장치
1010: DSM 획득부
1030: 영역 식별부
1050: DSM 수정부
1070: 영상 처리부100: image processing device
1010: DSM acquisition unit
1030: area identification unit
1050: DSM revision
1070: image processing unit

Claims (11)

영상 처리 장치에 의한 진정사 영상의 생성 방법에 있어서,
복수의 영상에서 도로가 포함된 공통 영역 내 오브젝트의 높이 정보를 포함하는 디지털 표면 모델(digital surface model)을 획득하는 단계;
상기 획득한 디지털 표면 모델에서 도로 영역을 식별하는 단계;
상기 식별된 도로 영역의 높이 값을 변경하여 수정 디지털 표면 모델을 획득하는 단계;
상기 수정 디지털 표면 모델에 기초하여, 상기 복수의 영상에서 상기 공통 영역에 해당하는 공통 영상들 각각에 대응하는 복수의 패치를 생성하는 단계; 및
상기 복수의 패치를 조합하여 상기 공통 영역에 대한 진정사 영상을 생성하는 단계를 포함하되,
상기 수정 디지털 표면 모델을 획득할 때, 상기 디지털 표면 모델 내 구조물의 높이 값은 변경되지 않는 것을 특징으로 하는 진정사 영상 생성 방법.
In the method of generating a true death image by an image processing device,
Acquiring a digital surface model including height information of an object in a common area including a road from a plurality of images;
Identifying a road area from the obtained digital surface model;
Changing a height value of the identified road area to obtain a modified digital surface model;
Generating a plurality of patches corresponding to each of common images corresponding to the common area in the plurality of images based on the modified digital surface model; And
Including the step of combining the plurality of patches to generate a true image for the common region,
When acquiring the modified digital surface model, the height value of the structure in the digital surface model is not changed.
 제1항에 있어서,
상기 도로 영역을 식별하는 단계는,
상기 공통 영역에 포함된 상기 도로 영역을 추출하기 위한 마스크를 상기 디지털 표면 모델에 적용하는 단계를 포함하는 것을 특징으로 하는 진정사 영상 생성 방법.
The method of claim 1,
Identifying the road area,
And applying a mask for extracting the road area included in the common area to the digital surface model.
 제1항에 있어서,
상기 수정 디지털 표면 모델을 획득하는 단계는,
상기 식별된 도로 영역의 높이 값을 미리 획득한 지형 높이 값으로 변경하는 단계를 포함하는 것을 특징으로 하는 진정사 영상 생성 방법.
The method of claim 1,
The step of obtaining the modified digital surface model,
And changing the height value of the identified road area to a terrain height value obtained in advance.
 제3항에 있어서,
상기 식별된 도로 영역의 높이 값이 상기 미리 획득한 지형 높이 값으로 변경됨에 따라, 상기 식별된 도로 영역 내 위치하는 오브젝트의 높이 값이 상기 미리 획득한 지형 높이 값으로 변경되는 것을 특징으로 하는 진정사 영상 생성 방법.
The method of claim 3,
As the height value of the identified road area is changed to the previously acquired terrain height value, the height value of the object located in the identified road area is changed to the previously acquired terrain height value. How to create an image.
 제1항에 있어서,
상기 진정사 영상을 생성하는 단계는,
상기 복수의 패치를 오버래핑하여 상기 진정사 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 진정사 영상 생성 방법.
The method of claim 1,
The step of generating the tranquilizer image,
And generating the tranquilizer image by overlapping the plurality of patches.
 제5항에 있어서,
상기 진정사 영상을 생성하는 단계는,
소정 투명도를 갖도록 처리된 상기 복수의 패치를 오버래핑하는 단계를 포함하는 것을 특징으로 하는 진정사 영상 생성 방법.
The method of claim 5,
The step of generating the tranquilizer image,
And overlapping the plurality of patches processed to have a predetermined transparency.
 삭제delete 삭제delete 제1항에 있어서,
상기 진정사 영상 생성 방법은,
상기 진정사 영상에서 식별되는 차선을 이용하여 도로 맵을 생성하는 단계를 더 포함하는 것을 특징으로 하는 진정사 영상 생성 방법.
The method of claim 1,
The method of generating an image of a true death,
And generating a road map using the lanes identified in the true image.
 하드웨어와 결합하여 제1항 내지 제6항 및 제9항 중 어느 하나의 항의 진정사 영상 생성 방법을 실행하기 위하여 매체에 저장된 프로그램.
A program stored in a medium to execute the method of generating a true image of any one of claims 1 to 6 and 9 in combination with hardware.
 복수의 영상 내에서 도로가 포함된 공통 영역 내 오브젝트의 높이 정보를 포함하는 디지털 표면 모델(digital surface model)을 획득하는 DSM 획득부;
상기 획득한 디지털 표면 모델에서 도로 영역을 식별하는 영역 식별부;
상기 식별된 도로 영역의 높이 값을 변경하여 수정 디지털 표면 모델을 획득하는 DSM 수정부; 및
상기 수정 디지털 표면 모델에 기초하여, 상기 복수의 영상에서 상기 공통 영역에 해당하는 공통 영상들 각각에 대응하는 복수의 패치를 생성하고, 상기 복수의 패치를 조합하여 상기 공통 영역에 대한 진정사 영상을 생성하는 영상 처리부를 포함하되,
상기 수정 디지털 표면 모델을 획득할 때, 상기 디지털 표면 모델 내 구조물의 높이 값은 변경되지 않는 것을 특징으로 하는 영상 처리 장치.A DSM acquisition unit that acquires a digital surface model including height information of an object in a common area including a road in a plurality of images;
An area identification unit for identifying a road area in the obtained digital surface model;
A DSM correction unit for obtaining a modified digital surface model by changing a height value of the identified road area; And
Based on the modified digital surface model, a plurality of patches corresponding to each of the common images corresponding to the common area are generated from the plurality of images, and a true image of the common area is generated by combining the plurality of patches. Including an image processing unit to generate,
When obtaining the modified digital surface model, the image processing apparatus according to claim 1, wherein the height value of the structure in the digital surface model is not changed.
KR1020190002989A 2019-01-09 2019-01-09 Image processing apparatus and method for generating true ortho-image KR102197654B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190002989A KR102197654B1 (en) 2019-01-09 2019-01-09 Image processing apparatus and method for generating true ortho-image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190002989A KR102197654B1 (en) 2019-01-09 2019-01-09 Image processing apparatus and method for generating true ortho-image

Publications (2)

Publication Number Publication Date
KR20200086584A KR20200086584A (en) 2020-07-17
KR102197654B1 true KR102197654B1 (en) 2021-01-04

Family

ID=71832447

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190002989A KR102197654B1 (en) 2019-01-09 2019-01-09 Image processing apparatus and method for generating true ortho-image

Country Status (1)

Country Link
KR (1) KR102197654B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009177251A (en) * 2008-01-21 2009-08-06 Pasuko:Kk Generation method of orthophoto image and photographing device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101795547B1 (en) * 2011-04-01 2017-11-09 에스케이 주식회사 The method and apparatus for generating Digital Elevation Model
KR102506264B1 (en) * 2016-11-26 2023-03-06 팅크웨어(주) Apparatus, method, computer program. computer readable recording medium for image processing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009177251A (en) * 2008-01-21 2009-08-06 Pasuko:Kk Generation method of orthophoto image and photographing device

Also Published As

Publication number Publication date
KR20200086584A (en) 2020-07-17

Similar Documents

Publication Publication Date Title
JP6771059B2 (en) Methods, devices, equipment and computer readable storage media for reconstructing 3D scenes
US10032302B2 (en) Rebuilding images based on historical image data
US9710946B2 (en) Method and apparatus for displaying point of interest
US20160063671A1 (en) A method and apparatus for updating a field of view in a user interface
JP5983540B2 (en) Medium or function identification method and program, article including marker, and marker arrangement method
Fedorov et al. A framework for outdoor mobile augmented reality and its application to mountain peak detection
Tsai et al. Three‐dimensional positioning from Google street view panoramas
KR100925278B1 (en) System for geocoding using digital map and method therefor
EP3206163A1 (en) Image processing method, mobile device and method for generating a video image database
US8933929B1 (en) Transfer of annotations from panaromic imagery to matched photos
CN114565863B (en) Real-time generation method, device, medium and equipment for orthophoto of unmanned aerial vehicle image
US9070345B2 (en) Integrating street view with live video data
US11798181B2 (en) Method and system for location detection of photographs using topographic techniques
JP6982242B2 (en) Learning data generator, change area detection method and computer program
JP6165422B2 (en) Information processing system, information processing device, server, terminal device, information processing method, and program
CN109034214B (en) Method and apparatus for generating a mark
CN104102732A (en) Method and device for displaying images
US8885952B1 (en) Method and system for presenting similar photos based on homographies
US9898846B1 (en) Method and apparatus for traffic condition diagram generation
KR102197654B1 (en) Image processing apparatus and method for generating true ortho-image
JP5271965B2 (en) Object distribution range setting device and object distribution range setting method
US20140351064A1 (en) Directional Filmstrip Display in Street View
US10108882B1 (en) Method to post and access information onto a map through pictures
CN111383337A (en) Method and device for identifying objects
JP2003051021A (en) Information updating device, information acquisition device and information update processing device

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)