KR20210001688A - System and method for automatically extracting reference points of images - Google Patents
System and method for automatically extracting reference points of images Download PDFInfo
- Publication number
- KR20210001688A KR20210001688A KR1020190078143A KR20190078143A KR20210001688A KR 20210001688 A KR20210001688 A KR 20210001688A KR 1020190078143 A KR1020190078143 A KR 1020190078143A KR 20190078143 A KR20190078143 A KR 20190078143A KR 20210001688 A KR20210001688 A KR 20210001688A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- marker
- reference point
- extracted
- gcps
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
본 발명은 이미지의 레퍼런스 포인트 자동 추출 시스템 및 방법에 관한 것으로, 보다 자세하게는 드론 서베이를 통해 획득한 2D 이미지에서 바운더리 인식이 용이하게 디자인된 마커의 절대좌표를 이용하여 GCPs의 레퍼런스값을 자동으로 입력하는 레퍼런스 포인트 자동 추출 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for automatically extracting a reference point of an image, and more specifically, automatically inputs reference values of GCPs using the absolute coordinates of a marker designed to facilitate boundary recognition in a 2D image acquired through a drone survey. It relates to a system and method for automatically extracting a reference point.
드론 서베이를 통해 획득한 이미지를 활용하여 3차원 포인트클라우드 맵을 생성하기 위해서는 GCPs의 절대좌표에 대한 레퍼런스값을 인식하는 것이 필요하다. 구체적으로, 측량 말뚝을 지표면에 고정하거나, 페인트로 지표면에 표시하고, GPS 및 토탈스테이션 등을 통해 측량 말뚝을 고정한 위치나, 페인트로 표시한 위치의 절대좌표를 취득하게 된다.In order to create a 3D point cloud map using images acquired through a drone survey, it is necessary to recognize a reference value for the absolute coordinates of GCPs. Specifically, the surveying stakes are fixed to the ground surface or marked on the surface with paint, and the absolute coordinates of the positions at which the surveying stakes are fixed or the positions marked with paint are acquired through GPS and a total station.
이후, 드론 서베이를 통해 획득한 이미지에서 GCPs의 절대좌표값을 기준으로 이미지별 좌표오차값을 보정해야한다. 그러나, 이미지별 좌표오차값을 보정하기 위해서는 모든 이미지에서 발견될 수 있는 모든 GCPs 표식을 찾아 확대한 다음 정확한 위치를 마우스로 클릭하고, 해당 좌표를 입력 또는 매칭시켜서 보정해야만 한다. 그러나, 드론 서베이를 통해 촬영을 하는 경우 바운더리내에 일정한 중첩도를 가지는 이미지들이 촬영되고, 이 이미지들을 모두 보정하기 위해서는 수시간이 소요되는 문제점이 있다.After that, the coordinate error value for each image must be corrected based on the absolute coordinate value of GCPs in the image acquired through the drone survey. However, in order to correct the coordinate error value for each image, it is necessary to find and enlarge all GCPs markers that can be found in all images, click the correct location with a mouse, and input or match the coordinates to correct. However, when photographing through a drone survey, images having a certain degree of overlap are photographed within the boundary, and it takes several hours to correct all of these images.
본 발명은 앞에서 설명한 문제점을 해결하기 위한 것으로, 드론 서베이를 통해 획득한 2D 이미지에서 바운더리 인식이 용이하게 디자인된 마커의 절대좌표를 이용하여 GCPs의 레퍼런스값을 자동으로 입력하는 레퍼런스 포인트 자동 추출 시스템 및 방법을 제공하는 것을 목적으로 한다.The present invention is to solve the above-described problem, a reference point automatic extraction system for automatically inputting reference values of GCPs using the absolute coordinates of a marker designed to facilitate boundary recognition in a 2D image acquired through a drone survey, and It aims to provide a method.
위에서 언급된 본 발명의 기술적 과제 외에도, 본 발명의 다른 특징 및 이점들이 이하에서 기술되거나, 그러한 기술 및 설명으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.In addition to the technical problems of the present invention mentioned above, other features and advantages of the present invention will be described below or will be clearly understood by those of ordinary skill in the art from such technology and description.
앞에서 설명한 목적을 달성하기 위한 본 발명의 실시 예에 따른 이미지의 레퍼런스 포인트 자동 추출 시스템은 촬영된 지표면의 이미지의 픽셀당 거리를 계산하는 픽셀거리 계산부와, 촬영된 이미지 중 마커를 포함하는 이미지를 선별하는 이미지 선별부와, 선별된 이미지에 포함된 마커의 센터 포인트를 추출하고, 추출한 센터 포인트에 마커의 위치에 해당하는 GCPs(Ground Control Points)의 절대좌표를 입력하는 매칭부를 포함할 수 있다.An image reference point automatic extraction system according to an embodiment of the present invention for achieving the above-described object includes a pixel distance calculation unit that calculates a distance per pixel of an image of a photographed ground surface, and an image including a marker among the captured images. An image selection unit to select, and a matching unit for extracting a center point of a marker included in the selected image, and inputting absolute coordinates of GCPs (Ground Control Points) corresponding to a position of the marker to the extracted center point.
한편, 앞에서 설명한 목적을 달성하기 위한 본 발명의 실시 예에 따른 이미지의 레퍼런스 포인트 자동 추출 방법은 촬영된 지표면의 이미지의 픽셀당 거리를 계산하는 단계와, 상기 촬영된 이미지 중 마커를 포함하는 이미지를 선별하는 단계와, 선별된 이미지에 포함된 마커의 센터 포인트를 추출하고, 상기 추출한 센서 포인트에 상기 마커의 위치에 해당하는 GCPs(Ground Control Point)의 절대좌표를 입력하는 단계를 포함할 수 있다.On the other hand, in the method for automatically extracting a reference point of an image according to an embodiment of the present invention for achieving the above-described object, calculating a distance per pixel of an image of a photographed ground surface, and an image including a marker among the photographed images Selecting and extracting a center point of a marker included in the selected image, and inputting the absolute coordinates of GCPs (Ground Control Point) corresponding to the position of the marker to the extracted sensor point.
본 발명의 실시 예에 따른 이미지의 레퍼런스 포인트 자동 추출 시스템 및 방법은 드론 서베이를 통해 획득한 2D 이미지의 GCPs의 레퍼런스값을 자동으로 입력할 수 있다.The system and method for automatically extracting an image reference point according to an embodiment of the present invention may automatically input reference values of GCPs of 2D images acquired through a drone survey.
또한, 마커의 외곽 바운더리를 띠 형태로 형성함으로써, 이미지에서 마커의 인식이 용이하도록 할 수 있다. In addition, by forming the outer boundary of the marker in a strip shape, it is possible to facilitate recognition of the marker in the image.
이 밖에도, 본 발명의 실시 예들을 통해 본 발명의 또 다른 특징 및 이점들이 새롭게 파악될 수도 있을 것이다.In addition, other features and advantages of the present invention may be newly recognized through embodiments of the present invention.
도 1은 본 발명의 실시 예에 따른 이미지의 레퍼런스 포인트 자동 추출 시스템의 구성을 나타내는 도면이다.
도 2는 본 발명의 실시 예에 따른 마커 디자인의 예시를 나타내는 도면이다.
도 3은 본 발명의 실시 예에 따른 이미지 처리 영역을 생성하는 것을 나타내는 도면이다.
도 4는 본 발명의 실시 예에 따른 이미지 처리 영역에서 마커의 형태에 따른 최외곽 바운더리의 꼭지점 및 센터 포인트를 추출하는 예시를 나타내는 도면이다.
도 5는 본 발명의 실시 예에 따른 본 발명의 실시 예에 따른 이미지의 레퍼런스 포인트 자동 추출 방법을 나타내는 도면이다.1 is a diagram illustrating a configuration of a system for automatically extracting a reference point of an image according to an exemplary embodiment of the present invention.
2 is a diagram illustrating an example of a marker design according to an embodiment of the present invention.
3 is a diagram illustrating generating an image processing area according to an exemplary embodiment of the present invention.
4 is a diagram illustrating an example of extracting a vertex and a center point of an outermost boundary according to a shape of a marker in an image processing area according to an embodiment of the present invention.
5 is a diagram illustrating a method of automatically extracting a reference point of an image according to an embodiment of the present invention.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.In order to clearly describe the present invention, parts irrelevant to the description have been omitted, and the same reference numerals are assigned to the same or similar components throughout the specification.
여기서 사용되는 전문 용어는 단지 특정 실시 예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.The terminology used herein is only for referring to specific embodiments and is not intended to limit the present invention. Singular forms as used herein also include plural forms unless the phrases clearly indicate the opposite. The meaning of “comprising” as used in the specification specifies a specific characteristic, region, integer, step, action, element and/or component, and the presence of another characteristic, region, integer, step, action, element and/or component, or It does not exclude additions.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.Although not defined differently, all terms including technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms defined in a commonly used dictionary are additionally interpreted as having a meaning consistent with the related technical literature and the presently disclosed content, and are not interpreted in an ideal or very formal meaning unless defined.
이하, 첨부한 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art may easily implement the present invention. However, the present invention may be implemented in various forms and is not limited to the embodiments described herein.
도 1은 본 발명의 실시 예에 따른 이미지의 레퍼런스 포인트 자동 추출 시스템의 구성을 나타내는 도면이다.1 is a diagram illustrating a configuration of a system for automatically extracting a reference point of an image according to an exemplary embodiment of the present invention.
도 1을 참조하면, 본 발명의 실시 예에 따른 이미지의 레퍼런스 포인트 자동 추출 시스템(100)은 절대좌표 측량부(110), 픽셀거리 계산부(120), 이미지 선별부(130), ROI 생성부(140), 매칭부(150) 및 저장부를 포함할 수 있다.Referring to FIG. 1, the system 100 for automatically extracting a reference point of an image according to an embodiment of the present invention includes an absolute
절대좌표 측량부(110)는 외곽 바운더리가 띠 형태로 형성된 마커의 절대좌표를 측량할 수 있다. The absolute
구체적으로, 드론 서베이를 하는 경우 GCPs를 현장에 표식하기 위해서 GCPs 위치에 마커를 표시할 수 있다. 여기서, 마커는 이미지에서 추출하기 용이하도록 외곽 바운더리가 띠 형태로 형성될 수 있다. 절대좌표 측량부(110)는 GPS 및 토탈스테이션을 통해 마커의 절대좌표를 측량할 수 있다. Specifically, in the case of a drone survey, markers can be displayed at the location of GCPs in order to mark the GCPs on the site. Here, as for the marker, an outer boundary may be formed in a strip shape to facilitate extraction from an image. The absolute
여기서, 절대좌표는 좌표계상 (0,0)을 기준으로 하는 좌표로써, 본 발명에 따른 좌표계는 지표상의 절대위치를 나타내는 좌표일 수 있다. 일 예로, 절대좌표는 일정 위치의 경도 및 위도를 나타내는 좌표일 수 있다. 절대좌표 측량부(110)는 GPS 및 토탈스테이션을 통해 마커의 절대좌표를 측량할 수 있다.Here, the absolute coordinate is a coordinate based on (0,0) on the coordinate system, and the coordinate system according to the present invention may be a coordinate indicating an absolute position on the ground. For example, the absolute coordinates may be coordinates representing the longitude and latitude of a predetermined location. The absolute
픽셀거리 계산부(120)는 촬영된 지표면의 이미지의 픽셀당 거리를 계산할 수 있다. 여기서, 지표면의 이미지는 드론 서베이를 통해 촬영될 수 있고, 드론 서베이를 통해 촬영된 지표면의 이미지는 포인트클라우드 맵을 생성하는데 이용할 수 있다. 드론 서베이를 통해 지표면의 이미지를 촬영하는 경우 지정된 바운더리 내에 일정한 중첩도를 갖는 사진들이 촬영될 수 있다. 작업지의 넓이에 따라서 수백 내지 수만 장의 사진이 촬영될 수 있다.The
이미지 선별부(130)는 촬영된 사진 이미지들 중 마커를 포함하는 사진 이미지를 선별할 수 있다. 마커는 작업지의 넓이에 따라 수십 내지 수십개가 설치될 수 있다. 이미지 선별부(130)는 드론 서베이를 통해 촬영한 지표면의 이미지들 중 마커를 포함하는 이미지를 선별할 수 있다. 여기서, 마커의 외곽 바운더리에는 띠 형태가 형성되어 있으므로, 이미지 선별부(130)는 이러한 형태를 인식함으로써 마커를 포함하는 이미지를 선별할 수 있다.The
일 실시예에 따르면, 이미지 선별부(130)에서 선별한 이미지를 대상으로 이미지 처리를 통해서 마커의 정확한 위치를 검색할 수 있다.According to an embodiment, the image selected by the
또 다른 실시예에 따르면, 이미지 전체를 이미지 처리를 할 경우는 많은 시간이 소요될 수 있으므로, 이미지 처리 영역(Image Processing Area)을 생성하여 이미지 처리 영역 내의 이미지만을 이미지 처리하여 시간을 감소시킬 수 있다.According to another embodiment, since it may take a lot of time to image-process the entire image, it is possible to reduce the time by creating an image processing area to image only an image in the image processing area.
이미지 처리 영역 생성부(140)는 선별된 이미지에 포함된 마커의 좌표를 기초로 이미지 처리 영역을 생성할 수 있다. 이미지 처리 영역은 마커가 위치하는 영역이며, 이미지 처리(Image Processing)를 통하여 이미지 처리 영역에서 마커의 정확한 위치를 검색할 수 있다. 여기서, 이미지 처리 영역은 전체 이미지의 일정부분일 수 있으며, 예컨대, 이미지의 전체 크기가 1024×1024인 경우 이미지 처리 영역은 300×300의 크기를 갖는 일정 부분일 수 있다.The image
또한, 이미지 처리 영역 생성부(140)는 마커의 실제 규격, 픽셀당 거리 및 GPS 오차를 고려하여 이미지 처리 영역를 생성할 수 있다. 여기서, 이미지 처리 영역 생성부(140)는 마커가 포함되도록 이미지 처리 영역을 생성할 수 있고, 이미지 처리 영역을 생성할 때 생성한 이미지 처리 영역의 마커가 중앙에 오도록 생성하는 것이 가장 바람직할 수 있다.In addition, the image
매칭부(150)는 이미지 내의 한 점의 좌표를 추출하고, 상기 한 점의 좌표를 상기 마커의 절대 좌표로서 설정할 수 있다. 즉, 매칭부(150)는 이미지 내의 한 점과 실제 지표상의 마커를 대응시킴으로써, 이미지 내의 점의 좌표를 실제 좌표랑 매칭시킬 수 있다. 예컨대, 매칭부(150)는 이미지의 센터 포인트의 좌표를 추출하고, 추출한 센터 포인트의 좌표에 마커의 위치에 해당하는 GCPs의 절대좌표를 입력(또는 치환)할 수 있다.The matching
구체적으로, 매칭부(150)는 생성된 이미지 처리 영역을 이진화할 수 있다. 즉, 이미지 처리 영역은 전체 이미지에 대해 일부 이미지를 추출하는 것으로서, 이미지 처리 영역은 이미지를 나타낼 수 있다. 매칭부(150)는 이러한 이미지 처리 영역 이미지를 이진화하여 최외곽 바운더리를 생성할 수 있다. 여기서, 이미지를 이진화하는 것은 이미지를 흑백 처리하는 것일 수 있다. 즉, 이미지 처리 영역 이미지를 흑백처리함으로써, 이미지의 경계가 뚜렷해질 수 있고, 이를 통해 최외곽 바운더리의 추출이 용이해질 수 있다.Specifically, the matching
매칭부(150)는 생성한 최외곽 바운더리의 꼭지점을 추출할 수 있다. 최외곽 바운더리는 마커의 모양에 따라 추출될 수 있으며, 예컨대, 마커의 최외곽 바운더리의 모양이 사각형인 경우, 최외곽 바운더리는 사각형의 형태로 추출될 수 있다. 이에 따라, 매칭부(150)는 사각형의 형태로 형성된 최외곽 바운더리의 꼭지점을 추출할 수 있다. 또한, 마커의 최외곽 바운더리의 모양은 원형, 삼각형, 다각형 등 다양한 형태일 수 있으며, 매칭부(150)는 마커의 모양에 따른 최외곽 바운더리를 추출할 수 있다. 또한, 매칭부(150)는 각 모양에 따라 추출된 최외곽 바운더리의 꼭지점을 추출할 수 있다. 한편, 최외곽 바운더리의 모양이 원형인 경우, 최외곽 바운더리의 특정 위치(또는 특정 점)를 꼭지점으로써 추출할 수 있다.The matching
또한, 기상 상태가 좋지 않거나 또는 공사 작업으로 인하여 이미지가 명확하지 않은 경우, 이미지 내의 바운더리 영역 또한 명확하지 않을 수 있어 바운더리 영역을 인식하는데 오차가 발생할 수 있다. 이런 경우, 최외곽 바운더리의 모양이 다른 2개 이상의 마커를 통해 바운더리 영역을 더 정확하게 추출할 수 있고, 이로 인해 바운더리 영역을 인식하는데 오차를 줄일 수 있다.In addition, when the weather condition is not good or the image is not clear due to construction work, the boundary area in the image may not be clear, so an error may occur in recognizing the boundary area. In this case, it is possible to more accurately extract the boundary region through two or more markers having different shapes of the outermost boundary, thereby reducing an error in recognizing the boundary region.
또한, 매칭부(150)는 추출된 꼭지점을 이용하여 센터 포인트를 추출할 수 있다. 매칭부(150)는 추출된 꼭지점들을 대각선으로 연결함으로써 센터 포인트를 추출할 수 있다. 즉, 사각형으로 형성된 이미지 처리 영역의 이미지에 대해 네개의 꼭지점이 형성될 수 있고, 매칭부(150)는 대각선 방향의 꼭지점들을 연결하여 두개의 대각선이 접하는 지점을 센터 포인트로써 추출할 수 있다.Also, the
또한 매칭부(150)는 추출한 센터 포인트에 GCPs의 절대좌표를 입력할 수 있다. 여기서, 이미지 선별부(130)에서 선별된 이미지들은 각각 마커를 포함하고 있으므로, 매칭부(150)는 각 이미지에 포함된 마커에 해당하는 GCPs의 절대좌표를 센터 포인트에 입력할 수 있다.In addition, the
저장부(160)는 마커의 절대좌표 및 마커가 표시되는 GCPs를 저장할 수 있다. 이에 따라, 이미지 선별부(130)에서 이미지를 선별하거나, 매칭부(150)에서 센터 포인트를 추출할 때 등에서 저장부(160)에 저장된 마커의 절대좌표 및 마커가 표시되는 GCPs를 이용할 수 있다.The
전술한 바와 같이 본 발명의 실시 예에 따르면, 드론 서베이를 통해 촬영된 지표면의 이미지를 이용하여 3차원 포인트클라우드 맵을 생성하는 경우, 지표면의 이미지에 GCPs의 절대좌표를 자동으로 입력해줄 수 있다. 즉, 기존에는 드론 서베이를 통해 촬영된 지표면의 이미지에서 GCPs를 표시한 표식을 찾아 확대한 후, 정확한 GCPs의 절대좌표를 입력하거나 매칭시켜주어야만 했다. 특히, 드론 서베이를 통해 촬영되는 이미지는 70% 이상의 중첩도를 가지게 되므로, 정확한 GCPs의 절대좌표를 입력하거나 매칭하는 것은 수시간이 소요될 수 밖에 없었다. 그러나, 본 발명의 실시 예에 따르면 이미지에서 인식이 용이하도록 형성된 마커를 통해 이미지 내에서 마커의 위치를 인식하고, 마커의 위치에 GCPs의 절대좌표를 입력해줌으로써 자동으로 이미지에 GCPs의 절대좌표를 입력하는 것이 가능할 수 있다.As described above, according to an embodiment of the present invention, when a 3D point cloud map is generated using an image of the ground surface captured through a drone survey, the absolute coordinates of GCPs can be automatically input to the image of the ground surface. In other words, in the past, it was necessary to find and enlarge the mark indicating GCPs in the image of the surface taken through a drone survey, and then input or match the absolute coordinates of the exact GCPs. In particular, since the image captured through the drone survey has a degree of overlap of 70% or more, it inevitably took several hours to input or match the absolute coordinates of accurate GCPs. However, according to an embodiment of the present invention, the position of the marker in the image is recognized through a marker formed to be easily recognized in the image, and the absolute coordinates of GCPs are automatically input to the image by entering the absolute coordinates of GCPs at the marker position. It may be possible to enter.
도 2는 본 발명의 실시 예에 따른 마커 디자인의 예시를 나타내는 도면이다.2 is a diagram illustrating an example of a marker design according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 실시 예에 따른 마커(10)는 GCPs(Ground Control Point)의 위치에 표시될 수 있다. 여기서, 마커(10)가 표시됨이라 함은 측량말뚝을 GCPs에 고정시키거나, 페인트 등을 이용하여 GCPs를 표시하는 것을 나타낼 수 있다. 여기서, 마커(10)는 외곽 바운더리(12)가 띠 형태로 형성될 수 있다. 마커(10)의 외곽 바운더리(12)가 띠 형태로 형성됨에 따라 촬영된 이미지에서 마커(10)의 인식이 용이해질 수 있다. 여기서, 저장부(160)는 마커(10)의 위치, 즉, GCPs의 절대좌표를 저장할 수 있다. 저장부(160)에 저장되는 마커(10)의 위치는 이후 이미지에서 레퍼런스 포인트를 추출하는데 이용될 수 있다.Referring to FIG. 2, a
도 3은 본 발명의 실시 예에 따른 이미지 처리 영역을 생성하는 것을 나타내는 도면이다.3 is a diagram illustrating generating an image processing area according to an exemplary embodiment of the present invention.
도 3을 참조하면, 이미지 선별부(130)는 촬영된 이미지 중 마커(10)를 포함하는 이미지(1)를 선별할 수 있다. 이미지 선별부(130)는 드론 서베이를 통해 촬영한 지표면의 이미지들 중 마커(10)를 포함하는 이미지를 선별할 수 있다. Referring to FIG. 3, the
이미지 처리 영역 생성부(140)는 선별된 이미지에 포함된 마커(10)의 좌표를 기초로 이미지 처리 영역(2)을 생성할 수 있다. 여기서, 이미지 처리 영역(2)을 생성하는 것은 전체 이미지에서 일정부분을 추출하는 것일 수 있다. 여기서, 이미지 처리 영역 생성부(140)는 마커(10)가 포함되도록 이미지 처리 영역(2)을 생성할 수 있다.The image
도 4는 본 발명의 실시 예에 따른 이미지 처리 영역에서의 마커의 형태에 따른 최외곽 바운더리의 꼭지점 및 센터 포인터를 추출하는 예시를 나타내는 도면이다.4 is a diagram illustrating an example of extracting a vertex and a center pointer of an outermost boundary according to a shape of a marker in an image processing area according to an embodiment of the present invention.
(a) 및 (b)는 마커의 바운더리 형태가 사각형인 경우를 나타내고, (c)는 마커의 바운더리 형태가 원형인 경우를 나타내고, (d)는 마커의 바운더리 형태가 원형 및 사각형인 경우를 나타낼 수 있다.(a) and (b) indicate the case where the marker's boundary shape is a square, (c) indicates the case where the marker's boundary shape is circular, and (d) indicates the case where the marker's boundary shape is circular or square. I can.
도 4를 참조하면, 매칭부(150)는 생성된 이미지 처리 영역(2)을 이진화하여 최외곽 바운더리(22)를 생성할 수 있다. 매칭부(150)는 생성한 최외곽 바운더리(22)의 꼭지점(24)을 추출할 수 있다. 최외곽 바운더리(22)는 마커의 모양에 따라 상이할 수 있다. 예컨대, 마커의 바운더리 모양이 사각형인 경우, 이미지 처리 영역(2)에서의 최외곽 바운더리(22)도 사각형의 형태로 추출될 수 있다. 이에 따라, 매칭부(150)는 사각형의 형태로 형성된 최외곽 바운더리(22)의 꼭지점(24)을 추출할 수 있다. 여기서, 매칭부(150)는 이미지 처리 영역(2)에서의 최외곽 바운더리(22)가 일정 두께를 가지는 경우 최외곽 바운더리(22)의 두께를 반영하여 꼭지점(24)을 추출할 수 있다.Referring to FIG. 4, the
이후, 매칭부(150)는 추출된 꼭지점(24)을 이용하여 센터 포인트(20)를 추출할 수 있다. 매칭부(150)는 추출된 꼭지점들(24)을 대각선(26)으로 연결함으로써 센터 포인트(20)를 추출할 수 있다. 즉, 사각형으로 형성된 최외곽 바운더리(22)에 대해 네개의 꼭지점(24)이 형성될 수 있고, 매칭부(150)는 대각선 방향의 꼭지점들(24)을 연결하여 두개의 대각선(26)이 접하는 지점을 센터 포인트(20)로써 추출할 수 있다.Thereafter, the
또한, 마커의 바운더리 모양이 원형인 경우, 이미지 처리 영역(2)에서의 최외곽 바운더리(22)도 원형의 형태로 추출될 수 있다. 이에 따라, 매칭부(150)는 원형의 형태로 형성된 최외곽 바운더리(22)의 특정 점을 꼭지점으로써 추출할 수 있다. 이때, 특정 점은 추출된 최외관 바운더리(22)에 포함되는 점일 수 있다.In addition, when the marker has a circular shape, the outermost boundary 22 in the
이후, 매칭부(150)는 추출된 꼭지점(24)을 이용하여 센터 포인트(20)를 추출할 수 있다. 매칭부(150)는 추출된 꼭지점들(24)을 대각선(26)으로 연결함으로써 센터 포인트(20)를 추출할 수 있다. 즉, 원형으로 형성된 최외곽 바운더리(22)에 대해 다수의 꼭지점(24)이 형성될 수 있고, 매칭부(150)는 대각선 방향의 꼭지점들(24)을 연결하여 두개의 대각선(26)이 접하는 지점을 센터 포인트(20)로써 추출할 수 있다.Thereafter, the
또한, 기상 상태가 좋지 못하거나, 공사 작업 등으로 인하여 촬영된 이미지가 명확하지 않은 경우, 이미지 내의 마커도 명확하지 않을 수 있다. 이로 인해 이미지 처리 영역 내의 마커의 최외각 바운더리가 명확하게 추출되지 않을 수 있다. 이에 따라, 이미지 처리 영역 내의 마커의 최외각 바운더리를 더 명확하게 추출하기 위해 여러 형태의 외곽 바운더리를 가지는 마커를 혼합하여 사용할 수 있다. 예컨대, 원형의 외곽 바운더리를 가지는 마커와 사각형의 외곽 바운더리를 가지는 마커를 혼합하여 사용할 수 있다.In addition, when the weather condition is poor or the captured image is not clear due to construction work, etc., the marker in the image may not be clear. For this reason, the outermost boundary of the marker in the image processing area may not be clearly extracted. Accordingly, in order to more clearly extract the outermost boundary of the marker in the image processing area, it is possible to mix and use markers having various types of outer boundary. For example, a marker having a circular outer boundary and a marker having a rectangular outer boundary may be mixed and used.
여기서, 매칭부(150)는 각 마커의 최외곽 바운더리를 추출할 수 있고, 추출된 각 최외곽 바운더리에 대해 꼭지점(24)을 추출할 수 있다. 이때, 바운더리 및 꼭지점을 추출하는 방식은 위에 기재된 바와 동일할 수 있다.Here, the
이후, 매칭부(150)는 추출된 꼭지점(24)을 이용하여 센터 포인트(20)를 추출할 수 있다. 매칭부(150)는 추출된 꼭지점들(24)을 대각선(26)으로 연결함으로써 센터 포인트(20)를 추출할 수 있다. 즉, 매칭부(150)는 대각선 방향의 꼭지점들(24)을 연결하여 두개의 대각선(26)이 접하는 지점을 센터 포인트(20)로써 추출할 수 있다. 이때, 매칭부(150)는 원형의 최외곽 바운더리를 가지는 마커 및 사각형의 최외곽 바운더리를 가지는 각 마커에 대해 각각 센터 포인트를 추출할 수 있다.Thereafter, the
도 5는 본 발명의 실시 예에 따른 본 발명의 실시 예에 따른 이미지의 레퍼런스 포인트 자동 추출 방법을 나타내는 도면이다.5 is a diagram illustrating a method of automatically extracting a reference point of an image according to an embodiment of the present invention.
도 5를 참조하면, 절대좌표 측량부(110)는 외곽 바운더리가 띠 형태로 형성된 마커의 절대좌표를 측량할 수 있다(S10). 마커는 이미지에서 추출하기 용이하도록 외곽 바운더리가 띠 형태로 형성되어 GCPs 위치에 표시될 수 있고, 절대좌표 측량부(110)는 GPS 및 토탈스테이션을 통해 마커의 절대좌표를 측량할 수 있다. Referring to FIG. 5, the absolute coordinate measuring
픽셀거리 계산부(120)는 촬영된 지표면의 이미지의 픽셀당 거리를 계산할 수 있다(S20). 여기서, 지표면의 이미지는 드론 서베이를 통해 촬영될 수 있고, 드론 서베이를 통해 촬영된 지표면의 이미지는 포인트클라우드 맵을 생성하는데 이용할 수 있다. 드론 서베이를 통해 지표면의 이미지를 촬영하는 경우 지정된 바운더리 내에 일정한 중첩도를 갖는 사진들이 촬영될 수 있다. The
이미지 선별부(130)는 촬영된 이미지 중 마커를 포함하는 이미지를 선별할 수 있다(S30). 이미지 선별부(130)는 드론 서베이를 통해 촬영한 지표면의 이미지들 중 마커를 포함하는 이미지를 선별할 수 있다.The
이미지 처리 영역 생성부(140)는 선별된 이미지에 포함된 마커의 좌표를 기초로 이미지 처리 영역을 생성할 수 있다(S40). 이미지 처리 영역 생성부(140)는 마커의 실제 규격, 픽셀당 거리 및 GPS 오차를 고려하여 이미지 처리 영역을 생성할 수 있다. 여기서, 이미지 처리 영역 생성부(140)는 마커가 포함되도록 이미지 처리 영역을 생성할 수 있다.The image
매칭부(150)는 생성된 이미지 처리 영역을 이진화하여 최외곽 바운더리를 생성할 수 있다(S50). 매칭부(150)는 이미지를 흑백 처리하여 이진화 할 수 있고, 이에 따라 이미지의 경계가 뚜렷해질 수 있다. 매칭부(150)는 이를 통해 최외곽 바운더리의 추출이 용이해질 수 있다.The
매칭부(150)는 생성한 최외곽 바운더리의 꼭지점을 추출할 수 있다(S60). 최외곽 바운더리는 마커의 형태에 따라 추출될 수 있으며, 예컨대, 마커의 바운더리의 형태가 사각형 형태인 경우, 최외곽 바운더리는 사각형의 형태로 추출될 수 있다. 이에 따라, 매칭부(150)는 사각형의 형태로 형성된 최외곽 바운더리의 꼭지점을 추출할 수 있다.The
또한, 매칭부(150)는 추출된 꼭지점을 이용하여 센터 포인트를 추출하여 추출한 센터 포인트에 GCPs의 절대좌표를 입력할 수 있다(S70). 매칭부(150)는 추출된 꼭지점들을 대각선으로 연결함으로써 센터 포인트를 추출할 수 있다. 즉, 최외곽 바운더리가 사각형 형태로 추출된 경우, 네개의 꼭지점이 추출될 수 있고, 매칭부(150)는 대각선 방향의 꼭지점들을 연결하여 두개의 대각선이 접하는 지점을 센터 포인트로써 추출할 수 있다. 매칭부(150)는 추출한 센터 포인트에 GCPs의 절대좌표를 입력함으로써, 자동으로 이미지에 GCPs의 절대좌표를 입력하는 것이 가능할 수 있다.In addition, the
마커들의 GCPs 값이 정해지면 마커를 포함하는 이미지를 기본으로 이용하여 나머지 사진 이미지들을 모아서 정합하는 과정을 거쳐 최종 3차원 포인트 클라우드 맵을 생성할 수 있게 된다.전술한 바와 같이 본 발명의 실시 예에 따르면 드론 서베이를 통해 획득한 2D 이미지에서 바운더리 인식이 용이하게 디자인된 마커의 절대좌표를 이용하여 GCPs의 레퍼런스값을 자동으로 입력하는 레퍼런스 포인트 자동 추출 시스템 및 방법을 실현할 수 있다.When the GCPs values of the markers are determined, it is possible to generate a final 3D point cloud map through a process of collecting and matching the remaining photographic images using the image including the marker as a basis. As described above, according to an embodiment of the present invention According to this, it is possible to realize a system and method for automatic reference point extraction that automatically inputs reference values of GCPs using the absolute coordinates of markers designed to facilitate boundary recognition in 2D images acquired through drone surveys.
본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Those skilled in the art to which the present invention pertains, since the present invention may be implemented in other specific forms without changing the technical spirit or essential features thereof, the embodiments described above are illustrative in all respects and should be understood as non-limiting. Only. The scope of the present invention is indicated by the claims to be described later rather than the detailed description, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. .
110: 절대좌표 측량부
120: 픽셀거리 계산부
130: 이미지 선별부
140: ROI 생성부
150: 매칭부
160: 저장부110: world coordinate surveying unit
120: pixel distance calculation unit
130: image selection unit
140: ROI generation unit
150: matching unit
160: storage unit
Claims (14)
상기 촬영된 이미지 중 상기 마커를 포함하는 이미지를 선별하는 이미지 선별부;
선별된 이미지에 포함된 마커의 센터 포인트를 추출하고, 상기 추출한 센터 포인트에 상기 마커의 위치에 해당하는 GCPs(Ground Control Point)의 절대좌표를 입력하는 매칭부;를 포함하는 이미지의 레퍼런스 포인트 자동 추출 시스템.
A pixel distance calculator that calculates a distance per pixel of the photographed surface image;
An image selection unit that selects an image including the marker among the captured images;
Automatic extraction of a reference point of an image including a matching unit for extracting the center point of the marker included in the selected image and inputting the absolute coordinates of the GCPs (Ground Control Point) corresponding to the position of the marker to the extracted center point. system.
상기 마커는 외곽 바운더리가 띠 형태로 형성되어 GCPs(Ground Control Points)에 표시되는 이미지의 레퍼런스 포인트 자동 추출 시스템.
The method of claim 1,
The marker is an automatic reference point extraction system of an image that is displayed in GCPs (Ground Control Points) by forming an outer boundary in a strip shape.
상기 지표면의 이미지는 드론 서베이를 통해 촬영된 이미지인, 이미지의 레퍼런스 포인트 자동 추출 시스템.
The method of claim 1,
The image of the ground surface is an image taken through a drone survey, an automatic reference point extraction system for an image.
상기 마커의 절대좌표 및 상기 마커가 표시되는 GCPs를 저장하는 저장부를 더 포함하는 이미지의 레퍼런스 포인트 자동 추출 시스템.
The method of claim 1,
An automatic reference point extraction system for an image further comprising a storage unit for storing the absolute coordinates of the marker and GCPs on which the marker is displayed.
선별된 이미지에 포함된 마커의 좌표를 기초로 이미지 처리 영역을 생성하는 이미지 처리 영역 생성부를 더 포함하는 이미지의 레퍼런스 포인트 자동 추출 시스템.
The method of claim 1,
An image reference point automatic extraction system further comprising an image processing area generator for generating an image processing area based on the coordinates of a marker included in the selected image.
상기 이미지 처리 영역 생성부는 상기 마커의 실제 규격, 상기 픽셀당 거리 및 GPS의 오차를 고려하여 이미지 처리 영역을 생성하는 이미지의 레퍼런스 포인트 자동 추출 시스템.
The method of claim 5,
The image processing area generation unit automatically extracts a reference point of an image to generate an image processing area in consideration of an actual standard of the marker, the distance per pixel, and an error of GPS.
상기 매칭부는 상기 선별된 이미지를 이진화하여 최외곽 바운더리를 생성하고, 상기 생성한 최외곽 바운더리의 꼭지점을 추출하고, 추출된 꼭지점을 이용하여 상기 센터 포인트를 추출하는 이미지의 레퍼런스 포인트 자동 추출 시스템.
The method of claim 1,
The matching unit binarizes the selected image to generate an outermost boundary, extracts a vertex of the generated outermost boundary, and extracts the center point using the extracted vertex.
상기 추출한 꼭지점들을 대각선으로 연결하여 상기 센터 포인트를 추출하는 이미지의 레퍼런스 포인트 자동 추출 시스템.
The method of claim 7,
An automatic reference point extraction system of an image for extracting the center point by connecting the extracted vertices diagonally.
상기 촬영된 이미지 중 상기 마커를 포함하는 이미지를 선별하는 단계;
선별된 이미지에 포함된 마커의 센터 포인트를 추출하고, 상기 추출한 센서 포인트에 상기 마커의 위치에 해당하는 GCPs(Ground Control Points)의 절대좌표를 입력하는 단계;를 포함하는 이미지의 레퍼런스 포인트 자동 추출 방법.
Steps to calculate the distance per pixel of the captured surface image:
Selecting an image including the marker among the captured images;
Extracting the center point of the marker included in the selected image, and inputting the absolute coordinates of the GCPs (Ground Control Points) corresponding to the position of the marker to the extracted sensor point; Automatic reference point extraction method of an image comprising .
상기 마커의 절대좌표 및 상기 마커가 표시되는 GCPs ID를 저장하는 단계를 더 포함하는 이미지의 레퍼런스 포인트 자동 추출 방법.
The method of claim 9,
Automatic reference point extraction method of an image further comprising the step of storing the absolute coordinates of the marker and the GCPs ID on which the marker is displayed.
상기 선별된 이미지에 포함된 마커의 좌표를 기초로 이미지 처리 영역을 생성하는 생성부를 포함하는 이미지의 레퍼런스 포인트 자동 추출 방법.
The method of claim 9, after selecting the image containing the marker,
A method of automatically extracting a reference point of an image comprising a generator configured to generate an image processing area based on the coordinates of the marker included in the selected image.
상기 마커의 실제 규격, 상기 픽셀당 거리 및 GPS의 오차를 고려하여 이미지 처리 영역을 생성하는 이미지의 레퍼런스 포인트 자동 추출 방법.
The method of claim 11, wherein in generating the image processing area,
A method of automatically extracting a reference point of an image for generating an image processing area in consideration of the actual standard of the marker, the distance per pixel, and an error of GPS.
상기 선별된 이미지를 이진화하여 최외곽 바운더리를 생성하고, 상기 생성한 최외곽 바운더리의 꼭지점을 추출하고, 추출된 꼭지점을 이용하여 상기 센터 포인트를 추출하는 이미지의 레퍼런스 포인트 자동 추출 방법.
The method of claim 9, wherein in the step of inputting the absolute coordinates of the marker,
A method of automatically extracting a reference point of an image in which the selected image is binarized to generate an outermost boundary, extracts a vertex of the generated outermost boundary, and extracts the center point using the extracted vertex.
상기 추출한 꼭지점의 대각선들을 서로 연결하여 센터 포인트를 추출하는 이미지의 레퍼런스 포인트 자동 추출 방법.
The method of claim 13, wherein in the step of inputting the absolute coordinates of the marker,
A method of automatically extracting a reference point of an image in which a center point is extracted by connecting diagonal lines of the extracted vertices.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190078143A KR20210001688A (en) | 2019-06-28 | 2019-06-28 | System and method for automatically extracting reference points of images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190078143A KR20210001688A (en) | 2019-06-28 | 2019-06-28 | System and method for automatically extracting reference points of images |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20210001688A true KR20210001688A (en) | 2021-01-06 |
Family
ID=74128147
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190078143A KR20210001688A (en) | 2019-06-28 | 2019-06-28 | System and method for automatically extracting reference points of images |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20210001688A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230036270A (en) * | 2021-09-07 | 2023-03-14 | 조선대학교산학협력단 | Apparatus and method generating 3d image of target metalic grain |
-
2019
- 2019-06-28 KR KR1020190078143A patent/KR20210001688A/en active Search and Examination
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230036270A (en) * | 2021-09-07 | 2023-03-14 | 조선대학교산학협력단 | Apparatus and method generating 3d image of target metalic grain |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113034689B (en) | Laser point cloud-based terrain three-dimensional model, terrain map construction method and system, and storage medium | |
Riquelme et al. | Identification of rock slope discontinuity sets from laser scanner and photogrammetric point clouds: A comparative analysis | |
Rottensteiner et al. | The ISPRS benchmark on urban object classification and 3D building reconstruction | |
WO2016106955A1 (en) | Laser infrared composite ground building recognition and navigation method | |
KR101349375B1 (en) | Method of automatic three dimensional plotting of building for three dimensional geographic information system | |
Rumpler et al. | Automated end-to-end workflow for precise and geo-accurate reconstructions using fiducial markers | |
CN110969592B (en) | Image fusion method, automatic driving control method, device and equipment | |
KR101349376B1 (en) | Method of automatic plotting of building plane for numerical map by using target | |
CN110956100A (en) | High-precision map generation method and device, electronic equipment and storage medium | |
KR20130102873A (en) | Method for generating three-dimensional modeling data of the structure using color groud lidar measurement data | |
Zhang et al. | Automatic registration of urban aerial imagery with airborne LiDAR data | |
Potůčková et al. | Comparison of quality measures for building outline extraction | |
Wang | Automatic extraction of building outline from high resolution aerial imagery | |
WO2019242081A1 (en) | Cadastral surveying system based on multi-platform laser radar | |
Kaufmann et al. | Long-term monitoring of glacier change at Gössnitzkees (Austria) using terrestrial photogrammetry | |
Stöcker et al. | UAV Technology: Opportunities to support the updating process of the Rwandan cadastre | |
Yoo et al. | True orthoimage generation by mutual recovery of occlusion areas | |
KR20210001688A (en) | System and method for automatically extracting reference points of images | |
Li et al. | Registration of aerial imagery and lidar data in desert areas using the centroids of bushes as control information. | |
Goebbels et al. | Roof reconstruction from airborne laser scanning data based on image processing methods | |
CN114861475B (en) | Real-time ocean simulation method and system based on sensing data | |
CN113670338B (en) | Error measurement method, error measurement device, electronic equipment and readable storage medium | |
Kong et al. | An automatic and accurate method for marking ground control points in unmanned aerial vehicle photogrammetry | |
Lu et al. | Estimation of Transformation Parameters Between Centre‐Line Vector Road Maps and High Resolution Satellite Images | |
Jende et al. | Low-level tie feature extraction of mobile mapping data (mls/images) and aerial imagery |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination |