KR101332093B1 - Spatial image processing system for obtaining 3-dimensional space data using coordination information of target object obtained by a plurality of sensors - Google Patents

Spatial image processing system for obtaining 3-dimensional space data using coordination information of target object obtained by a plurality of sensors Download PDF

Info

Publication number
KR101332093B1
KR101332093B1 KR1020120151582A KR20120151582A KR101332093B1 KR 101332093 B1 KR101332093 B1 KR 101332093B1 KR 1020120151582 A KR1020120151582 A KR 1020120151582A KR 20120151582 A KR20120151582 A KR 20120151582A KR 101332093 B1 KR101332093 B1 KR 101332093B1
Authority
KR
South Korea
Prior art keywords
image
information
module
target object
data
Prior art date
Application number
KR1020120151582A
Other languages
Korean (ko)
Inventor
오정환
Original Assignee
(주)지오투정보기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)지오투정보기술 filed Critical (주)지오투정보기술
Priority to KR1020120151582A priority Critical patent/KR101332093B1/en
Application granted granted Critical
Publication of KR101332093B1 publication Critical patent/KR101332093B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Processing (AREA)

Abstract

The present invention relates to a spatial image processing system for obtaining three-dimensional space data using coordinate information of a target object obtained by multiple sensors. The present invention obtains more accurate three-dimensional space coordinate information by correcting the curve of images through a filtering process after obtaining the images by a mobile measurement system (MMS). [Reference numerals] (AA) Start;(BB) End;(S810) Extract curve from image information;(S820) Set lines that are not straight lines on 3D coordinate among detected curve as first revision group;(S830) Remove the first revision group from the image information;(S840) Set lines that are out of threshold value from center point of 3D coordinate from the first revision group removed image as second revision group;(S850) Remove the second revision group from the image information;(S860) Extract parameter from the second revision group removed image;(S870) Perform reverse-conversion by using the parameter to perform image revision

Description

복수개의 센서에 의해 획득된 대상 객체의 좌표 정보를 이용하여 3차원 공간 데이터를 획득하는 공간영상처리 시스템{SPATIAL IMAGE PROCESSING SYSTEM FOR OBTAINING 3-DIMENSIONAL SPACE DATA USING COORDINATION INFORMATION OF TARGET OBJECT OBTAINED BY A PLURALITY OF SENSORS}SPACEIAL IMAGE PROCESSING SYSTEM FOR OBTAINING 3-DIMENSIONAL SPACE DATA USING COORDINATION INFORMATION OF TARGET OBJECT OBTAINED BY A PLURALITY OF SENSORS }

본 발명은 복수개의 센서에 의해 획득된 대상 객체의 좌표 정보를 이용하여 3차원 공간 데이터를 획득하는 공간영상처리 시스템에 관한 것이다.The present invention relates to a spatial image processing system for acquiring three-dimensional spatial data by using coordinate information of a target object obtained by a plurality of sensors.

기존의 항공측량을 이용한 3D 공간 모델링 방법은 획득된 건물의 촬영된 부위까지만 이용할 수 있어 강제적으로 건물의 끝부분까지 영상을 확장시켜 완성시키는 작업 과정으로 진행되었다. 이렇게 영상을 강제적으로 확장시켰기 때문에 가시성이 현저히 떨어질 뿐만 아니라, 객체에 대한 정확한 좌표 정보도 획득할 수 없어 모델링 작업 완료 후에도 사용자에게 보다 현실감 있는 영상 데이터를 제공하기 어려웠다.The 3D space modeling method using existing aerial surveying is available only to the photographed part of the acquired building, and it has been forcibly extended to the end of the building. Since the image has been forcibly expanded, not only the visibility is significantly lowered but also the accurate coordinate information about the object can not be obtained, and it is difficult to provide more realistic image data to the user even after completing the modeling work.

또한, 종래의 공간 모델링 방법은 현장조사를 통해 수작업으로 구축된 데이터를 활용함으로써 과도한 인건비가 발생하게 되고, 이러한 수작업으로 인해 지리정보의 오류가 빈번하게 발생될 뿐만 아니라 수정 및 갱신이 어렵다는 단점이 있었고, 이러한 단점을 극복하기 위해 모바일 매핑 시스템(MMS; Mobile Mapping System) 등 최신 측량장비를 이용하여 건물 및 도로 시설물에 대한 지리정보 데이터를 구축하고 있다. 그러나, 보정점 측량 등으로 인해 비용이 많이 소요될 뿐만 아니라, 측정된 영상의 왜곡 등으로 인해 정확한 좌표 정보를 획득하기 어렵고, 더욱이 도심지에서는 그 정보의 정확도가 결여되어 지리 정보 데이터 베이스 구축에 많은 문제점을 초래하고 있다.In addition, in the conventional space modeling method, an excessive labor cost is generated by using data constructed manually by field survey, and errors of geographical information are frequently generated due to such manual operation, and it is difficult to correct and update In order to overcome these drawbacks, geographic information data on buildings and road facilities are being constructed using the latest surveying equipment such as mobile mapping system (MMS). However, it is difficult to acquire precise coordinate information due to distortion of the measured image, and the like. In addition, since the accuracy of the information is lacking in the urban area, there are many problems in building a geographic information database .

본 발명은 이동 측량 장비(MMS)를 통해 획득된 영상을 획득한 후 필터링 과정을 통해 영상의 휘어짐 현상을 보정함으로써 보다 정확한 3차원 공간좌표 정보를 획득하고자 한다.The present invention intends to acquire more accurate three-dimensional space coordinate information by correcting a warping phenomenon of an image through a filtering process after acquiring an image obtained through a mobile measurement equipment (MMS).

또한, 본 발명은 영상 보정을 위한 매개변수 추출시 가중치가 적용된 임계값을 이용하여 필터링을 수행함으로써 보다 세밀한 영상 보정을 수행하고자 한다.In addition, the present invention intends to perform finer image correction by performing filtering using a weighted threshold value when extracting parameters for image correction.

또한, 본 발명은 영상 보정을 위한 매개변수 추출시 에러 요소를 중복적으로 제거함으로써 보다 세밀한 영상 보정을 수행하고자 한다.In addition, the present invention intends to perform more precise image correction by redundantly eliminating error elements when extracting parameters for image correction.

또한, 본 발명은 대상 객체의 영상 정보를 항공사진으로부터 생성된 공통점 벡터 정보와 비교하여 대상 객체의 좌표 정보를 획득함으로써 보다 정확한 3차원 공간 좌표 정보를 산출하고자 한다.Also, the present invention compares the image information of the target object with the common point vector information generated from the aerial photograph, and obtains the coordinate information of the target object to thereby calculate the more accurate three-dimensional space coordinate information.

본 발명은, 복수개의 센서에 의해 획득된 대상 객체의 좌표 정보를 이용하여 3차원 공간 데이터를 획득하는 공간영상처리 시스템에 있어서, 복수개의 카메라로부터 영상 정보를 획득하는 촬영 영상 획득 모듈; 인공 위성으로부터 GPS 정보를 수신하여 상기 카메라의 현재 위치 정보를 획득하는 GPS 수신 모듈; 상기 복수개의 센서를 이용하여 상기 카메라의 수평 정보를 획득하는 관성 측정 모듈; 상기 영상 정보, 상기 현재 위치 정보 및 상기 수평 정보에 기초하여 상기 영상 정보를 보정하는 영상 처리 모듈; 상기 영상 정보, 상기 현재 위치 정보 및 상기 수평 정보를 상기 영상 처리 모듈로 전송할 수 있도록 제어하는 컨트롤 모듈; 및 상기 영상 정보를 저장하는 버퍼를 포함하는 모바일 매핑 장치; 상기 모바일 매핑 장치로부터 상기 영상 정보를 수신하여 저장하거나 외부 데이터베이스로부터 항공사진 데이터를 수신하여 저장하는 항공사진 데이터베이스; 상기 영상 처리 모듈에서 획득된 보정 영상으로부터 대상 객체를 추출하는 객체 추출 모듈; 상기 추출된 대상 객체의 중심점에 기초하여 상기 대상 객체의 좌표 정보를 획득하는 객체 위치 결정 모듈; 상기 항공사진 데이터베이스로부터 상기 영상 정보에 대응되는 항공사진의 좌표 정보를 추출하는 항공사진 추출 모듈; 상기 대상 객체의 좌표 정보와 상기 항공사진의 좌표 정보를 비교하여 객체들 간의 매칭 여부를 확인하되, 상기 매칭 여부 확인은 서로 다른 값의 촬영된 카메라 방향 정보와 해상도를 나타내는 픽셀의 크기 정보를 갖는 영상들로부터 크기와 방향에 불변한 공통점을 추출함으로써 수행되고, 상기 공통점의 픽셀 크기는, 수학식

Figure 112013076719749-pat00037
(여기서, L(x,y)는 입력된 영상에 대해 가우시안 필터링을 통과한 영상의 함수값을 나타내고, (x,y)는 상기 입력된 영상 내의 픽셀 좌표를 나타냄)에 의해 획득되고, 상기 공통점의 방향 정보는, 수학식
Figure 112013076719749-pat00038
(여기서, L(x,y)는 입력된 영상에 대해 가우시안 필터링을 통과한 영상의 함수값을 나타내고, (x,y)는 상기 입력된 영상 내의 픽셀 좌표를 나타냄)에 의해 획득되는 좌표비교 모듈; 및 상기 매칭 여부 확인 결과로부터 획득된 대상 객체의 좌표 정보를 이용하여 3차원 공간 데이터를 획득하는 3차원 모델링 모듈을 포함하는 데이터 처리 모듈; 사용자로부터 공간 모델링 서비스에 대한 요청 정보를 수신하여 상기 모바일 매핑 장치, 상기 항공사진 데이터베이스 및 상기 데이터 처리 모듈로 전송하고, 상기 데이터 처리 모듈로부터 획득된 3차원 공간 데이터를 사용자에게 송신하는 통신 모듈; 및 상기 버퍼에 저장된 데이터를 상기 영상 처리 모듈 또는 상기 데이터 처리 모듈로 전송하여 업데이트를 수행하는 업데이트 모듈을 포함하되, 상기 관성측정 모듈은 100Hz 간격으로 데이터를 로깅하고, 상기 GPS 수신 모듈은 1Hz 간격으로 데이터를 로깅하는 것을 특징으로 하는 공간영상처리 시스템을 제공한다.The present invention provides a spatial image processing system for acquiring three-dimensional spatial data using coordinate information of a target object obtained by a plurality of sensors, the system comprising: a photographed image acquisition module configured to acquire image information from a plurality of cameras; A GPS receiving module for receiving GPS information from a satellite and obtaining current position information of the camera; An inertial measurement module for acquiring horizontal information of the camera using the plurality of sensors; An image processing module that corrects the image information based on the image information, the current position information, and the horizontal information; A control module for controlling the image information, the current position information, and the horizontal information to be transmitted to the image processing module; And a buffer for storing the image information; An aerial photograph database for receiving and storing the image information from the mobile mapping device or receiving and storing aerial photograph data from an external database; An object extraction module for extracting a target object from the corrected image acquired by the image processing module; An object positioning module for obtaining coordinate information of the target object based on the extracted center point of the target object; An aerial photograph extracting module for extracting coordinate information of an aerial photograph corresponding to the image information from the aerial photograph database; By comparing the coordinate information of the target object and the coordinate information of the aerial photo to confirm whether the matching between the object, the check whether the matched image of the camera direction information of different values and the size information of the pixel indicating the resolution By extracting a common point that is invariant in size and direction, and the pixel size of the common point is
Figure 112013076719749-pat00037
Where L (x, y) represents a function value of the image that has passed Gaussian filtering for the input image, and (x, y) represents pixel coordinates in the input image. Direction information of the equation
Figure 112013076719749-pat00038
(Where L (x, y) represents a function value of the image that has passed Gaussian filtering for the input image, and (x, y) represents pixel coordinates in the input image) ; And a three-dimensional modeling module for acquiring three-dimensional spatial data using coordinate information of a target object obtained from the matching check result; A communication module for receiving request information for a spatial modeling service from a user, transmitting the request information to the mobile mapping device, the aerial photograph database, and the data processing module, and transmitting the three-dimensional spatial data obtained from the data processing module to a user; And an update module configured to transmit data stored in the buffer to the image processing module or the data processing module to perform an update, wherein the inertial measurement module logs data at 100 Hz intervals and the GPS receiving module at 1 Hz intervals. Provided is a spatial image processing system characterized by logging data.

또한, 본 발명에서, 상기 영상 처리 모듈은, 상기 촬영 영상 획득 모듈로부터 수신된 상기 영상 정보로부터 커브를 검출하여 제 1 보정 그룹을 설정하고, 상기 영상 정보로부터 상기 제 1 보정 그룹을 제거하고, 상기 제 1 보정 그룹이 제거된 영상 정보로부터 3차원 좌표 상에서 중심점으로부터 임계값을 벗어나는 선들을 제 2 보정 그룹으로 설정하고, 상기 제 1 보정 그룹이 제거된 영상 정보로부터 상기 제 2 보정 그룹을 제거하되, 상기 임계값은 다음 수학식

Figure 112012106800912-pat00003
(여기서, am 은 영상 중심점에서 곡선의 현에 내린 수선의 길이를 나타내고, R은 영상 대각선의 길이를 나타내고, m = 1~M , M은 선의 개수를 나타내며, ψ는 사용자 파라미터를 나타냄)에 의해 획득되는 필터링 모듈; 상기 제 1 보정 그룹과 상기 제 2 보정 그룹이 제거된 영상 정보에 기초하여, 영상의 휘어짐 정도를 나타내는 매개변수를 추출하는 매개변수 추출 모듈; 및 상기 매개변수를 이용하여 상기 영상 정보의 보정을 수행하는 영상보정 모듈을 포함하는 것을 특징으로 한다.In the present invention, the image processing module may further include: a first correction group detection unit configured to detect a curve from the image information received from the captured image acquisition module to set a first correction group, to remove the first correction group from the image information, Setting lines in the second correction group that are out of the threshold value from the center point on the three-dimensional coordinates from the image information from which the first correction group has been removed, removing the second correction group from the image information from which the first correction group has been removed, The threshold value is calculated by the following equation
Figure 112012106800912-pat00003
(Where a m Wherein R is the length of the diagonal line of the image, m = 1 to M, M is the number of lines, and? Is a user parameter), the filtering module ; A parameter extracting module for extracting a parameter indicating a degree of warping of the image based on the image information from which the first correction group and the second correction group have been removed; And an image correction module for performing correction of the image information using the parameter.

또한, 본 발명에서, 상기 3차원 모델링 모듈은, 상기 대상 객체의 3차원 좌표를 획득하되, 이 중 Z축 좌표값은 좌측 카메라로부터 획득된 영상의 Y좌표(Y_l)와 우측 카메라로부터 획득된 영상의 Y좌표(Y_r)의 평균값, 초점거리(f) 및 상기 대상 객체까지의 Y축상 거리(Yo)에 기초하여 다음 수학식

Figure 112012106800912-pat00004
을 이용하여 획득되는 것을 특징으로 한다.In the present invention, the three-dimensional modeling module obtains three-dimensional coordinates of the target object, wherein the Z-axis coordinate value is a Y coordinate (Y_l) of the image obtained from the left camera and a Y- On the basis of the average value of the Y-coordinates (Y_r) of the target object, the focal length (f)
Figure 112012106800912-pat00004
Is obtained.

또한, 본 발명에서, 상기 제 1 보정 그룹으로 설정된 커브는, 영상 내에 존재하는 세그먼트를 서치하고, 상기 세그먼트 내의 각 픽셀의 변화율과 각도를 산출하고, 기설정된 임계값보다 높은 변화율을 갖는 픽셀을 시작점으로 하여 기설정된 크기의 윈도우 내에서 가장 큰 변화율을 갖는 픽셀을 하나의 그룹으로 설정하여 그 픽셀을 시작점으로 하여 다시 윈도우를 통해 다음 픽셀을 서치하며, 상기 과정을 통해 검출된 픽셀들로 구성된 세그먼트들을 연결하여 형성되는 것을 특징으로 한다.According to the present invention, the curve set as the first correction group is obtained by searching a segment existing in an image, calculating a rate of change and an angle of each pixel in the segment, and calculating a pixel having a rate of change higher than a predetermined threshold, Sets pixels having the greatest change rate in a window of a predetermined size as a group and searches for the next pixel through the window with the pixel as a starting point, And is formed by connecting.

또한, 본 발명에서, 상기 관성측정 모듈은 100Hz 간격으로 데이터를 로깅하는 것을 특징으로 한다.Also, in the present invention, the inertia measurement module may log data at intervals of 100 Hz.

또한, 본 발명에서, 상기 GPS 수신 모듈은 1Hz 간격으로 데이터를 로깅하는 것을 특징으로 한다.In the present invention, the GPS receiving module may log data at intervals of 1 Hz.

또한, 본 발명에서, 상기 통신 모듈은 LAN(local area network), WLAN(wireless LAN), Wibro(wireless broadband), Wimax(world interoperability for microwave access), HSDPA(high speed downlink packet access)를 포함하는 것을 특징으로 한다.Also, in the present invention, the communication module may include a local area network (LAN), a wireless local area network (WLAN), a wireless broadband (Wibro), a world interoperability for microwave access (Wimax), and a high speed downlink packet access .

본 발명은 이동 측량 장비(MMS)를 통해 획득된 영상을 획득한 후 필터링 과정을 통해 영상의 휘어짐 현상을 보정함으로써 보다 정확한 3차원 공간좌표 정보를 획득할 수 있다.The present invention can acquire more accurate three-dimensional space coordinate information by correcting the warping phenomenon of an image through filtering after acquiring an image acquired through a mobile measurement equipment (MMS).

또한, 본 발명은 영상 보정을 위한 매개변수 추출시 가중치가 적용된 임계값을 이용하여 필터링을 수행함으로써 보다 세밀한 영상 보정을 수행할 수 있다.Further, in the present invention, more detailed image correction can be performed by performing filtering using a weighted threshold value when extracting parameters for image correction.

또한, 본 발명은 영상 보정을 위한 매개변수 추출시 에러 요소를 중복적으로 제거함으로써 보다 세밀한 영상 보정을 수행할 수 있다.In addition, the present invention can perform more precise image correction by redundantly eliminating error elements when extracting parameters for image correction.

또한, 본 발명은 대상 객체의 영상 정보를 항공사진으로부터 생성된 공통점 벡터 정보와 비교하여 대상 객체의 좌표 정보를 획득함으로써 보다 정확한 3차원 공간 좌표 정보를 산출할 수 있다.Also, the present invention compares the image information of the target object with the common point vector information generated from the aerial photograph, and obtains the coordinate information of the target object, so that more accurate three-dimensional space coordinate information can be calculated.

도 1은 본 발명이 적용되는 실시예로서, 자동 3차원 공간 모델링 시스템의 개략적인 블록도를 나타낸다.
도 2는 본 발명이 적용되는 일실시예로서, 영상 처리 모듈(120)의 개략적인 내부 블록도를 나타낸다.
도 3은 본 발명이 적용되는 일실시예로서, 제 1 보정 그룹과 제 2 보정 그룹을 정의함으로써 영상 보정을 수행하는 방법을 설명하기 위한 좌표계를 나타낸다.
도 4는 본 발명이 적용되는 일실시예로서, 영상 보정을 위해 가중치 적용된 임계값 산출 과정을 설명하기 위한 좌표계를 나타낸다.
도 5는 본 발명이 적용되는 일실시예로서, 데이터 처리 모듈(500)의 개략적인 내부 블록도를 나타낸다.
도 6은 본 발명이 적용되는 일실시예로서, 대상 객체의 좌표 정보를 이용하여 3차원 좌표 정보를 모델링하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명이 적용되는 일실시예로서, 3차원 공간 모델링 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명이 적용되는 일실시예로서, 3차원 공간 모델링을 위해 카메라로부터 획득된 영상을 보정하는 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명이 적용되는 일실시예로서, 3차원 공간 모델링을 위해 보정된 영상으로부터 대상 객체의 좌표 정보를 획득하기 위한 방법을 설명하기 위한 흐름도이다.Fig. 1 shows a schematic block diagram of an automatic three-dimensional space modeling system to which the present invention is applied.
2 is a schematic block diagram of an image processing module 120 according to an embodiment of the present invention.
FIG. 3 shows a coordinate system for explaining a method of performing image correction by defining a first correction group and a second correction group according to an embodiment of the present invention.
FIG. 4 shows a coordinate system for explaining a weighted threshold calculation process for image correction according to an embodiment of the present invention. Referring to FIG.
5 is a schematic block diagram of the data processing module 500 according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating a method of modeling three-dimensional coordinate information using coordinate information of a target object according to an embodiment of the present invention. Referring to FIG.
FIG. 7 is a flowchart for explaining a three-dimensional space modeling method according to an embodiment to which the present invention is applied.
8 is a flowchart for explaining a method of correcting an image obtained from a camera for three-dimensional space modeling according to an embodiment of the present invention.
9 is a flowchart for explaining a method for acquiring coordinate information of a target object from a corrected image for three-dimensional space modeling according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 실시예의 구성과 그 작용을 설명하BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects,

며, 도면에 의해서 설명되는 본 발명의 구성과 작용은 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.And, the configuration and operation of the present invention described by the drawings are described as one embodiment, by which the technical spirit of the present invention and its core configuration and operation is not limited.

아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적In addition, the term used in the present invention is intended to include,

인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어를 사용하여 설명한다. 그러한 경우에는 해당 부분의 상세 설명에서 그 의미를 명확히 기재하므로, 본 발명의 설명에서 사용된 용어의 명칭만으로 단순 해석되어서는 안 될 것이며 그 해당 용어의 의미까지 파악하여 해석되어야 함을 밝혀두고자 한다., But the specific case is explained by using the terminology arbitrarily selected by the applicant. In such a case, the meaning is clearly stated in the detailed description of the relevant part, so it should be understood that the name of the term used in the description of the present invention should not be simply interpreted and that the meaning of the corresponding term should be understood and interpreted .

공간 모델링 시스템(Space Modeling System)은 공간상 위치를 점유하는 지리 자료와 이에 관련된 속성 자료를 통합하여 처리하는 정보 시스템으로서 다양한 형태의 지리 정보를 효율적으로 수집, 저장, 갱신, 처리, 분석, 출력하기 위해 이용되는 하드웨어, 소프트웨어, 지리자료, 인적자원의 총체적 조직체라고 정의할 수 있다. 상기 지리 정보 시스템의 이용에 따라 공간 정보의 다양한 활용이 용이해졌다. 따라서, 급변하는 도심 내의 보다 명확하고 현실감있는 지리 정보를 제공하기 위해서는 이동 측량 데이터를 효율적으로 이용할 필요가 있다. 이하에서는 이동 측량 데이터를 효율적으로 이용하여 보다 명확한 공간 모델링 정보를 생성하는 실시예들을 살펴보도록 한다.
Space Modeling System is an information system that integrates geographical data occupying spatial position and related property data. It collects, stores, updates, processes, analyzes and outputs various types of geographical information efficiently. It can be defined as the total organization of hardware, software, geographical data, and human resources used for. Various applications of spatial information have become easier according to the use of the geographic information system. Therefore, it is necessary to use the mobile survey data efficiently in order to provide clear and realistic geographical information in a rapidly changing city center. Hereinafter, embodiments in which more accurate spatial modeling information is generated by using the mobile surveying data efficiently will be described.

도 1은 본 발명이 적용되는 실시예로서, 자동 3차원 공간 모델링 시스템의 개략적인 블록도를 나타낸다.Fig. 1 shows a schematic block diagram of an automatic three-dimensional space modeling system to which the present invention is applied.

상기 도 1을 참조하면, 본 발명이 적용되는 자동 3차원 공간 모델링 시스템(10)은 크게 모바일 매핑 장치(100), 통신 모듈(200), 업데이트 모듈(300), 항공사진 데이터베이스(400) 및 데이터 처리 모듈(500)로 구성되고, 상기 모바일 매핑 장치(100)는 촬영 영상 획득 모듈(110), 영상처리 모듈(120), 관성측정 모듈(130), GPS 수신모듈(140), 컨트롤 모듈(150) 및 버퍼(160)로 구성될 수 있다. 1, the automatic three-dimensional space modeling system 10 to which the present invention is applied includes a mobile mapping apparatus 100, a communication module 200, an update module 300, an aerial photograph database 400, And a processing module 500. The mobile mapping device 100 includes an imaging image acquisition module 110, an image processing module 120, an inertia measurement module 130, a GPS reception module 140, a control module 150 And a buffer 160. [0033] FIG.

여기서, 공간 모델이란 3차원 이미지 내에서 공간을 차지하는 객체, 예를 들어, 도로 시설물, 건물, 도로 점용 시설 및 부대 시설 등을 의미할 수 있다. 그리고, 공간 모델 정보라 함은, 상기 객체, 즉 도로 시설물, 건물, 도로 점용 시설 및 부대 시설 등의 위치, 거리, 면적, 속성 정보 등을 의미할 수 있다.
Here, the spatial model may mean an object occupying a space in a three-dimensional image, for example, a road facility, a building, a road facility, and an auxiliary facility. The spatial model information may refer to the location, distance, area, and property information of the object, i.e., a road facility, a building, a road facility, and an auxiliary facility.

상기 모바일 매핑 장치(100)는 대상 지역 내의 경로를 이동하면서 대상 지역 내의 도로 시설물, 건물, 도로 점용 시설 및 부대 시설 등을 측량할 수 있다. 상기 모바일 매핑 장치(100)는 이동하면서 측량 가능한 장치를 의미하며, 그 예로 측량 가능한 카메라를 장착한 자동차, 비행기 등을 들 수 있다.
The mobile mapping apparatus 100 can measure a road facility, a building, a road-use facility, and an auxiliary facility in a target area while moving the route in the target area. The mobile mapping device 100 refers to a moving and measurable device, for example, a car or a plane equipped with a measurable camera.

촬영 영상 획득 모듈(110)는 좌안 영상 카메라와 우안 영상 카메라로 구성될 수 있으며, 좌안 영상 카메라와 우안 영상 카메라를 이용하여 상기 도로 시설물, 건물, 도로 점용 시설 및 부대 시설을 촬영함으로서 스테레오 영상을 획득할 수 있다. 이 경우, 상기 촬영 영상 획득 모듈(110)은 상기 모바일 매핑 장치(100)의 흔들림으로 인한 촬영 당시의 카메라 흔들림 또는 카메라 렌즈 자체가 가지고 있는 휘어짐 문제 등으로 인해 획득된 영상의 보정이 필요하게 된다. 따라서, 본 발명이 적용되는 실시예에서는 이러한 영상의 보정을 위해 보정 매개변수를 추정하는 방법 및 가중치를 적용한 새로운 임계값 산정 방법을 제안하고자 한다. 이에 대해서는 도 3 및 도 4에서 보다 상세히 설명하도록 한다. The photographed image acquisition module 110 may include a left-eye image camera and a right-eye image camera. The photographed image acquisition module 110 may acquire stereo images by photographing the road facilities, buildings, road facilities, and auxiliary facilities using a left- can do. In this case, the captured image acquisition module 110 needs to correct the acquired image due to the camera shake at the time of shooting due to the shake of the mobile mapping device 100, or a bending problem of the camera lens itself. Therefore, in the embodiment to which the present invention is applied, a method of estimating a correction parameter for correcting such an image and a new threshold value calculating method using weighting are proposed. This will be described in more detail in Fig. 3 and Fig.

상기 촬영 영상 획득 모듈(110)은 상기 모바일 매핑 장치(100) 내 장착된 카메라로부터 획득된 좌안 영상과 우안 영상을 획득하고, 상기 GPS 수신 모듈(140)로부터 획득된 상기 모바일 매핑 장치(100)의 위치 정보를 이용하여 상기 좌안 영상과 상기 우안 영상의 현재 위치 정보를 획득할 수 있다. 그리고, 상기 좌안 영상과 상기 우안 영상의 현재 위치 정보로부터 상기 모바일 매핑 장치(100)의 이동 경로를 생성할 수 있다. 즉, 상기 모바일 매핑 장치(100)의 위치 정보로부터 이동 경로를 결정하고 각 이동 경로마다, 상기 카메라로부터 획득된 좌안 영상과 우안 영상을 매칭시킬 수 있다.
The captured image acquisition module 110 acquires the left eye image and the right eye image acquired from the camera mounted in the mobile mapping device 100 and acquires the left eye image and the right eye image from the GPS receiving module 140, The current position information of the left eye image and the right eye image can be obtained using the position information. The moving path of the mobile mapping apparatus 100 can be generated from the current position information of the left eye image and the right eye image. That is, the movement path may be determined from the position information of the mobile mapping apparatus 100, and the left eye image and the right eye image acquired from the camera may be matched for each movement path.

관성측정 모듈(130)은 다중 센서를 이용하여 센싱 정보를 수신함으로써 상기 모바일 매핑 장치(100)의 수평 정보를 획득할 수 있고, 이러한 수평 정보를 활용하여 보다 세밀한 영상 보정을 수행할 수 있다. 본 발명이 적용되는 실시예로, 상기 관성측정 모듈(130)은 100Hz 간격으로 데이터를 로깅한다.
The inertia measurement module 130 can acquire the horizontal information of the mobile mapping apparatus 100 by receiving sensing information using multiple sensors, and can perform more detailed image correction using the horizontal information. In an embodiment to which the present invention is applied, the inertia measurement module 130 logs data at intervals of 100 Hz.

GPS 수신 모듈(140)은 인공 위성으로부터 GPS 정보를 수신받아 상기 모바일 매핑 장치(100)의 현재 위치 정보를 획득할 수 있다. 상기 모바일 매핑 장치(100)는, 상기 GPS 수신 모듈(140)을 통해 도심지에서의 차량의 위치 정보를 획득하고, 다중 센서 정보의 시각 동기화를 위해 IMU(Inertial Measurement Unit), 데이터 동기화 장치 등을 통해 수평 정보를 획득함으로써 보다 정확한 3D 공간 모델링을 수행할 수 있게 된다. 본 발명이 적용되는 실시예로, 상기 GPS 수신 모듈(140)은 1Hz 간격으로 데이터를 로깅한다.
The GPS receiving module 140 may receive the GPS information from the satellites and obtain the current position information of the mobile mapping device 100. [ The mobile mapping apparatus 100 obtains vehicle position information in a downtown area through the GPS receiving module 140 and through an IMU (Inertial Measurement Unit), a data synchronization device, etc. for time synchronization of multi-sensor information. By acquiring the horizontal information, more accurate 3D spatial modeling can be performed. In an embodiment to which the present invention is applied, the GPS receiving module 140 logs data at intervals of 1 Hz.

영상처리 모듈(120)은 획득된 영상의 보정을 위해 상기 관성측정 모듈(130)로부터 획득된 수평 정보 및 상기 GPS 수신 모듈(140)로부터 획득된 위치 정보를 활용하여 매개변수를 산출하게 된다. 본 발명이 적용되는 상기 매개변수 산출 방법은 3D 영상에서의 직선은 2D 영상으로 변환되어도 직선이 된다는 점을 이용하게 된다. 즉, 3D 영상의 직선이 아닌 선들을 검출하고 이를 배제한 후 영상 보정을 수행함으로써 보다 명확한 3D 공간 모델링이 가능할 수 있다. 또한, 상기 매개변수를 산출하는 과정에서 임계치를 벗어나는 선들을 배제함으로써 보다 빠른 3D 공간 모델링이 가능할 수 있다. 이러한 실시예들의 상세한 설명은 도 3 및 도 4에서 하도록 한다.
The image processing module 120 calculates parameters by using the horizontal information obtained from the inertia measurement module 130 and the position information obtained from the GPS receiving module 140 for correction of the acquired image. The parameter calculation method to which the present invention is applied is that a straight line in a 3D image is a straight line even if it is converted into a 2D image. That is, more accurate 3D space modeling can be performed by detecting lines that are not straight lines of the 3D image, excluding them, and then performing image correction. In addition, in the process of calculating the parameters, faster 3D space modeling can be performed by excluding lines out of the threshold. A detailed description of these embodiments is given in Figs. 3 and 4. Fig.

컨트롤 모듈(150)은 상기 촬영 영상 획득 모듈(110)로부터 획득된 좌안 영상과 우안 영상, 상기 관성측정 모듈(130)로부터 획득된 수평 정보 및 상기 GPS 수신 모듈(140)로부터 획득된 위치 정보를 각각 상기 영상처리 모듈(120)로 전송하도록 제어하고, 상기 영상처리 모듈(120)에서 상기 영상 정보, 상기 수평 정보, 상기 위치 정보 등을 이용하여 매개변수를 산출하도록 제어할 수 있다. 상기 컨트롤 모듈(150)은 상기 촬영 영상 획득 모듈(110), 상기 관성측정 모듈(130) 및 상기 GPS 수신 모듈(140) 사이의 동기화를 제어하며, 본 발명이 적용되는 실시예로 상기 GPS 수신 모듈(140)로부터 획득된 GPS 시간을 기초로 하여 트리거에서 제공되는 전압 신호를 상기 촬영 영상 획득 모듈(110), 상기 관성측정 모듈(130) 및 상기 GPS 수신 모듈(140)에 각각 전송함으로써 동기화시킬 수 있다.
The control module 150 outputs the left eye image and the right eye image obtained from the captured image acquisition module 110, the horizontal information obtained from the inertia measurement module 130, and the position information obtained from the GPS reception module 140, respectively To the image processing module 120, and controls the image processing module 120 to calculate parameters using the image information, the horizontal information, the position information, and the like. The control module 150 controls the synchronization between the sensed image acquisition module 110, the inertia measurement module 130 and the GPS reception module 140. In an embodiment to which the present invention is applied, The inertial measurement module 130, and the GPS reception module 140, respectively, based on the GPS time obtained from the GPS receiver 140, have.

버퍼(160)는 상기 촬영 영상 획득 모듈(110)로부터 획득된 좌안 영상과 우안 영상에 대한 영상 정보를 버퍼에 저장하고, 외부로부터 영상 정보를 요청받을 경우 요청받은 영상 정보를 제공하게 된다. 상기 버퍼(160)는 메모리와 메모리 제어 모듈로 구성될 수 있으며, 로그 분석 등을 통해 메모리를 재배열함으로써 보다 신속한 공간 데이터 서비스를 제공할 수 있다. 예를 들어, 수신된 요청 정보가 빈번하게 요청되는 영상 정보인지 로그 분석을 통해 판단하고, 그에 따라 영상 정보를 다른 방식으로 처리할 수 있다. 수신된 요청 정보가 빈번하게 요청되는 영상 정보인 경우에는 상기 영상 정보를 레이어 단위로 메모리에 캐싱하고 자동으로 업데이트를 수행할 수 있다. 반면, 빈번하게 요청되는 영상 정보가 아닌 경우에는 해당 영상 정보를 메모리에서 삭제하거나, 기존에 요청된 적이 없는 영상 정보인 경우에는 해당 영상 정보를 테이블 정보에 업데이트하고 그에 대응되는 코드를 생성하여 저장할 수 있다.
The buffer 160 stores the image information of the left eye image and the right eye image obtained from the sensed image acquisition module 110 in a buffer and provides the requested image information when the image information is requested from the outside. The buffer 160 may be composed of a memory and a memory control module. The memory 160 may be rearranged through a log analysis or the like to provide a faster spatial data service. For example, it is possible to determine the received request information through the log analysis, that is, frequently requested video information, and process the video information in a different manner accordingly. If the received request information is frequently requested video information, the video information may be cached in a memory in units of layers and updated automatically. On the other hand, if the image information is not frequently requested, the corresponding image information is deleted from the memory, or if the image information is not previously requested, the corresponding image information is updated to the table information and a corresponding code is generated and stored have.

통신 모듈(200)은 사용자로부터 공간 모델링 서비스에 대한 요청 정보를 수신할 경우 모바일 매핑 장치(100), 업데이트 모듈(300), 항공사진 데이터베이스(400) 및 데이터 처리 모듈(500)로 전송한다. 그리고, 수신된 요청 정보가 상기 모바일 매핑 장치(100)의 영상 정보를 필요로 하는 경우, 상기 모바일 매핑 장치(100)에 해당 요청 정보를 전송하며, 상기 모바일 매핑 장치(100)로부터 상기 요청 정보에 대응되는 공간 데이터를 수신할 수 있다. 상기 통신 모듈(200)은 사용자 단말(미도시)과 외부 단말(미도시) 사이, 상기 모바일 매핑 장치(100)와 상기 데이터 처리 모듈(500) 사이의 통신을 관리하며, 이러한 통신 모듈(100)은 LAN(local area network), WLAN(wireless LAN), Wibro(wireless broadband), Wimax(world interoperability for microwave access), HSDPA(high speed downlink packet access) 및 그 밖의 다양한 통신 규격을 지원할 수 있다.
The communication module 200 transmits the request information to the mobile mapping apparatus 100, the update module 300, the aerial photograph database 400, and the data processing module 500 when receiving the request information for the spatial modeling service from the user. If the received request information requires video information of the mobile mapping apparatus 100, the mobile mapping apparatus 100 transmits the request information to the mobile mapping apparatus 100, and transmits the request information from the mobile mapping apparatus 100 It is possible to receive corresponding spatial data. The communication module 200 manages communication between a user terminal (not shown) and an external terminal (not shown) and between the mobile mapping apparatus 100 and the data processing module 500, May support a variety of communication standards such as local area network (LAN), wireless LAN (WLAN), wireless broadband (WIBRO), world interoperability for microwave access (WIMAX), high speed downlink packet access (HSDPA)

업데이트 모듈(300)은 상기 모바일 매핑 장치(100) 내 버퍼(160)에 저장된 데이터를 영상처리 모듈(120) 또는 데이터 처리모듈(500) 등을 통해 수정된 데이터로 업데이트를 수행할 수 있다. 또한, 상기 항공사진 데이터베이스(400)에 저장된 데이터에 대해서도 영상처리 모듈(120) 또는 데이터 처리모듈(500) 등을 통해 수정된 데이터로 업데이트를 수행할 수 있다.
The update module 300 may update the data stored in the buffer 160 in the mobile mapping apparatus 100 with the modified data through the image processing module 120 or the data processing module 500 or the like. Also, the data stored in the aerial photograph database 400 can be updated with the modified data through the image processing module 120 or the data processing module 500. [

한편, 항공사진 데이터베이스(400)는 상기 도로 시설물, 건물, 도로 점용 시설 및 부대 시설 등의 면적, 길이, 위치에 대한 정보 등을 포함하고 있으며, 상기 모바일 매핑 장치(100)로부터 데이터를 수신하거나 외부 데이터베이스로부터 항공사진 데이터를 수신할 수 있다.The aerial photograph database 400 includes information on the area, length, and location of the road facilities, buildings, road facilities, and other facilities. The aerial photograph database 400 receives data from the mobile mapping device 100, And can receive the aerial photograph data from the database.

항공사진 데이터베이스(400)는 메모리와 메모리 제어 모듈로 구성될 수 있으며, 로그 분석 등을 통해 메모리를 재배열함으로써 보다 신속한 공간 데이터 서비스를 제공할 수 있다. 예를 들어, 수신된 요청 정보가 빈번하게 요청되는 항공사진 데이터인지 로그 분석을 통해 판단하고, 그에 따라 항공사진 데이터를 다른 방식으로 처리할 수 있다. 수신된 요청 정보가 빈번하게 요청되는 항공사진 데이터인 경우에는 상기 항공사진 데이터를 레이어 단위로 메모리에 캐싱하고 자동으로 업데이트를 수행할 수 있다. 반면, 빈번하게 요청되는 항공사진 데이터가 아닌 경우에는 해당 항공사진 데이터를 메모리에서 삭제하거나, 기존에 요청된 적이 없는 항공사진 데이터인 경우에는 해당 항공사진 데이터를 테이블 정보에 업데이트하고 그에 대응되는 코드를 생성하여 저장할 수 있다.
The aerial photograph database 400 may include a memory and a memory control module. The aerial photograph database 400 may provide spatial data service more rapidly by rearranging memories through log analysis and the like. For example, it is possible to determine through the log analysis whether the received request information is frequently requested aerial photograph data, and to process the aerial photograph data accordingly. If the received request information is frequently requested aerial photograph data, the aerial photograph data may be cached in a memory in units of layers and automatically updated. On the other hand, if the data is not the frequently requested aerial photograph data, the corresponding aerial photograph data is deleted from the memory, or if the aerial photograph data is not previously requested, the corresponding aerial photograph data is updated to the table information, Can be created and stored.

데이터 처리 모듈(500)은 상기 모바일 매핑 장치(100)와 상기 항공사진 데이터베이스(400)로부터 획득된 데이터를 이용하여 3D 공간 모델링 정보를 생성한다. 상기 데이터 처리 모듈(500)은 객체 추출 모듈(501), 항공사진 추출 모듈(502), 객체위치결정 모듈(503), 좌표비교 모듈(504) 및 3차원 모델링 모듈(505)로 구성될 수 있다. 이에 대해서는 도 5에서 보다 상세히 설명하도록 한다.
The data processing module 500 generates 3D space modeling information using the data obtained from the mobile mapping apparatus 100 and the aerial photographing database 400. The data processing module 500 may include an object extraction module 501, an aerial photograph extraction module 502, an object positioning module 503, a coordinate comparison module 504, and a three-dimensional modeling module 505 . This will be described in more detail in FIG.

도 2는 본 발명이 적용되는 일실시예로서, 영상 처리 모듈(120)의 개략적인 내부 블록도를 나타낸다.2 is a schematic block diagram of an image processing module 120 according to an embodiment of the present invention.

상기 영상 처리 모듈(120)은 매개변수 추출 모듈(121), 필터링 모듈(123) 및 영상보정 모듈(125)로 구성될 수 있다.The image processing module 120 may include a parameter extraction module 121, a filtering module 123, and an image correction module 125.

렌즈를 사용하는 카메라는 대부분 직선이 곡선으로 휘어지는 문제를 가지고 있으며, 영상이 휘어진 중심으로부터 방사상으로 확장되거나 축소되는 현상이 발생하게 된다. 이러한 휘어짐 현상에 대한 보정이 제대로 이루어지지 않으면 3D 영상을 시청하는 경우나 디지털 이미지 분석시 심각한 문제가 야기될 수 있다.Most cameras using a lens have a problem that a straight line is bent into a curved line, and a phenomenon occurs in which the image is expanded or contracted radially from the bent center. If the deflection phenomenon is not properly corrected, serious problems may occur in viewing 3D images or in digital image analysis.

이를 해결하기 위해서는 휘어짐 현상을 수학적으로 모델링하여 휘어짐 정도를 결정하는 매개변수를 추정하고 이를 역변환함으로써 보정을 수행할 수 있다. 그리고, 영상 내의 커브를 검출하고 이 중 3D 좌표 상에서 직선이 아닌 선들을 제 1 보정 그룹으로 정의하여 제거한 후 보정을 수행한다. 더 나아가, 본 발명의 일실시예에서는 3D 좌표 상에서 커브가 아님에도 불구하고 매개변수 추정에 방해가 되는 선들을 제 2 보정 그룹으로 정의하여 제거할 수 있다.
In order to solve this problem, it is possible to perform mathematical modeling of the bending phenomenon and to perform compensation by estimating parameters for determining the degree of bending and inversely converting the parameters. Then, curves in the image are detected, and non-straight lines on the 3D coordinates are defined as a first correction group, and correction is performed. Furthermore, in one embodiment of the present invention, lines that are not a curve on the 3D coordinates and that interfere with parameter estimation can be defined and removed as a second correction group.

도 3 및 도 4는 본 발명이 적용되는 일실시예들로서, 도 3은 상기 제 1 보정 그룹과 상기 제 2 보정 그룹을 정의함으로써 영상 보정을 수행하는 방법을 설명하기 위한 좌표계를 나타내고, 도 4는 영상 보정을 위해 가중치 적용된 임계값 산출 과정을 설명하기 위한 좌표계를 나타낸다.3 and 4 show one embodiment to which the present invention is applied. FIG. 3 shows a coordinate system for explaining a method of performing image correction by defining the first correction group and the second correction group, And a coordinate system for explaining a weighted threshold calculation process for image correction.

상기 도 3을 살펴보면, 기본 영상을 R이라 하고, 볼록 휘어짐 영상을 V, 오목 휘어짐 영상을 C라고 할 때, 중심점 A를 기준으로 휘어지지 않은 점의 좌표를 O =(X,Y)라 하고, 휘어진 점의 좌표를 Oc =(Xc,Yc)라 하면, 양 좌표 간의 관계는 아래 수학식 1 및 수학식 2와 같이 나타낼 수 있다. Gi는 영상의 휘어짐 정도를 반영하는 매개변수를 나타내고, Gi>0이면 볼록 휘어짐을 나타내고, Gi<0 오목 휘어짐을 나타낸다.3, when the basic image is R, the convex warped image is V, and the concave warped image is C, the coordinates of a point that is not bent with respect to the center point A is O = (X, Y) If the coordinates of the bent point are Oc = (Xc, Yc), the relationship between the two coordinates can be expressed by the following equations (1) and (2). Gi denotes a parameter reflecting the degree of warping of the image, and when Gi > 0, it indicates convex warpage, and Gi < 0 indicates concave warpage.

Figure 112012106800912-pat00005
Figure 112012106800912-pat00005

Figure 112012106800912-pat00006
Figure 112012106800912-pat00006

여기서, a는 영상의 중심점 A로부터 볼록 휘어짐 영상의 좌표 Oc까지의 거리를 나타내고, a는 아래 수학식 3과 같다.Here, a represents the distance from the center point A of the image to the coordinate Oc of the convex curved image, and a is represented by the following equation (3).

Figure 112012106800912-pat00007
Figure 112012106800912-pat00007

본 발명이 적용되는 일실시예로서, 상기 매개변수를 산출하는 방법을 설명하도록 한다.As an embodiment to which the present invention is applied, a method of calculating the parameter will be described.

매개변수 추출 모듈(121)은 먼저 영상 내에 존재하는 세그먼트를 서치하고, 상기 세그먼트 내의 각 픽셀의 변화율과 각도를 산출한다. 그리고 동일한 직선을 이루고 있는 픽셀들을 하나의 그룹으로 만듦으로써 세그먼트를 검출할 수 있다. 주어진 임계값보다 높은 변화율을 갖는 픽셀을 시작점으로 하여 기설정된 크기의 윈도우 내에 가장 큰 변화율을 갖는 픽셀을 하나의 그룹으로 설정하여 그 픽셀을 시작점으로 하여 다시 윈도우를 통해 다음 픽셀을 찾는다. 이때, 상기 기설정된 크기의 윈도우는 3x3, 4x4 또는 5x5 윈도우를 이용할 수 있다.The parameter extraction module 121 first searches for a segment existing in the image, and calculates the rate of change and angle of each pixel in the segment. The segment can be detected by grouping the pixels of the same straight line into one group. A pixel having a rate of change higher than a given threshold value is set as a starting point and a pixel having the largest rate of change in a predetermined window is set as a group and the next pixel is searched again through the window using the pixel as a starting point. At this time, the window of the predetermined size may use 3x3, 4x4 or 5x5 window.

상기 과정을 통해 검출된 픽셀들로 구성된 그룹으로부터 세그먼트들을 연결시켜 커브를 형성할 수 있다. 이때, 두 세그먼트의 끝점 사이의 거리, 두 세그먼트 사이의 각도, 두 세그먼트의 수직거리를 산출하고, 상기 산출된 값들이 기설정된 임계값보다 작은 경우에는 상기 세그먼트들을 연결하여 하나의 선으로 간주할 수 있다.The curve may be formed by connecting the segments from the group consisting of the detected pixels through the above process. At this time, the distance between the end points of the two segments, the angle between the two segments, and the vertical distance of the two segments are calculated. If the calculated values are smaller than the preset threshold value, the segments are regarded as one line have.

상기 세그먼트들로 연결되어 이루어진 선 중 3D 좌표 상 커브로 간주되는 선은 제 1 보정 그룹으로 설정할 수 있고, 상기 제 1 보정 그룹은 영상 내에서 제거될 수 있다.A line that is connected to the segments and is regarded as a curve on a 3D coordinate may be set as a first correction group, and the first correction group may be removed in an image.

예를 들어, F 개의 커브들 중 하나의 타겟 라인을 Lm (m=1~M)이라 하고, Lm을 구성하는 Nm개의 픽셀들을 Pn = (Xn, Yn) (n=1~Nm) 이라 하면, Nm개의 픽셀들이 최대한 직선이 될 때의 매개변수 Gi를 구할 수 있다. 이렇게 산출된 Gi를 다른 커브들에도 적용하여 Pn을 구할 수 있다. Pn에 대해 직선과의 차이를 각 픽셀의 오차 En이라 정의하고 En 절대값이 기설정된 임계값 δm을 넘는 픽셀들이 하나의 커브에서 기설정된 퍼센티지를 초과하는 경우 이들을 제 1 보정 그룹으로 설정하고, 상기 제 1 보정 그룹을 영상 내에서 제거할 수 있다.For example, if one target line of the F curves is referred to as Lm (m = 1 to M) and Nm pixels constituting Lm are denoted by Pn = (Xn, Yn) (n = 1 to Nm) The parameter Gi when the Nm number of pixels are maximally straight can be obtained. The calculated Gi can also be applied to other curves to obtain Pn. Pn is defined as an error En of each pixel, and when the pixels whose absolute magnitudes exceed the preset threshold value? M exceed a preset percentage in one curve, they are set as the first correction group, The first correction group may be removed from the image.

이러한 과정을 통해, 상기 제 1 보정 그룹이 제거된 선들 중 최대한 직선이 되게 하는 매개변수 Gi를 산출할 수 있게 된다.
Through this process, it is possible to calculate the parameter Gi which causes the first correction group to be the maximum straight line among the removed lines.

필터링 모듈(123)은 3D 좌표 상에서 커브가 아님에도 불구하고 매개변수 산출시 에러 요소로 작용하는 선들을 제 2 보정 그룹으로 정의하여 필터링할 수 있다. 중심점 근처에 위치한 선들에 대해서는 임계값을 좀더 세밀하게 설정함으로써 매개변수가 적용되는 범위를 좁힐 수 있다. 예를 들어, 상기 도 4를 살펴보면, 각 픽셀들의 오차가 기설정된 임계값을 넘는지 판단할 때, 영상 중심에서 곡선 Lm에 이르는 거리에 따라 임계값에 가중치를 적용하여 제 2 보정 그룹에 해당하는지 여부를 판단할 수 있다.The filtering module 123 can define and filter the lines serving as the error element in the parameter calculation as the second correction group even though the curve is not a curve on the 3D coordinates. For lines located near the center point, you can narrow the range to which the parameter is applied by setting more precise thresholds. For example, referring to FIG. 4, when it is determined that the error of each pixel exceeds a preset threshold value, a weight is applied to the threshold value according to the distance from the image center to the curve Lm, Can be determined.

영상 중심점 A에서 곡선 Lm에 이르는 거리는 직선 F에 내린 수선의 길이 am으로 정의할 수 있고, 가중치는 0과 1 사이의 범위로 정규화할 수 있다. 이때, am 은 아래 수학식 4와 같이 정의할 수 있다.The distance from the image center point A to the curve Lm can be defined as the length a m of the perpendicular line drawn on the straight line F and the weight can be normalized to a range between 0 and 1. At this time, a m Can be defined as Equation (4) below.

Figure 112012106800912-pat00008
Figure 112012106800912-pat00008

정규화를 위한 상기 가중치가 0인 경우에는 am 이 0으로 선이 영상의 중심을 지날 때이고, 상기 가중치가 1인 경우는 am 이 영상의 중심에서 대각선 꼭지점까지의 거리일 때이다. 가중치를 적용한 새로운 임계값 δm_ new 를 식으로 나타내면 아래 수학식 5와 같다.If the weight for normalization is 0, a m Is 0 when the line passes the center of the image, and when the weight is 1, a m This is the distance from the center of the image to the diagonal vertex. Below represents a new threshold value δ m_ new applying a weight to the equation shown in equation (5).

Figure 112012106800912-pat00009
Figure 112012106800912-pat00009

여기서, R은 영상 대각선의 길이를 나타내고, m = 1~M , M은 선의 개수를 나타내며, ψ는 사용자 파라미터이다.Here, R denotes the length of the image diagonal, m = 1 to M, M denotes the number of lines, and? Is a user parameter.

상기와 같이 영상의 중심에서부터 선의 거리에 따라 임계값에 가중치를 줌으로써 새로운 임계값 δm_ new를 산출할 수 있고, 이를 통해 보다 정확한 매개변수 Gi를 획득함으로써 보다 정확한 영상 보정이 가능하게 된다.
It is possible to calculate the new threshold value δ m_ new by weighting the critical values depending on the distance of the line from the center of the image as described above, a more precise image correction them by obtaining more accurate parameter Gi through is possible.

영상보정 모듈(125)은 상기와 같은 과정을 통해 획득된 매개변수를 이용하여 영상의 휘어짐 현상을 보정할 수 있다.The image correction module 125 may correct the image warping phenomenon using parameters obtained through the above process.

상기 모바일 매핑 장치(100)는 상기와 같은 과정을 통해 영상을 보정하고, 보정된 영상은 데이터 처리 모듈(500)로 전송된다.
The mobile mapping apparatus 100 corrects the image through the process described above, and the corrected image is transmitted to the data processing module 500.

도 5는 본 발명이 적용되는 일실시예로서, 데이터 처리 모듈(500)의 개략적인 내부 블록도를 나타낸다.5 is a schematic block diagram of the data processing module 500 according to an embodiment of the present invention.

상기 데이터 처리 모듈(500)은 객체 추출 모듈(501), 항공사진 추출 모듈(502), 객체위치결정 모듈(503), 좌표비교 모듈(504) 및 3차원 모델링 모듈(505)로 구성될 수 있다.
The data processing module 500 may include an object extraction module 501, an aerial photograph extraction module 502, an object positioning module 503, a coordinate comparison module 504, and a three-dimensional modeling module 505 .

객체 추출 모듈(501)은 상기 모바일 매핑 장치(100)로부터 획득된 보정 영상으로부터 사용자가 원하는 대상 객체를 추출하고 상기 대상 객체의 좌표 정보를 획득할 수 있다. 상기 대상 객체를 추출하기 위해 서치 영역을 설정하고, 상기 서치 영역에 따라 상기 보정 영상으로부터 대상 객체를 추출할 수 있다. 이 때, 상기 대상 객체는 상기 보정 영상의 각 픽셀 RGB값을 이용할 수 있으며, 예를 들어, 대상 픽셀과 인접한 8개의 픽셀 정수값을 확인함으로써 동일한 특성을 갖는 픽셀을 검출할 수 있다. 상기 과정을 통해 추출된 대상 객체가 복수개일 경우에는 대상 객체의 이전 위치에서 가장 가까운 거리의 객체가 선택될 수 있으며, 어떠한 대상 객체도 추출되지 않는 경우에는 사용자의 입력에 의해 객체가 선택될 수 있다.
The object extraction module 501 may extract a desired object from the corrected image obtained from the mobile mapping apparatus 100 and obtain coordinate information of the object. A search area may be set to extract the target object, and a target object may be extracted from the corrected image according to the search area. At this time, the target object can use each pixel RGB value of the corrected image. For example, a pixel having the same characteristic can be detected by checking eight integer pixel values adjacent to the target pixel. If there are a plurality of target objects extracted through the above process, an object having the closest distance from the previous position of the target object can be selected. If no target object is extracted, the object can be selected by the user's input .

객체위치결정 모듈(503)은 상기 객체 추출 모듈(501)로부터 추출된 대상 객체에 대하여 중심점을 결정함으로써 대상 객체의 좌표 정보를 획득할 수 있다. 상기 중심점은 아래 수학식 6에 의해 결정될 수 있다.The object position determination module 503 can obtain the coordinate information of the target object by determining the center point of the target object extracted from the object extraction module 501. [ The center point may be determined by Equation (6) below.

Figure 112012106800912-pat00010
Figure 112012106800912-pat00010

Figure 112012106800912-pat00011
Figure 112012106800912-pat00011

여기서, x, y는 중심점의 좌표를 나타내고, n은 x축 방향의 픽셀 개수, N은 y축 방향의 픽셀 개수를 나타낸다.
Here, x and y represent the coordinates of the center point, n is the number of pixels in the x-axis direction, and N is the number of pixels in the y-axis direction.

항공사진 추출 모듈(502)은 상기 항공사진 데이터베이스(400)로부터 해당 영상에 대응되는 항공사진 좌표 정보를 추출할 수 있다. 이때, 상기 항공사진 추출 모듈(502)은 상기 GPS 수신 모듈(140)로부터 획득된 위치 정보에 따라 상기 위치 정보에 대응되는 해당 영상을 상기 항공사진 데이터베이스(400)로부터 추출할 수 있다.
The aerial photograph extraction module 502 can extract the aerial photograph coordinate information corresponding to the corresponding image from the aerial photograph database 400. [ In this case, the aerial photograph extraction module 502 may extract a corresponding image corresponding to the location information from the aerial photograph database 400 according to the location information obtained from the GPS reception module 140.

좌표비교 모듈(504)은 상기 객체위치결정 모듈(503)로부터 획득된 대상 객체의 좌표 정보와 상기 항공사진 추출 모듈(502)로부터 획득된 항공사진 좌표 정보를 비교함으로써 객체들 간의 매칭 여부를 확인할 수 있다. 예를 들어, 서로 다른 방향과 크기를 갖는 영상들로부터 크기와 회전에 불변한 공통점들을 추출함으로써 매칭 여부를 확인할 수 있다. 상기 항공사진 데이터베이스(400)로부터 추출된 항공사진 영상을 다양한 분산값을 갖는 가우시안 필터에 통과시키고, 통과된 영상들을 스케일에 따라 순차적으로 감산하여 오차 영상을 생성할 수 있다. 이는 아래 수학식 7에 의해 수행될 수 있다.The coordinate comparison module 504 can check whether the objects are matched by comparing the coordinate information of the object obtained from the object positioning module 503 with the aerial photograph coordinate information obtained from the aerial photograph extraction module 502 have. For example, matching points can be identified by extracting common points unchanged in size and rotation from images having different directions and sizes. An aerial photograph image extracted from the aerial photograph database 400 may be passed through a Gaussian filter having various dispersion values and an error image may be generated by sequentially subtracting the passed images according to a scale. This can be performed by Equation (7) below.

Figure 112012106800912-pat00012
Figure 112012106800912-pat00012

Figure 112012106800912-pat00013
Figure 112012106800912-pat00013

여기서, L(x,y,σ)는 가우시안 필터를 통과한 영상의 함수값을 나타내고, G(x,y,σ)는 가우시안 필터를 나타내며, D(x,y,σ)는 스케일된 영상과의 차이값을 나타낸다. 상기 생성된 오차 영상으로부터 극값(최대, 최소값)에 해당하는 픽셀의 위치를 추출할 수 있다. 여기서, 상기 극값(최대, 최소값)에 해당하는 픽셀의 위치는 선택된 픽셀값이 그에 이웃하는 8개의 픽셀과 스케일된 상,하 영상의 9개 픽셀씩, 총 26개의 픽셀값보다 크거나 작을 경우로 결정된다. 즉, 상기 극값(최대, 최소값)에 해당하는 픽셀이 공통점으로써 추출될 수 잇다. 상기 추출된 공통점들 중에서 노이즈 제거 및 강한 에지 성분을 제거하고, 남은 공통점들에 대하여 방향 정보 및 크기를 설정한다. 방향 정보와 크기는 각각 아래 수학식 8 및 수학식 9에 의해 결정된다.Where D (x, y, σ) represents the function of the image passed through the Gaussian filter and G (x, y, σ) represents the Gaussian filter. Respectively. The position of the pixel corresponding to the extreme value (maximum and minimum values) can be extracted from the generated error image. Here, the pixel position corresponding to the extreme value (maximum and minimum values) is a case where the selected pixel value is larger or smaller than a total of 26 pixel values, that is, eight pixels adjacent to the selected pixel value and nine pixels of the scaled upper and lower images . That is, pixels corresponding to the extreme values (maximum and minimum values) can be extracted as a common point. Noise removal and strong edge components are removed from the extracted common points, and direction information and size are set for the remaining common points. The direction information and the size are determined by the following equations (8) and (9), respectively.

Figure 112012106800912-pat00014
Figure 112012106800912-pat00014

Figure 112012106800912-pat00015
Figure 112012106800912-pat00015

상기 공통점을 중심으로 16x16 블록을 설정하고, 블록 내의 각 픽셀에 대하여 변화 방향을 측정한다. 상기 변화 방향은 변화 기울기에 비례하도록 설정되며, 변화 기울기가 클수록 변화 방향의 확률분포도 커지게 된다. 상기 변화 방향에 대한 확률분포는 8개의 방향으로 구분되어 저장되고, 이는 16x16 블록에 대하여 128 차원의 벡터 형태로 표현된다. 이와 같이 얻어진 상기 항공사진 영상의 공통점 벡터 정보와 상기 보정 영상의 공통점 벡터 정보를 비교하여 객체들 간의 매칭 여부를 확인할 수 있다. 그리고, 상기 매칭 확인 결과에 기초하여 상기 대상 객체의 좌표 정보를 추출할 수 있다.
A 16x16 block is set around the common point, and the direction of change is measured for each pixel in the block. The change direction is set to be proportional to the change slope, and the larger the change slope, the larger the probability distribution in the change direction. The probability distribution for the change direction is divided into eight directions and stored, which is expressed in a 128-dimensional vector form with respect to a 16x16 block. The common point vector information of the aerial photographic images thus obtained and the common point vector information of the corrected image are compared to check whether the objects are matched. The coordinate information of the target object can be extracted based on the matching check result.

본 발명이 적용되는 다른 실시예로서, 상기 대상 객체 식별을 위해 필터링을 이용할 수 있다. 먼저, 영상 내 객체의 경계 영역을 확인하고 상기 경계 영역의 기하학적 특성을 이용하여 대상 객체를 식별할 수 있다. 예를 들어, 건물, 간판, 가로수 등은 각각의 기하학적 특성을 가지고 있으므로, 상기 건물, 간판, 가로수 등을 이루는 선분과 각 선분이 만나는 모서리의 점들만을 추출하여 비교함으로써 대상 객체를 식별할 수 있다.
As another embodiment to which the present invention is applied, filtering may be used for the object identification. First, a boundary region of an object in an image is identified, and a target object can be identified using the geometric characteristics of the boundary region. For example, since a building, a signboard, a roadside tree, and the like have respective geometric characteristics, a target object can be identified by extracting and comparing only the points of the corner of the building, the signboard, .

3차원 모델링 모듈(505)은 상기 대상 객체의 좌표 정보를 이용하여 3차원 좌표 정보를 모델링할 수 있다. 도 6은 본 발명이 적용되는 일실시예로서, 대상 객체의 좌표 정보를 이용하여 3차원 좌표 정보를 모델링하는 방법을 설명하기 위한 도면이다.The three-dimensional modeling module 505 can model the three-dimensional coordinate information using the coordinate information of the target object. FIG. 6 is a diagram illustrating a method of modeling three-dimensional coordinate information using coordinate information of a target object according to an embodiment of the present invention. Referring to FIG.

상기 도 6을 참조하면, 3차원 좌표 정보를 모델링하기 위하여 먼저 두 대의 좌우 카메라가 객체를 촬영하고 있다고 가정할 때, 삼각형의 내각과 좌우 카메라로부터 객체까지의 거리를 아래 수학식 10 내지 17을 이용하여 구할 수 있다.Referring to FIG. 6, assuming that two left and right cameras photograph an object in order to model three-dimensional coordinate information, the distances from the inner angle of the triangle and the left and right cameras to the object are calculated using Equations 10 to 17 below. .

Figure 112012106800912-pat00016
Figure 112012106800912-pat00016

Figure 112012106800912-pat00017
Figure 112012106800912-pat00017

Figure 112012106800912-pat00018
Figure 112012106800912-pat00018

Figure 112012106800912-pat00019
Figure 112012106800912-pat00019

Figure 112012106800912-pat00020
Figure 112012106800912-pat00020

대상 객체 O의 3차원 좌표 (X_o, Y_o, Z_o)는 아래 수학식 15 내지 17에 의해 획득될 수 있으며, 이 중 Z_o 좌표는 좌측 카메라로부터 획득된 영상의 Y_l 좌표와 우측 카메라로부터 획득된 영상 Y_r 좌표의 평균값, 초점거리 정보 및 객체까지의 Y축 상 거리를 이용하여 획득할 수 있다. The three-dimensional coordinates (X_o, Y_o, Z_o) of the target object O can be obtained by the following equations (15) to (17), where Z_o coordinate is obtained by multiplying the Y_l coordinate of the image obtained from the left camera and the Y_l coordinate The average value of the coordinates, the focal length information, and the Y-axis distance to the object.

Figure 112012106800912-pat00021
Figure 112012106800912-pat00021

Figure 112012106800912-pat00022
Figure 112012106800912-pat00022

Figure 112012106800912-pat00023
Figure 112012106800912-pat00023

상기 수학식 15 내지 17에 의해 획득된 대상 객체 O의 3차원 좌표 (X_o, Y_o, Z_o)를 이용하여 3차원 공간 모델링을 수행할 수 있게 된다.
Dimensional space modeling can be performed using the three-dimensional coordinates (X_o, Y_o, Z_o) of the object O obtained by the equations (15) to (17).

도 7은 본 발명이 적용되는 일실시예로서, 3차원 공간 모델링 방법을 설명하기 위한 흐름도이다.FIG. 7 is a flowchart for explaining a three-dimensional space modeling method according to an embodiment to which the present invention is applied.

먼저, 모바일 매핑 장치(100) 내 촬영 영상 획득 모듈(110)은 좌안 영상 카메라와 우안 영상 카메라로 구성되어 있고, 이들 카메라로부터 각각 좌안 영상과 우안 영상을 획득할 수 있다(S710). 그리고, GPS 수신 모듈(140)로부터 상기 모바일 매핑 장치(100) 내의 카메라, 즉 획득된 좌안 영상과 우안 영상의 현재 위치 정보를 획득하고, 관성 측정 모듈(130)로부터 상기 카메라의 수평 정보를 획득할 수 있다(S720). First, the captured image acquisition module 110 in the mobile mapping apparatus 100 includes a left eye image camera and a right eye image camera, and a left eye image and a right eye image can be obtained from the cameras, respectively (S710). The current position information of the cameras in the mobile mapping apparatus 100, that is, the obtained left and right eye images, is acquired from the GPS receiving module 140, and the horizontal information of the camera is acquired from the inertia measurement module 130 (S720).

영상 처리 모듈(120) 내 매개변수 추출 모듈(121)은 상기 카메라의 수평 정보 및 상기 현재 위치 정보를 이용하여 영상 보정을 위한 매개변수를 추출할 수 있다(S730). 이때, 필터링 모듈(123)은 상기 매개변수 추출시 가중치가 적용된 임계값을 이용하여 필터링을 수행할 수 있다(S740). 영상 보정 모듈(125)은 필터링까지 수행된 매개변수를 이용하여 영상 보정을 수행할 수 있다(S750).The parameter extraction module 121 in the image processing module 120 may extract parameters for image correction using the horizontal information and the current position information of the camera in operation S730. At this time, the filtering module 123 may perform filtering using the weighted threshold value at the time of extracting the parameters (S740). The image correction module 125 may perform image correction using parameters that have been performed until filtering (S750).

데이터 처리 모듈(500) 내 객체추출 모듈(501)은 상기 모바일 매핑 장치(100)로부터 상기 보정된 영상을 전송받아 대상 객체를 추출할 수 있다(S760). 그리고, 객체 위치 결정 모듈(503)은 상기 추출된 대상 객체에 대하여 중심점을 결정함으로써 대상 객체의 좌표 정보를 획득할 수 있다(S770).The object extraction module 501 in the data processing module 500 receives the corrected image from the mobile mapping device 100 and extracts the target object in operation S760. Then, the object position determination module 503 can obtain the coordinate information of the target object by determining the center point of the extracted target object (S770).

좌표 비교 모듈(504)은 상기 획득된 대상 객체의 좌표 정보와 그에 대응되는 항공사진의 좌표 정보를 비교함으로써 매칭 여부를 확인할 수 있다(S780).The coordinate comparison module 504 can check whether the matching is performed by comparing the coordinate information of the obtained object and the coordinate information of the corresponding aerial photograph (S780).

3차원 모델링 모듈(505)은 상기 대상 객체의 좌표 정보를 이용하여 3차원 공간 모델링을 수행할 수 있다(S790).
The three-dimensional modeling module 505 can perform three-dimensional space modeling using the coordinate information of the target object (S790).

도 8은 본 발명이 적용되는 일실시예로서, 3차원 공간 모델링을 위해 카메라로부터 획득된 영상을 보정하는 방법을 설명하기 위한 흐름도이다.8 is a flowchart for explaining a method of correcting an image obtained from a camera for three-dimensional space modeling according to an embodiment of the present invention.

먼저, 촬영 영상 획득 모듈(110)로부터 획득된 영상 정보로부터 커브를 검출할 수 있다(S810). 상기 검출된 커브 중 3차원 좌표 상에서 직선이 아닌 선들을 제 1 보정 그룹을 설정할 수 있다(S820). 상기 영상 정보로부터 상기 설정된 제 1 보정 그룹에 해당하는 선들을 제거할 수 있다(S830). First, a curve may be detected from the image information obtained from the captured image acquisition module 110 (S810). The first correction group may be set to non-straight lines on the three-dimensional coordinates of the detected curves (S820). The lines corresponding to the set first correction group may be removed from the image information (S830).

그리고, 상기 제 1 보정 그룹이 제거된 영상으로부터 3차원 좌표 상에서 중심점으로부터 기설정된 임계값을 초과하는 선들을 검출하여 이를 제 2 보정 그룹으로 설정할 수 있다(S840). 이때, 좀더 정밀한 임계값을 재설정하기 위해 영상 중심점에서 곡선에 이르는 거리에 따라 가중치를 적용하여 새로운 임계값을 재설정할 수 있다. 재설정된 임계값에 기초하여 상기 제 2 보정 그룹을 설정할 수 있다. 상기 영상 정보로부터 상기 설정된 제 2 보정 그룹에 해당하는 선들을 제거할 수 있다(S850). In step S840, the first correction group may be detected from the center of the three-dimensional coordinate image, and the second correction group may be set to a second correction group. At this time, in order to reset a more precise threshold value, a new threshold value can be reset by applying a weight according to the distance from the image center point to the curve. The second correction group may be set based on the reset threshold value. The lines corresponding to the set second correction group may be removed from the image information (S850).

상기 제 2 보정 그룹이 제거된 영상으로부터 매개변수를 추출할 수 있다(S860). 상기 추출된 매개변수를 이용하여 역변환을 수행함으로써 영상 보정을 수행할 수 있다(S870).
The parameter may be extracted from the image from which the second correction group is removed (S860). The image correction may be performed by performing inverse transformation using the extracted parameters (S870).

도 9는 본 발명이 적용되는 일실시예로서, 3차원 공간 모델링을 위해 보정된 영상으로부터 대상 객체의 좌표 정보를 획득하기 위한 방법을 설명하기 위한 흐름도이다.9 is a flowchart for explaining a method for acquiring coordinate information of a target object from a corrected image for three-dimensional space modeling according to an embodiment of the present invention.

객체위치결정 모듈(503)로부터 획득된 대상 객체의 영상 정보를 추출할 수 있다(S910). 그리고, 항공사진 데이터베이스(400)로부터 상기 보정된 영상에 대응되는 항공사진의 좌표 정보를 획득할 수 있다(S920). 상기 The image information of the target object obtained from the object position determination module 503 can be extracted (S910). Then, the coordinate information of the aerial photograph corresponding to the corrected image can be obtained from the aerial photograph database 400 (S920). remind

상기 대상 객체의 영상 정보와 상기 항공사진 좌표 정보를 비교함으로써 객체들 간의 매칭 여부를 확인할 수 있다. 예를 들어, 서로 다른 방향과 크기를 갖는 영상들로부터 크기와 회전에 불변한 공통점들을 추출함으로써 매칭 여부를 확인할 수 있다. 상기 항공사진 영상을 가우시안 필터에 통과시키고, 통과된 영상들을 스케일에 따라 순차적으로 감산하여 오차 영상을 생성할 수 있다(S930). It is possible to confirm whether the objects are matched by comparing the image information of the target object with the aerial photograph coordinate information. For example, matching points can be identified by extracting common points unchanged in size and rotation from images having different directions and sizes. The aerial photographic image is passed through a Gaussian filter, and an error image is generated by sequentially subtracting the passed images according to a scale (S930).

상기 생성된 오차 영상으로부터 극값(최대, 최소값)에 해당하는 픽셀의 위치를 추출하여 공통점으로 설정할 수 있다(S940). 상기 추출된 공통점들 중에서 노이즈 제거 및 강한 에지 성분을 제거하고, 남은 공통점들에 대하여 방향 정보 및 크기를 설정함으로써 공통점 벡터 정보를 생성할 수 있다(S950).The positions of pixels corresponding to extreme values (maximum and minimum values) from the generated error images can be extracted and set as common points (S940). Common point vector information can be generated by removing noise and strong edge components from the extracted common points and setting direction information and size for the remaining common points (S950).

이와 같이 얻어진 상기 항공사진 영상의 공통점 벡터 정보와 보정 영상의 공통점 벡터 정보를 비교함으로써 객체들 간의 매칭 여부를 확인할 수 있다. 그리고, 상기 매칭 확인 결과에 기초하여 상기 대상 객체의 좌표 정보를 획득할 수 있다(S960).
By comparing the common point vector information of the aerial photographic images thus obtained and the common point vector information of the corrected image, it is possible to confirm whether or not the objects are matched. The coordinate information of the target object may be obtained based on the matching result (S960).

이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention as defined by the appended claims. , Substitution or addition, or the like.

Claims (1)

복수개의 센서에 의해 획득된 대상 객체의 좌표 정보를 이용하여 3차원 공간 데이터를 획득하는 공간영상처리 시스템에 있어서,
복수개의 카메라로부터 영상 정보를 획득하는 촬영 영상 획득 모듈; 인공 위성으로부터 GPS 정보를 수신하여 상기 카메라의 현재 위치 정보를 획득하는 GPS 수신 모듈; 상기 복수개의 센서를 이용하여 상기 카메라의 수평 정보를 획득하는 관성 측정 모듈; 상기 영상 정보, 현재 위치 정보 및 수평 정보에 기초하여 상기 영상 정보를 보정하는 영상 처리 모듈; 상기 영상 정보, 현재 위치 정보 및 수평 정보를 상기 영상 처리 모듈로 전송할 수 있도록 제어하는 컨트롤 모듈; 및 상기 영상 정보를 저장하는 버퍼를 포함하는 모바일 매핑 장치;
상기 모바일 매핑 장치로부터 상기 영상 정보를 수신하여 저장하거나 외부 데이터베이스로부터 항공사진 데이터를 수신하여 저장하는 항공사진 데이터베이스;
상기 영상 처리 모듈에서 획득된 보정 영상으로부터 대상 객체를 추출하는 객체 추출 모듈; 상기 추출된 대상 객체의 중심점에 기초하여 상기 대상 객체의 좌표 정보를 획득하는 객체 위치 결정 모듈; 상기 항공사진 데이터베이스로부터 상기 영상 정보에 대응되는 항공사진의 좌표 정보를 추출하는 항공사진 추출 모듈; 상기 대상 객체의 좌표 정보와 상기 항공사진의 좌표 정보를 비교하여 객체들 간의 매칭 여부를 확인하되, 상기 매칭 여부 확인은 서로 다른 값의 촬영된 카메라 방향 정보와 해상도를 나타내는 픽셀의 크기 정보를 갖는 영상들로부터 크기와 방향에 불변한 공통점을 추출함으로써 수행되고, 상기 공통점의 픽셀 크기는, 수학식
Figure 112013076719749-pat00024
(여기서, L(x,y)는 입력된 영상에 대해 가우시안 필터링을 통과한 영상의 함수값을 나타내고, (x,y)는 상기 입력된 영상 내의 픽셀 좌표를 나타냄)에 의해 획득되고, 상기 공통점의 방향 정보는, 수학식
Figure 112013076719749-pat00025
(여기서, L(x,y)는 입력된 영상에 대해 가우시안 필터링을 통과한 영상의 함수값을 나타내고, (x,y)는 상기 입력된 영상 내의 픽셀 좌표를 나타냄)에 의해 획득되는 좌표비교 모듈; 및 상기 매칭 여부 확인 결과로부터 획득된 대상 객체의 좌표 정보를 이용하여 3차원 공간 데이터를 획득하는 3차원 모델링 모듈을 포함하는 데이터 처리 모듈;
사용자로부터 공간 모델링 서비스에 대한 요청 정보를 수신하여 모바일 매핑 장치, 항공사진 데이터베이스 및 데이터 처리 모듈로 전송하고, 상기 데이터 처리 모듈로부터 획득된 3차원 공간 데이터를 사용자에게 송신하는 통신 모듈; 및
상기 버퍼에 저장된 데이터를 상기 영상 처리 모듈 또는 상기 데이터 처리 모듈로 전송하여 업데이트를 수행하는 업데이트 모듈
을 포함하되,
상기 관성측정 모듈은 100Hz 간격으로 데이터를 로깅하고, 상기 GPS 수신 모듈은 1Hz 간격으로 데이터를 로깅하는 것을 특징으로 하는 공간영상처리 시스템.A spatial image processing system for acquiring three-dimensional spatial data by using coordinate information of a target object acquired by a plurality of sensors,
A captured image acquisition module for acquiring image information from a plurality of cameras; A GPS receiving module for receiving GPS information from a satellite and obtaining current position information of the camera; An inertial measurement module for acquiring horizontal information of the camera using the plurality of sensors; An image processing module for correcting the image information based on the image information, the current position information, and the horizontal information; A control module for controlling the image information, current position information and horizontal information to be transmitted to the image processing module; And a buffer for storing the image information;
An aerial photograph database for receiving and storing the image information from the mobile mapping device or receiving and storing aerial photograph data from an external database;
An object extraction module for extracting a target object from the corrected image acquired by the image processing module; An object positioning module for obtaining coordinate information of the target object based on the extracted center point of the target object; An aerial photograph extracting module for extracting coordinate information of an aerial photograph corresponding to the image information from the aerial photograph database; By comparing the coordinate information of the target object and the coordinate information of the aerial photo to confirm whether the matching between the object, the check whether the matched image of the camera direction information of different values and the size information of the pixel indicating the resolution By extracting a common point that is invariant in size and direction, and the pixel size of the common point is
Figure 112013076719749-pat00024
Where L (x, y) represents a function value of the image that has passed Gaussian filtering for the input image, and (x, y) represents pixel coordinates in the input image. Direction information of the equation
Figure 112013076719749-pat00025
(Where L (x, y) represents a function value of the image that has passed Gaussian filtering for the input image, and (x, y) represents pixel coordinates in the input image) ; And a three-dimensional modeling module for acquiring three-dimensional spatial data using coordinate information of a target object obtained from the matching check result;
A communication module for receiving request information on a space modeling service from a user, transmitting the request information to a mobile mapping device, an aerial photograph database, and a data processing module, and transmitting the three-dimensional spatial data acquired from the data processing module to a user; And
An update module for transmitting the data stored in the buffer to the image processing module or the data processing module to perform an update,
Including,
The inertial measurement module logs data at 100 Hz intervals, and the GPS receiving module logs data at 1 Hz intervals.
KR1020120151582A 2012-12-22 2012-12-22 Spatial image processing system for obtaining 3-dimensional space data using coordination information of target object obtained by a plurality of sensors KR101332093B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120151582A KR101332093B1 (en) 2012-12-22 2012-12-22 Spatial image processing system for obtaining 3-dimensional space data using coordination information of target object obtained by a plurality of sensors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120151582A KR101332093B1 (en) 2012-12-22 2012-12-22 Spatial image processing system for obtaining 3-dimensional space data using coordination information of target object obtained by a plurality of sensors

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020120122761A Division KR101234917B1 (en) 2012-10-31 2012-10-31 Method and system for generating 3-dimensional space data using image correction by threshold applied a weight information

Related Child Applications (2)

Application Number Title Priority Date Filing Date
KR1020130063182A Division KR101879858B1 (en) 2013-06-01 2013-06-01 Spatial modelling system for modelling spatial data by extracting common feature using comparison process between coordinate information of target object extracted from corrected image and coordinate information of arial photograph
KR1020130063181A Division KR101332164B1 (en) 2013-06-01 2013-06-01 A system for correcting 3-dimensional space data by deleting curve component from image information obtained by a plurality of camera

Publications (1)

Publication Number Publication Date
KR101332093B1 true KR101332093B1 (en) 2013-11-25

Family

ID=49858273

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120151582A KR101332093B1 (en) 2012-12-22 2012-12-22 Spatial image processing system for obtaining 3-dimensional space data using coordination information of target object obtained by a plurality of sensors

Country Status (1)

Country Link
KR (1) KR101332093B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140055937A (en) * 2013-06-01 2014-05-09 (주)지오투정보기술 Spatial modelling system for modelling spatial data by extracting common feature using comparison process between coordinate information of target object extracted from corrected image and coordinate information of arial photograph
KR20140055898A (en) * 2012-12-22 2014-05-09 (주)지오투정보기술 Digital map generating system for performing spatial modelling through a distortion correction of image
CN112270320A (en) * 2020-11-16 2021-01-26 云南电网有限责任公司昆明供电局 Power transmission line tower coordinate calibration method based on satellite image correction

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030083048A (en) * 2002-04-19 2003-10-30 주식회사 지피에스코리아 Mobile Mapping System and treating method thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030083048A (en) * 2002-04-19 2003-10-30 주식회사 지피에스코리아 Mobile Mapping System and treating method thereof

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140055898A (en) * 2012-12-22 2014-05-09 (주)지오투정보기술 Digital map generating system for performing spatial modelling through a distortion correction of image
KR101879855B1 (en) * 2012-12-22 2018-07-19 (주)지오투정보기술 Digital map generating system for performing spatial modelling through a distortion correction of image
KR20140055937A (en) * 2013-06-01 2014-05-09 (주)지오투정보기술 Spatial modelling system for modelling spatial data by extracting common feature using comparison process between coordinate information of target object extracted from corrected image and coordinate information of arial photograph
KR101879858B1 (en) * 2013-06-01 2018-07-19 (주)지오투정보기술 Spatial modelling system for modelling spatial data by extracting common feature using comparison process between coordinate information of target object extracted from corrected image and coordinate information of arial photograph
CN112270320A (en) * 2020-11-16 2021-01-26 云南电网有限责任公司昆明供电局 Power transmission line tower coordinate calibration method based on satellite image correction
CN112270320B (en) * 2020-11-16 2023-08-22 云南电网有限责任公司昆明供电局 Power transmission line tower coordinate calibration method based on satellite image correction

Similar Documents

Publication Publication Date Title
KR101879855B1 (en) Digital map generating system for performing spatial modelling through a distortion correction of image
KR101931819B1 (en) Digital map gereration system for determining target object by comparing image information and aerial photograph data, and obtaining 3-dimensional coordination of target object using information obtained by camera
US7733342B2 (en) Method of extracting 3D building information using shadow analysis
KR101234961B1 (en) Method and system for modeling automatic 3-dimensional space using aerial image and mobile mapping system technology
CN106960454B (en) Depth of field obstacle avoidance method and equipment and unmanned aerial vehicle
JP6100380B2 (en) Image processing method used for vision-based positioning, particularly for apparatus
US10909395B2 (en) Object detection apparatus
CN109255808B (en) Building texture extraction method and device based on oblique images
CN106871906B (en) Navigation method and device for blind person and terminal equipment
KR101234917B1 (en) Method and system for generating 3-dimensional space data using image correction by threshold applied a weight information
WO2011163454A1 (en) Method and apparatus for image-based positioning
KR101942288B1 (en) Apparatus and method for correcting information of position
KR101332042B1 (en) A system for processing spatial image using location information and horizontality information of camera
KR101277427B1 (en) Method and system for correcting a distortion of image data using a parameter and comparing the corrected image data and aerial photograph
KR101255461B1 (en) Position Measuring Method for street facility
KR101879859B1 (en) A image processing system for correcting camera image using image distortion parameter
KR101332093B1 (en) Spatial image processing system for obtaining 3-dimensional space data using coordination information of target object obtained by a plurality of sensors
KR101879858B1 (en) Spatial modelling system for modelling spatial data by extracting common feature using comparison process between coordinate information of target object extracted from corrected image and coordinate information of arial photograph
CN113610702B (en) Picture construction method and device, electronic equipment and storage medium
KR101720761B1 (en) system for building three-dimensional space information using MMS and multi-directional tilt aerial photos
KR101332077B1 (en) 3-dimensional coordination generation system for performing image correction using gps information and horizontality information obtained by sensor
KR102475790B1 (en) Map making Platform apparatus and map making method using the platform
KR101459522B1 (en) Location Correction Method Using Additional Information of Mobile Instrument
CN111553342B (en) Visual positioning method, visual positioning device, computer equipment and storage medium
KR100981588B1 (en) A system for generating geographical information of city facilities based on vector transformation which uses magnitude and direction information of feature point

Legal Events

Date Code Title Description
A107 Divisional application of patent
A107 Divisional application of patent
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160909

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171110

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180921

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191010

Year of fee payment: 7