KR101256340B1 - Method and system for generating space information using data compression based on adaptive filtering and image correction - Google Patents
Method and system for generating space information using data compression based on adaptive filtering and image correction Download PDFInfo
- Publication number
- KR101256340B1 KR101256340B1 KR1020120139948A KR20120139948A KR101256340B1 KR 101256340 B1 KR101256340 B1 KR 101256340B1 KR 1020120139948 A KR1020120139948 A KR 1020120139948A KR 20120139948 A KR20120139948 A KR 20120139948A KR 101256340 B1 KR101256340 B1 KR 101256340B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- information
- module
- aerial photograph
- coordinate
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000001914 filtration Methods 0.000 title claims abstract description 41
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 19
- 238000003702 image correction Methods 0.000 title claims description 27
- 238000013144 data compression Methods 0.000 title claims description 4
- 238000013507 mapping Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims description 49
- 238000000605 extraction Methods 0.000 claims description 15
- 238000005259 measurement Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 abstract description 22
- 238000004804 winding Methods 0.000 abstract 1
- 238000012937 correction Methods 0.000 description 34
- 230000006870 function Effects 0.000 description 18
- 230000008859 change Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 230000015654 memory Effects 0.000 description 10
- 238000012805 post-processing Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 125000004122 cyclic group Chemical class 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011496 digital image analysis Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 적응적 필터링을 통한 데이터 압축과 영상 보정을 함께 이용하는 공간정보 생성 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for generating spatial information using data compression and image correction through adaptive filtering.
기존의 항공측량을 이용한 3D 공간 모델링 방법은 획득된 건물의 촬영된 부위까지만 이용할 수 있어 강제적으로 건물의 끝부분까지 영상을 확장시켜 완성시키는 작업 과정으로 진행되었다. 이렇게 영상을 강제적으로 확장시켰기 때문에 가시성이 현저히 떨어질 뿐만 아니라, 객체에 대한 정확한 좌표 정보도 획득할 수 없어 모델링 작업 완료 후에도 사용자에게 보다 현실감 있는 영상 데이터를 제공하기 어려웠다.The 3D space modeling method using existing aerial surveying is available only to the photographed part of the acquired building, and it has been forcibly extended to the end of the building. Since the image has been forcibly expanded, not only the visibility is significantly lowered but also the accurate coordinate information about the object can not be obtained, and it is difficult to provide more realistic image data to the user even after completing the modeling work.
또한, 종래의 공간 모델링 방법은 현장조사를 통해 수작업으로 구축된 데이터를 활용함으로써 과도한 인건비가 발생하게 되고, 이러한 수작업으로 인해 지리정보의 오류가 빈번하게 발생될 뿐만 아니라 수정 및 갱신이 어렵다는 단점이 있었고, 이러한 단점을 극복하기 위해 모바일 매핑 시스템(MMS; Mobile Mapping System) 등 최신 측량장비를 이용하여 건물 및 도로 시설물에 대한 지리정보 데이터를 구축하고 있다. 그러나, 보정점 측량 등으로 인해 비용이 많이 소요될 뿐만 아니라, 측정된 영상의 왜곡 등으로 인해 정확한 좌표 정보를 획득하기 어렵고, 더욱이 도심지에서는 그 정보의 정확도가 결여되어 지리 정보 데이터 베이스 구축에 많은 문제점을 초래하고 있다.In addition, in the conventional space modeling method, an excessive labor cost is generated by using data constructed manually by field survey, and errors of geographical information are frequently generated due to such manual operation, and it is difficult to correct and update In order to overcome these drawbacks, geographic information data on buildings and road facilities are being constructed using the latest surveying equipment such as mobile mapping system (MMS). However, it is difficult to acquire precise coordinate information due to distortion of the measured image, and the like. In addition, since the accuracy of the information is lacking in the urban area, there are many problems in building a geographic information database .
뿐만 아니라, 모바일 매핑 시스템을 이용하여 건물 및 도로 시설물에 대한 지리정보 데이터를 구축함에 있어서, 향후에는 모바일 매핑 시스템 및 지리 정보를 이용하는 단말들이 통신 시스템을 활용하여 방대한 양의 데이터를 송수신하게 될 것이다. 따라서, 이러한 방대한 양의 영상 데이터를 보다 효율적으로 송수신하기 위해서는 데이터 전송량을 효율적으로 관리할 필요가 있다.In addition, the mobile mapping system and terminals using geographical information will transmit and receive massive amounts of data using a communication system in the future in establishing geographic information data on buildings and road facilities using the mobile mapping system. Therefore, it is necessary to efficiently manage the data transmission amount in order to efficiently transmit and receive such a large amount of image data.
본 발명은 이동 측량 장비(MMS)를 통해 획득된 영상을 획득한 후 필터링 과정을 통해 영상의 휘어짐 현상을 보정함으로써 보다 정확한 3차원 공간좌표 정보를 획득하고자 한다.The present invention intends to acquire more accurate three-dimensional space coordinate information by correcting a warping phenomenon of an image through a filtering process after acquiring an image obtained through a mobile measurement equipment (MMS).
또한, 본 발명은 촬영된 영상의 프레임에 대해 적응적인 필터링 과정을 적용함으로써 신호 처리의 효율성을 향상시키고자 한다.In addition, the present invention intends to improve the efficiency of signal processing by applying an adaptive filtering process to a frame of a photographed image.
또한, 본 발명은 촬영된 영상에 대해 고주파 특성을 이용한 후처리 과정을 적용함으로써 영상 개선을 수행하고자 한다.In addition, the present invention intends to improve an image by applying a post-processing process using a high-frequency characteristic to a photographed image.
또한, 본 발명은 영상 보정을 위한 매개변수 추출시 가중치가 적용된 임계값을 이용하여 필터링을 수행함으로써 보다 세밀한 영상 보정을 수행하고자 한다.In addition, the present invention intends to perform finer image correction by performing filtering using a weighted threshold value when extracting parameters for image correction.
또한, 본 발명은 영상 보정을 위한 매개변수 추출시 에러 요소를 중복적으로 제거함으로써 보다 세밀한 영상 보정을 수행하고자 한다.In addition, the present invention intends to perform more precise image correction by redundantly eliminating error elements when extracting parameters for image correction.
또한, 본 발명은 대상 객체의 영상 정보를 항공사진으로부터 생성된 공통점 벡터 정보와 비교하여 대상 객체의 좌표 정보를 획득함으로써 보다 정확한 3차원 공간 좌표 정보를 산출하고자 한다.Also, the present invention compares the image information of the target object with the common point vector information generated from the aerial photograph, and obtains the coordinate information of the target object to thereby calculate the more accurate three-dimensional space coordinate information.
본 발명은, 적응적 필터링을 통한 데이터 압축과 영상 보정을 함께 이용하는 공간정보 생성 시스템에 있어서, 복수개의 카메라로부터 영상 정보를 획득하는 촬영 영상 획득 모듈; 인공 위성으로부터 GPS 정보를 수신하여 상기 카메라의 현재 위치 정보를 획득하는 GPS 수신 모듈; 복수개의 센서를 이용하여 상기 카메라의 수평 정보를 획득하는 관성 측정 모듈; 상기 영상 정보, 현재 위치 정보 및 수평 정보에 기초하여 상기 영상 정보를 보정하는 영상 처리 모듈; 상기 영상 정보, 현재 위치 정보 및 수평 정보를 상기 영상 처리 모듈로 전송할 수 있도록 제어하는 컨트롤 모듈; 및 영상 정보를 저장하는 버퍼를 포함하는 모바일 매핑 장치; 상기 모바일 매핑 장치로부터 상기 영상 정보를 수신하여 저장하거나 외부 데이터베이스로부터 항공사진 데이터를 수신하여 저장하는 항공사진 데이터베이스; 및 상기 영상 처리 모듈에서 획득된 보정 영상으로부터 대상 객체를 추출하는 객체 추출 모듈; 상기 추출된 대상 객체의 중심점에 기초하여 상기 대상 객체의 좌표 정보를 획득하는 객체 위치 결정 모듈; 상기 항공사진 데이터베이스로부터 상기 영상 정보에 대응되는 항공사진의 좌표 정보를 추출하는 항공사진 추출 모듈; 상기 대상 객체의 좌표 정보와 상기 항공사진의 좌표 정보를 비교하여 객체들 간의 매칭 여부를 확인하는 좌표비교 모듈; 및 상기 매칭 여부 확인 결과로부터 획득된 대상 객체의 좌표 정보를 이용하여 공간 정보를 획득하는 공간정보 생성모듈을 포함하는 데이터 처리 모듈; 을 포함하되, 상기 촬영 영상 획득 모듈은, 좌안 영상 카메라와 우안 영상 카메라로부터 스테레오 영상에 대한 영상 정보를 획득하는 이미지 센싱부; 상기 영상 정보를 코딩할때 필터 계수를 이용하여 각 프레임에 적응적인 필터링을 수행하되, 상기 필터 계수는 다음 수학식 (여기서, ai는 필터 계수를 나타내고, e[n]은 원본 프레임의 픽셀값과 필터링된 현재 프레임의 예측 픽셀값의 차이값을 나타냄)에 의해 산출되며, 상기 필터 계수는 상기 E{e2[n]}값을 최소로 하는 값으로 결정되는 것을 특징으로 하는 적응적 필터링부; 및 상기 필터링된 영상 정보 및 상기 필터 계수를 수신하여 상기 영상 처리 모듈로 전송하는 데이터 출력부를 포함하는 것을 특징으로 하는 공간정보 생성 시스템을 제공한다.According to an aspect of the present invention, there is provided a spatial information generation system using data compression and image correction through adaptive filtering, comprising: a photographed image acquisition module configured to acquire image information from a plurality of cameras; A GPS receiving module for receiving GPS information from a satellite and obtaining current position information of the camera; An inertia measurement module for obtaining horizontal information of the camera using a plurality of sensors; An image processing module for correcting the image information based on the image information, the current position information, and the horizontal information; A control module for controlling the image information, current position information and horizontal information to be transmitted to the image processing module; And a buffer for storing image information; An aerial photograph database for receiving and storing the image information from the mobile mapping device or receiving and storing aerial photograph data from an external database; And an object extraction module for extracting a target object from the corrected image acquired by the image processing module; An object positioning module for obtaining coordinate information of the target object based on the extracted center point of the target object; An aerial photograph extracting module for extracting coordinate information of an aerial photograph corresponding to the image information from the aerial photograph database; A coordinate comparison module for comparing the coordinate information of the target object with the coordinate information of the aerial photograph to check whether the objects are matched; And a spatial information generating module for obtaining spatial information using coordinate information of the target object obtained from the matching result. Includes, the captured image acquisition module, Image sensing unit for obtaining image information for the stereo image from the left eye image camera and the right eye image camera; When coding the image information, adaptive filtering is performed on each frame by using filter coefficients. (Where a i represents a filter coefficient, and e [n] represents a difference value between a pixel value of an original frame and a predicted pixel value of a filtered current frame), and the filter coefficient is E {e 2. an adaptive filtering unit characterized in that it is determined to have a minimum value of [n]}; And a data output unit configured to receive the filtered image information and the filter coefficients and transmit the filtered image information and the filter coefficients to the image processing module.
또한, 본 발명에서, 상기 영상 처리 모듈은, 상기 촬영 영상 획득 모듈로부터 수신된 상기 영상 정보로부터 커브를 검출하여 제 1 보정 그룹을 설정하고, 상기 영상 정보로부터 상기 제 1 보정 그룹을 제거하고, 상기 제 1 보정 그룹이 제거된 영상 정보로부터 3차원 좌표 상에서 중심점으로부터 임계값을 벗어나는 선들을 제 2 보정 그룹으로 설정하고, 상기 제 1 보정 그룹이 제거된 영상 정보로부터 상기 제 2 보정 그룹을 제거하되, 상기 임계값은 다음 수학식 (여기서, am 은 영상 중심점에서 곡선의 현에 내린 수선의 길이를 나타내고, R은 영상 대각선의 길이를 나타내고, m = 1~M , M은 선의 개수를 나타내며, ψ는 사용자 파라미터를 나타냄)에 의해 획득되는 필터링 모듈; 상기 제 1 보정 그룹과 상기 제 2 보정 그룹이 제거된 영상 정보에 기초하여, 영상의 휘어짐 정도를 나타내는 매개변수를 추출하는 매개변수 추출 모듈; 및 상기 매개변수를 이용하여 상기 영상 정보의 보정을 수행하는 영상보정 모듈을 포함하는 것을 특징으로 한다.In the present invention, the image processing module may further include: a first correction group detection unit configured to detect a curve from the image information received from the captured image acquisition module to set a first correction group, to remove the first correction group from the image information, Setting lines in the second correction group that are out of the threshold value from the center point on the three-dimensional coordinates from the image information from which the first correction group has been removed, removing the second correction group from the image information from which the first correction group has been removed, The threshold value is calculated by the following equation (Where a m Wherein R is the length of the diagonal line of the image, m = 1 to M, M is the number of lines, and? Is a user parameter), the filtering module ; A parameter extracting module for extracting a parameter indicating a degree of warping of the image based on the image information from which the first correction group and the second correction group have been removed; And an image correction module for performing correction of the image information using the parameter.
또한, 본 발명에서, 상기 공간정보 생성 모듈은, 상기 대상 객체의 3차원 좌표를 획득하되, 이 중 Z축 좌표값은 좌측 카메라로부터 획득된 영상의 Y좌표(Y_l)와 우측 카메라로부터 획득된 영상의 Y좌표(Y_r)의 평균값, 초점거리(f) 및 상기 대상 객체까지의 Y축상 거리(Yo)에 기초하여 다음 수학식 을 이용하여 획득되는 것을 특징으로 한다.Also, in the present invention, the spatial information generating module obtains three-dimensional coordinates of the target object, wherein the Z-axis coordinate value is the Y coordinate (Y_l) of the image obtained from the left camera and the image obtained from the right camera. The following equation is based on the average value of the Y coordinate (Y_r), the focal length (f) and the Y-axis distance (Yo) to the target object Is obtained.
또한, 본 발명에서, 상기 제 1 보정 그룹으로 설정된 커브는, 영상 내에 존재하는 세그먼트를 서치하고, 상기 세그먼트 내의 각 픽셀의 변화율과 각도를 산출하고, 기설정된 임계값보다 높은 변화율을 갖는 픽셀을 시작점으로 하여 기설정된 크기의 윈도우 내에서 가장 큰 변화율을 갖는 픽셀을 하나의 그룹으로 설정하여 그 픽셀을 시작점으로 하여 다시 윈도우를 통해 다음 픽셀을 서치하며, 상기 과정을 통해 검출된 픽셀들로 구성된 세그먼트들을 연결하여 형성되는 것을 특징으로 한다.According to the present invention, the curve set as the first correction group is obtained by searching a segment existing in an image, calculating a rate of change and an angle of each pixel in the segment, and calculating a pixel having a rate of change higher than a predetermined threshold, Sets pixels having the greatest change rate in a window of a predetermined size as a group and searches for the next pixel through the window with the pixel as a starting point, And is formed by connecting.
또한, 본 발명에서, 상기 관성측정 모듈은 100Hz 간격으로 데이터를 로깅하는 것을 특징으로 한다.Also, in the present invention, the inertia measurement module may log data at intervals of 100 Hz.
또한, 본 발명에서, 상기 GPS 수신 모듈은 1Hz 간격으로 데이터를 로깅하는 것을 특징으로 한다.In the present invention, the GPS receiving module may log data at intervals of 1 Hz.
또한, 본 발명에서, 상기 통신 모듈은 LAN(local area network), WLAN(wireless LAN), Wibro(wireless broadband), Wimax(world interoperability for microwave access), HSDPA(high speed downlink packet access)를 포함하는 것을 특징으로 한다.Also, in the present invention, the communication module may include a local area network (LAN), a wireless local area network (WLAN), a wireless broadband (Wibro), a world interoperability for microwave access (Wimax), and a high speed downlink packet access .
본 발명은 이동 측량 장비(MMS)를 통해 획득된 영상을 획득한 후 필터링 과정을 통해 영상의 휘어짐 현상을 보정함으로써 보다 정확한 3차원 공간좌표 정보를 획득할 수 있다.The present invention can acquire more accurate three-dimensional space coordinate information by correcting the warping phenomenon of an image through filtering after acquiring an image acquired through a mobile measurement equipment (MMS).
또한, 본 발명은 영상 보정을 위한 매개변수 추출시 가중치가 적용된 임계값을 이용하여 필터링을 수행함으로써 보다 세밀한 영상 보정을 수행할 수 있다.Further, in the present invention, more detailed image correction can be performed by performing filtering using a weighted threshold value when extracting parameters for image correction.
또한, 본 발명은 영상 보정을 위한 매개변수 추출시 에러 요소를 중복적으로 제거함으로써 보다 세밀한 영상 보정을 수행할 수 있다.In addition, the present invention can perform more precise image correction by redundantly eliminating error elements when extracting parameters for image correction.
또한, 본 발명은 대상 객체의 영상 정보를 항공사진으로부터 생성된 공통점 벡터 정보와 비교하여 대상 객체의 좌표 정보를 획득함으로써 보다 정확한 3차원 공간 좌표 정보를 산출할 수 있다.Also, the present invention compares the image information of the target object with the common point vector information generated from the aerial photograph, and obtains the coordinate information of the target object, so that more accurate three-dimensional space coordinate information can be calculated.
또한, 본 발명은 촬영된 영상의 프레임에 대해 적응적인 필터링 과정을 적용함으로써 신호 처리의 효율성을 향상시킬 수 있다.In addition, the present invention can improve the efficiency of signal processing by applying an adaptive filtering process to a frame of a photographed image.
또한, 본 발명은 촬영된 영상에 대해 고주파 특성을 이용한 후처리 과정을 적용함으로써 영상 개선을 수행할 수 있다.In addition, the present invention can perform image enhancement by applying a post-processing process using a high-frequency characteristic to a photographed image.
도 1은 본 발명이 적용되는 실시예로서, 자동 3차원 공간 모델링 시스템의 개략적인 블록도를 나타낸다.
도 2는 본 발명이 적용되는 일실시예로서, 촬영 영상 획득 모듈(110)의 개략적인 내부 블록도를 나타낸다.
도 3a는 본 발명이 적용되는 일실시예로서, 영상 처리 모듈(120)의 개략적인 내부 블록도를 나타낸다.
도 3b는 본 발명이 적용되는 일실시예로서, 후처리부(127)의 개략적인 내부 블록도를 나타낸다.
도 4a는 본 발명이 적용되는 일실시예로서, 제 1 보정 그룹과 제 2 보정 그룹을 정의함으로써 영상 보정을 수행하는 방법을 설명하기 위한 좌표계를 나타낸다.
도 4b는 본 발명이 적용되는 일실시예로서, 영상 보정을 위해 가중치 적용된 임계값 산출 과정을 설명하기 위한 좌표계를 나타낸다.
도 5는 본 발명이 적용되는 일실시예로서, 데이터 처리 모듈(500)의 개략적인 내부 블록도를 나타낸다.
도 6은 본 발명이 적용되는 일실시예로서, 대상 객체의 좌표 정보를 이용하여 3차원 좌표 정보를 모델링하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명이 적용되는 일실시예로서, 3차원 공간 모델링 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명이 적용되는 일실시예로서, 3차원 공간 모델링을 위해 카메라로부터 획득된 영상을 보정하는 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명이 적용되는 일실시예로서, 3차원 공간 모델링을 위해 보정된 영상으로부터 대상 객체의 좌표 정보를 획득하기 위한 방법을 설명하기 위한 흐름도이다.
도 10은 본 발명이 적용되는 일실시예로서, 촬영된 영상의 프레임에 대해 적응적인 필터링 과정을 적용하는 방법을 설명하기 위한 흐름도이다.Fig. 1 shows a schematic block diagram of an automatic three-dimensional space modeling system to which the present invention is applied.
2 is a schematic block diagram of an image capture module 110 according to an embodiment of the present invention.
3A is a schematic block diagram of an
FIG. 3B is a schematic internal block diagram of the
4A illustrates a coordinate system for explaining a method of performing image correction by defining a first correction group and a second correction group according to an embodiment of the present invention.
FIG. 4B illustrates a coordinate system for explaining a weighted threshold calculation process for image correction according to an embodiment of the present invention. Referring to FIG.
5 is a schematic block diagram of the data processing module 500 according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating a method of modeling three-dimensional coordinate information using coordinate information of a target object according to an embodiment of the present invention. Referring to FIG.
FIG. 7 is a flowchart for explaining a three-dimensional space modeling method according to an embodiment to which the present invention is applied.
8 is a flowchart for explaining a method of correcting an image obtained from a camera for three-dimensional space modeling according to an embodiment of the present invention.
9 is a flowchart for explaining a method for acquiring coordinate information of a target object from a corrected image for three-dimensional space modeling according to an embodiment of the present invention.
10 is a flowchart illustrating a method of applying an adaptive filtering process to a frame of a photographed image according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 실시예의 구성과 그 작용을 설명하BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects,
며, 도면에 의해서 설명되는 본 발명의 구성과 작용은 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.And, the configuration and operation of the present invention described by the drawings are described as one embodiment, by which the technical spirit of the present invention and its core configuration and operation is not limited.
아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적In addition, the term used in the present invention is intended to include,
인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어를 사용하여 설명한다. 그러한 경우에는 해당 부분의 상세 설명에서 그 의미를 명확히 기재하므로, 본 발명의 설명에서 사용된 용어의 명칭만으로 단순 해석되어서는 안 될 것이며 그 해당 용어의 의미까지 파악하여 해석되어야 함을 밝혀두고자 한다., But the specific case is explained by using the terminology arbitrarily selected by the applicant. In such a case, the meaning is clearly stated in the detailed description of the relevant part, so it should be understood that the name of the term used in the description of the present invention should not be simply interpreted and that the meaning of the corresponding term should be understood and interpreted .
공간 모델링 시스템(Space Modeling System)은 공간상 위치를 점유하는 지리 자료와 이에 관련된 속성 자료를 통합하여 처리하는 정보 시스템으로서 다양한 형태의 지리 정보를 효율적으로 수집, 저장, 갱신, 처리, 분석, 출력하기 위해 이용되는 하드웨어, 소프트웨어, 지리자료, 인적자원의 총체적 조직체라고 정의할 수 있다. 상기 지리 정보 시스템의 이용에 따라 공간 정보의 다양한 활용이 용이해졌다. 따라서, 급변하는 도심 내의 보다 명확하고 현실감있는 지리 정보를 제공하기 위해서는 이동 측량 데이터를 효율적으로 이용할 필요가 있다. 이하에서는 이동 측량 데이터를 효율적으로 이용하여 보다 명확한 공간 모델링 정보를 생성하는 실시예들을 살펴보도록 한다.
Space Modeling System is an information system that integrates geographical data occupying spatial position and related property data. It collects, stores, updates, processes, analyzes and outputs various types of geographical information efficiently. It can be defined as the total organization of hardware, software, geographical data, and human resources used for. Various applications of spatial information have become easier according to the use of the geographic information system. Therefore, it is necessary to use the mobile survey data efficiently in order to provide clear and realistic geographical information in a rapidly changing city center. Hereinafter, embodiments in which more accurate spatial modeling information is generated by using the mobile surveying data efficiently will be described.
도 1은 본 발명이 적용되는 실시예로서, 공간 정보 생성 시스템의 개략적인 블록도를 나타낸다.FIG. 1 is a schematic block diagram of a spatial information generating system according to an embodiment of the present invention.
상기 도 1을 참조하면, 본 발명이 적용되는 공간 정보 생성 시스템(10)은 크게 모바일 매핑 장치(100), 통신 모듈(200), 업데이트 모듈(300), 항공사진 데이터베이스(400) 및 데이터 처리 모듈(500)로 구성되고, 상기 모바일 매핑 장치(100)는 촬영 영상 획득 모듈(110), 영상처리 모듈(120), 관성측정 모듈(130), GPS 수신모듈(140), 컨트롤 모듈(150) 및 버퍼(160)로 구성될 수 있다. 1, a spatial information generation system 10 according to an embodiment of the present invention includes a mobile mapping device 100, a
여기서, 공간 모델이란 3차원 이미지 내에서 공간을 차지하는 객체, 예를 들어, 도로 시설물, 건물, 도로 점용 시설 및 부대 시설 등을 의미할 수 있다. 그리고, 공간 모델 정보라 함은, 상기 객체, 즉 도로 시설물, 건물, 도로 점용 시설 및 부대 시설 등의 위치, 거리, 면적, 속성 정보 등을 의미할 수 있다.
Here, the spatial model may mean an object occupying a space in a three-dimensional image, for example, a road facility, a building, a road facility, and an auxiliary facility. The spatial model information may refer to the location, distance, area, and property information of the object, i.e., a road facility, a building, a road facility, and an auxiliary facility.
상기 모바일 매핑 장치(100)는 대상 지역 내의 경로를 이동하면서 대상 지역 내의 도로 시설물, 건물, 도로 점용 시설 및 부대 시설 등을 측량할 수 있다. 상기 모바일 매핑 장치(100)는 이동하면서 측량 가능한 장치를 의미하며, 그 예로 측량 가능한 카메라를 장착한 자동차, 비행기 등을 들 수 있다.
The mobile mapping apparatus 100 can measure a road facility, a building, a road-use facility, and an auxiliary facility in a target area while moving the route in the target area. The mobile mapping device 100 refers to a moving and measurable device, for example, a car or a plane equipped with a measurable camera.
촬영 영상 획득 모듈(110)는 좌안 영상 카메라와 우안 영상 카메라로 구성될 수 있으며, 좌안 영상 카메라와 우안 영상 카메라를 이용하여 상기 도로 시설물, 건물, 도로 점용 시설 및 부대 시설을 촬영함으로서 스테레오 영상을 획득할 수 있다. 도 2는 본 발명이 적용되는 일실시예로서, 촬영 영상 획득 모듈(110)의 개략적인 내부 블록도를 나타낸다.The photographed image acquisition module 110 may include a left-eye image camera and a right-eye image camera. The photographed image acquisition module 110 may acquire stereo images by photographing the road facilities, buildings, road facilities, and auxiliary facilities using a left- can do. 2 is a schematic block diagram of an image capture module 110 according to an embodiment of the present invention.
촬영 영상 획득 모듈(110)는 이미지 센싱부(111), 비디오 코딩부(112), 버퍼(113) 및 데이터 출력부(114)를 포함하여 구성될 수 있다.The captured image acquisition module 110 may include an
상기 이미지 센싱부(111)는 좌안 영상 카메라와 우안 영상 카메라를 이용하여 도로 시설물, 건물, 도로 점용 시설 및 부대 시설을 촬영함으로서 스테레오 영상을 획득할 수 있다. 상기 이미지 센싱부(111)로부터 출력된 영상 신호는 RGB의 파장 정보를 포함하는 아날로그 전기 신호일 수 있다. 다만, 설명의 편의를 위해 상기 이미지 센싱부(111)는 아날로그-디지털 변환기를 포함함으로써 RGB 원시 이미지 데이터(RGB RAW IMAGE DATA)를 출력할 수 있다. 상기 이미지 센싱부(111)로부터 출력된 RGB 원시 이미지 데이터는 버퍼(113)에 저장될 수 있으며, 비디오 코딩부(112)로 입력될 수 있다.The
상기 비디오 코딩부(112)에서는 수신된 영상 정보를 압축하여 전송함으로써 효율적인 신호 처리를 수행할 수 있다. 본 발명이 적용되는 실시예로서, 상기 비디오 코딩부(112)는 적응적 필터링부(미도시)를 포함할 수 있으며, 상기 적응적 필터링부에서는 각 프레임에 적응적인 필터링을 수행함으로써 효율적인 신호 처리가 가능할 수 있다. 상기 적응적 필터링부는 다음과 같은 과정을 통해 필터 계수를 생성할 수 있다.The video coding unit 112 may perform efficient signal processing by compressing and transmitting the received image information. In an embodiment to which the present invention is applied, the video coding unit 112 may include an adaptive filtering unit (not shown), and the adaptive filtering unit performs adaptive filtering on each frame, It can be possible. The adaptive filtering unit may generate a filter coefficient through the following process.
예를 들어, w[n]을 현재 프레임의 예측 픽셀값이라 하고, x[n]을 필터링된 현재 프레임의 예측 픽셀값이라 하며, 필터 계수를 ai라 하자. 이 경우, 상기 w[n]이 상기 적응적 필터링부의 입력값이라 하고, N차의 필터를 이용한다고 가정할 경우, 상기 필터링된 현재 프레임의 예측 픽셀값 x[n]은 다음 수학식 1과 같이 표현할 수 있다.For example, let w [n] be the predicted pixel value of the current frame, let x [n] be the predicted pixel value of the filtered current frame, and let the filter coefficient be a i . In this case, assuming that w [n] is an input value of the adaptive filtering unit and that an N-th order filter is used, the predicted pixel value x [n] of the filtered current frame is expressed by Equation Can be expressed.
그리고, s[n]을 원본 프레임의 픽셀값이라 하고, x[n]과 s[n]의 차이를 e[n]이라 한다면, 상기 e[n]을 최소로 하는 필터 계수 ai를 얻을 수 있다. 상기 필터 계수 ai는 다음 수학식 2와 같이 표현될 수 있다.Assuming that s [n] is the pixel value of the original frame and the difference between x [n] and s [n] is e [n], a filter coefficient a i that minimizes e [n] have. The filter coefficient a i can be expressed by the following equation (2).
상기 E{e2[n]}은 다음 수학식 3과 같이 표현될 수 있다. The above E {e 2 [n]} can be expressed by the following equation (3).
상기 E{e2[n]}을 최소로 하는 필터 계수 ai를 구하기 위해 상기 수학식 3을 ai로 미분하면 다음 수학식 4와 같다.If the differential equation (3) with a i to obtain the filter coefficients a i to a minimum the E {e 2 [n]} as shown in the following equation (4).
여기서 w[n]과 s[n]이 고정되어 있다면, w[n]의 상관관계와 w[n]과 s[n]간의 교차 상관관계로서 RW[m]와 Rws[m]을 다음 수학식 5와 같이 나타낼 수 있다.If w [n] and s [n] are fixed, then R W [m] and R ws [m] are the cross correlation between w [n] and w [n] (5) " (5) "
상기 수학식 5를 이용하여 수학식 4를 다음 수학식 6과 같이 표현할 수 있다.Equation (4) can be expressed as Equation (6) using Equation (5).
상기 수학식 6을 0이 되도록 하는 ai값이 구할 것이며, 이는 수학식 7과 같다.The value of a i , which makes Equation (6) 0, is obtained, which is shown in Equation (7).
상기 수학식 7로부터 필터 계수 ai를 얻을 수 있다.From the above equation (7), the filter coefficient a i can be obtained.
상기와 같은 과정을 통해 획득한 필터 계수 ai를 현재 프레임에 적용함으로써 현재 프레임에 대한 정확성을 향상시킬 수 있으며, 이 경우, 상기 비디오 코딩부(112)는 상기 생성된 필터 계수를 상기 데이터 출력부(114)를 통해 영상 처리 모듈(120) 또는 데이터 처리 모듈로 전송할 수 있다. 그러나, 상기 필터 계수의 적용이 신호 처리의 효율성을 현저하게 향상시키지 않는 경우에는 상기 필터 계수를 전송하지 않고 필터 계수 적용 여부를 나타내는 플래그를 사용함으로써 현재 프레임에 필터 계수를 적용하지 않을 수 있다. 이 경우, 상기 비디오 코딩부(112)는 상기 플래그 정보를 상기 데이터 출력부(114)를 통해 영상 처리 모듈(120) 또는 데이터 처리 모듈로 전송할 수 있다.
In this case, the video coding unit 112 may output the generated filter coefficient to the
또한, 상기 촬영 영상 획득 모듈(110)은 상기 모바일 매핑 장치(100)의 흔들림으로 인한 촬영 당시의 카메라 흔들림 또는 카메라 렌즈 자체가 가지고 있는 휘어짐 문제 등으로 인해 획득된 영상의 보정이 필요하게 된다. 따라서, 본 발명이 적용되는 실시예에서는 이러한 영상의 보정을 위해 보정 매개변수를 추정하는 방법 및 가중치를 적용한 새로운 임계값 산정 방법을 제안하고자 한다. 이에 대해서는 도 4a 및 도 4b에서 보다 상세히 설명하도록 한다. In addition, the captured image acquisition module 110 needs to correct the acquired image due to the camera shake at the time of shooting due to the shake of the mobile mapping device 100, or a bowing problem of the camera lens itself. Therefore, in the embodiment to which the present invention is applied, a method of estimating a correction parameter for correcting such an image and a new threshold value calculating method using weighting are proposed. This will be described in more detail in Figs. 4A and 4B.
상기 촬영 영상 획득 모듈(110)은 상기 모바일 매핑 장치(100) 내 장착된 카메라로부터 획득된 좌안 영상과 우안 영상을 획득하고, 상기 GPS 수신 모듈(140)로부터 획득된 상기 모바일 매핑 장치(100)의 위치 정보를 이용하여 상기 좌안 영상과 상기 우안 영상의 현재 위치 정보를 획득할 수 있다. 그리고, 상기 좌안 영상과 상기 우안 영상의 현재 위치 정보로부터 상기 모바일 매핑 장치(100)의 이동 경로를 생성할 수 있다. 즉, 상기 모바일 매핑 장치(100)의 위치 정보로부터 이동 경로를 결정하고 각 이동 경로마다, 상기 카메라로부터 획득된 좌안 영상과 우안 영상을 매칭시킬 수 있다.
The captured image acquisition module 110 acquires the left eye image and the right eye image acquired from the camera mounted in the mobile mapping device 100 and acquires the left eye image and the right eye image from the
관성측정 모듈(130)은 다중 센서를 이용하여 센싱 정보를 수신함으로써 상기 모바일 매핑 장치(100)의 수평 정보를 획득할 수 있고, 이러한 수평 정보를 활용하여 보다 세밀한 영상 보정을 수행할 수 있다. 본 발명이 적용되는 실시예로, 상기 관성측정 모듈(130)은 100Hz 간격으로 데이터를 로깅한다.
The
GPS 수신 모듈(140)은 인공 위성으로부터 GPS 정보를 수신받아 상기 모바일 매핑 장치(100)의 현재 위치 정보를 획득할 수 있다. 상기 모바일 매핑 장치(100)는, 상기 GPS 수신 모듈(140)을 통해 도심지에서의 차량의 위치 정보를 획득하고, 다중 센서 정보의 시각 동기화를 위해 IMU(Inertial Measurement Unit), 데이터 동기화 장치 등을 통해 수평 정보를 획득함으로써 보다 정확한 3D 공간 모델링을 수행할 수 있게 된다. 본 발명이 적용되는 실시예로, 상기 GPS 수신 모듈(140)은 1Hz 간격으로 데이터를 로깅한다.
The
영상처리 모듈(120)은 획득된 영상의 보정을 위해 상기 관성측정 모듈(130)로부터 획득된 수평 정보 및 상기 GPS 수신 모듈(140)로부터 획득된 위치 정보를 활용하여 매개변수를 산출하게 된다. 본 발명이 적용되는 상기 매개변수 산출 방법은 3D 영상에서의 직선은 2D 영상으로 변환되어도 직선이 된다는 점을 이용하게 된다. 즉, 3D 영상의 직선이 아닌 선들을 검출하고 이를 배제한 후 영상 보정을 수행함으로써 보다 명확한 3D 공간 모델링이 가능할 수 있다. 또한, 상기 매개변수를 산출하는 과정에서 임계치를 벗어나는 선들을 배제함으로써 보다 빠른 3D 공간 모델링이 가능할 수 있다. 이러한 실시예들의 상세한 설명은 도 4a 및 도 4b에서 하도록 한다.
The
컨트롤 모듈(150)은 상기 촬영 영상 획득 모듈(110)로부터 획득된 좌안 영상과 우안 영상, 상기 관성측정 모듈(130)로부터 획득된 수평 정보 및 상기 GPS 수신 모듈(140)로부터 획득된 위치 정보를 각각 상기 영상처리 모듈(120)로 전송하도록 제어하고, 상기 영상처리 모듈(120)에서 상기 영상 정보, 상기 수평 정보, 상기 위치 정보 등을 이용하여 매개변수를 산출하도록 제어할 수 있다. 상기 컨트롤 모듈(150)은 상기 촬영 영상 획득 모듈(110), 상기 관성측정 모듈(130) 및 상기 GPS 수신 모듈(140) 사이의 동기화를 제어하며, 본 발명이 적용되는 실시예로 상기 GPS 수신 모듈(140)로부터 획득된 GPS 시간을 기초로 하여 트리거에서 제공되는 전압 신호를 상기 촬영 영상 획득 모듈(110), 상기 관성측정 모듈(130) 및 상기 GPS 수신 모듈(140)에 각각 전송함으로써 동기화시킬 수 있다.
The
버퍼(160)는 상기 촬영 영상 획득 모듈(110)로부터 획득된 좌안 영상과 우안 영상에 대한 영상 정보를 버퍼에 저장하고, 외부로부터 영상 정보를 요청받을 경우 요청받은 영상 정보를 제공하게 된다. 상기 버퍼(160)는 메모리와 메모리 제어 모듈로 구성될 수 있으며, 로그 분석 등을 통해 메모리를 재배열함으로써 보다 신속한 공간 데이터 서비스를 제공할 수 있다. 예를 들어, 수신된 요청 정보가 빈번하게 요청되는 영상 정보인지 로그 분석을 통해 판단하고, 그에 따라 영상 정보를 다른 방식으로 처리할 수 있다. 수신된 요청 정보가 빈번하게 요청되는 영상 정보인 경우에는 상기 영상 정보를 레이어 단위로 메모리에 캐싱하고 자동으로 업데이트를 수행할 수 있다. 반면, 빈번하게 요청되는 영상 정보가 아닌 경우에는 해당 영상 정보를 메모리에서 삭제하거나, 기존에 요청된 적이 없는 영상 정보인 경우에는 해당 영상 정보를 테이블 정보에 업데이트하고 그에 대응되는 코드를 생성하여 저장할 수 있다.
The
통신 모듈(200)은 사용자로부터 공간 모델링 서비스에 대한 요청 정보를 수신할 경우 모바일 매핑 장치(100), 업데이트 모듈(300), 항공사진 데이터베이스(400) 및 데이터 처리 모듈(500)로 전송한다. 그리고, 수신된 요청 정보가 상기 모바일 매핑 장치(100)의 영상 정보를 필요로 하는 경우, 상기 모바일 매핑 장치(100)에 해당 요청 정보를 전송하며, 상기 모바일 매핑 장치(100)로부터 상기 요청 정보에 대응되는 공간 데이터를 수신할 수 있다. 상기 통신 모듈(200)은 사용자 단말(미도시)과 외부 단말(미도시) 사이, 상기 모바일 매핑 장치(100)와 상기 데이터 처리 모듈(500) 사이의 통신을 관리하며, 이러한 통신 모듈(100)은 LAN(local area network), WLAN(wireless LAN), Wibro(wireless broadband), Wimax(world interoperability for microwave access), HSDPA(high speed downlink packet access) 및 그 밖의 다양한 통신 규격을 지원할 수 있다.
The
업데이트 모듈(300)은 상기 모바일 매핑 장치(100) 내 버퍼(160)에 저장된 데이터를 영상처리 모듈(120) 또는 데이터 처리모듈(500) 등을 통해 수정된 데이터로 업데이트를 수행할 수 있다. 또한, 상기 항공사진 데이터베이스(400)에 저장된 데이터에 대해서도 영상처리 모듈(120) 또는 데이터 처리모듈(500) 등을 통해 수정된 데이터로 업데이트를 수행할 수 있다.
The
한편, 항공사진 데이터베이스(400)는 상기 도로 시설물, 건물, 도로 점용 시설 및 부대 시설 등의 면적, 길이, 위치에 대한 정보 등을 포함하고 있으며, 상기 모바일 매핑 장치(100)로부터 데이터를 수신하거나 외부 데이터베이스로부터 항공사진 데이터를 수신할 수 있다.The
항공사진 데이터베이스(400)는 메모리와 메모리 제어 모듈로 구성될 수 있으며, 로그 분석 등을 통해 메모리를 재배열함으로써 보다 신속한 공간 데이터 서비스를 제공할 수 있다. 예를 들어, 수신된 요청 정보가 빈번하게 요청되는 항공사진 데이터인지 로그 분석을 통해 판단하고, 그에 따라 항공사진 데이터를 다른 방식으로 처리할 수 있다. 수신된 요청 정보가 빈번하게 요청되는 항공사진 데이터인 경우에는 상기 항공사진 데이터를 레이어 단위로 메모리에 캐싱하고 자동으로 업데이트를 수행할 수 있다. 반면, 빈번하게 요청되는 항공사진 데이터가 아닌 경우에는 해당 항공사진 데이터를 메모리에서 삭제하거나, 기존에 요청된 적이 없는 항공사진 데이터인 경우에는 해당 항공사진 데이터를 테이블 정보에 업데이트하고 그에 대응되는 코드를 생성하여 저장할 수 있다.
The
데이터 처리 모듈(500)은 상기 모바일 매핑 장치(100)와 상기 항공사진 데이터베이스(400)로부터 획득된 데이터를 이용하여 3D 공간 모델링 정보를 생성한다. 상기 데이터 처리 모듈(500)은 객체 추출 모듈(501), 항공사진 추출 모듈(502), 객체위치결정 모듈(503), 좌표비교 모듈(504) 및 3차원 모델링 모듈(505)로 구성될 수 있다. 이에 대해서는 도 5에서 보다 상세히 설명하도록 한다.
The data processing module 500 generates 3D space modeling information using the data obtained from the mobile mapping apparatus 100 and the aerial photographing
도 3a는 본 발명이 적용되는 일실시예로서, 영상 처리 모듈(120)의 개략적인 내부 블록도를 나타낸다.3A is a schematic block diagram of an
상기 영상 처리 모듈(120)은 매개변수 추출 모듈(121), 필터링 모듈(123), 영상보정 모듈(125) 및 후처리부(127)로 구성될 수 있다.The
렌즈를 사용하는 카메라는 대부분 직선이 곡선으로 휘어지는 문제를 가지고 있으며, 영상이 휘어진 중심으로부터 방사상으로 확장되거나 축소되는 현상이 발생하게 된다. 이러한 휘어짐 현상에 대한 보정이 제대로 이루어지지 않으면 3D 영상을 시청하는 경우나 디지털 이미지 분석시 심각한 문제가 야기될 수 있다.Most cameras using a lens have a problem that a straight line is bent into a curved line, and a phenomenon occurs in which the image is expanded or contracted radially from the bent center. If the deflection phenomenon is not properly corrected, serious problems may occur in viewing 3D images or in digital image analysis.
이를 해결하기 위해서는 휘어짐 현상을 수학적으로 모델링하여 휘어짐 정도를 결정하는 매개변수를 추정하고 이를 역변환함으로써 보정을 수행할 수 있다. 그리고, 영상 내의 커브를 검출하고 이 중 3D 좌표 상에서 직선이 아닌 선들을 제 1 보정 그룹으로 정의하여 제거한 후 보정을 수행한다. 더 나아가, 본 발명의 일실시예에서는 3D 좌표 상에서 커브가 아님에도 불구하고 매개변수 추정에 방해가 되는 선들을 제 2 보정 그룹으로 정의하여 제거할 수 있다.
In order to solve this problem, it is possible to perform mathematical modeling of the bending phenomenon and to perform compensation by estimating parameters for determining the degree of bending and inversely converting the parameters. Then, curves in the image are detected, and non-straight lines on the 3D coordinates are defined as a first correction group, and correction is performed. Furthermore, in one embodiment of the present invention, lines that are not a curve on the 3D coordinates and that interfere with parameter estimation can be defined and removed as a second correction group.
도 4a 및 도 4b는 본 발명이 적용되는 일실시예들로서, 도 4a는 상기 제 1 보정 그룹과 상기 제 2 보정 그룹을 정의함으로써 영상 보정을 수행하는 방법을 설명하기 위한 좌표계를 나타내고, 도 4b는 영상 보정을 위해 가중치 적용된 임계값 산출 과정을 설명하기 위한 좌표계를 나타낸다.4A and 4B illustrate a coordinate system for explaining a method of performing image correction by defining the first correction group and the second correction group, And a coordinate system for explaining a weighted threshold calculation process for image correction.
상기 도 4a를 살펴보면, 기본 영상을 R이라 하고, 볼록 휘어짐 영상을 V, 오목 휘어짐 영상을 C라고 할 때, 중심점 A를 기준으로 휘어지지 않은 점의 좌표를 O =(X,Y)라 하고, 휘어진 점의 좌표를 Oc =(Xc,Yc)라 하면, 양 좌표 간의 관계는 아래 수학식 8 및 수학식 9와 같이 나타낼 수 있다. Gi는 영상의 휘어짐 정도를 반영하는 매개변수를 나타내고, Gi>0이면 볼록 휘어짐을 나타내고, Gi<0 오목 휘어짐을 나타낸다.Referring to FIG. 4A, when a basic image is denoted by R, a convex warped image is denoted by V, and a concave warped image is denoted by C, a coordinate of a point that is not warped with respect to the center point A is O = (X, Y) Assuming that the coordinates of the bent point is Oc = (Xc, Yc), the relationship between the two coordinates can be expressed by the following equations (8) and (9). Gi denotes a parameter reflecting the degree of warping of the image, and when Gi > 0, it indicates convex warpage, and Gi < 0 indicates concave warpage.
여기서, a는 영상의 중심점 A로부터 볼록 휘어짐 영상의 좌표 Oc까지의 거리를 나타내고, a는 아래 수학식 10과 같다.Here, a represents the distance from the center point A of the image to the coordinate Oc of the convex curved image, and a is represented by Equation 10 below.
본 발명이 적용되는 일실시예로서, 상기 매개변수를 산출하는 방법을 설명하도록 한다.As an embodiment to which the present invention is applied, a method of calculating the parameter will be described.
매개변수 추출 모듈(121)은 먼저 영상 내에 존재하는 세그먼트를 서치하고, 상기 세그먼트 내의 각 픽셀의 변화율과 각도를 산출한다. 그리고 동일한 직선을 이루고 있는 픽셀들을 하나의 그룹으로 만듦으로써 세그먼트를 검출할 수 있다. 주어진 임계값보다 높은 변화율을 갖는 픽셀을 시작점으로 하여 기설정된 크기의 윈도우 내에 가장 큰 변화율을 갖는 픽셀을 하나의 그룹으로 설정하여 그 픽셀을 시작점으로 하여 다시 윈도우를 통해 다음 픽셀을 찾는다. 이때, 상기 기설정된 크기의 윈도우는 3x3, 4x4 또는 5x5 윈도우를 이용할 수 있다.The
상기 과정을 통해 검출된 픽셀들로 구성된 그룹으로부터 세그먼트들을 연결시켜 커브를 형성할 수 있다. 이때, 두 세그먼트의 끝점 사이의 거리, 두 세그먼트 사이의 각도, 두 세그먼트의 수직거리를 산출하고, 상기 산출된 값들이 기설정된 임계값보다 작은 경우에는 상기 세그먼트들을 연결하여 하나의 선으로 간주할 수 있다.The curve may be formed by connecting the segments from the group consisting of the detected pixels through the above process. At this time, the distance between the end points of the two segments, the angle between the two segments, and the vertical distance of the two segments are calculated. If the calculated values are smaller than the preset threshold value, the segments are regarded as one line have.
상기 세그먼트들로 연결되어 이루어진 선 중 3D 좌표 상 커브로 간주되는 선은 제 1 보정 그룹으로 설정할 수 있고, 상기 제 1 보정 그룹은 영상 내에서 제거될 수 있다.A line that is connected to the segments and is regarded as a curve on a 3D coordinate may be set as a first correction group, and the first correction group may be removed in an image.
예를 들어, F 개의 커브들 중 하나의 타겟 라인을 Lm (m=1~M)이라 하고, Lm을 구성하는 Nm개의 픽셀들을 Pn = (Xn, Yn) (n=1~Nm) 이라 하면, Nm개의 픽셀들이 최대한 직선이 될 때의 매개변수 Gi를 구할 수 있다. 이렇게 산출된 Gi를 다른 커브들에도 적용하여 Pn을 구할 수 있다. Pn에 대해 직선과의 차이를 각 픽셀의 오차 En이라 정의하고 En 절대값이 기설정된 임계값 δm을 넘는 픽셀들이 하나의 커브에서 기설정된 퍼센티지를 초과하는 경우 이들을 제 1 보정 그룹으로 설정하고, 상기 제 1 보정 그룹을 영상 내에서 제거할 수 있다.For example, if one target line of the F curves is referred to as Lm (m = 1 to M) and Nm pixels constituting Lm are denoted by Pn = (Xn, Yn) (n = 1 to Nm) The parameter Gi when the Nm number of pixels are maximally straight can be obtained. The calculated Gi can also be applied to other curves to obtain Pn. Pn is defined as an error En of each pixel, and when the pixels whose absolute magnitudes exceed the preset threshold value? M exceed a preset percentage in one curve, they are set as the first correction group, The first correction group may be removed from the image.
이러한 과정을 통해, 상기 제 1 보정 그룹이 제거된 선들 중 최대한 직선이 되게 하는 매개변수 Gi를 산출할 수 있게 된다.
Through this process, it is possible to calculate the parameter Gi which causes the first correction group to be the maximum straight line among the removed lines.
필터링 모듈(123)은 3D 좌표 상에서 커브가 아님에도 불구하고 매개변수 산출시 에러 요소로 작용하는 선들을 제 2 보정 그룹으로 정의하여 필터링할 수 있다. 중심점 근처에 위치한 선들에 대해서는 임계값을 좀더 세밀하게 설정함으로써 매개변수가 적용되는 범위를 좁힐 수 있다. 예를 들어, 상기 도 4b를 살펴보면, 각 픽셀들의 오차가 기설정된 임계값을 넘는지 판단할 때, 영상 중심에서 곡선 Lm에 이르는 거리에 따라 임계값에 가중치를 적용하여 제 2 보정 그룹에 해당하는지 여부를 판단할 수 있다.The
영상 중심점 A에서 곡선 Lm에 이르는 거리는 직선 F에 내린 수선의 길이 am으로 정의할 수 있고, 가중치는 0과 1 사이의 범위로 정규화할 수 있다. 이때, am 은 아래 수학식 11와 같이 정의할 수 있다.The distance from the image center point A to the curve Lm can be defined as the length a m of the perpendicular line drawn on the straight line F and the weight can be normalized to a range between 0 and 1. At this time, a m Can be defined by Equation (11) below.
정규화를 위한 상기 가중치가 0인 경우에는 am 이 0으로 선이 영상의 중심을 지날 때이고, 상기 가중치가 1인 경우는 am 이 영상의 중심에서 대각선 꼭지점까지의 거리일 때이다. 가중치를 적용한 새로운 임계값 δm_ new 를 식으로 나타내면 아래 수학식 12와 같다.If the weight for normalization is 0, a m Is 0 when the line passes the center of the image, and when the weight is 1, a m This is the distance from the center of the image to the diagonal vertex. Represents the new threshold value δ m_ new applying a weight to the equation shown in equation (12) below.
여기서, R은 영상 대각선의 길이를 나타내고, m = 1~M , M은 선의 개수를 나타내며, ψ는 사용자 파라미터이다.Here, R denotes the length of the image diagonal, m = 1 to M, M denotes the number of lines, and? Is a user parameter.
상기와 같이 영상의 중심에서부터 선의 거리에 따라 임계값에 가중치를 줌으로써 새로운 임계값 δm_ new를 산출할 수 있고, 이를 통해 보다 정확한 매개변수 Gi를 획득함으로써 보다 정확한 영상 보정이 가능하게 된다. It is possible to calculate the new threshold value δ m_ new by weighting the critical values depending on the distance of the line from the center of the image as described above, a more precise image correction them by obtaining more accurate parameter Gi through is possible.
영상보정 모듈(125)은 상기와 같은 과정을 통해 획득된 매개변수를 이용하여 영상의 휘어짐 현상을 보정할 수 있다. 상기 영상보정 모듈(125)을 통해 보정된 영상은 후처리부(127)로 전송되며, 상기 후처리부(127)에서는 대상 영상의 고주파 성분에 기초하여 영상 처리 함수를 획득함으로써 영상 개선을 수행할 수 있다.
The
도 3b는 본 발명이 적용되는 일실시예로서, 후처리부(127)의 개략적인 내부 블록도를 나타낸다.FIG. 3B is a schematic internal block diagram of the
상기 후처리부(127)는 도메인 변환부(127-1), 고주파 필터링부(127-2), 도메인 역변환부(127-3) 및 역필터링부(127-4)를 포함하여 구성될 수 있다. The
본 발명이 적용되는 실시예로서, 상기 후처리부(127)에서는 대상 영상의 고주파 성분에 기초하여 영상 처리 함수를 획득함으로써 영상 개선을 수행할 수 있다. 상기 영상 처리 함수를 획득하기 위해서는 다양한 실시예들을 적용할 수 있다. 예를 들어, 고주파 필터링부(127-2)에서는 개선하고자 하는 영상의 고주파 성분을 획득할 수 있다. 그리고, 상기 고주파 성분에 기초하여 상기 영상 처리 함수를 획득할 수 있다. 구체적 예로, YUV 도메인에서 역필터링을 고려하여 영상 처리 함수를 획득할 수 있다. 이때, 도메인 변환이 필요할 수 있는데, 이는 도메인 변환부(127-1)에서 수행될 수 있다. 또한, 이를 출력하기 위해서는 다시 역변환이 필요한데, 이는 도메인 역변환부(127-3)에서 수행될 수 있다. As an embodiment to which the present invention is applied, the
본 발명이 적용되는 다른 실시예로, RGB 도메인에서 역필터링부(127-4)를 통해 역필터링을 이용하여 영상 처리 함수를 획득할 수 있다. In another embodiment to which the present invention is applied, an image processing function may be obtained using inverse filtering through an inverse filtering unit 127-4 in the RGB domain.
예를 들어, 상기 촬영 영상 획득 모듈을 통해 입력된 영상이 상기 모바일 매핑 장치(100)를 통하여 출력되는 과정을 가정할 때, 각각의 영상을 1차원 행렬로 나타내고 상기 촬영 영상 획득 모듈의 렌즈에 의한 시스템 함수를 순환 토플리츠 행렬의 모양으로 나타낸 것을 x, y, D 라 하면, 다음 수학식 13과 같이 나타낼 수 있다.For example, assuming that the image input through the captured image acquisition module is output through the mobile mapping device 100, each image is represented by a one-dimensional matrix, Let x, y, and D denote the system functions in the form of a cyclic Soffit matrix, as shown in Equation (13).
이 경우, 획득한 영상은 y, 개선을 위한 대상 영상은 x, 그리고 광전달함수를 이용하여 추정한 점확산함수에 의한 시스템 함수가 D가 된다. 따라서, 렌즈의 전달 함수를 정확하게 아는 경우 시스템 함수의 역행렬을 이용하여 다음 수학식 14과 같이 원본 입력 영상을 구할 수 있다.In this case, the acquired image is y, the object image for improvement is x, and the system function by the point spread function estimated using the optical transfer function is D. Therefore, when the transfer function of the lens is known accurately, the original input image can be obtained using the inverse matrix of the system function as shown in Equation (14).
여기에서 H는 D의 역행렬과 동일한 것으로, 역 광전달함수의 역 푸리에 변환으로 추정한 역 점확산함수의 행렬 표현이다.Where H is the matrix inverse of D and is the matrix representation of the inverse point spread function estimated by the inverse Fourier transform of the inverse optical transfer function.
영상 개선을 위해 후처리하고자 하는 대상 영상을 다음 수학식 15와 같이 영상의 고주파 성분과 저주파 성분으로 나눌 수 있다.A target image to be post-processed can be divided into a high-frequency component and a low-frequency component of the image as shown in Equation (15).
또한, 상기 모바일 매핑 장치(100)를 통해 얻은 영상은 렌즈에 의해 저주파 성분만이 남은 영상이라 할 수 있으므로, 저주파 성분은 다음 수학식 16처럼 고려할 수 있다.In addition, since the image obtained through the mobile mapping apparatus 100 can be regarded as an image in which only low-frequency components are left by the lens, the low-frequency component can be considered as Equation (16).
그리고, 고주파 성분은 획득한 영상으로부터 고주파 필터링을 통해 얻을 수 있다. 예를 들어, 입력 영상 중 임의 채널에 대해 고주파 성분을 획득할 수 있다. 이때, 임의의 고주파 필터를 이용할 수 있는데, 상기 임의의 고주파 필터는 다음 수학식 17과 같이 나타낼 수 있다.The high frequency component can be obtained from the acquired image through high frequency filtering. For example, a high frequency component can be obtained for an arbitrary channel among input images. At this time, an arbitrary high-frequency filter can be used, and the arbitrary high-frequency filter can be expressed by the following Equation (17).
따라서, 추정하고자 하는 영상을 획득한 영상과 임의의 고주파 필터를 이용하여 다음 수학식 18과 같이 나타낼 수 있다.Accordingly, the image obtained by the image to be estimated can be expressed as Equation (18) using an arbitrary high-frequency filter.
이때, x와 y의 역필터링 관계를 고려하면 위 수학식 18은 다음 수학식 19와 같이 나타낼 수 있다.In this case, considering the inverse filtering relation between x and y, Equation (18) can be expressed as Equation (19).
따라서, 고주파 필터는 추정한 역필터로부터 다음 수학식 20과 같이 구할 수 있다.Therefore, the high-frequency filter can be obtained from the estimated inverse filter as: " (20) "
상기 수학식들을 이용하여 획득된 고주파 성분에 기초하여 상기 임의 채널에 대한 영상 처리 함수를 획득할 수 있다. 상기 획득된 영상 처리 함수는 다음 수학식 21과 같다.The image processing function for the arbitrary channel can be obtained based on the high frequency component obtained using the above equations. The obtained image processing function is expressed by the following equation (21).
여기에서 x'(i,j)는 (i,j) 픽셀 위치에서의 고주파가 복원된 영상을 나타내고, HF(i,j)는 앞서 구한 고주파 필터를 바탕으로 획득한 영상의 고주파 성분을 나타낸다. 또한, E{y(i,j)}는 획득한 영상 y의 평균을 의미할 수 있다. 상기 수학식 21은 에지(edge), 패턴(pattern), 플랫(flat) 영역에 대해 서로 다른 방법을 적용할 수 있다. 예를 들어, 에지 영역의 경우, 고주파 성분이 많은 영역이기 때문에 획득한 영상을 유지하면서도 잃어버린 고주파 성분을 더해줄 수 있다. 평탄 영역의 경우, 영상 개선의 부작용인 잡음의 영향이 커지는 것을 막기 위해 획득 영상의 평균에 고주파 성분을 더해줄 수 있다. 패턴 영역은 평탄 영역과 에지 영역을 포함하고 있으므로 고주파 성분을 조절해야 한다. 과도하게 고주파 성분을 더해주면 평탄 영역에서 잡음을 키우는 역할을 하고, 작게 고주파 성분을 더해주면 에지 영역에서 에지 개선이 잘 이루어지지 않을 수 있다. 따라서, 상기 패턴 영역은 에지, 플랫 영역의 중간 정도로 고주파 성분을 더해줄 수 있다. 각각의 고주파 성분에 대해서는 α,β,γ라는 파라미터를 이용하여 조절하고, 영역에 따라 다르게 적용함으로써 보다 자연스러운 영상으로 복원할 수 있다. 이처럼, 상기 영상 처리 함수를 이용하여 개선된 영상을 복원할 수 있게 된다.Here, x '(i, j) represents a reconstructed image of a high frequency at a (i, j) pixel position, and HF (i, j) represents a high frequency component of an image acquired based on the high frequency filter obtained previously. Also, E {y (i, j)} may mean the average of the acquired image y. Equation (21) may be applied to different methods for edges, patterns, and flat regions. For example, in the case of the edge region, since the high frequency component is large, the lost high frequency component can be added while maintaining the acquired image. In the case of the flat area, a high frequency component can be added to the average of the acquired image to prevent the influence of noise, which is a side effect of image improvement, from becoming large. Since the pattern region includes the flat region and the edge region, it is necessary to adjust the high frequency component. Adding excessively high frequency components increases the noise in the flat region, and if the high frequency component is added to the small region, the edge improvement in the edge region may not be achieved. Therefore, the pattern region can add a high-frequency component to the middle of the edge and flat regions. For each high-frequency component, it is possible to restore to a more natural image by adjusting using parameters?,?,? As described above, the improved image can be restored by using the image processing function.
상기 모바일 매핑 장치(100)는 상기와 같은 과정을 통해 영상을 보정 및 개선하고, 보정 및 개선된 영상은 데이터 처리 모듈(500)로 전송된다.
The mobile mapping apparatus 100 corrects and improves the image through the above process, and the corrected and improved image is transmitted to the data processing module 500.
도 5는 본 발명이 적용되는 일실시예로서, 데이터 처리 모듈(500)의 개략적인 내부 블록도를 나타낸다.5 is a schematic block diagram of the data processing module 500 according to an embodiment of the present invention.
상기 데이터 처리 모듈(500)은 객체 추출 모듈(501), 항공사진 추출 모듈(502), 객체위치결정 모듈(503), 좌표비교 모듈(504) 및 3차원 모델링 모듈(505)로 구성될 수 있다.
The data processing module 500 may include an object extraction module 501, an aerial
객체 추출 모듈(501)은 상기 모바일 매핑 장치(100)로부터 획득된 보정 영상으로부터 사용자가 원하는 대상 객체를 추출하고 상기 대상 객체의 좌표 정보를 획득할 수 있다. 상기 대상 객체를 추출하기 위해 서치 영역을 설정하고, 상기 서치 영역에 따라 상기 보정 영상으로부터 대상 객체를 추출할 수 있다. 이 때, 상기 대상 객체는 상기 보정 영상의 각 픽셀 RGB값을 이용할 수 있으며, 예를 들어, 대상 픽셀과 인접한 8개의 픽셀 정수값을 확인함으로써 동일한 특성을 갖는 픽셀을 검출할 수 있다. 상기 과정을 통해 추출된 대상 객체가 복수개일 경우에는 대상 객체의 이전 위치에서 가장 가까운 거리의 객체가 선택될 수 있으며, 어떠한 대상 객체도 추출되지 않는 경우에는 사용자의 입력에 의해 객체가 선택될 수 있다.
The object extraction module 501 may extract a desired object from the corrected image obtained from the mobile mapping apparatus 100 and obtain coordinate information of the object. A search area may be set to extract the target object, and a target object may be extracted from the corrected image according to the search area. At this time, the target object can use each pixel RGB value of the corrected image. For example, a pixel having the same characteristic can be detected by checking eight integer pixel values adjacent to the target pixel. If there are a plurality of target objects extracted through the above process, an object having the closest distance from the previous position of the target object can be selected. If no target object is extracted, the object can be selected by the user's input .
객체위치결정 모듈(503)은 상기 객체 추출 모듈(501)로부터 추출된 대상 객체에 대하여 중심점을 결정함으로써 대상 객체의 좌표 정보를 획득할 수 있다. 상기 중심점은 아래 수학식 22에 의해 결정될 수 있다.The object position determination module 503 can obtain the coordinate information of the target object by determining the center point of the target object extracted from the object extraction module 501. [ The center point can be determined by the following equation (22).
여기서, x, y는 중심점의 좌표를 나타내고, n은 x축 방향의 픽셀 개수, N은 y축 방향의 픽셀 개수를 나타낸다.
Here, x and y represent the coordinates of the center point, n is the number of pixels in the x-axis direction, and N is the number of pixels in the y-axis direction.
항공사진 추출 모듈(502)은 상기 항공사진 데이터베이스(400)로부터 해당 영상에 대응되는 항공사진 좌표 정보를 추출할 수 있다. 이때, 상기 항공사진 추출 모듈(502)은 상기 GPS 수신 모듈(140)로부터 획득된 위치 정보에 따라 상기 위치 정보에 대응되는 해당 영상을 상기 항공사진 데이터베이스(400)로부터 추출할 수 있다.
The aerial
좌표비교 모듈(504)은 상기 객체위치결정 모듈(503)로부터 획득된 대상 객체의 좌표 정보와 상기 항공사진 추출 모듈(502)로부터 획득된 항공사진 좌표 정보를 비교함으로써 객체들 간의 매칭 여부를 확인할 수 있다. 예를 들어, 서로 다른 방향과 크기를 갖는 영상들로부터 크기와 회전에 불변한 공통점들을 추출함으로써 매칭 여부를 확인할 수 있다. 상기 항공사진 데이터베이스(400)로부터 추출된 항공사진 영상을 다양한 분산값을 갖는 가우시안 필터에 통과시키고, 통과된 영상들을 스케일에 따라 순차적으로 감산하여 오차 영상을 생성할 수 있다. 이는 아래 수학식 23에 의해 수행될 수 있다.The coordinate comparison module 504 can check whether the objects are matched by comparing the coordinate information of the object obtained from the object positioning module 503 with the aerial photograph coordinate information obtained from the aerial
여기서, L(x,y,σ)는 가우시안 필터를 통과한 영상의 함수값을 나타내고, G(x,y,σ)는 가우시안 필터를 나타내며, D(x,y,σ)는 스케일된 영상과의 차이값을 나타낸다. 상기 생성된 오차 영상으로부터 극값(최대, 최소값)에 해당하는 픽셀의 위치를 추출할 수 있다. 여기서, 상기 극값(최대, 최소값)에 해당하는 픽셀의 위치는 선택된 픽셀값이 그에 이웃하는 8개의 픽셀과 스케일된 상,하 영상의 9개 픽셀씩, 총 26개의 픽셀값보다 크거나 작을 경우로 결정된다. 즉, 상기 극값(최대, 최소값)에 해당하는 픽셀이 공통점으로써 추출될 수 잇다. 상기 추출된 공통점들 중에서 노이즈 제거 및 강한 에지 성분을 제거하고, 남은 공통점들에 대하여 방향 정보 및 크기를 설정한다. 방향 정보와 크기는 각각 아래 수학식 24 및 수학식 25에 의해 결정된다.Where D (x, y, σ) represents the function of the image passed through the Gaussian filter and G (x, y, σ) represents the Gaussian filter. Respectively. The position of the pixel corresponding to the extreme value (maximum and minimum values) can be extracted from the generated error image. Here, the pixel position corresponding to the extreme value (maximum and minimum values) is a case where the selected pixel value is larger or smaller than a total of 26 pixel values, that is, eight pixels adjacent to the selected pixel value and nine pixels of the scaled upper and lower images . That is, pixels corresponding to the extreme values (maximum and minimum values) can be extracted as a common point. Noise removal and strong edge components are removed from the extracted common points, and direction information and size are set for the remaining common points. The direction information and the size are determined by the following equations (24) and (25), respectively.
상기 공통점을 중심으로 16x16 블록을 설정하고, 블록 내의 각 픽셀에 대하여 변화 방향을 측정한다. 상기 변화 방향은 변화 기울기에 비례하도록 설정되며, 변화 기울기가 클수록 변화 방향의 확률분포도 커지게 된다. 상기 변화 방향에 대한 확률분포는 8개의 방향으로 구분되어 저장되고, 이는 16x16 블록에 대하여 128 차원의 벡터 형태로 표현된다. 이와 같이 얻어진 상기 항공사진 영상의 공통점 벡터 정보와 상기 보정 영상의 공통점 벡터 정보를 비교하여 객체들 간의 매칭 여부를 확인할 수 있다. 그리고, 상기 매칭 확인 결과에 기초하여 상기 대상 객체의 좌표 정보를 추출할 수 있다.
A 16x16 block is set around the common point, and the direction of change is measured for each pixel in the block. The change direction is set to be proportional to the change slope, and the larger the change slope, the larger the probability distribution in the change direction. The probability distribution for the change direction is divided into eight directions and stored, which is expressed in a 128-dimensional vector form with respect to a 16x16 block. The common point vector information of the aerial photographic images thus obtained and the common point vector information of the corrected image are compared to check whether the objects are matched. The coordinate information of the target object can be extracted based on the matching check result.
본 발명이 적용되는 다른 실시예로서, 상기 대상 객체 식별을 위해 필터링을 이용할 수 있다. 먼저, 영상 내 객체의 경계 영역을 확인하고 상기 경계 영역의 기하학적 특성을 이용하여 대상 객체를 식별할 수 있다. 예를 들어, 건물, 간판, 가로수 등은 각각의 기하학적 특성을 가지고 있으므로, 상기 건물, 간판, 가로수 등을 이루는 선분과 각 선분이 만나는 모서리의 점들만을 추출하여 비교함으로써 대상 객체를 식별할 수 있다.
As another embodiment to which the present invention is applied, filtering may be used for the object identification. First, a boundary region of an object in an image is identified, and a target object can be identified using the geometric characteristics of the boundary region. For example, since a building, a signboard, a roadside tree, and the like have respective geometric characteristics, a target object can be identified by extracting and comparing only the points of the corner of the building, the signboard, .
3차원 모델링 모듈(505)은 상기 대상 객체의 좌표 정보를 이용하여 3차원 좌표 정보를 모델링할 수 있다. 도 6은 본 발명이 적용되는 일실시예로서, 대상 객체의 좌표 정보를 이용하여 3차원 좌표 정보를 모델링하는 방법을 설명하기 위한 도면이다.The three-dimensional modeling module 505 can model the three-dimensional coordinate information using the coordinate information of the target object. FIG. 6 is a diagram illustrating a method of modeling three-dimensional coordinate information using coordinate information of a target object according to an embodiment of the present invention. Referring to FIG.
상기 도 6을 참조하면, 3차원 좌표 정보를 모델링하기 위하여 먼저 두 대의 좌우 카메라가 객체를 촬영하고 있다고 가정할 때, 삼각형의 내각과 좌우 카메라로부터 객체까지의 거리를 아래 수학식 26 내지 33을 이용하여 구할 수 있다.Referring to FIG. 6, assuming that two left and right cameras shoot an object in order to model three-dimensional coordinate information, the distance between the interior angle of the triangle and the left and right cameras is calculated using Equations 26 to 33 below. .
대상 객체 O의 3차원 좌표 (X_o, Y_o, Z_o)는 아래 수학식 31 내지 33에 의해 획득될 수 있으며, 이 중 Z_o 좌표는 좌측 카메라로부터 획득된 영상의 Y_l 좌표와 우측 카메라로부터 획득된 영상 Y_r 좌표의 평균값, 초점거리 정보 및 객체까지의 Y축 상 거리를 이용하여 획득할 수 있다. The three-dimensional coordinates (X_o, Y_o, Z_o) of the target object O can be obtained by the following Equations (31) to (33), where Z_o coordinate is obtained by multiplying the Y_l coordinate of the image obtained from the left camera and the Y_l coordinate The average value of the coordinates, the focal length information, and the Y-axis distance to the object.
상기 수학식 31 내지 33에 의해 획득된 대상 객체 O의 3차원 좌표 (X_o, Y_o, Z_o)를 이용하여 3차원 공간 모델링을 수행할 수 있게 된다.
3D spatial modeling can be performed using the three-dimensional coordinates (X_o, Y_o, Z_o) of the target object O obtained by the equations (31) to (33).
도 7은 본 발명이 적용되는 일실시예로서, 3차원 공간 모델링 방법을 설명하기 위한 흐름도이다.FIG. 7 is a flowchart for explaining a three-dimensional space modeling method according to an embodiment to which the present invention is applied.
먼저, 모바일 매핑 장치(100) 내 촬영 영상 획득 모듈(110)은 좌안 영상 카메라와 우안 영상 카메라로 구성되어 있고, 이들 카메라로부터 각각 좌안 영상과 우안 영상을 획득할 수 있다(S710). 그리고, GPS 수신 모듈(140)로부터 상기 모바일 매핑 장치(100) 내의 카메라, 즉 획득된 좌안 영상과 우안 영상의 현재 위치 정보를 획득하고, 관성 측정 모듈(130)로부터 상기 카메라의 수평 정보를 획득할 수 있다(S720). First, the captured image acquisition module 110 in the mobile mapping apparatus 100 includes a left eye image camera and a right eye image camera, and a left eye image and a right eye image can be obtained from the cameras, respectively (S710). The current position information of the cameras in the mobile mapping apparatus 100, that is, the obtained left and right eye images, is acquired from the
영상 처리 모듈(120) 내 매개변수 추출 모듈(121)은 상기 카메라의 수평 정보 및 상기 현재 위치 정보를 이용하여 영상 보정을 위한 매개변수를 추출할 수 있다(S730). 이때, 필터링 모듈(123)은 상기 매개변수 추출시 가중치가 적용된 임계값을 이용하여 필터링을 수행할 수 있다(S740). 영상 보정 모듈(125)은 필터링까지 수행된 매개변수를 이용하여 영상 보정을 수행할 수 있다(S750).The
데이터 처리 모듈(500) 내 객체추출 모듈(501)은 상기 모바일 매핑 장치(100)로부터 상기 보정된 영상을 전송받아 대상 객체를 추출할 수 있다(S760). 그리고, 객체 위치 결정 모듈(503)은 상기 추출된 대상 객체에 대하여 중심점을 결정함으로써 대상 객체의 좌표 정보를 획득할 수 있다(S770).The object extraction module 501 in the data processing module 500 receives the corrected image from the mobile mapping device 100 and extracts the target object in operation S760. Then, the object position determination module 503 can obtain the coordinate information of the target object by determining the center point of the extracted target object (S770).
좌표 비교 모듈(504)은 상기 획득된 대상 객체의 좌표 정보와 그에 대응되는 항공사진의 좌표 정보를 비교함으로써 매칭 여부를 확인할 수 있다(S780).The coordinate comparison module 504 can check whether the matching is performed by comparing the coordinate information of the obtained object and the coordinate information of the corresponding aerial photograph (S780).
3차원 모델링 모듈(505)은 상기 대상 객체의 좌표 정보를 이용하여 3차원 공간 모델링을 수행할 수 있다(S790).
The three-dimensional modeling module 505 can perform three-dimensional space modeling using the coordinate information of the target object (S790).
도 8은 본 발명이 적용되는 일실시예로서, 3차원 공간 모델링을 위해 카메라로부터 획득된 영상을 보정하는 방법을 설명하기 위한 흐름도이다.8 is a flowchart for explaining a method of correcting an image obtained from a camera for three-dimensional space modeling according to an embodiment of the present invention.
먼저, 촬영 영상 획득 모듈(110)로부터 획득된 영상 정보로부터 커브를 검출할 수 있다(S810). 상기 검출된 커브 중 3차원 좌표 상에서 직선이 아닌 선들을 제 1 보정 그룹을 설정할 수 있다(S820). 상기 영상 정보로부터 상기 설정된 제 1 보정 그룹에 해당하는 선들을 제거할 수 있다(S830). First, a curve may be detected from the image information obtained from the captured image acquisition module 110 (S810). The first correction group may be set to non-straight lines on the three-dimensional coordinates of the detected curves (S820). The lines corresponding to the set first correction group may be removed from the image information (S830).
그리고, 상기 제 1 보정 그룹이 제거된 영상으로부터 3차원 좌표 상에서 중심점으로부터 기설정된 임계값을 초과하는 선들을 검출하여 이를 제 2 보정 그룹으로 설정할 수 있다(S840). 이때, 좀더 정밀한 임계값을 재설정하기 위해 영상 중심점에서 곡선에 이르는 거리에 따라 가중치를 적용하여 새로운 임계값을 재설정할 수 있다. 재설정된 임계값에 기초하여 상기 제 2 보정 그룹을 설정할 수 있다. 상기 영상 정보로부터 상기 설정된 제 2 보정 그룹에 해당하는 선들을 제거할 수 있다(S850). In step S840, the first correction group may be detected from the center of the three-dimensional coordinate image, and the second correction group may be set to a second correction group. At this time, in order to reset a more precise threshold value, a new threshold value can be reset by applying a weight according to the distance from the image center point to the curve. The second correction group may be set based on the reset threshold value. The lines corresponding to the set second correction group may be removed from the image information (S850).
상기 제 2 보정 그룹이 제거된 영상으로부터 매개변수를 추출할 수 있다(S860). 상기 추출된 매개변수를 이용하여 역변환을 수행함으로써 영상 보정을 수행할 수 있다(S870).
The parameter may be extracted from the image from which the second correction group is removed (S860). The image correction may be performed by performing inverse transformation using the extracted parameters (S870).
도 9는 본 발명이 적용되는 일실시예로서, 3차원 공간 모델링을 위해 보정된 영상으로부터 대상 객체의 좌표 정보를 획득하기 위한 방법을 설명하기 위한 흐름도이다.9 is a flowchart for explaining a method for acquiring coordinate information of a target object from a corrected image for three-dimensional space modeling according to an embodiment of the present invention.
객체위치결정 모듈(503)로부터 획득된 대상 객체의 영상 정보를 추출할 수 있다(S910). 그리고, 항공사진 데이터베이스(400)로부터 상기 보정된 영상에 대응되는 항공사진의 좌표 정보를 획득할 수 있다(S920). 상기 The image information of the target object obtained from the object position determination module 503 can be extracted (S910). Then, the coordinate information of the aerial photograph corresponding to the corrected image can be obtained from the aerial photograph database 400 (S920). remind
상기 대상 객체의 영상 정보와 상기 항공사진 좌표 정보를 비교함으로써 객체들 간의 매칭 여부를 확인할 수 있다. 예를 들어, 서로 다른 방향과 크기를 갖는 영상들로부터 크기와 회전에 불변한 공통점들을 추출함으로써 매칭 여부를 확인할 수 있다. 상기 항공사진 영상을 가우시안 필터에 통과시키고, 통과된 영상들을 스케일에 따라 순차적으로 감산하여 오차 영상을 생성할 수 있다(S930). It is possible to confirm whether the objects are matched by comparing the image information of the target object with the aerial photograph coordinate information. For example, matching points can be identified by extracting common points unchanged in size and rotation from images having different directions and sizes. The aerial photographic image is passed through a Gaussian filter, and an error image is generated by sequentially subtracting the passed images according to a scale (S930).
상기 생성된 오차 영상으로부터 극값(최대, 최소값)에 해당하는 픽셀의 위치를 추출하여 공통점으로 설정할 수 있다(S940). 상기 추출된 공통점들 중에서 노이즈 제거 및 강한 에지 성분을 제거하고, 남은 공통점들에 대하여 방향 정보 및 크기를 설정함으로써 공통점 벡터 정보를 생성할 수 있다(S950).The positions of pixels corresponding to extreme values (maximum and minimum values) from the generated error images can be extracted and set as common points (S940). Common point vector information can be generated by removing noise and strong edge components from the extracted common points and setting direction information and size for the remaining common points (S950).
이와 같이 얻어진 상기 항공사진 영상의 공통점 벡터 정보와 보정 영상의 공통점 벡터 정보를 비교함으로써 객체들 간의 매칭 여부를 확인할 수 있다. 그리고, 상기 매칭 확인 결과에 기초하여 상기 대상 객체의 좌표 정보를 획득할 수 있다(S960).
By comparing the common point vector information of the aerial photographic images thus obtained and the common point vector information of the corrected image, it is possible to confirm whether or not the objects are matched. The coordinate information of the target object may be obtained based on the matching result (S960).
도 10은 본 발명이 적용되는 일실시예로서, 촬영된 영상의 프레임에 대해 적응적인 필터링 과정을 적용하는 방법을 설명하기 위한 흐름도이다.10 is a flowchart illustrating a method of applying an adaptive filtering process to a frame of a photographed image according to an embodiment of the present invention.
본 발명이 적용되는 공간정보 생성 시스템은, 이미지 센싱부(111)를 통해 RGB 영상 신호를 수신할 수 있다(S1010). 여기서, 상기 RGB 영상 신호는 좌안 영상 카메라와 우안 영상 카메라를 이용하여 도로 시설물, 건물, 도로 점용 시설 및 부대 시설을 촬영함으로서 획득되는 스테레오 영상을 의미할 수 있다. The spatial information generation system to which the present invention is applied can receive an RGB video signal through the image sensing unit 111 (S1010). Here, the RGB image signal may be a stereo image obtained by photographing a road facility, a building, a road facility, and an auxiliary facility using a left eye image camera and a right eye image camera.
그리고, 상기 공간정보 생성 시스템은, 비디오 코딩부(112)를 통해 상기 수신된 RGB 영상 신호의 현재 프레임의 예측 픽셀값(x[n])과 원본 프레임의 픽셀값(s[n])을 획득할 수 있다(S1020). 상기 현재 프레임의 예측 픽셀값(x[n])과 상기 원본 프레임의 픽셀값(s[n])을 이용하여, 그 차이값(e[n])을 획득할 수 있다(S1030).The spatial information generation system acquires the predicted pixel value x [n] of the current frame of the received RGB video signal and the pixel value s [n] of the original frame through the video coding unit 112 (S1020). The difference value e [n] can be obtained using the predicted pixel value x [n] of the current frame and the pixel value s [n] of the original frame in operation S1030.
상기 비디오 코딩부(112)는 상기 차이값(e[n])을 최소로 하는 필터 계수(ai)를 획득할 수 있다(S1040). 상기 비디오 코딩부(112)는 상기 획득된 필터 계수를 적용하여 필터링을 수행할 수 있으며, 필터링된 영상 신호는 버퍼(113)에 저장되고, 데이터 출력부(114)로 전송된다. 또한, 상기 필터 계수를 적용하지 않을 경우에는 상기 필터 계수를 전송하지 않고 필터 계수 적용 여부를 나타내는 플래그를 사용할 수 있다. 이와 같은 과정을 통해 적응적인 필터링을 수행함으로써 효율적인 신호 처리가 가능할 수 있다.
The video coding unit 112 may obtain a filter coefficient a i that minimizes the difference e [n] (S1040). The video coding unit 112 can perform filtering by applying the obtained filter coefficients, and the filtered video signals are stored in the buffer 113 and transmitted to the
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention as defined by the appended claims. , Substitution or addition, or the like.
Claims (4)
복수개의 카메라로부터 영상 정보를 획득하는 촬영 영상 획득 모듈; 인공 위성으로부터 GPS 정보를 수신하여 상기 카메라의 현재 위치 정보를 획득하는 GPS 수신 모듈; 복수개의 센서를 이용하여 상기 카메라의 수평 정보를 획득하는 관성 측정 모듈; 상기 영상 정보, 현재 위치 정보 및 수평 정보에 기초하여 상기 영상 정보를 보정하는 영상 처리 모듈; 상기 영상 정보, 현재 위치 정보 및 수평 정보를 상기 영상 처리 모듈로 전송할 수 있도록 제어하는 컨트롤 모듈; 및 영상 정보를 저장하는 버퍼를 포함하는 모바일 매핑 장치;
상기 모바일 매핑 장치로부터 상기 영상 정보를 수신하여 저장하거나 외부 데이터베이스로부터 항공사진 데이터를 수신하여 저장하는 항공사진 데이터베이스; 및
상기 영상 처리 모듈에서 획득된 보정 영상으로부터 대상 객체를 추출하는 객체 추출 모듈; 상기 추출된 대상 객체의 중심점에 기초하여 상기 대상 객체의 좌표 정보를 획득하는 객체 위치 결정 모듈; 상기 항공사진 데이터베이스로부터 상기 영상 정보에 대응되는 항공사진의 좌표 정보를 추출하는 항공사진 추출 모듈; 상기 대상 객체의 좌표 정보와 상기 항공사진의 좌표 정보를 비교하여 객체들 간의 매칭 여부를 확인하는 좌표비교 모듈; 및 상기 매칭 여부 확인 결과로부터 획득된 대상 객체의 좌표 정보를 이용하여 공간 정보를 획득하는 공간정보 생성모듈을 포함하는 데이터 처리 모듈;
을 포함하되,
상기 촬영 영상 획득 모듈은,
좌안 영상 카메라와 우안 영상 카메라로부터 스테레오 영상에 대한 영상 정보를 획득하는 이미지 센싱부;
상기 영상 정보를 코딩할때 필터 계수를 이용하여 각 프레임에 적응적인 필터링을 수행하되, 상기 필터 계수는 다음 수학식 (여기서, ai는 필터 계수(i=0, 1, 2, …)를 나타내고, e[n]은 n번째 원본 프레임의 픽셀값과 n번째 필터링된 현재 프레임의 예측 픽셀값의 차이값을 나타내고, n은 프레임 수를 나타내며, argminE(e2[n])은 E(e2[n])을 최소로 하는 값을 나타냄)에 의해 산출되며, 상기 필터 계수는 상기 E(e2[n])값을 최소로 하는 값으로 결정되는 것을 특징으로 하는 적응적 필터링부; 및
상기 필터링된 영상 정보 및 상기 필터 계수를 수신하여 상기 영상 처리 모듈로 전송하는 데이터 출력부
를 포함하는 것을 특징으로 하는 공간정보 생성 시스템.A spatial information generation system using data compression and image correction through adaptive filtering,
A captured image acquisition module for acquiring image information from a plurality of cameras; A GPS receiving module for receiving GPS information from a satellite and obtaining current position information of the camera; An inertia measurement module for obtaining horizontal information of the camera using a plurality of sensors; An image processing module for correcting the image information based on the image information, the current position information, and the horizontal information; A control module for controlling the image information, current position information and horizontal information to be transmitted to the image processing module; And a buffer for storing image information;
An aerial photograph database for receiving and storing the image information from the mobile mapping device or receiving and storing aerial photograph data from an external database; And
An object extraction module for extracting a target object from the corrected image acquired by the image processing module; An object positioning module for obtaining coordinate information of the target object based on the extracted center point of the target object; An aerial photograph extracting module for extracting coordinate information of an aerial photograph corresponding to the image information from the aerial photograph database; A coordinate comparison module for comparing the coordinate information of the target object with the coordinate information of the aerial photograph to check whether the objects are matched; And a spatial information generating module for obtaining spatial information using coordinate information of the target object obtained from the matching result.
Including,
The captured image acquisition module,
An image sensing unit for obtaining image information of a stereo image from a left eye image camera and a right eye image camera;
When coding the image information, adaptive filtering is performed on each frame by using filter coefficients. (Where a i represents the filter coefficient (i = 0, 1, 2, ...), and e [n] represents the difference between the pixel value of the nth original frame and the predicted pixel value of the nth filtered current frame. , n represents the number of frames, argminE (e 2 [n] ) is calculated by indicating a value that minimizes the e (e 2 [n]) ), wherein the filter coefficient is the e (e 2 [n] An adaptive filtering unit characterized in that it is determined as a value which minimizes the value of. And
A data output unit which receives the filtered image information and the filter coefficient and transmits the filtered image information to the image processing module
Spatial information generation system comprising a.
상기 관성측정 모듈은 100Hz 간격으로 데이터를 로깅하고, 상기 GPS 수신 모듈은 1Hz 간격으로 데이터를 로깅하는 것을 특징으로 하는 공간정보 생성 시스템.The method of claim 1,
The inertial measurement module logs data at intervals of 100 Hz, and the GPS reception module logs data at intervals of 1 Hz.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120139948A KR101256340B1 (en) | 2012-12-05 | 2012-12-05 | Method and system for generating space information using data compression based on adaptive filtering and image correction |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120139948A KR101256340B1 (en) | 2012-12-05 | 2012-12-05 | Method and system for generating space information using data compression based on adaptive filtering and image correction |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120158232A Division KR101332077B1 (en) | 2012-12-31 | 2012-12-31 | 3-dimensional coordination generation system for performing image correction using gps information and horizontality information obtained by sensor |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101256340B1 true KR101256340B1 (en) | 2013-04-23 |
Family
ID=48443455
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120139948A KR101256340B1 (en) | 2012-12-05 | 2012-12-05 | Method and system for generating space information using data compression based on adaptive filtering and image correction |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101256340B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101611280B1 (en) | 2014-06-16 | 2016-04-11 | 재단법인대구경북과학기술원 | Mobile mapping system using stereo camera and method of generating point cloud in mobile mapping system |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030083048A (en) * | 2002-04-19 | 2003-10-30 | 주식회사 지피에스코리아 | Mobile Mapping System and treating method thereof |
KR20060013640A (en) * | 2003-03-23 | 2006-02-13 | 엠.에이.엠.디. 디지털 데이터 프로세싱 시스템즈 리미티드 | Automatic processing of aerial images |
-
2012
- 2012-12-05 KR KR1020120139948A patent/KR101256340B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030083048A (en) * | 2002-04-19 | 2003-10-30 | 주식회사 지피에스코리아 | Mobile Mapping System and treating method thereof |
KR20060013640A (en) * | 2003-03-23 | 2006-02-13 | 엠.에이.엠.디. 디지털 데이터 프로세싱 시스템즈 리미티드 | Automatic processing of aerial images |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101611280B1 (en) | 2014-06-16 | 2016-04-11 | 재단법인대구경북과학기술원 | Mobile mapping system using stereo camera and method of generating point cloud in mobile mapping system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101931819B1 (en) | Digital map gereration system for determining target object by comparing image information and aerial photograph data, and obtaining 3-dimensional coordination of target object using information obtained by camera | |
KR101879855B1 (en) | Digital map generating system for performing spatial modelling through a distortion correction of image | |
CN109690620B (en) | Three-dimensional model generation device and three-dimensional model generation method | |
US7733342B2 (en) | Method of extracting 3D building information using shadow analysis | |
CN106960454B (en) | Depth of field obstacle avoidance method and equipment and unmanned aerial vehicle | |
KR101332042B1 (en) | A system for processing spatial image using location information and horizontality information of camera | |
KR101234961B1 (en) | Method and system for modeling automatic 3-dimensional space using aerial image and mobile mapping system technology | |
RU2529594C1 (en) | Calibration device, distance measurement system, calibration method and calibration programme | |
KR101277427B1 (en) | Method and system for correcting a distortion of image data using a parameter and comparing the corrected image data and aerial photograph | |
CN111415310B (en) | Image processing method and device and storage medium | |
US20190378294A1 (en) | Stereo camera and height acquisition method thereof and height acquisition system | |
KR20140134351A (en) | Movement path extraction devices of mutual geometric relations fixed camera group and the method | |
CN107615334A (en) | Object detector and object identification system | |
KR101879859B1 (en) | A image processing system for correcting camera image using image distortion parameter | |
KR101234917B1 (en) | Method and system for generating 3-dimensional space data using image correction by threshold applied a weight information | |
EP2662833B1 (en) | Light source data processing device, method and program | |
KR101928391B1 (en) | Method and apparatus for data fusion of multi spectral image and radar image | |
KR101332077B1 (en) | 3-dimensional coordination generation system for performing image correction using gps information and horizontality information obtained by sensor | |
CN103905746A (en) | Method and device for localization and superposition of sub-pixel-level image offset and video device | |
CN114080627A (en) | Three-dimensional model generation method and three-dimensional model generation device | |
KR101879858B1 (en) | Spatial modelling system for modelling spatial data by extracting common feature using comparison process between coordinate information of target object extracted from corrected image and coordinate information of arial photograph | |
KR101332093B1 (en) | Spatial image processing system for obtaining 3-dimensional space data using coordination information of target object obtained by a plurality of sensors | |
KR101720761B1 (en) | system for building three-dimensional space information using MMS and multi-directional tilt aerial photos | |
CN111213179A (en) | Image data processing method, device and system | |
KR101256340B1 (en) | Method and system for generating space information using data compression based on adaptive filtering and image correction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
A107 | Divisional application of patent | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160408 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20170412 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20180223 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20190131 Year of fee payment: 7 |