KR101332093B1 - 복수개의 센서에 의해 획득된 대상 객체의 좌표 정보를 이용하여 3차원 공간 데이터를 획득하는 공간영상처리 시스템 - Google Patents

복수개의 센서에 의해 획득된 대상 객체의 좌표 정보를 이용하여 3차원 공간 데이터를 획득하는 공간영상처리 시스템 Download PDF

Info

Publication number
KR101332093B1
KR101332093B1 KR1020120151582A KR20120151582A KR101332093B1 KR 101332093 B1 KR101332093 B1 KR 101332093B1 KR 1020120151582 A KR1020120151582 A KR 1020120151582A KR 20120151582 A KR20120151582 A KR 20120151582A KR 101332093 B1 KR101332093 B1 KR 101332093B1
Authority
KR
South Korea
Prior art keywords
image
information
module
target object
data
Prior art date
Application number
KR1020120151582A
Other languages
English (en)
Inventor
오정환
Original Assignee
(주)지오투정보기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)지오투정보기술 filed Critical (주)지오투정보기술
Priority to KR1020120151582A priority Critical patent/KR101332093B1/ko
Application granted granted Critical
Publication of KR101332093B1 publication Critical patent/KR101332093B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Processing (AREA)

Abstract

본 발명은, 복수개의 센서에 의해 획득된 대상 객체의 좌표 정보를 이용하여 3차원 공간 데이터를 획득하는 공간영상처리 시스템에 있어서, 복수개의 카메라로부터 영상 정보를 획득하는 촬영 영상 획득 모듈; 인공 위성으로부터 GPS 정보를 수신하여 상기 카메라의 현재 위치 정보를 획득하는 GPS 수신 모듈; 상기 복수개의 센서를 이용하여 상기 카메라의 수평 정보를 획득하는 관성 측정 모듈; 상기 영상 정보, 상기 현재 위치 정보 및 상기 수평 정보에 기초하여 상기 영상 정보를 보정하는 영상 처리 모듈; 상기 영상 정보, 상기 현재 위치 정보 및 상기 수평 정보를 상기 영상 처리 모듈로 전송할 수 있도록 제어하는 컨트롤 모듈; 및 상기 영상 정보를 저장하는 버퍼를 포함하는 모바일 매핑 장치; 상기 모바일 매핑 장치로부터 상기 영상 정보를 수신하여 저장하거나 외부 데이터베이스로부터 항공사진 데이터를 수신하여 저장하는 항공사진 데이터베이스; 상기 영상 처리 모듈에서 획득된 보정 영상으로부터 대상 객체를 추출하는 객체 추출 모듈; 상기 추출된 대상 객체의 중심점에 기초하여 상기 대상 객체의 좌표 정보를 획득하는 객체 위치 결정 모듈; 상기 항공사진 데이터베이스로부터 상기 영상 정보에 대응되는 항공사진의 좌표 정보를 추출하는 항공사진 추출 모듈; 상기 대상 객체의 좌표 정보와 상기 항공사진의 좌표 정보를 비교하여 객체들 간의 매칭 여부를 확인하되, 상기 매칭 여부 확인은 서로 다른 값의 촬영된 카메라 방향 정보와 해상도를 나타내는 픽셀의 크기 정보를 갖는 영상들로부터 크기와 방향에 불변한 공통점을 추출함으로써 수행되고, 상기 공통점의 픽셀 크기는, 수학식
Figure 112013076719749-pat00026
(여기서, L(x,y)는 입력된 영상에 대해 가우시안 필터링을 통과한 영상의 함수값을 나타내고, (x,y)는 상기 입력된 영상 내의 픽셀 좌표를 나타냄)에 의해 획득되고, 상기 공통점의 방향 정보는, 수학식
Figure 112013076719749-pat00027
(여기서, L(x,y)는 입력된 영상에 대해 가우시안 필터링을 통과한 영상의 함수값을 나타내고, (x,y)는 상기 입력된 영상 내의 픽셀 좌표를 나타냄)에 의해 획득되는 좌표비교 모듈; 및 상기 매칭 여부 확인 결과로부터 획득된 대상 객체의 좌표 정보를 이용하여 3차원 공간 데이터를 획득하는 3차원 모델링 모듈을 포함하는 데이터 처리 모듈; 사용자로부터 공간 모델링 서비스에 대한 요청 정보를 수신하여 상기 모바일 매핑 장치, 상기 항공사진 데이터베이스 및 상기 데이터 처리 모듈로 전송하고, 상기 데이터 처리 모듈로부터 획득된 3차원 공간 데이터를 사용자에게 송신하는 통신 모듈; 및 상기 버퍼에 저장된 데이터를 상기 영상 처리 모듈 또는 상기 데이터 처리 모듈로 전송하여 업데이트를 수행하는 업데이트 모듈을 포함하되, 상기 관성측정 모듈은 100Hz 간격으로 데이터를 로깅하고, 상기 GPS 수신 모듈은 1Hz 간격으로 데이터를 로깅하는 것을 특징으로 하는 공간영상처리 시스템을 제공한다.

Description

복수개의 센서에 의해 획득된 대상 객체의 좌표 정보를 이용하여 3차원 공간 데이터를 획득하는 공간영상처리 시스템{SPATIAL IMAGE PROCESSING SYSTEM FOR OBTAINING 3-DIMENSIONAL SPACE DATA USING COORDINATION INFORMATION OF TARGET OBJECT OBTAINED BY A PLURALITY OF SENSORS}
본 발명은 복수개의 센서에 의해 획득된 대상 객체의 좌표 정보를 이용하여 3차원 공간 데이터를 획득하는 공간영상처리 시스템에 관한 것이다.
기존의 항공측량을 이용한 3D 공간 모델링 방법은 획득된 건물의 촬영된 부위까지만 이용할 수 있어 강제적으로 건물의 끝부분까지 영상을 확장시켜 완성시키는 작업 과정으로 진행되었다. 이렇게 영상을 강제적으로 확장시켰기 때문에 가시성이 현저히 떨어질 뿐만 아니라, 객체에 대한 정확한 좌표 정보도 획득할 수 없어 모델링 작업 완료 후에도 사용자에게 보다 현실감 있는 영상 데이터를 제공하기 어려웠다.
또한, 종래의 공간 모델링 방법은 현장조사를 통해 수작업으로 구축된 데이터를 활용함으로써 과도한 인건비가 발생하게 되고, 이러한 수작업으로 인해 지리정보의 오류가 빈번하게 발생될 뿐만 아니라 수정 및 갱신이 어렵다는 단점이 있었고, 이러한 단점을 극복하기 위해 모바일 매핑 시스템(MMS; Mobile Mapping System) 등 최신 측량장비를 이용하여 건물 및 도로 시설물에 대한 지리정보 데이터를 구축하고 있다. 그러나, 보정점 측량 등으로 인해 비용이 많이 소요될 뿐만 아니라, 측정된 영상의 왜곡 등으로 인해 정확한 좌표 정보를 획득하기 어렵고, 더욱이 도심지에서는 그 정보의 정확도가 결여되어 지리 정보 데이터 베이스 구축에 많은 문제점을 초래하고 있다.
본 발명은 이동 측량 장비(MMS)를 통해 획득된 영상을 획득한 후 필터링 과정을 통해 영상의 휘어짐 현상을 보정함으로써 보다 정확한 3차원 공간좌표 정보를 획득하고자 한다.
또한, 본 발명은 영상 보정을 위한 매개변수 추출시 가중치가 적용된 임계값을 이용하여 필터링을 수행함으로써 보다 세밀한 영상 보정을 수행하고자 한다.
또한, 본 발명은 영상 보정을 위한 매개변수 추출시 에러 요소를 중복적으로 제거함으로써 보다 세밀한 영상 보정을 수행하고자 한다.
또한, 본 발명은 대상 객체의 영상 정보를 항공사진으로부터 생성된 공통점 벡터 정보와 비교하여 대상 객체의 좌표 정보를 획득함으로써 보다 정확한 3차원 공간 좌표 정보를 산출하고자 한다.
본 발명은, 복수개의 센서에 의해 획득된 대상 객체의 좌표 정보를 이용하여 3차원 공간 데이터를 획득하는 공간영상처리 시스템에 있어서, 복수개의 카메라로부터 영상 정보를 획득하는 촬영 영상 획득 모듈; 인공 위성으로부터 GPS 정보를 수신하여 상기 카메라의 현재 위치 정보를 획득하는 GPS 수신 모듈; 상기 복수개의 센서를 이용하여 상기 카메라의 수평 정보를 획득하는 관성 측정 모듈; 상기 영상 정보, 상기 현재 위치 정보 및 상기 수평 정보에 기초하여 상기 영상 정보를 보정하는 영상 처리 모듈; 상기 영상 정보, 상기 현재 위치 정보 및 상기 수평 정보를 상기 영상 처리 모듈로 전송할 수 있도록 제어하는 컨트롤 모듈; 및 상기 영상 정보를 저장하는 버퍼를 포함하는 모바일 매핑 장치; 상기 모바일 매핑 장치로부터 상기 영상 정보를 수신하여 저장하거나 외부 데이터베이스로부터 항공사진 데이터를 수신하여 저장하는 항공사진 데이터베이스; 상기 영상 처리 모듈에서 획득된 보정 영상으로부터 대상 객체를 추출하는 객체 추출 모듈; 상기 추출된 대상 객체의 중심점에 기초하여 상기 대상 객체의 좌표 정보를 획득하는 객체 위치 결정 모듈; 상기 항공사진 데이터베이스로부터 상기 영상 정보에 대응되는 항공사진의 좌표 정보를 추출하는 항공사진 추출 모듈; 상기 대상 객체의 좌표 정보와 상기 항공사진의 좌표 정보를 비교하여 객체들 간의 매칭 여부를 확인하되, 상기 매칭 여부 확인은 서로 다른 값의 촬영된 카메라 방향 정보와 해상도를 나타내는 픽셀의 크기 정보를 갖는 영상들로부터 크기와 방향에 불변한 공통점을 추출함으로써 수행되고, 상기 공통점의 픽셀 크기는, 수학식
Figure 112013076719749-pat00037
(여기서, L(x,y)는 입력된 영상에 대해 가우시안 필터링을 통과한 영상의 함수값을 나타내고, (x,y)는 상기 입력된 영상 내의 픽셀 좌표를 나타냄)에 의해 획득되고, 상기 공통점의 방향 정보는, 수학식
Figure 112013076719749-pat00038
(여기서, L(x,y)는 입력된 영상에 대해 가우시안 필터링을 통과한 영상의 함수값을 나타내고, (x,y)는 상기 입력된 영상 내의 픽셀 좌표를 나타냄)에 의해 획득되는 좌표비교 모듈; 및 상기 매칭 여부 확인 결과로부터 획득된 대상 객체의 좌표 정보를 이용하여 3차원 공간 데이터를 획득하는 3차원 모델링 모듈을 포함하는 데이터 처리 모듈; 사용자로부터 공간 모델링 서비스에 대한 요청 정보를 수신하여 상기 모바일 매핑 장치, 상기 항공사진 데이터베이스 및 상기 데이터 처리 모듈로 전송하고, 상기 데이터 처리 모듈로부터 획득된 3차원 공간 데이터를 사용자에게 송신하는 통신 모듈; 및 상기 버퍼에 저장된 데이터를 상기 영상 처리 모듈 또는 상기 데이터 처리 모듈로 전송하여 업데이트를 수행하는 업데이트 모듈을 포함하되, 상기 관성측정 모듈은 100Hz 간격으로 데이터를 로깅하고, 상기 GPS 수신 모듈은 1Hz 간격으로 데이터를 로깅하는 것을 특징으로 하는 공간영상처리 시스템을 제공한다.
또한, 본 발명에서, 상기 영상 처리 모듈은, 상기 촬영 영상 획득 모듈로부터 수신된 상기 영상 정보로부터 커브를 검출하여 제 1 보정 그룹을 설정하고, 상기 영상 정보로부터 상기 제 1 보정 그룹을 제거하고, 상기 제 1 보정 그룹이 제거된 영상 정보로부터 3차원 좌표 상에서 중심점으로부터 임계값을 벗어나는 선들을 제 2 보정 그룹으로 설정하고, 상기 제 1 보정 그룹이 제거된 영상 정보로부터 상기 제 2 보정 그룹을 제거하되, 상기 임계값은 다음 수학식
Figure 112012106800912-pat00003
(여기서, am 은 영상 중심점에서 곡선의 현에 내린 수선의 길이를 나타내고, R은 영상 대각선의 길이를 나타내고, m = 1~M , M은 선의 개수를 나타내며, ψ는 사용자 파라미터를 나타냄)에 의해 획득되는 필터링 모듈; 상기 제 1 보정 그룹과 상기 제 2 보정 그룹이 제거된 영상 정보에 기초하여, 영상의 휘어짐 정도를 나타내는 매개변수를 추출하는 매개변수 추출 모듈; 및 상기 매개변수를 이용하여 상기 영상 정보의 보정을 수행하는 영상보정 모듈을 포함하는 것을 특징으로 한다.
또한, 본 발명에서, 상기 3차원 모델링 모듈은, 상기 대상 객체의 3차원 좌표를 획득하되, 이 중 Z축 좌표값은 좌측 카메라로부터 획득된 영상의 Y좌표(Y_l)와 우측 카메라로부터 획득된 영상의 Y좌표(Y_r)의 평균값, 초점거리(f) 및 상기 대상 객체까지의 Y축상 거리(Yo)에 기초하여 다음 수학식
Figure 112012106800912-pat00004
을 이용하여 획득되는 것을 특징으로 한다.
또한, 본 발명에서, 상기 제 1 보정 그룹으로 설정된 커브는, 영상 내에 존재하는 세그먼트를 서치하고, 상기 세그먼트 내의 각 픽셀의 변화율과 각도를 산출하고, 기설정된 임계값보다 높은 변화율을 갖는 픽셀을 시작점으로 하여 기설정된 크기의 윈도우 내에서 가장 큰 변화율을 갖는 픽셀을 하나의 그룹으로 설정하여 그 픽셀을 시작점으로 하여 다시 윈도우를 통해 다음 픽셀을 서치하며, 상기 과정을 통해 검출된 픽셀들로 구성된 세그먼트들을 연결하여 형성되는 것을 특징으로 한다.
또한, 본 발명에서, 상기 관성측정 모듈은 100Hz 간격으로 데이터를 로깅하는 것을 특징으로 한다.
또한, 본 발명에서, 상기 GPS 수신 모듈은 1Hz 간격으로 데이터를 로깅하는 것을 특징으로 한다.
또한, 본 발명에서, 상기 통신 모듈은 LAN(local area network), WLAN(wireless LAN), Wibro(wireless broadband), Wimax(world interoperability for microwave access), HSDPA(high speed downlink packet access)를 포함하는 것을 특징으로 한다.
본 발명은 이동 측량 장비(MMS)를 통해 획득된 영상을 획득한 후 필터링 과정을 통해 영상의 휘어짐 현상을 보정함으로써 보다 정확한 3차원 공간좌표 정보를 획득할 수 있다.
또한, 본 발명은 영상 보정을 위한 매개변수 추출시 가중치가 적용된 임계값을 이용하여 필터링을 수행함으로써 보다 세밀한 영상 보정을 수행할 수 있다.
또한, 본 발명은 영상 보정을 위한 매개변수 추출시 에러 요소를 중복적으로 제거함으로써 보다 세밀한 영상 보정을 수행할 수 있다.
또한, 본 발명은 대상 객체의 영상 정보를 항공사진으로부터 생성된 공통점 벡터 정보와 비교하여 대상 객체의 좌표 정보를 획득함으로써 보다 정확한 3차원 공간 좌표 정보를 산출할 수 있다.
도 1은 본 발명이 적용되는 실시예로서, 자동 3차원 공간 모델링 시스템의 개략적인 블록도를 나타낸다.
도 2는 본 발명이 적용되는 일실시예로서, 영상 처리 모듈(120)의 개략적인 내부 블록도를 나타낸다.
도 3은 본 발명이 적용되는 일실시예로서, 제 1 보정 그룹과 제 2 보정 그룹을 정의함으로써 영상 보정을 수행하는 방법을 설명하기 위한 좌표계를 나타낸다.
도 4는 본 발명이 적용되는 일실시예로서, 영상 보정을 위해 가중치 적용된 임계값 산출 과정을 설명하기 위한 좌표계를 나타낸다.
도 5는 본 발명이 적용되는 일실시예로서, 데이터 처리 모듈(500)의 개략적인 내부 블록도를 나타낸다.
도 6은 본 발명이 적용되는 일실시예로서, 대상 객체의 좌표 정보를 이용하여 3차원 좌표 정보를 모델링하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명이 적용되는 일실시예로서, 3차원 공간 모델링 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명이 적용되는 일실시예로서, 3차원 공간 모델링을 위해 카메라로부터 획득된 영상을 보정하는 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명이 적용되는 일실시예로서, 3차원 공간 모델링을 위해 보정된 영상으로부터 대상 객체의 좌표 정보를 획득하기 위한 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예의 구성과 그 작용을 설명하
며, 도면에 의해서 설명되는 본 발명의 구성과 작용은 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적
인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어를 사용하여 설명한다. 그러한 경우에는 해당 부분의 상세 설명에서 그 의미를 명확히 기재하므로, 본 발명의 설명에서 사용된 용어의 명칭만으로 단순 해석되어서는 안 될 것이며 그 해당 용어의 의미까지 파악하여 해석되어야 함을 밝혀두고자 한다.
공간 모델링 시스템(Space Modeling System)은 공간상 위치를 점유하는 지리 자료와 이에 관련된 속성 자료를 통합하여 처리하는 정보 시스템으로서 다양한 형태의 지리 정보를 효율적으로 수집, 저장, 갱신, 처리, 분석, 출력하기 위해 이용되는 하드웨어, 소프트웨어, 지리자료, 인적자원의 총체적 조직체라고 정의할 수 있다. 상기 지리 정보 시스템의 이용에 따라 공간 정보의 다양한 활용이 용이해졌다. 따라서, 급변하는 도심 내의 보다 명확하고 현실감있는 지리 정보를 제공하기 위해서는 이동 측량 데이터를 효율적으로 이용할 필요가 있다. 이하에서는 이동 측량 데이터를 효율적으로 이용하여 보다 명확한 공간 모델링 정보를 생성하는 실시예들을 살펴보도록 한다.
도 1은 본 발명이 적용되는 실시예로서, 자동 3차원 공간 모델링 시스템의 개략적인 블록도를 나타낸다.
상기 도 1을 참조하면, 본 발명이 적용되는 자동 3차원 공간 모델링 시스템(10)은 크게 모바일 매핑 장치(100), 통신 모듈(200), 업데이트 모듈(300), 항공사진 데이터베이스(400) 및 데이터 처리 모듈(500)로 구성되고, 상기 모바일 매핑 장치(100)는 촬영 영상 획득 모듈(110), 영상처리 모듈(120), 관성측정 모듈(130), GPS 수신모듈(140), 컨트롤 모듈(150) 및 버퍼(160)로 구성될 수 있다.
여기서, 공간 모델이란 3차원 이미지 내에서 공간을 차지하는 객체, 예를 들어, 도로 시설물, 건물, 도로 점용 시설 및 부대 시설 등을 의미할 수 있다. 그리고, 공간 모델 정보라 함은, 상기 객체, 즉 도로 시설물, 건물, 도로 점용 시설 및 부대 시설 등의 위치, 거리, 면적, 속성 정보 등을 의미할 수 있다.
상기 모바일 매핑 장치(100)는 대상 지역 내의 경로를 이동하면서 대상 지역 내의 도로 시설물, 건물, 도로 점용 시설 및 부대 시설 등을 측량할 수 있다. 상기 모바일 매핑 장치(100)는 이동하면서 측량 가능한 장치를 의미하며, 그 예로 측량 가능한 카메라를 장착한 자동차, 비행기 등을 들 수 있다.
촬영 영상 획득 모듈(110)는 좌안 영상 카메라와 우안 영상 카메라로 구성될 수 있으며, 좌안 영상 카메라와 우안 영상 카메라를 이용하여 상기 도로 시설물, 건물, 도로 점용 시설 및 부대 시설을 촬영함으로서 스테레오 영상을 획득할 수 있다. 이 경우, 상기 촬영 영상 획득 모듈(110)은 상기 모바일 매핑 장치(100)의 흔들림으로 인한 촬영 당시의 카메라 흔들림 또는 카메라 렌즈 자체가 가지고 있는 휘어짐 문제 등으로 인해 획득된 영상의 보정이 필요하게 된다. 따라서, 본 발명이 적용되는 실시예에서는 이러한 영상의 보정을 위해 보정 매개변수를 추정하는 방법 및 가중치를 적용한 새로운 임계값 산정 방법을 제안하고자 한다. 이에 대해서는 도 3 및 도 4에서 보다 상세히 설명하도록 한다.
상기 촬영 영상 획득 모듈(110)은 상기 모바일 매핑 장치(100) 내 장착된 카메라로부터 획득된 좌안 영상과 우안 영상을 획득하고, 상기 GPS 수신 모듈(140)로부터 획득된 상기 모바일 매핑 장치(100)의 위치 정보를 이용하여 상기 좌안 영상과 상기 우안 영상의 현재 위치 정보를 획득할 수 있다. 그리고, 상기 좌안 영상과 상기 우안 영상의 현재 위치 정보로부터 상기 모바일 매핑 장치(100)의 이동 경로를 생성할 수 있다. 즉, 상기 모바일 매핑 장치(100)의 위치 정보로부터 이동 경로를 결정하고 각 이동 경로마다, 상기 카메라로부터 획득된 좌안 영상과 우안 영상을 매칭시킬 수 있다.
관성측정 모듈(130)은 다중 센서를 이용하여 센싱 정보를 수신함으로써 상기 모바일 매핑 장치(100)의 수평 정보를 획득할 수 있고, 이러한 수평 정보를 활용하여 보다 세밀한 영상 보정을 수행할 수 있다. 본 발명이 적용되는 실시예로, 상기 관성측정 모듈(130)은 100Hz 간격으로 데이터를 로깅한다.
GPS 수신 모듈(140)은 인공 위성으로부터 GPS 정보를 수신받아 상기 모바일 매핑 장치(100)의 현재 위치 정보를 획득할 수 있다. 상기 모바일 매핑 장치(100)는, 상기 GPS 수신 모듈(140)을 통해 도심지에서의 차량의 위치 정보를 획득하고, 다중 센서 정보의 시각 동기화를 위해 IMU(Inertial Measurement Unit), 데이터 동기화 장치 등을 통해 수평 정보를 획득함으로써 보다 정확한 3D 공간 모델링을 수행할 수 있게 된다. 본 발명이 적용되는 실시예로, 상기 GPS 수신 모듈(140)은 1Hz 간격으로 데이터를 로깅한다.
영상처리 모듈(120)은 획득된 영상의 보정을 위해 상기 관성측정 모듈(130)로부터 획득된 수평 정보 및 상기 GPS 수신 모듈(140)로부터 획득된 위치 정보를 활용하여 매개변수를 산출하게 된다. 본 발명이 적용되는 상기 매개변수 산출 방법은 3D 영상에서의 직선은 2D 영상으로 변환되어도 직선이 된다는 점을 이용하게 된다. 즉, 3D 영상의 직선이 아닌 선들을 검출하고 이를 배제한 후 영상 보정을 수행함으로써 보다 명확한 3D 공간 모델링이 가능할 수 있다. 또한, 상기 매개변수를 산출하는 과정에서 임계치를 벗어나는 선들을 배제함으로써 보다 빠른 3D 공간 모델링이 가능할 수 있다. 이러한 실시예들의 상세한 설명은 도 3 및 도 4에서 하도록 한다.
컨트롤 모듈(150)은 상기 촬영 영상 획득 모듈(110)로부터 획득된 좌안 영상과 우안 영상, 상기 관성측정 모듈(130)로부터 획득된 수평 정보 및 상기 GPS 수신 모듈(140)로부터 획득된 위치 정보를 각각 상기 영상처리 모듈(120)로 전송하도록 제어하고, 상기 영상처리 모듈(120)에서 상기 영상 정보, 상기 수평 정보, 상기 위치 정보 등을 이용하여 매개변수를 산출하도록 제어할 수 있다. 상기 컨트롤 모듈(150)은 상기 촬영 영상 획득 모듈(110), 상기 관성측정 모듈(130) 및 상기 GPS 수신 모듈(140) 사이의 동기화를 제어하며, 본 발명이 적용되는 실시예로 상기 GPS 수신 모듈(140)로부터 획득된 GPS 시간을 기초로 하여 트리거에서 제공되는 전압 신호를 상기 촬영 영상 획득 모듈(110), 상기 관성측정 모듈(130) 및 상기 GPS 수신 모듈(140)에 각각 전송함으로써 동기화시킬 수 있다.
버퍼(160)는 상기 촬영 영상 획득 모듈(110)로부터 획득된 좌안 영상과 우안 영상에 대한 영상 정보를 버퍼에 저장하고, 외부로부터 영상 정보를 요청받을 경우 요청받은 영상 정보를 제공하게 된다. 상기 버퍼(160)는 메모리와 메모리 제어 모듈로 구성될 수 있으며, 로그 분석 등을 통해 메모리를 재배열함으로써 보다 신속한 공간 데이터 서비스를 제공할 수 있다. 예를 들어, 수신된 요청 정보가 빈번하게 요청되는 영상 정보인지 로그 분석을 통해 판단하고, 그에 따라 영상 정보를 다른 방식으로 처리할 수 있다. 수신된 요청 정보가 빈번하게 요청되는 영상 정보인 경우에는 상기 영상 정보를 레이어 단위로 메모리에 캐싱하고 자동으로 업데이트를 수행할 수 있다. 반면, 빈번하게 요청되는 영상 정보가 아닌 경우에는 해당 영상 정보를 메모리에서 삭제하거나, 기존에 요청된 적이 없는 영상 정보인 경우에는 해당 영상 정보를 테이블 정보에 업데이트하고 그에 대응되는 코드를 생성하여 저장할 수 있다.
통신 모듈(200)은 사용자로부터 공간 모델링 서비스에 대한 요청 정보를 수신할 경우 모바일 매핑 장치(100), 업데이트 모듈(300), 항공사진 데이터베이스(400) 및 데이터 처리 모듈(500)로 전송한다. 그리고, 수신된 요청 정보가 상기 모바일 매핑 장치(100)의 영상 정보를 필요로 하는 경우, 상기 모바일 매핑 장치(100)에 해당 요청 정보를 전송하며, 상기 모바일 매핑 장치(100)로부터 상기 요청 정보에 대응되는 공간 데이터를 수신할 수 있다. 상기 통신 모듈(200)은 사용자 단말(미도시)과 외부 단말(미도시) 사이, 상기 모바일 매핑 장치(100)와 상기 데이터 처리 모듈(500) 사이의 통신을 관리하며, 이러한 통신 모듈(100)은 LAN(local area network), WLAN(wireless LAN), Wibro(wireless broadband), Wimax(world interoperability for microwave access), HSDPA(high speed downlink packet access) 및 그 밖의 다양한 통신 규격을 지원할 수 있다.
업데이트 모듈(300)은 상기 모바일 매핑 장치(100) 내 버퍼(160)에 저장된 데이터를 영상처리 모듈(120) 또는 데이터 처리모듈(500) 등을 통해 수정된 데이터로 업데이트를 수행할 수 있다. 또한, 상기 항공사진 데이터베이스(400)에 저장된 데이터에 대해서도 영상처리 모듈(120) 또는 데이터 처리모듈(500) 등을 통해 수정된 데이터로 업데이트를 수행할 수 있다.
한편, 항공사진 데이터베이스(400)는 상기 도로 시설물, 건물, 도로 점용 시설 및 부대 시설 등의 면적, 길이, 위치에 대한 정보 등을 포함하고 있으며, 상기 모바일 매핑 장치(100)로부터 데이터를 수신하거나 외부 데이터베이스로부터 항공사진 데이터를 수신할 수 있다.
항공사진 데이터베이스(400)는 메모리와 메모리 제어 모듈로 구성될 수 있으며, 로그 분석 등을 통해 메모리를 재배열함으로써 보다 신속한 공간 데이터 서비스를 제공할 수 있다. 예를 들어, 수신된 요청 정보가 빈번하게 요청되는 항공사진 데이터인지 로그 분석을 통해 판단하고, 그에 따라 항공사진 데이터를 다른 방식으로 처리할 수 있다. 수신된 요청 정보가 빈번하게 요청되는 항공사진 데이터인 경우에는 상기 항공사진 데이터를 레이어 단위로 메모리에 캐싱하고 자동으로 업데이트를 수행할 수 있다. 반면, 빈번하게 요청되는 항공사진 데이터가 아닌 경우에는 해당 항공사진 데이터를 메모리에서 삭제하거나, 기존에 요청된 적이 없는 항공사진 데이터인 경우에는 해당 항공사진 데이터를 테이블 정보에 업데이트하고 그에 대응되는 코드를 생성하여 저장할 수 있다.
데이터 처리 모듈(500)은 상기 모바일 매핑 장치(100)와 상기 항공사진 데이터베이스(400)로부터 획득된 데이터를 이용하여 3D 공간 모델링 정보를 생성한다. 상기 데이터 처리 모듈(500)은 객체 추출 모듈(501), 항공사진 추출 모듈(502), 객체위치결정 모듈(503), 좌표비교 모듈(504) 및 3차원 모델링 모듈(505)로 구성될 수 있다. 이에 대해서는 도 5에서 보다 상세히 설명하도록 한다.
도 2는 본 발명이 적용되는 일실시예로서, 영상 처리 모듈(120)의 개략적인 내부 블록도를 나타낸다.
상기 영상 처리 모듈(120)은 매개변수 추출 모듈(121), 필터링 모듈(123) 및 영상보정 모듈(125)로 구성될 수 있다.
렌즈를 사용하는 카메라는 대부분 직선이 곡선으로 휘어지는 문제를 가지고 있으며, 영상이 휘어진 중심으로부터 방사상으로 확장되거나 축소되는 현상이 발생하게 된다. 이러한 휘어짐 현상에 대한 보정이 제대로 이루어지지 않으면 3D 영상을 시청하는 경우나 디지털 이미지 분석시 심각한 문제가 야기될 수 있다.
이를 해결하기 위해서는 휘어짐 현상을 수학적으로 모델링하여 휘어짐 정도를 결정하는 매개변수를 추정하고 이를 역변환함으로써 보정을 수행할 수 있다. 그리고, 영상 내의 커브를 검출하고 이 중 3D 좌표 상에서 직선이 아닌 선들을 제 1 보정 그룹으로 정의하여 제거한 후 보정을 수행한다. 더 나아가, 본 발명의 일실시예에서는 3D 좌표 상에서 커브가 아님에도 불구하고 매개변수 추정에 방해가 되는 선들을 제 2 보정 그룹으로 정의하여 제거할 수 있다.
도 3 및 도 4는 본 발명이 적용되는 일실시예들로서, 도 3은 상기 제 1 보정 그룹과 상기 제 2 보정 그룹을 정의함으로써 영상 보정을 수행하는 방법을 설명하기 위한 좌표계를 나타내고, 도 4는 영상 보정을 위해 가중치 적용된 임계값 산출 과정을 설명하기 위한 좌표계를 나타낸다.
상기 도 3을 살펴보면, 기본 영상을 R이라 하고, 볼록 휘어짐 영상을 V, 오목 휘어짐 영상을 C라고 할 때, 중심점 A를 기준으로 휘어지지 않은 점의 좌표를 O =(X,Y)라 하고, 휘어진 점의 좌표를 Oc =(Xc,Yc)라 하면, 양 좌표 간의 관계는 아래 수학식 1 및 수학식 2와 같이 나타낼 수 있다. Gi는 영상의 휘어짐 정도를 반영하는 매개변수를 나타내고, Gi>0이면 볼록 휘어짐을 나타내고, Gi<0 오목 휘어짐을 나타낸다.
Figure 112012106800912-pat00005
Figure 112012106800912-pat00006
여기서, a는 영상의 중심점 A로부터 볼록 휘어짐 영상의 좌표 Oc까지의 거리를 나타내고, a는 아래 수학식 3과 같다.
Figure 112012106800912-pat00007
본 발명이 적용되는 일실시예로서, 상기 매개변수를 산출하는 방법을 설명하도록 한다.
매개변수 추출 모듈(121)은 먼저 영상 내에 존재하는 세그먼트를 서치하고, 상기 세그먼트 내의 각 픽셀의 변화율과 각도를 산출한다. 그리고 동일한 직선을 이루고 있는 픽셀들을 하나의 그룹으로 만듦으로써 세그먼트를 검출할 수 있다. 주어진 임계값보다 높은 변화율을 갖는 픽셀을 시작점으로 하여 기설정된 크기의 윈도우 내에 가장 큰 변화율을 갖는 픽셀을 하나의 그룹으로 설정하여 그 픽셀을 시작점으로 하여 다시 윈도우를 통해 다음 픽셀을 찾는다. 이때, 상기 기설정된 크기의 윈도우는 3x3, 4x4 또는 5x5 윈도우를 이용할 수 있다.
상기 과정을 통해 검출된 픽셀들로 구성된 그룹으로부터 세그먼트들을 연결시켜 커브를 형성할 수 있다. 이때, 두 세그먼트의 끝점 사이의 거리, 두 세그먼트 사이의 각도, 두 세그먼트의 수직거리를 산출하고, 상기 산출된 값들이 기설정된 임계값보다 작은 경우에는 상기 세그먼트들을 연결하여 하나의 선으로 간주할 수 있다.
상기 세그먼트들로 연결되어 이루어진 선 중 3D 좌표 상 커브로 간주되는 선은 제 1 보정 그룹으로 설정할 수 있고, 상기 제 1 보정 그룹은 영상 내에서 제거될 수 있다.
예를 들어, F 개의 커브들 중 하나의 타겟 라인을 Lm (m=1~M)이라 하고, Lm을 구성하는 Nm개의 픽셀들을 Pn = (Xn, Yn) (n=1~Nm) 이라 하면, Nm개의 픽셀들이 최대한 직선이 될 때의 매개변수 Gi를 구할 수 있다. 이렇게 산출된 Gi를 다른 커브들에도 적용하여 Pn을 구할 수 있다. Pn에 대해 직선과의 차이를 각 픽셀의 오차 En이라 정의하고 En 절대값이 기설정된 임계값 δm을 넘는 픽셀들이 하나의 커브에서 기설정된 퍼센티지를 초과하는 경우 이들을 제 1 보정 그룹으로 설정하고, 상기 제 1 보정 그룹을 영상 내에서 제거할 수 있다.
이러한 과정을 통해, 상기 제 1 보정 그룹이 제거된 선들 중 최대한 직선이 되게 하는 매개변수 Gi를 산출할 수 있게 된다.
필터링 모듈(123)은 3D 좌표 상에서 커브가 아님에도 불구하고 매개변수 산출시 에러 요소로 작용하는 선들을 제 2 보정 그룹으로 정의하여 필터링할 수 있다. 중심점 근처에 위치한 선들에 대해서는 임계값을 좀더 세밀하게 설정함으로써 매개변수가 적용되는 범위를 좁힐 수 있다. 예를 들어, 상기 도 4를 살펴보면, 각 픽셀들의 오차가 기설정된 임계값을 넘는지 판단할 때, 영상 중심에서 곡선 Lm에 이르는 거리에 따라 임계값에 가중치를 적용하여 제 2 보정 그룹에 해당하는지 여부를 판단할 수 있다.
영상 중심점 A에서 곡선 Lm에 이르는 거리는 직선 F에 내린 수선의 길이 am으로 정의할 수 있고, 가중치는 0과 1 사이의 범위로 정규화할 수 있다. 이때, am 은 아래 수학식 4와 같이 정의할 수 있다.
Figure 112012106800912-pat00008
정규화를 위한 상기 가중치가 0인 경우에는 am 이 0으로 선이 영상의 중심을 지날 때이고, 상기 가중치가 1인 경우는 am 이 영상의 중심에서 대각선 꼭지점까지의 거리일 때이다. 가중치를 적용한 새로운 임계값 δm_ new 를 식으로 나타내면 아래 수학식 5와 같다.
Figure 112012106800912-pat00009
여기서, R은 영상 대각선의 길이를 나타내고, m = 1~M , M은 선의 개수를 나타내며, ψ는 사용자 파라미터이다.
상기와 같이 영상의 중심에서부터 선의 거리에 따라 임계값에 가중치를 줌으로써 새로운 임계값 δm_ new를 산출할 수 있고, 이를 통해 보다 정확한 매개변수 Gi를 획득함으로써 보다 정확한 영상 보정이 가능하게 된다.
영상보정 모듈(125)은 상기와 같은 과정을 통해 획득된 매개변수를 이용하여 영상의 휘어짐 현상을 보정할 수 있다.
상기 모바일 매핑 장치(100)는 상기와 같은 과정을 통해 영상을 보정하고, 보정된 영상은 데이터 처리 모듈(500)로 전송된다.
도 5는 본 발명이 적용되는 일실시예로서, 데이터 처리 모듈(500)의 개략적인 내부 블록도를 나타낸다.
상기 데이터 처리 모듈(500)은 객체 추출 모듈(501), 항공사진 추출 모듈(502), 객체위치결정 모듈(503), 좌표비교 모듈(504) 및 3차원 모델링 모듈(505)로 구성될 수 있다.
객체 추출 모듈(501)은 상기 모바일 매핑 장치(100)로부터 획득된 보정 영상으로부터 사용자가 원하는 대상 객체를 추출하고 상기 대상 객체의 좌표 정보를 획득할 수 있다. 상기 대상 객체를 추출하기 위해 서치 영역을 설정하고, 상기 서치 영역에 따라 상기 보정 영상으로부터 대상 객체를 추출할 수 있다. 이 때, 상기 대상 객체는 상기 보정 영상의 각 픽셀 RGB값을 이용할 수 있으며, 예를 들어, 대상 픽셀과 인접한 8개의 픽셀 정수값을 확인함으로써 동일한 특성을 갖는 픽셀을 검출할 수 있다. 상기 과정을 통해 추출된 대상 객체가 복수개일 경우에는 대상 객체의 이전 위치에서 가장 가까운 거리의 객체가 선택될 수 있으며, 어떠한 대상 객체도 추출되지 않는 경우에는 사용자의 입력에 의해 객체가 선택될 수 있다.
객체위치결정 모듈(503)은 상기 객체 추출 모듈(501)로부터 추출된 대상 객체에 대하여 중심점을 결정함으로써 대상 객체의 좌표 정보를 획득할 수 있다. 상기 중심점은 아래 수학식 6에 의해 결정될 수 있다.
Figure 112012106800912-pat00010
Figure 112012106800912-pat00011
여기서, x, y는 중심점의 좌표를 나타내고, n은 x축 방향의 픽셀 개수, N은 y축 방향의 픽셀 개수를 나타낸다.
항공사진 추출 모듈(502)은 상기 항공사진 데이터베이스(400)로부터 해당 영상에 대응되는 항공사진 좌표 정보를 추출할 수 있다. 이때, 상기 항공사진 추출 모듈(502)은 상기 GPS 수신 모듈(140)로부터 획득된 위치 정보에 따라 상기 위치 정보에 대응되는 해당 영상을 상기 항공사진 데이터베이스(400)로부터 추출할 수 있다.
좌표비교 모듈(504)은 상기 객체위치결정 모듈(503)로부터 획득된 대상 객체의 좌표 정보와 상기 항공사진 추출 모듈(502)로부터 획득된 항공사진 좌표 정보를 비교함으로써 객체들 간의 매칭 여부를 확인할 수 있다. 예를 들어, 서로 다른 방향과 크기를 갖는 영상들로부터 크기와 회전에 불변한 공통점들을 추출함으로써 매칭 여부를 확인할 수 있다. 상기 항공사진 데이터베이스(400)로부터 추출된 항공사진 영상을 다양한 분산값을 갖는 가우시안 필터에 통과시키고, 통과된 영상들을 스케일에 따라 순차적으로 감산하여 오차 영상을 생성할 수 있다. 이는 아래 수학식 7에 의해 수행될 수 있다.
Figure 112012106800912-pat00012
Figure 112012106800912-pat00013
여기서, L(x,y,σ)는 가우시안 필터를 통과한 영상의 함수값을 나타내고, G(x,y,σ)는 가우시안 필터를 나타내며, D(x,y,σ)는 스케일된 영상과의 차이값을 나타낸다. 상기 생성된 오차 영상으로부터 극값(최대, 최소값)에 해당하는 픽셀의 위치를 추출할 수 있다. 여기서, 상기 극값(최대, 최소값)에 해당하는 픽셀의 위치는 선택된 픽셀값이 그에 이웃하는 8개의 픽셀과 스케일된 상,하 영상의 9개 픽셀씩, 총 26개의 픽셀값보다 크거나 작을 경우로 결정된다. 즉, 상기 극값(최대, 최소값)에 해당하는 픽셀이 공통점으로써 추출될 수 잇다. 상기 추출된 공통점들 중에서 노이즈 제거 및 강한 에지 성분을 제거하고, 남은 공통점들에 대하여 방향 정보 및 크기를 설정한다. 방향 정보와 크기는 각각 아래 수학식 8 및 수학식 9에 의해 결정된다.
Figure 112012106800912-pat00014
Figure 112012106800912-pat00015
상기 공통점을 중심으로 16x16 블록을 설정하고, 블록 내의 각 픽셀에 대하여 변화 방향을 측정한다. 상기 변화 방향은 변화 기울기에 비례하도록 설정되며, 변화 기울기가 클수록 변화 방향의 확률분포도 커지게 된다. 상기 변화 방향에 대한 확률분포는 8개의 방향으로 구분되어 저장되고, 이는 16x16 블록에 대하여 128 차원의 벡터 형태로 표현된다. 이와 같이 얻어진 상기 항공사진 영상의 공통점 벡터 정보와 상기 보정 영상의 공통점 벡터 정보를 비교하여 객체들 간의 매칭 여부를 확인할 수 있다. 그리고, 상기 매칭 확인 결과에 기초하여 상기 대상 객체의 좌표 정보를 추출할 수 있다.
본 발명이 적용되는 다른 실시예로서, 상기 대상 객체 식별을 위해 필터링을 이용할 수 있다. 먼저, 영상 내 객체의 경계 영역을 확인하고 상기 경계 영역의 기하학적 특성을 이용하여 대상 객체를 식별할 수 있다. 예를 들어, 건물, 간판, 가로수 등은 각각의 기하학적 특성을 가지고 있으므로, 상기 건물, 간판, 가로수 등을 이루는 선분과 각 선분이 만나는 모서리의 점들만을 추출하여 비교함으로써 대상 객체를 식별할 수 있다.
3차원 모델링 모듈(505)은 상기 대상 객체의 좌표 정보를 이용하여 3차원 좌표 정보를 모델링할 수 있다. 도 6은 본 발명이 적용되는 일실시예로서, 대상 객체의 좌표 정보를 이용하여 3차원 좌표 정보를 모델링하는 방법을 설명하기 위한 도면이다.
상기 도 6을 참조하면, 3차원 좌표 정보를 모델링하기 위하여 먼저 두 대의 좌우 카메라가 객체를 촬영하고 있다고 가정할 때, 삼각형의 내각과 좌우 카메라로부터 객체까지의 거리를 아래 수학식 10 내지 17을 이용하여 구할 수 있다.
Figure 112012106800912-pat00016
Figure 112012106800912-pat00017
Figure 112012106800912-pat00018
Figure 112012106800912-pat00019
Figure 112012106800912-pat00020
대상 객체 O의 3차원 좌표 (X_o, Y_o, Z_o)는 아래 수학식 15 내지 17에 의해 획득될 수 있으며, 이 중 Z_o 좌표는 좌측 카메라로부터 획득된 영상의 Y_l 좌표와 우측 카메라로부터 획득된 영상 Y_r 좌표의 평균값, 초점거리 정보 및 객체까지의 Y축 상 거리를 이용하여 획득할 수 있다.
Figure 112012106800912-pat00021
Figure 112012106800912-pat00022
Figure 112012106800912-pat00023
상기 수학식 15 내지 17에 의해 획득된 대상 객체 O의 3차원 좌표 (X_o, Y_o, Z_o)를 이용하여 3차원 공간 모델링을 수행할 수 있게 된다.
도 7은 본 발명이 적용되는 일실시예로서, 3차원 공간 모델링 방법을 설명하기 위한 흐름도이다.
먼저, 모바일 매핑 장치(100) 내 촬영 영상 획득 모듈(110)은 좌안 영상 카메라와 우안 영상 카메라로 구성되어 있고, 이들 카메라로부터 각각 좌안 영상과 우안 영상을 획득할 수 있다(S710). 그리고, GPS 수신 모듈(140)로부터 상기 모바일 매핑 장치(100) 내의 카메라, 즉 획득된 좌안 영상과 우안 영상의 현재 위치 정보를 획득하고, 관성 측정 모듈(130)로부터 상기 카메라의 수평 정보를 획득할 수 있다(S720).
영상 처리 모듈(120) 내 매개변수 추출 모듈(121)은 상기 카메라의 수평 정보 및 상기 현재 위치 정보를 이용하여 영상 보정을 위한 매개변수를 추출할 수 있다(S730). 이때, 필터링 모듈(123)은 상기 매개변수 추출시 가중치가 적용된 임계값을 이용하여 필터링을 수행할 수 있다(S740). 영상 보정 모듈(125)은 필터링까지 수행된 매개변수를 이용하여 영상 보정을 수행할 수 있다(S750).
데이터 처리 모듈(500) 내 객체추출 모듈(501)은 상기 모바일 매핑 장치(100)로부터 상기 보정된 영상을 전송받아 대상 객체를 추출할 수 있다(S760). 그리고, 객체 위치 결정 모듈(503)은 상기 추출된 대상 객체에 대하여 중심점을 결정함으로써 대상 객체의 좌표 정보를 획득할 수 있다(S770).
좌표 비교 모듈(504)은 상기 획득된 대상 객체의 좌표 정보와 그에 대응되는 항공사진의 좌표 정보를 비교함으로써 매칭 여부를 확인할 수 있다(S780).
3차원 모델링 모듈(505)은 상기 대상 객체의 좌표 정보를 이용하여 3차원 공간 모델링을 수행할 수 있다(S790).
도 8은 본 발명이 적용되는 일실시예로서, 3차원 공간 모델링을 위해 카메라로부터 획득된 영상을 보정하는 방법을 설명하기 위한 흐름도이다.
먼저, 촬영 영상 획득 모듈(110)로부터 획득된 영상 정보로부터 커브를 검출할 수 있다(S810). 상기 검출된 커브 중 3차원 좌표 상에서 직선이 아닌 선들을 제 1 보정 그룹을 설정할 수 있다(S820). 상기 영상 정보로부터 상기 설정된 제 1 보정 그룹에 해당하는 선들을 제거할 수 있다(S830).
그리고, 상기 제 1 보정 그룹이 제거된 영상으로부터 3차원 좌표 상에서 중심점으로부터 기설정된 임계값을 초과하는 선들을 검출하여 이를 제 2 보정 그룹으로 설정할 수 있다(S840). 이때, 좀더 정밀한 임계값을 재설정하기 위해 영상 중심점에서 곡선에 이르는 거리에 따라 가중치를 적용하여 새로운 임계값을 재설정할 수 있다. 재설정된 임계값에 기초하여 상기 제 2 보정 그룹을 설정할 수 있다. 상기 영상 정보로부터 상기 설정된 제 2 보정 그룹에 해당하는 선들을 제거할 수 있다(S850).
상기 제 2 보정 그룹이 제거된 영상으로부터 매개변수를 추출할 수 있다(S860). 상기 추출된 매개변수를 이용하여 역변환을 수행함으로써 영상 보정을 수행할 수 있다(S870).
도 9는 본 발명이 적용되는 일실시예로서, 3차원 공간 모델링을 위해 보정된 영상으로부터 대상 객체의 좌표 정보를 획득하기 위한 방법을 설명하기 위한 흐름도이다.
객체위치결정 모듈(503)로부터 획득된 대상 객체의 영상 정보를 추출할 수 있다(S910). 그리고, 항공사진 데이터베이스(400)로부터 상기 보정된 영상에 대응되는 항공사진의 좌표 정보를 획득할 수 있다(S920). 상기
상기 대상 객체의 영상 정보와 상기 항공사진 좌표 정보를 비교함으로써 객체들 간의 매칭 여부를 확인할 수 있다. 예를 들어, 서로 다른 방향과 크기를 갖는 영상들로부터 크기와 회전에 불변한 공통점들을 추출함으로써 매칭 여부를 확인할 수 있다. 상기 항공사진 영상을 가우시안 필터에 통과시키고, 통과된 영상들을 스케일에 따라 순차적으로 감산하여 오차 영상을 생성할 수 있다(S930).
상기 생성된 오차 영상으로부터 극값(최대, 최소값)에 해당하는 픽셀의 위치를 추출하여 공통점으로 설정할 수 있다(S940). 상기 추출된 공통점들 중에서 노이즈 제거 및 강한 에지 성분을 제거하고, 남은 공통점들에 대하여 방향 정보 및 크기를 설정함으로써 공통점 벡터 정보를 생성할 수 있다(S950).
이와 같이 얻어진 상기 항공사진 영상의 공통점 벡터 정보와 보정 영상의 공통점 벡터 정보를 비교함으로써 객체들 간의 매칭 여부를 확인할 수 있다. 그리고, 상기 매칭 확인 결과에 기초하여 상기 대상 객체의 좌표 정보를 획득할 수 있다(S960).
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.

Claims (1)

  1. 복수개의 센서에 의해 획득된 대상 객체의 좌표 정보를 이용하여 3차원 공간 데이터를 획득하는 공간영상처리 시스템에 있어서,
    복수개의 카메라로부터 영상 정보를 획득하는 촬영 영상 획득 모듈; 인공 위성으로부터 GPS 정보를 수신하여 상기 카메라의 현재 위치 정보를 획득하는 GPS 수신 모듈; 상기 복수개의 센서를 이용하여 상기 카메라의 수평 정보를 획득하는 관성 측정 모듈; 상기 영상 정보, 현재 위치 정보 및 수평 정보에 기초하여 상기 영상 정보를 보정하는 영상 처리 모듈; 상기 영상 정보, 현재 위치 정보 및 수평 정보를 상기 영상 처리 모듈로 전송할 수 있도록 제어하는 컨트롤 모듈; 및 상기 영상 정보를 저장하는 버퍼를 포함하는 모바일 매핑 장치;
    상기 모바일 매핑 장치로부터 상기 영상 정보를 수신하여 저장하거나 외부 데이터베이스로부터 항공사진 데이터를 수신하여 저장하는 항공사진 데이터베이스;
    상기 영상 처리 모듈에서 획득된 보정 영상으로부터 대상 객체를 추출하는 객체 추출 모듈; 상기 추출된 대상 객체의 중심점에 기초하여 상기 대상 객체의 좌표 정보를 획득하는 객체 위치 결정 모듈; 상기 항공사진 데이터베이스로부터 상기 영상 정보에 대응되는 항공사진의 좌표 정보를 추출하는 항공사진 추출 모듈; 상기 대상 객체의 좌표 정보와 상기 항공사진의 좌표 정보를 비교하여 객체들 간의 매칭 여부를 확인하되, 상기 매칭 여부 확인은 서로 다른 값의 촬영된 카메라 방향 정보와 해상도를 나타내는 픽셀의 크기 정보를 갖는 영상들로부터 크기와 방향에 불변한 공통점을 추출함으로써 수행되고, 상기 공통점의 픽셀 크기는, 수학식
    Figure 112013076719749-pat00024
    (여기서, L(x,y)는 입력된 영상에 대해 가우시안 필터링을 통과한 영상의 함수값을 나타내고, (x,y)는 상기 입력된 영상 내의 픽셀 좌표를 나타냄)에 의해 획득되고, 상기 공통점의 방향 정보는, 수학식
    Figure 112013076719749-pat00025
    (여기서, L(x,y)는 입력된 영상에 대해 가우시안 필터링을 통과한 영상의 함수값을 나타내고, (x,y)는 상기 입력된 영상 내의 픽셀 좌표를 나타냄)에 의해 획득되는 좌표비교 모듈; 및 상기 매칭 여부 확인 결과로부터 획득된 대상 객체의 좌표 정보를 이용하여 3차원 공간 데이터를 획득하는 3차원 모델링 모듈을 포함하는 데이터 처리 모듈;
    사용자로부터 공간 모델링 서비스에 대한 요청 정보를 수신하여 모바일 매핑 장치, 항공사진 데이터베이스 및 데이터 처리 모듈로 전송하고, 상기 데이터 처리 모듈로부터 획득된 3차원 공간 데이터를 사용자에게 송신하는 통신 모듈; 및
    상기 버퍼에 저장된 데이터를 상기 영상 처리 모듈 또는 상기 데이터 처리 모듈로 전송하여 업데이트를 수행하는 업데이트 모듈
    을 포함하되,
    상기 관성측정 모듈은 100Hz 간격으로 데이터를 로깅하고, 상기 GPS 수신 모듈은 1Hz 간격으로 데이터를 로깅하는 것을 특징으로 하는 공간영상처리 시스템.
KR1020120151582A 2012-12-22 2012-12-22 복수개의 센서에 의해 획득된 대상 객체의 좌표 정보를 이용하여 3차원 공간 데이터를 획득하는 공간영상처리 시스템 KR101332093B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120151582A KR101332093B1 (ko) 2012-12-22 2012-12-22 복수개의 센서에 의해 획득된 대상 객체의 좌표 정보를 이용하여 3차원 공간 데이터를 획득하는 공간영상처리 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120151582A KR101332093B1 (ko) 2012-12-22 2012-12-22 복수개의 센서에 의해 획득된 대상 객체의 좌표 정보를 이용하여 3차원 공간 데이터를 획득하는 공간영상처리 시스템

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020120122761A Division KR101234917B1 (ko) 2012-10-31 2012-10-31 가중치 적용된 임계값에 의한 영상 보정을 이용하는 3차원 공간 데이터 생성 방법 및 시스템

Related Child Applications (2)

Application Number Title Priority Date Filing Date
KR1020130063182A Division KR101879858B1 (ko) 2013-06-01 2013-06-01 보정 영상으로부터 추출된 대상 객체의 좌표 정보와 항공사진의 좌표 정보를 비교하여 공통점을 추출함으로써 공간데이터를 모델링하는 공간 모델링 시스템
KR1020130063181A Division KR101332164B1 (ko) 2013-06-01 2013-06-01 복수개의 카메라로부터 획득된 영상 정보로부터 커브 성분을 제거함으로써 영상 보정을 수행하는 3차원 공간데이터 보정 시스템

Publications (1)

Publication Number Publication Date
KR101332093B1 true KR101332093B1 (ko) 2013-11-25

Family

ID=49858273

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120151582A KR101332093B1 (ko) 2012-12-22 2012-12-22 복수개의 센서에 의해 획득된 대상 객체의 좌표 정보를 이용하여 3차원 공간 데이터를 획득하는 공간영상처리 시스템

Country Status (1)

Country Link
KR (1) KR101332093B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140055898A (ko) * 2012-12-22 2014-05-09 (주)지오투정보기술 영상의 왜곡보정을 통해 공간모델링을 수행하는 수치지도제작 시스템
KR20140055937A (ko) * 2013-06-01 2014-05-09 (주)지오투정보기술 보정 영상으로부터 추출된 대상 객체의 좌표 정보와 항공사진의 좌표 정보를 비교하여 공통점을 추출함으로써 공간데이터를 모델링하는 공간 모델링 시스템
CN112270320A (zh) * 2020-11-16 2021-01-26 云南电网有限责任公司昆明供电局 一种基于卫星影像校正的输电线路杆塔坐标校准方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030083048A (ko) * 2002-04-19 2003-10-30 주식회사 지피에스코리아 이동식 매핑시스템 및 그 영상처리방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030083048A (ko) * 2002-04-19 2003-10-30 주식회사 지피에스코리아 이동식 매핑시스템 및 그 영상처리방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140055898A (ko) * 2012-12-22 2014-05-09 (주)지오투정보기술 영상의 왜곡보정을 통해 공간모델링을 수행하는 수치지도제작 시스템
KR101879855B1 (ko) * 2012-12-22 2018-07-19 (주)지오투정보기술 영상의 왜곡보정을 통해 공간모델링을 수행하는 수치지도제작 시스템
KR20140055937A (ko) * 2013-06-01 2014-05-09 (주)지오투정보기술 보정 영상으로부터 추출된 대상 객체의 좌표 정보와 항공사진의 좌표 정보를 비교하여 공통점을 추출함으로써 공간데이터를 모델링하는 공간 모델링 시스템
KR101879858B1 (ko) * 2013-06-01 2018-07-19 (주)지오투정보기술 보정 영상으로부터 추출된 대상 객체의 좌표 정보와 항공사진의 좌표 정보를 비교하여 공통점을 추출함으로써 공간데이터를 모델링하는 공간 모델링 시스템
CN112270320A (zh) * 2020-11-16 2021-01-26 云南电网有限责任公司昆明供电局 一种基于卫星影像校正的输电线路杆塔坐标校准方法
CN112270320B (zh) * 2020-11-16 2023-08-22 云南电网有限责任公司昆明供电局 一种基于卫星影像校正的输电线路杆塔坐标校准方法

Similar Documents

Publication Publication Date Title
KR101879855B1 (ko) 영상의 왜곡보정을 통해 공간모델링을 수행하는 수치지도제작 시스템
KR101931819B1 (ko) 영상 정보와 항공사진 데이터를 비교하여 대상 객체를 결정하고 카메라 획득정보를 이용하여 대상 객체의 3차원 좌표를 획득하는 수치지도 제작 시스템
US7733342B2 (en) Method of extracting 3D building information using shadow analysis
KR101234961B1 (ko) 항공사진과 MMS(Mobile Mapping System) 기술을 이용한 자동 3D 공간 모델링 방법 및 시스템
CN106960454B (zh) 景深避障方法、设备及无人飞行器
JP6100380B2 (ja) 特に装置に係る視覚ベースの位置決めに使用される画像処理方法
US10909395B2 (en) Object detection apparatus
CN109255808B (zh) 基于倾斜影像的建筑物纹理提取方法和装置
CN106871906B (zh) 一种盲人导航方法、装置及终端设备
KR101234917B1 (ko) 가중치 적용된 임계값에 의한 영상 보정을 이용하는 3차원 공간 데이터 생성 방법 및 시스템
WO2011163454A1 (en) Method and apparatus for image-based positioning
KR101942288B1 (ko) 위치 보정 장치 및 방법
KR101332042B1 (ko) 카메라의 위치 정보와 수평 정보를 이용하여 공간 영상을 처리하는 공간 영상 처리 시스템
KR101277427B1 (ko) 매개변수를 이용하여 영상 데이터를 왜곡보정하고, 보정된 영상 데이터와 항공사진 데이터를 비교하는 수치지도 제작 방법 및 시스템
KR101255461B1 (ko) 도로시설물 자동 위치측정 방법
KR101879859B1 (ko) 영상 왜곡 매개변수를 이용하여 촬영 영상을 보정하는 영상 처리 시스템
KR101332093B1 (ko) 복수개의 센서에 의해 획득된 대상 객체의 좌표 정보를 이용하여 3차원 공간 데이터를 획득하는 공간영상처리 시스템
KR101879858B1 (ko) 보정 영상으로부터 추출된 대상 객체의 좌표 정보와 항공사진의 좌표 정보를 비교하여 공통점을 추출함으로써 공간데이터를 모델링하는 공간 모델링 시스템
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
KR101720761B1 (ko) 엠엠에스 및 다방향 경사 항공사진을 이용한 3차원 공간정보 구축시스템
KR101332077B1 (ko) Gps정보와 센서에 의한 수평정보를 이용하여 영상보정을 수행하는 3차원좌표 생성 시스템
KR102475790B1 (ko) 지도제작플랫폼장치 및 이를 이용한 지도제작방법
KR101459522B1 (ko) 모바일 기반의 부가정보를 이용한 위치 보정 방법
CN111553342B (zh) 一种视觉定位方法、装置、计算机设备和存储介质
KR100981588B1 (ko) 특징점 픽셀의 크기와 방향 정보를 이용하는 벡터 변환에 기초한 도시공간 지리정보 생성 시스템

Legal Events

Date Code Title Description
A107 Divisional application of patent
A107 Divisional application of patent
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160909

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171110

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180921

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191010

Year of fee payment: 7