KR101224830B1 - 지리 참조 영상 획득을 위한 휴대용 멀티센서 시스템 및 그 방법 - Google Patents

지리 참조 영상 획득을 위한 휴대용 멀티센서 시스템 및 그 방법 Download PDF

Info

Publication number
KR101224830B1
KR101224830B1 KR1020100139126A KR20100139126A KR101224830B1 KR 101224830 B1 KR101224830 B1 KR 101224830B1 KR 1020100139126 A KR1020100139126 A KR 1020100139126A KR 20100139126 A KR20100139126 A KR 20100139126A KR 101224830 B1 KR101224830 B1 KR 101224830B1
Authority
KR
South Korea
Prior art keywords
image
data
initial
point coordinates
ground point
Prior art date
Application number
KR1020100139126A
Other languages
English (en)
Other versions
KR20120077236A (ko
Inventor
이임평
이지훈
최경아
Original Assignee
서울시립대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울시립대학교 산학협력단 filed Critical 서울시립대학교 산학협력단
Priority to KR1020100139126A priority Critical patent/KR101224830B1/ko
Publication of KR20120077236A publication Critical patent/KR20120077236A/ko
Application granted granted Critical
Publication of KR101224830B1 publication Critical patent/KR101224830B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D5/00—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable
    • G01D5/26—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D18/00—Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
    • G01D18/002—Automatic recalibration
    • G01D18/006—Intermittent recalibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D9/00—Recording measured values

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Navigation (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

본 발명은 항공 또는 지상 플랫폼의 이용없이 비디오카메라와 GPS/MEMS IMU를 결합하여 언제 어디서나 사용자가 원하는 위치 및 방향에서 센서 데이터를 획득할 수 있으며, 획득된 센서 데이터에 지상 기준점 없이 Bundle Block Adjustment 기반의 Aerial Triangulation을 수행하여 지리참조(georeferenced) 영상을 획득할 수 있는 휴대성 높은 휴대용 멀티센서 시스템 및 그 방법에 관한 것이다.

Description

지리 참조 영상 획득을 위한 휴대용 멀티센서 시스템 및 그 방법{Portable Multi-Sensor System for Acquiring Georeferenced Images and Method thereof}
본 발명은 휴대용 멀티센서 시스템 및 그 방법에 관한 것으로서, 항공 또는 지상 플랫폼의 이용없이 비디오카메라와 GPS/MEMS IMU를 결합하여 언제 어디서나 사용자가 원하는 위치 및 방향에서 센서 데이터를 획득할 수 있으며, 획득된 센서 데이터에 지상 기준점 없이 Bundle Block Adjustment 기반의 Aerial Triangulation을 수행하여 지리참조(georeferenced) 영상을 획득할 수 있는 휴대성 높은 휴대용 멀티센서 시스템 및 그 방법에 관한 것이다.
최근 Google Map이나 Virtual Earth와 같은 다양한 공간정보 컨텐츠를 제공하는 포탈 서비스가 증가하면서 이러한 컨텐츠 개발을 위하여 센서 데이터를 신속 정확하게 획득하기 위한 연구가 활발히 이루어지고 있다. 특히 항공 또는 지상 플랫폼에 카메라 및 GPS/INS등의 센서를 탑재하여 멀티센서 데이터 획득 시스템 개발에 관한 연구가 수행되고 있으며 실제 데이터 획득에 활용되고 있다. Eugster 등은 무인항공기에 멀티센서를 탑재하여 영상 및 위치/자세 데이터를 획득하고, direct georeferencing된 영상을 virtual globe에 증강시키는 연구를 수행하였다. Mordohal 등은 지상 모바일 매핑시스템으로부터 획득한 멀티센서 데이터를 이용하여 실시간으로 깊이 영상(depth image)을 생성하는 연구를 수행하였다.
하지만 유무인 항공기나 지상 차량을 이용한 센서 데이터 획득은 플랫폼의 특성상 운용환경의 제약이 따르고 운용에 소요되는 시간 및 구축비용이 상당히 높다. 최근에는 플랫폼 없이 멀티센서를 결합하여 사용자가 원하는 위치 및 방향에서 데이터를 획득하기 위한 연구들이 진행되고 있다.
그러나, 기존의 플랫폼 없는 멀티센서 시스템에 관한 연구들은에서도 영상과 위치/자세 데이터로부터 어느 위치에서 어느 방향으로 영상을 획득하였는지에 관한 정보만 제공해 주는 연구가 대부분이며 외부표정요소를 direct georeferencing을 통하여 결정함으로써 GPS/IMU의 측정오차가 그대로 외부표정요소에 전파되는 한계가 있다. Bundle Adjustment기반의 indirect georeferencing은 위치/자세 데이터의 오차를 보정하여 보다 정밀한 외부표정요소 및 지상점의 좌표를 추정할 수 있도록 하지만, 기존의 연구들은 Bundle Adjustment 수행 시 지상기준점 정보를 요구하므로 센서 데이터의 획득과 별도의 기준점 측량을 수행하여야 하는 문제점이 있다.
따라서, 본 발명은 상술한 문제점을 해결하기 위한 것으로서, 본 발명의 목적은, 항공 또는 지상 플랫폼의 이용없이 비디오카메라와 GPS/MEMS IMU를 결합하여 언제 어디서나 사용자가 원하는 위치 및 방향에서 센서 데이터를 획득할 수 있는 휴대성 높은 휴대용 멀티센서 시스템 및 그 방법을 제공하는 데 있다.
또한, 획득된 센서 데이터에 지상 기준점 없이 Bundle Block Adjustment 기반의 Aerial Triangulation을 수행하여 지리참조(georeferenced) 영상을 획득하는 휴대성 높은 휴대용 멀티센서 시스템 및 그 방법을 제공하는 데 있다.
먼저, 본 발명의 특징을 요약하면, 본 발명의 일면에 따른, 멀티 센서를 이용하여 지리참조(georeferenced) 영상을 획득하기 위한 휴대용 멀티센서 시스템은, 일정 시간 동안의 동영상을 촬영하여 영상 데이터를 제1 저장수단에 저장하는 카메라; 상기 카메라의 시간별 자세 데이터를 획득하여 제2 저장수단에 저장하는 IMU(inertial measurement unit); 상기 카메라의 시간별 위치 데이터를 획득하여 상기 제2 저장수단에 저장하는 GPS(Global Position System); 상기 자세 데이터 및 위치 데이터를 획득한 시간에 대한 영상 데이터를 샘플링하여 서로 동기화된 영상 데이터와 해당 자세 데이터 및 위치 데이터를 출력하는 시간 동기화부; 및 동기화된 상기 영상 데이터의 각 영상에 대하여, 동기화된 해당 자세 데이터 및 위치 데이터를 변환한 초기 외부표정요소를 이용하여 초기 지상점 좌표를 생성하고 각 영상에 대한 최종 외부표정요소 및 지상점 좌표를 추정하는 영상 추정부를 포함한다.
상기 영상 추정부는, 자세 데이터와 상기 IMU의 로컬 좌표계 상의 좌표로 변환된 위치 데이터를 상기 카메라의 좌표계 상의 자세 데이터 및 위치 데이터로 보정하여 영상 데이터에 대하여 불일치가 최소화된 상기 초기 외부표정요소를 생성한다.
상기 영상 추정부는, 각 영상에서 소정 지상 객체에 대한 영상점 좌표인 공액점 좌표를 산출하며, 상기 초기 외부표정요소와 상기 공액점 좌표를 이용해 공선방정식 상에서 소정 투영중심과 상기 공액점 좌표를 지나는 복수의 직선들이 최소 제곱법을 통해 가장 오차가 작은 근접 범위에서 만나는 점을 상기 초기 지상점 좌표로 생성한다.
상기 영상 추정부는, 상기 초기 외부표정요소와 상기 초기 지상점 좌표를 기초로 Bundle Block Adjustment기반의 무기준점 AT(Aerial Triangulation)를 수행하여, 상기 최종 외부표정요소 및 지상점 좌표를 추정한다.
상기 영상 추정부는, 상기 초기 외부표정요소를 제약조건으로하여, 하기 [수학식 2]를 복수회 계산하여 상기 초기 외부표정요소와 상기 초기 지상점 좌표가 수렴되는 상기 최종 외부표정요소 및 지상점 좌표를 추정할 수 있다.
본 발명에 따른 휴대용 멀티센서 시스템 및 그 방법에 따르면, 항공 또는 지상 플랫폼의 이용없이 비디오카메라와 GPS/MEMS IMU를 결합하여 언제 어디서나 사용자가 원하는 위치 및 방향에서 센서 데이터를 획득할 수 있다.
또한, 획득된 센서 데이터에 지상 기준점 없이 Bundle Block Adjustment 기반의 Aerial Triangulation을 수행하여 지리참조(georeferenced) 영상을 획득할 수 있다.
도 1은 본 발명의 일실시예에 따른 휴대용 멀티센서 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 휴대용 멀티센서 시스템의 실제 구현 예이다.
도 3은 본 발명의 일실시예에 따른 휴대용 멀티센서 시스템의 동작을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일실시예에 따른 내부 표정 요소의 일레이다.
도 5는 위치/자세 데이터와 영상 데이터의 시간 동기화를 설명하기 위한 도면이다.
도 6은 위치/자세 데이터의 좌표계를 설명하기 위한 도면이다.
도 7은 로컬 좌표계와 카메라 좌표계 간의 관계를 설명하기 위한 도면이다.
도 8은 초기 지상점 생성을 설명하기 위한 도면이다.
도 9는 실험에서 추정된 지상점을 설명하기 위한 도면이다.
도 10은 실험에서 추정된 지상점과 기준점의 상대 좌표를 설명하기 위한 도면이다.
도 11은 실험에서 추정된 지상점과 기준점의 오차를 설명하기 위한 도면이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 발명의 일실시예에 따른 휴대용 멀티센서 시스템(100)을 설명하기 위한 도면이다. 도 2는 본 발명의 일실시예에 따른 휴대용 멀티센서 시스템(100)의 실제 구현 예이다.
도 1과 도 2를 참조하면, 본 발명의 일실시예에 따른 휴대용 멀티센서 시스템(100)은, 카메라(110), 메모리(111), IMU(120), GPS(130), UMPC(121), 시간 동기화부(140), 및 영상 추정부(150)를 포함한다.
카메라(110)는 CCD(Charge Coupled Device) 이미지 센서 등을 이용하여 동영상을 촬영하여 영상 데이터를 획득하고 메모리(111)에 저장한다. 예를 들어, 카메라(110)는 2304×1296(pixels) 해상도의 동영상을 30Hz로 획득할 수 있다. 다만, 이에 한정되지 않으며 다양한 동영상 촬영 카메라가 이용될 수 있다.
IMU(inertial measurement unit)(120)는 MEMS 자이로스코프를 이용한 관성 측정 수단으로서 자세 데이터(예를 들어, 로컬 좌표계에서 카메라(110) 촬영방향의 회전각)를 획득하여 대용량 저장 수단인 UMPC(Ultra Mobile PC)(111)에 저장한다. 예를 들어, IMU(120)는 roll/pitch는 0.5°, heading은 1°의 자세측정오차 범위의 자세 데이터를 100Hz로 획득할 수 있다. 다만, 이에 한정되지 않으며 다양한 관성 측정 수단을 이용하여 자세 데이터를 획득할 수 있다.
GPS(Global Position System)(130)는 위치 데이터(예를 들어, WGS84좌표계의 측지좌표로서, 위도, 경도, 고도 등)를 획득하여 UMPC(Ultra Mobile PC)(111)에 저장한다. 예를 들어, GPS(130)는 약 2.5m의 위치측정오차 범위의 위치 데이터를 생성할 수 있다.
여기서, 카메라(110), IMU(120), 및 GPS(130)는 단단히 고정되며, GPS(130)의 위치 데이터가 약 2.5m의 위치측정오차를 갖기 때문에 GPS(130)의 중심과 카메라(110)의 렌즈의 중심이 일치한다고 가정하고, IMU(120)의 자세 데이터 역시 카메라(110)의 자세 데이터와 동일하다고 가정한다.
시간 동기화부(140)는 메모리(111)에 저장된 데이터(영상 데이터)와 UMPC(121)에 저장된 데이터(자세 데이터 및 위치 데이터) 간의 시간 동기화를 수행하여 서로 동기화된 영상 데이터와 자세 데이터/위치 데이터를 출력한다.
영상 추정부(150)는 위와 같이 동기화된 데이터와 카메라(110) 보정을 통해 미리 획득된 내부 표정 요소를 입력받아, 각 영상의 외부표정요소 및 지상점 좌표를 추정한다. 즉, 영상 추정부(150)는 위와 같이 획득된 위치 데이터와 자세 데이터 간의 좌표계를 일치시키고 내부표정요소를 이용하여 카메라(110) 좌표계와의 관계를 설정함으로써 초기 외부표정요소를 결정하고, 각 영상 데이터에서 공액점 좌표를 획득하여 초기 외부표정요소를 기초로 초기 지상점 좌표를 생성하며, 초기 외부표정요소와 초기 지상점 좌표를 기초로 Bundle Block Adjustment기반의 무기준점 AT(Aerial Triangulation)를 수행함으로써 각 영상의 외부표정요소 및 지상점 좌표를 추정한다.
이하, 도 3의 흐름도를 참조하여, 본 발명의 일실시예에 따른 휴대용 멀티센서 시스템(100)의 동작을 좀 더 자세히 설명한다.
먼저, 구축된 시스템(100)의 카메라(110)는 비측량용 카메라로서 내부표정요소를 알 수가 없기 때문에 데이터 획득에 앞서 카메라 보정을 실시하여 도 4와 같은 내부표정요소를 획득한다(S10). 카메라 보정은 Photomodeler Pro 5에서 지원하는 방식에 따라 진행할 수 있고, 카메라 검정판을 상하좌우 네 방향에서 2번씩 총 8번 촬영한 영상을 이용하여 카메라 보정을 위한 도 4와 같은 내부표정요소를 획득할 수 있다. 내부표정요소는, 예를 들어, 초점 길이, 렌즈와 CCD의 정렬 불일치를 나타내는 주점(principle point), format width(영상 폭), radial distortion, decentering distortion 등을 포함한다. 이는 외부표정요소(카메라(110) 자세 데이터 및 위치 데이터)와의 불일치를 최소화하기 위한 보정에 이용된다.
이와 같이 카메라(110)의 내부표정요소를 획득한 후, 카메라(110)는 동영상을 촬영하여 각 위치에서 촬영 시작 시간과 끝 시간 사이의 영상 데이터를 획득하고 메모리(111)에 저장한다(S20). 이하에서 영상 추정부(150)는 카메라(110)로부터 획득된 영상 데이터를 기초로 각 영상에서 지상 객체에 대한 영상점 좌표(즉, 공액점 좌표)를 획득할 수 있다(S21).
IMU(120)는 자세 데이터(예를 들어, 로컬 좌표계에서 카메라(110) 촬영방향의 회전각)를 획득하여 대용량 저장 수단인 UMPC(111)에 각 시간별로 저장하며(S30), GPS(130)는 위치 데이터(예를 들어, WGS84좌표계의 측지좌표로서, 위도, 경도, 고도 등)를 획득하여 UMPC(111)에 각 시간별로 저장하고(S31), 시간 동기화부(140)는 메모리(111)에 저장된 데이터(영상 데이터)와 UMPC(121)에 저장된 데이터(자세 데이터 및 위치 데이터) 간의 시간 동기화를 수행하여 서로 동기화된 영상 데이터와 자세 데이터/위치 데이터를 출력한다.
카메라(110)로 획득한 영상 데이터는 카메라(110)의 내장 또는 외장 메모리(111)에 저장되고, IMU(120)와 GPS(130)가 획득하는 자세 데이터 및 위치 데이터는 UMPC(121)에 저장되기 때문에, 시간 동기화부(140)는 두 저장 수단(111, 121)에 저장된 데이터간의 시간동기화를 수행한다. 예를 들어, 영상 데이터는 30Hz로 획득되고, 위치/자세 데이터는 100Hz로 획득되며, 시간 동기화부(140)는 동일 시간의 영상 데이터와 자세 데이터/위치 데이터를 샘플링하여 동기화된 영상 데이터와 자세 데이터/위치 데이터를 출력할 수 있다. 예를 들어, 도 5와 같이 해당 위치에 대한 동영상을 획득하는 시작과 끝 시간이 영상 데이터와 함께 메모리(111)에 저장될 수 있으며, 시간 동기화부(140)는 자세 데이터/위치 데이터를 획득한 시간(동일 할 수 있음.)(분, 초, 또는 일정 초 구간 단위 가능)에 대한 영상 데이터를 샘플링할 수 있다. 시간 동기화부(140)는 프레임 단위 등으로 동영상 데이터를 분할하여 촬영 시작과 끝 시간 사이에서 해당 프레임의 획득 시간에 대응되는 자세 데이터/위치 데이터를 샘플링할 수 있다.
이와 같은 시간 동기화 후에, 영상 추정부(150)는 위와 같이 동기화된 데이터와 카메라(110) 보정을 통해 미리 획득된 내부 표정 요소를 입력받아, 각 영상의 외부표정요소 및 지상점 좌표를 추정한다. 즉, 영상 추정부(150)는 위와 같이 획득된 위치 데이터와 자세 데이터 간의 좌표계를 일치시키고 내부표정요소를 이용하여 카메라(110) 좌표계와의 관계를 설정함으로써 초기 외부표정요소를 결정하고(S40), 각 영상 데이터에서 공액점 좌표를 획득하여 초기 외부표정요소를 기초로 초기 지상점 좌표를 생성하며(S50), 초기 외부표정요소와 초기 지상점 좌표를 기초로 Bundle Block Adjustment기반의 무기준점 AT(Aerial Triangulation)를 수행함으로써(S60) 각 영상의 외부표정요소 및 지상점 좌표를 추정한다(S70).
좀 더 구체적으로, S40 단계에서 영상 추정부(150)는 위와 같이 획득된 위치 데이터와 자세 데이터 간의 좌표계를 일치시키고 내부표정요소를 이용하여 카메라(110) 좌표계와의 관계를 설정함으로써 초기 외부표정요소를 결정한다. IMU(120)와 GPS(130)가 획득하는 자세 데이터 및 위치 데이터는 AT 수행을 위한 초기 외부표정요소로 이용되므로 동일한 지상좌표계 상에서 정의되어야 한다. 하지만 도 6과 같이, GPS(130)를 통해 획득되는 위치 데이터는 WGS84좌표계의 측지좌표(국제 기준 좌표계 기준)이고 IMU(120)를 통해 획득되는 자세 데이터는 로컬 좌표(측정 구역 좌표계 기준)에서의 회전각(예를 들어, 고도 산출의 기준이 되는 극각 polar angle)이다. 따라서, 영상 추정부(150)는 서로 다른 좌표계 상에서 정의된 두 데이터를 하나의 좌표계로 나타내기 위해 GPS(130)의 위치 데이터를 로컬 좌표계(IMU 좌표계) 상의 좌표로 변환한다. 또한, IMU(120)를 통해 획득된 자세 데이터는 로컬 좌표계(IMU 좌표계)에서의 회전각을 나타내므로 도 7과 같이 카메라(110) 좌표계로의 회전 변환(RI C)을 통해 로컬 좌표계와 카메라(110) 좌표계 간의 관계를 정의해준다. 즉, 영상 추정부(150)는 IMU(120)가 획득하는 자세 데이터와, 로컬 좌표계(IMU 좌표계) 상의 좌표로 변환된 GPS(130)의 위치 데이터를, 카메라(110) 좌표계 상의 자세 데이터 및 위치 데이터로 보정하되 이때 도 4와 같은 내부표정요소를 반영할 수 있다. 이와 같이 영상 추정부(150)는 영상 데이터에 대하여 불일치가 최소화된 초기 외부표정요소(카메라(110) 좌표계 상의 자세 데이터 및 위치 데이터)를 생성할 수 있다.
또한, 영상 추정부(150)는 카메라(110)로부터 획득된 영상 데이터를 기초로 각 영상에서 지상 객체에 대한 영상점 좌표(즉, 공액점 좌표)를 획득할 수 있으며(S21), S50단계에서 영상 추정부(150)는 각 영상 데이터에서 획득된 공액점 좌표를 이용하여 위와 같은 초기 외부표정요소를 기초로 초기 지상점 좌표를 생성할 수 있다.
여기서, 공액점 좌표는 추후 정확도 검증을 수행하기 위해 지상 기준점에 상응하는 점으로 획득될 수 있다. 영상 추정부(150)는 해당 지상점이 존재하는 각 영상의 외부표정요소와 공액점 좌표를 공선방정식에 대입하여 개별 영상의 투영중심(EO)과 영상점(공액점)을 지나는 직선을 생성한다. 도 8과 같이, 공선방정식은 영상의 투영중심(Perspective Center), 하나의 지상점, 및 지상점을 나타내는 영상점(공액점)이 하나의 직선 상에 존재할 때 만족하는 식일 수 있다. 즉, 투영중심(EO)과 영상점(공액점) 및 해당 지상점은 모두 한 점에서 만나야 한다. 그러나 도 8과 같이, 동일 지상점이라 하더라도 외부표정요소와 영상점(공액점) 좌표의 오차로 인해 하나의 지상점에서 만나지 않게 된다. 그러므로 영상 추정부(150)는 각 영상 데이터에서 획득된 공액점 좌표를 이용하여 위와 같은 초기 외부표정요소를 기초로 초기 지상점 좌표를 생성하되, 최소 제곱법(method of least squares)을 이용하여 하나의 지상점에 대하여 투영중심(EO)과 영상점(공액점)을 지나는 복수의 모든 직선들이 가장 오차가 작은 근접 범위에서 만나는 점을 계산하여 초기 지상점 좌표로 생성할 수 있다.
이에 따라 영상 추정부(150)는 S60, S70 단계에서, 위와 같이 생성된 초기 외부표정요소와 초기 지상점 좌표를 기초로 Bundle Block Adjustment기반의 무기준점 AT(Aerial Triangulation)를 수행하여, 각 영상의 최종 외부표정요소 및 지상점 좌표를 추정하여 georeferenced(지리 참조) 영상을 획득할 수 있다.
AT는 2개 이상의 영상에 대하여 영상 획득시의 카메라 위치 및 자세를 결정하는 Indirect 방법 중의 하나로서, 영상 추정부(150)는 무기준점 AT의 [수학식 1]과 같은 수학적 모델(Gauss -Markov with Stochastic Constraints 모델)을 이용하여 지상 기준점없이 위와 같이 IMU(120)와 GPS(130)를 기초로 획득된 초기 외부표정요소를 제약조건으로 최소 제곱법(method of least squares)을 적용하여 각 영상의 외부표정요소와 지상점 좌표를 추정할 수 있다. 영상 추정부(150)는 [수학식 1]에 기초하여 정의된 [수학식 2]와 같은 정규 방정식을 반복 계산하여 최종적으로 수렴되는 외부표정요소와 지상점 좌표를 획득할 수 있다. 이에 따라, 직접 측정한 영상점 좌표 값과 공선방정식에 의해 계산된 값의 차이의 제곱의 합을 최소로 하는 외부표정요소와 지상점 좌표가 추정된다. [수학식 1]에서 e는 영상점(공액점) 좌표에 포함된 측정 오차, e0는 외부표정요소에 포함된 측정 오차, σ0 는 계수, Pi -1은 영상점 좌표의 측정오차에 대한 분산공분산 행렬, Pe -1은 외부표정요소의 측정오차에 대한 분산공분산 행렬이다.
AT 수행 모델에 대하여 한국측량학회지, 제27권 제2호, 2009. 4：pp. 249~260, "UAV 기반 저가 멀티센서시스템을 위한 무기준점 AT를 이용한 영상의 Georeferencing"를 참조할 수 있다.
[수학식 1]
Figure 112010087707385-pat00001
[수학식 2]
Figure 112010087707385-pat00002
도 1과 같은 시스템(100)을 활용하여 영상 데이터와 위치/자세 데이터를 측정하여, 도 9와 같이 추정된 지상점을 연결한 선과 지상기준점을 연결한 선을 비교했을 때 절대좌표 값의 차이가 10m 내외로 부정확하지만 모양의 유사성을 확인할 수 있었다. 도 11의 정량적 데이터에서 알 수 있듯이 절대 좌표 오차의 표준편차와 RMSE를 비교해 보았을 때 표준편차는 1m 내외로 나타나지만 RMSE가 상당히 큰 것을 확인할 수 있다.
이와 같은 위치/자세 데이터의 오차는 추정된 지상점과 기준점간의 3차원 회전 및 변환을 통해 제거하거나 외부표정요소와 지상점 좌표의 추정 시 1~2개의 지상기준점을 제약조건으로 추가하여 제거할 수 있다. 도 10의 왼쪽 그림과 같이 3차원 회전 및 이동변환 수행 후 지상점과 기준점 간의 에러는 상당히 줄어들게 되며, 도 10의 오른쪽 그림과 같이 축적까지 고려하는 3차원 상사변환(3D Similarity Transformation)을 통해 지상점의 상대좌표가 수 cm 내외의 정확도로 추정된 것을 확인할 수 있었다.
이와 같이 본 발명에서는 항공 또는 지상 플랫폼의 이용없이 비디오카메라와 GPS/MEMS IMU를 결합하여 언제 어디서나 사용자가 원하는 위치 및 방향에서 센서 데이터를 획득하여, 지상 기준점 없이 Bundle Block Adjustment 기반의 Aerial Triangulation을 수행하여 지리참조(georeferenced) 영상을 상당한 정확도로 획득할 수 있으며, 이와 같은 시스템을 이용하여 획득한 지리참조(georeferenced) 영상 관련 데이터가 대상 객체의 3차원 모델을 생성하거나 대상지점의 상대좌표를 획득하는데 있어서 다양하게 활용될 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
휴대용 멀티센서 시스템(100)
카메라(110)
메모리(111)
IMU(120)
GPS(130)
UMPC(121)
시간 동기화부(140)
영상 추정부(150)

Claims (10)

  1. 멀티 센서를 이용하여 지리참조(georeferenced) 영상을 획득하기 위한 휴대용 멀티센서 시스템에 있어서,
    일정 시간 동안의 동영상을 촬영하여 영상 데이터를 제1 저장수단에 저장하는 카메라; 상기 카메라의 시간별 자세 데이터를 획득하여 제2 저장수단에 저장하는 IMU(inertial measurement unit); 상기 카메라의 시간별 위치 데이터를 획득하여 상기 제2 저장수단에 저장하는 GPS(Global Position System); 상기 자세 데이터 및 위치 데이터를 획득한 시간에 대한 영상 데이터를 샘플링하여 서로 동기화된 영상 데이터와 해당 자세 데이터 및 위치 데이터를 출력하는 시간 동기화부; 및
    동기화된 상기 영상 데이터의 각 영상에 대하여, 동기화된 해당 자세 데이터 및 위치 데이터를 변환한 초기 외부표정요소를 이용하여 초기 지상점 좌표를 생성하고 각 영상에 대한 최종 외부표정요소 및 지상점 좌표를 추정하는 영상 추정부를 포함하고,
    상기 영상 추정부는, 자세 데이터와 상기 IMU의 로컬 좌표계 상의 좌표로 변환된 위치 데이터를 상기 카메라의 좌표계 상의 자세 데이터 및 위치 데이터로 보정하여 영상 데이터에 대하여 불일치가 최소화된 상기 초기 외부표정요소를 생성하는 것을 특징으로 하는 휴대용 멀티센서 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 영상 추정부는,
    각 영상에서 소정 지상 객체에 대한 영상점 좌표인 공액점 좌표를 산출하며, 상기 초기 외부표정요소와 상기 공액점 좌표를 이용해 공선방정식 상에서 소정 투영중심과 상기 공액점 좌표를 지나는 복수의 직선들이 최소 제곱법을 통해 가장 오차가 작은 근접 범위에서 만나는 점을 상기 초기 지상점 좌표로 생성하는 것을 특징으로 하는 휴대용 멀티센서 시스템.
  4. 제1항에 있어서,
    상기 영상 추정부는,
    상기 초기 외부표정요소와 상기 초기 지상점 좌표를 기초로 Bundle Block Adjustment기반의 무기준점 AT(Aerial Triangulation)를 수행하여, 상기 최종 외부표정요소 및 지상점 좌표를 추정하는 것을 특징으로 하는 휴대용 멀티센서 시스템.
  5. 제4항에 있어서,
    상기 영상 추정부는, 상기 초기 외부표정요소를 제약조건으로하여, 수학식
    Figure 112010087707385-pat00003

    을 복수회 계산하여 상기 초기 외부표정요소와 상기 초기 지상점 좌표가 수렴되는 상기 최종 외부표정요소 및 지상점 좌표를 추정하되, 여기서,
    yi: 영상점 좌표에 대한 측정값과 계산값의 차이,
    ye: 외부표정변요소에 대한 초기값과 제약요소의 차이,
    Ae:공선방정식을 외부표정요소에 대하여 미분한 설계행렬,
    Ap:공선방정식을 지상점 좌표에 대하여 미분한 설계행렬,
    Ke:외부표정요소를 제약조건으로 사용하기 위한 설계행렬,
    ξe:외부표정요소에 대한 초기값과의 차이,
    ξp:지상점 좌표에 대한 초기값과의 차이,
    Pi -1:영상점 좌표의 측정오차에 대한 분산공분산 행렬,
    Pe -1:외부표정요소의 측정오차에 대한 분산공분산 행렬
    인 것을 특징으로 하는 휴대용 멀티센서 시스템.
  6. 멀티 센서를 이용하여 지리참조(georeferenced) 영상을 획득하기 위한 휴대용 멀티센서 시스템의 동작 방법에 있어서,
    카메라를 이용하여 일정 시간 동안의 동영상을 촬영하여 영상 데이터를 제1 저장수단에 저장하는 단계; IMU(inertial measurement unit)를 이용하여 상기 카메라의 시간별 자세 데이터를 획득하여 제2 저장수단에 저장하는 단계; GPS(Global Position System)를 이용하여 상기 카메라의 시간별 위치 데이터를 획득하여 상기 제2 저장수단에 저장하는 단계; 상기 자세 데이터 및 위치 데이터를 획득한 시간에 대한 영상 데이터를 샘플링하여 서로 동기화된 영상 데이터와 해당 자세 데이터 및 위치 데이터를 출력하는 단계; 및
    동기화된 상기 영상 데이터의 각 영상에 대하여, 동기화된 해당 자세 데이터 및 위치 데이터를 변환한 초기 외부표정요소를 이용하여 초기 지상점 좌표를 생성하고 각 영상에 대한 최종 외부표정요소 및 지상점 좌표를 추정하는 단계를 포함하고,
    상기 추정하는 단계는, 자세 데이터와 상기 IMU의 로컬 좌표계 상의 좌표로 변환된 위치 데이터를 상기 카메라의 좌표계 상의 자세 데이터 및 위치 데이터로 보정하여 영상 데이터에 대하여 불일치가 최소화된 상기 초기 외부표정요소를 생성하는 단계를 포함하는 것을 특징으로 하는 휴대용 멀티센서 시스템의 동작 방법.
  7. 삭제
  8. 제6항에 있어서,
    상기 추정하는 단계는,
    각 영상에서 소정 지상 객체에 대한 영상점 좌표인 공액점 좌표를 산출하며, 상기 초기 외부표정요소와 상기 공액점 좌표를 이용해 공선방정식 상에서 소정 투영중심과 상기 공액점 좌표를 지나는 복수의 직선들이 최소 제곱법을 통해 가장 오차가 작은 근접 범위에서 만나는 점을 상기 초기 지상점 좌표로 생성하는 단계
    를 포함하는 것을 특징으로 하는 휴대용 멀티센서 시스템의 동작 방법.
  9. 제6항에 있어서,
    상기 추정하는 단계는,
    상기 초기 외부표정요소와 상기 초기 지상점 좌표를 기초로 Bundle Block Adjustment기반의 무기준점 AT(Aerial Triangulation)를 수행하여, 상기 최종 외부표정요소 및 지상점 좌표를 추정하는 단계
    를 포함하는 것을 특징으로 하는 휴대용 멀티센서 시스템의 동작 방법.
  10. 제9항에 있어서,
    상기 초기 외부표정요소를 제약조건으로하여, 수학식
    Figure 112010087707385-pat00004

    을 복수회 계산하여 상기 초기 외부표정요소와 상기 초기 지상점 좌표가 수렴되는 상기 최종 외부표정요소 및 지상점 좌표를 추정하되, 여기서,
    yi: 영상점 좌표에 대한 측정값과 계산값의 차이,
    ye: 외부표정변요소에 대한 초기값과 제약요소의 차이,
    Ae:공선방정식을 외부표정요소에 대하여 미분한 설계행렬,
    Ap:공선방정식을 지상점 좌표에 대하여 미분한 설계행렬,
    Ke:외부표정요소를 제약조건으로 사용하기 위한 설계행렬,
    ξe:외부표정요소에 대한 초기값과의 차이,
    ξp:지상점 좌표에 대한 초기값과의 차이,
    Pi -1:영상점 좌표의 측정오차에 대한 분산공분산 행렬,
    Pe -1:외부표정요소의 측정오차에 대한 분산공분산 행렬
    인 것을 특징으로 하는 휴대용 멀티센서 시스템의 동작 방법.

KR1020100139126A 2010-12-30 2010-12-30 지리 참조 영상 획득을 위한 휴대용 멀티센서 시스템 및 그 방법 KR101224830B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100139126A KR101224830B1 (ko) 2010-12-30 2010-12-30 지리 참조 영상 획득을 위한 휴대용 멀티센서 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100139126A KR101224830B1 (ko) 2010-12-30 2010-12-30 지리 참조 영상 획득을 위한 휴대용 멀티센서 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20120077236A KR20120077236A (ko) 2012-07-10
KR101224830B1 true KR101224830B1 (ko) 2013-01-22

Family

ID=46710766

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100139126A KR101224830B1 (ko) 2010-12-30 2010-12-30 지리 참조 영상 획득을 위한 휴대용 멀티센서 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101224830B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103744371B (zh) * 2013-12-23 2016-06-08 广东电网公司电力科学研究院 无人机电力巡检的传感器集成电路
CN104748783A (zh) * 2015-04-13 2015-07-01 武汉海达数云技术有限公司 一种柔性模块化激光移动测量装置
KR101813698B1 (ko) * 2016-12-21 2018-01-30 한국항공대학교산학협력단 공중 로봇의 이동 속도 추정 장치 및 방법
CN107315340A (zh) * 2017-05-27 2017-11-03 中国科学院上海技术物理研究所 一种基于微机电式imu测量反馈的稳像装置及控制方法
CN111226614A (zh) * 2020-03-02 2020-06-05 安徽中科智能感知产业技术研究院有限责任公司 一种方形秸秆捆打捆机作业数据物联网监测系统
CN111536871B (zh) * 2020-05-07 2022-05-31 武汉大势智慧科技有限公司 一种多时相摄影测量数据体积变化量的精确计算方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100538339B1 (ko) * 2005-07-29 2005-12-21 제일항업(주) 무선인터넷을 통하여 하천유로의 변동상황을 수치지도데이터베이스에 업데이트하여 하천정보 ｇｉｓ를 구축하는무선 단말 시스템
KR100571120B1 (ko) * 2005-09-29 2006-04-13 한진정보통신(주) 레이저 장치를 이용한 3차원 측위 시스템
KR20100064606A (ko) * 2008-12-05 2010-06-15 삼부기술 주식회사 Ｇｐｓ및 ｉｎｓ를 이용한 수치지도 제작 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100538339B1 (ko) * 2005-07-29 2005-12-21 제일항업(주) 무선인터넷을 통하여 하천유로의 변동상황을 수치지도데이터베이스에 업데이트하여 하천정보 ｇｉｓ를 구축하는무선 단말 시스템
KR100571120B1 (ko) * 2005-09-29 2006-04-13 한진정보통신(주) 레이저 장치를 이용한 3차원 측위 시스템
KR20100064606A (ko) * 2008-12-05 2010-06-15 삼부기술 주식회사 Ｇｐｓ및 ｉｎｓ를 이용한 수치지도 제작 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
한국측량학회(2009.04) *

Also Published As

Publication number Publication date
KR20120077236A (ko) 2012-07-10

Similar Documents

Publication Publication Date Title
KR101192825B1 (ko) Ｇｐｓ／ｉｎｓ／영상ａｔ를 통합한 라이다 지오레퍼린싱 장치 및 방법
CN102741706B (zh) 地理参照图像区域的方法
JP7037302B2 (ja) 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
JP5992184B2 (ja) 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
KR101224830B1 (ko) 지리 참조 영상 획득을 위한 휴대용 멀티센서 시스템 및 그 방법
KR101160454B1 (ko) 무인항공기의 자세 제어를 이용한 3ｄ 공간정보구축 방법
JP2008304260A (ja) 画像処理装置
US20180313651A1 (en) Star Tracker-Aided Airborne or Spacecraft Terrestrial Landmark Navigation System
WO2011120141A1 (en) Dynamic network adjustment for rigorous integration of passive and active imaging observations into trajectory determination
CN103106339A (zh) 同步航空影像辅助的机载激光点云误差改正方法
KR102075028B1 (ko) 무인기 고속비행 중 정밀위치 영상 획득 장치 및 그를 이용한 정밀위치 획득 방법
Nagai et al. UAV borne mapping by multi sensor integration
CN110031880B (zh) 基于地理位置定位的高精度增强现实方法及设备
JP4077385B2 (ja) 画像処理を用いたグローバル座標取得装置
JP2014186004A (ja) 計測装置、方法及びプログラム
KR101183866B1 (ko) Ｇｐｓ／ｉｎｓ／영상ａｔ를 통합한 실시간 위치／자세 결정 장치 및 방법
CN103411587A (zh) 定位定姿方法及系统
CN110986888A (zh) 一种航空摄影一体化方法
US20120026324A1 (en) Image capturing terminal, data processing terminal, image capturing method, and data processing method
Wang et al. Geometric calibration for the aerial line scanning camera Gfxj
JP6773473B2 (ja) 測量情報管理装置および測量情報管理方法
KR101249369B1 (ko) 전방위 영상 광속 조정 장치 및 방법
KR101663642B1 (ko) Ap와 직접변환 센서 모델 기법을 이용한 휘스크 브룸 센서 모델 방법 및 장치
KR101323099B1 (ko) 모자이크 영상 생성 장치
KR100745105B1 (ko) 촬영 영상 표시 방법 및 촬영 영상 표시 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160115

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170111

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171226

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181203

Year of fee payment: 7