KR101183866B1

KR101183866B1 - Ｇｐｓ／ｉｎｓ／영상ａｔ를 통합한 실시간 위치／자세 결정 장치 및 방법

Info

Publication number: KR101183866B1
Application number: KR1020110036732A
Authority: KR
Inventors: 이임평; 최경아; 권재현; 한중희
Original assignee: 서울시립대학교 산학협력단
Priority date: 2011-04-20
Filing date: 2011-04-20
Publication date: 2012-09-19

Abstract

본 발명은 무인항공기 기반의 항공 모니터링 시스템에 장착된 센서를 통해 GPS, IMU, 이미지 데이터를 획득하고, 약결합 방식의 GPS/INS 통합 알고리즘을 통해 위치 및 자세를 결정하여 이를 초기값으로 이용하여 무기준점 방식의 AT을 통해 이미지 georeferencing을 수행하며, 이 수행 결과인 외부표정요소를 이용해 약결합 방식으로 재차 GPS/INS 오차를 보정함으로써 보다 정확한 항공기의 위치/자세 데이터를 획득할 수 있는 GPS/INS/영상AT를 통합한 실시간 위치/자세 결정 장치 및 방법에 관한 것이다.

Description

ＧＰＳ／ＩＮＳ／영상ＡＴ를 통합한 실시간 위치／자세 결정 장치 및 방법{Apparatus and Method for Real-time Position and Attitude Determination Based on Integration of GPS, INS and Image AT}

본 발명은 실시간 위치/자세 결정 장치 및 방법에 관한 것으로서, 무인항공기 기반의 항공 모니터링 시스템에 장착된 센서를 통해 GPS, IMU, 이미지 데이터를 획득하고, 약결합 방식의 GPS/INS 통합 알고리즘을 통해 위치 및 자세를 결정하여 이를 초기값으로 이용하여 무기준점 방식의 AT을 통해 이미지 georeferencing을 수행하며, 이 수행 결과인 외부표정요소를 이용해 약결합 방식으로 재차 GPS/INS 오차를 보정함으로써 보다 정확한 항공기의 위치/자세 데이터를 획득할 수 있는 GPS/INS/영상AT를 통합한 실시간 위치/자세 결정 장치 및 방법에 관한 것이다.

실시간 공중자료 획득 시스템에서는 재난, 재해와 같은 긴급한 상황 발생 지역에서 실시간으로 공간정보를 신속하게 생성하기 위한 항공 및 지상 부분으로 구성된 시스템을 운용한다. 항공 부분 시스템은 상황 발생지역에서 공중 모니터링의 용이성과 신속성을 확보하기 위한 무인항공기(Unmanned Aerial Vehicle) 기반의 항공 플랫폼이며, 데이터를 취득하기 위한 멀티센서(GPS, IMU, 디지털 카메라, 레이져 스캐너)와 데이터 저장 및 송수신을 위한 모듈로 구성되어 있다. 지상부분 시스템은 데이터 제어/송수신/관리를 위한 3개의 보조 시스템으로 구성되어 있으며, 상황 발생지역에서 무인항공기를 제어하고 실시간으로 자료 송수신과 신속한 자료처리 및 정보추출을 수행한다.

특히, 항공 부분 시스템에서 GPS(Global Positioning System)와 IMU(Inertial Measurement Unit) 센서에 의해 획득된 3차원 위치, 각속도, 가속도 데이터를 이용하여 실시간으로 무인항공기의 위치 및 자세를 결정한다. 무인항공기에서 카메라에 의해 취득된 이미지 데이터가 지상으로 송신되면 지상부분 시스템의 지상 기준국에서는 영상이 취득된 시간에 무인항공기의 위치 및 자세를 이용하여 지상기준점 없이 AT(Aerial Triangulation)에 따른 georeferencing(지리참조) 과정을 수행하여 보정된 위치 및 자세 데이터 등의 외부표정요소와 지상점 좌표를 추정하고 georeferenced 영상을 획득할 수 있다. 무기준점 방식의 AT을 통해 조정된 위치 및 자세는 AT에서 초기값으로 이용하는 GPS/INS 통합 알고리즘에 의해 계산된 위치 및 자세보다 RMSE(Root Mean Square Error)가 크게 개선된다. 이러한 이유는 이미지 간의 상호표정요소를 수립할 때의 제약조건으로 인해 기인한 것이다. 그러나, GPS/IMU의 센서 데이터에 따른 GPS/INS(Inertial Navigation System) 오차, 즉, 항공기의 위치/자세 데이터의 오차가 georeferencing을 통해 생성된 3차원 좌표 정보의 정확도에 큰 영향을 끼치므로 오차를 더욱 개선할 필요가 있다.

따라서, 본 발명은 상술한 문제점을 해결하기 위한 것으로서, 본 발명의 목적은, 획득된 GPS, IMU 데이터로부터 약결합 방식의 GPS/INS 통합 알고리즘을 통해 위치 및 자세를 결정하고 이를 초기값으로 이용하여 무기준점 방식의 AT을 통해 이미지 georeferencing을 수행하며, 이 수행 결과인 외부표정요소를 이용해 약결합 방식으로 재차 GPS/INS 오차를 보정함으로써 보다 정확한 항공기의 위치/자세 데이터를 획득할 수 있는 GPS/INS/영상AT를 통합한 실시간 위치/자세 결정 장치 및 방법을 제공하는 데 있다.

먼저, 본 발명의 특징을 요약하면, 본 발명의 일면에 따른, 항체 위치 및 자세 결정 장치는, 항체에 장착된 가속도 센서와 자이로 센서를 구비한 IMU로부터의 센서 데이터에 대하여 항법 방정식에 기초하여 생성된 속도 데이터, 위치 데이터 및 자세 데이터와, 상기 항체에 장착된 GPS로부터의 위치 데이터를 이용하여, 상기 항체의 위치 데이터 및 자세 데이터를 보정하는 확장 칼만 필터; 및 상기 항체에 장착된 카메라로부터의 영상과 상기 확장 칼만 필터에서 추정한 상기 항체의 위치 데이터 및 자세 데이터를 이용하여 상기 항체에 대한 보정된 위치 데이터 및 자세 데이터를 추정하는 지오레퍼런싱부를 포함하고, 상기 확장 칼만 필터는, 상기 GPS로부터 위치 데이터를 수신할 때 상기 항체의 위치 데이터를 보정하여 업데이트하고, 상기 지오레퍼런싱부로부터 보정된 위치 데이터 및 자세 데이터를 수신할 때 상기 항체의 위치 데이터 및 자세 데이터를 보정하여 업데이트하는 것을 특징으로 한다.

상기 지오레퍼런싱부는, 상기 영상으로부터 지상 객체에 대한 공액점 좌표를 산출하며, 상기 확장 칼만 필터에서 추정한 상기 항체의 위치 데이터 및 자세 데이터를 이용하여 공선방정식 상에서 소정 투영중심과 상기 공액점 좌표를 지나는 복수의 직선들이 최소 제곱법을 통해 가장 오차가 작은 근접 범위에서 만나는 점을 초기 지상점 좌표로 생성하고, 상기 항체의 위치 데이터 및 자세 데이터와 상기 초기 지상점 좌표를 기초로 Bundle Block Adjustment기반의 무기준점 AT(Aerial Triangulation)를 수행하여, 상기 보정된 위치 데이터 및 자세 데이터와 상기 초기 지상점 좌표의 보정된 지상점 좌표를 추정한다.

상기 확장 칼만 필터는, 상기 항법 방정식에 기초한 이전의 속도 데이터, 위치 데이터 및 자세 데이터로부터 현재의 상기 항체의 속도 데이터, 위치 데이터 및 자세 데이터를 추정하는 상태 예측부; 및 상기 상태 예측부가 추정한 데이터를 이용하여, 상기 GPS로부터의 위치 데이터에 기초해 상기 상태 예측부가 추정한 위치 데이터를 보정하여 업데이트하고, 상기 지오레퍼런싱부가 추정한 위치 데이터 및 자세 데이터에 기초해 상기 상태 예측부가 추정한 위치 데이터 및 자세 데이터를 보정하여 업데이트하는 상태 업데이트부를 포함한다.

상기 상태 업데이트부는, 상기 GPS로부터 위치 데이터를 수신할 때 관측 방정식에 아래 설계 행렬1 를 이용해 상기 상태 예측부가 추정한 위치 데이터와 상기 GPS로부터 수신한 위치 데이터 사이의 차이가 최소가 되도록 상기 항체의 위치 데이터를 보정하여 업데이트하고, 상기 지오레퍼런싱부로부터 보정된 위치 데이터 및 자세 데이터를 수신할 때 관측 방정식에 아래 설계 행렬2 를 이용해 상기 상태 예측부가 추정한 위치 데이터 및 자세 데이터와 상기 지오레퍼런싱부로부터 보정된 위치 데이터 및 자세 데이터 사이의 차이가 최소가 되도록 상기 항체의 위치 데이터 및 자세 데이터를 보정하여 업데이트하고,

상기 설계 행렬1은

,

상기 설계 행렬2는

이고, 여기서, I는 단위행렬, O는 영행렬이다.

그리고, 본 발명의 다른 일면에 따른 항체 위치 및 자세 결정 방법은, (A) 확장 칼만 필터에서 항체에 장착된 가속도 센서와 자이로 센서를 구비한 IMU로부터의 센서 데이터에 대하여 항법 방정식에 기초하여 생성된 속도 데이터, 위치 데이터 및 자세 데이터와, 상기 항체에 장착된 GPS로부터의 위치 데이터를 이용하여 상기 항체의 위치 데이터 및 자세 데이터를 보정하는 단계; 및 (B) 상기 항체에 장착된 카메라로부터의 영상과 상기 확장 칼만 필터에서 추정한 상기 항체의 위치 데이터 및 자세 데이터를 이용하여 상기 항체에 대한 보정된 위치 데이터 및 자세 데이터를 추정하는 단계를 포함하고, 상기 확장 칼만 필터에서 상기 GPS로부터 위치 데이터를 수신할 때 상기 항체의 위치 데이터를 보정하여 업데이트하고, 상기 지오레퍼런싱부로부터 보정된 위치 데이터 및 자세 데이터를 수신할 때 상기 항체의 위치 데이터 및 자세 데이터를 보정하여 업데이트하는 것을 특징으로 한다.

본 발명에 따른 GPS/INS/영상AT를 통합한 실시간 위치/자세 결정 장치 및 방법에 따르면, 무기준점 방식의 AT을 통해 이미지 georeferencing을 수행하여 생성한 외부표정요소를 이용해 약결합 방식으로 재차 GPS/INS 오차를 보정함으로써 보다 정확한 항공기의 위치/자세 데이터를 획득할 수 있고, 이는 georeferencing을 통해 3차원 좌표 정보를 더욱 정확하게 추정하는데 효과적으로 이용될 수 있다.

도 1은 본 발명의 일실시예에 따른 항체 위치 및 자세 결정 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 항체 위치 및 자세 결정 장치의 동작을 설명하기 위한 흐름도이다.
도 3은 지상점 좌표 추정 방법을 설명하기 위한 도면이다.
도 4는 실험에 사용된 가상의 항체 경로를 설명하기 위한 도면이다.
도 5는 기존의 GPS/INS와 본 발명의 GPS/INS/AT 기술의 위치 오차를 비교 설명하기 위한 표이다.
도 6은 기존의 GPS/INS와 본 발명의 GPS/INS/AT 기술의 Down 방향 위치 오차를 비교 설명하기 위한 그래프이다.
도 7은 기존의 GPS/INS와 본 발명의 GPS/INS/AT 기술의 자세 오차를 비교 설명하기 위한 표이다.
도 8은 기존의 GPS/INS와 본 발명의 GPS/INS/AT 기술의 Yaw 방향 자세 오차를 비교 설명하기 위한 그래프이다.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.

도 1은 본 발명의 일실시예에 따른 항체 위치 및 자세 결정 장치(100)를 설명하기 위한 도면이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 항체 위치 및 자세 결정 장치(100)는, GPS(110), IMU(120), 항체 위치 자세 추정부(121), 디지털 카메라(130), 확장 칼만(Kalman) 필터(140), 및 지오레퍼런싱부(georeferencing unit)(150)를 포함한다.

GPS(Global Position System)(110)는 위성과 통신하여 위치 데이터(예를 들어, WGS84좌표계의 측지좌표로서, 위도(φ), 경도(λ), 타원체고(h) 등)를 획득하고, 예를 들어, GPS(130)는 위치 데이터를 1Hz로 획득할 수 있다.

IMU(inertial measurement unit)(120)는 관성 측정 수단으로서 자이로 센서(자이로스코프)를 이용해, 예를 들어, 로컬 좌표계에서 장치(100)(또는 항체)의 회전각으로서 전진방향(Roll축 방향), 전진방향의 우측방향(Pitch 축 방향), 중력 방향(Yaw 축 방향) 각각의 각속도 증분치 등의 자세 관련 센서 데이터를 생성하고, 가속도 센서를 이용해 항체 속도 증분치 등의 가속도 관련 센서 데이터를 생성한다. 예를 들어, IMU(120) 이와 같은 위치 및 자세 데이터를 100Hz로 획득할 수 있다. 다만, 이에 한정되지 않으며 다양한 관성 측정 수단을 이용하여 위치 및 자세 데이터를 획득할 수 있다. 카메라(130)는 CMOS, CCD(Charge Coupled Device) 이미지 센서 등을 이용하여 영상을 촬영하여 영상 데이터를 획득하며, 예를 들어, 카메라(110)는 2304×1296(pixels) 해상도의 영상을 2Hz로 획득할 수 있다. 다만, 이에 한정되지 않으며 다양한 영상 촬영 카메라가 이용될 수 있다.

여기서, GPS(110), IMU(120), 및 카메라(130)는 항체에 단단히 고정될 수 있으며, GPS(110)의 중심과 카메라(130)의 렌즈의 중심이 일치한다고 가정하고, IMU(120)의 자세 데이터 역시 카메라(130)의 자세 데이터와 동일하다고 가정될 수 있다.

먼저, 항체 위치 자세 추정부(121)는 IMU(120)로부터의 센서 데이터(자세 및 가속도 관련 데이터)를 소정 항법 방정식에 적용하여 항체에 대한 해당 속도 데이터(V), 위치 데이터(φ,λ,h)(예를 들어, WGS84좌표계) 및 자세 데이터(회전 행렬 Csn)를 생성할 수 있다.

확장 칼만 필터(140)는 항체 위치 자세 추정부(121)가 생성한 속도 데이터(V), 위치 데이터(φ,λ,h) 및 자세 데이터(회전 행렬 Csn)와 GPS(110)로부터 수신한 위치 데이터(φ,λ,h)를 이용하여 항체의 위치 데이터(φ,λ,h) 및 자세 데이터(θ_Roll, θ_Pitch, θ_Yaw)를 추정한다.

지오레퍼런싱부(150)는 카메라(130)로부터 수신한 영상(데이터)와 확장 칼만 필터(140)에서 추정한 항체의 위치 데이터(φ,λ,h) 및 자세 데이터(θ_Roll, θ_Pitch, θ_Yaw)를 이용하여 무기준점 방식의 AT을 통해 이미지 georeferencing을 수행하여 항체에 대한 해당 보정된 위치 데이터(φ',λ',h') 및 자세 데이터(θ'_Roll, θ'_Pitch, θ'_Yaw)를 추정한다.

확장 칼만 필터(140)의 상태 예측부(141)은 항체 위치 자세 추정부(121)가 항법 방정식에 기초하여 생성한 이전의 속도 데이터(V), 위치 데이터(φ,λ,h) 및 자세 데이터(회전 행렬 Csn)로부터 현재 항체의 속도 데이터(V), 위치 데이터(φ,λ,h) 및 자세 데이터(θ_Roll, θ_Pitch, θ_Yaw)를 추정하며, 확장 칼만 필터(140)의 상태 업데이트부(142)는 GPS(110)로부터 위치 데이터(φ,λ,h)를 수신하거나, 지오레퍼런싱부(150)로부터 보정된 위치 데이터(φ',λ',h') 및 자세 데이터(θ'_Roll, θ'_Pitch, θ'_Yaw)를 수신할 때 항체 위치 자세 추정부(121)가 데이터(항체의 속도 데이터(V), 위치 데이터(φ,λ,h) 및 자세 데이터(θ_Roll, θ_Pitch, θ_Yaw)를 이용하여 각각에 대해 항체의 위치 데이터(φ,λ,h) 또는 자세 데이터(θ_Roll, θ_Pitch, θ_Yaw)를 보정할 수 있다.

즉, 상태 업데이트부(142)는 GPS(110)로부터 수신하는 위치 데이터(φ,λ,h)를 이용하여 항체의 위치 데이터를 보정하여 업데이트할 수 있다. 예를 들어, 상태 예측부(141)가 추정한 데이터를 이용하여, 상태 업데이트부(142)는 GPS(110)로부터의 위치 데이터(φ,λ,h)에 기초해 상태 예측부(141)가 추정한 위치 데이터(φ,λ,h)를 보정하여 업데이트할 수 있다.

또한, 상태 업데이트부(142)는 지오레퍼런싱부(150)로부터 보정된 위치 데이터(φ',λ',h') 및 자세 데이터(θ'_Roll, θ'_Pitch, θ'_Yaw)를 수신할 때 항체의 위치 데이터 및 자세 데이터를 보정하여 업데이트할 수 있다. 예를 들어, 지오레퍼런싱부(150)가 추정한 위치 데이터(φ',λ',h') 및 자세 데이터(θ'_Roll, θ'_Pitch, θ'_Yaw)에 기초해 상태 업데이트부(142)는 상태 예측부(141)가 추정한 위치 데이터(φ,λ,h) 및 자세 데이터(θ_Roll, θ_Pitch, θ_Yaw)를 보정하여 업데이트할 수 있다.

이와 같이 본 발명에서는, 무인항공기 기반의 항공 모니터링 시스템 등 항체에 장착된 센서를 통해 GPS, IMU, 영상 데이터를 획득하고, 약결합(예를 들어, 확장 칼만 필터) 방식의 GPS/INS 통합 알고리즘을 통해 위치 및 자세를 결정하여 이를 초기값으로 이용하여 무기준점 방식의 AT을 통해 이미지 georeferencing을 수행하며, 이 수행 결과인 외부표정요소를 이용해 약결합 방식으로 재차 GPS/INS 오차를 보정함으로써 보다 정확한 항공기의 위치/자세 데이터를 획득하도록 한 GPS/INS/영상AT를 통합한 방식을 제안한다.

이하, 도 2와 도 3을 참조하여 본 발명의 일실시예에 따른 항체 위치 및 자세 결정 장치(100)의 동작을 좀더 자세히 설명한다.

도 2는 본 발명의 일실시예에 따른 항체 위치 및 자세 결정 장치(100)의 동작을 설명하기 위한 흐름도이다.

먼저, IMU(120)는 항체의 전진방향(Roll축 방향), 전진방향의 우측방향(Pitch 축 방향), 중력 방향(Yaw 축 방향) 각각의 각속도 증분치 등의 자세 관련 센서 데이터와 항체 속도 증분치 등의 가속도 관련 센서 데이터를 생성한다(S10). 이에 따라 항체 위치 자세 추정부(121)는 IMU(120)로부터의 센서 데이터(위치, 자세 관련 데이터)를 소정 항법 방정식에 적용하여 항체에 대한 해당 속도 데이터(V), 위치 데이터(φ,λ,h) 및 자세 데이터(각 방향의 각속도 증분치로부터 계산된 회전 행렬 Csn)를 생성할 수 있다. 이에 따라 확장 칼만 필터(140)의 상태 예측부(141)은 주기적으로(예를 들어, 100Hz) 항체 위치 자세 추정부(121)가 항법 방정식에 기초하여 생성한 이전의 속도 데이터(V), 위치 데이터(φ,λ,h) 및 자세 데이터(회전 행렬 Csn)를 분석하여 현재 항체의 속도 데이터(V), 위치 데이터(φ,λ,h) 및 자세 데이터(θ_Roll, θ_Pitch, θ_Yaw)를 보정할 수 있다.

이후, 확장 칼만 필터(140)의 상태 업데이트부(142)는 GPS(110)로부터 위치 데이터(φ,λ,h)를 주기적으로(예를 들어, 1Hz) 수신하거나, 지오레퍼런싱부(150)로부터 보정된 위치 데이터(φ',λ',h') 및 자세 데이터(θ'_Roll, θ'_Pitch, θ'_Yaw)를 주기적으로(예를 들어, 2Hz) 수신할 때 그 때마다 반복적으로 항체 위치 자세 추정부(121)가 추정한 데이터를 이용해 각각에 대해 항체의 위치 데이터(φ,λ,h) 또는 자세 데이터(θ_Roll, θ_Pitch, θ_Yaw)를 보정할 수 있다.

예를 들어, GPS(110)가 위성과 통신하여 위치 데이터(예를 들어, WGS84좌표계의 측지좌표로서, 위도(φ), 경도(λ), 타원체고(h) 등)를 획득하면(S10), 상태 업데이트부(142)는 GPS(110)로부터 수신하는 위치 데이터(φ,λ,h)를 이용하여 항체의 위치 데이터를 보정하여 업데이트할 수 있다(S20). 즉, 상태 예측부(141)가 추정한 데이터를 이용하여, 상태 업데이트부(142)는 GPS(110)로부터의 위치 데이터(φ,λ,h)에 기초해 상태 예측부(141)가 추정한 항체의 위치 데이터(φ,λ,h)를 보정하여 업데이트할 수 있다.

상태 업데이트부(142)는 GPS(110)로부터 위치 데이터(φ,λ,h)를 수신할 때 [수학식 1]과 같은 관측 방정식 z(t)에 아래 [설계 행렬1]을 이용해 항체의 위치 데이터(φ,λ,h)를 보정하여 업데이트할 수 있다. v(t)는 잔차이다. [설계 행렬1]에서 I₃ _×3는 3×3 행렬로서 대각선 원소가 1로 이루어지고 나머지 원소들이 0으로 이루어진 단위행렬, O₃ _×3는 3×3 행렬로서 모든 원소가 0으로 이루어진 영행렬이다.

상태 예측부(141)가 IMU(120)의 센서 데이터로부터 추정한 INS 위치 데이터(φ,λ,h)와 GPS(110)로부터 수신한 위치 데이터(φ,λ,h)의 차이는, [수학식 2]와 같은 관측 방정식 행렬로 나타낼 수 있고, 상태 업데이트부(142)는 이와 같은 차이를 최소화하기 위하여, 즉, 관측 방정식의 x(t)의 오차 요소들을 최소화하기 위하여 GPS(110)로부터 위치 데이터(φ,λ,h)를 수신할 때마다 반복하여 [수학식 1]과 같은 소정의 관측 방정식 z(t)에 [설계 행렬1]을 적용해(대입해) 상태 예측부(141)가 추정한 항체의 위치 데이터(φ,λ,h)이 보정되도록 계산함으로써 항체의 위치 데이터를 보정하여 업데이트할 수 있다.

[수학식 1]

[설계 행렬1]

[수학식 2]

한편, 카메라(130)는 항체의 이동에 따라 지상에 대한 영상을 촬영하여 주기적으로(예를 들어 2Hz) 영상 데이터를 획득할 수 있다(S30).

이에 따라, 지오레퍼런싱부(150)는 카메라(130)로부터 수신한 영상(데이터)와 확장 칼만 필터(140)에서 추정한 항체의 위치 데이터(φ,λ,h) 및 자세 데이터(θ_Roll, θ_Pitch, θ_Yaw)를 이용하여 무기준점 방식의 AT을 통해 이미지 georeferencing을 수행하여 항체에 대한 해당 외부표정요소, 즉, 보정된 위치 데이터(φ',λ',h') 및 자세 데이터(θ'_Roll, θ'_Pitch, θ'_Yaw)를 추정한다(S40).

먼저, 지오레퍼런싱부(150)는 카메라(130)로부터 획득된 영상 데이터를 기초로 각 영상에서 중첩된 영상에 존재하는 지상 객체에 대한 영상점 좌표, 즉, 공액점 좌표(지상 기준점에 상응하는 점)를 획득할 수 있으며, 각 영상 데이터에서 획득된 공액점 좌표를 이용하여 위와 같은 초기 외부표정요소, 즉, 확장 칼만 필터(140)에서 추정한 항체의 위치 데이터(φ,λ,h) 및 자세 데이터(θ_Roll, θ_Pitch, θ_Yaw)를 기초로 초기 지상점 좌표를 생성할 수 있다.

즉, 지오레퍼런싱부(150)는 해당 지상점이 존재하는 각 영상 (데이터)의 외부표정요소, 즉, 확장 칼만 필터(140)에서 추정한 항체의 위치 데이터(φ,λ,h) 및 자세 데이터(θ_Roll, θ_Pitch, θ_Yaw)와 상기 공액점 좌표를 공선방정식에 대입하여 개별 영상의 투영중심(EO)과 영상점(공액점)을 지나는 직선을 생성한다. 도 3과 같이, 공선방정식은 영상의 투영중심(Perspective Center)(EO), 하나의 지상점, 및 지상점을 나타내는 영상점(공액점)이 하나의 직선 상에 존재할 때 만족하는 식일 수 있다. 즉, 투영중심(EO)과 영상점(공액점) 및 해당 지상점은 모두 한 점에서 만나야 한다. 그러나 도 3과 같이, 동일 지상점이라 하더라도 외부표정요소와 영상점(공액점) 좌표의 오차로 인해 하나의 지상점에서 만나지 않게 된다. 그러므로 지오레퍼런싱부(150)는 각 영상 데이터에서 획득된 공액점 좌표를 이용하여 위와 같은 초기 외부표정요소를 기초로 초기 지상점 좌표를 생성하되, 최소 제곱법(method of least squares)을 이용하여 하나의 지상점에 대하여 투영중심(EO)과 영상점(공액점)을 지나는 복수의 모든 직선들이 가장 오차가 작은 근접 범위에서 만나는 점을 계산하여 초기 지상점 좌표로 생성할 수 있다.

이에 따라 지오레퍼런싱부(150)는 위와 같이 생성된 초기 지상점 좌표와 확장 칼만 필터(140)에서 추정한 항체의 위치 데이터(φ,λ,h) 및 자세 데이터(θ_Roll, θ_P _it _ch, θ_Yaw)를 기초로 Bundle Block Adjustment기반의 무기준점 AT(Aerial Triangulation)를 수행하여, 최종 외부표정요소, 즉, 각 영상에 의해 보정된 위치 데이터(φ',λ',h') 및 자세 데이터(θ'_Roll, θ'_Pitch, θ'_Yaw)와 초기 지상점 좌표의 보정된 지상점 좌표를 추정한다.

AT는 2개 이상의 영상 (데이터)에 대하여 영상 획득시의 카메라 위치 및 자세를 결정하는 Indirect 방법 중의 하나로서, 지오레퍼런싱부(150)는 무기준점 AT의 [수학식 3]과 같은 수학적 모델(Gauss -Markov with Stochastic Constraints 모델)을 이용하여 지상 기준점없이 위와 같이 IMU(120)와 GPS(110)를 기초로 획득된 초기 외부표정요소를 제약조건으로 최소 제곱법(method of least squares)을 적용하여 각 영상으로부터 최종 외부표정요소와 지상점 좌표를 추정할 수 있다. 지오레퍼런싱부(150)는 [수학식 3]에 기초한 소정 정규 방정식을 반복 계산하여 최종적으로 수렴되는 최종 외부표정요소와 지상점 좌표를 획득할 수 있다. 이에 따라, 직접 측정한 영상점 좌표 값과 공선방정식에 의해 계산된 값의 차이의 제곱의 합을 최소로 하는 외부표정요소와 지상점 좌표가 추정된다. [수학식 3]에서 e는 영상점(공액점) 좌표에 포함된 측정 오차, e₀는 외부표정요소에 포함된 측정 오차, σ₀ 는 계수, P_i ^-1은 영상점 좌표의 측정오차에 대한 분산공분산 행렬, P_e ^-1은 센서(GPS와 IMU)의 측정오차에 대한 분산공분산 행렬이다.

AT 수행 모델에 대하여 한국측량학회지, 제27권 제2호, 2009. 4：pp. 249~260, "UAV 기반 저가 멀티센서시스템을 위한 무기준점 AT를 이용한 영상의 Georeferencing"를 참조할 수 있다.

[수학식 3]

한편, 상태 업데이트부(142)는 지오레퍼런싱부(150)로부터 보정된 위치 데이터(φ',λ',h') 및 자세 데이터(θ'_Roll, θ'_Pitch, θ'_Yaw)를 수신할 때 [수학식 1]의 관측 방정식 z(t)에 [설계 행렬2]를 이용해 항체의 위치 데이터 및 자세 데이터를 보정하여 업데이트할 수 있다(S50). 예를 들어, 지오레퍼런싱부(150)가 추정한 위치 데이터(φ',λ',h') 및 자세 데이터(θ'_Roll, θ'_Pitch, θ'_Yaw)에 기초해 상태 업데이트부(142)는 상태 예측부(141)가 추정한 위치 데이터(φ,λ,h) 및 자세 데이터(θ_Roll, θ_Pitch, θ_Yaw)를 보정하여 업데이트할 수 있다.

상태 예측부(141)가 IMU(120)의 센서 데이터로부터 추정한 INS 위치 데이터(φ,λ,h) 및 자세 데이터(θ_Roll, θ_Pitch, θ_Yaw)와, 지오레퍼런싱부(150)로부터 수신한 보정된 위치 데이터(φ',λ',h') 및 자세 데이터(θ'_Roll, θ'_Pitch, θ'_Yaw)의 차이는, [수학식 4]와 같은 관측 방정식 행렬로 나타낼 수 있고, 상태 업데이트부(142)는 이와 같은 차이를 최소화하기 위하여, 즉, 관측 방정식의 x(t)의 오차 요소들을 최소화하기 위하여 지오레퍼런싱부(150)로부터 보정된 위치 데이터(φ',λ',h') 및 자세 데이터(θ'_Roll, θ'_Pitch, θ'_Yaw)를 수신할 때마다 반복하여 [수학식 1]와 같은 소정의 관측 방정식 z(t)에 [설계 행렬2]를 적용해(대입해) 상태 예측부(141)가 추정한 위치 데이터(φ,λ,h) 및 자세 데이터(θ_Roll, θ_Pitch, θ_Yaw)가 보정되도록 계산함으로써 항체의 위치 데이터 및 자세 데이터를 보정하여 업데이트할 수 있다.

[수학식 4]

[설계 행렬2]

<실험 방법 및 결과>

GPS(110), IMU(120), 카메라(130)가 무인항공기(Unmanned Aerial Vehicle)에 탑재되어 있다고 가정하고 도 4와 같이 가상의 경로를 생성하고, 출력주기가 100Hz인 참값의 가속도 및 각속도와 NED(North-East-Down) 좌표계에서의 위치 및 자세의 참값을 생성하였으며, 생성된 참값의 가속도 및 각속도를 이용하여 순수항법방정식을 통해 WGS-84 좌표계상의 참값의 GPS 위치 데이터를 생성하였다(S10 참조). 생성된 GPS 데이터의 출력 주기는 1초 이다. 참값의 위치를 이용하여 0.5초(2Hz) 간격으로 AT 수행을 위한 입력데이터인 IP와 GP를 생성하고, 오차를 첨가하였다. GPS(110), IMU(120) 센서 사양에 따라 GPS 위치 데이터와 IMU의 가속도 및 각속도에 오차를 첨가하여 최종적으로 GPS, IMU 데이터를 생성하였다. 생성된 GPS, IMU, AT 수행을 위한 데이터를 이용하여 약결합 방식인 GPS/INS 통합 알고리즘과 GPS/INS/AT 통합 알고리즘을 이용하여 위치 및 자세 결과를 도출하였다. 각각 통합 알고리즘으로 계산된 위치 및 자세를 참값의 시뮬레이션 데이터를 이용하여 오차를 계산하였고, 이를 이용하여 GPS/INS/AT 통합 알고리즘을 이용한 위치 및 자세의 정확도 향상에 대해 분석하였다.

참값의 위치를 기준으로 GPS/INS 통합 알고리즘과 GPS/INS/AT 통합 알고리즘으로 계산된 각각의 위치오차를 계산하여 GPS/INS/AT 통합 효과를 비교한, 도 5 및 도 6과 같이, 위치 오차의 경우 기존의 GPS/INS 통합 알고리즘 수행 결과보다 North, East 방향으로 각각 0.014m, 0.029m 오차가 감소하였다. 특히 Down 방향은 North, East 방향과 상대적으로 0.332m로 크게 감소된 것으로 확인되었다.

또한, GPS/INS 통합 알고리즘과 GPS/INS/AT 통합 알고리즘의 자세 오차를 비교한, 도 7 및 도 8과 같이, Roll 과 Pitch는 각각 0.023도, 0.016도 오차가 감소되었으며 오차의 범위를 보면 알 수 있듯이 좀 더 안정적으로 계산되었다. 특히 Yaw인 경우는 GPS/INS 통합 결과보다 0.507도 정확하게 계산됨을 알 수 있다. 이러한 결과는 AT 수행 시 초기의 외부표정요소를 이용하여 절대적인 영상의 외부표정요소를 조정하게 되지만, 절대적인 위치보다는 영상 간의 공액점을 통해 상대적인 회전각을 더욱 정확하게 추정되기 때문이다. 따라서 항체가 진행하고 있는 방향인 Yaw에 대한 오차가 크게 감소되었다.

이와 같이 본 발명의 일실시예에 따른 항체 위치 및 자세 결정 장치(100)를 통하여, 무기준점 방식의 AT을 통해 이미지 georeferencing을 수행하여 생성한 외부표정요소를 이용해 약결합 방식으로 재차 GPS/INS 오차를 보정함으로써 보다 정확한 항공기의 위치/자세 데이터를 획득할 수 있고, 이는 georeferencing을 통해 3차원 좌표 정보를 더욱 정확하게 추정하는데 효과적으로 이용될 수 있을 것이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

GPS(110)
IMU(120)
항체 위치 자세 추정부(121)
디지털 카메라(130)
확장 칼만 필터(140)
상태 예측부(141)
상태 업데이트부(142)
지오레퍼런싱부(150)

Claims

항체에 장착된 가속도 센서와 자이로 센서를 구비한 IMU(Inertial Measurement Unit)로부터의 센서 데이터를 기초로 생성된 속도 데이터, 위치 데이터 및 자세 데이터와, 상기 항체에 장착된 GPS(Global Positioning System)로부터의 위치 데이터를 이용하여, 상기 항체의 위치 데이터 및 자세 데이터를 추정하는 확장 칼만 필터; 및
상기 항체에 장착된 카메라로부터의 영상 데이터와 상기 확장 칼만 필터에서 추정한 상기 항체의 위치 데이터 및 자세 데이터를 이용하여 상기 항체의 위치 데이터 및 자세 데이터를 보정하는 지오레퍼런싱부를 포함하고,
상기 확장 칼만 필터는, 상기 GPS로부터 위치 데이터를 수신할 때마다 상기 항체의 위치 데이터를 보정하여 업데이트하고, 상기 지오레퍼런싱부로부터 보정된 상기 위치 데이터 및 자세 데이터를 수신할 때마다 상기 항체의 위치 데이터 및 자세 데이터를 보정하여 업데이트하는 것을 특징으로 하는 항체 위치 및 자세 결정 장치.
제1항에 있어서,
상기 지오레퍼런싱부는,
상기 영상 데이터로부터 지상 객체에 대한 공액점 좌표를 산출하며, 상기 확장 칼만 필터에서 추정한 상기 항체의 위치 데이터 및 자세 데이터와 상기 공액점 좌표로부터 생성한 소정 투영중심과 상기 공액점 좌표를 지나는 복수의 직선들이 최소 제곱법을 통해 가장 오차가 작은 근접 범위에서 만나는 점을 초기 지상점 좌표로 생성하고,
상기 항체의 위치 데이터 및 자세 데이터와 상기 초기 지상점 좌표를 기초로 상기 보정된 위치 데이터 및 자세 데이터와 상기 초기 지상점 좌표의 보정된 지상점 좌표를 추정하기 위한 계산을 수행하는 것을 특징으로 하는 항체 위치 및 자세 결정 장치.
제1항에 있어서,
상기 확장 칼만 필터는,
상기 센서 데이터를 기초로 생성된 이전의 속도 데이터, 위치 데이터 및 자세 데이터로부터 현재의 상기 항체의 속도 데이터, 위치 데이터 및 자세 데이터를 추정하는 상태 예측부; 및
상기 상태 예측부가 추정한 데이터를 이용하여, 상기 GPS로부터의 위치 데이터에 기초해 상기 상태 예측부가 추정한 위치 데이터를 보정하여 업데이트하고, 상기 지오레퍼런싱부가 보정한 위치 데이터 및 자세 데이터에 기초해 상기 상태 예측부가 추정한 위치 데이터 및 자세 데이터를 보정하여 업데이트하는 상태 업데이트부
를 포함하는 것을 특징으로 하는 항체 위치 및 자세 결정 장치.
제3항에 있어서,
상기 상태 업데이트부는,
상기 GPS로부터 위치 데이터를 수신할 때 아래 설계 행렬1을 상기 상태 예측부가 추정한 위치 데이터와 상기 GPS로부터 수신한 위치 데이터 사이의 차이에 대한 소정의 관측 방정식에 적용하여 계산함으로써 상기 항체의 위치 데이터를 보정하여 업데이트하고,
상기 지오레퍼런싱부로부터 보정된 위치 데이터 및 자세 데이터를 수신할 때 아래 설계 행렬2 를 상기 상태 예측부가 추정한 위치 데이터 및 자세 데이터와 상기 지오레퍼런싱부로부터 보정된 위치 데이터 및 자세 데이터 사이의 차이에 대한 소정의 관측 방정식에 적용하여 계산함으로써 상기 항체의 위치 데이터 및 자세 데이터를 보정하여 업데이트하고,
상기 설계 행렬1은

,
상기 설계 행렬2는

이고, 여기서, I는 단위행렬, O는 영행렬인 것을 특징으로 하는 항체 위치 및 자세 결정 장치.
항체의 위치 및 자세를 결정하기 위한 항체 위치 및 자세 결정 장치에서의 항체 위치 및 자세 결정 방법에 있어서,
상기 장치에 구비된 확장 칼만 필터에서, 항체에 장착된 가속도 센서와 자이로 센서를 구비한 IMU(Inertial Measurement Unit)로부터의 센서 데이터를 기초로 생성된 속도 데이터, 위치 데이터 및 자세 데이터와, 상기 항체에 장착된 GPS(Global Positioning System)로부터의 위치 데이터를 이용하여, 상기 항체의 위치 데이터 및 자세 데이터를 추정하는 단계;
상기 장치에 구비된 지오레퍼런싱부에서, 상기 항체에 장착된 카메라로부터의 영상 데이터와 상기 확장 칼만 필터에서 추정한 상기 항체의 위치 데이터 및 자세 데이터를 이용하여 상기 항체의 위치 데이터 및 자세 데이터를 보정하는 단계; 및
상기 확장 칼만 필터에서, 상기 GPS로부터 위치 데이터를 수신할 때마다 상기 항체의 위치 데이터를 보정하여 업데이트하고, 상기 지오레퍼런싱부로부터 보정된 상기 위치 데이터 및 자세 데이터를 수신할 때마다 상기 항체의 위치 데이터 및 자세 데이터를 보정하여 업데이트하는 단계
를 포함하는 것을 특징으로 하는 항체 위치 및 자세 결정 방법.