KR101192825B1

KR101192825B1 - Ｇｐｓ／ｉｎｓ／영상ａｔ를 통합한 라이다 지오레퍼린싱 장치 및 방법

Info

Publication number: KR101192825B1
Application number: KR1020110064547A
Authority: KR
Inventors: 이임평; 최경아; 이지훈
Original assignee: 서울시립대학교 산학협력단
Priority date: 2011-06-30
Filing date: 2011-06-30
Publication date: 2012-10-18

Abstract

본 발명은 항공 라이다 시스템에서 획득되는 3차원 좌표 정보의 정확도 향상을 위해 GPS/IMU 데이터와 영상 AT(Aerial Triangulation) 결과를 통합하여 정확한 위치/자세 데이터를 결정하고, 이로부터 기하 모델 정의에 따라 개별 센서에 설정된 좌표계에 대한 센서방정식을 통해 보다 정확한 지상점 좌표를 추정할 수 있는 라이다 지오레퍼린싱 장치 및 방법에 관한 것이다.

Description

ＧＰＳ／ＩＮＳ／영상ＡＴ를 통합한 라이다 지오레퍼린싱 장치 및 방법{Apparatus and Method for LIDAR Georeferencing Based on Integration of GPS, INS and Image AT}

본 발명은 라이다 지오레퍼린싱(georeferencing) 장치 및 방법에 관한 것으로서, 특히, 항공 라이다 시스템에서 획득되는 3차원 좌표 정보의 정확도 향상을 위해 GPS/IMU 데이터와 영상 AT(Aerial Triangulation) 결과를 통합하여 정확한 위치/자세 데이터를 결정하고, 이로부터 기하 모델 정의에 따라 개별 센서에 설정된 좌표계에 대한 센서방정식을 통해 보다 정확한 지상점 좌표를 추정할 수 있는 라이다 지오레퍼린싱 장치 및 방법에 관한 것이다.

항공 라이다 시스템은 레이저 펄스를 이용하여 신속하고 조밀하게 지형지물의 3차원 좌표 정보를 획득하며, 이는 DSM/DEM, 도시모델 등과 같은 고해상도 공간정보 생성 및 이를 이용한 재해/방재 분야, 국방 및 환경 분야 등 다양한 분야에 활용되고 있다.

이러한 항공 라이다 시스템은 크게 대상물과의 거리/방향 데이터를 획득하는 레이저스캐너와 항공기의 위치/자세 데이터를 획득하는 GPS/IMU(Global Position System/inertial measurement unit)로 구성되며, 이와 같은 개별 센서를 통해 획득되는 위치, 자세, 거리, 방향 데이터를 조합하는 georeferencing(지리참조) 과정을 통해 레이저 포인트의 3차원 좌표를 생성한다. Georeferencing을 통해 생성된 3차원 좌표 정보의 정확도는 GPS/IMU에서 획득되는 항공기의 위치/자세 데이터의 정확도에 큰 영향을 받으므로 이를 개선할 필요가 있다.

따라서, 본 발명은 상술한 문제점을 해결하기 위한 것으로서, 본 발명의 목적은, 항공 라이다 시스템에서 획득되는 3차원 좌표 정보의 정확도 향상을 위해 GPS/IMU 데이터와 영상 AT(Aerial Triangulation) 결과를 통합하여 정확한 위치/자세 데이터를 결정하고, 이로부터 기하 모델 정의에 따라 개별 센서에 설정된 좌표계에 대한 센서방정식을 통해 보다 정확한 지상점 좌표를 추정할 수 있는 라이다 지오레퍼린싱 장치 및 방법을 제공하는 데 있다.

먼저, 본 발명의 특징을 요약하면, 본 발명의 일면에 따른, 라이다 지오레퍼린싱 장치는, 항체에 장착된 GPS/IMU로부터 수신하는 센서 데이터를 이용하여 상기 항체의 위치 데이터 및 자세 데이터를 결정하는 위치/자세 결정부; 상기 항체에 장착된 카메라로부터 수신한 영상 데이터와 상기 위치/자세 결정부에서 결정한 상기 항체의 위치 데이터 및 자세 데이터를 이용하여 상기 항체에 대한 보정된 위치 데이터 및 자세 데이터를 추정하여, 상기 위치/자세 결정부가 상기 항체의 위치 데이터 및 자세 데이터를 결정하도록 제어하는 영상 지오레퍼런싱부; 및 상기 항체에 장착된 레이저 스캐너로부터 수신한 스캔 시간, 거리 데이터 및 방향 데이터을 기초로, 상기 위치/자세 결정부가 결정한 상기 항체의 위치 데이터 및 자세 데이터와 상기 GPS가 상기 센서 데이터를 획득하는 해당 GPS 시간을 이용하여, 상기 레이저 스캐너가 스캔한 지상 객체에 대한 지상점 좌표를 추정하는 라이다 지오레퍼런싱부를 포함한다.

상기 영상 지오레퍼런싱부는, 상기 영상 데이터로부터 지상 객체에 대한 공액점 좌표를 산출하며, 상기 위치/자세 결정부에서 추정한 상기 항체의 위치 데이터 및 자세 데이터를 이용하여 공선방정식 상에서 소정 투영중심과 상기 공액점 좌표를 지나는 복수의 직선들이 최소 제곱법을 통해 가장 오차가 작은 근접 범위에서 만나는 점을 초기 지상점 좌표로 생성하고, 상기 항체의 위치 데이터 및 자세 데이터와 상기 초기 지상점 좌표를 기초로 Bundle Block Adjustment기반의 무기준점 AT(Aerial Triangulation)를 수행하여, 상기 보정된 위치 데이터 및 자세 데이터를 추정한다.

상기 라이다 지오레퍼런싱부는, 상기 레이저 스캐너로부터 수신한 거리 데이터 및 방향 데이터로부터 상기 레이저 스캐너의 좌표계에서의 상기 지상 객체에 대한 제1좌표를 추정하는 제1 추정부; 상기 레이저 스캐너의 좌표계로부터 상기 GPS/IMU의 좌표계로 변환을 위한 제1변환 요소를 이용해 상기 제1좌표를 상기 GPS/IMU의 좌표계에서의 제2좌표로 변환하는 제2 추정부; 상기 위치/자세 결정부가 결정한 상기 항체의 위치 데이터 및 자세 데이터를 이용해 상기 GPS/IMU의 좌표계로부터 지상 좌표계로 변환을 위한 제2변환 요소를 생성하는 선형 보간부; 및 상기 제2변환 요소를 이용해 상기 제2좌표를 지상 좌표계에서의 상기 지상점 좌표로 변환하는 제3추정부를 포함한다.

상기 제2 추정부는 상기 제1 변환 요소의 이동 행렬 T_LI와 회전 행렬 R_LI를 이용해 상기 제1좌표인 아래 수학식1의 P_L로부터 상기 제2좌표인 아래 수학식2의 P_I을 계산하며, 상기 제3 추정부는 상기 제2 변환 요소의 이동 행렬 T_LI와 회전 행렬 R_LI를 이용해 상기 P_L을 상기 지상점 좌표인 아래 수학식3의 P_G을 계산하며, 여기서, 상기 수학식1은,

,

상기 수학식 2는,

상기 수학식 3은

이고, 여기서, ρ는 상기 거리 데이터, θ 는 상기 방향 데이터이다.

상기 선형 보간부는, 상기 위치/자세 결정부가 결정한 상기 항체의 위치 데이터 및 자세 데이터 사이의 상기 스캔 시간에 해당하는 상기 항체의 위치 데이터 및 자세 데이터를 선형 보간법으로 추정하고, 상기 스캔 시간 마다의 상기 제2변환 요소를 생성한다.

상기 선형 보간부는, 상기 선형 보간법으로 추정한 위치 데이터 및 자세 데이터를 이용해, 해당 위치 데이터로부터 상기 지상 좌표계로의 상대적인 이동값을 계산해 상기 제2변환 요소의 이동 행렬을 계산하고, 해당 자세 데이터로부터 상기 지상 좌표계로의 상대적인 회전값을 계산해 상기 제2변환 요소의 회전 행렬을 계산한다.

그리고, 본 발명의 다른 일면에 따른 라이다 지오레퍼린싱 방법은, 항체에 장착된 GPS/IMU로부터 수신하는 센서 데이터를 이용하여 상기 항체의 위치 데이터 및 자세 데이터를 결정하되, 상기 항체에 장착된 카메라로부터 수신한 영상 데이터와 상기 결정된 상기 항체의 위치 데이터 및 자세 데이터에 의해 상기 항체에 대한 보정된 위치 데이터 및 자세 데이터가 추정되면, 상기 항체에 대한 보정된 위치 데이터 및 자세 데이터를 이용하여, 상기 항체의 위치 데이터 및 자세 데이터를 다시 결정하는 단계; 및 상기 항체에 장착된 레이저 스캐너로부터 수신한 스캔 시간, 거리 데이터 및 방향 데이터를 기초로, 상기 결정된 상기 항체의 위치 데이터 및 자세 데이터와 상기 GPS가 상기 센서 데이터를 획득하는 해당 GPS 시간을 이용하여, 상기 레이저 스캐너가 스캔한 지상 객체에 대한 지상점 좌표를 추정하는 단계를 포함한다.

본 발명에 따른 라이다 지오레퍼린싱 장치 및 방법에 따르면, GPS/IMU 데이터와 영상 AT(Aerial Triangulation) 결과를 통합하여 정확한 위치/자세 데이터를 결정할 수 있을 뿐만아니라, 이로부터 기하 모델 정의에 따라 개별 센서에 설정된 좌표계에 대한 센서방정식을 통해 보다 정확한 지상점 좌표를 추정하여 항공 라이다 시스템에서 3차원 좌표 정보의 정확도를 향상시킬 수 있다.

도 1은 본 발명의 일실시예에 따른 라이다 지오레퍼린싱 장치를 설명하기 위한 도면이다.
도 2는 도 1의 라이다 지오레퍼런싱부의 구체적인 블록도이다.
도 3은 지상점 좌표 추정 방법을 설명하기 위한 도면이다.
도 4는 도 1의 GPS/IMU, 레이저 스캐너 각 센서의 좌표계에 대한 기하 모델을 설명하기 위한 도면이다.
도 5는 도 2의 선형 보간부의 동작을 설명하기 위한 도면이다.
도 6은 실험에 사용된 가상의 항체 경로를 설명하기 위한 도면이다.
도 7은 기존의 GPS/INS와 본 발명의 GPS/INS/AT 기술의 위치 및 자세 오차를 비교 설명하기 위한 표이다.
도 8은 기존의 GPS/INS와 본 발명의 GPS/INS/AT 기술의 3차원 지상점 좌표의 오차를 비교 설명하기 위한 표이다.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.

도 1은 본 발명의 일실시예에 따른 라이다 지오레퍼린싱 장치(100)를 설명하기 위한 도면이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 라이다 지오레퍼린싱 장치(100)는, GPS/IMU(110), 위치/자세 결정부(111), 디지털 카메라(120), 영상 지오레퍼런싱부(121), 레이저 스캐너(130), 및 라이다 지오레퍼런싱부(140)를 포함한다.

GPS/IMU(110)는 GPS(Global Position System)와 IMU(inertial measurement unit)를 포함하고 각각의 센서 테이터를 생성한다. GPS는 위성과 통신하여 위치 데이터(예를 들어, WGS84좌표계의 측지좌표로서, 위도(φ), 경도(λ), 타원체고(h) 등)를 생성하고, 예를 들어, GPS는 위치 데이터를 1Hz주기로 각 시간별로 생성할 수 있다. IMU는 관성 측정 수단으로서 자이로 센서(자이로스코프)를 이용해, 예를 들어, 해당 좌표계에서 장치(100)(또는 항체)의 회전각으로서 전진방향(Roll축 방향), 전진방향의 우측방향(Pitch 축 방향), 중력 방향(Yaw 축 방향) 각각의 각속도 증분치 등의 자세 관련 센서 데이터를 생성하고, 가속도 센서를 이용해 항체 속도 증분치 등의 가속도 관련 센서 데이터를 생성한다. 예를 들어, IMU는 자세 데이터를 100Hz로 획득할 수 있다. 다만, 이에 한정되지 않으며 다양한 관성 측정 수단을 이용하여 자세 데이터를 획득할 수 있다.

카메라(120)는 CMOS, CCD(Charge Coupled Device) 이미지 센서 등을 이용하여 영상을 촬영하여 영상 데이터를 획득하며, 예를 들어, 카메라(110)는 2304×1296(pixels) 해상도의 영상을 2Hz로 획득할 수 있다. 다만, 이에 한정되지 않으며 다양한 디지털 카메라가 이용될 수 있다.

레이저 스캐너(130)는 지상 객체에 레이저를 스캔(scan) 조사하고 반사되는 레이저와 조사된 레이저의 시간차를 이용해 거리를 계산하여 해당 스캔 시간에 대한 거리 데이터(ρ)와 해당 스캔 방향에 대한 방향 데이터(θ)를 획득하여 출력하며, 예를 들어, 레이저 스캐너(130)는 지상 객체에 10000Hz 주기로 펄스 레이저를 스캔 조사해 각 조사 시마다 해당 스캔 시간, 거리 데이터(ρ), 방향 데이터(θ)를 생성할 수 있다.

먼저, 위치/자세 결정부(111)는 GPS/IMU(110)로부터 수신하는 센서 데이터(위치, 자세 관련 데이터)를 이용하여 항체의 위치 데이터 및 자세 데이터를 결정한다. 위치/자세 결정부(111)는 GPS/IMU(110)의 IMU로부터의 센서 데이터(자세 및 가속도 관련 데이터)를 소정 항법 방정식에 적용하여 항체에 대한 해당 속도 데이터(V), 위치 데이터(φ,λ,h) 및 자세 데이터(회전 행렬 Csn)를 생성할 수 있으며, 이와 함께 GPS로부터 수신한 위치 데이터(φ,λ,h)를 이용하여 항체의 위치 데이터(φ,λ,h) 및 자세 데이터(θ_Roll, θ_Pitch, θ_Yaw)를 결정할 수 있다.

위치/자세 결정부(111)에 구비된 확장 칼만 필터의 상태 예측 수단은, 위와 같이 항법 방정식에 기초하여 생성한 이전의 속도 데이터(V), 위치 데이터(φ,λ,h) 및 자세 데이터(회전 행렬 Csn)로부터 현재 항체의 속도 데이터(V), 위치 데이터(φ,λ,h) 및 자세 데이터(θ_Roll, θ_Pitch, θ_Yaw)를 추정하며, 확장 칼만 필터의 상태 업데이트 수단은 GPS로부터 위치 데이터(φ,λ,h)를 수신하면, 항체의 위치 데이터(φ,λ,h) 또는 자세 데이터(θ_Roll, θ_Pitch, θ_Yaw)를 보정할 수 있다.

영상 지오레퍼런싱부(121)는 카메라(120)로부터 수신한 영상(데이터)와 위치/자세 결정부(111)에서 결정한 항체의 위치 데이터(φ,λ,h) 및 자세 데이터(θ_Roll, θ_P _it _ch, θ_Yaw)를 이용하여 무기준점 방식의 AT을 통해 영상 georeferencing을 수행하여 항체에 대한 해당 보정된 위치 데이터(φ',λ',h') 및 자세 데이터(θ'_Roll, θ'_Pitch, θ'_Yaw)를 추정하여 위치/자세 결정부(111)로 전송할 수 있다.

이에 따라 위치/자세 결정부(111)에 구비된 확장 칼만 필터의 상태 업데이트 수단은 영상 지오레퍼런싱부(121)로부터 보정된 위치 데이터(φ',λ',h') 및 자세 데이터(θ'_Roll, θ'_Pitch, θ'_Yaw)를 수신할 때 다시 항체의 위치 데이터(φ,λ,h) 또는 자세 데이터(θ_Roll, θ_Pitch, θ_Yaw)를 보정할 수 있다.

한편, 라이다 지오레퍼런싱부(140)는 레이저 스캐너(130)로부터 수신한 스캔 시간, 거리 데이터(ρ), 및 방향 데이터(θ)을 기초로, 위치/자세 결정부(111)가 결정한 항체의 위치 데이터(φ,λ,h) 및 자세 데이터(θ_Roll, θ_Pitch, θ_Yaw)와 GPS가 해당 센서 데이터를 획득하는 해당 GPS 시간을 이용하여, 레이저 스캐너(130)가 스캔한 지상 객체에 대한 지상점 좌표 P_G를 추정하게 된다.

본 발명에서는, 위치/자세 결정부(111)에서 GPS/IMU 데이터와 영상 AT(Aerial Triangulation) 결과를 통합한 georeferencing을 통해 보다 정확한 위치/자세 데이터를 결정할 수 있고, 이 결과를 라이다 지오레퍼런싱부(140)에 적용하여 기하 모델 정의에 따라 GPS/IMU(110), 레이저스캐너(130)의 개별 센서에 설정된 좌표계에 대한 센서방정식을 통해 보다 정확한 지상점 좌표 P_G를 추정하여 항공 라이다 시스템에서 3차원 좌표 정보의 정확도를 향상시킬 수 있도록 하였다.

라이다 지오레퍼런싱부(140)에 대한 자세한 설명은 도 2의 설명에서 후술하기로 하고, 먼저 위치/자세 결정부(111)와 영상 지오레퍼런싱부(121)의 동작에 대하여 좀더 자세히 기술하면 다음과 같다.

위치/자세 결정부(111)의 확장 칼만 필터(상태 업데이트 수단)는 GPS로부터 위치 데이터(φ,λ,h)를 수신할 때 [수학식 1]과 같은 관측 방정식 z(t)에 아래 소정 설계 행렬H 를 이용해 항체의 위치 데이터(φ,λ,h)를 보정하여 업데이트할 수 있다. v(t)는 잔차이다. IMU의 센서 데이터로부터 추정한 INS 위치 데이터(φ,λ,h)와 GPS로부터 수신한 위치 데이터(φ,λ,h) 간에 차이가 있으므로, 이와 같은 차이를 최소화하기 위하여, 즉, 관측 방정식의 x(t)의 오차 요소들을 최소화하기 위하여 GPS로부터 위치 데이터(φ,λ,h)를 수신할 때마다 [수학식 1]과 같은 관측 방정식 z(t)에 설계 행렬H를 이용해 항체의 위치 데이터(φ,λ,h)를 보정하여 업데이트한다.

[수학식 1]

한편, 카메라(120)가 항체의 이동에 따른 전방의 해당 영상을 촬영하여 주기적으로(예를 들어, 2Hz) 영상 데이터를 획득함에 따라, 영상 지오레퍼런싱부(121)는 카메라(120)로부터 수신한 영상(데이터)와 위치/자세 결정부(111)(확장 칼만필터)에서 추정한 항체의 위치 데이터(φ,λ,h) 및 자세 데이터(θ_Roll, θ_Pitch, θ_Yaw)를 이용하여 무기준점 방식의 AT을 통해 이미지 georeferencing을 수행하여 항체에 대한 해당 외부표정요소, 즉, 보정된 위치 데이터(φ',λ',h') 및 자세 데이터(θ'_Roll, θ'_Pitch, θ'_Yaw)를 추정한다.

먼저, 영상 지오레퍼런싱부(121)는 카메라(120)로부터 획득된 영상 데이터를 기초로 각 영상에서 중첩된 영상에 존재하는 지상 객체에 대한 영상점 좌표, 즉, 공액점 좌표(지상 기준점에 상응하는 점)를 획득할 수 있으며, 각 영상 데이터에서 획득된 공액점 좌표를 이용하여 위와 같은 초기 외부표정요소, 즉, 위치/자세 결정부(111)(확장 칼만필터)에서 추정한 항체의 위치 데이터(φ,λ,h) 및 자세 데이터(θ_Roll, θ_Pitch, θ_Yaw)를 기초로 초기 지상점 좌표를 생성할 수 있다.

즉, 영상 지오레퍼런싱부(121)는 해당 지상점이 존재하는 각 영상 (데이터)의 외부표정요소, 즉, 위치/자세 결정부(111)(확장 칼만필터)에서 추정한 항체의 위치 데이터(φ,λ,h) 및 자세 데이터(θ_Roll, θ_Pitch, θ_Yaw)와 상기 공액점 좌표를 공선방정식에 대입하여 개별 영상의 투영중심(EO)과 영상점(공액점)을 지나는 직선을 생성한다. 도 3과 같이, 공선방정식은 영상의 투영중심(Perspective Center)(EO), 하나의 지상점, 및 지상점을 나타내는 영상점(공액점)이 하나의 직선 상에 존재할 때 만족하는 식일 수 있다. 즉, 투영중심(EO)과 영상점(공액점) 및 해당 지상점은 모두 한 점에서 만나야 한다. 그러나 도 3과 같이, 동일 지상점이라 하더라도 외부표정요소와 영상점(공액점) 좌표의 오차로 인해 하나의 지상점에서 만나지 않게 된다. 그러므로 영상 지오레퍼런싱부(121)는 각 영상 데이터에서 획득된 공액점 좌표를 이용하여 위와 같은 초기 외부표정요소를 기초로 초기 지상점 좌표를 생성하되, 최소 제곱법(method of least squares)을 이용하여 하나의 지상점에 대하여 투영중심(EO)과 영상점(공액점)을 지나는 복수의 모든 직선들이 가장 오차가 작은 근접 범위에서 만나는 점을 계산하여 초기 지상점 좌표로 생성할 수 있다.

이에 따라 영상 지오레퍼런싱부(121)는 위와 같이 생성된 초기 지상점 좌표와 위치/자세 결정부(111)(확장 칼만필터)에서 추정한 항체의 위치 데이터(φ,λ,h) 및 자세 데이터(θ_Roll, θ_Pitch, θ_Yaw)를 기초로 Bundle Block Adjustment기반의 무기준점 AT(Aerial Triangulation)를 수행하여, 최종 외부표정요소, 즉, 각 영상에 의해 보정된 위치 데이터(φ',λ',h') 및 자세 데이터(θ'_Roll, θ'_Pitch, θ'_Yaw)와 초기 지상점 좌표의 보정된 지상점 좌표를 추정한다.

AT는 2개 이상의 영상 (데이터)에 대하여 영상 획득시의 카메라 위치 및 자세를 결정하는 Indirect 방법 중의 하나로서, 영상 지오레퍼런싱부(121)는 무기준점 AT의 [수학식 2]과 같은 수학적 모델(Gauss -Markov with Stochastic Constraints 모델)을 이용하여 지상 기준점없이 위와 같이 GPS/IMU(110)를 기초로 획득된 초기 외부표정요소를 제약조건으로 최소 제곱법(method of least squares)을 적용하여 각 영상으로부터 최종 외부표정요소와 지상점 좌표를 추정할 수 있다. 영상 지오레퍼런싱부(121)는 [수학식 3]에 기초한 소정 정규 방정식을 반복 계산하여 최종적으로 수렴되는 최종 외부표정요소와 지상점 좌표를 획득할 수 있다. 이에 따라, 직접 측정한 영상점 좌표 값과 공선방정식에 의해 계산된 값의 차이의 제곱의 합을 최소로 하는 외부표정요소와 지상점 좌표가 추정된다. [수학식 2]에서 e는 영상점(공액점) 좌표에 포함된 측정 오차, e₀는 외부표정요소에 포함된 측정 오차, σ₀ 는 계수, P_i ^-1은 영상점 좌표의 측정오차에 대한 분산공분산 행렬, P_e ^-1은 센서(GPS와 IMU)의 측정오차에 대한 분산공분산 행렬이다.

AT 수행 모델에 대하여 한국측량학회지, 제27권 제2호, 2009. 4：pp. 249~260, "UAV 기반 저가 멀티센서시스템을 위한 무기준점 AT를 이용한 영상의 Georeferencing"를 참조할 수 있다.

[수학식 2]

한편, 위치/자세 결정부(111)의 확장 칼만 필터(상태 업데이트 수단)는 영상 지오레퍼런싱부(121)로부터 보정된 위치 데이터(φ',λ',h') 및 자세 데이터(θ'_Roll, θ'_Pitch, θ'_Yaw)를 수신할 때 [수학식 1]의 관측 방정식 z(t)에 다른 설계 행렬 H'를 이용해 항체의 위치 데이터 및 자세 데이터를 보정하여 업데이트할 수 있다. 예를 들어, 영상 지오레퍼런싱부(121)가 추정한 위치 데이터(φ',λ',h') 및 자세 데이터(θ'_Roll, θ'_Pitch, θ'_Yaw)에 기초해 위치/자세 결정부(111)의 확장 칼만 필터(상태 업데이트 수단)는 (상태 예측 수단이 추정한) 이전의 위치 데이터(φ,λ,h) 및 자세 데이터(θ_Roll, θ_Pitch, θ_Yaw)를 보정하여 업데이트할 수 있다.

IMU의 센서 데이터로부터 추정한 INS 위치 데이터(φ,λ,h) 및 자세 데이터(θ_Roll, θ_Pitch, θ_Yaw)와, 영상 지오레퍼런싱부(121)로부터 수신한 보정된 위치 데이터(φ',λ',h') 및 자세 데이터(θ'_Roll, θ'_Pitch, θ'_Yaw) 간에 차이가 있으므로, 이와 같은 차이를 최소화하기 위하여, 즉, 관측 방정식의 x(t)의 오차 요소들을 최소화하기 위하여 영상 지오레퍼런싱부(121)로부터 보정된 위치 데이터(φ',λ',h') 및 자세 데이터(θ'_Roll, θ'_Pitch, θ'_Yaw)를 수신할 때마다 관측 방정식 z(t)에 설계 행렬 H'를 이용해 항체의 위치 데이터(φ,λ,h)를 보정하여 업데이트하는 것이다.

이하, 도 2를 참조하여 라이다 지오레퍼런싱부(140)의 동작을 좀더 자세히 설명한다. 라이다 지오레퍼런싱부(140)는, 선형 보간부(141), 레이저 스캐너 좌표계 추정부(142), GPS/IMU좌표계 추정부(143), 및 지상 좌표계 추정부(144)를 포함한다.

레이저 스캐너 좌표계 추정부(142)는 레이저 스캐너(130)로부터 수신한 거리 데이터(ρ), 및 방향 데이터(θ)로부터 레이저 스캐너(130)의 좌표계에서의 지상 객체에 대한 좌표 P_L를 [수학식 3]과 같이 추정한다. 여기서, 도 4와 같이 거리 데이터(ρ)는 레이저 스캐너(130)로부터 지상 객체까지의 거리에 해당하고, 방향 데이터(θ)는 레이저 스캐너(130)의 X_L,Y_L,Z_L 직각 좌표계에서 Z_L 축으로부터 레이저 펄스까지의 회전각에 해당한다.

[수학식 3]

GPS/IMU좌표계 추정부(143)는, 레이저 스캐너(130)의 좌표계로부터 GPS/IMU(110)의 좌표계로 변환을 위한 변환 요소(R_LI, T_LI)를 이용해 좌표 P_L를 GPS/IMU(110)의 좌표계에서의 좌표 P_I로 변환한다. GPS/IMU좌표계 추정부(143)는, 여기서의 변환 요소의 이동 행렬 T_LI와 회전 행렬 R_LI를 이용해 좌표 P_L로부터 [수학식 4]와 같이 GPS/IMU(110)의 X_I,Y_I,Z_I 직각 좌표계에서의 좌표 P_I로 변환한다. 여기서 변환 요소(T_LI, R_LI)는 GPS/IMU(110)와 레이저 스캐너(130) 간의 상대적인 관계(원점이 같아지기 위한 이동 관계 및 회전 관계)에 따라 미리 설정되어 있는 값이다.

[수학식 4]

한편, 선형 보간부(141)는, 위치/자세 결정부(111)가 결정한 항체의 위치 데이터(φ,λ,h) 또는 자세 데이터(θ_Roll, θ_Pitch, θ_Yaw)로부터 GPS/IMU(110)의 좌표계로부터 지상 좌표계(지상에서 볼 때의 좌표계)로 변환을 위한 변환 요소(R_Ig, T_Ig)를 생성한다. 선형 보간부(141)는 GPS 시간(GPS가 위치 데이터를 획득한 시간) 마다 위치/자세 결정부(111)가 결정한 항체의 위치 데이터(φ,λ,h) 또는 자세 데이터(θ_Roll, θ_Pitch, θ_Yaw)를 이용해 GPS 시간들 사이의 (레이저) 스캔 시간에 해당하는 항체의 위치 데이터 및 자세 데이터를 선형 보간법으로 추정하고(도 5 참조), 해당 (레이저) 스캔 시간 마다의 변환 요소(R_Ig, T_Ig)를 생성한다.

예를 들어, 위치/자세 결정부(111)가 결정하는 항체의 위치 데이터(φ,λ,h) 또는 자세 데이터(θ_Roll, θ_Pitch, θ_Yaw)는 GPS 시간 주기에 따라 1Hz단위로 업데이트되어 최종적으로 IMU 센서 데이터를 획득하는 100Hz단위로 위와 같은 위치/자세 데이터가 업데이트되며(해당 GPS 시간도 출력됨), 레이저 스캐너(130)가 레이저 펄스를 스캔하여 획득하는 거리 데이터(ρ), 및 방향 데이터(θ)는 10000Hz단위로 출력될 수 있으므로, 해당 위치/자세 데이터가 업데이트되는 GPS 시간들 사이의 (레이저) 스캔 시간에 해당하는 항체의 위치 데이터 및 자세 데이터를 획득하기 위하여 선형 보간부(141)는 도 5와 같이 선형 보간법으로 해당 데이터를 추정할 수 있다. 예를 들어, 도 5에서 항체의 위치 데이터 및 자세 데이터, Data1, Data2가 획득된 시간(예를 들어, 100Hz 주기)의 중간에 존재하는 (레이저) 스캔 시간들(레이저 포인트)에서의 각각의 항체의 위치 데이터 및 자세 데이터 DX가 [수학식 5]와 같이 선형 보간법으로 추정될 수 있다. 예를 들어, 위치 데이터 및 자세 데이터 Data1, Data2가 획득된 시간 간격이 WIDTH일 때, Data1으로부터 dt 시간 차이가 있는 레이저 포인트 스캔 시간에서의 항체의 위치 데이터 및 자세 데이터 DX는 [수학식 5]와 같은 식에 기초하여 계산 될 수 있다. 여기서, [수학식 5]는 하나의 예시를 든 식이며 각각의 항에 가중치를 줄 수도 있으며, [수학식 5]의 식을 간단히 변형한 다른 식이 이용될 수도 있다.

[수학식 5]

DX = Data1 + [Data2 - Data1]/WIDTH × dt

이와 같이 선형 보간법으로 해당 위치/자세 데이터가 업데이트되는 GPS 시간들 사이의 (레이저) 스캔 시간에 해당하는 항체의 위치 데이터 및 자세 데이터가 획득되면, 선형 보간부(141)는, 이를 이용해 해당 (레이저) 스캔 시간 마다의 변환 요소(R_Ig, T_Ig)를 생성한다. 예를 들어, 도 4와 같이 GPS/IMU(110)의 X_I,Y_I,Z_I 직각 좌표계와 지상 X_G,Y_G,Z_G 직각 좌표계 간에는 각각의 원점이 일정 거리 떨어져 있고, 각각의 축이 일정 각도 회전되어 있는 관계이므로, 소정 함수에 따라 원점의 상대적인 이동값과 축의 상대적인 회전값이 계산될 수 있다. 즉, 선형 보간부(141)는, 해당 (레이저) 스캔 시간에 대하여 위와 같이 추정된 항체의 위치 데이터로부터 지상 좌표계로의 상대적인 원점의 이동값을 계산해 여기서의 변환 요소의 이동 행렬(T_Ig)을 계산할 수 있고, 또한, 해당 (레이저) 스캔 시간에 대하여 위와 같이 추정된 항체의 자세 데이터로부터 지상 좌표계로의 상대적인 축의 회전값을 계산해 여기서의 변환 요소의 회전 행렬(R_Ig)을 계산할 수 있다.

이에 따라 지상 좌표계 추정부(144)는 이동 행렬(T_Ig)과 회전 행렬(R_Ig)을 이용해 GPS/IMU 좌표계 추정부(143)가 추정한 좌표 P_I를 지상 좌표계에서의 해당 지상점 좌표 P_G로 변환한다. 지상 좌표계 추정부(144)는 좌표 P_G로부터 [수학식 6]과 같이 지상 X_G,Y_G,Z_G 직각 좌표계에서의 좌표 P_G로 변환한다.

[수학식 6]

<실험 방법 및 결과>

시뮬레이션 데이터 생성은 먼저 항공기의 비행경로를 생성하고 그에 따른 참값의 위치/자세 데이터를 생성하였다. 비행경로는 도 6과 같이 가상의 경로를 설정하였으며, 고도는 250m, 비행 속도는 15m/s로 일정하게 유지하였다. 경로 생성을 통하여 참값의 라이다 데이터를 획득할 수 있으며, 경로를 따라 영상획득 관련 변수들도 생성하였다. 다음으로 각각의 변수에 측정오차를 가산하여 측정값을 생성하였다. GPS/IMU 통합 알고리즘과 GPS/IMU/AT 통합 알고리즘을 이용하여 획득된 위치/자세 데이터로부터 도시 모델에 해당하는 라이다 데이터를 생성하였다. 최종적으로 회전구간을 제외한 직선구간만을 이용하여 250m×250m 범위에 40만개의 라이다 데이터를 생성하였다.

이와 같은 실험 결과 도 7에 나타낸 위치/자세 데이터의 비교표에서와 같이, 본 발명의 GPS/IMU/AT 통합 알고리즘을 통해 결정된 위치/자세 데이터는 기존의 GPS/IMU 통합 알고리즘을 통한 결과와 비교하여 정확도가 개선되었음을 확인할 수 있다. 특히, 위치 데이터 중 높이 값의 오차는 약 40cm 이상 감소하였다. 자세 데이터 오차의 감소폭은 경미하게 느낄 수 있으나 비행고도를 고려하였을 때 객체의 3차원 좌표 결정에 큰 영향을 끼칠 수 있을 것으로 판단한다. 이와 같은 위치/자세 데이터의 정확도 개선은 GPS/IMU 통합 알고리즘을 통해 결정된 절대적인 위치/자세 데이터를 영상간의 상대적인 관계를 활용하여 보정함으로써 가능하다.

또한, 도 8에 나타낸 3차원 지상점 좌표에 대한 비교표에서와 같이, 본 발명의 GPS/IMU/AT 통합 알고리즘에 의한 위치/자세 데이터의 정확도 향상은 라이다 데이터, 즉, 3차원 지상점 좌표의 정확도 향상에 기여함을 확인할 수 있다. 특히, 높이 값의 정확도 향상으로 3차원 좌표 중 Z값의 오차가 약 56cm 감소된 것을 확인할 수 있다.

이와 같이 본 발명의 일실시예에 따른 라이다 지오레퍼린싱 장치(100)를 통하여, GPS/IMU 데이터와 영상 AT(Aerial Triangulation) 결과를 통합한 georeferencing을 통해 보다 정확한 위치/자세 데이터를 결정할 수 있고, 이로부터 기하 모델 정의에 따라 개별 센서에 설정된 좌표계에 대한 센서방정식을 통해 보다 정확한 지상점 좌표를 추정하여 항공 라이다 시스템에서 3차원 좌표 정보의 정확도를 향상시킬 수 있게 된다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

GPS/IMU(110)
위치/자세 결정부(111)
디지털 카메라(120)
영상 지오레퍼런싱부(121)
레이저스캐너(130)
라이다 지오레퍼런싱부(140)

Claims

항체에 장착된 GPS/IMU로부터 수신하는 센서 데이터를 이용하여 상기 항체의 위치 데이터 및 자세 데이터를 결정하는 위치/자세 결정부;
상기 항체에 장착된 카메라로부터 수신한 영상 데이터와 상기 위치/자세 결정부에서 결정한 상기 항체의 위치 데이터 및 자세 데이터를 이용하여 상기 항체에 대한 보정된 위치 데이터 및 자세 데이터를 추정하여, 상기 위치/자세 결정부가 상기 항체의 위치 데이터 및 자세 데이터를 결정하도록 제어하는 영상 지오레퍼런싱부; 및
상기 항체에 장착된 레이저 스캐너로부터 수신한 스캔 시간, 거리 데이터 및 방향 데이터를 기초로, 상기 위치/자세 결정부가 결정한 상기 항체의 위치 데이터 및 자세 데이터와 상기 GPS가 상기 센서 데이터를 획득하는 해당 GPS 시간을 이용하여, 상기 레이저 스캐너가 스캔한 지상 객체에 대한 지상점 좌표를 추정하는 라이다 지오레퍼런싱부
를 포함하는 것을 특징으로 하는 라이다 지오레퍼린싱 장치.
제1항에 있어서,
상기 영상 지오레퍼런싱부는,
상기 영상 데이터로부터 지상 객체에 대한 공액점 좌표를 산출하며, 상기 위치/자세 결정부에서 추정한 상기 항체의 위치 데이터 및 자세 데이터를 이용하여 공선방정식 상에서 소정 투영중심과 상기 공액점 좌표를 지나는 복수의 직선들이 최소 제곱법을 통해 가장 오차가 작은 근접 범위에서 만나는 점을 초기 지상점 좌표로 생성하고,
상기 항체의 위치 데이터 및 자세 데이터와 상기 초기 지상점 좌표를 기초로 Bundle Block Adjustment기반의 무기준점 AT(Aerial Triangulation)를 수행하여, 상기 보정된 위치 데이터 및 자세 데이터를 추정하는 것을 특징으로 하는 라이다 지오레퍼린싱 장치.
제1항에 있어서,
상기 라이다 지오레퍼런싱부는,
상기 레이저 스캐너로부터 수신한 거리 데이터 및 방향 데이터로부터 상기 레이저 스캐너의 좌표계에서의 상기 지상 객체에 대한 제1좌표를 추정하는 제1 추정부;
상기 레이저 스캐너의 좌표계로부터 상기 GPS/IMU의 좌표계로 변환을 위한 제1변환 요소를 이용해 상기 제1좌표를 상기 GPS/IMU의 좌표계에서의 제2좌표로 변환하는 제2 추정부;
상기 위치/자세 결정부가 결정한 상기 항체의 위치 데이터 및 자세 데이터를 이용해 상기 GPS/IMU의 좌표계로부터 지상 좌표계로 변환을 위한 제2변환 요소를 생성하는 선형 보간부; 및
상기 제2변환 요소를 이용해 상기 제2좌표를 지상 좌표계에서의 상기 지상점 좌표로 변환하는 제3추정부
를 포함하는 것을 특징으로 하는 라이다 지오레퍼린싱 장치.
제3항에 있어서,
상기 제2 추정부는 상기 제1 변환 요소의 이동 행렬 T_LI와 회전 행렬 R_LI를 이용해 상기 제1좌표인 아래 수학식1의 P_L로부터 상기 제2좌표인 아래 수학식2의 P_I을 계산하며,
상기 제3 추정부는 상기 제2 변환 요소의 이동 행렬 T_IG와 회전 행렬 R_IG를 이용해 상기 P_L을 상기 지상점 좌표인 아래 수학식3의 P_G을 계산하며,
상기 수학식1은,

상기 수학식 2는,

상기 수학식 3은

이고, 여기서, ρ는 상기 거리 데이터, θ 는 상기 방향 데이터인 것을 특징으로 하는 라이다 지오레퍼린싱 장치.
제3항에 있어서,
상기 선형 보간부는,
상기 위치/자세 결정부가 상기 항체의 위치 데이터 및 자세 데이터를 업데이트하는 GPS 시간들 사이의 상기 스캔 시간에 해당하는 상기 항체의 위치 데이터 및 자세 데이터를 선형 보간법으로 추정하고, 상기 스캔 시간 마다의 상기 제2변환 요소를 생성하는 것을 특징으로 하는 라이다 지오레퍼린싱 장치.
제5항에 있어서,
상기 선형 보간부는,
상기 선형 보간법으로 추정한 위치 데이터 및 자세 데이터를 이용해,
해당 위치 데이터로부터 상기 지상 좌표계로의 상대적인 이동값을 계산해 상기 제2변환 요소의 이동 행렬을 계산하고,
해당 자세 데이터로부터 상기 지상 좌표계로의 상대적인 회전값을 계산해 상기 제2변환 요소의 회전 행렬을 계산하는 것을 특징으로 하는 라이다 지오레퍼린싱 장치.
항체에 장착된 GPS/IMU로부터 수신하는 센서 데이터를 이용하여 상기 항체의 위치 데이터 및 자세 데이터를 결정하되, 상기 항체에 장착된 카메라로부터 수신한 영상 데이터와 상기 결정된 상기 항체의 위치 데이터 및 자세 데이터에 의해 상기 항체에 대한 보정된 위치 데이터 및 자세 데이터가 추정되면, 상기 항체에 대한 보정된 위치 데이터 및 자세 데이터를 이용하여, 상기 항체의 위치 데이터 및 자세 데이터를 다시 결정하는 단계; 및
상기 항체에 장착된 레이저 스캐너로부터 수신한 스캔 시간, 거리 데이터 및 방향 데이터를 기초로, 상기 결정된 상기 항체의 위치 데이터 및 자세 데이터와 상기 GPS가 상기 센서 데이터를 획득하는 해당 GPS 시간을 이용하여, 상기 레이저 스캐너가 스캔한 지상 객체에 대한 지상점 좌표를 추정하는 단계
를 포함하는 것을 특징으로 하는 라이다 지오레퍼린싱 방법.