KR20230108236A - 드론 기반 주파수 변조 연속파형 합성 개구면 레이다 영상 장치 및 그 방법 - Google Patents
드론 기반 주파수 변조 연속파형 합성 개구면 레이다 영상 장치 및 그 방법 Download PDFInfo
- Publication number
- KR20230108236A KR20230108236A KR1020230003451A KR20230003451A KR20230108236A KR 20230108236 A KR20230108236 A KR 20230108236A KR 1020230003451 A KR1020230003451 A KR 1020230003451A KR 20230003451 A KR20230003451 A KR 20230003451A KR 20230108236 A KR20230108236 A KR 20230108236A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- drone
- position vector
- imu
- gnss
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000003384 imaging method Methods 0.000 title claims abstract description 23
- 239000013598 vector Substances 0.000 claims abstract description 51
- 230000033001 locomotion Effects 0.000 claims abstract description 34
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000001914 filtration Methods 0.000 claims description 13
- 239000002131 composite material Substances 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 28
- 230000015572 biosynthetic process Effects 0.000 description 9
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 3
- 238000013481 data capture Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000012292 cell migration Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
- G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
- G01S13/9021—SAR image post-processing techniques
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
- G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/40—Means for monitoring or calibrating
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Electromagnetism (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
본 발명은 드론 기반 주파수 변조 연속파형 합성 개구면 레이다 영상 장치 및 그 방법에 관한 것이다. 본 발명에 따르면, 드론 플랫폼 환경에서 주파수 변조 연속파형을 이용한 합성 개구면 레이다 영상 장치에 있어서, 드론에 설치된 레이다 모듈, GNSS 모듈 및 IMU 모듈로부터 레이다의 원시 데이터, GNSS 데이터 및 IMU 데이터를 각각 획득하는 데이터 획득부; 상기 원시 데이터를 푸리에 변환(FFT)하여 거리 방향의 압축 데이터를 획득한 후에 거리 이동 보상을 수행하는 데이터 처리부; 시간별 측정된 상기 GNSS 데이터와 IMU 데이터를 칼만 필터를 통해 융합하여 NED 좌표계 기반의 드론의 3차원 위치 벡터를 획득하는 데이터 융합부; SAR 촬영 시간 동안 획득된 상기 3차원 위치 벡터의 각 축 별로 평균 속도를 연산하고, 연산된 각 축 방향의 평균 속도에 기초하여 등속 이동하는 요동이 없는 경우의 이상적 3차원 위치 벡터를 추정하는 이상적 궤적 추정부; 상기 드론의 3차원 위치 벡터와 상기 이상적 3차원 위치 벡터 간 오차를 이용하여 드론의 요동으로 인한 거리 변화량을 연산하는 오차 연산부; 및 상기 거리 이동 보상이 수행된 압축 데이터를 방위 방향으로 압축하여 2차원 SAR 영상을 생성하되, 상기 연산한 거리 변화량을 이용하여 드론의 요동에 의한 움직임 보상(MoCom)을 수행한 후에 방위 방향으로 압축하여 요동 보상된 2차원 SAR 영상을 생성하는 영상 획득부를 포함한다.
Description
본 발명은 드론 기반 주파수 변조 연속파형 합성 개구면 레이다 영상 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 저고도 운용 무인 비행체 드론 환경의 합성 개구면 레이다(synthetic aperture radar: SAR) 영상을 수행하는데 있어, 위성 항법 시스템(global navigation satellite system: GNSS) 및 관성 측정 장비(inertial measurement unit: IMU)와 같은 고정밀 항법 시스템이 장착된 드론 플랫폼 환경에서의 주파수 변조 연속 파형(frequency modulated continuous wave: FMCW)을 활용하여 SAR 영상을 형성하는 장치 및 방법에 관한 것이다.
SAR 영상은 움직임이 있는 플랫폼에 탑재된 레이다를 이용해 전자기파를 송, 수신하여 관심 지역의 전자기적 산란 정보를 표현하는 2차원 이상의 영상으로, 기후와 시각의 영향을 받지 않고 영상 형성이 가능하다.
SAR는 전자기파를 이용하는 능동 센서로 기상 조건이나 일조 현상에 관계없이 고해상도 레이다 영상을 형성한다. 일반적으로 SAR는 앞서 설명한 특징을 기반으로 군사 목적의 감시/정찰 시스템으로 주로 활용되었으나 최근 차량용 레이다, 재난/재해 모니터링 시스템 등의 다양한 민수 분야에 활용되고 있으며 관련한 연구가 국내외적으로 활발하게 진행되고 있다.
도 1는 종래의 SAR 영상 생성 과정을 설명하기 위한 예시도이고, 도 2는 종래의 주파수 변조 연속 파형 신호를 이용한 SAR 영상 생성 과정을 설명하기 위한 예시도이다.
도 1과 같이, 드론에 장착된 레이다를 통해서 획득한 로우 데이터(raw data)에 거리 참조 함수를 곱하여 거리 압축 데이터를 생성하고, 거리 압축 데이터에 방위각 참조 함수를 곱하여 SAR 이미지 데이터를 생성한다.
SAR를 장착한 플랫폼이 이동하며 표적에 전자기파를 방사할 때 수신된 신호는 시간 지연된 송신 신호들의 합으로 표현된다.
도 2와 같이, 수신 신호를 기준 송신 신호를 이용하여 거리 방향으로 압축(range compression)하면 표적까지의 거리 정보를 포함하는 고해상도 거리 프로파일(range profile)을 획득할 수 있다. 이후에는 표적 신호가 시간에 따라 변화하는 현상을 보상한 다음(예: 거리 정렬), 각기 다른 거리 빈(range bin) 별로 다른 첩 형태의 신호를 생성하여 방위 방향으로 압축(azimuth compression)을 수행하여 초점이 맞는 이차원 SAR 영상을 획득할 수 있다.
일반적으로 레이다가 위성/항공기/무인기 등과 같은 이동 탑재체에 장착되므로 탑재체의 요동에 의하여 SAR 영상의 품질이 저하하는 현상을 겪는다.
도 3은 요동이 발생된 드론의 이동에 따른 SAR 영상 형성 기하 구조를 설명하기 위한 예시도이다. 여기서 X 는 방위 방향(azimuth), 는 Y는 거리 방향(range), Z는 고도 방향(elevation)이다.
도 3에 도시된 바와 같이, 초록색 곡선(Actual path)은 바람 등에 의해 요동이 발생한 드론의 실제 이동 궤적(Acutal Trajectory)을 예시한 것이고, X 방향의 점선은 요동이 발생하지 않는 이상적인 드론의 이동 궤적(Ideal Trajectory)을 예시한 것이다. 도 3과 같이 드론의 요동이 발생하면 이상적인 레이다의 위치와 실제 위치가 달라진다.
요동이 없는 이상적인 SAR 기하구조에서의 레이다 위치벡터를 라 하고, 요동이 발생한 SAR 기하구조에서의 레이다 위치벡터를 라 할 때, 표적이 에 위치한다면 표적부터의 거리 변화량은 다음의 수학식 1과 같이 정의된다.
여기서 t는 방위 시간(azimuth-time) 변수, 과 은 각각 표적으로부터 SAR 탑재체(드론)까지 요동이 발생하지 않은 거리와 요동이 발생한 거리, 성분은 각각 요동에 의한 위치 오차의 방위, 거리, 고도 방향 성분이다. 수학식 1의 결과, 요동이 있는 경우의 거리 변화량 이 요동이 없을 경우의 거리 변화량 과 요동()에 의한 추가 거리 변화량 의 합으로 표현됨을 확인할 수 있다.
FMCW 레이다는 송신 신호와 수신 신호의 믹싱(mixing) 과정을 통해 intermediate 신호를 획득한다. 이는 SAR 수신 신호이며, 아래 수학식 2와 같이 거리 주파수(range-frequency, )와 방위 시간의 2차원 신호로 표현된다.
여기서, SAR 플랫폼의 요동이 발생할 경우 이고 요동이 발생하지 않은 경우 이다. 즉, 레이다 플랫폼의 요동이 발생한 경우 성분에 의한 추가적인 거리 변화량이 수신 신호에 추가적인 위상 오차를 야기한다.
이는 도 1과 도 2의 기존의 SAR 영상 형성 기법을 수행하여도 보상되지 않으므로 기존의 SAR 영상 형성 기법을 수행할 경우 왜곡된 SAR 영상을 형성한다. 따라서 왜곡 없는 고품질 SAR 영상을 형성하기 위하여 성분을 보상하여야 하며, 이를 SAR 요동 보상(motion compensation: MoCom)이라 한다.
위성 플랫폼의 경우 우주 환경에서 등속도 이동이 가능하므로 SAR 요동 보상 과정이 수행되지 않아도 왜곡 없는 고품질 SAR 영상 형성이 가능하다. 그러나 대기 권에서 운용하는 항공기/무인기의 경우 기상 환경 등의 영향으로 플랫폼의 요동이 필연적으로 발생하며, 이에 따라 MoCom이 필수적으로 수행되어야 한다.
GNSS는 위성 기반의 범지구적 측위 정보 시스템으로 절대적인 글로벌 좌표에 대해 정확한 위치 정보를 제공한다. 항공기/무인기 등의 레이다 플랫폼에 GNSS 시스템이 정비된다면 요동이 발생한 실제 레이다 플랫폼의 위치 정보(A)와 레이다 플랫폼과 표적 사이의 거리 변화량 ()를 알 수 있다. 그러나 요동이 발생하지 않은 이상적인 레이다 플랫폼의 위치 정보(N)는 제공되지 않으므로 GNSS 센서가 활용되어도 요동이 없는 이상적인 레이다 플랫폼과 표적 사이의 거리 변화량 ()을 알 수 없기 때문에 MoCom 수행이 불가능하다. 또한, GNSS는 위성 가시성이 우수한 개활지에 한정되며 위성 가시성이 보장되지 않는 도심지의 경우 다른 전파의 영향을 받을 수 있다. 이 외에도 고층 빌딩 등 장애물로 인한 다중 경로 오차가 빈번하게 발생한다.
GNSS 수신 취약 환경의 문제는 MEMS(micro electro mechanical system) 기반의 IMU 센서와의 융합을 통해 해결할 수 있다. IMU는 가속도 센서, 자이로스코프, 지자기 센서를 통합한 MEMS 센서로 외부의 도움이 필요하지 않은 자립형 항법 시스템이다. 특히 동적 특성이 좋아 10 Hz 이내의 샘플링 레이트(sampling rate)를 갖는 GNSS 대비 100~1 kHz 대의 높은 샘플링 레이트(sampling rate)를 가진다. 그러나 IMU 센서는 외부 보정 정보가 없으므로 장기 사용 시 속도, 위치 계산의 적분 과정에서 발생하는 오차가 누적되는 문제가 발생한다. 특히 저가형/낮은 등급의 IMU 장비에서 오차가 단시간에 발산하는데, 해당 문제 역시 절대 측위 정보를 제공하는 GNSS와의 융합을 통해 해결할 수 있다.
최근 드론 플랫폼에 GNSS와 IMU 센서를 융합하여 드론의 측위, 위치 정확도를 향상하는 연구가 활발히 진행되고 있다. 이 외에도 특정 환경 (L-밴드 SAR, 바이스태틱 SAR 등)의 GNSS 기반 요동 보상 기법 등이 개발되었으나 해당 기법들은 본 발명의 배경이 되는 민수용 W-밴드 (중심 주파수 77 GHz) 기반 저가/경량화된 드론 플랫폼에 적용되기 어려운 상황이다. 또한 드론은 고정익 무인기에 비하여 기상, 조종 환경 등에 취약하며 날개의 회전에 의한 미세 요동이 발생한다. 이러한 결과로 현재까지 드론 플랫폼에 적합한 SAR 요동 보상 신호처리 알고리즘 개발이 미진한 상황이다.
본 발명의 배경이 되는 기술은 대한민국 등록특허공보 제10-2212468호 (2021.02.04. 공고)에 개시되어 있다.
본 발명이 해결하고자 하는 과제는 GNSS 및 IMU와 같은 복수의 고정밀 항법 장치를 융합하여 드론 플랫폼의 고정밀 위치 정보를 획득하고 이를 활용하여 드론 플랫폼 운용 시 발생하는 요동 성분을 보상하여 초점이 맞는 SAR 영상을 형성할 수 있는 드론 기반 주파수 변조 연속파형 합성 개구면 레이다 영상 장치 및 그 방법을 제공하는 것이다.
본 발명은, 드론 플랫폼 환경에서 주파수 변조 연속파형을 이용한 합성 개구면 레이다 영상 장치에 있어서, 드론에 설치된 레이다 모듈, GNSS 모듈 및 IMU 모듈로부터 레이다의 원시 데이터, GNSS 데이터 및 IMU 데이터를 각각 획득하는 데이터 획득부; 상기 원시 데이터를 푸리에 변환(FFT)하여 거리 방향의 압축 데이터를 획득한 후에 거리 이동 보상을 수행하는 데이터 처리부; 시간별 측정된 상기 GNSS 데이터와 IMU 데이터를 칼만 필터를 통해 융합하여 NED 좌표계 기반의 드론의 3차원 위치 벡터를 획득하는 데이터 융합부; SAR 촬영 시간 동안 획득된 상기 3차원 위치 벡터의 각 축 별로 평균 속도를 연산하고, 연산된 각 축 방향의 평균 속도에 기초하여 등속 이동하는 요동이 없는 경우의 이상적 3차원 위치 벡터를 추정하는 이상적 궤적 추정부; 상기 드론의 3차원 위치 벡터와 상기 이상적 3차원 위치 벡터 간 오차를 이용하여 드론의 요동으로 인한 거리 변화량을 연산하는 오차 연산부; 및 상기 거리 이동 보상이 수행된 압축 데이터를 방위 방향으로 압축하여 2차원 SAR 영상을 생성하되, 상기 연산한 거리 변화량을 이용하여 드론의 요동에 의한 움직임 보상(MoCom; motion compensation)을 수행한 후에 방위 방향으로 압축하여 요동 보상된 2차원 SAR 영상을 생성하는 영상 획득부를 포함하는 합성 개구면 레이다 영상 장치를 제공한다.
또한, 상기 데이터 융합부는, 상기 IMU 데이터에 저주파 대역 필터(LPF) 및 고주파 대역 필터(HPF)를 순차로 적용 후 저/고주파 대역 필터링이 적용된 상기 IMU 데이터와 상기 GNSS 데이터를 확장형 칼만 필터를 이용하여 융합할 수 있다.
또한, 상기 이상적 궤적 추정부는, 아래의 수학식을 통해 상기 3차원 위치 벡터의 각 축 방향의 평균 속도()를 연산할 수 있다.
여기서, 는 상기 데이터 융합에 의해 획득된 드론의 X, Y, Z축 방향의 위치 데이터, N은 위치 데이터의 크기, TCPI는 상기 SAR 촬영 시간을 나타낸다.
또한, 상기 요동이 없는 드론의 이상적 3차원 위치 벡터는 아래의 수학식으로 정의될 수 있다.
여기서, 는 상기 3차원 위치 벡터의 각 축 방향의 평균 속도, t는 시간을 나타낸다.
또한, 상기 오차 연산부는, 상기 드론의 요동으로 인한 거리 변화량 을 아래의 수학식에 의해 연산할 수 있다.
그리고, 본 발명은 드론 플랫폼 환경에서 주파수 변조 연속파형을 이용한 합성 개구면 레이다 영상 장치에 의해 수행되는 합성 개구면 레이다 영상 생성 방법에 있어서, 드론에 설치된 레이다 모듈, GNSS 모듈 및 IMU 모듈로부터 레이다의 원시 데이터, GNSS 데이터 및 IMU 데이터를 각각 획득하는 단계; 상기 원시 데이터를 푸리에 변환(FFT)하여 거리 방향의 압축 데이터를 획득한 후에 거리 이동 보상을 수행하는 단계; 시간별 측정된 상기 GNSS 데이터와 IMU 데이터를 칼만 필터를 통해 융합하여 NED 좌표계 기반의 드론의 3차원 위치 벡터를 획득하는 단계; SAR 촬영 시간 동안 획득된 상기 3차원 위치 벡터의 각 축 별로 평균 속도를 연산하고, 연산된 각 축 방향의 평균 속도에 기초하여 등속 이동하는 요동이 없는 경우의 이상적 3차원 위치 벡터를 추정하는 단계; 상기 드론의 3차원 위치 벡터와 상기 이상적 3차원 위치 벡터 간 오차를 이용하여 드론의 요동으로 인한 거리 변화량을 연산하는 단계; 및 상기 거리 이동 보상이 수행된 압축 데이터를 방위 방향으로 압축하여 2차원 SAR 영상을 생성하되, 상기 연산한 거리 변화량을 이용하여 드론의 요동에 의한 움직임 보상(MoCom; motion compensation)을 수행한 후에 방위 방향으로 압축하여 요동 보상된 2차원 SAR 영상을 생성하는 영상 획득부를 포함하는 합성 개구면 레이다 영상 방법을 제공한다.
본 발명에 따르면, 상용 GNSS, IMU 센서 및 FMCW 레이다를 활용하여 드론 기반 SAR 플랫폼의 요동 성분을 보상하고 이를 통해 초점이 맞는 SAR 영상을 획득할 수 있다.
아울러, 본 발명에 따르면, 저고도에서 운용하는 소형/경량화된 저가의 드론 플랫폼 환경에서도 위성/항공기 기반 고비용/고출력 SAR 시스템에 근접하는 고품질 SAR 영상을 획득할 수 있다.
도 1는 종래의 SAR 영상 생성 과정을 설명하기 위한 예시도이다.
도 2는 종래의 주파수 변조 연속 파형 신호를 이용한 SAR 영상 생성 과정을 설명하기 위한 예시도이다.
도 3은 요동이 발생된 드론의 이동에 따른 SAR 영상 형성 기하 구조를 설명하기 위한 예시도이다.
도 4는 본 발명의 실시예에 따른 합성 개구면 레이다 영상 생성 장치가 적용되는 드론을 설명하기 위한 도면이다.
도 5는 본 발명에서 사용된 상용 W-밴드 레이다 모듈 및 원시데이터 캡쳐 모듈을 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 드론에 적용된 항법 시스템과 레이다 시스템의 개념도이다.
도 7은 본 발명의 실시예에서 확장형 칼만 필터를 통한 GNSS와 IMU 센서 융합 개념도이다.
도 8은 본 발명의 실시예에 따른 합성 개구면 레이다 영상 생성 장치의 구성을 설명하는 도면이다.
도 9는 본 발명의 실시예에 따른 합성 개구면 레이다 영상 생성 장치를 이용한 합성 개구면 레이다 영상 생성 방법을 설명하는 도면이다.
도 10 및 도 11은 드론 플랫폼 환경에서 GNSS 모듈로 획득한 GNSS 데이터와 IMU 모듈로 획득한 IMU 데이터를 각각 예시한 도면이다.
도 12는 본 발명의 실시예에서 사용된 두 개의 IMU 센서로부터 획득한 IMU 데이터에 대한 저/고주파 필터링 수행 전후 결과를 나타낸 도면이다.
도 13은 본 발명의 실시예에서 GNSS와 IMU의 데이터 융합으로 획득한 NED 좌표계 기반 드론 플랫폼의 3차원 위치 정보와, 이상적 경로 및 요동에 의한 추가 거리 변화량을 예시한 도면이다.
도 14는 본 발명의 실시예에 따른 드론 플랫폼 환경의 FMCW SAR 영상 형성의 개념도이다.
도 15는 본 발명의 실시예가 적용된 드론 기반 FMCW SAR 장치를 예시한 도면이다.
도 16은 실제 측정시 표적으로 사용된 컨테이너 박스를 나타낸 도면이다.
도 17은 본 발명의 실시예를 이용하여 획득한 드론 기반 FMCW SAR 영상을 나타낸 도면이다.
도 2는 종래의 주파수 변조 연속 파형 신호를 이용한 SAR 영상 생성 과정을 설명하기 위한 예시도이다.
도 3은 요동이 발생된 드론의 이동에 따른 SAR 영상 형성 기하 구조를 설명하기 위한 예시도이다.
도 4는 본 발명의 실시예에 따른 합성 개구면 레이다 영상 생성 장치가 적용되는 드론을 설명하기 위한 도면이다.
도 5는 본 발명에서 사용된 상용 W-밴드 레이다 모듈 및 원시데이터 캡쳐 모듈을 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 드론에 적용된 항법 시스템과 레이다 시스템의 개념도이다.
도 7은 본 발명의 실시예에서 확장형 칼만 필터를 통한 GNSS와 IMU 센서 융합 개념도이다.
도 8은 본 발명의 실시예에 따른 합성 개구면 레이다 영상 생성 장치의 구성을 설명하는 도면이다.
도 9는 본 발명의 실시예에 따른 합성 개구면 레이다 영상 생성 장치를 이용한 합성 개구면 레이다 영상 생성 방법을 설명하는 도면이다.
도 10 및 도 11은 드론 플랫폼 환경에서 GNSS 모듈로 획득한 GNSS 데이터와 IMU 모듈로 획득한 IMU 데이터를 각각 예시한 도면이다.
도 12는 본 발명의 실시예에서 사용된 두 개의 IMU 센서로부터 획득한 IMU 데이터에 대한 저/고주파 필터링 수행 전후 결과를 나타낸 도면이다.
도 13은 본 발명의 실시예에서 GNSS와 IMU의 데이터 융합으로 획득한 NED 좌표계 기반 드론 플랫폼의 3차원 위치 정보와, 이상적 경로 및 요동에 의한 추가 거리 변화량을 예시한 도면이다.
도 14는 본 발명의 실시예에 따른 드론 플랫폼 환경의 FMCW SAR 영상 형성의 개념도이다.
도 15는 본 발명의 실시예가 적용된 드론 기반 FMCW SAR 장치를 예시한 도면이다.
도 16은 실제 측정시 표적으로 사용된 컨테이너 박스를 나타낸 도면이다.
도 17은 본 발명의 실시예를 이용하여 획득한 드론 기반 FMCW SAR 영상을 나타낸 도면이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명은 드론 기반 주파수 변조 연속파형 합성 개구면 레이다 영상 장치 및 그 방법에 대한 것으로, 저고도 운용 무인 비행체 드론 환경에서 FMCW 레이다를 이용하여 합성 개구면 레이다(synthetic aperture radar: SAR) 영상을 형성하는 기법을 제공한다.
일반적으로 SAR 영상 형성에 가장 많이 사용되는 파형은 선형 주파수 변조(linear frequency modulation: LFM) 신호이다. LFM 신호는 정합 필터링(matched-filtering) 수행 후 압축된 신호의 부엽(sidelobe) 레벨이 낮아 고해상도 SAR 영상 형성이 가능하다. 이에 대부분의 SAR 영상 형성 알고리즘이 일정한 펄스 반복 주기(pulse repetition frequency: PRF)로 송수신되는 LFM 신호 기반으로 수행되었다. 그러나 LFM 파형은 짧은 펄스 폭에 높은 전력의 신호를 송신하기 위하여 고비용/고출력 시스템이 요구되므로 위성/항공기 등과 같은 X-밴드 기반의 SAR 시스템에 적합하다. 이와 달리 FMCW 파형의 경우 기존의 LFM 기반 SAR 시스템에 비하여 ADC (analog-to-digital conversion) sampling rate과 송신 출력이 낮아 W-밴드 기반의 소형/경량화된 저고도 무인 비행체/드론 등에 활용될 수 있다.
본 발명은 GNSS, IMU 등의 항법 시스템이 장착된 드론 플랫폼 환경에서 초점이 맞는 SAR 영상을 형성하는 방법 및 그 장치를 제공한다. 이하에서는 본 발명의 실시예에 따른 합성 개구면 레이다 영상 생성 장치에 대해 더욱 상세하게 설명한다.
본 발명의 실시예에 따른 합성 개구면 레이다 영상 생성 장치(100)는 드론으로부터 원시 데이터를 획득하고, 획득한 원시 데이터를 이용하여 합성 개구면 레이다(SAR) 영상을 생성한다.
이때, 드론은 위성 항법 시스템(GNSS; Global Navigation Satellite System)과 관성 측정 장비(IMU, Inertial Measurement Unit)와 같은 고정밀 항법 장치가 장착된 상태로 운용된다. IMU 모듈은 일반적으로 가속도계(Accelerometer), 각속도계(Gyroscope), 지자계(Magnetometer)를 포함하여 구성된다.
도 4는 본 발명의 실시예에 따른 합성 개구면 레이다 영상 생성 장치가 적용되는 드론을 설명하기 위한 도면이다.
도 4에 도시된 바와 같이, 본 발명의 실시예에 적용되는 드론에는 일반적인 드론과 동일하게 프로펠러, 모터 등으로 구성되며, 원시 데이터를 획득할 수 있도록 FMCW 레이다, 원시데이터 획득 모듈 및 원시데이터 저장용 PC가 추가로 장착된다.
드론에는 FMCW 레이다 뿐만 아니라, GNSS 및 IMU와 같은 항법 시스템이 장착되어 운용된다. 드론을 구성하는 장비(프로펠러, 모터 등)와 항법 시스템(GNSS, IMU 등), PC, 레이다 장비(AWR1642, DCA1000EVM) 등은 모두 상용 제품으로, 전체 가격은 $3,800 이내로 위성/항공기 등의 시스템에 비하여 상당한 가격 경쟁력을 갖는다.
레이다 모듈에서 방사된 전자기파는 표적 혹은 관심 영역에서 반사되어 수신되고, 수신 신호는 원시 데이터 캡쳐 모듈(DCA1000EVM)을 거쳐 PC로 저장된다.
도 5는 본 발명에서 사용된 상용 W-밴드 레이다 모듈(AWR1642) 및 원시데이터 캡쳐 모듈(DCA1000EVM)을 나타낸 도면이다. AWR1642는 두 개의 송신단과 네 개의 송신단을 갖는 multi-input multi-output(MIMO) 구조의 안테나를 사용한다. AWR1642와 DCA1000EVM은 60 pin 케이블로 연결되어 있으며 각각 5 pin 케이블을 통해 데이터 획득용 PC로 연결된다.
도 6은 본 발명의 실시예에 따른 드론에 적용된 항법 시스템과 레이다 시스템의 개념도이고, 도 7은 본 발명의 실시예에서 확장형 칼만 필터를 통한 GNSS와 IMU 센서 융합 개념도이다.
도 6을 참조하면, GNSS와 IMU의 정보는 각각 10 Hz, 250 Hz 주기로 저장될 수 있으며, 레이다는 프레임 레이트(frame rate) 10 Hz로 데이터를 처리할 수 있다.
도 7과 같이, GNSS와 IMU는 확장형 칼만 필터(Extended Kalman Filter)를 통해 융합되고 융합된 위치 정보는 레이다 시스템과 동일한 주기를 갖도록 동기화(synchronization) 과정을 거침에 따라 최종적으로 레이다의 위치 정보(A)가 획득될 수 있다. 본 발명의 실시예에 따라 GNSS와 IMU의 정보를 융합하여 획득된 위치 정보는 지구 중심 고정 좌표계(ECEF) 기반의 위치 데이터에 해당한다.
도 8은 본 발명의 실시예에 따른 합성 개구면 레이다 영상 생성 장치의 구성을 설명하는 도면이고, 도 9는 본 발명의 실시예에 따른 합성 개구면 레이다 영상 생성 장치를 이용한 합성 개구면 레이다 영상 생성 방법을 설명하는 도면이다.
도 8에 나타낸 것과 같이, 본 발명의 실시예에 따른 합성 개구면 레이다 영상 생성 장치(100)는 데이터 획득부(110), 데이터 처리부(120), 데이터 융합부(130), 이상적 궤적 추정부(140), 오차 연산부(150) 및 영상 획득부(160)를 포함한다. 여기서 각 부(110~160)의 동작 및 각 부 간의 데이터 흐름은 제어부(미도시)에 의해 제어될 수 있다.
먼저, 데이터 획득부(110)는 드론에 설치된 레이다 모듈, GNSS 모듈 및 IMU 모듈로부터 레이다의 원시 데이터, GNSS 데이터 및 IMU 데이터를 각각 시간에 따라 획득한다(S910).
여기서, 데이터 획득부(110)는 원시 데이터를 데이터 처리부(120)로 전달하고, GNSS 데이터와 IMU 데이터를 데이터 융합부(130)로 전달할 수 있다.
다음, 데이터 처리부(120)는 레이다의 원시 데이터에 푸리에 변환(FFT)을 수행하여 거리 방향의 압축 데이터(range compressed data)를 획득한 후에 거리 이동 보상(range migration compensation)을 수행한다(S920). 그리고, 데이터 처리부(120)는 거리 이동 보상된 압축 데이터를 영상 획득부(160)로 전달할 수 있다.
드론 환경에서 획득한 레이더의 원시 데이터를 FFT 처리하여 거리 방향으로 압축(range compression)하고 거리 이동 보상(range migration compensation)을 수행한 다음 다시 방위 방향으로 압축(azimuth compression)하여 2차원 SAR 영상을 획득하는 기술은 이전에 도 1 및 도 2에 나타낸 공지 기술에 해당하므로 이에 대한 상세한 설명은 생략한다.
다만, 본 발명의 실시예는 데이터를 방위 방향으로 압축하기 이전에 GNSS 데이터와 IMU 데이터를 바탕으로 드론의 요동에 의한 움직임 보상을 수행하여 요동 보상된 2차원 SAR 영상을 획득할 수 있다.
이를 위해, 데이터 융합부(130)는 시간별 측정된 GNSS 데이터와 IMU 데이터를 칼만 필터(KF)를 통하여 융합하여 NED 좌표계 기반의 드론의 3차원 위치 벡터를 획득한다(S930).
도 10 및 도 11은 드론 플랫폼 환경에서 GNSS 모듈로 획득한 GNSS 데이터와 IMU 모듈로 획득한 IMU 데이터를 각각 예시한 도면이다.
GNSS 모듈은 드론 플랫폼의 ECEF 좌표계를 기반으로 실시간 위도, 고도 등의 위치 정보 및 3차원 속도 성분을 획득할 수 있다. 본 발명의 실시예에서는 두 개의 IMU 센서를 활용하였으며, IMU 모듈은 드론 플랫폼의 NED 좌표계를 기반으로 실시간 3차원 가속도, 가속도 정보를 획득할 수 있다. 일반적으로 가속도를 적분하면 속도를 알수 있고 속도를 적분하면 거리 값을 알 수 있다.
도 7를 보면, GNSS 모듈로부터 드론의 위치(pGNSS) 및 속도(vGNSS) 정보를 포함한 GNSS 데이터가 획득되고, IMU 센서를 통해 드론의 각속도(ΨIMU), 위치(pIMU), 속도(vIMU) 정보를 포함한 IMU 데이터가 획득된 것을 알 수 있으며, 이들 두 모듈에 의한 계측 데이터는 확장형 칼만 필터에 의해 융합될 수 있다.
GNSS 모듈의 경우 건물 내부에 존재한 타겟의 측정이 어려운 단점이 있는데 본 발명의 실시예의 경우 GNSS 모듈에 의해 측정한 데이터와 IMU 모듈에 의해 측정한 데이터를 융합하여 상호 간의 장단점을 보완할 수 있다.
여기서, 데이터 융합부(130)는 IMU 데이터에 저주파 대역 필터(LPF; low-pass filter) 및 고주파 대역 필터(HPF, high-pass filter)를 순차로 적용한 후에, 저/고주파 대역 필터링이 적용된 IMU 데이터와 GNSS 데이터를 확장형 칼만 필터를 이용하여 융합할 수 있다.
도 12는 본 발명의 실시예에서 사용된 두 개의 IMU 센서로부터 획득한 IMU 데이터에 대한 저/고주파 필터링 수행 전후 결과를 나타낸 도면이다. 상측의 두 도면은 두 IMU 센서에 대한 저/고주파 필터링 수행 전의 3축 데이터를 도시한 것이고, 하측의 세 개의 도면은 두 IMU 센서에 대한 저/고주파 필터링 수행 이후의 X축, Y축, Z축 데이터를 나타낸다.
드론의 경우 회전익 기체로 프로펠러의 회전에 의한 자체 미세 요동이 발생하므로, IMU 센서 데이터에 저/고주파 대역 필터링 수행을 통한 데이터 신호 처리가 필수적이다. 도 12와 같이 저/고주파 대역 필터링 수행 전에는 매우 복잡한 데이터 양상을 나타내는 반면에 저/고주파 대역 필터링 수행 이후에 데이터가 보다 명확해진 것을 알 수 있다.
이처럼, 드론 플랫폼의 경우 기상 환경에 의한 요동 성분과 회전익에 의한 자체 미세 요동 성분을 포함하는데, 본 발명의 실시예는 미세 요동 성분의 영향을 보상하기 위하여 IMU 센서 데이터에 저주파 대역 필터(low-pass filter) 및 고주파 대역 필터(high-pass filter)를 수행한다. 이어 저/고주파 대역 필터 수행된 IMU 센서 데이터와 GNSS 데이터를 확장형 칼만 필터(extended Kalman filter)를 사용하여 융합한다.
여기서, GNSS와 IMU 데이터의 융합을 통해 획득한 위치 정보는 지구 중심 고정 좌표계(earth-centered earth-fixed coordinate: ECEF coordinate)이다. SAR 영상 형성에 필요한 플랫폼의 위치 정보는 표적과 플랫폼 사이의 상대적인 3차원 위치 정보이다. 따라서 데이터 융합부(130)는 ECEF 좌표계 기반 데이터에 방향 코사인 행렬(direction cosine matrix)를 적용하여 로컬 수평 좌표계(north-east-down coordinate: NED coordinate)로 변환할 수 있다.
GNSS와 IMU의 융합 데이터는 NED 좌표계 기반의 X, Y, Z 축의 3차원 데이터이며 이는 드론에 장착된 GNSS와 IMU 모듈의 데이터 융합을 통해 얻은 실제 드론의 3차원 위치 벡터 에 해당한다. 이러한 3차원 위치 벡터는 기 설정된 시간(예: SAR 촬영 시간) 동안 획득될 수 있다.
다음으로, 이상적 궤적 추정부(140)는 3차원 위치 벡터의 각 축별 평균 속도를 바탕으로 요동이 없는 경우의 드론의 이상적 3차원 위치 벡터를 추정한다(S940).
여기서, 이상적 궤적 추정부(140)는 SAR 촬영 시간 동안 획득된 3차원 위치 벡터의 각 축 별로 평균 속도를 연산한 다음, 연산된 각 축 방향의 평균 속도에 기초하여 등속으로 이동하는 요동이 없는 경우의 이상적 3차원 위치 벡터(도 3과 같은 드론의 이상적 이동 궤적(Ideal Trajectory))를 추정할 수 있다.
즉, GNSS와 IMU 데이터를 통해 획득된 드론의 실제 3차원 위치 벡터(실제 이동 궤적, Ideal Trajectory)를 토대로 등속도로 이동하고 요동이 없는 드론의 이상적인 이동 궤적(Ideal Trajectory)을 추정한다.
예를 들어, SAR 영상 형성 시간(t= 0 ~ TCPI) 동안에 획득한 NED 좌표계 기반 3차원 위치 벡터의 X,Y,Z 축 방향의 평균 속도()는 아래의 수학식 3과 같이 연산될 수 있다.
여기서, 는 데이터 융합에 의해 획득된 드론의 X, Y, Z축 방향의 위치 데이터, N은 위치 데이터의 크기, TCPI는 SAR 촬영 시간을 나타낸다.
예를 들어, TCPI가 6초이고 GNSS의 샘플링 레이트가 10 Hz라면, N=60이다. MoCom을 수행하기 위해서는 이전의 수학식 1에서 언급한 것과 같이, 요동이 발생하지 않은 경우의 레이다 플랫폼과 표적 사이의 거리 변화량 과 요동에 의한 추가적인 거리 변화량 을 알아야 한다. 여기서 앞서 설명하였듯이 요동이 있는 경우의 거리 변화량 은 요동이 없을 경우의 거리 변화량 과 요동()에 의한 추가 거리 변화량 의 합으로 표현된다.
이상적 궤적 추정부(140)는 수학식 3에 의해 획득한 드론의 실제 각 축방향의 평균 속도()에 따라 등속도로 이동하는 요동이 없는 드론의 이상적인 레이다의 위치 벡터()를 아래의 수학식 4와 같이 가정한다.
여기서, 는 3차원 위치 벡터의 각 축 방향의 평균 속도, t는 시간을 나타낸다.
다음으로, 오차 연산부(150)는 S930 단계에서 얻은 실제 측정된 드론의 3차원 위치 벡터 과 이상적 3차원 위치 벡터 간 오차를 이용하여 드론의 요동으로 인한 거리 변화량을 연산한다(S940).
이때, 드론의 요동으로 인한 거리 변화량 은 아래 수학식 5에 의해 연산될 수 있다.
다음으로, 영상 획득부(160)는 거리 이동 보상이 수행된 압축 데이터를 방위 방향으로 압축하여 SAR 영상을 생성하되, 거리 변화량 을 이용하여 요동 보상(MoCom; motion compensation)을 수행함으로써 요동 보상된 SAR 영상을 획득한다(S960).
이러한 영상 획득부(160)는 거리 이동 보상이 수행된 압축 데이터를 방위 방향으로 압축하여 이차원 SAR 영상을 생성하되, 연산된 거리 변화량 을 이용하여 드론의 요동에 의한 움직임 보상(MoCom)을 수행한 후에 방위 방향으로 압축하여 요동 보상된 2차원 SAR 영상을 생성할 수 있고, 최종적으로 초점이 맞는 SAR 영상을 획득할 수 있다.
도 13은 본 발명의 실시예에서 GNSS와 IMU의 데이터 융합으로 획득한 NED 좌표계 기반 드론 플랫폼의 3차원 위치 정보()와, 이상적 경로() 및 요동에 의한 추가 거리 변화량()을 예시한 도면이다.
도 13에서 3차원 위치 정보 Mx, My, Mz와 관련한 세 가지 그림에서 붉은 선은 실제 획득된 드론의 각 축의 위치 정보를 나타내고, 파란색 선은 각 축의 이상적 경로를 나타낸다. 그리고 도 13의 마지막 그림은 수학식 5에 따라 얻어진 요동에 의한 추가 거리 변화량을 나타낸다.
이와 같이, 본 발명의 실시예에서 영상 획득부(160)는 수학식 5에 의해 추정된 요동에 의한 추가 거리 변화량 을 보상하여 SAR MoCom을 수행할 수 있으며, 추가적으로 PGA(phase-gradient autofocus) 기반 자동초점 기법을 수행하여 고품질 FMCW SAR 영상을 형성할 수 있다.
도 14는 본 발명의 실시예에 따른 드론 플랫폼 환경의 FMCW SAR 영상 형성의 개념도이다.
먼저, 레이다 모듈을 통해 수신된 원시 데이터는 거리 방향 푸리에 변환 수행으로 거리 압축(range comoression)된다(1). 거리 압축에 따라 얻어진 거리-각도 맵에 대해 클러터 제거가 이루어진다(2). 레이다 시스템의 경우 하드웨어 한계로 인하여 내부 누수(leakage) 신호가 존재하는데 leakage 신호를 제거하여 표적 신호만을 획득하도록 한다. 다음으로, 클러터 제거가 이루어진 레이다 신호에 디지털 빔포밍 처리 과정을 수행한다(3). MIMO 안테나 구조에서 획득한 다수의 수신 신호에 디지털 빔 포밍(digital beamforming)을 수행하여 수신 신호의 신호 대 잡음비(signal-to-noise ratio: SNR)을 향상시킨다. 이후, 레이다와 표적 사이의 기하구조를 이용하여, 신호를 같은 거리 셀 내에 있도록 정렬하는 RCMC(range cell migration correction)를 수행하여 거리 정렬한다(4).
다음으로, 거리 정렬된 데이터에 대하여 GNSS/IMU 융합 데이터에 기반한 움직임 보상(MoCom)을 진행하고(5), 움직임 보상된 데이터를 방위 방향으로 압축하여 요동이 보상된 SAR 이미지를 생성한다(6).
단계 5를 더욱 상세히 설명하면 다음과 같다. 먼저, IMU 센서 데이터에 대해 저/고주파 대역 필터를 수행한다. 그리고 확장형 칼만 필터를 사용하여 GNSS와 IMU 데이터를 융합하여 드론 플랫폼의 위치 데이터()를 획득한다.
이후, 드론 플랫폼의 X,Y,Z 축 방향으로 평균 속도()를 추정하고, 각 축 방향으로 의 속도로 움직이는 등속도 시스템을 가정하여 요동이 없는 이상적인 레이다 플랫폼의 위치 벡터()를 추정한다. 그리고, 요동이 발생한 경우 야기되는 추가 거리 변화량()을 계산하여 SAR 요동 보상을 수행한다. 최종적으로 초점이 맞는 FMCW SAR 영상을 획득한다.
도 15는 본 발명의 실시예가 적용된 드론 기반 FMCW SAR 장치를 예시한 도면이다. 이하에서는 본 발명의 실시예를 활용한 실험 조건에 관하여 설명한다. 표 1은 본 시뮬레이션 실험에 사용된 W-밴드 기반 FMCW 레이다의 환경 변수를 나타낸다.
| 중심 주파수(carrier frequency) | 77 GHz |
| 주파수 대역폭(frequency bandwidth) | 약 1 GHz |
| 처프 레이트(chirp rate) | 70 MHz/us |
| ADC 샘플링 레이트(sampling rate) | 5209 ksps |
| 처프 폭(chirp duration) | 54.14 us |
| 프레임 레이트(frame rate) | 10 Hz |
| 거리 해상도(range resolution) | 0.35 m |
| 최대 탐지 거리(max. detection range) | 77 m |
| 속도 해상도(velocity resolution) | 0.04 m/s |
| 최대 탐지 속도(max. detectable velocity) | 2.56 m/s |
도 16은 실제 측정시 표적으로 사용된 컨테이너 박스를 나타낸 도면이다. 컨테이너 박스는 가로 3 m, 세로 12 m의 크기로 동일한 컨테이너 박스가 5개 붙어있다.
도 17은 본 발명의 실시예를 이용하여 획득한 드론 기반 FMCW SAR 영상을 나타낸 도면이다. 획득한 SAR 영상에서 5개의 컨테이너 박스를 확인할 수 있다. 또한, SAR 영상 내 표적의 크기를 확인한 결과, 가로 약 3 m, 세로 약 12 m로 실제 표적의 크기와 매우 유사한 것을 확인하였다. 최종적으로 드론 플랫폼 환경에서 W-밴드 기반 고품질 FMCW SAR 영상 형성이 가능함을 알 수 있다.
이러한 본 발명에 따르면, 상용 GNSS, IMU 항법 시스템과 FMCW 레이다를 사용하여 드론 플랫폼 환경의 저가/경량화된 SAR 시스템 구현 및 고품질 SAR 영상의 형성이 가능하다. 또한, 본 발명에 의하면, 드론 플랫폼 기반 민수용 저가/경량화된 상용 77 GHz FMCW 레이다 환경에서 고품질 SAR 영상을 형성할 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 합성 개구면 레이다 영상 장치
110: 데이터 획득부 120: 데이터 처리부
130: 데이터 융합부 140: 이상적 궤적 추정부
150: 오차 연산부 160: 영상 획득부
110: 데이터 획득부 120: 데이터 처리부
130: 데이터 융합부 140: 이상적 궤적 추정부
150: 오차 연산부 160: 영상 획득부
Claims (10)
- 드론 플랫폼 환경에서 주파수 변조 연속파형을 이용한 합성 개구면 레이다 영상 장치에 있어서,
드론에 설치된 레이다 모듈, GNSS 모듈 및 IMU 모듈로부터 레이다의 원시 데이터, GNSS 데이터 및 IMU 데이터를 각각 획득하는 데이터 획득부;
상기 원시 데이터를 푸리에 변환(FFT)하여 거리 방향의 압축 데이터를 획득한 후에 거리 이동 보상을 수행하는 데이터 처리부;
시간별 측정된 상기 GNSS 데이터와 IMU 데이터를 칼만 필터를 통해 융합하여 NED 좌표계 기반의 드론의 3차원 위치 벡터를 획득하는 데이터 융합부;
SAR 촬영 시간 동안 획득된 상기 3차원 위치 벡터의 각 축 별로 평균 속도를 연산하고, 연산된 각 축 방향의 평균 속도에 기초하여 등속 이동하는 요동이 없는 경우의 이상적 3차원 위치 벡터를 추정하는 이상적 궤적 추정부;
상기 드론의 3차원 위치 벡터와 상기 이상적 3차원 위치 벡터 간 오차를 이용하여 드론의 요동으로 인한 거리 변화량을 연산하는 오차 연산부; 및
상기 거리 이동 보상이 수행된 압축 데이터를 방위 방향으로 압축하여 2차원 SAR 영상을 생성하되, 상기 연산한 거리 변화량을 이용하여 드론의 요동에 의한 움직임 보상(MoCom; motion compensation)을 수행한 후에 방위 방향으로 압축하여 요동 보상된 2차원 SAR 영상을 생성하는 영상 획득부를 포함하는 합성 개구면 레이다 영상 장치. - 청구항 1에 있어서,
상기 데이터 융합부는,
상기 IMU 데이터에 저주파 대역 필터(LPF) 및 고주파 대역 필터(HPF)를 순차로 적용 후 저/고주파 대역 필터링이 적용된 상기 IMU 데이터와 상기 GNSS 데이터를 확장형 칼만 필터를 이용하여 융합하는 합성 개구면 레이다 영상 장치. - 청구항 1에 있어서,
상기 이상적 궤적 추정부는,
아래의 수학식을 통해 상기 3차원 위치 벡터의 각 축 방향의 평균 속도()를 연산하는 합성 개구면 레이다 영상 장치:
여기서, 는 상기 데이터 융합에 의해 획득된 드론의 X, Y, Z축 방향의 위치 데이터, N은 위치 데이터의 크기, TCPI는 상기 SAR 촬영 시간을 나타낸다. - 청구항 3에 있어서,
상기 요동이 없는 드론의 이상적 3차원 위치 벡터는 아래의 수학식으로 정의되는 합성 개구면 레이다 영상 장치:
여기서, 는 상기 3차원 위치 벡터의 각 축 방향의 평균 속도, t는 시간을 나타낸다. - 청구항 4에 있어서,
상기 오차 연산부는,
상기 드론의 요동으로 인한 거리 변화량 을 아래의 수학식에 의해 연산하는 합성 개구면 레이다 영상 장치.
- 드론 플랫폼 환경에서 주파수 변조 연속파형을 이용한 합성 개구면 레이다 영상 장치에 의해 수행되는 합성 개구면 레이다 영상 생성 방법에 있어서,
드론에 설치된 레이다 모듈, GNSS 모듈 및 IMU 모듈로부터 레이다의 원시 데이터, GNSS 데이터 및 IMU 데이터를 각각 획득하는 단계;
상기 원시 데이터를 푸리에 변환(FFT)하여 거리 방향의 압축 데이터를 획득한 후에 거리 이동 보상을 수행하는 단계;
시간별 측정된 상기 GNSS 데이터와 IMU 데이터를 칼만 필터를 통해 융합하여 NED 좌표계 기반의 드론의 3차원 위치 벡터를 획득하는 단계;
SAR 촬영 시간 동안 획득된 상기 3차원 위치 벡터의 각 축 별로 평균 속도를 연산하고, 연산된 각 축 방향의 평균 속도에 기초하여 등속 이동하는 요동이 없는 경우의 이상적 3차원 위치 벡터를 추정하는 단계;
상기 드론의 3차원 위치 벡터와 상기 이상적 3차원 위치 벡터 간 오차를 이용하여 드론의 요동으로 인한 거리 변화량을 연산하는 단계; 및
상기 거리 이동 보상이 수행된 압축 데이터를 방위 방향으로 압축하여 2차원 SAR 영상을 생성하되, 상기 연산한 거리 변화량을 이용하여 드론의 요동에 의한 움직임 보상(MoCom; motion compensation)을 수행한 후에 방위 방향으로 압축하여 요동 보상된 2차원 SAR 영상을 생성하는 영상 획득부를 포함하는 합성 개구면 레이다 영상 방법. - 청구항 6에 있어서,
상기 IMU 데이터와 상기 GNSS 데이터를 융합하여 3차원 위치 벡터를 획득하는 단계는,
상기 IMU 데이터에 저주파 대역 필터(LPF) 및 고주파 대역 필터(HPF)를 순차로 적용 후 저/고주파 대역 필터링이 적용된 상기 IMU 데이터와 상기 GNSS 데이터를 확장형 칼만 필터를 이용하여 융합하는 합성 개구면 레이다 영상 방법. - 청구항 6에 있어서,
상기 이상적 3차원 위치 벡터를 추정하는 단계는,
아래의 수학식을 통해 상기 3차원 위치 벡터의 각 축 방향의 평균 속도()를 연산하는 합성 개구면 레이다 영상 방법:
여기서, 는 상기 데이터 융합에 의해 획득된 드론의 X, Y, Z축 방향의 위치 데이터, N은 위치 데이터의 크기, TCPI는 상기 SAR 촬영 시간을 나타낸다. - 청구항 8에 있어서,
상기 요동이 없는 드론의 이상적 3차원 위치 벡터는 아래의 수학식으로 정의되는 합성 개구면 레이다 영상 방법:
여기서, 는 상기 3차원 위치 벡터의 각 축 방향의 평균 속도, t는 시간을 나타낸다. - 청구항 9에 있어서,
상기 드론의 요동으로 인한 거리 변화량을 연산하는 단계는,
상기 드론의 요동으로 인한 거리 변화량 을 아래의 수학식에 의해 연산하는 합성 개구면 레이다 영상 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20220003422 | 2022-01-10 | ||
| KR1020220003422 | 2022-01-10 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230108236A true KR20230108236A (ko) | 2023-07-18 |
Family
ID=87423574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230003451A KR20230108236A (ko) | 2022-01-10 | 2023-01-10 | 드론 기반 주파수 변조 연속파형 합성 개구면 레이다 영상 장치 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230108236A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117079166A (zh) * | 2023-10-12 | 2023-11-17 | 江苏智绘空天技术研究院有限公司 | 一种基于高空间分辨率遥感图像的边缘提取方法 |
-
2023
- 2023-01-10 KR KR1020230003451A patent/KR20230108236A/ko unknown
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117079166A (zh) * | 2023-10-12 | 2023-11-17 | 江苏智绘空天技术研究院有限公司 | 一种基于高空间分辨率遥感图像的边缘提取方法 |
| CN117079166B (zh) * | 2023-10-12 | 2024-02-02 | 江苏智绘空天技术研究院有限公司 | 一种基于高空间分辨率遥感图像的边缘提取方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102296961B1 (ko) | Gpu 기반의 소형 무인 비행체용 sar 영상 복원 장치 및 sar 영상 복원 시스템 | |
| US10838040B2 (en) | Detection and ranging systems and methods | |
| US11380995B2 (en) | Two-dimensional antenna system and method and device for positioning a target | |
| US20190064364A1 (en) | METHODS AND SYSTEMS FOR MOTION DETERMINATION OF SENSOR ELEMENTS IN SENSOR SYSTEMS USING MEMS IMUs | |
| Tsunoda et al. | Lynx: A high-resolution synthetic aperture radar | |
| JP6828193B2 (ja) | 合成開口を介した雨および運動の衛星トモグラフィ | |
| EP2914976B1 (en) | A radar imaging system | |
| US6670920B1 (en) | System and method for single platform, synthetic aperture geo-location of emitters | |
| Kaniewski et al. | Airborne radar terrain imaging system | |
| Fasano et al. | Proof of concept of micro-UAV-based radar imaging | |
| JP2020522700A5 (ko) | ||
| KR20230108236A (ko) | 드론 기반 주파수 변조 연속파형 합성 개구면 레이다 영상 장치 및 그 방법 | |
| Kim et al. | Multichannel W-band SAR system on a multirotor UAV platform with real-time data transmission capabilities | |
| CN110823191B (zh) | 混合基线双天线斜视干涉sar洋流测量性能确定方法及系统 | |
| CN104122552B (zh) | 一种滑动式双站圆周合成孔径雷达成像方法 | |
| JP4019149B2 (ja) | 電波到来方向特定システム | |
| CN107728144B (zh) | 一种基于前视双基模式的干涉sar成像方法 | |
| JP2015158450A (ja) | 合成開口レーダ装置 | |
| RU2429990C1 (ru) | Многофункциональная радиолокационная станция высокого разрешения с активной фазированной решеткой для пилотируемых и беспилотных летательных аппаратов | |
| Su et al. | Study of multi-rotor UAV SAR processing | |
| Michalczyk et al. | Radar-inertial state-estimation for UAV motion in highly agile manoeuvres | |
| Luomei et al. | Demonstration of simultaneous localization and imaging with multirotor-borne MiniSAR | |
| Brisken | Multistatic ISAR-chances and challenges | |
| CN113670301A (zh) | 一种基于惯导系统参数的机载sar运动补偿方法 | |
| Klare et al. | Evaluation and optimisation of configurations of a hybrid bistatic SAR experiment between TerraSAR-X and PAMIR |