KR20210039264A - Gpu 기반의 소형 무인 비행체용 sar 영상 복원 장치 및 sar 영상 복원 시스템 - Google Patents

Gpu 기반의 소형 무인 비행체용 sar 영상 복원 장치 및 sar 영상 복원 시스템 Download PDF

Info

Publication number
KR20210039264A
KR20210039264A KR1020190163417A KR20190163417A KR20210039264A KR 20210039264 A KR20210039264 A KR 20210039264A KR 1020190163417 A KR1020190163417 A KR 1020190163417A KR 20190163417 A KR20190163417 A KR 20190163417A KR 20210039264 A KR20210039264 A KR 20210039264A
Authority
KR
South Korea
Prior art keywords
signal
image restoration
processing unit
sar image
data
Prior art date
Application number
KR1020190163417A
Other languages
English (en)
Other versions
KR102296961B1 (ko
Inventor
김진우
유응노
이동학
심용우
Original Assignee
엘아이지넥스원 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원 주식회사 filed Critical 엘아이지넥스원 주식회사
Publication of KR20210039264A publication Critical patent/KR20210039264A/ko
Application granted granted Critical
Publication of KR102296961B1 publication Critical patent/KR102296961B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021—SAR image post-processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/06—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
    • F16M11/12—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting in more than one direction
    • F16M11/121—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting in more than one direction constituted of several dependent joints
    • F16M11/123—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting in more than one direction constituted of several dependent joints the axis of rotation intersecting in a single point, e.g. by using gimbals
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M13/00—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles
    • F16M13/02—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles for supporting on, or attaching to, an object, e.g. tree, gate, window-frame, cycle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/288—Coherent receivers
    • G01S7/2883—Coherent receivers using FFT processing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01Q—ANTENNAS, i.e. RADIO AERIALS
    • H01Q1/00—Details of, or arrangements associated with, antennas
    • H01Q1/12—Supports; Mounting means
    • B64C2201/12—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Variable-Direction Aerials And Aerial Arrays (AREA)
  • Details Of Aerials (AREA)
  • Waveguide Aerials (AREA)

Abstract

본 발명에 따르면, 무인 비행체의 비행 중 연속적으로 표적으로부터 수신되는 레이더 반사파에 따른 원시 데이터를 입력 받고, 상기 원시 데이터를 이용하여 SAR 영상을 생성하되, GPU 기반의 역투영 알고리즘(BPA)을 이용하여 소형 무인 비행체용 SAR의 실시간 영상 복원이 가능한 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치 및 SAR 영상 복원 시스템이 개시된다.

Description

GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치 및 SAR 영상 복원 시스템{GPU based SAR Image Restoration Device and Image Radar System for Small Unmanned Mobile}
본 발명은 영상 복원 장치 및 영상 복원 시스템에 관한 것으로, 특히 소형 무인 이동체용 SAR 영상 복원 장치 및 SAR 영상 복원 시스템에 관한 것이다.
합성 개구 레이더(Synthetic Aperture Radar, 이하 SAR)는 일반적으로 비행기 또는 인공 위성 등에 탑재되어 이동하는 동안, 여러 차례 지표로 빔을 방사하고 반사되어 수신된 신호에서 감지되는 도플러 주파수의 상대적 변화 특성을 이용하여 지표의 고분해능 정밀 이미지를 획득할 수 있는 레이더를 의미한다.
SAR은 극초단파 영역의 초고주파를 활용하기 때문에 아지랑이, 가랑비, 눈, 구름, 연기 등의 기후 환경에 영향을 받지 않고, 육상 지형이나 바다를 관측할 수 있으며, 스스로 관측에 사용하는 에너지원을 전파하는 능동시스템이기 때문에 밤과 낮에 상관없이 이미지를 얻을 수 있다.
현재 SAR은 비행기 또는 인공 위성 등에 탑재되어 이용되므로, 무인 이동체에 탑재되어 이용할 수 있도록 초경량 소형으로 제작할 수 있는 영상 레이더 복원 기술이 필요하다.
본 발명은 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치 및 SAR 영상 복원 시스템에 관한 것으로, 무인 비행체의 비행 중 연속적으로 표적으로부터 수신되는 레이더 반사파에 따른 원시 데이터를 입력 받고, 상기 원시 데이터를 이용하여 SAR 영상을 생성하되, GPU 기반의 역투영 알고리즘(BPA)을 이용하여 소형 무인 비행체용 SAR의 실시간 영상 복원이 가능하도록 하는데 그 목적이 있다.
또한, 무인 이동체에 탑재되어 이용할 수 있도록 초경량 소형으로 제작하는데 그 목적이 있다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
상기 과제를 해결하기 위해, 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 이동체용 SAR 영상 복원 시스템은 무인 이동체에 탑재되도록 마련되며, 레이더 펄스를 방사하여 표적으로부터의 레이더 반사파를 수신하는 안테나 장치, 상기 안테나 장치로 송신 신호를 전송하고, 상기 안테나 장치로부터 수신 신호를 수신 받는 송수신 장치 및 상기 무인 비행체의 비행 중 연속적으로 표적으로부터 수신되는 레이더 반사파에 따른 원시 데이터를 입력 받고, 상기 원시 데이터를 이용하여 SAR 영상을 생성하는 SAR 영상 복원 장치를 포함한다.
여기서, 상기 SAR 영상 복원 장치는, 역투영(Back projection) 알고리즘의 실시간 신호처리를 위해 Graphics Processing Unit(GPU) 기반 신호처리 커널을 이용한다.
여기서, 상기 SAR 영상 복원 장치는, 원시 데이터 처리부 및 영상 복원 처리부를 포함하되, 상기 원시 데이터 처리부는 무인 비행체의 비행 중 연속적으로 별도의 송수신부에서 송신한 레이더 펄스가 표적으로부터 수신되는 레이더 반사파에 따른 원시 데이터를 입력 받고, 상기 원시 데이터의 신호 처리를 위한 데이터 할당 및 초기화를 수행하고, 상기 원시 데이터를 영상 복원 처리부에서 처리 가능한 변환 데이터로 변환시킨다.
여기서, 상기 영상 복원 처리부는, 상기 변환 데이터에 대한 거리 보상된 신호를 생성하고, 상기 거리 보상된 신호로부터 SAR 영상을 생성한다.
여기서, 상기 영상 복원 처리부는 GPU이고, 상기 GPU는 상기 변환 데이터로부터 FFT변환하고, 상기 FFT변환된 신호를 레인지 압축된 신호로 압축하며, 상기 레인지 압축된 신호에 대하여 데이터 패딩 처리를 하고, 상기 데이터 패딩된 신호를 iFFT 변환하고, 상기 iFFT 변환된 신호를 거리 보상한다.
여기서, 상기 영상 복원 처리부는 영상 평면에서의 표적 좌표에 해당하는 픽셀 각각에 대하여 상기 데이터 패딩 처리와 상기 데이터 패딩된 신호를 iFFT 변환하고, 상기 iFFT 변환된 신호를 거리 보상하는 과정을 반복하여 SAR 영상을 생성한다.
여기서, 상기 영상 복원 처리부는 상기 레이더 펄스 방사 시점에서 상기 연속적으로 송신되는 레이더 펄스의 m번째 신호(여기서, m은 정수이다.)와 영상 평면에서의 표적 좌표에 해당하는 픽셀이 이루는 각도를 이용하여 상기 iFFT 변환된 신호를 거리 보상한다.
본 발명의 또 다른 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치는 원시 데이터 처리부 및 영상 복원 처리부를 포함하는 무인 비행체용 SAR 영상 복원 장치로써, 상기 원시 데이터 처리부는 무인 비행체의 비행 중 연속적으로 별도의 송수신부에서 송신한 레이더 펄스가 표적으로부터 수신되는 레이더 반사파에 따른 원시 데이터를 입력 받고, 상기 원시 데이터의 신호 처리를 위한 데이터 할당 및 초기화를 수행하고, 상기 원시 데이터를 영상 복원 처리부에서 처리 가능한 변환 데이터로 변환시키며, 상기 영상 복원 처리부는 상기 변환 데이터에 대한 거리 보상된 신호를 생성하고, 상기 거리 보상된 신호로부터 SAR 영상을 생성한다.
여기서, 상기 SAR 영상 복원 장치는, 역투영(Back projection) 알고리즘의 실시간 신호처리를 위해 Graphics Processing Unit(GPU) 기반 신호처리 커널을 이용한다.
여기서, 상기 영상 복원 처리부는 GPU이고, 상기 GPU는 상기 변환 데이터로부터 FFT변환하고, 상기 FFT변환된 신호를 레인지 압축된 신호로 압축하며, 상기 레인지 압축된 신호에 대하여 데이터 패딩 처리를 하고, 상기 데이터 패딩된 신호를 iFFT 변환하고, 상기 iFFT 변환된 신호를 거리 보상한다.
여기서, 상기 영상 복원 처리부는 영상 평면에서의 표적 좌표에 해당하는 픽셀 각각에 대하여 상기 데이터 패딩 처리와 상기 데이터 패딩된 신호를 iFFT 변환하고, 상기 iFFT 변환된 신호를 거리 보상하는 과정을 반복하여 SAR 영상을 생성한다.
여기서, 상기 영상 복원 처리부는 상기 레이더 펄스 방사 시점에서 상기 연속적으로 송신되는 레이더 펄스의 m번째 신호(여기서, m은 정수이다.)와 영상 평면에서의 표적 좌표에 해당하는 픽셀이 이루는 각도를 이용하여 상기 iFFT 변환된 신호를 거리 보상한다.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 무인 비행체의 비행 중 연속적으로 표적으로부터 수신되는 레이더 반사파에 따른 원시 데이터를 입력 받고, 상기 원시 데이터를 이용하여 SAR 영상을 생성하되, GPU 기반의 역투영 알고리즘(BPA)을 이용하여 소형 무인 비행체용 SAR의 실시간 영상 복원이 가능하도록 할 수 있다.
또한, 무인 이동체에 탑재되어 이용할 수 있도록 초경량 소형으로 제작할 수 있다.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.
도 1은 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치를 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치의 프로세서를 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 시스템을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치의 알고리즘을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 방법을 나타낸 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치의 영상 획득 기하 모델을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치의 연산 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치의 데이터 변화를 나타낸 것이다.
도 9는 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치 및 SAR 영상 복원 시스템의 성능 시험 결과를 설명하기 위한 도면이다.
이하, 본 발명에 관련된 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치 및 SAR 영상 복원 시스템에 대하여 도면을 참조하여 보다 상세하게 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 “모듈” 및 “부”는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 발명은 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치 및 SAR 영상 복원 시스템에 관한 것이다.
도 1은 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치를 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치(1)는 CPU(11), GPU(12), 메모리(20), 전원 공급부(30)를 포함한다.
본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치(1)는 GPU 기반의 역투영 알고리즘(BPA)을 이용하여 소형 무인 비행체용 SAR의 실시간 영상 복원이 가능한 장치이다.
역투영 알고리즘(Back-projection algorithm, BPA)은 비록 처리시간이 길지만 가장 우수한 성능의 항공용 합성 개구 레이더(Synthetic Aperture Radar, 이하 SAR)의 영상복원 방법이다. 본 발명의 일 실시예에는 소형 드론용 SAR의 실시간 영상복원을 위하여 BPA의 실시간 신호처리 방법을 이용한다.
Back-projection 알고리즘은 항공기 요동보상기법과 SAR 신호처리 연구를 위한 기준영상과 비교자료 생성 등을 위해서 그 장점을 활용할 수 있으며, 항공기 기반 FMCW SAR 시스템의 영상복원을 위해 적용된다.
구체적으로, 영상 복원 장치는 Graphics Processing Unit(GPU) 기반 BPA 신호처리 커널을 이용하여 BPA의 실시간 영상복원을 수행하며, GPU 기반 BPA를 이용하여 소형 드론 SAR의 실시간 영상 복원이 가능하도록 한다.
메모리(20)는 프로세서의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 여기서, 프로세서는 CPU(11), GPU(12)로 별도로 구현되는 것이 바람직하다.
메모리(20)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.
종래의 경우, 기존 실시간 신호처리를 위해서는 다수의 SBC를 이용한 신호처리기를 이용하여 신호처리 성능을 확보 하였으나, 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치(1)에서는 고성능 GPU 그래픽카드 1기(12) 및 CPU chip 1기(11)만으로 고성능 신호처리 구현이 가능한 소형 모듈화된 SAR 전용 신용처리 장치의 프로세서를 제안한다.
또한, 프로세서와 메모리(20)에 별도로 전원 공급이 가능한 전원 공급부(30)를 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치의 프로세서를 나타낸 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 초경량 소형의 무인 이동체용 영상 레이더 장치의 프로세서(10)는 원시 데이터 처리부(100), 영상 복원 처리부(200)를 포함한다.
원시 데이터 처리부(100)는 무인 비행체의 비행 중 연속적으로 별도의 송수신부에서 송신한 레이더 펄스가 표적으로부터 수신되는 레이더 반사파에 따른 원시 데이터를 입력 받고, 상기 원시 데이터의 신호 처리를 위한 데이터 할당 및 초기화를 수행하고, 상기 원시 데이터를 영상 복원 처리부에서 처리 가능한 변환 데이터로 변환시키며,
영상 복원 처리부(200)는 상기 변환 데이터에 대한 거리 보상된 신호를 생성하고, 상기 거리 보상된 신호로부터 SAR 영상을 생성한다.
구체적으로, 원시 데이터 처리부(100)는 무인 비행체의 비행 중 연속적으로 별도의 송수신부에서 송신한 레이더 펄스가 표적으로부터 반사되어 수신된 레이더 반사파에 의한 합성 개구면 레이더(SAR)의 원시 데이터를 획득한다.
영상 복원 처리부(200)는 상기 레이더 펄스 방사 시점의 위치와 영상 평면에서의 표적 좌표 사이의 거리를 고려하여 실시간으로 상기 원시 데이터를 SAR 영상으로 복원한다.
영상 복원 처리부(200)는 GPU이고, 상기 GPU는 상기 변환 데이터로부터 FFT변환하고, 상기 FFT변환된 신호를 레인지 압축된 신호로 압축하며, 상기 레인지 압축된 신호에 대하여 데이터 패딩 처리를 하고, 상기 데이터 패딩된 신호를 iFFT 변환하고, 상기 iFFT 변환된 신호를 거리 보상한다.
이후, 영상 평면에서의 표적 좌표에 해당하는 픽셀 각각에 대하여 상기 데이터 패딩 처리와 상기 데이터 패딩된 신호를 iFFT 변환하고, 상기 iFFT 변환된 신호를 거리 보상하는 과정을 반복하여 SAR 영상을 생성한다.
여기서, 상기 영상 복원 처리부는 상기 레이더 펄스 방사 시점에서 상기 연속적으로 송신되는 레이더 펄스의 m번째 신호(여기서, m은 정수이다.)와 영상 평면에서의 표적 좌표에 해당하는 픽셀이 이루는 각도를 이용하여 상기 iFFT 변환된 신호를 거리 보상한다.
구체적으로, 영상 복원 처리부(200)는 상기 레이더 펄스 방사 시점의 위치와 영상 형성면에서의 표적 좌표 사이의 거리를 이용하여 상기 표적의 거리 압축 신호를 각각 요동 보상하면서, 방위 압축을 수행한다.
영상 복원 처리부(200)는 원시 데이터를 FFT(Fast Fourier Transform) 기반의 거리 압축을 수행하고, 거리 방향으로 역푸리에 변환을 적용하여 거리 압축 신호를 생성한다. 이후, 상기 거리 압축 신호를 상기 레이더 펄스 방사 시점의 위치와 영상 평면에서의 표적 좌표 사이의 거리를 고려하여 방위 압축 신호를 생성한다.
비행 중인 상기 무인 비행체의 각 펄스 방사 위치에서 획득한 수신 신호 벡터에서 상기 거리 압축 신호를 이동 시킨 후, 위상 보상을 수행하여 거리 방향 벡터로부터 획득한 펄스에 대해서 코히런트 합을 구하여 방위 압축 신호를 생성한다.
본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치에 있어서, 원시 데이터 처리부(100)는, 적어도 하나의 중앙 처리 장치(CPU)로 구현되며, 상기 중앙 처리 장치(CPU)는 제1 메모리 공간을 포함하고, 영상 복원 처리부(200)는, 적어도 하나의 그래픽 처리장치 (GPU)로 구현되며, 상기 그래픽 처리장치 (GPU)는 제2 메모리 공간을 포함할 수 있다.
영상 복원 처리부(200)는 다수개의 표적들에 대하여 상기 거리 압축 신호 생성과 상기 방위 압축 수행을 반복하여 SAR 영상을 생성한다.
SAR는 기상상태에 관계없이 주·야간으로 고해상도의 레이더 영상을 획득할 수 있는 시스템이다. 특히, 항공기 탑재용 SAR는 적재적소에 원하는 레이더 영상을 획득할 수 있기 때문에 감시 및 정찰분야에 활용도가 매우 높다.
종래의 경우 주로 군사목적의 중·대형 항공기 기반 SAR가 운용되고 있으나, 본 발명에서는 SAR이 소형 드론에 탑재 가능하도록, 감시 및 정찰분야에 활용하기 위한 드론용 SAR의 실시간 또는 근실시간 영상복원이 가능하도록 한다.
위성과는 달리, 항공기는 요동이 심하기 때문에 요동 정도에 따라 항공기 기반 SAR의 영상복원 성능이 달라진다. 이를 극복하기 위하여, 다양한 영상복원 및 요동보상 기법이 개발되고 있다. 예를 들면, Range Doppler Algorithm (RDA), Chirp Scaling Algorithm (CSA), Range Migration Algorithm (RMA), 그리고 Phase Gradient Autofocus (PGA) 등이 있다.
본 발명에서는, 항공기 기반 SAR의 실시간 영상복원을 위해 영상복원 및 요동 보상 기법, 신호처리용 하드웨어 구성 등, 신호처리기의 최적화 설계를 구현하며, 드론의 탑재중량 제약을 만족하도록 설계하여 소형 드론용 SAR의 실시간 영상복원을 위한 신호처리기를 구현한다.
도 3은 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 시스템을 나타낸 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 시스템(2)은 SAR 영상 복원 장치(1), 안테나 장치(40), 김발 장치(50), 항법 제어 장치(60), 송수신 장치(70)를 포함하며, 무인 이동체(3)에 장착 가능하도록 설계된다.
여기서, SAR 영상 복원 장치(1)는 송수신 장치(70)와 연결되는 것이 바람직하며, 이에 한정되는 것은 아니다.
합성 개구 레이더(Synthetic Aperture Radar, 이하 SAR)는 일반적으로 비행기 또는 인공 위성 등에 탑재되어 이동하는 동안, 여러 차례 지표로 빔을 방사하고 반사되어 수신된 신호에서 감지되는 도플러 주파수의 상대적 변화 특성을 이용하여 지표의 고분해능 정밀 이미지를 획득할 수 있는 레이더를 의미한다.
SAR은 극초단파 영역의 초고주파를 활용하기 때문에 아지랑이, 가랑비, 눈, 구름, 연기 등의 기후 환경에 영향을 받지 않고, 육상 지형이나 바다를 관측할 수 있으며, 스스로 관측에 사용하는 에너지원을 전파하는 능동시스템이기 때문에 밤과 낮에 상관없이 이미지를 얻을 수 있다.
무인 이동체는 조종사 없이 무선전파의 유도에 의해서 비행 및 조종이 가능한 비행기나 헬리콥터 모양의 이동체이다.
본 발명의 일 실시예에서는 카메라, 센서, 통신시스템 등이 탑재되어 구현되는 드론을 예로 들어 도시하였으나 이에 한정되는 것은 아니고, 무인으로 이동하는 이동체에 모두 탑재 가능하도록 설계되는 것이 가능하다.
본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 시스템은 운용모드는 SAR 모드 (Stripmap)으로 구현되는 것이 바람직하다. 거리 방향 해상도는 0.3, 0.5, 1 [m], 거리 방향 영상폭은 0.3, 0.5, 1 [km] 이상인 것이 바람직하며, 최대 탐지 거리는 1km 이하로 설계되는 것이 바람직하다.
김발 장치(50)는 무인 이동체에 탑재되도록 마련된다. 김발 장치(50)는 방위각 조립체, 고각 조립체, 방진구 조립체를 포함한다.
김발 장치(50)의 요구규격은 PDR 기준으로 중량은 0.5kg 이하, 구동 방식은 2축 구동, 방위각은 -130 내지 130도 이내, 고각은 0 내지 85도 이내인 것이 바람직하며, 자체 고장 진단을 수행할 수 있도록 모니터링부와 제어부를 포함할 수 있다.
안테나 장치(40)는 상기 김발 장치와 연결되며, 레이더 펄스를 방사하여 표적으로부터의 레이더 반사파를 수신한다.
안테나 장치(40)는 급전부, 방사부 패치, 기생패치, 차폐벽을 포함한다.
안테나 장치(40)의 요구규격은 SRR/SFR 기준으로 중량은 0.3Kg 이하, 운용 주파수는 X-band (X-band 는 6.2~10.9GHz의 주파수대를 말한다.), 편파는 HH, VV, HV, VH, 안테나 이득은 15 dBi 이상, 부엽 준위는 -20 dB 이하로 설계되는 것이 바람직하나, 이에 한정되는 것은 아니다.
항법 제어 장치(60)는 송수신 장치의 RF 송수신을 제어하며 타이밍 신호와 전원을 제어한다. 항법 제어 장치(300)는 제어모듈, GPS 모듈, IMU 모듈, 하우징을 포함한다.
항법 제어 장치(300)의 요구규격은 CDR 기준으로 중량 500g 이하 (IMU 제외), 소모전력 입력전원 5V 이하 소모전류 5A 이하 소모전력 25W 이하인 것이 바람직하며 운용 상태를 제어할 수 있도록 운용 제어부를 포함할 수 있다.
송수신 장치(70)는 상기 안테나 장치로 송신 신호를 전송하고, 상기 안테나 장치로부터 수신 신호를 수신 받는다.
송수신 장치(400)는 RF 송수신 장치이며 RF 모듈, 디지털 모듈, 전원 모듈, 하우징을 포함한다.
송수신 장치(400)의 요구규격은 SRR/SFR 기준으로 중량 1.5kg 이하, 운용 주파수 X-band, 송신 출력 1W 이상, 펄스폭 45us 이상, 수신 IF 중심주파수 1.25 Mhz 이상, 수신 IF 대역폭 200 Mhz 이상, 수신 동적범위 60 dB 이상로 설계되는 것이 바람직하며, 이에 한정되는 것은 아니다.
이외에도, 신호 처리 장비, 외부 연동 모의 장비, 표적 모의 장비를 포함한다.
신호 처리 장비는 워크 스테이션을 포함한다. 외부 연동 모의 장비는 제어 노트북을 포함한다. 외부 연동 모의 장비는 안테나 장치와 김발 장치로 임무정보, 장비 제어 신호, 항법 모의 데이터를 전송하고, 항법 정보와 장비 상태 정보를 전달 받는다.
외부 연동 모의 장비는 임무장비와 비행체가 독립된 시스템으로 동작하며, 임무장비 내부에 안정화를 위한 각속도 센서를 탑재하며 각속도 센서값을 피드백하여 비행체가 기동시 카메라가 불안정한 기동을 하지 않도록 안정화 제어를 수행할 수 있다.
표적 모의 장비는 제어 모듈, 표적 발생 모듈, IF 수신 모듈, 표적 IF 모듈, 송수신 RF 모듈, 국부 발생 모듈, 전원 모듈, 하우징을 포함한다.
SAR 영상 복원 장치(1)는 상기 무인 비행체의 비행 중 연속적으로 상기 레이더 펄스가 표적으로부터 반사되어 수신된 레이더 반사파에 의한 합성 개구면 레이더(SAR)의 원시 데이터를 획득하는 원시 데이터 처리부와 상기 레이더 펄스 방사 시점의 위치와 영상 평면에서의 표적 좌표 사이의 거리를 고려하여 실시간으로 상기 원시 데이터를 SAR 영상으로 복원하는 영상 복원 처리부를 포함한다.
본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 시스템(2)은 탑재체에 해당하며, IMU를 제외한 무게는 2.0 내지 3.0 kg인 것이 바람직하다.
종래의 레이더 탑재체 보다 무게를 가볍게 하여 무인 이동체의 탑재가 가능하도록 하며, 지상체와의 통신을 수행하도록 설계하여 무인 이동체에서 비행하는 경우에도 정보를 전달하고 임무를 수행하는 것이 가능하도록 한다.
영상 해상도는 0.3, 0.5, 1 [m], 운용 고도는 1400 내지 1600 ft (400 내지 500[m])인 것이 바람직하다.
중심 주파수는 X-band 이며, 소비 전력은 40 내지 60 W인 것이 바람직하다.
거리방향 영상폭은 200 내지 400 (@ 해상도 0.3) [m], 방위방향 영상폭은 무제한 (전원용량), 크기는 (15 내지 20) X (20 내지 25) X (25 내지 30) [cm]으로 설계되는 것이 바람직하다.
도 4는 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치의 알고리즘을 설명하기 위한 도면이다.
도 4에 나타난 바와 같이, 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치는 CPU 커널(101)과 BPA 신호처리에 최적화된 GPU 커널(201)로 구성되는 것이 바람직하다.
구체적으로, 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치에 있어서, 원시 데이터 처리부(100)는, 적어도 하나의 중앙 처리 장치(CPU)로 구현되며, 상기 중앙 처리 장치(CPU)는 제1 메모리 공간을 포함하고, 영상 복원 처리부(200)는, 적어도 하나의 그래픽 처리장치 (GPU)로 구현되며, 상기 그래픽 처리장치 (GPU)는 제2 메모리 공간을 포함한다.
원시 데이터 처리부(100)는 상기 원시 데이터가 상기 그래픽 처리장치 (GPU)의 신호 처리 커널에서 실행되도록 상기 원시 데이터를 GPU 변환 데이터로 변환하여 상기 제1 메모리 공간에서 상기 제2 메모리 공간으로 할당한다.
구체적으로, Main 메소드(110)의 데이터에서 원시 데이터(120)를 입력 받는다. 이후 초기화(Initialization)(130)가 이루어지고,
Deg2utm(131)을 이용하여 lat/lon벡터를 UTM좌표로 변환한다.
이후, CPU variable Malloc & initial(132)을 이용하여 CPU 변수(variable)를 할당하고 초기화한다.
영상 복원 처리부(200)는 다수개의 표적들에 대하여 상기 거리 압축 신호 생성과 상기 방위 압축 수행을 반복하여 SAR 영상을 생성한다.
FFT(Fast Fourier Transform) 기반의 레인지 압축(210)을 수행한다.
BPA 연산(220)기법을 이용하여 방위방향 신호를 복원한다.
다수개의 표적들에 대하여 iFFT 변환된 신호를 거리 보상하는 과정을 반복 (221)하여 SAR 영상을 생성(230)한다.
본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치는 항공용 SAR에서 가장 성능이 우수한 신호처리 알고리즘인 Back-projection 알고리즘 (BPA)의 신호처리 시간이 굉장히 길다는 단점을 해결하기 위해 BPA 전용 신호처리용 GPU 커널을 제작하여 실시간 적용이 가능하도록 하였으며, 도 8에서 성능 검증결과 실시간 처리 가능함을 확인 하였다.
종래의 경우 CPU 또는 GPU 기반의 신호처리 속도를 향상시키기 위하여 다중 CPU 또는 GPU기반 신호처리기를 구성하여 병렬처리를 하였다. 하지만, 소형 드론의 탑재중량 한계 때문에 드론에 탑재되는 SAR의 크기는 작고 무게는 적을수록 유리하다. 따라서, 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치는 SAR 신호처리기 구성은 최소화하여 설계하며 이를 고려하여 CPU 및 GPU 각각 1기의 신호처리기를 구성한다. 또한, Nvidia에서 제공하는 CUDA Tookit을 이용 하여 Fast Fourier Transform (FFT) 및 Inverse Fast Fourier Transform (IFFT)기반 BPA 신호처리에 최적화된 GPU 커널을 구성한다.
도 5는 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 방법을 나타낸 흐름도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 방법은 프로세서가 원시 데이터(Raw Data)를 획득하는 단계(S110)에서 시작한다.
단계 S110에서 원시 데이터 처리부는 무인 비행체의 비행 중 연속적으로 별도의 송수신부에서 송신한 레이더 펄스가 표적으로부터 수신되는 레이더 반사파에 따른 원시 데이터를 입력 받고, 상기 원시 데이터의 신호 처리를 위한 데이터 할당 및 초기화를 수행하고, 상기 원시 데이터를 영상 복원 처리부에서 처리 가능한 변환 데이터로 변환시킨다.
단계 S210 내지 S280에서 상기 영상 복원 처리부는 상기 변환 데이터에 대한 거리 보상된 신호를 생성하고, 상기 거리 보상된 신호로부터 SAR 영상을 생성한다.
구체적으로, 단계 S210에서 상기 변환 데이터로부터 FFT변환하고, 단계 S220에서 상기 FFT변환된 신호를 레인지 압축하여 단계 S230에서 레인지 압축된 신호를 생성한다. 단계 S240에서 상기 레인지 압축된 신호에 대하여 데이터 패딩 처리를 하고, 단계 S250에서 상기 데이터 패딩된 신호를 iFFT 변환하고, 단계 S260에서 상기 iFFT 변환된 신호를 거리 보상한다.
여기서, 데이터 패딩은 제로-패딩인 것이 바람직하다. 상기 영상 복원 처리부는 상기 레이더 펄스 방사 시점에서 상기 연속적으로 송신되는 레이더 펄스의 m번째 신호(여기서, m은 정수이다.)와 영상 평면에서의 표적 좌표에 해당하는 픽셀이 이루는 각도를 이용하여 상기 iFFT 변환된 신호를 거리 보상한다.
단계 S270에서 상기 영상 복원 처리부는 영상 평면에서의 표적 좌표에 해당하는 픽셀 각각에 대하여 상기 데이터 패딩 처리와 상기 데이터 패딩된 신호를 iFFT 변환하고, 상기 iFFT 변환된 신호를 거리 보상하는 과정을 반복하여 단계 S280에서 SAR 영상을 생성한다.
도 6은 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치의 영상 획득 기하 모델을 설명하기 위한 도면이다.
FMCW 신호기반의 레이더 시스템은 기준 송신 신호를 이용해 수신신호를 직접 주파수 하향변환(frequency down conversion)하여, 두 신호의 차에 해당하는 비트 주파수(beat frequency) 성분을 수신하고 샘플링하여 레이더 신호처리에 활용한다.
SAR 영상 획득을 위한 기하 모델을 참조하면, 방위 방향(azimuth)으로 비행체 비행 중 레이다 펄스의 송신 및 수신은 등 간격 위치에서 이루어질 수 있도록 PRF(Pulse Repetition Frequency) 실시간 제어를 수행하게 된다.
요구 해상도를 달성하기 위해서 합성 개구면 거리 (Synthetic Aperture Length, SAL)를 비행하면서 데이터를 획득하게 되며, Spotlight 모드로 영상을 획득하기 위해서 영상 획득 동안, SAR 안테나가 영상 중심점 (scene center)을 바라보며 데이터 획득이 가능하도록, 전자적 또는 기계적 방식을 통해 빔을 실시간 조향 하면서 수신신호를 획득하게 된다. 실제로는 난기류나, 바람 등의 영향으로 인해 이상적인 직선 궤적 (ideal linear trajectory)에서 벗어나게 되는 요동을 경험(actual trajectory)하며 비행 하게 된다.
도 6에서, φm(i,j) 는 m-번째 신호와 i,j-번째 픽셀이루는 각도이며, Az. Window (Waz) 설정 값으로 활용한다.
영상 복원 알고리즘은 수학식 1로 구현된다.
Figure pat00001
여기서, sr 은 목표물 지연시간 τ을 적용한 수신 신호이며, td는 샘플링 시간, u는 안테나 위치, fc는 주파수, Kr은 변조율, c는 광속을 나타낸다.
또한, Pm 은 m-번째 신호 송수신을 위한 안테나 위치이다.
Pm = Pm0: start-stop approximation이며, Pm은 시간의 함수인 경우, Pm(t)이다. FMCW-SAR는 송수신 위치가 지속적으로 변화한다.
Figure pat00002
sIF,r은 송수신신호를 주파수 하향변환시켜 얻은 중간주파수(IF: Intermediate Frequency) 의 수신신호를 나타낸다. (여기서, t는 샘플링 시간, um은 안테나 위치, f0는 중심주파수, Kr은 변조율을 나타낸다.
back-projection 알고리즘은 SAR 영상 내 i-, j-번째 픽셀의 목표물 복원을 위해서 하기 수학식 3 내지 수학식 5와 같이 윈도우 함수(Wrg·Waz)와 샘플링 시간(t)에 대한 푸리에 변환(Fourier transform)이 이루어진 수신신호(sIF,r(t, um))를 적용한 정합필터과정을 거치게 되고, 이를 특정 레이더 송수신 안테나 위치(um, m-번째 송신펄스 기준 안테나 위치)에 대해서 목표물(i-, j-번째 픽셀)과의 거리 및 지연시간(tdij)을 모든 안테나 위치에 대해 반복 계산하여 그 결과를 누적 하는 과정을 수행한다.
Figure pat00003
Figure pat00004
는 Re-sampled meas. Data이다.
기존 back-projection 알고리즘의 효율적인 영상복원을 위해서 입력신호(sIF,r(td, u))를 복원영상 내 목표물 지연 시간과 정합필터의 계산 결과가 최적화되도록 입력 신호를 고해상 신호로 다시 샘플링(re-sampling)하는 과정을 포함한다.
Figure pat00005
는 윈도우 함수(Window fn.)이다.
Figure pat00006
는 Ref. phase (matched filter)이다.
BPA 연산기법은 수학식 4와 수학식 5로 구현된다.
수학식 4는 SAR 복원영상 픽셀기준 (i x j) 연산기법을 구현한다.
Figure pat00007
수학식 5는 m개 신호기준 연산기법 (cumulative SAR image)을 구현한다.
Figure pat00008
도 7은 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치의 연산 방법을 설명하기 위한 도면이다.
도 7의 (a)는 SAR 복원영상 픽셀기준 (i x j) 연산기법에 관한 것이다. 여기서 SAR 영상복원을 위해 영상해상도 기준 각 픽셀(i x j)을 반복 연산하며, 각 픽셀 연산을 위해 전체 raw data가 영상복원 연산에 이용된다.
즉, 특정위치의 픽셀에 모든 raw data가 투영되는 연산과정이다.
도 7의 (b)는 m개 신호기준 연산기법 (cumulative SAR image)에 관한 것이다. m개의 신호(m개의 range profile)에 대한 반복 연산을 수행하며, 특정위치의 신호가 모든 SAR 복원영상의 픽셀에 투영되는 연산과정이다.
방위 압축 수행부(220)는 상기 레이더 펄스 방사 시점에서 상기 연속적으로 송신되는 레이더 펄스의 m번째 신호(여기서, m은 정수이다.)와 영상 평면에서의 표적 좌표에 해당하는 픽셀이 이루는 각도를 이용하여 방위 압축 신호를 생성한다.
도 8은 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치의 데이터 변화를 나타낸 것이다.
도 8의 (a)는 원시 데이터(Raw Data)이며, 도 8의 (b)는 거리 압축 데이터(Range Compressed DATA)이고, 도 8의 (c)는 SAR 복원 영상이다.
도 9는 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치 및 SAR 영상 복원 시스템의 성능 시험 결과를 설명하기 위한 도면이다.
도 9의 (a)는 GPU 및 CPU기반의 BPA를 적용하여 복원된 SAR 영상이다. 영상크기는 방위 및 거리방향으로 각각 28000 그리고 1024 픽셀이다. 거리로는 각각 약 8.4 km 그리고 300m (해상도 0.3m 기준)이다. 도 9의 (b)를 참조하면, 처리시간은 Matlab에서 CPU로 처리하면 약 897.2초가 걸렸고, Matlab에서 제공하는 GPU 커널을 이용하여 처리하면 약 289.3초가 걸렸다. 본 발명의 일 실시예에서 최적화 한 Cuda 기반의 GPU 커널을 이용하여 처리하면 약 4.1초가 걸렸다. 이는 Cuda 기반의 GPU 커널을 이용하여 최적화 된 BPA를 적용 시, 실시간 처리가 가능하다는 것을 직접적으로 보여주는 결과이다.
따라서, 소형 드론용 SAR의 실시간 영상복원 및 소형화된 신호처리기 개발을 위해서는 GPU 기반의 BPA를 적용 하는 것이 가장 최적화 된 방법이 될 수 있다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구 범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.

Claims (12)

  1. 무인 이동체에 탑재되도록 마련되며, 레이더 펄스를 방사하여 표적으로부터의 레이더 반사파를 수신하는 안테나 장치;
    상기 안테나 장치로 송신 신호를 전송하고, 상기 안테나 장치로부터 수신 신호를 수신 받는 송수신 장치; 및
    상기 무인 비행체의 비행 중 연속적으로 표적으로부터 수신되는 레이더 반사파에 따른 원시 데이터를 입력 받고, 상기 원시 데이터를 이용하여 SAR 영상을 생성하는 SAR 영상 복원 장치;를 포함하는 것을 특징으로 하는 무인 이동체용 SAR 영상 복원 시스템.
  2. 제1항에 있어서,
    상기 SAR 영상 복원 장치는,
    역투영(Back projection) 알고리즘의 실시간 신호처리를 위해 Graphics Processing Unit(GPU) 기반 신호처리 커널을 이용하는 것을 특징으로 하는 무인 이동체용 SAR 영상 복원 시스템.
  3. 제1항에 있어서,
    상기 SAR 영상 복원 장치는, 원시 데이터 처리부 및 영상 복원 처리부를 포함하되,
    상기 원시 데이터 처리부는 무인 비행체의 비행 중 연속적으로 별도의 송수신부에서 송신한 레이더 펄스가 표적으로부터 수신되는 레이더 반사파에 따른 원시 데이터를 입력 받고, 상기 원시 데이터의 신호 처리를 위한 데이터 할당 및 초기화를 수행하고, 상기 원시 데이터를 영상 복원 처리부에서 처리 가능한 변환 데이터로 변환시키는 것을 특징으로 하는 무인 이동체용 SAR 영상 복원 시스템.
  4. 제3항에 있어서,
    상기 영상 복원 처리부는,
    상기 변환 데이터에 대한 거리 보상된 신호를 생성하고, 상기 거리 보상된 신호로부터 SAR 영상을 생성하는 것을 특징으로 하는 무인 이동체용 SAR 영상 복원 시스템.
  5. 제4항에 있어서,
    상기 영상 복원 처리부는 GPU이고, 상기 GPU는 상기 변환 데이터로부터 FFT변환하고, 상기 FFT변환된 신호를 레인지 압축된 신호로 압축하며, 상기 레인지 압축된 신호에 대하여 데이터 패딩 처리를 하고, 상기 데이터 패딩된 신호를 iFFT 변환하고, 상기 iFFT 변환된 신호를 거리 보상하는 것을 특징으로 하는 무인 이동체용 SAR 영상 복원 시스템.
  6. 제5항에 있어서,
    상기 영상 복원 처리부는 영상 평면에서의 표적 좌표에 해당하는 픽셀 각각에 대하여 상기 데이터 패딩 처리와 상기 데이터 패딩된 신호를 iFFT 변환하고, 상기 iFFT 변환된 신호를 거리 보상하는 과정을 반복하여 SAR 영상을 생성하는 것을 특징으로 하는 무인 이동체용 SAR 영상 복원 시스템.
  7. 제5항에 있어서
    상기 영상 복원 처리부는 상기 레이더 펄스 방사 시점에서 상기 연속적으로 송신되는 레이더 펄스의 m번째 신호(여기서, m은 정수이다.)와 영상 평면에서의 표적 좌표에 해당하는 픽셀이 이루는 각도를 이용하여 상기 iFFT 변환된 신호를 거리 보상하는 것을 특징으로 하는 무인 이동체용 SAR 영상 복원 시스템.
  8. 원시 데이터 처리부 및 영상 복원 처리부를 포함하는 무인 비행체용 SAR 영상 복원 장치로써,
    상기 원시 데이터 처리부는 무인 비행체의 비행 중 연속적으로 별도의 송수신부에서 송신한 레이더 펄스가 표적으로부터 수신되는 레이더 반사파에 따른 원시 데이터를 입력 받고, 상기 원시 데이터의 신호 처리를 위한 데이터 할당 및 초기화를 수행하고, 상기 원시 데이터를 영상 복원 처리부에서 처리 가능한 변환 데이터로 변환시키며,
    상기 영상 복원 처리부는 상기 변환 데이터에 대한 거리 보상된 신호를 생성하고, 상기 거리 보상된 신호로부터 SAR 영상을 생성하는 것을 특징으로 하는 무인 비행체용 SAR 영상 복원 장치.
  9. 제1항에 있어서,
    상기 SAR 영상 복원 장치는,
    역투영(Back projection) 알고리즘의 실시간 신호처리를 위해 Graphics Processing Unit(GPU) 기반 신호처리 커널을 이용하는 것을 특징으로 하는 무인 이동체용 SAR 영상 복원 장치.
  10. 제8항에 있어서,
    상기 영상 복원 처리부는 GPU이고, 상기 GPU는 상기 변환 데이터로부터 FFT변환하고, 상기 FFT변환된 신호를 레인지 압축된 신호로 압축하며, 상기 레인지 압축된 신호에 대하여 데이터 패딩 처리를 하고, 상기 데이터 패딩된 신호를 iFFT 변환하고, 상기 iFFT 변환된 신호를 거리 보상하는 것을 특징으로 하는 무인 비행체용 SAR 영상 복원 장치.
  11. 제10항에 있어서,
    상기 영상 복원 처리부는 영상 평면에서의 표적 좌표에 해당하는 픽셀 각각에 대하여 상기 데이터 패딩 처리와 상기 데이터 패딩된 신호를 iFFT 변환하고, 상기 iFFT 변환된 신호를 거리 보상하는 과정을 반복하여 SAR 영상을 생성하는 것을 특징으로 하는 무인 비행체용 SAR 영상 복원 장치.
  12. 제10항에 있어서
    상기 영상 복원 처리부는 상기 레이더 펄스 방사 시점에서 상기 연속적으로 송신되는 레이더 펄스의 m번째 신호(여기서, m은 정수이다.)와 영상 평면에서의 표적 좌표에 해당하는 픽셀이 이루는 각도를 이용하여 상기 iFFT 변환된 신호를 거리 보상하는 것을 특징으로 하는 무인 비행체용 SAR 영상 복원 장치.
KR1020190163417A 2019-10-01 2019-12-10 Gpu 기반의 소형 무인 비행체용 sar 영상 복원 장치 및 sar 영상 복원 시스템 KR102296961B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190121624 2019-10-01
KR20190121624 2019-10-01

Publications (2)

Publication Number Publication Date
KR20210039264A true KR20210039264A (ko) 2021-04-09
KR102296961B1 KR102296961B1 (ko) 2021-09-01

Family

ID=72450626

Family Applications (9)

Application Number Title Priority Date Filing Date
KR1020190163417A KR102296961B1 (ko) 2019-10-01 2019-12-10 Gpu 기반의 소형 무인 비행체용 sar 영상 복원 장치 및 sar 영상 복원 시스템
KR1020200081114A KR102211580B1 (ko) 2019-10-01 2020-07-01 복수의 무인 비행체에 각각 장착된 합성 개구 레이더를 이용한 이동표적 속도 추정 방법 및 시스템
KR1020200081056A KR102156253B1 (ko) 2019-10-01 2020-07-01 복수의 무인 비행체에 각각 장착된 합성 개구 레이더를 이용한 정밀 고도 정보 추정 방법 및 시스템
KR1020200081472A KR102256612B1 (ko) 2019-10-01 2020-07-02 저유전율 초경량 안테나 장치 및 이를 구비한 드론 탑재형 초소형 합성 개구 레이더 시스템
KR1020200083678A KR102196733B1 (ko) 2019-10-01 2020-07-07 초경량 소형의 무인 이동체용 안테나 김발 장치 및 이를 포함하는 영상 레이더 시스템
KR1020200083677A KR102171196B1 (ko) 2019-10-01 2020-07-07 무인 비행체 탑재형 합성 개구 레이더용 무선주파수 신호 송수신 장치 및 방법
KR1020200084924A KR102196734B1 (ko) 2019-10-01 2020-07-09 합성 개구 레이더의 재밍장치 및 방법
KR1020200084569A KR102174058B1 (ko) 2019-10-01 2020-07-09 무인 비행체 탑재형 합성 개구 레이더용 표적 모의 장치
KR1020200125931A KR102202626B1 (ko) 2019-10-01 2020-09-28 초경량 소형의 무인 이동체용 영상 레이더 장치 및 시스템

Family Applications After (8)

Application Number Title Priority Date Filing Date
KR1020200081114A KR102211580B1 (ko) 2019-10-01 2020-07-01 복수의 무인 비행체에 각각 장착된 합성 개구 레이더를 이용한 이동표적 속도 추정 방법 및 시스템
KR1020200081056A KR102156253B1 (ko) 2019-10-01 2020-07-01 복수의 무인 비행체에 각각 장착된 합성 개구 레이더를 이용한 정밀 고도 정보 추정 방법 및 시스템
KR1020200081472A KR102256612B1 (ko) 2019-10-01 2020-07-02 저유전율 초경량 안테나 장치 및 이를 구비한 드론 탑재형 초소형 합성 개구 레이더 시스템
KR1020200083678A KR102196733B1 (ko) 2019-10-01 2020-07-07 초경량 소형의 무인 이동체용 안테나 김발 장치 및 이를 포함하는 영상 레이더 시스템
KR1020200083677A KR102171196B1 (ko) 2019-10-01 2020-07-07 무인 비행체 탑재형 합성 개구 레이더용 무선주파수 신호 송수신 장치 및 방법
KR1020200084924A KR102196734B1 (ko) 2019-10-01 2020-07-09 합성 개구 레이더의 재밍장치 및 방법
KR1020200084569A KR102174058B1 (ko) 2019-10-01 2020-07-09 무인 비행체 탑재형 합성 개구 레이더용 표적 모의 장치
KR1020200125931A KR102202626B1 (ko) 2019-10-01 2020-09-28 초경량 소형의 무인 이동체용 영상 레이더 장치 및 시스템

Country Status (1)

Country Link
KR (9) KR102296961B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113189588A (zh) * 2021-04-30 2021-07-30 电子科技大学 集群无人机合成孔径雷达高帧率成像方法
KR20230073609A (ko) * 2021-11-19 2023-05-26 알에프코어 주식회사 무인 항공기를 위한 합성 개구 레이더의 위상 그레디언트 자동 초점의 연산 가속화 방법

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7351280B2 (ja) * 2020-09-30 2023-09-27 トヨタ自動車株式会社 情報処理装置及び方法
KR102269751B1 (ko) * 2020-11-27 2021-06-30 (주)신한항업 변위 관측을 위한 L-Band SAR 센서 탑재 드론
KR102596416B1 (ko) * 2021-04-08 2023-10-31 엘아이지넥스원 주식회사 모의 표적 신호 발생 장치 및 이를 포함하는 레이더 시험 시스템
CN113104223A (zh) * 2021-05-18 2021-07-13 袁鹏杰 一种无人机携带流量监测装置
KR102512910B1 (ko) * 2021-09-07 2023-03-22 엘아이지넥스원 주식회사 제1 무인 비행체 및 제2 무인 비행체를 이용하여 sar 영상을 생성하는 sar 시스템 및 방법
KR102558544B1 (ko) * 2021-10-14 2023-07-24 국방과학연구소 레인지 도플러 알고리즘 기반 sar 영상 형성 장치 및 방법
KR102627925B1 (ko) * 2021-12-14 2024-01-23 연세대학교 산학협력단 멀티스태틱 합성개구레이다 시스템 및 이를 이용하여 3차원 합성개구레이다 영상을 생성하는 방법
CN114245688B (zh) * 2021-12-28 2022-11-11 湖南省通信建设有限公司 一种与无人机互联型图像通信设备
US20230243965A1 (en) * 2022-01-31 2023-08-03 Alphacore, Inc. Systems and methods for obstacle avoidance for unmanned autonomous vehicles
CN115327543B (zh) * 2022-08-15 2023-07-07 中国科学院空天信息创新研究院 用于无人机蜂群sar的多节点时频同步方法
CN115494465B (zh) * 2022-09-07 2024-06-21 中国人民解放军陆军炮兵防空兵学院 一种用于雷达抗干扰性能试验的多功能电子载荷
KR102531068B1 (ko) * 2023-01-05 2023-05-10 국방과학연구소 합성개구면레이다를 모의하는 시스템 및 방법
KR102546292B1 (ko) * 2023-01-12 2023-06-21 국방과학연구소 재밍효과도 분석 방법 및 시스템
KR102665846B1 (ko) 2023-02-28 2024-05-14 엘아이지넥스원 주식회사 김발 장치 및 이를 포함하는 레이더 시스템
CN116299463B (zh) * 2023-05-16 2023-08-08 四川天府新区北理工创新装备研究院 一种基于通用计算设备后端的小型sar成像系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8274422B1 (en) * 2010-07-13 2012-09-25 The Boeing Company Interactive synthetic aperture radar processor and system and method for generating images
KR101601152B1 (ko) * 2015-11-24 2016-03-08 엘아이지넥스원 주식회사 레이더 영상 신호 처리 방법 및 그 시스템
KR101757885B1 (ko) * 2017-02-22 2017-07-13 엘아이지넥스원 주식회사 Ｓａｒ 영상 보정 장치 및 방법
JP6227169B1 (ja) * 2016-05-19 2017-11-08 三菱電機株式会社 並列処理装置及び並列処理方法
KR101839041B1 (ko) * 2017-10-18 2018-03-15 엘아이지넥스원 주식회사 연속 이동 효과 보정 기법을 이용하는 ｆｍｃｗ-ｓａｒ 시스템 및 이 시스템의 ｓａｒ 영상 복원 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE194733T1 (de) * 1996-04-03 2000-07-15 Johan Granholm Dualpolarisations-gruppenantenne mit sehr niedriger kreuzpolarisation und kleinen seitenkeulen
JP3837923B2 (ja) * 1998-07-10 2006-10-25 トヨタ自動車株式会社 平面型偏波共用アンテナ装置
US8509335B2 (en) * 2009-03-10 2013-08-13 Kabushiki Kaisha Toshiba Array antenna apparatus and micro wave transceiver module
KR101135070B1 (ko) * 2009-11-30 2012-04-13 서울시립대학교 산학협력단 합성 개구 레이더 영상을 이용한 물체의 속도측정 방법 및 그 장치
KR20120009186A (ko) * 2010-07-23 2012-02-01 (주) 충청에스엔지 Ｓａｒ데이터를 이용하여 수치고도모형을 제작하기 위한 방법
KR101209567B1 (ko) * 2011-03-02 2012-12-07 국방과학연구소 기생 패치를 이용하여 방사 패턴 및 이득이 개선된 초광대역 안테나
KR101074205B1 (ko) * 2011-07-07 2011-10-14 (주)미래시스템 3차원 레이더 시험을 위한 표적신호를 발생시키는 칩
KR101165218B1 (ko) * 2012-03-16 2012-07-16 국방과학연구소 탑재체용 안정화 시스템 및 이를 구비하는 운반체
KR101320508B1 (ko) * 2012-09-13 2013-10-23 국방과학연구소 항공기에 탑재된 영상 레이더의 성능 시험 장치
KR101427009B1 (ko) * 2012-12-17 2014-08-05 한국항공우주연구원 합성 개구면 레이더 능동 트랜스폰더를 이용한 재밍 신호 발생 장치 및 방법
KR101490181B1 (ko) * 2013-11-11 2015-02-05 국방과학연구소 Fdoa를 위한 도플러 주파수 차이 추정장치 및 방법
KR101605450B1 (ko) * 2014-08-04 2016-03-22 서울시립대학교산학협력단 다중시기 mai 간섭도의 적층 방법 및 그 장치
KR20160050121A (ko) * 2014-10-28 2016-05-11 한남대학교 산학협력단 다중 샘플링 클럭 주파수를 이용한 레이더 표적 시뮬레이터
KR101627612B1 (ko) * 2014-11-05 2016-06-07 국방과학연구소 비행 궤적 및 형태학적 처리를 이용한 효과적인 다중 표적 역합성 개구면 레이더 영상 형성 방법 및 장치
KR101683242B1 (ko) * 2015-10-15 2016-12-07 주식회사 카이즈 차량 상태 진단 및 운전자 정보 제공 시스템
KR101713767B1 (ko) * 2015-12-09 2017-03-08 국방과학연구소 바이스태틱 레이더를 위한 선택적 동기처리 방법 및 장치
KR101754235B1 (ko) * 2016-10-27 2017-07-05 엘아이지넥스원 주식회사 밀리미터파 탐색기의 자체 검사 방법
KR101839046B1 (ko) 2017-10-11 2018-03-15 엘아이지넥스원 주식회사 소형화가 가능한 sar 영상 획득 장치 및 방법
IL257010B (en) * 2018-01-18 2021-10-31 Israel Aerospace Ind Ltd Camera-based automatic aircraft control for radar operation
KR101920379B1 (ko) * 2018-08-01 2018-11-20 엘아이지넥스원 주식회사 위성 항법 시스템 기반의 바이스태틱 합성 개구 레이더 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8274422B1 (en) * 2010-07-13 2012-09-25 The Boeing Company Interactive synthetic aperture radar processor and system and method for generating images
KR101601152B1 (ko) * 2015-11-24 2016-03-08 엘아이지넥스원 주식회사 레이더 영상 신호 처리 방법 및 그 시스템
JP6227169B1 (ja) * 2016-05-19 2017-11-08 三菱電機株式会社 並列処理装置及び並列処理方法
WO2017199401A1 (ja) * 2016-05-19 2017-11-23 三菱電機株式会社 並列処理装置及び並列処理方法
KR101757885B1 (ko) * 2017-02-22 2017-07-13 엘아이지넥스원 주식회사 Ｓａｒ 영상 보정 장치 및 방법
KR101839041B1 (ko) * 2017-10-18 2018-03-15 엘아이지넥스원 주식회사 연속 이동 효과 보정 기법을 이용하는 ｆｍｃｗ-ｓａｒ 시스템 및 이 시스템의 ｓａｒ 영상 복원 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Doerry, Armin W 외 2명. Basics of backprojection algorithm for processing synthetic aperture radar images. Sandia National Laboratories Report. 2016.* *
Fasih, Ahmed 외 1명. GPU-accelerated synthetic aperture radar backprojection in CUDA. 2010 IEEE Radar Conference. IEEE. 2010.* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113189588A (zh) * 2021-04-30 2021-07-30 电子科技大学 集群无人机合成孔径雷达高帧率成像方法
KR20230073609A (ko) * 2021-11-19 2023-05-26 알에프코어 주식회사 무인 항공기를 위한 합성 개구 레이더의 위상 그레디언트 자동 초점의 연산 가속화 방법

Also Published As

Publication number Publication date
KR102296961B1 (ko) 2021-09-01
KR102196733B1 (ko) 2020-12-30
KR102196734B1 (ko) 2020-12-30
KR102156253B1 (ko) 2020-09-15
KR102202626B1 (ko) 2021-01-13
KR102171196B1 (ko) 2020-10-28
KR102211580B1 (ko) 2021-02-03
KR20210039277A (ko) 2021-04-09
KR102174058B1 (ko) 2020-11-04
KR102256612B1 (ko) 2021-05-26

Similar Documents

Publication Publication Date Title
KR102296961B1 (ko) Gpu 기반의 소형 무인 비행체용 sar 영상 복원 장치 및 sar 영상 복원 시스템
Edrich Ultra-lightweight synthetic aperture radar based on a 35 GHz FMCW sensor concept and online raw data transmission
Weiss et al. Initial ARTINO radar experiments
CN109188434B (zh) 基于调频连续波体制的sar系统及其处理方法
Du et al. A three-dimensional range migration algorithm for downward-looking 3D-SAR with single-transmitting and multiple-receiving linear array antennas
Caris et al. mm-Wave SAR demonstrator as a test bed for advanced solutions in microwave imaging
CN104267401B (zh) 线性阵列天线同时mimo-sar成像系统和方法
CN102221697A (zh) 一种机载多天线sar层析三维成像系统及其成像方法
Fasano et al. Proof of concept of micro-UAV-based radar imaging
Gogineni et al. A CubeSat train for radar sounding and imaging of Antarctic ice sheet
Edrich Design overview and flight test results of the miniaturised SAR sensor MISAR
WO2018217902A1 (en) Synthetic aperture radar imaging apparatus and methods for moving targets
Chua et al. The maiden flight of Hinotori-C: The first C band full polarimetric circularly polarized synthetic aperture radar in the world
L’Abbate et al. Compact SAR and micro satellite solutions for Earth observation
Gromek et al. C-band SAR radar trials using UAV platform: Experimental results of SAR system integration on a UAV carrier
KR20230108236A (ko) 드론 기반 주파수 변조 연속파형 합성 개구면 레이다 영상 장치 및 그 방법
RU2429990C1 (ru) Многофункциональная радиолокационная станция высокого разрешения с активной фазированной решеткой для пилотируемых и беспилотных летательных аппаратов
Jain et al. Dynamic imaging and RCS measurements of aircraft
Davies et al. NovaSAR–bringing radar capability to the disaster monitoring constellation
CN104237888A (zh) 弧形阵列mimo-sar的成像方法
Kim et al. Design and implemetation of Compact 77 GHz Synthetic aperture radar for drone based applications
Wu et al. Geosynchronous spaceborne-airborne bistatic SAR: Potentials and prospects
CN112505694A (zh) 一种在轨sar卫星对空间目标成像方法
Novikova et al. Construction Principles and Main Parameters Calculation of Radar of Unmanned Aerial Vehicles for Use in the Arctic Zone
KR20240133524A (ko) 무인 비행체 탑재형 합성 개구 레이더용 신호 송수신 방법 및 그를 위한 장치

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant