KR102296961B1 - GPU based SAR Image Restoration Device and Image Radar System for Small Unmanned Mobile - Google Patents
GPU based SAR Image Restoration Device and Image Radar System for Small Unmanned Mobile Download PDFInfo
- Publication number
- KR102296961B1 KR102296961B1 KR1020190163417A KR20190163417A KR102296961B1 KR 102296961 B1 KR102296961 B1 KR 102296961B1 KR 1020190163417 A KR1020190163417 A KR 1020190163417A KR 20190163417 A KR20190163417 A KR 20190163417A KR 102296961 B1 KR102296961 B1 KR 102296961B1
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- image restoration
- processing unit
- sar
- gpu
- Prior art date
Links
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 107
- 238000000034 method Methods 0.000 claims description 27
- 230000005540 biological transmission Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000010297 mechanical methods and process Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 14
- 230000006835 compression Effects 0.000 description 13
- 238000007906 compression Methods 0.000 description 13
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 238000011056 performance test Methods 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 230000035559 beat frequency Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 229920006132 styrene block copolymer Polymers 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
- G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
- G01S13/9021—SAR image post-processing techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
- G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
- F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon Stands for scientific apparatus such as gravitational force meters
- F16M11/02—Heads
- F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
- F16M11/06—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
- F16M11/12—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting in more than one direction
- F16M11/121—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting in more than one direction constituted of several dependent joints
- F16M11/123—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting in more than one direction constituted of several dependent joints the axis of rotation intersecting in a single point, e.g. by using gimbals
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
- F16M13/00—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles
- F16M13/02—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles for supporting on, or attaching to, an object, e.g. tree, gate, window-frame, cycle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/28—Details of pulse systems
- G01S7/285—Receivers
- G01S7/288—Coherent receivers
- G01S7/2883—Coherent receivers using FFT processing
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01Q—ANTENNAS, i.e. RADIO AERIALS
- H01Q1/00—Details of, or arrangements associated with, antennas
- H01Q1/12—Supports; Mounting means
-
- B64C2201/12—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
Abstract
본 발명에 따르면, 무인 비행체의 비행 중 연속적으로 표적으로부터 수신되는 레이더 반사파에 따른 원시 데이터를 입력 받고, 상기 원시 데이터를 이용하여 SAR 영상을 생성하되, GPU 기반의 역투영 알고리즘(BPA)을 이용하여 소형 무인 비행체용 SAR의 실시간 영상 복원이 가능한 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치 및 SAR 영상 복원 시스템이 개시된다.According to the present invention, the raw data according to the radar reflected wave continuously received from the target during the flight of the unmanned aerial vehicle is input, and the SAR image is generated using the raw data, but using a GPU-based reverse projection algorithm (BPA). A GPU-based SAR image restoration device and SAR image restoration system for small unmanned aerial vehicles capable of real-time image restoration of SAR for small unmanned aerial vehicles are disclosed.
Description
본 발명은 영상 복원 장치 및 영상 복원 시스템에 관한 것으로, 특히 소형 무인 이동체용 SAR 영상 복원 장치 및 SAR 영상 복원 시스템에 관한 것이다.The present invention relates to an image restoration apparatus and an image restoration system, and more particularly, to an SAR image restoration apparatus and an SAR image restoration system for a small unmanned moving object.
합성 개구 레이더(Synthetic Aperture Radar, 이하 SAR)는 일반적으로 비행기 또는 인공 위성 등에 탑재되어 이동하는 동안, 여러 차례 지표로 빔을 방사하고 반사되어 수신된 신호에서 감지되는 도플러 주파수의 상대적 변화 특성을 이용하여 지표의 고분해능 정밀 이미지를 획득할 수 있는 레이더를 의미한다.Synthetic Aperture Radar (SAR) is generally mounted on an airplane or artificial satellite, and while moving, radiates a beam to the surface several times and reflects the relative change in Doppler frequency detected in the received signal. It means a radar that can acquire high-resolution and precise images of the surface.
SAR은 극초단파 영역의 초고주파를 활용하기 때문에 아지랑이, 가랑비, 눈, 구름, 연기 등의 기후 환경에 영향을 받지 않고, 육상 지형이나 바다를 관측할 수 있으며, 스스로 관측에 사용하는 에너지원을 전파하는 능동시스템이기 때문에 밤과 낮에 상관없이 이미지를 얻을 수 있다.Because SAR utilizes very high frequencies in the microwave region, it is not affected by climatic conditions such as haze, drizzle, snow, clouds, and smoke, and can observe land topography or the sea. Because it is a system, images can be obtained regardless of day or night.
현재 SAR은 비행기 또는 인공 위성 등에 탑재되어 이용되므로, 무인 이동체에 탑재되어 이용할 수 있도록 초경량 소형으로 제작할 수 있는 영상 레이더 복원 기술이 필요하다.Currently, since SAR is used on an airplane or artificial satellite, it is necessary to have an image radar restoration technology that can be manufactured in an ultra-light and small size so that it can be mounted on an unmanned moving object.
본 발명은 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치 및 SAR 영상 복원 시스템에 관한 것으로, 무인 비행체의 비행 중 연속적으로 표적으로부터 수신되는 레이더 반사파에 따른 원시 데이터를 입력 받고, 상기 원시 데이터를 이용하여 SAR 영상을 생성하되, GPU 기반의 역투영 알고리즘(BPA)을 이용하여 소형 무인 비행체용 SAR의 실시간 영상 복원이 가능하도록 하는데 그 목적이 있다.The present invention relates to a GPU-based SAR image restoration apparatus and SAR image restoration system for a small unmanned aerial vehicle, which receives raw data according to a radar reflected wave continuously received from a target during flight of the unmanned aerial vehicle, and uses the raw data to The purpose is to generate SAR images, but to enable real-time image restoration of SAR for small unmanned aerial vehicles using GPU-based back-projection algorithm (BPA).
또한, 무인 이동체에 탑재되어 이용할 수 있도록 초경량 소형으로 제작하는데 그 목적이 있다.In addition, the purpose is to produce an ultra-light and compact so that it can be mounted on an unmanned moving object.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.Other objects not specified in the present invention may be additionally considered within the scope that can be easily inferred from the following detailed description and effects thereof.
상기 과제를 해결하기 위해, 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 이동체용 SAR 영상 복원 시스템은 무인 이동체에 탑재되도록 마련되며, 레이더 펄스를 방사하여 표적으로부터의 레이더 반사파를 수신하는 안테나 장치, 상기 안테나 장치로 송신 신호를 전송하고, 상기 안테나 장치로부터 수신 신호를 수신 받는 송수신 장치 및 상기 무인 비행체의 비행 중 연속적으로 표적으로부터 수신되는 레이더 반사파에 따른 원시 데이터를 입력 받고, 상기 원시 데이터를 이용하여 SAR 영상을 생성하는 SAR 영상 복원 장치를 포함한다.In order to solve the above problems, a GPU-based SAR image restoration system for a small unmanned mobile body according to an embodiment of the present invention is provided to be mounted on an unmanned mobile body, and an antenna device for emitting a radar pulse to receive a radar reflected wave from a target , transmits a transmission signal to the antenna device and receives raw data according to a radar reflected wave continuously received from a target during flight of a transceiver and a transceiver that receives a received signal from the antenna device, and uses the raw data and a SAR image restoration apparatus for generating an SAR image.
여기서, 상기 SAR 영상 복원 장치는, 역투영(Back projection) 알고리즘의 실시간 신호처리를 위해 Graphics Processing Unit(GPU) 기반 신호처리 커널을 이용한다.Here, the SAR image restoration apparatus uses a graphics processing unit (GPU)-based signal processing kernel for real-time signal processing of a back projection algorithm.
여기서, 상기 SAR 영상 복원 장치는, 원시 데이터 처리부 및 영상 복원 처리부를 포함하되, 상기 원시 데이터 처리부는 무인 비행체의 비행 중 연속적으로 별도의 송수신부에서 송신한 레이더 펄스가 표적으로부터 수신되는 레이더 반사파에 따른 원시 데이터를 입력 받고, 상기 원시 데이터의 신호 처리를 위한 데이터 할당 및 초기화를 수행하고, 상기 원시 데이터를 영상 복원 처리부에서 처리 가능한 변환 데이터로 변환시킨다.Here, the SAR image restoration apparatus includes a raw data processing unit and an image restoration processing unit, wherein the raw data processing unit continuously receives radar pulses transmitted from a separate transceiver during flight of the unmanned aerial vehicle according to the radar reflected wave received from the target. It receives raw data, allocates and initializes data for signal processing of the raw data, and converts the raw data into converted data that can be processed by the image restoration processing unit.
여기서, 상기 영상 복원 처리부는, 상기 변환 데이터에 대한 거리 보상된 신호를 생성하고, 상기 거리 보상된 신호로부터 SAR 영상을 생성한다.Here, the image restoration processing unit generates a distance-compensated signal with respect to the converted data, and generates an SAR image from the distance-compensated signal.
여기서, 상기 영상 복원 처리부는 GPU이고, 상기 GPU는 상기 변환 데이터로부터 FFT변환하고, 상기 FFT변환된 신호를 레인지 압축된 신호로 압축하며, 상기 레인지 압축된 신호에 대하여 데이터 패딩 처리를 하고, 상기 데이터 패딩된 신호를 iFFT 변환하고, 상기 iFFT 변환된 신호를 거리 보상한다.Here, the image restoration processing unit is a GPU, and the GPU performs FFT transformation from the transformed data, compresses the FFT transformed signal into a range-compressed signal, and performs data padding on the range-compressed signal, and the data The padded signal is iFFT-transformed, and the iFFT-transformed signal is distance-compensated.
여기서, 상기 영상 복원 처리부는 영상 평면에서의 표적 좌표에 해당하는 픽셀 각각에 대하여 상기 데이터 패딩 처리와 상기 데이터 패딩된 신호를 iFFT 변환하고, 상기 iFFT 변환된 신호를 거리 보상하는 과정을 반복하여 SAR 영상을 생성한다.Here, the image reconstruction processing unit repeats the data padding process for each pixel corresponding to the target coordinates in the image plane, iFFT transforming the data padded signal, and distance-compensating the iFFT-transformed signal to obtain a SAR image. create
여기서, 상기 영상 복원 처리부는 상기 레이더 펄스 방사 시점에서 상기 연속적으로 송신되는 레이더 펄스의 m번째 신호(여기서, m은 정수이다.)와 영상 평면에서의 표적 좌표에 해당하는 픽셀이 이루는 각도를 이용하여 상기 iFFT 변환된 신호를 거리 보상한다.Here, the image restoration processing unit uses the angle formed by the m-th signal of the continuously transmitted radar pulse (here, m is an integer) and the pixel corresponding to the target coordinate in the image plane at the time of the radar pulse emission. The iFFT-transformed signal is distance-compensated.
본 발명의 또 다른 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치는 원시 데이터 처리부 및 영상 복원 처리부를 포함하는 무인 비행체용 SAR 영상 복원 장치로써, 상기 원시 데이터 처리부는 무인 비행체의 비행 중 연속적으로 별도의 송수신부에서 송신한 레이더 펄스가 표적으로부터 수신되는 레이더 반사파에 따른 원시 데이터를 입력 받고, 상기 원시 데이터의 신호 처리를 위한 데이터 할당 및 초기화를 수행하고, 상기 원시 데이터를 영상 복원 처리부에서 처리 가능한 변환 데이터로 변환시키며, 상기 영상 복원 처리부는 상기 변환 데이터에 대한 거리 보상된 신호를 생성하고, 상기 거리 보상된 신호로부터 SAR 영상을 생성한다.A GPU-based SAR image restoration apparatus for a small unmanned aerial vehicle according to another embodiment of the present invention is a SAR image restoration apparatus for an unmanned aerial vehicle including a raw data processing unit and an image restoration processing unit, wherein the raw data processing unit is in flight of the unmanned aerial vehicle A radar pulse continuously transmitted from a separate transceiver receives raw data according to a radar reflected wave received from a target, allocates and initializes data for signal processing of the raw data, and stores the raw data in an image restoration processing unit converted data that can be processed, and the image restoration processing unit generates a distance-compensated signal with respect to the converted data, and generates an SAR image from the distance-compensated signal.
여기서, 상기 SAR 영상 복원 장치는, 역투영(Back projection) 알고리즘의 실시간 신호처리를 위해 Graphics Processing Unit(GPU) 기반 신호처리 커널을 이용한다.Here, the SAR image restoration apparatus uses a graphics processing unit (GPU)-based signal processing kernel for real-time signal processing of a back projection algorithm.
여기서, 상기 영상 복원 처리부는 GPU이고, 상기 GPU는 상기 변환 데이터로부터 FFT변환하고, 상기 FFT변환된 신호를 레인지 압축된 신호로 압축하며, 상기 레인지 압축된 신호에 대하여 데이터 패딩 처리를 하고, 상기 데이터 패딩된 신호를 iFFT 변환하고, 상기 iFFT 변환된 신호를 거리 보상한다.Here, the image restoration processing unit is a GPU, and the GPU performs FFT transformation from the transformed data, compresses the FFT transformed signal into a range-compressed signal, and performs data padding on the range-compressed signal, and the data The padded signal is iFFT-transformed, and the iFFT-transformed signal is distance-compensated.
여기서, 상기 영상 복원 처리부는 영상 평면에서의 표적 좌표에 해당하는 픽셀 각각에 대하여 상기 데이터 패딩 처리와 상기 데이터 패딩된 신호를 iFFT 변환하고, 상기 iFFT 변환된 신호를 거리 보상하는 과정을 반복하여 SAR 영상을 생성한다.Here, the image reconstruction processing unit repeats the data padding process for each pixel corresponding to the target coordinates in the image plane, iFFT transforming the data padded signal, and distance-compensating the iFFT-transformed signal to obtain a SAR image. create
여기서, 상기 영상 복원 처리부는 상기 레이더 펄스 방사 시점에서 상기 연속적으로 송신되는 레이더 펄스의 m번째 신호(여기서, m은 정수이다.)와 영상 평면에서의 표적 좌표에 해당하는 픽셀이 이루는 각도를 이용하여 상기 iFFT 변환된 신호를 거리 보상한다.Here, the image restoration processing unit uses the angle formed by the m-th signal of the continuously transmitted radar pulse (here, m is an integer) and the pixel corresponding to the target coordinate in the image plane at the time of the radar pulse emission. The iFFT-transformed signal is distance-compensated.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 무인 비행체의 비행 중 연속적으로 표적으로부터 수신되는 레이더 반사파에 따른 원시 데이터를 입력 받고, 상기 원시 데이터를 이용하여 SAR 영상을 생성하되, GPU 기반의 역투영 알고리즘(BPA)을 이용하여 소형 무인 비행체용 SAR의 실시간 영상 복원이 가능하도록 할 수 있다.As described above, according to the embodiments of the present invention, raw data according to a radar reflected wave continuously received from a target is received during flight of an unmanned aerial vehicle, and an SAR image is generated using the raw data, but the GPU-based It is possible to enable real-time image restoration of SAR for small unmanned aerial vehicles by using the back projection algorithm (BPA).
또한, 무인 이동체에 탑재되어 이용할 수 있도록 초경량 소형으로 제작할 수 있다.In addition, it can be manufactured in an ultra-light and small size so that it can be used by being mounted on an unmanned moving body.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.Even if it is an effect not explicitly mentioned herein, the effects described in the following specification expected by the technical features of the present invention and their potential effects are treated as if they were described in the specification of the present invention.
도 1은 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치를 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치의 프로세서를 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 시스템을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치의 알고리즘을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 방법을 나타낸 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치의 영상 획득 기하 모델을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치의 연산 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치의 데이터 변화를 나타낸 것이다.
도 9는 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치 및 SAR 영상 복원 시스템의 성능 시험 결과를 설명하기 위한 도면이다.1 is a block diagram illustrating a GPU-based SAR image restoration apparatus for a small unmanned aerial vehicle according to an embodiment of the present invention.
2 is a block diagram illustrating a processor of a GPU-based SAR image restoration apparatus for a small unmanned aerial vehicle according to an embodiment of the present invention.
3 is a diagram illustrating a GPU-based SAR image restoration system for a small unmanned aerial vehicle according to an embodiment of the present invention.
4 is a diagram for explaining an algorithm of a GPU-based SAR image restoration apparatus for a small unmanned aerial vehicle according to an embodiment of the present invention.
5 is a flowchart illustrating a method for restoring a SAR image for a small unmanned aerial vehicle based on a GPU according to an embodiment of the present invention.
6 is a diagram for explaining an image acquisition geometric model of a GPU-based SAR image restoration apparatus for a small unmanned aerial vehicle according to an embodiment of the present invention.
7 is a diagram for explaining a calculation method of a GPU-based SAR image restoration apparatus for a small unmanned aerial vehicle according to an embodiment of the present invention.
8 is a diagram illustrating data changes of a GPU-based SAR image restoration apparatus for a small unmanned aerial vehicle according to an embodiment of the present invention.
9 is a view for explaining the performance test results of the GPU-based SAR image restoration apparatus for a small unmanned aerial vehicle and the SAR image restoration system according to an embodiment of the present invention.
이하, 본 발명에 관련된 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치 및 SAR 영상 복원 시스템에 대하여 도면을 참조하여 보다 상세하게 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.Hereinafter, a GPU-based SAR image restoration apparatus for a small unmanned aerial vehicle and a SAR image restoration system related to the present invention will be described in more detail with reference to the drawings. However, the present invention may be embodied in various different forms, and is not limited to the described embodiments. In addition, in order to clearly describe the present invention, parts irrelevant to the description are omitted, and the same reference numerals in the drawings indicate the same members.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. When a component is referred to as being “connected” or “connected” to another component, it is understood that the other component may be directly connected or connected to the other component, but other components may exist in between. it should be
이하의 설명에서 사용되는 구성요소에 대한 접미사 “모듈” 및 “부”는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.The suffixes “module” and “part” for components used in the following description are given or mixed in consideration of only the ease of writing the specification, and do not have a meaning or role distinct from each other by themselves.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms such as first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.
본 발명은 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치 및 SAR 영상 복원 시스템에 관한 것이다.The present invention relates to a GPU-based SAR image restoration apparatus for a small unmanned aerial vehicle and a SAR image restoration system.
도 1은 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치를 나타낸 블록도이다.1 is a block diagram illustrating a GPU-based SAR image restoration apparatus for a small unmanned aerial vehicle according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치(1)는 CPU(11), GPU(12), 메모리(20), 전원 공급부(30)를 포함한다.Referring to FIG. 1 , a GPU-based SAR
본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치(1)는 GPU 기반의 역투영 알고리즘(BPA)을 이용하여 소형 무인 비행체용 SAR의 실시간 영상 복원이 가능한 장치이다.The GPU-based SAR
역투영 알고리즘(Back-projection algorithm, BPA)은 비록 처리시간이 길지만 가장 우수한 성능의 항공용 합성 개구 레이더(Synthetic Aperture Radar, 이하 SAR)의 영상복원 방법이다. 본 발명의 일 실시예에는 소형 드론용 SAR의 실시간 영상복원을 위하여 BPA의 실시간 신호처리 방법을 이용한다.Although the back-projection algorithm (BPA) has a long processing time, it is an image restoration method of the synthetic aperture radar for aviation (SAR) with the best performance. In one embodiment of the present invention, a real-time signal processing method of BPA is used for real-time image restoration of SAR for small drones.
Back-projection 알고리즘은 항공기 요동보상기법과 SAR 신호처리 연구를 위한 기준영상과 비교자료 생성 등을 위해서 그 장점을 활용할 수 있으며, 항공기 기반 FMCW SAR 시스템의 영상복원을 위해 적용된다.The back-projection algorithm can utilize its advantages to generate reference images and comparative data for aircraft oscillation compensation technique and SAR signal processing research, and is applied for image restoration of the aircraft-based FMCW SAR system.
구체적으로, 영상 복원 장치는 Graphics Processing Unit(GPU) 기반 BPA 신호처리 커널을 이용하여 BPA의 실시간 영상복원을 수행하며, GPU 기반 BPA를 이용하여 소형 드론 SAR의 실시간 영상 복원이 가능하도록 한다.Specifically, the image restoration apparatus performs real-time image restoration of BPA using a graphics processing unit (GPU)-based BPA signal processing kernel, and enables real-time image restoration of a small drone SAR using GPU-based BPA.
메모리(20)는 프로세서의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 여기서, 프로세서는 CPU(11), GPU(12)로 별도로 구현되는 것이 바람직하다.The
메모리(20)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.Programs stored in the
종래의 경우, 기존 실시간 신호처리를 위해서는 다수의 SBC를 이용한 신호처리기를 이용하여 신호처리 성능을 확보 하였으나, 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치(1)에서는 고성능 GPU 그래픽카드 1기(12) 및 CPU chip 1기(11)만으로 고성능 신호처리 구현이 가능한 소형 모듈화된 SAR 전용 신용처리 장치의 프로세서를 제안한다.In the conventional case, signal processing performance was secured by using a signal processor using a plurality of SBCs for conventional real-time signal processing. We propose a processor of a small modularized SAR dedicated credit processing device capable of realizing high-performance signal processing with only one high-performance GPU graphics card (12) and one CPU chip (11).
또한, 프로세서와 메모리(20)에 별도로 전원 공급이 가능한 전원 공급부(30)를 포함할 수 있다.In addition, a
도 2는 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치의 프로세서를 나타낸 블록도이다.2 is a block diagram illustrating a processor of a GPU-based SAR image restoration apparatus for a small unmanned aerial vehicle according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일 실시예에 따른 초경량 소형의 무인 이동체용 영상 레이더 장치의 프로세서(10)는 원시 데이터 처리부(100), 영상 복원 처리부(200)를 포함한다.Referring to FIG. 2 , the
원시 데이터 처리부(100)는 무인 비행체의 비행 중 연속적으로 별도의 송수신부에서 송신한 레이더 펄스가 표적으로부터 수신되는 레이더 반사파에 따른 원시 데이터를 입력 받고, 상기 원시 데이터의 신호 처리를 위한 데이터 할당 및 초기화를 수행하고, 상기 원시 데이터를 영상 복원 처리부에서 처리 가능한 변환 데이터로 변환시키며,The raw
영상 복원 처리부(200)는 상기 변환 데이터에 대한 거리 보상된 신호를 생성하고, 상기 거리 보상된 신호로부터 SAR 영상을 생성한다.The image
구체적으로, 원시 데이터 처리부(100)는 무인 비행체의 비행 중 연속적으로 별도의 송수신부에서 송신한 레이더 펄스가 표적으로부터 반사되어 수신된 레이더 반사파에 의한 합성 개구면 레이더(SAR)의 원시 데이터를 획득한다.Specifically, the raw
영상 복원 처리부(200)는 상기 레이더 펄스 방사 시점의 위치와 영상 평면에서의 표적 좌표 사이의 거리를 고려하여 실시간으로 상기 원시 데이터를 SAR 영상으로 복원한다.The image
영상 복원 처리부(200)는 GPU이고, 상기 GPU는 상기 변환 데이터로부터 FFT변환하고, 상기 FFT변환된 신호를 레인지 압축된 신호로 압축하며, 상기 레인지 압축된 신호에 대하여 데이터 패딩 처리를 하고, 상기 데이터 패딩된 신호를 iFFT 변환하고, 상기 iFFT 변환된 신호를 거리 보상한다.The image
이후, 영상 평면에서의 표적 좌표에 해당하는 픽셀 각각에 대하여 상기 데이터 패딩 처리와 상기 데이터 패딩된 신호를 iFFT 변환하고, 상기 iFFT 변환된 신호를 거리 보상하는 과정을 반복하여 SAR 영상을 생성한다.Thereafter, for each pixel corresponding to the target coordinates in the image plane, the data padding process, iFFT-transformation of the data-padded signal, and distance compensation of the iFFT-transformed signal are repeated to generate an SAR image.
여기서, 상기 영상 복원 처리부는 상기 레이더 펄스 방사 시점에서 상기 연속적으로 송신되는 레이더 펄스의 m번째 신호(여기서, m은 정수이다.)와 영상 평면에서의 표적 좌표에 해당하는 픽셀이 이루는 각도를 이용하여 상기 iFFT 변환된 신호를 거리 보상한다.Here, the image restoration processing unit uses the angle formed by the m-th signal of the continuously transmitted radar pulse (here, m is an integer) and the pixel corresponding to the target coordinate in the image plane at the time of the radar pulse emission. The iFFT-transformed signal is distance-compensated.
구체적으로, 영상 복원 처리부(200)는 상기 레이더 펄스 방사 시점의 위치와 영상 형성면에서의 표적 좌표 사이의 거리를 이용하여 상기 표적의 거리 압축 신호를 각각 요동 보상하면서, 방위 압축을 수행한다.Specifically, the image
영상 복원 처리부(200)는 원시 데이터를 FFT(Fast Fourier Transform) 기반의 거리 압축을 수행하고, 거리 방향으로 역푸리에 변환을 적용하여 거리 압축 신호를 생성한다. 이후, 상기 거리 압축 신호를 상기 레이더 펄스 방사 시점의 위치와 영상 평면에서의 표적 좌표 사이의 거리를 고려하여 방위 압축 신호를 생성한다.The image
비행 중인 상기 무인 비행체의 각 펄스 방사 위치에서 획득한 수신 신호 벡터에서 상기 거리 압축 신호를 이동 시킨 후, 위상 보상을 수행하여 거리 방향 벡터로부터 획득한 펄스에 대해서 코히런트 합을 구하여 방위 압축 신호를 생성한다.After moving the distance compression signal from the received signal vector acquired at each pulse emission position of the unmanned aerial vehicle in flight, phase compensation is performed to obtain the coherent sum of the pulses acquired from the distance direction vector to generate an azimuth compression signal do.
본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치에 있어서, 원시 데이터 처리부(100)는, 적어도 하나의 중앙 처리 장치(CPU)로 구현되며, 상기 중앙 처리 장치(CPU)는 제1 메모리 공간을 포함하고, 영상 복원 처리부(200)는, 적어도 하나의 그래픽 처리장치 (GPU)로 구현되며, 상기 그래픽 처리장치 (GPU)는 제2 메모리 공간을 포함할 수 있다.In the GPU-based SAR image restoration apparatus for a small unmanned aerial vehicle according to an embodiment of the present invention, the raw
영상 복원 처리부(200)는 다수개의 표적들에 대하여 상기 거리 압축 신호 생성과 상기 방위 압축 수행을 반복하여 SAR 영상을 생성한다.The image
SAR는 기상상태에 관계없이 주·야간으로 고해상도의 레이더 영상을 획득할 수 있는 시스템이다. 특히, 항공기 탑재용 SAR는 적재적소에 원하는 레이더 영상을 획득할 수 있기 때문에 감시 및 정찰분야에 활용도가 매우 높다.SAR is a system that can acquire high-resolution radar images day and night regardless of weather conditions. In particular, the SAR mounted on an aircraft is very useful in surveillance and reconnaissance because it can acquire a desired radar image in the right place.
종래의 경우 주로 군사목적의 중·대형 항공기 기반 SAR가 운용되고 있으나, 본 발명에서는 SAR이 소형 드론에 탑재 가능하도록, 감시 및 정찰분야에 활용하기 위한 드론용 SAR의 실시간 또는 근실시간 영상복원이 가능하도록 한다.In the conventional case, medium and large aircraft-based SARs for military purposes are mainly operated, but in the present invention, real-time or near-real-time image restoration of SAR for drones for use in surveillance and reconnaissance fields is possible so that the SAR can be mounted on small drones. let it do
위성과는 달리, 항공기는 요동이 심하기 때문에 요동 정도에 따라 항공기 기반 SAR의 영상복원 성능이 달라진다. 이를 극복하기 위하여, 다양한 영상복원 및 요동보상 기법이 개발되고 있다. 예를 들면, Range Doppler Algorithm (RDA), Chirp Scaling Algorithm (CSA), Range Migration Algorithm (RMA), 그리고 Phase Gradient Autofocus (PGA) 등이 있다. Unlike satellites, aircraft are highly oscillating, so the image restoration performance of aircraft-based SAR varies depending on the degree of oscillation. In order to overcome this, various image restoration and vibration compensation techniques have been developed. Examples include Range Doppler Algorithm (RDA), Chirp Scaling Algorithm (CSA), Range Migration Algorithm (RMA), and Phase Gradient Autofocus (PGA).
본 발명에서는, 항공기 기반 SAR의 실시간 영상복원을 위해 영상복원 및 요동 보상 기법, 신호처리용 하드웨어 구성 등, 신호처리기의 최적화 설계를 구현하며, 드론의 탑재중량 제약을 만족하도록 설계하여 소형 드론용 SAR의 실시간 영상복원을 위한 신호처리기를 구현한다.In the present invention, for real-time image restoration of aircraft-based SAR, the optimization design of signal processor such as image restoration and shaking compensation technique, signal processing hardware configuration, etc. is implemented, and the SAR for small drone is designed to satisfy the drone payload limit. Implement a signal processor for real-time image restoration of
도 3은 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 시스템을 나타낸 도면이다.3 is a diagram illustrating a GPU-based SAR image restoration system for a small unmanned aerial vehicle according to an embodiment of the present invention.
도 3을 참조하면, 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 시스템(2)은 SAR 영상 복원 장치(1), 안테나 장치(40), 김발 장치(50), 항법 제어 장치(60), 송수신 장치(400)를 포함하며, 무인 이동체(3)에 장착 가능하도록 설계된다.Referring to FIG. 3 , the GPU-based SAR
여기서, SAR 영상 복원 장치(1)는 송수신 장치(400)와 연결되는 것이 바람직하며, 이에 한정되는 것은 아니다.Here, the SAR
합성 개구 레이더(Synthetic Aperture Radar, 이하 SAR)는 일반적으로 비행기 또는 인공 위성 등에 탑재되어 이동하는 동안, 여러 차례 지표로 빔을 방사하고 반사되어 수신된 신호에서 감지되는 도플러 주파수의 상대적 변화 특성을 이용하여 지표의 고분해능 정밀 이미지를 획득할 수 있는 레이더를 의미한다.Synthetic Aperture Radar (SAR) is generally mounted on an airplane or artificial satellite, and while moving, radiates a beam to the surface several times and reflects the relative change in Doppler frequency detected in the received signal. It means a radar that can acquire high-resolution and precise images of the surface.
SAR은 극초단파 영역의 초고주파를 활용하기 때문에 아지랑이, 가랑비, 눈, 구름, 연기 등의 기후 환경에 영향을 받지 않고, 육상 지형이나 바다를 관측할 수 있으며, 스스로 관측에 사용하는 에너지원을 전파하는 능동시스템이기 때문에 밤과 낮에 상관없이 이미지를 얻을 수 있다.Because SAR utilizes very high frequencies in the microwave region, it is not affected by climatic conditions such as haze, drizzle, snow, clouds, and smoke, and can observe land topography or the sea. Because it is a system, images can be obtained regardless of day or night.
무인 이동체는 조종사 없이 무선전파의 유도에 의해서 비행 및 조종이 가능한 비행기나 헬리콥터 모양의 이동체이다.An unmanned vehicle is an airplane or helicopter-shaped vehicle that can be flown and controlled by induction of radio waves without a pilot.
본 발명의 일 실시예에서는 카메라, 센서, 통신시스템 등이 탑재되어 구현되는 드론을 예로 들어 도시하였으나 이에 한정되는 것은 아니고, 무인으로 이동하는 이동체에 모두 탑재 가능하도록 설계되는 것이 가능하다.In an embodiment of the present invention, a drone implemented by mounting a camera, a sensor, a communication system, etc. is illustrated as an example, but the present invention is not limited thereto.
본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 시스템은 운용모드는 SAR 모드 (Stripmap)으로 구현되는 것이 바람직하다. 거리 방향 해상도는 0.3, 0.5, 1 [m], 거리 방향 영상폭은 0.3, 0.5, 1 [km] 이상인 것이 바람직하며, 최대 탐지 거리는 1km 이하로 설계되는 것이 바람직하다.It is preferable that the operation mode of the GPU-based SAR image restoration system for a small unmanned aerial vehicle according to an embodiment of the present invention is implemented as a SAR mode (Stripmap). The distance direction resolution is preferably 0.3, 0.5, 1 [m], the distance direction image width is preferably 0.3, 0.5, 1 [km] or more, and the maximum detection distance is preferably designed to be 1 km or less.
김발 장치(50)는 무인 이동체에 탑재되도록 마련된다. 김발 장치(50)는 방위각 조립체, 고각 조립체, 방진구 조립체를 포함한다.The
김발 장치(50)의 요구규격은 PDR 기준으로 중량은 0.5kg 이하, 구동 방식은 2축 구동, 방위각은 -130 내지 130도 이내, 고각은 0 내지 85도 이내인 것이 바람직하며, 자체 고장 진단을 수행할 수 있도록 모니터링부와 제어부를 포함할 수 있다.The required standard of the
안테나 장치(40)는 상기 김발 장치와 연결되며, 레이더 펄스를 방사하여 표적으로부터의 레이더 반사파를 수신한다.The
안테나 장치(40)는 급전부, 방사부 패치, 기생패치, 차폐벽을 포함한다.The
안테나 장치(40)의 요구규격은 SRR/SFR 기준으로 중량은 0.3Kg 이하, 운용 주파수는 X-band (X-band 는 6.2~10.9GHz의 주파수대를 말한다.), 편파는 HH, VV, HV, VH, 안테나 이득은 15 dBi 이상, 부엽 준위는 -20 dB 이하로 설계되는 것이 바람직하나, 이에 한정되는 것은 아니다.The required standard of the
항법 제어 장치(60)는 송수신 장치의 RF 송수신을 제어하며 타이밍 신호와 전원을 제어한다. 항법 제어 장치(300)는 제어모듈, GPS 모듈, IMU 모듈, 하우징을 포함한다.The
항법 제어 장치(300)의 요구규격은 CDR 기준으로 중량 500g 이하 (IMU 제외), 소모전력 입력전원 5V 이하 소모전류 5A 이하 소모전력 25W 이하인 것이 바람직하며 운용 상태를 제어할 수 있도록 운용 제어부를 포함할 수 있다.The required specification of the
송수신 장치(400)는 상기 안테나 장치로 송신 신호를 전송하고, 상기 안테나 장치로부터 수신 신호를 수신 받는다.The
송수신 장치(400)는 RF 송수신 장치이며 RF 모듈, 디지털 모듈, 전원 모듈, 하우징을 포함한다.The
송수신 장치(400)의 요구규격은 SRR/SFR 기준으로 중량 1.5kg 이하, 운용 주파수 X-band, 송신 출력 1W 이상, 펄스폭 45us 이상, 수신 IF 중심주파수 1.25 Mhz 이상, 수신 IF 대역폭 200 Mhz 이상, 수신 동적범위 60 dB 이상로 설계되는 것이 바람직하며, 이에 한정되는 것은 아니다.The requirements for the
이외에도, 신호 처리 장비, 외부 연동 모의 장비, 표적 모의 장비를 포함한다.In addition, it includes signal processing equipment, external linkage simulation equipment, and target simulation equipment.
신호 처리 장비는 워크 스테이션을 포함한다. 외부 연동 모의 장비는 제어 노트북을 포함한다. 외부 연동 모의 장비는 안테나 장치와 김발 장치로 임무정보, 장비 제어 신호, 항법 모의 데이터를 전송하고, 항법 정보와 장비 상태 정보를 전달 받는다.The signal processing equipment includes a workstation. The external linkage simulator includes a control notebook. The external interlocking simulator transmits mission information, equipment control signals, and navigation simulation data to the antenna device and gimbal device, and receives navigation information and equipment status information.
외부 연동 모의 장비는 임무장비와 비행체가 독립된 시스템으로 동작하며, 임무장비 내부에 안정화를 위한 각속도 센서를 탑재하며 각속도 센서값을 피드백하여 비행체가 기동시 카메라가 불안정한 기동을 하지 않도록 안정화 제어를 수행할 수 있다.The external interlocking simulator operates as an independent system between the mission equipment and the aircraft, and it is equipped with an angular velocity sensor for stabilization inside the mission equipment. can
표적 모의 장비는 제어 모듈, 표적 발생 모듈, IF 수신 모듈, 표적 IF 모듈, 송수신 RF 모듈, 국부 발생 모듈, 전원 모듈, 하우징을 포함한다.The target simulator includes a control module, a target generating module, an IF receiving module, a target IF module, a transmitting and receiving RF module, a local generating module, a power supply module, and a housing.
SAR 영상 복원 장치(1)는 상기 무인 비행체의 비행 중 연속적으로 상기 레이더 펄스가 표적으로부터 반사되어 수신된 레이더 반사파에 의한 합성 개구면 레이더(SAR)의 원시 데이터를 획득하는 원시 데이터 처리부와 상기 레이더 펄스 방사 시점의 위치와 영상 평면에서의 표적 좌표 사이의 거리를 고려하여 실시간으로 상기 원시 데이터를 SAR 영상으로 복원하는 영상 복원 처리부를 포함한다.The SAR
본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 시스템(2)은 탑재체에 해당하며, IMU를 제외한 무게는 2.0 내지 3.0 kg인 것이 바람직하다.The GPU-based SAR
종래의 레이더 탑재체 보다 무게를 가볍게 하여 무인 이동체의 탑재가 가능하도록 하며, 지상체와의 통신을 수행하도록 설계하여 무인 이동체에서 비행하는 경우에도 정보를 전달하고 임무를 수행하는 것이 가능하도록 한다.It makes it possible to mount an unmanned mobile body by making it lighter in weight than the conventional radar payload, and it is designed to communicate with the ground object so that it is possible to transmit information and perform a mission even when flying in an unmanned mobile body.
영상 해상도는 0.3, 0.5, 1 [m], 운용 고도는 1400 내지 1600 ft (400 내지 500[m])인 것이 바람직하다.It is preferable that the image resolution is 0.3, 0.5, 1 [m], and the operating altitude is 1400 to 1600 ft (400 to 500 [m]).
중심 주파수는 X-band 이며, 소비 전력은 40 내지 60 W인 것이 바람직하다. The center frequency is X-band, and power consumption is preferably 40 to 60 W.
거리방향 영상폭은 200 내지 400 (@ 해상도 0.3) [m], 방위방향 영상폭은 무제한 (전원용량), 크기는 (15 내지 20) X (20 내지 25) X (25 내지 30) [cm]으로 설계되는 것이 바람직하다.Distance direction image width is 200 to 400 (@ resolution 0.3) [m], azimuth direction image width is unlimited (power capacity), size is (15 to 20) X (20 to 25) X (25 to 30) [cm] It is preferable to design as
도 4는 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치의 알고리즘을 설명하기 위한 도면이다.4 is a diagram for explaining an algorithm of a GPU-based SAR image restoration apparatus for a small unmanned aerial vehicle according to an embodiment of the present invention.
도 4에 나타난 바와 같이, 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치는 CPU 커널(101)과 BPA 신호처리에 최적화된 GPU 커널(201)로 구성되는 것이 바람직하다.4, it is preferable that the GPU-based SAR image restoration apparatus for a small unmanned aerial vehicle according to an embodiment of the present invention is composed of a
구체적으로, 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치에 있어서, 원시 데이터 처리부(100)는, 적어도 하나의 중앙 처리 장치(CPU)로 구현되며, 상기 중앙 처리 장치(CPU)는 제1 메모리 공간을 포함하고, 영상 복원 처리부(200)는, 적어도 하나의 그래픽 처리장치 (GPU)로 구현되며, 상기 그래픽 처리장치 (GPU)는 제2 메모리 공간을 포함한다.Specifically, in the GPU-based SAR image restoration apparatus for a small unmanned aerial vehicle according to an embodiment of the present invention, the raw
원시 데이터 처리부(100)는 상기 원시 데이터가 상기 그래픽 처리장치 (GPU)의 신호 처리 커널에서 실행되도록 상기 원시 데이터를 GPU 변환 데이터로 변환하여 상기 제1 메모리 공간에서 상기 제2 메모리 공간으로 할당한다.The raw
구체적으로, Main 메소드(110)의 데이터에서 원시 데이터(120)를 입력 받는다. 이후 초기화(Initialization)(130)가 이루어지고, Specifically, the
Deg2utm(131)을 이용하여 lat/lon벡터를 UTM좌표로 변환한다.Convert lat/lon vectors to UTM coordinates using Deg2utm(131).
이후, CPU variable Malloc & initial(132)을 이용하여 CPU 변수(variable)를 할당하고 초기화한다.After that, CPU variable Malloc & initial(132) is used to allocate and initialize a CPU variable.
영상 복원 처리부(200)는 다수개의 표적들에 대하여 상기 거리 압축 신호 생성과 상기 방위 압축 수행을 반복하여 SAR 영상을 생성한다.The image
FFT(Fast Fourier Transform) 기반의 레인지 압축(210)을 수행한다.A fast Fourier transform (FFT)-based
BPA 연산(220)기법을 이용하여 방위방향 신호를 복원한다.The azimuth direction signal is restored using the
다수개의 표적들에 대하여 iFFT 변환된 신호를 거리 보상하는 과정을 반복 (221)하여 SAR 영상을 생성(230)한다.A SAR image is generated (230) by repeating (221) the process of distance-compensating the iFFT-converted signal for a plurality of targets.
본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치는 항공용 SAR에서 가장 성능이 우수한 신호처리 알고리즘인 Back-projection 알고리즘 (BPA)의 신호처리 시간이 굉장히 길다는 단점을 해결하기 위해 BPA 전용 신호처리용 GPU 커널을 제작하여 실시간 적용이 가능하도록 하였으며, 도 8에서 성능 검증결과 실시간 처리 가능함을 확인 하였다.The GPU-based SAR image restoration apparatus for a small unmanned aerial vehicle according to an embodiment of the present invention solves the disadvantage that the signal processing time of the Back-projection algorithm (BPA), which is the most excellent signal processing algorithm in aviation SAR, is very long. In order to do this, a GPU kernel for signal processing dedicated to BPA was manufactured to enable real-time application, and it was confirmed in FIG. 8 that real-time processing is possible as a result of performance verification.
종래의 경우 CPU 또는 GPU 기반의 신호처리 속도를 향상시키기 위하여 다중 CPU 또는 GPU기반 신호처리기를 구성하여 병렬처리를 하였다. 하지만, 소형 드론의 탑재중량 한계 때문에 드론에 탑재되는 SAR의 크기는 작고 무게는 적을수록 유리하다. 따라서, 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치는 SAR 신호처리기 구성은 최소화하여 설계하며 이를 고려하여 CPU 및 GPU 각각 1기의 신호처리기를 구성한다. 또한, Nvidia에서 제공하는 CUDA Tookit을 이용 하여 Fast Fourier Transform (FFT) 및 Inverse Fast Fourier Transform (IFFT)기반 BPA 신호처리에 최적화된 GPU 커널을 구성한다.In the conventional case, in order to improve the CPU or GPU-based signal processing speed, multiple CPU or GPU-based signal processors are configured to perform parallel processing. However, due to the limitation of the payload of small drones, the smaller the size of the SAR mounted on the drone and the lower the weight, the more advantageous. Therefore, the GPU-based SAR image restoration apparatus for a small unmanned aerial vehicle according to an embodiment of the present invention is designed to minimize the configuration of the SAR signal processor, and one signal processor is configured for each CPU and GPU in consideration of this. In addition, the GPU kernel optimized for Fast Fourier Transform (FFT) and Inverse Fast Fourier Transform (IFFT)-based BPA signal processing is configured using the CUDA Toolkit provided by Nvidia.
도 5는 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 방법을 나타낸 흐름도이다.5 is a flowchart illustrating a method for restoring a SAR image for a small unmanned aerial vehicle based on a GPU according to an embodiment of the present invention.
도 5를 참조하면, 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 방법은 프로세서가 원시 데이터(Raw Data)를 획득하는 단계(S110)에서 시작한다.Referring to FIG. 5 , the GPU-based SAR image restoration method for a small unmanned aerial vehicle according to an embodiment of the present invention starts at step S110 in which the processor acquires raw data.
단계 S110에서 원시 데이터 처리부는 무인 비행체의 비행 중 연속적으로 별도의 송수신부에서 송신한 레이더 펄스가 표적으로부터 수신되는 레이더 반사파에 따른 원시 데이터를 입력 받고, 상기 원시 데이터의 신호 처리를 위한 데이터 할당 및 초기화를 수행하고, 상기 원시 데이터를 영상 복원 처리부에서 처리 가능한 변환 데이터로 변환시킨다.In step S110, the raw data processing unit receives the raw data according to the radar reflected wave received from the target by which the radar pulses transmitted from the separate transceiver are continuously transmitted during the flight of the unmanned aerial vehicle, and data allocation and initialization for signal processing of the raw data and converts the raw data into converted data that can be processed by the image restoration processing unit.
단계 S210 내지 S280에서 상기 영상 복원 처리부는 상기 변환 데이터에 대한 거리 보상된 신호를 생성하고, 상기 거리 보상된 신호로부터 SAR 영상을 생성한다.In steps S210 to S280, the image restoration processing unit generates a distance-compensated signal with respect to the converted data, and generates an SAR image from the distance-compensated signal.
구체적으로, 단계 S210에서 상기 변환 데이터로부터 FFT변환하고, 단계 S220에서 상기 FFT변환된 신호를 레인지 압축하여 단계 S230에서 레인지 압축된 신호를 생성한다. 단계 S240에서 상기 레인지 압축된 신호에 대하여 데이터 패딩 처리를 하고, 단계 S250에서 상기 데이터 패딩된 신호를 iFFT 변환하고, 단계 S260에서 상기 iFFT 변환된 신호를 거리 보상한다.Specifically, FFT-transformed from the transformed data in step S210, and range-compressed the FFT-transformed signal in step S220 to generate a range-compressed signal in step S230. Data padding is performed on the range-compressed signal in step S240, iFFT-transformed on the data-padded signal in step S250, and distance compensation is performed on the iFFT-transformed signal in step S260.
여기서, 데이터 패딩은 제로-패딩인 것이 바람직하다. 상기 영상 복원 처리부는 상기 레이더 펄스 방사 시점에서 상기 연속적으로 송신되는 레이더 펄스의 m번째 신호(여기서, m은 정수이다.)와 영상 평면에서의 표적 좌표에 해당하는 픽셀이 이루는 각도를 이용하여 상기 iFFT 변환된 신호를 거리 보상한다.Here, the data padding is preferably zero-padding. The image restoration processing unit uses the angle formed by the m-th signal of the continuously transmitted radar pulse (here, m is an integer) and the pixel corresponding to the target coordinate in the image plane at the time of the radar pulse emission. The converted signal is distance-compensated.
단계 S270에서 상기 영상 복원 처리부는 영상 평면에서의 표적 좌표에 해당하는 픽셀 각각에 대하여 상기 데이터 패딩 처리와 상기 데이터 패딩된 신호를 iFFT 변환하고, 상기 iFFT 변환된 신호를 거리 보상하는 과정을 반복하여 단계 S280에서 SAR 영상을 생성한다.In step S270, the image restoration processor repeats the data padding process for each pixel corresponding to the target coordinates in the image plane, iFFT transforms the data padded signal, and distance-compensates the iFFT-transformed signal. S280 generates a SAR image.
도 6은 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치의 영상 획득 기하 모델을 설명하기 위한 도면이다.6 is a diagram for explaining an image acquisition geometric model of a GPU-based SAR image restoration apparatus for a small unmanned aerial vehicle according to an embodiment of the present invention.
FMCW 신호기반의 레이더 시스템은 기준 송신 신호를 이용해 수신신호를 직접 주파수 하향변환(frequency down conversion)하여, 두 신호의 차에 해당하는 비트 주파수(beat frequency) 성분을 수신하고 샘플링하여 레이더 신호처리에 활용한다.The FMCW signal-based radar system directly frequency down-converts the received signal using the reference transmission signal, receives and samples the beat frequency component corresponding to the difference between the two signals, and uses it for radar signal processing. do.
SAR 영상 획득을 위한 기하 모델을 참조하면, 방위 방향(azimuth)으로 비행체 비행 중 레이다 펄스의 송신 및 수신은 등 간격 위치에서 이루어질 수 있도록 PRF(Pulse Repetition Frequency) 실시간 제어를 수행하게 된다.Referring to the geometric model for SAR image acquisition, PRF (Pulse Repetition Frequency) real-time control is performed so that transmission and reception of radar pulses during flight in the azimuth can be performed at equal intervals.
요구 해상도를 달성하기 위해서 합성 개구면 거리 (Synthetic Aperture Length, SAL)를 비행하면서 데이터를 획득하게 되며, Spotlight 모드로 영상을 획득하기 위해서 영상 획득 동안, SAR 안테나가 영상 중심점 (scene center)을 바라보며 데이터 획득이 가능하도록, 전자적 또는 기계적 방식을 통해 빔을 실시간 조향 하면서 수신신호를 획득하게 된다. 실제로는 난기류나, 바람 등의 영향으로 인해 이상적인 직선 궤적 (ideal linear trajectory)에서 벗어나게 되는 요동을 경험(actual trajectory)하며 비행 하게 된다.In order to achieve the required resolution, data is acquired while flying the synthetic aperture length (SAL), and during image acquisition to acquire an image in Spotlight mode, the SAR antenna looks at the image center and the data is To enable acquisition, the received signal is acquired while steering the beam in real time through an electronic or mechanical method. In reality, the flight experiences fluctuations that deviate from the ideal linear trajectory due to the influence of turbulence or wind (actual trajectory).
도 6에서, φm(i,j) 는 m-번째 신호와 i,j-번째 픽셀이루는 각도이며, Az. Window (Waz) 설정 값으로 활용한다.In Fig. 6, φ m(i,j) is the angle formed by the m-th signal and the i,j-th pixel, Az. It is used as the Window (Waz) setting value.
영상 복원 알고리즘은 수학식 1로 구현된다.The image restoration algorithm is implemented by Equation (1).
여기서, sr 은 목표물 지연시간 τ을 적용한 수신 신호이며, td는 샘플링 시간, u는 안테나 위치, fc는 주파수, Kr은 변조율, c는 광속을 나타낸다.Here, s r is the received signal to which the target delay time τ is applied, t d is the sampling time, u is the antenna position, f c is the frequency, K r is the modulation rate, and c is the speed of light.
또한, Pm 은 m-번째 신호 송수신을 위한 안테나 위치이다.In addition, P m is an antenna position for transmitting and receiving an m-th signal.
Pm = Pm0: start-stop approximation이며, Pm은 시간의 함수인 경우, Pm(t)이다. FMCW-SAR는 송수신 위치가 지속적으로 변화한다.P m = P m0 : a start-stop approximation, where P m is a function of time, P m (t). In FMCW-SAR, the transmit/receive position continuously changes.
sIF,r은 송수신신호를 주파수 하향변환시켜 얻은 중간주파수(IF: Intermediate Frequency) 의 수신신호를 나타낸다. (여기서, t는 샘플링 시간, um은 안테나 위치, f0는 중심주파수, Kr은 변조율을 나타낸다.s IF,r represents a reception signal of an intermediate frequency (IF) obtained by frequency downconverting a transmission/reception signal. (Where t is the sampling time, u m is the antenna position, f 0 is the center frequency, and K r is the modulation rate.
back-projection 알고리즘은 SAR 영상 내 i-, j-번째 픽셀의 목표물 복원을 위해서 하기 수학식 3 내지 수학식 5와 같이 윈도우 함수(Wrg·Waz)와 샘플링 시간(t)에 대한 푸리에 변환(Fourier transform)이 이루어진 수신신호(sIF,r(t, um))를 적용한 정합필터과정을 거치게 되고, 이를 특정 레이더 송수신 안테나 위치(um, m-번째 송신펄스 기준 안테나 위치)에 대해서 목표물(i-, j-번째 픽셀)과의 거리 및 지연시간(tdij)을 모든 안테나 위치에 대해 반복 계산하여 그 결과를 누적 하는 과정을 수행한다. The back-projection algorithm is a Fourier transform (W rg ·W az ) for the window function (W rg ·W az ) and the sampling time (t) as shown in
기존 back-projection 알고리즘의 효율적인 영상복원을 위해서 입력신호(sIF,r(td, u))를 복원영상 내 목표물 지연 시간과 정합필터의 계산 결과가 최적화되도록 입력 신호를 고해상 신호로 다시 샘플링(re-sampling)하는 과정을 포함한다.For efficient image restoration of the existing back-projection algorithm, the input signal (s IF,r (t d , u)) is resampled as a high-resolution signal so that the target delay time in the restored image and the calculation result of the matched filter are optimized ( re-sampling) is included.
BPA 연산기법은 수학식 4와 수학식 5로 구현된다.The BPA calculation technique is implemented by
수학식 4는 SAR 복원영상 픽셀기준 (i x j) 연산기법을 구현한다.
수학식 5는 m개 신호기준 연산기법 (cumulative SAR image)을 구현한다.Equation 5 implements an m signal reference calculation technique (cumulative SAR image).
도 7은 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치의 연산 방법을 설명하기 위한 도면이다.7 is a diagram for explaining a calculation method of a GPU-based SAR image restoration apparatus for a small unmanned aerial vehicle according to an embodiment of the present invention.
도 7의 (a)는 SAR 복원영상 픽셀기준 (i x j) 연산기법에 관한 것이다. 여기서 SAR 영상복원을 위해 영상해상도 기준 각 픽셀(i x j)을 반복 연산하며, 각 픽셀 연산을 위해 전체 raw data가 영상복원 연산에 이용된다.7 (a) relates to a SAR reconstructed image pixel reference (i x j) calculation technique. Here, each pixel (i x j) based on the image resolution is repeatedly calculated for SAR image restoration, and the entire raw data is used for image restoration operation for each pixel operation.
즉, 특정위치의 픽셀에 모든 raw data가 투영되는 연산과정이다.That is, it is an operation process in which all raw data is projected to a pixel at a specific location.
도 7의 (b)는 m개 신호기준 연산기법 (cumulative SAR image)에 관한 것이다. m개의 신호(m개의 range profile)에 대한 반복 연산을 수행하며, 특정위치의 신호가 모든 SAR 복원영상의 픽셀에 투영되는 연산과정이다.7 (b) relates to an m signal reference calculation technique (cumulative SAR image). It is an operation process in which iterative calculations are performed on m signals (m range profiles), and a signal at a specific location is projected onto the pixels of all SAR reconstructed images.
방위 압축 수행부(220)는 상기 레이더 펄스 방사 시점에서 상기 연속적으로 송신되는 레이더 펄스의 m번째 신호(여기서, m은 정수이다.)와 영상 평면에서의 표적 좌표에 해당하는 픽셀이 이루는 각도를 이용하여 방위 압축 신호를 생성한다.The azimuth
도 8은 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치의 데이터 변화를 나타낸 것이다.8 is a diagram illustrating data changes of a GPU-based SAR image restoration apparatus for a small unmanned aerial vehicle according to an embodiment of the present invention.
도 8의 (a)는 원시 데이터(Raw Data)이며, 도 8의 (b)는 거리 압축 데이터(Range Compressed DATA)이고, 도 8의 (c)는 SAR 복원 영상이다.FIG. 8(a) is raw data, FIG. 8(b) is range compressed data, and FIG. 8(c) is a SAR reconstructed image.
도 9는 본 발명의 일 실시예에 따른 GPU 기반의 소형 무인 비행체용 SAR 영상 복원 장치 및 SAR 영상 복원 시스템의 성능 시험 결과를 설명하기 위한 도면이다.9 is a view for explaining the performance test results of the GPU-based SAR image restoration apparatus for a small unmanned aerial vehicle and the SAR image restoration system according to an embodiment of the present invention.
도 9의 (a)는 GPU 및 CPU기반의 BPA를 적용하여 복원된 SAR 영상이다. 영상크기는 방위 및 거리방향으로 각각 28000 그리고 1024 픽셀이다. 거리로는 각각 약 8.4 km 그리고 300m (해상도 0.3m 기준)이다. 도 9의 (b)를 참조하면, 처리시간은 Matlab에서 CPU로 처리하면 약 897.2초가 걸렸고, Matlab에서 제공하는 GPU 커널을 이용하여 처리하면 약 289.3초가 걸렸다. 본 발명의 일 실시예에서 최적화 한 Cuda 기반의 GPU 커널을 이용하여 처리하면 약 4.1초가 걸렸다. 이는 Cuda 기반의 GPU 커널을 이용하여 최적화 된 BPA를 적용 시, 실시간 처리가 가능하다는 것을 직접적으로 보여주는 결과이다.9A is a SAR image restored by applying GPU- and CPU-based BPA. The image size is 28000 and 1024 pixels in azimuth and distance directions, respectively. The distances are about 8.4 km and 300 m, respectively (based on a resolution of 0.3 m). Referring to (b) of FIG. 9 , the processing time took about 897.2 seconds when processing with a CPU in Matlab, and about 289.3 seconds when processing using the GPU kernel provided by Matlab. Processing using the Cuda-based GPU kernel optimized in an embodiment of the present invention took about 4.1 seconds. This is a result that directly shows that real-time processing is possible when the optimized BPA is applied using the Cuda-based GPU kernel.
따라서, 소형 드론용 SAR의 실시간 영상복원 및 소형화된 신호처리기 개발을 위해서는 GPU 기반의 BPA를 적용 하는 것이 가장 최적화 된 방법이 될 수 있다.Therefore, for real-time image restoration of SAR for small drones and development of miniaturized signal processors, applying GPU-based BPA may be the most optimized method.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구 범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.The above description is only one embodiment of the present invention, and those of ordinary skill in the art to which the present invention pertains will be able to implement it in a modified form without departing from the essential characteristics of the present invention. Therefore, the scope of the present invention is not limited to the above-described embodiments, and should be construed to include various embodiments within the scope equivalent to the content described in the claims.
Claims (12)
상기 안테나 장치로 송신 신호를 전송하고, 상기 안테나 장치로부터 수신 신호를 수신 받는 송수신 장치; 및
상기 무인 비행체의 비행 중 연속적으로 표적으로부터 수신되는 레이더 반사파에 따른 원시 데이터를 입력 받고, 상기 원시 데이터를 이용하여 SAR 영상을 생성하는 SAR 영상 복원 장치;를 포함하며,
상기 SAR 영상 복원 장치는, 원시 데이터 처리부 및 영상 복원 처리부를 포함하되,
상기 원시 데이터 처리부는 중앙 처리 장치(CPU)로 구현되고, 상기 영상 복원 처리부는 Graphics Processing Unit(GPU)로 구현되고, 상기 CPU는 제1 메모리 공간을 포함하고, 상기 GPU는 제2 메모리 공간을 포함하며,
상기 원시 데이터 처리부는 무인 비행체의 비행 중 연속적으로 별도의 송수신부에서 송신한 레이더 펄스가 표적으로부터 수신되는 레이더 반사파에 따른 원시 데이터를 입력 받고, 상기 원시 데이터의 신호 처리를 위한 데이터 할당 및 초기화를 수행하고, 상기 원시 데이터를 영상 복원 처리부에서 처리 가능한 변환 데이터로 변환시키고,
상기 원시 데이터 처리부는 Deg2utm 모듈을 이용하여 lat/lon벡터를 UTM좌표로 변환하고,
상기 영상 복원 처리부는, 상기 변환 데이터에 대한 거리 보상된 신호를 생성하고, 상기 거리 보상된 신호로부터 SAR 복원 영상을 생성하며,
상기 SAR 영상 복원 장치는, 역투영(Back projection) 알고리즘의 실시간 신호처리를 위해 상기 Graphics Processing Unit(GPU) 기반 신호처리 커널을 이용하며,
상기 원시 데이터 처리부는 상기 원시 데이터가 상기 GPU의 신호 처리 커널에서 실행되도록 상기 원시 데이터를 GPU 변환 데이터로 변환하여 상기 제1 메모리 공간에서 상기 제2 메모리 공간으로 할당하며,
상기 영상 복원 처리부는 상기 GPU로 구현되고, 상기 GPU는 상기 변환 데이터로부터 FFT변환하고, 상기 FFT변환된 신호를 레인지 압축된 신호로 압축하며, 상기 레인지 압축된 신호에 대하여 데이터 패딩 처리를 하고, 상기 데이터 패딩된 신호를 iFFT 변환하고, 상기 iFFT 변환된 신호를 거리 보상하며,
상기 영상 복원 처리부는 상기 SAR 복원 영상 내 픽셀의 목표물 복원을 위해서 윈도우 함수와 샘플링 시간에 대한 푸리에 변환이 이루어진 수신신호를 적용한 정합필터를 거치게 되고, 레이더 송수신 안테나 위치에 대해서 목표물과의 거리 및 지연시간을 모든 안테나 위치에 대해 반복 계산하여 결과를 누적하는 과정을 수행하고,
상기 영상 복원 처리부는 상기 SAR 복원 영상 내 목표물과의 지연시간과 정합필터의 계산 결과가 최적화되도록 입력 신호를 고해상 신호로 다시 샘플링(re-sampling)하는 과정을 포함하며,
상기 송수신 장치는, SAR 영상 획득 기하 모델을 참조하여, 방위 방향(azimuth)으로 비행체 비행 중 레이다 펄스의 송신 및 수신은 등 간격 위치에서 이루어질 수 있도록 PRF(Pulse Repetition Frequency) 실시간 제어를 수행하며, 요구 해상도를 달성하기 위해서 상기 무인 이동체가 합성 개구면 거리(Synthetic Aperture Length, SAL)를 비행하면서 데이터를 획득하게 되며, 스포트라이트(Spotlight) 모드로 영상을 획득하기 위해서 영상 획득 동안, 상기 안테나 장치가 영상 중심점 (scene center)을 바라보며 데이터 획득이 가능하도록, 전자적 또는 기계적 방식을 통해 빔을 실시간 조향 하면서 신호를 획득하는 것을 특징으로 하는 무인 이동체용 SAR 영상 복원 시스템.An antenna device provided to be mounted on an unmanned moving object and receiving a radar reflected wave from a target by emitting a radar pulse;
a transceiver for transmitting a transmission signal to the antenna device and receiving a reception signal from the antenna device; and
A SAR image restoration device that receives raw data according to a radar reflected wave continuously received from a target during flight of the unmanned aerial vehicle and generates a SAR image using the raw data; includes,
The SAR image restoration apparatus includes a raw data processing unit and an image restoration processing unit,
The raw data processing unit is implemented as a central processing unit (CPU), the image restoration processing unit is implemented as a Graphics Processing Unit (GPU), the CPU includes a first memory space, and the GPU includes a second memory space and
The raw data processing unit receives raw data according to a radar reflected wave received from a target by which a radar pulse transmitted from a separate transceiver is continuously transmitted during the flight of the unmanned aerial vehicle, and allocates and initializes data for signal processing of the raw data and converts the raw data into converted data that can be processed by the image restoration processing unit,
The raw data processing unit converts the lat/lon vector into UTM coordinates using the Deg2utm module,
The image restoration processing unit generates a distance-compensated signal with respect to the converted data, and generates a SAR restored image from the distance-compensated signal,
The SAR image restoration apparatus uses the Graphics Processing Unit (GPU)-based signal processing kernel for real-time signal processing of a back projection algorithm,
The raw data processing unit converts the raw data into GPU converted data so that the raw data is executed in the signal processing kernel of the GPU and allocates the raw data from the first memory space to the second memory space,
The image restoration processing unit is implemented by the GPU, the GPU performs FFT transformation from the transformed data, compresses the FFT transformed signal into a range-compressed signal, and performs data padding on the range-compressed signal, and iFFT-transform the data-padded signal, and distance compensate the iFFT-transformed signal;
The image restoration processing unit passes through a matched filter to which a received signal subjected to a Fourier transform with respect to a window function and a sampling time is applied to restore a target of a pixel in the SAR restored image, and the distance and delay time from the target with respect to the position of the radar transmission/reception antenna Performs the process of accumulating results by iteratively calculating for all antenna positions,
The image restoration processing unit re-sampling the input signal into a high-resolution signal so that the delay time with the target in the SAR restored image and the calculation result of the matched filter are optimized,
The transceiver performs real-time control of PRF (Pulse Repetition Frequency) so that transmission and reception of radar pulses during flight in an azimuth can be performed at equal intervals with reference to the SAR image acquisition geometric model, and the request In order to achieve resolution, the unmanned moving object acquires data while flying a synthetic aperture length (SAL), and during image acquisition to acquire an image in spotlight mode, the antenna device moves the image center point SAR image restoration system for unmanned moving object, characterized in that it acquires a signal while steering a beam in real time through an electronic or mechanical method so that data can be acquired while looking at the scene center.
상기 영상 복원 처리부는 영상 평면에서의 표적 좌표에 해당하는 픽셀 각각에 대하여 상기 데이터 패딩 처리와 상기 데이터 패딩된 신호를 iFFT 변환하고, 상기 iFFT 변환된 신호를 거리 보상하는 과정을 반복하여 SAR 영상을 생성하는 것을 특징으로 하는 무인 이동체용 SAR 영상 복원 시스템.According to claim 1,
The image restoration processing unit generates an SAR image by repeating the data padding process, iFFT transforming the data padded signal, and distance-compensating the iFFT-converted signal for each pixel corresponding to the target coordinates in the image plane. SAR image restoration system for unmanned moving objects, characterized in that.
상기 영상 복원 처리부는 상기 레이더 펄스 방사 시점에서 상기 연속적으로 송신되는 레이더 펄스의 m번째 신호(여기서, m은 정수이다.)와 영상 평면에서의 표적 좌표에 해당하는 픽셀이 이루는 각도를 이용하여 상기 iFFT 변환된 신호를 거리 보상하는 것을 특징으로 하는 무인 이동체용 SAR 영상 복원 시스템.The method of claim 1
The image restoration processing unit uses the angle formed by the m-th signal of the continuously transmitted radar pulse (here, m is an integer) and the pixel corresponding to the target coordinate on the image plane at the time of the radar pulse emission. SAR image restoration system for unmanned moving object, characterized in that distance compensation for the converted signal.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190121624 | 2019-10-01 | ||
| KR20190121624 | 2019-10-01 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210039264A KR20210039264A (en) | 2021-04-09 |
| KR102296961B1 true KR102296961B1 (en) | 2021-09-01 |
Family
ID=72450626
Family Applications (9)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190163417A KR102296961B1 (en) | 2019-10-01 | 2019-12-10 | GPU based SAR Image Restoration Device and Image Radar System for Small Unmanned Mobile |
| KR1020200081114A KR102211580B1 (en) | 2019-10-01 | 2020-07-01 | Method and system for estimating moving target speed using SAR mounted on multi unmanned aerial vehicles |
| KR1020200081056A KR102156253B1 (en) | 2019-10-01 | 2020-07-01 | Method and system for estimating precise altitude information using SAR mounted on multi unmanned aerial vehicles |
| KR1020200081472A KR102256612B1 (en) | 2019-10-01 | 2020-07-02 | Super light Antenna Apparatus having low Permittivity and, Super Small Synthetic Aperture Radar System for Drone Mounting therewith |
| KR1020200083678A KR102196733B1 (en) | 2019-10-01 | 2020-07-07 | Ultra-Light, Compact Unmanned Mobile Antenna Gimbal and Synthetic Aperture Radar System including the same |
| KR1020200083677A KR102171196B1 (en) | 2019-10-01 | 2020-07-07 | Radio frequency signal transceiver for unmanned aircraft mounted synthetic aperture radar and method thereof |
| KR1020200084924A KR102196734B1 (en) | 2019-10-01 | 2020-07-09 | Apparatus and Method for Jamming in Synthetic Aperture Radar |
| KR1020200084569A KR102174058B1 (en) | 2019-10-01 | 2020-07-09 | Target simulator for unmanned aircraft mounted synthetic aperture radar |
| KR1020200125931A KR102202626B1 (en) | 2019-10-01 | 2020-09-28 | Super light and small synthetic aperture radar apparatus and system for unmanned mobile |
Family Applications After (8)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200081114A KR102211580B1 (en) | 2019-10-01 | 2020-07-01 | Method and system for estimating moving target speed using SAR mounted on multi unmanned aerial vehicles |
| KR1020200081056A KR102156253B1 (en) | 2019-10-01 | 2020-07-01 | Method and system for estimating precise altitude information using SAR mounted on multi unmanned aerial vehicles |
| KR1020200081472A KR102256612B1 (en) | 2019-10-01 | 2020-07-02 | Super light Antenna Apparatus having low Permittivity and, Super Small Synthetic Aperture Radar System for Drone Mounting therewith |
| KR1020200083678A KR102196733B1 (en) | 2019-10-01 | 2020-07-07 | Ultra-Light, Compact Unmanned Mobile Antenna Gimbal and Synthetic Aperture Radar System including the same |
| KR1020200083677A KR102171196B1 (en) | 2019-10-01 | 2020-07-07 | Radio frequency signal transceiver for unmanned aircraft mounted synthetic aperture radar and method thereof |
| KR1020200084924A KR102196734B1 (en) | 2019-10-01 | 2020-07-09 | Apparatus and Method for Jamming in Synthetic Aperture Radar |
| KR1020200084569A KR102174058B1 (en) | 2019-10-01 | 2020-07-09 | Target simulator for unmanned aircraft mounted synthetic aperture radar |
| KR1020200125931A KR102202626B1 (en) | 2019-10-01 | 2020-09-28 | Super light and small synthetic aperture radar apparatus and system for unmanned mobile |
Country Status (1)
| Country | Link |
|---|---|
| KR (9) | KR102296961B1 (en) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7351280B2 (en) * | 2020-09-30 | 2023-09-27 | トヨタ自動車株式会社 | Information processing device and method |
| KR102269751B1 (en) * | 2020-11-27 | 2021-06-30 | (주)신한항업 | Drone with L-Band SAR Sensor for Displacement Observation |
| KR102596416B1 (en) * | 2021-04-08 | 2023-10-31 | 엘아이지넥스원 주식회사 | Simulated target signal generating apparatus and radar test system having the same |
| CN113189588B (en) * | 2021-04-30 | 2022-05-03 | 电子科技大学 | High frame rate imaging method for cluster unmanned aerial vehicle synthetic aperture radar |
| CN113104223A (en) * | 2021-05-18 | 2021-07-13 | 袁鹏杰 | Unmanned aerial vehicle carries flow monitoring devices |
| KR102512910B1 (en) * | 2021-09-07 | 2023-03-22 | 엘아이지넥스원 주식회사 | Synthetic aperture radar system and method of generating synthetic aperture image using first unmanned air vehicle and second unmanned air vehicle |
| KR102558544B1 (en) * | 2021-10-14 | 2023-07-24 | 국방과학연구소 | Range-doppler algorithm based sar imaging apparatus and method thereof |
| KR102588625B1 (en) * | 2021-11-19 | 2023-10-11 | 알에프코어 주식회사 | Method for accelerating phase gradient autofocus of synthetic aperture radar for unmanned aerial vehicle |
| KR102627925B1 (en) * | 2021-12-14 | 2024-01-23 | 연세대학교 산학협력단 | Multistatic synthetic aperture radar(SAR) system and method of generating 3-dimensional SAR image using the same |
| CN114245688B (en) * | 2021-12-28 | 2022-11-11 | 湖南省通信建设有限公司 | With unmanned aerial vehicle interconnection type image communication equipment |
| US20230243965A1 (en) * | 2022-01-31 | 2023-08-03 | Alphacore, Inc. | Systems and methods for obstacle avoidance for unmanned autonomous vehicles |
| CN115327543B (en) * | 2022-08-15 | 2023-07-07 | 中国科学院空天信息创新研究院 | Multi-node time-frequency synchronization method for unmanned aerial vehicle bee colony SAR |
| KR102531068B1 (en) * | 2023-01-05 | 2023-05-10 | 국방과학연구소 | System and method for simulating synthetic aperture radar |
| KR102546292B1 (en) * | 2023-01-12 | 2023-06-21 | 국방과학연구소 | Method and system for analyzing jamming effect |
| KR102618583B1 (en) * | 2023-02-28 | 2023-12-27 | 엘아이지넥스원 주식회사 | Antenna apparatus and radar system including the same |
| CN116299463B (en) * | 2023-05-16 | 2023-08-08 | 四川天府新区北理工创新装备研究院 | Small sar imaging system and method based on rear end of general computing device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101601152B1 (en) | 2015-11-24 | 2016-03-08 | 엘아이지넥스원 주식회사 | Method for processing image signal of radar and apparatus therefor |
| KR101757885B1 (en) | 2017-02-22 | 2017-07-13 | 엘아이지넥스원 주식회사 | Apparatus and method for compensating SAR image |
| JP6227169B1 (en) | 2016-05-19 | 2017-11-08 | 三菱電機株式会社 | Parallel processing apparatus and parallel processing method |
| KR101839041B1 (en) * | 2017-10-18 | 2018-03-15 | 엘아이지넥스원 주식회사 | FMCW-SAR system using correction continuous motion effect and method for reconstructing SAR image using FMCW-SAR system |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6147648A (en) * | 1996-04-03 | 2000-11-14 | Granholm; Johan | Dual polarization antenna array with very low cross polarization and low side lobes |
| JP3837923B2 (en) * | 1998-07-10 | 2006-10-25 | トヨタ自動車株式会社 | Planar polarization antenna system |
| US8509335B2 (en) * | 2009-03-10 | 2013-08-13 | Kabushiki Kaisha Toshiba | Array antenna apparatus and micro wave transceiver module |
| KR101135070B1 (en) * | 2009-11-30 | 2012-04-13 | 서울시립대학교 산학협력단 | The method for measurign object's velocity using synthetic aperture radar image and the apparatus thereof |
| US8274422B1 (en) * | 2010-07-13 | 2012-09-25 | The Boeing Company | Interactive synthetic aperture radar processor and system and method for generating images |
| KR20120009186A (en) * | 2010-07-23 | 2012-02-01 | (주) 충청에스엔지 | method for manufacturing a digital elevation model using a SAR data |
| KR101209567B1 (en) * | 2011-03-02 | 2012-12-07 | 국방과학연구소 | Ultra wide band antenna using a parasitic element to enhance radiation pattern and gain |
| KR101074205B1 (en) * | 2011-07-07 | 2011-10-14 | (주)미래시스템 | The system on chip generating target sign for the test of 3d radar |
| KR101165218B1 (en) * | 2012-03-16 | 2012-07-16 | 국방과학연구소 | Stabilization systems for payloads and platform having the same |
| KR101320508B1 (en) * | 2012-09-13 | 2013-10-23 | 국방과학연구소 | Device for efficiency test of synthetic aperture radar |
| KR101427009B1 (en) * | 2012-12-17 | 2014-08-05 | 한국항공우주연구원 | Apparatus and method for generating jamming signal using synthetic aperture radar active transponder |
| KR101490181B1 (en) * | 2013-11-11 | 2015-02-05 | 국방과학연구소 | Device and method for estimating doppler frequency difference for fdoa |
| KR101605450B1 (en) * | 2014-08-04 | 2016-03-22 | 서울시립대학교산학협력단 | Method of stacking multi-temporal MAI interferogram and Apparatus Thereof |
| KR20160050121A (en) * | 2014-10-28 | 2016-05-11 | 한남대학교 산학협력단 | High Resolution Target simulator with Dual Sampling Clock Rates. |
| KR101627612B1 (en) * | 2014-11-05 | 2016-06-07 | 국방과학연구소 | Efficient Method and Apparatus of Generating Inverse Synthetic Aperture Radar Image of Multiple Targets Using Flight Trajectory and Morphological Processing |
| KR101683242B1 (en) * | 2015-10-15 | 2016-12-07 | 주식회사 카이즈 | System for diagnosing vehicle and providing vehicle information for driver |
| KR101713767B1 (en) * | 2015-12-09 | 2017-03-08 | 국방과학연구소 | Selective synchronization processing Method and Apparatus for bistatic radar |
| KR101754235B1 (en) * | 2016-10-27 | 2017-07-05 | 엘아이지넥스원 주식회사 | Self-test method of millimeter-wave seeker |
| KR101839046B1 (en) | 2017-10-11 | 2018-03-15 | 엘아이지넥스원 주식회사 | Apparatus and method for obtaining SAR image can miniaturize |
| IL257010B (en) * | 2018-01-18 | 2021-10-31 | Israel Aerospace Ind Ltd | Automatic camera driven aircraft control for rader activation |
| KR101920379B1 (en) * | 2018-08-01 | 2018-11-20 | 엘아이지넥스원 주식회사 | Bistatic synthetic aperture radar system based on global navigation satellite system |
-
2019
- 2019-12-10 KR KR1020190163417A patent/KR102296961B1/en active IP Right Grant
-
2020
- 2020-07-01 KR KR1020200081114A patent/KR102211580B1/en active IP Right Grant
- 2020-07-01 KR KR1020200081056A patent/KR102156253B1/en active IP Right Grant
- 2020-07-02 KR KR1020200081472A patent/KR102256612B1/en active IP Right Grant
- 2020-07-07 KR KR1020200083678A patent/KR102196733B1/en active IP Right Grant
- 2020-07-07 KR KR1020200083677A patent/KR102171196B1/en active IP Right Grant
- 2020-07-09 KR KR1020200084924A patent/KR102196734B1/en active IP Right Grant
- 2020-07-09 KR KR1020200084569A patent/KR102174058B1/en active IP Right Grant
- 2020-09-28 KR KR1020200125931A patent/KR102202626B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101601152B1 (en) | 2015-11-24 | 2016-03-08 | 엘아이지넥스원 주식회사 | Method for processing image signal of radar and apparatus therefor |
| JP6227169B1 (en) | 2016-05-19 | 2017-11-08 | 三菱電機株式会社 | Parallel processing apparatus and parallel processing method |
| WO2017199401A1 (en) | 2016-05-19 | 2017-11-23 | 三菱電機株式会社 | Parallel processing device and parallel processing method |
| KR101757885B1 (en) | 2017-02-22 | 2017-07-13 | 엘아이지넥스원 주식회사 | Apparatus and method for compensating SAR image |
| KR101839041B1 (en) * | 2017-10-18 | 2018-03-15 | 엘아이지넥스원 주식회사 | FMCW-SAR system using correction continuous motion effect and method for reconstructing SAR image using FMCW-SAR system |
Non-Patent Citations (2)
| Title |
|---|
| Doerry, Armin W 외 2명. Basics of backprojection algorithm for processing synthetic aperture radar images. Sandia National Laboratories Report. 2016.* |
| Fasih, Ahmed 외 1명. GPU-accelerated synthetic aperture radar backprojection in CUDA. 2010 IEEE Radar Conference. IEEE. 2010.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210039277A (en) | 2021-04-09 |
| KR102202626B1 (en) | 2021-01-13 |
| KR102211580B1 (en) | 2021-02-03 |
| KR102171196B1 (en) | 2020-10-28 |
| KR102196733B1 (en) | 2020-12-30 |
| KR102256612B1 (en) | 2021-05-26 |
| KR20210039264A (en) | 2021-04-09 |
| KR102196734B1 (en) | 2020-12-30 |
| KR102174058B1 (en) | 2020-11-04 |
| KR102156253B1 (en) | 2020-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102296961B1 (en) | GPU based SAR Image Restoration Device and Image Radar System for Small Unmanned Mobile | |
| Edrich | Ultra-lightweight synthetic aperture radar based on a 35 GHz FMCW sensor concept and online raw data transmission | |
| Weiss et al. | Initial ARTINO radar experiments | |
| Caris et al. | mm-Wave SAR demonstrator as a test bed for advanced solutions in microwave imaging | |
| Du et al. | A three-dimensional range migration algorithm for downward-looking 3D-SAR with single-transmitting and multiple-receiving linear array antennas | |
| CN109188434B (en) | SAR system based on frequency modulation continuous wave system and processing method thereof | |
| CN102221697A (en) | Airborne multi-antenna SAR chromatography three dimensional imaging system and imaging method thereof | |
| Essen et al. | High resolution W-band UAV SAR | |
| Fasano et al. | Proof of concept of micro-UAV-based radar imaging | |
| Gogineni et al. | A CubeSat train for radar sounding and imaging of Antarctic ice sheet | |
| Lu | Design Technology of Synthetic Aperture Radar | |
| Kaniewski et al. | Airborne radar terrain imaging system | |
| Gromek et al. | C-band SAR radar trials using UAV platform: Experimental results of SAR system integration on a UAV carrier | |
| Samczynski et al. | SARENKA-C-band SAR radar for UAV application | |
| L’Abbate et al. | Compact SAR and micro satellite solutions for Earth observation | |
| Zaugg et al. | Developments in compact high-performance synthetic aperture radar systems for use on small Unmanned Aircraft | |
| RU2429990C1 (en) | Multifunction high-resolution radar with active phase-aerial for manned aircraft and drones | |
| US10705201B1 (en) | Radar beam sharpening system and method | |
| Johannes et al. | Miniaturized high resolution Synthetic Aperture Radar at 94 GHz for microlite aircraft or UAV | |
| Ding et al. | W band mini-SAR on multi rotor UAV platform | |
| CN104237888A (en) | Imaging method of arc array MIMO-SAR | |
| KR20210091914A (en) | Synthetic aperture radar system | |
| Kaniewski et al. | Chosen results of flight tests of WATSAR system | |
| Ling et al. | Synchronization of GEO spaceborne-airborne bistatic SAR | |
| Kim et al. | Design and implemetation of Compact 77 GHz Synthetic aperture radar for drone based applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |