KR102475219B1 - 비디오 형태의 데이터 증강에 기반한 합성 개구면 레이다의 표적 분류 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 - Google Patents

비디오 형태의 데이터 증강에 기반한 합성 개구면 레이다의 표적 분류 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR102475219B1
KR102475219B1 KR1020220119272A KR20220119272A KR102475219B1 KR 102475219 B1 KR102475219 B1 KR 102475219B1 KR 1020220119272 A KR1020220119272 A KR 1020220119272A KR 20220119272 A KR20220119272 A KR 20220119272A KR 102475219 B1 KR102475219 B1 KR 102475219B1
Authority
KR
South Korea
Prior art keywords
axis
neural network
sar image
frequency information
network model
Prior art date
Application number
KR1020220119272A
Other languages
English (en)
Inventor
박지훈
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020220119272A priority Critical patent/KR102475219B1/ko
Application granted granted Critical
Publication of KR102475219B1 publication Critical patent/KR102475219B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021—SAR image post-processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따른 표적 분류 장치는 제1 축 및 제2 축의 2차원으로 구성된 SAR 영상을 획득하는 영상 획득부; 제1 축 방향으로 상기 SAR 영상에 포함된 각 제2 축 신호의 주파수 정보를 포함하는 스펙트로그램을 산출하고 이를 누적 및 편집하여, 제1 축, 제2 축 및 주파수 정보로 구성된 비디오 형태 데이터를 생성하는 영상 증강부; 및 기 학습된 신경망 모델을 이용하여 상기 비디오 형태 데이터를 기초로 SAR 영상에 포함된 표적을 판별하는 제어부를 포함할 수 있다.

Description

비디오 형태의 데이터 증강에 기반한 합성 개구면 레이다의 표적 분류 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램{APPARATUS, METHOD, COMPUTER-READABLE STORAGE MEDIUM AND COMPUTER PROGRAM FOR CLASSIFYING TARGET OF SYNTHETIC APERTURE RADAR BASED ON DATA AUGMENT IN THE FORM OF VIDEO}
본 발명은 비디오 형태의 데이터 증강에 기반한 합성 개구면 레이다의 표적 분류 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램에 관한 것이다.
합성 개구면 레이다(Synthetic Aperture Radar, SAR)는 안테나를 통해 지상으로 전파를 송신하고 되돌아오는 반사파를 이용하여 지표면의 영상을 만들어 내는 레이다이다. 합성 개구면 레이다는 주로 정찰위성이나 항공기에 장착되어 정찰, 관측, 측량, 자원탐사가 필요한 넓은 지역의 고해상도 영상을 만들어낸다. 전파를 이용하는 합성 개구면 레이다는 광학 카메라와는 달리, 구름이나 날씨 조건과는 상관없이 영상을 얻을 수 있다는 장점을 가진다.
SAR 영상으로부터 관심 표적을 분류하는 것을 판독이라고 하는데, 수집되는 SAR 영상의 수량에 비해 판독이 가능한 전문적인 인력은 제한되어 있기 때문에, SAR 영상으로부터 표적을 자동 식별하기 위한 알고리즘 연구가 지난 30여 년간 수행되어 왔다.
SAR 영상으로부터 표적을 자동 분류하기 위한 기존의 기법은 템플릿 정합 기법(template matching), 모델 기반 비전 기법(model-based vision, MBV), 패턴인식 기법(pattern recognition), 딥러닝 기법(deep learning) 등이 있으나, 기존의 기법들은 표적 분류를 위한 영상 간의 대조를 수행하거나, 특징 추출을 위해 가로 및 세로 픽셀로 구성된 2차원 영상 자체의 정보 만을 활용하였기에 정확성 향상의 한계에 다다른 실정이다.
대한민국 공개특허공보 제10-2022-0020721호
본 발명이 해결하고자 하는 과제는, 기존의 기법에서 SAR 영상을 구성하는 가로, 세로 축의 정보 외의 새로운 정보 추출을 고안하는 시도가 없었음에 착안하여, 가로 및 세로 축의 정보뿐만 아니라, 영상 구성 요소의 변화 양상을 나타내는 새로운 정보를 활용하여 SAR 영상 분류의 정확도를 향상시키는 기술을 제안하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 바로 제한되지 않으며, 언급되지는 않았으나 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있는 목적을 포함할 수 있다.
본 발명의 일 실시예에 따른 표적 분류 장치는 제1 축 및 제2 축의 2차원으로 구성된 SAR 영상을 획득하는 영상 획득부; 제1 축 방향으로 상기 SAR 영상에 포함된 각 제2 축 신호의 주파수 정보를 포함하는 스펙트로그램을 산출하고 이를 누적 및 편집하여, 제1 축, 제2 축 및 주파수 정보로 구성된 비디오 형태 데이터를 생성하는 영상 증강부; 및 기 학습된 신경망 모델을 이용하여 상기 비디오 형태 데이터를 기초로 SAR 영상에 포함된 표적을 판별하는 제어부를 포함할 수 있다.
또한, 상기 장치는 상기 비디오 형태 데이터를 기초로 SAR 영상에 포함된 표적을 판별하는 상기 신경망 모델을 학습시키는 신경망 학습부를 더 포함할 수 있다.
또한, 상기 영상 증강부는 제1 축 방향으로 상기 SAR 영상에 포함된 각 제2 축 1차원 신호에 짧은 시간 푸리에 변환을 적용하여 상기 주파수 정보를 갖는 스펙트로그램을 산출할 수 있다. 또한, 상기 영상 증강부는 상기 스펙트로그램을 제2축 방향으로 누적하여 제1축, 제2축 및 주파수 정보로 구성된 3차원 데이터를 산출할 수 있다.
또한, 상기 영상 증강부는 상기 3차원 데이터의 주파수 정보 축의 양 극단 주파수 정보를 기 설정된 비율만큼 잘라낸 비디오 형태 데이터를 생성하고, 상기 신경망 학습부는 상기 3차원 데이터로부터 생성된 비디오 형태 데이터를 이용하여 상기 신경망 모델을 학습시킬 수 있다.
또한, 상기 SAR 영상은 80 x 80 픽셀 사이즈를 가질 수 있다.
또한, 상기 영상 증강부는 상기 3차원 데이터 중 주파수 정보 축의 양 극단 주파수 정보를 50%의 비율만큼 잘라내어 80 x 80 x 40 사이즈의 비디오 형태 데이터를 생성하고, 상기 신경망 학습부는 상기 3차원 데이터로부터 생성된 비디오 형태 데이터를 이용하여 상기 신경망 모델을 학습시킬 수 있다.
또한, 상기 신경망 학습부는 소정의 인공지능 알고리즘 기반의 신경망 모델의 입력 레이어에 상기 비디오 형태 데이터가 입력되도록 설정하고, 상기 신경망 모델의 출력 레이어에 상기 SAR 영상에 포함된 표적을 특정하는 클래스가 입력되도록 설정하여, 상기 신경망 모델이 SAR 영상에 포함된 표적을 판별하도록 학습시킬 수 있다.
일 실시예에 따른 표적 분류 장치가 수행하는 표적 분류 방법은 제1 축 및 제2 축의 2차원으로 구성된 SAR 영상을 획득하는 단계; 제1 축 방향으로 상기 SAR 영상에 포함된 각 제2 축 신호의 주파수 정보를 포함하는 스펙트로그램을 산출하고 이를 누적 및 편집하여, 제1 축, 제2 축 및 주파수 정보로 구성된 비디오 형태 데이터를 생성하는 단계; 및 기 학습된 신경망 모델을 이용하여 상기 비디오 형태 데이터를 기초로 SAR 영상에 포함된 표적을 판별하는 단계를 포함할 수 있다.
또한, 상기 방법은 상기 비디오 형태 데이터를 기초로 SAR 영상에 포함된 표적을 판별하는 상기 신경망 모델을 학습시키는 단계를 더 포함할 수 있다.
또한, 상기 비디오 형태 데이터를 생성하는 단계는 제1 축 방향으로 상기 SAR 영상에 포함된 각 제2 축 신호에 짧은 시간 푸리에 변환을 적용하여 상기 주파수 정보를 산출하는 단계를 포함할 수 있다. 또한, 상기 비디오 형태 데이터를 생성하는 단계는 상기 스펙트로그램을 제2축 방향으로 누적하여 제1축, 제2축 및 주파수 정보로 구성된 3차원 데이터를 산출하는 단계를 포함할 수 있다.
또한, 상기 비디오 형태 데이터를 생성하는 단계는 상기 3차원 데이터의 주파수 정보 축의 양 극단 주파수 정보를 기 설정된 비율만큼 잘라내는 단계를 포함하고, 신경망 모델을 학습시키는 단계는 상기 3차원 데이터로부터 생성된 비디오 형태 데이터를 이용하여 상기 신경망 모델을 학습시키는 단계를 포함할 수 있다.
또한, 상기 SAR 영상은 80 x 80 픽셀 사이즈를 가질 수 있다.
또한, 상기 비디오 형태 데이터를 생성하는 단계는 상기 3차원 데이터 중 주파수 정보 축의 양 극단 주파수 정보를 50%의 비율만큼 잘라내어 80 x 80 x 40 사이즈의 비디오 형태 데이터를 생성하는 단계를 포함하고, 신경망 모델을 학습시키는 단계는 상기 3차원 데이터로부터 생성된 비디오 형태 데이터를 이용하여 상기 신경망 모델을 학습시키는 단계를 포함할 수 있다.
또한, 신경망 모델을 학습시키는 단계는 소정의 인공지능 알고리즘 기반의 신경망 모델의 입력 레이어에 상기 비디오 형태 데이터가 입력되도록 설정하고, 상기 신경망 모델의 출력 레이어에 상기 SAR 영상에 포함된 표적을 특정하는 클래스가 입력되도록 설정하여, 상기 신경망 모델이 SAR 영상에 포함된 표적을 판별하도록 학습시키는 단계를 포함할 수 있다.
일 실시예에 따른 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서, 제1 축 및 제2 축의 2차원으로 구성된 SAR 영상을 획득하는 단계; 제1 축 방향으로 상기 SAR 영상에 포함된 각 제2 축 신호의 주파수 정보를 포함하는 스펙트로그램을 산출하고 이를 누적 및 편집하여, 제1 축, 제2 축 및 주파수 정보로 구성된 비디오 형태 데이터를 생성하는 단계; 및 기 학습된 신경망 모델을 이용하여 상기 비디오 형태 데이터를 기초로 SAR 영상에 포함된 표적을 판별하는 단계를 포함할 수 있다.
일 실시예에 따른 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서, 제1 축 및 제2 축의 2차원으로 구성된 SAR 영상을 획득하는 단계; 제1 축 방향으로 상기 SAR 영상에 포함된 각 제2 축 신호의 주파수 정보를 포함하는 스펙트로그램을 산출하고 이를 누적 및 편집하여, 제1 축, 제2 축 및 주파수 정보로 구성된 비디오 형태 데이터를 생성하는 단계; 및 기 학습된 신경망 모델을 이용하여 상기 비디오 형태 데이터를 기초로 SAR 영상에 포함된 표적을 판별하는 단계를 포함할 수 있다.
본 발명의 실시예는 SAR 영상의 가로 및 세로 축 정보뿐만 아니라, 영상 구성 요소의 변화 양상을 나타내는 새로운 차원의 주파수 정보를 추출할 수 있다. 이렇게 추출된 주파수 정보는 SAR 영상의 구성 요소의 변화 양상을 나타내는 비디오 프레임의 역할을 수행할 수 있는 비디오 형태의 데이터로 증강되고, 신경망 학습의 새로운 정보로 활용됨으로써 SAR 영상 분류의 정확도를 향상시킬 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 표적 분류 장치의 기능 블록도이다.
도 2는 본 발명의 일 실시예에 따른 주파수 정보를 포함하는 스펙트로그램 산출 동작의 예시도이다.
도 3은 본 발명의 일 실시예에 따른 짧은 시간 푸리에 변환 동작의 예시도이다.
도 4는 본 발명의 일 실시예에 따른 스펙트로그램 누적 후 산출된 3차원 데이터를 편집하여 비디오 형태 데이터로 만드는 동작의 예시도이다.
도 5는 본 발명의 일 실시예에 따른 비디오 형태 데이터를 구성하는 주파수 정보가 SAR 영상의 구성 요소의 변화 양상을 나타내는 비디오 프레임의 역할을 수행하는 것을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 신경망 모델의 학습에 사용한 SAR 영상과 표적의 클래스에 대한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 신경망 모델의 구성 예시도이다.
도 8은 본 발명의 일 실시예에 따른 표적 분류 방법의 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하 사용되는 '부', '기' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 표적 분류 장치(100)의 기능 블록도이다. 본 발명의 일 실시예에 따른 표적 분류 장치(100)는 하나 이상의 프로세서에 의해 전반적인 동작이 수행될 수 있고, 하나 이상의 프로세서는 도 1에 포함된 기능 블록들이 후술할 동작들을 수행하도록 제어할 수 있다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 표적 분류 장치(100)는 영상 획득부(110), 영상 증강부(120), 신경망 학습부(130) 및 제어부(140)를 포함할 수 있다.
영상 획득부(110)는 합성 개구면 레이다(Synthetic Aperture Radar, SAR) 영상을 획득할 수 있다. 예를 들어, 영상 획득부(110)는 합성 개구면 레이다의 안테나를 통해서 지상으로 전파를 송신하고 되돌아오는 반사파인 수신 신호를 기초로 SAR 영상을 획득하거나, 외부 장치와 연동되어 SAR 영상을 획득할 수 있다. 합성 개구면 레이다는 수신 신호를 이용하여 지표면의 영상을 만들어 내는 레이다이며, 주로 정찰위성이나 항공기에 장착되어 정찰, 관측, 측량, 자원탐사가 필요한 지역의 SAR 영상을 생성할 수 있다.
SAR 영상은 제1 축의 정보 및 제2 축의 정보에 대응하는 신호를 포함하는 2차원의 영상으로 구성될 수 있다. 일 예로, SAR 영상의 제1 축은 방위에 대한 정보, 제2 축은 거리에 대한 정보로 이루어질 수 있으며, SAR 영상은 특정 방위 및 거리에서 측정된 신호를 포함할 수 있다.
본 문서의 실시예는 다양한 픽셀 크기의 SAR 영상에 적용될 수 있으나, 분 문서의 실시예에 대한 설명 및 도면에서는 SAR 영상의 크기가 80x80의 픽셀 크기이고, 하나의 픽셀은 0.25m에 해당하는 신호인 것으로 예시하여 설명한다.
영상 증강부(120)는 제1 축 방향으로 SAR 영상에 포함된 각 제2 축 신호의 주파수 정보를 포함하는 스펙트로그램을 산출하여, 제1 축, 제2 축 및 주파수 정보의 3차원으로 구성된 비디오 형태 데이터를 생성할 수 있다.
이하, 본 문서의 실시예에 대한 설명 및 도면에서는 제1 축을 방위축, 제2 축을 거리축으로 예시하여 설명하나, 본 문서의 실시예는 제1 축을 거리축, 제2 축을 방위축로 적용하는 실시예를 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 주파수 정보를 포함하는 스펙트로그램 추출 동작의 예시도이다.
도 2-(1)을 참조하면, 영상 증강부(120)는 SAR 영상에서 특정 거리 값을 기준으로 모든 방위 방향의 신호를 추출할 수 있다. 이하, 거리 값이 1 부터 80까지 있을 경우, 거리 값 i(=1 이상 80이하의 거리값 중 하나)에 대한 모든 방위 방향(=1 이상 80이하의 방위)에서의 신호를 i번째 방위 방향의 신호라고 지칭한다.
도 2-(2)을 참조하면, 도 2-(2)의 그래프는 방위 정보를 가로축, 신호 크기를 세로축으로 하여, i번째 방위 방향의 신호를 표현하고 있다. 영상 증강부(120)는 i번째 방위 방향의 신호의 주파수 정보를 추출할 수 있다.
도 2-(3)을 참조하면, 도 2-(3)의 그래프는 방위 정보를 가로축, 주파수 정보를 세로축으로 하여, i번째 방위 방향 신호의 주파수 정보를 포함한 스펙트로그램을 표현하고 있다. 예를 들어, 영상 증강부(120)는 도 2-(3)의 스펙트로그램과 같이 주파수 정보의 크기를 -1.0 이상 1.0 이하의 값으로 정규화할 수 있다.
영상 증강부(120)는 거리 값 1 부터 80의 모든 방위 방향의 신호에 대해 위 도 2-(1) 내지 도 2-(3)의 동작을 수행하여 각각의 스펙트로그램을 산출할 수 있다.
영상 증강부(120)는 아래 수학식 1의 짧은 시간 푸리에 변환 (short-time Fourier transform, STFT)을 적용하여, i번째 방위 방향의 주파수 정보를 포함하는 스펙트로그램을 산출할 수 있다.
[수학식 1]
Figure 112022099313485-pat00001
수학식 1에서, n과 m은 방위 축 인덱스를 나타내고, w는 주파수 정보를 나타낸다. 또한, x[n]은 방위 인덱스 n의 신호를 나타내고, w[n]은 윈도우 함수를 나타내며 w[n-m]은 m 만큼 방위 방향으로 천이된 윈도우를 나타낸다.
도 3은 본 발명의 일 실시예에 따른 짧은 시간 푸리에 변환 동작의 예시도이다.
도 3의 상단을 참조하면, 영상 증강부(120)는 방위 방향의 신호 x[n]에 대하여 윈도우 함수 w[n]이 방위 방향 신호의 시작 지점부터 종료 지점까지 구간 이동하면서, 이동하는 지점마다 푸리에 변환을 계산할 수 있다. 일 예로, 윈도우의 길이는 방위 방향 주파수의 변화 양상이 방위 방향에 따라 관측이 가능하도록 방위 방향 신호 길이의 40% 이하로 설정할 수 있다. 예를 들어, 윈도우 함수 w[n]은 Hamming 윈도우로 설정할 수 있고, 길이는 16으로 설정할 수 있다. 윈도우 함수는 특정 구간의 신호 값만 유한한 값으로 유지하고 그 외의 구간의 신호 값은 0으로 감쇠시키므로, 짧은 시간 푸리에 변환에 의해 신호의 국부 영역 별로 방위 방향 주파수가 산출될 수 있다. 다만, 상술한 윈도우 함수의 설정은 일 예시일 뿐, 특정 수치에 한정되는 것은 아니다.
도 3의 하단을 참조하면, 영상 증강부(120)는 국부 영역 별 방위 방향 주파수를 누적시켜, 방위 방향을 가로축으로 갖고 방위 방향의 주파수 정보를 세로축으로 갖는 2차원 스펙트로그램을 생성할 수 있다. 예를 들어, 스펙트로그램의 색채는 주파수 정보의 크기를 의미할 수 있고, 주파수 정보가 큰 값일수록 붉은색을, 작은 값일수록 푸른색을 띌 수 있다.
영상 증강부(120)는 특정 거리 마다 추출된 모든 방위 방향의 신호에 대해 짧은 시간 푸리에 변환을 수행할 수 있다. 본 문서의 예시에 따르면, SAR 영상이 80(방위) x 80(거리) 사이즈이므로, 80개의 거리 정보 마다 모든 방위 방향의 신호에 대해 짧은 시간 푸리에 변환을 수행하여 스펙트로그램을 산출할 수 있다. 이러한 예시에 따라, 영상 증강부(120)는 스펙트로그램을 거리 방향으로 누적하여 제1 축(방위), 제2 축(거리) 및 주파수 정보의 3차원으로 구성된 80 x 80 x 80 크기의 3차원 데이터를 생성할 수 있다.
영상 증강부(120)는 3차원 데이터의 주파수 정보 축을 기준으로 양 극단의 주파수 정보를 기 설정된 비율만큼 잘라낼 수 있다. 도 3의 하단을 참조하면, 주파수 정보 축 기준의 양 극단(ex. 최하단, 최상단)에 위치한 주파수 정보는 SAR 영상을 나타내는 표적 신호 부분이 미약하여(푸른색), 표적 판단에 유용한 정보가 아님에도 추후 신경망 학습 시 학습 데이터의 수를 늘려 불필요한 연산량을 증가시킬 수 있기 때문이다.
도 4는 본 발명의 일 실시예에 따른 데이터를 비디오 형태 데이터로 편집하는 동작의 예시도이다.
도 4를 참조하면, 영상 증강부(120)는 80 x 80 x 80 크기의 비디오 형태 데이터에서 주파수 정보 범위(ex. 정규화된 예시의 경우 -1.0 내지 1.0) 중 양 극단의 주파수 정보를 일정 비율(ex. 50%) 잘라낼 수 있다. 주파수 정보의 크기가 -1.0 이상 1.0 이하의 값으로 정규화된 예시에 따르면, 양(positive)의 주파수 정보 구간에서는 0.5 이상 1.0 이하의 범위, 음(negative)의 주파수 정보 구간에서는 -1.0 이상 -0.5 이하의 범위에 해당하는 주파수 정보를 잘라낼 수 있다. 즉, 영상 증강부(120)는 80개의 주파수 정보 중 1번째 내지 20번째, 61번째 내지 80번째의 주파수 정보를 잘라내고, 21 번째 내지 60 번째의 주파수 정보를 포함하는 80(방위) x 80(거리) x 40(주파수 정보) 크기로 편집된 비디오 형태 데이터를 생성할 수 있다.
도 5는 본 발명의 일 실시예에 따른 비디오 형태 데이터를 구성하는 주파수 정보가 SAR 영상의 구성 요소의 변화 양상을 나타내는 비디오 프레임의 역할을 수행하는 것을 설명하기 위한 예시도이다.
도 5를 참조하면, 비디오 형태 데이터는 방위 및 거리 축으로 구성된 SAR 영상이 짧은 시간 푸리에 변환에 의해 주파수 정보 방향으로 확장되어, 방위축 및 거리축에 표현된 주파수 정보가 비디오 프레임과 같이 확장되는 것을 확인할 수 있다. 즉, 방위 및 거리 축으로 구성된 한 장의 주파수 정보는 비디오 영상의 '프레임'과 같은 역할을 하여, 연속된 '프레임'은SAR 영상의 구성 요소의 변화 양상을 나타낼 수 있다.
도 5의 우측은 비디오 형태 데이터를 구성하는 각각의 프레임을 순서대로 나타낸 예시이다. 초기 프레임에서는 SAR 영상을 구성하는 클러터 및 표적 신호의 고주파 성분이 주로 관측되며, 중간 프레임에서는 표적 SAR 영상의 저주파 성분인 표적 신호가 주로 강조되어 나타나며, 후반 프레임에는 고주파 성분을 갖는 영상 프레임으로 회귀한다. 이처럼, 비디오 형태 데이터는 SAR 영상의 구성요소의 변화 양상을 나타내는 프레임으로 표현될 수 있다.
이처럼, SAR 영상의 구성요소의 변화 양상을 나타내는 연속 프레임으로 구성된 비디오 형태 데이터는 신경망 학습의 새로운 정보로 활용됨으로써 SAR 영상 분류의 정확도를 향상시킬 수 있다.
신경망 학습부(130)는 소정의 인공지능 알고리즘(ex. 합성곱 신경망 알고리즘 등) 기반의 신경망 모델의 입력 레이어에 비디오 형태 데이터(ex. 80x80x40)가 입력되도록 설정하고, 신경망 모델의 출력 레이어에 SAR 영상에 포함된 표적을 특정하는 클래스가 입력되도록 설정하여, 신경망 모델이 SAR 영상에 포함된 표적을 판별하도록 학습시킬 수 있다. 신경망 학습부(130)는 도 4 및 도 5의 편집이 수행되지 않은 3차원 데이터(ex. 80x80x80)를 이용하여 신경망 모델을 학습시키는 실시예를 수행할 수도 있다.
도 6은 본 발명의 일 실시예에 따른 신경망 모델의 학습에 사용한 SAR 영상과 표적의 클래스에 대한 예시도이다.
도 6에 도시된 SAR 영상은 미공군 연구소(AFRL)에서 배포한 MSTAR 10종의 공개 표적 SAR 영상 데이터셋의 예시이다. 본 문서의 실시예를 실험하기 위해 신경망 모델의 학습에 사용한 MSTAR 10종의 표적별 훈련 및 시험용 영상의 수량은 아래 표 1과 같다.
[표 1]
Figure 112022099313485-pat00002
도 7은 본 발명의 일 실시예에 따른 신경망 모델의 구성 예시도이다.
도 7을 참조하면, 일 실시예에 따른 신경망 모델은 딥러닝 기반의 5개의 합성곱 계층(convolution layer)으로 구성된 합성곱 신경망(Convolutional Neural Network, CNN) 분류기를 적용할 수 있다. 다만, 도 7에 도시된 신경망 모델의 구성은 예시일 뿐 신경망 모델의 구성을 이와 같이 한정하는 것은 아니다.
제어부(140)는 상술한 과정에 따라 학습된 신경망 모델을 이용하여 타겟 SAR 영상으로부터 추출한 비디오 형태 데이터를 기초로 타겟 SAR 영상에 포함된 표적을 판별할 수 있다.
도 6 및 표 1의 SAR 영상과 도 7의 신경망 모델에 대해 본 문서의 실시예를 10회 적용한 결과 2,425개의 시험 표적영상에 대한 분류 정확도 성능의 최솟값은 99.51%, 최댓값은 99.63%, 평균값은 99.59%의 결과를 얻었다. 표 2는 최대성능이 도출된 경우의 표적영상 분류표를 나타내었다
[표 2]
Figure 112022099313485-pat00003
도 8은 본 발명의 일 실시예에 따른 표적 분류 방법의 흐름도이다. 도 8에 따른 표적 분류 방법의 각 단계는 도 1을 통해 설명된 표적 분류 장치(100)에 의해 수행될 수 있으며, 각 단계를 설명하면 다음과 같다.
S1010 단계에서, 영상 획득부(110) 제1 축 및 제2 축의 2차원으로 구성된 SAR 영상을 획득할 수 있다.
S1020 단계에서, 영상 증강부(120)는 제1 축 방향으로 SAR 영상에 포함된 각 제2 축 신호의 주파수 정보를 포함하는 스펙트로그램을 산출하여, 제1 축, 제2 축 및 주파수 정보의 3차원으로 구성된 비디오 형태 데이터를 생성할 수 있다.
S1030 단계에서, 제어부(140)는 기 학습된 신경망 모델을 이용하여 타겟 SAR 영상으로부터 추출한 비디오 형태 데이터를 기초로 타겟 SAR 영상에 포함된 표적을 판별할 수 있다.
한편, 도 8에 도시된 단계 외에도, 상술한 영상 획득부(110), 영상 증강부(120) 및 신경망 학습부(130) 가 도 1 및 도 7과 함께 설명된 동작을 수행하는 실시예들을 다양하게 구성함에 따라, 도 8의 단계에서도 각 기능 블록이 수행하는 새로운 단계가 부가될 수 있으며, 추가적인 단계의 구성 및 각 단계의 주체인 구성 요소들이 해당 단계를 실시하기 위한 동작은 도 1 내지 도 7에서 설명하였으므로 중복된 설명은 생략한다.
상술한 실시예들의 설명에 따르면, 본 발명의 실시예는 SAR 영상의 가로 및 세로 축 정보뿐만 아니라, 영상 구성 요소의 변화 양상을 나타내는 새로운 차원의 주파수 정보를 추출할 수 있다. 이렇게 추출된 주파수 정보는 SAR 영상의 구성 요소의 변화 양상을 나타내는 비디오 프레임의 역할을 수행할 수 있는 비디오 형태의 데이터로 증강되고, 신경망 학습의 새로운 정보로 활용됨으로써 SAR 영상 분류의 정확도를 향상시킬 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 표적 분류 장치
110: 영상 획득부
120: 영상 증강부
130: 신경망 학습부
140: 제어부

Claims (12)

  1. 제1 축 및 제2 축의 2차원으로 구성된 SAR 영상을 획득하는 영상 획득부;
    제1 축 방향으로 상기 SAR 영상에 포함된 각 제2 축 신호의 주파수 정보를 포함하는 스펙트로그램을 산출하고 이를 누적 및 편집하여, 제1 축, 제2 축 및 주파수 정보로 구성된 비디오 형태 데이터를 생성하는 영상 증강부; 및
    기 학습된 신경망 모델을 이용하여 상기 비디오 형태 데이터를 기초로 SAR 영상에 포함된 표적을 판별하는 제어부를 포함하는, 표적 분류 장치.
  2. 제1항에 있어서,
    상기 장치는,
    상기 비디오 형태 데이터를 기초로 SAR 영상에 포함된 표적을 판별하는 상기 신경망 모델을 학습시키는 신경망 학습부를 더 포함하는, 표적 분류 장치.
  3. 제2항에 있어서,
    상기 영상 증강부는,
    제1 축 방향으로 상기 SAR 영상에 포함된 각 제2 축 신호에 짧은 시간 푸리에 변환을 적용하여 상기 주파수 정보를 포함하는 스펙트로그램을 산출하는, 표적 분류 장치.
  4. 제3항에 있어서,
    상기 영상 증강부는,
    상기 스펙트로그램을 누적하여 생성한 3차원 데이터의 주파수 정보 축의 양 극단 주파수 정보를 기 설정된 비율만큼 잘라낸 비디오 형태 데이터를 생성하고,
    상기 신경망 학습부는,
    상기 3차원 데이터로부터 생성된 비디오 형태 데이터를 이용하여 상기 신경망 모델을 학습시키는, 표적 분류 장치.
  5. 제2항에 있어서,
    상기 신경망 학습부는,
    소정의 인공지능 알고리즘 기반의 신경망 모델의 입력 레이어에 상기 비디오 형태 데이터가 입력되도록 설정하고, 상기 신경망 모델의 출력 레이어에 상기 SAR 영상에 포함된 표적을 특정하는 클래스가 입력되도록 설정하여, 상기 신경망 모델이 SAR 영상에 포함된 표적을 판별하도록 학습시키는, 표적 분류 장치.
  6. 표적 분류 장치가 수행하는 표적 분류 방법에 있어서,
    제1 축 및 제2 축의 2차원으로 구성된 SAR 영상을 획득하는 단계;
    제1 축 방향으로 상기 SAR 영상에 포함된 각 제2 축 신호의 주파수 정보를 포함하는 스펙트로그램을 산출하고 이를 누적 및 편집하여, 제1 축, 제2 축 및 주파수 정보로 구성된 비디오 형태 데이터를 생성하는 단계; 및
    기 학습된 신경망 모델을 이용하여 상기 비디오 형태 데이터를 기초로 SAR 영상에 포함된 표적을 판별하는 단계를 포함하는, 표적 분류 방법.
  7. 제6항에 있어서,
    상기 방법은,
    상기 비디오 형태 데이터를 기초로 SAR 영상에 포함된 표적을 판별하는 상기 신경망 모델을 학습시키는 단계를 더 포함하는, 표적 분류 방법.
  8. 제7항에 있어서,
    상기 비디오 형태 데이터를 생성하는 단계는,
    제1 축 방향으로 상기 SAR 영상에 포함된 각 제2 축 신호에 짧은 시간 푸리에 변환을 적용하여 상기 주파수 정보를 포함하는 스펙트로그램을 산출하는 단계를 포함하는, 표적 분류 방법.
  9. 제8항에 있어서,
    상기 비디오 형태 데이터를 생성하는 단계는,
    상기 스펙트로그램을 누적하여 생성한 3차원 데이터의 주파수 정보를 기 설정된 비율만큼 잘라낸 비디오 형태 데이터를 생성하는 단계를 포함하고,
    상기 신경망 모델을 학습시키는 단계는,
    상기 3차원 데이터로부터 생성된 비디오 형태 데이터를 이용하여 상기 신경망 모델을 학습시키는 단계를 포함하는, 표적 분류 방법.
  10. 제7항에 있어서,
    상기 신경망 모델을 학습시키는 단계는,
    소정의 인공지능 알고리즘 기반의 신경망 모델의 입력 레이어에 상기 스펙트로그램이 입력되도록 설정하고, 상기 신경망 모델의 출력 레이어에 상기 SAR 영상에 포함된 표적을 특정하는 클래스가 입력되도록 설정하여, 상기 신경망 모델이 SAR 영상에 포함된 표적을 판별하도록 학습시키는 단계를 포함하는, 표적 분류 방법.
  11. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
    제1 축 및 제2 축의 2차원으로 구성된 SAR 영상을 획득하는 단계;
    제1 축 방향으로 상기 SAR 영상에 포함된 각 제2 축 신호의 주파수 정보를 포함하는 스펙트로그램을 산출하고 이를 누적 및 편집하여, 제1 축, 제2 축 및 주파수 정보로 구성된 비디오 형태 데이터를 생성하는 단계; 및
    기 학습된 신경망 모델을 이용하여 상기 비디오 형태 데이터를 기초로 SAR 영상에 포함된 표적을 판별하는 단계를 포함하는,
    표적 분류 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 판독 가능한 기록매체.
  12. 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
    제1 축 및 제2 축의 2차원으로 구성된 SAR 영상을 획득하는 단계;
    제1 축 방향으로 상기 SAR 영상에 포함된 각 제2 축 신호의 주파수 정보를 포함하는 스펙트로그램을 산출하고 이를 누적 및 편집하여, 제1 축, 제2 축 및 주파수 정보로 구성된 비디오 형태 데이터를 생성하는 단계; 및
    기 학습된 신경망 모델을 이용하여 상기 비디오 형태 데이터를 기초로 SAR 영상에 포함된 표적을 판별하는 단계를 포함하는,
    표적 분류 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 프로그램.
KR1020220119272A 2022-09-21 2022-09-21 비디오 형태의 데이터 증강에 기반한 합성 개구면 레이다의 표적 분류 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 KR102475219B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220119272A KR102475219B1 (ko) 2022-09-21 2022-09-21 비디오 형태의 데이터 증강에 기반한 합성 개구면 레이다의 표적 분류 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220119272A KR102475219B1 (ko) 2022-09-21 2022-09-21 비디오 형태의 데이터 증강에 기반한 합성 개구면 레이다의 표적 분류 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
KR102475219B1 true KR102475219B1 (ko) 2022-12-07

Family

ID=84441177

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220119272A KR102475219B1 (ko) 2022-09-21 2022-09-21 비디오 형태의 데이터 증강에 기반한 합성 개구면 레이다의 표적 분류 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR102475219B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060035750A (ko) * 2003-07-11 2006-04-26 블루 뷰 테크놀로지스, 인크. 2ｄ 및 3ｄ 영상을 위한 주파수-조정 음향 세트 배열 실시시스템 및 그 방법
US20140049420A1 (en) * 2012-08-14 2014-02-20 Jenoptik Robot Gmbh Method for Classifying Moving Vehicles
KR20180121995A (ko) * 2016-03-18 2018-11-09 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 스펙트로그램 상의 구조 텐서를 사용한 고조파-퍼커시브-잔여 사운드 분리를 위한 장치 및 방법
KR20220020721A (ko) 2020-08-12 2022-02-21 국방과학연구소 합성 개구면 레이더 영상에서 딥러닝을 기초로 표적과 클러터 구분을 위한 가중치 기반 간소화된 이진 분류 방법 및 그 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060035750A (ko) * 2003-07-11 2006-04-26 블루 뷰 테크놀로지스, 인크. 2ｄ 및 3ｄ 영상을 위한 주파수-조정 음향 세트 배열 실시시스템 및 그 방법
US20140049420A1 (en) * 2012-08-14 2014-02-20 Jenoptik Robot Gmbh Method for Classifying Moving Vehicles
KR20180121995A (ko) * 2016-03-18 2018-11-09 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 스펙트로그램 상의 구조 텐서를 사용한 고조파-퍼커시브-잔여 사운드 분리를 위한 장치 및 방법
KR20220020721A (ko) 2020-08-12 2022-02-21 국방과학연구소 합성 개구면 레이더 영상에서 딥러닝을 기초로 표적과 클러터 구분을 위한 가중치 기반 간소화된 이진 분류 방법 및 그 장치

Similar Documents

Publication Publication Date Title
KR101917282B1 (ko) 소나 영상을 이용한 수중 물체 식별 방법 및 그 장치
CN112257605B (zh) 基于自标注训练样本的三维目标检测方法、系统及装置
CN113985445A (zh) 一种基于相机与激光雷达数据融合的3d目标检测算法
CN105427314A (zh) 基于贝叶斯显著性的sar图像目标检测方法
KR101891410B1 (ko) 트레이스 변환을 이용한 역합성 개구면 레이더 영상의 표적 분류 장치 및 그 방법
CN101493935A (zh) 基于剪切波隐马尔可夫模型的合成孔径雷达图像分割方法
CN112183330B (zh) 基于点云的目标检测方法
Zhao et al. Side scan sonar image segmentation based on neutrosophic set and quantum-behaved particle swarm optimization algorithm
Kung et al. Radar occupancy prediction with lidar supervision while preserving long-range sensing and penetrating capabilities
Katarzyna Analysis of the objects images on the sea using Dempster-Shafer Theory
KR102475219B1 (ko) 비디오 형태의 데이터 증강에 기반한 합성 개구면 레이다의 표적 분류 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
KR102270009B1 (ko) 다채널 영상 인공지능 알고리즘 기반 이동 물체 탐지 및 거리 추정 방법
JP2018124963A (ja) 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム
KR20110073924A (ko) 일차원 사영된 에지정보를 이용한 보행자 검출 장치 및 방법
Long* et al. Characterization of migrated seismic volumes using texture attributes: a comparative study
WO2018143278A1 (ja) 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム
Yan et al. Water mapping using multispectral airborne LiDAR data
CN106296603B (zh) 一种水下声纳图像的小目标检测方法
US11874407B2 (en) Technologies for dynamic, real-time, four-dimensional volumetric multi-object underwater scene segmentation
CN113343930A (zh) 一种基于高斯去噪的无人机图像处理方法
Williams et al. A family of algorithms for the automatic detection, isolation, and fusion of object responses in sonar data
Gupta et al. Comparative analysis of movement and tracking techniques for Indian sign language recognition
Xudong et al. A kind of filtering algorithms for LiDAR intensity image based on flatness terrain
Hui et al. A novel denoising algorithm for airborne LiDAR point cloud based on empirical mode decomposition
Babolhavaeji et al. Multi-Stage CNN-Based Monocular 3D Vehicle Localization and Orientation Estimation

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant