KR102651048B1 - 딥러닝 기반 방위 표적 추적 장치 및 방법 - Google Patents

딥러닝 기반 방위 표적 추적 장치 및 방법 Download PDF

Info

Publication number
KR102651048B1
KR102651048B1 KR1020220091083A KR20220091083A KR102651048B1 KR 102651048 B1 KR102651048 B1 KR 102651048B1 KR 1020220091083 A KR1020220091083 A KR 1020220091083A KR 20220091083 A KR20220091083 A KR 20220091083A KR 102651048 B1 KR102651048 B1 KR 102651048B1
Authority
KR
South Korea
Prior art keywords
deep learning
target
azimuth
image
trajectory
Prior art date
Application number
KR1020220091083A
Other languages
English (en)
Other versions
KR20240013491A (ko
Inventor
김다솔
Original Assignee
엘아이지넥스원 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원 주식회사 filed Critical 엘아이지넥스원 주식회사
Priority to KR1020220091083A priority Critical patent/KR102651048B1/ko
Publication of KR20240013491A publication Critical patent/KR20240013491A/ko
Application granted granted Critical
Publication of KR102651048B1 publication Critical patent/KR102651048B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/14—Systems for determining distance or velocity not using reflection or reradiation using ultrasonic, sonic, or infrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

본 발명의 다양한 실시예에 따르면, 딥러닝 기반 방위 표적 추적 장치 및 방법을 적용함으로써, 운용자의 개입 없이 표적의 방위 궤적을 자동으로 추적할 수 있고, 신호 세기 문턱값 조정에 따른 표적 추적 성능 저하가 발생되지 않고, 표적의 변침이나 불연속적인 방위 궤적에 관계없이 표적의 방위 궤적을 추적할 수 있다.

Description

딥러닝 기반 방위 표적 추적 장치 및 방법{DEEP LEARNING-BASED TARGET BEARING TRACKING APPARATUS AND METHOD}
본 발명은 방위 표적 추적 장치 및 방법에 관한 것이다. 보다 상세하게는, 본 발명은 딥러닝 기반 방위 표적 추적 장치 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
"선행 특허 문헌 대한민국 등록특허공보 제10-1152987호(2012.05.29.) 시간상으로 연속된 방위각들을 검출하고 추적하기 위한 방향 탐지 방법 및 방향 탐지 시스템"은 음향 방사 표적(소나 표적)의 연속된 방위각을 검출, 추적하고 칼만 필터를 이용하여 방위 추적 궤적의 변화율을 기반으로 추적을 수행한다.
잠수함 등 소나 센서 기반의 운용 함정 또는 체계는 소나 센서의 표적 탐지가 모든 임무와 작전 운용의 시작이므로 안정적이고 정확한 표적 탐지, 추적이 요구된다.
소나 기반의 방위 표적은 소나 센서가 수신한 표적 신호를 신호 처리 후 획득되는 신호의 세기 등과 같은 정보를 이용하여 신호 세기 문턱값을 초과하는 방위 신호를 단위 시간 별로 수집하여 칼만 필터 기반의 최적 추적 필터를 이용하여 추적을 수행한다.
표적의 신호 세기가 신호 세기 문턱값을 초과하지 못하거나, 넓은 구간(예를 들어, 3도 이상)에 산재되어 있을 경우에는 칼만 필터 계열의 추적 필터는 성능이 저하된다는 문제점이 있다.
보다 상세하게는, 칼만 필터 계열의 추적 필터는 방위의 궤적의 급격한 기울기 변화 또는 불연속성에 대해서 가정하고 있지 않으므로 해당 상황 발생 시 궤적을 소실하거나 운용자가 수동으로 궤적을 보정해야 하는 문제점이 있다.
표적 탐지 장치 및 시스템 운용 중 소나 표적의 탐지/추적 임무를 수행하는 승조원의 운용 시간 과다로 승조원의 피로도가 급증하여 소나 표적 탐지/추적 기능에 대한 자동화 요구 증대되고 있는 추세이다.
딥러닝 기반의 자동 방위 표적 추적에 대한 연구 개발이 필요한 실정이다.
대한민국 등록특허공보 제10-2080306호(2020.02.17.) 대한민국 등록특허공보 제10-1152987호(2012.05.29.)
본 발명이 이루고자 하는 목적은, 운용자의 개입 없이 표적의 방위 궤적을 자동으로 추적할 수 있고, 신호 세기 문턱값 조정에 따른 표적 추적 성능 저하가 발생되지 않고, 표적의 변침(alter course, 變針)이나 불연속적인 방위 궤적에 관계없이 표적의 방위 궤적을 추적할 수 있는 딥러닝 기반 방위 표적 추적 장치 및 방법을 제공하는데 있다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 외부로부터 소나 센서 신호를 수신하고, 상기 수신한 소나 센서 신호에 방위 별 빔 형성을 수행하여 빔 데이터를 생성하는 신호처리부; 상기 생성된 빔 데이터를 시간 순서에 대응하여 누적하는 방식으로 연속된 방위각 궤적들의 워터폴 표현(waterfall representation)으로 표시하는 이미지 표현부; 상기 워터폴 표현으로 표시된 이미지를 데이터 세트로서 수집하고, 상기 수집된 데이터 세트에 대하여 픽셀 단위로 레이블(label)을 지정하여 훈련 세트를 생성하는 전처리부; 상기 데이터 세트 및 상기 훈련 세트를 기반으로 딥러닝을 수행하여 객체를 표적의 방위 궤적 이미지와 주변 소음 이미지로 분류하는 제1 딥러닝 모듈; 및 상기 분류된 표적의 방위 궤적 이미지를 기반으로 표적 추적 결과를 제공하는 추적정보 제공부;를 포함한다.
일 실시예에 따르면, 상기 제1 딥러닝 모듈은, 상기 데이터 세트 및 상기 훈련 세트를 바탕으로 시맨틱 분할(Semantic Segmentation) 딥러닝을 수행하여 객체를 분류하는 것을 특징으로 한다.
일 실시예에 따르면, 딥러닝 기법을 적용하여 상기 분류된 표적의 방위 궤적 이미지를 보정하는 제2 딥러닝 모듈;를 더 포함하는 것을 특징으로 한다.
일 실시예에 따르면, 상기 제2 딥러닝 모듈은, 상기 분류된 표적의 방위 궤적 이미지의 화질을 개선하는 제2-1 딥러닝 모듈; 및 상기 분류된 방위 표적 궤적 이미지 상에서 방위 표적 궤적의 불연속성을 보완하는 제2-2 딥러닝 모듈;을 포함하는 것을 특징으로 한다.
일 실시예에 따르면, 상기 제2-1 딥러닝 모듈은, 다일레이티드 컨볼루션(Dilated Convolution) 기반의 뉴럴 네트워크를 사용하여 상기 분류된 표적의 방위 궤적 이미지의 화질을 개선하는 것을 특징으로 한다.
일 실시예에 따르면, 상기 제2-2 딥러닝 모듈은, 스페이셜 컨볼루션(Spatial Convolution) 기반의 뉴럴 네트워크를 사용하여 상기 분류된 방위 표적 궤적 이미지 상에서 방위 표적 궤적의 불연속성을 보완하는 것을 특징으로 한다.
일 실시예에 따르면, 상기 이미지 표현부는, x축에 대응하여 방위를 나타내고, y축에 대응하여 시간을 나타내고, 색상의 채도를 이용하여 상기 수신한 소나 센서 신호의 세기를 나타내는 방식으로 상기 워터폴 표현으로 표시된 이미지를 표현하는 것을 특징으로 한다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 딥러닝 기반 방위 표적 추적 장치에서 수행되는 방위 표적 추적 방법은, 신호처리부가, 외부로부터 소나 센서 신호를 수신하고, 상기 수신한 소나 센서 신호에 방위 별 빔 형성을 수행하여 빔 데이터를 생성하는 단계; 이미지 표현부가, 상기 생성된 빔 데이터를 시간 순서에 대응하여 누적하는 방식으로 연속된 방위각 궤적들의 워터폴 표현(waterfall representation)으로 표시하는 단계; 전처리부가, 상기 워터폴 표현으로 표시된 이미지를 데이터 세트로서 수집하고, 상기 수집된 데이터 세트에 대하여 픽셀 단위로 레이블(label)을 지정하여 훈련 세트를 생성하는 단계; 제1 딥러닝 모듈이, 상기 데이터 세트 및 상기 훈련 세트를 기반으로 딥러닝을 수행하여 객체를 표적의 방위 궤적 이미지와 주변 소음 이미지로 분류하는 단계; 및 추적정보 제공부가, 상기 분류된 표적의 방위 궤적 이미지를 기반으로 표적 추적 결과를 제공하는 단계;를 포함한다.
일 실시예에 따르면, 상기 제1 딥러닝 모듈이 표적의 방위 궤적 이미지와 주변 소음 이미지로 분류하는 단계는, 상기 데이터 세트 및 상기 훈련 세트를 바탕으로 시맨틱 분할(Semantic Segmentation) 딥러닝을 수행하여 객체를 분류하는 것을 특징으로 한다.
일 실시예에 따르면, 제2 딥러닝 모듈이, 딥러닝 기법을 적용하여 상기 분류된 표적의 방위 궤적 이미지를 보정하는 단계;를 더 포함하는 것을 특징으로 한다.
일 실시예에 따르면, 상기 제2 딥러닝 모듈이 표적의 방위 궤적 이미지를 보정하는 단계는, 제2-1 딥러닝 모듈이, 상기 분류된 표적의 방위 궤적 이미지의 화질을 개선하는 단계; 및 제2-2 딥러닝 모듈이, 상기 분류된 방위 표적 궤적 이미지 상에서 방위 표적 궤적의 불연속성을 보완하는 단계;를 포함하는 것을 특징으로 한다.
일 실시예에 따르면, 상기 제2-1 딥러닝 모듈이, 상기 분류된 표적의 방위 궤적 이미지의 화질을 개선하는 단계는, 다일레이티드 컨볼루션(Dilated Convolution) 기반의 뉴럴 네트워크를 사용하여 상기 분류된 표적의 방위 궤적 이미지의 화질을 개선하는 것을 특징으로 하고, 상기 제2-2 딥러닝 모듈이, 상기 분류된 방위 표적 궤적 이미지 상에서 방위 표적 궤적의 불연속성을 보완하는 단계는, 스페이셜 컨볼루션(Spatial Convolution) 기반의 뉴럴 네트워크를 사용하여 상기 분류된 방위 표적 궤적 이미지 상에서 방위 표적 궤적의 불연속성을 보완하는 것을 특징으로 한다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 수중운동체에 탑재되는 딥러닝 기반 방위 표적 추적 시스템은, 외부로부터 소나 센서 신호를 수신하고, 상기 수신한 소나 센서 신호를 방위 별 빔 형성을 수행하여 빔 데이터를 생성하는 신호처리부, 상기 생성된 빔 데이터를 시간 순서에 대응하여 누적하는 방식으로 연속된 방위각 궤적들의 워터폴 표현(waterfall representation)으로 표시하는 이미지 표현부, 상기 워터폴 표현으로 표시된 이미지를 데이터 세트로서 수집하고, 상기 수집된 데이터 세트에 대하여 픽셀 단위로 레이블(label)을 지정하여 훈련 세트를 생성하는 전처리부, 상기 데이터 세트 및 상기 훈련 세트를 기반으로 딥러닝을 수행하여 객체를 표적의 방위 궤적 이미지와 주변 소음 이미지로 분류하는 제1 딥러닝 모듈 및 상기 분류된 표적의 방위 궤적 이미지를 기반으로 표적 추적 결과를 제공하는 추적정보 제공부를 포함하는 딥러닝 기반 방위 표적 추적 장치; 및 상기 수중운동체에 탑재되고, 수중음향신호를 탐지하여 상기 탐지한 수중음향신호를 상기 딥러닝 기반 방위 표적 추적 장치로 송신하는 소나 센서;를 포함한다.
이상에서 설명한 바와 같이 본 발명의 일 실시예에 따르면, 딥러닝 기반 방위 표적 추적 장치 및 방법을 적용함으로써, 운용자의 개입 없이 표적의 방위 궤적을 자동으로 추적할 수 있고, 신호 세기 문턱값 조정에 따른 표적 추적 성능 저하가 발생되지 않고, 표적의 변침이나 불연속적인 방위 궤적에 관계없이 표적의 방위 궤적을 추적할 수 있다.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.
도 1은 종래의 소나 센서 신호 기반 표적 추적 프로세스를 설명하기 위한 흐름도이다.
도 2는 도 1의 소나 센서 신호 기반 표적 추적 프로세스에 따라 생성되는 탐지 커브를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 딥러닝 기반 방위 표적 추적 장치의 구성을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 딥러닝 기반 방위 표적 추적 장치에 의하여 생성된 워터폴 이미지, 방위 표적 추출 이미지, 방위 표적 보정 이미지 및 표적 추적 결과가 포함된 이미지를 설명하기 위한 도면이다.
도 5 내지 도 9는 본 발명의 일 실시예에 따른 딥러닝 기반 방위 표적 추적 장치에서 수행되는 일련의 프로세스를 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 딥러닝 기반 방위 표적 추적 장치에 샘플 이미지를 적용한 것을 나타내는 도면이다.
도 11은 딥러닝 기법 적용 이후에 수행되는 방위 표적의 추출 원리를 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따라 딥러닝 기반 방위 표적 추적 장치에 의하여 수행되는 딥러닝 기반 방위 표적 추적 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “가진다”, “가질 수 있다”, “포함한다” 또는 “포함할 수 있다” 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소 들은 상기 용어들에 의해 한정되지는 않는다.
상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
또한, 본 명세서에 기재된 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있으며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터 구조들 및 변수들을 포함할 수 있다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다.
도 1은 종래의 소나 센서 신호 기반 표적 추적 프로세스를 설명하기 위한 흐름도이다.
도 2는 도 1의 소나 센서 신호 기반 표적 추적 프로세스에 따라 생성되는 탐지 커브를 나타내는 도면이다.
도 1 내지 도 2를 참조하여, 잠수함 전투체계에서의 종래의 칼만 필터 기반의 소나 방위 추적 절차를 설명한다.
칼만 필터 기반의 소나(Sonar) 방위 표적 추적 절차는 수신한 소나 신호의 신호 처리를 통하여 생성한 탐지 커브 신호를 이용하여 신호처리 주기 별로 미리 결정된 탐지 문턱값(예를 들어, 신호 세기에 대한 문턱값)과 비교하는 방식으로 측정치를 추출할 수 있다.
탐지 커브를 생성하는 것은 광대역 신호처리 결과로서 시간별(신호처리 주기) 방위에 대한 수신 신호의 세기(준위)를 커브로 표현하는 것일 수 있다.
이어서, 추출된 복수의 측정치들이 방위 표적의 유효 측정 영역 내부에 존재하는지 여부를 확인할 수 있다. 추출된 측정치가 기존 방위 표적 추적 필터의 유효 측정 영역 내부에 존재하는 경우 칼만 필터 계열의 추적 기법을 통해 표적을 추적하고, 추적 정보 갱신을 수행할 수 있다. 추출된 측정치가 유효 측정 영역 외부에 존재하는 경우 새로운 방위 표적으로 생성하여 관리할 수 있다.
여기서, 유효 측정 영역이란 표적의 탐지를 수행하는 탐지 영역 내부를 의미할 수 있다.
마지막으로, 추적 결과를 기반으로 추적 시스템이 자동으로 또는 운용자가 수동으로 표적의 방위값을 최종적으로 갱신할 수 있다.
이하에서 첨부한 도면을 참조하여 본 발명에 따른 딥러닝 기반 방위 표적 추적 장치 및 방법의 다양한 실시예에 대해 상세하게 설명한다.
본 명세서에 기재된 실시예들은 음향 및 영상 신호 처리 후 생성된 이미지에서 라인 형태로 나타나는 객체를 탐지하거나 추적하는 다양한 분야에 적용될 수 있고, 탐지 및 추적을 수행하는 센서(예를 들어, 레이더, 라이다 센서)에 적용될 수도 있고, 수중운동체(예를 들어, 잠수함)에 탑재되어 소나 센서와 연결되어 사용될 수 있다.
도 3은 본 발명의 일 실시예에 따른 딥러닝 기반 방위 표적 추적 장치의 구성을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 딥러닝 기반 방위 표적 추적 장치에 의하여 생성된 워터폴 이미지, 방위 표적 추출 이미지, 방위 표적 보정 이미지 및 표적 추적 결과가 포함된 이미지를 설명하기 위한 도면이다.
도 5 내지 도 9는 본 발명의 일 실시예에 따른 딥러닝 기반 방위 표적 추적 장치에서 수행되는 일련의 프로세스를 설명하기 위한 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 딥러닝 기반 방위 표적 추적 장치(100)는 신호처리부(110), 이미지 표현부(120), 전처리부(130), 제1 딥러닝 모듈(140), 제2 딥러닝 모듈(150) 및 추적정보 제공부(160)를 포함할 수 있다.
딥러닝 기반 방위 표적 추적 장치(100)는 수중운동체에 탑재되고, 수중음향신호를 탐지하여 탐지한 수중음향신호를 딥러닝 기반 방위 표적 추적 장치(100)로 송신하는 소나 센서(미도시)와 연결되어 수중운동체(예를 들어, 잠수함을 비롯한 함정)에 탑재되는 딥러닝 기반 방위 표적 추적 시스템으로 동작할 수 있다. 실시예에 따르면, 딥러닝 기반 방위 표적 추적 장치(100)는 소나 센서뿐만 아니라, 소나 신호 전시 장치(미도시) 및 소나 신호처리 장치(미도시)와 연결되어 동작할 수도 있다.
딥러닝 기반 방위 표적 추적 시스템에 포함되는 소나(Sonar, SOund Navigation And Ranging) 센서는 표적 및 다양한 수중 소음의 신호를 수신할 수 있다. 소나 센서는 다양한 종류의 소나 센서로 복수개 구성될 수도 있다. 즉, 소나 센서는 수동소나(Passive Sonar), 능동소나(Active Sonar), 선측배열소나(Flank Array Sonar), 방수소나(Intercept Sonar), 측거소나(Passive Ranging Sonar) 또는 예인소나(Towed Array Sonar) 중 적어도 어느 하나 이상으로 구성될 수 있다.
신호처리부(110)는 외부로부터 소나 센서 신호를 수신하고, 수신한 소나 센서 신호에 방위 별 빔 형성을 수행하여 빔 데이터를 생성할 수 있다. 신호처리부(110)는 스펙트럼 분석, 광대역 신호처리, 복조 신호처리, 협대역 신호처리, 순간소음 신호처리, 방수신호 신호처리, 능동 신호처리 중 적어도 하나의 방법을 선택하여 빔 데이터를 신호 처리할 수 있다. 신호처리부(110)는 수신한 소나 센서 신호를 기반으로 선형 배열, 원통 배열, 곡면 배열 중 적어도 하나의 형상을 선택하며, 선택한 배열 형상의 빔 형성을 방위별로 수행 후 360도 방위 별 빔 데이터를 생성할 수 있다. 신호처리부(110)는 소나 신호처리 장치일 수 있고, 소나 신호처리 장치와 연결 또는 결합되어 동작할 수도 있다.
이미지 표현부(120)는 생성된 빔 데이터를 시간 순서에 대응하여 누적하는 방식으로 연속된 방위각 궤적들의 워터폴 표현(waterfall representation)으로 표시할 수 있다. 이미지 표현부(120)는 생성된 빔 데이터를 기반으로 광대역 워터폴(Broardband Waterfall) 이미지를 표현할 수 있다. 이미지 표현부(120)는 생성된 빔 데이터를 기반으로 시간에 따른 방위각의 워터폴 디스플레이(waterfall display)로 표시할 수도 있다.
광대역 워터폴은 소나 센서를 통하여 획득되는 표적 소음 등 다양한 소음을 신호처리하는 방법 중 하나인 광대역 신호처리를 통하여 y축에 시간을 대응시키고, x축에 방위를 대응시켜 수신한 소나 센서 신호의 세기를 표현한 것을 의미할 수 있다.
영상 또는 이미지의 일종이라고 할 수 있는 광대역 워터폴에서 딥러닝 기반 방위 표적 추적 장치(100)에 의하여 표적 추적 수행의 대상이 되는 시점에서의 이미지를 그램 이미지라고 할 수 있다.
종래의 경우, 광대역 워터폴은 사용자의 육안을 통한 표적 식별을 위해 전시하는데 그쳤고, 표적 추적을 수행하기 위해서는 광대역 워터폴 전시 이전의 방위별 신호 세기 정보를 사용한 고전적인 기법(예를 들어, 칼만 필터를 적용한 기법)을 사용했다.
그램 이미지는 소나 시스템에 의하여 생성될 수 있다.
소나 시스템은 소나 센서, 소나 신호처리 장치(예를 들어, 신호처리부(110)), 소나 전시 장치를 포함할 수 있고, 소나 전시 장치는 광대역 워터폴 전시 화면을 캡쳐하는 방식으로 그램 이미지를 생성하여 전시할 수 있다.
그램 이미지는 소나 센서의 광대역 신호처리 결과에 따른 광대역 탐지 그램으로 다수의 표적 궤적이 그램 이미지에 나타날 수 있으나, 수중음향환경과 표적 신호의 특성에 따라서 일부 구간에서 표적 궤적이 소실될 수도 있다.
이미지 표현부(120)는 x축에 대응하여 방위를 나타내고, y축에 대응하여 시간을 나타내고, 색상의 채도를 이용하여 수신한 소나 센서 신호의 세기를 나타내는 방식으로 워터폴 표현으로 표시된 이미지를 표현할 수 있다. 예를 들어, 이미지 표현부(120)는 ㅅ신한 소나 센서 신호의 세기가 클수록 높은 값의 채도를 이용하여 이미지를 표현할 수 있다.
이미지 표현부(120)는 광대역 신호처리 결과를 시간별로 누적하여 방위에 대한 수신 신호의 세기를 BTR(Bearing Time Recorder) 이미지로 표현할 수 있다.
도 4의 (a)는 본 발명의 일 실시예에 따라, 이미지 표현부(120)에 의하여 표현된 광대역 워터폴을 도시한 도면이다.
전처리부(130)는 워터폴 표현으로 표시된 이미지를 데이터 세트로서 수집하고, 수집된 데이터 세트에 대하여 픽셀 단위로 레이블(label)을 지정하여 훈련 세트를 생성할 수 있다.
제1 딥러닝 모듈(140)은 전처리부(130)에 의하여 수집된 데이터 세트 및 전처리부(130)에 의하여 생성된 훈련 세트를 기반으로 딥러닝을 수행하여 객체를 표적의 방위 궤적 이미지와 주변 소음 이미지로 분류할 수 있다. 예를 들어, 제1 딥러닝 모듈(140)은 전처리부(130)에 의하여 수집된 데이터 세트 및 전처리부(130)에 의하여 생성된 훈련 세트를 기반으로 딥러닝 기반의 객체 분할 알고리즘을 적용하여 객체를 표적의 방위 궤적 이미지와 주변 소음 이미지로 분류할 수 있다.
제1 딥러닝 모듈(140)은 전처리부(130)에 의하여 수집된 데이터 세트 및 전처리부(130)에 의하여 생성된 훈련 세트를 바탕으로 시맨틱 분할(Semantic Segmentation) 딥러닝을 수행하여 객체를 분류할 수 있다.
제1 딥러닝 모듈(140)은 이미지 표현부(120)에 의하여 생성된 광대역 워터폴 이미지를 입력 받아 시맨틱 분할(Semantic Segmentation) 네트워크 딥러닝 기법을 적용하여 표적의 방위 궤적과 주변 소음 이미지를 분리할 수 있다.
제1 딥러닝 모듈(140)은 그램 이미지를 이용하여 시맨틱 분할(Semantic Segmentation) 네트워크 딥러닝 기법을 적용하여 표적의 방위 궤적과 주변 소음 이미지를 분리할 수도 있다.
제1 딥러닝 모듈(140)은 표적의 방위 궤적과 주변 소음 이미지를 분리한 결과, 복수의 표적 방위 궤적이 분할된 경우, 각기 다른 색깔로 표현하는 방식으로 복수의 표적 방위 궤적을 나타낼 수 있다.
도 4의 (b)는 본 발명의 일 실시예에 따라, 제1 딥러닝 모듈(140)에 의하여 표적의 방위 궤적과 주변 소음 이미지가 분할된 결과를 나타내는 도면이다.
참조부호 200은 표적의 방위 궤적을 나타낸다.
도 5는 제1 딥러닝 모듈(140)에 의하여 표적의 방위 궤적과 주변 소음 이미지 분리의 대상이 되는 그램 이미지를 나타내는 도면이다. 도 5를 참조하면, 그램 이미지의 일부 방위 표적 궤적에 소실 구간이 나타남을 추정할 수 있다.
도 6은 제1 딥러닝 모듈(140)에 의하여 수행되는 시맨틱 분할(Semantic Segmentation) 네트워크 딥러닝 기법을 나타내는 모식도이다.
도 7은 입력 그램 이미지에 있어서 제1 딥러닝 모듈(140)에 의한 표적의 방위 궤적과 주변 소음 이미지 분리 결과를 나타내는 도면이다. 도 7을 참조하면, 입력 그램 이미지의 일부 방위 표적 궤적에 소실 구간이 나타남을 확인할 수 있다.
제1 딥러닝 모듈(140)이 시맨틱 분할(Semantic Segmentation) 딥러닝 기법(예를 들어, 심층 분할 네트워크(Deep Segmentation Network) 등의 딥러닝 기법)을 광대역 워터폴(또는, 그램 이미지)에 적용하는 경우, 광대역 워터폴(또는, 그램 이미지)은 방위각 궤적의 픽셀과 주변 배경소음의 픽셀로 구분(Segmentation)될 수 있다.
제2 딥러닝 모듈(150)은 딥러닝 기법을 적용하여 분류된 표적의 방위 궤적 이미지를 보정할 수 있다.
도 2를 참조하면, 제2 딥러닝 모듈(150)은 제2-1 딥러닝 모듈(151) 및 제2-2 딥러닝 모듈(152)를 포함할 수 있다.
제2 딥러닝 모듈(150)은 저탐지 표적, 변침 표적 및 불연속적인 방위 표적 궤적을 연속적이고 정확하게 추적하기 위하여 딥러닝 기법을 적용할 수 있다.
제1 딥러닝 모듈(140)에 의하여 적용되는 1차적으로 사용한 시맨틱 분할 네트워크 딥러닝은 화질의 저하, 방위 표적 궤적의 불연속성과 같은 문제점이 나타날 수 있는데, 제2 딥러닝 모듈(150)은 이를 보완하기 위한 동작을 수행할 수 있다.
제2-1 딥러닝 모듈(151)은 분류된 표적의 방위 궤적 이미지의 화질을 개선할 수 있다. 제2-1 딥러닝 모듈(151)은 다일레이티드 컨볼루션(Dilated Convolution) 기반의 뉴럴 네트워크를 사용하여 분류된 표적의 방위 궤적 이미지의 화질을 개선할 수 있다.
제2-1 딥러닝 모듈(151)은 다일레이티드 컨볼루션 네트워크를 이용하여 얇고 긴 형태의 전체 이미지를 관통하는 형태의 소나 방위 표적 추적 라인에 화질 저하를 보완할 수 있다.
제2-2 딥러닝 모듈(152)은 분류된 방위 표적 궤적 이미지 상에서 방위 표적 궤적의 불연속성을 보완할 수 있다. 제2-2 딥러닝 모듈(152)은 스페이셜 컨볼루션(Spatial Convolution) 기반의 뉴럴 네트워크를 사용하여 분류된 방위 표적 궤적 이미지 상에서 방위 표적 궤적의 불연속성을 보완할 수 있다.
제2-2 딥러닝 모듈(152)은 스페이셜 컨볼루션 네트워크를 이용하여 공간 정보가 특정 방향으로 전파되는 소나 표적의 방위 정보의 방향을 예측하여 궤적의 불연속성을 보완할 수 있다.
제2-1 딥러닝 모듈(151)과 제2-2 딥러닝 모듈(152)은 선택적으로 동작할 수 있고, 순차적으로 동작할 수도 있다. 예를 들어, 제2-1 딥러닝 모듈(151)만 동작할 수 있고, 제2-2 딥러닝 모듈(152)만 동작할 수 있으며, 순차적으로 동작하는 경우 제2-1 딥러닝 모듈(151)이 먼저 동작할 수 있고, 제2-2 딥러닝 모듈(152)이 먼저 동작할 수도 있다.
도 4의 (c)는 본 발명의 일 실시예에 따라, 제2 딥러닝 모듈(150)에 의하여 표적의 방위 궤적을 보정한 결과를 나타내는 도면이다.
참조부호 201은 보정된 표적의 방위 궤적을 나타낸다.
도 8은 제2 딥러닝 모듈(150)에 의하여 수행되는 다일레이티드 컨볼루션(Dilated Convolution) 네트워크 딥러닝 기법과 스페이셜 컨볼루션(Spatial Convolution) 네트워크 딥러닝 기법을 나타내는 모식도이다.
도 9는 입력 그램 이미지에 있어서 제2 딥러닝 모듈(150)에 의한 표적의 방위 궤적의 소실 구간을 보정한 결과를 나타내는 도면이다.
추적정보 제공부(160)는 분류된 표적의 방위 궤적 이미지를 기반으로 표적 추적 결과를 제공할 수 있다. 추적정보 제공부(160)는 외부에 위치한 디스플레이와 연동하여 운용자에게 표적 추적 결과 정보를 전시할 수 있다. 추적정보 제공부(160)는 도 9에 도시된 바와 같이 제2 딥러닝 모듈(150)에 의하여 표적의 방위 궤적의 소실 구간을 보정한 결과 및 화질을 개선한 결과를 전시하는 방식으로 운용자에게 표적 추적 결과 정보를 전시할 수 있다.
도 4의 (c)는 본 발명의 일 실시예에 따라, 추적정보 제공부(160)에 의하여 제공되는 표적의 추적 결과를 나타내는 도면이다. 도 4의 (c)를 참조하면, 추적정보 제공부(160)는 생성된 워터폴 위에 보정된 표적의 방위 궤적을 추가적으로 도시하는 방식으로 표적의 추적 결과를 제공할 수 있다.
도 1에 도시된 모든 구성이 필수 구성요소는 아니며, 다른 실시예에서 딥러닝 기반 방위 표적 추적 장치(100)와 연결된 일부 구성이 추가, 변경 또는 삭제될 수 있다.
도 10은 본 발명의 일 실시예에 따른 딥러닝 기반 방위 표적 추적 장치에 샘플 이미지를 적용한 것을 나타내는 도면이다.
도 10은 본 발명의 딥러닝 기반 방위 표적 추적 장치에 의하여 수행되는 방위 표적 추적 방법을 이미지 입력 샘플에 대해서 적용한 것으로 표적의 궤적을 정답 이미지에 맞게 학습한 후 결과를 확인 할 수 있다.
도 11은 딥러닝 기법 적용 이후에 수행되는 방위 표적의 추출 원리를 설명하기 위한 도면이다.
제1 딥러닝 모듈(140)은 딥러닝 기법 적용 이후에 표적의 방위 궤적을 나타내는 라인과 배경 잡음 사이의 분할 결과를 기반으로 픽셀의 신호세기 정보를 스캔별로 누적할 수 있다. 제1 딥러닝 모듈(140)은 표적의 방위 궤적을 나타내는 라인의 픽셀의 신호세기 정보를 스캔별로 로그 형태로 저장하고, 누적된 값이 가장 큰 픽셀을 선택하는 방식으로 방위 표적 궤적을 추출할 수 있다.
본 발명의 일 실시예에 따르면, 제1 딥러닝 모듈(140)은 딥러닝 기법을 적용한 후에 표적을 추출하기 위하여 시간 k 시점에서의 i번째 픽셀에 저장되는 데이터를 나타내는 하기 <수학식 1>을 이용할 수 있다.
여기서, 는 i번째 픽셀의 신호세기 정보가 표적일 확률을 나타낼 수 있고, 는 i번째 픽셀의 신호세기 정보가 표적이 아닐 확률일 수 있다. Ik는 시간 k에서의 i번째 픽셀의 누적된 신호세기 정보를 나타낼 수 있고, Zk는 시간 k에서의 i번째 픽셀의 방위값을 나타낼 수 있고, xk는 시간 k에서의 i번째 픽셀의 유효한 측정치 영역을 나타낼 수 있다. 본 발명에서의 측정치는 제1 딥러닝 모듈(140)이 시맨틱 분할(Semantic Segmentation) 딥러닝 기법을 광대역 워터폴(또는 그램 이미지)에 적용하여 구분한 방위각 궤적의 픽셀의 밝기값을 의미할 수 있다. 측정치 영역은 제1 딥러닝 모듈(140)이 수행하는 딥러닝 기법을 통해 분리된 방위각 궤적의 픽셀로 구성되는 영역을 의미할 수 있다.
일 실시예에 따르면, 와 각각의 확률 분포는 사용자 및 운용자에 의하여 임의로 정의될 수 있고, 미리 결정될 수 있다.
제1 딥러닝 모듈(140)은 상기 <수학식 1>을 이용하여 해당 측정치 영역에 존재하는 픽셀들을 중에서 가장 누적 신호세기가 큰 측정치를 선택하는 방식으로 표적에 해당하는 픽셀을 추출할 수 있다.
여기서, 신호세기는 제1 딥러닝 모듈(140)이 수행하는 딥러닝 기법을 통해 분리된 방위각 궤적의 픽셀에서 밝기로 나타날 수 있다.
도 12는 본 발명의 일 실시예에 따라 딥러닝 기반 방위 표적 추적 장치에 의하여 수행되는 딥러닝 기반 방위 표적 추적 방법을 설명하기 위한 흐름도이다.
S100 단계에서, 신호처리부(110)가, 외부로부터 소나 센서 신호를 수신하고, 수신한 소나 센서 신호에 방위 별 빔 형성을 수행하여 빔 데이터를 생성하는 단계를 수행할 수 있다.
S200 단계에서, 이미지 표현부(120)가, 생성된 빔 데이터를 시간 순서에 대응하여 누적하는 방식으로 연속된 방위각 궤적들의 워터폴 표현(waterfall representation)으로 표시하는 단계를 수행할 수 있다.
S300 단계에서, 전처리부(130)가, 워터폴 표현으로 표시된 이미지를 데이터 세트로서 수집하고, 수집된 데이터 세트에 대하여 픽셀 단위로 레이블(label)을 지정하여 훈련 세트를 생성하는 단계를 수행할 수 있다.
S400 단계에서, 제1 딥러닝 모듈(140)이, 데이터 세트 및 훈련 세트를 기반으로 딥러닝을 수행하여 객체를 표적의 방위 궤적 이미지와 주변 소음 이미지로 분류하는 단계를 수행할 수 있다.
S500 단계에서, 추적정보 제공부(160)가, 분류된 표적의 방위 궤적 이미지를 기반으로 표적 추적 결과를 제공하는 단계를 수행할 수 있다.
도 12에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 12에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.
본 출원은 컴퓨터 저장 매체도 제공한다. 컴퓨터 저장 매체에는 프로그램 명령이 저장되어 있고, 프로세서에 의해 프로그램 명령이 실행되면, 상술한 딥러닝 기반 방위 표적 추적 방법이 실현된다.
본 발명의 일 실시예에 따른 컴퓨터 저장 매체는 U디스크, SD카드, PD광학 드라이브, 모바일 하드 디스크, 대용량 플로피 드라이브, 플래시 메모리, 멀티미디어 메모리 카드, 서버 등일 수 있지만 반드시 이에 한정되는 것은 아니다.
본 발명은 탐지 커브를 기반으로 하지 않고, 광대역 탐지 방위 워터폴 그램 이미지를 이용하여 방위 표적의 궤적을 추적할 수 있고, 저탐지 소나 표적(탐지 환경이 열악한 상황)에서도 딥러닝 기법을 이용하여 자동으로 소나 표적의 방위 추적을 수행할 수 있다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록 매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록 매체로서는 자기기록매체, 광 기록매체 등이 포함될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
100: 딥러닝 기반 방위 표적 추적 장치
110: 신호처리부
120: 이미지 표현부
130: 전처리부
140: 제1 딥러닝 모듈
150: 제2 딥러닝 모듈
151: 제2-1 딥러닝 모듈
152: 제2-2 딥러닝 모듈
160: 추적정보 제공부

Claims (13)

  1. 외부로부터 소나 센서 신호를 수신하고, 상기 수신한 소나 센서 신호에 방위 별 빔 형성을 수행하여 빔 데이터를 생성하는 신호처리부;
    상기 생성된 빔 데이터를 시간 순서에 대응하여 누적하는 방식으로 연속된 방위각 궤적들의 워터폴 표현(waterfall representation)으로 표시하는 이미지 표현부;
    상기 워터폴 표현으로 표시된 이미지를 데이터 세트로서 수집하고, 상기 수집된 데이터 세트에 대하여 픽셀 단위로 레이블(label)을 지정하여 훈련 세트를 생성하는 전처리부;
    상기 데이터 세트 및 상기 훈련 세트를 기반으로 딥러닝을 수행하여 객체를 표적의 방위 궤적 이미지와 주변 소음 이미지로 분류하는 제1 딥러닝 모듈; 및
    상기 분류된 표적의 방위 궤적 이미지를 기반으로 표적 추적 결과를 제공하는 추적정보 제공부;를 포함하는 딥러닝 기반 방위 표적 추적 장치.
  2. 제1항에 있어서,
    상기 제1 딥러닝 모듈은,
    상기 데이터 세트 및 상기 훈련 세트를 바탕으로 시맨틱 분할(Semantic Segmentation) 딥러닝을 수행하여 객체를 분류하는 것을 특징으로 하는 딥러닝 기반 방위 표적 추적 장치.
  3. 제1항에 있어서,
    딥러닝 기법을 적용하여 상기 분류된 표적의 방위 궤적 이미지를 보정하는 제2 딥러닝 모듈;를 더 포함하는 것을 특징으로 하는 딥러닝 기반 방위 표적 추적 장치.
  4. 제3항에 있어서,
    상기 제2 딥러닝 모듈은,
    상기 분류된 표적의 방위 궤적 이미지의 화질을 개선하는 제2-1 딥러닝 모듈; 및
    상기 분류된 방위 표적 궤적 이미지 상에서 방위 표적 궤적의 불연속성을 보완하는 제2-2 딥러닝 모듈;을 포함하는 것을 특징으로 하는 딥러닝 기반 방위 표적 추적 장치.
  5. 제4항에 있어서,
    상기 제2-1 딥러닝 모듈은,
    다일레이티드 컨볼루션(Dilated Convolution) 기반의 뉴럴 네트워크를 사용하여 상기 분류된 표적의 방위 궤적 이미지의 화질을 개선하는 것을 특징으로 하는 딥러닝 기반 방위 표적 추적 장치.
  6. 제4항에 있어서,
    상기 제2-2 딥러닝 모듈은,
    스페이셜 컨볼루션(Spatial Convolution) 기반의 뉴럴 네트워크를 사용하여 상기 분류된 방위 표적 궤적 이미지 상에서 방위 표적 궤적의 불연속성을 보완하는 것을 특징으로 하는 딥러닝 기반 방위 표적 추적 장치.
  7. 제1항에 있어서,
    상기 이미지 표현부는,
    x축에 대응하여 방위를 나타내고, y축에 대응하여 시간을 나타내고, 색상의 채도를 이용하여 상기 수신한 소나 센서 신호의 세기를 나타내는 방식으로 상기 워터폴 표현으로 표시된 이미지를 표현하는 것을 특징으로 하는 딥러닝 기반 방위 표적 추적 장치.
  8. 딥러닝 기반 방위 표적 추적 장치에서 수행되는 방위 표적 추적 방법에 있어서,
    신호처리부가, 외부로부터 소나 센서 신호를 수신하고, 상기 수신한 소나 센서 신호에 방위 별 빔 형성을 수행하여 빔 데이터를 생성하는 단계;
    이미지 표현부가, 상기 생성된 빔 데이터를 시간 순서에 대응하여 누적하는 방식으로 연속된 방위각 궤적들의 워터폴 표현(waterfall representation)으로 표시하는 단계;
    전처리부가, 상기 워터폴 표현으로 표시된 이미지를 데이터 세트로서 수집하고, 상기 수집된 데이터 세트에 대하여 픽셀 단위로 레이블(label)을 지정하여 훈련 세트를 생성하는 단계;
    제1 딥러닝 모듈이, 상기 데이터 세트 및 상기 훈련 세트를 기반으로 딥러닝을 수행하여 객체를 표적의 방위 궤적 이미지와 주변 소음 이미지로 분류하는 단계; 및
    추적정보 제공부가, 상기 분류된 표적의 방위 궤적 이미지를 기반으로 표적 추적 결과를 제공하는 단계;를 포함하는 딥러닝 기반 방위 표적 추적 방법.
  9. 제8항에 있어서,
    상기 제1 딥러닝 모듈이 표적의 방위 궤적 이미지와 주변 소음 이미지로 분류하는 단계는,
    상기 데이터 세트 및 상기 훈련 세트를 바탕으로 시맨틱 분할(Semantic Segmentation) 딥러닝을 수행하여 객체를 분류하는 것을 특징으로 하는 딥러닝 기반 방위 표적 추적 방법.
  10. 제8항에 있어서,
    제2 딥러닝 모듈이, 딥러닝 기법을 적용하여 상기 분류된 표적의 방위 궤적 이미지를 보정하는 단계;를 더 포함하는 것을 특징으로 하는 딥러닝 기반 방위 표적 추적 방법.
  11. 제10항에 있어서,
    상기 제2 딥러닝 모듈이 표적의 방위 궤적 이미지를 보정하는 단계는,
    제2-1 딥러닝 모듈이, 상기 분류된 표적의 방위 궤적 이미지의 화질을 개선하는 단계; 및
    제2-2 딥러닝 모듈이, 상기 분류된 방위 표적 궤적 이미지 상에서 방위 표적 궤적의 불연속성을 보완하는 단계;를 포함하는 것을 특징으로 하는 딥러닝 기반 방위 표적 추적 방법.
  12. 제11항에 있어서,
    상기 제2-1 딥러닝 모듈이, 상기 분류된 표적의 방위 궤적 이미지의 화질을 개선하는 단계는,
    다일레이티드 컨볼루션(Dilated Convolution) 기반의 뉴럴 네트워크를 사용하여 상기 분류된 표적의 방위 궤적 이미지의 화질을 개선하는 것을 특징으로 하고,
    상기 제2-2 딥러닝 모듈이, 상기 분류된 방위 표적 궤적 이미지 상에서 방위 표적 궤적의 불연속성을 보완하는 단계는,
    스페이셜 컨볼루션(Spatial Convolution) 기반의 뉴럴 네트워크를 사용하여 상기 분류된 방위 표적 궤적 이미지 상에서 방위 표적 궤적의 불연속성을 보완하는 것을 특징으로 하는 딥러닝 기반 방위 표적 추적 방법.
  13. 수중운동체에 탑재되는 딥러닝 기반 방위 표적 추적 시스템에 있어서,
    외부로부터 소나 센서 신호를 수신하고, 상기 수신한 소나 센서 신호를 방위 별 빔 형성을 수행하여 빔 데이터를 생성하는 신호처리부, 상기 생성된 빔 데이터를 시간 순서에 대응하여 누적하는 방식으로 연속된 방위각 궤적들의 워터폴 표현(waterfall representation)으로 표시하는 이미지 표현부, 상기 워터폴 표현으로 표시된 이미지를 데이터 세트로서 수집하고, 상기 수집된 데이터 세트에 대하여 픽셀 단위로 레이블(label)을 지정하여 훈련 세트를 생성하는 전처리부, 상기 데이터 세트 및 상기 훈련 세트를 기반으로 딥러닝을 수행하여 객체를 표적의 방위 궤적 이미지와 주변 소음 이미지로 분류하는 제1 딥러닝 모듈 및 상기 분류된 표적의 방위 궤적 이미지를 기반으로 표적 추적 결과를 제공하는 추적정보 제공부를 포함하는 딥러닝 기반 방위 표적 추적 장치; 및
    상기 수중운동체에 탑재되고, 수중음향신호를 탐지하여 상기 탐지한 수중음향신호를 상기 딥러닝 기반 방위 표적 추적 장치로 송신하는 소나 센서;를 포함하는 딥러닝 기반 방위 표적 추적 시스템.
KR1020220091083A 2022-07-22 2022-07-22 딥러닝 기반 방위 표적 추적 장치 및 방법 KR102651048B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220091083A KR102651048B1 (ko) 2022-07-22 2022-07-22 딥러닝 기반 방위 표적 추적 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220091083A KR102651048B1 (ko) 2022-07-22 2022-07-22 딥러닝 기반 방위 표적 추적 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20240013491A KR20240013491A (ko) 2024-01-30
KR102651048B1 true KR102651048B1 (ko) 2024-03-25

Family

ID=89715276

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220091083A KR102651048B1 (ko) 2022-07-22 2022-07-22 딥러닝 기반 방위 표적 추적 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102651048B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101152987B1 (ko) 2009-06-09 2012-06-04 아틀라스 엘렉트로닉 게엠베하 시간상으로 연속된 방위각들을 검출하고 추적하기 위한 방향 탐지 방법 및 방향 탐지 시스템
KR102080306B1 (ko) 2019-06-05 2020-02-21 한화시스템 주식회사 신호처리장치, 광대역 신호의 방향탐지 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101152987B1 (ko) 2009-06-09 2012-06-04 아틀라스 엘렉트로닉 게엠베하 시간상으로 연속된 방위각들을 검출하고 추적하기 위한 방향 탐지 방법 및 방향 탐지 시스템
KR102080306B1 (ko) 2019-06-05 2020-02-21 한화시스템 주식회사 신호처리장치, 광대역 신호의 방향탐지 시스템 및 방법

Also Published As

Publication number Publication date
KR20240013491A (ko) 2024-01-30

Similar Documents

Publication Publication Date Title
CN107491731B (zh) 一种面向精确打击的地面运动目标检测与识别方法
CN110146865B (zh) 用于雷达图像的目标识别方法及装置
US20180268556A1 (en) Method for detecting moving objects in a video having non-stationary background
US9244159B1 (en) Distinguishing between maritime targets and clutter in range-doppler maps
CA2849022C (en) Method for automated real-time acquisition of marine mammals
Chen et al. Advanced automatic target recognition (ATR) with infrared (IR) sensors
CN108765460A (zh) 基于高光谱图像的空时联合异常检测方法和电子设备
US20110103642A1 (en) Multipass Data Integration For Automatic Detection And Classification Of Objects
WO2020178668A1 (en) System and method for day and night time pedestrian detection
US20100310120A1 (en) Method and system for tracking moving objects in a scene
KR102651048B1 (ko) 딥러닝 기반 방위 표적 추적 장치 및 방법
KR20150045679A (ko) 차량 번호판 검출 장치 및 방법
Kumar et al. Saliency subtraction inspired automated event detection in underwater environments
US20200394802A1 (en) Real-time object detection method for multiple camera images using frame segmentation and intelligent detection pool
CN110728249A (zh) 目标行人的跨摄像机识别方法、装置及系统
Akter et al. An explainable multi-task learning approach for rf-based uav surveillance systems
Wainwright et al. Fusion of morphological images for airborne target detection
KR102136245B1 (ko) 표적 탐지 및 포착을 위한 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
Ojdanić et al. Parallel architecture for low latency UAV detection and tracking using robotic telescopes
JP7221454B2 (ja) 識別装置、学習装置およびモデル生成方法
KR102168438B1 (ko) 드론을 이용한 비정상 활동 감지 방법 및 서버
Cruz et al. Image saliency applied to infrared images for unmanned maritime monitoring
AU2021277144B2 (en) System and methods for early detection of non-biological mobile aerial target
US20230267749A1 (en) System and method of segmenting free space based on electromagnetic waves
Raji et al. Analgorithmic Framework for Automatic Detection and Tracking Moving Point Targets in IR Image Sequences.

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant