KR102312037B1

KR102312037B1 - 인공지능 기반 수중방사소음 변환 시스템

Info

Publication number: KR102312037B1
Application number: KR1020210055548A
Authority: KR
Inventors: 박승규
Original assignee: 대한민국
Priority date: 2021-04-29
Filing date: 2021-04-29
Publication date: 2021-10-14

Abstract

본 발명의 일 실시예에 따른 인공지능 기반 수중방사소음 변환 시스템은 변환 대상인 실시간 자체 소음을 수신하는 수신부, 수신된 소음을 바탕으로 목표 소음으로 변환에 필요한 추가 소음을 계산하는 신호처리부, 계산된 추가 소음을 수중으로 방사하는 출력부로 구성되며, 상기 신호처리부는 수신된 자체 소음정보를 목표 소음정보로 변환하는 과정을 학습한 인공지능 모델, 상기 인공지능 모델의 결과값을 이용하여 목표 소음으로 변환을 위해 수신된 자체 소음에서 추가로 생성해야하는 소음성분을 계산하는 추가소음 생성기로 구성된다.
상기 수신부에 실시간 수중방사소음이 입력되고, 상기 신호변환기가 목표 소음으로 변환에 필요한 추가 소음성분을 계산하고, 상기 출력부가 계산된 소음성분을 수중으로 방사하여 정형화된 목표 소음을 방사하는 것보다 상대가 더욱 식별하기 어렵도록 한다.
본 발명에 따르면, 함정 등의 운용자가 원하는 시점에 현재 함정 등의 수중방사소음을 변환하고자 하는 선박 또는 해양생물 등의 소음으로 실시간 위장하여 방사함으로써 상대방의 식별을 어렵게 하고 함정 등의 작전성 및 생존성을 향상시키는 효과가 있다.
또한 데이터베이스에 저장된 정형화된 위장 소음을 방사하는 것이 아니라 실시간으로 변형되는 위장 소음을 방사하므로 상대가 더 식별하기 어렵게 하는 효과가 있으며, 수중으로 위장 소음을 방사하는 출력부의 구성을 고주파 수중음향발생기 및 저주파 수중음향발생기로 구성하여 수중에 소음 방사 시 더 효과적으로 전달되는 효과가 있다.

Description

인공지능 기반 수중방사소음 변환 시스템{Deep learning based underwater noise transformation system}

본 발명은 인공지능 기반 수중방사소음 변환 시스템에 관한 것으로써, 보다 상세하게는 함정 등이 적에게 노출 또는 식별되는 것을 방지하기 위해 함정 등의 수중방사소음을 다른 함형(어선, 상선 등)의 소음 또는 해양생물 소음 등인 것처럼 변환할 수 있는 추가 소음을 발생시켜 상대방에 의한 함정 등의 식별 및 공격을 방지하고 작전성 및 생존성을 향상시킬 수 있는 기술에 관한 것이다.

모든 함정(수상함 및 잠수함 등)은 운항 시 추진기 및 발전기 등 각종 주/보기류 등의 작동으로 인해 특유의 수중방사소음(주파수 성분)을 발생시킨다.

여기서 발생되는 특유의 소음을 이용하여 음탐사 및 기타 수중음향 전문가의 수중소음 분석 및 식별이 이루어지고 있다.

국방, 조선기술 등의 발전으로 함정 등의 방사소음을 줄이려는 다양한 노력은 지속되고 있으나 완전히 없애는 것은 물리적으로 불가능하다.

대표적인 특정소음 발생 원인 중 하나인 추진기 소음의 경우 특성 노출을 회피하기 위해 프로펠러 설계를 변경하는 방안도 있지만 재설계 및 제작 비용, 효과 등을 고려하면 현실적이지 않다.

또한 최근 여러 국가에서 함정 등의 수중 방사소음을 고도의 인공지능 기법을 이용하여 식별하려는 노력이 계속되고 있으며, 이는 함정 등의 소음이 상대방에 게 수집되었다면 학습된 인공지능 모델에 의해 함정 등이 쉽게 식별되는 문제가 있다.

함정 등의 방사소음을 완전히 없앨 수 없다면 방사되는 소음을 다른 형태의 선박 또는 해양생물의 소음 등으로 위장하기 위해 수중방사소음에 추가소음을 발생시켜 위장을 할 수 있지만 기존의 위장 소음은 데이터 베이스에 저장된 형태 그대로 만들어지기 때문에 데이터 베이스에 저장된 샘플이 상대방에게 노출되거나 반복적인 방사 시 위장 신호임을 쉽게 식별할 수 있는 문제가 있다.

본 발명은 상술한 바와 같은 문제점을 해결하기 위한 것으로써, 함정 등의 수중 방사소음을 변환하고자 하는 위장 선박 또는 해양생물의 소음으로 변환하는 과정을 인공지능 모델에 학습하고, 학습된 모델을 이용하여 함정 등의 실시간 수중방사소음을 변환 대상의 위장 소음으로 변환 및 생성하여 추가 소음성분을 수중에 방사하여 최종적으로 상대방이 함정 등의 식별이 어렵도록 하여 함정 등의 작전성과 생존성을 향상시키는 수중방사소음 변환 시스템을 제공하기 위함이다.

본 발명의 일 실시예에 따른 인공지능 기반 수중방사소음 변환 시스템은 변환 대상인 실시간 자체 소음을 수신하는 수신부, 수신된 소음을 바탕으로 목표 소음으로 변환에 필요한 추가 소음을 계산하는 신호처리부, 계산된 추가 소음을 수중으로 방사하는 출력부로 구성되며, 상기 신호처리부는 수신된 자체 소음정보를 목표 소음정보로 변환하는 과정을 학습한 인공지능 모델, 상기 인공지능 모델의 결과값을 이용하여 목표 소음으로 변환을 위해 수신된 자체 소음에서 추가로 생성해야하는 소음성분을 계산하는 추가소음 생성기로 구성된다.

상기 수신부에 실시간 수중방사소음이 입력되고, 상기 신호처리부가 목표 소음으로 변환에 필요한 추가 소음성분을 계산하고, 상기 출력부가 계산된 소음성분을 수중으로 방사하여 정형화된 목표 소음을 방사하는 것보다 상대가 더욱 식별하기 어렵도록 한다.

또한 상기 신호처리부는 상기 수신부로부터 수신된 자체 소음을 시간-주파수 단위로 변환하여 상기 인공지능 모델로 전달하는 신호변환기를 추가로 포함할 수 있다.

또한 또한 상기 출력부는 고주파 수중음향발생기 및 저주파 수중음향발생기로 구성될 수 있다.

본 발명에 따르면, 함정 등의 운용자가 원하는 시점에 현재 함정 등의 수중방사소음을 변환하고자 하는 선박 또는 해양생물 등의 소음으로 실시간 위장하여 방사함으로써 상대방의 식별을 어렵게 하고 함정 등의 작전성 및 생존성을 향상시키는 효과가 있다.

또한 데이터베이스에 저장된 정형화된 위장 소음을 방사하는 것이 아니라 실시간으로 변형되는 위장 소음을 방사하므로 상대가 더 식별하기 어렵게 하는 효과가 있으며, 수중으로 위장 소음을 방사하는 출력부의 구성을 고주파 수중음향발생기 및 저주파 수중음향발생기로 구성하여 수중에 소음 방사 시 더 효과적으로 전달되는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 인공지능 기반 수중방사소음 변환 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 신호처리부(20)의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 인공지능 모델(22)이 작동되는 순서를 나타낸 것이다.
도 4는 본 발명의 일 실시예에 따른 Auto-Encoder를 사용하여 인공지능 모델(22)을 학습하는 과정을 나타낸 것이다.
도 5는 본 발명의 일 실시예에 따른 Auto-Encoder를 사용하여 인공지능 모델(22)을 학습하는 구체적인 과정을 나타낸 것이다.
도 6은 본 발명의 일 실시예에 따른 GAN 기반 소음 생성을 위한 식별자(Discriminator) 모델의 순서도를 나타낸 것이다.
도 7은 본 발명의 일 실시예에 따른 GAN 기반 소음 생성을 위한 생성자(Generator) 모델의 순서도를 나타낸 것이다.
도 8은 본 발명의 일 실시예에 따른 인공지능 모델(22) 학습에 사용된 원 소음과 목표 소음의 시간-주파수 분포를 나타낸 것이다.
도 9은 본 발명의 일 실시예에 따른 학습된 인공지능 모델(22)에 의해 출력된 목표 소음의 시간-주파수 분포를 나타낸 것이다.
도 10은 본 발명의 일 실시예에 따른 추가소음 생성기(23)가 생성해야 하는 시간-주파수 분포를 나타낸 것이다.
도 11는 본 발명의 일 실시예에 따른 인공지능 기반 수중방사소음 변환 시스템의 작동 순서도를 나타낸 것이다.

본문에 개시되어 있는 본 발명의 실시예들에 대하여, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니된다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다.

도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 인공지능 기반 수중방사소음 변환 시스템의 구성도이다.

본 발명의 일 실시예에 따른 인공지능 기반 수중방사소음 변환 시스템은 자체 함정 등의 소음을 수신하는 수신부(10)와 수신된 함정 등의 방사소음을 바탕으로 변환에 필요한 추가 소음을 계산하는 신호처리부(20), 계산된 추가소음을 수중으로 방사하는 출력부(30)로 구성된다.

본 발명의 일 실시예에 따른 수신부(10)는 함정 등의 운용상태, 즉 운행속력, 각종 주/보기류의 작동상태, 각종 기계적 구조물, 유체마찰 등에 의해 종합적으로 발생하는 방사소음을 측정할 수 있는 선체고정식음탐기, 선배열 예인형 소나, 수중 청음기 등의 형태로 구성될 수 있다.

선체고정식음탐기의 경우 선체에 부착된 형태로 사용되며, 선배열 예인형 소나 및 수중 청음기는 함정 등에서 강하하여 일정거리 이격된 상태에서 방사소음을 수신한다.

상기 수신부(10)를 통해 실시간으로 함정 등에서 방사되는 수중 방사소음을 디지털 음원형태로 신호처리부(20)로 전달한다.

도 2는 본 발명의 일 실시예에 따른 신호처리부(20)의 구성도이다.

본 발명의 일 실시예에 따른 신호처리부(20)는 디지털 음원을 주파수 단위로 분해하는 신호변환기(21), 주파수 단위로 분해된 정보를 이용하여 사전에 학습된 다른 형태의 선박 등 또는 해양생물 등으로 변환하는 인공지능 모델(22), 인공지능 모델(22)의 결과를 이용하여 함정 등의 방사소음에서 추가로 생성해야하는 주파수 성분을 계산하는 추가소음 생성기(23)로 구성된다.

상기 신호변환기(21)는 상기 수신부(10)로부터 수신된 디지털 음원을 STFT(Short-time Fourier transform), Mel-Spectrogram 등의 방법을 이용하여 주파수 성분을 추출할 수 있으며, 필요시 원 디지털 음원을 사용할 수도 있다.

소음 변환용 인공지능 모델(22)은 생성모델로서 Auto-Encoder, GAN(Generative Adversarial Network) 등으로 구성될 수 있으며, 함정 등과 비슷한 크기의 선박 또는 해양생물의 소음 등의 자료를 이용하여 학습을 수행한다.

도 3은 인공지능 모델(22)이 작동되는 순서를 나타낸 것이다.

본 발명의 일 실시예에 따른 인공지능 모델(22) 학습 순서의 실시예는 다음과 같다.

(1) 함정 등의 방사소음 자료(wav 등, 이하 원 소음)와 변환을 원하는 선박 또는 해양생물의 소음자료(이하 목표 소음)를 수집한다.

(2) 각각의 소음자료에서 주파수 성분을 추출한다(STFT, Mel-Spectrogram 등).

(3) 원 소음 신호와 목표 소음 신호를 비교하여, 원 소음 신호가 목표 소음 신호로 표현되기 위해 추가로 필요한 주파수 성분 등을 학습하는 2차원(시간-주파수) 기반 Noise Map 생성모델을 학습시킨다.

(4) 학습된 소음 생성모델은 원 소음을 실시간으로 입력받아 목표 소음으로 변환에 필요한 시간-주파수 성분(Noise Map)을 계산하고, 이 Noise Map을 소음 신호로 역변환(i-STFT)하여 해당 목표 소음을 생성한다.

본 발명의 일 실시예에 따른 인공지능 모델(22)의 또다른 실시예는 다음과 같다.

학습모델로 비지도 학습 생성모델인 오토인코더(Auto-Encoder)를 사용하였으며, 수중 방사소음의 특징 추출기법으로 STFT를 사용하였고, 실시예의 학습 모식도는 도 4와 같다.

(1) 인공지능 학습에 사용될 원 소음과 변환시키고자 하는 목표 소음의 방사소음 자료를 STFT 기법에 의거하여 시간-주파수 단위로 변환한다.

이때 기본 음원의 Sampling Rate는 22,050Hz이며, FFT 계수는 256, 중첩 크기는 약 80%를 적용할 수 있다.

(2) 원 소음과 목표 소음의 시간-주파수 단위로 변환된 자료는 상호간 변환을 위해 도 5와 같은 인공지능 모델의 학습자료로 사용된다.

도 5는 본 발명의 일 실시예를 나타내기 위한 모식도로, 인공지능 모델은 DNN, CNN, LSTM 등 여러 인공지능 모델로 구성 또는 결합된 레이어가 단독 또는 복수의 계층으로 사용될 수 있다.

(3) 도 5의 인공지능 모델은 STFT 기법 등을 이용하여 시간-주파수 단위로 분해된 원 소음을 입력받아 잠재공간으로 주파수 특징을 압축(Encoding) 시키고, 다시 압축해제(Decoding)를 하면서 목표 소음과 일치하도록 학습한다.

(4) 상기 (3)의 과정 반복을 통해 인공지능 모델은 원 소음으로부터 목표 소음으로 변환시킬 수 있는 잠재표현을 학습한다.

본 발명의 일 실시예에 따른 적대적 생성 신경망(GAN, Generative Adversarial Network)으로 학습된 인공지능 모델(22)의 실시예는 다음과 같다.

(1) 인공지능 학습에 사용될 원 소음(Source Noise)과 변환시키고자 하는 목표 소음(Target Noise)의 소음자료를 확보한다.

(2) 각각의 소음자료에서 주파수 성분을 추출한다.

이때 주파수 성분 추출에는 STFT 또는 MFCC(Mel Frequency Cepstral Coefficients), GFCC(Gammatone Frequency Cepstral Coefficients), Mel 또는 Gammantone 등 기법을 통한 Spectrogram 기법 등이 사용될 수 있다.

(3) 추출된 자료를 이용하여 GAN 모델을 학습시킨다.

본 발명의 일 실시예에 따른 GAN을 구성하는 모델 중 식별자 모델은 도 6과 같이 구성될 수 있으며, 모델의 세부 구성은 CNN, BatchNormalization, Relu, Dropout, Pool 등 각 레이어의 사용여부와 구성 등에 따라 달라질 수 있다.

식별자 모델은 원 소음자료와 목표 소음자료를 동시에 입력받으며, 원 소음자료와 목표 소음자료의 진짜 자료로 구성된 자료를 레이블 1로, 원 소음자료와 생성자 모델이 생성한 가짜 자료로 구성된 자료를 레이블 0으로 구별하도록 학습한다.

생성자 모델은 도 7과 같이 구성될 수 있으며, 모델의 세부 구성은 CNN, BatchNormalization, Relu, Dropout, Pool 등 각 레이어의 사용여부와 구성 등에 따라 달라질 수 있다.

생성자 모델은 잠재표현(Random 값)으로부터 생성한 가짜 자료가 목표 소음의 주파수 성분과 일치하도록 자료를 생성하는 방법을 학습하며, 이 과정의 반복을 통해 식별자 모델이 진짜 자료로 인식하도록 학습이 수행된다.

GAN 모델의 학습은 상기 기술한 과정을 통해 식별자 모델과 생성자 모델이 서로 속이고 구별하기 위해 경쟁적으로 학습함으로써 생성자 모델은 높은 수준의 모방자료를 생성할 수 있게 된다.

본 발명의 일 실시예에 따른 학습결과는 다음과 같다.

(1) 학습에 사용된 원 소음과 목표 소음 각각의 시간-주파수 분포는 도 8과 같다.

(2) 본 발명의 일 실시예에 따라 학습된 인공지능 모델의 시간-주파수 분포의 출력물은 도 9과 같다.

학습 데이터로 사용된 USS San Juan의 소음(원 소음)을 통해 인공지능 모델이 생성한 Noise와 실제 Pirata De Cies 여객선(목표 소음)의 주파수를 비교해보면 동 시간대역에 나타나는 Pirata De Cies의 주파수 특징을 제대로 학습하여 생성하였음을 확인할 수 있다.

(3) 원 소음을 목표 소음으로 변환하기 위해 추가소음 생성기(23)가 생성해야 하는 시간-주파수 분포는 도 10과 같다.

(4) 인공지능 모델은 실시간 원 소음을 이용하여 목표 소음으로 위장하기 위해 (3)의 Noise Map을 지속적으로 계산하며, 해당 Noise Map의 주파수 성분은 i-STFT를 통해 역변환되어 출력부(30)를 통해 수중 공간으로 방사된다.

본 발명에서는 목표 소음을 생성하기 위해 기구축된 데이터베이스가 아닌 사전 학습된 인공지능 모델을 이용한다는 점에서 생성된 목표 소음이 확률분포에 의한 계산 결과로써 목표 소음의 특성을 포함하며 매번 다른 결과가 나온다.

본 발명의 일 실시예에 따른 추가소음 생성기(23)는 실시간 수집된 함정 등의 방사소음과 인공지능 모델이 생성한 소음의 차이값을 계산하여 출력부(30)로 전달한다.

본 발명의 일 실시예에 따른 출력부(30)는 신호처리부(20)에서 생성한 추가 소음을 실시간으로 전달받아 수중공간으로 방사한다.

상기 출력부(30)는 저주파 수중음향발생기 및 고주파 수중음향발생기로 구성될 수 있으며, 일정시간 단위로 분할되어 전달되는 신호처리부의 추가 소음을 연속적으로 방사하도록 구성될 수 있다.

수중음향신호를 고주파 신호와 저주파 신호로 나누어 방사 시 하나의 수중음향발생기로 방사하는 것보다 신호가 수중에서 더 잘 전달된다.

본 발명의 일 실시예에 따른 출력부(30)는 기존 개발된 구형 음향발생기를 포함하는 고주파 수중음향발생기와 가동 코일형 음향발생기를 포함하는 저주파 수중음향발생기로 구성될 수 있다.

도 11는 본 발명의 일 실시예에 따른 시스템 작동 순서도를 나타낸 것이다.

Class A, B 또는 C는 목표 소음의 종류를 나타낸 것이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

따라서 본 발명의 사상은 특허청구범위에 의해서만 파악되어야 하고, 이와 균등하거나 또는 등가적인 변형 모두는 본 발명의 사상의 범주에 속한다고 할 것이다.

10 : 수신부
20 : 신호처리부
21 : 신호변환기
22 : 인공지능 모델
23 : 추가소음 생성기
30 : 출력부

Claims

변환 대상인 실시간 자체 소음을 수신하는 수신부;
수신된 소음을 바탕으로 목표 소음으로 변환에 필요한 추가 소음을 계산하는 신호처리부;
계산된 추가 소음을 수중으로 방사하는 출력부로 구성되며,
상기 신호처리부는 수신된 자체 소음정보를 목표 소음정보로 변환하는 과정을 학습한 인공지능 모델;
상기 인공지능 모델의 결과값을 이용하여 목표 소음으로 변환을 위해 수신된 자체 소음에서 추가로 생성해야하는 소음성분을 계산하는 추가소음 생성기로 구성되며,
상기 수신부에 실시간 수중방사소음이 입력되고, 상기 신호처리부가 목표 소음으로 변환에 필요한 추가 소음성분을 계산하고, 상기 출력부가 계산된 소음성분을 수중으로 방사하여 정형화된 목표 소음을 방사하는 것보다 상대가 더욱 식별하기 어렵도록 한 것을 특징으로 한 인공지능 기반 수중방사소음 변환 시스템
제1항에 있어서,
상기 신호처리부는 상기 수신부로부터 수신된 자체 소음을 시간-주파수 단위로 변환하여 상기 인공지능 모델로 전달하는 신호변환기를 추가로 포함한 것을 특징으로 하는 인공지능 기반 수중방사소음 변환 시스템
제1항 또는 제2항에 있어서,
상기 인공지능 모델은,
함정의 자체 소음자료 및 변환을 원하는 선박 또는 해양생물의 목표 소음자료를 이용하여,
오토인코더 방식으로 자체 소음자료가 목표 소음자료와 소음특성이 일치되도록 변환하는 과정을 학습하여,
실시간으로 수신된 자체 소음자료로부터 목표 소음자료와 동일한 소음특성을 가진 소음자료를 비정형적으로 출력하는 것을 특징으로 하는 인공지능 기반 수중방사소음 변환 시스템
제1항 또는 제2항에 있어서,
상기 인공지능 모델은,
함정의 자체 소음자료 및 변환을 원하는 선박 또는 해양생물의 목표 소음자료를 이용하여,
적대적 생성 신경망 방식으로, 식별자 모델과 생성자 모델이 경쟁적 학습 과정을 진행하여 생성자 모델이 목표 소음자료와 소음특성이 동일한 소음자료를 생성하도록 학습하여,
실시간으로 수신된 자체 소음자료로부터 목표 소음자료와 동일한 소음특성을 가진 소음자료를 비정형적으로 출력하는 것을 특징으로 하는 인공지능 기반 수중방사소음 변환 시스템
제1항 또는 제2항에 있어서,
상기 출력부는 고주파 수중음향발생기 및 저주파 수중음향발생기로 구성된 것을 특징으로 하는 인공지능 기반 수중방사소음 변환 시스템