KR102470615B1 - 소노부이 배치 정보를 제공하는 전자 장치 및 방법 - Google Patents

Abstract

본 개시의 전자 장치가 소노부이 배치 정보를 결정하는 방법은, 소정의 해역의 음향 환경에 관한 제1 이미지 정보 및 해역의 수온에 관한 제2 이미지 정보를 획득하는 단계; 제1 이미지 정보가 입력된 제1 뉴럴 네트워크의 출력을 기초로 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 제1 배치 정보를 확인하고, 제2 이미지 정보가 입력된 제2 뉴럴 네트워크의 출력을 기초로 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 제2 배치 정보를 확인하는 단계; 및 제1 배치 정보 및 제2 배치 정보를 기초로 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 최종 배치 정보를 결정하는 단계를 포함한다.

Description

소노부이 배치 정보를 제공하는 전자 장치 및 방법{ELECTRONIC APPARATUS AND METHOD FOR PROVIDING SONOBUOY DEPLOYMENT INFORMATION}

본 개시는 소노부이 배치 정보를 제공하는 전자 장치 및 방법에 관한 것이다.

소노부이(sonobuoy)를 사용한 잠수함 탐지는 현재 급증하는 적군 잠수함의 잠재적 SLBM 위협으로부터 아군과 국익을 보호할 수 있는 실질적으로 유효한 방법이 될 수 있으며, 지정된 임무 지역 내에서 구체적으로 어디에 얼마나 한정된 자산(소노부이 투하 허용 개수)을 어떻게 배분하여 투하하는 지에 대한 방침을 정하는 것이 중요하다. 현재 소노부이 투하 정보 선정은 수집된 데이터를 기반으로 사람의 직관과 투하교리를 반영하여 결정된다. 사람의 최종결심으로 인한 선정은 human error 및 감정 차이, 숙련도 차이 등 많은 차이를 동반할 수 있으며, 그 중에서 숙련자와 비숙련자간의 능력치는 많은 차이가 있을 수 있다.

앞서 설명한 것과 같이 임무 구역으로 정해진 바다에 사람의 경험 및 교리를 바탕으로 예감을 기반으로 하는 투하방법은 숙련자 및 비숙련자를 막론하고 어려운 결심이다. 이는 바다의 수온, 수심, 해저지형, 지음향, 해/조류와 같은 1차적인 데이터를 기반으로 한 데이터 및 숙련자의 투하경험에 의존하는 투하이기 때문인데, 실제적으로 소노부이 투하를 통해서 잠수함을 식별할 수 있는 확률도 현저하게 낮다. 그리하여 잠수함을 식별하기 위해서는 잠수함의 이동경로 예상이 중요한데, 해양환경은 지형 및 수온 등에 따른 소나신호 음향전달 원활함 유무에 따라 탐지가 어려운 곳과 탐지가 쉬운 곳으로 나뉜다. 잠수함은 가능한 한 그리고 대체적으로 생존가능성 확보 및 stealth 유지를 위하여 음향전달이 원활하지 않은 지형으로 이동할 수 있다.

개시된 실시예들은 소노부이 배치 정보를 제공하는 전자 장치 및 방법을 개시하고자 한다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.

일 실시예에 따른 전자 장치가 소노부이 배치 정보를 결정하는 방법에 있어서, 소정의 해역의 음향 환경에 관한 제1 이미지 정보 및 해역의 수온에 관한 제2 이미지 정보를 획득하는 단계; 제1 이미지 정보가 입력된 제1 뉴럴 네트워크의 출력을 기초로 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 제1 배치 정보를 확인하고, 제2 이미지 정보가 입력된 제2 뉴럴 네트워크의 출력을 기초로 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 제2 배치 정보를 확인하는 단계; 및 제1 배치 정보 및 제2 배치 정보를 기초로 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 최종 배치 정보를 결정하는 단계를 포함하는, 방법이 제공될 수 있다.

일 실시예에 따른 전자 장치가 소노부이 배치 정보를 결정하는 방법에 있어서, 제1 뉴럴 네트워크는, 특정 해역의 음향 환경에 관한 제1 이미지 정보에 기초하여 특정 해역을 지나는 잠수함을 탐색하기 위한 적어도 하나의 소노부이의 제1 배치 정보를 출력하도록 훈련된 컨볼루션 뉴럴 네트워크이고, 제2 뉴럴 네트워크는, 특정 해역의 수온에 관한 제2 이미지 정보에 기초하여 특정 해역을 지나는 잠수함을 탐색하기 위한 적어도 하나의 소노부이의 제2 배치 정보를 출력하도록 훈련된 컨볼루션 뉴럴 네트워크인 방법이 제공될 수 있다.

일 실시예에 따른 전자 장치가 소노부이 배치 정보를 결정하는 방법에 있어서, 제1 배치 정보는, 적어도 하나의 소노부이가 배치되기 위한 좌표 값인 제1 위도 값 및 제1 경도 값을 포함하고, 제2 배치 정보는 적어도 하나의 소노부이가 배치되기 위한 좌표 값인 제2 위도 값 및 제2 경도 값을 포함하고, 결정하는 단계는, 제1 위도 값 및 제2 위도 값으로부터 적어도 하나의 소노부이를 배치하기 위한 최종 위도 값을 결정하고, 제1 경도 값 및 제2 경도 값으로부터 적어도 하나의 소노부이를 배치하기 위한 최종 경도 값을 결정하는 단계를 포함할 수 있다.

일 실시예에 따른 전자 장치가 소노부이 배치 정보를 결정하는 방법에서 확인하는 단계는, 제1 이미지 정보가 입력된 제1 뉴럴 네트워크의 출력을 기초로 제1 신뢰도, 제1 위도 값, 및 제1 경도 값을 확인하고, 제2 이미지 정보가 입력된 제2 뉴럴 네트워크의 출력을 기초로 제2 신뢰도, 제2 위도 값, 및 제2 경도 값을 확인하는 단계를 포함하고, 결정하는 단계는, 제1 신뢰도 및 제2 신뢰도에 기초하여, 제1 위도 값 및 제2 위도 값으로부터 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 최종 위도 값을 결정하고, 제1 경도 값 및 제2 경도 값으로부터 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 최종 경도 값을 결정하는 단계를 포함할 수 있다.

일 실시예에 따른 전자 장치가 소노부이 배치 정보를 결정하는 방법에서 제1 신뢰도는, 제1 뉴럴 네트워크의 소프트맥스 레이어(softmax layer)의 출력들에 기초하여 계산되고, 제2 신뢰도는 제2 뉴럴 네트워크의 소프트맥스 레이어의 출력들에 기초하여 계산될 수 있다.

일 실시예에 따른 전자 장치가 소노부이 배치 정보를 결정하는 방법에서 결정하는 단계는, 제1 신뢰도 및 제2 신뢰도의 비율에 따라 제1 위도 값 및 제2 위도 값 각각에 가중치를 부여하고, 가중치가 부여된 제1 위도 값 및 제2 위도 값으로부터 최종 위도 값을 결정하고, 제1 신뢰도 및 제2 신뢰도의 비율에 따라 제1 경도 값 및 제2 경도 값 각각에 가중치를 부여하고, 가중치가 부여된 제1 경도 값 및 제2 경도 값으로부터 최종 경도 값을 결정하는 단계를 포함할 수 있다.

일 실시예에 따른 전자 장치가 소노부이 배치 정보를 결정하는 방법에서 결정하는 단계는 제1 신뢰도 및 제2 신뢰도 간의 크기 비교를 통해 제1 위도 값 및 제2 위도 값 중에서 어느 하나를 최종 위도 값으로 결정하고, 크기 비교를 통해 제1 경도 값 및 제2 경도 값 중에서 어느 하나를 최종 경도 값으로 결정하는 단계를 포함할 수 있다.

일 실시예에 따른 전자 장치가 소노부이 배치 정보를 결정하는 방법에서 제1 신뢰도는 제1 경도 값에 대한 제1-1 신뢰도, 및 제1 위도 값에 대한 제1-2 신뢰도를 포함하고, 제2 신뢰도는 제1 경도 값에 대한 제2-1 신뢰도, 및 제2 위도 값에 대한 제2-2 신뢰도를 포함하고, 결정하는 단계는, 제1-1 신뢰도 및 제2-1 신뢰도를 기초로 제1 경도 값 및 제2 경도 값으로부터 최종 경도 값을 결정하고, 제1-2 신뢰도 및 제2-2 신뢰도를 기초로 제1 위도 값 및 제2 위도 값으로부터 최종 위도 값을 결정하는 단계를 포함할 수 있다.

일 실시예에 따른 전자 장치가 소노부이 배치 정보를 결정하는 방법에서 제1 이미지 정보는 해역에서 음향 전달이 원활한 정도 또는 원활하지 않은 정도를 열-그래픽 형상으로 시각화한 제1 히트맵 정보를 포함하고, 제2 이미지 정보는, 해역에서 수온이 높은 정도 또는 낮은 정도를 열-그래픽 형상으로 시각화한 제2 히트맵 정보를 포함할 수 있다.

일 실시예에 따른 전자 장치가 소노부이 배치 정보를 결정하는 방법에서 통신 디바이스를 통해 최종 배치 정보를 외부 장치로 전송하거나, 디스플레이를 통해 최종 배치 정보를 출력하는 단계를 더 포함할 수 있다.

일 실시예에 따른 소노부이 배치 정보를 결정하는 전자장치로서, 적어도 하나의 프로그램이 저장된 메모리; 및 적어도 하나의 프로그램을 실행함으로써, 소정의 해역의 음향 환경에 관한 제1 이미지 정보 및 소정의 해역의 수온에 관한 제2 이미지 정보를 획득하고, 제1 이미지 정보가 입력된 제1 뉴럴 네트워크의 출력을 기초로 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 제1 배치 정보를 확인하고, 제2 이미지 정보가 입력된 제2 뉴럴 네트워크의 출력을 기초로 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 제2 배치 정보를 확인하고, 제1 배치 정보 및 제2 배치 정보를 기초로 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 최종 배치 정보를 결정하는 프로세서를 포함하는, 전자 장치가 제공될 수 있다.

일 실시예에 따른 소노부이 배치 정보를 결정하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 비일시적 기록매체로서, 방법은, 소정의 해역의 음향 환경에 관한 제1 이미지 정보 및 해역의 수온에 관한 제2 이미지 정보를 획득하는 단계; 제1 이미지 정보가 입력된 제1 뉴럴 네트워크의 출력을 기초로 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 제1 배치 정보를 확인하고, 제2 이미지 정보가 입력된 제2 뉴럴 네트워크의 출력을 기초로 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 제2 배치 정보를 확인하는 단계; 및 제1 배치 정보 및 제2 배치 정보를 기초로 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 최종 배치 정보를 결정하는 단계를 포함하는, 비일시적 기록매체가 제공될 수 있다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 개시에 따르면 전자 장치는 훈련된 뉴럴 네트워크를 이용하여 소정의 해역의 이미지 정보로부터 소정의 해역을 지나는 잠수함을 탐색하기 위한 소노부이의 배치 정보를 제공할 수 있다. 또한, 전자 장치는 제1 뉴럴 네트워크의 제1 신뢰도와 제2 뉴럴 네트워크의 제2 신뢰도를 기초로, 제1 뉴럴 네트워크의 제1 위도 값과 제2 뉴럴 네트워크의 제2 위도 값으로부터 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 최종 위도 값을 결정하고, 제1 뉴럴 네트워크의 제1 경도 값과 제2 뉴럴 네트워크의 제2 경도 값으로부터 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 최종 경도 값을 결정하므로, 보다 신뢰도 높은 최종 위도 값과 최종 경도 값을 계산할 수 있다. 예를 들어, 전자 장치는 음향 환경에 관한 데이터와 수온에 관한 데이터를 상호 보완적으로 이용하여, 최종 위도 값과 최종 경도 값을 결정할 수 있다. 전자 장치는 이와 같은 다채널 정보를 이용하여 소노부이 배치 정보를 결정함으로써 보다 정확도가 높은 소노부이 배치 정보를 제공할 수 있으며, 소노부이 배치에 관한 미숙련자와 숙련자의 능력치 차이 또한 보정하는 효과를 나타낼 수 있다.

발명의 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당해 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 개시에 따른 전자 장치를 나타낸다.
도 2a 및 도 2b는 프로세서가 뉴럴 네트워크를 훈련시키기 위한 정보를 획득하는 실시예를 나타낸다.
도 3은 뉴럴 네트워크의 일 예시인 컨볼루션 뉴럴 네트워크를 나타낸다.
도 4는 뉴럴 네트워크의 출력들에 대한 엔트로피의 예시를 나타낸다.
도 5는 프로세서가 최종 경도 값 및 최종 위도 값을 결정하는 실시예를 나타낸다.
도 6은 전자 장치가 동작하는 일 실시예를 나타낸다.
도 7은 일 실시예에 따른 전자 장치의 동작 방법을 나타낸다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

실시예들에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "..부", "..모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

명세서 전체에서 기재된 "a, b, 및 c 중 적어도 하나"의 표현은, 'a 단독', 'b 단독', 'c 단독', 'a 및 b', 'a 및 c', 'b 및 c', 또는 'a,b,c 모두'를 포괄할 수 있다.

아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

본 개시는, 사람의 결심을 보조할 AI 기반의 모델을 사전에 제작하여, 학습된 유사한 환경 및 사건이 도래하였을 때 투하패턴 결심 체계를 보조할 수 있다. 투하패턴 결심 체계를 보조하기 위하여 다양한 방법의 룰-기반이 적용된 일정한 형태의 도형과 같은 모형이 있을 수 있고 삼각형, 십자형, 마름모와 같은 패턴의 투하를 예상해 볼 수 있다. 본 개시는, 투하결정권자의 결심을 보조하기 위하여, 숙련자의 다년간의 경험을 토대로 소노부이 위치선정 자료를 딥 러닝 CNN 기법으로 학습하여 모델을 도출하고, 미학습된 히트맵 정보가 입력으로 제공되었을 때에 기 학습된 모델을 기반으로 소노부이의 투하 위치를 선정하고자 한다.

숙련자의 결정을 훈련하고, 미학습 데이터를 이용하여 기 학습된 모델을 기반으로 추론하기 위해서는 주로 모방학습(Imitation learning)이라고 불리는 방법이 사용된다. 모방학습에서는 숙련자의 결정, 즉, 주어진 데이터를 기반으로 한 소노부이 투하지점, 순서, 및 패턴을 기록한다. 그리하여 입력된 데이터가 심층 합성곱 신경망의 모든 연산을 거치면서 모델이 생성된다. 따라서, 생성된 모델을 이용하여 향후 미학습 데이터가 입력될 경우, 이에 해당하는 투하지점을 추론할 수 있다. 투하지점(GPS 경도 및 위도)은 소노부이를 투하하기 위하여 필요한 입력 정보이기도 하다. 숙련자의 기록을 담은 학습데이터는 Backpropagation 알고리즘 단계를 통해 해당 이미지에 대응하는 레이블 데이터와 출력값의 차이를 줄이는 방향으로 학습한다. 학습된 네트워크는 이미지 데이터를 입력받아 레이블된 위도 값과 경도 값에 대한 유사추론값을 예측하여 투하 위치 선정을 가능케 한다. 일 실시예에 따라, 인공신경망은 20개의 위도 값과 20개의 경도 값 중 각각 하나가 선택되어 출력될 수 있다.

이하에서는 도면을 참조하여 본 개시의 실시예들을 상세히 설명한다.

도 1은 본 개시에 따른 전자 장치를 나타낸다.

전자 장치(100)는 프로세서(110) 및 메모리(120)를 포함한다. 도 1에 도시된 전자 장치(100)에는 본 실시예들과 관련된 구성요소들만이 도시되어 있다. 따라서, 전자 장치(100)에는 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다.

전자 장치(100)는 소정의 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 정보를 결정할 수 있다. 예를 들어, 전자 장치(100)는 소정의 해역을 지나는 잠수함을 탐색하기 위해 적어도 하나의 소노부이를 배치하기 위한 정보를 결정할 수 있다.

프로세서(110)는 전자 장치(100)의 전반적인 기능들을 제어하는 역할을 한다. 예를 들어, 프로세서(110)는 전자 장치(100) 내의 메모리(120)에 저장된 프로그램들을 실행함으로써, 전자 장치(100)를 전반적으로 제어한다. 프로세서(110)는 전자 장치(100) 내에 구비된 CPU(central processing unit), GPU(graphics processing unit), AP(application processor) 등으로 구현될 수 있으나, 이에 제한되지 않는다.

메모리(120)는 전자 장치(100) 내에서 처리되는 각종 데이터들을 저장하는 하드웨어로서, 메모리(120)는 전자 장치(100)에서 처리된 데이터들 및 처리될 데이터들을 저장할 수 있다. 또한, 메모리(120)는 전자 장치(100)에 의해 구동될 애플리케이션들, 드라이버들 등을 저장할 수 있다. 메모리(120)는 DRAM(dynamic random access memory), SRAM(static random access memory) 등과 같은 RAM(random access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), CD-ROM, 블루레이 또는 다른 광학 디스크 스토리지, HDD(hard disk drive), SSD(solid state drive), 또는 플래시 메모리를 포함할 수 있다.

프로세서(110)는 소정의 해역의 음향 환경에 관한 제1 이미지 정보 및 소정의 해역의 수온에 관한 제2 이미지 정보를 획득할 수 있다. 구체적으로, 프로세서(110)는 소정의 해역에서 소나 신호와 같은 음향의 전달이 원활한 정도 또는 원활하지 않은 정도를 시각적으로 나타내는 제1 이미지 정보 및 소정의 해역에서 수온이 높은 정도 또는 낮은 정도를 시각적으로 나타내는 제2 이미지 정보를 획득할 수 있다. 예를 들어, 제1 이미지 정보는 소정의 해역에서 음향 전달의 원활한 정도 또는 원활하지 않은 정도를 열-그래픽 형상으로 시각화한 히트맵 정보를 포함할 수 있고, 제2 이미지 정보는 소정의 해역에서 수온이 높은 정도 또는 낮은 정도를 열-그래픽 형상으로 시각화한 히트맵 정보를 포함할 수 있다. 또한, 이미지 정보는 소정의 해역의 심도 별로 생성된 복수의 이미지(예를 들어, 복수의 히트맵 이미지)를 포함할 수 있다.

일 실시예에 따라, 프로세서(110)는 소정의 해역의 해양 환경 정보를 기초로 소정의 해역의 음향 환경에 관한 이미지 정보를 생성할 수 있다. 해양 환경 정보는 바다의 수온, 수심, 해저지형, 지음향, 해류, 및 조류 등에 관한 정보를 포함할 수 있다. 구체적으로, 프로세서(110)는 해양 환경 정보에 포함된 서로 다른 종류의 정보들 각각을 음향 환경의 원활함을 판단하는 기준 또는 요소로 인식하여, 음향 전달이 원활한 정도 또는 원활하지 않은 정도를 결정할 수 있다. 예를 들어, 프로세서(110)는 조류의 세기, 소정 해역 내에 대륙붕이 형성되어 있는지 여부, 및 소정 해역의 수심 등의 정보를 기초로 음향 전달이 원활한 정도 또는 원활하지 않은 정도를 결정할 수 있다. 일 실시예에 따라, 프로세서(110)는 음향 전달의 원활함을 판단하는 요소들 각각에 미리 설정된 가중치를 가중합하여 도출된 결과 값으로 음향 전달의 원활한 정도를 결정할 수 있다. 또한, 프로세서(110)는 소정 해역에 투하된 복수의 소노부이로부터 취득한 1차 정보를 기초로 소정 해역의 음향 환경에 관한 이미지 정보를 생성할 수 있다. 1차 정보는 가공되지 않은 여러 종류의 센싱 정보일 수 있다.

일 실시예에 따라, 프로세서(110)는 소정의 해역의 음향 환경에 관한 제1 이미지 정보 및 소정의 해역의 수온에 관한 제2 이미지 정보를 전자 장치(100) 내 통신 디바이스(미도시)를 통해 외부로부터 획득할 수 있다. 다른 실시예에 따라, 프로세서(110)는 소정의 해역의 음향 환경 및 수온에 관한 제1 이미지 정보 및 제2 이미지 정보를 메모리(120)로부터 획득할 수 있다.

도 2a 및 도 2b는 프로세서가 뉴럴 네트워크를 훈련시키기 위한 정보를 획득하는 실시예를 나타낸다.

프로세서(110)는 투하결정권자의 결심을 보조하기 위하여 이미지(예를 들어, 히트맵)가 입력 정보로서 제공되었을 때 숙련자의 다년간의 경험에 기초한 소노부이 위치 선정 자료를 기초로 Deep-Learning CNN 기법을 통해 학습 또는 훈련하여 모델을 도출할 수 있다. 또한, 프로세서(110)에 미학습된 새로운 입력 정보(예를 들어, 히트맵 이미지)가 제공되었을 때, 기 학습 또는 훈련된 모델을 기반으로 소노부이의 투하 위치(예를 들어, 배치 정보)를 결정할 수 있다.

프로세서(110)는 뉴럴 네트워크를 학습 또는 훈련시키기 위한 정보로서 히트맵 정보와 숙련자의 소노부이 배치 정보를 획득할 수 있다.

도 2a를 참조하면, 숙련자는 특정 제1 해역에 대한 음향 환경 원활함에 관한 히트맵 이미지(210)를 참조하여 출발점과 목표점 사이의 잠수함의 이동 경로를 예상할 수 있고, 제1 해역을 지나는 잠수함을 탐색하기 위한 소노부이의 배치 정보를 결정할 수 있다. 구체적으로, 숙련자는 음향 전달이 원활하지 않은 지역을 참조하여 소노부이의 투하 위치(도 2a에서 표시된 X의 좌표)를 결정할 수 있다. 이어서, 프로세서(110)는 뉴럴 네트워크를 학습시키기 위한 입력 정보로서 히트맵 이미지(210)에 관한 정보를 획득할 수 있고, 입력 정보에 대한 출력 정보로서 소노부이 배치 정보(도 2a에서 X의 좌표)를 획득할 수 있다. 예를 들어, 프로세서(110)는 전자 장치(100)의 입력부를 통해 숙련자로부터 소노부이 배치 정보를 획득할 수 있다. 다른 예시로서, 프로세서(110)는 이미지 정보 및 숙련자의 소노부이 배치 정보를 메모리(120)로부터 획득할 수 있다.

도 2b를 참조하면, 숙련자는 특정 제2 해역에 대한 음향 환경 원활함에 관한 히트맵 이미지(220)를 참조하여 출발점과 목표점 사이의 잠수함의 이동 경로를 예상할 수 있고, 제2 해역을 지나는 잠수함을 탐색하기 위한 소노부이의 배치 정보를 결정할 수 있다. 구체적으로, 숙련자는 음향 전달이 원활하지 않은 지역을 참조하여 소노부이의 투하 위치(도 2b에서 표시된 X의 좌표)를 결정할 수 있다. 이어서, 프로세서(110)는 뉴럴 네트워크를 학습시키기 위한 입력 정보로서 히트맵 이미지(220)에 관한 정보를 획득할 수 있고, 입력 정보에 대한 출력 정보로서 소노부이 배치 정보(도 2b에서 X의 좌표)를 획득할 수 있다.

이러한 도 2a 및 도 2b와 같은 음향 환경의 원활함을 히트맵화 한 지도(210 및 220)의 사용은 투하지점 선정에 용이하게 사용될 수 있다. 이는 소노부이로부터 취득한 1차 정보(예를 들어, 소노부이의 센서를 통한 가공되지 않은 수온, 수심, 해저지형, 지음향, 해/조류 등)를 사용해서 가공한 정보이므로 1차 정보에 비해 시각적으로 파악이 용이할 수 있기 때문이다. 또한, 소노부이의 특성상 투하심도 조절이 가능하므로 심도별 히트맵 이미지를 구현할 수 있어 더 정확한 투하지점 선정에 용이할 수 있다.

프로세서(110)는 위와 같이 음향 환경 원활함 여부를 히트맵으로 구현한 이미지(210,220) 뿐만 아니라 수온을 기반으로 히트맵으로 구현한 이미지에 관한 정보를 획득할 수 있다. 음향전달 속도는 수온에 직접적으로 영향을 받을 수 있다. 수온은 계절, 위치, 해류, 심도에 영향을 받으므로, 전자 장치(100)는 정확하고 최신화된 자료에 기반한 정보(예를 들어, 수온에 관한 이미지 정보)를 통하여 소노부이 투하에 관한 옳은 판단을 도출할 수 있다. 음향 환경 원활함 여부의 히트맵 이미지를 통해 소노부이 투하 위치 결정하는 방식과 유사하게, 숙련자는 소정의 해역에 대한 수온에 관한 히트맵 이미지를 참조하여 출발점과 목표점 사이의 잠수함의 이동 경로를 예상할 수 있고, 위 해역을 지나는 잠수함을 탐색하기 위한 소노부이의 배치 정보를 결정할 수 있다. 구체적으로, 숙련자는 히트맵 이미지 정보 중 수온이 높은 해역의 정보를 참조하여 소노부이의 투하 위치를 결정할 수 있다. 수온이 높은 해역은 수온이 낮은 해역에 비해 잠수함 탐색이 원활할 수 있다. 이어서, 프로세서(110)는 뉴럴 네트워크를 학습시키기 위한 입력 정보로서 수온에 관한 히트맵 이미지 정보를 획득할 수 있고, 입력 정보에 대한 출력 정보로서 소노부이 배치 정보를 획득할 수 있다.

이와 같이 실전에서는 다양한 정보를 기반으로 하여 투하패턴을 위한 정보가 생성될 수 있다. 본 개시에서는 음향 환경 원활함에 관한 정보뿐만 아니라 수온에 관한 정보와 같이 다채널 정보를 통합함으로써, 전체적인 소노부이 투하패턴 성능을 보완 및 개선할 수 있다. 예를 들어, 다양한 해양 환경 정보(바다의 수심, 해저지형, 및 해류 등)를 기반으로 생성된 소정 해역의 음향 환경에 관한 정보에 기반하여 잠수함을 탐색하는 것보다 소정 해역의 수온에 관한 정보에 기반하여 잠수함을 탐색하는 것이 더 효과적일 수 있고, 반대로 수온에 관한 정보보다 음향 환경에 관한 정보에 기반하여 잠수함을 탐색하는 것이 더 효과적일 수 있다. 본 개시에서는 다채널 정보(예를 들어, 음향 환경 원활함, 수온 등)를 통합하여 모방학습을 통한 투하패턴 성능을 향상시킬 뿐만 아니라, 각 채널을 통하여 입력 받은 정보의 신뢰도 측정을 기반으로 최적의 소노부이 배치 정보를 결정할 수 있다. 이를 통해 전자 장치(100)는 투하결정권자를 보조함으로써 소노부이 투하에 관한 숙련자와 미숙련자 간의 능력치 차이를 보정할 수 있다. 본 개시의 다채널 정보로서 음향 환경 원활함 및 수온이 제시되지만, 이에 한정되는 것은 아니다.

다시 도 1을 참조하면, 프로세서(110)는 제1 이미지 정보가 입력된 제1 뉴럴 네트워크의 출력을 기초로 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 제1 배치 정보를 확인할 수 있고, 제2 이미지 정보가 입력된 제2 뉴럴 네트워크의 출력을 기초로 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 제2 배치 정보를 확인할 수 있다. 제1 뉴럴 네트워크 및 제2 뉴럴 네트워크는 소정의 해역을 지나는 잠수함을 탐색하기 위한 적어도 하나의 소노부이의 배치 정보를 추론하도록 훈련될 수 있다. 다시 말해, 제1 뉴럴 네트워크는 특정 해역의 음향 환경에 관한 제1 이미지 정보에 기초하여 특정 해역을 지나는 잠수함을 탐색하기 위한 적어도 하나의 소노부이의 제1 배치 정보를 추론하도록 훈련된 뉴럴 네트워크일 수 있고, 제2 뉴럴 네트워크는 특정 해역의 수온에 관한 제2 이미지 정보에 기초하여 특정 해역을 지나는 잠수함을 탐색하기 위한 적어도 하나의 소노부이의 제2 배치 정보를 추론하도록 훈련된 뉴럴 네트워크일 수 있다.

일 실시예에 따라, 제1 배치 정보는 적어도 하나의 소노부이가 배치되기 위한 좌표 값인 제1 위도 값 및 제1 경도 값을 포함하고, 제2 배치 정보는 적어도 하나의 소노부이가 배치되기 위한 좌표 값인 제2 위도 값 및 제2 경도 값을 포함할 수 있다.

도 3은 뉴럴 네트워크의 일 예시인 컨볼루션 뉴럴 네트워크를 나타낸다.

도 3에 도시된 바와 같이, 컨볼루션 뉴럴 네트워크(300)는 컨볼루션 레이어(Convolutional layer)들과, 풀리 커넥티드 레이어(Fully connected layer)들과 소프트맥스 레이어(Softmax layer)로 구성될 수 있다. 일 실시예에 따르면 컨볼루션 뉴럴 네트워크(300)는 5개의 컨볼루션 레이어들과 2개의 풀리 커넥티드 레이어들과 소프트 맥스 레이어로 구성될 수 있다. 또한, 컨볼루션 뉴럴 네트워크(300)는 입력 정보인 음향 환경에 관한 이미지 정보 또는 수온에 관한 이미지 정보와, 입력 정보에 대한 출력 정보인 소노부이의 배치 정보(예를 들어, 위도 또는 경도 등)에 기초하여 훈련된 뉴럴 네트워크일 수 있다. 또한, 컨볼루션 뉴럴 네트워크(300)는 Flatten 함수가 이용될 수 있으며, 여기서 Flatten 함수는 데이터(tensor)의 형태(shape)를 바꾸는 함수를 의미할 수 있다. 예를 들어, Flatten 함수는 200x200x1의 데이터를 40000x1의 데이터로 바꿀 수 있다.

일 실시예에 따라, 소정 해역의 음향 환경에 관한 이미지 정보 또는 소정 해역의 수온에 관한 이미지 정보가 입력된 컨볼루션 뉴럴 네트워크(300)는 20개의 뉴런들을 통해 20개의 후보 위도 값들을 출력할 수 있고, 20개의 뉴런들을 통해 20개의 후보 경도 값들을 출력할 수 있다. 프로세서(110)는 20개의 후보 위도 값들 중에서 소프트맥스 레이어의 출력값이 가장 높은 후보 위도 값을 위도 값(320)으로 확인할 수 있고, 20개의 후보 경도 값들 중에서 소프트맥스 레이어의 출력값이 가장 높은 후보 경도 값을 경도 값(310)으로 확인할 수 있다. 다시 말해, 프로세서(110)는 소정 해역에서 잠수함을 탐색하기 위한 적어도 하나의 소노부이의 배치 정보로써 위도 값(320) 및 경도 값(310)을 확인할 수 있다.

또한, 프로세서(110)는 컨볼루션 뉴럴 네트워크(300)의 소프트맥스 레이어의 출력들에 기초하여 입력인 음향 환경 원활함에 관한 이미지 정보 또는 수온에 관한 이미지 정보의 신뢰도를 계산할 수 있다. 일 실시예에 따라, 프로세서(110)는 20개의 뉴런들에 대응되는 소프트맥스 레이어의 출력들에 대한 엔트로피를 계산하여 이미지 정보의 신뢰도를 계산할 수 있다. 다시 말해, 프로세서(110)는 위도 값(320)에 관한 신뢰도를 이미지 정보의 신뢰도로 확인할 수 있다. 다른 실시예에 따라, 프로세서(110)는 20개의 뉴런들에 대응되는 소프트맥스 레이어들의 출력들에 대한 엔트로피를 계산하여 이미지 정보의 신뢰도를 계산할 수 있다. 다시 말해, 프로세서(110)는 경도 값(310)에 대한 신뢰도를 이미지 정보의 신뢰도로 확인할 수 있다. 또 다른 실시예에 따라, 프로세서(110)는 위도 값(320)에 대한 신뢰도와 경도 값(310)에 대한 신뢰도를 이용하여 이미지 정보의 신뢰도를 확인할 수 있다. 예를 들어, 프로세서(110)는 위도 값(320)에 대한 신뢰도와 경도 값(310)에 대한 신뢰도의 평균값을 이미지 정보의 신뢰도로 확인하거나, 위도 값(320)에 대한 신뢰도 및 경도 값(310)에 대한 신뢰도 중 낮은 값을 이미지 정보의 신뢰도로 확인할 수 있다.

프로세서(110)는 제1 이미지 정보가 입력된 제1 뉴럴 네트워크로부터 제1 이미지 정보에 대한 제1 신뢰도를 계산할 수 있고, 제2 이미지 정보가 입력된 제2 뉴럴 네트워크로부터 제2 이미지 정보에 대한 제2 신뢰도를 계산할 수 있다. 구체적으로, 프로세서(110)는 제1 뉴럴 네트워크의 소프트맥스 레이어(softmax layer)의 출력들에 기초하여 제1 신뢰도를 계산할 수 있고, 제2 뉴럴 네트워크의 소프트맥스 레이어의 출력들에 기초하여 제2 신뢰도를 계산할 수 있다.

일 실시예에 따라, 프로세서(110)는 아래 수학식 1 및 수학식 2에 따라 신뢰도를 계산할 수 있다.

수학식 1 및 2에서,

는 뉴럴 네트워크의 소프트맥스 레이어의 n개의 출력값들 중 i번째 출력값을 나타낸다. 따라서, 프로세서(110)는 수학식 1을 통해 엔트로피

를 계산하고, 수학식 2를 통해 엔트로피

의 역수로 신뢰도

를 계산할 수 있다. 여기서

는 0으로 나누는 것을 방지하기 위한 최소값으로 예를 들어 0.00001로 설정될 수 있다. 또한,

는 아래 수학식 3에 따라 계산될 수 있다. 수학식 3에서

는 소프트맥스 레이어에 입력되는 i번째 값을 나타낸다.

다른 실시예에 따라, 프로세서(110)는 아래 수학식 4에 따라 신뢰도

를 계산할 수 있다.

수학식 4에서,

는 뉴럴 네트워크의 소프트맥스 레이어의 n개의 출력값들 중 가장 큰 값을 나타낸다. 수학식 4를 이용하여 신뢰도를 계산할 경우, 수학식 1 및 2를 이용하는 경우보다 연산 속도가 개선되는 효과를 가질 수 있다.

프로세서(110)는 제1 뉴럴 네트워크의 출력을 기초로 제1 위도 값과 제1 경도 값을 확인하고, 제2 뉴럴 네트워크의 출력을 기초로 제2 위도 값과 제2 경도 값을 확인할 수 있다. 예를 들어, 프로세서(110)는 아래 수학식 5에 따라 경도 값

및 위도 값

를 확인할 수 있다(categorical model).

수학식 5에서, 경도 값

는 뉴럴 네트워크의 출력인 후보 경도 값들 중에서 소프트맥스 레이어의 출력값인

가 가장 높은 i번째 후보 경도 값을 나타내고, 위도 값

는 뉴럴 네트워크의 출력인 후보 위도 값들 중에서 소프트맥스 레이어의 출력값인

가 가장 높은 i번째 후보 위도 값을 나타낸다.

일 실시예에 따라, 프로세서(110)는 소정 해역의 음향 환경에 관한 이미지 정보 또는 소정 해역의 수온에 관한 이미지 정보가 입력된 복수의 컨볼루션 뉴럴 네트워크(300)들을 통해 복수의 소노부이들 각각의 배치 정보(예를 들어, 경도 값 및 위도 값)를 결정할 수 있다.

도 4는 뉴럴 네트워크의 출력들에 대한 엔트로피의 예시를 나타낸다.

좌측 그래프(410)는 뉴럴 네트워크의 소프트맥스 레이어의 출력값들을 나타낸다. 구체적으로, 좌측 그래프(410)는 후보 경도 값들에 대한

를 나타내고,

가 모두 균등하게 일정한 값들 임을 나타낸다. 뉴럴 네트워크를 통해 출력된 확률 값들이 서로 비슷한 값을 가지면 엔트로피가 높게 계산되므로, 신뢰도는 반비례하여 낮아진다. 한편, 출력된 확률 값이 일부에 치우친 경우 엔트로피가 낮게 계산되므로, 신뢰도는 반비례하여 높아진다. 좌측 그래프(410)의 경우 엔트로피는 2.9957로 비교적 큰 값으로 계산되고, 이는 뉴럴 네트워크에 입력되는 이미지 정보의 신뢰도가 낮음을 의미할 수 있다. 이와 같이, 인공신경망이 어려워하는 예시(예를 들어, 좌측 그래프(410))에 대한 출력은 일반적으로 확률 값이 한 곳으로 치우치지 않고, 여러 확률 값들이 서로 비슷한 값을 가지므로 신뢰도가 낮아진다.

우측 그래프(420)는 뉴럴 네트워크의 소프트맥스 레이어의 출력값들을 나타낸다. 구체적으로, 우측 그래프(420)는 후보 경도 값들에 대한

를 나타내고, 특정 후보 경도 값에 대한

가 높음을 나타낸다. 이 경우 엔트로피는 1.0457로 비교적 작은 값으로 계산되고, 이는 뉴럴 네트워크에 입력되는 이미지 정보의 신뢰도가 높음을 의미할 수 있다. 본 개시에서는 다채널 정보를 이용하여 각 뉴럴 네트워크로부터 계산되는 각 신뢰도의 융합을 통해 경도와 위도를 예측하기 어려운 상황에서 다채널 정보의 상호 보완적 이용 방법을 개시한다.

다시 도 1을 참조하면, 프로세서(110)는 제1 배치 정보 및 제2 배치 정보를 기초로 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 최종 배치 정보를 결정할 수 있다.

일 실시예에 따르면, 프로세서(110)는 제1 위도 값 및 제2 위도 값으로부터 적어도 하나의 소노부이를 배치하기 위한 최종 위도 값을 결정하고, 제1 경도 값 및 제2 경도 값으로부터 적어도 하나의 소노부이를 배치하기 위한 최종 경도 값을 결정할 수 있다.

일 실시예에 따르면, 프로세서(110)는 제1 뉴럴 네트워크의 출력 및 제2 뉴럴 네트워크의 출력에 기초하여 확인한 제1 신뢰도 및 제2 신뢰도를 기초로 제1 위도 값 및 제2 위도 값으로부터 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 최종 위도 값을 결정할 수 있고, 제1 신뢰도 및 제2 신뢰도를 기초로 제1 경도 값 및 제2 경도 값으로부터 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 최종 경도 값을 결정할 수 있다.

일 실시예에 따라, 제1 뉴럴 네트워크는 음향 환경 원활함 여부를 히트맵으로 표현하고 이에 대한 투하패턴 결과가 레이블링 된 네트워크일 수 있다. 제2 뉴럴 네트워크는 수온을 기반으로 제작된 히트맵과 이에 대한 투하패턴 결과가 레이블링된 네트워크일 수 있다. 각각의 네트워크는 입력 정보를 받아 투하위치, 즉, 배치 정보(위도, 경도) 값을 예측할 수 있다. 구체적인 실시예로 제1 뉴럴 네트워크에서 나온 제1 경도 값, 제1 위도 값과 제2 뉴럴 네트워크에서 나온 제2 경도 값, 제2 위도 값을 융합하는 방법이 제시될 수 있다. 예를 들어, 제1 뉴럴 네트워크 및 제2 뉴럴 네트워크를 통해 나온 각 경도 값 및 위도 값의 평균을 내는 방법으로 융합할 수 있다. 일 실시예에 따라, 각각의 뉴럴 네트워크를 통해 확인된 각 신뢰도가 상이한 경우, 평균을 내는 방법보다 각 신뢰도를 바탕으로 각 뉴럴 네트워크의 출력 값을 융합하는 것이 더 효과적일 수 있다. 이하에서 구체적인 실시예로 각 뉴럴 네트워크의 신뢰도를 바탕으로 각 뉴럴 네트워크의 출력 값(경도, 위도)을 가중합하거나 신뢰도가 높은 뉴럴 네트워크의 출력 값을 최종 출력 값으로 결정하는 예를 개시한다. 이때, 신뢰도의 계산은 소노부이 투하패턴 계산 중 실시간으로 이루어질 수 있다.

일 실시예에 따라, 프로세서(110)는 제1 신뢰도 및 제 2신뢰도의 비율에 따라 제1 위도 값 및 제2 위도 값 각각에 가중치를 부여하고, 가중치가 부여된 제1 위도 값 및 제2 위도 값으로부터 최종 위도 값을 결정할 수 있다. 마찬가지로, 프로세서(110)는 제1 신뢰도 및 제2 신뢰도의 비율에 따라 제1 경도 값 및 제2 경도 값 각각에 가중치를 부여하고, 가중치가 부여된 제1 경도 값 및 제2 경도 값으로부터 최종 경도 값을 결정할 수 있다.

예를 들어, 프로세서(110)는 아래 수학식 6에 따라 최종 경도 값

및 최종 위도 값

을 결정할 수 있다.

수학식 6에서,

는 제1 신뢰도를 나타낼 수 있고,

는 제2 신뢰도를 나타낼 수 있다. 예를 들어, 제1 신뢰도는 음향 환경에 관한 제1 이미지 정보에 대한 신뢰도를 의미할 수 있고, 제2 신뢰도는 수온에 관한 제2 이미지 정보에 대한 신뢰도를 의미할 수 있다. 또한, 수학식 6에서,

는 제1 경도 값을 나타낼 수 있고,

는 제2 경도 값을 나타낼 수 있고,

는 제1 위도 값을 나타낼 수 있고,

는 제2 위도 값을 나타낼 수 있다. 따라서, 프로세서(110)는 제1 신뢰도 및 제 2신뢰도의 비율에 따라 가중치가 부여된 제1 경도 값 및 제2 경도 값을 융합하여 최종 경도 값을 결정할 수 있고, 제1 신뢰도 및 제2 신뢰도의 비율에 따라 가중치가 부여된 제1 위도 값 및 제2 위도 값을 융합하여 최종 위도 값을 결정할 수 있다.

다른 실시예에 따라, 프로세서(110)는 제1 신뢰도 및 제2 신뢰도 간의 크기 비교를 통해 제1 경도 값 및 제2 경도 값 중에서 어느 하나를 최종 경도 값으로 결정할 수 있고, 제1 신뢰도 및 제2 신뢰도 간의 크기 비교를 통해 제1 위도 값 및 제2 위도 값 중에서 어느 하나를 최종 위도 값으로 결정할 수 있다.

예를 들어, 프로세서(110)는 아래 수학식 7에 따라 최종 경도 값

및 최종 위도 값

을 결정할 수 있다.

수학식 7에서,

는 제1 신뢰도를 나타낼 수 있고,

는 제 2신뢰도를 나타낼 수 있다. 예를 들어, 제1 신뢰도는 음향 환경에 관한 제1 이미지 정보에 대한 신뢰도를 의미할 수 있고, 수온에 관한 제2 이미지 정보에 대한 신뢰도를 의미할 수 있다. 또한, 수학식 7에서,

는 제1 경도 값을 나타낼 수 있고,

는 제2 경도 값을 나타낼 수 있고,

는 제1 위도 값을 나타낼 수 있고,

는 제2 위도 값을 나타낼 수 있다. 따라서, 프로세서(110)는 제1 신뢰도와 제2 신뢰도 간의 크기 비교에 따라, 신뢰도가 높은 이미지 정보로부터 획득된 경도 값 또는 위도 값을 최종 경도 값 또는 최종 위도 값으로 결정할 수 있다.

일 실시예에 따라, 제1 신뢰도는 제1 경도값에 대한 제1-1 신뢰도, 및 제1 위도 값에 대한 제1-2 신뢰도를 포함할 수 있고, 제2 신뢰도는 제2 경도 값에 대한 제2-1 신뢰도, 및 제2 위도 값에 대한 제2-2 신뢰도를 포함할 수 있다. 프로세서(110)는 제1-1 신뢰도 및 제2-1 신뢰도를 기초로 제1 경도 값 및 제2 경도 값으로부터 최종 경도 값을 결정하고, 제1-2 신뢰도 및 제2-2 신뢰도를 기초로 제1 위도 값 및 제2 위도 값으로부터 최종 위도 값을 결정할 수 있다. 일 예시에 따라, 프로세서(110)는 제1-1 신뢰도 및 제2-1 신뢰도의 비율에 따라 제1 경도 값 및 제2 경도 값 각각에 가중치를 부여하고, 가중치가 부여된 제1 경도 값 및 제2 경도 값으로부터 최종 경도 값을 결정할 수 있다. 또한, 프로세서(110)는 제1-2 신뢰도 및 제2-2 신뢰도의 비율에 따라 제1 위도 값 및 제2 위도 값 각각에 가중치를 부여하고, 가중치가 부여된 제1 위도 값 및 제2 위도 값으로부터 최종 위도 값을 결정할 수 있다. 다른 예시로서, 프로세서(110)는 제1-1 신뢰도 및 제2-1 신뢰도 간의 크기 비교를 통해 제1 경도 값 및 제2 경도 값 중에서 어느 하나를 최종 경도 값으로 결정할 수 있고, 제1-2 신뢰도 및 제2-2 신뢰도의 크기 비교를 통해 제1 위도 값 및 제2 위도 값 중 어느 하나를 최종 위도 값으로 결정할 수 있다.

일 실시예에 따라, 프로세서(110)는 제1 경도 값과 제2 경도 값을 융합하여 최종 경도 값을 결정할 수 있고, 제1 위도 값과 제2 위도 값을 융합하여 최종 위도 값을 결정할 수 있다. 예를 들어, 프로세서(110)는 제1 경도 값과 제2 경도 값의 평균을 통해 최종 경도 값을 결정할 수 있고, 제1 위도 값과 제2 위도 값의 평균을 통해 최종 위도 값을 결정할 수 있다. 또한, 프로세서(110)는 특정 해역에서는 음향 환경에 관한 이미지 정보보다 수온에 관한 이미지 정보가 더 신뢰도가 높을 수 있기 때문에, 음향 환경에 관한 제1 이미지 정보 보다 수온에 관한 제2 이미지 정보를 통해 최종 경도 값 및 최종 위도 값을 결정할 수 있다.

전자 장치(100)는 기 훈련된 제1 뉴럴 네트워크 및 제2 뉴럴 네트워크를 통해 최종 경도 값 및 최종 위도 값을 결정할 수 있고, 결정된 최종 경도 값 및 최종 위도 값을 통해 소정의 해역 내에서 적어도 하나의 소노부이를 배치할 수 있다. 예를 들어, 전자 장치(100)에 의해 결정된 최종 경도 값 및 최종 위도 값에 따라 배치된 소노부이는, 해역을 지나는 적군 잠수함을 원활하게 탐색할 수 있다. 또한, 전자 장치(100)에 의해 결정된 최종 경도 값 및 최종 위도 값에 따라 배치된 소노부이는, 다채널 정보를 사용함으로써 음향 환경 원활함의 정보에만 기반하여 배치될 때보다 더 정확하게 관심 해역을 지나는 적군 잠수함을 탐색할 수 있다.

도 5는 프로세서가 최종 경도 값 및 최종 위도 값을 결정하는 실시예를 나타낸다.

프로세서(110)는 소정의 해역의 음향 환경에 관한 제1 이미지 정보(510)가 입력된 뉴럴 네트워크(530)의 출력을 기초로, 제1 경도 값 및 제1 위도 값을 확인할 수 있고, 제1 경도 값에 대한 제1-1 신뢰도 및 제1 위도 값에 대한 제1-2 신뢰도를 확인할 수 있다. 또한, 프로세서(110)는 소정의 해역의 수온에 관한 제2 이미지 정보(520)가 입력된 뉴럴 네트워크(540)의 출력을 기초로, 제2 경도 값 및 제2 위도 값을 확인할 수 있고, 제2 경도 값에 대한 제2-1 신뢰도 및 제2 위도 값에 대한 제2-2 신뢰도를 확인할 수 있다. 제2 이미지 정보(520)는 수온이 높은 정도 또는 낮은 정도를 시각적으로 나타낼 수 있다. 제2 이미지 정보(520)에서 각 색상의 영역 간의 온도 차이가 존재하며, 예를 들어, 붉은색 영역보다 푸른색 영역이 수온이 높을 수 있다.

프로세서(110)는 제1-1 신뢰도 및 제2-1 신뢰도를 기초로 제1 경도 값 및 제2 경도 값으로부터 최종 경도 값을 결정하고, 제1-2 신뢰도 및 제2-2 신뢰도를 기초로 제1 위도 값 및 제2 위도 값으로부터 최종 위도 값을 결정할 수 있다. 예를 들어, 프로세서(110)는 제1-1 신뢰도 및 제2-1 신뢰도의 비율 또는 제1-1 신뢰도 및 제2-1 신뢰도 간의 크기 비교에 따라, 제1 경도 값 및 제2 경도 값으로부터 최종 경도 값을 결정하고, 제1-2 신뢰도 및 제2-2 신뢰도의 비율 또는 제1-2 신뢰도 및 제2-2 신뢰도의 크기 비교에 따라 제1 위도 값 및 제2 위도 값으로부터 최종 위도 값을 결정할 수 있다.

도 5에서는 설명의 편의를 위해 제1 이미지 정보(510)가 입력된 뉴럴 네트워크(530)의 출력이 하나의 소노부이를 배치하기 위한 경도 값과 위도 값으로 도시되었지만, 제1 이미지 정보(510)가 입력된 뉴럴 네트워크(530)의 출력은 복수의 소노부이를 배치하기 위한 복수의 좌표 값들(경도 값들과 위도 값들)일 수 있다. 마찬가지로, 제2 이미지 정보(520)가 입력된 뉴럴 네트워크(540)의 출력은 복수의 소노부이를 배치하기 위한 복수의 좌표 값들(경도 값들과 위도 값들)일 수 있다. 일 실시예에 따라, 뉴럴 네트워크(530)로부터 제1 좌표 값들이 출력되고 뉴럴 네트워크(540)로부터 제2 좌표 값들이 출력되는 경우, 프로세서(110)는 제1 좌표 값들 및 제2 좌표 값들로부터 복수의 소노부이들을 배치하기 위한 최종 좌표 값들(경도 값들과 위도 값들)을 결정할 수 있다. 예를 들어, 프로세서(110)는 제1 좌표 값들 중 제1-1 좌표 값과 기 설정된 거리 내에 존재하는 것으로 확인되는 제2 좌표 값들 중 제2-1 좌표 값을 인식할 수 있고, 제1-1 좌표 값과 제2-1 좌표 값을 융합하여 복수의 소노부이들 중 제1 소노부이를 배치하기 위한 좌표 값을 결정할 수 있다.

도 6은 전자 장치가 동작하는 일 실시예를 나타낸다.

데이터 획득(Data Acquisition)을 위한 단계(S610)에서, 전자 장치(100)는 이미지 정보를 획득할 수 있다. 예를 들어, 전자 장치(100)는 외부 장치로부터 음향 환경에 관한 이미지 정보와 수온에 관한 이미지 정보를 획득할 수 있고, 숙련자의 투하패턴 위치 정보(경도 값, 위도 값)를 획득할 수 있다. 일 실시예에 따라 전자 장치(100)는 메모리(120)에 저장된 이미지 정보 및 숙련자의 투하패턴 위치 정보를 획득할 수 있다.

데이터 편집(Data Editing)을 위한 단계(S620)에서, 전자 장치(100)는 S610에서 획득된 데이터를 편집하여 뉴럴 네트워크 학습에 필요가 없는 부분은 제거할 수 있다. 예를 들어, 전자 장치(100)는 뉴럴 네트워크를 학습 또는 훈련시키기 위해 기 획득된 이미지 정보 또는 배치 정보가 사람의 단순 실수에 의해 중복되는 경우, 중복된 데이터를 제거할 수 있다.

훈련(Training)을 위한 단계(S630)에서, 전자 장치(100)는 S620에서 편집된 데이터에 기반하여 뉴럴 네트워크를 학습시킬 수 있다. 구체적으로, 전자 장치(100)는 입력 정보인 제1 이미지 정보와 제2 이미지 정보 또는 레이블인 경도 값과 위도 값을 통해 뉴럴 네트워크를 훈련 또는 학습시킬 수 있다. 예를 들어, 전자 장치(100)는 입력 정보인 음향 환경 원활함에 관한 제1 이미지 정보와 레이블인 경도 값과 위도 값을 통해 제1 컨볼루션 뉴럴 네트워크를 훈련 또는 학습시킬 수 있고, 입력 정보인 수온에 관한 제2 이미지 정보와 레이블인 경도 값과 위도 값을 통해 제2 컨볼루션 뉴럴 네트워크를 훈련 또는 학습시킬 수 있다.

테스팅(Testing)을 위한 단계(S640)에서, 전자 장치(100)는 S630에서 학습 또는 훈련된 뉴럴 네트워크를 이용하여 적어도 하나의 소노부이를 배치하기 위한 최종 경도 값과 최종 위도 값을 결정할 수 있고, 최종 경도 값과 최종 위도 값에 따라 소정의 해역에 적군 잠수함의 운용 여부를 확인할 수 있다. 예를 들어, 전자 장치(100)는 잠수함이 자국 영해를 벗어나 운용되는지 여부를 탐지할 수 있다.

일 실시예에 따르면, 전자 장치(100)는 최종 배치 정보를 제공할 수 있다. 구체적으로, 전자 장치(100)는 통신 디바이스(미도시)를 통해 결정된 최종 배치 정보(예를 들어, 최종 경도 값 및 최종 위도 값)를 외부 장치로 전송하거나, 디스플레이(미도시)를 통해 최종 배치 정보를 출력할 수 있다. 소노부이 투하에 있어서 미숙련자는, 통신 디바이스를 통해 전송되거나 디스플레이를 통해 출력된 최종 배치 정보에 기반하여 소노부이를 투하함으로써, 숙련자와의 잠수함 탐지 여부에 관한 능력치 차이를 감소시킬 수 있다.

도 7은 일 실시예에 따른 전자 장치의 동작 방법을 나타낸다.

도 7의 동작 방법의 각 단계는 도 1의 전자 장치(100)에 의해 수행될 수 있으므로, 도 7과 중복되는 내용에 대해서는 설명을 생략한다.

단계 S710에서, 전자 장치(100)는 소정의 해역의 음향 환경에 관한 제1 이미지 정보 및 해역의 수온에 관한 제2 이미지 정보를 획득할 수 있다.

단계 S720에서, 전자 장치(100)는 제1 이미지 정보가 입력된 제1 뉴럴 네트워크의 출력을 기초로 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 제1 배치 정보를 확인하고, 제2 이미지 정보가 입력된 제2 뉴럴 네트워크의 출력을 기초로 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 제2 배치 정보를 확인할 수 있다.

제1 뉴럴 네트워크는 특정 해역의 음향 환경에 관한 제1 이미지 정보에 기초하여 특정 해역을 지나는 잠수함을 탐색하기 위한 적어도 하나의 소노부이의 제1 배치 정보를 추론하도록 훈련된 뉴럴 네트워크이고, 제2 뉴럴 네트워크는 특정 해역의 수온에 관한 제2 이미지 정보에 기초하여 특정 해역을 지나는 잠수함을 탐색하기 위한 적어도 하나의 소노부이의 제2 배치 정보를 추론하도록 훈련된 뉴럴 네트워크일 수 있다. 제1 신뢰도는, 제1 뉴럴 네트워크의 소프트맥스 레이어의 출력들에 기초하여 계산되고, 제2 신뢰도는, 제2 뉴럴 네트워크의 소프트맥스 레이어의 출력들에 기초하여 계산될 수 있다.

단계 S730에서, 전자 장치(100)는 제1 배치 정보 및 제2 배치 정보를 기초로 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 최종 배치 정보를 결정할 수 있다. 최종 배치 정보는 경도 값 및 위도 값을 포함할 수 있다. 전자 장치(100)는 제1 위도 값 및 제2 위도 값으로부터 적어도 하나의 소노부이를 배치하기 위한 최종 위도 값을 결정하고, 제1 경도 값 및 제2 경도 값으로부터 적어도 하나의 소노부이를 배치하기 위한 최종 경도 값을 결정할 수 있다.

일 실시예에 따르면, 전자 장치(100)는 제1 이미지 정보가 입력된 제1 뉴럴 네트워크의 출력을 기초로 제1 신뢰도, 제1 위도 값, 및 제1 경도 값을 확인할 수 있고, 제2 이미지 정보가 입력된 제2 뉴럴 네트워크의 출력을 기초로 제2 신뢰도, 제2 위도 값, 및 제2 경도 값을 확인할 수 있다. 전자 장치(100)는 제1 신뢰도 및 제2 신뢰도를 기초로 제1 경도 값 및 제1 경도 값으로부터 해역에 적어도 하나의 소노부이를 배치하기 위한 최종 경도 값을 결정하고, 제1 위도 값 및 제2 위도 값으로부터 해역에 적어도 하나의 소노부이를 배치하기 위한 최종 위도 값을 결정할 수 있다. 여기서 제1 신뢰도는 제1 뉴럴 네트워크의 소프트맥스 레이어의 출력들에 기초하여 계산되고, 제2 신뢰도는 제2 뉴럴 네트워크의 소프트맥스 레이어의 출력들에 기초하여 계산될 수 있다.

제1 신뢰도는 제1 경도 값에 대한 제1-1 신뢰도, 및 제1 위도 값에 대한 제1-2신뢰도를 포함하고, 제2 신뢰도는 제2 경도 값에 대한 제2-1 신뢰도, 및 제2 위도 값에 대한 제2-2 신뢰도를 포함할 수 있다. 전자 장치(100)는 제1-1 신뢰도 및 제2-1 신뢰도를 기초로 제1 경도 값 및 제2 경도 값으로부터 최종 경도 값을 결정하고, 제1-2 신뢰도 및 제2-2 신뢰도를 기초로 제1 위도 값 및 제2 위도 값으로부터 최종 위도 값을 결정할 수 있다. 또한, 전자 장치(100)는 통신 디바이스를 통해 결정된 최종 배치 정보를 외부 장치로 전송하거나, 디스플레이를 통해 결정된 최종 배치 정보를 출력할 수 있다.

전술한 실시예들에 따른 전자 장치는, 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-Access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.

본 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다.“매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

전술한 실시예들은 일 예시일 뿐 후술하는 청구항들의 범위 내에서 다른 실시예들이 구현될 수 있다.

Claims (12)

1. 전자 장치가 소노부이 배치 정보를 결정하는 방법에 있어서,
   소정의 해역의 음향 환경에 관한 제1 이미지 정보 및 상기 해역의 수온에 관한 제2 이미지 정보를 획득하는 단계;
   상기 제1 이미지 정보가 입력된 제1 뉴럴 네트워크의 출력인 상기 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 제1 배치 정보를 확인하고, 상기 제2 이미지 정보가 입력된 제2 뉴럴 네트워크의 출력인 상기 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 제2 배치 정보를 확인하는 단계; 및
   상기 제1 배치 정보 및 상기 제2 배치 정보를 기초로 상기 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 최종 배치 정보를 결정하는 단계를 포함하는, 방법.
2. 제1항에 있어서,
   상기 제1 뉴럴 네트워크는,
   특정 해역의 음향 환경에 관한 제1 이미지 정보에 기초하여 상기 특정 해역을 지나는 잠수함을 탐색하기 위한 적어도 하나의 소노부이의 제1 배치 정보를 출력하도록 훈련된 컨볼루션 뉴럴 네트워크이고,
   상기 제2 뉴럴 네트워크는,
   상기 특정 해역의 수온에 관한 제2 이미지 정보에 기초하여 상기 특정 해역을 지나는 잠수함을 탐색하기 위한 적어도 하나의 소노부이의 제2 배치 정보를 출력하도록 훈련된 컨볼루션 뉴럴 네트워크인, 방법.
3. 제1항에 있어서,
   상기 제1 배치 정보는,
   적어도 하나의 소노부이가 배치되기 위한 좌표 값인 제1 위도 값 및 제1 경도 값을 포함하고,
   상기 제2 배치 정보는,
   적어도 하나의 소노부이가 배치되기 위한 좌표 값인 제2 위도 값 및 제2 경도 값을 포함하고,
   상기 결정하는 단계는,
   상기 제1 위도 값 및 상기 제2 위도 값으로부터 상기 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 최종 위도 값을 결정하고, 상기 제1 경도 값 및 상기 제2 경도 값으로부터 상기 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 최종 경도 값을 결정하는 단계를 포함하는, 방법.
4. 제1항에 있어서,
   상기 확인하는 단계는,
   상기 제1 뉴럴 네트워크의 소프트맥스 레이어(softmax layer)의 출력들에 기초하여 상기 제1 이미지 정보의 신뢰도인 제1 신뢰도를 계산하고, 상기 제2 뉴럴 네트워크의 소프트맥스 레이어의 출력들에 기초하여 상기 제2 이미지 정보의 신뢰도인 제2 신뢰도를 계산하는 단계; 및
   상기 제1 이미지 정보가 입력된 상기 제1 뉴럴 네트워크의 출력인 상기 제1 배치 정보에 포함된 제1 위도 값, 및 제1 경도 값을 확인하고, 상기 제2 이미지 정보가 입력된 상기 제2 뉴럴 네트워크의 출력인 상기 제2 배치 정보에 포함된 제2 위도 값, 및 제2 경도 값을 확인하는 단계를 포함하고,
   상기 결정하는 단계는,
   상기 제1 신뢰도 및 상기 제2 신뢰도에 기초하여, 상기 제1 위도 값 및 상기 제2 위도 값으로부터 최종 위도 값을 결정하고, 상기 제1 경도 값 및 상기 제2 경도 값으로부터 최종 경도 값을 결정하는 단계를 포함하는, 방법.
5. 삭제
6. 제4항에 있어서,
   상기 결정하는 단계는,
   상기 제1 신뢰도 및 상기 제2 신뢰도의 비율에 따라 상기 제1 위도 값 및 상기 제2 위도 값 각각에 가중치를 부여하고, 가중치가 부여된 제1 위도 값 및 제2 위도 값으로부터 최종 위도 값을 결정하고,
   상기 제1 신뢰도 및 상기 제2 신뢰도의 비율에 따라 상기 제1 경도 값 및 상기 제2 경도 값 각각에 가중치를 부여하고, 가중치가 부여된 제1 경도 값 및 제2 경도 값으로부터 최종 경도 값을 결정하는 단계를 포함하는, 방법.
7. 제4항에 있어서,
   상기 결정하는 단계는,
   상기 제1 신뢰도 및 상기 제2 신뢰도 간의 크기 비교를 통해 제1 위도 값 및 제2 위도 값 중에서 어느 하나를 최종 위도 값으로 결정하고, 상기 크기 비교를 통해 제1 경도 값 및 제2 경도 값 중에서 어느 하나를 최종 경도 값으로 결정하는 단계를 포함하는, 방법.
8. 제4항에 있어서,
   상기 제1 신뢰도는 상기 제1 경도 값에 대한 제1-1 신뢰도, 및 상기 제1 위도 값에 대한 제1-2 신뢰도를 포함하고,
   상기 제2 신뢰도는 상기 제1 경도 값에 대한 제2-1 신뢰도, 및 상기 제2 위도 값에 대한 제2-2 신뢰도를 포함하고,
   상기 결정하는 단계는,
   상기 제1-1 신뢰도 및 상기 제2-1 신뢰도를 기초로 상기 제1 경도 값 및 상기 제2 경도 값으로부터 상기 최종 경도 값을 결정하고, 상기 제1-2 신뢰도 및 상기 제2-2 신뢰도를 기초로 상기 제1 위도 값 및 상기 제2 위도 값으로부터 상기 최종 경도 값을 결정하는 단계를 포함하는, 방법.
9. 제1항에 있어서,
   상기 제1 이미지 정보는,
   상기 해역에서 음향 전달이 원활한 정도 또는 원활하지 않은 정도를 열-그래픽 형상으로 시각화한 제1 히트맵 정보를 포함하고,
   상기 제2 이미지 정보는,
   상기 해역에서 수온이 높은 정도 또는 낮은 정도를 열-그래픽 형상으로 시각화한 제2 히트맵 정보를 포함하는, 방법.
10. 제1항에 있어서,
    통신 디바이스를 통해 상기 최종 배치 정보를 외부 장치로 전송하거나, 디스플레이를 통해 상기 최종 배치 정보를 출력하는 단계를 포함하는, 방법.
11. 소노부이 배치 정보를 결정하는 전자 장치로서,
    적어도 하나의 프로그램이 저장된 메모리; 및
    상기 적어도 하나의 프로그램을 실행함으로써, 소정의 해역의 음향 환경에 관한 제1 이미지 정보 및 소정의 해역의 수온에 관한 제2 이미지 정보를 획득하고,
    상기 제1 이미지 정보가 입력된 제1 뉴럴 네트워크의 출력인 상기 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 제1 배치 정보를 확인하고, 상기 제2 이미지 정보가 입력된 제2 뉴럴 네트워크의 출력인 상기 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 제2 배치 정보를 확인하고,
    상기 제1 배치 정보 및 상기 제2 배치 정보를 기초로 상기 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 최종 배치 정보를 결정하는 프로세서를 포함하는, 전자 장치.
12. 소노부이 배치 정보를 결정하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 비일시적 기록매체로서,
    상기 방법은,
    소정의 해역의 음향 환경에 관한 제1 이미지 정보 및 소정의 해역의 수온에 관한 제2 이미지 정보를 획득하는 단계;
    상기 제1 이미지 정보가 입력된 제1 뉴럴 네트워크의 출력인 상기 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 제1 배치 정보를 확인하고, 상기 제2 이미지 정보가 입력된 제2 뉴럴 네트워크의 출력인 상기 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 제2 배치 정보를 확인하는 단계; 및
    상기 제1 배치 정보 및 상기 제2 배치 정보를 기초로 상기 해역 내에서 적어도 하나의 소노부이를 배치하기 위한 최종 배치 정보를 결정하는 단계를 포함하는, 비일시적 기록매체.

Images