KR102483341B1 - Apparatus and method for detecting underwater target - Google Patents

Apparatus and method for detecting underwater target Download PDF

Info

Publication number
KR102483341B1
KR102483341B1 KR1020220076297A KR20220076297A KR102483341B1 KR 102483341 B1 KR102483341 B1 KR 102483341B1 KR 1020220076297 A KR1020220076297 A KR 1020220076297A KR 20220076297 A KR20220076297 A KR 20220076297A KR 102483341 B1 KR102483341 B1 KR 102483341B1
Authority
KR
South Korea
Prior art keywords
random
sonar image
sonar
generated
generating
Prior art date
Application number
KR1020220076297A
Other languages
Korean (ko)
Inventor
공영훈
김진호
윤석민
Original Assignee
한화시스템 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화시스템 주식회사 filed Critical 한화시스템 주식회사
Priority to KR1020220076297A priority Critical patent/KR102483341B1/en
Application granted granted Critical
Publication of KR102483341B1 publication Critical patent/KR102483341B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

The present invention relates to an underwater target identification apparatus, which comprises: a data generation unit for generating simulated sonar images; a sensing unit for receiving sound wave signals to generate forward sonar images; and a detection unit which is machine-learned to identify an underwater target through the simulated sonar images generated by the data generation unit and verifies the sonar images generated by the sensing unit to detect underwater targets, and an underwater target identification method applied to the underwater target identification apparatus. The underwater target identification apparatus and the underwater target identification method can improve the underwater target detection performance of an artificial neural network by creating simulated sonar images instead of forward sonar images, which are difficult to obtain in large quantities and machine-learning the artificial neural network.

Description

수중 표적 식별 장치 및 수중 표적 식별 방법{APPARATUS AND METHOD FOR DETECTING UNDERWATER TARGET}Underwater target identification device and underwater target identification method {APPARATUS AND METHOD FOR DETECTING UNDERWATER TARGET}

본 발명은 수중 표적 식별 장치 및 수중 표적 식별 방법에 관한 것으로서, 더욱 상세하게는 모의 소나 영상을 생성하여 인공 신경망을 기계 학습시킴으로써, 인공 신경망의 수중 표적 탐지 성능을 향상시킬 수 있는 수중 표적 식별 장치 및 수중 표적 식별 방법에 관한 것이다.The present invention relates to an underwater target identification device and an underwater target identification method, and more particularly, to an underwater target identification device capable of improving the underwater target detection performance of an artificial neural network by generating a simulated sonar image and machine learning an artificial neural network, and It relates to an underwater target identification method.

전방 주사 소나는 군용 플랫폼에 탑재되고, 군사 해역의 수중 표적을 식별하기 위한 전방 소나 영상을 생성하는 것에 사용된다. 이때, 군용 플랫폼의 승무원은 생성된 전방 소나 영상을 확인하여 수중 표적을 식별할 수 있다. 하지만 승무원의 경험에 따라 수중 표적을 오판할 수 있다.Forward scanning sonars are mounted on military platforms and are used to generate forward sonar images to identify underwater targets in military waters. At this time, the crew of the military platform can identify the underwater target by checking the generated forward sonar image. However, depending on the crew's experience, underwater targets may be misjudged.

종래에는 이러한 문제를 해결하기 위해 인공 신경망을 기계 학습시키고, 전방 소나 영상에서 수중 표적을 자동으로 식별하는 기술을 개발하였다. 그런데 인공 신경망을 기계 학습시키기 위해서는 다양한 군사 해역에서 장시간에 걸쳐 전방 주사 소나를 운용하여 생성된 방대한 양의 전방 소나 영상이 필요하다. 하지만 기계 학습을 위한 전방 소나 영상을 수집하기 위해 군용 플랫폼을 운용하는 것은 소모되는 비용 및 시간적인 면에서 어려움이 있다. 또한, 군사 기밀이 유출될 수 있는 우려 때문에, 과거에 생성된 전방 소나 영상을 외부로 공개하는 일은 극히 드물고, 따라서, 외부에 공개된 전방 소나 영상을 검색하기도 어렵다. 따라서, 기계 학습을 위한 방대한 양의 전방 소나 영상을 확보하기는 실질적으로 매우 어렵다. 한편, 적은 양의 전방 소나 영상을 통해 인공 신경망을 기계 학습시키는 경우, 인공 신경망의 수중 표적 탐지 성능이 저하될 수 있고, 인공 신경망이 전방 소나 영상으로부터 수중 표적을 정확하게 식별하지 못하는 문제가 있다.Conventionally, in order to solve this problem, a technique for machine learning of an artificial neural network and automatically identifying an underwater target from a forward sonar image has been developed. However, in order to machine-learn the artificial neural network, a vast amount of front-scanning sonar images generated by operating forward-scanning sonars over a long period of time in various military waters are required. However, operating a military platform to collect forward sonar images for machine learning is difficult in terms of time and cost. In addition, due to concerns that military secrets may be leaked, it is extremely rare to disclose forward sonar images generated in the past to the outside, and therefore, it is difficult to search for forward sonar images released to the outside. Therefore, it is practically very difficult to secure a large amount of forward sonar images for machine learning. On the other hand, when the artificial neural network is machine-learned through a small amount of front sonar images, the artificial neural network's underwater target detection performance may deteriorate, and the artificial neural network cannot accurately identify an underwater target from the front sonar images. There is a problem.

본 발명의 배경이 되는 기술은 하기의 특허문헌에 게재되어 있다.The background technology of the present invention is published in the following patent documents.

KRKR 10-205415310-2054153 B1B1

본 발명은 모의 소나 영상을 생성하여 인공 신경망을 기계 학습시켜 인공 신경망의 수중 표적 탐지 성능을 향상시킬 수 있는 수중 표적 식별 장치 및 수중 표적 식별 방법을 제공한다.The present invention provides an underwater target identification device and an underwater target identification method capable of improving the underwater target detection performance of an artificial neural network by generating simulated sonar images and machine learning an artificial neural network.

본 발명의 실시 형태에 따른 수중 표적 식별 장치는, 모의 소나 영상을 생성하기 위한 데이터 생성부; 음파 신호를 수신하여 전방 소나 영상을 생성하기 위한 감지부; 및 상기 데이터 생성부로부터 생성된 모의 소나 영상을 통해 수중 표적을 식별하도록 기계 학습되고, 상기 감지부로부터 생성된 전방 소나 영상을 확인하여 수중 표적을 탐지하기 위한 탐지부;를 포함한다.An underwater target identification device according to an embodiment of the present invention includes a data generator for generating a simulated sonar image; a sensor for generating a front sonar image by receiving a sound wave signal; and a detection unit configured to be machine-learned to identify an underwater target through the simulated sonar image generated by the data generator, and to detect the underwater target by checking the forward sonar image generated by the detection unit.

상기 데이터 생성부는, 랜덤 소나 영상을 생성하기 위한 생성기; 미리 입력된 원본 소나 영상을 이용하여, 상기 생성기로부터 생성된 랜덤 소나 영상의 진위여부 정보를 생성하기 위한 식별기; 상기 식별기로부터 생성된 진위여부 정보에 따라, 상기 생성기로부터 생성된 랜덤 소나 영상을 모의 소나 영상으로 결정하여 상기 탐지부로 제공하기 위한 결정기;를 포함할 수 있다.The data generator may include a generator for generating a random sonar image; a discriminator for generating authenticity information of the random sonar image generated by the generator using the previously input original sonar image; and a determiner configured to determine the random sonar image generated by the generator as a simulated sonar image and provide the simulated sonar image to the detection unit according to authenticity information generated by the identifier.

상기 생성기는, 미리 입력된 랜덤함수를 이용하여 랜덤 소나 영상을 생성하고, 상기 식별기로부터 생성된 진위여부 정보를 상기 랜덤함수에 반영할 수 있다.The generator may generate a random sonar image using a pre-input random function, and reflect authenticity information generated from the identifier to the random function.

상기 감지부 및 상기 탐지부는 수중 또는 수상에서 임무를 수행하기 위한 임무 플랫폼에 탑재되고, 상기 데이터 생성부는 상기 임무 플랫폼에 탑재되거나, 상기 임무 플랫폼을 관리하기 위한 관리 플랫폼에 탑재될 수 있다.The detection unit and the detection unit may be mounted on a mission platform for performing a mission underwater or on the water, and the data generating unit may be mounted on the mission platform or a management platform for managing the mission platform.

본 발명의 실시 형태에 따른 수중 표적 식별 방법은, 모의 소나 영상을 생성하는 과정; 수중 표적을 탐지하기 위해, 생성된 모의 소나 영상을 이용하여 인공 신경망을 기계 학습시키는 과정; 음파 신호를 수신하여 전방 소나 영상을 생성하는 과정; 및 기계 학습된 인공 신경망을 이용하여, 음파 신호를 수신하여 생성된 전방 소나 영상으로부터 수중 표적을 탐지하는 과정;을 포함할 수 있다.An underwater target identification method according to an embodiment of the present invention includes generating a simulated sonar image; machine learning of an artificial neural network using generated simulated sonar images to detect underwater targets; generating a front sonar image by receiving a sound wave signal; and detecting an underwater target from a front sonar image generated by receiving a sound wave signal using a machine-learned artificial neural network.

상기 모의 소나 영상을 생성하는 과정은, 랜덤 소나 영상을 생성하는 과정; 생성된 랜덤 소나 영상의 진위여부를 판별하는 과정; 생성된 랜덤 소나 영상의 진위여부를 판별할 수 없게 되면, 생성된 랜덤 소나 영상을 모의 소나 영상으로 결정하는 과정;을 포함할 수 있다.The process of generating the simulated sonar image may include generating a random sonar image; The process of determining the authenticity of the generated random sonar image; When the authenticity of the generated random cow or image cannot be determined, a process of determining the generated random cow or image as a simulated cow or image; may be included.

상기 랜덤 소나 영상을 생성하는 과정은, 랜덤 소나 영상을 생성하기 위한 베이스 영상 프레임을 생성하는 과정; 랜덤함수를 이용하여, 상기 베이스 영상 프레임의 픽셀위치별로 픽셀값을 생성하는 과정; 상기 픽셀위치별로 생성된 픽셀값을 상기 베이스 영상 프레임에 적용하여 랜덤 소나 영상을 생성하는 과정;을 포함할 수 있다.The process of generating the random sonar image may include generating a base image frame for generating the random sonar image; generating a pixel value for each pixel position of the base image frame using a random function; and generating a random sonar image by applying the pixel value generated for each pixel location to the base image frame.

상기 생성된 랜덤 소나 영상의 진위여부를 판별하는 과정은, 진위여부를 판별하기 위한 원본 소나 영상을 준비하는 과정; 준비된 원본 소나 영상과 생성된 랜덤 소나 영상을 비교하여 진위여부를 판별하는 과정;을 포함할 수 있다.The process of determining the authenticity of the generated random sonar image may include preparing an original sonar image for determining authenticity; It may include a process of determining authenticity by comparing the prepared original sonar image and the generated random sonar image.

상기 모의 소나 영상을 생성하는 과정은, 생성된 랜덤 소나 영상의 진위여부가 판별되면, 판별된 결과를 분석하여 결과분석 정보를 생성하는 과정; 생성된 결과분석 정보를 상기 랜덤함수에 반영하는 과정;을 포함할 수 있다.The process of generating the simulated sonar image may include: generating result analysis information by analyzing the determined result when authenticity of the generated random sonar image is determined; A process of reflecting the generated result analysis information to the random function; may include.

상기 결과분석 정보를 생성하는 과정은, 생성된 랜덤 소나 영상의 픽셀위치별로, 상기 원본 소나 영상의 픽셀값과 생성된 랜덤 소나 영상의 픽셀값의 차이값을 구하여 결과분석 정보로 생성하는 과정;을 포함할 수 있다.The process of generating the result analysis information includes a process of obtaining a difference between a pixel value of the original sonar image and a pixel value of the generated random sonar image for each pixel position of the generated random sonar image and generating the result analysis information; can include

생성된 랜덤 소나 영상의 진위여부를 판별할 때, 연속적으로 생성된 랜덤 소나 영상에서 진위여부가 참으로 판별되는 랜덤 소나 영상의 개수의 비율이 미리 정해진 기준범위에 포함되면 생성된 랜덤 소나 영상의 진위여부를 판별할 수 없는 것으로 판단할 수 있다.When determining the authenticity of the generated random sonar images, if the ratio of the number of random sonar images whose authenticity is determined as true among continuously generated random sonar images is included in the predetermined reference range, the authenticity of the generated random sonar images It can be judged that it cannot be determined whether or not.

상기 모의 소나 영상을 생성하는 과정은 생성적 적대 신경망에서 수행하고, 상기 인공 신경망을 기계 학습시키는 과정은 합성곱 신경망에서 수행할 수 있다.The process of generating the simulated sonar image may be performed in a generative adversarial neural network, and the process of machine learning the artificial neural network may be performed in a convolutional neural network.

본 발명의 실시 형태에 따르면, 인공 신경망을 기계 학습시키기 위해 대량으로 확보하기 어려운 실제 전방 소나 영상 대신에, 실제 전방 소나 영상과 유사하도록 생성된 대량의 모의 소나 영상을 생성하여 인공 신경망을 효과적으로 기계 학습시킬 수 있다. 따라서, 인공 신경망의 수중 표적 탐지 성능을 향상시킬 수 있고, 모의 소나 영상을 이용하여 기계 학습시킨 인공 신경망을 이용하여, 수중 표적을 탐지하기 위해 음파 신호를 수신하여 생성되는 전방 소나 영상으로부터 수중 표적을 식별하는 정확도를 크게 향상시킬 수 있다.According to an embodiment of the present invention, instead of an actual frontal sonar image, which is difficult to secure in large quantities for machine learning of an artificial neural network, a large amount of simulated sonar images generated to be similar to an actual frontal sonar image are generated to effectively machine learn an artificial neural network. can make it Therefore, it is possible to improve the underwater target detection performance of the artificial neural network, and to detect an underwater target by using an artificial neural network machine-learned using a simulated sonar image to detect an underwater target from a front sonar image generated by receiving a sound wave signal. The identification accuracy can be greatly improved.

도 1은 본 발명의 실시 예에 따른 수중 표적 식별 장치의 블록도이다.
도 2는 본 발명의 실시 예에 따른 원본 소나 영상, 랜덤 소나 영상 및 모의 소나 영상을 예시적으로 보여주는 도면이다.
도 3은 도 2의 최종 결과 부분을 확대하여 보여주는 도면이다.
도 4는 본 발명의 실시 예에 따른 수중 표적 식별 방법의 순서도이다.
도 5는 본 발명의 실시 예에 따른 모의 소나 영상을 생성하는 과정의 순서도이다.1 is a block diagram of an underwater target identification device according to an embodiment of the present invention.
2 is a diagram exemplarily showing an original sonar image, a random sonar image, and a simulated sonar image according to an embodiment of the present invention.
FIG. 3 is an enlarged view of a final result part of FIG. 2 .
4 is a flowchart of an underwater target identification method according to an embodiment of the present invention.
5 is a flowchart of a process of generating a simulated sonar image according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여, 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니고, 서로 다른 다양한 형태로 구현될 것이다. 단지 본 발명의 실시 예는 본 발명의 개시가 완전하도록 하고, 해당 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명의 실시 예를 설명하기 위하여 도면은 과장될 수 있고, 도면상의 동일한 부호는 동일한 요소를 지칭한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, and will be implemented in a variety of different forms. Only the embodiments of the present invention are provided to complete the disclosure of the present invention and to fully inform those skilled in the art of the scope of the invention. In order to explain an embodiment of the present invention, the drawings may be exaggerated, and the same reference numerals in the drawings refer to the same elements.

도 1은 본 발명의 실시 예에 따른 수중 표적 식별 장치의 블록도이다.1 is a block diagram of an underwater target identification device according to an embodiment of the present invention.

본 발명의 실시 예에 따른 수중 표적 식별 장치는, 모의 소나 영상을 생성하여 인공 신경망을 기계 학습시킴으로써, 인공 신경망의 수중 표적 탐지 성능을 향상시킬 수 있다. 도 1을 참조하면, 수중 표적 식별 장치는, 모의 소나 영상을 생성하기 위한 데이터 생성부(100), 음파 신호를 수신하여 전방 소나 영상을 생성하기 위한 감지부(200), 및 데이터 생성부(100)로부터 생성된 모의 소나 영상을 통해 수중 표적을 식별하도록 기계 학습되고, 감지부(200)로부터 생성된 전방 소나 영상을 확인하여 수중 표적을 탐지하기 위한 탐지부(300)를 포함한다.The underwater target identification apparatus according to an embodiment of the present invention can improve the underwater target detection performance of the artificial neural network by generating simulated sonar images and machine learning the artificial neural network. Referring to FIG. 1 , an underwater target identification device includes a data generator 100 for generating a simulated sonar image, a sensor 200 for generating a front sonar image by receiving a sound wave signal, and a data generator 100 It is machine-learned to identify an underwater target through simulated sonar images generated from ), and includes a detector 300 for detecting an underwater target by checking the front sonar image generated by the detector 200.

데이터 생성부(100)는 임무 플랫폼(미도시)에 탑재될 수 있다. 물론, 데이터 생성부(100)는 관리 플랫폼(미도시)에 탑재될 수 있다. 또한, 감지부(200) 및 탐지부(300)는 전술한 임무 플랫폼에 탑재될 수 있다. 전술한 임무 플랫폼은 수중 또는 수상에서 임무를 수행하기 위한 잠수함, 함선 등을 포함하는 군용 장비일 수 있다. 또한, 전술한 관리 플랫폼은 전술한 임무 플랫폼을 관리하기 위한 지상 통제 센터, 정비창 등을 포함하는 군용 시설일 수 있다.The data generator 100 may be mounted on a mission platform (not shown). Of course, the data generator 100 may be mounted on a management platform (not shown). In addition, the detection unit 200 and the detection unit 300 may be mounted on the aforementioned mission platform. The aforementioned mission platform may be military equipment including submarines, ships, etc. for performing missions underwater or on the surface. In addition, the above-mentioned management platform may be a military facility including a ground control center and a maintenance depot for managing the above-mentioned mission platform.

데이터 생성부(100)는 모의 소나 영상을 생성할 수 있다. 구체적으로, 데이터 생성부(100)는 탐지부(300)를 기계 학습시키기 위한 모의 소나 영상을 생성할 수 있다. 데이터 생성부(100)는 생성기(110), 식별기(120) 및 출력기(130)를 포함할 수 있다. 또한, 데이터 생성부(100)에는 생성적 적대 신경망이 탑재될 수 있다.The data generator 100 may generate a simulated sonar image. Specifically, the data generating unit 100 may generate a simulated sonar image for machine learning the detection unit 300 . The data generator 100 may include a generator 110 , an identifier 120 and an output unit 130 . In addition, a generative adversarial neural network may be installed in the data generator 100 .

생성기(110)는 랜덤 소나 영상을 생성할 수 있다. 예를 들어, 생성기(110)는 감지부(200)가 생성하는 전방 소나 영상과 동일한 화면크기와 동일한 해상도를 가지는 랜덤 소나 영상을 생성할 수 있다. 이때, 생성기(110)는 미리 입력된 랜덤함수를 이용하여 랜덤 소나 영상을 생성할 수 있다.The generator 110 may generate random sonar images. For example, the generator 110 may generate a random sonar image having the same screen size and the same resolution as the front sonar image generated by the sensor 200 . At this time, the generator 110 may generate a random sonar image using a random function input in advance.

또한, 생성기(110)는 최초로 랜덤 소나 영상을 생성할 때에는 완전하게 무작위로 랜덤 소나 영상을 생성할 수 있다. 그러나 두번째 랜덤 소나 영상부터는 식별기(120)에서 생성되는 후술하는 진위여부 정보를 기계 학습하여 랜덤함수에 반영할 수 있고, 기계 학습에 의해 보정된 랜덤함수를 이용하여 점차적으로 실제에 가깝도록 랜덤 소나 영상을 생성할 수 있다.In addition, the generator 110 may completely randomly generate a random sonar image when generating a random sonar image for the first time. However, from the second random sonar image, the later-described authenticity information generated by the discriminator 120 can be machine-learned and reflected in the random function, and the random sonar image gradually closer to reality by using the random function corrected by machine learning. can create

도 2는 본 발명의 실시 예에 따른 원본 소나 영상, 랜덤 소나 영상 및 모의 소나 영상을 예시적으로 보여주는 도면이다. 도 3은 도 2의 최종 결과 부분을 확대하여 보여주는 도면이다.2 is a diagram exemplarily showing an original sonar image, a random sonar image, and a simulated sonar image according to an embodiment of the present invention. FIG. 3 is an enlarged view of a final result part of FIG. 2 .

도 2를 참조하면, 생성기(110)에서 최초로 생성된 랜덤 소나 영상(Epoch1)은 완전하게 무작위로 생성된 영상일 수 있다. 그런데, 생성기(110)에서 100번째로 생성된 랜덤 소나 영상(Epoch100)을 보면, 랜덤 소나 영상이 조금씩 원본 소나 영상(원본 영상)과 유사해짐을 볼 수 있다. 그리고 1000번째로 생성된 랜덤 소나 영상(Epoch100)을 보면, 세대(Epoch)를 반복할수록 생성기(110)에서 생성되는 랜덤 소나 영상이 원본 소나 영상(원본 영상)에 가깝도록 생성됨을 볼 수 있다. 도 3을 참조하면, 충분한 세대를 거치면 생성기(110)에서 생성되는 랜덤 소나 영상이 원본 소나 영상(원본 영상)과 구분할 수 없을 정도로 유사해질 수 있다.Referring to FIG. 2 , a random sonar image Epoch1 initially generated by the generator 110 may be a completely randomly generated image. However, looking at the random sonar image (Epoch100) generated for the 100th time in the generator 110, it can be seen that the random sonar image gradually becomes similar to the original sonar image (original image). Also, looking at the 1000th generated random sonar image (Epoch100), it can be seen that the random sonar image generated by the generator 110 is generated closer to the original sonar image (original image) as the generation (Epoch) is repeated. Referring to FIG. 3 , after passing through enough generations, a random sonar image generated by the generator 110 may become indistinguishably similar to an original sonar image (original image).

즉, 생성기(110)는 최초에는 무작위로 랜덤 소나 영상을 생성하나, 이후부터는 진위여부 정보를 기계 학습함으로써, 점차적으로 실제에 가깝도록 랜덤 소나 영상을 생성할 수 있고, 결국에 실제 영상인 원본 소나 영상에 가까운 랜덤 소나 영상을 생성할 수 있다.That is, the generator 110 randomly generates a random sonar image at first, but after that, by machine learning authenticity information, it is possible to gradually generate a random sonar image to be closer to the real one, and eventually the original sonar image, which is a real image, Random sonar images close to images can be generated.

도 1을 참조하면, 식별기(120)는 생성기(110)로부터 랜덤 소나 영상을 입력받을 수 있도록 생성기(110)와 연결될 수 있다. 식별기(120)에는 랜덤 소나 영상의 진위여부를 식별하는 것에 기준이 되는 원본 소나 영상이 미리 입력될 수 있다. 원본 소나 영상은 감지부(200)가 음파 신호를 수신하여 생성한 전방 소나 영상 중에서 선택될 수 있다.Referring to FIG. 1 , the identifier 120 may be connected to the generator 110 to receive a random sonar image from the generator 110 . An original sonar image, which is a criterion for identifying authenticity of a random sonar image, may be previously input to the identifier 120 . The original sonar image may be selected from front sonar images generated by the sensor 200 by receiving a sound wave signal.

물론, 식별기(120)는 전술테이터링크를 통해 데이터 생성부(100)가 탑재되지 않은 다른 임무 플랫폼으로부터 해당 임무 플랫폼에 미리 준비되어 있는 원본 소나 영상을 입력받을 수 있다. 이와 마찬가지로, 식별기(120)는 전술테이터링크를 통해 관리 플랫폼으로부터 해당 관리 플랫폼에 미리 준비되어 있는 원본 소나 영상을 입력받을 수 있다. 이러한 원본 소나 영상은 감지부(200)가 생성하는 전방 소나 영상과 동일한 화면크기와 동일한 해상도를 가질 수 있다.Of course, the identifier 120 may receive an original sonar image prepared in advance for the corresponding mission platform from another mission platform on which the data generator 100 is not mounted through the tactical data link. Similarly, the identifier 120 may receive an original sonar image prepared in advance in the management platform from the management platform through a tactical data link. The original sonar image may have the same screen size and the same resolution as the front sonar image generated by the sensing unit 200 .

또한, 식별기(120)는 미리 입력된 원본 소나 영상을 이용하여, 생성기(110)로부터 생성된 랜덤 소나 영상의 진위여부 정보를 생성할 수 있다. 구체적으로, 식별기(120)는 미리 입력된 원본 소나 영상을 바탕으로 랜덤 소나 영상이 참(실제)인지 거짓인지 판별하여, 랜덤 소나 영상이 참 또는 거짓으로 판별되면 해당하는 랜덤 소나 영상의 진위여부 정보를 생성할 수 있다. 이때, 진위여부 정보를 결과분석 정보라고 지칭할 수도 있다. 식별기(120)는 생성기(110)에서 랜덤 소나 영상을 생성할 때마다 진위여부 정보를 생성하여 각각을 생성기(110)로 입력할 수 있다. 진위여부 정보는 손실함수의 형태로 생성될 수 있다.In addition, the identifier 120 may generate authenticity information of the random sonar image generated by the generator 110 using the previously input original sonar image. Specifically, the identifier 120 determines whether the random sonar image is true (real) or false based on the original sonar image input in advance, and if the random sonar image is determined to be true or false, the corresponding random sonar image authenticity information can create At this time, authenticity information may be referred to as result analysis information. The identifier 120 may generate authenticity information whenever a random sonar image is generated by the generator 110 and input each information to the generator 110 . Authenticity information can be generated in the form of a loss function.

출력기(130)는 생성기(110)로부터 랜덤 소나 영상을 입력받을 수 있고, 식별기(120)로부터 진위여부 정보를 입력받을 수 있도록, 생성기(110) 및 식별기(120)와 연결될 수 있다. 또한, 출력기(130)는 탐지부(300)로 모의 소나 영상을 입력할 수 있도록 탐지부(300)와 연결될 수 있다. 출력기(130)는 식별기(120)로부터 생성된 진위여부 정보에 따라, 생성기(110)로부터 생성된 랜덤 소나 영상을 모의 소나 영상으로 결정하여 탐지부(300)로 제공할 수 있다. 구체적으로, 출력기(130)는 식별기(120)에서 랜덤 소나 영상의 진위여부를 판별할 수 없게 되어, 진위여부 정보가 생성되지 않으면, 해당 시점부터 생성기(110)로부터 생성되는 랜덤 소나 영상을 모의 소나 영상으로 결정하여 탐지부(300)로 제공할 수 있다. 이때, 생성기(110)에서는 전술한 해당 시점부터, 탐지부(300)를 기계 학습시키 수 있을 정도로 무수히 많은 랜덤 소나 영상을 생성할 수 있고, 출력기(130)는 전술한 해당 시점부터 생성기(110)에서 생성되는 무수히 많은 랜덤 소나 영상을 모의 소나 영상으로 결정하여 탐지부(300)로 제공할 수 있다.The output unit 130 may be connected to the generator 110 and the discriminator 120 so as to receive random sonar images from the generator 110 and authenticity information from the discriminator 120. In addition, the output device 130 may be connected to the detection unit 300 so that a simulated cow or image may be input to the detection unit 300 . The output unit 130 may determine the random sonar image generated by the generator 110 as a simulated sonar image according to the authenticity information generated by the identifier 120 and provide it to the detection unit 300 . Specifically, the output unit 130 cannot determine the authenticity of the random sonar image in the discriminator 120, and if authenticity information is not generated, the random sonar image generated from the generator 110 from that point in time cannot be simulated sonar or video. It can be determined as an image and provided to the detection unit 300 . At this time, the generator 110 can generate innumerable random sonar images enough to machine-learn the detection unit 300 from the corresponding point in time described above, and the output unit 130 generates the generator 110 from the corresponding point in time described above. Innumerable random sonar images generated in may be determined as simulated sonar images and provided to the detection unit 300 .

감지부(200)는 음파 신호를 수신하여 전방 소나 영상을 생성할 수 있다. 구체적으로, 감지부(200)는 수중으로 음파 신호를 송신하고, 이로부터 반사되는 음파 신호를 수신하여 전방 소나 영상을 생성할 수 있다. 감지부(200)는 임무 플랫폼이 운용되는 동안 실시간으로 작동되면서 전방 소나 영상을 생성할 수 있다. 즉, 감지부(200)가 생성하는 전방 소나 영상은 실제로 수중으로부터 수신된 음파에 의해 생성되는 전방 소나 영상으로, 수중의 표적에 대한 신호와 함께 수중의 온도, 밀도, 심도 등이 반영된 각종 노이즈도 섞여있는 전방 소나 영상일 수 있다. 감지부(200)는 예컨대 전방 소나 센서를 포함할 수 있다.The sensing unit 200 may generate a front sonar image by receiving a sound wave signal. Specifically, the sensing unit 200 may generate a front sonar image by transmitting a sound wave signal underwater and receiving a sound wave signal reflected from the sound wave signal. The sensing unit 200 may generate a forward sonar image while operating in real time while the mission platform is operating. That is, the forward sonar image generated by the sensor 200 is actually a forward sonar image generated by sound waves received from underwater, and various noises reflecting the temperature, density, depth, etc. of the water as well as the signal for the underwater target are also generated. It can be mixed forward sonar images. The sensing unit 200 may include, for example, a front sonar sensor.

탐지부(300)는 데이터 생성부(100)로부터 생성된 모의 소나 영상을 통해 수중 표적을 식별하도록 기계 학습될 수 있다. 또한, 탐지부(300)는 감지부(200)로부터 생성된 전방 소나 영상을 확인하여 수중 표적을 탐지할 수 있다. 탐지부(300)는 데이터 생성부(100)로부터 생성된 무수히 많은 모의 소나 영상을 기계 학습하여 정밀한 수중 표적 식별 모델을 생성할 수 있다. 이를 위해, 탐지부(300)에는 합성곱 신경망이 탑재될 수 있다. 그리고 탐지부(300)는 수중 표적 식별 모델에 전방 소나 영상을 입력하여, 전방 소나 영상 내의 수중 표적을 탐지할 수 있다.The detector 300 may be machine-learned to identify an underwater target through simulated sonar images generated by the data generator 100 . In addition, the detection unit 300 may detect an underwater target by checking the front sonar image generated by the detection unit 200 . The detection unit 300 may generate a precise underwater target identification model by machine learning of countless simulated sonar images generated by the data generation unit 100 . To this end, the detection unit 300 may be equipped with a convolutional neural network. Also, the detection unit 300 may input the front sonar image to the underwater target identification model and detect the underwater target in the front sonar image.

이에, 탐지부(300)는 임무 플랫폼을 운용하는 승무원의 개입 없이, 실시간으로 수중 표?을 식별할 수 있다. 따라서, 탐지부(300)가 탑재된 임무 플랫폼의 수중 표적 식별 정확도가 향상될 수 있고, 이로부터 임무 플랫폼의 임무 수행 능력이 향상될 수 있다.Accordingly, the detection unit 300 may identify the underwater target in real time without intervention of a crew member operating the mission platform. Accordingly, the underwater target identification accuracy of the mission platform on which the detection unit 300 is mounted may be improved, thereby improving the mission performance of the mission platform.

도 4는 본 발명의 실시 예에 따른 수중 표적 식별 방법의 순서도이다. 또한, 도 5는 본 발명의 실시 예에 따른 모의 소나 영상을 생성하는 과정의 순서도이다.4 is a flowchart of an underwater target identification method according to an embodiment of the present invention. 5 is a flowchart of a process of generating a simulated sonar image according to an embodiment of the present invention.

본 발명의 실시 예에 따른 수중 표적 식별 방법은 모의 소나 영상을 생성하여 인공 신경망을 기계 학습시킴으로써, 인공 신경망의 수중 표적 탐지 성능을 향상시킬 수 있다. 도 4를 참조하면, 수중 표적 식별 방법은, 모의 소나 영상을 생성하는 과정(S100), 수중 표적을 탐지하기 위해, 생성된 모의 소나 영상을 이용하여 인공 신경망을 기계 학습시키는 과정(S200), 음파 신호를 수신하여 전방 소나 영상을 생성하는 과정(S300), 및 기계 학습된 인공 신경망을 이용하여, 음파 신호를 수신하여 생성된 전방 소나 영상으로부터 수중 표적을 탐지하는 과정(S400)을 포함한다. The underwater target identification method according to an embodiment of the present invention can improve the underwater target detection performance of the artificial neural network by generating simulated sonar images and machine learning the artificial neural network. Referring to FIG. 4, the underwater target identification method includes generating a simulated sonar image (S100), machine learning an artificial neural network using the generated simulated sonar image to detect an underwater target (S200), and A process of generating a front sonar image by receiving a signal (S300), and a process of detecting an underwater target from the front sonar image generated by receiving a sound wave signal using a machine-learned artificial neural network (S400).

이때, 수중 표적 식별 방법은, 본 발명의 실시 예에 따른 전술한 수중 표적 식별 장치에 의해 수행될 수 있다. 이하에서는 본 발명의 실시 예에 따른 전술한 수중 표적 식별 장치로 수중 표적 식별 방법을 수행하는 것을 예시하여 설명하기로 한다. 그러나 이에 한정되지 않고 다양한 식별 장치에 의해 수중 표적 식별 방법이 수행될 수 있다.In this case, the underwater target identification method may be performed by the above-described underwater target identification apparatus according to an embodiment of the present invention. Hereinafter, an underwater target identification method performed by the above-described underwater target identification apparatus according to an embodiment of the present invention will be described as an example. However, the underwater target identification method may be performed by various identification devices without being limited thereto.

우선, 모의 소나 영상을 생성한다(S100). 모의 소나 영상을 생성하는 과정은, 랜덤 소나 영상을 생성하고(S110), 생성된 랜덤 소나 영상의 진위여부를 판별하고(S120), 생성된 랜덤 소나 영상의 진위여부를 판별할 수 없게 되면, 생성된 랜덤 소나 영상을 모의 소나 영상으로 결정할 수 있다(S130). 또한, 모의 소나 영상을 생성하는 과정(S100)은 생성적 적대 신경망에서 수행할 수 있다.First, a simulated sonar image is generated (S100). In the process of generating a simulated sonar image, a random sonar image is generated (S110), the authenticity of the generated random sonar image is determined (S120), and if the authenticity of the generated random sonar image cannot be determined, it is generated. The random sonar image may be determined as a simulated sonar image (S130). In addition, the process of generating a simulated sonar image (S100) can be performed in a generative adversarial neural network.

여기서, 데이터 생성부(100)의 생성기(110)에서, 랜덤 소나 영상을 생성하기 위한 베이스 영상 프레임을 생성하고, 랜덤함수를 이용하여 베이스 영상 프레임의 픽셀위치별로 픽셀값을 생성하고, 픽셀위치별로 생성된 픽셀값을 베이스 영상 프레임에 적용하여 랜덤 소나 영상을 생성할 수 있다(S110).Here, the generator 110 of the data generator 100 generates a base image frame for generating a random sonar image, generates a pixel value for each pixel location of the base image frame using a random function, and generates a pixel value for each pixel location. A random sonar image may be generated by applying the generated pixel value to the base image frame (S110).

예컨대 랜덤 소나 영상을 생성하기 위해 생성기(110)에 탑재된 생성적 적대 신경망의 생성기 네트워크 모델을 이용하여, 랜덤 소나 영상을 생성하기 위한 베이스 영상 프레임을 생성할 수 있다. 베이스 영상 프레임은 원본 소나 영상과 동일한 화면크기와 동일한 해상도를 가질 수 있다. 또한, 베이스 영상 프레임은 픽셀위치별 초기 픽셀값을 가지는 데이터 파일의 형태로 생성될 수 있다. 초기 픽셀값은 0 내지 255 중에서 선택된 어느 하나의 값일 수 있다. 이때, 0 내지 255 는 RGB 방식으로 표현된 색의 픽셀값일 수 있다.For example, a base image frame for generating a random sonar image may be generated using a generator network model of a generative adversarial network loaded in the generator 110 to generate a random sonar image. The base image frame may have the same screen size and the same resolution as the original sonar image. Also, the base image frame may be generated in the form of a data file having initial pixel values for each pixel location. The initial pixel value may be any one value selected from 0 to 255. In this case, 0 to 255 may be pixel values of colors expressed in an RGB method.

예컨대 베이스 영상 프레임의 픽셀이 i열 및 j행의 형태로 배치될 때, 제1열의 1번째 픽셀위치부터 제i열의 j번째 픽셀위치까지, 각 픽셀위치마다 0 내지 255 중에서 선택된 어느 하나의 초기 픽셀값을 가지는 베이스 영상 프레임이 데이터 파일의 형태로 생성될 수 있다. 초기 픽셀값은 RGB 값을 가지는 대신에 다른 방식으로 정의된 픽셀값을 가질 수도 있고, 픽셀위치는 벡터값으로 표현될 수도 있다. 초기 픽셀값은 베이스 영상 프레임을 생성하기 위한 픽셀값으로서, 랜덤 소나 영상의 랜덤한 픽셀값과 다를 수 있다.For example, when the pixels of the base image frame are arranged in column i and row j, any one initial pixel selected from 0 to 255 for each pixel location from the 1st pixel position in column 1 to the j-th pixel position in column i A base image frame having a value may be created in the form of a data file. Instead of having RGB values, the initial pixel values may have pixel values defined in a different way, and the pixel positions may be expressed as vector values. The initial pixel value is a pixel value for generating a base image frame, and may be different from a random pixel value of a random cow or image.

이후, 생성기(110)가 랜덤함수를 이용하여 베이스 영상 프레임의 픽셀위치별로 랜덤한 픽셀값을 생성할 수 있다. 이때, 랜덤함수는 랜덤한 픽셀값으로 사용하기 위해 0 내지 255 의 범위 내에서 랜덤숫자를 생성할 수 있다. 또한, 랜덤함수는 전술한 생성기 네트워크 모델 상에서 구현될 수 있고, 소정의 프로그래밍언어로 작성될 수 있다. 예컨대 제1열의 1번째 위치부터 제i열의 j번째 위치까지, 각 픽셀위치마다 랜덤숫자를 생성하여 해당 위치의 픽셀값으로 할 수 있다.Thereafter, the generator 110 may generate random pixel values for each pixel location of the base image frame using a random function. In this case, the random function may generate a random number within a range of 0 to 255 to use as a random pixel value. In addition, the random function may be implemented on the generator network model described above and may be written in a predetermined programming language. For example, a random number may be generated for each pixel position from the first position of the first column to the j-th position of the i-th column to be the pixel value of the corresponding position.

이후, 생성기(110)에서 전술한 생성기 네트워크 모델로, 픽셀위치별로 생성된 픽셀값을 베이스 영상 프레임에 적용하여 랜덤 소나 영상을 생성할 수 있다. 이로부터 픽셀위치별로 랜덤함수에 의해 생성된 랜덤한 픽셀값을 가지는 랜덤 소나 영상을 생성할 수 있다. 한편, 최초로 생성된 랜덤 소나 영상(Epoch1)은 완전하게 무작위로 생성된 영상일 수 있다(도 2 참조).Thereafter, the generator 110 may generate a random sonar image by applying the pixel value generated for each pixel location to the base image frame using the generator network model described above. From this, a random sonar image having random pixel values generated by a random function for each pixel location can be generated. Meanwhile, the first random sonar image (Epoch1) may be a completely randomly generated image (see FIG. 2).

또한, 데이터 생성부(100)의 식별기(120)로, 진위여부를 판별하기 위한 원본 소나 영상을 준비하고, 준비된 원본 소나 영상과 생성된 랜덤 소나 영상을 비교함으로써, 생성된 랜덤 소나 영상의 진위여부를 판별할 수 있다(S120).In addition, the identifier 120 of the data generator 100 prepares an original sonar image for determining authenticity and compares the prepared original sonar image with the generated random sonar image, thereby determining whether the generated random sonar image is genuine or not. It can be determined (S120).

즉, 감지부(200)에서 전방 소나 영상을 생성하고, 생성된 전방 소나 영상을 식별기(120)로 입력하여서, 랜덤 소나 영상의 진위여부를 판별하기 위한 원본 소나 영상으로 준비할 수 있다. 물론, 전술테이터링크를 통해 데이터 생성부(100)가 탑재되지 않은 다른 임무 플랫폼으로부터 해당 임무 플랫폼에 미리 준비되어 있는 원본 소나 영상을 입력받을 수도 있고, 관리 플랫폼으로부터 해당 관리 플랫폼에 미리 준비되어 있는 원본 소나 영상을 입력받을 수도 있다. 다른 임무 플랫폼 및 관리 플랫폼으로부터 식별기(120)로 입력되는 원본 소나 영상은 감지부(200)가 생성하는 전방 소나 영상과 동일한 화면크기와 동일한 해상도를 가질 수 있다. 또한, 원본 소나 영상은 임무 플랫폼의 승무원에 의해 라벨링된 상태일 수 있고, 그 개수가 하나 이상일 수 있으며, 생성적 적대 신경망의 판별기 네트워크 모델의 기계 학습에 사용될 수 있다.That is, the sensor 200 generates a front sonar image, and the generated front sonar image is input to the discriminator 120 to prepare an original sonar image for determining authenticity of the random sonar image. Of course, the original sonar image prepared in advance in the corresponding mission platform may be received from another mission platform that is not equipped with the data generation unit 100 through the tactical data link, and the original sonar image prepared in advance in the corresponding management platform may be input from the management platform. It can also receive input from sonar and video. Original sonar images input to the identifier 120 from other mission platforms and management platforms may have the same screen size and the same resolution as the front sonar images generated by the detector 200 . In addition, the original sonar images may be labeled by the crew of the mission platform, the number may be one or more, and may be used for machine learning of the discriminator network model of the generative adversarial network.

또한, 감지부(200)에 탑재된 생성적 적대 신경망의 판별기 네트워크 모델을 이용하여, 준비된 원본 소나 영상과 생성된 랜덤 소나 영상을 비교하여 진위여부를 판별할 수 있다. 이때, 판별기 네트워크 모델은 랜덤 소나 영상의 픽셀위치별 픽셀값과 원본 소나 영상의 동일 픽셀위치별 픽셀값을 비교하여 픽셀위치별로 차이값을 구하고, 판별기 네트워크 모델의 기계 학습을 통해 판별기 네트워크 모델 상에 구현된 활성화함수를 이용하여, 구해진 차이값으로부터 랜덤 소나 영상의 진위여부를 참 혹은 거짓으로 판별할 수 있다.In addition, by using the discriminator network model of the generative adversarial neural network loaded in the sensing unit 200, authenticity can be determined by comparing the prepared original sonar image with the generated random sonar image. At this time, the discriminator network model compares the pixel value of each pixel position of the random sonar image with the pixel value of the same pixel position of the original sonar image to obtain a difference value for each pixel position, and the discriminator network model through machine learning of the discriminator network model. Using the activation function implemented on the model, it is possible to determine whether the random cow or image is authentic or false from the obtained difference value.

이때, 식별기(120)는 생성된 랜덤 소나 영상의 진위여부가 참 또는 거짓으로 판별되면, 판별된 결과를 분석하여 결과분석 정보를 생성할 수 있다. 랜덤 소나 영상의 픽셀위치별로, 원본 소나 영상의 픽셀값과 생성된 랜덤 소나 영상의 픽셀값의 차이값을 구하여 결과분석 정보로 생성할 수 있다. 예컨대 결과분석 정보는 픽셀위치별로 구해진 차이값과 적절한 가중치 및 편향을 반영하여 손실함수의 형태로 생성될 수 있다. 또한, 생성된 결과분석 정보를 랜덤함수에 반영하여, 함수공간의 차원을 늘려줄 수 있다.At this time, if the authenticity of the generated random sonar image is determined as true or false, the discriminator 120 may generate result analysis information by analyzing the determined result. For each pixel position of the random sonar image, a difference value between a pixel value of the original sonar image and a pixel value of the generated random sonar image may be obtained and generated as result analysis information. For example, result analysis information may be generated in the form of a loss function by reflecting the difference value obtained for each pixel position and appropriate weights and biases. In addition, the dimension of the function space can be increased by reflecting the generated result analysis information to the random function.

이후, 생성기(110)에서 결과분석 정보가 반영된 랜덤함수를 이용하여 두번째 랜덤 소나 영상을 생성할 수 있다. 또한, 이에 대응하여, 식별기(120)에서 두번째 랜덤 소나 영상의 진위여부를 판별하고, 두번째 결과분석 정보를 생성할 수 있다.Thereafter, the generator 110 may generate a second random sonar image using a random function in which the result analysis information is reflected. In addition, in response to this, the discriminator 120 may determine whether the second random sonar image is genuine or not, and generate second result analysis information.

다음으로, 생성기(110)에서 두번째 결과분석 정보가 반영된 랜덤함수를 이용하여 세번째 랜덤 소나 영상을 생성할 수 있다. 또한, 이에 대응하여, 식별기(120)에서 세번째 랜덤 소나 영상의 진위여부를 판별하고, 세번째 결과분석 정보를 생성할 수 있다.Next, in the generator 110, a third random sonar image may be generated using a random function in which the second result analysis information is reflected. Correspondingly, the discriminator 120 may determine whether the third random sonar image is genuine or not, and generate third result analysis information.

이처럼 생성기(110)에서는 이전 결과분석 정보가 반영된 랜덤함수를 이용하여 다음번 랜덤 소나 영상을 생성하는 것을 반복하고, 이에 맞춰서, 식별기(120)에서는 다음번 랜덤 소나 영상의 진위여부를 판별하고, 다음번 결과분석 정보를 생성하는 것을 반복한다.In this way, the generator 110 repeats generating the next random sonar image using the random function reflecting the previous result analysis information, and accordingly, the discriminator 120 determines whether the next random sonar image is authentic or not, and analyzes the next result. Repeat generating information.

한편, 식별기(120)는 진위여부를 확률로 판별하는데, 식별기(120)에서 생성된 랜덤 소나 영상의 진위여부를 판별할 수 없게 되면, 데이터 생성부(100)의 출력기(130)가 생성된 랜덤 소나 영상을 모의 소나 영상으로 결정할 수 있다(S130). 또한, 출력기(130)에서 결정된 모의 소나 영상을 탐지부(300)로 제공할 수 있다.On the other hand, the discriminator 120 determines authenticity with probability. If the discriminator 120 cannot determine the authenticity of the random sonar image generated by the discriminator 120, the output unit 130 of the data generator 100 generates random images. The sonar image may be determined as a simulated sonar image (S130). In addition, the simulated sonar image determined by the output unit 130 may be provided to the detection unit 300 .

구체적으로, 생성된 랜덤 소나 영상의 진위여부를 판별할 때, 연속적으로 생성된 랜덤 소나 영상에서 진위여부가 참으로 판별되는 랜덤 소나 영상의 개수의 비율(%)이 미리 정해진 기준범위에 포함되면 생성된 랜덤 소나 영상의 진위여부를 판별할 수 없는 것으로 판단하고, 그 시점부터 생성기(110)에서 생성되는 랜덤 소나 영상을 모의 소나 영상으로 결정하여, 탐지부(300)로 제공할 수 있다.Specifically, when determining the authenticity of the generated random sonar images, if the ratio (%) of the number of random sonar images whose authenticity is determined as true among continuously generated random sonar images is included in the predetermined reference range, the generated random sonar images are generated. It is determined that it cannot be determined whether or not the random cow or image generated is authentic, and from that point on, the random cow or image generated by the generator 110 is determined as a simulated cow or image, and provided to the detection unit 300.

이후, 수중 표적을 탐지하기 위해, 생성된 모의 소나 영상을 이용하여 인공 신경망을 기계 학습시킨다(S200). 이때, 상기 인공 신경망을 기계 학습시키는 과정은 합성곱 신경망에서 수행할 수 있다. 즉, 생성기(110)에서 생성된 무수히 많은 모의 소나 영상으로, 탐지부(300)에 탑재된 인공 신경망을 기계 학습시킬 수 있고, 이로부터 정밀한 수중 표적 식별 모델을 생성할 수 있다.Thereafter, in order to detect an underwater target, an artificial neural network is machine-learned using the generated simulated sonar image (S200). In this case, the process of machine learning the artificial neural network may be performed in a convolutional neural network. That is, the artificial neural network loaded in the detection unit 300 can be machine-learned with countless simulated sonar images generated by the generator 110, and a precise underwater target identification model can be generated therefrom.

이후, 음파 신호를 수신하여 전방 소나 영상을 생성한다(S300). 예컨대 임무 플랫폼에 탑재된 감지부(200)로부터 수중으로 음파를 송신하고, 이로부터 반사되는 음파를 수신하여, 수중의 소음 및 표적에 대한 정보가 포함된 실제의 전방 소나 영상을 생성할 수 있다.Thereafter, a sound wave signal is received to generate a front sonar image (S300). For example, it is possible to transmit sound waves underwater from the sensing unit 200 mounted on the mission platform and receive sound waves reflected therefrom to generate an actual forward sonar image including underwater noise and target information.

이후, 탐지부(300)로, 모의 소나 영상에 의해 기계 학습된 인공 신경망을 이용하여, 감지부(200)에서 음파 신호를 수신하여 생성된 전방 소나 영상으로부터 수중 표적을 탐지한다(S400). 이에 의해, 탐지부(300)는 인공 신경망을 이용하여 실시간으로 전방 소나 영상으로부터 수중 표?을 식별할 수 있고, 수중 표적의 종류를 분류할 수 있다. 따라서, 탐지부(300)가 탑재된 임무 플랫폼의 수중 표적 식별 정확도가 향상될 수 있고, 이로부터 임무 플랫폼의 임무 수행 능력을 향상시킬 수 있다.Thereafter, the detector 300 detects an underwater target from the front sonar image generated by receiving the sound wave signal from the detector 200 using the artificial neural network machine-learned by the simulated sonar image (S400). Accordingly, the detection unit 300 can identify an underwater target from a front sonar image in real time using an artificial neural network, and can classify the type of underwater target. Accordingly, the underwater target identification accuracy of the mission platform equipped with the detection unit 300 can be improved, thereby improving the mission performance of the mission platform.

본 발명의 상기 실시 예는 본 발명의 설명을 위한 것이고, 본 발명의 제한을 위한 것이 아니다. 본 발명의 상기 실시 예에 개시된 구성과 방식은 서로 결합하거나 교차하여 다양한 형태로 조합 및 변형될 것이고, 이에 의한 변형 예들도 본 발명의 범주로 볼 수 있음을 주지해야 한다. 즉, 본 발명은 청구범위 및 이와 균등한 기술적 사상의 범위 내에서 서로 다른 다양한 형태로 구현될 것이며, 본 발명이 해당하는 기술 분야에서의 업자는 본 발명의 기술적 사상의 범위 내에서 다양한 실시 예가 가능함을 이해할 수 있을 것이다.The above embodiments of the present invention are for explanation of the present invention and are not intended to limit the present invention. It should be noted that the configurations and methods disclosed in the above embodiments of the present invention may be combined and modified in various forms by combining or crossing each other, and variations thereof may also be considered within the scope of the present invention. That is, the present invention will be implemented in a variety of different forms within the scope of the claims and equivalent technical ideas, and various embodiments are possible within the scope of the technical idea of the present invention by those skilled in the art to which the present invention pertains. will be able to understand

100: 데이터 생성부
110: 생성기
120: 식별기
130: 출력기
200: 감지부
300: 탐지부100: data generating unit
110: generator
120: identifier
130: output machine
200: sensing unit
300: detection unit

Claims (12)

모의 소나 영상을 생성하기 위한 데이터 생성부;
음파 신호를 수신하여 전방 소나 영상을 생성하기 위한 감지부; 및
상기 데이터 생성부로부터 생성된 모의 소나 영상을 통해 수중 표적을 식별하도록 기계 학습되고, 상기 감지부로부터 생성된 전방 소나 영상을 확인하여 수중 표적을 탐지하기 위한 탐지부;를 포함하고,
상기 데이터 생성부는,
모의 소나 영상을 생성할 수 있도록 하는, 랜덤 소나 영상을 생성하기 위한 생성기;를 포함하고,
상기 생성기는 최초의 랜덤 소나 영상을 무작위 랜덤 소나 영상으로 생성하고, 두번째 랜덤 소나 영상부터 진위여부 정보를 반영하는 수중 표적 식별 장치.a data generation unit for generating simulated sonar images;
a sensor for generating a front sonar image by receiving a sound wave signal; and
A detection unit for detecting an underwater target by machine learning to identify an underwater target through the simulated sonar image generated by the data generation unit and checking the front sonar image generated by the detection unit;
The data generator,
A generator for generating a random sonar image that enables the creation of a simulated sonar image; includes,
The generator generates a first random sonar image into a random random sonar image, and reflects authenticity information from the second random sonar image. 청구항 1에 있어서,
상기 데이터 생성부는,
미리 입력된 원본 소나 영상을 이용하여, 상기 생성기로부터 생성된 랜덤 소나 영상의 진위여부 정보를 생성하기 위한 식별기;
상기 식별기로부터 생성된 진위여부 정보에 따라, 상기 생성기로부터 생성된 랜덤 소나 영상을 모의 소나 영상으로 결정하여 상기 탐지부로 제공하기 위한 출력기;를 포함하는 수중 표적 식별 장치The method of claim 1,
The data generator,
a discriminator for generating authenticity information of the random sonar image generated by the generator using the previously input original sonar image;
An underwater target identification device comprising: an output device for determining the random sonar image generated by the generator as a simulated sonar image and providing the simulated sonar image to the detector according to authenticity information generated from the identifier; 청구항 2에 있어서,
상기 생성기는, 미리 입력된 랜덤함수를 이용하여 랜덤 소나 영상을 생성하고, 상기 식별기로부터 생성된 진위여부 정보를 상기 랜덤함수에 반영하는 수중 표적 식별 장치.The method of claim 2,
The generator generates a random sonar image using a random function input in advance, and reflects the authenticity information generated from the identifier to the random function. 청구항 1에 있어서,
상기 감지부 및 상기 탐지부는 수중 또는 수상에서 임무를 수행하기 위한 임무 플랫폼에 탑재되고,
상기 데이터 생성부는 상기 임무 플랫폼에 탑재되거나, 상기 임무 플랫폼을 관리하기 위한 관리 플랫폼에 탑재되는 수중 표적 식별 장치.The method of claim 1,
The detection unit and the detection unit are mounted on a mission platform for performing a mission underwater or on the water,
The data generating unit is mounted on the mission platform or mounted on a management platform for managing the mission platform. 모의 소나 영상을 생성하는 과정;
수중 표적을 탐지하기 위해, 생성된 모의 소나 영상을 이용하여 인공 신경망을 기계 학습시키는 과정;
음파 신호를 수신하여 전방 소나 영상을 생성하는 과정; 및
기계 학습된 인공 신경망을 이용하여, 음파 신호를 수신하여 생성된 전방 소나 영상으로부터 수중 표적을 탐지하는 과정;을 포함하고,
상기 모의 소나 영상을 생성하는 과정은,
랜덤 소나 영상을 생성하는 과정;을 포함하고,
상기 랜덤 소나 영상을 생성하는 과정은,
최초의 랜덤 소나 영상을 무작위 랜덤 소나 영상으로 생성하는 과정;
두번째 랜덤 소나 영상부터 진위여부 정보를 반영하여 랜덤 소나 영상을 계속하여 생성하는 과정;을 포함하는 수중 표적 식별 방법.Process of generating simulated sonar images;
machine learning of an artificial neural network using generated simulated sonar images to detect underwater targets;
generating a front sonar image by receiving a sound wave signal; and
Using a machine-learned artificial neural network, a process of detecting an underwater target from a front sonar image generated by receiving a sound wave signal; Including,
The process of generating the simulated sonar image,
Including; generating a random sonar image;
The process of generating the random sonar image,
A process of generating an initial random sonar image into a random sonar image;
An underwater target identification method comprising: continuously generating random sonar images by reflecting authenticity information from a second random sonar image. 청구항 5에 있어서,
상기 모의 소나 영상을 생성하는 과정은,
생성된 랜덤 소나 영상의 진위여부를 판별하는 과정;
생성된 랜덤 소나 영상의 진위여부를 판별할 수 없게 되면, 생성된 랜덤 소나 영상을 모의 소나 영상으로 결정하는 과정;을 포함하는 수중 표적 식별 방법.The method of claim 5,
The process of generating the simulated sonar image,
The process of determining the authenticity of the generated random sonar image;
An underwater target identification method comprising: determining whether the generated random sonar image is genuine or not, determining the generated random sonar image as a simulated sonar image. 청구항 6에 있어서,
상기 랜덤 소나 영상을 생성하는 과정은,
랜덤 소나 영상을 생성하기 위한 베이스 영상 프레임을 생성하는 과정;
랜덤함수를 이용하여, 상기 베이스 영상 프레임의 픽셀위치별로 픽셀값을 생성하는 과정;
상기 픽셀위치별로 생성된 픽셀값을 상기 베이스 영상 프레임에 적용하여 랜덤 소나 영상을 생성하는 과정;을 포함하는 수중 표적 식별 방법.The method of claim 6,
The process of generating the random sonar image,
generating a base image frame for generating a random sonar image;
generating a pixel value for each pixel position of the base image frame using a random function;
and generating a random sonar image by applying the pixel value generated for each pixel position to the base image frame. 청구항 7에 있어서,
상기 생성된 랜덤 소나 영상의 진위여부를 판별하는 과정은,
진위여부를 판별하기 위한 원본 소나 영상을 준비하는 과정;
준비된 원본 소나 영상과 생성된 랜덤 소나 영상을 비교하여 진위여부를 판별하는 과정;을 포함하는 수중 표적 식별 방법.The method of claim 7,
The process of determining the authenticity of the generated random sonar image,
The process of preparing original sonar images to determine authenticity;
An underwater target identification method comprising: comparing the prepared original sonar image with the generated random sonar image to determine authenticity. 청구항 8에 있어서,
상기 모의 소나 영상을 생성하는 과정은,
생성된 랜덤 소나 영상의 진위여부가 판별되면, 판별된 결과를 분석하여 결과분석 정보를 생성하는 과정;
생성된 결과분석 정보를 상기 랜덤함수에 반영하는 과정;을 포함하는 수중 표적 식별 방법.The method of claim 8,
The process of generating the simulated sonar image,
When the authenticity of the generated random sonar image is determined, analyzing the determined result to generate result analysis information;
Reflecting the generated result analysis information to the random function; underwater target identification method comprising a. 청구항 9에 있어서,
상기 결과분석 정보를 생성하는 과정은,
생성된 랜덤 소나 영상의 픽셀위치별로, 상기 원본 소나 영상의 픽셀값과 생성된 랜덤 소나 영상의 픽셀값의 차이값을 구하여 결과분석 정보로 생성하는 과정;을 포함하는 수중 표적 식별 방법.The method of claim 9,
The process of generating the result analysis information,
An underwater target identification method comprising: obtaining a difference between a pixel value of the original sonar image and a pixel value of the generated random sonar image for each pixel position of the generated random sonar image and generating result analysis information. 청구항 6에 있어서,
생성된 랜덤 소나 영상의 진위여부를 판별할 때,
연속적으로 생성된 랜덤 소나 영상에서 진위여부가 참으로 판별되는 랜덤 소나 영상의 개수의 비율이 미리 정해진 기준범위에 포함되면 생성된 랜덤 소나 영상의 진위여부를 판별할 수 없는 것으로 판단하는 수중 표적 식별 방법.The method of claim 6,
When determining the authenticity of the generated random sonar image,
Underwater target identification method for determining that the authenticity of the generated random sonar images cannot be determined if the ratio of the number of random sonar images whose authenticity is determined as true in the continuously generated random sonar images is included in a predetermined reference range . 청구항 5에 있어서,
상기 모의 소나 영상을 생성하는 과정은 생성적 적대 신경망에서 수행하고,
상기 인공 신경망을 기계 학습시키는 과정은 합성곱 신경망에서 수행하는 수중 표적 식별 방법.The method of claim 5,
The process of generating the simulated sonar image is performed in a generative adversarial neural network,
The process of machine learning the artificial neural network is performed in a convolutional neural network.
KR1020220076297A 2022-06-22 2022-06-22 Apparatus and method for detecting underwater target KR102483341B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220076297A KR102483341B1 (en) 2022-06-22 2022-06-22 Apparatus and method for detecting underwater target

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220076297A KR102483341B1 (en) 2022-06-22 2022-06-22 Apparatus and method for detecting underwater target

Publications (1)

Publication Number Publication Date
KR102483341B1 true KR102483341B1 (en) 2022-12-30

Family

ID=84538878

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220076297A KR102483341B1 (en) 2022-06-22 2022-06-22 Apparatus and method for detecting underwater target

Country Status (1)

Country Link
KR (1) KR102483341B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180065417A (en) * 2016-12-07 2018-06-18 공주대학교 산학협력단 Identifying method for measuring object using underwater sonar image
KR102054153B1 (en) 2019-07-11 2019-12-12 가온플랫폼 주식회사 Artificial intelligence automatic identification system by fusion of deep run based submarine sonar data and periscope image data
KR20220048300A (en) * 2020-10-12 2022-04-19 국방과학연구소 Apparatus and method for generating underwater image data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180065417A (en) * 2016-12-07 2018-06-18 공주대학교 산학협력단 Identifying method for measuring object using underwater sonar image
KR102054153B1 (en) 2019-07-11 2019-12-12 가온플랫폼 주식회사 Artificial intelligence automatic identification system by fusion of deep run based submarine sonar data and periscope image data
KR20220048300A (en) * 2020-10-12 2022-04-19 국방과학연구소 Apparatus and method for generating underwater image data

Similar Documents

Publication Publication Date Title
Gavrilov Quality assessment of objects detection and localization in а video stream
Cerqueira et al. A rasterized ray-tracer pipeline for real-time, multi-device sonar simulation
KR102483341B1 (en) Apparatus and method for detecting underwater target
Higgins et al. Ship wake detection using data fusion in multi-sensor remote sensing applications
Robbiano et al. Bayesian learning of occupancy grids
Coiras et al. Supervised target detection and classification by training on augmented reality data
KR102193952B1 (en) Method of learning and inferring based on convolution neural network for minimizing clutter in passive sonar signal
CN116994084A (en) Regional intrusion detection model training method and regional intrusion detection method
US6466891B1 (en) System for providing an estimate of the location of an undersea object
CN113742775B (en) Image data security detection method, system and storage medium
Ngo A methodology for validation of a radar simulation for virtual testing of autonomous driving
Kumar et al. Generative Adversarial Networks to Improve the Nature of Training in Autonomous Vehicles
KR102544348B1 (en) Apparatus and method for generating training data for identifying underwater targets
KR101136399B1 (en) A method for estimating the self propelled decoy's deceiving capability of the sonar system passive mode
Vinas et al. Towards a Modelling & Simulation capability for training autonomous vehicles in complex maritime operations
KR20220048300A (en) Apparatus and method for generating underwater image data
Bell et al. Target recognition in synthetic aperture and high resolution sidescan sonar
Mignotte et al. Adaptive fusion framework based on augmented reality training
CN116152770B (en) 3D target matching model building method and device
RU2714182C1 (en) Software-hardware system for testing systems of automatic and/or semi-automatic detection and localization of objects in video sequence
KR102603129B1 (en) Ai based shipbuilding process analysis system and method thereof
US20210241075A1 (en) System for generating synthetic digital data of multiple sources
Thredgold et al. A Simulation Model of Networked Tracking for Anti-Submarine Warfare.
Jessen et al. Object Detector Simulation for Certification of Autonomous Surface Vessels
Myers et al. Planning and evaluation of AUV missions using data-driven approaches

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant