KR102516795B1 - 소나 이미지 시뮬레이터 장치 및 수중 객체 탐지 장치 - Google Patents

소나 이미지 시뮬레이터 장치 및 수중 객체 탐지 장치 Download PDF

Info

Publication number
KR102516795B1
KR102516795B1 KR1020220146929A KR20220146929A KR102516795B1 KR 102516795 B1 KR102516795 B1 KR 102516795B1 KR 1020220146929 A KR1020220146929 A KR 1020220146929A KR 20220146929 A KR20220146929 A KR 20220146929A KR 102516795 B1 KR102516795 B1 KR 102516795B1
Authority
KR
South Korea
Prior art keywords
image
sonar
simulator
learning
underwater
Prior art date
Application number
KR1020220146929A
Other languages
English (en)
Inventor
유선철
송영운
김재선
성민성
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020220146929A priority Critical patent/KR102516795B1/ko
Application granted granted Critical
Publication of KR102516795B1 publication Critical patent/KR102516795B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/5205—Means for monitoring or calibrating
    • G01S7/52052—Means for monitoring or calibrating with simulation of echoes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8993—Three dimensional imaging systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/05—Underwater scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

본 발명은, 가상의 객체에 대한 소나 이미지를 시뮬레이션하는 시뮬레이터와, 수중 배경을 촬영하여 노이즈 이미지를 생성하는 촬영부와, 상기 소나 이미지 및 상기 노이즈 이미지를 결합하여 학습 이미지를 생성하는 결합부와, 상기 학습 이미지를 학습하여 수중에서 객체를 탐지하기 위한 학습 모델을 구축하는 학습부를 포함하는 소나 이미지 시뮬레이터 장치를 제공한다.

Description

소나 이미지 시뮬레이터 장치 및 수중 객체 탐지 장치{SONAR IMAGE SIMULATOR DEVICE AND UNDERWATER OBJECT DETECTION DEVICE}
본 발명은 소나 이미지 시뮬레이터 장치 및 수중 객체 탐지 장치에 관한 것이다.
수중 로봇의 자율적 임무 수행을 위해 수중 객체 인식이 필요하다.
수중에서는 주변 환경의 탐지를 위해 탁도에 상관 없이 넓은 가시 거리를 가진 소나 센서가 주로 활용되기 때문에, 소나 센서를 활용한 물체 인식 알고리즘이 필요하다.
최근, 육상에서 물체 인식 분야에서는 다양한 뉴럴 네트워크가 개발되어 뛰어난 성능을 보여주고 있다. 그러나, 소나 센서를 활용한 수중의 객체 인식에는 이러한 뉴럴 네트워크가 적용되기가 어려웠다.
이는 뉴럴 네트워크가 목표 객체를 인식할 수 있도록 학습하기 위하여 많은 수의 데이터가 필요한데, 소나 이미지의 경우 오픈소스 데이터 셋도 거의 없고, 수중에 물체를 설치한 뒤 직접 학습 데이터 셋을 촬영하기 위한 실험을 진행하는 것도 시간과 비용이 많이 소모되기 때문이다.
상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 시뮬레이션을 통해 목표 객체에 대한 가상의 소나 이미지를 생성해 학습 데이터를 구성하고, 이 학습 데이터를 활용하여 뉴럴 네트워크로 실제 수중에서 물체를 탐지하는 방법을 제공하는 것을 목적으로 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 과제를 해결하기 위해, 본 발명은, 가상의 객체에 대한 소나 이미지를 시뮬레이션하는 시뮬레이터와, 수중 배경을 촬영하여 노이즈 이미지를 생성하는 촬영부와, 상기 소나 이미지 및 상기 노이즈 이미지를 결합하여 학습 이미지를 생성하는 결합부와, 상기 학습 이미지를 학습하여 수중에서 객체를 탐지하기 위한 학습 모델을 구축하는 학습부를 포함하는 소나 이미지 시뮬레이터 장치를 제공한다.
여기서, 상기 시뮬레이터는 수직 확산 각을 갖는 음파를 광선으로 표현하기 위해 복수의 샘플 광선으로 이산화할 수 있다.
또한, 상기 시뮬레이터는 가상의 객체와 상기 복수의 샘플 광선의 교점을 계산하고, 상기 교점에서 반사되어 돌아온 상기 복수의 샘플 광선의 세기를 상기 소나 이미지의 픽셀값으로 결정할 수 있다.
또한, 상기 시뮬레이터는 상기 가상의 객체를 3D 모델링하고, 상기 가상의 객체의 위치를 변화시키면서 상기 소나 이미지를 생성할 수 있다.
또한, 상기 노이즈 이미지는 음파 간 간섭, 음파의 다경로 반사, 부유물로 인한 음파의 굴절 중 적어도 하나로 인한 노이즈가 나타날 수 있다.
또한, 본 발명은, 가상의 객체에 대한 소나 이미지를 시뮬레이션하는 시뮬레이터와, 수중 배경을 촬영하여 노이즈 이미지를 생성하는 촬영부와, 상기 소나 이미지 및 상기 노이즈 이미지를 결합하여 학습 이미지를 생성하는 결합부와, 상기 학습 이미지를 학습하여 수중에서 객체를 탐지하기 위한 학습 모델을 구축하는 학습부와, 실제 수중을 촬영하여 실제 소나 이미지를 생성하는 소나 센서와, 상기 학습 모델에 상기 실제 소나 이미지를 입력하여 객체를 탐지하는 탐지부를 포함하는 수중 객체 탐지 장치를 제공한다.
여기서, 상기 시뮬레이터는 수직 확산 각을 갖는 음파를 광선으로 표현하기 위해 복수의 샘플 광선으로 이산화할 수 있다.
또한, 상기 시뮬레이터는 가상의 객체와 상기 복수의 샘플 광선의 교점을 계산하고, 상기 교점에서 반사되어 돌아온 상기 복수의 샘플 광선의 세기를 상기 소나 이미지의 픽셀값으로 결정할 수 있다.
또한, 상기 시뮬레이터는 상기 가상의 객체를 3D 모델링하고, 상기 가상의 객체의 위치를 변화시키면서 상기 소나 이미지를 생성할 수 있다.
본 발명에 따르면, 실제 수중에서 획득한 소나 이미지 없이 컴퓨터 시뮬레이션만을 통해 생성한 소나 이미지로 뉴럴 네트워크를 학습하여 실제 수중에서 목표 객체를 정확히 탐지할 수 있고, 뉴럴 네트워크를 활용하는데 있어 시간이 가장 많이 소요되는 단계인 데이터 획득 과정을 간소화할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 소나 이미지 시뮬레이터 장치의 블록도이다.
도 2는 소나 센서의 이미지 메커니즘을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 소나 이미지 시뮬레이터 장치가 소나 센서의 이미지 메커니즘을 모방하여 구현하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 시뮬레이터가 시뮬레이션한 소나 이미지와 소나 센서가 생성한 실제 소나 이미지를 도시한 도면이다.
도 5는 본 발명의 실시예에 따른 촬영부가 생성한 노이즈 이미지를 도시한 도면이다.
도 6은 본 발명의 실시예에 따른 결합부가 생성한 학습 이미지를 도시한 도면이다.
도 7은 본 발명의 실시예에 따른 수중 객체 탐지 장치의 블록도이다.
도 8은 본 발명의 실시예에 따른 객체 탐지부가 탐지한 수중 객체를 도시한 도면이다.
본 발명의 상기 목적과 수단 및 그에 따른 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
본 명세서에서, “또는”, “적어도 하나” 등의 용어는 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다. 예를 들어, “또는 B”“및 B 중 적어도 하나”는 A 또는 B 중 하나만을 포함할 수 있고, A와 B를 모두 포함할 수도 있다.
본 명세서에서, '제1', '제2' 등의 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 해당 구성요소는 위 용어에 의해 한정되어서는 안 된다. 또한, 위 용어는 각 구성요소의 순서를 한정하기 위한 것으로 해석되어서는 안되며, 하나의 구성요소와 다른 구성요소를 구별하는 목적으로 사용될 수 있다. 예를 들어, '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다.
도 1은 본 발명의 실시예에 따른 소나 이미지 시뮬레이터 장치의 블록도이고, 도 2는 소나 센서의 이미지 메커니즘을 설명하기 위한 도면이고, 도 3은 본 발명의 실시예에 따른 소나 이미지 시뮬레이터 장치가 소나 센서의 이미지 메커니즘을 모방하여 구현하는 방법을 설명하기 위한 도면이다.
도 1에 도시한 바와 같이, 본 발명의 실시예에 따른 소나 이미지 시뮬레이터 장치는 시뮬레이터 장치(100)는, 시뮬레이터(110), 촬영부(120), 결합부(130) 및 학습부(140)를 포함하여 구성될 수 있다.
소나(Sonar;　SOund　Navigation　And　Ranging) 센서는 음파에 의해 수중목표의 방위 및 거리를 알아내는 장비를 의미하며　음파탐지기,　음향탐지기　혹은　음탐기로도 불린다.
도 2를 참조하면, 소나 센서는 방위각에 따라 수직 확산 각(vertical spreading angle)을 갖는 음파를 수중에 발사하여, 발사되어 돌아온 음파의 TOF(Time of Flight)에 따라 음파의 세기를 측정하여 한 컬럼의 이미지를 생성한다. 그리고, 이와 같이 생성된 칼럼들을 방위각에 따라 이어 붙여 2차원 소나 이미지를 생성한다.
시뮬레이터(110)는 이와 같은 소나 센서의 이미지 메커니즘을 광선 추적법을 기반으로 모방하여 구현할 수 있다.
구체적으로, 도 3을 참조하면, 시뮬레이터(110)는, 수직 확산 각을 갖는 음파를 광선으로 표현하기 위해 복수의 샘플 광선(sample ray)으로 이산화할 수 있다.
샘플 광선(
Figure 112022117957749-pat00001
)은 벡터 형태로 아래의 수학식 1과 같이 나타낼 수 있다.
[수학식 1]
Figure 112022117957749-pat00002
여기서, t는 상수이고,
Figure 112022117957749-pat00003
는 샘플 광선의 단위 방향 벡터이다.
시뮬레이터(110)는, 가상의 객체와 복수의 샘플 광선의 교점을 계산하고, 교점에서 반사되어 돌아온 복수의 샘플 광선의 세기를 소나 이미지의 픽셀값으로 결정하여 가상의 객체에 대한 소나 이미지를 시뮬레이션할 수 있다.
구체적으로, 시뮬레이터(110)는, 가상의 객체를 3D 모델링하고, 가상의 객체와 샘플 광선의 교점을 계산할 수 있다.
시뮬레이터(110)에 의해 계산된 교점(
Figure 112022117957749-pat00004
)은 아래의 수학식 2와 같이 나타낼 수 있다.
[수학식 2]
Figure 112022117957749-pat00005
여기서,
Figure 112022117957749-pat00006
은 가상의 객체 표면의 노멀 벡터이고,
Figure 112022117957749-pat00007
은 객체 표면을 이루는 한 꼭지점의 벡터이다.
시뮬레이터(110)는 교점(
Figure 112022117957749-pat00008
)에서 반사되어 돌아온 샘플 광선의 세기를 소나 이미지의 픽셀값으로 결정할 수 있다.
광선의 세기(
Figure 112022117957749-pat00009
)는 후방 산란이나 다경로 전파 등 다양한 현상에 의해서 영향을 받지만 본 발명에서는 간단히 거리에 따른 음파 에너지 손실과 음파의 입사각 만을 고려하여 하기 수학식 3과 같이 광선의 세기(
Figure 112022117957749-pat00010
)를 계산할 수 있다.
[수학식 3]
Figure 112022117957749-pat00011
여기서, w는 보정 상수이고, α는 가상의 객체 표면의 노멀 벡터(
Figure 112022117957749-pat00012
)와 샘플 광선의 단위 방향 벡터(
Figure 112022117957749-pat00013
)가 이루는 각도이다.
시뮬레이터(110)는 최종적으로 광선의 세기(
Figure 112022117957749-pat00014
)를 해당하는 좌표(r, θ)에 매핑한 후 정규화 과정을 거쳐 가상의 객체에 대한 소나 이미지를 생성할 수 있다.
여기서, 시뮬레이터(110)는 가상의 객체의 위치를 변화시키면서 복수의 소나 이미지를 생성할 수 있다.
도 4는 본 발명의 실시예에 따른 시뮬레이터가 시뮬레이션한 소나 이미지와 소나 센서가 생성한 실제 소나 이미지를 도시한 도면이고, 도 5는 본 발명의 실시예에 따른 촬영부가 생성한 노이즈 이미지를 도시한 도면이고, 도 6은 본 발명의 실시예에 따른 결합부가 생성한 학습 이미지를 도시한 도면이다.
도 4에 도시한 바와 같이, 객체의 3D 모델이 주어졌을 때, 수학적 모델을 통해 그 객체가 소나 센서에서는 어떻게 보일지를 미리 계산해낼 수 있다.
그러나, 본 발명의 시뮬레이터(110)는 음파의 이상적인 전파와 반사를 가정하였고, 음파의 세기를 계산하는 과정도 몇 가지 음파의 성질만을 고려하여 간소화하였기 때문에, 실제 소나 이미지와는 차이가 있다.
즉, 실제 소나 이미지에서는 음파 간 간섭, 다경로 반사, 부유물로 인한 음파의 굴절 등으로 인해 다양한 노이즈가 나타나게 되는데, 이러한 노이즈는 물체나 바닥면과 커플링(coupling)되어 있고 재현성이 없으므로 수학적 모델링이 어렵다.
이와 같은 문제점을 해결하기 위해, 본 발명은, 시뮬레이터(110)가 시뮬레이션한 소나 이미지에 수중의 노이즈(배경 잡음)만을 촬영한 노이즈 이미지를 결합하는 기술을 제안한다.
구체적으로, 촬영부(120)는 수중 배경을 촬영하여 노이즈 이미지를 생성하고, 결합부(130)는 시뮬레이터(110)가 시뮬레이션한 소나 이미지와 촬영부(120)가 생성한 노이즈 이미지를 결합하여 복수의 학습 이미지를 생성할 수 있다.
여기서, 촬영부(120)는 소나 센서일 있다. 소나 센서의 스캐닝 레인지(scanning range)는 0.5~2미터 정도로 조정할 수 있으므로, 충분히 큰 수조에서 반향이 일어나지 않도록 만든다면, 도 5와 같이 노이즈 이미지를 획득할 수 있다. 또한, 소나 이미지의 프레임 레이트(frame rate)는 일반적으로 10Hz 안팎으로, 몇 분 안에 다수의 노이즈 이미지를 획득할 수 있다.
도 5에 도시한 바와 같이, 결합부(130)는, 아래의 수학식 4를 이용해 시뮬레이션된 소나 이미지(S)와 노이즈 이미지(N)를 결합하여 학습 이미지(T)를 생성할 수 있다.
[수학식 4]
Figure 112022117957749-pat00015
여기서,
Figure 112022117957749-pat00016
는 정규화 함수이고, ω는 노이즈 레벨(noise level)을 조절하기 위한 파라미터이고,
Figure 112022117957749-pat00017
는 소나 이미지(x)를 분산값(σ)으로 가우시안 블러(Gaussian blur)시키는 함수이다.
실제 수중 환경에서 노이즈는 정형화된 것이 아니라 객체가 놓여 있는 수중 바닥의 종류나 객체의 생물학적 오염(bio-fouling)의 정도 등에 따라 달라지므로 가우시안 블러 함수(Gaussian blur function)와 노이즈 레벨(ω)이라는 파라미터를 넣어 다양한 형태의 이미지가 나타날 수 있게 하였다. 여기서, 학습 이미지를 생성하는 과정에서 노이즈 레벨(ω)와 분산값(σ)은 랜덤한 값으로 선택될 수 있다.
학습부(140)는 복수의 학습 이미지를 학습하여 수중에서 객체를 탐지하기 위한 학습 모델을 구축할 수 있다.
도 7은 본 발명의 실시예에 따른 수중 객체 탐지 장치의 블록도이고, 도 8은 본 발명의 실시예에 따른 객체 탐지부가 탐지한 수중 객체를 도시한 도면이다.
도 7을 참조하면, 본 발명의 실시예에 따른 수중 객체 탐지 장치(200)는 소나 이미지 시뮬레이터 장치(100)의 학습부(140)에 의해 구축된 학습 모델을 이용하여 수중 객체를 탐지할 수 있다.
수중 객체 탐지 장치(200)는 수중 로봇에 장착될 수 있다. 여기서, 수중 로봇은 수중을 이동하면서 객체를 탐색하고, 객체가 탐색되면, 객체에 대하여 사전 설정된 위치로 이동할 수 있다. 이 때, 수중 로봇은 객체와의 거리, 수중 바닥으로부터의 높이 및 소나 센서(210)의 틸트 각도가 사전 설정된 값이 되도록 제어할 수 있다. 예를 들면, 수중 로봇은 바닥으로부터 3m 높이에서, 객체와 5m의 직선 거리에 위치하며, 소나 센서(210)가 45도로 객체를 지향하도록 사전 설정될 수 있다.
수중 객체 탐지 장치(200)는 소나 센서(210) 및 객체 탐지부(220)를 포함할 수 있다.
소나 센서(210)는 실제 수중을 촬영하여 실제 소나 이미지를 생성할 수 있다. 여기서, 소나 센서(210)는 전방 주시 소나(forward-looking sonar image) 및 장애물 회피 소나(obstacle avoidance sonar) 등을 포함할 수 있다.
도 8에 도시된 바와 같이, 객체 탐지부(220)는 학습 모델에 실제 소나 이미지를 입력하여 객체를 탐지할 수 있다.
여기서, 객체 탐지부(220)는 실제 소나 이미지에서 객체를 탐지하기 위해 뉴럴 네트워크(예컨대, YOLOv3)를 이용할 수 있다.
YOLO 네트워크는 59개의 층으로 이루어진 회선 신경망(convolutional neural network)으로, 단일 회선 신경망이 객체일 확률이 있는 후보 영역(candidate region)에 대한 경계 박스(bounding box)들과 그 영역(region)이 실제로 객체인지에 대한 클래스 확률(class probability)을 동시에 예측하기 때문에 높은 정확도뿐만 아니라 빠른 처리 속도를 나타낸다.
도 6에 도시된 바와 같이, 수중에서 탐지하고자 하는 목표 객체의 형태를 알 때, 그 목표 개체를 3D로 모델링하고, 구현한 시뮬레이터를 통해 물체의 위치를 변화시키면서 소나 이미지를 생성한다. 그런 다음, 소나 이미지에 노이즈 이미지를 추가하여 학습 데이터를 구성한다. 예를 들어, 총 108장의 시뮬레이션 소나 이미지를 생성한 뒤, 각 소나 이미지에 10장씩의 다른 노이즈 이미지를 추가하여 1080장의 학습 데이터셋을 구성하였다. 구성한 학습 데이터로 세 시간 동안 뉴럴 네트워크를 학습시키고, 결과적으로 실제 수중에서 획득한 실제 소나 이미지에서 다른 개체와 구분하여 목표 객체인 타이어만을 검출할 수 있었다.
이와 같이, 본 발명에 따르면, 실제 수중에서 획득한 소나 이미지 없이 컴퓨터 시뮬레이션만을 통해 생성한 소나 이미지로 뉴럴 네트워크를 학습하여 실제 수중에서 목표 객체를 정확히 탐지할 수 있고, 뉴럴 네트워크를 활용하는데 있어 시간이 가장 많이 소요되는 단계인 데이터 획득 과정을 간소화할 수 있다.
본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되지 않으며, 후술되는 청구범위 및 이 청구범위와 균등한 것들에 의해 정해져야 한다.
100: 소나 이미지 시뮬레이터 장치
110: 시뮬레이터
120: 촬영부
130: 결합부
140: 학습부
200: 수중 객체 탐지 장치
210: 소나 센서
220: 객체 탐지부

Claims (9)

  1. 가상의 객체에 대한 소나 이미지를 시뮬레이션하는 시뮬레이터;
    수중 배경을 촬영하여 노이즈 이미지를 생성하는 촬영부;
    상기 소나 이미지 및 상기 노이즈 이미지를 결합하여 학습 이미지를 생성하는 결합부; 및
    상기 학습 이미지를 학습하여 수중에서 객체를 탐지하기 위한 학습 모델을 구축하는 학습부
    를 포함하는 소나 이미지 시뮬레이터 장치.
  2. 제 1 항에 있어서,
    상기 시뮬레이터는
    수직 확산 각을 갖는 음파를 광선으로 표현하기 위해 복수의 샘플 광선으로 이산화하는
    소나 이미지 시뮬레이터 장치.
  3. 제 2 항에 있어서,
    상기 시뮬레이터는
    가상의 객체와 상기 복수의 샘플 광선의 교점을 계산하고, 상기 교점에서 반사되어 돌아온 상기 복수의 샘플 광선의 세기를 상기 소나 이미지의 픽셀값으로 결정하는
    소나 이미지 시뮬레이터 장치.
  4. 제 1 항에 있어서,
    상기 시뮬레이터는
    상기 가상의 객체를 3D 모델링하고, 상기 가상의 객체의 위치를 변화시키면서 상기 소나 이미지를 생성하는
    소나 이미지 시뮬레이터 장치.
  5. 제 1 항에 있어서,
    상기 노이즈 이미지는
    음파 간 간섭, 음파의 다경로 반사, 부유물로 인한 음파의 굴절 중 적어도 하나로 인한 노이즈가 나타나는
    소나 이미지 시뮬레이터 장치
  6. 가상의 객체에 대한 소나 이미지를 시뮬레이션하는 시뮬레이터;
    수중 배경을 촬영하여 노이즈 이미지를 생성하는 촬영부;
    상기 소나 이미지 및 상기 노이즈 이미지를 결합하여 학습 이미지를 생성하는 결합부;
    상기 학습 이미지를 학습하여 수중에서 객체를 탐지하기 위한 학습 모델을 구축하는 학습부;
    실제 수중을 촬영하여 실제 소나 이미지를 생성하는 소나 센서; 및
    상기 학습 모델에 상기 실제 소나 이미지를 입력하여 객체를 탐지하는 탐지부
    를 포함하는 수중 객체 탐지 장치.
  7. 제 6 항에 있어서,
    상기 시뮬레이터는
    수직 확산 각을 갖는 음파를 광선으로 표현하기 위해 복수의 샘플 광선으로 이산화하는
    수중 객체 탐지 장치.
  8. 제 7 항에 있어서,
    상기 시뮬레이터는
    가상의 객체와 상기 복수의 샘플 광선의 교점을 계산하고, 상기 교점에서 반사되어 돌아온 상기 복수의 샘플 광선의 세기를 상기 소나 이미지의 픽셀값으로 결정하는
    수중 객체 탐지 장치.
  9. 제 6 항에 있어서,
    상기 시뮬레이터는
    상기 가상의 객체를 3D 모델링하고, 상기 가상의 객체의 위치를 변화시키면서 상기 소나 이미지를 생성하는
    수중 객체 탐지 장치.







KR1020220146929A 2022-11-07 2022-11-07 소나 이미지 시뮬레이터 장치 및 수중 객체 탐지 장치 KR102516795B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220146929A KR102516795B1 (ko) 2022-11-07 2022-11-07 소나 이미지 시뮬레이터 장치 및 수중 객체 탐지 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220146929A KR102516795B1 (ko) 2022-11-07 2022-11-07 소나 이미지 시뮬레이터 장치 및 수중 객체 탐지 장치

Publications (1)

Publication Number Publication Date
KR102516795B1 true KR102516795B1 (ko) 2023-03-30

Family

ID=85985886

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220146929A KR102516795B1 (ko) 2022-11-07 2022-11-07 소나 이미지 시뮬레이터 장치 및 수중 객체 탐지 장치

Country Status (1)

Country Link
KR (1) KR102516795B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060039236A1 (en) * 2004-08-18 2006-02-23 Ronald Norwood Active sonar simulation
KR20160000084A (ko) * 2014-06-23 2016-01-04 포항공과대학교 산학협력단 이미징 소나의 이미지 예측 시뮬레이션 방법 및 이를 이용한 장치
KR101696089B1 (ko) * 2015-08-11 2017-01-24 포항공과대학교 산학협력단 이미징 소나를 이용한 물체 탐색 방법 및 장치
KR101781757B1 (ko) * 2016-10-20 2017-09-28 포항공과대학교 산학협력단 객체 인식을 위한 수중 이미지 처리장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060039236A1 (en) * 2004-08-18 2006-02-23 Ronald Norwood Active sonar simulation
KR20160000084A (ko) * 2014-06-23 2016-01-04 포항공과대학교 산학협력단 이미징 소나의 이미지 예측 시뮬레이션 방법 및 이를 이용한 장치
KR101696089B1 (ko) * 2015-08-11 2017-01-24 포항공과대학교 산학협력단 이미징 소나를 이용한 물체 탐색 방법 및 장치
KR101781757B1 (ko) * 2016-10-20 2017-09-28 포항공과대학교 산학협력단 객체 인식을 위한 수중 이미지 처리장치 및 그 방법

Similar Documents

Publication Publication Date Title
Palomer et al. Underwater laser scanner: Ray-based model and calibration
Cerqueira et al. A novel GPU-based sonar simulator for real-time applications
US11208110B2 (en) Method for modeling a motor vehicle sensor in a virtual test environment
Zhang et al. Visual SLAM for underwater vehicles: A survey
DeMarco et al. A computationally-efficient 2D imaging sonar model for underwater robotics simulations in Gazebo
Kim et al. Development of simulator for autonomous underwater vehicles utilizing underwater acoustic and optical sensing emulators
CN114488164B (zh) 水下航行器同步定位与建图方法及水下航行器
Palomer et al. Underwater 3D laser scanners: The deformation of the plane
Zhang et al. Dave aquatic virtual environment: Toward a general underwater robotics simulator
Almanza-Medina et al. Deep learning architectures for navigation using forward looking sonar images
Tosik et al. MARS: A simulation environment for marine robotics
KR102516795B1 (ko) 소나 이미지 시뮬레이터 장치 및 수중 객체 탐지 장치
McManamon et al. Exomars rover vehicle perception system architecture and test results
US11061136B2 (en) Sonar tracking of unknown possible objects
Castillón et al. Extrinsic visual–inertial calibration for motion distortion correction of underwater 3d scans
Shin et al. Synthetic sonar image simulation with various seabed conditions for automatic target recognition
Grossmann et al. Digital twinning in the ocean-chanllenges in multimodal sensing and multiscale fusion based on faithful visual models
Sadjoli et al. PCD reconstruction, object classification and pose estimation for underwater vehicles using orthogonal multibeam forward looking sonar fusion
Krupinski et al. Investigation of autonomous docking strategies for robotic operation on intervention panels
Zhou et al. Mapping for control in an underwater environment using a dynamic inverse-sonar model
Gonsalves A comprehensive uncertainty analysis and method of geometric calibration for a circular scanning airborne lidar
Sung et al. Underwater object detection of AUV based on sonar simulator utilizing noise addition
Yasui et al. Dense Depthmap Prediction from Ultrasonic Sensors
Aernouts et al. MapFuse: complete and realistic 3D modelling
Alkandari et al. Optimization of Visible Light Positioning in Industrial Applications using Machine Learning

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant