KR20220048300A - 수중 영상 데이터를 생성하는 장치 및 방법 - Google Patents

수중 영상 데이터를 생성하는 장치 및 방법 Download PDF

Info

Publication number
KR20220048300A
KR20220048300A KR1020200131291A KR20200131291A KR20220048300A KR 20220048300 A KR20220048300 A KR 20220048300A KR 1020200131291 A KR1020200131291 A KR 1020200131291A KR 20200131291 A KR20200131291 A KR 20200131291A KR 20220048300 A KR20220048300 A KR 20220048300A
Authority
KR
South Korea
Prior art keywords
image data
generating
underwater image
pixel distribution
underwater
Prior art date
Application number
KR1020200131291A
Other languages
English (en)
Other versions
KR102427861B1 (ko
Inventor
강일범
고한석
구본화
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020200131291A priority Critical patent/KR102427861B1/ko
Publication of KR20220048300A publication Critical patent/KR20220048300A/ko
Application granted granted Critical
Publication of KR102427861B1 publication Critical patent/KR102427861B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52001—Auxiliary means for detecting or identifying sonar signals or the like, e.g. sonar jamming signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Acoustics & Sound (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

본 개시는 GAN을 이용하여 수중 영상 데이터를 생성하는 장치에 관한 것으로, 입력 영상의 픽셀 분포 특성을 추출하는 픽셀 분포 예측부, 추출된 픽셀 분포 특성을 이용하여 수중 영상 데이터를 생성하는 생성부, 입력 영상 및 수중 영상 데이터가 위조된 영상인지 여부를 결정하는 판별부를 포함함으로써, 다수의 수중 영상 데이터를 효과적으로 생성할 수 있다.

Description

수중 영상 데이터를 생성하는 장치 및 방법 {APPARATUS AND METHOD FOR GENERATING UNDERWATER IMAGE DATA}
본 개시는 수중 영상 데이터를 생성하는 장치 및 방법을 제공한다.
수중 영상은 해양 탐사에 이용된다. 예를 들어 측면주사 소나(side-scan sonar)는 해저 지형 측량 및 잔해물 감지 등 다양한 해양 산업 분야에서 중요한 요소이다. 측면주사 소나 데이터는 표적 혹은 지형에서 반향된 수신 신호를 이용하여 선 단위로 수중 영상을 구성한다. 동작 주파수에 따라 측면주사 소나 영상은 고주파 및 저주파 유형으로 분류될 수 있고, 객체 유무에 따라 해저 영상과 객체 영상으로 단순하게 나눌 수도 있다. 측면주사 소나 영상을 이용한 수중 영상 인식과 같은 관련 연구를 위해서는 다수의 측면주사 소나 영상이 필요하다. 다수의 측면주사 소나 영상을 획득하기 위해서는 광범위한 현장 작업이 필요하고, 바다에서 실제 실험이 수행되어야 한다. 바다에서 실제 실험이 수행되어야 하므로 높은 비용이 발생되고, 많은 시간이 소모된다. 다양한 데이터를 수집 및 가공하는 것은 손쉬운 문제가 아니다. 높은 비용 발생 및 많은 시간 소모로 인해 다수의 측면주사 소나 영상을 획득하기 어렵다.
생성적 대립 신경망(GAN: Generative Adversarial Network)은 이미지 합성, 콘텐츠 생성, 및 데이터 확대 등 여러 분야에서 유용하다. 또한, GAN은 소나 영상 시뮬레이션 작업에 광범위하게 적용된다. GAN은 컨볼루션 뉴럴 네트워크(CNN: Convolutional Neural Network)의 고기능 추출 능력을 활용하는데, 이는 실제 데이터에서 사실적인 합성 데이터를 생성할 수 있다는 것을 의미한다.
이에 따라, 다수의 측면주사 소나 영상을 획득하기 위해, GAN을 이용하여 소나 영상 데이터를 생성하는 방법이 요구된다.
10-2020-0009852 A 10-2018-0065417 A
수중 영상 데이터를 생성하는 장치 및 방법을 제공하는 데 있다. 또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 제공하는 데 있다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제1 측면은, 입력 영상의 픽셀 분포 특성을 추출하는 픽셀 분포 예측부; 상기 추출된 픽셀 분포 특성을 이용하여 수중 영상 데이터를 생성하는 생성부; 및 상기 입력 영상 및 상기 수중 영상 데이터가 위조된 영상인지 여부를 결정하는 판별부;를 포함하는 수중 영상 데이터 생성 장치를 제공할 수 있다.
또한, 상기 픽셀 분포 예측부는, 비지도 학습(unsupervised learning)을 통해 상기 입력 영상의 픽셀 분포를 학습하고, 상기 학습된 픽셀 분포로부터 상기 픽셀 분포 특성을 추출하고, 상기 추출된 픽셀 분포 특성을 이용하여 랜덤 벡터(random vector)를 생성하는 수중 영상 데이터 생성 장치를 제공할 수 있다.
또한, 상기 픽셀 분포 예측부는, 컨볼루션 레이어(convolution layer) 및 FC 레이어(Fully-Connected layer) 중 적어도 하나를 포함하는 수중 영상 데이터 생성 장치를 제공할 수 있다.
또한, 상기 생성부는, Pix2pixHD 모델을 이용하여 상기 수중 영상 데이터를 생성하는 수중 영상 데이터 생성 장치를 제공할 수 있다.
또한, 상기 생성부는, 업샘플링 컨볼루션 레이어(upsampling convolution layer) 및 상기 업샘플링 컨볼루션 레이어의 출력에 분할 지도(segmentation map)를 추가하는 스페이드 블록(spade block) 중 적어도 하나를 포함하는 수중 영상 데이터 생성 장치를 제공할 수 있다.
또한, 상기 스페이드 블록은, 컨볼루션 레이어 및 배치 정규화 레이어(batch normalization layer) 중 적어도 하나를 포함하는 수중 영상 데이터 생성 장치를 제공할 수 있다.
또한, 상기 판별부는, Patch GAN(Generative Adversarial Network) 구조를 이용하는 수중 영상 데이터 생성 장치를 제공할 수 있다.
또한, 상기 판별부는, 분할 지도와 채널(channel)에서 연결된(concatenate) 상기 입력 영상 및 상기 분할 지도와 상기 채널에서 연결된 상기 수중 영상 데이터가 상기 위조된 영상인지 여부를 결정하는 수중 영상 데이터 생성 장치를 제공할 수 있다.
또한, 상기 픽셀 분포 예측부는 손실 함수를 통해 학습되고, 상기 손실 함수는 다음 수학식 1인 수중 영상 데이터 생성 장치를 제공할 수 있다.
[수학식 1]
Figure pat00001
(여기서, 상기
Figure pat00002
는 상기 손실 함수, 상기
Figure pat00003
는 KL 다이버전스(KL divergence) 함수, 상기
Figure pat00004
는 상기 입력 영상, 상기
Figure pat00005
는 잠재 변수(latent variable), 상기
Figure pat00006
은 상기 입력 영상에 따른 상기 학습된 픽셀 분포, 상기
Figure pat00007
는 표준 가우스 분포임)
또한, 상기 생성부 및 상기 판별부의 목적 함수는 다음 수학식 2인 수중 영상 데이터 생성 장치를 제공할 수 있다.
[수학식 2]
Figure pat00008
(여기서, 상기
Figure pat00009
은 GAN 손실, 상기
Figure pat00010
은 특징 매칭 손실(feature matching loss), 상기
Figure pat00011
는 상기 생성부, 상기
Figure pat00012
는 상기 판별부, 상기
Figure pat00013
는 상기 입력 영상, 상기
Figure pat00014
는 상기 입력 영상의 크기에 해당되는 시맨틱 라벨 지도(semantic label map) 값임)
본 개시의 제2 측면은, 수중 영상 데이터를 생성하는 방법에 있어서, 입력 영상의 픽셀 분포 특성을 추출하는 단계; 상기 추출된 픽셀 분포 특성을 이용하여 수중 영상 데이터를 생성하는 단계; 및 상기 입력 영상 및 상기 수중 영상 데이터가 위조된 영상인지 여부를 결정하는 단계;를 포함하는 수중 영상 데이터 생성 방법을 제공할 수 있다.
본 개시의 제3 측면은, 제11 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록 매체를 제공할 수 있다.
본 개시의 제4 측면은, 수중 영상 데이터 생성 장치에 있어서, 메모리; 및 프로세서;를 포함하고, 상기 프로세서는, 입력 영상의 픽셀 분포 특성을 추출하고, 상기 추출된 픽셀 분포 특성을 이용하여 수중 영상 데이터를 생성하고, 상기 입력 영상 및 상기 수중 영상 데이터가 위조된 영상인지 여부를 결정하는 수중 영상 데이터 생성 장치를 제공할 수 있다.
본 개시는, GAN을 이용하여 수중 영상 데이터를 생성할 수 있다. 구체적으로, GAN을 이용함으로써 생성부 및 판별부가 서로 경쟁적인 학습을 할 수 있고, 학습이 진행될수록 입력 영상과 유사한 수중 영상 데이터를 생성할 수 있다. 또한, 서로 다른 주파수에서도 수중 영상 데이터를 효과적으로 생성할 수 있다.
바다에서 실제 실험이 수행되지 않아도 되므로, 비용이 적게 들고 효율이 높을 수 있고, 우수한 품질과 세밀한 영상의 표현이 가능할 수 있다.
도 1은 일 실시예에 따른 수중 영상 데이터 생성 장치의 블록도이다.
도 2는 일 실시예에 따른 픽셀 분포 예측부를 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 생성부 및 판별부를 설명하기 위한 도면이다.
도 4는 도 3의 스페이드 블록의 구조를 설명하기 위한 도면이다.
도 5는 입력 영상과 수중 영상 데이터를 비교하기 위한 도면이다.
도 6은 일 실시예에 따른 수중 영상 데이터 생성 장치의 성능을 설명하기 위한 표이다.
도 7은 다른 실시예에 따른 수중 영상 데이터 생성 장치의 블록도이다.
본 실시예들에서 사용되는 용어는 본 실시예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 실시예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시예들 전반에 걸친 내용을 토대로 정의되어야 한다.
본 실시예들은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 일부 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 실시예들을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 실시예들의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 명세서에서 사용한 용어들은 단지 실시예들의 설명을 위해 사용된 것으로, 본 실시예들을 한정하려는 의도가 아니다.
본 실시예들에 사용되는 용어들은 다르게 정의되지 않는 한, 본 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 실시예들에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다.
또한, 본 명세서에서 사용되는 '제1' 또는 '제2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 일 실시예에 따른 수중 영상 데이터 생성 장치의 블록도이다.
도 1을 참조하면 수중 영상 데이터 생성 장치(100)는 픽셀 분포 예측부(110), 생성부(120), 판별부(130)를 포함할 수 있다.
픽셀 분포 예측부(110)는 입력 영상의 픽셀 분포 특성을 추출할 수 있다. 픽셀 분포 예측부(110)는 픽셀 레벨 특징 추출기를 의미할 수 있고, 픽셀 레벨의 특징을 추출함으로써 입력 영상의 스타일 및 콘텐츠를 효과적으로 추출할 수 있다. 입력 영상은 수중 영상 데이터 생성 장치(100)로 입력되는 영상으로, 측면주사 소나(side scan sonar) 영상을 의미할 수 있다. 픽셀 분포 특성은 픽셀 분포 파라메터 벡터인 평균(
Figure pat00015
) 벡터, 분산(
Figure pat00016
2) 벡터를 의미할 수 있다.
일 실시예에서, 픽셀 분포 예측부(110)는 비지도 학습(unsupervised learning)을 통해 입력 영상의 픽셀 분포를 학습하고, 학습된 픽셀 분포로부터 픽셀 분포 특성을 추출하고, 추출된 픽셀 분포 특성을 이용하여 랜덤 벡터(random vector)를 생성할 수 있다. 비지도 학습은 머신 러닝(machine learning)에서 컴퓨터가 입력값만 있는 훈련 데이터를 이용하여 입력들의 규칙성을 찾는 학습 방법을 의미할 수 있다.
픽셀 분포 예측부(110)는 손실 함수를 통해 학습될 수 있다. 손실 함수는 다음 수학식 1로 나타낼 수 있다.
[수학식 1]
Figure pat00017
여기서,
Figure pat00018
는 손실 함수를 의미하고,
Figure pat00019
는 KL 다이버전스(KL divergence) 함수를 의미하고,
Figure pat00020
는 상기 입력 영상을 의미하고,
Figure pat00021
은 입력 영상에 따른 학습된 픽셀 분포를 의미하고,
Figure pat00022
는 표준 가우스 분포를 의미할 수 있다.
Figure pat00023
는 잠재 변수(latent variable)로, 픽셀 분포 예측부(110)의 출력을 의미할 수 있다.
손실 함수로 KL 다이버전스 함수를 이용하여 입력 영상에서 생성된 픽셀 분포와 랜덤 변수로부터 생성된 픽셀 분포의 차이를 계산할 수 있다. KL 다이버전스 함수를 이용함으로써, 픽셀 분포를 학습하고, 정규 분포를 따르도록 강제할 수 있다.
생성부(120)는 추출된 픽셀 분포 특성을 이용하여 수중 영상 데이터를 생성할 수 있다. 생성부(120)는 픽셀 분포 예측부(110)로부터 생성된 랜덤 벡터를 이용하여 입력 영상과 유사한 형태의 수중 영상 데이터를 생성할 수 있다. 수중 영상 데이터는 수중 영상 데이터 생성 장치로부터 생성된 측면주사 소나 영상을 의미할 수 있다. 생성부(120)는 도 3을 참조하여 상세히 후술한다.
판별부(130)는 입력 영상 및 수중 영상 데이터가 위조된 영상인지 여부를 결정할 수 있다. 생성부(120) 및 판별부(130)는 서로 경쟁적인 학습을 할 수 있다. 판별부(130)는 생성부(120)가 만들어낸 수중 영상 데이터를 평가할 수 있고, 생성부(120)는 판별부(130)의 평가 결과를 반영하여 입력 영상과 보다 유사한 수중 영상 데이터를 생성할 수 있다. 학습이 진행될수록 생성부(120)에서 생성된 수중 영상 데이터는 입력 영상과 유사할 수 있다.
도 2는 일 실시예에 따른 픽셀 분포 예측부를 설명하기 위한 도면이다.
도 2를 참조하면, 입력 영상은 Conv(convolution) 레이어, Reshape 레이어, 및 Linear 레이어를 통과할 수 있다.
일 실시예에서, 픽셀 분포 예측부(예를 들어, 도 1의 픽셀 분포 예측부(110))는 컨볼루션 레이어(convolution layer) 및 FC 레이어(Fully-Connected layer) 중 적어도 하나를 포함할 수 있다. 컨볼루션 레이어는 도 2의 Conv 레이어를 의미할 수 있고, 컨볼루션 연산을 수행할 수 있다. 컨볼루션 레이어는 복수 개 존재할 수 있고, 바람직하게는, 6개일 수 있다. 컨볼루션 레이어에서 3 × 3은 컨볼루션 레이어의 크기를 의미하고,
Figure pat00024
는 입력 영상의 너비 및 높이 각각을 반으로 줄이는 것을 의미할 수 있다. 예를 들어, 크기가 100 × 100인 입력 영상이 컨볼루션 레이어를 통과하면 입력 영상의 크기가 50 × 50으로 줄어들 수 있다. 도 2의
Figure pat00025
은 입력 영상의 크기를 줄였으므로 채널을 늘리는 것을 의미할 수 있다.
Reshape 레이어는 컨볼루션 레이어의 출력이 Linear 레이어의 입력이 되도록 컨볼루션 레이어의 출력의 형태를 변형시킬 수 있다. 예를 들어, 컨볼루션 레이어의 출력이 2차원인 경우, Reshape 레이어는 2차원의 컨볼루션 레이어의 출력이 Linear 레이어의 입력이 되도록 1차원으로 변형할 수 있다.
픽셀 분포 예측부는 복수 개의 FC 레이어를 포함할 수 있고, 바람직하게는 2개의 FC 레이어를 포함할 수 있다. 도 2의 Linear 레이어가 FC 레이어에 해당할 수 있다.
입력 영상이 픽셀 분포 예측부의 6개의 컨볼루션 레이어, Reshape 레이어, 및 Linear 레이어를 통과함으로써 픽셀 분포 특성(평균(
Figure pat00026
) 벡터, 분산(
Figure pat00027
2) 벡터)이 추출될 수 있고, 추출된 픽셀 분포 특성을 이용하여 랜덤 벡터가 생성될 수 있다.
도 3은 일 실시예에 따른 생성부 및 판별부를 설명하기 위한 도면이다.
도 3을 참조하면 수중 영상 데이터 생성 장치(300)는 픽셀 분포 예측부(310), 생성부(320), 판별부(330)를 포함할 수 있다. 생성부(320)는 픽셀 분포 예측부(310)에서 출력된 랜덤 벡터로부터 분할 지도(segmentation map)을 사용하여 수중 영상 데이터를 생성할 수 있다. 수중 영상 데이터는 입력 영상과 유사한 형태의 영상으로, 수중 영상 데이터 생성 장치(300)로부터 생성된 측면주사 소나 영상을 의미할 수 있다. 도 3의 수중 영상 데이터 생성 장치(300), 픽셀 분포 예측부(310), 생성부(320), 및 판별부(330)는 도 1의 수중 영상 데이터 생성 장치(100), 픽셀 분포 예측부(110), 생성부(120), 및 판별부(130)에 대응되므로, 중복되는 내용은 생략한다.
일 실시예에서, 생성부(320)는 Pix2pixHD 모델을 이용하여 상기 수중 영상 데이터를 생성할 수 있다. Pix2pixHD는 GAN(Generative Adversarial Network)을 이용하여 시맨틱 레이블 맵(semantic label map)에서 고해상도의 사실적 이미지를 합성하는 방법으로, HD 영상을 생성하기 위해 설계된 특수한 구조의 GAN 모델을 의미할 수 있다. 생성부(320)는 픽셀 분포 예측부(310)에서 생성된 랜덤 벡터로 생성 프로세스를 시작하므로, Pix2pixHD의 업샘플링 컨볼루션 레이어(upsampling convolution layer)(321, 322, 323)만 포함할 수 있다.
생성부(320)는 업샘플링 컨볼루션 레이어(321, 322, 323) 및 스페이드 블록(spade block)(324, 325, 326) 중 적어도 하나를 포함할 수 있다. 생성부(320)는 복수 개의 업샘플링 컨볼루션 레이어(321, 322, 323) 및 복수 개의 스페이드 블록(324, 325, 326)을 포함할 수 있고, 바람직하게는, 업샘플링 컨볼루션 레이어(321, 322, 323) 및 스페이드 블록(324, 325, 326)은 각각 7개일 수 있다. 또한, 생성부(320)의 업샘플링 컨볼루션 레이어(321, 322, 323) 및 스페이드 블록(324, 325, 326)은 하나씩 번갈아 배치될 수 있고, 업샘플링 컨볼루션 레이어(321, 322, 323) 다음에 스페이드 블록(324, 325, 326)이 오는 구조가 7번 반복될 수 있다. 예를 들어, 생성부(320)에서 업샘플링 컨볼루션 레이어(321), 스페이드 블록(324), 업샘플링 컨볼루션 레이어(322), 스페이드 블록(325), 업샘플링 컨볼루션 레이어(323), 및 스페이드 블록(326)이 나열한 순서대로 배치되거나 수행될 수 있다.
스페이드 블록(324, 325, 326)은 업샘플링 컨볼루션 레이어(321, 322, 323)의 출력에 분할 지도(segmentation map)를 추가할 수 있다. 분할 지도 및 바로 이전의 업샘플링 컨볼루션 레이어(321, 322, 323)의 출력이 스페이드 블록(324, 325, 326)의 입력이 될 수 있다. 예를 들어, 스페이드 블록(324)의 입력은 분할 지도 및 업샘플링 컨볼루션 레이어(321)의 출력일 수 있다. 스페이드 블록(325)의 입력은 분할 지도 및 업샘플링 컨볼루션 레이어(322)의 출력일 수 있다. 스페이드 블록(324, 325, 326)은 도 4를 참조하여 상세히 후술한다.
판별부(330)는 입력 영상 및 생성부(320)로부터 생성된 수중 영상 데이터가 위조된 영상인지 여부를 결정할 수 있다.
일 실시예에서, 판별부(330)는 분할 지도와 채널(channel)에서 연결된(concatenate) 입력 영상 및 분할 지도와 채널에서 연결된 수중 영상 데이터가 위조된 영상인지 여부를 결정할 수 있다. 도 3의 Concatenate는 concatenate 연산을 의미하고, 2개의 영상을 서로 연결시켜 하나의 영상으로 만들어 주는 것을 의미할 수 있다. 예를 들어, 분할 지도 및 입력 영상이 채널에서 서로 연결되어 하나의 영상으로 만들어질 수 있고, 분할 지도 및 생성부(320)에서 생성된 수중 영상 데이터가 채널에서 서로 연결되어 하나의 영상으로 만들어질 수 있다.
판별부(330)는 분할 지도와 채널에서 연결된 입력 영상 및 분할 지도와 채널에서 연결된 수중 영상 데이터가 위조된 영상인지 여부를 결정하여 결과값 Y를 산출할 수 있다.
일 실시예에서, 판별부(330)는 Patch GAN(Generative Adversarial Network) 구조를 이용할 수 있다. Patch GAN은 전체 영역이 아니라 특정 크기의 패치(patch) 단위로 위조 영상인지 여부를 결정하고, 그 결과에 평균을 취하는 방식을 의미할 수 있다. 전체 영역이 아니라 패치 단위로 슬라이딩 윈도우(sliding window)가 지나가며 연산을 수행하므로 파라미터 개수가 감소할 수 있다. 이에 따라, 연산 속도가 증가할 수 있다. 또한, 영상의 크기에 영향을 받지 않아, 구조적으로 유연할 수 있다.
생성부(320) 및 판별부(330)의 목적 함수는 GAN 손실과 특징 매칭 손실의 2가지 손실 함수로 구성될 수 있다. 목적 함수는 다음 수학식 2로 나타낼 수 있다.
[수학식 2]
Figure pat00028
여기서,
Figure pat00029
은 GAN 손실을 의미하고,
Figure pat00030
은 특징 매칭 손실(feature matching loss)을 의미하고,
Figure pat00031
는 생성부(320),
Figure pat00032
는 판별부(330),
Figure pat00033
는 입력 영상,
Figure pat00034
는 입력 영상의 크기에 해당되는 시맨틱 라벨 지도 값을 의미할 수 있다. 특징 매칭 손실은 생성부(320)가 여러 해상도에서 사실적인 영상을 생성하도록 하여 훈련 과정을 안정화시키는 데 도움을 줄 수 있고, GAN 손실은 분할 지도와 함께 입력 영상의 조건부 분포를 학습하는 데 중점을 둘 수 있다.
도 4는 도 3의 스페이드 블록의 구조를 설명하기 위한 도면이다.
도 4를 참조하면, 도 4의 스페이드 블록(400)은 컨볼루션 레이어 및 배치 정규화 레이어(batch normalization layer)를 포함할 수 있다. 도 4의 스페이드 블록(400) 및 업샘플링 컨볼루션 레이어(410)는 도 3의 스페이드 블록(324, 325, 326) 및 업샘플링 컨볼루션 레이어(321, 322, 323)에 각각 대응되므로, 중복되는 내용은 생략한다.
스페이드 블록(400)의 입력은 분할 지도 및 이전의 업샘플링 컨볼루션 레이어의 출력일 수 있다. 이전의 업샘플링 컨볼루션 레이어는 이전의 업샘플링 컨볼루션 레이어의 출력이 입력되는 스페이드 블록(400) 바로 이전의 업샘플링 컨볼루션 레이어를 의미할 수 있다. 스페이드 블록(400)의 츨력은 다음의 업샘플링 컨볼루션 레이어(410)의 입력이 될 수 있다. 생성부에 스페이드 블록(400)이 포함됨으로써 분할 지도의 정보를 추가적으로 획득할 수 있다.
일 실시예에서, 스페이드 블록(400)은 컨볼루션 레이어 및 배치 정규화 레이어 중 적어도 하나를 포함할 수 있다. 배치 정규화 레이어는 배치 정규화를 수행하는 레이어로, 입력의 평균이 0, 분산이 1이 되도록 재배치 하는 것을 의미할 수 있다.
분할 지도는 스페이드 블록(400)의 컨볼루션 레이어를 통과할 수 있고, 배치 정규화 레이어에 대한 스케일링 요소(scaling factor:
Figure pat00035
) 및 시프팅 요소(shifting factor:
Figure pat00036
)로 변환될 수 있다. 스케일링 요소는 정규화된 데이터에 대한 스케일 조정 파라미터를 의미할 수 있고, 시프팅 요소는 정규화된 데이터에 대한 이동 조정 파라미터를 의미할 수 있다.
도 5는 입력 영상과 수중 영상 데이터를 비교하기 위한 도면이다.
도 5의 OURS HO(High frequency Object)는 고주파로 측정한 객체가 포함된 수중 영상을 의미할 수 있고, OURS LO(Low frequency Object)는 저주파로 측정한 객체가 포함된 수중 영상을 의미할 수 있다. HO 및 LO는 협곡이나 능선과 같은 순수한 해저 환경보다 더 복잡한 해저 환경을 포함할 수 있다. 첫 번째 행은 분할 지도를 나타내고, 두 번째 행은 입력 영상을 나타내고, 세 번째 행은 수중 영상 데이터를 나타낼 수 있다. 고주파 및 저주파는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 이해하는 범위를 포함할 수 있다.
도 5의 HO의 입력 영상에는 분할 지도에 표시되어 있는 해저의 암석이 포함되어 있다. 입력 영상은 하이라이트된 영역(측면주사 소나 신호를 향하고 있음), 음영 영역(하이라이트된 영역에 의해 측면주사 소나 신호가 차단됨), 배경(해저 영역)의 세 영역으로 구성될 수 있다. 입력 영상과 수중 영상 데이터를 비교 시, 수중 영상 데이터가 입력 영상에 비해 높은 영상 화질을 유지하면서 세 영역을 잘 반영할 수 있음을 알 수 있다. 수중 영상 데이터는 본 개시에 따른 수중 영상 데이터 생성 장치로부터 생성된 측면주사 소나 영상을 의미할 수 있다.
도 5의 LO는 저주파에서 생성된 수중 영상을 나타내는 것으로, 저주파 측면주사 소나는 심해 환경에서 작동하므로, LO는 HO보다 상대적으로 화질 및 해상도가 낮을 수 있다. 수중 영상 데이터에 분할 지도가 추가될 수 있으므로, 세밀한 구조로 사실적으로 표현될 수 있고, 낮은 수준의 노이즈가 포함될 수 있다.
도 6은 일 실시예에 따른 수중 영상 데이터 생성 장치의 성능을 설명하기 위한 표이다.
도 6의 Acc(Acuracy)는 픽셀 정확도를 의미하고, mIoU(Mean Intersection over Union)는 평균 조합 교차점을 의미할 수 있다. 픽셀 정확도는 정확하게 분류된 픽셀의 비율을 나타낸다. IoU는 분할된 결과와 레이블 맵이 분할된 결과와 레이블 맵 사이의 결합 영역으로 나눈 중복 영역을 의미할 수 있다.
Acc 및 mIoU는 수중 영상 데이터가 충분히 사실적인 경우, 수중 영상 데이터를 사용하여 정확한 예측 결과를 산출할 수 있으므로, 시맨틱 분할의 지표로 사용될 수 있다. PSPNet 및 FCN8s의 시맨틱 분할 방법을 사용하여 수중 영상 데이터 집합 및 입력 영상 집합에 대한 분할 결과를 평가할 수 있다. 도 6의 generated data(%)는 입력 영상 및 수중 영상 데이터의 비율을 의미할 수 있다. 예를 들어 generated data가 0%인 경우, 수중 영상 데이터의 비율이 0%임을 의미할 수 있다. generated data가 50%인 경우, 수중 영상 데이터와 입력 영상의 비율이 각각 50%임을 의미할 수 있다.
Acc 및 mIoU는 수중 영상 데이터의 신뢰성을 나타내는 지표를 의미할 수 있다. 예를 들어, generated data가 0% 및 50%인 경우의 수치가 유사하거나, 0%보다 50%에서 Acc의 수치가 더 높다면 수중 영상 데이터가 신뢰성 있음을 의미할 수 있다.
PSPNet을 사용한 경우, 입력 영상에 대한 수중 영상 데이터의 비율이 증가함에 따라 메트릭(metric)이 향상될 수 있고 generated data가 50%인 경우의 수중 영상 데이터의 신뢰성이 높을 수 있다. 예를 들어, 고주파에서 generated data가 0%인 경우의 Acc는 87.62%이고, mIoU는 65.95%이고, generated data가 50%인 경우의 Acc는 90.95%이고, mIoU는 73.84%일 수 있다. 다른 예로, 저주파에서 generated data가 0%인 경우의 Acc는 87.71%이고, mIoU는 68.08%이고, generated data가 50%인 경우의 Acc는 90.95%이고, mIoU는 73.84%일 수 있다. Generated data가 50%인 경우의 Acc 및 mIoU가 generated data가 0%인 경우보다 높으므로, 수중 영상 데이터가 신뢰성 있음을 알 수 있다.
FCN8s을 사용한 경우, 입력 영상에 대한 수중 영상 데이터의 비율이 generated data가 50%보다 작을 때 수중 영상 데이터의 신뢰성이 높을 수 있다. 예를 들어, 고주파에서 generated data가 0%인 경우의 Acc는 88.72%이고, mIoU는 69.19%이고, generated data가 10%인 경우의 Acc는 89.02%이고, mIoU는 69.8%이고, generated data가 30%인 경우의 Acc는 89.01%이고, mIoU는 69.89%일 수 있다. Generated data가 10%인 경우 및 30%인 경우의 Acc 및 mIoU는 generated data가 0%인 경우보다 높을 수 있고, generated data가 10%인 경우 Acc가 가장 높고, generated data가 30%인 경우 mIoU가 가장 높을 수 있다.
다른 예로, 저주파에서 generated data가 0%인 경우의 Acc는 85.60%이고, mIoU는 73.75%이고, generated data가 20%인 경우의 Acc는 86.84%이고, mIoU는 75.43% 일 수 있다. Generated data가 20%인 경우의 Acc 및 mIoU는 generated data가 0%인 경우보다 높을 수 있고, generated data가 20%인 경우의 Acc 및 mIoU가 가장 높을 수 있다. Generated data가 10%, 20%, 30%일 때 0%인 경우보다 Acc 및 mIoU가 높으므로, 수중 영상 데이터가 신뢰성 있음을 알 수 있다. 이에 따라, 본 개시에 따른 장치는 신뢰성 있는 수중 영상 데이터를 생성하여 측면주사 소나 영상의 품질을 향상시킬 수 있다.
도 7은 다른 실시예에 따른 수중 영상 데이터 생성 장치의 블록도이다.
도 7을 참조하면, 수중 영상 데이터 생성 장치(700)는 메모리(710) 및 프로세서(720)를 포함할 수 있다. 도 7의 수중 영상 데이터 생성 장치(700)에는 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 7에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 당해 기술분야의 통상의 기술자라면 이해할 수 있다.
메모리(710)는 수중 영상 데이터 생성 장치(700) 내에서 처리되는 각종 데이터들을 저장하는 하드웨어이다. 예를 들어, 메모리(710)는 입력 영상, 픽셀 분포 특성, 분할 지도, 픽셀 분포 특성으로부터 추출된 랜덤 벡터 등을 저장할 수 있다. 메모리(710)는 DRAM(dynamic random access memory), SRAM(static random access memory) 등과 같은 RAM(random access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), CD-ROM, 블루레이 또는 다른 광학 디스크 스토리지, HDD(hard disk drive), SSD(solid state drive), 또는 플래시 메모리를 포함할 수 있다.
프로세서(720)는 도 1 내지 도 6에서 상술한, 수중 영상 데이터를 생성하기 위한 전반적인 기능을 수행한다.
일 실시예에서, 프로세서(720)는 입력 영상의 픽셀 분포 특성을 추출하고, 추출된 픽셀 분포 특성을 이용하여 수중 영상 데이터를 생성하고, 입력 영상 및 수중 영상 데이터가 위조된 영상인지 여부를 결정할 수 있다.
본 실시예들은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 프로그램을 기록한 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
또한, 본 명세서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 명세서의 설명은 예시를 위한 것이며, 본 명세서의 내용이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
상술한 실시예들에 대한 설명은 예시적인 것에 불과하며, 당해 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서 발명의 진정한 보호 범위는 첨부된 청구범위에 의해 정해져야 할 것이며, 청구범위에 기재된 내용과 동등한 범위에 있는 모든 차이점은 청구범위에 의해 정해지는 보호 범위에 포함되는 것으로 해석되어야 할 것이다.
100: 수중 영상 데이터 생성 장치 110: 픽셀 분포 예측부
120: 생성부 130: 판별부
300: 수중 영상 데이터 생성 장치 310: 픽셀 분포 예측부
320: 생성부 330: 판별부
321: 업샘플링 컨볼루션 레이어 322: 업샘플링 컨볼루션 레이어
323: 업샘플링 컨볼루션 레이어 324: 스페이드 블록
325: 스페이드 블록 326: 스페이드 블록
400: 스페이드 블록 410: 업샘플링 컨볼루션 레이어
700: 수중 영상 데이터 생성 장치 710: 메모리
720: 프로세서

Claims (13)

  1. 입력 영상의 픽셀 분포 특성을 추출하는 픽셀 분포 예측부;
    상기 추출된 픽셀 분포 특성을 이용하여 수중 영상 데이터를 생성하는 생성부; 및
    상기 입력 영상 및 상기 수중 영상 데이터가 위조된 영상인지 여부를 결정하는 판별부;를 포함하는, 수중 영상 데이터 생성 장치.
  2. 제1 항에 있어서,
    상기 픽셀 분포 예측부는,
    비지도 학습(unsupervised learning)을 통해 상기 입력 영상의 픽셀 분포를 학습하고,
    상기 학습된 픽셀 분포로부터 상기 픽셀 분포 특성을 추출하고,
    상기 추출된 픽셀 분포 특성을 이용하여 랜덤 벡터(random vector)를 생성하는, 수중 영상 데이터 생성 장치.
  3. 제1 항에 있어서,
    상기 픽셀 분포 예측부는,
    컨볼루션 레이어(convolution layer) 및 FC 레이어(Fully-Connected layer) 중 적어도 하나를 포함하는, 수중 영상 데이터 생성 장치.
  4. 제1 항에 있어서,
    상기 생성부는,
    Pix2pixHD 모델을 이용하여 상기 수중 영상 데이터를 생성하는, 수중 영상 데이터 생성 장치.
  5. 제1 항에 있어서,
    상기 생성부는,
    업샘플링 컨볼루션 레이어(upsampling convolution layer) 및 상기 업샘플링 컨볼루션 레이어의 출력에 분할 지도(segmentation map)를 추가하는 스페이드 블록(spade block) 중 적어도 하나를 포함하는, 수중 영상 데이터 생성 장치.
  6. 제5 항에 있어서,
    상기 스페이드 블록은,
    컨볼루션 레이어 및 배치 정규화 레이어(batch normalization layer) 중 적어도 하나를 포함하는, 수중 영상 데이터 생성 장치.
  7. 제1 항에 있어서,
    상기 판별부는,
    Patch GAN(Generative Adversarial Network) 구조를 이용하는, 수중 영상 데이터 생성 장치.
  8. 제1 항에 있어서,
    상기 판별부는,
    분할 지도와 채널(channel)에서 연결된(concatenate) 상기 입력 영상 및 상기 분할 지도와 상기 채널에서 연결된 상기 수중 영상 데이터가 상기 위조된 영상인지 여부를 결정하는, 수중 영상 데이터 생성 장치.
  9. 제1 항에 있어서,
    상기 픽셀 분포 예측부는 손실 함수를 통해 학습되고,
    상기 손실 함수는 다음 수학식 1인, 수중 영상 데이터 생성 장치.
    [수학식 1]
    Figure pat00037

    (여기서, 상기
    Figure pat00038
    는 상기 손실 함수, 상기
    Figure pat00039
    는 KL 다이버전스(KL divergence) 함수, 상기
    Figure pat00040
    는 상기 입력 영상, 상기
    Figure pat00041
    는 잠재 변수(latent variable), 상기
    Figure pat00042
    은 상기 입력 영상에 따른 상기 학습된 픽셀 분포, 상기
    Figure pat00043
    는 표준 가우스 분포임)
  10. 제1 항에 있어서,
    상기 생성부 및 상기 판별부의 목적 함수는 다음 수학식 2인, 수중 영상 데이터 생성 장치.
    [수학식 2]
    Figure pat00044

    (여기서, 상기
    Figure pat00045
    은 GAN 손실, 상기
    Figure pat00046
    은 특징 매칭 손실(feature matching loss), 상기
    Figure pat00047
    는 상기 생성부, 상기
    Figure pat00048
    는 상기 판별부, 상기
    Figure pat00049
    는 상기 입력 영상, 상기
    Figure pat00050
    는 상기 입력 영상의 크기에 해당되는 시맨틱 라벨 지도(semantic label map) 값임)
  11. 수중 영상 데이터를 생성하는 방법에 있어서,
    입력 영상의 픽셀 분포 특성을 추출하는 단계;
    상기 추출된 픽셀 분포 특성을 이용하여 수중 영상 데이터를 생성하는 단계; 및
    상기 입력 영상 및 상기 수중 영상 데이터가 위조된 영상인지 여부를 결정하는 단계;를 포함하는, 수중 영상 데이터 생성 방법.
  12. 제11 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록 매체.
  13. 수중 영상 데이터 생성 장치에 있어서,
    메모리; 및
    프로세서;를 포함하고,
    상기 프로세서는,
    입력 영상의 픽셀 분포 특성을 추출하고,
    상기 추출된 픽셀 분포 특성을 이용하여 수중 영상 데이터를 생성하고,
    상기 입력 영상 및 상기 수중 영상 데이터가 위조된 영상인지 여부를 결정하는, 수중 영상 데이터 생성 장치.

KR1020200131291A 2020-10-12 2020-10-12 수중 영상 데이터를 생성하는 장치 및 방법 KR102427861B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200131291A KR102427861B1 (ko) 2020-10-12 2020-10-12 수중 영상 데이터를 생성하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200131291A KR102427861B1 (ko) 2020-10-12 2020-10-12 수중 영상 데이터를 생성하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220048300A true KR20220048300A (ko) 2022-04-19
KR102427861B1 KR102427861B1 (ko) 2022-08-01

Family

ID=81391901

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200131291A KR102427861B1 (ko) 2020-10-12 2020-10-12 수중 영상 데이터를 생성하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102427861B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102483341B1 (ko) * 2022-06-22 2022-12-30 한화시스템 주식회사 수중 표적 식별 장치 및 수중 표적 식별 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101159164B1 (ko) * 2010-02-04 2012-06-22 목포대학교산학협력단 위조 영상 판별 장치 및 그 방법
KR101590252B1 (ko) * 2014-06-23 2016-02-01 포항공과대학교 산학협력단 고속 이동하는 이미징 소나의 영상 개선 방법 및 이를 이용한 장치
KR20180065417A (ko) 2016-12-07 2018-06-18 공주대학교 산학협력단 수중 초음파 영상 정보를 이용한 피측정물 식별 방법
KR20200006807A (ko) * 2018-07-11 2020-01-21 국방과학연구소 소나 영상 복원 장치 및 방법
KR20200009852A (ko) 2018-07-20 2020-01-30 포항공과대학교 산학협력단 수중 모니터링 시스템 및 수중 모니터링을 위한 vr 영상 제공 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101159164B1 (ko) * 2010-02-04 2012-06-22 목포대학교산학협력단 위조 영상 판별 장치 및 그 방법
KR101590252B1 (ko) * 2014-06-23 2016-02-01 포항공과대학교 산학협력단 고속 이동하는 이미징 소나의 영상 개선 방법 및 이를 이용한 장치
KR20180065417A (ko) 2016-12-07 2018-06-18 공주대학교 산학협력단 수중 초음파 영상 정보를 이용한 피측정물 식별 방법
KR20200006807A (ko) * 2018-07-11 2020-01-21 국방과학연구소 소나 영상 복원 장치 및 방법
KR20200009852A (ko) 2018-07-20 2020-01-30 포항공과대학교 산학협력단 수중 모니터링 시스템 및 수중 모니터링을 위한 vr 영상 제공 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Park, Taesung et al. Semantic image synthesis with spatially-adaptive normalization. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019.* *
Wang, Ting-Chun et al. High-resolution image synthesis and semantic manipulation with conditional gans. Proceedings of the IEEE conference on computer vision and pattern recognition. 2018.* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102483341B1 (ko) * 2022-06-22 2022-12-30 한화시스템 주식회사 수중 표적 식별 장치 및 수중 표적 식별 방법

Also Published As

Publication number Publication date
KR102427861B1 (ko) 2022-08-01

Similar Documents

Publication Publication Date Title
US10964060B2 (en) Neural network-based camera calibration
Ji et al. Seabed sediment classification using multibeam backscatter data based on the selecting optimal random forest model
Kim et al. Real-time visual SLAM for autonomous underwater hull inspection using visual saliency
US8472718B2 (en) Superpixel segmentation methods and systems
US20200379104A1 (en) Three-dimensional forward-looking sonar target recognition with machine learning
US9405959B2 (en) System and method for classification of objects from 3D reconstruction
US11450023B2 (en) Method and apparatus for detecting anchor-free object based on deep learning
US11887303B2 (en) Image processing model generation method, image processing method and device, and electronic device
CN111723632A (zh) 一种基于孪生网络的船舶跟踪方法及系统
KR102427861B1 (ko) 수중 영상 데이터를 생성하는 장치 및 방법
CN110850420B (zh) 基于弹球损失的FisherSVM声纳信号判别方法
AlAzawee et al. Using morphological operations—Erosion based algorithm for edge detection
Yulin et al. Wreckage target recognition in side-scan sonar images based on an improved faster r-cnn model
Wang et al. Fused adaptive receptive field mechanism and dynamic multiscale dilated convolution for side-scan sonar image segmentation
Arumuga Arun et al. Enhancement and detection of objects in underwater images using image super-resolution and effective object detection model
Rixon Fuchs et al. Deep learning based technique for enhanced sonar imaging
Barngrover Automated detection of mine-like objects in side scan sonar imagery
CN113807354B (zh) 图像语义分割方法、装置、设备和存储介质
CN115019107A (zh) 基于风格迁移的声呐仿真图像生成方法、系统及介质
CN113688655B (zh) 干扰信号的识别方法、装置、计算机设备和存储介质
Nian et al. Towards characterizing and developing formation and migration cues in seafloor sand waves on topology, morphology, evolution from high-resolution mapping via side-scan sonar in autonomous underwater vehicles
Fandos ADAC system design and its application to mine hunting using SAS imagery
Ji Multi-Resolution Inference of Bathymetry From Sidescan Sonar
Swartzman et al. Modeling the distribution of fish schools in the Bering Sea: Morphological school identification
JP7470016B2 (ja) 機械学習を用いた物体検出用識別モデル生成装置およびプログラム

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant