KR102073297B1 - 소나 영상 복원 장치 및 방법 - Google Patents

소나 영상 복원 장치 및 방법 Download PDF

Info

Publication number
KR102073297B1
KR102073297B1 KR1020180080614A KR20180080614A KR102073297B1 KR 102073297 B1 KR102073297 B1 KR 102073297B1 KR 1020180080614 A KR1020180080614 A KR 1020180080614A KR 20180080614 A KR20180080614 A KR 20180080614A KR 102073297 B1 KR102073297 B1 KR 102073297B1
Authority
KR
South Korea
Prior art keywords
image
sonar
input
pyramid
dimensional
Prior art date
Application number
KR1020180080614A
Other languages
English (en)
Other versions
KR20200006807A (ko
Inventor
안재균
김성일
박재현
고한석
구본화
현세종
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020180080614A priority Critical patent/KR102073297B1/ko
Publication of KR20200006807A publication Critical patent/KR20200006807A/ko
Application granted granted Critical
Publication of KR102073297B1 publication Critical patent/KR102073297B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

본 발명의 일 실시예에 따른 소나 영상을 복원하는 장치는, 소나 영상을 소정 크기로 분할한 각각의 입력 영상이 객체를 포함하는지 여부에 따라, 입력 영상을 객체 영상 또는 비객체 영상으로 분류하는 영상 분류부와, 객체 영상 내의 객체 영역과 비객체 영상에 상이한 복원 기법을 적용하여 소나 영상을 고해상도 영상으로 복원하는 영상 복원부를 포함한다.

Description

소나 영상 복원 장치 및 방법{APPARATUS AND METHOD FOR RECOVERING SONAR IMAGES}
본 발명은 소나(sonar) 영상을 복원하는 장치 및 방법에 관한 것이다. 보다 구체적으로, 본 발명은 소나를 이용하여 획득한 수중 소나 영상에 대해 영역에 따른 선택적 영상 복원 기법을 적용하여 고속으로 고해상도 소나 영상을 복원하는 장치 및 방법에 관한 것이다.
측면 주사 소나(side-scan sonar)('측면 주사 음파 탐지기'라고도 함)는 소나의 좌우측면으로 음파 펄스를 방사하여 해저면 등에서 반향된 음파를 수신하고, 반향된 음파의 수신 시간, 음압, 진폭 등으로부터 수상 영상을 얻는 장치를 말한다.
일반적으로, 측면 주사 소나로부터 얻는 소나 영상은 영상 복원 기법을 이용하여 보다 고화질의 영상으로 복원된다. 한편, 스파스 코딩(sparse coding)(희소 코딩)은 사전 행렬(dictionary matrix)과 스파스 계수(sparse coefficients)의 선형결합을 이용하여 입력 신호로부터 복원 신호를 얻는 방식으로 영상의 초해상도 복원에 효과적이며, 광학 영상을 대상으로 한 스파스 코딩 기반 복원 방법은 이미 알려져 있다. 그러나, 이러한 스파스 코딩 기반 복원 방법은 각각의 입력 영상의 패치에 대해 각각 최적의 스파스 계수를 추정해야 하기 때문에 많은 연산량을 요구한다. 실제로 240Х240 화소 크기의 영상을 7x7 화소 단위의 패치별로 스파스 코딩으로 복원할 경우의 처리시간은 초해상도 복원 기법 중 하나인 바이큐빅(bicubic) 보간법에 비해 대략 2,000배 이상의 시간이 소요된다. 뿐만 아니라, 측면주사 소나 영상의 대부분의 영역은 모서리 성분이 부족한 평평한 모래 지형으로 이루어져 있는데, 바이큐빅 보간법 대비 스파스 코딩 기법의 복원 성능이 우수하게 나오는 경우는 선명한 모서리와 질감을 갖는 객체 영역에서이다. 따라서 객체가 존재하지 않는 영역에 대한 초해상도 복원 결과의 시각적 품질의 차이는 미미하므로 많은 연산량을 요하는 스파스 코딩 기법을 적용할 필요성이 떨어지기 때문에 바이큐빅 보간법으로 복원을 수행하기에 충분하다.
따라서 측면주사 소나를 이용해 넓은 해역을 탐사하고, 획득된 영상을 고속으로 고화질로 개선하여 분석할 수 있는 시스템을 구성하기 위해서는 기존의 광학 영상 복원을 위한 스파스 코딩 기법을 사용하는 것은 현실적이지 못하다.
한국공개특허공보 제2017-0055330호 (2017년 5월 19일 공개)
본 발명이 해결하고자 하는 과제는, 측면 주사 소나를 이용하여 획득한 수중 소나 영상에 대해 객체 영역인지 아닌지에 따라 선택적인 영상 복원 기법을 적용하여 고속으로 고해상도 영상을 복원하는 장치 및 방법을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 바로 제한되지 않으며, 언급되지는 않았으나 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있는 목적을 포함할 수 있다.
본 발명의 일 실시예에 따른, 소나 영상을 복원하는 장치는, 소나 영상을 소정 크기로 분할한 각각의 입력 영상이 객체를 포함하는지 여부에 따라, 상기 입력 영상을 객체 영상 또는 비객체 영상으로 분류하는 영상 분류부와, 상기 객체 영상 내의 객체 영역과 상기 비객체 영상에 상이한 복원 기법을 적용하여 상기 소나 영상을 고해상도 영상으로 복원하는 영상 복원부를 포함한다.
또한, 상기 영상 분류부는 상기 입력 영상에 대한 영상 피라미드를 생성하되, 상기 영상 피라미드는, 상기 입력 영상을 다운 샘플링한 하나 이상의 다운 샘플링 영상과, 상기 입력 영상과, 상기 입력 영상을 업 샘플링한 하나 이상의 업 샘플링 영상을 포함할 수 있다.
또한, 상기 영상 분류부는, 상기 영상 피라미드에 포함된 각각의 영상에 대해 모서리 검출 기법을 수행하여 영상 내 객체의 윤곽선을 검출하여 각각의 영상을 2진 영상으로 변환할 수 있다.
또한, 상기 영상 분류부는, 상기 영상 피라미드 내 각각의 2진 영상에 대해 모폴로지 복원을 수행할 수 있다.
또한, 상기 영상 분류부는 상기 모폴로지 복원된 2진 영상으로부터 상기 입력 영상이 객체를 포함하는지 여부를 판단하기 위한 특징 벡터를 추출할 수 있다.
또한, 상기 영상 분류부는 상기 특징 벡터를 서포트 벡터 머신(support vector machine) 분류기에 입력하여 상기 입력 영상을 상기 객체 영상 또는 상기 비객체 영상으로 분류할 수 있다.
상기 영상 복원부는, 상기 객체 영상 내의 객체 영역은 스파스 코딩(sparse coding) 기법을 적용하여 복원하고, 상기 비객체 영상은 바이큐빅(bicubic) 보간법을 적용하여 복원할 수 있다.
본 발명의 일 실시예에 따른, 소나 영상을 복원하는 방법은, 소나 영상을 소정 크기로 분할한 각각의 입력 영상이 객체를 포함하는지 여부에 따라, 상기 입력 영상을 객체 영상 또는 비객체 영상으로 분류하는 단계와, 상기 객체 영상 내의 객체 영역과 상기 비객체 영상에 상이한 복원 기법을 적용하여 상기 소나 영상을 고해상도 영상으로 복원하는 단계를 포함한다.
본 발명의 일 실시예에 따른, 컴퓨터 판독가능한 기록매체는, 소나 영상을 소정 크기로 분할한 각각의 입력 영상이 객체를 포함하는지 여부에 따라, 상기 입력 영상을 객체 영상 또는 비객체 영상으로 분류하는 단계와, 상기 객체 영상 내의 객체 영역과 상기 비객체 영상에 상이한 복원 기법을 적용하여 상기 소나 영상을 고해상도 영상으로 복원하는 단계를 포함하는 소나 영상을 복원하는 방법을 수행하도록 프로그램된 컴퓨터 프로그램이 저장되어 있다.
본 발명의 실시예에 의하면, 측면주사 소나의 소나 영상에서 사용자의 관심 영역이기도 하면서 적용하는 복원 기법에 따른 성능의 차이가 두드러지는 객체 영역에 대해서는 스파스 코딩 기반 초해상도 복원 기법을 적용하고, 반면 낮은 관심도와 함께 복원 기법에 따른 성능 차이가 미미한 비객체 영역에 대해서는 바이큐빅 보간법만을 적용하는 구성을 통하여, 복원 영상의 시각적 품질을 유지하면서도 복원에 걸리는 시간을 단축시킴으로써 실용적인 수중 영상 분석을 가능하게 한다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 소나 영상 복원 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 소나 영상 복원 장치의 영상 분류부의 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 소나 영상 복원 장치의 영상 복원부의 동작을 설명하기 위한 도면이다.
도 4는 바이큐빅 보간법과 대비하여 본 발명의 일 실시예에 따른 소나 영상 복원 방식의 정성적 우수성을 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 따른 소나 영상 복원 방법의 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하 사용되는 '…부', '…기' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 소나 영상 복원 장치(1)의 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 소나 영상 복원 장치(1)는, 소나를 이용해 획득한 소나 영상을 수신하는 영상 수신부(100), 소나 영상을 소정 크기의 다수의 입력으로 분할했을 때 각각의 입력 영상이 객체를 포함하는지 여부에 따라, 소정 크기의 각각의 입력 영상을 객체 영상 또는 비객체 영상으로 분류하는 영상 분류부(200), 객체 영역과 비객체 영상에 상이한 복원 기법을 적용하여 소나 영상을 고해상도 영상으로 복원하는 영상 복원부를 포함할 수 있다.
소나(도시되지 않음)는 방사 음파 펄스의 반사파 신호를 이용하여 수중 소나 영상을 만들고, 이 수중 소나 영상은 영상 수신부(100)로 입력된다. 효율적인 복원 수행 및 복원 결과 확인을 위해 전체 소나 영상을 소정 크기의 화소 단위의 복수개의 입력 영상으로 분할할 수 있고, 분할된 각각의 입력 영상들은 순차적으로 영상 수신부(200)로 입력되어 소나 영상 복원 장치(1)에 의해 처리될 수 있다. 본 발명의 일 실시예에서, 수중 소나 영상은 측면 주사 소나를 이용하여 획득된 2차원 소나 영상이고, 이 소나 영상이 분할되는 소정 크기는 예컨대, 240x240 화소 단위일 수 있으나, 이에 제한되는 것은 아니다.
도 2는 본 발명의 일 실시예에 따른 소나 영상 복원 장치의 영상 분류부(200)의 동작을 설명하기 위한 도면이다.
도 2를 참조하면, 영상 분류부(200)는 입력된 입력 영상(예컨대, 240x240 화소 크기)을 이하 후술하는 5 단계(S210 내지 S250)에 걸쳐 객체 영상과 비객체 영상으로 분류한다.
먼저, 영상 분류부(200)는 다양한 크기의 객체들을 효과적으로 검출할 수 있도록 입력 영상으로부터 영상 피라미드를 생성한다(S210). 일 실시예에서, 영상 피라미드는 5층으로 구성될 수도 있다. 이 경우 입력 영상을 1/16, 1/4 로 다운샘플링하고, 9/4, 4 로 업샘플링함으로써, 영상 피라미드는 1/16, 1/4 로 다운샘플링한 다운 샘플링 영상들, 입력 영상, 9/4, 4 로 업샘플링한 업 샘플링 영상들을 포함할 수 있다.
그 다음, 영상 분류부(200)는 영상 내에 존재하는 객체의 모서리(에지)를 검출하기 위해 피라미드 내 각각의 영상에 대해 모서리 검출 기법을 수행하여 피라미드 내 각각의 영상을 2진 영상으로 변환할 수 있다(S220).
일 실시예에서, 모서리 검출 기법은 Sobel 모서리 검출(Sobel edge detection) 기법일 수 있다. 영상 처리에서의 모서리는 영상의 계조가 낮은 값에서 높은 값으로 또는 그 반대로 높은 값에서 낮은 값으로 갑자기 변하는 지점에 존재하는 부분을 의미한다. Sobel 모서리 검출 기법은 화소의 계조 변화의 1차 미분의 절대값이 최대가 되는 위치를 모서리로 정의할 수 있고, 영상에서 모서리 위치를 특정하는 처리를 모서리 검출 또는 모서리 추출이라고 한다. 한편, Sobel 모서리 검출 기법과 관련하여, 피라미드 내 각각의 영상을 2진 영상으로 변환할 때 이용되는 모서리 임계값(T)은 수학식 1에 의해 정의될 수 있다.
[수학식 1]
Figure 112018068386239-pat00001
여기서,
Figure 112018068386239-pat00002
는 x 축 기울기,
Figure 112018068386239-pat00003
는 y 축 기울기, N 은 입력 영상의 x 축 크기, M 은 입력 영상의 y 축 크기,
Figure 112018068386239-pat00004
는 상수를 나타낸다. 수학식 1에 의해, 입력 영상에 대한 모서리 임계값(T)은, 입력 영상에 객체가 존재하는 경우에는 모서리 임계값(T)이 크고, 입력 영상에 객체가 존재하지 않는 경우에는 모서리 임계값(T)이 작은 값을 가질 수 있다.
영상 분류부(200)는, 입력 영상에 대해 sobel 모서리 검출기로부터 얻어진 모서리 임계값(T)에 소정의 배율인자를 승산한 다음, 모서리 임계값(T)에 소정의 배율인자를 승산한 값과 입력 영상의 각각의 화소에 대해 기 설정된 마스크(예컨대, 3X3 또는 5X5 컨볼루션 마스크 등)를 적용하여 산출된 모서리 값을 비교하여 모서리 임계값(T)에 배율인자를 승산한 값보다 큰 모서리 값을 갖는 화소들은 1, 그 외의 화소들은 0 값으로 변환하여 피라미드 내 각각의 영상을 2진 영상으로 변환한다. 일 실시예에서, 모서리 임계값(T)에 승산되는 소정의 배율인자는 0.2 가 될 수 있으나, 이에 제한되는 것은 아니다.
그 다음, 영상 분류부(200)는 검출된 객체의 윤곽선 내부 영역을 채우기 위해 피라미드 내 각각의 2진 영상에 대해 모폴로지 복원을 수행한다(S230). 영상 분류부(200)는 2 종류의 마스크(예컨대,
Figure 112018068386239-pat00005
과
Figure 112018068386239-pat00006
)를 이용한 팽창 연산을 수행한 다음, 이웃하는 화소들을 연결하는
Figure 112018068386239-pat00007
마스크를 사용하는 과정을 통해, 객체를 포함하는 객체 영역과 객체를 포함하지 않는 비객체 영역을 구별하는 2진 영상을 생성한다.
그 다음, 영상 분류부(200)는 입력 영상이 객체를 포함하는지 여부를 판단하기 위해 사용될 특징 벡터를 추출한다(S240).
특징 벡터는 모폴로지 복원된 2진 영상 각각으로부터 산출된 특징값들로 구성된다. 일 실시예에서, 2진 영상 각각의 특징값은 2진 영상 각각에 있어서 '객체로 인식된 화소 수/전체 화소 수 값'으로 규준화될 수 있다. 이와 관련하여, S220 에서 언급한 바와 같이 입력 영상에 객체가 존재하지 않는 경우에는 작은 모서리 임계값(T)이 얻어지기 때문에, 입력 영상에 객체가 존재하지 않는 경우에는 수많은 모서리들이 배경 부분에서 검출된다. 따라서, 객체가 존재하지 않는 영상은 작은 모서리 임계값으로 인하여 '객체로 인식된 화소 수'가 많기 때문에 높은 특징값을 갖게 되고, 반대로 객체가 존재하는 영상은 낮은 특징값을 갖는다.
그 다음, 영상 분류부(200)는 피라미드 내 영상 각각으로부터 얻은 특징값들을 연결한 5차원 특징 벡터를 분류기에 입력해 입력 영상이 객체를 포함한 영상인지 아닌지를 분류한다(S250). 일 실시예에서, 특징 벡터가 입력되는 분류기는 서포트 벡터 머신(SVM; Support Vector Machine) 분류기가 될 수 있으나, 이에 제한되는 것은 아니다. 서포트 벡터 머신은 머신 러닝 분야 중 하나로 패턴 인식, 자료 분석을 위한 지도 학습 모델로서, 초 평면(hyper-plane)을 이용하여 서포트 벡터로부터의 마진(margin)이 최대가 되는 방식으로 분류를 수행한다.
도 3은 본 발명의 일 실시예에 따른 소나 영상 복원 장치의 영상 복원부(300)의 동작을 설명하기 위한 도면이다.
도 3을 참조하면, 영상 분류부(200)에 의해 영상에 객체가 존재하지 않는 것으로 분류된 영상을 영상 복원부(300)에 의해 바이큐빅 보간법을 이용해 사용자가 원하는 크기로 업샘플링을 수행함으로써 영상을 복원한다.
반면, 영상 분류부(200)에 의해 영상에 객체가 존재하는 것으로 분류된 영상은 바이큐빅 보간법으로 업샘플링한 다음, 영상 내 검출된 객체 영역에 대해서만 스파스 코딩 기반의 영상 복원 기법을 적용한다. 이 경우, 스파스 코딩 기반 영상 복원 기법에서의 목적함수는 수학식 2에 의해 정의될 수 있다.
[수학식 2]
Figure 112018068386239-pat00008
여기서, y 는 입력 영상 중 객체가 포함된 화소를 중심으로 추출한 7 x 7 영상 패치, D 는 저해상도 소나 영상을 고해상도 소나 영상으로 복원하도록 주 성분 분석(PCA; Principal Component Analysis)을 이용해 미리 학습해 둔 사전 행렬(dictionary matrix),
Figure 112018068386239-pat00009
는 스파스 계수(sparse coefficients),
Figure 112018068386239-pat00010
는
Figure 112018068386239-pat00011
의 최대한 많은 요소들을 0 으로 만들면서 (즉, 희소하게 만들면서)
Figure 112018068386239-pat00012
를 만족시키는
Figure 112018068386239-pat00013
의 추정값이고,
Figure 112018068386239-pat00014
는 상수를 나타낸다.
그리고, 수학식 2의 목적 함수는 Fast iterative shrinkage thresholding (FISTA) 알고리즘을 이용하여 최적화하여
Figure 112018068386239-pat00015
를 추정할 수 있다.
그리고, 추정된
Figure 112018068386239-pat00016
와 아래 수학식 3을 이용하여, 복원된 고해상도 영상 패치
Figure 112018068386239-pat00017
를 얻을 수 있다.
[수학식 3]
Figure 112018068386239-pat00018
이 과정에서, S230 에서 얻은 2진 영상이 객체 영역에 해당하는 화소들의 색인으로 활용된다.
영상 출력부(4)는 영상 복원부(300)에 의해 복원된 고해상도 소나 영상을 출력한다. 일 실시예에서, 영상 복원부(300)에 의해 복원된 고해상도 영상을 메모리와 같은 저장장치에 저장할 수도 있다.
도 4는 바이큐빅 보간법과 대비하여 본 발명의 일 실시예에 따른 소나 영상 복원 방식의 정성적 우수성을 보여주는 도면이다.
도 4에 알 수 있는 바와 같이, 본 발명에서와 같이 객체 영역 선택적 스파스 코딩 기반 복원 기법을 이용하여 소나 영상을 복원한 경우가 바이큐빅 보간법만으로만 소나 영상을 복원한 경우와 비교할 때, 보다 고해상도의 영상을 복원할 수 있다는 것을 확인할 수 있다.
도 5는 본 발명의 일 실시예에 따른 소나 영상 복원 방법의 흐름도이다.
먼저, 소나 영상 복원 장치(1)의 영상 수신부(100)는 2차원 수중 소나 영상을 소나로부터 수신한다(S510). 일 실시예에서, 소나 영상은 소정 크기의 복수개의 입력 영상으로 분할되어(S520), 순차적으로 영상 수신부(200)로 출력되어 처리될 수도 있다.
그 다음, 영상 분류부(200)는 각각의 입력 영상을 객체 영상과 비객체 영상으로 분류한다(S530). 일 실시예에서, 영상 분류부(200)는 도 2와 관련하여 전술한 S210 내지 S250을 수행하는 것에 의해 입력 영상을 객체 영상 또는 비객체 영상으로 분류할 수 있다.
그 다음, 영상 복원부(300)는 비객체 영상은 바이큐빅 보간법을 이용해 영상을 복원하고, 객체 영상은 바이큐빅 보간법으로 업샘플링한 다음, 객체 영상 내 객체 영역에 대해서만 스파스 코딩 기반의 영상 복원 기법을 적용하며 소나 영상을 고해상도 소나 영상으로 복원할 수 있다(S540).
그 다음, 영상 출력부(4)는 영상 복원부(300)에 의해 복원된 고해상도 소나 영상을 출력할 수 있다(S550).
상술한 소나 영상 복원 장치 및 방법은, 측면주사 소나의 소나 영상에서 사용자의 관심 영역이기도 하고 적용하는 복원 기법에 따른 성능의 차이가 두드러지는 객체 영역에 대해서는 스파스 코딩 기반 초해상도 복원 기법을 적용하고, 반면 낮은 관심도와 함께 복원 기법에 따른 성능 차이가 미미한 비객체 영역에 대해서는 바이큐빅 보간법만을 적용하는 구성을 통하여, 복원 영상의 시각적 품질을 유지하면서도 복원에 걸리는 시간을 단축시킴으로써 실용적인 수중 영상 분석을 가능하게 한다.
본 명세서에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
1: 소나 영상 복원 장치
100: 영상 수신부
200: 영상 분류부
300: 영상 복원부
400: 영상 출력부

Claims (13)

  1. 소나 영상을 복원하는 장치로서,
    소나 영상을 소정 크기로 분할한 각각의 입력 영상이 객체를 포함하는지 여부에 따라, 상기 입력 영상을 객체 영상 또는 비객체 영상으로 분류하는 영상 분류부와,
    상기 객체 영상 내의 객체 영역과 상기 비객체 영상에 상이한 복원 기법을 적용하여 상기 소나 영상을 고해상도 영상으로 복원하는 영상 복원부를 포함하고,
    상기 영상 분류부는 상기 입력 영상에 대한 N차원(단, N은 자연수)의 영상 피라미드를 생성하되,
    상기 N차원의 영상 피라미드는,
    상기 입력 영상을 다운 샘플링한 하나 이상의 다운 샘플링 영상과,
    상기 입력 영상과,
    상기 입력 영상을 업 샘플링한 하나 이상의 업 샘플링 영상을 포함하고,
    상기 영상 분류부는 상기 N차원의 영상 피라미드 내 영상 각각으로부터 얻은 특징값들을 연결한 N차원의 특징 벡터를 추출하고, 상기 N차원의 특징 벡터를 서포트 벡터 머신(support vector machine) 분류기에 입력하여 상기 입력 영상을 상기 객체 영상 또는 상기 비객체 영상으로 분류하는
    소나 영상 복원 장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 영상 분류부는,
    상기 N차원의 영상 피라미드에 포함된 각각의 영상에 대해 모서리 검출 기법을 수행하여 영상 내 객체의 윤곽선을 검출하여 각각의 영상을 2진 영상으로 변환하는
    소나 영상 복원 장치.
  4. 제 3 항에 있어서,
    상기 영상 분류부는,
    상기 N차원의 영상 피라미드 내 각각의 2진 영상에 대해 모폴로지 복원을 수행하는
    소나 영상 복원 장치.
  5. 제 4 항에 있어서,
    상기 영상 분류부는,
    상기 모폴로지 복원된 2진 영상으로부터 상기 입력 영상이 객체를 포함하는지 여부를 판단하는데 사용되는 상기 N차원의 특징 벡터를 추출하는
    소나 영상 복원 장치.
  6. 삭제
  7. 제 5 항에 있어서,
    상기 영상 복원부는,
    상기 객체 영상 내의 객체 영역은 스파스 코딩(sparse coding) 기법을 적용하여 복원하고,
    상기 비객체 영상은 바이큐빅(bicubic) 보간법을 적용하여 복원하는
    소나 영상 복원 장치.
  8. 소나 영상을 복원하는 방법으로서,
    소나 영상을 소정 크기로 분할한 각각의 입력 영상이 객체를 포함하는지 여부에 따라, 상기 입력 영상을 객체 영상 또는 비객체 영상으로 분류하는 단계와,
    상기 객체 영상 내의 객체 영역과 상기 비객체 영상에 상이한 복원 기법을 적용하여 상기 소나 영상을 고해상도 영상으로 복원하는 단계를 포함하고,
    상기 입력 영상을 객체 영상 또는 비객체 영상으로 분류하는 단계는,
    상기 입력 영상에 대한 N차원(단, N은 자연수)의 영상 피라미드를 생성하는 단계를 포함하며,
    상기 N차원의 영상 피라미드는,
    상기 입력 영상을 다운 샘플링한 하나 이상의 다운 샘플링 영상과,
    상기 입력 영상과,
    상기 입력 영상을 업 샘플링한 하나 이상의 업 샘플링 영상을 포함하고,
    상기 입력 영상을 객체 영상 또는 비객체 영상으로 분류하는 단계는, 상기 N차원의 영상 피라미드 내 영상 각각으로부터 얻은 특징값들을 연결한 N차원의 특징 벡터를 추출하고, 상기 N차원의 특징 벡터를 서포트 벡터 머신(support vector machine) 분류기에 입력하여 상기 입력 영상을 상기 객체 영상 또는 상기 비객체 영상으로 분류하는
    소나 영상 복원 방법.
  9. 삭제
  10. 제 8 항에 있어서,
    상기 입력 영상을 객체 영상 또는 비객체 영상으로 분류하는 단계는,
    상기 N차원의 영상 피라미드에 포함된 각각의 영상에 대해 모서리 검출 기법을 수행하여 영상 내 객체의 윤곽선을 검출하여 각각의 영상을 2진 영상으로 변환하는 단계와,
    상기 N차원의 영상 피라미드 내 각각의 2진 영상에 대해 모폴로지 복원을 수행하는 단계와,
    상기 모폴로지 복원된 2진 영상으로부터 상기 입력 영상이 객체를 포함하는지 여부를 판단하는데 사용되는 상기 N차원의 특징 벡터를 추출하는 단계를 더 포함하는
    소나 영상 복원 방법.
  11. 제 10 항에 있어서,
    상기 상이한 복원 기법을 적용하여 상기 소나 영상의 고해상도 영상을 복원하는 단계는,
    상기 객체 영상 내의 객체 영역은 스파스 코딩(sparse coding) 기법을 적용하여 복원하는 단계와,
    상기 비객체 영상은 바이큐빅(bicubic) 보간법을 적용하여 복원하는 단계를 포함하는
    소나 영상 복원 방법.
  12. 제 10 항에 있어서
    상기 모서리 검출 기법은 Sobel 모서리 검출 기법인
    소나 영상 복원 방법.
  13. 소나 영상을 소정 크기로 분할한 각각의 입력 영상이 객체를 포함하는지 여부에 따라, 상기 입력 영상을 객체 영상 또는 비객체 영상으로 분류하는 단계와,
    상기 객체 영상 내의 객체 영역과 상기 비객체 영상에 상이한 복원 기법을 적용하여 상기 소나 영상을 고해상도 영상으로 복원하는 단계를 포함하고,
    상기 입력 영상을 객체 영상 또는 비객체 영상으로 분류하는 단계는,
    상기 입력 영상에 대한 N차원(단, N은 자연수)의 영상 피라미드를 생성하는 단계를 포함하며,
    상기 N차원의 영상 피라미드는,
    상기 입력 영상을 다운 샘플링한 하나 이상의 다운 샘플링 영상과,
    상기 입력 영상과,
    상기 입력 영상을 업 샘플링한 하나 이상의 업 샘플링 영상을 포함하고,
    상기 입력 영상을 객체 영상 또는 비객체 영상으로 분류하는 단계는, 상기 N차원의 영상 피라미드 내 영상 각각으로부터 얻은 특징값들을 연결한 N차원의 특징 벡터를 추출하고, 상기 N차원의 특징 벡터를 서포트 벡터 머신(support vector machine) 분류기에 입력하여 상기 입력 영상을 상기 객체 영상 또는 상기 비객체 영상으로 분류하는 소나 영상을 복원하는 방법을 수행하도록 프로그램된 컴퓨터 프로그램이 저장되어 있는
    컴퓨터 판독가능한 기록매체.
KR1020180080614A 2018-07-11 2018-07-11 소나 영상 복원 장치 및 방법 KR102073297B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180080614A KR102073297B1 (ko) 2018-07-11 2018-07-11 소나 영상 복원 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180080614A KR102073297B1 (ko) 2018-07-11 2018-07-11 소나 영상 복원 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200006807A KR20200006807A (ko) 2020-01-21
KR102073297B1 true KR102073297B1 (ko) 2020-02-04

Family

ID=69369586

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180080614A KR102073297B1 (ko) 2018-07-11 2018-07-11 소나 영상 복원 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102073297B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102427861B1 (ko) * 2020-10-12 2022-08-01 국방과학연구소 수중 영상 데이터를 생성하는 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101498206B1 (ko) * 2008-09-30 2015-03-06 삼성전자주식회사 고해상도 영상 획득 장치 및 그 방법
KR101095859B1 (ko) * 2008-12-22 2011-12-21 한국전자통신연구원 영상 분할 장치 및 방법
KR20160072676A (ko) * 2014-12-15 2016-06-23 삼성전자주식회사 객체 검출 장치 및 방법과, 컴퓨터 보조 진단 장치 및 방법
KR101780558B1 (ko) 2015-11-11 2017-09-21 주식회사 한화 측면주사소나 데이터 처리장치 및 그 방법

Also Published As

Publication number Publication date
KR20200006807A (ko) 2020-01-21

Similar Documents

Publication Publication Date Title
Tachella et al. Bayesian 3D reconstruction of complex scenes from single-photon lidar data
Buyssens et al. Exemplar-based inpainting: Technical review and new heuristics for better geometric reconstructions
Wang et al. A new wavelet-based image denoising using undecimated discrete wavelet transform and least squares support vector machine
JP4480958B2 (ja) デジタル画像作成方法
CN112446826A (zh) 用于图像超分辨率、图像增强及模型训练的方法及装置
US20220076119A1 (en) Device and method of training a generative neural network
EP3840389A1 (en) Coding scheme for video data using down-sampling/up-sampling and non-linear filter for depth map
Couturier et al. Image denoising using a deep encoder-decoder network with skip connections
CN114005090A (zh) 一种基于疑似烟雾提议区域及深度学习的烟雾检测方法
US20220392025A1 (en) Restoring degraded digital images through a deep learning framework
CN112580381A (zh) 一种基于深度学习的二维码超辨率重构增强方法及系统
KR102073297B1 (ko) 소나 영상 복원 장치 및 방법
CN117079117A (zh) 水下图像处理及目标识别的方法及装置、存储介质及电子设备
Lai et al. Super resolution of car plate images using generative adversarial networks
Bratsolis et al. Fast SAR image restoration, segmentation, and detection of high-reflectance regions
Hernandez et al. Tactile imaging using watershed-based image segmentation
Farhadifard et al. Marine snow detection and removal: underwater image restoration using background modeling
Park et al. Side scan sonar image super resolution via region-selective sparse coding
US11488020B2 (en) Adaptive high-resolution digital image processing with neural networks
KR102311033B1 (ko) 딥러닝 기반의 이미지 특징 추출 장치
CN113505650B (zh) 地形特征线提取方法及装置、设备
Shaker et al. The impact of image enhancement and transfer learning techniques on marine habitat mapping
Kamod et al. Denoise Auto-Encoder Based Speckle Reduction for RISAT-1 SAR Imagery
Alzakki et al. Contour processing of texture Images
Mignotte Nonparametric multiscale energy-based mode and its application in some imagery problems

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant