KR20180065417A - 수중 초음파 영상 정보를 이용한 피측정물 식별 방법 - Google Patents

수중 초음파 영상 정보를 이용한 피측정물 식별 방법 Download PDF

Info

Publication number
KR20180065417A
KR20180065417A KR1020160166192A KR20160166192A KR20180065417A KR 20180065417 A KR20180065417 A KR 20180065417A KR 1020160166192 A KR1020160166192 A KR 1020160166192A KR 20160166192 A KR20160166192 A KR 20160166192A KR 20180065417 A KR20180065417 A KR 20180065417A
Authority
KR
South Korea
Prior art keywords
neural network
underwater
layer
ultrasound image
image
Prior art date
Application number
KR1020160166192A
Other languages
English (en)
Inventor
이세진
Original Assignee
공주대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 공주대학교 산학협력단 filed Critical 공주대학교 산학협력단
Priority to KR1020160166192A priority Critical patent/KR20180065417A/ko
Publication of KR20180065417A publication Critical patent/KR20180065417A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/04—Systems determining presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

수중 초음파 영상 정보를 이용한 피측정물 식별 방법에 대한 발명이 개시된다. 본 발명의 수중 초음파 영상 정보를 이용한 피측정물 식별 방법은: 수중 초음파 영상을 획득하는 단계와, 수중 초음파 영상을 인공신경회로망의 딥러닝 분석을 통해 학습하는 단계 및 모델링 된 영상정보를 바탕으로 피측정물을 식별하는 단계를 포함하는 것을 특징으로 한다.

Description

수중 초음파 영상 정보를 이용한 피측정물 식별 방법{IDENTIFYING METHOD FOR MEASURING OBJECT USING UNDERWATER SONAR IMAGE}
본 발명은 수중 초음파 영상 정보를 이용한 피측정물 식별 방법에 관한 것으로, 보다 상세하게는 측정된 수중 초음파 영상을 딥러닝 분석을 통해 학습하여 피측정물의 식별을 용이하게 할 수 있는 수중 초음파 영상 정보를 이용한 피측정물 식별 방법에 관한 것이다.
일반적으로, 해상이나 강에서 발생한 재난현장 및 군사적 목적에 의해 익사자를 신속하게 발견해내는 작업을 위해, 잠수부가 직접 물속에 잠수해서 익사자를 찾거나, 선박이나 무인 잠수정 등에 설치된 초음파장치를 이용해 익사자를 찾는 작업이 이루어진다.
종래에는 빠른 유속과 혼탁한 시계 및 험한 지형 등에 의해 익사자를 찾는 작업에 어려움이 많이 발생하며, 초음파를 이용한 영상정보로 익사자를 찾는 경우에는 영상정보에 노이즈가 많이 있으므로 빠르고 신속한 작업에 어려움이 있다. 따라서 이를 개선할 필요성이 요청된다.
본 발명의 배경기술은 대한민국 등록특허공보 제10-0833900호(2008.05.26 등록, 발명의 명칭: 휴대용 수중초음파 영상표시장치)에 게시되어 있다.
본 발명은 상기와 같은 문제점을 개선하기 위해 창출된 것으로, 본 발명의 목적은 측정된 수중 초음파 영상을 딥러닝 분석을 통해 학습하여 피측정물의 식별을 용이하게 할 수 있는 수중 초음파 영상 정보를 이용한 피측정물 식별 방법을 제공하는 것이다.
본 발명에 따른 수중 초음파 영상 정보를 이용한 피측정물 식별 방법은: 수중 초음파 영상을 획득하는 단계와, 수중 초음파 영상을 인공신경회로망의 딥러닝 분석을 통해 학습하는 단계 및 학습된 영상정보를 바탕으로 피측정물을 식별하는 단계를 포함하는 것을 특징으로 한다.
또한 수중 초음파 영상의 획득은 무인수상체, 무인수중체, 부유체 및 선박 중 적어도 어느 하나에 설치된 초음파장치의 작동으로 이루어지는 것을 특징으로 한다.
또한 초음파장치에 구비된 초음파센서는 모터에 의해 회전하며 수중 초음파 영상을 획득하는 것을 특징으로 한다.
또한 딥러닝 분석을 통해 식별 작업을 하기 이전에 인공신경회로망을 학습시키는 단계를 더 포함하는 것을 특징으로 한다.
또한 수중 초음파 영상을 학습하는 단계에 있어서, 딥러닝 기법 중 콘볼루션 신경망(Convolutional Neural Network)을 이용하는 것을 특징으로 한다.
또한 콘볼루션 신경망은, 콘블루션 레이어(Convolutional Layer)와 전결합층과 맥스 폴링(Max Pooling)의 과정을 포함하는 것을 특징으로 한다.
또한 콘볼루션 신경망에서 콘블루션 레이어와 맥스 폴링은 복수로 구비되는 것을 특징으로 한다.
본 발명에 따른 수중 초음파 영상 정보를 이용한 피측정물 식별 방법은, 인공신경회로망의 딥러닝 분석을 통해 수중 초음파 영상을 학습하므로 피측정물의 식별을 용이하게 할 수 있으므로 측정정확도를 향상시키며, 측정에 소요되는 시간과 비용도 절감할 수 있다.
도 1은 본 발명의 일 실시예에 따른 수중 초음파 영상 정보를 이용한 피측정물 식별 방법의 순서도이다.
도 2는 본 발명의 일 실시예에 따른 콘볼루션 신경망을 이용한 모델링 과정을 개략적으로 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 무인수상체에 달린 초음파장치가 수중테스트베드에 가라앉은 피측정물을 측정하는 상태를 개략적으로 도시한 사시도이다.
도 4는 본 발명의 일 실시예에 따른 초음파장치의 블록도이다.
도 5는 본 발명의 일 실시예에 따른 초음파장치에 의해 측정된 피측정물의 영상을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 초음파장치에 의해 측정된 수중테스트베드의 하부면 영상을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 콘볼루션 신경망을 이용한 모델링을 에포크(Epoch) 시행함에 따른 정확도(Accuracy) 및 손실값(Loss)을 표로 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 초음파장치에 의해 측정된 피측정물의 인풋영상을 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 콘볼루션 신경망을 이용한 인공신경회로망에서 첫번째 커널학습이된 상태의 영상을 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 콘볼루션 신경망을 이용한 인공신경회로망에서 첫번째 콘볼루션 결과의 영상을 도시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 콘볼루션 신경망을 이용한 인공신경회로망에서 마지막 콘볼루션 결과의 영상을 도시한 도면이다.
이하 첨부된 도면들을 참조하여 본 발명의 일 실시예에 따른 수중 초음파 영상 정보를 이용한 피측정물 식별 방법를 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 수중 초음파 영상 정보를 이용한 피측정물 식별 방법의 순서도이며, 도 2는 본 발명의 일 실시예에 따른 콘볼루션 신경망을 이용한 모델링 과정을 개략적으로 도시한 도면이며, 도 3은 본 발명의 일 실시예에 따른 무인수상체에 달린 초음파장치가 수중테스트베드에 가라앉은 피측정물을 측정하는 상태를 개략적으로 도시한 사시도이며, 도 4는 본 발명의 일 실시예에 따른 초음파장치의 블록도이며, 도 5는 본 발명의 일 실시예에 따른 초음파장치에 의해 측정된 피측정물의 영상을 도시한 도면이며, 도 6은 본 발명의 일 실시예에 따른 초음파장치에 의해 측정된 수중테스트베드의 하부면 영상을 도시한 도면이며, 도 7은 본 발명의 일 실시예에 따른 콘볼루션 신경망을 이용한 모델링을 에포크(Epoch) 시행함에 따른 정확도(Accuracy) 및 손실값(Loss)을 표로 도시한 도면이며, 도 8은 본 발명의 일 실시예에 따른 초음파장치에 의해 측정된 피측정물의 인풋영상을 도시한 도면이며, 도 9는 본 발명의 일 실시예에 따른 콘볼루션 신경망을 이용한 인공신경회로망에서 첫번째 커널학습이된 상태의 영상을 도시한 도면이며, 도 10은 본 발명의 일 실시예에 따른 콘볼루션 신경망을 이용한 인공신경회로망에서 첫번째 콘볼루션 결과의 영상을 도시한 도면이며, 도 11은 본 발명의 일 실시예에 따른 콘볼루션 신경망을 이용한 인공신경회로망에서 마지막 콘볼루션 결과의 영상을 도시한 도면이다.
도 1 내지 도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른 수중 초음파 영상 정보를 이용한 피측정물 식별 방법은, 수중 초음파 영상을 획득하는 단계를 갖는다.(S10)
수중 초음파 영상의 획득은 무인수상체(20), 무인수중체, 부유체 및 선박 중 적어도 어느 하나에 설치된 초음파장치(50)의 작동으로 이루어진다. 따라서 물에 빠진 익사자와 같은 피측정물(10)을 자동으로 발견할 수 있다.
해상이나 강에서 발생한 재난 현장 및 군사적 목적에 의해 수중에서 익사자와 같은 피측정물(10)을 발견해내는 일은 빠른 유속과 혼탁한 시계 및 험한 지형 등 열악한 작업 상황을 감안할 때 매우 어려운 작업이다.
무인수상체(USV; Unmanned Surface Vehicle)(20)나 무인잠수체(UUV; Unmanned Underwater Vehicle)와 같은 무인 로봇이나 다중 자율주행 무인기가 피측정물(10)의 검색 작업을 자동으로 수행할 수 있다.
영상카메라 등 다양한 센서가 피측정물(10)의 검색에 사용할 수 있지만, 혼탁한 시계 등을 고려할 때 수중 초음파센서(52)를 사용하는 초음파장치(50)를 사용함이 바람직하다.
수중 초음파센서(52)는 여러 각도에서 효율적으로 초음파 영상을 획득하기 위해, 초음파센서(52)를 일정한 각도 간격으로 회전시킬 수 있는 기어박스(56)에 연결된다. 기어박스(56)는 모터(54)의 동력을 전달받아 초음파센서(52)를 회전시킨다.
일 실시예에 따른 수중테스트베드(40)의 최대 수심은 10m이며, 익사자를 연출하기 위해 사용된 마네킹인 피측정물(10)은 수심 4m 정도에 위치한다.
수중테스트베드(40)에 저장된 물의 상측에는 무인수상체(20)가 떠 있으며, 무인수상체(20)에 초음파장치(50)가 설치되어 피측정물(10)을 초음파로 측정한다. 무인수상체(20)에는 와이어 형상의 연결부재(30)가 연결되므로 무인수상체(20)의 위치를 변경할 수 있으며, 무인수상체(20)에 구비된 별도의 동력장치에 의해 무인수상체(20)의 위치가 변경될 수도 있다.
초음파장치(50)에 구비된 초음파센서(52)는 모터(54)에 의해 회전하며 수중 초음파 영상을 획득한다.
그리고, 수중 초음파 영상을 인공신경회로망의 딥러닝 분석을 통해 학습(Learning)하는 단계를 갖는다.(S20)
학습이란 중간층에 있는 여러 파라미터들을 올바르게 튜닝하는 작업이다. 이렇게 학습된 후, 임의의 초음파 영상을 입력시키면 이 학습된 모델은 익수자다, 다른 물건이다라는 올바른 판단을 할 수 있게 된다.
수중 초음파 영상 정보는 노이즈가 상당히 심한 편이며, 이 정보를 바탕으로 익사자와 같은 피측정물(10)의 형상학적인 모델링 작업에는 어려움이 발생한다.
따라서 본 발명은, 익사자와 같은 피측정물(10)의 형상학적인 모델링 작업을 비선형성의 극대화가 보장되는 딥러닝(Deep Learning) 기법 중 하나인 콘볼루션 신경망(Convolutional Neural Network)을 활용하여 수중 초음파 영상 정보로부터 익사자와 같은 피측정물(10)의 정보를 용이하게 식별할 수 있는 방법을 제공한다.
수중 초음파 영상을 학습하여 모델링 하는 단계에 있어서, 딥러닝 기법 중 콘볼루션 신경망(Convolutional Neural Network)을 이용한다. 콘볼루션 신경망은, 콘블루션 레이어(Convolutional Layer)(62)와 전결합층과 맥스 폴링(Max Pooling)의 과정을 포함한다. 이러한 콘볼루션 신경망에서 콘블루션 레이어(62)와 맥스 폴링은 복수로 구비된다.
사람의 시각인지 과정을 모방한 콘볼루션 신경망(Convolutional Neural Network)은 태생적으로 컴퓨터 비전 분야에서 독보적인 방법으로 사용되고 있다. CNN이란 컨볼루션층과 풀링층을 포함하는 신경망을 말한다. CNN은 통상 신경망과 마찬가지로 오류역전파법으로 학습을 진행한다. 즉, 입력 데이터와 지도 학습 데이터를 쌍으로 하는 훈련 데이터를 준비하고, 오류역전파법을 적용한 확률적 경사법으로 진행한다. 우선 전방전파 방법으로 입력층, 은닉층, 출력층의 노드 값을 계산한다. 이때 계산된 각 노드 값을 저장해 놓는다. 다음은 각 노드에서 출력층 노드 값과 지도 학습 데이터 값의 오차를 계산한다. 이 두 값의 차이가 출력층 노드의 오차이다. 이렇게 출력층부터 차례대로 역방향으로 따라 올라가 각 층에 있는 노드의 오차를 계산할 수 있다. 각 노드의 오차를 계산하면 그 오차를 사용해 함수의 경사를 계산할 수 있다. 결과적으로 신경망 학습에 경사 하강법을 사용할 수 있게 되고, 경사 하강법에 의해 연결 가중치가 최적화된다. 이렇게 해서 신경망의 모든 연결 가중치를 최적화할 수 있게 된다. 여기서 CNN은 단순히 모든 노드들에 대한 weight(가중치)를 최적화하는 것이 아니라 receptive field(수용영역)라고 불리는 kernel weight(커널 가중치)를 학습하는 것이 기존의 방법과 다른 점이다.
여기서 컨볼루션층이란 앞 층에서 인접한 노드끼리의 집합과 자기 층의 노드가 weight로 연결되어 있는 층을 가리킨다. 컨볼루션층의 노드 값도 노드값, 연결가중치, 활성화 함수로 계산한다. 인접한 노드끼리의 집합을 국소적 노드라고 부른다. 컨볼루션층을 사용해 이미지를 계산하는 것은 이미지에 필터를 사용하는 것과 효과가 같다. 필터의 특성은 연결가중치에 의해 결정되며 이미지 속 특징을 강조하는 계산을 수행한다. 즉, 컨볼루션층을 이용해 이미지 속 특징을 강조한 후 다음 층으로 넘긴다. 다시 말해 컨볼루션층은 이미지에서 특징을 추출한다라고 할 수 있다.
풀링층에서는 앞 층의 국소적인 노드에서 결정된 값을 자기 층의 노드 값으로 취한다. 예를 들어 국소적인 노드의 최댓값을 자기 노드 값으로 취하는 것이다. 풀링층으로 이미지를 계산하면 이미지의 작은 변화를 흡수해주며 이는 특정 영역에서의 최댓값을 취해 계산하기 때문이다. 그래서 범위 내 아주 작은 위치 변화가 있어도 풀링층에서는 같은 값을 반환한다.
전결합층이란 앞 층 노드와 자기 층의 노드가 모두 weight로 연결되어 있는 층을 가리킨다. 전결합층의 노드 값은 노드값, 연결가중치, 활성화 함수로 계산한다. 전결합층은 weight로 노드와 노드를 연결하고 조합하므로 이 층을 처리하려면 계산량을 많이 필요로 하며 은닉층 후반부 또는 출력층에 자주 사용한다.
초음파장치(50)를 통하여 획득된 영상은 입력레이어(60)로 제공되며, 첫번째 콘블루션 레이어(62)와, 첫번째 맥스 폴링 레이어(64)와, 두번째 콘블루션 레이어(62)와, 두번째 맥스 폴링 레이어(64)와, 세번째 콘블루션 레이어(62)와, 네번째 콘블루션 레이어(62)와, 다섯번째 콘블루션 레이어(62)와, 맥스 폴링 레이어(64)와, 풀리 커넥티드 레이어(68) 및 출력레이어(66)의 과정을 순차적으로 거치며 콘볼루션 신경망을 이용한 학습하는 모델링 과정이 이루어진다.
입력레이어(60)에 있는 영상은 수중 초음파 영상 정보로 RGB 영상이 사용된다. 그리고 총 5개의 콘블루션 레이어(62)가 사용되며, 마지막 부분에는 3개의 전결합층으로 구성된다. 또한 3번의 맥스 폴링 레이어(64)가 설정된 위치에 위치한다. 본 발명에서는 최종 분류 레이블을 익사자로 설정한 피측정물(10)과 수중 바닥으로 설정하였다.
인공신경회로망(Artificial Neural Network)은 사람 신경의 뉴런(Neuron) 구조를 본따 만든 것으로, 뉴런과 뉴런 사이의 시냅스(Synapse)의 연결 구조를 본따 패턴이나 알고리즘을 학습할수 있도록 만들어진 것이다. 즉 사람의 두뇌를 모델로 하여 여러 정보를 처리하는데 있어서 두뇌와 비슷한 방식으로 처리하기 위한 알고리즘이다. 사람의 두뇌는 뉴론(neuron)이라고 부르는 구조 단위로 구성되어 있고, 경험을 통해 패턴 인식이나 인지 등 여러 특정한 기능들을 알 수 있다. 예를 들면, 사람은 눈을 통해 여러 사물을 인식하게 되는데 이런 영상 정보 처리 작업은 주위 환경이나 여러 사물간의 상관 작용들을 종합적으로 해석하여 사물들을 인식하게 되는데 이러한 복잡한 신경 처리 과정이 두뇌에서 일어난다. 이러한 두뇌의 정보 처리 과정을 모방한 인공 신경망 알고리즘을 이용한 컴퓨터 분자 설계를 인공신경회로망이라 한다.
인공신경회로망은 3중 구조이며, 입력층(Input Layer)과 중간층(Middle Layer)과 출력층(Output Layer)의 형태이며, 각 Layer의 방식에 따라 종류를 나누고 있다.
콘볼루션 신경망은 한개 이상의 콘볼루션 레이어(Convolutional Layer) 위에 올려진 일반적인 인공신경회로망 레이어로 구성되며, 가중치(Weight)와 통합 계층(Pooling Layer)을 추가로 사용한다. 이러한 콘볼루션 신경망은 2차원 구조의 입력 데이터를 처리할수 있으며, 영상, 음성 분야 모두에서 좋은 성능을 보여준다.
또한 딥러닝 분석을 통해 모델링 작업을 하기 이전에 인공신경회로망을 학습시키는 단계를 더 포함한다.
도 5에 도시된 바와 같이, 콘볼루션 신경망을 학습하기 위하여 각 레이블 당 660개의 데이터가 사용되었으며, 검증(Validation)을 위한 데이터는 각 레이블당 220개가 사용되었으며, 에포크(Epoch)는 30회 실행하였다. 에포크 초기에는 손실값이 컸으나, 에포크 15회 정도부터 손실값이 거의 없으며, 정확도는 에포크 5회 이후부터 높아짐을 알 수 있다. 콘볼루션 신경망을 학습하기 위한 데이터와 에포크의 회수는 가감될 수 있음은 물론이다.
도 1 내지 도 3에 도시된 바와 같이, 모델링 된 영상정보를 바탕으로 피측정물(10)을 식별하는 단계를 갖는다.(S30)
수중 초음파 영상 정보를 이용한 피측정물 식별 방법에 의해 모델링 된 영상정보를 바탕으로 피측정물(10)의 식별이 자동으로 이루어진다. 따라서 익사자를 포함한 피측정물(10)의 검측이 자동으로 이루어진다.
이하에서는 첨부된 도면들을 참조하여 본 발명의 일 실시예에 따른 수중 초음파 영상 정보를 이용한 피측정물 식별 방법을 상세히 설명한다.
무인수상체(20)를 포함한 로봇이나 선박을 포함한 부양체 등에 초음파장치(50)를 설치하고 수중 초음파 영상을 측정한다.
초음파장치(50)의 모터(54)가 동작되어 기어박스(56)가 동작되므로, 초음파센서(52)는 중심축을 기준으로 회전하여 원뿔 영역에 초음파를 조사한다. 따라서 초음파센서(52)가 고정된 것에 비하여 넓은 영역의 초음파 영상 정보를 획득할 수 있다.
초음파장치(50)는 무인로봇이나 잠수함의 전방 등에 설치될 수 있으며, 피측정물(10)은 사람이나 특정한 물체로 한정할 수 있다.
노이즈가 많은 수중 초음파 영상은 학습된 인공신경망을 가지고 실제 현장에서 익사자가 있음을 알람으로 알릴 수 있다. 무인수상체(20) 밑에 초음파장치(50)가 있거나, 무인 잠수함에 초음파 장치가 장착되어 익사자나 간첩과 같은 특정된 피측정물(10)을 파악하여 자동으로 알림을 작동시킨다.
딥러닝 알고리즘을 이용해서 수중 초음파 영상 정보를 이용한 피측정물 식별 방법이 사용되므로, 무인로봇을 통한 익사자와 같은 피측정물(10)의 측정이 용이하게 이루어질 수 있다.
또한 복수의 무인로봇에 초음파장치(50)를 설치하여 군집로봇이 설정된 대형으로 배치되어 피측정물(10)을 측정할 수 있으며, 이를 통합하는 제어부가 딥러닝 분석을 통한 모델링으로 피측정물(10)의 측정을 자동으로 할 수 있다.
한편 도 5와 도 6 및 도 8에 도시된 바와 같이, 초음파장치(50)에 의해 측정된 피측정물(10)의 영상과, 수중테스트베드(40)의 하부면 영상에는 노이즈가 많이 섞여 있다.
도 9 내지 도 11에 도시된 바와 같이, 콘볼루션 신경망을 이용한 인공신경회로망에서 첫번째 커널학습이된 상태의 영상과, 콘볼루션 신경망을 이용한 인공신경회로망에서 첫번째 콘볼루션 결과의 영상과, 콘볼루션 신경망을 이용한 인공신경회로망에서 마지막 콘볼루션 결과의 영상을 통하여 피측정물(10)의 예측 정확도를 높일 수 있다.
상술한 바와 같이, 본 발명에 따르면 인공신경회로망의 딥러닝 분석을 통해 수중 초음파 영상을 모델링하므로 피측정물(10)의 식별을 용이하게 할 수 있으므로 측정정확도를 향상시키며, 측정에 소요되는 시간과 비용도 절감할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
S10: 수중 초음파 영상 획득단계
S20: 딥러닝 분석을 통한 학습단계
S30: 피측정물 식별단계
10: 피측정물 20: 무인수상체 30: 연결부재 40: 수중테스트베드
50: 초음파장치 52: 초음파센서 54: 모터 56: 기어박스
60: 입력레이어
62: 콘블루션 레이어
64: 맥스 폴링 레이어
66: 출력레이어
68: 풀리 커넥티드 레이어

Claims (7)

  1. 수중 초음파 영상을 획득하는 단계;
    상기 수중 초음파 영상을 인공신경회로망의 딥러닝 분석을 통해 학습하는 단계; 및
    모델링 된 영상정보를 바탕으로 피측정물을 식별하는 단계;를 포함하는 것을 특징으로 하는 수중 초음파 영상 정보를 이용한 피측정물 식별 방법.
  2. 제 1 항에 있어서,
    상기 수중 초음파 영상의 획득은 무인수상체, 무인수중체, 부유체 및 선박 중 적어도 어느 하나에 설치된 초음파장치의 작동으로 이루어지는 것을 특징으로 하는 수중 초음파 영상 정보를 이용한 피측정물 식별 방법.
  3. 제 2 항에 있어서,
    상기 초음파장치에 구비된 초음파센서는 모터에 의해 회전하며 상기 수중 초음파 영상을 획득하는 것을 특징으로 하는 수중 초음파 영상 정보를 이용한 피측정물 식별 방법.
  4. 제 1 항에 있어서,
    딥러닝 분석을 통한 식별 작업을 하기 이전에 상기 인공신경회로망을 학습시키는 단계를 더 포함하는 것을 특징으로 하는 수중 초음파 영상 정보를 이용한 피측정물 식별 방법.
  5. 제 4 항에 있어서,
    상기 수중 초음파 영상을 모델링 하는 단계에 있어서, 딥러닝 기법 중 콘볼루션 신경망(Convolutional Neural Network)을 이용하는 것을 특징으로 하는 수중 초음파 영상 정보를 이용한 피측정물 식별 방법.
  6. 제 5 항에 있어서,
    상기 콘볼루션 신경망은, 콘블루션 레이어(Convolutional Layer)와 전결합층과 맥스 폴링(Max Pooling)의 과정을 포함하는 것을 특징으로 하는 수중 초음파 영상 정보를 이용한 피측정물 식별 방법.
  7. 제 6 항에 있어서,
    상기 콘볼루션 신경망에서 상기 콘블루션 레이어와 상기 맥스 폴링은 복수로 구비되는 것을 특징으로 하는 수중 초음파 영상 정보를 이용한 피측정물 식별 방법.
KR1020160166192A 2016-12-07 2016-12-07 수중 초음파 영상 정보를 이용한 피측정물 식별 방법 KR20180065417A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160166192A KR20180065417A (ko) 2016-12-07 2016-12-07 수중 초음파 영상 정보를 이용한 피측정물 식별 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160166192A KR20180065417A (ko) 2016-12-07 2016-12-07 수중 초음파 영상 정보를 이용한 피측정물 식별 방법

Publications (1)

Publication Number Publication Date
KR20180065417A true KR20180065417A (ko) 2018-06-18

Family

ID=62765543

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160166192A KR20180065417A (ko) 2016-12-07 2016-12-07 수중 초음파 영상 정보를 이용한 피측정물 식별 방법

Country Status (1)

Country Link
KR (1) KR20180065417A (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086824A (zh) * 2018-08-01 2018-12-25 哈尔滨工程大学 一种基于卷积神经网络的海底底质声呐图像分类方法
KR101985436B1 (ko) * 2019-01-04 2019-06-03 (주)미래해양 딥러닝을 이용한 해양 청소유닛
KR20200026146A (ko) * 2018-08-29 2020-03-10 한국과학기술원 초음파 신호를 이용한 노면 종류 추정 방법 및 장치
KR20210145928A (ko) * 2020-05-26 2021-12-03 (주)성민네트웍스 Ai 기반 원추각막 진단 방법
KR20220048300A (ko) 2020-10-12 2022-04-19 국방과학연구소 수중 영상 데이터를 생성하는 장치 및 방법
KR102483341B1 (ko) * 2022-06-22 2022-12-30 한화시스템 주식회사 수중 표적 식별 장치 및 수중 표적 식별 방법
CN117907995A (zh) * 2024-03-19 2024-04-19 厦门伟卓智慧海洋科技有限公司 海底地形探测方法及设备
CN117907995B (zh) * 2024-03-19 2024-06-07 厦门伟卓智慧海洋科技有限公司 海底地形探测方法及设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086824A (zh) * 2018-08-01 2018-12-25 哈尔滨工程大学 一种基于卷积神经网络的海底底质声呐图像分类方法
CN109086824B (zh) * 2018-08-01 2021-12-14 哈尔滨工程大学 一种基于卷积神经网络的海底底质声呐图像分类方法
KR20200026146A (ko) * 2018-08-29 2020-03-10 한국과학기술원 초음파 신호를 이용한 노면 종류 추정 방법 및 장치
KR101985436B1 (ko) * 2019-01-04 2019-06-03 (주)미래해양 딥러닝을 이용한 해양 청소유닛
KR20210145928A (ko) * 2020-05-26 2021-12-03 (주)성민네트웍스 Ai 기반 원추각막 진단 방법
KR20220048300A (ko) 2020-10-12 2022-04-19 국방과학연구소 수중 영상 데이터를 생성하는 장치 및 방법
KR102483341B1 (ko) * 2022-06-22 2022-12-30 한화시스템 주식회사 수중 표적 식별 장치 및 수중 표적 식별 방법
CN117907995A (zh) * 2024-03-19 2024-04-19 厦门伟卓智慧海洋科技有限公司 海底地形探测方法及设备
CN117907995B (zh) * 2024-03-19 2024-06-07 厦门伟卓智慧海洋科技有限公司 海底地形探测方法及设备

Similar Documents

Publication Publication Date Title
KR20180065417A (ko) 수중 초음파 영상 정보를 이용한 피측정물 식별 방법
Neupane et al. A review on deep learning-based approaches for automatic sonar target recognition
CA3067575A1 (en) Self-learning autonomous navigation systems and methods for unmanned underwater vehicle
Khan et al. Visual feedback–based heading control of autonomous underwater vehicle for pipeline corrosion inspection
US11500082B2 (en) Iterative learning adaptive sonar system, apparatus, method, and computer program product
Remmas et al. Diver tracking in open waters: A low‐cost approach based on visual and acoustic sensor fusion
Pavin Underwater object recognition in photo images
Radeta et al. Deep learning and the oceans
Lee Deep learning of submerged body images from 2D sonar sensor based on convolutional neural network
CN111144208A (zh) 一种海上船舶目标的自动检测和识别方法及目标检测器
Muhammad et al. Underwater map-based localization using flow features
Li et al. Vision-based target detection and positioning approach for underwater robots
CN113109794B (zh) 一种强噪声环境下基于深度神经网络的深海声源定深方法
Liu et al. Deep underwater monocular depth estimation with single-beam echosounder
Myint et al. Experimental verification of turbidity tolerance of stereo-vision-based 3D pose estimation system
Kularatne et al. Zig-zag wanderer: Towards adaptive tracking of time-varying coherent structures in the ocean
Neto et al. Autonomous underwater vehicle to inspect hydroelectric dams
Pereira et al. Detecting docking-based structures for persistent ASVs using a volumetric neural network
Ercan et al. Underwater target detection using deep learning
CN114283082A (zh) 一种基于注意力机制的红外小目标检测方法
Kazimierski Verification of neural approach to radar-AIS tracks association for maneuvering targets based on kinematic spatial information
CN114137546A (zh) 基于数据驱动的auv海底目标识别与路径规划方法
Zaman et al. Development of marker detection method for estimating angle and distance of underwater remotely operated vehicle to buoyant boat
McConnell et al. Perception for Underwater Robots
Bjerkeng et al. Absolute localization of an ROV in a Fish Pen using Laser Triangulation