KR101934368B1 - 앙상블 인공 신경망 조합을 이용한 자율 운항 선박 제어 장치 및 그 방법 - Google Patents

앙상블 인공 신경망 조합을 이용한 자율 운항 선박 제어 장치 및 그 방법 Download PDF

Info

Publication number
KR101934368B1
KR101934368B1 KR1020170030014A KR20170030014A KR101934368B1 KR 101934368 B1 KR101934368 B1 KR 101934368B1 KR 1020170030014 A KR1020170030014 A KR 1020170030014A KR 20170030014 A KR20170030014 A KR 20170030014A KR 101934368 B1 KR101934368 B1 KR 101934368B1
Authority
KR
South Korea
Prior art keywords
sensor
neural network
area
operable
network model
Prior art date
Application number
KR1020170030014A
Other languages
English (en)
Other versions
KR20180104213A (ko
Inventor
박별터
Original Assignee
씨드로닉스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 씨드로닉스(주) filed Critical 씨드로닉스(주)
Priority to KR1020170030014A priority Critical patent/KR101934368B1/ko
Publication of KR20180104213A publication Critical patent/KR20180104213A/ko
Application granted granted Critical
Publication of KR101934368B1 publication Critical patent/KR101934368B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G3/00—Traffic control systems for marine craft
    • G08G3/02—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Ocean & Marine Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Feedback Control In General (AREA)

Abstract

앙상블 인공 신경망 조합을 이용한 자율 운항 선박 제어 장치 및 그 방법이 개시된다. 본 발명의 일 실시예에 따른 자율 운항 선박 제어 장치는 적어도 하나 이상의 센서를 구비하는 센서부; 상기 적어도 하나 이상의 센서 각각으로부터 출력되는 센싱 정보와 상기 적어도 하나 이상의 센서 각각에 대한 신경망 모델에 기초하여 상기 적어도 하나 이상의 센서 각각에 대한 운항 가능 영역을 추정하는 추정부; 및 상기 추정된 적어도 하나 이상의 센서 각각에 대한 운항 가능 영역에 기초하여 자율 운항 선박을 제어하는 제어부를 포함한다.

Description

앙상블 인공 신경망 조합을 이용한 자율 운항 선박 제어 장치 및 그 방법 {AUTONOMOUS NAVIGATION SHIP CONTROLLING APPARATUS USING ENSEMBLE ARTIFICIAL NEURAL NETWORK COMBINATION AND METHOD THEREFOR}
본 발명은 자율 운항 선박 제어 기술에 관한 것으로서, 보다 구체적으로 앙상블 인공 신경망 조합을 이용하여 자율 운항 선박을 제어할 수 있는 장치 및 그 방법에 관한 것이다.
기존의 자율 운항 선박은 스스로 장애물을 회피하여 목표점 또는 경유점까지 추종하기 위해서 장애물을 인식하기 위한 장애물 인식 모듈, 위치 인식을 위한 모듈, 선박을 제어하기 위한 제어기 등을 포함하는 복잡한 시스템을 구비한다.
기존의 시스템 중에서 높은 단계의 자율화를 위한 가장 중요한 모듈은 장애물 인식 모듈로, 형태 정보를 출력하는 카메라나 LiDAR, RADAR등 고가의 센서를 이용하여 전통적인 판단 알고리즘에 의해 장애물을 추정하게 된다.
여기서, 전통적인 판단 알고리즘은 사람에 의해 특정된 특징을 이용하여 판단하므로, 센서 운용 환경이나 구동 상태에 따라 사람이 가정한 측정 범위를 벗어나게 되면 추정 성능이 상이해지게 된다. 이는 환경이나 상황에 따라, 전체 자율 운항 시스템의 신뢰성을 떨어트리고, 장애물 회피 실패 등의 사고를 방지하기 위한 추가적인 보조 인식 시스템을 요하는 등의 전체 시스템의 비용을 증가시키게 된다. 특히 열악한 해양 환경의 경우 그 결과에 대한 신뢰성이 더 떨어진다.
본 발명에서는 센서 정보를 입력으로 하여 현재 상태 및 다음 제어 상태를 추정하는 인공 신경망을 구성하고, 센서별로 설계된 인공 신경망의 앙상블(ensemble) 조합으로 신뢰성 높은 제어 신호를 출력하는 자율 운항 선박 제어 장치 및 방법을 제안한다.
본 발명의 실시예들은, 앙상블 인공 신경망 조합을 이용하여 자율 운항 선박을 제어할 수 있는 장치 및 그 방법을 제공한다.
본 발명의 일 실시예에 따른 자율 운항 선박 제어 장치는 적어도 하나 이상의 센서를 구비하는 센서부; 상기 적어도 하나 이상의 센서 각각으로부터 출력되는 센싱 정보와 상기 적어도 하나 이상의 센서 각각에 대한 신경망 모델에 기초하여 상기 적어도 하나 이상의 센서 각각에 대한 운항 가능 영역을 추정하는 추정부; 및 상기 추정된 적어도 하나 이상의 센서 각각에 대한 운항 가능 영역에 기초하여 자율 운항 선박을 제어하는 제어부를 포함한다.
상기 추정부는 상기 적어도 하나 이상의 센서 각각으로부터 출력되는 센싱 정보와 컨볼루션 신경망(CNN; Convolutional Neural Network) 기반의 신경망 모델에 기초하여 상기 적어도 하나 이상의 센서 각각에 대한 운항 가능 영역을 추정할 수 있다.
상기 제어부는 상기 추정된 적어도 하나 이상의 센서 각각에 대한 운항 가능 영역과 순환형 신경망(RNN; Recurrent Neural Network)을 이용하여 상기 자율 운항 선박을 제어할 수 있다.
상기 제어부는 상기 운항 가능 영역과 상기 순환형 신경망에 기초하여 운항 가능 영역에서 운항 영역을 결정하고, 상기 결정된 운항 영역으로 상기 자율 운항 선박의 방향타 또는 속도를 제어할 수 있다.
상기 추정부는 상기 적어도 하나 이상의 센서 각각으로부터 출력되는 센싱 정보에 대한 미리 설정된 전처리를 수행하고, 상기 전처리가 수행된 센싱 정보와 상기 신경망 모델을 이용하여 운항 가능 영역을 추정할 수 있다.
본 발명의 일 실시예에 따른 자율 운항 선박 제어 방법은 적어도 하나 이상의 센서 각각으로부터 출력되는 센싱 정보를 수신하는 단계; 상기 수신된 적어도 하나 이상의 센서 각각으로부터 출력되는 센싱 정보와 상기 적어도 하나 이상의 센서 각각에 대한 신경망 모델에 기초하여 상기 적어도 하나 이상의 센서 각각에 대한 운항 가능 영역을 추정하는 단계; 및 상기 추정된 적어도 하나 이상의 센서 각각에 대한 운항 가능 영역에 기초하여 자율 운항 선박을 제어하는 단계를 포함한다.
상기 추정하는 단계는 상기 적어도 하나 이상의 센서 각각으로부터 출력되는 센싱 정보와 컨볼루션 신경망(CNN; Convolutional Neural Network) 기반의 신경망 모델에 기초하여 상기 적어도 하나 이상의 센서 각각에 대한 운항 가능 영역을 추정할 수 있다.
상기 제어하는 단계는 상기 추정된 적어도 하나 이상의 센서 각각에 대한 운항 가능 영역과 순환형 신경망(RNN; Recurrent Neural Network)을 이용하여 상기 자율 운항 선박을 제어할 수 있다.
상기 제어하는 단계는 상기 운항 가능 영역과 상기 순환형 신경망에 기초하여 운항 가능 영역에서 운항 영역을 결정하고, 상기 결정된 운항 영역으로 상기 자율 운항 선박의 방향타 또는 속도를 제어할 수 있다.
상기 추정하는 단계는 상기 적어도 하나 이상의 센서 각각으로부터 출력되는 센싱 정보에 대한 미리 설정된 전처리를 수행하고, 상기 전처리가 수행된 센싱 정보와 상기 신경망 모델을 이용하여 운항 가능 영역을 추정할 수 있다.
본 발명의 실시예들에 따르면, 앙상블 인공 신경망 조합을 이용하여 자율 운항 선박을 제어함으로써, 자율 운항 선박을 제어하기 위한 센서 수를 줄여 시스템 구축 비용을 절감시키고, 학습을 통해 다양한 환경에서도 자율 운항의 강인한 성능을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 자율 운항 선박 제어 장치에 대한 구성을 블록도로 나타낸 것이다.
도 2는 도 1에 도시된 자율 운항 선박 제어 장치를 설명하기 위한 일 예시도를 나타낸 것이다.
도 3은 도 1에 도시된 추정부를 설명하기 위한 일 예시도를 나타낸 것이다.
도 4는 도 1에 도시된 제어부를 설명하기 위한 일 예시도를 나타낸 것이다.
도 5는 도 1에 도시된 자율 운항 선박 제어 장치를 설명하기 위한 다른 일 예시도를 나타낸 것이다.
도 6은 본 발명의 일 실시예에 따른 자율 운항 선박 제어 방법에 대한 동작 흐름도를 나타낸 것이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
본 발명의 실시예들은, 앙상블(emsemble) 인공 신경망 조합을 이용하여 자율 운항 선박을 제어함으로써, 자율 운항 선박을 제어하기 위한 센서 수를 줄여 시스템 구축 비용을 절감시키고, 학습을 통해 다양한 환경에서도 자율 운항의 강인한 성능을 제공하는 것을 그 요지로 한다.
여기서, 앙상블 인공 신경망 조합은 센서별 각각에 대한 신경망 예를 들어, 컨볼루션 신경망(CNN; Convolutional Neural Network) 또는 RNN 등의 신경망으로부터 출력되는 정보의 조합을 의미할 수 있다. 즉, 본 발명에 따른 자율 운항 선박 제어 장치에서 두 개의 센서들을 사용한다 가정하면, 제1 센서에 대한 신경망과 제2 센서에 대한 신경망으로부터 출력되는 제1 정보와 제2 정보를 조합함으로써, 자율 운항 선박을 제어하는 것을 의미할 수 있다. 물론 본 발명에서의 앙상블 인공 신경망 조합에 대한 의미가 상술한 설명으로 한정되는 것은 아니며, 본 발명에 따른 장치 및 방법에서 사용 가능한 모든 신경망 조합을 포함할 수 있다.
또한, 인공 신경망은 CNN과 RNN 등의 신경망을 의미할 수 있으며, 인공 신경망에 대한 개념은 이 기술 분야에 종사하는 당업자에게 있어서 자명하기에 그 상세한 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 자율 운항 선박 제어 장치에 대한 구성을 블록도로 나타낸 것이다.
도 1을 참조하면, 본 발명의 실시예에 따른 자율 운항 선박 제어 장치(100)는 센서부(110), 추정부(120) 및 제어부(130)를 포함한다. 물론, 본 발명에 자율 운항 선박 제어 장치는 도 1에 비록 도시하진 않았지만 자율 운항 선박을 제어하기 위한 기본적인 구성들을 모두 포함할 수 있다.
센서부(110)는 자율 운항 선박이 자율 운행하기 위한 영역을 센싱하기 위한 적어도 하나 이상의 센서를 구비한다.
여기서, 센서부(110)는 자율 운항 선박이 운항 중인 바다를 촬영하기 위한 이미지 센서, Radar, Lidar 등을 구비할 수 있으며, 센서부를 구성하는 센서들에 대한 개수와 그 종류는 본 발명을 적용하였을 때 그 성능과 비용 등을 고려하여 결정될 수 있으며, 필수적인 센서와 선택적인 센서로 나뉠 수 있고, 선택적인 센서의 경우 본 발명에 따른 성능 향상과 비용 측면을 고려하여 추가하거나 선택될 수 있다.
즉, 센서부(110)는 자율 운항 선박 제어 장치를 구성하면서 자율 운항 선박을 제어하기 위한 센싱 정보 예를 들어, 자율 운항 선박이 목적지 또는 경유지까지 자율 운항하기 위한 바다 영역을 추정 또는 검출하기 위한 정보 예를 들어, 바다 정보를 센싱하고 이렇게 센싱된 센싱 정보를 제공한다.
이 때, 센서부(110)는 센서별 각각에 의해 센싱된 센싱 정보를 독립적으로 제공할 수 있으며, 이렇게 제공된 각각의 센싱 정보를 미리 정의되거나 학습된 센서별 각각의 신경망 모델로 입력될 수 있다.
추정부(120)는 센서부(110)에 구비된 적어도 하나 이상의 센서 각각으로부터 출력되는 센싱 정보를 수신하고, 상기 수신된 적어도 하나 이상의 센서 각각으로부터 출력되는 센싱 정보와 적어도 하나 이상의 센서 각각에 대한 신경망 모델에 기초하여 적어도 하나 이상의 센서 각각에 대한 운항 가능 영역을 추정한다.
여기서, 센서 각각에 대한 신경망 모델은 컨볼루션 신경망(CNN; Convolutional Neural Network) 기반의 신경망 모델일 수 있으며, 센서별로 다양한 환경 예를 들어, 시간, 날씨 상태, 위경도 등의 환경에서 수집된 센서 데이터로 학습된 신경망 모델일 수 있다. 즉, 추정부(120)는 센서별 각각에 의해 미리 학습된 신경망 모델에 대한 입력으로 해당 센서의 센싱 정보를 수신하고, 해당 센싱 정보에 대한 신경망 모델의 출력 정보인 바다에서의 운항 가능 영역을 출력으로 제공한다.
이와 같이, 추정부(120)는 해당 센서에 대한 신경망 모델과 해당 센서의 센싱 정보를 이용하여 바다(또는 강)의 현재 위치에서 목적지 또는 경유지까지 가는 경로에서의 장애물이 없는 운항 가능 영역을 추정하기 때문에 바다 위에 존재하는 장애물의 종류와 상관없이 바다에 대한 센싱 정보만을 필요로 하고, 바다 영역에 대해서만 딥 러닝을 통한 학습을 수행하기에, 학습하기 위한 데이터 량을 줄 일 수 있으며, 따라서 계산 복잡도도 줄일 수 있고, 센서 수도 줄일 수 있다. 즉, 본 발명에 따른 장치는 바다 위에 장애물이 나타나더라도, 장애물에 대한 학습이 아닌 바다에 대한 학습을 통해 현재 위치에서 목적지까지 가는 경로 상의 다음 위치까지의 자율 운항이 가능한 영역을 추정하기 때문에 장애물 인식에 대한 학습이 필요가 없다.
나아가, 추정부(120)는 센서로부터 센싱된 센싱 정보로부터 운항 가능 영역(또는 영역)을 정확하게 추정하기 위하여, 센싱 정보에 대한 전처리 과정을 수행함으로써, 센싱된 바다 정보를 명확하게 할 수 있다. 예를 들어, 추정부(120)는 센싱된 정보가 바다 이미지인 경우 바다 이미지에서 빛에 의한 반사, 시간, 날씨 등에 따라 변화된 부분을 전처리함으로써, 보다 명확한 바다 이미지를 획득하고, 이렇게 획득된 바다 이미지와 해당 센서의 신경망 모델을 이용하여 자율 운행이 가능한 운항 가능 영역을 추정할 수 있다. 물론, 추정부는 센싱 정보를 전처리하는 방법이 상술한 내용으로 한정되지 않으며, 센싱 정보 중 운항 가능 영역 여부를 판단하기 위한 주요 데이터 부분 예를 들어, 관심 영역 부분을 두드러지도록 전처리하고 운항 가능 영역 여부를 판단하기 어려운 데이터 부분을 제외시킬 수도 있다.
즉, 추정부(120)는 센싱 정보를 전처리한 후 전처리된 센싱 정보와 센서별 각각의 신경망 모델을 이용하여 센서별 각각에 대한 운항 가능 영역을 추정할 수 있다.
제어부(130)는 추정부(120)에 의해 추정된 적어도 하나 이상의 센서 각각에 대한 운항 가능 영역에 기초하여 자율 운항 선박을 제어한다.
이 때, 제어부(130)는 추정된 적어도 하나 이상의 센서 각각에 대한 운항 가능 영역과 순환형 신경망(RNN; Recurrent Neural Network)을 이용하여 자율 운항 선박을 제어할 수 있다.
예컨대, 제어부(130)는 추정된 적어도 하나 이상의 센서 각각에 대한 운항 가능 영역과 순환형 신경망에 기초하여 운항 가능 영역에서 자율 운항 선박이 운항할 운항 영역을 결정하고, 현재 위치에서 결정된 운항 영역으로 자율 운항 선박의 방향타 또는 속도를 제어할 수 있다.
상술한 본 발명에 따른 자율 운항 선박 제어 장치에 대해 도 2 내지 도 5를 참조하여 상세히 설명하면 다음과 같다.
도 2는 도 1에 도시된 자율 운항 선박 제어 장치를 설명하기 위한 일 예시도를 나타낸 것이다.
도 2에 도시된 바와 같이, 자율 운항 선박 제어 장치는 센서부(110)에 구비된 적어도 하나의 센서에서 바다에 대한 정보를 센싱하여 센싱 정보(T, T-1, T-2)를 출력하고, 추정부(120)에서 CNN 기반의 신경망 모델과 센싱 정보(T, T-1, T-2)를 이용하여 센서 각각에서의 운항 가능 영역을 탐색하며, 탐색된 운항 가능 영역으로부터 센서 각각에 대한 운항 가능 영역을 추정한다.
이 때, 추정부(120)는 도 3a에 도시된 바와 같이, 센서 각각에 대한 센싱 정보를 바탕으로 CNN의 신경망 모델을 통한 장애물이 없는 운항 가능 영역을 탐색함으로써, 센서별 운항 가능 영역을 추정(controllable space)을 추정할 수 있다.
도 3a에 도시된 신경망 모델은 센서별 운항 가능 영역을 분류하기 위한 CNN 기반의 신경망 모델로서, 센싱 정보를 입력으로 하고 운항 가능 영역을 출력으로 하는 신경망 모델일 수 있다.
도 3b는 본 발명에서 사용되는 CNN 기반의 신경망 모델을 설명하기 위한 것으로, 센서 각각에 대해 다양한 환경에서 수집된 센싱 데이터를 입력으로 하여 학습된 신경망 모델이며, 방향타 필요에 따라 모터 속도 등을 고려한 CNN 학습을 통해 미리 학습된 신경망 모델을 설계(또는 정의)할 수 있다.
그리고, 제어부(130)는 CNN 기반의 신경망 모델로부터 추정된 센서 각각에 대한 운항 가능 영역에 대한 RNN을 통해 자율 운항 선박이 최종 운항 영역으로 자율 운항하기 위한 제어 신호를 생성함으로써, 자율 운항 선박을 최종 운항 영역으로 자율 운항시킨다.
여기서, 제어부(130)는 현재 위치 정보와 운항 가능 영역에 대한 정보를 RNN의 입력으로 하고, 운항 가능 영역에 대한 정보를 RNN을 통해 조합함으로써, 운항 가능 영역 중 현재 위치에서 자율 운항할 최종 운항 영역을 결정하고, 결정된 최종 운항 영역으로 자율 운항하기 위한 방향타 또는 속도(예를 들어, 모터 속도)를 제어할 수 있다.
이 때, 제어부(130)는 도 4a에 도시된 바와 같이, CNN 기반의 신경망 모델에 의해 추정된 센서 각각의 운항 가능 영역과 자율 운항 선박의 현재 위치 정보(예를 들어, GPS 정보, IMU에 의해 측정된 정보)(pose)를 입력으로 하는 신경망 모델을 이용하여 자율 운항 선박을 제어하기 위한 제어 신호를 생성한다.
제어부에서 사용되는 신경망 모델은 도 4b에 도시된 신경망 모델일 수 있으며, 도 4b에 도시된 바와 같이, 제어부의 신경망 모델은 다양한 환경에서 센서별 각각에 의해 수집된 운항 가능 영역을 입력으로 하고 CNN과 RNN에 의해 학습된 신경망 모델일 수 있다. 즉, 제어부의 신경망 모델은 시간 흐름에 따른 CNN 출력 변화와 선박 제어 상태를 입력으로 하여 목표점(예를 들어, 최종 운항 영역)으로 자율 운항하기 위한 최적 제어 값을 출력하기 위한 신경망 모델일 수 있다. 물론, 필요에 따라 제어부의 신경망 모델은 RNN 기반으로 이루어진 신경망 모델일 수 있다.
이 때, 제어부의 신경망 모델은 자율 운항 선박 플랫폼에 관계 없이 최적 제어 값을 출력하기 위한 학습 데이터와 신경망 구조로 이루어질 수 있다.
도 5는 도 1에 도시된 자율 운항 선박 제어 장치를 설명하기 위한 다른 일 예시도를 나타낸 것이다.
도 5를 참조하면, 자율 운항 선박 제어 장치는 End-to-end 인공 신경망 모델과 앙상블 제어 모듈(530)의 두 부분으로 구성될 수 있다.
End-to-end 인공 신경망 모델은 센서들로 구성된 센서 모듈(510)과 센서 각각의 신경망 모델로 구성된 부분(520)으로 나눌 수 있으며, End-to-end 인공 신경망 모델은 각 센서에서 출력된 형태 정보(또는 센싱 정보)를 바탕으로 제어 상태를 추정하는 인공 신경망 모델로 각 센서에 맞게 학습이 되어있다.
예를 들어, End-to-end 인공 신경망 모델은CNN 기반으로 다양한 환경에서 수집된 센서 데이터로 학습될 수 있으며, 독립적으로 센서의 정보를 바탕으로 자율 운항 선박의 방향타를 추정하여 제어 상태 값으로 출력할 수 있다.
앙상블 제어 모듈(530)은 여러 환경 및 상황에 따라 강인하게 자율적으로 운항 하기 위해, 각 센서 별로 추정된 제어 상태 값을 조합하여 최종적인 방향타와 속도를 출력으로 하는 구성 수단으로, support vector regression 기법을 이용할 수 있다.
여기서, 앙상블 제어 모듈(530)은 복수의 센서들(또는 단일 센서) 각각에 대해 추정된 결과를 바탕으로 가장 신뢰성 높은 결과를 추론하며, 일부 센서의 오작동이나 오추정에도 강인하게 제어 신호를 출력할 수 있다.
본 발명에서 사용되는 신경망 모델은 다양한 구조가 올 수 있으나, 신경망의 출력 부분은 하나의 inner product layer에서 출력되는 특징 벡터 값을 이용한다. 이는 신경망 학습 시에 여러 층의 완전 연결 레이어(fully connected layer)로 구성하여 학습한 뒤, 처음 또는 중간에 업데이트된 레이어의 출력 값을 사용할 수 있으며, 이는 학습데이터의 범위를 벗어나는 환경에서 강인하게 제어 특징 값을 출력할 수 있다.
또한 support vector regression의 입력 전에 각 센서로부터 출력된 특징 벡터의 dimension을 맞추기 위한 좌표 변환(coordinate conversion) 연산을 수행하는데, 학습에 사용되지 않은 다양한 환경 데이터를 이용하여 Gaussian 또는 normal 분포로 가정한 뒤 normalization을 수행할 수 있다. 이는 이기종 센서로부터 출력된 특징 벡터들의 스케일을 조절하여 한 센서에 바이어스되지 않도록 하는 역할을 할 수 있다.
또한, 본 발명에서는 바다 영역만을 학습하면 되기 때문에 고가의 센서들이 반드시 필요하지 않아 간단한 장치 또는 시스템으로 구현이 가능하고, 바다 영역에 대한 딥 러닝 기반의 학습을 통해 수행되기 때문에 학습 복잡도와 계산 복잡도를 줄일 수 있다.
또한, 본 발명은 바다 영역만을 학습하면 되기 때문에 바다에 어떠한 장애물이 나타나더라도 자율 운행하는데 있어서 영향을 주지 않으며, 바다만을 학습하기 때문에 학습 데이터 량을 줄일 수 있다.
도 6은 본 발명의 일 실시예에 따른 자율 운항 선박 제어 방법에 대한 동작 흐름도를 나타낸 것으로, 상술한 도 1 내지 도 5의 장치에서의 동작 흐름도를 나타낸 것이다.
도 6을 참조하면, 본 발명의 실시예에 따른 자율 운항 선박 제어 방법은 적어도 하나의 센서로부터 센싱된 센싱 정보를 수신하고, 수신된 적어도 하나의 센서의 센싱 정보와 센서 각각에 대해 미리 학습된 신경망 모델에 기초하여 센서 각각에 대한 운항 가능 영역을 추정한다(S610, S620).
여기서, 단계 S620은 센서 각각에 대한 CNN 기반의 신경망 모델을 사용할 수 있으며, CNN 기반의 신경망 모델은 센서별로 다양한 환경 예를 들어, 시간, 날씨 상태, 위경도 등의 환경에서 수집된 센서 데이터로 학습된 신경망 모델일 수 있다. 즉, 단계 S620은 센서별 각각에 의해 미리 학습된 신경망 모델에 대한 입력으로 해당 센서의 센싱 정보를 수신하고, 해당 센싱 정보에 대한 신경망 모델의 출력 정보인 바다에서의 운항 가능 영역을 출력으로 제공한다.
나아가, 단계 S620은 센서로부터 센싱된 센싱 정보로부터 운항 가능 영역(또는 영역)을 정확하게 추정하기 위하여, 센싱 정보에 대한 전처리 과정을 수행한 후 전처리된 센싱 정보를 신경망 모델의 입력으로 제공함으로써, 보다 정확한 운항 가능 영역을 추정할 수도 있다.
단계 S620에 의해 센서 각각에 대한 운항 가능 영역이 추정되면, 추정된 운항 가능 영역에 기초하여 자율 운항 선박을 제어하기 위한 제어 신호를 생성하고, 생성된 제어 신호를 이용하요 자율 운항 선박을 제어한다(S630).
여기서, 단계 S630은 센서 각각에 대한 운항 가능 영역에 대한 RNN을 통해 자율 운항 선박이 최종 운항 영역으로 자율 운항하기 위한 제어 신호를 생성함으로써, 자율 운항 선박을 최종 운항 영역으로 자율 운항시킬 수 있다.
구체적으로, 단계 S630은 자율 운항 선박의 현재 위치 정보와 운항 가능 영역에 대한 정보를 RNN 기반의 신경망 모델의 입력으로 하고, 운항 가능 영역에 대한 정보를 RNN 기반의 신경망 모델을 통해 조합함으로써, 운항 가능 영역 중 현재 위치에서 자율 운항할 최종 운항 영역을 결정하고, 결정된 최종 운항 영역으로 자율 운항하기 위한 방향타 또는 속도(예를 들어, 모터 속도)를 제어할 수 있다.
또한, 단계 S630에서의 신경망 모델은 시간 흐름에 따른 CNN 출력 변화와 선박 제어 상태를 입력으로 하여 목표점(예를 들어, 최종 운항 영역)으로 자율 운항하기 위한 최적 제어 값을 출력하기 위한 신경망 모델일 수 있다.
비록, 도 6의 방법에서 상세한 설명이 생략되어 있더라도, 상술한 도 1 내지 도 5의 내용을 모두 포함할 수 있다는 것은 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 시스템, 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 바다 영역을 센싱하기 위한 적어도 하나 이상의 센서를 구비하는 센서부;
    상기 적어도 하나 이상의 센서 각각으로부터 출력되는 센싱 정보와 상기 적어도 하나 이상의 센서 각각에 대한 신경망 모델에 기초하여 상기 적어도 하나 이상의 센서 각각에 대한 운항 가능 영역을 추정하는 추정부; 및
    상기 추정된 적어도 하나 이상의 센서 각각에 대한 운항 가능 영역에 기초하여 자율 운항 선박을 제어하는 제어부
    를 포함하고,
    상기 추정부는
    상기 적어도 하나 이상의 센서 각각에 대하여 시간, 날씨 상태, 위경도를 포함하는 환경에서 상기 바다 영역에 대해 수집된 센서 데이터로 학습된 신경망 모델을 기반으로 상기 적어도 하나 이상의 센서 각각으로부터 출력되는 센싱 정보에 대한 상기 적어도 하나 이상의 센서 각각의 운항 가능 영역을 추정하며,
    상기 제어부는
    상기 센서 각각에 대해 추정된 운항 가능 영역에 대한 정보와 현재 위치 정보를 입력으로 하는 제1 신경망 모델에 기초하여 상기 센서 각각에 대해 추정된 운항 가능 영역에 대한 정보를 조합함으로써, 상기 추정된 운항 가능 영역 중 상기 현재 위치 정보에서 자율 운행할 최종 운항 영역을 결정하고, 상기 최종 운항 영역으로 상기 자율 운항 선박을 제어하는 자율 운항 선박 제어 장치.
  2. 제1항에 있어서,
    상기 추정부는
    상기 적어도 하나 이상의 센서 각각으로부터 출력되는 센싱 정보와 컨볼루션 신경망(CNN; Convolutional Neural Network) 기반의 신경망 모델에 기초하여 상기 적어도 하나 이상의 센서 각각에 대한 운항 가능 영역을 추정하는 것을 특징으로 하는 자율 운항 선박 제어 장치.
  3. 제1항에 있어서,
    상기 제어부는
    상기 추정된 적어도 하나 이상의 센서 각각에 대한 운항 가능 영역과 순환형 신경망(RNN; Recurrent Neural Network)을 이용하여 상기 자율 운항 선박을 제어하는 것을 특징으로 하는 자율 운항 선박 제어 장치.
  4. 제3항에 있어서,
    상기 제어부는
    상기 운항 가능 영역과 상기 순환형 신경망에 기초하여 운항 가능 영역에서 상기 최종 운항 영역을 결정하고, 상기 결정된 최종 운항 영역으로 상기 자율 운항 선박의 방향타 또는 속도를 제어하는 것을 특징으로 하는 자율 운항 선박 제어 장치.
  5. 제1항에 있어서,
    상기 추정부는
    상기 적어도 하나 이상의 센서 각각으로부터 출력되는 센싱 정보에 대한 미리 설정된 전처리를 수행하고, 상기 전처리가 수행된 센싱 정보와 상기 신경망 모델을 이용하여 운항 가능 영역을 추정하는 것을 특징으로 하는 자율 운항 선박 제어 장치.
  6. 바다 영역을 센싱하기 위한 적어도 하나 이상의 센서 각각으로부터 출력되는 센싱 정보를 수신하는 단계;
    상기 수신된 적어도 하나 이상의 센서 각각으로부터 출력되는 센싱 정보와 상기 적어도 하나 이상의 센서 각각에 대한 신경망 모델에 기초하여 상기 적어도 하나 이상의 센서 각각에 대한 운항 가능 영역을 추정하는 단계; 및
    상기 추정된 적어도 하나 이상의 센서 각각에 대한 운항 가능 영역에 기초하여 자율 운항 선박을 제어하는 단계
    를 포함하고,
    상기 추정하는 단계는
    상기 적어도 하나 이상의 센서 각각에 대하여 시간, 날씨 상태, 위경도를 포함하는 환경에서 상기 바다 영역에 대해 수집된 센서 데이터로 학습된 신경망 모델을 기반으로 상기 적어도 하나 이상의 센서 각각으로부터 출력되는 센싱 정보에 대한 상기 적어도 하나 이상의 센서 각각의 운항 가능 영역을 추정하며,
    상기 제어하는 단계는
    상기 센서 각각에 대해 추정된 운항 가능 영역에 대한 정보와 현재 위치 정보를 입력으로 하는 제1 신경망 모델에 기초하여 상기 센서 각각에 대해 추정된 운항 가능 영역에 대한 정보를 조합함으로써, 상기 추정된 운항 가능 영역 중 상기 현재 위치 정보에서 자율 운행할 최종 운항 영역을 결정하고, 상기 최종 운항 영역으로 상기 자율 운항 선박을 제어하는 자율 운항 선박 제어 방법.
  7. 제6항에 있어서,
    상기 추정하는 단계는
    상기 적어도 하나 이상의 센서 각각으로부터 출력되는 센싱 정보와 컨볼루션 신경망(CNN; Convolutional Neural Network) 기반의 신경망 모델에 기초하여 상기 적어도 하나 이상의 센서 각각에 대한 운항 가능 영역을 추정하는 것을 특징으로 하는 자율 운항 선박 제어 방법.
  8. 제6항에 있어서,
    상기 제어하는 단계는
    상기 추정된 적어도 하나 이상의 센서 각각에 대한 운항 가능 영역과 순환형 신경망(RNN; Recurrent Neural Network)을 이용하여 상기 자율 운항 선박을 제어하는 것을 특징으로 하는 자율 운항 선박 제어 방법.
  9. 제8항에 있어서,
    상기 제어하는 단계는
    상기 운항 가능 영역과 상기 순환형 신경망에 기초하여 운항 가능 영역에서 상기 최종 운항 영역을 결정하고, 상기 결정된 최종 운항 영역으로 상기 자율 운항 선박의 방향타 또는 속도를 제어하는 것을 특징으로 하는 자율 운항 선박 제어 방법.
  10. 제6항에 있어서,
    상기 추정하는 단계는
    상기 적어도 하나 이상의 센서 각각으로부터 출력되는 센싱 정보에 대한 미리 설정된 전처리를 수행하고, 상기 전처리가 수행된 센싱 정보와 상기 신경망 모델을 이용하여 운항 가능 영역을 추정하는 것을 특징으로 하는 자율 운항 선박 제어 방법.
KR1020170030014A 2017-03-09 2017-03-09 앙상블 인공 신경망 조합을 이용한 자율 운항 선박 제어 장치 및 그 방법 KR101934368B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170030014A KR101934368B1 (ko) 2017-03-09 2017-03-09 앙상블 인공 신경망 조합을 이용한 자율 운항 선박 제어 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170030014A KR101934368B1 (ko) 2017-03-09 2017-03-09 앙상블 인공 신경망 조합을 이용한 자율 운항 선박 제어 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20180104213A KR20180104213A (ko) 2018-09-20
KR101934368B1 true KR101934368B1 (ko) 2019-01-04

Family

ID=63719747

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170030014A KR101934368B1 (ko) 2017-03-09 2017-03-09 앙상블 인공 신경망 조합을 이용한 자율 운항 선박 제어 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101934368B1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102005559B1 (ko) * 2018-09-04 2019-08-07 씨드로닉스(주) 이미지 세그멘테이션을 이용한 주변 환경 감지 방법
KR20200046145A (ko) 2018-10-15 2020-05-07 펑션베이(주) 예측 모델 훈련 관리 시스템, 예측 모델 훈련 관리 방법, 예측 모델 학습 관리를 위한 마스터 장치 및 슬레이브 장치
CN109949616B (zh) * 2019-03-25 2021-05-11 同济大学 一种桥梁主动防船撞监测预警系统
US11630209B2 (en) * 2019-07-09 2023-04-18 Waymo Llc Laser waveform embedding
US11037328B1 (en) 2019-12-31 2021-06-15 Lyft, Inc. Overhead view image generation
US20210199446A1 (en) * 2019-12-31 2021-07-01 Lyft, Inc. Overhead view image generation
US11288522B2 (en) 2019-12-31 2022-03-29 Woven Planet North America, Inc. Generating training data from overhead view images
US11244500B2 (en) 2019-12-31 2022-02-08 Woven Planet North America, Inc. Map feature extraction using overhead view images
CN111413981B (zh) * 2020-04-07 2023-02-21 上海海事大学 一种船舶自动舵复合神经网络pid控制方法
KR102480565B1 (ko) * 2022-09-05 2022-12-22 한화시스템(주) 무인 함정의 자율항해를 위한 빅데이터 수집 시스템 및 방법
KR102616364B1 (ko) * 2023-05-30 2023-12-21 국방과학연구소 신경망을 이용한 동역학 학습 모델의 불확실성 완화 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170010104A1 (en) * 2015-02-10 2017-01-12 Mobileye Vision Technologies Ltd. Super landmarks as navigation aids

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170010104A1 (en) * 2015-02-10 2017-01-12 Mobileye Vision Technologies Ltd. Super landmarks as navigation aids

Also Published As

Publication number Publication date
KR20180104213A (ko) 2018-09-20

Similar Documents

Publication Publication Date Title
KR101934368B1 (ko) 앙상블 인공 신경망 조합을 이용한 자율 운항 선박 제어 장치 및 그 방법
EP3408720B1 (en) Autonomous operation of a vessel
US11429111B2 (en) Robotic tracking navigation with data fusion
KR102463176B1 (ko) 위치 추정 장치 및 방법
KR102133342B1 (ko) 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치
KR102499398B1 (ko) 차선 검출 방법 및 장치
EP3722911B1 (en) A system and method of planning a path for an autonomous vessel
KR102396274B1 (ko) 강화 학습 및 v2x 통신을 사용하는 어텐션-드리븐 리소스 할당을 통해 자율 주행의 안전성을 제공하기 위한 방법 및 장치
KR102458664B1 (ko) 차량의 주행을 보조하는 전자 장치 및 방법
CN110646787A (zh) 自运动估计方法和设备以及模型训练方法和设备
KR101598385B1 (ko) 직선 정보 기반 장소 인식을 이용한 로봇의 자율주행 방법 및 자율 주행 로봇
US20200285202A1 (en) Control device, unmanned system, control method, and program
CN111505690B (zh) 实时检测应急车辆并规划行驶路径的方法及装置
JP2008052473A (ja) 水中ロボットの動作制御方法、装置、プログラム及びその記録媒体
CN112379681A (zh) 无人机避障飞行方法、装置及无人机
KR20200092791A (ko) 무인 선박 운항 시스템 및 방법
KR102176483B1 (ko) 차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치
KR20200080394A (ko) 서비스 로봇의 동작 제어 방법 및 장치
US20230085296A1 (en) Systems and methods for predicting trajectories of multiple vehicles
KR20210073281A (ko) 운동 정보 추정 방법 및 장치
Yang et al. Monocular camera and single-beam sonar-based underwater collision-free navigation with domain randomization
CN112380933A (zh) 无人机识别目标的方法、装置及无人机
Digerud et al. Vision-based positioning of Unmanned Surface Vehicles using Fiducial Markers for automatic docking
Jacobson et al. Online place recognition calibration for out-of-the-box SLAM
KR102311245B1 (ko) 해상 환경에서 다종 카메라 영상을 기초로 심층신경망을 이용하여 목표 대상물과 항해장치 간 헤딩각도 차이와 상대거리를 추정하여 복수의 스러스터를 제어하기 위한 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant