KR102466804B1 - 이미지 세그멘테이션을 이용한 자율 운항 방법 - Google Patents

이미지 세그멘테이션을 이용한 자율 운항 방법 Download PDF

Info

Publication number
KR102466804B1
KR102466804B1 KR1020210046441A KR20210046441A KR102466804B1 KR 102466804 B1 KR102466804 B1 KR 102466804B1 KR 1020210046441 A KR1020210046441 A KR 1020210046441A KR 20210046441 A KR20210046441 A KR 20210046441A KR 102466804 B1 KR102466804 B1 KR 102466804B1
Authority
KR
South Korea
Prior art keywords
information
image
obstacle
distance
artificial neural
Prior art date
Application number
KR1020210046441A
Other languages
English (en)
Other versions
KR20210044197A (ko
Inventor
박별터
김한근
김동훈
Original Assignee
씨드로닉스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180165857A external-priority patent/KR102240839B1/ko
Application filed by 씨드로닉스(주) filed Critical 씨드로닉스(주)
Publication of KR20210044197A publication Critical patent/KR20210044197A/ko
Priority to KR1020220148408A priority Critical patent/KR102604969B1/ko
Application granted granted Critical
Publication of KR102466804B1 publication Critical patent/KR102466804B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B49/00—Arrangements of nautical instruments or navigational aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B43/00—Improving safety of vessels, e.g. damage control, not otherwise provided for
    • B63B43/18—Improving safety of vessels, e.g. damage control, not otherwise provided for preventing collision or grounding; reducing collision damage
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B43/00—Improving safety of vessels, e.g. damage control, not otherwise provided for
    • B63B43/18—Improving safety of vessels, e.g. damage control, not otherwise provided for preventing collision or grounding; reducing collision damage
    • B63B43/20—Feelers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63H—MARINE PROPULSION OR STEERING
    • B63H25/00—Steering; Slowing-down otherwise than by use of propulsive elements; Dynamic anchoring, i.e. positioning vessels by means of main or auxiliary propulsive elements
    • B63H25/02—Initiating means for steering, for slowing down, otherwise than by use of propulsive elements, or for dynamic anchoring
    • B63H25/04—Initiating means for steering, for slowing down, otherwise than by use of propulsive elements, or for dynamic anchoring automatic, e.g. reacting to compass
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G3/00—Traffic control systems for marine craft
    • G08G3/02—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63H—MARINE PROPULSION OR STEERING
    • B63H21/00—Use of propulsion power plant or units on vessels
    • B63H21/21—Control means for engine or transmission, specially adapted for use on marine vessels
    • B63H2021/216—Control means for engine or transmission, specially adapted for use on marine vessels using electric control means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

본 발명은 이미지 세그멘테이션을 이용한 자율 운항 방법에 관한 것으로, 본 발명의 일 양상에 따른 해상 이미지 및 인공신경망을 이용한 선박의 자율 운항 방법은, 복수의 픽셀값을 포함하는 학습 이미지 및 상기 학습 이미지에 포함된 학습 장애물의 종류 정보 및 거리 정보를 반영하여 결정되는 복수의 라벨링값을 포함하는 라벨링 데이터를 획득하는 단계―상기 학습 이미지 및 상기 라벨링 데이터는 서로 대응됨―; 상기 인공신경망이 상기 학습 이미지를 입력받아 출력 데이터를 출력하는 단계―상기 출력 데이터는 복수의 출력값을 포함하고 상기 라벨링값 및 상기 출력값은 서로 대응됨―; 상기 라벨링값 및 상기 출력값의 차이를 고려한 오차 함수를 이용하여 상기 인공신경망을 학습시키는 단계; 상기 선박에 설치된 카메라로부터 상기 해상 이미지를 획득하는 단계; 상기 인공신경망을 이용하여 상기 해상 이미지에 포함된 장애물의 종류 정보 및 거리 정보를 획득하는 단계―상기 해상 이미지에 포함된 장애물은 복수의 픽셀값을 포함함―; 상기 해상 이미지에 포함된 장애물의 픽셀값의 상기 해상 이미지상에서의 위치에 기초하여 상기 해상 이미지에 포함된 장애물의 방향 정보를 획득하는 단계; 상기 해상 이미지에 포함된 장애물의 거리 정보 및 방향 정보를 이용하여 상기 해상 이미지에 포함된 장애물의 장애물 지도상에서의 위치를 획득하는 단계; 상기 장애물 지도상에서의 위치를 이용하여 상기 장애물 지도를 생성하는 단계; 상기 장애물 지도 및 선박 상태 정보를 이용하여 상기 선박이 추종하는 추종 경로를 생성하는 단계―상기 선박 상태 정보는 상기 선박의 위치 정보 및 자세 정보를 포함함―; 및 상기 추종 경로를 이용해 상기 선박이 상기 추종 경로를 추종하도록 제어 신호를 생성하는 단계―상기 제어 신호는 상기 선박의 프로펠러 제어 신호 및 선수 방향 제어 신호를 포함함―;를 포함한다.

Description

이미지 세그멘테이션을 이용한 자율 운항 방법{AUTONOMOUS NAVIGATION METHOD USING IMAGE SEGMENTATION}
본 발명은 이미지 세그멘테이션을 이용한 자율 운항 방법에 관한 것으로, 보다 상세하게는 이미지 세그멘테이션을 수행하는 인공신경망을 이용한 자율 운항 방법에 관한 것이다.
선박의 운항에 있어 많은 사고가 발생하고 있으며, 그 사고의 주요 원인은 사람의 운항 부주의로 알려져 있다. 사람이 운항하지 않는, 스스로 운항하는 자율 운항 선박 혹은 무인 선박이 상용화되는 경우 해양 사고를 크게 감소시킬 수 있을 것으로 예상되고 있다. 이를 위해 글로벌 기업들은 자율 운항 선박 개발 프로젝트의 진행 중에 있다. Rolls-Royce는 Google과 손을 잡고 자율 운항 선박을 개발 중에 있으며, 노르웨이의 Yara와 Kongsberg, 일본의 Nippon Yusen 등도 이에 동참하고 있다.
자율 운항 선박의 완성을 위해서는 육안에 의존하지 않고 장애물을 감지할 수 있어야 한다. 현재 다양한 종류의 장애물 센서를 이용하지만 실효성이 낮아 아직까지는 한계점이 존재하는 상황이다. 예를 들어, ECDIS의 경우 GPS의 부정확성, AIS의 업데이트 주기 및 AIS 미등록 이동체 등으로 인한 한계가 존재하고, radar의 경우 비탐색영역의 존재 및 노이즈로 인한 한계가 존재한다. 그 결과 장애물의 정확한 감지를 위하여는 여전히 육안으로 확인하는 과정이 필요하게 되고, 이는 자율 운항 선박의 완성에 어려움을 주고 있다.
본 발명의 일 과제는 이미지 세그멘테이션을 수행하는 인공신경망을 이용하여 주변 환경 감지가 가능한 자율 운항 방법을 제공하는 것에 있다.
본 발명의 다른 과제는 경로 계획 및 경로 추종을 수행하는 인공신경망을 이용한 자율 운항 방법을 제공하는 것에 있다.
본 발명의 또 다른 과제는 엔드-투-엔드 학습된 인공신경망을 이용한 자율 운항 방법을 제공하는 것에 있다.
본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 양상에 따르면 해상 이미지 및 인공신경망을 이용한 선박의 자율 운항 방법에 있어서, 복수의 픽셀값을 포함하는 학습 이미지 및 상기 학습 이미지에 포함된 학습 장애물의 종류 정보 및 거리 정보를 반영하여 결정되는 복수의 라벨링값을 포함하는 라벨링 데이터를 획득하는 단계―상기 학습 이미지 및 상기 라벨링 데이터는 서로 대응됨―; 상기 인공신경망이 상기 학습 이미지를 입력받아 출력 데이터를 출력하는 단계―상기 출력 데이터는 복수의 출력값을 포함하고 상기 라벨링값 및 상기 출력값은 서로 대응됨―; 상기 라벨링값 및 상기 출력값의 차이를 고려한 오차 함수를 이용하여 상기 인공신경망을 학습시키는 단계; 상기 선박에 설치된 카메라로부터 상기 해상 이미지를 획득하는 단계; 상기 인공신경망을 이용하여 상기 해상 이미지에 포함된 장애물의 종류 정보 및 거리 정보를 획득하는 단계―상기 해상 이미지에 포함된 장애물은 복수의 픽셀값을 포함함―; 상기 해상 이미지에 포함된 장애물의 픽셀값의 상기 해상 이미지상에서의 위치에 기초하여 상기 해상 이미지에 포함된 장애물의 방향 정보를 획득하는 단계; 상기 해상 이미지에 포함된 장애물의 거리 정보 및 방향 정보를 이용하여 상기 해상 이미지에 포함된 장애물의 장애물 지도상에서의 위치를 획득하는 단계; 상기 장애물 지도상에서의 위치를 이용하여 상기 장애물 지도를 생성하는 단계; 상기 장애물 지도 및 선박 상태 정보를 이용하여 상기 선박이 추종하는 추종 경로를 생성하는 단계―상기 선박 상태 정보는 상기 선박의 위치 정보 및 자세 정보를 포함함―; 및 상기 추종 경로를 이용해 상기 선박이 상기 추종 경로를 추종하도록 제어 신호를 생성하는 단계―상기 제어 신호는 상기 선박의 프로펠러 제어 신호 및 선수 방향 제어 신호를 포함함―;를 포함하는 자율 운항 방법이 제공될 수 있다.
본 발명의 다른 양상에 따르면 해상 이미지 및 인공신경망을 이용한 선박의 자율 운항 방법에 있어서, 복수의 픽셀값을 포함하는 학습 이미지 및 상기 학습 이미지에 포함된 학습 장애물의 종류 정보 및 거리 정보를 반영하여 결정되는 복수의 라벨링값을 포함하는 라벨링 데이터를 획득하는 단계―상기 학습 이미지 및 상기 라벨링 데이터는 서로 대응됨―; 상기 인공신경망이 상기 학습 이미지를 입력받아 출력 데이터를 출력하는 단계―상기 출력 데이터는 복수의 출력값을 포함하고 상기 라벨링값 및 상기 출력값은 서로 대응됨―; 상기 라벨링값 및 상기 출력값의 차이를 고려한 오차 함수를 이용하여 제1 인공신경망을 학습시키는 단계; 상기 학습 장애물의 종류 정보 및 거리 정보를 이용하여 제어 신호를 출력하는 제2 인공신경망을 학습시키는 단계; 상기 선박에 설치된 카메라로부터 상기 해상 이미지를 획득하는 단계; 상기 제1 인공신경망을 이용하여 상기 해상 이미지에 포함된 장애물의 종류 정보 및 거리 정보를 획득하는 단계―상기 해상 이미지에 포함된 장애물은 복수의 픽셀값을 포함함―; 상기 해상 이미지에 포함된 장애물의 픽셀값의 상기 해상 이미지상에서의 위치에 기초하여 상기 해상 이미지에 포함된 장애물의 방향 정보를 획득하는 단계; 및 상기 해상 이미지에 포함된 장애물의 종류 정보, 거리 정보, 방향 정보 및 선박 상태 정보를 상기 제2 인공신경망에 입력하여 제어 신호를 생성하는 단계―상기 선박 상태 정보는 상기 선박의 위치 정보 및 자세 정보를 포함하고 상기 제어 신호는 상기 선박의 프로펠러 제어 신호 및 선수 방향 제어 신호를 포함함―;를 포함하는 자율 운항 방법이 제공될 수 있다.
본 발명의 또 다른 양상에 따르면 엔드-투-엔드 학습을 이용한 선박의 자율 운항 방법에 있어서, 학습 데이터 및 라벨링 데이터를 이용하여 제1 인공신경망을 학습하는 단계―상기 학습 데이터는 이미지, 위치 정보 및 자세 정보를 포함하고 상기 라벨링 데이터는 프로펠러 제어 신호 및 선수 방향 제어 신호를 포함함―; 상기 선박에 설치된 카메라로부터 해상 이미지를 획득하는 단계; 상기 선박의 위치 정보 및 자세 정보를 포함하는 선박 상태 정보를 획득하는 단계; 및 상기 제1 인공신경망을 이용하여 제어 신호를 생성하는 단계―상기 제어 신호는 상기 선박의 프로펠러 제어 신호 및 선수 방향 제어 신호를 포함함―;를 포함하고, 상기 제1 인공신경망은, 장애물에 대한 객체 정보―상기 객체 정보는 장애물의 거리 정보를 포함함―, 장애물 지도에 대한 정보 및 선박이 추종하는 경로에 대한 정보 중 적어도 하나를 포함하는 자율 운항 방법이 제공될 수 있다.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 의하면, 이미지 세그멘테이션을 수행하는 인공신경망으로 주변 환경 감지를 수행하여 자율 운항을 할 수 있다.
본 발명에 의하면, 경로 계획 및 경로 추종을 수행하는 인공신경망으로부터 출력된 제어 신호를 통하여 선박 제어를 할 수 있다.
본 발명에 의하면, 엔드-투-엔드 학습된 인공신경망을 이용하여 자율 운항을 할 수 있다.
본 발명의 효과가 상술한 효과로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 일 실시예에 따른 자율 운항 방법에 관한 블록도이다.
도 2는 일 실시예에 따른 인공신경망의 학습 단계에 관한 블록도이다.
도 3은 일 실시예에 따른 인공신경망의 추론 단계에 관한 블록도이다.
도 4는 일 실시예에 따른 선박 센서 시스템에 관한 도면이다.
도 5, 도 6 및 도 7은 일 실시예에 따른 이미지 세그멘테이션의 예시들에 관한 도면이다.
도 8은 일 실시예에 따른 데이터 확장에 관한 도면이다.
도 9는 일 실시예에 따른 인공신경망의 학습 방법에 관한 도면이다.
도 10 및 도 11은 일 실시예에 따른 이미지 픽셀을 이용한 위치 정보 획득에 관한 도면이다.
도 12는 일 실시예에 따른 최종 위치 정보 획득에 관한 블록도이다.
도 13, 도 14 및 도 15는 일 실시예에 따른 최종 위치 정보 획득의 예시들에 관한 도면이다.
도 16 및 도 17은 일 실시예에 따른 경로 계획 단계의 예시들에 관한 블록도이다.
도 18은 일 실시예에 따른 장애물 지도 업데이트 단계에 관한 블록도이다.
도 19는 일 실시예에 따른 장애물 지도에 관한 도면이다.
도 20은 일 실시예에 따른 위치 정보 변환 단계에 관한 블록도이다.
도 21은 일 실시예에 따른 업데이트 영역에 관한 도면이다.
도 22 및 도 23은 일 실시예에 따른 위치 정보의 보정에 관한 도면이다.
도 24는 일 실시예에 따른 장애물의 이동을 고려한 가중치 설정에 관한 도면이다.
도 25는 일 실시예에 따른 운항 규칙을 고려한 가중치 설정에 관한 도면이다.
도 26은 일 실시예에 따른 버퍼 영역을 고려한 가중치 설정에 관한 도면이다.
도 27 및 도 28은 일 실시예에 따른 장애물 지도 업데이트 단계의 예시들에 관한 블록도이다.
도 29는 일 실시예에 따른 경로 생성 단계에 관한 블록도이다.
도 30은 일 실시예에 따른 경로 생성 단계에 관한 도면이다.
도 31은 일 실시예에 따른 경로 추종 단계에 관한 블록도이다.
도 32는 일 실시예에 따른 시각화에 관한 도면이다.
도 33, 도 34 및 도 35는 일 실시예에 따른 이미지 세그멘테이션을 이용한 자율 운항의 예시들에 관한 블록도이다.
도 36은 일 실시예에 따른 제어 신호를 출력하는 인공신경망의 학습 방법에 관한 블록도이다.
도 37은 일 실시예에 따른 인공신경망의 출력에 관한 블록도이다.
본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 의해 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.
본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.
본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.
본 발명의 일 양상에 따르면 해상 이미지 및 인공신경망을 이용한 선박의 자율 운항 방법에 있어서, 복수의 픽셀값을 포함하는 학습 이미지 및 상기 학습 이미지에 포함된 학습 장애물의 종류 정보 및 거리 정보를 반영하여 결정되는 복수의 라벨링값을 포함하는 라벨링 데이터를 획득하는 단계―상기 학습 이미지 및 상기 라벨링 데이터는 서로 대응됨―; 상기 인공신경망이 상기 학습 이미지를 입력받아 출력 데이터를 출력하는 단계―상기 출력 데이터는 복수의 출력값을 포함하고 상기 라벨링값 및 상기 출력값은 서로 대응됨―; 상기 라벨링값 및 상기 출력값의 차이를 고려한 오차 함수를 이용하여 상기 인공신경망을 학습시키는 단계; 상기 선박에 설치된 카메라로부터 상기 해상 이미지를 획득하는 단계; 상기 인공신경망을 이용하여 상기 해상 이미지에 포함된 장애물의 종류 정보 및 거리 정보를 획득하는 단계―상기 해상 이미지에 포함된 장애물은 복수의 픽셀값을 포함함―; 상기 해상 이미지에 포함된 장애물의 픽셀값의 상기 해상 이미지상에서의 위치에 기초하여 상기 해상 이미지에 포함된 장애물의 방향 정보를 획득하는 단계; 상기 해상 이미지에 포함된 장애물의 거리 정보 및 방향 정보를 이용하여 상기 해상 이미지에 포함된 장애물의 장애물 지도상에서의 위치를 획득하는 단계; 상기 장애물 지도상에서의 위치를 이용하여 상기 장애물 지도를 생성하는 단계; 상기 장애물 지도 및 선박 상태 정보를 이용하여 상기 선박이 추종하는 추종 경로를 생성하는 단계―상기 선박 상태 정보는 상기 선박의 위치 정보 및 자세 정보를 포함함―; 및 상기 추종 경로를 이용해 상기 선박이 상기 추종 경로를 추종하도록 제어 신호를 생성하는 단계―상기 제어 신호는 상기 선박의 프로펠러 제어 신호 및 선수 방향 제어 신호를 포함함―;를 포함하는 자율 운항 방법이 제공될 수 있다.
여기서, 상기 라벨링값 및 상기 출력값은 장애물의 종류 정보 및 거리 정보의 조합에 의해 정해지는 복수의 식별값 중에서 선택될 수 있다.
여기서, 상기 식별값을 정하기 위한 장애물의 거리 정보는 각각 거리 범위를 갖는 복수의 카테고리를 포함할 수 있다.
여기서, 상기 제어 신호는 이전 프레임의 제어 신호, 조류 및 바람 중 적어도 하나에 기초하여 생성될 수 있다.
여기서, 상기 자율 운항 방법은, 추종 경로를 입력받아 제어 신호를 출력하는 제2 인공신경망을 강화 학습을 통하여 학습시키는 단계;를 더 포함하고, 상기 제어 신호는 이전 프레임의 제어 신호에 기초하여 상기 제2 인공신경망으로부터 생성될 수 있다.
여기서, 상기 장애물 지도를 생성하는 단계는, 상기 해상 이미지에 포함된 장애물의 움직임에 관한 정보를 더 이용하는 것을 특징으로 할 수 있다.
여기서, 상기 해상 이미지를 획득하는 단계는, 상기 카메라로부터 이미지를 획득하는 단계; 및 상기 이미지를 전처리하여 해상 이미지를 생성하는 단계;를 포함하고, 상기 전처리는 상기 이미지에 포함된 안개 제거인 것을 특징으로 할 수 있다.
본 발명의 다른 양상에 따르면 해상 이미지 및 인공신경망을 이용한 선박의 자율 운항 방법에 있어서, 복수의 픽셀값을 포함하는 학습 이미지 및 상기 학습 이미지에 포함된 학습 장애물의 종류 정보 및 거리 정보를 반영하여 결정되는 복수의 라벨링값을 포함하는 라벨링 데이터를 획득하는 단계―상기 학습 이미지 및 상기 라벨링 데이터는 서로 대응됨―; 상기 인공신경망이 상기 학습 이미지를 입력받아 출력 데이터를 출력하는 단계―상기 출력 데이터는 복수의 출력값을 포함하고 상기 라벨링값 및 상기 출력값은 서로 대응됨―; 상기 라벨링값 및 상기 출력값의 차이를 고려한 오차 함수를 이용하여 제1 인공신경망을 학습시키는 단계; 상기 학습 장애물의 종류 정보 및 거리 정보를 이용하여 제어 신호를 출력하는 제2 인공신경망을 학습시키는 단계; 상기 선박에 설치된 카메라로부터 상기 해상 이미지를 획득하는 단계; 상기 제1 인공신경망을 이용하여 상기 해상 이미지에 포함된 장애물의 종류 정보 및 거리 정보를 획득하는 단계―상기 해상 이미지에 포함된 장애물은 복수의 픽셀값을 포함함―; 상기 해상 이미지에 포함된 장애물의 픽셀값의 상기 해상 이미지상에서의 위치에 기초하여 상기 해상 이미지에 포함된 장애물의 방향 정보를 획득하는 단계; 및 상기 해상 이미지에 포함된 장애물의 종류 정보, 거리 정보, 방향 정보 및 선박 상태 정보를 상기 제2 인공신경망에 입력하여 제어 신호를 생성하는 단계―상기 선박 상태 정보는 상기 선박의 위치 정보 및 자세 정보를 포함하고 상기 제어 신호는 상기 선박의 프로펠러 제어 신호 및 선수 방향 제어 신호를 포함함―;를 포함하는 자율 운항 방법이 제공될 수 있다.
본 발명의 또 다른 양상에 따르면 엔드-투-엔드 학습을 이용한 선박의 자율 운항 방법에 있어서, 학습 데이터 및 라벨링 데이터를 이용하여 제1 인공신경망을 학습하는 단계―상기 학습 데이터는 이미지, 위치 정보 및 자세 정보를 포함하고 상기 라벨링 데이터는 프로펠러 제어 신호 및 선수 방향 제어 신호를 포함함―; 상기 선박에 설치된 카메라로부터 해상 이미지를 획득하는 단계; 상기 선박의 위치 정보 및 자세 정보를 포함하는 선박 상태 정보를 획득하는 단계; 및 상기 제1 인공신경망을 이용하여 제어 신호를 생성하는 단계―상기 제어 신호는 상기 선박의 프로펠러 제어 신호 및 선수 방향 제어 신호를 포함함―;를 포함하고, 상기 제1 인공신경망은, 장애물에 대한 객체 정보―상기 객체 정보는 장애물의 거리 정보를 포함함―, 장애물 지도에 대한 정보 및 선박이 추종하는 경로에 대한 정보 중 적어도 하나를 포함하는 자율 운항 방법이 제공될 수 있다.
여기서, 제2 인공신경망을 이용하여 상기 제1 인공신경망으로부터 상기 객체 정보, 상기 장애물 지도에 대한 정보 및 상기 선박이 추종하는 경로에 대한 정보 중 적어도 하나를 획득하는 단계;를 더 포함할 수 있다.
이하에서는 일 실시예에 따른 이미지 세그멘테이션을 이용한 자율 운항 방법에 대하여 설명한다.
일 실시예에 따른 이동체의 자율 주행을 위하여, 이동체는 주변 환경 감지, 경로 계획 및 경로 추종의 단계를 수행할 수 있다. 이동체는 주변 환경 감지를 통해 주변의 장애물 및/또는 주행 가능 영역을 판단하고, 이를 바탕으로 경로를 생성한 후, 생성된 경로를 추종하여 스스로 주행할 수 있다.
도 1은 일 실시예에 따른 자율 주행 방법에 관한 블록도이다. 도 1을 참고하면, 이동체는 주변 환경 감지 단계(S1000)를 통해 객체 정보를 획득하고, 획득한 객체 정보를 바탕으로 경로 계획 단계(S3000)를 통해 추종 경로를 획득하며, 획득한 추종 경로를 바탕으로 경로 추종 단계(S5000)를 통해 제어 신호를 생성하여 자율 주행할 수 있다.
이동체의 자율 주행을 위하여는 전술한 단계가 연속적으로 수행될 수 있다. 이하에서는 주변 환경 감지 단계(S1000), 경로 계획 단계(S3000) 및 경로 추종 단계(S5000)가 1번 수행되는 것을 1 프레임으로 표현하기로 한다.
또한, 이하에서는 이동체의 자율 주행 중 선박의 자율 운항에 대하여 주로 설명하지만, 선박에만 한정되는 것은 아니고 자동차, 드론 등 다양한 이동체에 적용될 수 있음을 미리 밝혀둔다.
자율 운항은 인공신경망을 이용하여 수행될 수 있다. 인공신경망이란 인간의 신경망 구조를 본떠 만든 알고리즘의 일종으로, 하나 이상의 노드 또는 뉴런(neuron)을 포함하는 하나 이상의 레이어를 포함할 수 있고 각각의 노드는 시냅스(synapse)를 통해 연결될 수 있다. 인공신경망에 입력된 데이터(입력 데이터)는 시냅스를 통해 노드를 거쳐 출력(출력 데이터)될 수 있고, 이를 통해 정보를 획득할 수 있다.
인공신경망의 종류로는 필터를 이용해 특징을 추출하는 합성곱신경망(convolution neural network, CNN) 및 노드의 출력이 다시 입력으로 피드백되는 구조를 갖는 순환인공신경망(recurrent neural network, RNN)이 있고, 이 외에도 제한된 볼츠만 머신(restricted Boltzmann machine, RBM), 심층신뢰신경망(deep belief network, DBN), 생성대립신경망(generative adversarial network, GAN), 관계형 네트워크(relation networks, RN) 등 다양한 종류가 존재한다.
인공신경망을 이용하기 전에 학습시키는 단계가 필요하다. 또는, 인공신경망을 이용하며 학습시킬 수 있다. 이하에서는 인공신경망을 학습시키는 단계를 학습 단계, 이용하는 단계를 추론 단계로 표현하기로 한다.
인공신경망의 학습 방법은 지도 학습(supervised learning), 비지도 학습(unsupervised learning), 강화 학습(reinforcement learning), 모방 학습(imitation learning) 등 다양한 방법이 존재한다. 여기서, 강화 학습은 마코프 결정 과정(Markov decision process)으로 표현될 수 있다. 또는, 강화 학습은 어떤 환경에서 에이전트가 보상이 최대화되도록 행동하는 방법을 의미할 수 있다.
도 2는 일 실시예에 따른 인공신경망의 학습 단계의 일 예에 관한 블록도로 지도 학습을 나타낸다. 도 2를 참고하면, 학습되지 않은 인공신경망이 학습 데이터 또는 훈련 데이터(training data)를 입력받아 출력 데이터를 출력하고, 출력 데이터와 라벨링 데이터(labeling data)를 비교하여 그 오차의 역전파를 통해 인공신경망을 학습시킬 수 있다. 학습 데이터는 이미지를 포함할 수 있고, 라벨링 데이터는 실측 자료(ground truth)를 포함할 수 있다. 또는, 라벨링 데이터는 사용자 또는 프로그램을 통하여 생성된 자료일 수 있다.
도 3은 일 실시예에 따른 인공신경망의 추론 단계에 관한 블록도이다. 도 3을 참고하면, 학습된 인공신경망이 입력 데이터를 입력받아 출력 데이터를 출력할 수 있다. 학습 단계에서의 학습 데이터의 정보에 따라 추론 단계에서 추론 가능한 정보가 달라질 수 있다. 또한, 인공신경망의 학습 정도에 따라 출력 데이터의 정확성이 달라질 수 있다.
인공신경망을 이용하여 자율 운항하는 경우, 도 1을 참고하면, 주변 환경 감지 단계(S1000)를 인공신경망으로 수행하거나, 경로 계획 단계(S3000)를 인공신경망으로 수행하거나, 경로 추종 단계(S5000)를 인공신경망으로 수행할 수 있다. 또는, 전술한 단계 중 둘 이상의 단계를 인공신경망으로 수행하거나, 하나의 단계를 복수의 인공신경망으로 수행할 수 있다. 복수의 인공신경망을 이용하는 경우, 인공신경망들은 서로 병렬적 또는 직렬적으로 연결될 수 있다. 예를 들어, 인공신경망들이 직렬적으로 연결되는 경우, 일 인공신경망의 출력이 타 인공신경망의 입력이 될 수 있다.
이하에서는 주변 환경 감지 단계, 경로 계획 단계 및 경로 추종 단계에 대해 구체적으로 살펴본다. 자율 운항 방법의 실시를 위해 후술할 모든 단계를 실시해야 하는 것은 아니고 그중 일부 단계만 실시할 수도 있고, 특정 단계는 반복적으로 실시될 수도 있다.
선박의 운항을 위하여는 주변 환경의 감지를 통해 장애물 및/또는 운항 가능 영역을 파악하여야 하고 이는 자율 운항의 경우에도 마찬가지이다. 여기서, 장애물은 지형, 건물, 선박, 부표, 사람 등 운항 시 장애가 될 수 있는 모든 물체를 의미한다. 또한, 주변 환경을 감지한다는 것은 장애물을 감지하는 것뿐만 아니라, 그 외에도 선박 주위의 상황에 대한 정보를 획득하는 것을 포함하는 포괄적인 의미이다. 장애물을 감지한다는 것은 장애물의 유무, 종류, 위치 등에 대한 정보를 획득하는 것을 포함한다.
도 4는 일 실시예에 따른 선박 센서 시스템에 관한 도면이다. 도 4를 참고하면, 선박 운항 시 레이더(radar), 라이다(lidar), 초음파 탐지기와 같은 장애물 감지 센서 및 선박자동식별장치(automatic identification system, AIS)를 이용하는 것이 일반적이다.
이 외에도 카메라를 이용하여 장애물을 감지할 수 있다. 도 4를 참고하면, 카메라의 예로는 단안 카메라, 쌍안 카메라, 적외선 카메라 및 TOF 카메라가 있지만 이에 한정되는 것은 아니다.
카메라로부터 획득한 이미지를 가지고 장애물을 감지하는 방법 중 하나로 이미지 세그멘테이션을 이용할 수 있다. 이하에서는 이미지 세그멘테이션을 이용하여 주변 환경 감지 단계를 수행하는 것에 대해서 구체적으로 살펴본다.
이미지 세그멘테이션은 속성별로 이미지의 영역을 분할하는 것을 의미할 수 있다. 또는, 이미지의 각 픽셀 별로 속성값을 할당하는 과정일 수 있다. 예를 들어, 상기 속성은 물체의 종류가 될 수 있다. 이 경우 이미지 세그멘테이션은 이미지에 포함된 물체를 픽셀 별로 분할하는 것을 의미할 수 있다. 또는, 특정 픽셀이 어떤 물체에 대응되는 픽셀인지 나타내는 것을 의미할 수 있다.
이미지 세그멘테이션은 인공신경망을 이용하여 수행될 수 있다. 하나의 인공신경망을 이용할 수 있고, 복수의 인공신경망을 이용하여 각각의 인공신경망이 이미지 세그멘테이션을 수행하고 이 결과를 조합하여 주변 환경을 감지할 수도 있다. 이미지 세그멘테이션을 위한 인공신경망의 네트워크 구조는 ENet 구조 등 다양한 구조가 적용될 수 있다.
이하에서는 도 1의 주변 환경 감지 단계(S1000)를 인공신경망을 이용한 이미지 세그멘테이션을 통해 수행하는 경우에 대해 구체적으로 살펴본다.
주변 환경을 감지하기 위해 이미지 세그멘테이션을 수행하는 인공신경망은 이미지를 입력받아 객체 정보를 출력할 수 있다. 도 2 및 도 3을 참고하면, 학습 데이터 및 입력 데이터의 형태는 이미지가 될 수 있고, 이미지는 복수의 픽셀을 포함할 수 있다. 출력 데이터 및 라벨링 데이터는 객체 정보가 될 수 있다. 추가적으로, 출력 데이터 및 라벨링 데이터를 시각화하여 사용자에게 시각적으로 정보를 전달할 수 있다.
이미지 세그멘테이션을 수행하기 위한 이미지의 종류에 제한은 없다. 상기 이미지는 카메라로 촬영된 이미지일 수 있다. 도 4를 참고하면, 단안 카메라, 쌍안 카메라, 적외선 카메라, TOF 카메라 등 다양한 카메라로부터 획득한 이미지를 이용할 수 있다. 또한, 2차원 이미지에만 한정되는 것은 아니고 3차원 이미지 등도 가능하다.
이미지 세그멘테이션을 한 번 수행하는 경우 하나의 이미지만 입력받을 수 있다. 또는, 복수의 이미지를 입력받을 수 있다.
카메라로 촬영된 이미지를 전처리한 뒤에 인공신경망에 입력할 수 있다. 여기서, 전처리는 촬영된 이미지에 행하여지는 모든 종류의 가공을 의미하고, 이미지 정규화(normalization), 이미지 리사이즈(resize), 잘라내기(crop), 노이즈 제거, 이미지 상에 포함된 안개 제거(defogging), 미세먼지 제거, 소금 제거, 물방울 제거 및 이들의 조합 등을 포함할 수 있다. 전처리의 일 예로 안개 제거에 대해 살펴보면, 안개 제거는 안개 낀 지역을 촬영한 이미지를 전처리를 통해 맑은 지역을 촬영한 이미지로 변환하는 것을 의미할 수 있다. 전처리의 다른 예로 정규화에 대해 살펴보면, 정규화는 RGB 이미지의 전체 픽셀의 RGB 값의 평균을 구하고 이를 RGB 이미지로부터 차감하는 것을 의미할 수 있다. 전처리의 또 다른 예로 물방울 제거에 대해 살펴보면, 물방울 제거는 카메라 전면에 맺힌 물방울 등이 촬영된 이미지에서 전처리를 통해 물방울을 제거하거나 비 오는 날 촬영된 빗물을 전처리를 통해 이미지에서 제거하는 것 등을 의미할 수 있다. 이러한 이미지 전처리를 통해 인공신경망의 성능/정확도가 향상될 수 있다.
이상에서는 이미지를 전처리한 후에 인공신경망에 입력하는 방법에 대해 살펴보았다. 이와 다르게, 전처리 과정을 포함한 인공신경망을 학습시켜 이용할 수 있다. 예를 들어, 안개 낀 지역을 촬영한 이미지를 인공신경망의 입력으로 하여도 맑은 지역을 촬영한 이미지를 입력으로 한 경우와 마찬가지의 출력을 얻을 수 있도록 인공신경망을 학습시킬 수 있다.
인공신경망의 출력 데이터/라벨링 데이터는 입력 이미지/학습 이미지와 대응될 수 있다. 또한, 출력 데이터 및 라벨링 데이터는 서로 대응될 수 있다.
출력 데이터 및 라벨링 데이터는 복수의 정보를 포함할 수 있다. 또는, 출력 데이터 및 라벨링 데이터는 복수의 정보를 반영하여 결정될 수 있다.
출력 데이터 및 라벨링 데이터는 각각 복수의 출력값 및 복수의 라벨링값을 포함할 수 있다. 상기 출력값 및 상기 라벨링값은 복수의 정보를 포함할 수 있다. 또는, 상기 출력값 및 상기 라벨링값은 복수의 정보를 반영하여 결정될 수 있다.
출력값 및 라벨링값은 인공신경망에 입력되는 이미지의 픽셀과 대응될 수 있다. 또한, 상기 출력값 및 상기 라벨링값은 서로 대응될 수 있다.
출력값 및 라벨링값의 개수는 입력 이미지의 픽셀 개수와 동일할 수 있다. 예를 들어, 256 x 256 픽셀의 이미지를 입력하는 경우 출력값 및 라벨링값의 개수 또한 256 x 256 = 65536개일 수 있다. 또는, 출력값 및 라벨링값의 개수는 입력 이미지 픽셀 개수의 정수배일 수 있다. 이하에서는 주로 입력 이미지의 픽셀 개수와 출력값 및 라벨링값의 개수가 동일한 경우에 대해 설명하나, 이에 한정되는 것은 아니고 상기 픽셀 개수와 상기 출력값 및 상기 라벨링값의 개수가 상이할 수 있다.
출력 데이터 및 라벨링 데이터는 객체 정보일 수 있다. 여기서, 객체 정보는 이미지에 포함된 객체(object)의 속성에 관한 정보를 의미하고, 객체에 관한 정보라면 그 제한이 없다.
객체는 지형, 건물, 선박, 부표, 사람 등 장애물뿐만 아니라 해양과 같이 선박이 운항할 수 있는 지역 및 하늘과 같이 선박의 운항과 관련이 없을 수 있는 지역을 포함할 수 있다. 정보는 객체의 유무, 종류, 위치, 이동 방향, 이동 속도, 항로 표지 정보 등 그 제한이 없다. 여기서, 항로 표지 정보는 측방 표지, 방위 표지, 고립 장해 표지, 안전수역 표지, 특수 표지, 기타 표지 등을 포함할 수 있다. 또한, 객체의 위치는 객체까지의 거리 및 방향을 포함할 수 있고, 상대적인 위치 또는 절대적인 위치일 수 있다. 객체 정보는 상기 객체 및 상기 정보에 대해 그 일부만 포함할 수 있고, 그 전부를 포함할 수도 있다. 일 예로, 객체 중 장애물에 대한 정보는 장애물 정보라 할 수 있다.
이하에서는 객체 정보 중 위치 정보에 대해 구체적으로 살펴본다.
인공신경망의 학습 단계에서 위치 정보를 학습하는 경우 위치 정보를 추론할 수 있다. 여기서, 위치 정보는 객체의 위치와 관련된 정보를 의미한다. 예를 들어, 위치 정보는 거리 및/또는 방향일 수 있다. 또는, 객체가 존재하는 좌표일 수 있다.
객체의 거리 정보는 이미지를 촬영한 카메라로부터 객체까지의 거리일 수 있다. 또는, 임의의 지점으로부터 객체까지의 거리일 수 있다. 객체의 방향 정보는 이미지를 촬영한 카메라와 객체 사이의 각도일 수 있다. 또는, 임의의 지점과 객체 사이의 각도일 수 있다.
위치 정보는 물체의 상대적인 위치를 의미할 수 있고, 절대적인 위치를 의미할 수도 있다.
이미지 세그멘테이션을 통해 이미지에 포함된 물체까지의 위치 정보를 획득할 수 있다. 또는, 이미지의 픽셀 별 또는 픽셀 그룹별 위치 정보를 획득할 수 있다. 도 5는 일 실시예에 따른 이미지 세그멘테이션에 관한 도면이다. 도 5를 참고하면, 이미지 세그멘테이션을 통해 입력 이미지(110)가 특정 속성별로 분할된 출력 데이터(130)를 획득할 수 있다. 입력 이미지(110)는 2대의 선박, 바다 및 육지를 포함하는 객체를 포함하고, 인공신경망에 상기 입력 이미지(110)를 입력하여 상기 객체가 종류 및 거리에 따라 분할된 출력 데이터(130)를 획득할 수 있다. 예를 들어, 상기 출력 데이터(130)에서 서로 다른 거리 정보를 갖는 2대의 선박은 다르게 표현될 수 있다.
도 5는 이미지 세그멘테이션을 통한 위치 정보 표현 방법의 일 예이다. 이 외에도 다양한 방식으로 위치 정보를 표현할 수 있다. 상기 위치 정보는 거리 정보만 포함할 수도 있고, 거리 정보에 더하여 방향 정보, 물체의 존재 여부, 물체의 종류 등 다른 객체 정보도 함께 포함할 수 있다.
도 6 및 도 7은 일 실시예에 따른 이미지 세그멘테이션에 관한 도면들이다. 이하에서는 위치 정보를 표현하는 실시예들에 대해 도 6 및 도 7을 참고하여 살펴보나, 표현 방법이 이에 한정되는 것은 아니다.
위치 정보는 일정 범위를 갖는 복수의 카테고리로 표현될 수 있다. 예를 들어, 거리 정보는 근거리, 중거리 및 원거리 등으로 표현될 수 있고, 방향 정보는 좌측 방향, 정면 방향 및 우측 방향 등으로 표현될 수 있다. 이를 조합하여 좌측 근거리, 우측 원거리 등으로 표현하는 것도 가능할 것이다.
상기 카테고리는 숫자를 이용하여 표현될 수 있다. 예를 들어, 거리 정보 중 근거리는 -1로, 중거리는 0으로, 원거리는 +1로 표현할 수 있다. 도 6을 참고하면, 256 x 256 픽셀의 이미지를 학습 이미지 및 입력 이미지(110)로 사용하는 경우, 출력 데이터 및 라벨링 데이터는 256 x 256 크기의 행렬일 수 있고, 행렬의 각 원소는 거리 정보에 따라 -1, 0, +1 중 어느 하나의 값을 가질 수 있다.
위치 정보는 실제 거리값 및 방향값으로 표현될 수 있다. 예를 들어, 거리 정보는 미터(m) 단위로 표현되고, 방향 정보는 도(degree) 단위로 표현될 수 있다. 도 6을 참고하면, 거리 정보를 표현하는 출력 데이터 및 라벨링 데이터 행렬의 각 원소는 10m, 15m 등 미터 단위의 거리값을 가질 수 있다.
실제 거리값 및 방향값을 일정 범위의 값으로 변환하여 위치 정보를 표현할 수 있다. 위치 정보는 균일하게 정규화될 수도 있고, 로그 함수나 지수 함수 등을 이용하여 불균일하게 정규화될 수도 있다. 예를 들어, 거리 정보는 0~1 사이의 값으로 정규화하여 표현될 수 있다. 도 6을 참고하면, 거리 정보를 표현하는 출력 데이터 및 라벨링 데이터 행렬의 각 원소는 0~1 사이의 값을 가질 수 있다.
위치 정보를 RGB 값으로 표현할 수 있다. 이 경우, 출력 데이터 및 라벨링 데이터가 RGB 이미지가 되어 별도의 시각화 단계 없이도 사용자가 위치 정보를 쉽게 확인할 수 있다. 도 7을 참고하면, 라벨링 데이터 및 출력 데이터(130)에 포함된 선박 및 지형은 서로 다른 거리 정보로 인해 서로 다른 RGB 값에 대응되어 서로 다른 색으로 표현될 수 있다. 도 6과 비교하여 행렬 관점으로 살펴보면, 라벨링 데이터 및 출력 데이터(130)는 256 x 256 x 3 크기의 행렬일 수 있다.
위치 정보 및 그 외의 객체 정보를 함께 표현할 수 있다. 이하에서는 위치 정보 외의 객체 정보를 추가 정보라 한다.
위치 정보와 독립적으로 추가 정보를 표현할 수 있다. 또는, 위치 정보와 추가 정보를 동시에 반영하여 표현할 수 있다.
위치 정보와 추가 정보를 독립적으로 표현하는 경우, 위치 정보와 추가 정보는 별도의 데이터 세트로 표현될 수 있다. 예를 들어, 256 x 256 픽셀의 이미지를 인공신경망에 입력하는 경우, 위치 정보는 256 x 256 크기의 행렬이고 추가 정보는 256 x 256 크기의 행렬 n 개일 수 있다. 여기서, n은 추가 정보의 개수일 수 있다.
위치 정보와 추가 정보를 동시에 반영하여 표현하는 경우, 위치 정보와 추가 정보가 하나의 데이터 세트로 표현될 수 있다. 예를 들어, 전술한 위치 정보를 일정 범위를 갖는 복수의 카테고리로 표현하는 방법에 장애물 종류를 함께 고려하여 표현할 수 있다. 표 1은 일 실시예에 따른 거리 정보 및 장애물 종류를 함께 고려한 표현 방법이다. 표 1을 참고하면, 거리 정보 및 장애물 종류를 함께 고려하여 클래스를 설정하고, 각 클래스 별로 식별값을 할당할 수 있다. 예를 들어, 거리 정보인 근거리와 장애물 종류 정보인 지형을 함께 고려하여 1번 식별값을 할당할 수 있다. 표 1 및 도 6을 참고하면, 출력 데이터 및 라벨링 데이터 행렬의 각 원소는 1 내지 10의 식별값 중 어느 한 값을 가질 수 있다. 표 1은 거리 정보와 장애물 종류 정보를 함께 고려한 경우의 일 예이고, 이 외에 방향 정보, 장애물 이동 방향, 속도, 항로 표지 등 다른 추가 정보 또한 함께 고려할 수 있다. 또한, 모든 식별값이 복수의 정보를 포함해야 하는 것은 아니고, 같은 종류의 정보를 포함해야 하는 것도 아니다. 예를 들어, 특정 식별값은 거리 정보만 포함하고 다른 식별값은 장애물 종류 정보만 포함하며 또 다른 식별값은 거리 정보와 장애물 종류 정보를 모두 포함하는 등 경우에 따라 다양한 방식으로 표현될 수 있다.
식별값 클래스
1 근거리 + 지형
2 중거리 + 지형
3 원거리 + 지형
4 근거리 + 고정 장애물
5 중거리 + 고정 장애물
6 원거리 + 고정 장애물
7 근거리 + 동적 장애물
8 중거리 + 동적 장애물
9 원거리 + 동적 장애물
10 기타
인공신경망의 정확성을 위해서는 그 학습 과정이 중요하다. 인공신경망은 지도 학습, 비지도 학습, 강화 학습, 모방 학습 등 방법에 제한이 없이 다양한 방식으로 학습될 수 있다.
인공신경망의 정확성 향상을 위하여는 다양한 학습 이미지의 확보가 필요할 수 있다. 다양한 학습 이미지를 이용한 인공신경망의 학습을 통해 다양한 입력 이미지에 대응할 수 있다. 예를 들어, 안개 낀 이미지로부터 이미지 세그멘테이션을 통하여 정보를 획득하기 위해 안개 낀 학습 이미지가 필요할 수 있다. 또는, 비 오는 날의 이미지로 정확한 이미지 세그멘테이션 결과를 얻기 위해 비 오는 날의 이미지를 학습 이미지로 사용하는 것이 필요할 수 있다.
해상 이미지의 경우 선박을 타고 나가 촬영해야 하는 등의 문제로 인해 학습 이미지 확보가 어려울 수 있다. 특히, 인공신경망의 정확도 향상을 위해 다양한 해상 상황을 고려해야 하므로 더욱 어려울 수 있다. 여기서, 해상 상황으로는 해무, 안개, 해면 불요 반사파(sea clutter), 눈, 비 등이 있을 수 있다.
직접 선박을 타고 나가 학습 이미지를 확보하는 방법 외에 데이터 확장(data augmentation)을 통해 학습 이미지를 확보할 수 있다. 여기서, 데이터 확장이란 학습 이미지를 직접 촬영하여 얻는 방법 외의 모든 방법을 의미한다. 일 예로, 프로그램 등을 이용하여 맑은 날의 이미지에 안개를 덧입혀 안개 낀 날의 이미지를 학습 이미지로 확보할 수 있다. 다른 예로, 바다의 색을 임의로 변경하여 지역에 따라 서로 다른 바다의 색을 고려한 학습 이미지를 생성할 수 있다. 도 8은 일 실시예에 따른 데이터 확장에 관한 도면이다. 도 8을 참고하면, 맑은 날의 해상 이미지로부터 안개 낀 날의 이미지, 비 오는 날의 이미지 및 안개 낀 비 오는 날의 이미지를 확보할 수 있다.
인공신경망의 학습 방법에 따라 학습 이미지에 대응되는 라벨링 데이터가 필요한 경우가 존재한다. 예를 들어, 지도 학습의 경우 라벨링 데이터가 필요할 수 있다. 라벨링 데이터는 학습 이미지로부터 생성될 수 있다.
라벨링 데이터는 인공신경망을 학습시키는 목적에 따라 다양한 종류의 정보를 포함할 수 있다. 일 예로, 라벨링 데이터는 이미지의 픽셀 별 및/또는 픽셀 그룹별로 대응되는 위치 정보를 포함하거나, 이미지의 영역별 대응되는 위치 정보를 포함할 수 있다. 또는, 이미지에 포함된 물체의 위치 정보를 포함할 수 있다. 전술한 위치 정보를 표현하는 방법에 따라 라벨링 데이터의 표현 방법이 달라질 수 있으므로 이를 고려하여 라벨링 데이터를 생성해야 할 수 있다.
거리 정보를 포함하는 라벨링 데이터의 획득에 대해 보다 구체적으로 살펴본다. 거리 정보는 깊이 카메라(depth camera)를 이용하여 획득할 수 있다. 여기서, 깊이 카메라는 스테레오 방식(stereo type), 구조화된 패턴 방식(structured pattern type), 비행시간 방식(TOF type) 등일 수 있고, 이 중 둘 이상의 방식을 혼합하여 사용할 수도 있다. 깊이 카메라로부터 이미지의 각 픽셀 별 거리 정보를 획득하여 하나의 라벨링 데이터를 생성할 수 있다. 이 외에도 거리 정보를 얻을 수 있는 다양한 방법이 이용될 수 있다.
거리 정보 외에 추가 정보를 더 포함하도록 라벨링 데이터를 생성할 수 있다. 거리 정보와 추가 정보를 독립적으로 포함하는 라벨링 데이터를 생성하는 경우에는 전술한 방법을 그대로 사용할 수 있다. 거리 정보와 추가 정보를 함께 고려하여 하나의 값으로 표현하는 경우에는 표 1과 같이 깊이 카메라 등을 통하여 획득한 거리 정보 및 추가 정보가 함께 고려된 변형된 자료가 라벨링 데이터가 될 수 있다.
라벨링 데이터는 사용자에 의해 수동으로 생성될 수 있다. 또는, 라벨링 데이터는 이를 생성하는 인공신경망이나 기타 알고리즘을 통해 생성될 수 있다. 예를 들어, 이미 학습된 제1 인공신경망의 출력을 학습시키려는 제2 인공신경망의 라벨링 데이터로 이용할 수 있다. 도 9는 일 실시예에 따른 제1 인공신경망의 출력을 라벨링 데이터로 이용하여 제2 인공신경망을 학습시키는 방법에 관한 도면이다. 도 9를 참고하면, 가시광선 이미지를 입력받아 이미지 세그멘테이션을 수행하는 학습된 제1 인공신경망 및 적외선 이미지를 입력받아 이미지 세그멘테이션을 수행하는 학습되지 않은 제2 인공신경망이 존재할 수 있다. 동일한 장면에 대해 가시광선 이미지 및 적외선 이미지를 획득하고 이를 각각 제1 인공신경망 및 제2 인공신경망에 입력하는 경우 제1 인공신경망의 출력은 정확한 세그멘테이션 결과이고 제2 인공신경망의 출력은 부정확한 결과일 수 있다. 제1 인공신경망의 출력을 제2 인공신경망의 라벨링 데이터로 하여 제2 인공신경망의 출력과 비교하고 그 오차를 제2 인공신경망에 역전파 하여 제2 인공신경망을 학습시킬 수 있다.
자동 생성된 정보는 차후에 보정되어 라벨링 데이터로 이용될 수 있다. 예를 들어, 깊이 카메라로부터 획득한 각 픽셀 별 거리 정보를 보정한 후 이 보정된 자료를 바탕으로 라벨링 데이터를 생성할 수 있다. 여기서, 정보의 보정은 더욱 정확한 값을 의미할 수 있다. 일 예로, 거리 정보의 보정은 더욱 정확한 거리값을 의미할 수 있다.
의도적으로 정보를 왜곡하여 라벨링 데이터를 생성할 수 있다. 예를 들어, 깊이 카메라로부터 획득한 거리 정보를 의도적으로 왜곡하여 라벨링 데이터에 반영할 수 있다. 부표 등과 같은 작은 장애물의 경우 실제 크기보다 크게 라벨링 할 수 있다. 이로 인해 인공신경망이 작은 장애물을 잘 감지할 수 있도록 학습될 수 있다.
인공신경망의 정확성 향상을 위한 다른 방법은 적절한 오차 역전파 방법을 채택하는 것일 수 있다. 오차(손실, loss)란 인공신경망의 정확성을 나타낼 수 있는 척도로, 인공신경망의 출력 데이터 및 라벨링 데이터의 차이를 의미할 수 있다.
출력 데이터의 총 오차는 출력 데이터의 출력값 당 오차를 이용해 산출될 수 있다. 또는, 출력 데이터의 총 오차는 출력 데이터의 출력값 당 오차의 함수로 표현될 수 있다. 오차는 평균제곱오차(mean squared error), 교차 엔트로피 오차(cross entropy error) 등 다양한 방식으로 정의될 수 있다. 예를 들어, 상기 총 오차는 상기 출력값 당 오차의 합일 수 있다. 또는, 상기 총 오차는 상기 출력값 당 오차에 일정한 값(가중치)을 고려하여 산출될 수 있다. 일 예로, 상기 출력값 당 오차에 가중치를 곱한 값의 합으로 상기 총 오차를 산출할 수 있다.
출력 데이터에 포함된 정보를 반영하여 총 오차를 산출할 수 있다. 예를 들어, 출력 데이터에 포함된 객체의 종류 정보를 반영하여 총 오차를 산출할 수 있다. 아래 식 1은 표 1과 같이 객체의 종류 정보를 반영하여 산출된 총 오차의 일 예이다.
식 1
Figure 112021041788601-pat00001
여기서,
Figure 112021041788601-pat00002
이고, Pclass는 객체를 구성하는 픽셀의 개수, c는 하이퍼 파라미터(hyper parameter), Ec는 식별값이다.
총 오차 계산 시 모든 출력값의 오차를 고려할 수 있다. 또는, 총 오차 계산 시 일부 출력값의 오차만 고려하고 다른 출력값의 오차는 고려하지 않을 수 있다. 예를 들어, 출력값이 객체의 종류에 대한 정보를 포함하는 경우 일부 객체의 오차만 고려하고 다른 객체의 오차는 고려하지 않을 수 있다. 여기서, 고려되는 객체는 운항에 필요한 객체이고 고려되지 않는 객체는 운항에 필요하지 않은 객체일 수 있다. 또한, 운항에 필요한 객체는 장애물일 수 있고 운항에 필요하지 않은 객체는 하늘일 수 있다.
인공신경망의 정확성 향상을 위한 또 다른 방법으로 조건에 따라 다른 인공신경망을 사용할 수 있다. 예를 들어, 바다의 색에 따라 이용되는 인공신경망을 달리할 수 있다. 또는, 지역에 따라 인공신경망을 달리할 수 있다. 인공신경망의 선택은 사용자에 의해 수동으로 이루어지거나 자동으로 이루어질 수 있다. 예를 들어, GPS를 이용하여 지역을 탐지한 뒤에 지역에 따라 자동으로 인공신경망을 변경할 수 있다. 또는, 바다의 색을 센서 등으로 감지하여 자동으로 인공신경망을 변경할 수 있다.
학습 이미지/입력 이미지를 획득하기 위하여 선박에 카메라를 설치할 수 있다. 상기 선박은 운항하는 선박 또는 자율 운항하는 선박일 수 있다. 또는, 상기 선박은 운항하는 선박이나 자율 운항하는 선박 이외의 선박일 수 있다. 또한, 카메라는 선박 외에 항만, 육지 등 그 위치에 제한없이 설치될 수도 있다.
카메라가 선박에 설치되는 경우, 카메라가 설치되는 위치에 제한은 없다. 카메라는 선박의 전면, 측면, 후면 등 임의의 위치에 설치될 수 있다. 또한, 카메라는 선박의 전방을 향하여 설치될 수 있고, 측방이나 후방을 향하여 설치될 수도 있다.
카메라에 따라 감지 범위가 달라질 수 있다. 예를 들어, 카메라의 렌즈 및/또는 초점 거리에 따라 카메라가 감지할 수 있는 거리 및/또는 각도(시야각, field of view, FOV)가 달라질 수 있다. 선박의 크기, 목적 등에 따라 카메라의 감지 범위가 달라질 수 있다. 일 예로, 대형 선박의 경우 소형 선박에 비해 감지 거리가 먼 카메라가 설치될 수 있다.
선박에는 단일한 카메라가 설치될 수 있다. 또는, 복수의 카메라가 설치될 수 있다. 복수의 카메라를 사용함에 따라 단일한 카메라를 사용하는 경우보다 감지 범위가 증가할 수 있다. 예를 들어, FOV가 넓어지거나 탐지 영역이 증가할 수 있다. 또는, 복수의 카메라를 사용함에 따라 주변 환경 감지의 정확도가 향상될 수 있다.
복수의 카메라는 서로 다른 위치에 설치될 수 있다. 예를 들어, 제1 카메라는 선박의 전면에, 제2 카메라는 선박의 후면에 설치될 수 있다. 또는, 복수의 카메라는 서로 높이를 달리하여 설치될 수 있다. 예를 들어, 제1 카메라의 상부에 제2 카메라가 설치될 수 있다.
복수의 카메라의 감지 영역은 서로 다를 수 있다. 이로 인해 단일한 카메라를 설치하는 경우보다 주변 환경 감지에 효과적일 수 있다. 일 예로, 제1 카메라는 선박 근처의 영역을 감지하고, 제2 카메라는 선박에서 먼 영역을 감지할 수 있다. 구체적 예시로, 광각 렌즈가 탑재되어 근거리(예를 들어, 0~150m)를 감지하는 제1 카메라 및 줌 렌즈가 탑재되어 원거리(예를 들어, 150~300m)를 감지하는 제2 카메라를 함께 이용하면 근거리 및 원거리(예를 들어, 0~300m)를 모두 감지할 수 있다. 다른 예로, 제1 카메라는 선박 전방 영역을 감지하고, 제2 카메라는 선박 측방 영역을 감지하며, 제3 카메라는 선박 후방 영역을 감지할 수 있다. 또 다른 예로, 제1 카메라는 선박의 좌측 전방 영역을 감지하고, 제2 카메라는 선박의 우측 전방 영역을 감지할 수 있다. 복수의 카메라의 감지 범위는 일부 중첩될 수 있다.
복수의 카메라를 이용하는 경우, 복수의 카메라 각각이 생성하는 이미지를 하나의 이미지로 정합한 후에 인공신경망에 입력하여 이미지 세그멘테이션을 수행할 수 있다. 또는, 복수의 카메라 각각이 생성하는 이미지 중 일부를 정합한 후 이미지 세그멘테이션을 수행할 수 있다.
또는, 복수의 카메라 각각이 생성하는 이미지를 개별적으로 인공신경망에 입력하여 이미지 세그멘테이션을 수행할 수 있다. 거리 정보를 근거리, 중거리 및 원거리로 표현하는 이미지 세그멘테이션을 예로 들면, 0~150m 거리를 감지하는 제1 카메라가 생성한 제1 이미지 및 150~300m 거리를 감지하는 제2 카메라가 생성한 제2 이미지로 이미지 세그멘테이션을 수행하는 경우, 제1 이미지로부터 근거리(예를 들어, 0~50m), 중거리(예를 들어, 50~100m) 및 원거리(예를 들어, 100~150m) 결과를 획득하고 제2 이미지로부터 근거리(예를 들어, 150~200m), 중거리(예를 들어, 200~250m) 및 원거리(예를 들어, 250~300m) 결과를 획득하여 총 6단계의 거리 범위를 산출하는 이미지 세그멘테이션 결과를 획득할 수 있다.
선박의 크기, 목적 등에 따라 설치되는 카메라의 개수가 달라질 수 있다. 예를 들어, 대형 선박의 경우 소형 선박보다 더 많은 개수의 카메라가 설치될 수 있다.
선박에 카메라를 설치하는 경우 선박의 종류, 카메라의 설치 위치 등 다양한 이유로 인해 초기 세팅이 필요할 수 있다. 여기서, 초기 세팅이란 카메라 영상/이미지에 나오는 픽셀이나 인공신경망을 이용한 이미지 세그멘테이션의 결과가 정상이 되도록 설정하는 것을 의미할 수 있다.
초기 세팅의 방법으로, 사용자에게 적당한 설치 가이드를 준 뒤에 AIS/레이더의 결과값과 오차를 비교하여 모듈이 자체적으로 카메라의 위치 및 오리엔테이션을 파악하도록 할 수 있다.
또는, 일단 카메라를 설치한 후 시험 주행의 결과에 따라 오차를 최소화하는 방향으로 카메라의 세팅값을 산출하고 이후 이를 주변 환경 감지에 이용할 수 있다. 특히, 전자해도의 지형지물 등과 이미지 세그멘테이션의 결과값 간의 상관관계 등에 기초하여 오차를 최소화하는 방향으로 세팅값을 찾아갈 수 있다. 이후 찾아진 결과값이 예를 들어, 카메라가 너무 하방으로 설치되어 충분한 거리를 보지 못하는 경우 등에는 경고를 주고 재설치를 유도할 수 있다.
카메라가 촬상한 이미지를 이미지 세그멘테이션의 입력 이미지로 이용하는 경우의 처리 방법에 대해 살펴본다.
카메라는 일정 시간 간격으로 이미지를 촬영할 수 있다. 상기 시간 간격은 고정될 수 있고, 다이나믹하게 변경될 수도 있다.
카메라의 이미지 획득 주기와 이미지 세그멘테이션의 동작 주기가 다를 수 있다. 예를 들어, 이미지 세그멘테이션은 카메라를 통해 획득되는 이미지 중 일부에 대해서만 수행될 수 있다. 카메라가 초당 60프레임의 이미지를 획득하는 경우 이미지 세그멘테이션은 이 중 10프레임의 이미지에 기초하여 수행될 수 있다. 일부의 이미지를 선택하는 방법으로 임의의 이미지를 선택하는 방법이 이용될 수 있다. 또는, 촬영된 이미지 중 선명한 이미지를 선택할 수 있다. 또는, 복수 프레임의 이미지를 합성하여 하나의 이미지로 변환한 후 이미지 세그멘테이션을 수행할 수 있다. 예를 들어, 고조도 이미지와 저조도 이미지를 합성한 이미지로 세그멘테이션을 수행할 수 있다.
한 번의 이미지 세그멘테이션을 수행하기 위해 하나의 이미지가 사용될 수 있지만, 복수의 이미지가 사용될 수도 있다. 여기서, 복수의 이미지는 동일한 카메라 또는 서로 다른 카메라로 촬상한 이미지일 수 있다.
서로 다른 카메라로 촬상한 이미지를 이용하여 이미지 세그멘테이션을 수행하는 경우, 각 카메라의 감지 범위는 서로 다를 수 있다. 예를 들어, 제1 카메라는 근거리, 제2 카메라는 원거리를 촬상할 수 있다.
이미지 세그멘테이션 외에 다른 방식으로 주변 환경을 감지할 수 있다. 예를 들어, 레이더, 라이다, 초음파 탐지기 등 장애물 감지 센서를 이용해 주변 환경을 감지하거나, 상기 장애물 감지 센서로 획득한 정보를 인공신경망을 통해 가공하여 주변 환경을 감지할 수 있다. 이하에서는 이미지 세그멘테이션 결과 획득한 위치 정보는 제1 위치 정보, 이 외의 방식으로 획득한 위치 정보는 제2 위치 정보라 한다.
카메라로 촬상된 이미지의 경우, 카메라의 종류 및 위치(높이, 각도 등) 등을 포함하는 세팅 정보를 이용하여 이미지의 픽셀당 위치 정보를 획득할 수 있다. 획득한 위치 정보는 카메라의 위치 또는 임의의 기준에 대한 상대적인 위치일 수 있고, 절대적인 위치일 수도 있다.
도 10은 일 실시예에 따른 이미지 픽셀을 이용한 위치 정보 획득에 관한 도면이다. 도 10을 참고하면, 이미지의 좌우 방향은 픽셀의 각도, 상하 방향은 픽셀까지의 거리에 대응될 수 있다. 픽셀 A의 경우 좌측으로 약 30°, 거리는 약 15m 떨어진 것으로 볼 수 있고, 픽셀 B의 경우 우측으로 약 10°, 거리는 약 20m 떨어진 것으로 볼 수 있다.
카메라의 자세에 따라 전술한 위치 정보의 오차가 발생할 수 있다. 예를 들어, 카메라의 초기 설치 자세가 차후에 변경되어 오차가 발생할 수 있다. 카메라의 설치 자세를 반영하여 상기 위치 정보를 보정할 수 있다.
카메라가 설치된 물체의 움직임(자세)에 따라 위치 정보의 오차가 발생할 수 있다. 예를 들어, 카메라가 선박에 설치된 경우 선박의 롤(roll), 피치(pitch) 등에 따라 이미지의 픽셀당 위치 정보가 달라질 수 있다. 정확한 위치 정보의 획득을 위해 선박의 자세와 같은 카메라가 설치된 물체의 자세를 고려할 수 있다. 예를 들어, 선박에 탑재된 관성 측정 장치(inertial measurement unit, IMU)로부터 선박의 선수 방향(heading 또는 yaw), 피치, 롤 등 선박의 자세에 관한 정보를 획득하고 이를 반영하여 이미지의 픽셀당 위치 정보를 획득할 수 있다. 도 11은 일 실시예에 따른 선박의 자세를 반영한 위치 정보 획득에 관한 도면이다. 도 11에서는 선박의 피치만 고려하였다. 선박의 선수가 위 방향을 보는 경우와 아래 방향을 보는 경우를 비교하면 이미지 상의 동일한 위치이더라도 대응되는 거리가 달라질 수 있다. 도 11을 참고하면, 픽셀 A와 픽셀 B 모두 이미지의 중앙부이나 픽셀 A의 거리는 40m, 픽셀 B의 거리는 10m로 차이 날 수 있다. 따라서, 관성 측정 장치 등을 통해 선박의 피치를 고려하지 않는 경우 거리 정보가 부정확할 수 있다.
이미지 세그멘테이션 및 이미지 세그멘테이션 외의 방법을 융합하여 주변 환경을 감지할 수 있다. 또는, 이미지 세그멘테이션 외의 방법을 통해 이미지 세그멘테이션으로 획득한 정보를 보정할 수 있다. 여기서, 보정한다는 의미는 절대적으로 정확한 정보를 얻는다는 뜻으로 한정되는 것은 아니고, 정보가 변한다는 의미를 포함한다.
이하에서는 제1 위치 정보 및 제2 위치 정보의 융합에 대해 구체적으로 살펴본다.
도 12는 일 실시예에 따른 최종 위치 정보 획득에 관한 블록도이다. 도 12를 참고하면, 이미지 세그멘테이션(S1500)을 통해 제1 위치 정보를 획득하고, 그 외의 방법으로 제2 위치 정보를 획득한 후 이를 고려하여 최종 위치 정보를 획득할 수 있다.
이미지 세그멘테이션의 출력 데이터의 모든 출력값에 대하여 위치 정보를 융합해야 하는 것은 아니다. 일부 출력값은 제1 위치 정보와 제2 위치 정보를 이용하여 최종 위치 정보를 획득하고, 다른 출력값은 제1 위치 정보 및 제2 위치 정보 중 어느 하나만을 이용하여 최종 위치 정보를 획득할 수 있다. 예를 들어, 이미지 세그멘테이션을 통하여 얻은 물체의 종류에 따라 위치 정보 융합 여부를 결정할 수 있다. 장애물에 대하여는 위치 정보를 융합하고, 바다와 같은 운항 가능 영역에 대하여는 위치 정보를 융합하지 않을 수 있다.
제1 위치 정보 및 제2 위치 정보의 종류는 다를 수 있다. 예를 들어, 제1 위치 정보는 거리 정보, 제2 위치 정보는 방향 정보만 담고 있을 수 있다. 이 경우 제1 위치 정보 및 제2 위치 정보를 합하여 최종 위치 정보를 획득할 수 있다.
제1 위치 정보 및 제2 위치 정보가 동일한 종류의 정보를 포함하고 있을 수 있다. 이 경우 제1 위치 정보 및 제2 위치 정보가 정합할 수 있고, 정합하지 않을 수 있다.
위치 정보가 정합하는 경우는 제1 위치 정보와 제2 위치 정보가 동일하거나 비슷한 경우, 또는 오차 범위 이내인 경우일 수 있다. 예를 들어, 제1 위치 정보가 거리 영역으로 표현되고, 제2 위치 정보가 제1 위치 정보의 거리 영역 내에 포함되는 경우일 수 있다. 최종 위치 정보는 제1 위치 정보 및 제2 위치 정보 중 어느 하나일 수 있다. 또는, 최종 위치 정보는 제1 위치 정보를 제2 위치 정보로 보정한 값일 수 있다.
도 13은 일 실시예에 따른 위치 정보가 정합하는 경우의 최종 위치 정보 획득에 관한 도면이다. 제1 위치 정보는 거리 영역으로 표현되고, 출력값이 -1인 경우 10m 미만의 거리, 0인 경우 10m 이상 20m 이하의 거리, 1인 경우 20m 초과의 거리를 의미하며, 제2 위치 정보는 m 단위의 거리값으로 표현된다. 최종 위치 정보는 제1 위치 정보 및 제2 위치 정보를 반영하여 거리 영역으로 표현된다. 일 예로, 제1 위치 정보는 최종 위치 정보의 최대값을 결정하고, 제2 위치 정보는 최종 위치 정보의 최소값을 결정할 수 있다. 중앙의 출력값을 보면, 제1 위치 정보는 0, 제2 위치 정보는 14m이고, 제1 위치 정보에 의해 최대값 20m가 결정되고, 제2 위치 정보에 의해 최소값 14m가 결정되어, 최종 위치 정보는 14~20m의 거리 범위일 수 있다.
다른 예로, 제1 위치 정보 및 제2 위치 정보 모두 거리값으로 표현되고 상기 제1 위치 정보 및 상기 제2 위치 정보가 정합하는 경우가 있을 수 있다. 이때 최종 위치 정보는 제1 위치 정보 및 제2 위치 정보 중 어느 하나일 수 있다. 또는, 최종 위치 정보는 제1 위치 정보 및 제2 위치 정보의 평균일 수 있다. 이 외에도 제1 위치 정보 및 제2 위치 정보를 특정 비율로 섞는 등 다양한 방법이 이용될 수 있다.
위치 정보가 정합하지 않는 경우는 제1 위치 정보와 제2 위치 정보가 다른 경우, 또는 오차 범위 밖인 경우일 수 있다. 이때 최종 위치 정보는 제1 위치 정보 및 제2 위치 정보 중 어느 하나일 수 있다. 예를 들어, 최종 위치 정보는 제1 위치 정보 및 제2 위치 정보 중 더 작은 값일 수 있다. 또는, 위치 정보가 부정합 하는 출력값에 대하여 해당 출력값의 위치 정보를 모르는 값(unknown value)으로 둘 수 있다. 또는, 위치 정보가 부정합 하는 출력값이 존재하는 경우 해당 출력 데이터의 모든 출력값에 대해 위치 정보를 모르는 값으로 둘 수 있다.
도 14는 일 실시예에 따른 위치 정보가 부정합 하는 경우의 최종 위치 정보 획득에 관한 도면이다. 도 14는 도 13과 같은 방식으로 제1 위치 정보 및 제2 위치 정보를 표현하였다. 도 14를 참고하면, 왼쪽 위의 하이라이트 된 출력값이 부정합하고, 제1 위치 정보를 우선시하여 최종 위치 정보로 선택하였다.
이미지 세그멘테이션을 수행하는 경우 제2 위치 정보를 이미지와 함께 입력 데이터로 사용할 수 있다. 도 15는 일 실시예에 따른 최종 위치 정보 획득에 관한 도면이다. 도 15를 참고하면, 이미지 세그멘테이션(S1500)의 입력으로 이미지 및 제2 위치 정보를 이용하여 최종 위치 정보를 획득할 수 있다. 인공신경망으로 이미지 세그멘테이션(S1500)을 수행하는 경우, 제2 위치 정보는 이미지와 같은 단계에서 입력될 수도 있고, 다른 단계에서 입력될 수도 있다. 예를 들어, 인공신경망이 순차적인 복수의 레이어를 포함하는 경우, 이미지는 첫 레이어부터 입력되고, 제2 위치 정보는 다른 레이어부터 입력될 수 있다. 그 결과, 이미지에 대하여는 모든 레이어의 연산이 수행되고, 제2 위치 정보에 대하여는 하나 이상의 레이어에 대한 연산 수행이 제외될 수 있다.
이상에서는 하나의 최종 위치 정보를 얻기 위해 하나의 제1 위치 정보와 하나의 제2 위치 정보를 사용하는 경우에 대해 설명하였으나 이에 한정되는 것은 아니고 하나의 최종 위치 정보를 얻기 위해 복수의 제1 위치 정보 및/또는 복수의 제2 위치 정보를 사용할 수 있다. 또한, 제2 위치 정보가 실제 거리값으로 표현된다고 가정하고 설명하였으나 이에 한정되는 것은 아니다.
경로 계획 단계는 객체 정보를 입력받아 선박이 추종해야 하는 경로(이하 '추종 경로'라 함)를 출력하는 단계를 의미할 수 있다. 도 16은 일 실시예에 따른 경로 계획 단계에 관한 블록도이다. 도 16을 참고하면, 객체 정보 외에 선박의 출발점, 도착점, 선박 상태 정보, 기상 환경 정보 및 운항 규칙 등을 입력받아 경로 계획 단계(S3000)를 통해 추종 경로를 출력할 수 있다.
출발점과 도착점은 선박의 최초 출발 위치 및 최종 도착 위치일 수 있지만 이에 한정되는 것은 아니다. 예를 들어, 출발점 및 도착점은 해상에서의 임의의 위치일 수 있다. 또는, 출발점은 선박의 현재 위치, 도착점은 최종 도착 위치일 수 있다. 또는, 출발점은 선박의 현재 위치, 도착점은 장애물 지도상의 임의의 위치일 수 있다.
선박 상태 정보는 선박의 위치, 속력, 자세 정보 등 선박에 관한 정보를 의미한다. 여기서, 자세 정보는 선수 방향, 피치, 롤 등 선박의 자세에 관한 정보를 의미한다.
기상 환경 정보는 조류, 바람, 파도 등과 같은 기상 환경과 관련된 정보를 의미한다.
운항 규칙은 선박 운항 시 지켜야 하는 약속이나 법규 등을 의미한다. 일 예로, 운항 규칙은 국제해상충돌예방규칙(international regulations for preventing collisions at sea, COLREG) 일 수 있다.
추종 경로는 선박이 추종하는 경로로, 선박이 지나가는 위치를 나타내는 중간 지점(waypoint) 일 수 있다. 또는, 선박이 지나가는 경로일 수 있다.
항로 표시의 정보를 반영하여 추종 경로를 생성할 수 있다. 여기서, 항로 표시는 이미지 세그멘테이션 등 주변 환경 감지를 통해 획득할 수 있다.
전술한 입력 정보는 일 예로, 경로 계획 단계에서 입력받는 정보는 전술한 정보를 모두 포함할 수도 있고, 그중 일부만 포함할 수도 있으며, 그 외의 정보를 포함할 수도 있다.
경로 계획 단계는 하나의 알고리즘 또는 인공신경망을 통해 구현될 수 있다. 예를 들어, 객체 정보를 입력하면 추종 경로를 출력하는 인공신경망을 학습시켜 이용할 수 있다. 또는, 복수의 알고리즘 또는 인공신경망을 이용할 수도 있다.
경로 계획 단계는 장애물 지도 업데이트 단계 및 경로 생성 단계를 포함할 수 있다. 도 17은 일 실시예에 따른 경로 계획 단계에 관한 블록도이다. 장애물 지도 업데이트 단계(S3500)는 객체 정보를 입력받아 장애물 지도(obstacle map)를 출력하고, 경로 생성 단계(S3700)는 장애물 지도를 입력받아 추종 경로를 출력할 수 있다.
도 18은 일 실시예에 따른 장애물 지도 업데이트 단계에 관한 블록도이다. 도 18을 참고하면, 객체 정보, 조류, 바람 등과 같은 기상 환경 정보 및 운항 규칙을 고려하여 장애물 지도를 업데이트할 수 있다.
객체 정보는 이미지 세그멘테이션을 통해 획득한 것에 한정되는 것은 아니고, 레이더, 라이다 등 다른 센서를 통해 획득한 객체 정보 또한 장애물 지도 업데이트 단계의 입력이 될 수 있다. 이들의 일부 또는 전부가 조합되는 것도 가능하다.
장애물 지도는 객체 정보를 표현하는 수단을 의미한다. 일 예로, 장애물 지도는 격자 지도(grid map) 일 수 있다. 상기 격자 지도는 공간을 단위 영역으로 나누고 각 단위 영역별로 객체 정보를 표시할 수 있다. 다른 예로, 장애물 지도는 벡터 지도(vector map) 일 수 있다. 장애물 지도는 2차원에만 한정되는 것은 아니고 3차원 장애물 지도 등도 가능하다. 한편, 장애물 지도는 출발 지점부터 도착 지점까지 선박의 운항과 관련된 모든 지역을 표현하는 전역 지도(global map) 또는 선박 주변의 일정 지역을 표현하는 지역 지도(local map) 일 수 있다.
장애물 지도는 복수의 단위 영역을 포함할 수 있다. 상기 복수의 단위 영역은 분류 기준에 따라 다양하게 표현될 수 있다. 예를 들어, 장애물 지도는 운항 가능 영역, 운항 불가 영역 및 운항 가부를 판단할 수 없는 미확인 영역을 포함할 수 있다. 구체적으로, 운항 가능 영역은 장애물이 존재하지 않는 지역이거나 장애물이 존재할 가능성이 낮은 지역에 대응되는 영역일 수 있고, 운항 불가 영역은 장애물이 존재하는 지역이거나 장애물이 존재할 가능성이 높은 지역에 대응되는 영역일 수 있다. 또는, 운항 가능 영역은 운항에 적합한 지역에 대응되는 영역일 수 있고, 운항 불가 영역은 운항에 부적합한 지역에 대응되는 영역일 수 있다. 미확인 영역은 운항 가능 영역 및 운항 불가 영역을 제외한 영역일 수 있다.
다른 예로, 장애물 지도는 카메라나 장애물 감지 센서 등의 감지 범위에 속하는 지역에 대응되는 영역 및 대응되지 않는 영역을 포함할 수 있다. 여기서, 카메라의 감지 범위는 시야각으로 표현할 수도 있다. 상기 감지 범위에 속하는 지역에 대응되는 영역은 탐지 영역 및 그 외의 영역인 미 탐지 영역을 포함할 수 있다. 단위 영역은 카메라나 장애물 감지 센서 등으로 객체 정보를 획득할 수 있는지에 따라 탐지 영역과 미 탐지 영역으로 나뉠 수 있다. 또는, 단위 영역은 카메라나 장애물 감지 센서 등으로 획득되는 개체 정보의 정확도에 따라 탐지 영역과 미 탐지 영역으로 나뉠 수 있다. 예를 들어, 장애물에 의해 폐색된(occluded) 지역은 미 탐지 영역에 대응될 수 있다.
또는, 장애물 지도는 업데이트 여부에 따라 업데이트 영역 및 그 외의 영역을 포함할 수 있다.
장애물 지도의 각 단위 영역에는 가중치가 할당될 수 있다. 상기 가중치는 운항 적합도를 반영할 수 있다. 예를 들어, 바다와 같이 운항하기에 적합한 지역에 대응되는 단위 영역의 경우 높은 값의 가중치가 할당되고, 선박 등과 같은 장애물이 존재하여 운항하기에 부적합한 지역에 대응되는 단위 영역의 경우 낮은 값의 가중치가 할당될 수 있다. 이와 반대로 운항 적합도가 높을수록 낮은 가중치를 할당할 수도 있다.
이하에서는 주로 2차원 격자 지도 상에 장애물이 표현되는 것을 중점적으로 설명하지만 이에 한정되는 것은 아니다.
또한, 업데이트라는 용어는 생성을 포함하는 개념으로 해석될 수 있다. 예를 들어, 현재 프레임의 장애물 지도를 업데이트하는데 이전 프레임의 장애물 지도가 없는 경우, 장애물 지도를 업데이트한다는 것은 장애물 지도를 생성한다고 해석될 수 있다.
장애물 지도에는 객체 정보가 표현될 수 있다. 예를 들어, 객체의 존재 여부에 대하여 표시할 수 있다. 또한, 객체의 종류, 위치, 이동 방향, 속도, 항로 표지 정보 등 다양한 정보를 표현할 수 있다. 장애물 지도상에 장애물에 대하여만 표시할 수도 있다. 장애물의 존부로 표현할 수 있고, 장애물 존재 확률로 표현할 수도 있다. 또는, 일정 범위의 숫자를 이용하여 가중치로 표현할 수도 있다.
장애물을 가중치로 표현하는 경우, 가중치를 복수의 수치 범위로 분류할 수 있다. 각 수치 범위는 운항 가능 영역, 운항 불가 영역 및 미확인 영역에 대응될 수 있다. 도 19는 일 실시예에 따른 장애물 지도에 관한 도면이다. 도 19는 2차원 격자 지도의 일 예로, 도 19(a)를 참고하면, 각 격자/단위 영역에 장애물의 존재 여부/운항 적합 여부를 0~255 사이의 정수를 가중치로 하여 표현하였다. 값이 작을수록 장애물 존재 확률이 높거나 운항에 부적합한 것을 의미하고, 값이 없는 단위 영역은 255의 가중치를 갖는 영역이다. 운항 불가 영역은 0~a, 미확인 영역은 a+1~b, 운항 가능 영역은 b+1~255의 가중치에 대응될 수 있다. 여기서, a 및 b는 0≤a<b≤254를 만족하는 정수이다. 예를 들어, 운항 불가 영역은 가중치 0에, 운항 가능 영역은 가중치 255에, 미확인 영역은 1~254의 가중치에 대응될 수 있다. 또는, 운항 불가 영역은 0~50, 미확인 영역은 51~200, 운항 가능 영역은 201~255에 대응될 수 있다. 도 19(b)를 참고하면, 가중치로 표현된 장애물 지도를 시각화할 수 있다. 예를 들어, 무채색의 명도를 조절하여 장애물 지도를 표현할 수 있다. 도 19(b)에서는 가중치가 작을수록 명도를 낮게 하여 표현하였다. 단위 영역에 가중치를 할당하는 구체적인 방법에 대하여는 후술하기로 한다.
장애물 지도 업데이트를 위한 객체 정보는 상기 객체 정보를 획득한 수단의 속성에 기초한 정보일 수 있다. 예를 들어, 이미지 세그멘테이션을 통해 획득한 장애물의 위치 정보는 상기 이미지 세그멘테이션에 입력되는 이미지를 촬영한 카메라에 대한 상대적인 위치 정보일 수 있다. 상기 상대적인 위치 정보는 장애물 지도에 반영되기 위하여 장애물 지도상에서의 위치 정보로 변환될 수 있다. 상대적인 위치 정보 및 장애물 지도상에서의 위치 정보 모두 장애물 지도 업데이트 시 이용될 수 있고, 이 중 하나만 이용될 수도 있다. 이하에서는 장애물 지도상에서의 좌표를 절대 좌표라 한다.
GPS, IMU, 선박/카메라의 방향 정보 등을 이용해 절대 좌표를 획득할 수 있다. 도 20은 일 실시예에 따른 위치 정보 변환 단계에 관한 블록도이다. 도 20을 참고하면, 선박에 설치된 GPS로 산출된 선박의 위치/카메라의 위치, IMU를 통한 선박의 자세 정보 및 카메라 설치 정보를 통한 카메라 자세 정보를 통해 장애물의 위치 정보를 절대 좌표로 변환할 수 있다.
장애물 지도를 업데이트하는 경우 전체 장애물 지도를 업데이트할 수 있다. 또는, 장애물 지도의 일부 영역에 대하여만 업데이트할 수 있다.
업데이트 영역은 업데이트 거리 및 업데이트 각도에 기초하여 정의될 수 있다. 도 21은 일 실시예에 따른 업데이트 영역에 관한 도면으로, 출발점 A, 도착점 B 및 선박의 현재 위치 C를 포함하는 전역 지도(310) 및 지역 지도(330)를 나타낸다. 지역 지도(330) 중 업데이트 거리 r 및 업데이트 각도 θ에 의해 업데이트 영역(331)을 정의할 수 있다.
업데이트 영역은 선박의 위치, 선수 방향 등에 따라 결정될 수 있다. 또는, 업데이트 영역은 카메라, 레이더, 라이다 등 장애물 감지 센서에 따라 결정될 수 있다. 예를 들어, 업데이트 영역은 카메라의 화각 및/또는 최대 관측 거리에 의해 결정될 수 있다. 카메라의 화각에 의해 업데이트 각도가 결정되고 최대 관측 거리에 의해 업데이트 거리가 결정될 수 있다. 또는, 업데이트 영역은 선박 주위의 일정 영역일 수 있다. 업데이트 영역은 장애물 발견 후 회피 기동을 하기 위한 최소 영역보다 큰 것이 바람직할 수 있다.
이하에서는 장애물 지도상에 장애물의 존재 여부/운항 적합 여부를 가중치로 표현하는 경우에 대해 구체적으로 살펴본다. 가중치가 낮을 경우 장애물의 존재 확률이 높거나 운항하기 부적합한 것으로 보고 설명하나 이에 한정되는 것은 아니다.
객체의 종류 정보를 고려하여 가중치를 달리할 수 있다. 예를 들어, 장애물로써 선박과 부표를 감지한 경우, 선박의 가중치를 부표의 가중치보다 낮게 설정할 수 있다. 다른 예로, 고정체와 이동체를 감지한 경우, 고정체의 가중치를 이동체의 가중치보다 낮게 설정할 수 있다.
객체의 종류 정보를 고려하여 보정된 객체의 위치 정보에 기초하여 가중치를 설정할 수 있다. 또는, 객체의 종류 정보에 기초하여 감지되지 않은 영역의 가중치를 설정할 수 있다.
도 22는 일 실시예에 따른 위치 정보의 보정에 관한 블록도이다. 도 22를 참고하면, 이미지 세그멘테이션을 통해 이미지에 포함된 객체의 종류 정보 및 위치 정보를 획득할 수 있고, 획득한 위치 정보에 종류 정보를 반영하여 장애물 지도를 업데이트할 수 있다.
일 예로, 객체의 종류 정보에 기초하여 상기 객체의 크기를 산출하고 이를 이용해 장애물 지도상에서 상기 객체에 대응되는 단위 영역을 계산하여 가중치를 설정할 수 있다. 여기서, 상기 단위 영역은 상기 객체의 방향 등에 따라 달라질 수 있다.
다른 예로, 이미지 세그멘테이션을 통해 얻은 거리 정보는 객체까지의 최단 거리만을 포함할 수 있다. 객체의 종류 정보를 반영하면 최단 거리뿐만 아니라 최장 거리를 획득할 수 있고, 이에 기초하여 가중치를 설정할 수 있다.
도 23은 일 실시예에 따른 가중치 설정에 관한 도면이다. 도 23(a)의 이미지를 입력받아 이미지 세그멘테이션을 통해 획득한 거리 정보는 장애물까지의 최단 거리만을 포함할 수 있다. 이 경우, 도 23(b)를 참고하면, 장애물의 존재 여부를 알 수 없는, 이미지에서 탐지되지 않은 지역(351)이 발생할 수 있다. 장애물 지도상에서 상기 탐지되지 않은 지역(351)을 장애물이 존재하는 영역으로 처리하거나, 장애물이 존재하지 않는 영역으로 처리할 수 있다. 또는, 일부는 장애물이 존재하는 영역으로, 일부는 장애물이 존재하지 않는 영역으로 처리할 수 있다.
장애물의 종류 정보를 이용하여 장애물의 존재 여부를 알 수 없는 지역(351)에 대응되는 장애물 지도상에서의 단위 영역을 줄일 수 있다. 예를 들어, 도 23(c)에 도시된 바와 같이, 장애물의 종류 정보로부터 상기 장애물의 크기를 산출하여 이에 대응되는 장애물 지도상에서의 영역을 운항 불가 영역으로 처리할 수 있다. 또는, 상기 장애물의 크기에 대응되는 장애물 지도상에서의 영역에 일정 단위 영역을 더하여 운항 불가 영역으로 처리할 수 있다. 여기서, 상기 일정 단위 영역의 가중치는 상기 장애물의 크기에 대응되는 장애물 지도상에서의 영역의 가중치와 다를 수 있다. 장애물의 크기는 장애물의 정확한 크기이거나, 장애물의 종류에 기초하여 결정될 수 있다. 또는, 장애물의 크기는 장애물의 종류에 따라 미리 정해진 값일 수 있다.
도 23(d)를 참고하면, 장애물의 종류 정보로부터 장애물의 크기를 획득하는 경우에도 장애물의 존재 여부를 알 수 없는 지역이 존재할 수 있다. 상기 지역은 장애물에 의해 가려져 보이지 않는 폐색된(occluded) 지역일 수 있다. 상기 폐색된 지역에 대한 위치 정보는 부정확한 정보일 수 있다. 상기 폐색된 지역에 대응되는 장애물 지도상에서의 단위 영역의 가중치는 장애물이 존재하는 단위 영역의 가중치 및 장애물이 존재하지 않는 단위 영역의 가중치의 사이에 위치하는 값으로 할당될 수 있다.
보정된 위치 정보로부터 가중치를 산출하여 장애물 지도를 업데이트할 수 있다. 또는, 보정 전 위치 정보로 가중치를 산출하여 장애물 지도를 업데이트한 후 종류 정보를 고려해 가중치를 보정할 수 있다.
객체의 이동 방향 및 속도를 고려하여 가중치를 설정할 수 있다. 예를 들어, 객체가 이동하려는 방향의 가중치를 낮게 설정할 수 있다. 또는, 객체의 이동 속도가 클수록 가중치를 낮게 설정할 수 있다. 도 24는 일 실시예에 따른 장애물의 이동을 고려한 가중치 설정에 관한 도면으로, 이동 방향 및 속도를 고려하여 도 19의 객체 정보 표현 방법에 따라 가중치를 표현하였다. 도 24(a)를 참고하면, 장애물인 선박이 정지한 경우 장애물 지도는 상기 선박에 대응되는 운항 불가 영역(353) 및 바다에 대응되는 운항 가능 영역(355)으로 나뉠 수 있다. 상기 선박이 좌측으로 이동하는 경우, 도 24(b)를 참고하면, 장애물 지도상 상기 선박의 좌측에 위치하는 이동 예상 영역(357)의 가중치를 운항 불가 영역(353)의 가중치와 운항 가능 영역(355)의 가중치의 사이에 위치하는 값으로 설정할 수 있다. 도 24(c)를 참고하면, 상기 선박의 이동 속도가 증가할수록 이동 예상 영역(357)의 가중치는 감소할 수 있다. 또는, 상기 선박의 이동 속도가 증가함에 따라 이동 예상 영역(357)의 면적이 증가할 수 있다.
객체의 위험도를 판단하여 가중치를 달리 설정할 수 있다. 예를 들어, 위험도가 높은 객체일수록 가중치를 낮게 설정할 수 있다. 상기 위험도는 객체의 종류, 이동 방향 및 속도 등 객체 정보를 고려하여 산출될 수 있다.
조류나 바람 등과 같은 기상 환경 정보를 고려하여 가중치를 설정할 수 있다. 예를 들어, 조류, 바람 등을 거슬러 가는 방향이라 가기 어려운 단위 영역은 가중치를 낮게 설정하고 조류, 바람 등을 타고 가는 방향이라 가기 쉬운 단위 영역은 가중치를 높게 설정할 수 있다. 조류, 바람 등에 관한 데이터는 별도의 센서를 통해 획득할 수 있다. 또는 지역이나 시간에 따른 조류/바람 정보를 미리 저장하여 사용할 수 있다. 또는 이에 관한 정보를 실시간으로 외부로부터 받을 수 있다.
지형의 경우 주변 환경 감지 단계를 통해 장애물 지도에 표현될 수 있지만, 해도 등을 참고하여 주변 환경 감지 없이 장애물 지도에 표현될 수 있다. 해도 정보와 주변 환경 감지 결과를 함께 이용할 수도 있다. 지형은 장애물 지도상에 운항 불가 영역으로 설정될 수 있다.
COLREG와 같은 운항 규칙을 고려하여 가중치 설정할 수 있다. 운항 규칙에 따라 선박이 운항해야 하는 영역의 가중치를 증가시키거나 선박이 운항하면 안 되는 영역의 가중치를 감소시킬 수 있다. 예를 들어, 선박이 마주 오는 경우 COLREG에 의해 이동 방향의 우측으로 우회해야 하는 경우가 발생할 수 있다. 이 경우 우측 단위 영역의 가중치를 증가시키거나 좌측 단위 영역의 가중치를 감소시켜 선박이 COLREG를 만족하며 운항하도록 할 수 있다. 도 25는 일 실시예에 따른 운항 규칙을 고려한 가중치 설정에 관한 도면이다. COLREG를 고려하지 않는 경우, 장애물 지도상에는 마주 오는 선박에 대응되는 단위 영역만 운항 불가 영역(353)으로 표시될 수 있다. COLREG를 만족시키기 위하여 장애물 지도의 좌측 단위 영역인 운항 규칙 반영 영역(359)의 가중치를 감소시킬 수 있다. 여기서, 상기 운항 규칙 반영 영역(359)의 가중치는 운항 가능 영역(355)의 가중치와 운항 불가 영역(353)의 가중치의 사이에 위치하는 값으로 설정할 수 있다. 운항 규칙 반영 영역(359)에 의해 마주 오는 선박의 우측으로 우회하는 경로가 생성될 수 있다.
운항 불가 영역 및/또는 운항 가능 영역 주변에 임의의 가중치를 갖는 버퍼 영역을 둘 수 있다. 버퍼 영역의 가중치는 운항 가능 영역의 가중치와 운항 불가 영역의 가중치의 사이에 위치하는 값으로 설정될 수 있다. 또는, 버퍼 영역의 가중치는 운항 불가 영역 및/또는 운항 가능 영역으로부터의 거리를 고려하여 가중치를 결정할 수 있다. 예를 들어, 운항 가능 영역에 가까운 영역의 가중치는 운항 불가 영역에 가까운 영역의 가중치보다 클 수 있다. 도 26은 일 실시예에 따른 버퍼 영역을 고려한 가중치 설정에 관한 도면이다. 도 19의 객체 정보 표현 방법에 따라 지역 지도(330)를 표현하였고, 업데이트 영역(331) 내에 운항 불가 영역(353), 운항 가능 영역(355) 및 버퍼 영역(358)을 도시하였다.
객체 정보를 이용하여 업데이트 영역에 대해 장애물 지도를 업데이트할 수 있다. 장애물 지도에 장애물의 존부를 업데이트할 수 있다. 예를 들어, 장애물이 발견되면 장애물을 표시할 수 있다. 또는, 장애물 지도에 가중치를 업데이트할 수 있다. 예를 들어, 객체 정보를 이용해 가중치를 산출하고 이를 이용해 장애물 지도를 업데이트할 수 있다.
이하에서는 도 19의 객체 정보 표현 방법에 따른 장애물 지도 업데이트에 대해 살펴보나, 장애물 지도 업데이트 방법은 이에 한정되는 것은 아니고 가중치의 범위가 다른 경우 및 장애물 존재 확률로 장애물 지도를 표현하는 경우 등에도 적용될 수 있다.
이전 프레임의 객체 정보를 무시하고 현재 프레임에서 획득한 객체 정보만을 바탕으로 장애물 지도를 업데이트할 수 있다. 예를 들어, 전술한 가중치 설정을 통해 획득한 정보만으로 장애물 지도를 생성할 수 있다.
또는, 이전 프레임 및 현재 프레임의 객체 정보를 모두 고려하여 장애물 지도를 업데이트할 수 있다. 예를 들어, 전술한 가중치 설정을 통해 획득한 현재 프레임의 가중치 및 이전 프레임의 가중치 또는 장애물 지도를 고려하여 장애물 지도를 업데이트할 수 있다.
도 27은 일 실시예에 따른 장애물 지도 업데이트 단계에 관한 블록도이다. 도 27을 참고하면, 이전 단계의 장애물 지도를 고려하여 현재 단계의 장애물 지도를 생성할 수 있다(S3500). 예를 들어, 이전 프레임의 장애물 지도와 현재 프레임의 장애물 지도를 일정 비율로 더하여 현재 프레임에서의 최종 장애물 지도를 생성할 수 있다. 여기서, 복수의 이전 프레임을 사용하여 최종 장애물 지도를 생성할 수 있다.
현재 프레임의 해상 이미지에 의해 탐지된 영역은 이전 프레임을 무시하고, 탐지되지 않은 영역은 이전 프레임을 고려하여 장애물 지도를 업데이트할 수 있다. 예를 들어, 현재 프레임에서 장애물로 판단된 단위 영역의 가중치는 0으로, 운항 가능 영역의 가중치는 255로 설정하고, 미 탐지 영역의 가중치는 이전 프레임의 가중치와 현재 프레임의 가중치를 일정 비율로 고려하여 설정할 수 있다. 여기서, 미 탐지 영역의 가중치는 시간이 지남에 따라 특정 값으로 수렴할 수 있다. 또한, 상기 특정 값은 객체의 종류에 따라 상이할 수 있다. 예를 들어, 고정 장애물의 경우 동적 장애물에 비해 낮은 가중치로 수렴할 수 있다. 또는, 미 탐지 영역의 경우 가중치를 갱신하지 않을 수 있다.
현재 프레임의 해상 이미지의 시야각에 속하지 않는 지역에 대응되는 단위 영역에 대하여 전술한 미 탐지 영역과 동일하게 처리할 수 있다.
특정 영역에 대하여는 가중치를 업데이트하지 않을 수 있다. 예를 들어, 일 영역에 움직이지 않는 고정 장애물이 감지된 경우 해당 영역의 가중치는 0과 같은 특정 값으로 고정하여 시간이 지나도 변하지 않을 수 있다. 여기서, 고정 장애물은 육지, 섬, 암초 등일 수 있다.
도 28은 일 실시예에 따른 장애물 지도 업데이트 단계에 관한 블록도이다. 도 28을 참고하면, 선박에 설치된 GPS로 산출된 선박의 위치/카메라의 위치, IMU를 통한 선박의 자세 정보 및 카메라 설치 정보를 통한 카메라 자세 정보를 통해 장애물의 위치 정보를 절대 좌표로 변환할 수 있다(S3100). 변환된 객체 정보, 기상 환경 정보 및 운항 규칙을 이용하여 가중치를 설정하고(S3300), 이전 프레임의 장애물 지도 및 장애물 지도상에 설정된 업데이트 영역(S3600)을 이용하여 현재 프레임의 최종 장애물 지도를 출력할 수 있다(S3500).
경로 생성 단계는 선박이 항해할 수 있는 경로를 생성하는 단계이다. 선박의 이동 거리, 이동 시간, 운항 비용 등을 고려하여 경로를 생성할 수 있다. 또한, 조류, 바람 등 외부 환경을 고려하여 경로 생성할 수 있고, COLREG 등 운항 규칙을 고려할 수도 있다.
최단 거리, 최소 시간, 최소 비용, 위험도 등을 고려하여 경우에 따라 서로 다른 경로를 생성할 수 있다. 예를 들어, 연안에서는 사람이 있을 가능성이 원안보다 높으므로 안전한 운항을 위해 안전도가 높은 모드로 경로를 생성할 수 있다. 원안이나 대형 선박의 경우 연료 소모를 줄이기 위해 에너지 효율이 높은 모드로 경로를 생성할 수 있다. 복수의 변수들을 적절한 비율로 고려하여 최적화된 방식으로 경로를 생성할 수도 있다. 이러한 모드는 수동/자동으로 선택할 수 있다. 일 예로, GPS 등의 선박 위치 정보를 이용하여 연안에서는 안전도 높은 모드로, 원안에서는 에너지 효율 높은 모드로 자동으로 변경되어 경로를 생성할 수 있다. 다른 예로, 장애물이 많이 감지될 경우 안전도가 높은 모드로 자동 변경되어 경로를 생성할 수 있다.
도 29는 일 실시예에 따른 경로 생성 단계에 관한 블록도이다. 도 29를 참고하면, 장애물 지도, 출발점, 도착점, 선박 상태 정보, 기상 환경 정보, 운항 규칙 등을 입력으로 하여 추종 경로를 생성할 수 있다(S3700). 입력되는 정보는 전술한 정보를 모두 포함할 수도 있고, 그중 일부만 포함할 수도 있으며, 전술한 정보 이외의 정보 또한 포함될 수 있다.
추종 경로는 인공신경망을 이용하여 생성될 수 있다. 예를 들어, 장애물 지도 등을 입력으로 하여 추종 경로를 출력하는 인공신경망을 학습시켜 경로 생성 단계에서 사용할 수 있다.
인공신경망 이외의 알고리즘을 이용하여 추종 경로를 생성할 수 있다. 다익스트라(Dijkstra) 알고리즘, A* 알고리즘, D* 알고리즘, theta* 알고리즘 등 경로 생성 알고리즘이라면 제한 없이 사용할 수 있다.
선수 방향, 선박의 최대 타각(rudder angle) 등을 고려하여 경로를 생성할 수 있다. 도 30은 일 실시예에 따른 경로 생성 단계에 관한 도면이다. 도 30을 참고하면, 선박(371)은 특정 선수 방향(373)을 보고 있다. 선박(371)의 선수 방향(373) 및 최대 타각을 고려하지 않은 경우 실선과 같은 경로가 생성되고, 이를 고려한 경우 점선과 같은 경로가 생성될 수 있다. 상기 경로는 중간 지점(375)으로 표현될 수 있다. 상기 실선과 같은 경로는 실제 선박이 추종할 수 없거나 추종하기 어려운 경로일 수 있다. 반면, 상기 점선과 같은 경로는 실제 선박이 추종하기 쉽거나 추종 가능한 경로일 수 있다. 이러한 선박 특화 알고리즘을 이용하여 경로 추종에 유용한 경로를 생성할 수 있다.
경로 추종 단계는 선박이 계획된 경로를 추종하도록 제어 신호를 생성하는 단계이다. 도 31은 일 실시예에 따른 경로 추종 단계에 관한 블록도이다. 도 31을 참고하면, 경로 추종 단계(S5000)에서는 추종 경로, 선박 상태 정보, 기상 환경 정보, 운항 규칙 등을 입력받아 선박의 제어 신호를 출력할 수 있다. 입력되는 정보는 전술한 정보를 모두 포함할 수도 있고, 그중 일부만 포함할 수도 있으며, 전술한 정보 이외의 정보 또한 포함될 수 있다.
제어 신호는 속도 제어 신호 및 선수 방향 제어 신호를 포함한다. 속도 제어 신호는 프로펠러의 회전 속도를 조절하는 신호일 수 있다. 또는, 속도 제어 신호는 프로펠러의 단위 시간당 회전수를 조절하는 신호일 수 있다. 선수 방향 제어 신호는 방향타(rudder)를 조절하는 신호일 수 있다. 또는, 선수 방향 제어 신호는 키(wheel, helm)를 조절하는 신호일 수 있다.
또한, 이전 프레임의 제어 신호를 현재 프레임의 경로 추종 단계에서 사용할 수 있다.
인공신경망을 이용하여 경로 추종 단계를 수행할 수 있다. 이 경우, 지도 학습, 비지도 학습, 강화 학습, 모방 학습 등 인공신경망을 학습시키는 방법에는 제한이 없다.
강화 학습을 통해 인공신경망을 학습시키는 경우, 운항 시간, 운항 거리, 안전도, 에너지 효율 등을 리워드로 하여 인공신경망을 학습시킬 수 있다. 예를 들어, 운항 시간이 짧은 경우 리워드를 크게 할 수 있다. 또는, 운항 거리가 짧은 경우 리워드를 크게 할 수 있다. 또는, 장애물과의 충돌 횟수가 적을수록 리워드를 크게 할 수 있다. 또는, 사용된 연료가 적을수록 리워드를 크게 할 수 있다. 이 외에도 다양하게 리워드를 정할 수 있고, 하나의 변수만 고려하는 것이 아닌 복수의 변수를 고려하여 리워드를 줄 수도 있다. 예를 들어, 운항 시간과 에너지 효율을 모두 고려한 리워드 설정 방법을 택할 수 있다.
그 외의 경로 추종 알고리즘을 이용하여 경로 추종 단계를 수행할 수 있다. 예를 들어, 현재 시점부터 임의의 T 시간 동안 추종해야 할 위치를 입력받아 최적의 제어 신호를 생성하는 기술인 모델 예측 제어(model predictive control, MPC), 순수 추적 제어(pure pursuit), 스탠리 방법(Stanley method), 벡터 추적 제어(vector pursuit) 등의 알고리즘을 이용할 수 있다.
자율 운항 중에도 사람이 선박을 모니터링하기 위한 정보가 필요할 수 있다. 이러한 정보는 시각화를 통해 사람에게 전달될 수 있다. 전술한 주변 환경 감지, 경로 계획 및 경로 추종 단계에서 이용되거나 생성되는 결과물을 가공하여 시각화할 수 있다.
하나의 이미지로부터 시각화 데이터를 생성할 수 있다. 또는, 복수의 이미지로부터 시각화 데이터를 생성할 수 있다. 여기서, 복수의 이미지는 동일한 카메라로부터 획득한 이미지뿐만 아니라 서로 다른 카메라로부터 획득한 이미지일 수 있다.
복수의 이미지를 이용하여 시각화하는 경우, 각 이미지가 표현하는 지역은 서로 다를 수 있다. 이 경우 복수의 이미지를 정합하여 시각화할 수 있다. 예를 들어, 선박 주변 지역을 나타내는 복수의 이미지를 정합하여 어라운드 뷰 모니터링이 가능할 수 있다. 여기서, 어라운드 뷰 모니터링은 선박 주변 환경을 버드 아이 뷰(bird's eye view)로 제공하는 것을 의미할 수 있다.
이미지 세그멘테이션의 결과를 시각화하는 경우, 디스플레이 패널을 통해 이미지 세그멘테이션으로 검출한 객체를 표시한 결과를 출력할 수 있다. 예를 들어, 이미지에 포함된 바다, 선박, 지형, 항로 표지 등을 서로 다른 색상으로 표현할 수 있다.
또한, 장애물의 거리, 속도, 위험도, 크기, 충돌 확률 등을 포함하는 장애물 특성을 출력할 수 있다. 색상을 이용하여 장애물 특성을 출력할 수 있고, 색상은 장애물의 거리, 속도, 위험도, 크기, 충돌 확률 등에 따라 달라질 수 있다.
장애물 센서로부터 감지한 장애물 특성을 함께 출력할 수 있다. 예를 들어, 이미지 세그멘테이션으로 관찰되는 영역에 대해서는 그 결과를 출력하고, 관찰되지 않는 영역에 대해서는 장애물 센서로부터 감지한 결과를 출력할 수 있다.
장애물 지도, 추종 경로 및/또는 경로 히스토리 등을 시각화할 수 있다. 예를 들어, 선박 중심의 장애물 지도, 기존 경로 및 장애물 회피 경로를 조감도 형식으로 출력할 수 있다.
도 32는 일 실시예에 따른 시각화에 관한 도면이다. 도 32를 참고하면, 디스플레이 패널은 선박의 현재 위치를 기준으로 장애물의 상대적 위치 및 특성 등을 출력할 수 있다. 예를 들어, 검은색 영역(610)은 미리 정해진 거리보다 가까이 있는 제1 장애물을 나타내며, 회색 영역(630)은 상기 미리 정해진 거리보다 멀리 있는 제2 장애물을 나타낼 수 있다. 또는, 검은색 영역(610)은 위험도가 높은 영역을 나타내고 회색 영역(630)은 위험도가 보통인 영역을 나타내며 흰색 영역(650)은 위험도가 낮은 영역을 나타낼 수 있다.
도 33은 일 실시예에 따른 이미지 세그멘테이션을 이용한 자율 운항 방법에 관한 블록도이다. 도 33을 참고하면, 카메라로 이미지를 촬영하여 촬영 이미지를 획득하고(S1100), 촬영 이미지의 전처리 과정을 통해 전처리 이미지를 획득하고(S1300), 전처리 이미지의 세그멘테이션을 통해 제1 객체 정보를 획득하고(S1500), 상기 제1 객체 정보 및 장애물 센서 등을 통해 획득한 제2 객체 정보를 이용해 장애물 지도를 업데이트하고(S3500), 상기 장애물 지도, 출발점, 도착점 및 선박 상태 정보를 이용하여 추종 경로를 생성하고(S3700), 상기 추종 경로, 선박 상태 정보 및 이전 프레임의 제어 신호를 이용하여 현재 프레임의 제어 신호를 생성할 수 있다(S5000). 여기서, 이미지 세그멘테이션(S1500)은 인공신경망을 이용하여 수행하고, 나머지 단계는 인공신경망이 아닌 전술한 알고리즘을 이용하여 수행할 수 있다. 또는, 인공신경망을 이용하여 이미지 세그멘테이션을 수행하고(S1500), 경로 계획 단계(S3500, S3700)는 비인공신경망 알고리즘을 이용하며, 경로 추종 단계(S5000)는 인공신경망을 이용할 수 있다.
1 프레임 내에서 특정 단계가 복수회 반복된 후 다음 단계가 진행될 수 있다. 예를 들어, 여러 번의 이미지 세그멘테이션(S1500)을 수행한 후 경로 계획(S3500, S3700) 및 경로 추종(S5000)을 할 수 있다. 또는, 여러 번의 이미지 세그멘테이션(S1500) 후 장애물 지도 업데이트(S3500)가 진행될 수 있다.
또한, 반드시 한 프레임이 모두 실행되고 다음 프레임이 실행되어야 하는 것은 아니다. 예를 들어, 한 프레임의 경로 생성 단계(S3700)가 실행됨과 함께 다음 프레임의 이미지 세그멘테이션(S1500)이 실행될 수 있다. 또는, 한 프레임의 경로 추종 단계(S5000), 다음 프레임의 경로 생성 단계(S3700) 및 그다음 프레임의 이미지 세그멘테이션 단계(S1500)가 함께 실행될 수 있다.
도 33의 실시예는 주변 환경 감지, 경로 계획 및 경로 추종 각 단계를 별도로 수행한다. 이와 다르게, 주변 환경 감지, 경로 계획 및 경로 추종 단계 중 적어도 어느 두 단계가 하나의 인공신경망을 통해 수행될 수 있다. 이하에서는 경로 계획 및 경로 추종이 하나의 인공신경망을 통해 수행되는 경우 및 주변 환경 감지, 경로 계획 및 경로 추종 전부가 하나의 인공신경망을 통해 수행되는 경우에 대해 살펴보나 이에 한정되는 것은 아니다.
도 34는 일 실시예에 따른 이미지 세그멘테이션을 이용한 자율 운항에 관한 블록도이다. 도 34를 참고하면, 카메라로 이미지를 촬영하여 촬영 이미지를 획득하고(S1100), 촬영 이미지의 전처리 과정을 통해 전처리 이미지를 획득하고(S1300), 전처리 이미지의 세그멘테이션을 통해 제1 객체 정보를 획득하고(S1500), 상기 제1 객체 정보, 장애물 센서 등을 통해 획득한 제2 객체 정보, 출발점, 도착점, 선박 상태 정보 및 이전 프레임의 제어 신호를 이용하여 현재 프레임의 제어 신호를 생성할 수 있다(S7000).
도 33의 자율 운항 방법의 일 예에 의하면, 이미지 세그멘테이션을 수행하는 제1 인공신경망, 경로 계획을 수행하는 제2 인공신경망 및 경로 추종을 수행하는 제3 인공신경망을 각각 별도로 학습시킨 뒤 이를 추론 단계에 이용할 수 있다. 이와 달리 이미지 세그멘테이션, 경로 계획 및 경로 추종 모두를 수행하는 하나의 인공신경망을 한 번에 학습시켜 이용할 수 있다. 이러한 인공신경망의 학습을 엔드-투-엔드 학습(end-to-end learning)이라 한다.
도 35는 일 실시예에 따른 이미지 세그멘테이션을 이용한 자율 운항에 관한 블록도이다. 도 35를 참고하면, 주변 환경 감지, 경로 계획 및 경로 추종을 하나의 인공신경망을 이용하여 수행할 수 있다. 예를 들어, 이미지, 장애물 감지 센서로부터의 객체 정보, 선박 상태 정보(GPS로부터의 선박의 위치 및 속력, IMU로부터의 선박의 선수 방향 등), 출발점, 도착점, 중간 지점, 조류, 바람, 운항 규칙, 제어 신호 등의 정보를 입력받아 선박 제어 신호를 출력하는 인공신경망을 학습시켜 자율 운항에 사용할 수 있다. 전술한 입력 정보는 일 예이고, 그 전부가 사용될 수 있고, 그중 일부만 사용될 수도 있으며, 그 외의 정보가 사용될 수도 있다.
도 36은 일 실시예에 따른 제어 신호를 출력하는 인공신경망의 학습 방법에 관한 블록도이다. 제어 신호를 학습 데이터로 확보하기 어려운 경우에 유용할 수 있는 학습 방법이다. 추론 단계에서는 전역 인공신경망을 이용한다. 전역 인공신경망의 학습을 위해 지역 인공신경망을 이용한다. 지역 인공신경망은 선형성을 대응할 수 있고, 전역 인공신경망은 비선형성을 대응할 수 있다. 지역 인공신경망은 경로 및 이미지를 입력받아 제어 신호를 출력할 수 있다. 경로 예측 인공신경망은 경로, 이미지 및 제어 신호를 입력받아 다음 경로를 출력할 수 있다. 지역 인공신경망이 출력하는 제어 신호 및 경로 예측 인공신경망이 출력하는 다음 경로에 기초한 오차 학습을 통해 지역 인공신경망을 학습시킬 수 있다. 전역 인공신경망은 경로 및 이미지를 입력받아 제어 신호를 출력하고, 지역 인공신경망이 출력하는 제어 신호 및 전역 인공신경망이 출력하는 제어 신호를 이용하는 분류기를 통해 전역 인공신경망을 학습시킬 수 있다. 지역 인공신경망 및 경로 예측 인공신경망은 복수일 수 있다. 전역 인공신경망은 여러 개의 지역 인공신경망과의 오차를 학습하여 단일 네트워크로 모든 입출력에 대응할 수 있다.
도 37은 일 실시예에 따른 인공신경망의 출력에 관한 블록도로, 도 35의 인공신경망의 출력만을 나타낸 도면이다. 도 35와 비교하면, 시각화를 위해 인공신경망으로부터 객체 정보, 장애물 지도, 추종 경로 등을 획득할 수 있다. 이하에서는 이를 중간 출력 정보라 한다. 상기 중간 출력 정보는 전술한 시각화 방법을 통해 시각화될 수 있다.
중간 출력 정보를 획득하기 위하여 별도의 인공신경망이 이용될 수 있다. 도 37의 인공신경망(이하 "자율 운항 인공신경망"이라 함)에서 시각화를 위한 인공신경망(이하 "시각화 인공신경망"이라 함)을 거쳐 중간 출력 정보를 획득할 수 있다. 예를 들어, 시각화 인공신경망은 자율 운항 인공신경망으로부터 출력되는 정보를 입력받아 객체 정보, 장애물 지도 및 추종 경로 등을 출력할 수 있. 하나의 인공신경망으로 여러 개의 중간 출력 정보를 획득할 수 있다. 또는, 각 중간 출력 정보마다 별개의 인공신경망을 이용할 수 있다.
시각화 인공신경망은 자율 운항 인공신경망과 별도로 학습될 수 있다. 또는, 자율 운항 인공신경망과 함께 학습될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 상술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 또한, 본 문서에서 설명된 실시예들은 한정되게 적용될 수 있는 것이 아니라, 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다. 나아가, 각 실시예를 구성하는 단계들은 다른 실시예를 구성하는 단계들과 개별적으로 또는 조합되어 이용될 수 있다.
110: 입력 이미지 130: 출력 데이터
310: 전역 지도 330: 지역 지도
331: 업데이트 영역 351: 미 탐지 영역
353: 운항 불가 영역 355: 운항 가능 영역
357: 이동 예상 영역 358: 버퍼 영역
359: 운항 규칙 반영 영역 371: 선박
373: 선수 방향 375: 중간 지점

Claims (14)

  1. 컴퓨팅 수단에 의해 수행되는 이미지를 기초로 객체에 대한 정보를 획득하는 방법에 있어서,
    타겟 이미지를 획득하는 단계;
    상기 타겟 이미지 및 인공신경망을 이용하여 상기 타겟 이미지에 나타나는 객체의 객체 정보를 산출하는 단계 -상기 객체 정보는 상기 타겟 이미지에 나타나는 객체와 상기 타겟 이미지를 촬상한 카메라 사이의 거리를 반영하는 거리 정보 및 종류 정보 중 적어도 하나를 포함하고, 상기 인공신경망은 학습 이미지 및 상기 학습 이미지에 나타나는 객체와 상기 학습 이미지를 촬상한 카메라 사이의 거리를 반영하는 거리 정보 및 종류 정보 중 적어도 하나를 반영하는 라벨링 데이터에 기초하여 학습됨- ; 및
    상기 산출된 객체 정보를 기초로 상기 타겟 이미지에 나타나는 객체에 대한 정보를 출력하는 단계를 포함하고,
    상기 타겟 이미지에 나타나는 객체가 장애물에 대응하는 경우, 상기 장애물의 객체 정보는 제1 거리 범위, 상기 제1 거리 범위보다 큰 제2 거리 범위 및 상기 제2 거리 범위보다 큰 제3 거리 범위 중 하나를 포함하는 거리 정보 및 고정 장애물 및 동적 장애물 중 하나를 포함하는 종류 정보를 포함하고,
    상기 타겟 이미지에 나타나는 객체가 바다에 대응하는 경우, 상기 바다의 객체 정보는 거리 정보를 포함하지 않는
    이미지 기반 객체 정보 획득 방법.
  2. 제1 항에 있어서,
    상기 장애물은 제1 장애물 및 제2 장애물을 포함하고,
    상기 제1 장애물의 거리 정보는 상기 제1 거리 범위, 상기 제2 거리 범위 및 상기 제3 거리 범위 중 어느 하나이고,
    상기 제2 장애물의 거리 정보는 상기 제1 거리 범위, 상기 제2 거리 범위 및 상기 제3 거리 범위 중 다른 하나인
    이미지 기반 객체 정보 획득 방법.
  3. 제1 항에 있어서,
    상기 장애물은 제1 장애물 및 제2 장애물을 포함하고,
    상기 제1 장애물의 종류 정보는 상기 고정 장애물 및 상기 동적 장애물 중 어느 하나이고,
    상기 제2 장애물의 종류 정보는 상기 고정 장애물 및 상기 동적 장애물 중 다른 하나인
    이미지 기반 객체 정보 획득 방법.
  4. 제1 항에 있어서,
    상기 장애물의 상기 타겟 이미지 상에서의 픽셀 위치를 기초로 상기 장애물의 거리값을 산출하는 단계를 더 포함하는
    이미지 기반 객체 정보 획득 방법.
  5. 제4 항에 있어서,
    상기 장애물의 거리값을 산출하는 단계는, 상기 인공신경망을 이용하여 산출된 상기 장애물의 객체 정보를 이용하여 상기 장애물의 거리값을 산출하는
    이미지 기반 객체 정보 획득 방법.
  6. 제1 항에 있어서,
    상기 타겟 이미지는 이미지 정규화, 이미지 리사이즈, 잘라내기, 노이즈 제거, 안개 제거, 미세먼지 제거, 소금 제거 및 물방울 제거 중 적어도 일부를 포함하는 전처리가 수행된 이미지인
    이미지 기반 객체 정보 획득 방법.
  7. 제1 항에 있어서,
    레이더, 라이다, 초음파 탐지기 중 적어도 하나를 포함하는 장애물 감지 센서를 이용하여 상기 장애물의 거리 정보를 획득하는 단계; 및
    상기 인공신경망을 이용하여 산출된 상기 장애물의 거리 정보와 상기 장애물 감지 센서를 이용하여 획득한 상기 장애물의 거리 정보를 융합하여 상기 장애물의 거리 정보를 결정하는 단계를 더 포함하는
    이미지 기반 객체 정보 획득 방법.
  8. 제1 항에 있어서,
    제1 영역을 촬상한 제1 이미지 및 상기 제1 영역과 일부 중첩되는 제2 영역을 촬상한 제2 이미지를 정합하여 상기 타겟 이미지를 생성하는 단계를 더 포함하는
    이미지 기반 객체 정보 획득 방법.
  9. 제1 항에 있어서,
    상기 타겟 이미지를 획득하는 단계는,
    복수의 이미지를 획득하는 단계; 및
    상기 복수의 이미지 중 일부를 선별하여 상기 타겟 이미지로 결정하는 단계를 포함하는
    이미지 기반 객체 정보 획득 방법.
  10. 제1 항 내지 제9 항 중 어느 하나의 항에 기재된 방법을 실행할 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  11. 이미지를 기초로 객체에 대한 정보를 획득하는 장치에 있어서,
    카메라; 및
    상기 카메라로부터 타겟 이미지를 획득하고,
    상기 타겟 이미지 및 인공신경망을 이용하여 상기 타겟 이미지에 나타나는 객체의 객체 정보를 산출하고 -상기 객체 정보는 상기 타겟 이미지에 나타나는 객체와 상기 카메라 사이의 거리를 반영하는 거리 정보 및 종류 정보 중 적어도 하나를 포함하고, 상기 인공신경망은 학습 이미지 및 상기 학습 이미지에 나타나는 객체와 상기 학습 이미지를 촬상한 카메라 사이의 거리를 반영하는 거리 정보 및 종류 정보 중 적어도 하나를 반영하는 라벨링 데이터에 기초하여 학습됨- ,
    상기 산출된 객체 정보를 기초로 상기 타겟 이미지에 나타나는 객체에 대한 정보를 출력하는 제어부를 포함하고,
    상기 타겟 이미지에 나타나는 객체가 장애물에 대응하는 경우, 상기 장애물의 객체 정보는 제1 거리 범위, 상기 제1 거리 범위보다 큰 제2 거리 범위 및 상기 제2 거리 범위보다 큰 제3 거리 범위 중 하나를 포함하는 거리 정보 및 고정 장애물 및 동적 장애물 중 하나를 포함하는 종류 정보를 포함하고,
    상기 타겟 이미지에 나타나는 객체가 바다에 대응하는 경우, 상기 바다의 객체 정보는 거리 정보를 포함하지 않는
    이미지 기반 객체 정보 획득 장치.
  12. 제11 항에 있어서,
    상기 카메라는 선박에 설치되고,
    상기 타겟 이미지에 나타나는 객체에 대한 정보는 상기 카메라 및 상기 선박 중 적어도 하나의 자세를 고려하여 보정된 정보인
    이미지 기반 객체 정보 획득 장치.
  13. 제11 항에 있어서,
    상기 카메라는 항만에 설치되고,
    상기 타겟 이미지에 나타나는 객체에 대한 정보는 상기 카메라의 설치 자세를 고려하여 보정된 정보인
    이미지 기반 객체 정보 획득 장치.
  14. 제11 항에 있어서,
    상기 타겟 이미지는 상기 카메라의 자세를 고려하여 보정된 이미지인
    이미지 기반 객체 정보 획득 장치.
KR1020210046441A 2018-09-04 2021-04-09 이미지 세그멘테이션을 이용한 자율 운항 방법 KR102466804B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220148408A KR102604969B1 (ko) 2018-09-04 2022-11-09 이미지 세그멘테이션을 이용한 자율 운항 방법

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862726913P 2018-09-04 2018-09-04
US62/726,913 2018-09-04
US201862741394P 2018-10-04 2018-10-04
US62/741,394 2018-10-04
KR1020180165857A KR102240839B1 (ko) 2018-09-04 2018-12-20 이미지 세그멘테이션을 이용한 자율 운항 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180165857A Division KR102240839B1 (ko) 2018-09-04 2018-12-20 이미지 세그멘테이션을 이용한 자율 운항 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220148408A Division KR102604969B1 (ko) 2018-09-04 2022-11-09 이미지 세그멘테이션을 이용한 자율 운항 방법

Publications (2)

Publication Number Publication Date
KR20210044197A KR20210044197A (ko) 2021-04-22
KR102466804B1 true KR102466804B1 (ko) 2022-11-17

Family

ID=84233317

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210046441A KR102466804B1 (ko) 2018-09-04 2021-04-09 이미지 세그멘테이션을 이용한 자율 운항 방법

Country Status (1)

Country Link
KR (1) KR102466804B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102654044B1 (ko) * 2021-11-30 2024-04-03 (주)시정 파노라마 이미지와 인공지능을 이용하여 우세시정을 산출하는 영상분석 시정계
KR102649806B1 (ko) * 2021-12-01 2024-03-21 주식회사 포딕스시스템 객체 이미지 표준화 장치 및 방법
CN114666372B (zh) * 2022-04-01 2023-08-22 江苏科技大学 船舶与控制平台间数据收发方法
KR102542896B1 (ko) * 2022-12-02 2023-06-14 (주)케이랩스 자율 주행 보트, 자율 주행 시스템 및 자율 주행 시스템의 제어 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101941521B1 (ko) * 2016-12-07 2019-01-23 한국해양과학기술원 해상객체의 자동추적 시스템 및 방법

Also Published As

Publication number Publication date
KR20210044197A (ko) 2021-04-22

Similar Documents

Publication Publication Date Title
KR102604969B1 (ko) 이미지 세그멘테이션을 이용한 자율 운항 방법
US10803360B2 (en) Situation awareness method and device using image segmentation
US11514668B2 (en) Method and device for situation awareness
KR102231286B1 (ko) 선박 주변 모니터링 장치 및 선박 주변 모니터링 방법
KR102466804B1 (ko) 이미지 세그멘테이션을 이용한 자율 운항 방법
KR102235787B1 (ko) 접안 모니터링 장치 및 방법
US20220024549A1 (en) System and method for measuring the distance to an object in water
US20220351523A1 (en) Method and device for monitoring port and ship in consideration of sea level
KR102265980B1 (ko) 선박 및 항만 모니터링 장치 및 방법
KR102530847B1 (ko) 항만 및 선박 모니터링 방법 및 장치
KR20240036529A (ko) 선박 및 항만 모니터링 장치 및 방법
KR102501450B1 (ko) 거리 측정 방법 및 이를 이용하는 거리 측정 장치
WO2023009180A1 (en) Lidar-based object tracking
US11776250B2 (en) Method and device for situation awareness
KR102661363B1 (ko) 접안 모니터링 장치 및 방법
Friebe et al. Situational awareness and obstacle avoidance for a wind propelled marine research ASV
KR102658233B1 (ko) 항만 모니터링 장치 및 항만 모니터링 방법
Petrescu et al. Self-supervised learning of depth maps for autonomous cars
KR20230027130A (ko) 거리 측정 방법 및 이를 이용하는 거리 측정 장치
WO2023031129A1 (en) A method of providing an electronic map for a marine vessel

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant