KR102696632B1 - 객체 정보 획득 방법 및 이를 수행하는 장치 - Google Patents

객체 정보 획득 방법 및 이를 수행하는 장치 Download PDF

Info

Publication number
KR102696632B1
KR102696632B1 KR1020230084663A KR20230084663A KR102696632B1 KR 102696632 B1 KR102696632 B1 KR 102696632B1 KR 1020230084663 A KR1020230084663 A KR 1020230084663A KR 20230084663 A KR20230084663 A KR 20230084663A KR 102696632 B1 KR102696632 B1 KR 102696632B1
Authority
KR
South Korea
Prior art keywords
image
neural network
artificial neural
object information
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020230084663A
Other languages
English (en)
Other versions
KR20230104837A (ko
Inventor
박별터
김한근
김동훈
Original Assignee
씨드로닉스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 씨드로닉스(주) filed Critical 씨드로닉스(주)
Publication of KR20230104837A publication Critical patent/KR20230104837A/ko
Priority to KR1020240108781A priority Critical patent/KR20240130664A/ko
Application granted granted Critical
Publication of KR102696632B1 publication Critical patent/KR102696632B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/246—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B49/00—Arrangements of nautical instruments or navigational aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B43/00—Improving safety of vessels, e.g. damage control, not otherwise provided for
    • B63B43/18—Improving safety of vessels, e.g. damage control, not otherwise provided for preventing collision or grounding; reducing collision damage
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B43/00—Improving safety of vessels, e.g. damage control, not otherwise provided for
    • B63B43/18—Improving safety of vessels, e.g. damage control, not otherwise provided for preventing collision or grounding; reducing collision damage
    • B63B43/20—Feelers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63H—MARINE PROPULSION OR STEERING
    • B63H25/00—Steering; Slowing-down otherwise than by use of propulsive elements; Dynamic anchoring, i.e. positioning vessels by means of main or auxiliary propulsive elements
    • B63H25/02—Initiating means for steering, for slowing down, otherwise than by use of propulsive elements, or for dynamic anchoring
    • B63H25/04—Initiating means for steering, for slowing down, otherwise than by use of propulsive elements, or for dynamic anchoring automatic, e.g. reacting to compass
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/242—Means based on the reflection of waves generated by the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/617—Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
    • G05D1/622—Obstacle avoidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/05—Underwater scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G3/00—Traffic control systems for marine craft
    • G08G3/02—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63H—MARINE PROPULSION OR STEERING
    • B63H21/00—Use of propulsion power plant or units on vessels
    • B63H21/21—Control means for engine or transmission, specially adapted for use on marine vessels
    • B63H2021/216—Control means for engine or transmission, specially adapted for use on marine vessels using electric control means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2101/00—Details of software or hardware architectures used for the control of position
    • G05D2101/10—Details of software or hardware architectures used for the control of position using artificial intelligence [AI] techniques
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00—Types of controlled vehicles
    • G05D2109/30—Water vehicles
    • G05D2109/34—Water vehicles operating on the water surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Ocean & Marine Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Nonlinear Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Power Engineering (AREA)
  • Business, Economics & Management (AREA)

Abstract

본 발명은 해상을 촬상한 입력 이미지를 획득하는 단계; 상기 입력 이미지의 노이즈 레벨을 획득하는 단계; 상기 노이즈 레벨이 미리 정해진 수준보다 낮은 노이즈를 지시하는 경우, 이미지로부터 상기 이미지에 포함된 객체의 거리 및 종류 중 적어도 하나와 관련된 객체 정보를 출력하는 제1 인공신경망을 이용하여 상기 입력 이미지로부터 상기 입력 이미지에 포함된 장애물에 대한 객체 정보를 획득하는 제1 이미지 처리 단계; 및 상기 노이즈 레벨이 상기 미리 정해진 수준보다 높은 노이즈를 지시하는 경우, 노이즈가 포함된 제1 이미지로부터 노이즈가 저감된 제2 이미지를 생성하도록 학습된 제2 인공신경망으로서, 상기 제2 이미지 및 상기 제1 이미지에 대응되고 상기 제1 이미지보다 노이즈가 낮은 비교용 이미지를 구별하는 제3 인공신경망으로부터 산출되는 제1 에러값을 이용하여 학습되는 제2 인공신경망을 이용하여 상기 입력 이미지로부터 환경 노이즈가 저감된 이미지를 획득하고, 상기 제1 인공신경망을 이용하여 상기 환경 노이즈가 저감된 이미지로부터 상기 해상에 포함된 장애물에 대한 객체 정보를 획득하는 제2 이미지 처리 단계;를 포함하는 객체 정보 획득 방법에 관한 것이다.

Description

객체 정보 획득 방법 및 이를 수행하는 장치{METHOD FOR ACQUIRING OBJECT INFORMATION AND APPARATUS FOR PERFORMING THE SAME}
본 발명은 객체 정보를 획득하는 방법에 관한 것이다. 보다 상세하게, 본 발명은 인공신경망을 이용하여 환경 노이즈가 있는 상황에서 촬상된 이미지로부터 상기 이미지에 포함된 객체의 정보를 획득하는 방법 및 이를 수행하는 장치에 관한 것이다.
바야흐로 인공지능(AI: Artificial Intelligence)의 시대이다. 알파고(AlphaGo)가 화제가 된 이후로 인공지능을 다양한 산업 분야에 적용하려는 시도가 활발히 진행되고 있다.
근래에, 인공지능은 주로 이미지 인식, 분석, 생성, 합성 등 이미지 처리 기술에 활발히 사용되어 오다가 최근에는 자동차, 선박, 드론 등에 탑재되어 주변 장애물 인식, 경로계획 등에 사용되고 있다.
한편, 인공지능이 선박에 사용되어 주변 장애물에 대한 정보를 획득하는 경우, 해상환경에서 발생되는 안개와 같은 환경 노이즈에 대한 처리가 중요하다.
일 실시예에 따른 해결하고자 하는 과제는 인공신경망을 이용하여 이미지 세그멘테이션(segmentation)을 수행함으로써 주변 환경의 객체 정보를 획득하는 객체 정보 획득 방법을 제공하는 것이다.
다른 일 실시예에 따른 해결하고자 하는 과제는 인공지능을 이용하여 환경 노이즈를 포함하는 이미지로부터 상기 이미지에 포함된 장애물의 객체 정보를 획득하는 것이다.
또 다른 일 실시예에 따른 해결하고자 하는 과제는 촬상 이미지로부터 전처리된 이미지를 상기 인공신경망의 학습데이터로 이용함으로써 상기 인공신경망의 학습 효율을 높이는 것이다.
본 발명의 해결하고자 하는 과제는 상술한 과제들로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 따르면, 해상을 촬상한 입력 이미지를 획득하는 단계; 상기 입력 이미지의 노이즈 레벨을 획득하는 단계; 상기 노이즈 레벨이 미리 정해진 수준보다 낮은 노이즈를 지시하는 경우, 이미지로부터 상기 이미지에 포함된 객체의 거리 및 종류 중 적어도 하나와 관련된 객체 정보를 출력하는 제1 인공신경망을 이용하여 상기 입력 이미지로부터 상기 입력 이미지에 포함된 장애물에 대한 객체 정보를 획득하는 제1 이미지 처리 단계; 및 상기 노이즈 레벨이 상기 미리 정해진 수준보다 높은 노이즈를 지시하는 경우, 노이즈가 포함된 제1 이미지로부터 노이즈가 저감된 제2 이미지를 생성하도록 학습된 제2 인공신경망으로서, 상기 제2 이미지 및 상기 제1 이미지에 대응되고 상기 제1 이미지보다 노이즈가 낮은 비교용 이미지를 구별하는 제3 인공신경망으로부터 산출되는 제1 에러값을 이용하여 학습되는 제2 인공신경망을 이용하여 상기 입력 이미지로부터 환경 노이즈가 저감된 이미지를 획득하고, 상기 제1 인공신경망을 이용하여 상기 환경 노이즈가 저감된 이미지로부터 상기 해상에 포함된 장애물에 대한 객체 정보를 획득하는 제2 이미지 처리 단계;를 포함하는 객체 정보 획득 방법이 제공될 수 있다.
다른 일 실시예에 따르면, 해상을 촬상한 입력 이미지를 획득하는 단계; 상기 입력 이미지의 노이즈 레벨을 획득하는 단계; 상기 노이즈 레벨이 미리 정해진 수준보다 낮은 노이즈를 지시하는 경우, 이미지로부터 상기 이미지에 포함된 객체의 거리 및 종류 중 적어도 하나와 관련된 객체 정보를 출력하는 제1 인공신경망을 이용하여, 상기 입력 이미지로부터 상기 입력 이미지에 포함된 장애물에 대한 객체 정보를 획득하는 제1 이미지 처리 단계; 및 상기 노이즈 레벨이 상기 미리 정해진 수준보다 높은 노이즈를 지시하는 경우, 노이즈가 포함된 제1 이미지로부터 이미지 마스크를 생성하도록 학습된 제2 인공신경망으로서, 상기 제2 인공신경망으로부터 생성된 이미지 마스크와 상기 제1 이미지에 기초하여 생성된 제2 이미지 및 상기 제1 이미지에 대응되고 상기 제1 이미지보다 노이즈가 낮은 비교용 이미지를 구별하는 제3 인공신경망으로부터 산출되는 제1 에러값을 이용하여 학습된 제2 인공신경망을 이용하여 상기 입력 이미지로부터 이미지 마스크를 생성하고, 상기 입력 이미지로부터 생성된 이미지 마스크를 이용하여 상기 입력 이미지로부터 환경 노이즈가 저감된 생성 이미지를 획득하고, 상기 제1 인공신경망을 이용하여 상기 생성 이미지로부터 상기 해상에 포함된 장애물에 대한 객체 정보를 획득하는 제2 이미지 처리 단계;를 포함하는 객체 정보 획득 방법이 제공될 수 있다.
또 다른 일 실시예에 따르면, 해상 이미지 및 인공신경망을 이용하여 선박 주변 객체의 종류 및 거리 정보를 포함하는 객체 정보를 획득하는 방법으로, 상기 선박에 설치된 카메라가 촬상한 바다, 장애물 및 환경 노이즈를 포함하는 해상 이미지를 획득하는 단계; 및 환경 노이즈를 포함하는 해상 이미지를 기초로 학습된 인공신경망으로서, 상기 종류 정보를 반영하여 결정되며 바다에 대응되는 제1 분류값 및 상기 거리 정보 및 상기 종류 정보를 반영하여 결정되며 장애물에 대응되는 제2 분류값을 포함하는 출력 데이터 및 라벨링 데이터 - 이 때, 상기 출력 데이터와 상기 라벨링 데이터는 대응됨 - 에 기초하여 학습된 인공신경망을 이용하여 상기 획득되는 해상 이미지로부터 상기 획득되는 해상 이미지에 포함된 객체 정보를 획득하는 단계;를 포함하는 객체 정보 획득 방법이 제공될 수 있다.
또 다른 일 실시예에 따르면, 선박에 설치되어 해상을 촬상하는 카메라; 및 상기 카메라가 촬상한 입력 이미지를 획득하고, 상기 입력 이미지의 노이즈 레벨을 획득하고, 상기 노이즈 레벨이 미리 정해진 수준보다 낮은 노이즈를 지시하는 경우, 이미지로부터 상기 이미지에 포함된 객체의 거리 및 종류 중 적어도 하나와 관련된 객체 정보를 출력하는 제1 인공신경망을 이용하여 상기 입력 이미지로부터 상기 입력 이미지에 포함된 장애물에 대한 객체 정보를 획득하는 제1 이미지 처리 단계를 수행하고, 상기 노이즈 레벨이 상기 미리 정해진 수준보다 높은 노이즈를 지시하는 경우, 노이즈가 포함된 제1 이미지로부터 노이즈가 저감된 제2 이미지를 생성하도록 학습된 제2 인공신경망으로서, 상기 제2 이미지 및 상기 제1 이미지에 대응되고 상기 제1 이미지보다 노이즈가 낮은 비교용 이미지를 구별하는 제3 인공신경망으로부터 산출되는 제1 에러값을 이용하여 학습되는 제2 인공신경망을 이용하여 상기 입력 이미지로부터 환경 노이즈가 저감된 이미지를 획득하고, 상기 제1 인공신경망을 이용하여 상기 환경 노이즈가 저감된 이미지로부터 상기 입력 이미지에 포함된 장애물에 대한 객체 정보를 획득하는 제2 이미지 처리 단계를 수행하는 제어부를 포함하는 객체 정보 획득 장치가 제공될 수 있다.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 따르면, 인공신경망을 이용하여 이미지 세그멘테이션을 수행함으로써 주변 환경의 객체 정보를 획득할 수 있다.
다른 일 실시예에 따르면 인공지능을 이용하여 환경 노이즈를 포함하는 이미지로부터 상기 이미지에 포함된 장애물의 객체 정보를 획득할 수 있다.
또 다른 일 실시예에 따르면 촬상 이미지로부터 전처리된 이미지를 상기 인공신경망의 학습데이터로 이용함으로써 상기 인공신경망의 학습 효율을 높일 수 있다.
본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 일 실시예에 따른 인공신경망의 학습 방법이 도시된 블록도이다.
도 2는 일 실시예에 따른 인공신경망의 추론 단계에 관한 블록도이다.
도 3은 일 실시예에 따른 인공신경망을 이용한 객체 정보 획득 방법이 도시된 도면이다.
도 4는 일 실시예에 따른 인공신경망의 이미지 세그멘테이션 동작을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 분류값이 도시된 표이다.
도 6은 일 실시예에 따른 데이터 확장을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 객체 정보 획득 방법이 도시된 순서도이다.
도 8은 일 실시예에 따른 객체 정보 획득 방법을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 제1 인공신경망(N1)의 학습 방법을 설명하기 위한 도면이다.
도 10은 다른 일 실시예에 따른 제1 인공신경망(N1)의 학습 방법을 설명하기 위한 도면이다.
도 11은 다른 일 실시예에 따른 객체 정보 획득 방법이 도시된 순서도이다.
도 12는 도 11의 객체 정보 획득 방법이 도시된 도면이다.
도 13은 일 실시예에 따른 이미지 마스크(500)의 생성 방법을 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 제4 인공신경망(N4)의 학습 방법이 도시된 도면이다.
도 15는 다른 일 실시예에 따른 제4 인공신경망(N4)의 학습 방법이 도시된 도면이다.
도 16은 일 실시예에 따른 객체 정보 획득 방법을 설명하기 위한 순서도이다.
도 17은 또 다른 일 실시예에 따른 객체 정보 획득 방법이 도시된 도면이다.
도 18은 일 실시예에 따른 객체 정보 획득 방법이 도시된 순서도이다.
도 19는 다른 일 실시예에 따른 객체 정보 획득 방법이 도시된 순서도이다.
도 20은 또 다른 일 실시예에 따른 객체 정보 획득 방법이 도시된 순서도이다.
도 21은 일 실시예에 따른 객체 정보 획득 방법이 도시된 순서도이다.
도 22는 다른 일 실시예에 따른 객체 정보 획득 방법이 도시된 순서도이다.
본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
도면들에 있어서, 층 및 영역들의 두께는 명확성을 기하기 위하여 과장된 것이며, 또한, 구성요소(element) 또는 층이 다른 구성요소 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 구성요소 또는 층의 바로 위뿐만 아니라 중간에 다른 층 또는 다른 구성요소를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.
본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
일 실시예에 따르면, 해상을 촬상한 입력 이미지를 획득하는 단계; 상기 입력 이미지의 노이즈 레벨을 획득하는 단계; 상기 노이즈 레벨이 미리 정해진 수준보다 낮은 노이즈를 지시하는 경우, 이미지로부터 상기 이미지에 포함된 객체의 거리 및 종류 중 적어도 하나와 관련된 객체 정보를 출력하는 제1 인공신경망을 이용하여 상기 입력 이미지로부터 상기 입력 이미지에 포함된 장애물에 대한 객체 정보를 획득하는 제1 이미지 처리 단계; 및 상기 노이즈 레벨이 상기 미리 정해진 수준보다 높은 노이즈를 지시하는 경우, 노이즈가 포함된 제1 이미지로부터 노이즈가 저감된 제2 이미지를 생성하도록 학습된 제2 인공신경망으로서, 상기 제2 이미지 및 상기 제1 이미지에 대응되고 상기 제1 이미지보다 노이즈가 낮은 비교용 이미지를 구별하는 제3 인공신경망으로부터 산출되는 제1 에러값을 이용하여 학습되는 제2 인공신경망을 이용하여 상기 입력 이미지로부터 환경 노이즈가 저감된 이미지를 획득하고, 상기 제1 인공신경망을 이용하여 상기 환경 노이즈가 저감된 이미지로부터 상기 해상에 포함된 장애물에 대한 객체 정보를 획득하는 제2 이미지 처리 단계;를 포함하는 객체 정보 획득 방법이 제공될 수 있다.
이 때, 상기 제1 인공신경망은, 상기 종류 정보를 반영하여 결정되며 바다에 대응되는 제1 분류값 및 상기 거리 정보 및 상기 종류 정보를 반영하여 결정되며 장애물에 대응되는 제2 분류값을 포함하는 출력 데이터, 및 상기 출력 데이터에 대응되는 라벨링 데이터에 기초하여 학습될 수 있다.
이 때, 상기 환경 노이즈는 비, 안개 및 구름 중 적어도 어느 하나를 포함할 수 있다.
이 때, 상기 입력 이미지를 획득하는 단계는, 복수의 이미지 중 일부를 선별하는 단계를 포함할 수 있다.
이 때, 상기 선별하는 단계는, 복수의 이미지 중 조도가 가장 높은 제1 이미지 및 조도가 가장 낮은 제2 이미지를 합성함으로써 제3 이미지를 생성하는 것을 특징으로 할 수 있다.
이 때, 상기 입력 이미지를 획득하는 단계는, 상기 입력 이미지를 RGB 정규화하는 단계를 포함할 수 있다.
이 때, 상기 노이즈 레벨을 획득하는 단계는 상기 입력 이미지의 평균 초점 값을 측정하는 단계를 포함할 수 있다.
이 때, 상기 제2 인공신경망은, 상기 제1 에러값이 최소가되도록 학습될 수 있다.
이 때, 상기 제2 인공신경망은, 상기 제2 이미지를 입력받아 상기 제2 이미지로부터 노이즈가 증가된 제3 이미지를 생성하는 제4 인공신경망으로부터 출력되는 상기 제3 이미지, 및 상기 제1 이미지의 비교에 기초하여 산출되는 제2 에러값이 최소가되도록 학습될 수 있다.
다른 일 실시예에 따르면, 해상을 촬상한 입력 이미지를 획득하는 단계; 상기 입력 이미지의 노이즈 레벨을 획득하는 단계; 상기 노이즈 레벨이 미리 정해진 수준보다 낮은 노이즈를 지시하는 경우, 이미지로부터 상기 이미지에 포함된 객체의 거리 및 종류 중 적어도 하나와 관련된 객체 정보를 출력하는 제1 인공신경망을 이용하여, 상기 입력 이미지로부터 상기 입력 이미지에 포함된 장애물에 대한 객체 정보를 획득하는 제1 이미지 처리 단계; 및 상기 노이즈 레벨이 상기 미리 정해진 수준보다 높은 노이즈를 지시하는 경우, 노이즈가 포함된 제1 이미지로부터 이미지 마스크를 생성하도록 학습된 제2 인공신경망으로서, 상기 제2 인공신경망으로부터 생성된 이미지 마스크와 상기 제1 이미지에 기초하여 생성된 제2 이미지 및 상기 제1 이미지에 대응되고 상기 제1 이미지보다 노이즈가 낮은 비교용 이미지를 구별하는 제3 인공신경망으로부터 산출되는 제1 에러값을 이용하여 학습된 제2 인공신경망을 이용하여 상기 입력 이미지로부터 이미지 마스크를 생성하고, 상기 입력 이미지로부터 생성된 이미지 마스크를 이용하여 상기 입력 이미지로부터 환경 노이즈가 저감된 생성 이미지를 획득하고, 상기 제1 인공신경망을 이용하여 상기 생성 이미지로부터 상기 해상에 포함된 장애물에 대한 객체 정보를 획득하는 제2 이미지 처리 단계;를 포함하는 객체 정보 획득 방법이 제공될 수 있다.
이 때, 상기 제1 인공신경망은, 상기 종류 정보를 반영하여 결정되며 바다에 대응되는 제1 분류값 및 상기 거리 정보 및 상기 종류 정보를 반영하여 결정되며 장애물에 대응되는 제2 분류값을 포함하는 출력 데이터, 및 상기 출력 데이터에 대응되는 라벨링 데이터에 기초하여 학습될 수 있다.
이 때, 상기 입력 이미지는 제1 입력 이미지 및 상기 제1 입력 이미지의 후속 프레임인 제2 입력 이미지를 포함하고, 상기 제2 이미지 처리 단계는, 상기 제1 입력 이미지의 제1 특성 및 상기 제2 입력 이미지의 제2 특성의 차이가 미리 정해진 기준값보다 작은 경우, 상기 제1 입력 이미지로부터 제1 이미지 마스크를 생성하고, 상기 제1 이미지 마스크를 이용하여 상기 제1 입력 이미지로부터 환경 노이즈가 저감된 제1 생성 이미지를 획득하고, 상기 제1 인공신경망을 이용하여 상기 제1 생성 이미지로부터 상기 제1 입력 이미지에 포함된 장애물에 대한 객체 정보를 획득하는 제1 서브 이미지 처리 단계, 및 상기 제1 특성 및 상기 특성의 차이가 상기 미리 정해진 기준값보다 큰 경우, 상기 제2 입력 이미지로부터 제2 이미지 마스크를 생성하고, 상기 제2 이미지 마스크를 이용하여 상기 제2 입력 이미지로부터 환경 노이즈가 저감된 제2 생성 이미지를 획득하고, 상기 제1 인공신경망을 이용하여 상기 제2 생성 이미지로부터 상기 해상에 포함된 장애물에 대한 객체 정보를 획득하는 제2 서브 이미지 처리 단계를 포함할 수 있다.
이 때, 상기 제1 특성 및 상기 제2 특성은 각각 노이즈 레벨 및 픽셀의 RGB값을 포함할 수 있다.
이 때, 상기 제2 인공신경망은, 상기 제2 이미지를 입력받아 상기 제2 이미지로부터 노이즈가 증가된 제3 이미지를 생성하는 제4 인공신경망으로부터 출력되는 상기 제3 이미지, 및 상기 제1 이미지의 비교에 기초하여 산출되는 제2 에러값이 최소가되도록 학습될 수 있다.
이 때, 상기 이미지 마스크는 소정의 프레임동안 유지될 수 있다.
또 다른 일 실시예에 따르면, 해상 이미지 및 인공신경망을 이용하여 선박 주변 객체의 종류 및 거리 정보를 포함하는 객체 정보를 획득하는 방법으로, 상기 선박에 설치된 카메라가 촬상한 바다, 장애물 및 환경 노이즈를 포함하는 해상 이미지를 획득하는 단계; 및 환경 노이즈를 포함하는 해상 이미지를 기초로 학습된 인공신경망으로서, 상기 종류 정보를 반영하여 결정되며 바다에 대응되는 제1 분류값 및 상기 거리 정보 및 상기 종류 정보를 반영하여 결정되며 장애물에 대응되는 제2 분류값을 포함하는 출력 데이터 및 라벨링 데이터 - 이 때, 상기 출력 데이터와 상기 라벨링 데이터는 대응됨 - 에 기초하여 학습된 인공신경망을 이용하여 상기 획득되는 해상 이미지로부터 상기 획득되는 해상 이미지에 포함된 객체 정보를 획득하는 단계;를 포함하는 객체 정보 획득 방법이 제공될 수 있다.
이 때, 상기 제2 분류값은 상기 종류 정보 및 상기 거리 정보의 조합에 의해 정해질 수 있다.
이 때, 상기 종류 정보는 각각 소정의 거리 범위를 갖는 복수의 카테고리를 포함할 수 있다.
또 다른 일 실시예에 따르면, 선박에 설치되어 해상을 촬상하는 카메라; 및 상기 카메라가 촬상한 입력 이미지를 획득하고, 상기 입력 이미지의 노이즈 레벨을 획득하고, 상기 노이즈 레벨이 미리 정해진 수준보다 낮은 노이즈를 지시하는 경우, 이미지로부터 상기 이미지에 포함된 객체의 거리 및 종류 중 적어도 하나와 관련된 객체 정보를 출력하는 제1 인공신경망을 이용하여 상기 입력 이미지로부터 상기 입력 이미지에 포함된 장애물에 대한 객체 정보를 획득하는 제1 이미지 처리 단계를 수행하고, 상기 노이즈 레벨이 상기 미리 정해진 수준보다 높은 노이즈를 지시하는 경우, 노이즈가 포함된 제1 이미지로부터 노이즈가 저감된 제2 이미지를 생성하도록 학습된 제2 인공신경망으로서, 상기 제2 이미지 및 상기 제1 이미지에 대응되고 상기 제1 이미지보다 노이즈가 낮은 비교용 이미지를 구별하는 제3 인공신경망으로부터 산출되는 제1 에러값을 이용하여 학습되는 제2 인공신경망을 이용하여 상기 입력 이미지로부터 환경 노이즈가 저감된 이미지를 획득하고, 상기 제1 인공신경망을 이용하여 상기 환경 노이즈가 저감된 이미지로부터 상기 입력 이미지에 포함된 장애물에 대한 객체 정보를 획득하는 제2 이미지 처리 단계를 수행하는 제어부를 포함하는 객체 정보 획득 장치가 제공될 수 있다.
인공신경망(ANN: Artificial Neural Network)이란 인간의 뇌의 학습방법을 수학적으로 모델링한 알고리즘의 일종이다.
인공신경망은 인공 뉴런(neuron)인 복수의 노드(node) 및 상기 복수의 노드를 연결하는 시냅스(synapse)를 포함할 수 있다. 인공신경망은 적어도 하나 이상의 노드(node)를 포함하는 층(layer)을 포함할 수 있다. 예를 들어, 인공신경망은 입력층(input layer), 은닉층(hidden layer) 및 출력층(output layer)을 포함할 수 있다.
입력층은 인공신경망 외부로부터 입력 데이터를 입력 받아 인공신경망 내부로 상기 입력 데이터를 전송할 수 있다. 은닉층은 상기 입력층으로부터 전송되는 입력 데이터 및 시냅스의 결합세기에 기초하여 산출되는 데이터를 출력 층으로 전송할 수 있다. 출력층은 상기 은닉층으로부터 전송되는 데이터 및 시냅스의 결합세기에 기초하여 출력 데이터를 산출할 수 있다.
인공신경망은 다양한 신경망을 포함할 수 있다. 예컨대, 인공신경망은 필터를 이용해 특징을 추출하는 합성곱신경망(CNN: Convolution Neural Network)을 포함할 수 있다. 또는, 인공신경망은 노드의 출력이 다시 입력으로 피드백되는 구조를 갖는 순환인공신경망(RNN: Recurrent Neural Network)을 포함할 수 있다. 그 외에도, 인공신경망은 제한된 볼츠만 머신(RBM: Restricted Boltzmann Machine), 심층신뢰신경망(DBN: Deep Belief Network), 생성대립신경망(GAN: Generative Adversarial Network), 관계형 네트워크(RN: Relation Networks) 등 다양한 종류의 신경망을 포함할 수 있다.
한편, 인공신경망은 다양한 방법으로 학습(learning)될 수 있다. 예를 들어, 인공신경망은 지도 학습(supervised learning), 비지도 학습(unsupervised learning), 강화 학습(reinforcement learning), 모방 학습(imitation learning)을 포함할 수 있다. 그 외에도, 인공신경망은 다양한 종류의 학습 방법을 통해 학습될 수 있다.
도 1은 일 실시예에 따른 인공신경망의 학습 방법이 도시된 블록도이다. 구체적으로, 도 1은 일 실시예에 따른 지도 학습을 나타낼 수 있다.
도 1을 참조하면, 인공신경망은 학습 데이터(training data)를 입력 받아 출력 데이터를 출력할 수 있다. 인공신경망은 출력 데이터와 라벨링 데이터(labeling data)의 비교에 기초하여 산출되는 오차의 역전파를 통해 학습될 수 있다.
상기 라벨링 데이터는 상기 학습 데이터와 관련될 수 있다. 예를 들어, 상기 라벨링 데이터는 상기 학습 데이터를 기초로 산출된 데이터를 포함할 수 있다.
상기 라벨링 데이터는 실측 자료(ground truth)를 포함할 수 있다. 또는, 상기 라벨링 데이터는 사용자 또는 프로그램을 통하여 생성된 자료일 수 있다.
도 2는 일 실시예에 따른 인공신경망의 추론 단계에 관한 블록도이다. 도 2를 참조하면, 학습된 인공신경망은 입력 데이터를 입력 받아 출력 데이터를 출력할 수 있다.
상기 입력 데이터는 다양한 형태의 데이터를 포함할 수 있다. 예를 들어, 상기 입력 데이터는 이미지 데이터, 오디오 데이터 및 텍스트 데이터를 포함할 수 있다.
상기 출력 데이터는 다양한 형태의 데이터를 포함할 수 있다. 예를 들어, 상기 출력 데이터는 이미지 데이터, 오디오 데이터 및 텍스트 데이터를 포함할 수 있다.
상기 학습된 인공신경망의 학습 정도에 따라 출력 데이터의 정확성이 달라질 수 있다. 구체적으로, 상기 학습 정도가 높을수록 상기 출력 데이터의 정확성이 증가할 수 있다.
이하에서는 인공신경망을 이용하여 주변 장애물에 관한 정보를 획득하는 방법에 대해 설명한다.
도 3은 일 실시예에 따른 인공신경망을 이용한 객체 정보 획득 방법이 도시된 도면이다.
도 3을 참조하면, 인공신경망은 입력 데이터를 입력 받아 출력 데이터를 출력할 수 있다. 예를 들어, 상기 인공신경망은 제1 이미지 데이터(1000)를 입력 받아 제2 이미지 데이터(2000)를 출력할 수 있다.
상기 제1 이미지 데이터(1000)는 카메라로부터 촬상된 이미지일 수 있다.
상기 제2 이미지 데이터(2000)는 상기 제1 이미지 데이터(1000)를 기초로 생성된 데이터일 수 있다. 예를 들어, 상기 제2 이미지 데이터(2000)는 상기 제1 이미지 데이터(1000)에 포함되는 장애물의 종류 정보 및 거리 정보 중 적어도 하나를 포함하는 객체 정보를 포함할 수 있다.
상기 인공신경망은 제1 이미지 데이터(1000)를 입력 받아 이미지 세그멘테이션 동작을 수행할 수 있다.
상기 이미지 세그멘테이션(image segmentation) 동작이란 영상 분할 동작으로, 속성별로 이미지의 영역을 분할하는 동작을 의미할 수 있다. 상기 이미지 세그멘테이션 동작은 이미지의 각 픽셀별로 소정의 속성값을 할당하는 과정을 포함할 수 있다. 예컨대, 상기 속성은 상기 이미지에 포함되는 객체의 종류를 의미할 수 있다. 즉, 상기 이미지 세그멘테이션 동작은 이미지에 포함되는 객체를 픽셀별로 분할하는 과정을 포함할 수 있다. 또는, 상기 이미지 세그멘테이션 동작은 특정 픽셀이 어떤 객체에 대응되는 픽셀인지 나타내는 것을 의미할 수 있다.
상기 속성값은 다양한 방식으로 표현될 수 있다. 예를 들어, 상기 속성값은 색상으로 표현될 수 있다.
상기 이미지 세그멘테이션 동작은 복수의 인공신경망에 의해 수행될 수 있다. 예를 들어, 상기 복수의 인공신경망은 각각 상기 이미지 세그멘테이션 동작을 수행하고, 그 수행 결과를 조합함으로써 객체 정보를 획득할 수 있다.
한편, 상기 인공신경망은 다양한 구조를 가질 수 있다. 예컨대, 상기 인공신경망은 ENet 구조를 가질 수 있다.
한편, 상기 제1 이미지 데이터(1000)는 다양한 형태로 제공될 수 있다. 예를 들어, 도 3에 도시된 바와 같이 제1 이미지 데이터(1000)는 이미지로 제공될 수 있다. 또는, 상기 제1 이미지 데이터(1000)는 픽셀 데이터로 제공될 수 있다.
도 4는 일 실시예에 따른 인공신경망의 이미지 세그멘테이션 동작을 설명하기 위한 도면이다.
도 4를 참조하면, 인공신경망은 제1 이미지(1100)를 입력 받아 제1 출력 데이터(2100)를 출력할 수 있다. 상기 제1 출력 데이터(2100)는 N×M 행렬일 수 있다. 이 때, 상기 N과 상기 M은 같을 수 있다. 상기 행렬의 원소의 개수는 상기 제1 이미지(1100)의 픽셀의 개수와 동일할 수 있다. 즉, 제1 이미지(1100)는 N×M 픽셀을 포함할 수 있다.
제1 이미지(1100)의 각 픽셀은 상기 행렬의 각 원소에 대응될 수 있다. 예를 들어, 제1 이미지(1100)의 각 픽셀은 상기 행렬의 각 원소와 일대일 대응될 수 있다. 또는, 제1 이미지(1100)의 복수의 픽셀의 집합은 상기 행렬의 각 원소와 대응될 수 있다.
상기 제1 출력 데이터(2100)는 다양한 정보를 포함할 수 있다. 예를 들어, 상기 제1 출력 데이터(2100)는 상기 제1 이미지(1100)에 포함되는 객체의 거리 정보를 포함할 수 있다. 또는, 상기 제1 출력 데이터(2100)는 상기 객체의 종류 정보를 포함할 수 있다.
한편, 상기 행렬의 각 원소는 소정의 분류값을 가질 수 있다. 여기서, 상기 분류값이란 제1 이미지(1100)의 각 픽셀에 포함되는 객체 정보가 반영된 값일 수 있다. 따라서, 상기 행렬의 각 원소는 제1 이미지(1100)의 각 픽셀에 대응되는 객체 정보를 포함할 수 있다.
상기 분류값은 다양한 객체 정보에 의해 정해질 수 있다. 예를 들어, 상기 분류값은 객체의 거리 정보 및 종류 정보에 의해 정해질 수 있다.
도 5는 일 실시예에 따른 분류값이 도시된 표이다.
도 5를 참조하면, 분류값은 객체 정보를 포함할 수 있다. 예를 들어, 상기 분류값은 객체의 거리 정보 및 종류 정보를 포함할 수 있다.
한편, 상기 거리 정보는 미터 단위의 특정 거리 값을 가질 수 있다. 예를 들어, 상기 거리 정보는 10m와 같은 거리 값을 가질 수 있다.
또는, 상기 거리 정보는 소정의 범위를 갖는 카테고리로 분류될 수 있다. 예를 들어, 상기 카테고리는 객체의 거리에 따라 근거리, 중거리 및 원거리를 포함할 수 있다. 구체적으로, 0~10m는 근거리, 10~20m는 중거리, 20~30m는 원거리로 분류될 수 있다.
상기 종류 정보는 객체의 종류에 관한 데이터를 포함할 수 있다.
예를 들어, 상기 객체는 그 종류에 따라 지형, 고정 장애물, 동적 장애물 및 기타로 분류될 수 있다. 상기 지형은 산을 포함할 수 있다. 상기 고정 장애물은 섬, 암초 등을 포함할 수 있다. 상기 동적 장애물은 선박을 포함할 수 있다.
한편, 상기 분류값은 상기 거리 정보 및 상기 종류 정보에 기초하여 정해질 수 있다. 예를 들어, 제1 분류값은 객체가 근거리에 위치한 지형인 경우를 지시할 수 있다.
한편, 상기 분류값 중 적어도 일부는 거리 정보를 포함하지 않을 수 있다. 예를 들어, 바다에 대응되는 제1 분류값은 거리 정보를 포함하지 않을 수 있다.
즉, 분류값이 반드시 거리 정보 및 종류 정보 모두에 기초하여 정해져야 하는 것은 아니다. 예컨대, 상기 분류값은 종류 정보에만 기초하여 정해질 수도 있다.
또한, 상기 분류값은 상기 거리 정보 및 상기 종류 정보뿐만 아니라 추가 정보에 기초하여 정해질 수 있다. 예를 들어, 상기 추가 정보는 객체의 방향 정보, 속도 정보, 항로 표지 등을 포함할 수 있다.
한편, 상기 인공신경망으로부터 출력되는 출력 데이터는 이미지 데이터가 될 수 있다. 예를 들어, 상기 이미지 데이터는 상기 분류값에 대응되는 RGB 데이터를 포함할 수 있다.
다시 도 3을 참조하면, 상기 인공신경망은 제1 이미지 데이터(1000)를 입력받아 제2 이미지 데이터(2000)를 출력할 수 있다. 상기 제2 이미지 데이터(2000)의 각 픽셀은 상기 제1 이미지 데이터(1000)에 포함되는 객체 정보를 포함할 수 있다.
상기 제2 이미지 데이터(2000)의 각 픽셀은 상기 객체 정보가 반영된 분류값에 대응되는 RGB 데이터를 포함할 수 있다.
예를 들어, 제1 객체(100)는 근거리에 위치한 동적 장애물로, 도 5의 분류값 7에 대응될 수 있다. 또한, 제2 객체(200)는 원거리에 위치한 지형으로, 도 5의 분류값 3에 대응될 수 있다.
상기 분류값 7은 제7 색상에 대응될 수 있다. 상기 분류값 3은 제3 색상에 대응될 수 있다.
따라서, 제1 객체(100)는 상기 제7 색상으로 표현될 수 있다. 제2 객체(200)는 상기 제3 색상으로 표현될 수 있다.
한편, 상기 인공신경망은 상기 이미지 세그멘테이션 동작을 수행하기 전에 전처리 동작을 수행할 수 있다.
예를 들어, 상기 인공신경망은 복수의 이미지를 입력받아 상기 복수의 이미지 중 일부를 선별하는 동작을 수행할 수 있다.
구체적으로, 상기 인공신경망은 복수의 이미지 중 조도가 가장 높은 제1 이미지 및 조도가 가장 낮은 제2 이미지를 합성함으로써 제3 이미지를 생성할 수 있다. 상기 인공신경망은 상기 제3 이미지를 기초로 상기 이미지 세그멘테이션 동작을 수행함으로써 출력 데이터를 획득할 수 있다.
상기 선별 동작을 통해 상기 인공신경망으로부터 획득되는 출력 데이터의 정확도가 향상될 수 있다.
또한, 상기 인공신경망은 복수의 이미지 중 하나의 이미지를 샘플링할 수 있다. 예를 들어, 상기 인공신경망은 상기 복수의 이미지 중 초점 값(또는 초점 척도, focus measure)이 가장 크고 조도값이 미리 정해진 값에 가장 근사한 이미지를 샘플링할 수 있다. 상기 인공신경망은 상기 샘플링 된 이미지에 기초하여 상기 이미지 세그멘테이션 동작을 수행할 수 있다. 이에 따라, 상기 이미지 세그멘테이션 동작을 통해 산출되는 출력 데이터의 정확도는 향상될 수 있다.
상기 전처리 동작의 다른 예로, 상기 인공신경망은 RGB 정규화 동작을 수행할 수 있다.
한편, 상기 인공신경망은 다양한 방법으로 학습될 수 있다.
예를 들어, 인공신경망은 학습 데이터를 입력받아 출력 데이터를 출력할 수 있다. 상기 출력 데이터 및 상기 학습 데이터와 관련된 라벨링 데이터의 차이에 기초하여 산출되는 오차가 상기 인공신경망으로 역전파됨에 따라 상기 인공신경망은 학습될 수 있다.
상기 학습 데이터는 이미지 데이터가 될 수 있다. 상기 이미지 데이터는 해상을 촬상하여 획득되는 해상 이미지를 포함할 수 있다.
상기 학습 데이터는 임의의 이미지로부터 데이터 확장(data augmentation)을 통해 획득되는 복수의 이미지 데이터를 포함할 수 있다.
도 6은 일 실시예에 따른 데이터 확장을 설명하기 위한 도면이다. 도 6을 참조하면, 원본 이미지(1300)로부터 복수의 생성 이미지가 생성될 수 있다. 다양한 기상 조건 또는 환경 노이즈가 반영되어 원본 이미지(1300)로부터 복수의 생성 이미지가 생성될 수 있다.
예를 들어, 제1 생성 이미지(1310)는 원본 이미지(1300)에 안개가 추가된 이미지일 수 있다. 또는, 제1 생성 이미지(1310)의 안개 정도는 원본 이미지(1300)의 안개 정도보다 클 수 있다. 제2 생성 이미지(1320)는 원본 이미지(1300)에 비가 추가된 이미지일 수 있다. 제1 생성 이미지(1310)는 원본 이미지(1300)에 안개 및 비가 추가된 이미지일 수 있다.
상기 인공신경망은 제1 생성 이미지(1310), 제2 생성 이미지(1320) 및 제3 생성 이미지(1330)를 기초로 학습될 수 있다. 이에 따라, 상기 인공신경망의 학습 효율은 향상될 수 있다.
한편, 인공신경망은 다양한 라벨링 데이터를 기초로 학습될 수 있다. 일 예로, 상기 인공신경망이 입력 이미지에 포함되는 객체에 대응되는 분류값을 출력하는 경우, 상기 인공신경망은 상기 객체에 관한 분류값을 포함하는 라벨링 데이터를 기초로 학습될 수 있다.
다른 일 예로, 상기 인공신경망이 입력 이미지에 포함되는 객체에 대응되는 분류값에 대응되는 RGB 데이터를 출력하는 경우, 상기 인공신경망은 상기 객체에 관한 분류값에 대응되는 RGB 데이터를 기초로 학습될 수 있다.
상기 인공신경망의 학습 단계에서 상기 전처리 동작이 수행될 수 있다. 이에 따라, 상기 인공신경망의 학습 효율이 향상될 수 있다.
이상에서는 이미지를 입력받아 상기 이미지에 포함되는 장애물의 객체 정보를 획득하는 인공신경망의 동작 및 학습 방법에 대하여 설명하였다. 한편, 인공신경망으로 입력되는 이미지가 환경 노이즈를 포함하는 경우, 상기 인공신경망으로부터 출력되는 출력 데이터의 정확도가 달라질 수 있다. 따라서, 상기 인공신경망으로 입력되는 이미지에 대한 처리가 필요할 수 있다.
이하에서는 환경 노이즈를 포함하는 입력 이미지로부터 상기 입력 이미지에 포함되는 장애물에 대한 객체 정보를 획득하는 방법에 대하여 설명한다.
도 7은 일 실시예에 따른 객체 정보 획득 방법이 도시된 순서도이다.
도 7을 참조하면, 객체 정보 획득 방법은 원본 이미지를 획득하는 단계(S1000), 제1 인공신경망을 이용하여 상기 원본 이미지로부터 환경 노이즈가 저감된 이미지를 획득하는 단계(S2000) 및 제2 인공신경망을 이용하여 상기 환경 노이즈가 저감된 이미지로부터 장애물에 대한 객체 정보를 획득하는 단계(S3000)를 포함할 수 있다.
여기서, 상기 원본 이미지란 해상을 촬상한 raw 이미지 및 상기 raw 이미지로부터 전처리된 이미지를 포함할 수 있다. 상기 전처리는 상기 raw 이미지의 용량, 크기, 색상 등을 조절하는 단계를 포함할 수 있다. 또한, 상기 원본 이미지는 입력 이미지와 동일하게 표현될 수 있다. 이는 이하에서도 마찬가지이다.
이하에서는 각 단계에 대하여 상세히 설명한다.
먼저, 제어부(1)는 원본 이미지를 획득할 수 있다(S1000). 상기 원본 이미지는 카메라로부터 촬상된 이미지로 제공될 수 있다. 예를 들어, 상기 원본 이미지는 카메라가 해상을 촬상하여 획득한 해상 이미지일 수 있다. 도시되지 않았으나, 제어부(1)는 GPU, CPU, MCU, MPU 등을 포함할 수 있다.
상기 원본 이미지는 환경 노이즈를 포함할 수 있다. 상기 환경 노이즈란 비, 안개, 구름, 먼지 등과 같이 상기 카메라가 설치된 장소 주변에 존재하는 노이즈를 의미할 수 있다.
상기 제어부(1)는 제1 인공신경망(N1)을 이용하여 상기 원본 이미지로부터 환경 노이즈가 저감된 생성 이미지를 획득할 수 있다(S2000). 예를 들어, 상기 생성 이미지의 안개 정도는 상기 원본 이미지의 안개 정도보다 작을 수 있다. 또는, 상기 생성 이미지는 상기 원본 이미지에 포함된 환경 노이즈를 포함하지 않을 수 있다.
상기 제1 인공신경망(N1)은 상기 전처리 동작을 수행할 수 있다. 예를 들어, 상기 제1 인공신경망(N1)은 상기 원본 이미지 중 일부를 선별하는 동작을 수행할 수 있다. 또는, 상기 제1 인공신경망(N1)은 RGB 정규화 동작을 수행할 수 있다.
상기 제어부(1)는 제2 인공신경망(N2)을 이용하여 상기 환경 노이즈가 저감된 생성 이미지로부터 상기 원본 이미지에 포함된 장애물에 대한 객체 정보를 획득할 수 있다(S3000).
상기 제2 인공신경망(N2)은 도 3 내지 도 6에서 설명한 이미지 세그멘테이션 동작을 수행할 수 있다. 예를 들어, 상기 제2 인공신경망(N2)은 해상 이미지를 입력 받아 상기 해상 이미지에 포함되는 장애물에 관한 객체 정보를 포함하는 출력 데이터를 출력할 수 있다. 상기 객체 정보는 상기 장애물의 거리 정보 및 상기 장애물의 종류 정보를 포함할 수 있다.
한편, 제어부(1)는 제1 인공신경망(N1) 및 제2 인공신경망(N2)의 동작을 제어할 수 있다. 예를 들어, 상기 원본 이미지의 노이즈 레벨이 미리 정해진 수준보다 낮은 노이즈를 지시하는 경우, 제어부(1)는 제1 인공신경망(N1)을 비활성화할 수 있다.
도 8은 일 실시예에 따른 객체 정보 획득 방법을 설명하기 위한 도면이다.
도 8을 참조하면, 제1 인공신경망(N1)은 원본 이미지(1410)를 입력 받아 상기 원본 이미지(1410)로부터 환경 노이즈가 저감된 생성 이미지(1420)를 출력할 수 있다. 제2 인공신경망(N2)은 제1 인공신경망(N1)으로부터 출력되는 생성 이미지(1420)를 입력 받아 출력 데이터(1430)를 출력할 수 있다. 상기 출력 데이터(1430)는 상기 원본 이미지(1410)에 포함된 장애물에 관한 객체 정보를 포함할 수 있다.
제1 인공신경망(N1)은 상기 전처리 동작을 수행할 수 있다. 또는, 상기 전처리 동작은 제2 인공신경망(N2)에 의해서도 수행될 수 있다.
상기 제2 인공신경망(N2)은 상기 이미지 세그멘테이션 동작을 수행함으로써 상기 원본 이미지(1410)에 포함된 객체에 관한 거리 정보 및 종류 정보를 출력할 수 있다.
한편, 상기 제1 인공신경망(N1) 및 상기 제2 인공신경망(N2)은 하나의 신경망으로 구성될 수 있다. 이 때, 상기 신경망은 원본 이미지(1410)로부터 상기 원본 이미지(1410)에 포함되는 객체에 관한 거리 정보 및 종류 정보를 출력할 수 있다.
도 9는 일 실시예에 따른 제1 인공신경망(N1)의 학습 방법을 설명하기 위한 도면이다.
도 9를 참조하면, 제1 인공신경망(N1)은 원본 이미지를 입력 받아 생성 이미지를 출력할 수 있다. 상기 원본 이미지는 카메라로부터 촬상된 이미지일 수 있다. 상기 원본 이미지는 제1 인공신경망(N1)의 학습 데이터가 될 수 있다. 상기 원본 이미지는 상기 환경 노이즈를 포함할 수 있다.
상기 생성 이미지는 제3 인공신경망(N3)으로 입력될 수 있다. 상기 생성 이미지는 상기 원본 이미지로부터 상기 환경 노이즈가 저감된 이미지일 수 있다.
제3 인공신경망(N3)은 상기 생성 이미지 및 상기 생성 이미지에 대응되는 비교 이미지를 구별할 수 있다. 상기 비교 이미지는 상기 원본 이미지로부터 상기 환경 노이즈가 저감된 이미지일 수 있다. 또는, 상기 비교 이미지는 상기 원본 이미지로부터 상기 환경 노이즈가 제거된 이미지일 수 있다. 상기 비교 이미지는 라벨링 데이터일 수 있다. 예를 들어, 상기 비교 이미지는 실측 자료(ground truth)를 포함할 수 있다. 또는, 상기 비교 이미지는 사용자 또는 프로그램을 통하여 생성될 수 있다.
예를 들어, 제3 인공신경망(N3)은 상기 생성 이미지 및 상기 비교 이미지 중 하나를 선택할 수 있다. 상기 선택에 기초하여 오차가 산출될 수 있다. 상기 오차는 제1 인공신경망(N1) 및 제3 인공신경망(N3) 중 적어도 하나로 역전파됨으로써 제1 인공신경망(N1) 및 제3 인공신경망(N3)은 학습될 수 있다. 제1 인공신경망(N1)으로 역전파되는 오차는 제3 인공신경망(N3)으로 역전파되는 오차와 상이할 수 있다.
제1 인공신경망(N1) 및 제3 인공신경망(N3)은 생성적 적대 신경망(GAN: Generative Adversarial Network)을 구성할 수 있다.
상기 학습 과정을 통해 학습된 제1 인공신경망(N1)은 환경 노이즈를 포함하는 원본 이미지로부터 상기 환경 노이즈가 저감된 이미지를 생성할 수 있다.
도 10은 다른 일 실시예에 따른 제1 인공신경망(N1)의 학습 방법을 설명하기 위한 도면이다.
도 10을 참조하면, 제1 인공신경망(N1)은 제1 원본 이미지를 입력 받아 제1 생성 이미지를 출력할 수 있다. 상기 제1 원본 이미지는 카메라로부터 촬상된 이미지일 수 있다. 상기 제1 원본 이미지는 제1 인공신경망(N1)의 학습 데이터가 될 수 있다. 상기 제1 원본 이미지는 상기 환경 노이즈를 포함할 수 있다.
상기 제1 생성 이미지는 제3 인공신경망(N3)으로 입력될 수 있다. 상기 제1 생성 이미지는 상기 제1 원본 이미지로부터 상기 환경 노이즈가 저감된 이미지일 수 있다.
제3 인공신경망(N3)은 상기 제1 생성 이미지 및 상기 제1 생성 이미지에 대응되는 제1 비교 이미지를 구별할 수 있다. 상기 제1 비교 이미지는 상기 제1 원본 이미지로부터 상기 환경 노이즈가 저감된 이미지일 수 있다. 또는, 상기 제1 비교 이미지는 상기 제1 원본 이미지로부터 상기 환경 노이즈가 제거된 이미지일 수 있다. 상기 제1 비교 이미지는 라벨링 데이터일 수 있다. 예를 들어, 상기 제1 비교 이미지는 실측 자료(ground truth)를 포함할 수 있다. 또는, 상기 제1 비교 이미지는 사용자 또는 프로그램을 통하여 생성될 수 있다.
예를 들어, 제3 인공신경망(N3)은 상기 제1 생성 이미지 및 상기 제1 비교 이미지 중 하나를 선택할 수 있다. 상기 선택에 기초하여 오차가 산출될 수 있다. 상기 오차는 제1 인공신경망(N1) 및 제3 인공신경망(N3) 중 적어도 하나로 역전파됨으로써 제1 인공신경망(N1) 및 제3 인공신경망(N3)은 학습될 수 있다. 제1 인공신경망(N1)으로 역전파되는 오차는 제3 인공신경망(N3)으로 역전파되는 오차와 상이할 수 있다.
제1 인공신경망(N1) 및 제3 인공신경망(N3)은 생성적 적대 신경망(GAN: Generative Adversarial Network)을 구성할 수 있다.
한편, 제6 인공신경망(N6)은 상기 제1 생성 이미지를 입력 받아 제2 원본 이미지를 출력할 수 있다. 상기 제2 원본 이미지는 상기 제1 생성 이미지로부터 환경 노이즈가 증가된 이미지일 수 있다.
상기 제1 원본 이미지 및 상기 제2 원본 이미지에 기초하여 제1 오차가 산출될 수 있다. 제1 인공신경망(N1)은 상기 제1 오차가 최소화되도록 학습될 수 있다.
제6 인공신경망(N6)은 제2 생성 이미지를 입력 받아 제3 원본 이미지를 출력할 수 있다. 상기 제2 생성 이미지는 상기 제3 원본 이미지로부터 환경 노이즈가 저감된 이미지일 수 있다. 또는, 상기 제2 생성 이미지는 상기 제3 원본 이미지보다 환경 노이즈 레벨이 낮은 이미지일 수 있다.
상기 제3 원본 이미지는 상기 제2 생성 이미지로부터 환경 노이즈가 증가된 이미지일 수 있다. 상기 제3 원본 이미지는 제7 인공신경망(N7)으로 입력될 수 있다.
제7 인공신경망(N7)은 상기 제3 원본 이미지 및 상기 제2 생성 이미지에 대응되는 제2 비교 이미지를 구별할 수 있다. 상기 제2 비교 이미지는 상기 제2 생성 이미지로부터 상기 환경 노이즈가 증가된 이미지일 수 있다. 상기 제2 비교 이미지는 라벨링 데이터일 수 있다. 예를 들어, 상기 제2 비교 이미지는 실측 자료(ground truth)를 포함할 수 있다. 또는, 상기 제2 비교 이미지는 사용자 또는 프로그램을 통하여 생성될 수 있다.
예를 들어, 제7 인공신경망(N7)은 상기 제3 원본 이미지 및 상기 제2 비교 이미지 중 하나를 선택할 수 있다. 상기 선택에 기초하여 오차가 산출될 수 있다. 상기 오차는 제6 인공신경망(N6) 및 제7 인공신경망(N7) 중 적어도 하나로 역전파됨으로써 제6 인공신경망(N6) 및 제7 인공신경망(N7)은 학습될 수 있다. 제6 인공신경망(N6)으로 역전파되는 오차는 제7 인공신경망(N7)으로 역전파되는 오차와 상이할 수 있다.
제6 인공신경망(N6) 및 제7 인공신경망(N7)은 생성적 적대 신경망(GAN: Generative Adversarial Network)을 구성할 수 있다.
한편, 제1 인공신경망(N1)은 상기 제3 원본 이미지를 입력 받아 제3 생성 이미지를 출력할 수 있다. 상기 제3 생성 이미지는 상기 제3 원본 이미지로부터 환경 노이즈가 감소된 이미지일 수 있다.
상기 제2 생성 이미지 및 상기 제3 생성 이미지에 기초하여 제2 오차가 산출될 수 있다. 제1 인공신경망(N1)은 상기 제2 오차가 최소화되도록 학습될 수 있다.
상기 학습 과정을 통해 학습된 제1 인공신경망(N1)은 환경 노이즈를 포함하는 원본 이미지로부터 상기 환경 노이즈가 저감된 이미지를 생성할 수 있다.
도 11은 다른 일 실시예에 따른 객체 정보 획득 방법이 도시된 순서도이다.
도 11을 참조하면, 객체 정보 획득 방법은 원본 이미지를 획득하는 단계(S1100), 제4 인공신경망을 이용하여 상기 원본 이미지로부터 이미지 마스크를 생성하는 단계(S2100), 상기 생성된 이미지 마스크를 이용하여 상기 원본 이미지로부터 환경 노이즈가 저감된 이미지를 획득하는 단계(S3100) 및 제2 인공신경망을 이용하여 상기 환경 노이즈가 저감된 이미지로부터 객체 정보를 획득하는 단계(S4100)를 포함할 수 있다.
이하에서는 각 단계에 대하여 상세히 설명한다.
먼저, 제어부(1)는 원본 이미지를 획득할 수 있다(S1100). 상기 원본 이미지는 카메라로부터 촬상된 이미지로 제공될 수 있다. 예를 들어, 상기 원본 이미지는 카메라가 해상을 촬상하여 획득한 해상 이미지일 수 있다.
상기 원본 이미지는 환경 노이즈를 포함할 수 있다. 상기 환경 노이즈란 비, 안개, 구름, 먼지 등과 같이 상기 카메라가 설치된 장소 주변에 존재하는 노이즈를 의미할 수 있다.
제어부(1)는 제4 인공신경망을 이용하여 상기 원본 이미지로부터 이미지 마스크를 생성할 수 있다(S2100).
상기 이미지 마스크는 상기 원본 이미지와 관련이 있을 수 있다. 상기 이미지 마스크는 상기 원본 이미지를 기초로 생성된 이미지 필터로 제공될 수 있다.
상기 이미지 마스크는 다양한 종류의 필터를 포함할 수 있다. 예를 들어, 상기 이미지 마스크는 역 컨볼루션(deconvolution) 필터를 포함할 수 있다. 또는, 상기 이미지 마스크는 샤픈(sharpen) 필터를 포함할 수 있다.
제어부(1)는 상기 생성된 이미지 마스크를 이용하여 상기 원본 이미지로부터 환경 노이즈가 저감된 이미지를 획득할 수 있다(S3100). 예를 들어, 상기 환경 노이즈가 저감된 이미지를 획득하는 단계는 상기 이미지 마스크 및 상기 원본 이미지에 기초한 컨볼루션 연산 동작을 포함할 수 있다.
제어부(1)는 제2 인공신경망을 이용하여 상기 환경 노이즈가 저감된 이미지로부터 장애물에 대한 객체 정보를 획득할 수 있다(S4100).
상기 제2 인공신경망은 상기 이미지 세그멘테이션 동작을 수행함으로써 상기 환경 노이즈가 저감된 이미지로부터 상기 원본 이미지에 포함된 장애물의 객체 정보를 포함할 수 있다.
도 12는 도 11의 객체 정보 획득 방법이 도시된 도면이다.
도 12를 참조하면, 제4 인공신경망(N4)은 환경 노이즈를 포함하는 원본 이미지(1510)로부터 이미지 마스크(500)를 생성할 수 있다. 제4 인공신경망(N4)은 상기 이미지 마스크(500)를 생성하기 전 또는 생성하는 단계에서 상기 전처리 동작을 수행할 수 있다. 예를 들어, 제4 인공신경망(N4)은 복수의 원본 이미지 중 일부를 선별하는 동작을 수행할 수 있다.
제어부(1)는 상기 생성된 이미지 마스크(500)를 이용하여 상기 원본 이미지(1510)로부터 환경 노이즈가 저감된 생성 이미지(1520)를 출력할 수 있다. 예를 들어, 제어부(1)는 상기 원본 이미지(1510) 및 상기 이미지 마스크(500)의 컨볼루션 연산을 수행함으로써 상기 생성 이미지(1520)를 출력할 수 있다.
제2 인공신경망(N2)은 상기 생성 이미지(1520)를 입력 받아 상기 원본 이미지(1510)에 포함되는 객체에 관한 객체 정보를 포함하는 출력 데이터(1530)를 출력할 수 있다. 예를 들어, 제2 인공신경망(N2)은 상기 이미지 세그멘테이션 동작을 수행함으로써 상기 원본 이미지(1510)에 포함되는 객체의 거리 정보 및 종류 정보가 반영된 색상으로 표현된 이미지를 출력할 수 있다.
제2 인공신경망(N2)은 상기 전처리 동작을 수행할 수 있다. 예를 들어, 제2 인공신경망(N2)은 복수의 생성 이미지(1520) 중 일부를 선별하는 동작을 수행할 수 있다. 또는, 제2 인공신경망(N2)은 생성 이미지(1520)에 대한 RGB 정규화 동작을 수행할 수 있다.
한편, 상기 이미지 마스크는 소정의 프레임동안 유지될 수 있다.
예를 들어, 제1 원본 이미지 및 상기 제1 원본 이미지의 후속프레임인 제2 원본 이미지가 미리 정해진 범위 이하로 차이가 나는 경우, 상기 제1 원본 이미지에 기초하여 생성된 제1 이미지 마스크는 상기 제2 원본 이미지에 적용될 수 있다. 즉, 상기 제1 이미지 마스크 및 상기 제2 원본 이미지에 기초하여 상기 제2 원본 이미지에 대응되는 생성 이미지가 출력될 수 있다.
이에 따라, 제어부(1)의 전체 연산량이 줄어들 수 있다. 즉, 상기 객체 정보 획득 속도가 증가할 수 있다.
상기 제1 원본 이미지 및 상기 제2 원본 이미지의 차이는 다양한 방법으로 산출될 수 있다. 예를 들어, 상기 차이는 상기 제1 원본 이미지 및 상기 제2 원본 이미지 각각의 RGB 데이터 분포에 기초하여 산출될 수 있다. 구체적으로, 상기 제1 원본 이미지의 RGB 데이터와 상기 제2 원본 이미지의 RGB 데이터의 차이가 미리 정해진 범위보다 작은 경우, 상기 제1 이미지 마스크는 상기 제2 원본 이미지에 적용될 수 있다.
상기 제2 인공신경망(N2) 및 상기 제4 인공신경망(N4)은 하나의 신경망으로 구성될 수 있다. 이 때, 상기 신경망은 원본 이미지로부터 상기 원본 이미에 포함되는 객체에 관한 거리 정보 및 종류 정보를 출력할 수 있다.
도 13은 일 실시예에 따른 이미지 마스크(500)의 생성 방법을 설명하기 위한 도면이다.
도 13을 참조하면, 제4 인공신경망(N4)은 원본 이미지(1510)를 입력 받아 이미지 마스크(500)를 출력할 수 있다.
제4 인공신경망(N4)은 복수의 노드를 포함하는 복수의 층(layer)을 포함할 수 있다. 예를 들어, 제4 인공신경망(N4)은 원본 이미지(1510)의 픽셀에 대응되는 입력층을 포함할 수 있다. 제4 인공신경망(N4)은 적어도 하나의 은닉층(hidden layer) 및 출력층(output layer)을 포함할 수 있다.
은닉층은 상기 입력층으로부터 전송되는 입력 데이터 및 시냅스의 결합세기에 기초하여 산출되는 데이터를 출력층으로 전송할 수 있다. 상기 출력층은 상기 은닉층으로부터 전송되는 데이터 및 시냅스의 결합세기에 기초하여 출력 데이터를 산출할 수 있다.
상기 출력 데이터에 기초하여 이미지 마스크(500)가 생성될 수 있다. 예를 들어, 이미지 마스크(500)는 p×q 행렬로 제공될 수 있다. 또는, 이미지 마스크(500)는 p×q 크기의 필터로 제공될 수 있다.
한편, 제4 인공신경망(N4)은 다양한 방법으로 학습될 수 있다.
도 14는 일 실시예에 따른 제4 인공신경망(N4)의 학습 방법이 도시된 도면이다.
도 14를 참조하면, 제4 인공신경망(N4)은 환경 노이즈를 포함하는 원본 이미지를 입력받아 이미지 마스크를 생성할 수 있다. 상기 원본 이미지 및 상기 이미지 마스크에 기초하여 상기 원본 이미지로부터 상기 환경 노이즈가 저감된 생성 이미지가 생성될 수 있다.
제4 인공신경망(N4)은 상기 이미지 마스크를 생성하기 전 또는 생성하는 단계에서 상기 전처리 동작을 수행할 수 있다. 예를 들어, 제4 인공신경망(N4)은 복수의 원본 이미지 중 일부를 선별하는 동작을 수행할 수 있다.
제5 인공신경망(N5)은 상기 생성 이미지 및 상기 비교 이미지를 획득할 수 있다. 상기 비교 이미지는 상기 생성 이미지에 대응될 수 있다. 상기 비교 이미지는 상기 원본 이미지와 관련될 수 있다. 예를 들어, 상기 비교 이미지는 상기 원본 이미지로부터 상기 환경 노이즈가 감소된 이미지일 수 있다.
상기 비교 이미지는 라벨링 데이터일 수 있다. 예를 들어, 상기 비교 이미지는 실측 자료(ground truth)를 포함할 수 있다. 또는, 상기 비교 이미지는 사용자 또는 프로그램을 통하여 생성될 수 있다.
제5 인공신경망(N5)은 상기 생성 이미지 및 상기 비교 이미지에 기초하여 오차를 산출할 수 있다. 상기 산출되는 오차는 제4 인공신경망(N4)으로 역전파될 수 있다.
제4 인공신경망(N4)은 상기 오차에 기초하여 파라미터를 갱신할 수 있다.
상기 과정이 반복됨에 따라 제4 인공신경망(N4)은 학습될 수 있다.
학습이 완료된 제4 인공신경망(N4)으로부터 생성되는 이미지 마스크에 기초하여 환경 노이즈가 저감된 생성 이미지가 획득될 수 있다.
한편, 일 실시예에 따른 인공신경망은 원본 이미지에 대한 전처리 없이 상기 원본 이미지에 포함되는 장애물에 관한 객체 정보를 출력할 수 있다.
예를 들어, 제6 인공신경망(N6)은 환경 노이즈를 포함하는 원본 이미지로부터 상기 원본 이미지에 포함되는 장애물에 관한 객체 정보를 출력하도록 학습될 수 있다.
이 때, 제6 인공신경망(N6)은 도 7과 같이 다양한 노이즈를 갖는 복수의 이미지 및 상기 복수의 이미지에 대응되는 복수의 비교 이미지에 기초하여 학습될 수 있다.
상기 학습이 완료된 제6 인공신경망(N6)은, 환경 노이즈를 포함하는 원본 이미지로부터 상기 원본 이미지에 포함되는 객체 정보를 출력할 수 있다.
도 15는 다른 일 실시예에 따른 제4 인공신경망(N4)의 학습 방법이 도시된 도면이다.
도 15를 참조하면, 제4 인공신경망(N4)은 환경 노이즈를 포함하는 제1 원본 이미지를 입력받아 제1 이미지 마스크를 생성할 수 있다. 상기 제1 원본 이미지 및 상기 제1 이미지 마스크에 기초하여 상기 제1 원본 이미지로부터 상기 환경 노이즈가 저감된 제1 생성 이미지가 생성될 수 있다.
상기 제1 생성 이미지는 제3 인공신경망(N3)으로 입력될 수 있다. 상기 제1 생성 이미지는 상기 제1 원본 이미지로부터 상기 환경 노이즈가 저감된 이미지일 수 있다.
제3 인공신경망(N3)은 상기 제1 생성 이미지 및 상기 제1 생성 이미지에 대응되는 제1 비교 이미지를 구별할 수 있다. 상기 제1 비교 이미지는 상기 제1 원본 이미지로부터 상기 환경 노이즈가 저감된 이미지일 수 있다. 또는, 상기 제1 비교 이미지는 상기 제1 원본 이미지로부터 상기 환경 노이즈가 제거된 이미지일 수 있다. 상기 제1 비교 이미지는 라벨링 데이터일 수 있다. 예를 들어, 상기 제1 비교 이미지는 실측 자료(ground truth)를 포함할 수 있다. 또는, 상기 제1 비교 이미지는 사용자 또는 프로그램을 통하여 생성될 수 있다.
예를 들어, 제3 인공신경망(N3)은 상기 제1 생성 이미지 및 상기 제1 비교 이미지 중 하나를 선택할 수 있다. 상기 선택에 기초하여 오차가 산출될 수 있다. 상기 오차는 제4 인공신경망(N4) 및 제3 인공신경망(N3) 중 적어도 하나로 역전파됨으로써 제4 인공신경망(N4) 및 제3 인공신경망(N3)은 학습될 수 있다. 제4 인공신경망(N4)으로 역전파되는 오차는 제3 인공신경망(N3)으로 역전파되는 오차와 상이할 수 있다.
제4 인공신경망(N4) 및 제3 인공신경망(N3)은 생성적 적대 신경망(GAN: Generative Adversarial Network)을 구성할 수 있다.
한편, 제6 인공신경망(N6)은 상기 제1 생성 이미지를 입력 받아 제2 원본 이미지를 출력할 수 있다. 상기 제2 원본 이미지는 상기 제1 생성 이미지로부터 환경 노이즈가 증가된 이미지일 수 있다.
상기 제1 원본 이미지 및 상기 제2 원본 이미지에 기초하여 제3 오차가 산출될 수 있다. 제4 인공신경망(N4)은 상기 제3 오차가 최소화되도록 학습될 수 있다.
제6 인공신경망(N6)은 제2 생성 이미지를 입력받아 제3 원본 이미지를 생성할 수 있다.
상기 제3 원본 이미지는 제7 인공신경망(N7)으로 입력될 수 있다. 상기 제3 원본 이미지는 상기 제2 생성 이미지로부터 상기 환경 노이즈가 증가된 이미지일 수 있다.
제7 인공신경망(N7)은 상기 제3 원본 이미지 및 상기 제3 원본 이미지에 대응되는 제2 비교 이미지를 구별할 수 있다. 상기 제2 비교 이미지는 상기 제2 생성 이미지로부터 상기 환경 노이즈가 증가된 이미지일 수 있다. 상기 제2 비교 이미지는 라벨링 데이터일 수 있다. 예를 들어, 상기 제2 비교 이미지는 실측 자료(ground truth)를 포함할 수 있다. 또는, 상기 제2 비교 이미지는 사용자 또는 프로그램을 통하여 생성될 수 있다.
예를 들어, 제7 인공신경망(N7)은 상기 제3 원본 이미지 및 상기 제2 비교 이미지 중 하나를 선택할 수 있다. 상기 선택에 기초하여 오차가 산출될 수 있다. 상기 오차는 제6 인공신경망(N6) 및 제7 인공신경망(N7) 중 적어도 하나로 역전파됨으로써 제6 인공신경망(N6) 및 제7 인공신경망(N7)은 학습될 수 있다. 제6 인공신경망(N6)으로 역전파되는 오차는 제7 인공신경망(N7)으로 역전파되는 오차와 상이할 수 있다.
제6 인공신경망(N6) 및 제7 인공신경망(N7)은 생성적 적대 신경망(GAN: Generative Adversarial Network)을 구성할 수 있다.
한편, 제4 인공신경망(N4)은 상기 제3 원본 이미지를 입력 받아 제2 이미지 마스크를 출력할 수 있다. 상기 제3 원본 이미지 및 상기 제2 이미지 마스크를 기초로 제3 생성 이미지가 획득될 수 있다. 상기 제3 생성 이미지는 상기 제3 원본 이미지로부터 환경 노이즈가 저감된 이미지일 수 있다.
상기 제2 생성 이미지 및 상기 제3 생성 이미지에 기초하여 제4 오차가 산출될 수 있다. 제4 인공신경망(N4)은 상기 제4 오차가 최소화되도록 학습될 수 있다.
한편, 상기 이미지 마스크는 상기 원본 이미지의 노이즈 변화량에 기초하여 갱신될 수 있다.
도 16은 일 실시예에 따른 객체 정보 획득 방법을 설명하기 위한 순서도이다.
도 16을 참조하면, 제어부(1)는 원본 이미지의 노이즈 변화량을 획득할 수 있다. 상기 원본 이미지는 환경 노이즈를 포함할 수 있다. 상기 노이즈 변화량은 상기 환경 노이즈 변화량을 의미할 수 있다.
상기 원본 이미지는 제1 프레임의 제1 원본 이미지, 상기 제1 프레임의 후속 프레임인 제2 프레임의 제2 원본 이미지 및 상기 제2 프레임의 후속 프레임인 제3 원본 이미지를 포함할 수 있다.
상기 원본 이미지의 노이즈 변화량이 미리 정해진 기준값 이하인 경우, 제어부(1)는 기 생성된 제1 이미지 마스크를 유지할 수 있다. 상기 제1 이미지 마스크는 상기 제1 원본 이미지를 기초로 제4 인공신경망(N4)이 생성한 이미지 마스크일 수 있다.
제어부(1)는 상기 제1 이미지 마스크를 이용하여 상기 원본 이미지로부터 노이즈가 저감된 제1 생성 이미지를 획득할 수 있다. 여기서, 상기 원본 이미지는 상기 제2 원본 이미지를 의미할 수 있다. 이 때, 제어부(1)는 도 11의 단계 S3100과 같이 상기 제1 생성 이미지를 획득할 수 있다.
제어부(1)는 제2 인공신경망(N2)을 이용하여 상기 제1 생성 이미지로부터 객체 정보를 획득할 수 있다. 이 때, 제어부(1)는 도 11의 단계 S4100과 같이 상기 객체 정보를 회득할 수 있다.
상기 원본 이미지의 노이즈 변화량이 미리 정해진 기준값 이하인 경우, 제어부(1)는 제4 인공신경망(N4)을 비활성화할 수 있다. 이에 따라, 제어부(1)의 전체 연산량이 감소할 수 있다.
상기 원본 이미지의 노이즈 변화량이 미리 정해진 기준값보다 큰 경우, 제어부(1)는 제4 인공신경망(N4)을 이용하여 상기 제1 이미지 마스크를 갱신할 수 있다. 예를 들어, 제4 인공신경망(N4)은 상기 제3 원본 이미지로부터 제3 이미지 마스크를 생성할 수 있다. 이 때, 제어부(1)는 상기 제1 이미지 마스크를 상기 제3 이미지 마스크로 갱신할 수 있다.
제어부(1)는 상기 제3 이미지 마스크로 갱신된 상기 제1 이미지 마스크를 이용하여 상기 원본 이미지로부터 노이즈가 저감된 제1 생성 이미지를 획득할 수 있다. 상기 원본 이미지는 상기 제3 원본 이미지를 의미할 수 있다. 이 때, 제어부(1)는 도 11의 단계 S3100과 같이 상기 제1 생성 이미지를 획득할 수 있다.
제어부(1)는 제2 인공신경망(N2)을 이용하여 상기 제1 생성 이미지로부터 객체 정보를 획득할 수 있다. 이 때, 제어부(1)는 도 11의 단계 S4100과 같이 상기 객체 정보를 회득할 수 있다.
도 17은 또 다른 일 실시예에 따른 객체 정보 획득 방법이 도시된 도면이다.
도 17을 참조하면, 제1 네트워크(1610)는 원본 이미지를 입력받아 제1 출력 이미지를 출력할 수 있다. 제2 네트워크(1620)는 상기 원본 이미지를 입력받아 제2 출력 이미지를 출력할 수 있다. 상기 원본 이미지는 상기 환경 노이즈를 포함할 수 있다.
제1 네트워크(1610)는 제1 인공신경망(N1) 및 제2 인공신경망(N2)을 포함할 수 있다.
제1 인공신경망(N1)은 도 7의 단계 S2000에서와 같이 상기 원본 이미지로부터 상기 환경 노이즈가 저감된 이미지를 생성할 수 있다. 제어부(1)는 상기 환경 노이즈가 저감된 생성 이미지를 획득할 수 있다.
제2 인공신경망(N2)은 도 7의 단계 S3000에서와 같이 상기 환경 노이즈가 저감된 이미지로부터 객체 정보를 획득할 수 있다. 구체적으로, 제2 인공신경망(N2)은 상기 객체 정보가 포함된 제1 출력 이미지를 출력할 수 있다.
제2 네트워크(1620)는 제4 인공신경망(N4) 및 제2 인공신경망(N2)을 포함할 수 있다.
제4 인공신경망(N4)은 도 11의 단계 S2100에서와 같이 상기 원본 이미지로부터 이미지 마스크를 생성할 수 있다. 또한, 도 11의 단계 S3100와 같이 제어부(1)는 상기 생성된 이미지 마스크를 이용하여 상기 원본 이미지로부터 상기 환경 노이즈가 저감된 이미지를 획득할 수 있다.
제2 인공신경망(N2) 도 11의 단계 S4100에서와 같이 상기 환경 노이즈가 저감된 이미지로부터 객체 정보를 획득할 수 있다. 구체적으로, 제2 인공신경망(N2)은 상기 객체 정보가 포함된 제2 출력 이미지를 출력할 수 있다.
상기 제1 출력 이미지에 포함된 객체 정보 및 상기 제2 출력 이미지에 포함된 객체 정보는 상이할 수 있다.
상기 제1 출력 이미지 및 상기 제2 출력 이미지가 조합되어 제3 출력 이미지가 생성될 수 있다. 예를 들어, 상기 제1 출력 이미지 및 상기 제2 출력 이미지의 앙상블(ensemble)을 통해 상기 제3 출력 이미지가 생성될 수 있다.
상기 제3 출력 이미지는 상기 원본 이미지에 포함된 객체 정보를 포함할 수 있다. 예를 들어, 상기 제3 출력 이미지는 상기 원본 이미지에 포함된 장애물의 거리 정보 및 종류 정보를 포함할 수 있다.
상기 제3 출력 이미지에 포함된 객체 정보는 상기 제1 출력 이미지 및 상기 제2 출력 이미지에 포함된 객체 정보보다 정확할 수 있다. 즉, 상기 조합 단계가 수행됨에 따라 제어부(1)가 획득하는 객체 정보의 정확도가 향상될 수 있다.
한편, 상술한 객체 정보 획득 방법은 환경 노이즈의 정도에 따라 그 동작이 달라질 수 있다. 예를 들어, 환경 노이즈가 미리 정해진 수준보다 낮은 경우, 상기 원본 이미지에 대한 전처리 없이 상기 이미지 세그멘테이션 동작이 수행될 수 있다. 즉, 상기 원본 이미지로부터 상기 생성 이미지를 생성할 필요가 없을 수 있다.
도 18은 일 실시예에 따른 객체 정보 획득 방법이 도시된 순서도이다.
도 18을 참조하면, 객체 정보 획득 방법은 원본 이미지를 획득하는 단계(S1200), 상기 원본 이미지의 노이즈 레벨을 획득하는 단계(S2200) 및 상기 노이즈 레벨이 미리 정해진 수준보다 높은 노이즈를 지시하는 경우, 제2 인공신경망을 이용하여 상기 원본 이미지로부터 객체 정보를 획득하는 단계(S3200)를 포함할 수 있다.
이하에서는 각 단계에 대하여 상세히 설명한다.
먼저, 제어부(1)는 원본 이미지를 획득할 수 있다(S1200). 상기 원본 이미지는 카메라로부터 촬상된 이미지로 제공될 수 있다. 예를 들어, 상기 원본 이미지는 카메라가 해상을 촬상하여 획득한 해상 이미지일 수 있다.
상기 원본 이미지는 환경 노이즈를 포함할 수 있다. 상기 환경 노이즈란 비, 안개, 구름, 먼지 등과 같이 상기 카메라가 설치된 장소 주변에 존재하는 노이즈를 의미할 수 있다.
제어부(1)는 상기 원본 이미지의 노이즈 레벨을 판단할 수 있다(S2200). 예를 들어, 제어부(1)는 초점 값(또는 초점 척도, focus measure)에 기초하여 상기 원본 이미지의 노이즈 레벨을 판단할 수 있다. 또는, 제어부(1)는 흐림 정도(blurriness)에 기초하여 상기 원본 이미지의 노이즈 레벨을 판단할 수 있다.
제어부(1)는 상기 노이즈 레벨이 미리 정해진 수준보다 높은 노이즈를 지시하는 경우, 제2 인공신경망(N2)을 이용하여 상기 원본 이미지로부터 객체 정보를 획득하는 단계(S3200)를 포함할 수 있다. 예를 들어, 상기 노이즈 레벨이 미리 정해진 수준보다 높은 노이즈를 지시하는 경우란, 상기 초점 값이 미리 정해진 크기보다 작은 경우를 의미할 수 있다.
제2 인공신경망(N2)은 상기 원본 이미지를 입력받아 상기 원본 이미지에 포함된 객체에 관한 정보를 포함하는 출력 데이터를 출력할 수 있다.
예를 들어, 제2 인공신경망(N2)은 상기 이미지 세그멘테이션 동작을 수행함으로써 상기 원본 이미지에 포함되는 객체에 관한 거리 정보 및 종류 정보를 획득할 수 있다.
또한, 제2 인공신경망(N2)은 상기 전처리 동작을 수행할 수 있다.
한편, 상기 노이즈 레벨이 미리 정해진 수준보다 낮은 노이즈를 지시하는 경우, 제어부(1)는 제1 인공신경망(N1) 및 제4 인공신경망(N4)을 비활성화할 수 있다. 이에 따라, 제어부(1)의 전체 연산량이 줄어들 수 있다. 즉, 객체 정보 획득 속도가 증가할 수 있다.
반면에, 상기 노이즈 레벨이 미리 정해진 수준보다 높은 노이즈를 지시하는 경우, 객체 정보 획득 방법이 달라질 수 있다.
도 19는 다른 일 실시예에 따른 객체 정보 획득 방법이 도시된 순서도이다.
도 19를 참조하면, 객체 정보 획득 방법은 원본 이미지를 획득하는 단계(S1300), 상기 원본 이미지의 노이즈 레벨을 획득하는 단계(S2300) 및 상기 노이즈 레벨이 미리 정해진 수준보다 높은 노이즈를 지시하는 경우, 제1 인공신경망을 이용하여 상기 원본 이미지로부터 환경 노이즈가 저감된 이미지를 획득하는 단계(S3300) 및 제2 인공신경망을 이용하여 상기 환경 노이즈가 저감된 이미지로부터 객체 정보를 획득하는 단계(S4300)를 포함할 수 있다.
이하에서는 각 단계에 대하여 상세히 설명한다.
한편, 상기 원본 이미지를 획득하는 단계(S1300) 및 상기 원본 이미지의 노이즈 레벨을 획득하는 단계(S2300)는 도 15의 원본 이미지 획득 단계(S1200) 및 노이즈 레벨 판단 단계(S2200)와 동일하게 수행될 수 있다. 따라서, 이에 대한 상세한 설명은 생략하고 도 15의 객체 정보 획득 방법과의 차별점을 중심으로 설명한다.
제어부(1)는 상기 노이즈 레벨이 미리 정해진 수준보다 높은 노이즈를 지시하는 경우, 제1 인공신경망(N1)을 이용하여 상기 원본 이미지로부터 환경 노이즈가 저감된 이미지를 획득할 수 있다(S3300).
상기 환경 노이즈가 저감된 이미지를 획득하는 단계는 도 7의 단계 S2000과 동일하게 수행될 수 있다. 따라서, 이에 대한 상세한 설명은 생략한다.
제어부(1)는 제2 인공신경망(N2)을 이용하여 상기 환경 노이즈가 저감된 이미지로부터 객체 정보를 획득할 수 있다(S4300). 구체적으로, 상기 제어부(1)는 제2 인공신경망(N2)을 이용하여 상기 환경 노이즈가 저감된 이미지로부터 상기 원본 이미지에 포함된 장애물에 관한 객체 정보를 획득할 수 있다
상기 객체 정보를 획득하는 단계는 도 7의 단계 S3000과 동일하게 수행될 수 있다. 따라서, 이에 대한 상세한 설명은 생략한다.
도 20은 또 다른 일 실시예에 따른 객체 정보 획득 방법이 도시된 순서도이다.
도 20을 참조하면, 객체 정보 획득 방법은 원본 이미지를 획득하는 단계(S1400), 상기 원본 이미지의 노이즈 레벨을 획득하는 단계(S2400) 및 상기 노이즈 레벨이 미리 정해진 수준보다 높은 노이즈를 지시하는 경우, 제4 인공신경망을 이용하여 상기 원본 이미지로부터 이미지 마스크를 생성하는 단계(S3400), 상기 생성된 이미지 마스크를 이용하여 상기 원본 이미지로부터 환경 노이즈가 저감된 이미지를 획득하는 단계(S4400) 및 제2 인공신경망을 이용하여 상기 환경 노이즈가 저감된 이미지로부터 객체 정보를 획득하는 단계(S5400)를 포함할 수 있다.
한편, 상기 원본 이미지를 획득하는 단계(S1400) 및 상기 원본 이미지의 노이즈 레벨을 획득하는 단계(S2400)는 도 15의 원본 이미지 획득 단계(S1400) 및 노이즈 레벨 판단 단계(S2400)와 동일하게 수행될 수 있다.
또한, 상기 이미지 마스크를 생성하는 단계(S3400)는 도 11의 단계 S2100과 동일하게 수행될 수 있다.
상기 환경 노이즈가 저감된 이미지를 획득하는 단계(S4400)는 도 11의 단계 S3100과 동일하게 수행될 수 있다.
상기 객체 정보를 획득하는 단계(S5400)는 도 11의 단계 S4100과 동일하게 수행될 수 있다.
도 21은 일 실시예에 따른 객체 정보 획득 방법이 도시된 순서도이다.
도 21를 참조하면, 제어부(1)는 원본 이미지를 획득할 수 있다. 상기 원본 이미지 획득 동작은 도 18의 단계 S1200과 동일하게 수행될 수 있다.
제어부(1)는 상기 원본 이미지의 노이즈 레벨을 획득할 수 있다. 상기 노이즈 레벨 획득 동작은 도 18의 단계 S2200과 동일하게 수행될 수 있다.
제어부(1)는 상기 노이즈 레벨이 미리 정해진 수준보다 낮은 노이즈를 지시하는 경우, 제2 인공신경망(N2)을 이용하여 상기 원본 이미지로부터 객체 정보를 획득할 수 있다. 상기 객체 정보 획득 동작은 도 18의 단계 S3200과 동일하게 수행될 수 있다.
제어부(1)는 상기 노이즈 레벨이 미리 정해진 수준보다 높은 노이즈를 지시하는 경우, 제1 인공신경망(N1)을 이용하여 상기 원본 이미지로부터 환경 노이즈가 저감된 생성 이미지를 획득할 수 있다. 상기 생성 이미지 획득 동작은 도 19의 단계 S3300과 동일하게 수행될 수 있다.
제어부(1)는 제2 인공신경망(N2)을 이용하여 상기 생성 이미지로부터 객체 정보를 획득할 수 있다. 상기 객체 정보 획득 동작은 도 19의 단계 S4300과 동일하게 수행될 수 있다.
도 22는 다른 일 실시예에 따른 객체 정보 획득 방법이 도시된 순서도이다.
도 22를 참조하면, 제어부(1)는 원본 이미지를 획득할 수 있다. 상기 원본 이미지 획득 동작은 도 18의 단계 S1200과 동일하게 수행될 수 있다.
제어부(1)는 상기 원본 이미지의 노이즈 레벨을 획득할 수 있다. 상기 노이즈 레벨 획득 동작은 도 18의 단계 S2200과 동일하게 수행될 수 있다.
제어부(1)는 상기 노이즈 레벨이 미리 정해진 수준보다 낮은 노이즈를 지시하는 경우, 제2 인공신경망(N2)을 이용하여 상기 원본 이미지로부터 객체 정보를 획득할 수 있다. 상기 객체 정보 획득 동작은 도 18의 단계 S3200과 동일하게 수행될 수 있다.
제어부(1)는 상기 노이즈 레벨이 미리 정해진 수준보다 높은 노이즈를 지시하는 경우, 제1 인공신경망(N1)을 이용하여 상기 원본 이미지로부터 이미지 마스크를 생성할 수 있다. 상기 이미지 마스크 생성 동작은 도 20의 단계 S3400과 동일하게 수행될 수 있다.
제어부(1)는 상기 생성된 마스크를 이용하여 상기 원본 이미지로부터 환경 노이즈가 저감된 생성 이미지를 획득할 수 있다. 상기 생성 이미지 획득 동작은 도 20의 단계 S4400과 동일하게 수행될 수 있다.
제어부(1)는 제2 인공신경망(N2)을 이용하여 상기 생성 이미지로부터 객체 정보를 획득할 수 있다. 상기 객체 정보 획득 동작은 도 20의 단계 S5400과 동일하게 수행될 수 있다.
한편, 이상에서는 제어부(1)가 획득하는 원본 이미지에 환경 노이즈를 고려한 객체 정보 획득 방법에 대하여 설명하였다.
제어부(1)는 상기 원본 이미지를 촬상하는 카메라가 설치된 하우징의 윈도우의 상태를 고려하여 객체 정보 획득 방법을 수행할 수 있다. 예를 들어, 상기 카메라는 선박에 설치될 수 있다. 이 때, 해상환경으로 인해 상기 윈도우에 바닷물과 같은 오염물이 묻을 수 있다.
상기 윈도우에 오염물이 묻은 경우, 상기 제어부(1)는 상기 원본 이미지로부터 환경 노이즈가 저감된 이미지를 생성하는 동작을 수행할 수 있다. 여기서, 상기 오염물은 물방울, 소금 등의 다양한 이물질을 포함할 수 있다.
제어부(1)는 도 7의 단계 S2000과 동일한 동작을 수행함으로써 상기 환경 노이즈가 저감된 이미지를 획득할 수 있다. 또는, 제어부(1)는 도 11의 단계 S2100 및 단계 S3100와 동일한 동작을 수행함으로써 상기 환경 노이즈가 저감된 이미지를 획득할 수 있다.
제어부(1)는 도 7의 단계 S3000과 동일한 동작을 수행함으로써 객체 정보를 획득할 수 있다. 또는, 제어부(1)는 도 11의 단계 S4100과 동일한 동작을 수행함으로써 객체 정보를 획득할 수 있다.
한편, 제어부(1)는 상기 오염물의 정도에 따라 객체 정보 획득 방법을 다르게 수행할 수 있다.
예를 들어, 상기 오염물의 정도가 미리 정해진 수준보다 낮은 노이즈를 지시하는 경우, 제어부(1)는 제2 인공신경망(N2)을 이용하여 상기 원본 이미지로부터 객체 정보를 획득할 수 있다.
반면에, 상기 오염물의 정도가 미리 정해진 수준보다 높은 노이즈를 지시하는 경우, 제어부(1)는 제1 인공신경망(N1)을 이용하여 상기 원본 이미지로부터 환경 노이즈가 저감된 이미지를 획득할 수 있다. 제어부(1)는 제2 인공신경망(N2)을 이용하여 상기 환경 노이즈가 저감된 이미지로부터 객체 정보를 획득할 수 있다.
또는, 제어부(1)는 도 20과 같이 이미지 마스크를 이용하여 객체 정보를 획득할 수 있다. 이 때, 상기 이미지 마스크는 상술한 바와 같이 소정의 프레임동안 유지될 수 있다.
한편, 상기 오염물은 다양한 방법으로 측정될 수 있다. 예를 들어, 상기 오염물이 소금인 경우, 상기 하우징의 전기 전도도를 측정함으로써 상기 오염물의 정도가 측정될 수 있다. 또는, 획득되는 원본 이미지와 상기 원본 이미지에 대응되는 비교 이미지를 비교함으로써 상기 오염물의 정도가 측정될 수 있다. 상기 비교 이미지는 메모리에 저장되거나 서버로부터 제공될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (13)

  1. 컴퓨팅 수단에 의해 수행되는 환경 노이즈가 포함된 타겟 이미지로부터 객체 정보를 획득하는 방법에 있어서,
    제1 타겟 이미지를 획득하는 단계;
    상기 제1 타겟 이미지 및 제1 인공신경망을 이용하여 상기 제1 타겟 이미지에 대응하는 제1 타겟 이미지 마스크를 생성하는 단계
    - 상기 제1 인공신경망은 제1 이미지를 입력받아 상기 제1 이미지에 포함된 환경 노이즈를 저감시키기 위한 이미지 마스크를 생성하도록 제2 인공신경망으로부터 산출되는 제1 에러값을 이용하여 학습되며,
    상기 제2 인공신경망은 상기 제1 이미지에 대해 생성된 상기 이미지 마스크를 상기 제1 이미지에 적용하여 생성된 제2 이미지 및 상기 제1 이미지에 관한 비교용 이미지를 입력 받아 비교 결과를 생성하며,
    상기 제1 에러값은 상기 비교 결과에 기초하여 생성되는 것이며,
    상기 비교용 이미지는 상기 제1 이미지에 대해 생성된 이미지 마스크를 사용하지 않고 획득된 이미지임 -;
    제2 타겟 이미지를 획득하는 단계;
    상기 제1 타겟 이미지의 제1 특성 및 상기 제2 타겟 이미지의 제2 특성의 차이가 미리 정해진 기준값보다 작은 경우, 상기 제2 타겟 이미지에 상기 제1 타겟 이미지 마스크를 적용하여 상기 제2 타겟 이미지로부터 환경 노이즈가 저감된 제1 생성 이미지를 획득하는 단계; 및
    이미지로부터 상기 이미지에 나타나는 객체에 대한 객체 정보 - 상기 객체 정보는 거리 정보 및 종류 정보 중 적어도 하나를 포함함 - 를 출력하도록 학습된 제3 인공신경망을 이용하여 상기 제1 생성 이미지로부터 상기 제1 생성 이미지에 나타나는 장애물에 대한 객체 정보를 획득하는 단계를 포함하는,
    객체 정보 획득 방법.
  2. 제1 항에 있어서,
    상기 제1 특성 및 상기 제2 특성 각각은, 노이즈 레벨 및 픽셀의 RGB값 중 적어도 하나를 포함하는,
    객체 정보 획득 방법.
  3. 제1 항에 있어서,
    상기 제2 타겟 이미지는, 상기 제1 타겟 이미지의 후속 프레임인,
    객체 정보 획득 방법.
  4. 제1 항에 있어서,
    상기 제1 특성 및 상기 제2 특성의 차이가 상기 미리 정해진 기준값보다 큰 경우, 상기 제2 타겟 이미지 및 상기 제1 인공신경망을 이용하여 상기 제2 타겟 이미지에 대응하는 제2 타겟 이미지 마스크를 생성하는 단계;
    상기 제2 타겟 이미지에 상기 제2 타겟 이미지 마스크를 적용하여 상기 제2 타겟 이미지로부터 환경 노이즈가 저감된 제2 생성 이미지를 획득하는 단계;
    상기 제3 인공신경망을 이용하여 상기 제2 생성 이미지로부터 상기 제2 생성 이미지에 나타나는 장애물에 대한 객체 정보를 획득하는 단계;를 포함하는,
    객체 정보 획득 방법.
  5. 제1 항에 있어서,
    제3 타겟 이미지를 획득하는 단계 - 상기 제3 타겟 이미지는 상기 제2 타겟 이미지와 다름 -;
    상기 제1 특성 및 상기 제3 타겟 이미지의 제3 특성의 차이가 상기 미리 정해진 기준값보다 작은 경우, 상기 제3 타겟 이미지에 상기 제1 타겟 이미지 마스크를 적용하여 상기 제3 타겟 이미지로부터 환경 노이즈가 저감된 제3 생성 이미지를 획득하는 단계; 및
    상기 제3 인공신경망을 이용하여 상기 제3 생성 이미지로부터 상기 제3 생성 이미지에 나타나는 장애물에 대한 객체 정보를 획득하는 단계;를 포함하는,
    객체 정보 획득 방법.
  6. 제1 항에 있어서,
    상기 제1 타겟 이미지의 노이즈 레벨을 획득하는 단계;를 더 포함하고,
    상기 제1 타겟 이미지의 상기 노이즈 레벨이 미리 정해진 수준보다 높은 노이즈를 지시하는 경우, 상기 제1 타겟 이미지 마스크를 생성하는 단계; 상기 제1 생성 이미지를 획득하는 단계; 및 상기 객체 정보를 획득하는 단계;를 수행하는,
    객체 정보 획득 방법.
  7. 제1 항에 있어서,
    상기 제3 인공신경망은, 상기 종류 정보를 반영하여 결정되고 바다에 대응하는 제1 분류값 및 상기 거리 정보 및 상기 종류 정보를 반영하여 결정되고 장애물에 대응하는 제2 분류값을 포함하는 라벨링 데이터를 기초로 학습되는,
    객체 정보 획득 방법.
  8. 제1 항에 있어서,
    상기 제2 타겟 이미지를 획득하는 단계는,
    복수의 이미지들을 획득하는 단계;
    상기 획득된 복수의 이미지들 중 일부를 선별하는 단계; 및
    상기 선별된 일부 이미지에 기초하여 상기 제2 타겟 이미지를 결정하는 단계;를 포함하는,
    객체 정보 획득 방법.
  9. 제8 항에 있어서,
    상기 획득된 복수의 이미지들 중 일부를 선별하는 단계는,
    상기 복수의 이미지들 중 조도가 높은 이미지와 조도가 낮은 이미지를 선별하는 것을 특징으로 하며,
    상기 선별된 일부 이미지에 기초하여 상기 제2 타겟 이미지를 결정하는 단계는,
    상기 조도가 높은 이미지와 상기 조도가 낮은 이미지를 합성하여 상기 제2 타겟 이미지로 결정하는 단계;를 포함하는,
    객체 정보 획득 방법.
  10. 제1 항에 있어서,
    상기 거리 정보는, 소정의 거리 범위를 갖는 복수의 카테고리를 포함하는,
    객체 정보 획득 방법.
  11. 제1 항에 있어서,
    상기 환경 노이즈는, 물방울, 소금, 비, 안개, 구름 및 먼지 중 적어도 하나를 포함하는,
    객체 정보 획득 방법.
  12. 제1 항 내지 제11 항 중 어느 하나의 항에 기재된 방법을 실행할 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  13. 환경 노이즈가 포함된 타겟 이미지로부터 객체 정보를 획득하는 장치에 있어서,
    카메라; 및
    상기 카메라로부터 획득된 복수의 이미지들에 기초하여 제1 타겟 이미지를 획득하고,
    상기 제1 타겟 이미지 및 제1 인공신경망을 이용하여 상기 제1 타겟 이미지에 대응하는 타겟 이미지 마스크를 생성하고
    - 이때, 상기 제1 인공신경망은 제1 이미지를 입력받아 상기 제1 이미지에 포함된 환경 노이즈를 저감시키기 위한 이미지 마스크를 생성하도록 제2 인공신경망으로부터 산출되는 제1 에러값을 이용하여 학습되며,
    상기 제2 인공신경망은 상기 제1 이미지에 대해 생성된 상기 이미지 마스크를 상기 제1 이미지에 적용하여 생성된 제2 이미지 및 상기 제1 이미지에 관한 비교용 이미지를 입력 받아 비교 결과를 생성하며,
    상기 제1 에러값은 상기 비교 결과에 기초하여 생성되는 것이며,
    상기 비교용 이미지는 상기 제1 이미지에 대해 생성된 이미지 마스크를 사용하지 않고 획득된 이미지임 - ,
    상기 카메라로부터 획득된 복수의 이미지들에 기초하여 제2 타겟 이미지를 획득하고,
    상기 제1 타겟 이미지의 제1 특성 및 상기 제2 타겟 이미지의 제2 특성의 차이가 미리 정해진 기준값보다 작은 경우, 상기 제2 타겟 이미지에 상기 타겟 이미지 마스크를 적용하여 상기 제2 타겟 이미지로부터 환경 노이즈가 저감된 생성 이미지를 획득하고,
    이미지로부터 상기 이미지에 나타나는 객체에 대한 객체 정보 -상기 객체 정보는 거리 정보 및 종류 정보 중 적어도 하나를 포함함- 를 출력하도록 학습된 제3 인공신경망을 이용하여 상기 생성 이미지로부터 상기 생성 이미지에 나타나는 장애물에 대한 객체 정보를 획득하는 제어부;를 포함하는,
    객체 정보 획득 장치.
KR1020230084663A 2018-09-04 2023-06-30 객체 정보 획득 방법 및 이를 수행하는 장치 Active KR102696632B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020240108781A KR20240130664A (ko) 2018-09-04 2024-08-14 객체 정보 획득 방법 및 이를 수행하는 장치

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862726913P 2018-09-04 2018-09-04
US62/726,913 2018-09-04
US201862741394P 2018-10-04 2018-10-04
US62/741,394 2018-10-04
KR1020190089856A KR102551544B1 (ko) 2018-09-04 2019-07-24 객체 정보 획득 방법 및 이를 수행하는 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190089856A Division KR102551544B1 (ko) 2018-09-04 2019-07-24 객체 정보 획득 방법 및 이를 수행하는 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020240108781A Division KR20240130664A (ko) 2018-09-04 2024-08-14 객체 정보 획득 방법 및 이를 수행하는 장치

Publications (2)

Publication Number Publication Date
KR20230104837A KR20230104837A (ko) 2023-07-11
KR102696632B1 true KR102696632B1 (ko) 2024-08-22

Family

ID=67621506

Family Applications (14)

Application Number Title Priority Date Filing Date
KR1020180165858A Active KR102005559B1 (ko) 2018-09-04 2018-12-20 이미지 세그멘테이션을 이용한 주변 환경 감지 방법
KR1020180165861A Active KR102144623B1 (ko) 2018-09-04 2018-12-20 이동체의 이동 속성 획득 방법 및 이를 수행하는 장치
KR1020180165859A Active KR102112935B1 (ko) 2018-09-04 2018-12-20 장애물 지도를 이용한 경로 생성 방법
KR1020180165857A Active KR102240839B1 (ko) 2018-09-04 2018-12-20 이미지 세그멘테이션을 이용한 자율 운항 방법
KR1020180165860A Active KR102005560B1 (ko) 2018-09-04 2018-12-20 객체 정보 획득 방법 및 이를 수행하는 장치
KR1020190089856A Active KR102551544B1 (ko) 2018-09-04 2019-07-24 객체 정보 획득 방법 및 이를 수행하는 장치
KR1020220129572A Active KR102596388B1 (ko) 2018-09-04 2022-10-11 이동체의 이동 속성 획득 방법 및 이를 수행하는 장치
KR1020220148408A Active KR102604969B1 (ko) 2018-09-04 2022-11-09 이미지 세그멘테이션을 이용한 자율 운항 방법
KR1020230084663A Active KR102696632B1 (ko) 2018-09-04 2023-06-30 객체 정보 획득 방법 및 이를 수행하는 장치
KR1020230144742A Ceased KR20230153342A (ko) 2018-09-04 2023-10-26 이동체의 이동 속성 획득 방법 및 이를 수행하는 장치
KR1020230159957A Active KR102777495B1 (ko) 2018-09-04 2023-11-20 이미지 세그멘테이션을 이용한 자율 운항 방법
KR1020240108781A Pending KR20240130664A (ko) 2018-09-04 2024-08-14 객체 정보 획득 방법 및 이를 수행하는 장치
KR1020250020520A Pending KR20250029083A (ko) 2018-09-04 2025-02-18 이동체의 이동 속성 획득 방법 및 이를 수행하는 장치
KR1020250027232A Pending KR20250035527A (ko) 2018-09-04 2025-03-04 이미지 세그멘테이션을 이용한 자율 운항 방법

Family Applications Before (8)

Application Number Title Priority Date Filing Date
KR1020180165858A Active KR102005559B1 (ko) 2018-09-04 2018-12-20 이미지 세그멘테이션을 이용한 주변 환경 감지 방법
KR1020180165861A Active KR102144623B1 (ko) 2018-09-04 2018-12-20 이동체의 이동 속성 획득 방법 및 이를 수행하는 장치
KR1020180165859A Active KR102112935B1 (ko) 2018-09-04 2018-12-20 장애물 지도를 이용한 경로 생성 방법
KR1020180165857A Active KR102240839B1 (ko) 2018-09-04 2018-12-20 이미지 세그멘테이션을 이용한 자율 운항 방법
KR1020180165860A Active KR102005560B1 (ko) 2018-09-04 2018-12-20 객체 정보 획득 방법 및 이를 수행하는 장치
KR1020190089856A Active KR102551544B1 (ko) 2018-09-04 2019-07-24 객체 정보 획득 방법 및 이를 수행하는 장치
KR1020220129572A Active KR102596388B1 (ko) 2018-09-04 2022-10-11 이동체의 이동 속성 획득 방법 및 이를 수행하는 장치
KR1020220148408A Active KR102604969B1 (ko) 2018-09-04 2022-11-09 이미지 세그멘테이션을 이용한 자율 운항 방법

Family Applications After (5)

Application Number Title Priority Date Filing Date
KR1020230144742A Ceased KR20230153342A (ko) 2018-09-04 2023-10-26 이동체의 이동 속성 획득 방법 및 이를 수행하는 장치
KR1020230159957A Active KR102777495B1 (ko) 2018-09-04 2023-11-20 이미지 세그멘테이션을 이용한 자율 운항 방법
KR1020240108781A Pending KR20240130664A (ko) 2018-09-04 2024-08-14 객체 정보 획득 방법 및 이를 수행하는 장치
KR1020250020520A Pending KR20250029083A (ko) 2018-09-04 2025-02-18 이동체의 이동 속성 획득 방법 및 이를 수행하는 장치
KR1020250027232A Pending KR20250035527A (ko) 2018-09-04 2025-03-04 이미지 세그멘테이션을 이용한 자율 운항 방법

Country Status (4)

Country Link
US (3) US11314990B2 (ko)
EP (1) EP3848854A4 (ko)
KR (14) KR102005559B1 (ko)
WO (1) WO2020050499A1 (ko)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102005559B1 (ko) 2018-09-04 2019-08-07 씨드로닉스(주) 이미지 세그멘테이션을 이용한 주변 환경 감지 방법
WO2020071839A1 (ko) 2018-10-04 2020-04-09 씨드로닉스㈜ 선박 및 항만 모니터링 장치 및 방법
KR102812660B1 (ko) * 2019-10-18 2025-05-26 한국전자통신연구원 선박 자율 항해 장치, 방법 및 기록 매체
KR102357210B1 (ko) * 2019-12-30 2022-01-28 가천대학교 산학협력단 지능형 해변 안전사고 방지를 위한 파도 측정 시스템 및 방법과, 이를 위한 컴퓨터 프로그램
KR102530847B1 (ko) * 2020-10-26 2023-05-11 씨드로닉스(주) 항만 및 선박 모니터링 방법 및 장치
KR102265980B1 (ko) * 2020-01-09 2021-06-17 씨드로닉스(주) 선박 및 항만 모니터링 장치 및 방법
WO2021141338A1 (ko) * 2020-01-09 2021-07-15 씨드로닉스 주식회사 선박 및 항만 모니터링 장치 및 방법
WO2021141339A1 (ko) 2020-01-09 2021-07-15 씨드로닉스 주식회사 해수면을 고려한 항만 및 선박 모니터링 방법 및 장치
KR102235787B1 (ko) * 2020-01-09 2021-04-05 씨드로닉스(주) 접안 모니터링 장치 및 방법
KR102278674B1 (ko) * 2020-01-09 2021-07-19 씨드로닉스(주) 해수면을 고려한 항만 및 선박 모니터링 방법 및 장치
CN111290386B (zh) * 2020-02-20 2023-08-04 北京小马慧行科技有限公司 路径规划方法及装置、运载工具
KR102171384B1 (ko) * 2020-03-04 2020-10-28 주식회사 문창 영상 보정 필터를 이용한 객체 인식 시스템 및 방법
CA3176814A1 (en) * 2020-03-24 2021-09-30 Schlumberger Canada Limited Ground roll attenuation using unsupervised deep learning
KR102583686B1 (ko) * 2020-03-25 2023-09-27 한국전자통신연구원 객체 검출 방법 및 장치
JP2021181301A (ja) * 2020-05-15 2021-11-25 国立研究開発法人 海上・港湾・航空技術研究所 船舶の自動誘導方法、船舶の自動誘導プログラム、船舶の自動誘導システム、及び船舶
KR102320142B1 (ko) * 2020-05-22 2021-11-02 주식회사 리안 인공지능 기반의 해양안전사고 모니터링 방법 및 시스템
US11772656B2 (en) 2020-07-08 2023-10-03 Ford Global Technologies, Llc Enhanced vehicle operation
KR102311245B1 (ko) * 2020-07-15 2021-10-08 한국로봇융합연구원 해상 환경에서 다종 카메라 영상을 기초로 심층신경망을 이용하여 목표 대상물과 항해장치 간 헤딩각도 차이와 상대거리를 추정하여 복수의 스러스터를 제어하기 위한 방법
KR102407174B1 (ko) * 2020-08-28 2022-06-10 한국로봇융합연구원 해상 환경에서 복수의 레이더 및 라이더를 이용하여 목표 대상물과 장치 간 상대 정보를 추정하기 위한 방법
KR102211734B1 (ko) * 2020-08-28 2021-02-03 주식회사 문창 영상 보정 필터를 이용한 영상 감시 장치
KR102501450B1 (ko) * 2020-09-18 2023-02-22 씨드로닉스(주) 거리 측정 방법 및 이를 이용하는 거리 측정 장치
WO2022060203A1 (ko) * 2020-09-18 2022-03-24 씨드로닉스주식회사 거리 측정 방법 및 이를 이용하는 거리 측정 장치
KR20220045762A (ko) * 2020-10-06 2022-04-13 주식회사 스카이시스 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템 및 그 제공 방법
DE102020213301A1 (de) * 2020-10-21 2022-04-21 Atlas Elektronik Gmbh Wasserfahrzeug und Verfahren zur Bestimmung eines Lagebilds von einem Wasserfahrzeug
KR102377929B1 (ko) * 2020-11-09 2022-03-24 (주)스페이스빌더스 신경회로망 모듈 기반의 수위 측정 시스템 그 수위 측정 방법
KR102283968B1 (ko) * 2020-11-27 2021-07-30 한국해양과학기술원 이미지 학습 기반 시정 관측 정보 생성 및 공유 시스템과 그 방법
TWI793477B (zh) * 2020-12-04 2023-02-21 財團法人船舶暨海洋產業研發中心 船舶輔助校正系統及其運作方法
KR102486019B1 (ko) * 2020-12-10 2023-01-06 케이엠씨피 주식회사 수상드론을 활용한 수상 안전관리 시스템
KR102387920B1 (ko) * 2021-04-08 2022-04-20 조병우 지능형 모빌리티 및 그의 자율주행 방법
KR102353336B1 (ko) * 2021-05-06 2022-01-20 (주)공간인소프트 인공 지능 모델을 이용하여 항만 구조물을 인식할 수 있는 전자 장치 및 전자 장치의 제어 방법
KR102311089B1 (ko) * 2021-06-03 2021-10-07 호서대학교 산학협력단 스마트 해상부이를 이용한 해양을 모니터링하기 위한 장치 및 이를 위한 방법
KR102464086B1 (ko) 2021-11-23 2022-11-07 (주)지씨 자율운항 선박과 일반 선박 간 충돌 회피 시스템 및 방법
KR20230082921A (ko) 2021-12-02 2023-06-09 주식회사 케이티 동영상 촬영 주체의 이동 속도 산출 방법, 컴퓨터 프로그램 및 그에 대한 학습 방법
KR102431333B1 (ko) * 2021-12-23 2022-08-12 국방과학연구소 다중 선박 자율 항해 방법, 다중 선박 자율 항해 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램
CN114275134B (zh) * 2021-12-28 2023-06-30 上海海事大学 一种无人船螺旋桨防水底水草缠绕的方法
KR102604114B1 (ko) * 2022-01-17 2023-11-22 전남대학교산학협력단 딥러닝을 이용한 소나 영상내의 어류 검출 방법
US20240404103A1 (en) * 2022-02-08 2024-12-05 Mindforge Co., Ltd. Electronic device for detecting object, and control method therefor
KR102468997B1 (ko) * 2022-02-15 2022-11-18 김승모 객체검출률 향상을 위한 학습시스템 및 그 방법
US20240096064A1 (en) * 2022-06-03 2024-03-21 Nvidia Corporation Generating mask information
SE546575C2 (en) 2022-06-08 2024-12-03 Cpac Systems Ab A marine surround sensing system
KR20240031543A (ko) 2022-08-31 2024-03-08 (주) 지씨 자율운항 선박의 사고 발생시 유관기관에 대응 메뉴얼을 제공하는 방법
WO2024049109A1 (ko) * 2022-08-31 2024-03-07 씨드로닉스(주) 접안 경로 생성 방법 및 그 장치
KR102604408B1 (ko) * 2022-11-25 2023-11-22 씨드로닉스(주) 라이다 기반 지도 생성 방법 및 그 장치
EP4520646A1 (en) * 2022-12-30 2025-03-12 Avikus Co., Ltd. Method and device for acquiring information of object by using plurality of sensors
EP4521066A1 (en) * 2022-12-30 2025-03-12 Avikus Co., Ltd. Device and method for calculating ship collision risk
KR102599330B1 (ko) * 2023-06-13 2023-11-08 컨트롤에프 주식회사 영상 기반 안개영역 검출 및 가시거리 산출 시스템
KR102633461B1 (ko) * 2023-07-05 2024-02-02 한성진 선박항해 안내를 위한 드론장치 및 그 장치의 구동방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101772916B1 (ko) 2016-12-30 2017-08-31 한양대학교 에리카산학협력단 촬영영상과 인공지능 알고리즘 기반의 균열검출 자동화 프로그램을 이용한 터널 라이닝 표면의 균열 검출 방법 및 시스템

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7202776B2 (en) 1997-10-22 2007-04-10 Intelligent Technologies International, Inc. Method and system for detecting objects external to a vehicle
JP4214219B2 (ja) 2002-11-26 2009-01-28 独立行政法人海上技術安全研究所 離接岸用操船支援装置
JP2004178258A (ja) 2002-11-27 2004-06-24 Mitsubishi Heavy Ind Ltd 港湾セキュリティシステム
DE102006035878A1 (de) * 2006-08-01 2008-02-14 Atlas Elektronik Gmbh Verfahren zur Bestimmung eines Fahrwegs für ein Unterwasserfahrzeug
JP5090869B2 (ja) * 2007-11-19 2012-12-05 日本無線株式会社 レーダシステム
IL196276A (en) * 2008-12-30 2013-04-30 Elbit Systems Ltd Independent navigation system and method for maneuverable platform
US8396870B2 (en) 2009-06-25 2013-03-12 University Of Tennessee Research Foundation Method and apparatus for predicting object properties and events using similarity-based information retrieval and modeling
KR20110059206A (ko) 2009-11-27 2011-06-02 김영복 터그보트를 이용한 접안선박 유도시스템
KR101661931B1 (ko) * 2010-02-12 2016-10-10 삼성전자주식회사 3차원 그래픽스 랜더링 장치 및 그 방법
US8989948B2 (en) * 2010-06-15 2015-03-24 California Institute Of Technology Systems and methods for automated vessel navigation using sea state prediction
KR101283759B1 (ko) 2012-04-30 2013-07-08 인하대학교 산학협력단 스마트 ｔｖ 환경의 개인화된 대화형 비디오에서 움직이는 이동 객체의 의미적 어노테이션의 표현 및 그 증강 방법
KR20140096595A (ko) 2013-01-28 2014-08-06 경북대학교 산학협력단 이미지 분류 방법
KR20140126998A (ko) 2013-04-24 2014-11-03 주식회사 씨큐로 갑문 충돌방지 시스템
KR101452994B1 (ko) 2013-05-06 2014-10-22 한국생산기술연구원 선박의 안전접안 시스템
KR101480220B1 (ko) * 2013-05-10 2015-01-08 인하대학교 산학협력단 객체 인식 장치 및 그 방법
CN103902972A (zh) * 2014-03-21 2014-07-02 哈尔滨工程大学 一种水面移动平台视觉系统图像分析处理方法
KR101589814B1 (ko) * 2014-04-30 2016-01-29 인하대학교 산학협력단 연안에서의 객체 인식 장치 및 그 방법
KR101607904B1 (ko) 2014-06-27 2016-03-31 (주)안세기술 3차원 레이저 스캐너를 이용한 선박 접안 시스템
KR101693981B1 (ko) 2015-04-29 2017-01-10 현대중공업 주식회사 선박의 충돌 회피 방법 및 장치
KR101541808B1 (ko) 2015-04-30 2015-08-04 한국해양과학기술원 딥러닝 알고리즘을 이용한 해상교통관제 전문가 시스템 및 그 제어 방법
KR20170031829A (ko) * 2015-09-11 2017-03-22 금호마린테크 (주) 선박 레이더를 이용한 물표의 획득 방법 및 이를 이용한 물표의 획득 시스템
KR101772178B1 (ko) * 2015-12-04 2017-08-25 엘지전자 주식회사 차량용 랜드마크 검출 장치 및 방법
US10372976B2 (en) 2016-05-05 2019-08-06 Brunswick Corporation Person detection in a marine environment
KR101812994B1 (ko) 2016-05-25 2017-12-28 (주)주인정보시스템 카메라 영상을 이용한 선박의 안전접안 시스템 및 그 방법
KR101795798B1 (ko) * 2016-06-14 2017-11-08 제일정보통신(주) 지능형 영상감시 시스템
KR101900851B1 (ko) * 2016-07-22 2018-11-08 목포해양대학교 산학협력단 선박 항해 감시장치 및 방법
KR101941521B1 (ko) * 2016-12-07 2019-01-23 한국해양과학기술원 해상객체의 자동추적 시스템 및 방법
KR20180081979A (ko) * 2017-01-09 2018-07-18 재단법인한국조선해양기자재연구원 자율 운항선 충돌방지 시스템
KR101934368B1 (ko) * 2017-03-09 2019-01-04 씨드로닉스(주) 앙상블 인공 신경망 조합을 이용한 자율 운항 선박 제어 장치 및 그 방법
KR101771146B1 (ko) * 2017-03-22 2017-08-24 광운대학교 산학협력단 스테레오 카메라를 이용한 컨볼루션 신경망 기반의 보행자 및 차량 검출 방법 및 장치
KR101805564B1 (ko) * 2017-06-12 2018-01-18 (주)지인테크 선박 충돌 방지용 경보 시스템 및 방법
KR101894674B1 (ko) * 2017-10-11 2018-10-24 (주)코마린 해양 내비게이션 장치 및 항로 제공 방법
US11100350B2 (en) * 2018-02-19 2021-08-24 Avigilon Corporation Method and system for object classification using visible and invisible light images
WO2020033967A1 (en) * 2018-08-10 2020-02-13 Buffalo Automation Group Inc. Training a deep learning system for maritime applications
US10782691B2 (en) * 2018-08-10 2020-09-22 Buffalo Automation Group Inc. Deep learning and intelligent sensing system integration
KR102005559B1 (ko) * 2018-09-04 2019-08-07 씨드로닉스(주) 이미지 세그멘테이션을 이용한 주변 환경 감지 방법
WO2020050498A1 (ko) * 2018-09-04 2020-03-12 씨드로닉스㈜ 이미지 세그멘테이션을 이용한 주변 환경 감지 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101772916B1 (ko) 2016-12-30 2017-08-31 한양대학교 에리카산학협력단 촬영영상과 인공지능 알고리즘 기반의 균열검출 자동화 프로그램을 이용한 터널 라이닝 표면의 균열 검출 방법 및 시스템

Also Published As

Publication number Publication date
EP3848854A1 (en) 2021-07-14
US11702175B2 (en) 2023-07-18
KR20200027880A (ko) 2020-03-13
KR20240130664A (ko) 2024-08-29
KR102551544B1 (ko) 2023-07-06
KR20230161401A (ko) 2023-11-27
US20210374461A1 (en) 2021-12-02
KR20230153342A (ko) 2023-11-06
KR20250035527A (ko) 2025-03-12
US11314990B2 (en) 2022-04-26
KR20250029083A (ko) 2025-03-04
KR20200027870A (ko) 2020-03-13
KR102604969B1 (ko) 2023-11-24
WO2020050499A1 (ko) 2020-03-12
US12049288B2 (en) 2024-07-30
KR102005560B1 (ko) 2019-08-07
KR102144623B1 (ko) 2020-08-14
KR102112935B1 (ko) 2020-05-21
KR102777495B1 (ko) 2025-03-11
KR102240839B1 (ko) 2021-04-16
KR102005559B1 (ko) 2019-08-07
EP3848854A4 (en) 2022-06-15
US20230174202A1 (en) 2023-06-08
KR20230104837A (ko) 2023-07-11
KR20220155559A (ko) 2022-11-23
KR102596388B1 (ko) 2023-11-01
KR20200027871A (ko) 2020-03-13
KR20220143617A (ko) 2022-10-25
KR20200030429A (ko) 2020-03-20
US20220230022A1 (en) 2022-07-21

Similar Documents

Publication Publication Date Title
KR102696632B1 (ko) 객체 정보 획득 방법 및 이를 수행하는 장치
US11106903B1 (en) Object detection in image data
Kulhanek et al. Wildgaussians: 3d gaussian splatting in the wild
Jaus et al. Panoramic panoptic segmentation: Towards complete surrounding understanding via unsupervised contrastive learning
CN109002843A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US10062013B2 (en) Method of image processing
Hui et al. WSA-YOLO: Weak-supervised and adaptive object detection in the low-light environment for YOLOV7
Malav et al. DHSGAN: An end to end dehazing network for fog and smoke
KR20220045762A (ko) 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템 및 그 제공 방법
EP4323952A1 (en) Semantically accurate super-resolution generative adversarial networks
KR102095444B1 (ko) 딥러닝 기반의 선형성을 갖는 노이즈 영상 제거 방법 및 장치
Divakarla et al. Semantic segmentation for autonomous driving
CN116994049A (zh) 全自动针织横机及其方法
CN112133100B (zh) 一种基于r-cnn的车辆检测方法
KR102454878B1 (ko) 이동체의 이동 속성 획득 방법 및 이를 수행하는 장치
CN120047677B (zh) 无人机目标检测方法及装置
Protas et al. Understading Image Restoration Convolutional Neural Networks with Network Inversion
Chen Traffic Sign Recognition in Rainy Conditions Based on Federated Learning
Dadrass Dynamic Object Detection Using Moving Cameras for UAV Collision Prevention
Zheng et al. Sensitivity-Informed Augmentation for Robust Segmentation
Liang et al. AODs-CLYOLO: An Object Detection Method Integrating Fog Removal and Detection in Haze Environments.
CN119169332A (zh) 图像识别和模型训练方法及装置
CN117252766A (zh) 网络的训练及去除图像眩光的方法、装置、设备及介质
Ρούσσος An automatic under-sea feature detection and classification system using computer vision and neural networks
CN115204228A (zh) 一种反射式光学相机识别与通信一体化方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20230630

Patent event code: PA01071R01D

Filing date: 20190724

Application number text: 1020190089856

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230913

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240516

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240814

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240814

End annual number: 3

Start annual number: 1

PG1601 Publication of registration