KR102561793B1 - 비정형 장애물 인식 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체 - Google Patents

비정형 장애물 인식 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR102561793B1
KR102561793B1 KR1020210092837A KR20210092837A KR102561793B1 KR 102561793 B1 KR102561793 B1 KR 102561793B1 KR 1020210092837 A KR1020210092837 A KR 1020210092837A KR 20210092837 A KR20210092837 A KR 20210092837A KR 102561793 B1 KR102561793 B1 KR 102561793B1
Authority
KR
South Korea
Prior art keywords
image
obstacle
surrounding environment
atypical
environment image
Prior art date
Application number
KR1020210092837A
Other languages
English (en)
Other versions
KR20230012271A (ko
Inventor
이원혁
Original Assignee
한화오션 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화오션 주식회사 filed Critical 한화오션 주식회사
Priority to KR1020210092837A priority Critical patent/KR102561793B1/ko
Publication of KR20230012271A publication Critical patent/KR20230012271A/ko
Application granted granted Critical
Publication of KR102561793B1 publication Critical patent/KR102561793B1/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B43/00—Improving safety of vessels, e.g. damage control, not otherwise provided for
    • B63B43/18—Improving safety of vessels, e.g. damage control, not otherwise provided for preventing collision or grounding; reducing collision damage
    • B63B43/20—Feelers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B17/00—Vessels parts, details, or accessories, not otherwise provided for
    • B63B17/04—Stanchions; Guard-rails ; Bulwarks or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B45/00—Arrangements or adaptations of signalling or lighting devices
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Ocean & Marine Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 선박의 주변 환경 영상에서 바다 환경을 필터링으로 제거하여 장애물을 인식할 수 있는 비정형 장애물 인식 시스템 및 방법에 관한 것이다. 본 발명의 실시예에 따른 비정형 장애물 인식 시스템은, 선박 주변을 촬영하여 주변 환경 영상을 형성하는 다수의 촬영부와, 주변 환경 영상에서 규칙적인 패턴을 갖는 바다 영상을 제거하여 장애물 영상을 형성하고, 장애물 영상을 이용하여 장애물의 이동 방향 및 속도 정보를 형성하는 서버를 포함한다.

Description

비정형 장애물 인식 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체{SYSTEM AND METHOD FOR RECOGNITION OF ATYPICAL OBSTACLE SYSTEM AND COMPUTER-READABLE RECORDING MEDIUM INCLUDING THE SAME}
본 발명은 비정형 장애물 인식 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체에 관한 것으로, 보다 상세하게는 선박의 주변 환경 영상에서 바다 환경을 필터링으로 제거하여 장애물을 인식할 수 있는 비정형 장애물 인식 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
기존의 선박은 AIS(Auto Identification System), 레이더(RADAR) 등을 활용해 장애물 탐지를 수행한다. 그러나, AIS를 이용한 시스템은 탐지 불가능한 장애물이 존재하기 때문에 모든 장애물을 탐지할 수 없는 문제점이 있다. 또한, 레이더를 활용한 추적 시스템의 경우 탐지율이 높지만, 대형선박의 경우 구조적인 특성상 설치된 레이더가 탐지하기 어려운 사각지대가 존재하는 문제점이 있다.
한편, 다수의 레이더를 활용해 장애물 탐지의 사각지대를 없앨 수는 있지만, 비용적 문제 때문에 최근 카메라 영상을 활용한 장애물 탐지 시스템이 각광받고 있다.
그럼에도 불구하고, 영상 기반 장애물 탐지 기술은 탐지하고자 하는 장애물 형상에 의존한 나머지 정형화된 장애물 객체에 대해서만 탐지가 가능하고 비정형의 장애물에 대해서는 인식이 어렵다는 문제점이 있다.
한국 공개특허공보 제10-2017-0089574호(선박의 장애물 관리 시스템 및 장애물 관리 방법, 2017.08.04.)
본 발명은 종래 장애물 형상을 통해 정형화된 장애물 객체를 탐지하는 방식과는 다르게, 선박의 주변 환경 영상에서 오히려 바다 환경을 필터링으로 제거하여 정형은 물론 비정형의 장애물까지도 인식할 수 있는 비정형 장애물 인식 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체를 제공한다.
본 발명의 일 실시예에 따른 비정형 장애물 인식 시스템은, 선박 주변을 촬영하여 주변 환경 영상을 형성하는 촬영부; 및 상기 주변 환경 영상에서 규칙적인 패턴을 갖는 바다 영상을 제거하여 장애물 영상을 형성하고, 상기 장애물 영상을 이용하여 장애물의 이동 방향 및 속도 정보를 형성하는 서버를 포함하고, 상기 서버는, 상기 주변 환경 영상을 상기 선박으로부터의 거리에 따라 가변형 마스크를 활용하여 클래스를 분류하고, 클래스별로 미리 설정된 임계값을 이용하여 상기 주변 환경 영상에 대한 블러링(blurring) 처리를 수행하며, 시간 도메인 신호의 상기 주변 환경 영상을 주파수 도메인 신호로 변환하고, 상기 주파수 도메인 신호로 변환된 상기 주변 환경 영상을 기계 학습 알고리즘을 이용한 주파수 분석을 수행하여 상기 규칙적인 패턴을 갖는 바다 영상을 추출한다.
여기서, 상기 촬영부는, 짐벌 구조물을 이용하여 상기 선박의 핸드레일(hand rail) 상부에 설치될 수 있다.
또한, 상기 촬영부는, 카메라 화각을 고려하여 음영 지역이 발생하지 않도록 미리 설정된 간격으로 상기 선박의 선수, 선미, 좌현 및 우현 중 어느 하나 이상에 설치될 수 있다.
또한, 상기 서버는, 상기 장애물의 이동 방향 및 속도 정보를 이용하여 상기 장애물의 위험도를 산출하고, 산출된 상기 위험도가 임계값 이상일 경우 알람 신호를 형성할 수 있다.
본 발명의 다른 실시예에 따른 비정형 장애물 인식 방법은, 촬영부에 의해서, 선박 주변을 촬영하여 주변 환경 영상을 형성하는 제1 단계; 서버에 의해서, 상기 주변 환경 영상에서 규칙적인 패턴을 갖는 바다 영상을 제거하여 장애물 영상을 형성하는 제2 단계; 및 상기 서버에 의해서, 상기 장애물 영상을 이용하여 장애물의 이동 방향 및 속도 정보를 형성하는 제3 단계를 포함하고, 상기 제2 단계는, 상기 주변 환경 영상을 상기 선박으로부터의 거리에 따라 가변형 마스크를 활용하여 클래스를 분류하고, 클래스별로 미리 설정된 임계값을 이용하여 상기 주변 환경 영상에 대한 블러링(blurring) 처리를 수행하는 제2-1 단계; 시간 도메인 신호의 상기 주변 환경 영상을 주파수 도메인 신호로 변환하는 제2-2 단계; 및 상기 주파수 도메인 신호로 변환된 상기 주변 환경 영상을 기계 학습 알고리즘을 이용한 주파수 분석을 수행하여 상기 규칙적인 패턴을 갖는 바다 영상을 추출하는 제2-3 단계;를 포함한다.
여기서, 상기 제3 단계 이후, 상기 장애물의 이동 방향 및 속도 정보를 이용하여 상기 장애물의 위험도를 산출하는 단계; 및 산출된 상기 위험도가 임계값 이상일 경우 알람 신호를 형성하는 단계;를 더 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 컴퓨터 판독 가능한 기록 매체는, 전술한 비정형 장애물 인식 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된다.
삭제
삭제
삭제
삭제
삭제
삭제
본 발명의 실시예들에 따르면, 바다 영상에서 정형 및/또는 비정형 장애물을 인식하는 종래 방식을 전환하여, 오히려 주변의 바다 형상 정보를 모두 제거하는 방법으로 장애물에 대한 인식 방법을 단일화시킬 수 있다.
또한, 본 발명의 실시예들에 따르면 바다 형상 정보는 데이터를 수집하기 용이하므로 이미지 처리를 용이하게 수행할 수 있으므로, 장애물의 형상(정형 및/또는 비정형 여부)을 불문하고 선박 주변의 정형 및/또는 비정형의 장애물을 용이하게 검출할 수 있다.
도 1은 본 발명의 실시예에 따른 비정형 장애물 인식 시스템의 구성을 보이는 예시도이다.
도 2는 본 발명의 실시예에 따른 촬영부의 구성을 보이는 예시도이다.
도 3은 본 발명의 실시예에 따른 바다 영상 추출을 위한 알고리즘을 설명하기 위한 개념도이다.
도 4는 본 발명의 실시예에 따른 뉴럴 네트워크의 학습을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 주변 환경 영상의 프로세싱 절차를 보이는 예시도이다.
도 6은 본 발명의 실시예에 따른 주변 환경 영상의 주파수 변환을 설명하기 위한 개념도이다.
도 7은 본 발명의 실시예에 따른 이미지 블러링 처리를 설명하기 위한 개념도이다.
도 8은 본 발명의 실시예에 따른 비정형 장애물 인식 방법의 절차를 보이는 흐름도이다.
본 발명의 실시예들은 본 발명의 기술적 사상을 설명하기 위한 목적으로 예시된 것이다. 본 발명에 따른 권리범위가 이하에 제시되는 실시예들이나 이들 실시예들에 대한 구체적인 설명으로 한정되는 것은 아니다.
이하, 첨부한 도면들을 참조하여, 본 발명의 실시예들을 설명한다. 첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응하는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나, 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지 않는다.
도 1은 본 발명의 실시예에 따른 비정형 장애물 인식 시스템의 구성을 보이는 예시도이다.
도 1에 도시한 바와 같이, 비정형 장애물 인식 시스템(100)은, 다수의 촬영부(110), 서버(120), 네트워크(130), 데이터베이스(140) 등을 포함할 수 있다. 일 실시예에 따르면, 다수의 촬영부(110), 서버(120) 및 데이터베이스(140)는 네트워크(130)를 통해서 통신 가능하도록 연결될 수 있다.
다수의 촬영부(110) 각각은, 선박(VE) 주변을 촬영하여 주변 환경 영상을 형성할 수 있다. 일 실시예에 따르면, 촬영부(110)는 카메라 화각을 고려하여 음영 지역이 발생하지 않도록 미리 설정된 간격으로 선박의 선수, 선미, 좌현 및/또는 우현에 설치될 수 있다. 예를 들어, 비정형 장애물 인식 시스템(100)은, 선박(VE)의 선수, 선미, 좌현, 우현에 복수의 카메라(예를 들어, 9대)가 설치되어 레이더(radar)의 음영 지역을 충분히 커버 가능하도록 설계할 수 있고, 각 카메라는 일반 시중에서 사용하는 CCTV(closed-circuit television) 카메라를 활용할 수 있기 때문에 개수가 늘어나도 비용적 측면에서 경쟁력을 가질 수 있다.
서버(120)는 주변 환경 영상에서 규칙적인 패턴을 갖는 바다 영상을 제거하여 장애물 영상을 형성할 수 있다. 일 실시예에 따르면, 서버(120)는 시간 도메인 신호인 주변 환경 영상을 주파수 도메인 신호로 변환하고, 주파수 도메인의 주변 환경 영상을 딥러닝(Deep Learning)과 같은 기계학습 알고리즘을 이용한 주파수 분석을 수행하여 규칙적인 패턴을 갖는 바다 영상을 주변 환경 영상으로부터 추출할 수 있다. 예를 들어, 서버(120)는 근거리 해역에 대한 바다 영상과 원거리 해역에 대한 바다 영상의 이미지 패턴이 다르게 나타나기 때문에 이를 가변형 마스크를 활용하여 거리별 클래스로 분할할 수 있으며, 주변 환경 영상을 선박으로부터의 거리에 따라서 클래스를 분류하고, 클래스별로 미리 설정된 임계값을 이용하여 주변 환경 영상에 대한 블러링(blurring) 처리를 수행할 수 있다. 즉, 서버(120)는 장애물을 탐지하는 것이 아닌 주변 환경 영상으로부터 바다 영상이라는 환경을 검출해 제거하고 이미지상에 잔류하는 데이터들을 모두 장애물로 판정하는 것으로, 장애물의 형상에 따른 영향을 받지 않고 손쉽게 모든 장애물을 탐지할 수 있다는 장점이 있다. 나아가, 잔류하는 데이터들(장애물 영상)에 대한 상대 속도를 측정하여, 동적/정적 장애물을 판별해 각 장애물에 대한 위험도를 평가해 선박의 안전한 운항을 지원할 수 있다.
또한, 서버(120)는 장애물 영상을 이용하여 장애물의 이동 방향 및/또는 속도 정보를 형성할 수 있다. 일 실시예에 따르면, 서버(120)는 장애물의 이동 방향 및 속도 정보를 이용하여 장애물의 위험도를 산출하고, 산출된 위험도가 임계값 이상일 경우 알람 신호를 형성하여 선박(VE)에 탑승한 선원 등에게 알릴 수 있다.
네트워크(130)는, 다수의 촬영부(110), 서버(120) 및 데이터베이스(140) 등 간의 무선 또는 유선 통신을 수행할 수 있다. 예를 들어, 네트워크(130)는 LTE(long-term evolution), LTE-A(LTE Advanced), CDMA(code division multiple access), WCDMA(wideband CDMA), WiBro(Wireless BroadBand), WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), GPS(Global Positioning System) 또는 GNSS(global navigation satellite system) 등의 방식에 따른 무선 통신을 수행할 수 있다. 예를 들어, 네트워크(130)는 USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 등의 방식에 따른 유선 통신을 수행할 수도 있다.
데이터베이스(140)는, 다양한 데이터를 저장할 수 있다. 데이터베이스(140)에 저장되는 데이터는, 다수의 촬영부(110) 및 서버(120)의 적어도 하나의 구성요소에 의해 획득되거나, 처리되거나, 사용되는 데이터로서, 소프트웨어(예를 들어: 프로그램)를 포함할 수 있다. 데이터베이스(140)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 일 실시예로서, 데이터베이스(140)는, 다수의 촬영부(110)에서 형성된 주변 환경 영상, 서버(120)에서 형성된 바다 영상 및 장애물 영상 등을 저장할 수 있다. 예를 들어, 데이터베이스(140)는, VDR(Voyage Data Recorder)을 포함할 수 있지만, 이에 한정되지 않는다.
본 발명에서, 프로그램은 데이터베이스(140)에 저장되는 소프트웨어로서, 비정형 장애물 인식 시스템(100)의 리소스를 제어하기 위한 운영체제, 어플리케이션 및/또는 어플리케이션이 비정형 장애물 인식 시스템(100)의 리소스들을 활용할 수 있도록 다양한 기능을 어플리케이션에 제공하는 미들 웨어 등을 포함할 수 있다.
본 발명에서, 인공지능(Artificial Intelligence, AI)은 인간의 학습능력, 추론능력, 지각능력 등을 모방하고, 이를 컴퓨터로 구현하는 기술을 의미하고, 기계 학습, 심볼릭 로직 등의 개념을 포함할 수 있다. 기계 학습(Machine Learning, ML)은 입력 데이터들의 특징을 스스로 분류 또는 학습하는 알고리즘 기술이다. 인공지능의 기술은 기계 학습의 알고리즘으로써 입력 데이터를 분석하고, 그 분석의 결과를 학습하며, 그 학습의 결과에 기초하여 판단이나 예측을 할 수 있다. 또한, 기계 학습의 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술들 역시 인공지능의 범주로 이해될 수 있다. 예를 들어, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야가 포함될 수 있다.
기계 학습은 데이터를 처리한 경험을 이용해 신경망 모델을 훈련시키는 처리를 의미할 수 있다. 기계 학습을 통해 컴퓨터 소프트웨어는 스스로 데이터 처리 능력을 향상시키는 것을 의미할 수 있다. 신경망 모델은 데이터 사이의 상관 관계를 모델링하여 구축된 것으로서, 그 상관 관계는 복수의 파라미터에 의해 표현될 수 있다. 신경망 모델은 주어진 데이터로부터 특징들을 추출하고 분석하여 데이터 간의 상관 관계를 도출하는데, 이러한 과정을 반복하여 신경망 모델의 파라미터를 최적화 해나가는 것이 기계 학습이라고 할 수 있다. 예를 들어, 신경망 모델은 입출력 쌍으로 주어지는 데이터에 대하여, 입력과 출력 사이의 매핑(상관 관계)을 학습할 수 있다. 또는, 신경망 모델은 입력 데이터만 주어지는 경우에도 주어진 데이터 사이의 규칙성을 도출하여 그 관계를 학습할 수도 있다.
인공지능 학습모델 또는 신경망 모델은 인간의 뇌 구조를 컴퓨터 상에서 구현하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하며 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고받는 뉴런의 시냅틱(synaptic) 활동을 모의하여, 서로 간의 연결 관계를 가질 수 있다. 인공지능 학습모델에서 복수의 네트워크 노드들은 서로 다른 깊이의 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고받을 수 있다. 인공지능 학습모델은, 예를 들어, 인공 신경망 모델(Artificial Neural Network), 컨볼루션 신경망 모델(Convolution Neural Network: CNN) 등일 수 있다. 일 실시예로서, 인공지능 학습모델은, 지도학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning) 등의 방식에 따라 기계 학습될 수 있다. 기계 학습을 수행하기 위한 기계 학습 알고리즘에는, 의사결정트리(Decision Tree), 베이지안 망(Bayesian Network), 서포트 벡터 머신(Support Vector Machine), 인공 신경망(Artificial Neural Network), 에이다부스트 (Adaboost), 퍼셉트론(Perceptron), 유전자 프로그래밍(Genetic Programming), 군집화(Clustering) 등이 사용될 수 있다.
이중, CNN은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. CNN은 하나 또는 여러 개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 CNN은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다. 다른 딥러닝 구조들과 비교해서, CNN은 영상, 음성 분야 모두에서 좋은 성능을 보여준다. CNN은 또한 표준 역전달을 통해 훈련될 수 있다. CNN은 다른 피드포워드 인공신경망 기법들보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다.
컨볼루션 네트워크는 묶인 파라미터들을 가지는 노드들의 집합들을 포함하는 신경 네트워크들이다. 사용 가능한 트레이닝 데이터의 크기 증가와 연산 능력의 가용성이, 구분적 선형 단위 및 드롭아웃 트레이닝과 같은 알고리즘 발전과 결합되어, 많은 컴퓨터 비전 작업들이 크게 개선되었다. 오늘날 많은 작업에 사용할 수 있는 데이터 세트들과 같은 엄청난 양의 데이터 세트에서는 초과 맞춤(outfitting)이 중요하지 않으며, 네트워크의 크기를 늘리면 테스트 정확도가 향상된다. 컴퓨팅 리소스들의 최적 사용은 제한 요소가 된다. 이를 위해, 심층 신경 네트워크들의 분산된, 확장 가능한 구현 예가 사용될 수 있다.
도 2는 본 발명의 실시예에 따른 촬영부의 구성을 보이는 예시도이다.
도 2에 도시한 바와 같이, 촬영부(110)는 핸드레일(HR: handrail) 상부에 부착해 선박 주변 사각지대가 없도록 설치하고, 짐벌(gimbal) 기능을 갖은 짐벌 구조물(112)을 이용하여 선박의 요(yaw), 피치(pitch)에 따른 영상 흔들림을 보정할 수 있다. 촬영부(110)는 최대한 사각지대 없이 선박 근거리에 대한 영역을 커버 가능해야 하며, 바다의 특성을 영상에 잘 담을 수 있게 설치될 수 있다. 해수면상에 장애물이 탐지되고 해당 위험도가 높을 시(예를 들면, 임계값 이상인 경우), 연결된 함교(bridge), 주요 관리자 룸, 관리자 PC 등의 클라이언트 PC 등에 알람을 발생시킬 수 있다.
도 3은 본 발명의 실시예에 따른 바다 영상 추출을 위한 알고리즘을 설명하기 위한 개념도이다.
도 3에 도시한 바와 같이, 서버(120)는 주변 환경 영상(EI)으로부터 바다 영상(SI1~SI4)을 제거할 수 있다. 일 실시예에 따르면, 서버(120)는 주변 환경 영상(EI)에서 바다 영역을 인식해 제거함으로써 잔류하는 모든 데이터를 장애물로 인식시키는 프로세스를 갖고 있다. 예를 들어, 바다 영상은 특수한 주기를 갖는 파형을 갖고 있으며, 이는 이미지를 주파수 형태로 변환해 가시화하면(FD1~FD4) 그 특성이 두드러진다(십자가 형태). 하지만 근거리 해역에 대한 이미지와 원거리 해역에 대한 이미지 패턴이 다르게 나타나기 때문에(카메라 스팩에 따라 다를 수 있음), 이를 위해 거리에 따른 가변형 마스크(Mask)를 활용할 수 있다.
도 4는 본 발명의 실시예에 따른 뉴럴 네트워크의 학습을 설명하기 위한 도면이다.
도 4에 도시한 바와 같이, 주변 환경 영상으로부터 바다 영상을 추출하기 위하여 뉴럴 네트워크(127)를 학습시킬 수 있다. 일 실시예에 따르면, 학습 장치는 서버(120)와 다른 별개의 주체일 수 있지만, 이에 제한되는 것은 아니다.
뉴럴 네트워크(127)는 트레이닝 샘플들이 입력되는 입력 레이어(126)와 트레이닝 출력들을 출력하는 출력 레이어(128)를 포함하고, 트레이닝 출력들과 레이블들 사이의 차이에 기초하여 학습될 수 있다. 여기서, 레이블들은 주변 환경 영상에 대응하는 대상체 정보에 기초하여 정의될 수 있다. 뉴럴 네트워크(127)는 복수의 노드들의 그룹으로 연결되어 있고, 연결된 노드들 사이의 가중치들과 노드들을 활성화시키는 활성화 함수에 의해 정의된다.
학습 장치는 GD(Gradient Decent) 기법 또는 SGD(Stochastic Gradient Descent) 기법을 이용하여 뉴럴 네트워크(127)를 학습시킬 수 있다. 학습 장치는 뉴럴 네트워크의 출력들 및 레이블들 의해 설계된 손실 함수(Loss Function)를 이용할 수 있다.
학습 장치는 미리 정의된 손실 함수를 이용하여 트레이닝 에러를 계산할 수 있다. 손실 함수는 레이블, 출력 및 파라미터를 입력 변수로 미리 정의될 수 있고, 여기서 파라미터는 뉴럴 네트워크(127) 내 가중치들에 의해 설정될 수 있다. 예를 들어, 손실 함수는 MSE(Mean Square Error) 형태, 엔트로피(entropy) 형태 등으로 설계될 수 있는데, 손실 함수가 설계되는 실시예에는 다양한 기법 또는 방식이 채용될 수 있다.
학습 장치는 역전파(Backpropagation) 기법을 이용하여 트레이닝 에러에 영향을 주는 가중치들을 찾아낼 수 있다. 여기서, 가중치들은 뉴럴 네트워크(127) 내 노드들 사이의 관계들이다. 학습 장치는 역전파 기법을 통해 찾아낸 가중치들을 최적화시키기 위해 레이블들 및 출력들을 이용한 SGD 기법을 이용할 수 있다. 예를 들어, 학습 장치는 레이블들, 출력들 및 가중치들에 기초하여 정의된 손실 함수의 가중치들을 SGD 기법을 이용하여 갱신할 수 있다.
일 실시예에 따르면, 학습 장치는 트레이닝 주변 환경 영상들을 획득하고, 트레이닝 주변 환경 영상들로부터 트레이닝 대상체들을 추출할 수 있다. 학습 장치는 트레이닝 바다 영상들에 대해서 각각 미리 레이블링 된 정보(제1 레이블들)를 획득할 수 있는데, 트레이닝 바다 영상들에 미리 정의된 바다 영상 정보를 나타내는 제1 레이블들을 획득할 수 있다.
일 실시예에 따르면, 학습 장치는 트레이닝 바다 영상들의 패턴 특징들, 주파수 특징들, 외관 특징들, 및 색상 특징들에 기초하여 제1 트레이닝 특징 벡터들을 생성할 수 있다. 특징을 추출하는 데는 다양한 방식이 채용될 수 있다.
일 실시예에 따르면, 학습 장치는 제1 트레이닝 특징 벡터들을 뉴럴 네트워크(127)에 적용하여 트레이닝 출력들을 획득할 수 있다. 학습 장치는 트레이닝 출력들과 제1 레이블들에 기초하여 뉴럴 네트워크(127)를 학습시킬 수 있다. 학습 장치는 트레이닝 출력들에 대응하는 트레이닝 에러들을 계산하고, 그 트레이닝 에러들을 최소화하기 위해 뉴럴 네트워크(127) 내 노드들의 연결 관계를 최적화하여 뉴럴 네트워크(127)를 학습시킬 수 있다. 서버(120)는 학습이 완료된 뉴럴 네트워크(127)를 이용하여 주변 환경 영상으로부터 바다 영상을 추출할 수 있다.
도 5는 본 발명의 실시예에 따른 주변 환경 영상의 프로세싱 절차를 보이는 예시도이다.
도 5에 도시한 바와 같이, 바다 환경에서는 파도가 부서지는 백파에 따른 잡음(noise)이 발생하고, 촬영부(110) 성능에 따른 아웃 포커싱(out-focusing) 오류가 발생할 수도 있다. 이러한 오류에 유연하게 대처하기 위해 서버(120)는 로우 이미지 데이터(raw image data)로만 기계 학습의 학습 데이터로 활용하지 않고, 클래스별로 추출된 로우 이미지 데이터에 대해 일정 임계값(threshold)으로 주변 환경 영상을 블러링(blurring) 처리를 수행할 수 있다. 일 실시예에 따르면, 서버(120)는, 주변 환경 영상을 선박으로부터의 거리에 따라서 클래스를 분류하고, 클래스별로 미리 설정된 임계값을 이용하여 주변 환경 영상에 대한 블러링(blurring) 처리를 수행할 수 있다.
도 6은 본 발명의 실시예에 따른 주변 환경 영상의 주파수 변환을 설명하기 위한 개념도이다.
도 6에 도시한 바와 같이, 서버(120)는 시간 도메인 신호인 주변 환경 영상 2차원 데이터를 x, y 축 방향으로 따라가면서 변화하는 픽셀의 밝기(명암)를 파형 또는 신호로 보고 주파수 분석을 수행할 수 있다. 일 실시예에 따르면, 서버(120)는 주변 환경 영상을 그레이 스케일(gray scale)로 변환하고, FFT(Fast Fourier Transform) 처리 및 시각화를 수행하여 시간 도메인 신호인 주변 환경 영상을 주파수 도메인의 주변 환경 영상으로 변환할 수 있다.
도 7은 본 발명의 실시예에 따른 이미지 블러링 처리를 설명하기 위한 개념도이다.
도 7에 도시한 바와 같이, 서버(120)는 스무딩(smoothing) 기법 기반으로 주변 환경 영상의 이미지 픽셀 간의 색상(RGB)값 차이를 줄여 대상체(objects)간의 경계를 불투명하게 블러링(blurring) 처리할 수 있다. 즉, 서버(120)는 주변 환경 영상 이미지를 뭉개버리는 효과 처리(아웃 포커싱, 즉 포커싱이 안 맞는 현상을 이미지 처리를 통해 비슷한 효과를 만들어 낼 수 있다)를 할 수 있다. 이로 인해서, 주변 환경 영상에 조그맣게 나타나는 잡음(예를 들어, 백파(파도)) 제거에 유용할 수 있다. 도 7에서는 로우 이미지 데이터와 다양한 임계값(0.2, 0.4, 0.5, 0.6, 1.0)으로 로우 이미지를 블러링 처리했을 경우의 결과를 나타낸다.
도 8은 본 발명의 실시예에 따른 비정형 장애물 인식 방법의 절차를 보이는 흐름도이다. 도 8의 흐름도에서 프로세스 단계들, 방법 단계들, 알고리즘들 등이 순차적인 순서로 설명되었지만, 그러한 프로세스들, 방법들 및 알고리즘들은 임의의 적합한 순서로 작동하도록 구성될 수 있다. 다시 말하면, 본 발명의 다양한 실시예들에서 설명되는 프로세스들, 방법들 및 알고리즘들의 단계들이 본 발명에서 기술된 순서로 수행될 필요는 없다. 또한, 일부 단계들이 비동시적으로 수행되는 것으로서 설명되더라도, 다른 실시예에서는 이러한 일부 단계들이 동시에 수행될 수 있다. 또한, 도면에서의 묘사에 의한 프로세스의 예시는 예시된 프로세스가 그에 대한 다른 변화들 및 수정들을 제외하는 것을 의미하지 않으며, 예시된 프로세스 또는 그의 단계들 중 임의의 것이 본 발명의 다양한 실시예들 중 하나 이상에 필수적임을 의미하지 않으며, 예시된 프로세스가 바람직하다는 것을 의미하지 않는다.
도 8에 도시한 바와 같이, 단계(S510)에서, 바다 영상 거리별 클래스 분할이 수행된다. 예를 들어, 도 1 내지 도 7을 참조하면, 비정형 장애물 인식 시스템(100)에 포함된 서버(120)는, 근거리 해역에 대한 바다 영상과 원거리 해역에 대한 바다 영상의 이미지 패턴이 다르게 나타나기 때문에 이를 거리별 클래스로 분할할 수 있다.
단계(S520)에서, 각 클래스 별 스무딩(smoothing) 기법 기반으로 이미지를 블러링 처리한 데이터가 생성된다. 예를 들어, 도 1 내지 도 7을 참조하면, 비정형 장애물 인식 시스템(100)에 포함된 서버(120)는, 단계(S510)에서 분할된 바다 영상의 클래스 별로 스무딩 기법 기반으로 이미지를 블러링 처리한 데이터를 생성할 수 있다.
단계(S530)에서, 생성된 이미지 데이터에 대한 주파수 이미지 변환이 수행된다. 예를 들어, 도 1 내지 도 7을 참조하면, 비정형 장애물 인식 시스템(100)에 포함된 서버(120)는, 단계(S520)에서 생성된 이미지 데이터를 주파수 도메인의 이미지 데이터로 변환할 수 있다.
단계(S540)에서, CNN 기반 파도 주파수 특성 학습이 수행된다. 예를 들어, 도 1 내지 도 7을 참조하면, 비정형 장애물 인식 시스템(100)에 포함된 서버(120)는, 컨볼루션 신경망 모델(Convolution Neural Network: CNN) 기반으로 바다 영상의 파도 주파수 특성 학습을 수행할 수 있다. 이후, 서버(120)는 단계(S570)의 절차를 수행할 수 있다.
단계(S550)에서, 실 환경 선박 주변 환경이 촬영된다. 예를 들어, 도 1 내지 도 7을 참조하면, 비정형 장애물 인식 시스템(100)에 포함된 다수의 촬영부(110)는, 선박(VE) 주변의 주변 환경 영상을 형성할 수 있다.
단계(S560)에서, 주변 환경 영상이 데이터베이스에 저장된다. 예를 들어, 도 1 내지 도 7을 참조하면, 비정형 장애물 인식 시스템(100)에 포함된 데이터베이스(140)는, 단계(S550)에서 형성된 주변 환경 영상을 네트워크(130)를 통하여 촬영부(110)로부터 전달받아 저장할 수 있다.
단계(S570)에서, 데이터베이스에 저장된 주변 환경 영상에 학습 결과를 반영해 바다 영상이 제거된 이미지 데이터가 생성된다. 예를 들어, 도 1 내지 도 7을 참조하면, 비정형 장애물 인식 시스템(100)에 포함된 서버(120)는, 단계(S560)에서 데이터베이스(140)에 저장된 주변 환경 영상에 단계(S540)에서의 학습 결과를 반영해 주변 환경 영상에서 바다 영상이 제거된 이미지 데이터를 생성할 수 있다.
단계(S580)에서, 이미지 상에 존재하는 잔류 데이터에 대한 군집화 및 장애물 크기 측정이 수행된다. 예를 들어, 도 1 내지 도 7을 참조하면, 비정형 장애물 인식 시스템(100)에 포함된 서버(120)는, 주변 환경 영상에서 바다 영상이 제거된 이미지 상에 존재하는 잔류 데이터에 대한 군집화 및 장애물 크기 측정을 수행할 수 있다. 일 실시예에 따르면, 서버(120)는 주변 환경 영상에서 바다 영상을 제거하고 남은 잔류 데이터를 모두 장애물로 간주하여 이에 대한 군집화를 수행하고, 장애물들에 대한 크기 측정을 수행할 수 있다.
단계(S590)에서, 군집화된 대상에 대한 자선 속도 대비 동적 및/또는 정적 상태가 판별된다. 예를 들어, 도 1 내지 도 7을 참조하면, 비정형 장애물 인식 시스템(100)에 포함된 서버(120)는, 단계(S580)에서 군집화된 장애물들에 대하여 자선(비정형 장애물 인식 시스템(100)을 탑재한 선박(VE)) 속도와 비교하여 상대 속도를 측정할 수 있고, 측정된 상대 속도를 이용하여 군집화된 장애물들이 동적 상태인지 정적 상태인지 여부를 판별할 수 있다.
단계(S600)에서, 장애물 크기, 동적 및/또는 정적 상태에 따른 위험도 평가 정보 데이터베이스에 저장된다. 예를 들어, 도 1 내지 도 7을 참조하면, 비정형 장애물 인식 시스템(100)에 포함된 서버(120)는, 단계(S580)에서 측정된 장애물들의 크기 및 단계(S590)에서 판별된 장애물들의 자선 속도 대비 동적 및/또는 정적 상태에 따라 위험도 평가 정보를 생성하고, 생성된 위험도 평가 정보를 데이터베이스(140)에 저장할 수 있다.
단계(S610)에서, 촬영 영상 및 위험도 평가에 따른 결과와 알람 이벤트가 클라이언트 PC에 가시화된다. 예를 들어, 도 1 내지 도 7을 참조하면, 비정형 장애물 인식 시스템(100)에 포함된 서버(120)는, 촬영부(110)에서 형성된 주변 환경 영상 및 단계(S590)에서 판별된 위험도 평가 정보에 따른 결과와 알람 이벤트가 원격에 위치한 클라이언트 PC(Personal Computer)에 표시될 수 있다.
이상 다양한 실시예들에 의해 본 발명의 기술적 사상이 설명되었지만, 본 발명의 기술적 사상은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 이해할 수 있는 범위에서 이루어질 수 있는 다양한 치환, 변형 및 변경을 포함한다. 또한, 그러한 치환, 변형 및 변경은 첨부된 청구범위 내에 포함될 수 있는 것으로 생각되어야 한다.
100: 비정형 장애물 인식 시스템 110: 촬영부
120: 서버 130: 네트워크
140: 데이터베이스 126: 입력 레이어
127: 뉴럴 네트워크 128: 출력 레이어
VE: 선박

Claims (13)

  1. 선박 주변을 촬영하여 주변 환경 영상을 형성하는 촬영부; 및
    상기 주변 환경 영상에서 규칙적인 패턴을 갖는 바다 영상을 제거하여 장애물 영상을 형성하고, 상기 장애물 영상을 이용하여 장애물의 이동 방향 및 속도 정보를 형성하는 서버를 포함하고,
    상기 서버는,
    상기 주변 환경 영상을 상기 선박으로부터의 거리에 따라 가변형 마스크를 활용하여 클래스를 분류하고, 클래스별로 미리 설정된 임계값을 이용하여 상기 주변 환경 영상에 대한 블러링(blurring) 처리를 수행하며, 시간 도메인 신호의 상기 주변 환경 영상을 주파수 도메인 신호로 변환하고, 상기 주파수 도메인 신호로 변환된 상기 주변 환경 영상을 기계 학습 알고리즘을 이용한 주파수 분석을 수행하여 상기 규칙적인 패턴을 갖는 바다 영상을 추출하는,
    비정형 장애물 인식 시스템.
  2. 제 1 항에 있어서,
    상기 촬영부는,
    짐벌 구조물을 이용하여 상기 선박의 핸드레일(hand rail) 상부에 설치되는,
    비정형 장애물 인식 시스템.
  3. 제 1 항에 있어서,
    상기 촬영부는,
    카메라 화각을 고려하여 음영 지역이 발생하지 않도록 미리 설정된 간격으로 상기 선박의 선수, 선미, 좌현 및 우현 중 어느 하나 이상에 설치되는,
    비정형 장애물 인식 시스템.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제 1 항에 있어서,
    상기 서버는,
    상기 장애물의 이동 방향 및 속도 정보를 이용하여 상기 장애물의 위험도를 산출하고, 산출된 상기 위험도가 임계값 이상일 경우 알람 신호를 형성하는,
    비정형 장애물 인식 시스템.
  8. 촬영부에 의해서, 선박 주변을 촬영하여 주변 환경 영상을 형성하는 제1 단계;
    서버에 의해서, 상기 주변 환경 영상에서 규칙적인 패턴을 갖는 바다 영상을 제거하여 장애물 영상을 형성하는 제2 단계; 및
    상기 서버에 의해서, 상기 장애물 영상을 이용하여 장애물의 이동 방향 및 속도 정보를 형성하는 제3 단계를 포함하고,
    상기 제2 단계는,
    상기 주변 환경 영상을 상기 선박으로부터의 거리에 따라 가변형 마스크를 활용하여 클래스를 분류하고, 클래스별로 미리 설정된 임계값을 이용하여 상기 주변 환경 영상에 대한 블러링(blurring) 처리를 수행하는 제2-1 단계;
    시간 도메인 신호의 상기 주변 환경 영상을 주파수 도메인 신호로 변환하는 제2-2 단계; 및
    상기 주파수 도메인 신호로 변환된 상기 주변 환경 영상을 기계 학습 알고리즘을 이용한 주파수 분석을 수행하여 상기 규칙적인 패턴을 갖는 바다 영상을 추출하는 제2-3 단계를 포함하는,
    비정형 장애물 인식 방법.
  9. 제 8 항에 있어서,
    상기 제3 단계 이후,
    상기 장애물의 이동 방향 및 속도 정보를 이용하여 상기 장애물의 위험도를 산출하는 단계; 및
    산출된 상기 위험도가 임계값 이상일 경우 알람 신호를 형성하는 단계를 더 포함하는,
    비정형 장애물 인식 방법.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 제 8 항 또는 제 9 항에 따른 비정형 장애물 인식 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록매체.
KR1020210092837A 2021-07-15 2021-07-15 비정형 장애물 인식 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체 KR102561793B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210092837A KR102561793B1 (ko) 2021-07-15 2021-07-15 비정형 장애물 인식 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210092837A KR102561793B1 (ko) 2021-07-15 2021-07-15 비정형 장애물 인식 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체

Publications (2)

Publication Number Publication Date
KR20230012271A KR20230012271A (ko) 2023-01-26
KR102561793B1 true KR102561793B1 (ko) 2023-07-31

Family

ID=85110427

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210092837A KR102561793B1 (ko) 2021-07-15 2021-07-15 비정형 장애물 인식 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체

Country Status (1)

Country Link
KR (1) KR102561793B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018152106A (ja) * 2018-05-02 2018-09-27 株式会社日立国際電気 水上侵入検知システムおよびその方法
KR102155724B1 (ko) * 2020-04-21 2020-09-14 호서대학교 산학협력단 심층신경망을 이용한 선박 내 객체의 위험 검출 방법 및 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2875913A1 (fr) * 2004-09-29 2006-03-31 Sea On Line Sa Systeme d'alerte anti-collision installe a bord d'un vehicule marin et procede d'analyse anti-collision
KR101823029B1 (ko) 2016-01-27 2018-01-31 대우조선해양 주식회사 선박의 장애물 관리 시스템 및 장애물 관리 방법
KR20200095888A (ko) * 2019-02-01 2020-08-11 한국전자통신연구원 무인 선박 시스템의 상황인지 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018152106A (ja) * 2018-05-02 2018-09-27 株式会社日立国際電気 水上侵入検知システムおよびその方法
KR102155724B1 (ko) * 2020-04-21 2020-09-14 호서대학교 산학협력단 심층신경망을 이용한 선박 내 객체의 위험 검출 방법 및 시스템

Also Published As

Publication number Publication date
KR20230012271A (ko) 2023-01-26

Similar Documents

Publication Publication Date Title
KR102171122B1 (ko) 장면의 다차원 특징을 기반으로 하는 선박 탐지 방법 및 시스템
US10782691B2 (en) Deep learning and intelligent sensing system integration
KR101995107B1 (ko) 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템
US11195038B2 (en) Device and a method for extracting dynamic information on a scene using a convolutional neural network
US20200050893A1 (en) Training a deep learning system for maritime applications
US20190171897A1 (en) System and method for automatically improving gathering of data using a data gathering device
US20220327676A1 (en) Method and system for detecting change to structure by using drone
CN112889090A (zh) 使用人工智能对物理动态系统执行建模和控制的系统和方法
CN111709471B (zh) 对象检测模型的训练方法以及对象检测方法、装置
CN114155270A (zh) 行人轨迹预测方法、装置、设备及存储介质
KR102187831B1 (ko) Cctv를 이용한 혼잡도 판단 시스템의 제어 방법, 장치 및 프로그램
CN109887004A (zh) 一种基于tld算法的无人船海域目标跟踪方法
KR102561793B1 (ko) 비정형 장애물 인식 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체
KR20220045762A (ko) 인공지능 영상 처리를 이용한 선박 자동 인식 및 모니터링 시스템 및 그 제공 방법
CN110121055B (zh) 用于对象识别的方法和设备
Singh et al. An enhanced YOLOv5 based on color harmony algorithm for object detection in unmanned aerial vehicle captured images
KR102563346B1 (ko) 구조물 건전성 모니터링 시스템 및 이를 이용한 모니터링 방법
Song et al. A low false negative filter for detecting rare bird species from short video segments using a probable observation data set-based EKF method
KR102640795B1 (ko) 레이더 기반 선박의 이/접안 지원 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체
KR102650152B1 (ko) 4차원 레이더를 활용한 해적 선박 감지 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체
KR102537518B1 (ko) 3차원 모델 기반의 선내 무선 ap 배치 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체
KR102628955B1 (ko) 비행 특징을 인식변수로 사용하여 비행체를 식별 탐지추적하는 시스템 과 그 방법
CA3155593C (en) Methods and systems for training and validating a perception system
EP4283529A1 (en) Method for training an object recognition model in a computing device
Zhang et al. Optical resolution requirements for effective deep learning-based ship recognition

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant