KR101941521B1 - 해상객체의 자동추적 시스템 및 방법 - Google Patents

해상객체의 자동추적 시스템 및 방법 Download PDF

Info

Publication number
KR101941521B1
KR101941521B1 KR1020160166173A KR20160166173A KR101941521B1 KR 101941521 B1 KR101941521 B1 KR 101941521B1 KR 1020160166173 A KR1020160166173 A KR 1020160166173A KR 20160166173 A KR20160166173 A KR 20160166173A KR 101941521 B1 KR101941521 B1 KR 101941521B1
Authority
KR
South Korea
Prior art keywords
information
learning
neural network
marine
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020160166173A
Other languages
English (en)
Other versions
KR20180065411A (ko
Inventor
박세길
오재용
김혜진
Original Assignee
한국해양과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국해양과학기술원 filed Critical 한국해양과학기술원
Priority to KR1020160166173A priority Critical patent/KR101941521B1/ko
Publication of KR20180065411A publication Critical patent/KR20180065411A/ko
Application granted granted Critical
Publication of KR101941521B1 publication Critical patent/KR101941521B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B49/00—Arrangements of nautical instruments or navigational aids
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B2213/00—Navigational aids and use thereof, not otherwise provided for in this class
    • B63J2099/006—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Ocean & Marine Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

본 발명은 해상의 객체를 자동인지 및 추적하고 인지 및 추적된 정보를 가상현실 및 증강현실 기술을 이용하여 직관적인 형태로 가시화하여 표시하여 해상객체인 선박 및 항로표지 등을 손쉽게 인지할 수 있는 해상객체의 자동추적시스템 및 방법에 관한 것으로서, 선박의 데이터 및 상기 해상객체의 영상, 선명, 침로, 위치, 선속을 포함하는 해상객체 데이터를 수집하는 수집장치; 상기 수집장치로부터 수집된 수집데이터를 이용하여 상기 해상객체의 위치를 인지하여 위치정보를 생성하고 상기 수집장치에 의해 수집된 정보에 대응하는 객체정보를 매칭시키는 추적서버; 상기 추적서버에 의해 생성된 객체정보를 이미지화시킨 이미지정보를 생성하는 가시화서버; 및 상기 가시화서버에 의해 이미지화된 이미지정보를 표시하는 증강현실표시부;를 포함하여 구성되어 딥러닝 기반의 학습단계를 거쳐 학습된 제1 신경망 및 제2 신경망을 선박에 이식하여 해상객체인 선박 및 항로표지 등을 손쉽게 인지할 수 있도록 하여 보다 편리한 항해를 제공하는 효과가 있다.

Description

해상객체의 자동추적 시스템 및 방법{SYSTEM AND METHOD FOR AUTOMATIC TRACKING OF MARINE OBJECTS}
본 발명은 해상객체의 자동추적 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 해상의 객체를 자동인지 및 추적하고 인지 및 추적된 정보를 가상현실 및 증강현실 기술을 이용하여 직관적인 형태로 가시화하여 표시하여 해상객체인 선박 및 항로표지 등을 손쉽게 인지할 수 있는 해상객체의 자동추적 시스템 및 방법에 관한 것이다.
현재 선박에서는 레이다(RADAR), AIS(Automatic Identification System), CCTV(Closed Circuit TeleVision), 직접 견시(見視) 등을 활용하여 해상객체에 대한 감시와 경계를 하고 있으나 항해자가 주변의 모든 상황을 지속적으로 파악하고 관리해 나가는 것은 상당히 어려운 작업이다. 특히 짙은 안개나 강한 비바람으로 시계가 제한되는 악천후에서는 더욱 힘든 일이라는 문제점이 있다.
따라서 시스템 차원의 지원을 바탕으로 항해자의 상황인지 부담을 줄일 필요성이 대두되고 있다.
선박에 있어서, AIS와 같은 시스템을 이용하여 정보를 수신받아 정보를 제공한 선박에 대한 정보를 표시할 수 있도록 되어 있다. 하지만, AIS 장비의 미장착, 고장, 전원 차단 등으로 AIS 정보를 획득하기 어려운 경우나 AIS 정보를 잘못 또는 미입력하여 AIS 정보를 활용하기 어려운 경우도 존재한다. 또한, 선박을 포함하여 해상구조물 항로표지와 같은 해상객체를 보다 명확하게 인지할 필요성이 대두되고 있다.
따라서 본 발명은 전술한 종래기술의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 해상객체를 자동인지 및 추적하고 인지 및 추적된 정보를 가상현실 및 증강현실 기술을 이용하여 직관적인 형태로 가시화하여 표시하여 해상객체인 선박 및 항로표지 등을 손쉽게 인지할 수 있는 해상객체의 자동추적 시스템 및 방법을 제공하기 위한 것이다.
상술한 목적을 달성하기 위한 해상객체의 자동추적 시스템은, 상기 시스템이 장착되는 선박의 데이터 및 상기 해상객체의 영상, 선명, 침로, 위치, 선속을 포함하는 해상객체 데이터를 수집하는 수집장치; 상기 수집장치로부터 수집된 수집데이터를 이용하여 상기 해상객체의 위치를 인지하여 위치정보를 생성하고 상기 수집장치에 의해 수집된 정보에 대응하는 객체정보를 매칭시키는 추적서버; 상기 추적서버에 의해 생성된 객체정보를 이미지화시킨 이미지정보를 생성하는 가시화서버; 및 상기 가시화서버에 의해 이미지화된 이미지정보를 표시하는 증강현실표시부;를 포함하여 구성된다.
상기 수집장치는, 선박의 일측에 설치되어 해상객체의 영상을 취득하는 카메라; 해상에 주변의 해상객체의 존재 및 위치를 감지하는 레이다; 및 상기 해상객체의 선명, 침로, 위치, 선속을 포함하는 해상객체 데이터를 수집하고 상기 해상의 상태를 수집하는 센서장치;를 포함하여 구성될 수 있다.
상기 센서장치는, 해상의 파고를 감지하는 파고계; 해상객체의 선명, 침로, 위치 및 선속의 항행정보를 수신하여 자동으로 표시해주는 AIS(Automatic Identification System); 및 해당 선박의 위치를 상기 추적서버로 전송하여 알려주고 상기 해당 선박의 위치를 중심으로 상기 해상객체를 인지하도록 하는 GPS(Global Positioning System);를 포함하여 구성될 수 있다.
해상객체의 자동추적 시스템은, 해상객체의 자동추적 시스템을 구성하기 위하여 학습데이터를 생성하는 시뮬레이터; 및 실제 선박에서 획득하거나 시뮬레이터로부터 생성한 학습데이터를 활용하여 학습 및 테스트를 수행하는 딥러닝학습시스템;을 더 포함하여 구성될 수 있다.
상기 시뮬레이터 및 딥러닝학습시스템은, 학습 및 테스트를 수행하기 위하여 선박에 이식되기 전의 제1 신경망 및 제2 신경망을 구성하기 위하여 설치되는 것인 해상객체의 자동추적 시스템.
상기 딥러닝학습시스템은, 선박에서 획득하거나 시뮬레이터로부터 생성한 다양한 해상교통 상황에 대한 카메라영상과 이에 포함된 객체들의 종류, 위치(x, y, z), 바운딩박스 정보 등을 입력으로 딥러닝 학습 방법인 영역 기반 CNN(Region-based Convolutional Neural Network) 방법 등을 적용하여, 새로운 해상교통 상황에 대한 카메라영상이 주어졌을 때, 이에 포함된 객체들의 종류, 위치(x, y, z), 바운딩박스 정보를 자동으로 추정하도록 학습되는 제1 신경망; 및 실제 선박에서 획득하거나 시뮬레이터로부터 생성한 다양한 해상교통 상황에 대한 레이다영상과 이에 포함된 객체들의 위치(x, y) 정보를 입력으로 딥러닝 학습 방법인 영역 기반 CNN(Region-based Convolutional Neural Network) 방법 등을 적용하여, 새로운 해상교통 상황에 대한 레이다영상이 주어졌을 때, 이에 포함된 객체들의 위치(x, y) 정보를 자동으로 추정하도록 학습되는 제2 신경망;을 포함하여 구성될 수 있다.
상기 수집장치로부터 실시간으로 들어오는 카메라영상을 해석하여 이에 포함된 객체들의 종류, 위치(x, y, z), 바운딩박스 정보를 출력하는 상기 학습된 제1 신경망 및 상기 수집장치로부터 실시간으로 들어오는 레이다영상을 자동으로 해석하여 이에 포함된 객체들의 위치(x, y) 정보를 출력하는 상기 학습된 제2 신경망이 상기 추적서버에 이식될 수 있다.
상술한 목적을 달성하기 위한 해상객체의 자동추적 방법은, 딥러닝학습시스템을 이용하여 카메라 및 레이다영상으로부터 해상객체를 검출할 수 있는 신경망을 학습하는 학습단계; 및 선박 항해 환경에서 실시간으로 들어오는 카메라 및 레이다영상으로부터 수신되는 데이터 및 학습된 신경망을 활용하여 해상객체를 검출 및 추적하는 활용단계;를 포함하여 구성된다.
상기 학습단계는, 다양한 해상교통 상황에 대한 카메라영상 및 레이다영상 그리고 이와 관련된 레이블링 정보를 실제 선박 및 시뮬레이터로부터 획득 및 생성하는 단계; 획득 및 생성된 데이터를 딥러닝 학습 방법에 적합한 학습데이터로 가공하는 단계; 및 딥러닝학습시스템을 이용하여 상기 학습데이터를 입력으로 신경망을 학습하는 단계;를 포함하여 구성될 수 있다.
상기 신경망을 학습하는 단계는, 선박 및 시뮬레이터로부터 획득 및 생성한 카메라영상 및 관련 레이블링 정보를 이용하여 제1 신경망을 학습하는 단계; 및 선박 및 시뮬레이터로부터 획득 및 생성한 레이다영상 및 관련 레이블링 정보를 이용하여 제2 신경망을 학습하는 단계;를 포함하여 구성된다.
상기 활용단계는, 카메라영상, 레이다영상 및 센서정보를 획득하는 단계;
카메라영상, 레이다영상으로부터 획득된 정보를 상기 신경망에 입력시키는 단계; 상기 바운딩박스를 인지하는 단계; 상기 신경망을 이용하여 상기 인지된 바운딩박스 내의 객체의 종류, 위치를 인지하는 단계; 및 상기 센서정보와 상기 신경망을 이용하여 획득된 객체정보를 융합시키는 단계;를 포함하여 구성될 수 있다.
상기 융합시키는 단계는, 학습된 제1 신경망 및 제2 신경망의 출력 데이터와 센서 데이터를 융합하는 단계; 및 융합된 정보를 바탕으로 사용자에게 전달할 영상 정보를 구성하는 단계;를 포함하여 구성될 수 있다.
따라서 본 발명의 해상객체의 자동추적 시스템 및 방법은 해상객체를 자동인지 및 추적하고 인지 및 추적된 정보를 가상현실 및 증강현실 기술을 이용하여 직관적인 형태로 가시화하여 표시하여 해상객체인 선박 및 항로표지 등을 손쉽게 인지할 수 있도록 하여 보다 안전하고 편리한 항해를 제공하는 효과가 있다.
또한, 본 발명은 정보를 확인할 수 없는 해상객체에 대하여 보다 객관적인 자료를 이용하여 정확한 자료를 제공하므로 해상객체를 보다 직관적이며 정확하게 인지할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 해상객체의 자동추적 시스템을 운용하기 위한 학습 시스템을 포함한 전체 블록 구성도.
도 2는 본 발명의 도 1에 따른 센서장치의 구성을 나타낸 블록 구성도.
도 3은 본 발명의 일 실시예에 따라 추적서버를 보다 상세하게 나타낸 블록 구성도.
도 4는 본 발명의 도 1에 따른 시뮬레이터의 구성을 나타낸 블록 구성도.
도 5는 본 발명의 일 실시예에 따라 가시화시킨 정보를 증강현실표시부를 통해 나타낸 화면.
도 6은 본 발명의 일 실시예에 따른 해상객체를 학습 및 자동추적하는 단계를 나타낸 순서도.
도 7은 본 발명의 일 실시예에 따른 도 6의 학습단계를 보다 상세하게 나타낸 순서도.
도 8은 본 발명의 일 실시예에 따른 도 6의 활용단계를 보다 상세하게 나타낸 순서도.
이하, 본 발명의 실시예를 나타내는 첨부 도면을 참조하여 본 발명을 더욱 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 해상객체의 자동추적 시스템을 운용하기 위한 학습 시스템을 포함한 전체 블록 구성도이며, 도 2는 본 발명의 도 1에 따른 센서장치의 구성을 나타낸 블록 구성도이고, 도 3은 본 발명의 일 실시예에 따라 추적서버를 보다 상세하게 나타낸 블록 구성도이며, 도 4는 본 발명의 도 1에 따른 시뮬레이터의 구성을 개략적으로 나타낸 블록 구성도이다.
도 1 내지 도 4를 참조하면, 본 발명의 해상객체의 자동추적 시스템은 수집장치(100), 추적서버(200), 가시화서버(300), 증강현실표시부(400), 시뮬레이터(500) 및 딥러닝학습시스템(600)으로 구성된다.
수집장치(100)는 시스템이 장착되는 선박의 데이터 및 상기 해상객체의 영상, 선명, 침로, 위치, 선속, 파고, 날씨 정보 등을 포함하는 데이터를 수집한다. 이때 수집되는 데이터는 해상객체의 데이터 및 운항정보로 구분될 수 있다. 해상객체의 데이터는 해상객체의 영상, 선명, 침로, 위치, 선속이 될 수 있으며, 운항정보는 파고 날씨 등의 항해에 필요한 정보 등이 포함될 수 있다.
도 2를 참조하면, 수집장치는 카메라(110), 레이다(120), 센서장치(130)로 구성되며, 센서장치(130)는 AIS(Automatic Identification System)(132), GPS(Global Positioning System)(134) 및 파고계(136)로 구성될 수 있다.
카메라(110)는 선박의 일측에 설치되어 해상객체(12, 14, 16)의 영상을 취득한다. 카메라(110)는 해상객체(12, 14, 16)의 영상을 취득하며, 취득된 영상을 이용하여 해상객체(12, 14, 16)의 종류, 해상객체(12, 14, 16)의 크기, 해상객체(12, 14, 16)의 위치를 추적하게 된다.
레이다(120)는 선박(10)에 일측에 설치되어 해상 주변의 해상객체(12, 14, 16)의 존재 및 위치를 감지한다.
센서장치(130)는 해상객체의 영상, 선명, 침로, 위치, 선속 등을 탐지하며, 시스템이 설치된 해당 선박의 위치 파고 날씨 등의 항해에 필요한 정보 등을 수집한다.
먼저, AIS(Automatic Identification System)(132)는 해상객체의 선명, 침로, 선속 및 위치 등의 항행정보를 해상객체로부터 수신하여 이를 자동으로 표시해주는 시스템이다. 즉, AIS(132)는 해상객체에 설치된 AIS 정보를 수신하여 이를 표시하는 시스템이다.
GPS(Global Positioning System)(134)는 상기 본 발명의 시스템이 설치된 선박의 위치를 인지하고 이를 추적서버(200)로 전송한다.
파고계(136)는 선박의 일측에 설치되어 해상에서의 파고를 측정한다.
전술한 실시예에서는 센서장치(130)가 AIS(132), GPS(134) 및 파고계(136)를 포함하는 것으로 설명하였지만, 더 많은 센서가 설치되어 획득한 정보를 활용할 수 있다. 예컨대, 풍향계나 자이로센서, 적외선카메라, 레이저센서 등이 추가될 수 있다.
도 3을 참조하면, 추적서버(200)는 상기 수집장치(100)로부터 수집된 수집데이터를 이용하여 상기 해상을 항행하거나 고정된 해상객체의 위치를 인지하여 위치정보를 생성하고 상기 수집장치(100)에 의해 수집된 정보에 대응하는 객체정보를 매칭시킨다.
추적서버(200)는 학습된 제1 신경망(210), 학습된 제2 신경망(220) 및 정보융합 및 추적모듈(230)로 구성된다. 전술한 학습된 제1 신경망(210) 및 학습된 제2 신경망(220)은 딥러닝학습시스템(600)에 의해 학습된 제1 신경망(210) 및 제2 신경망(220)을 이식하여 사용하는 것일 수 있다.
먼저, 추적서버(200)는 후술하는 활용단계에 대응하는 단계들을 수용하는 서버이다. 추적서버(200)는 실제 선박 항해 환경에서 실시간으로 들어오는 카메라(110) 및 레이다(120)에서 획득한 영상을 수신하여 학습된 각각의 학습된 제1 신경망(210) 및 학습된 제2 신경망(220)을 활용하여 해상객체를 검출 및 추적한다.
먼저, 학습된 제1 신경망(210)은 수집장치(100)로부터 실시간으로 들어오는 카메라영상을 자동으로 해석하여 이에 포함된 객체들의 종류, 위치(x, y, z), 바운딩박스 정보 등을 출력할 수 있도록 한다. 학습된 제1 신경망(210)은 시뮬레이터(500)에 의한 학습데이터 및 카메라로부터 수신한 정보를 이용하여 딥러닝학습시스템(600)에 의해 학습된 신경망이다. 학습된 제1 신경망(210)은 시뮬레이터(500)로부터의 학습데이터 및 카메라로부터 기수집한 영상을 이용하여 객체 별 종류, 위치(x, y, z), 바운딩박스 정보 등을 학습한 신경망이다. 여기서 학습된 신경망(210)을 학습시키는 카메라는 전술한 선박에 설치된 카메라(210)와는 다른 것일 수 있다.
학습된 제2 신경망(220)은 상기 수집장치로부터 실시간으로 들어오는 레이다영상을 자동으로 해석하여 이에 포함된 객체들의 위치(x, y) 정보 등을 출력할 수 있도록 한다. 학습된 제2 신경망(220)은 시뮬레이터(500)에 의한 학습데이터 및 기수집한 레이다의 영상을 수신하여 해상객체의 위치(x, y)를 추정한다. 전술한 제2 신경망(220)을 구성하기 위한 레이다는 선박에 설치되는 레이다(220)와는 상이한 것일 수 있다.
정보융합 및 추적모듈(230)은 선박에 설치되며, 전술한 제1 신경망(210) 및 제2 신경망(220)이 선박에 이식되면, 선박에 설치된 카메라(110) 및 레이다(120)로부터 입력된 영상과 추정한 각 객체의 종류, 위치 및 바운딩박스 정보와 실시간 수집되는 센서정보(AIS, GPS, 파고계, 자이로센서 등)를 이식된 신경망(210, 220)에 입력시켜 각 객체의 관련 정보를 유추한다. 정보융합 및 추적모듈(230)은 해상객체의 시간 별 위치 이력 정보를 관리하고, 이로부터 각 객체의 위치를 추적한다.
한편, 해상객체의 자동추적 시스템을 구성하기 위하여 학습데이터를 생성하는 시뮬레이터(500)와 생성된 학습데이터를 활용하여 학습 및 테스트를 수행하는 딥러닝학습시스템(600)을 더 포함할 수 있다.
딥러닝학습시스템(600)은 제1 신경망(210) 및 제2 신경망(220)을 학습한다. 딥러닝학습시스템(600)에 의해 학습되는 제1 신경망(210)은 실제 선박에서 획득하거나 시뮬레이터로부터 생성한 다양한 해상교통 상황에 대한 카메라영상과 이에 포함된 객체들의 종류, 위치(x, y, z), 바운딩박스 정보 등을 입력으로 딥러닝 학습 방법인 영역 기반 CNN(Region-based Convolutional Neural Network) 방법 등을 적용하여, 새로운 해상교통 상황에 대한 카메라영상이 주어졌을 때, 이에 포함된 객체들의 종류, 위치(x, y, z), 바운딩박스 정보를 자동으로 추정하도록 학습된다.
딥러닝학습시스템(600)에 의해 학습되는 제2 신경망(220)은 실제 선박에서 획득하거나 시뮬레이터로부터 생성한 다양한 해상교통 상황에 대한 레이다 영상과 이에 포함된 객체들의 위치(x, y) 정보를 입력으로 딥러닝 학습 방법인 영역 기반 CNN(Region-based Convolutional Neural Network) 방법 등을 적용하여, 새로운 해상교통 상황에 대한 레이다영상이 주어졌을 때, 이에 포함된 객체들의 위치(x, y) 정보를 자동으로 추정하도록 학습된다.
즉, 딥러닝학습시스템(600)은 시뮬레이터(500) 및 학습데이터를 받아 이를 학습된 신경망(210, 220)으로 생성한다. 한편, 시뮬레이터(500)와 딥러닝학습시스템(600)은 선박이외의 장소에서 배치될 수 있으며, 선박에 배치되어 학습될 수도 있다. 한편, 시뮬레이터(500)에 대해서는 후술하는 도면을 참조하여 보다 상세하게 설명하기로 한다.
도 4를 참조하면, 시뮬레이터(500)는 해상객체배치모듈(510), 해상환경제어모듈(520), 카메라영상재현모듈(530) 및 레이다영상재현모듈(540)로 구성될 수 있다.
해상객체배치모듈(510)은 수집장치(100) 중 카메라(110) 및 레이다(120)로부터 획득한 해상객체의 위치정보 중 레이다(120)로부터 획득한 위치정보를 레이블링 데이터로 하여 선박의 위치를 배치한다. 즉, 해상객체배치모듈(510)은 모선의 위치를 인지하여 이를 바운딩박스 내에 표시할 수 있으며, 제1 표시정보로 생성한다.
해상환경제어모듈(520)은 사용자가 임의로 파도의 높이를 설정하면 이에 따라 파고 높이를 표시하고, 파고의 높이를 제2 표시정보로 생성한다.
카메라영상재현모듈(530)은 해상객체배치모듈(510)에 의해 생성된 제1 표시정보, 해상환경제어모듈(520)에 의해 생성된 제2 표시정보 및 해상객체의 3차원형상데이터를 수신한다. 카메라영상재현모듈(530)은 제1 표시정보, 제2 표시정보 및 해상객체의 3차원형상데이터를 취합하여 카메라영상을 재현하여 표시하는 정보로 생성한다.
레이다영상재현모듈(540)은 제1 표시정보 및 제2 표시정보에 따라 객체의 정확한 위치를 레이다 형식으로 표시한다.
한편, 전술한 레이블링 데이터는 참(True)로 결정된 데이터를 의미하며, 시뮬레이터(500)에 입력되기 전에 알고 있는 답이다. 예컨대, 선박의 종류에 대한 정보이면, 시뮬레이터는 입력단계에서 해당 선박의 종류를 알고 있으므로 이를 레이블링 데이터로 인지한 상태이다. 레이블링 데이터들은 추적서버(200)에 레이블링 로그로 기록된다. 이와 같이 레이블링 데이터를 기록하는 것은 수집장치(100)로부터 수집된 데이터 간에 오차가 발생하는 경우 참인 값과 비교하여 시뮬레이터(500)가 정확하게 동작하는 지의 여부를 확인할 수 있다. 도 5는 본 발명의 일 실시예에 따라 가시화서버에 의해 가시화된 정보를 증강현실표시부를 통해 나타낸 화면이다.
가시화서버(300)는 추적서버(200)를 통해 추정한 데이터를 수신하여 가상현실 영상을 재현하여 증강현실 기반의 가시화데이터를 생성한다.
증강현실표시부(400)는 가시화서버(300)로부터 수신된 가시화데이터를 수신하여 도 5와 같은 화면으로 표시한다.
도 5를 참조하면, 시스템이 설치된 해당 선박(10)의 거리에 3개의 해상객체(12, 14, 16)가 표시되어 있으며, 바운딩박스(18) 내에 표시되어 있다. 바운딩박스(18)는 각각 다른색으로 표시되어 있으며, 바운딩박스(18)의 명칭은 컨테이너1, 컨테이너2 및 컨테이너3으로 표시되어 있다. 즉, 도 5에서는 3개의 해상객체가 바운딩박스(18) 내에 표시되어 있으며, 해상객체(12, 14, 16)의 종류는 컨테이너선임이 표시되어 있다.
도 6은 본 발명의 일 실시예에 따른 해상객체를 추적하는 단계를 나타낸 순서도이다.
도 6을 참조하면, 먼저, 본 발명의 해상객체(12, 14, 16)를 추적하는 단계는 학습단계(S210)와 활용단계(S220)로 구분할 수 있다.
먼저, 학습단계(S210)에서는 선박(10)에 이식되기 이전에 신경망을 획득하기 위한 과정으로 선박(10)이외의 장소에서 수행될 수 있으며, 시뮬레이터(500) 및 딥러닝학습스시템(600)에 의해 수행된다. 즉, 학습단계(S210)에서는 시뮬레이터(500)로부터 생성된 데이터 및 촬상된 데이터를 입력으로하여 딥러닝학습시스템(600)을 통해 카메라 및 레이다로부터 수신한 영상데이터를 이용하여 해상객체를 검출할 수 있는 신경망을 학습한다. 신경망은 시뮬레이터(500)의 출력영상 및 카메라영상으로부터 학습된 제1 신경망(210)과 시뮬레이터(500)의 영상 및 레이다영상으로부터 학습된 제2 신경망(220)을 포함할 수 있다.
활용단계(S220)는 신경망(210, 220)을 해당 선박(10)에 이식한 이후에 해상객체(12, 14, 16)를 인지하는 단계이다. 활용단계(S220)는 실제 선박 항해 환경에서 실시간으로 들어오는 카메라영상 및 레이다영상과 학습된 신경망(210, 220)을 활용하여 해상객체(12, 14, 16)를 검출 및 추적한다.
도 7은 본 발명의 일 실시예에 따른 도 5의 학습단계를 보다 상세하게 나타낸 순서도이다.
도 7을 참조하면, 전술한 바와 같이 학습단계는 딥러닝학습시스템(600)이 처리한다.
S302단계에서 다양한 해상교통 상황에 대한 카메라영상 및 레이다영상 그리고 이와 관련된 레이블링 정보를 실제 선박 및 시뮬레이터로부터 획득하고 생성시킨다. 상기 카메라 및 레이다는 해당 선박(10)에 설치된 것이 아닐 수 있으며, 특정하지 않은 카메라 및 레이다를 이용하여 해상객체에 대한 정보를 수집한 것일 수 있다. 여기서의 위치정보는 시뮬레이터(500)에 의해 생성되는 해상객체의 상대적인 위치를 표시하는 것일 수 있으므로 절대적인 위치가 아닐 수 있다.
S304단계에서 딥러닝학습시스템(600)은 영상정보 및 해상객체(12, 14, 16)의 위치정보를 인식 가능한 신경망(210, 220)에 담기위한 학습데이터로 가공한다. 이때, 가공되는 데이터가 많을수록 정확도가 상승하기 때문에 가능한 많은 양의 정보를 학습할 수 있도록 많은 데이터를 입력한다.
S306단계에서 딥러닝학습시스템(600)을 이용하여 상기 학습데이터를 입력으로 신경망을 학습한다. 전술한 바와 같이 카메라에 의해 생성되는 신경망이 제1 신경망(210)이고, 레이다에 의해 생성되는 신경망이 제2 신경망(220)이다. 전술한 바와 같이 신경망(210, 220)을 구성하기 위한 카메라 및 레이다는 특정하지 않은 카메라 및 레이다를 이용하여 해상객체에 대한 정보를 수집한 것일 수 있다.
도 8은 본 발명의 일 실시예에 따른 도 6의 활용단계를 보다 상세하게 나타낸 순서도이다.
도 8을 참조하면, 전술한 바와 같이 학습단계(S210)는 신경망을 학습하는 단계이므로 육상이나 해상에서 시스템에 갖추어진 상태에서 실시될 수 있으며, 활용단계(S220)는 학습단계에서 획득한 신경망(210, 220)을 해당하는 선박(10)의 시스템에 이식하는 단계이다.
S402단계에서, 해당 선박(10)에 구성된 수집장치(100), 예컨대 카메라(110), 레이다(120), GPS(132), AIS(134) 및 파고계(132)를 이용하여 카메라영상, 레이다영상 및 센서정보를 획득한다.
S404단계에서, 카메라영상 및 레이다영상으로부터 획득된 정보를 상기 신경망에 입력시킨다.
S406단계에서 카메라영상 및 레이다영상으로부터 바운딩박스(18)를 인지한다. 바운딩박스(18)는 해상객체를 인지한 부분을 표시하는 박스이다.
S408단계에서 상기 신경망(210, 220)을 이용하여 상기 인지된 바운딩박스(18) 내의 해상객체의 종류, 객체위치 및 크기 등의 정보를 인지한다.
S410단계에서 상기 센서정보와 상기 신경망(210, 220)을 이용하여 획득된 객체정보를 융합시킨다. 센서정보와 해상객체정보의 융합은 센서정보와 객체정보로부터 실제 값으로 추정되는 데이터를 유추하고 이를 적용시키는 것일 수 있다. 예컨대, 해상객체의 위치정보는 센서정보와 객체정보가 모두 해당 정보를 포함하고 있으며, 실험적으로 센서정보와 객체정보의 신뢰도와 가중치를 도출하는 등의 방법을 통해 해상객체(12, 14, 16)의 위치정보를 최종 추정하는 과정일 수 있다. 한편, 이와 같이 융합된 정보, 즉, 최종 추정 데이터를 이용하여 가시화서버(300)가 영상을 구성하고 증강현실표시부(400)가 이를 표시한다.
상기 본 발명의 내용은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100 : 수집장치 110 : 카메라
120 : 레이다 130 : 센서장치
132 : AIS 134 : GPS
136 : 파고계 200 : 추적서버
210 : 제1 신경망 220 : 제2 신경망
230 : 정보융합 및 추적모듈 300 : 가시화서버
400 : 증강현실표시부 500 : 시뮬레이터
510 : 해상객체배치모듈 520 : 해상환경제어모듈
530 : 카메라영상재현모듈 540 : 레이다영상재현모듈
600 : 딥러닝학습시스템

Claims (13)

  1. 선박의 데이터 및 해상객체의 영상, 선명, 침로, 위치, 선속을 포함하는 해상객체 데이터 및 운항정를 수집하는 수집장치;
    상기 수집장치로부터 수집된 수집데이터를 이용하여 상기 해상객체의 위치를 인지하여 위치정보를 생성하고 상기 수집장치에 의해 수집된 정보에 대응하는 객체정보를 매칭시키는 추적서버;
    상기 추적서버에 의해 생성된 객체정보를 이미지화시킨 이미지정보를 생성하며 가상현실 영상을 재현하여 증강현실 기반의 가시화 데이터를 생성하는 가시화서버; 및
    상기 가시화서버에 의해 이미지화된 이미지정보를 표시하는 증강현실표시부;
    해상객체의 자동추적 시스템은,
    해상객체의 자동추적 시스템을 구성하기 위하여 학습데이터를 생성하여 시뮬레이터로부터 획득한 카메 영상 및 레이다 영상을,
    상기 시뮬레이터 및 생성된 학습데이터를 활용하여 학습 및 테스트를 수행하는 딥러닝학습시스템을 더 포함하며,
    상기 수집장치는,
    선박의 일측에 설치되어 해상객체의 영상을 취득하는 카메라;
    해상에 주변의 해상객체의 존재 및 위치를 감지하는 레이다; 및
    상기 해상객체의 선명, 침로, 위치, 선속을 포함하는 해상객체 데이터를 수집하고 상기 해상의 상태를 수집하는 센서장치;를 포함하는 해상객체의 자동추적 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기 센서장치는,
    해상의 파고를 감지하는 파고계;
    해상객체의 선명, 침로, 위치 및 선속의 항행정보를 수신하여 자동으로 표시해주는 AIS(Automatic Identification System); 및
    해당 선박의 위치를 상기 추적서버로 전송하여 알려주고 상기 해당 선박의 위치를 중심으로 상기 해상객체를 인지하도록 하는 GPS(Global Positioning System);
    상기 시뮬레이터 및 딥러닝학습시스템은,
    학습 및 테스트를 수행하기 위하여 선박에 이식되기 전의 제1 신경망 및 제2 신경망을 구성하기 위하여 설치되고,
    상기 딥러닝학습시스템은,
    선박에서 획득하거나 시뮬레이터로부터 생성한 다양한 해상교통 상황에 대한 카메라영상과 이에 포함된 객체들의 종류, 위치(x, y, z), 바운딩박스 정보 등을 입력으로 딥러닝 학습 방법인 영역 기반 CNN(Region-based Convolutional Neural Network) 방법 등을 적용하여, 새로운 해상교통 상황에 대한 카메라영상이 주어졌을 때, 이에 포함된 객체들의 종류, 위치(x, y, z), 바운딩박스 정보를 자동으로 추정하도록 학습되는 제1 신경망; 및
    실제 선박에서 획득하거나 시뮬레이터로부터 생성한 다양한 해상교통 상황에 대한 레이다영상과 이에 포함된 객체들의 위치(x, y) 정보를 입력으로 딥러닝 학습 방법인 영역 기반 CNN(Region-based Convolutional Neural Network) 방법 등을 적용하여, 새로운 해상교통 상황에 대한 레이다영상이 주어졌을 때, 이에 포함된 객체들의 위치(x, y) 정보를 자동으로 추정하도록 학습되는 제2 신경망;을 포함하는 해상객체의 자동추적 시스템.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서, 상기 추적서버는,
    상기 수집장치로부터 실시간으로 들어오는 카메라영상을 자동으로 해석하여 이에 포함된 객체들의 종류, 위치(x, y, z), 바운딩박스 정보 등을 출력하는 학습된 제1 신경망;
    상기 수집장치로부터 실시간으로 들어오는 레이다영상을 자동으로 해석하여 이에 포함된 객체들의 위치(x, y) 정보 등을 출력하는 학습된 제2 신경망;
    상기 추적서버는, 해상객체의 자동추적 시스템을 활용하려는 선박에 대한 정보를 획득 가능한 곳에 설치하는 것인 해상객체의 자동추적 시스템.
  8. 삭제
  9. 딥러닝 학습 시스템을 이용하여 시뮬레이터 및 카메라, 레이다영상, 센서장치, 추적서버, 가시화서버로부터 해상객체를 검출할 수 있는 신경망을 학습하는 학습단계;
    선박 항해 환경에서 실시간으로 들어오는 수집장치로부터 수신되는 데이터 및 학습된 신경망을 활용하여 해상객체를 검출 및 추적하는 활용 단계;
    상기 학습단계는,
    다양한 해상교통 상황에 대한 카메라영상 및 레이다영상 그리고 이와 관련된 레이블링 정보를 실제 선박 및 상기 시뮬레이터로부터 획득 및 생성하는 단계; 획득 및 생성된 데이터를 딥러닝 학습 방법에 적합한 학습데이터로 가공하는 단계; 및 딥러닝학습시스템을 이용하여 상기 학습데이터를 입력으로 신경망을 학습하는 단계;
    상기 신경망을 학습하는 단계는,
    선박 및 시뮬레이터로부터 획득 및 생성한 카메라영상 및 관련 레이블링 정보를 이용하여 정보융합 및 추적모듈, 상기 딥러닝 학습 시스템에 의해 제1 신경망이 선박에 이식되어 학습하는 단계; 및 선박 및 시뮬레이터로부터 획득 및 생성한 레이다영상 및 관련 레이블링 정보를 이용하여 상기 정보융합 및 추적모듈, 상기 딥러닝 학습 시스템에 의해 제2 신경망이 선박에 이식되어 학습하는 단계;를 포함하는 해상객체의 자동추적 방법.
  10. 삭제
  11. 삭제
  12. 제9항에 있어서, 상기 활용단계는,
    카메라영상, 레이다영상 및 센서정보를 획득하는 단계;
    카메라영상, 레이다영상으로 부터 획득된 정보를 상기 신경망에 입력시키는 단계;
    바운딩박스를 인지하는 단계;
    상기 신경망을 이용하여 상기 인지된 바운딩박스 내의 객체의 종류, 위치를 인지하는 단계; 및
    상기 센서정보와 상기 신경망을 이용하여 획득된 객체정보를 융합시키는 단계;
    상기 융합시키는 단계는,
    상기 센서정보와 상기 객체정보로부터 실제 값으로 추정되는 데이터를 유추하는 단계; 및
    학습된 제1 신경망 및 제2 신경망의 출력 데이터와 센서 데이터를 융합시키는 단계; 및
    융합된 정보를 바탕으로 사용자에게 전달할 영상 정보를 구성하는 단계;를 포함하여 구성되는 해상객체의 자동추적 방법.

  13. 삭제
KR1020160166173A 2016-12-07 2016-12-07 해상객체의 자동추적 시스템 및 방법 Active KR101941521B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160166173A KR101941521B1 (ko) 2016-12-07 2016-12-07 해상객체의 자동추적 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160166173A KR101941521B1 (ko) 2016-12-07 2016-12-07 해상객체의 자동추적 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20180065411A KR20180065411A (ko) 2018-06-18
KR101941521B1 true KR101941521B1 (ko) 2019-01-23

Family

ID=62767998

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160166173A Active KR101941521B1 (ko) 2016-12-07 2016-12-07 해상객체의 자동추적 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101941521B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220163015A (ko) 2021-06-02 2022-12-09 한국항공우주산업 주식회사 방사각 조절 기능을 갖는 항공기용 레이다 장치 및 항공기용 레이다 장치의 방사각 조절 방법

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101987846B1 (ko) * 2018-07-26 2019-06-11 한국해양과학기술원 레이더장치 모니터의 영상 분석을 통한 선박 충돌 회피 장치 및 방법
US10782691B2 (en) 2018-08-10 2020-09-22 Buffalo Automation Group Inc. Deep learning and intelligent sensing system integration
US10936907B2 (en) 2018-08-10 2021-03-02 Buffalo Automation Group Inc. Training a deep learning system for maritime applications
KR102466804B1 (ko) * 2018-09-04 2022-11-17 씨드로닉스(주) 이미지 세그멘테이션을 이용한 자율 운항 방법
KR102240839B1 (ko) * 2018-09-04 2021-04-16 씨드로닉스(주) 이미지 세그멘테이션을 이용한 자율 운항 방법
WO2020050498A1 (ko) 2018-09-04 2020-03-12 씨드로닉스㈜ 이미지 세그멘테이션을 이용한 주변 환경 감지 방법 및 장치
US11514668B2 (en) 2018-09-04 2022-11-29 Seadronix Corp. Method and device for situation awareness
US11776250B2 (en) 2018-09-04 2023-10-03 Seadronix Corp. Method and device for situation awareness
KR102785021B1 (ko) 2018-10-04 2025-03-27 씨드로닉스(주) 선박 및 항만 실시간 모니터링 장치 및 방법
KR102167616B1 (ko) * 2018-12-12 2020-10-19 세종대학교 산학협력단 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 물체의 3차원 위치 추출 장치 및 그 방법
KR101988963B1 (ko) * 2019-01-04 2019-06-13 (주)미래해양 딥러닝을 이용한 해양 탐사 시스템
CN109884886B (zh) * 2019-03-29 2021-09-28 大连海事大学 一种基于宽度学习的船舶运动无模型自适应最优控制方法
CN110175535B (zh) * 2019-05-08 2023-07-04 广州中交通信有限公司 一种基于深度学习的船舶识别系统及其识别方法
CN110502213A (zh) * 2019-05-24 2019-11-26 网思科技股份有限公司 一种人工智能能力开发平台
CN110233995B (zh) * 2019-06-11 2024-06-21 中国水产科学研究院渔业机械仪器研究所 一种基于船载与岸基协同处理的拖网渔船智能系统的方法
KR102269386B1 (ko) * 2019-10-15 2021-06-25 한국조선해양 주식회사 선박 운항 지원 시스템 및 이를 포함하는 선박
KR102690220B1 (ko) * 2019-11-08 2024-08-01 삼성중공업(주) 전자 항해 감시 장치
KR102235787B1 (ko) * 2020-01-09 2021-04-05 씨드로닉스(주) 접안 모니터링 장치 및 방법
KR102295283B1 (ko) * 2020-03-27 2021-08-31 삼성중공업 주식회사 스마트항해지원장치
KR102320142B1 (ko) * 2020-05-22 2021-11-02 주식회사 리안 인공지능 기반의 해양안전사고 모니터링 방법 및 시스템
KR102501450B1 (ko) * 2020-09-18 2023-02-22 씨드로닉스(주) 거리 측정 방법 및 이를 이용하는 거리 측정 장치
WO2022060203A1 (ko) * 2020-09-18 2022-03-24 씨드로닉스주식회사 거리 측정 방법 및 이를 이용하는 거리 측정 장치
CN112149612A (zh) * 2020-10-12 2020-12-29 海略(连云港)科技有限公司 一种基于深度神经网络的海洋生物识别系统及识别方法
CN112665588B (zh) * 2020-12-10 2024-11-12 中船航海科技有限责任公司 一种基于增强现实的船舶航行态势感知方法
WO2022139022A1 (ko) * 2020-12-22 2022-06-30 케이제이엔지니어링 주식회사 전방위 카메라를 이용한 증강현실기반의 선박 안전운항관리 시스템
KR102464207B1 (ko) * 2020-12-22 2022-11-09 케이제이엔지니어링 주식회사 증강현실을 이용한 선박 안전운항 관리시스템
KR102258903B1 (ko) * 2020-12-24 2021-06-02 한국해양과학기술원 해상객체 식별을 위한 초분광 데이터 처리방법 및 장치
KR102270834B1 (ko) 2020-12-24 2021-06-30 한국해양과학기술원 초분광 데이터에 기반하는 해상객체 인식 방법 및 시스템
KR102558387B1 (ko) * 2021-03-12 2023-07-24 한국해양과학기술원 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법
CN113239775B (zh) * 2021-05-09 2023-05-02 西北工业大学 一种基于分层关注深度卷积神经网络的方位历程图中航迹检测与提取方法
KR102553331B1 (ko) * 2021-07-08 2023-07-07 한화오션 주식회사 4차원 레이더를 활용한 선외 감시 시스템 및 방법
KR102640795B1 (ko) * 2021-08-10 2024-02-27 한화오션 주식회사 레이더 기반 선박의 이/접안 지원 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체
KR102620098B1 (ko) * 2021-11-29 2024-01-02 주식회사 산엔지니어링 Ar 기반의 해상 객체 전시 시스템 및 방법
KR102945765B1 (ko) * 2022-01-13 2026-03-30 경북대학교 산학협력단 스냅샷의 인터리빙을 이용한 실시간 객체 감지 시스템 및 방법
KR102495175B1 (ko) * 2022-04-27 2023-02-06 한국해양과학기술원 웹 기반의 사용자 연동을 통한 초분광 영상 기반 해상객체 인식에 사용되는 학습 데이터셋 구축 장치 및 방법
KR102925329B1 (ko) * 2022-10-14 2026-02-10 주식회사 이엘피케이뉴 딥러닝 비행 테스트용 시뮬레이터와 비행 테스트용 시뮬레이터를 이용한 비행체 트래킹 시스템 및 객체 트래킹 방법
KR102779456B1 (ko) * 2022-11-28 2025-03-12 세종대학교산학협력단 실내 상황에서 fmcw radar의 2d 측정 방법
KR102736343B1 (ko) * 2022-11-28 2024-11-29 한국해양과학기술원 자율운항선박의 상황인식정보 가시화 시스템 및 방법
KR102752020B1 (ko) 2022-12-30 2025-01-10 주식회사 아비커스 선박의 충돌 위험도를 산출하는 장치 및 방법
KR102751937B1 (ko) * 2022-12-30 2025-01-10 주식회사 아비커스 복수의 센서들을 이용하여 객체의 정보를 획득하는 방법 및 장치
CN116343125B (zh) * 2023-03-30 2024-04-02 北京国泰星云科技有限公司 一种基于计算机视觉的集装箱箱底锁头检测方法
CN117218380B (zh) * 2023-08-23 2025-12-02 中水珠江规划勘测设计有限公司 无人船遥感图像的动态目标检测追踪方法
EP4647333A4 (en) 2024-03-29 2026-02-25 Avikus Co Ltd SYSTEM AND METHOD FOR TRACKING AND MONITORING OTHER VESSELS
KR102788306B1 (ko) * 2024-03-29 2025-03-31 주식회사 아비커스 타선 추적 모니터링 시스템 및 타선 추적 모니터링 방법
KR102810324B1 (ko) * 2024-06-25 2025-05-20 한국해양과학기술원 해상교통 데이터셋 자동구축 장치 및 방법
WO2026035021A1 (ko) * 2024-08-07 2026-02-12 주식회사 아비커스 선박의 운항을 위한 인터페이스를 제공하는 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014529322A (ja) * 2011-07-21 2014-11-06 コリア インスティチュートオブ オーシャン サイエンス アンド テクノロジー 天井移動型透明ディスプレイを用いた船舶用増強現実システム及びその具現方法
KR101541808B1 (ko) * 2015-04-30 2015-08-04 한국해양과학기술원 딥러닝 알고리즘을 이용한 해상교통관제 전문가 시스템 및 그 제어 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014529322A (ja) * 2011-07-21 2014-11-06 コリア インスティチュートオブ オーシャン サイエンス アンド テクノロジー 天井移動型透明ディスプレイを用いた船舶用増強現実システム及びその具現方法
KR101541808B1 (ko) * 2015-04-30 2015-08-04 한국해양과학기술원 딥러닝 알고리즘을 이용한 해상교통관제 전문가 시스템 및 그 제어 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220163015A (ko) 2021-06-02 2022-12-09 한국항공우주산업 주식회사 방사각 조절 기능을 갖는 항공기용 레이다 장치 및 항공기용 레이다 장치의 방사각 조절 방법

Also Published As

Publication number Publication date
KR20180065411A (ko) 2018-06-18

Similar Documents

Publication Publication Date Title
KR101941521B1 (ko) 해상객체의 자동추적 시스템 및 방법
EP2660777A2 (en) Image registration of multimodal data using 3D geoarcs
CN110906954A (zh) 一种基于自动驾驶平台的高精度地图测试评估方法和装置
KR101880437B1 (ko) 실제카메라 영상과 가상카메라 영상을 활용하여 넓은 시야각을 제공하는 무인선 관제시스템
CN111353453B (zh) 用于车辆的障碍物检测方法和装置
KR101575954B1 (ko) 3차원 정합을 이용한 증강현실 장치 및 그 방법
Cao et al. Amateur: Augmented reality based vehicle navigation system
CN120356099B (zh) 大规模不完全多视图、多模态场景下图像库构建和识别方法
CN114092372B (zh) 一种船舶电子航道图和全景视频图像叠加的方法及系统
Gudivaka Enhancing 3D vehicle recognition with AI: Integrating rotation awareness into aerial viewpoint mapping for spatial data
CN121147685A (zh) 一种ais信息与视频数据的融合方法
CN116978010A (zh) 图像标注方法和装置、存储介质和电子设备
EP4150516B1 (en) Processing images for extracting information about known objects for applying image scaling
CN110006488A (zh) 真值获取方法、车辆感知装置的检测方法及相关设备
CN115877367A (zh) 一种车辆定位方法及装置
US20240119843A1 (en) Ship navigation display system and ship navigation display method
Knébel Detecting obstacles from camera image at open sea
Krajewski et al. Drone-based generation of sensor reference and training data for highly automated vehicles
KR102289550B1 (ko) 항공 영상 데이터와 gis 데이터의 매칭을 위한 이미지 학습을 이용한 ar 정보 제공 방법 및 시스템
CN120877054B (zh) 一种基于梯度下降优化的多模态紧耦合slam方法
CN119085626B (zh) 基于驾考科目的矢量地图构建方法及装置、电子设备
CN120823050B (zh) 一种基于多模融合可视化地图的资产识别方法及设备
KR102620098B1 (ko) Ar 기반의 해상 객체 전시 시스템 및 방법
CN113052839B (zh) 一种地图检测方法及装置
Phan et al. Semi-Automatic Annotation and Gathering of Marine Images

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

AMND Amendment
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PX0901 Re-examination

St.27 status event code: A-2-3-E10-E12-rex-PX0901

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PX0701 Decision of registration after re-examination

St.27 status event code: A-3-4-F10-F13-rex-PX0701

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

S14-X000 Exclusive voluntary license recorded

St.27 status event code: A-4-4-S10-S14-lic-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000