KR102620098B1 - Ar 기반의 해상 객체 전시 시스템 및 방법 - Google Patents

Ar 기반의 해상 객체 전시 시스템 및 방법 Download PDF

Info

Publication number
KR102620098B1
KR102620098B1 KR1020210166940A KR20210166940A KR102620098B1 KR 102620098 B1 KR102620098 B1 KR 102620098B1 KR 1020210166940 A KR1020210166940 A KR 1020210166940A KR 20210166940 A KR20210166940 A KR 20210166940A KR 102620098 B1 KR102620098 B1 KR 102620098B1
Authority
KR
South Korea
Prior art keywords
module
maritime
fish
gps
objects
Prior art date
Application number
KR1020210166940A
Other languages
English (en)
Other versions
KR20230079800A (ko
Inventor
이주형
정경진
신동열
이다비
이우람
Original Assignee
주식회사 산엔지니어링
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 산엔지니어링 filed Critical 주식회사 산엔지니어링
Priority to KR1020210166940A priority Critical patent/KR102620098B1/ko
Publication of KR20230079800A publication Critical patent/KR20230079800A/ko
Application granted granted Critical
Publication of KR102620098B1 publication Critical patent/KR102620098B1/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B49/00—Arrangements of nautical instruments or navigational aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B43/00—Improving safety of vessels, e.g. damage control, not otherwise provided for
    • B63B43/18—Improving safety of vessels, e.g. damage control, not otherwise provided for preventing collision or grounding; reducing collision damage
    • B63B43/20—Feelers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B2213/00—Navigational aids and use thereof, not otherwise provided for in this class
    • B63B2213/02—Navigational aids and use thereof, not otherwise provided for in this class using satellite radio beacon positioning systems, e.g. the Global Positioning System GPS

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Ocean & Marine Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Graphics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

AR 기반의 해상 객체 전시 시스템 및 방법이 개시된다. GPS 신호를 수신하여 선박의 GPS 위치 정보를 산출하는 GPS 모듈; 상기 선박의 주변의 해상 객체를 감지하는 레이더 센; AIS 신호 송수신을 통해 타 선박의 MMSI를 획득하는 AIS 모듈; 상기 선박의 전방위의 해상 객체를 실시간 촬영하는 다수의 CCTV 카메라; 상기 다수의 CCTV 카메라에서 실시간 촬영되는 해상 객체에 대해 상기 AIS 모듈에서 획득된 MMSI, 상기 GPS 모듈에서 산출된 GPS 위치 정보를 기준으로 상기 레이더 센서에서 감지된 주변의 해상 객체를 추가적으로 이용하여 AR 전시하도록 제어하는 해상 객체 전시 제어 모듈; 상기 해상 객체에 해당 정보를 AR 전시를 하는 AR 전시 모듈을 구성한다. 상술한 AR 기반의 해상 객체 전시 시스템 및 방법에 의하면, CCTV 카메라 영상 상의 해상 객체를 그 형상을 이용하여 인식하고, AIS 정보, 레이더 정보 등을 추가적으로 이용하여 해상 객체를 통합하여 인식하도록 구성됨으로써, 해상 객체에 대한 정확한 인식을 할 수 있는 효과가 있다.

Description

AR 기반의 해상 객체 전시 시스템 및 방법{AUGMENTED REALITY BASED SYSTEM AND METHOD OF DISPLAYING MARITIME OBJECT}
본 발명은 해상 객체 전시 시스템 및 방법에 관한 것으로서, 구체적으로는 AR(augmented reality) 기반의 해상 객체 전시 시스템 및 방법에 관한 것이다.
해상에서는 항해 중 AIS(automatic identification system)를 이용하여 타 선박을 인식하고 위치를 확인할 수 있다.
그러나, AIS 전시기에서만 확인할 수 있을 뿐, 실제 해상에서의 실물에 대해서는 별도로 방위, 거리 등을 통해 확인해야 한다.
항해 중 타 선박의 실물을 보고도 쉽게 타 선박에 대한 정보를 얻을 수 있는 수단은 없는 실정이다.
한편, 선박에는 AIS 외에도 레이더 센서와 같은 여러 센서들이 있지만, 이들 센서들을 AIS와 통합하여 타 선박을 정확하게 인지할 수는 없다.
타 선박들에 대해 여러 센서들을 통합하여 보다 정확하게 인식하고, 이들을 전시할 수 있는 수단이 필요하다.
공개특허공보 10-2021-0067107 등록특허공보 10-1545276
본 발명의 목적은 AR 기반의 해상 객체 전시 시스템을 제공하는 데 있다.
본 발명의 다른 목적은 AR 기반의 해상 객체 전시 방법을 제공하는 데 있다.
상술한 본 발명의 목적에 따른 AR 기반의 해상 객체 전시 시스템은, AIS 신호 송수신을 통해 타 선박의 MMSI를 획득하는 AIS 모듈; 상기 선박의 전방위의 해상 객체를 실시간 촬영하는 다수의 CCTV 카메라; 상기 다수의 CCTV 카메라에서 실시간 촬영되는 해상 객체에 대해 상기 AIS 모듈에서 획득된 MMSI를 이용하여 AR 전시하도록 제어하는 해상 객체 전시 제어 모듈; 상기 해상 객체에 해당 정보를 AR 전시를 하는 AR 전시 모듈을 포함하도록 구성될 수 있다.
여기서, GPS 신호를 수신하여 선박의 GPS 위치 정보를 산출하는 GPS 모듈; 상기 선박의 주변의 해상 객체를 감지하는 레이더 센서를 더 포함하도록 구성될 수 있다.
그리고 상기 해상 객체 전시 제어 모듈은, 상기 GPS 모듈에서 산출된 GPS 위치 정보를 기준으로 상기 레이더 센서에서 감지된 주변의 해상 객체를 추가적으로 활용하여 AR 전시하도록 제어할 수 있다.
그리고 상기 AR 전시 모듈은, 선박 전시기 또는 고글(goggle)로 구성될 수 있다.
상술한 본 발명의 다른 목적에 따른 AR 기반의 해상 객체 전시 방법은, GPS 모듈이 GPS 신호를 수신하여 선박의 GPS 위치 정보를 산출하는 단계; AIS 모듈이 AIS 신호 송수신을 통해 타 선박의 MMSI를 획득하는 단계; 다수의 CCTV 카메라가 상기 선박의 전방위의 해상 객체를 실시간 촬영하는 단계; 해상 객체 전시 제어 모듈이 상기 GPS 모듈에서 산출된 GPS 위치 정보를 기준으로 상기 다수의 CCTV 카메라에서 실시간 촬영되는 해상 객체에 대해 상기 AIS 모듈에서 획득된 MMSI를 이용하여 AR 전시하도록 제어하는 단계; AR 전시 모듈이 상기 해상 객체 전시 제어 모듈의 제어에 따라 AR 전시를 하는 단계를 포함하도록 구성될 수 있다.
여기서, 상기 AR 전시 모듈은, 선박 전시기 또는 고글(goggle)로 구성될 수 있다.
상술한 AR 기반의 해상 객체 전시 시스템 및 방법에 의하면, CCTV 카메라 영상 상의 해상 객체를 그 형상을 이용하여 인식하고, AIS 정보, 레이더 정보 등을 추가적으로 이용하여 해상 객체를 통합하여 인식하도록 구성됨으로써, 해상 객체에 대한 정확한 인식을 할 수 있는 효과가 있다.
특히, CCTV 영상 상에 해상 객체에 대한 정보를 AR 전시하도록 구성됨으로써, 승무원의 항해 중 그 운용 효율성을 높일 수 있는 효과가 있다.
또한, 해수면 아래의 공간에 대해서는 미리 축적한 해저 지형 정보와 실시간 탐지되는 어군 정보를 이용하여 VR 전시를 하도록 구성됨으로써, 안전한 운항은 물론 어군의 위치, 깊이, 크기 등을 현재의 방위를 기준으로 정확하고 쉽게 파악할 수 있는 효과가 있다.
AR 전시와 VR 전시는 선박 전시기 또는 고글을 통해 전시하도록 하며, 3축 센서의 감지값에 따라 자동으로 변환하도록 구성됨으로써, 전시 운용의 편의성을 높일 수 있는 효과가 있다.
아울러, 어군의 위치와 일시, 어종, 어군의 크기 등의 어군 정보를 누적적으로 저장하여 데이터베이스를 구축하고, 현재 GPS 위치를 기준으로 어군이 있을 것으로 예측되는 위치에 가상의 어군을 VR 전시하도록 구성됨으로써, 특정 어군을 쉽게 찾아갈 수 있도록 하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 AR 기반의 해상 객체 전시 시스템의 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 AR 전시 화면의 예시도이다.
도 3은 본 발명의 일 실시예에 따른 AR 기반의 해상 객체 전시 방법의 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 발명을 실시하기 위한 구체적인 내용에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 AR 기반의 해상 객체 전시 시스템의 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 AR 전시 화면의 예시도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 AR 기반의 해상 객체 전시 시스템(100)은 GPS 모듈(101), AIS 모듈(102), CCTV 카메라(103), 레이더 센서(104), 어군 탐지기(105), 전자 해상 지도 데이터베이스(106), 해상 객체 이미지 데이터베이스(107), 해상 객체 형상 분석 모듈(108), 해상 객체 통합 분석 모듈(109), 해상 객체 인지 모듈(110), 해상 객체 추적 모듈(111), 해상 객체 전시 제어 모듈(112), AR 전시 모듈(113), 수위 측정 센서(114), 해저 지형 실시간 구축 모듈(115), 해저 지형 데이터베이스(116), VR 실시간 렌더링 모듈(117), VR 전시 모듈(118), 3축 센서(119), AR/VR 모드 자동 변환 모듈(120), 어군 정보 자동 입력 모듈(121), 어군 데이터베이스(122), 어군 예측 모듈(123), 예측 어군 객체 생성 모듈(124), LTE-M 모듈(125)을 포함하도록 구성될 수 있다.
이하, 세부적인 구성에 대하여 설명한다.
GPS 모듈(101)은 GPS 신호를 수신하여 선박의 GPS 위치 정보를 산출하도록 구성될 수 있다.
AIS 모듈(102)은 AIS 신호 송수신을 통해 타 선박의 MMSI(maritime mobile service identity)를 획득하도록 구성될 수 있다.
CCTV 카메라(103)는 선박의 전방위의 해상 객체를 실시간 촬영하도록 구성될 수 있다. CCTV 카메라(103)는 다수 개가 설치될 수 있으며, 전방위를 다 촬영할 수 있도로고 방향이 설정될 수 있다. CCTV 카메라(103)는 PTZ(pant/tilt/zoom) 구동이 가능하도록 구성될 수 있다.
레이더 센서(104)는 선박의 주변의 해상 객체를 감지하도록 구성될 수 있다. 레이더 센서(104)는 해상 객체의 거리 및 방향 그리고 속도를 감지할 수 있다.
어군 탐지기(105)는 선박의 아래 어군을 탐지하도록 구성될 수 있다.
전자 해상 지도 데이터베이스(106)는 미리 구비된 전자 해상 지도가 저장되도록 구성될 수 있다.
해상 객체 이미지 데이터베이스(107)는 해상 객체 이미지가 미리 저장되도록 구성될 수 있다. 선박, 등대, 암초 등의 해상 객체 이미지가 미리 저장될 수 있다.
해상 객체 형상 분석 모듈(108)은 해상 객체 이미지 데이터베이스(107)에 미리 저장된 해상 객체 이미지를 참조하여 CCTV 카메라(103)에서 실시간 촬영되는 해상 객체의 형상을 분석하도록 구성될 수 있다. 즉, 해상 객체의 형상을 분석하여 영상 속의 해상 객체가 무엇인지를 식별할 수 있다.
해상 객체 통합 분석 모듈(109)은 전자 해상 지도 데이터베이스(106)에 저장된 전자 해상 지도 상에서 GPS 모듈(101)에서 산출된 GPS 위치 정보를 기준으로 다양한 센서를 통해 감지된 해상 객체를 통합하여 분석하도록 구성될 수 있다. 다양한 센서를 통해 동일한 해상 객체들이 중복하여 감지되기 때문에 이들을 통해 해상 객체를 통합하여 분석하고 분류할 수 있다.
해상 객체 통합 분석 모듈(109)은 AIS 모듈(102)에서 획득된 타 선박의 MMSI 정보, 위치 정보 및 속도 정보 등과, 해상 객체 형상 분석 모듈(108)에서 분석된 해상 객체의 형상과, 레이더 센서(104)에서 감지된 해상 객체의 방위, 속도 등과, 어군 탐지기(105)에서 탐지된 어군을 통합 분석하도록 구성될 수 있다.
해상 객체 통합 분석 모듈(109)은 여러 센서 정보들을 통합하여 동일한 객체에 대한 센서 정보들을 통합할 수 있다. 그리고 MMSI나 그 센서 정보들의 속도나 위치 등을 이용하여 객체가 무엇인지 파악할 수 있다.
해상 객체 인지 모듈(110)은 해상 객체 통합 분석 모듈(109)의 통합 분석 결과에 따라 해상 객체를 인지하도록 구성될 수 있다.
해상 객체 추적 모듈(111)은 해상 객체 인지 모듈(110)에서 인지된 다수의 해상 객체를 실시간 추적하도록 구성될 수 있다. 신규 해상 객체가 발생된 경우에는 신규 해상 객체에 대해서 추가적으로 실시간 추적하도록 구성될 수 있다.
해상 객체 전시 제어 모듈(112)은 해상 객체 추적 모듈(111)에서 실시간 추적되는 해상 객체를 전시 장치(100a)를 통해 AR 전시하도록 제어하도록 구성될 수 있다.
여기서, 전시 장치(100a)는 선박에 고정 설치된 선박 전시기가 될 수도 있고, 사용자가 착용하는 고글(goggle) 형태의 전시 장치가 될 수도 있고, 스마트 폰이 될 수도 있다.
AR 전시 모듈(113)은 해상 객체 전시 제어 모듈(112)의 제어에 따라 해상 객체에 해당 정보를 AR 전시를 하도록 구성될 수 있다. CCTV 영상 상에 AR 전시를 할 수도 있고, 고글을 통해 육안으로 확인되는 해상 객체에 대해서 AR 전시를 할 수도 있다.
즉, 해상 객체에 대해 선박은 MMSI를 AR 전시하고, 암초나 등대는 암초나 등대로 표시할 수 있다.
수위 측정 센서(114)는 선박의 현재 위치에서의 수위를 실시간 측정하도록 구성될 수 있다. 선박의 항해 중에는 상시 수위를 측정하도록 구성될 수 있다.
해저 지형 실시간 구축 모듈(115)은 전자 해상 지도 데이터베이스(106)에 저장된 전자 해상 지도 상에서 GPS 모듈(101)에서 산출된 GPS 위치 정보를 기준으로 수위 측정 센서(114)에서 실시간 측정된 수위를 이용하여 해저 지형을 실시간 구축하도록 구성될 수 있다. 선박이 운항을 하면서 운항을 하는 각 위치 정보를 기준으로 해저 지형을 누적적으로 확보하여 해저 지형 데이터를 확보할 수 있다.
해저 지형 데이터베이스(116)는 해저 지형 실시간 구축 모듈(115)에서 구축된 해저 지형이 누적 저장되도록 구성될 수 있다. 다른 선박들도 위와 같이 해저 지형 데이터를 구축하면, 차후 이를 통합할 수 있다. 해저 지형 데이터베이스(116)는 각 선박이 구축한 해저 지형 데이터에 의해 업데이트될 수 있다. 시간이 갈수록 많은 해저 지형 데이터가 확보될 수 있다.
VR 실시간 렌더링 모듈(117)은 GPS 모듈(101)에서 산출된 GPS 위치 정보를 기준으로 해저 지형 데이터베이스(116)에 누적 저장된 해저 지형을 이용하여 해수면 아래의 공간을 실시간 렌더링하도록 구성될 수 있다.
VR 전시 모듈(118)은 실시간 VR 렌더링 모듈(117)에서 실시간 렌더링된 VR 공간을 VR 전시하도록 구성될 수 있다. 해저의 깊이나 암초 등을 파악할 수 있고, 선박의 안전 운항을 하는 데 도움이 될 수 있다.
3축 센서(119)는 AR 전시 모듈(113) 및 VR 전시 모듈(118)을 포함하는 전시 장치(100a)에 구비되어 3축 가속도를 측정하도록 구성될 수 있다. 선박 전시기인 경우에도 3축 가속도가 설치될 수 있고, 고글인 경우에도 3축 가속도가 설치될 수 있다.
AR/VR 모드 자동 변환 모듈(120)은 3축 센서(119)에서 측정된 3축 가속도에 따라서 해수면 위의 공간에 대해서는 AR 전시 모드로 자동 변환하고 해수면 아래의 공간에 대해서는 VR 전시 모드로 자동 변환하도록 구성될 수 있다.
예를 들어, 고글의 경우 사용자가 현재 위치에서 수평 방향을 바라보면 AR 전시가 되고, 수평 방향보다 아래로 고개를 숙여서 보면 해저 공간이 VR 전시되도록 구성될 수 있다. 이는 3축 센서(119)의 3축 가속도에 따라 전시 모드가 자동 변환될 수 있다.
어군 정보 자동 입력 모듈(121)은 GPS 모듈(101)에서 산출된 GPS 위치 정보를 기준으로 어군 탐지기(105)에서 탐지된 선박 아래의 어군의 위치, 크기, 어종, 일시를 포함하는 어군 정보를 자동 입력하도록 구성될 수 있다. 여기서, 어종은 사용자가 직접 수동 입력할 수 있다. 이 외에도 바람이나 강수량 등의 기상 정보도 자동 입력하도록 구성될 수 있다.
어군 데이터베이스(122)는 어군 정보 자동 입력 모듈(121)에서 자동 입력된 어군 정보가 전자 해상 지도를 기반으로 누적 저장되도록 구성될 수 있다. 어군 데이터베이스(122) 또한 다른 선박에 누적적으로 확보한 어군 정보에 의해 통합되어 업데이트될 수 있다.
어군 예측 모듈(123)은 GPS 모듈(101)에서 산출된 GPS 위치 정보를 기준으로 어군 데이터베이스(122)에 누적 저장된 어군 정보를 이용하여 어군을 예측하도록 구성될 수 있다.
즉, 현재 위치에서 현재의 일시, 현재의 기상에 유사한 어군 정보를 어군 데이터베이스(122)에서 검색하여 예측하도록 구성될 수 있다.
예측 어군 객체 생성 모듈(124)은 어군 예측 모듈(123)에서 예측된 어군을 이용하여 예측 어군 객체를 생성하도록 구성될 수 있다. 예측 어군 객체는 어군의 종류, 크기 등의 정보를 포함할 수 있다.
이때, 해상 객체 전시 제어 모듈(112)은 예측 어군 객체 생성 모듈(124)에서 생성된 예측 어군 객체를 VR 전시 모듈(118)이 VR 전시하도록 제어하도록 구성될 수 있다.
즉, VR 공간 상에 예측 어군 객체를 표시하면, 사용자는 해당 위치를 향해 운항하여 어군이 있는지 여부를 어군 탐지기(105)를 이용하여 실제로 확인할 수 있다. 어군 탐지기(105)에 어군이 탐지되면 VR 전시 모듈(118)은 실제 어군 객체를 표시하여 실제 어군이 있음을 알려줄 수 있다. 예측 어군 객체와 실제 어군 객체는 VR 공간 상에서 구별되어 표시될 수 있다.
LTE-M 모듈(125)은 LTE-M 통신을 수행하며, LTE-M 통신망을 통해 e-내비게이션 서비스를 제공받을 수 있다. AIS 모듈(102)의 MMSI 외에도 LTE-M 모듈(125)의 e-내비게이션 서비스에 따른 타 선박의 위치 정보를 수신하도록 구성될 수 있다.
해상 통합 객체 분석 모듈(109)은 LTE-M 모듈(125)을 통해 수신하는 e-내비게이션 정보를 이용하여 타 선박의 인지하고 분석하도록 구성될 수 있다.
도 3은 본 발명의 일 실시예에 따른 AR 기반의 해상 객체 전시 방법의 흐름도이다.
도 3을 참조하면, GPS 모듈(101)이 GPS 신호를 수신하여 선박의 GPS 위치 정보를 산출한다(S101).
다음으로, AIS 모듈(102)이 AIS 신호 송수신을 통해 타 선박의 MMSI를 획득한다(S102).
다음으로, 다수의 CCTV 카메라(103)가 선박의 전방위의 해상 객체를 실시간 촬영한다(S103).
다음으로, 해상 객체 전시 제어 모듈(112)이 GPS 모듈(101)에서 산출된 GPS 위치 정보를 기준으로 다수의 CCTV 카메라(103)에서 실시간 촬영되는 해상 객체에 대해 AIS 모듈(102)에서 획득된 MMSI를 이용하여 AR 전시하도록 제어한다(S104).
다음으로, AR 전시 모듈(113)이 해상 객체 전시 제어 모듈(112)의 제어에 따라 AR 전시한다(S105).
여기서, AR 전시 모듈(113)은 선박 전시기 또는 고글(goggle)로 구성될 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
101: GPS 모듈
102: AIS 모듈
103: CCTV 카메라
104: 레이더 센서
105: 어군 탐지기
106: 전자 해상 지도 데이터베이스
107: 해상 객체 이미지 데이터베이스
108: 해상 객체 형상 분석 모듈
109: 해상 객체 통합 분석 모듈
110: 해상 객체 인지 모듈
111: 해상 객체 추적 모듈
112: 해상 객체 전시 제어 모듈
113: AR 전시 모듈
114: 수위 측정 센서
115: 해저 지형 실시간 구축 모듈
116: 해저 지형 데이터베이스
117: VR 실시간 렌더링 모듈
118: VR 전시 모듈
119: 3축 센서
120: AR/VR 모드 자동 변환 모듈
121: 어군 정보 자동 입력 모듈
122: 어군 데이터베이스
123: 어군 예측 모듈
124: 예측 어군 객체 생성 모듈
125: LTE-M 모듈

Claims (6)

  1. GPS 신호를 수신하여 선박의 GPS 위치 정보를 산출하는 GPS 모듈;
    AIS 신호 송수신을 통해 타 선박의 MMSI를 획득하는 AIS 모듈;
    상기 선박의 전방위의 해상 객체를 실시간 촬영하는 다수의 CCTV 카메라;
    상기 선박의 주변의 해상 객체를 감지하는 레이더 센서;
    상기 선박의 아래 어군을 탐지하는 어군 탐지기;
    미리 구비된 전자 해상 지도가 저장되는 전자 해상 지도 데이터베이스;
    해상 객체 이미지가 미리 저장되는 해상 객체 이미지 데이터베이스;
    상기 해상 객체 이미지 데이터베이스에 미리 저장된 해상 객체 이미지를 참조하여 상기 CCTV 카메라에서 실시간 촬영되는 해상 객체의 형상을 분석하는 해상 객체 형상 분석 모듈;
    상기 전자 해상 지도 데이터베이스에 저장된 전자 해상 지도 상에서 상기 GPS 모듈에서 산출된 GPS 위치 정보를 기준으로 상기 AIS 모듈에서 획득된 타 선박의 MMSI 정보, 상기 해상 객체 형상 분석 모듈에서 분석된 해상 객체의 형상, 상기 레이더 센서에서 감지된 해상 객체 및 상기 어군 탐지기에서 탐지된 어군을 통합 분석하는 해상 객체 통합 분석 모듈;
    상기 해상 객체 통합 분석 모듈의 통합 분석 결과에 따라 해상 객체를 인지하는 해상 객체 인지 모듈;
    상기 해상 객체 인지 모듈에서 인지된 해상 객체를 실시간 추적하는 해상 객체 추적 모듈;
    상기 해상 객체 추적 모듈에서 실시간 추적되는 해상 객체를 AR 전시하도록 제어하는 해상 객체 전시 제어 모듈;
    상기 해상 객체 전시 제어 모듈의 제어에 따라 상기 해상 객체에 해당 정보를 AR 전시를 하는 AR 전시 모듈;
    상기 선박의 현재 위치에서의 수위를 실시간 측정하는 수위 측정 센서;
    상기 전자 해상 지도 데이터베이스에 저장된 전자 해상 지도 상에서 상기 GPS 모듈에서 산출된 GPS 위치 정보를 기준으로 상기 수위 측정 센서에서 실시간 측정된 수위를 이용하여 해저 지형을 실시간 구축하는 해저 지형 실시간 구축 모듈;
    상기 해저 지형 실시간 구축 모듈에서 구축된 해저 지형이 누적 저장되는 해저 지형 데이터베이스;
    상기 GPS 모듈에서 산출된 GPS 위치 정보를 기준으로 상기 해저 지형 데이터베이스에 누적 저장된 해저 지형을 이용하여 해수면 아래의 공간을 실시간 렌더링하는 실시간 VR 렌더링 모듈;
    상기 실시간 VR 렌더링 모듈에서 실시간 렌더링된 VR 공간을 VR 전시하는 VR 전시 모듈;
    상기 GPS 모듈에서 산출된 GPS 위치 정보를 기준으로 상기 어군 탐지기에서 탐지된 선박 아래의 어군의 위치, 크기, 어종, 일시를 포함하는 어군 정보를 자동 입력하는 어군 정보 자동 입력 모듈;
    상기 어군 정보 자동 입력 모듈에서 자동 입력된 어군 정보가 전자 해상 지도를 기반으로 누적 저장되는 어군 데이터베이스;
    상기 GPS 모듈에서 산출된 GPS 위치 정보를 기준으로 상기 어군 데이터베이스에 누적 저장된 어군 정보를 이용하여 어군을 예측하는 어군 예측 모듈;
    상기 어군 예측 모듈에서 예측된 어군을 이용하여 예측 어군 객체를 생성하는 예측 어군 객체 생성 모듈을 포함하고,
    상기 해상 객체 전시 제어 모듈은,
    상기 예측 어군 객체 생성 모듈에서 생성된 예측 어군 객체를 상기 VR 전시 모듈이 VR 전시하도록 제어하는 것을 특징으로 하는 AR 기반의 해상 객체 전시 시스템.
  2. 제1항에 있어서,
    상기 AR 전시 모듈 및 상기 VR 전시 모듈을 포함하는 전시 장치에 구비되어 3축 가속도를 측정하는 3축 센서;
    상기 3축 센서에서 측정된 3축 가속도에 따라서 해수면 위의 공간에 대해서는 AR 전시 모드로 자동 변환하고 해수면 아래의 공간에 대해서는 VR 전시 모드로 자동 변환하는 AR/VR 모드 자동 변환 모듈을 더 포함하도록 구성되는 것을 특징으로 하는 AR 기반의 해상 객체 전시 시스템.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
KR1020210166940A 2021-11-29 2021-11-29 Ar 기반의 해상 객체 전시 시스템 및 방법 KR102620098B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210166940A KR102620098B1 (ko) 2021-11-29 2021-11-29 Ar 기반의 해상 객체 전시 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210166940A KR102620098B1 (ko) 2021-11-29 2021-11-29 Ar 기반의 해상 객체 전시 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20230079800A KR20230079800A (ko) 2023-06-07
KR102620098B1 true KR102620098B1 (ko) 2024-01-02

Family

ID=86760984

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210166940A KR102620098B1 (ko) 2021-11-29 2021-11-29 Ar 기반의 해상 객체 전시 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102620098B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101545276B1 (ko) 2013-12-27 2015-08-20 한국해양과학기술원 Ｐｔｚ 카메라를 이용한 선박용 전방위 모니터링 시스템 및 이를 이용한 선박용 전방위 모니터링 방법
KR101941521B1 (ko) * 2016-12-07 2019-01-23 한국해양과학기술원 해상객체의 자동추적 시스템 및 방법
KR20210067107A (ko) 2019-11-29 2021-06-08 한국이네비정보기술주식회사 Ar 기반 선박용 디지털 망원경 시스템

Also Published As

Publication number Publication date
KR20230079800A (ko) 2023-06-07

Similar Documents

Publication Publication Date Title
US20200278433A1 (en) Real-time monitoring of surroundings of marine vessel
US10908678B2 (en) Video and image chart fusion systems and methods
KR101812994B1 (ko) 카메라 영상을 이용한 선박의 안전접안 시스템 및 그 방법
JP6932487B2 (ja) 移動体監視装置
KR102661171B1 (ko) 선내항법센서와 영상정보 융합을 통한 충돌위험도예측 및 안전운항가이드 시스템
CA2756912C (en) Methods and systems for augmented navigation
KR101289349B1 (ko) 해양 네비게이션시스템
CN105841688B (zh) 一种船舶辅助泊岸方法和系统
KR102623124B1 (ko) 접안 모니터링 장치 및 방법
US20220024549A1 (en) System and method for measuring the distance to an object in water
US11892298B2 (en) Navigational danger identification and feedback systems and methods
KR101880437B1 (ko) 실제카메라 영상과 가상카메라 영상을 활용하여 넓은 시야각을 제공하는 무인선 관제시스템
EP4089660A1 (en) Method and device for monitoring port and ship in consideration of sea level
US20220172464A1 (en) Water non-water segmentation systems and methods
KR101575954B1 (ko) 3차원 정합을 이용한 증강현실 장치 및 그 방법
US20220392211A1 (en) Water non-water segmentation systems and methods
US11852476B2 (en) Tidal current information display apparatus and method
KR20190000151A (ko) 기름유출 탐지 기반 선박추적방법
CN114820997A (zh) 一种无人船虚实融合多孪生智能感知增强方法
KR102004455B1 (ko) 증강현실을 이용한 항로표지 관제 시스템 및 방법
KR100990764B1 (ko) 항만 영상관제 시스템 및 방법
KR101920707B1 (ko) 영상정보 기반의 스마트 항적 정보 생성 장치 및 그 생성방법
CN113780127A (zh) 一种船舶定位与监控系统及方法
KR101186952B1 (ko) Ｖｔｓ와 연계한 지능형 영상 객체 인식 선박 관제 정보시스템
KR102620098B1 (ko) Ar 기반의 해상 객체 전시 시스템 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant