KR101072397B1 - A augmented reality system for vessel using monitor and the method using thereof - Google Patents

A augmented reality system for vessel using monitor and the method using thereof Download PDF

Info

Publication number
KR101072397B1
KR101072397B1 KR1020110072448A KR20110072448A KR101072397B1 KR 101072397 B1 KR101072397 B1 KR 101072397B1 KR 1020110072448 A KR1020110072448 A KR 1020110072448A KR 20110072448 A KR20110072448 A KR 20110072448A KR 101072397 B1 KR101072397 B1 KR 101072397B1
Authority
KR
South Korea
Prior art keywords
monitor
ship
external image
information
augmented reality
Prior art date
Application number
KR1020110072448A
Other languages
Korean (ko)
Inventor
김선영
오재용
박세길
Original Assignee
한국해양연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국해양연구원 filed Critical 한국해양연구원
Priority to KR1020110072448A priority Critical patent/KR101072397B1/en
Application granted granted Critical
Publication of KR101072397B1 publication Critical patent/KR101072397B1/en
Priority to PCT/KR2012/005801 priority patent/WO2013012280A2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G3/00Traffic control systems for marine craft

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Ocean & Marine Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명에 따른 모니터를 이용한 선박용 증강 현실 시스템은 선박의 조타실에 설치된 모니터; 상기 모니터에 상기 선박의 외부 영상을 전송하는 카메라; 상기 선박의 위치 및 상기 카메라가 촬영하는 방향을 인식하는 인식부; 상기 선박의 위치 및 상기 카메라가 촬영하는 방향에 따라 외부 지형에 관한 외부지형 데이터베이스로부터 외부 영상 데이터를 정보를 수신하는 수신부; 상기 수신부로 수신된 상기 외부 영상 데이터와 상기 카메라를 통한 실제 외부 영상이 일치되도록 조정하는 정합부; 및 상기 정합부를 통해 조정된 상기 외부 영상 데이터의 정보를 상기 실제 외부 영상의 위치에 상기 모니터를 통해 출력하는 출력부를 포함하는 것을 특징으로 한다.Augmented reality system for ships using a monitor according to the present invention monitors installed in the steering room of the ship; A camera for transmitting an external image of the ship to the monitor; Recognition unit for recognizing the position of the vessel and the direction in which the camera to shoot; A receiver configured to receive external image data information from an external terrain database on an external terrain according to the position of the vessel and the direction in which the camera is photographed; A matching unit which adjusts the external image data received by the receiving unit and the actual external image through the camera to match; And an output unit for outputting the information of the external image data adjusted through the matching unit to the position of the actual external image through the monitor.

Description

모니터를 이용한 선박용 증강 현실 시스템 및 그 구현 방법{A Augmented Reality System for vessel using monitor and the method using thereof}Augmented Reality System for vessel using monitor and the method using

본 발명은 모니터를 이용한 선박용 증강 현실 시스템 및 그 구현 방법에 관한 것이다.The present invention relates to augmented reality system for ships using a monitor and a method of implementing the same.

증강현실(增强現實: Augmented Reality)이란 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 새로운 환경을 생성한다. 현실환경과 가상환경을 융합하는 증강현실 시스템은 1990년대 후반부터 미국·일본을 중심으로 연구·개발이 진행되고 있다. 현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가제공하는 역할을 한다. Augmented Reality (Augmented Reality) creates a new environment by combining the real world that the user sees with the virtual world with additional information. The augmented reality system that combines the real environment and the virtual environment has been researched and developed mainly in the United States and Japan since the late 1990s. Augmented reality, a concept that complements the real world with the virtual world, uses a virtual environment made of computer graphics, but the main role is the real environment. Computer graphics play a role in providing additional information necessary for the real environment.

선박 항행 시스템에 있어서 종래 기술은 대한민국 특허출원번호 제10-2007-0037443호의 "파랑정보를 구비하는 ECDIS에 의한 선박 안전운항방법"에 개시된 바와 같이, 레이더를 통해 파랑정보를 정확하게 계측하고, 이러한 정보를 ECDIS를 통해 표시함과 동시에 서로 공유하며, 파랑정보와 ECDIS 정보를 통해 선박운항의 안정성을 향상시킬 수 있는 파랑정보를 구비하는 ECDIS에 의한 선박 안전운항방법을 제공한다.The prior art in a ship navigation system, as disclosed in the Republic of Korea Patent Application No. 10-2007-0037443 "ship safe navigation method by ECSI with blue information", and accurately measure the wave information through the radar, such information The present invention provides a method of safe ship operation by the ECDS, which displays the information through the ECDS and at the same time shares each other, and has the blue information which can improve the stability of the ship operation through the blue information and the ECDS information.

그러나, 이러한 선박 운항의 안정성을 향상시키기 위해 전자해도표시시스템(ECDIS)만으로는 한계가 있고, 현실환경에 관한 다양한 정보 및 선박을 운행함에 있어 필요한 가상의 정보들을 동시에 디스플레이하여 급박한 순간에서의 선장의 판단력을 도와주어 선박의 안정성을 확보하고, 선박 운항의 효율성과 정확성을 확대시키기 위해서는 증강 현실 시스템의 적용이 필요하다.However, in order to improve the stability of the ship operation, there is a limit to the electronic chart display system (ECDIS) alone, and various information about the real environment and virtual information necessary for operating the ship are displayed at the same time. It is necessary to apply augmented reality system to help the judgment and secure the stability of the ship and to expand the efficiency and accuracy of the ship operation.

본 발명은 이러한 종래기술의 문제점을 해결하기 위한 모니터를 이용한 선박용 증강 현실 시스템 및 증강 현실 구현 방법에 관한 것으로서, 이를 통해 사용자가 바라보는 선박 외부의 배경과 사물을 CCD 카메라를 통해 촬영하여 이들의 정보를 가상 환경으로 덧입혀 항행에 필요한 정보들을 모니터를 통해 한 눈에 볼 수 있도록 하여 다양하고 복잡한 항해 정보를 직관적으로 판단가능하도록 하여 선박 운항의 안정성을 확보하고, 운항 부주의로 인한 사고를 미연에 방지하고자 하는데 그 목적이 있다.The present invention relates to a ship augmented reality system and augmented reality implementation method using a monitor for solving the problems of the prior art, through which the background and objects outside the vessel viewed by the user by taking a CCD camera of their information Is added to the virtual environment so that the information necessary for navigation can be seen at a glance on the monitor so that various and complex navigation information can be judged intuitively to secure the stability of the ship operation and prevent accidents due to inadvertent operation. There is a purpose.

상기한 바와 같은 목적을 달성하기 위해 본 발명에 따른 모니터를 이용한 선박용 증강 현실 시스템은 선박의 조타실에 설치된 모니터; 상기 모니터에 상기 선박의 외부 영상을 전송하는 카메라; 상기 선박의 위치 및 상기 카메라가 촬영하는 방향을 인식하는 인식부; 상기 선박의 위치 및 상기 카메라가 촬영하는 방향에 따라 외부 지형에 관한 외부지형 데이터베이스로부터 외부 영상 데이터를 정보를 수신하는 수신부; 상기 수신부로 수신된 상기 외부 영상 데이터와 상기 카메라를 통한 실제 외부 영상이 일치되도록 조정하는 정합부; 및 상기 정합부를 통해 조정된 상기 외부 영상 데이터의 정보를 상기 실제 외부 영상의 위치에 상기 모니터를 통해 출력하는 출력부를 포함하는 것을 특징으로 한다.Augmented reality system for ships using a monitor according to the present invention to achieve the above object is a monitor installed in the steering room of the ship; A camera for transmitting an external image of the ship to the monitor; Recognition unit for recognizing the position of the vessel and the direction in which the camera to shoot; A receiver configured to receive external image data information from an external terrain database on an external terrain according to the position of the vessel and the direction in which the camera is photographed; A matching unit which adjusts the external image data received by the receiving unit and the actual external image through the camera to match; And an output unit for outputting the information of the external image data adjusted through the matching unit to the position of the actual external image through the monitor.

또한 본 발명에 따르면, 상기 인식부는 GPS시스템을 포함하여 상기 선박의 이동속도와 위치를 인식하는 것을 특징으로 한다.In addition, according to the present invention, the recognition unit is characterized by including the GPS system to recognize the moving speed and position of the vessel.

또한 본 발명에 따르면, 상기 외부 영상 데이터는 3D 데이터로 구성된 것을 특징으로 한다.In addition, according to the present invention, the external image data is characterized by consisting of 3D data.

또한 본 발명에 따르면, 상기 수신부는 상기 선박의 항해 위치에 따라 해도 데이터베이스로부터 해도를 수신하고, 상기 해도를 상기 정합부에서 실제 외부 영상과 일치되도록 조정하여, 상기 출력부는 상기 모니터를 통해 상기 선박의 항로를 표시하는 것을 특징으로 한다.In addition, according to the present invention, the receiver receives the chart from the chart database according to the navigation position of the vessel, and adjusts the chart to match the actual external image in the matching unit, the output unit of the vessel through the monitor It is characterized by displaying the route.

또한 본 발명에 따르면, 상기 수신부는 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보를 포함하는 전자해도표시 시스템(ECDIS)으로부터 상기 내륙수로, 해저지형, 기상 및 해역 특성 정보를 수신하고, 상기 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보를 상기 정합부에서 실제 외부 영상과 일치되도록 조정하여, 상기 출력부를 통해 상기 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보를 상기 모니터에 출력하는 것을 특징으로 한다.Further, according to the present invention, the receiving unit receives the inland waterway, seabed topography, weather and sea area characteristic information from an electronic chart display system (ECDIS) including information on the inland waterway, seabed topography, weather and sea area characteristics And adjust the information about the inland water channel, the seabed topography, the weather and the sea area characteristics to match the actual external image at the matching unit, and output the information about the inland waterway, the seabed topography, the weather and the sea area characteristics through the output unit. And output to the monitor.

또한 본 발명에 따르면, 상기 수신부는 AIS(선박자동식별장치)로부터 해상에 운항되는 타선박들의 정보를 수신하고, 상기 타선박들의 정보를 상기 정합부에서 실제 외부 영상과 일치되도록 조정하여, 상기 출력부를 통해 상기 모니터에 출력하는 것을 특징으로 한다.In addition, according to the present invention, the receiving unit receives the information of the other ships operating at sea from the AIS (Automatic Vessel Identification System), and adjusts the information of the other vessels to match the actual external image in the matching unit, the output Output to the monitor through the unit.

또한 본 발명에 따르면, 상기 정합부는 미리 설정된 타선박의 사이즈별 템플릿에 따라 상기 AIS로부터 수신된 타선박들의 사이즈를 조절하여 상기 출력부를 통해 상기 모니터에 출력하는 것을 특징으로 한다.In addition, according to the present invention, the matching unit is characterized in that for adjusting the size of the other ships received from the AIS in accordance with a template for each size of the other ship set in advance to output to the monitor through the output unit.

또한 본 발명에 따르면, 상기 수신부는 레이더로부터 외부의 이동물체를 수신하고, 상기 이동물체의 이동속도 및 위치를 상기 정합부에서 실제 외부 영상과 일치되도록 조정하며, 상기 출력부를 통해 상기 모니터에 출력하는 것을 특징으로 한다.According to the present invention, the receiving unit receives an external moving object from the radar, and adjusts the moving speed and position of the moving object to match the actual external image in the matching unit, and outputs to the monitor through the output unit It is characterized by.

또한 본 발명에 따르면, 상기 이동물체는 상기 AIS로부터 수신된 타선박이 아닌 경우에, 상기 정합부에서 실제 외부 영상과 일치되도록 조정하고, 상기 출력부를 통해 상기 모니터에 출력하는 것을 특징으로 한다.In addition, according to the present invention, when the moving object is not the other vessel received from the AIS, the matching unit is adjusted to match the actual external image, characterized in that output through the output unit to the monitor.

또한 본 발명에 따르면, 상기 선박의 외부 조도가 미리 셋팅된 값보다 낮은 경우, 상기 실제 외부 영상의 위치에 미리 설정된 템플릿을 이용하여 표시하는 것을 특징으로 한다.In addition, according to the present invention, when the external illuminance of the vessel is lower than the preset value, it is characterized in that by using a template set in advance in the position of the actual external image.

본 발명에 따른 또 다른 실시예로서, 모니터를 이용한 선박용 증강 현실 시스템은 선박의 조타실에 설치된 모니터; 상기 모니터에 상기 선박의 외부 영상을 전송하는 카메라; 상기 선박의 위치 및 상기 카메라가 촬영하는 방향을 인식하는 인식부; 상기 선박의 위치 및 상기 카메라가 촬영하는 방향에 따라 외부 지형에 관한 외부지형 데이터베이스로부터 외부 영상 데이터를 정보를 수신하는 수신부; 상기 수신부로 수신된 상기 외부 영상 데이터와 상기 유리창을 통한 실제 외부 영상이 일치되도록 조정하는 정합부; 및 상기 정합부를 통해 조정된 상기 외부 영상 데이터의 정보를 상기 실제 외부 영상의 위치에 상기 모니터를 통해 출력하는 출력부를 포함하고, 상기 수신부는 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보, 상기 선박의 이동속도 및 항로, 타선박의 이송속도 및 항로, 및 이동물체의 이송속도 및 항로를 수신하여 계산하는 계산부를 포함하며, 미리 설정된 시간간격에 따라 상기 선박의 시간에 따른 충돌을 예측하는 것을 특징으로 한다.As another embodiment according to the present invention, the augmented reality system for ships using a monitor is a monitor installed in the steering room of the ship; A camera for transmitting an external image of the ship to the monitor; Recognition unit for recognizing the position of the vessel and the direction in which the camera to shoot; A receiver configured to receive external image data information from an external terrain database on an external terrain according to the position of the vessel and the direction in which the camera is photographed; A matching unit for adjusting the external image data received by the receiving unit and the actual external image through the glass window to coincide; And an output unit for outputting information of the external image data adjusted through the matching unit through the monitor to the position of the actual external image, wherein the receiving unit includes information on inland waterways, seabed topography, weather and sea area characteristics, Comprising a calculation unit for receiving and calculating the moving speed and route of the vessel, the transfer speed and route of the other ship, and the moving speed and the route of the moving object, for predicting the collision according to the time of the vessel according to a predetermined time interval It is characterized by.

또한 본 발명에 따르면, 상기 충돌은 상기 해저지형과의 충돌, 상기 타선박과의 충돌, 상기 기상에 따른 조난, 상기 해역 특성에 따른 조난, 상기 외부 지형과의 충돌을 포함하는 것을 특징으로 한다.According to the present invention, the collision includes a collision with the seabed topography, collision with the other ship, distress according to the weather, distress according to the sea area characteristics, and collision with the external terrain.

또한 본 발명에 따르면, 상기 충돌이 예측되는 경우, 알람기능을 하는 알람부를 포함하는 것을 특징으로 한다.In addition, according to the present invention, when the collision is predicted, it characterized in that it comprises an alarm function to alarm.

또한 본 발명에 따르면, 상기 알람부에서 알람기능이 작동한 경우, 상기 선박의 항로를 자동 수정하도록 하는 제어 신호를 항법제어장치로 송신하는 제어부를 포함하는 것을 특징으로 한다.According to the present invention, when the alarm function is activated in the alarm unit, it characterized in that it comprises a control unit for transmitting a control signal to the navigation control device for automatically correcting the course of the vessel.

본 발명에 따른 모니터를 이용한 선박용 증강 현실 구현 방법은 선박의 조타실에 설치된 모니터에 카메라에 의해 촬영된 상기 선박의 외부 영상을 전송하는 영상 전송단계; 상기 선박의 위치 및 상기 카메라의 촬영 방향을 인식하는 인식단계;상기 선박의 위치 및 상기 카메라의 촬영 방향에 따라 외부 지형에 관한 외부지형 데이터베이스로부터 외부 영상 데이터를 정보를 수신하는 수신단계; 상기 수신부로 수신된 상기 외부 영상 데이터와 상기 유리창을 통한 실제 외부 영상과의 일치를 조정하는 정합단계; 및 상기 정합부를 통해 조정된 상기 외부 영상 데이터의 정보를 상기 실제 외부 영상의 위치에 상기 모니터를 통해 출력하는 출력단계를 포함하는 것을 특징으로 한다.A method for implementing augmented reality for ships using a monitor according to the present invention comprises: an image transmitting step of transmitting an external image of the ship photographed by a camera to a monitor installed in a steering room of a ship; A recognition step of recognizing a position of the ship and a photographing direction of the camera; a receiving step of receiving external image data information from an external terrain database on an external terrain according to the position of the ship and the photographing direction of the camera; A matching step of adjusting a match between the external image data received by the receiver and the actual external image through the glass window; And an output step of outputting information of the external image data adjusted through the matching unit to the position of the actual external image through the monitor.

또한 본 발명에 따르면, 상기 수신단계는 상기 선박의 항해 위치에 따라 해도 데이터베이스로부터 해도를 수신하고, 상기 해도를 상기 정합단계에서 실제 외부 영상과 일치되도록 조정하여, 상기 출력단계는 상기 모니터를 통해 상기 선박의 항로를 표시하는 것을 특징으로 한다.Further, according to the present invention, the receiving step receives the chart from the chart database according to the navigation position of the ship, and adjusts the chart to match the actual external image in the matching step, the output step through the monitor It is characterized by displaying the route of the ship.

또한 본 발명에 따르면, 상기 수신단계는 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보를 포함하는 전자해도표시 시스템(ECDIS)으로부터 상기 내륙수로, 해저지형, 기상 및 해역 특성 정보를 수신하고, 상기 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보를 상기 정합단계에서 실제 외부 영상과 일치되도록 조정하여, 상기 출력단계를 통해 상기 내륙수로, 해저지형, 기상 및 해역 특성 정보를 상기 모니터에 출력하는 것을 특징으로 한다.In addition, according to the present invention, the receiving step receives the inland waterway, seabed topography, weather and sea area characteristic information from an ECDIS system including information on the inland waterway, seabed topography, weather and sea area characteristics And adjust the information on the inland waterway, the seabed topography, the weather and the sea area characteristics to match the actual external image in the matching step, and output the inland waterway, the seabed topography, the weather and the sea area characteristic information through the outputting step. And output to the monitor.

또한 본 발명에 따르면, 상기 수신단계는 AIS(선박자동식별장치)로부터 해상에 운항되는 타선박들의 정보를 수신하고, 상기 타선박들의 정보를 상기 정합단계에서 실제 외부 영상과 일치되도록 조정하여, 상기 출력단계를 통해 상기 모니터에 출력하는 것을 특징으로 한다.Further, according to the present invention, the receiving step receives the information of the other ships operating in the sea from the AIS (Automatic Ship Identification Device), and adjusts the information of the other ships to match the actual external image in the matching step, And outputting to the monitor through an output step.

또한 본 발명에 따르면, 상기 수신단계는 레이더로부터 외부의 이동물체를 수신하고, 상기 이동물체의 이동속도 및 위치를 상기 정합단계에서 실제 외부 영상과 일치되도록 조정하며, 상기 출력단계를 통해 상기 모니터에 출력하는 것을 특징으로 한다.According to the present invention, the receiving step receives an external moving object from the radar, and adjusts the moving speed and position of the moving object to match with the actual external image in the matching step, to the monitor through the output step It is characterized by outputting.

또한 본 발명에 따르면, 상기 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보, 상기 선박의 이동속도 및 항로, 상기 타선박의 이송속도 및 항로, 및 상기 이동물체의 이송속도 및 항로를 계산하는 계산단계를 포함하여 미리 설정된 시간간격에 따라 상기 선박의 시간에 따른 충돌을 예측하는 것을 특징으로 한다.In addition, according to the present invention, the information on the inland waterway, seabed topography, weather and sea area characteristics, the speed and route of the vessel, the transfer speed and route of the other ship, and the transfer rate and route of the moving object Including a calculation step to predict the collision according to the time of the ship according to a predetermined time interval.

또한 본 발명에 따르면, 상기 충돌은 상기 해저지형과의 충돌, 상기 타선박과의 충돌, 상기 기상에 따른 조난, 상기 해역 특성에 따른 조난, 상기 외부 지형과의 충돌을 포함하고, 상기 충돌이 예측되는 경우, 알람기능을 하는 알람단계를 포함하는 것을 특징으로 한다.According to the present invention, the collision includes a collision with the seabed terrain, a collision with the other ship, a distress according to the weather, a distress according to the sea area characteristics, a collision with the external terrain, and the collision is predicted If it is, characterized in that it comprises an alarm step to function as an alarm.

또한 본 발명에 따르면, 상기 알람단계에서 알람기능이 작동한 경우, 상기 선박의 항로를 자동 수정하도록 하는 제어 신호를 항법제어장치로 송신하는 제어단계를 포함하는 것을 특징으로 한다.
In addition, according to the present invention, when the alarm function is activated in the alarm step, characterized in that it comprises a control step of transmitting a control signal to the navigation control device to automatically correct the course of the vessel.

본 발명의 목적은, 사용자가 바라보는 배경 및 사물에 가상 환경을 덧입혀 종래 기술에 비하여 좀 더 현실적인 증강 현실을 구현하기 위한 장치 및 방법을 제공하는데 있다.An object of the present invention is to provide a device and method for realizing a more realistic augmented reality compared to the prior art by adding a virtual environment to the background and objects viewed by the user.

또한, 다양한 선박 사고의 원인 중 운항 부주의에 의한 사고가 많은 부분을 차지하는데 이는 항해자가 느끼는 피로감 때문으로 파악되고 있고, 본 발명에 따른 모니터를 이용한 선박용 증강 현실 시스템은 다양하고 복잡한 항해 정보들을 항해자가 한 눈에 보고 파악할 수 있도록 함으로써, 직관적 판단 능력을 향상시켜 해양 사고를 방지하는 효과가 있다.In addition, many accidents caused by inadvertent operation of the various ship accidents are accounted for due to the fatigue felt by the navigator, and the augmented reality system for ships using the monitor according to the present invention provides the navigator with various and complicated navigation information. By being able to see and understand at a glance, it is effective to prevent marine accidents by improving intuitive judgment.

도 1은 본 발명에 따른 모니터를 이용한 선박용 증강 현실 시스템의 블럭도이다.
도 2는 본 발명에 따른 모니터의 개략도이다.
도 3은 본 발명에 따른 모니터를 이용한 선박용 증강 현실 시스템의 다른 실시예의 블럭도이다.
도 4는 본 발명에 따른 모니터를 이용한 선박용 증강 현실 시스템의 개략도이다.
도 5는 본 발명에 따른 모니터를 이용한 선박용 증강 현실 구현방법에 관한 순서도이다.
1 is a block diagram of an augmented reality system for ships using a monitor according to the present invention.
2 is a schematic view of a monitor according to the invention.
3 is a block diagram of another embodiment of a ship augmented reality system using a monitor according to the present invention.
4 is a schematic diagram of a ship augmented reality system using a monitor according to the present invention.
5 is a flowchart illustrating a method for implementing augmented reality for ships using a monitor according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 우선, 도면들 중 동일한 구성요소 또는 부품들은 가능한 한 동일한 참조부호를 나타내고 있음에 유의해야 한다. 본 발명을 설명함에 있어서 관련된 공지기능 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 모호하게 하지 않기 위해 생략한다.
Hereinafter, with reference to the accompanying drawings will be described an embodiment of the present invention; First, it should be noted that the same components or parts among the drawings denote the same reference numerals whenever possible. In describing the present invention, detailed descriptions of related well-known functions or configurations are omitted in order not to obscure the gist of the present invention.

증강현실 기술은 실사 영상과 가상영상을 합성하여 표현하는 기술이며, 항해자가 바라보는 외부 영상에 항해 지원 정보를 중첩 출력함으로써 보다 직관적인 정보의 제공이 가능하다.Augmented reality technology is a technology that synthesizes and displays the real image and the virtual image, it is possible to provide more intuitive information by superimposing and outputting the navigation support information on the external image viewed by the navigator.

증강현실 기술 기반 지능형 항해 지원 시스템은 CCTV 카메라 및 모니터용 영상 합성 기술, 3차원 정합 기술, 센서 데이터 융합 기술과 지능형 항법 기술을 결합하여 항행 정보를 항해자가 이해하기 쉬운 형태로 제공함으로써 항행안전 및 정보 전달 효율을 향상시킬 수 있는 새로운 개념의 항해시스템이다.Augmented reality technology-based intelligent navigation support system combines CCTV cameras and monitor image synthesis technology, three-dimensional matching technology, sensor data fusion technology and intelligent navigation technology to provide navigation information in an easy-to-understand form for navigation safety and information. It is a new concept of navigation system that can improve the transmission efficiency.

증강현실(AR) 기술을 활용한 항해 지원 시스템은 실제 시각정보와 가상정보를 정합(Registration)해야 하는데, 시각 정보의 위치는 사용자의 위치 및 시선 방향에 따라 달라지므로, 카메라 혹은 다양한 센서 등을 이용하여 사용자의 위치 및 시선 방향을 정확히 찾아 내야 한다.The navigation support system using AR technology needs to register real visual information and virtual information. Since the location of visual information varies depending on the user's location and gaze direction, a camera or various sensors are used. It is necessary to accurately find the location and the direction of the user.

증강현실(AR) 기술을 활용한 항행정보 제공 시스템은 실시간 해상정보제공 시스템, 전자해도, AIS 등을 이용하여 선박의 충돌회피, 해상교통 흐름 관제, 선박 모니터링 등에 활용할 수 있다.
The navigation information providing system using AR technology can be utilized for avoiding collisions of ships, maritime traffic flow control, and vessel monitoring by using real-time maritime information providing system, electronic chart, AIS, etc.

도 1은 본 발명에 따른 모니터를 이용한 선박용 증강 현실 시스템의 블럭도이다.1 is a block diagram of an augmented reality system for ships using a monitor according to the present invention.

도 1에 도시된 바와 같이, 본 발명에 따른 모니터를 이용한 선박용 증강 현실 시스템(1)은 모니터(100), 인식부(200), 수신부(300), 정합부(400), 출력부(500)를 포함하고,As shown in FIG. 1, the vessel augmented reality system 1 using the monitor according to the present invention includes a monitor 100, a recognition unit 200, a receiver 300, a matching unit 400, and an output unit 500. Including,

모니터(100)는 선박의 조타실에 설치되어 있으며, 선박의 외부 영상을 촬영하기 위한 카메라(101)가 선박의 내부 또는 외부에 설치되어 항해자가 바라보는 방향을 촬영가능하도록 회전이 가능하고, 카메라에서 촬영된 실제 외부 영상을 모니터(100)에 전송한다.
The monitor 100 is installed in the steering room of the ship, the camera 101 for capturing the external image of the ship is installed inside or outside the ship can be rotated to record the direction that the navigator sees, in the camera The actual external image photographed is transmitted to the monitor 100.

인식부(200)에서는 GPS 시스템을 이용하여 현재 선박의 이동 속도와 위치를 인식하고, 선박에 설치된 카메라(101)가 촬영하는 방향을 인식한다.
The recognition unit 200 recognizes the current speed and position of the ship using the GPS system, and recognizes the direction taken by the camera 101 installed on the ship.

수신부(300)는 선박의 위치, 카메라(101)가 촬영하는 방향에 따라 외부 지형에 관한 외부지형 데이터베이스(DB)로부터 외부 영상 데이터를 수신한다.The receiver 300 receives external image data from an external terrain database DB regarding external terrain according to the position of the ship and the direction in which the camera 101 photographs.

수신된 외부 영상 데이터와 카메라(101) 촬영하는 실제 외부 영상간의 위치를 서로 정확하게 일치시키는 정합과정을 정합부(400)에서 수행하고, 출력부(500)는 정합부(400)에서 일치된 외부 영상 데이터의 다양한 정보, 즉 육지에 관한 정보, 부표에 관한 정보등을 모니터(100)를 통해 실제 외부 영상의 위치에 출력하게 된다.
The matching unit 400 performs a matching process for accurately matching positions between the received external image data and the actual external image photographed by the camera 101, and the output unit 500 matches the external image matched by the matching unit 400. Various information of the data, that is, information about land, buoy information, etc. are output to the position of the actual external image through the monitor (100).

실제 외부 영상과의 정합과정에 효과적으로 적용시키고, 항해자가 실제 항행 정보를 쉽게 볼 수 있도록 하기 위해 외부 영상 데이터는 3D 데이터로 구성되는 것이 바람직하다. 즉 외부 지형에 관한 외부 지형 데이터베이스(DB) 구축이 3D 데이터로 구축되는 것이 바람직하다.
In order to effectively apply to the matching process with the actual external image, and to allow the navigator to easily see the actual navigation information, the external image data is preferably composed of 3D data. That is, it is preferable that an external terrain database (DB) construction on the external terrain is built up of 3D data.

도 2는 본 발명에 따른 모니터의 개략도이다.2 is a schematic view of a monitor according to the invention.

도 2에 도시된 바와 같이, 모니터(100)를 통해 다양한 항행 정보가 표시될 수 있고, 다양한 항행 정보에는 선박의 항로, 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보, 타선박들의 정보, 현재 운항 위치 정보등을 포함할 수 있다.As shown in FIG. 2, various navigation information may be displayed through the monitor 100, and the various navigation information includes information about a ship's route, inland waterways, seabed topography, weather and sea characteristics, and information on other ships. It may include current flight location information.

다양한 항행 정보 중 선박의 항로 계획에 관한 정보수집은 본 발명에 따른 수신부(300)가 선박의 항해 위치에 따라 해도 데이터베이스(DB)로부터 해도를 수신하고, 정합부(400)에서는 수신된 해도를 실제 외부 영상과 일치되도록 조정한다.The collection of information about the ship's route plan among various navigation information is received by the receiver 300 according to the present invention from the chart database DB according to the sailing position of the ship, and the matcher 400 actually receives the chart. Adjust to match the external image.

출력부(500)는 실제 외부 영상과 수신된 해도간의 조정을 통해 해도의 정확한 위치를 모니터(100)를 통해 선박의 항로를 표시하게 된다.
The output unit 500 displays the route of the ship through the monitor 100 through the monitor 100 by adjusting the actual external image and the received chart.

또한, 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보의 수집은 마찬가지로 수신부(300)가 전자해도표시 시스템(ECDIS)으로부터 수신하고, In addition, the collection of information regarding inland waterways, seabed topography, weather and sea area characteristics is similarly received by the receiver 300 from the electronic chart display system (ECDIS),

정합부(400)에서는 수신된 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보를 실제 외부 영상의 위치와 일치되도록 조정한다.The matching unit 400 adjusts the received inland waterway, information on the seabed topography, weather, and sea area characteristics to match the position of the actual external image.

출력부(500)는 실제 외부 영상과 수신된 내륙수로, 해저지형, 기상 및 해역 특성간의 조정을 통해 내륙수로, 해저지형, 기상 및 해역 특성을 모니터(100)를 통해 표시하게 된다.
The output unit 500 displays the inland water channel, the seabed terrain, the weather and the sea region characteristics through the monitor 100 through the adjustment between the actual external image and the received inland water channel, the seabed terrain, the weather and the sea area characteristics.

또한, 해상에 운항되는 타선박들에 관한 정보의 수집도 수신부(300)가 AIS(선박자동식별장치)로부터 수신하고, In addition, the collection unit 300 for receiving information about the other ships operating in the sea received from the automatic identification system (AIS),

정합부(400)에서는 수신된 타선박들에 관한 정보를 실제 외부 영상의 위치와 일치되도록 조정한다.The matching unit 400 adjusts the received information about the other ships to match the position of the actual external image.

출력부(500)는 실제 외부 영상과 수신된 타선박들에 관한 정보간의 조정을 통해 타선박들에 관한 정보를 모니터(100)를 통해 표시하게 된다.The output unit 500 displays the information on the other ships through the monitor 100 by adjusting the information about the actual external image and the received other ships.

여기서, 수집된 타선박들의 사이즈에 따라 정합부(400)는 미리 설정된 타선박의 사이즈별 템플릿을 선택조정하여 출력부(500)를 통해 모니터(100)에 표시하게 된다.Here, the matching unit 400 selects and adjusts a preset template for each size of the other vessel according to the size of the other vessels collected and displays it on the monitor 100 through the output unit 500.

템플릿은 선박을 크기와 종류로 분류하여 미리 모델링해 놓은 것을 말하고, 모든 선박에 대한 3차원 모델을 만들 수 없기 때문이다. 외부 조도가 낮은 상황에서는 이러한 선박 템플릿과 3차원 가상 지형 정보가 함께 출력되며, 이 영상이 실제 외부 영상을 대신할 수 있는 가상현실 기능을 한다.
A template is a pre-modeled classification of vessels by size and type, and it is not possible to create a three-dimensional model for all vessels. In low external light conditions, the ship template and the 3D virtual terrain information are output together, and this image replaces the actual external image.

이렇게 미리 타선박의 사이즈에 따라 템플릿을 구성해 놓으면, 야간 운항시 실제로 AIS로 통해 수집된 정보에서는 타선박이 근처에서 운항하는 것으로 표시되더라도 항해자의 육안으로는 식별이 되지 않아 얼마나 가까이에 어느정도 사이즈의 타선박이 와 있는지 직감하기 어려운데 템플릿으로 모니터(100)에 표시를 해 주면 항해자의 운항 정보 수집과 판단에 있어서 도움이 된다.
If you configure the template according to the size of other ships in advance, even though the information collected by AIS during the night operation shows that other ships are operating near, it is not recognized by the naked eyes of the navigator and how close to what size It is difficult to feel intuitively whether other ships are coming, but if you display on the monitor 100 as a template, it is helpful in the collection and determination of the navigation information of the navigator.

선박의 운항시간이 야간이거나 날씨가 흐려 시계가 나쁜 날과 같이 외부 조도가 낮은 기준을 항해자가 미리 셋팅해 놓고, 조도 센서를 통해 외부 조도를 실시간으로 센싱하다가 센싱된 외부조도가 미리 셋팅된 값보다 낮은 경우에는 실제 외부 영상이 항해자의 육안으로 제대로 판별이 되지 않음을 의미하고 이를 보완하기 위해 미리 설정된 템플릿을 이용하여 실제 외부 영상을 디스플레이한다.
The navigator presets the standard of low external illumination, such as when the ship's flight time is night or when the weather is poor, and senses the external illumination in real time through the light sensor, If it is low, it means that the actual external image is not properly distinguished by the navigator's naked eye, and to compensate for this, the actual external image is displayed using a preset template.

참고로 해상인명안전협약(Solars)에 의해 여객선, 100m 이상의 선박등의 경우에는 선박에 관한 정보를 의무적으로 외부로 송신하게 되어 있고, 이러한 타선박들의 선박 운항 정보를 AIS를 통해 수집하게 된다. AIS란 선박자동식별장치(Automatic Identification System)로서, 선박의 위치, 침로, 속력 등 항해 정보를 실시간으로 제공하는 첨단 장치이다. 이는 해상에서 선박의 충돌을 방지하기 위한 장치로서, 국제 해사 기구(IMO)에 따라 선박 의무 설치사항이며, 선박 자동 식별 장치(AIS)가 도입으로, 인접한 선박을 인식할 수 없는 경우에도 타선의 존재와 진행 상황 판단이 가능하다.
For reference, the Marine Life Safety Convention (Solars) is required to send information about the ship to passengers outside the ship, and ships over 100m in length, and the ship operation information of these other ships is collected through AIS. AIS is an automatic identification system, which is an advanced device that provides navigation information such as ship position, course, and speed in real time. It is a device to prevent the collision of ships at sea, and it is mandatory to install the ship according to the International Maritime Organization (IMO), and the ship automatic identification device (AIS) is introduced, and the existence of other ships even when the adjacent ship cannot be recognized. You can judge the progress.

AIS를 통해 수집가능한 타선박 이외의 소형 선박이나, 선박 이외의 해상에서 표류하는 이동 물체에 관한 정보 수집은 수신부(300)가 레이더로부터 수신하여, 이동물체의 이동속도 및 위치를 정합부(400)에서 실제 외부 영상과 일치되도록 조정한 후, 출력부(500)를 통해 모니터(100)에 출력한다.
Collection of information about small vessels other than other ships that can be collected through AIS or moving objects drifting on the sea other than the vessels is received by the receiver 300 from the radar, and the matching unit 400 determines the moving speed and position of the moving objects. After adjusting to match with the actual external image, and outputs to the monitor 100 through the output unit 500.

도 3은 본 발명에 따른 모니터를 이용한 선박용 증강 현실 시스템의 다른 실시예의 블럭도이다.3 is a block diagram of another embodiment of a ship augmented reality system using a monitor according to the present invention.

도 3에 도시된 바와 같이, 본 발명에 따른 모니터를 이용한 선박용 증강 현실 시스템은 모니터(100), 카메라(101), 인식부(200), 수신부(300), 정합부(400), 출력부(500) 이외에 계산부(600)를 더 포함할 수 있다.As shown in FIG. 3, the augmented reality system for a ship using a monitor according to the present invention includes a monitor 100, a camera 101, a recognition unit 200, a receiver 300, a matching unit 400, and an output unit ( In addition to 500, a calculation unit 600 may be further included.

전자해도표시 시스템(ECDIS)으로부터 수신부(300)가 전자해도표시 시스템(ECDIS)으로부터 수신하여 수집한 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보, GPS를 통해 인식부(200)가 인식한 현재 선박의 이동속도 및 항로 정보, 수신부(300)가 선박의 항해 위치에 따른 해도 데이터베이스(DB)로부터 수신하여 수집한 해도에 관한 정보, 수신부(300)가 AIS를 통해 수신하여 수집한 해상에 운항되는 타선박들에 관한 정보를 종합하여 계산부(600)가 선박의 항로 계획에 따른 타선박이나 이동물체, 내륙수로, 암초와 같은 해저지형에 의한 충돌 가능성을 계산하게 된다.Inland water channel received and collected by the electronic chart display system (ECDIS) from the electronic chart display system (ECDIS), the recognition unit 200 recognizes the information on the seabed topography, weather and sea area characteristics, GPS The current speed and route information of the ship, the information about the sea chart collected by the receiver 300 according to the navigation position of the vessel from the database (DB), the sea received by the receiver 300 through the AIS collected Comprehensive information about the other ships in operation, the calculation unit 600 calculates the possibility of collision due to other marine vessels, moving objects, inland waterways, reefs, such as reefs according to the ship's route plan.

항해자는 계산부(600)에서 충돌 가능성에 대한 계산을 일정 시간 간격으로 수행하도록 시간 간격을 미리 설정할 수 있고, 선박의 진행 시간에 따라 셋팅된 시간 간격으로 충돌을 예측가능하게 한다.
The navigator may set a time interval in advance so that the calculation unit 600 calculates a collision probability at a predetermined time interval, and predicts a collision at a time interval set according to the progress time of the ship.

여기서, 충돌이란 해저지형과의 충돌, 타선박과의 충돌, 기상악화에 따른 조난, 소용돌이, 물살의 속도 등과 같은 해역 특성에 따른 조난, 육지, 섬과 같은 외부 지형과의 충돌등을 의미한다.
In this case, the collision refers to a collision with a seabed topography, a collision with another ship, a distress according to sea characteristics such as distress due to bad weather, a vortex, a speed of water, collision with external terrain such as land and an island.

충돌이 예측되면 항해자에게 이를 경고하는 알람기능을 하는 알람부(700)를 포함할 수 있다.If a collision is anticipated, it may include an alarm unit 700 that alarms the navigator.

알람은 모니터(100)에 화면 깜박임과 같은 화상 알람을 사용하거나, 소리 알람을 사용한다. 이들을 모두 사용할 수도 있고, 이러한 알람의 종류를 항해자가 선택할 수도 있다.
The alarm uses an image alarm, such as screen flicker, or a sound alarm on the monitor 100. All of these can be used, and the type of alarm can be selected by the navigator.

또한, 충돌이 예측되어 알람부(700)에서 알람기능이 작동한 경우, 선박의 항로 계획을 자동 수정하도록 하는 제어 신호를 항법제어장치에 송신하는 제어부(800)를 추가로 포함할 수 있다.In addition, when the collision is predicted and the alarm function is activated in the alarm unit 700, the controller 800 may further include a control signal for transmitting a control signal to the navigation controller to automatically modify the route plan of the ship.

이를 통해 본 발명에 따른 모니터를 이용한 선박용 증강 현실 시스템은 항해자에게 항해에 필요한 종합적인 정보를 한 눈에 실제 영상과 함께 제공하여 직관적 판단을 높이고, 항해자의 실수까지도 항로 자동 조정 기능을 통해 미연에 방지함으로써, 해상 충돌을 차단할 수 있다.
Through this, the augmented reality system for ships using the monitor according to the present invention provides the navigator with comprehensive information necessary for navigating at a glance to increase intuitive judgment, and prevents navigators' mistakes by automatically adjusting the route. By doing so, the marine collision can be blocked.

도 4는 본 발명에 따른 모니터를 이용한 선박용 증강 현실 시스템의 개략도이다.4 is a schematic diagram of a ship augmented reality system using a monitor according to the present invention.

도 4에 도시된 바와 같이 항해자는 선박의 조타실에 설치된 모니터(100)에 표시된 다양한 정보와 카메라(101)를 통해 촬영된 실제 외부 영상을 한 눈에 볼 수 있다.
As shown in Figure 4, the navigator can see at a glance a variety of information displayed on the monitor 100 installed in the steering room of the ship and the actual external image taken through the camera 101.

도 5는 본 발명에 따른 모니터를 이용한 선박용 증강 현실 구현방법에 관한 순서도이다.5 is a flowchart illustrating a method for implementing augmented reality for ships using a monitor according to the present invention.

도 5에 도시된 바와 같이, 모니터를 이용한 선박용 증강 현실 구현방법은 선박의 조타실에 설치된 모니터에 카메라에 의해 촬영된 상기 선박의 외부 영상을 전송하는 영상 전송단계(S100); 선박의 위치 및 상기 카메라의 촬영 방향을 인식하는 인식단계(S200); 선박의 위치 및 상기 카메라의 촬영 방향에 따라 외부 지형에 관한 외부 지형 데이터베이스로부터 외부 영상 데이터를 정보를 수신하는 수신단계(S300), 수신부로 수신된 상기 외부 영상 데이터와 상기 유리창을 통한 실제 외부 영상과의 일치를 조정하는 정합단계(S400), 및 정합단계(S400)를 통해 조정된 외부 영상 데이터의 정보를 실제 외부 영상의 위치에 모니터를 통해 출력하는 출력단계(S500)를 포함한다.As shown in FIG. 5, a method for implementing augmented reality for a ship using a monitor includes: an image transmitting step (S100) of transmitting an external image of the ship photographed by a camera to a monitor installed in a steering room of a ship; Recognition step (S200) for recognizing the position of the ship and the shooting direction of the camera; Receiving step (S300) for receiving external image data information from an external terrain database on the external terrain according to the position of the ship and the shooting direction of the camera, the external image data received by the receiver and the actual external image through the glass window and Matching step (S400) of adjusting the matching, and output step (S500) for outputting the information of the external image data adjusted through the matching step (S400) through the monitor to the position of the actual external image.

수신단계(S300)는 선박의 항해 위치에 따라 해도 데이터베이스로부터 해도를 수신하고, 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보를 포함하는 전자해도표시 시스템(ECDIS)으로부터 내륙수로, 해저지형, 기상 및 해역 특성 정보를 수신하며, AIS(선박자동식별장치)로부터 해상에 운항되는 타선박들의 정보를 수신하고, 레이더로부터 외부의 이동물체를 수신하여 실제 외부 영상과 이들 정보들의 표시위치가 일치하도록 정합단계(S400)에서 정합과정을 거치고, 출력단계(S500)에서 모니터를 통해 각종 정보들을 디스플레이하게 된다.
Receiving step (S300) receives the chart from the sea chart database according to the navigation position of the ship, from the electronic chart display system (ECDIS) including inland waterway, seabed topography, weather and sea area characteristics, inland waterways, seabed Receives terrain, weather and sea feature information, receives information of other ships operating at sea from AIS (Automatic Vessel Identification System), receives external moving objects from radar, and displays actual external images and display position of these information. The matching process is performed in the matching step (S400) to match, and in the output step (S500) to display a variety of information through the monitor.

이러한 다양한 외부 정보들, 예를 들면 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보, 선박의 이동속도 및 항로, 타선박의 이송속도 및 항로, 및 이동물체의 이송속도 및 항로를 종합적으로 계산하여 선박이 항로계획대로 항해할 경우 충돌가능성이 있는지를 계산하는 계산단계(S600)을 더 포함할 수 있다.These various external information, such as inland waterways, seabed topography, information on weather and sea characteristics, the speed and route of vessels, the speed and route of other ships, and the speed and route of moving objects The calculation may further include a calculation step (S600) of calculating whether there is a possibility of collision when the ship sails according to the route plan.

항해자가 미리 설정해 놓은 시간 간격에 따라 선박의 항해 시간에 따른 충돌을 예측하여 충돌이 예측되면, 항해자에게 알람신호를 보내는 알람단계(S700)를 더 포함할 수 있다.If the collision is predicted by predicting the collision according to the sailing time of the ship according to the time interval set by the navigator in advance, it may further include an alarm step (S700) for sending an alarm signal to the navigator.

여기서 충돌은 해저지형과의 충돌, 타선박과의 충돌, 기상에 따른 조난, 해역 특성에 따른 조난, 외부 지형과의 충돌 등이 있을 수 있고 이에 한정되는 것은 아니다.The collision may include, but is not limited to, collision with seabed terrain, collision with other ships, distress due to weather, distress due to sea area characteristics, and collision with external terrain.

알람단계(S700)에서 알람기능이 작동한 경우, 선박의 항로 계획을 수정하도록 제어 신호를 항법제어장치에 송신하는 제어단계(S800)을 더 포함할 수도 있다.
When the alarm function is activated in the alarm step (S700), it may further include a control step (S800) for transmitting a control signal to the navigation control device to modify the route plan of the vessel.

이상에서 본 발명은 특정의 실시예와 관련하여 도시 및 설명하였지만, 첨부된 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도내에서 다양한 변경, 개조 및 변화가 가능하다는 것을 당 업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.
While the invention has been shown and described in connection with specific embodiments thereof, it is conventional in the art that various changes, modifications and variations are possible without departing from the spirit and scope of the invention as indicated by the appended claims. Anyone who knows the knowledge of is easy to know.

1: 모니터를 이용한 선박용 증강 현실 시스템
100: 모니터 101: 카메라
200: 인식부 300: 수신부
400: 정합부 500: 출력부
600: 계산부 700: 알람부
800: 제어부
S100: 영상 전송단계 S200: 인식단계
S300: 수신단계 S400: 정합단계
S500: 출력단계 S600: 계산단계
S700: 알람단계 S800: 제어단계
1: Marine Augmented Reality System with Monitor
100: monitor 101: camera
200: recognition unit 300: receiving unit
400: matching part 500: output part
600: calculation unit 700: alarm unit
800: control unit
S100: Image transmission step S200: Recognition step
S300: Receive step S400: Matching step
S500: output step S600: calculation step
S700: alarm step S800: control step

Claims (22)

선박의 조타실에 설치된 모니터;
상기 모니터에 상기 선박의 외부 영상을 전송하는 카메라;
상기 선박의 위치 및 상기 카메라가 촬영하는 방향을 인식하는 인식부;
상기 선박의 위치 및 상기 카메라가 촬영하는 방향에 따라 외부 지형에 관한 외부지형 데이터베이스로부터 외부 영상 데이터를 정보를 수신하는 수신부;
상기 수신부로 수신된 상기 외부 영상 데이터와 상기 카메라를 통한 실제 외부 영상이 일치되도록 조정하는 정합부; 및
상기 정합부를 통해 조정된 상기 외부 영상 데이터의 정보를 상기 실제 외부 영상의 위치에 상기 모니터를 통해 출력하는 출력부를 포함하고,
상기 수신부는 레이더로부터 외부의 이동물체를 수신하고,
상기 이동물체의 이동속도 및 위치를 상기 정합부에서 실제 외부 영상과 일치되도록 조정하며,
상기 출력부를 통해 상기 이동물체를 상기 모니터에 출력하는 것을 특징으로 하는 모니터를 이용한 선박용 증강 현실 시스템.
Monitors installed in the ship's steering chamber;
A camera for transmitting an external image of the ship to the monitor;
Recognition unit for recognizing the position of the vessel and the direction in which the camera to shoot;
A receiver configured to receive external image data information from an external terrain database on an external terrain according to the position of the vessel and the direction in which the camera is photographed;
A matching unit which adjusts the external image data received by the receiving unit and the actual external image through the camera to match; And
An output unit configured to output the information of the external image data adjusted through the matching unit to the position of the actual external image through the monitor;
The receiving unit receives an external moving object from the radar,
Adjust the moving speed and position of the moving object to match the actual external image in the matching unit,
Augmented reality system for ships using a monitor, characterized in that for outputting the moving object to the monitor through the output unit.
제1항에 있어서,
상기 인식부는 GPS시스템을 포함하여 상기 선박의 이동속도와 위치를 인식하는 것을 특징으로 하는 모니터를 이용한 선박용 증강 현실 시스템.
The method of claim 1,
The recognition unit augmented reality system for a ship using a monitor comprising a GPS system to recognize the moving speed and position of the ship.
제2항에 있어서,
상기 외부 영상 데이터는 3D 데이터로 구성된 것을 특징으로 하는 모니터를 이용한 선박용 증강 현실 시스템.
The method of claim 2,
Augmented reality system for ships using a monitor, characterized in that the external image data is composed of 3D data.
제3항에 있어서,
상기 수신부는 상기 선박의 항해 위치에 따라 해도 데이터베이스로부터 해도를 수신하고,
상기 해도를 상기 정합부에서 실제 외부 영상과 일치되도록 조정하여,
상기 출력부는 상기 모니터를 통해 상기 선박의 항로를 표시하는 것을 특징으로 하는 모니터를 이용한 선박용 증강 현실 시스템.
The method of claim 3,
The receiving unit receives a chart from the chart database according to the navigation position of the ship,
By adjusting the chart to match the actual external image in the matching unit,
The output unit is a ship augmented reality system using a monitor, characterized in that for displaying the route of the vessel through the monitor.
제4항에 있어서,
상기 수신부는 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보를 포함하는 전자해도표시 시스템(ECDIS)으로부터 상기 내륙수로, 해저지형, 기상 및 해역 특성 정보를 수신하고,
상기 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보를 상기 정합부에서 실제 외부 영상과 일치되도록 조정하여,
상기 출력부를 통해 상기 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보를 상기 모니터에 출력하는 것을 특징으로 하는 모니터를 이용한 선박용 증강 현실 시스템.
The method of claim 4, wherein
The receiving unit receives the inland water channel, the seabed topography, the weather and the sea area characteristic information from an electronic chart display system (ECDIS) including information about the inland waterway, the seabed topography, the weather and sea area characteristics,
By adjusting the information on the inland waterway, seabed topography, weather and sea area characteristics to match the actual external image in the matching unit,
Augmented reality system for ships using a monitor, characterized in that for outputting the information on the inland waterway, seabed topography, weather and sea area characteristics through the output unit to the monitor.
제5항에 있어서,
상기 수신부는 AIS(선박자동식별장치)로부터 해상에 운항되는 타선박들의 정보를 수신하고,
상기 타선박들의 정보를 상기 정합부에서 실제 외부 영상과 일치되도록 조정하여,
상기 출력부를 통해 상기 타선박들의 정보를 상기 모니터에 출력하는 것을 특징으로 하는 모니터를 이용한 선박용 증강 현실 시스템.
The method of claim 5,
The receiving unit receives information of other ships operating at sea from AIS (Automatic Vessel Identification System),
By adjusting the information of the other ships to match the actual external image in the matching unit,
Augmented reality system for a ship using a monitor, characterized in that for outputting the information of the other vessels through the output unit to the monitor.
제6항에 있어서,
상기 정합부는 미리 설정된 타선박의 사이즈별 템플릿에 따라 상기 AIS로부터 수신된 타선박들의 사이즈를 조절하여 상기 출력부를 통해 상기 타선박들을 템플릿으로 상기 모니터에 출력하는 것을 특징으로 하는 모니터를 이용한 선박용 증강 현실 시스템.
The method of claim 6,
The matching unit adjusts the size of the other vessels received from the AIS according to a template for each size of the other vessel in advance to output the other vessels as a template to the monitor through the output unit using a monitor augmented reality system.
삭제delete 제7항에 있어서,
상기 이동물체는 상기 AIS로부터 수신된 타선박이 아닌 경우에, 상기 정합부에서 실제 외부 영상과 일치되도록 조정하고,
상기 출력부를 통해 상기 이동물체를 상기 모니터에 출력하는 것을 특징으로 하는 모니터를 이용한 선박용 증강 현실 시스템.
The method of claim 7, wherein
If the moving object is not another vessel received from the AIS, the matching unit adjusts to match the actual external image,
Augmented reality system for ships using a monitor, characterized in that for outputting the moving object to the monitor through the output unit.
제9항에 있어서,
상기 선박의 외부 조도가 미리 셋팅된 값보다 낮은 경우, 상기 실제 외부 영상의 위치에 미리 설정된 템플릿을 이용하여 표시하는 것을 특징으로 하는 모니터를 이용한 선박용 증강 현실 시스템.
10. The method of claim 9,
When the external illuminance of the vessel is lower than the preset value, the vessel augmented reality system using a monitor, characterized in that for displaying the position of the actual external image using a preset template.
선박의 조타실에 설치된 모니터;
상기 모니터에 상기 선박의 외부 영상을 전송하는 카메라;
상기 선박의 위치 및 상기 카메라가 촬영하는 방향을 인식하는 인식부;
상기 선박의 위치 및 상기 카메라가 촬영하는 방향에 따라 외부 지형에 관한 외부지형 데이터베이스로부터 외부 영상 데이터를 정보를 수신하는 수신부;
상기 수신부로 수신된 상기 외부 영상 데이터와 상기 카메라를 통한 실제 외부 영상이 일치되도록 조정하는 정합부; 및
상기 정합부를 통해 조정된 상기 외부 영상 데이터의 정보를 상기 실제 외부 영상의 위치에 상기 모니터를 통해 출력하는 출력부를 포함하고,
상기 수신부는 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보, 상기 선박의 이동속도 및 항로, 타선박의 이송속도 및 항로, 및 이동물체의 이송속도 및 항로를 수신하여 계산하는 계산부를 포함하며,
미리 설정된 시간간격에 따라 상기 선박의 시간에 따른 상기 해저지형과의 충돌, 상기 타선박과의 충돌, 상기 기상에 따른 조난, 상기 해역 특성에 따른 조난, 상기 외부 지형과의 충돌을 예측하는 것을 특징으로 하는 모니터를 이용한 선박용 증강 현실 시스템.
Monitors installed in the ship's steering chamber;
A camera for transmitting an external image of the ship to the monitor;
Recognition unit for recognizing the position of the vessel and the direction in which the camera to shoot;
A receiver configured to receive external image data information from an external terrain database on an external terrain according to the position of the vessel and the direction in which the camera is photographed;
A matching unit which adjusts the external image data received by the receiving unit and the actual external image through the camera to match; And
An output unit configured to output the information of the external image data adjusted through the matching unit to the position of the actual external image through the monitor;
The receiving unit includes a calculation unit for receiving and calculating information on inland waterways, seabed topography, weather and sea characteristics, the moving speed and route of the vessel, the traveling speed and route of other ships, and the moving speed and route of a moving object. ,
Predicting a collision with the seabed topography, a collision with the other ship, a distress due to the weather, a distress according to the sea area characteristics, and a collision with the external terrain according to a preset time interval. Augmented reality system for ships using a monitor.
삭제delete 제11항에 있어서,
상기 충돌이 예측되는 경우, 알람기능을 하는 알람부를 포함하는 것을 특징으로 하는 모니터를 이용한 선박용 증강 현실 시스템.
The method of claim 11,
The augmented reality system for ships using a monitor, characterized in that it comprises an alarm function to alarm when the collision is predicted.
제13항에 있어서,
상기 알람부에서 알람기능이 작동한 경우, 상기 선박의 항로를 자동 수정하도록 하는 제어 신호를 항법제어장치로 송신하는 제어부를 포함하는 것을 특징으로 하는 모니터를 이용한 선박용 증강 현실 시스템.
The method of claim 13,
And a control unit for transmitting a control signal to the navigation control device to automatically correct the course of the ship when the alarm function is activated in the alarm unit.
선박의 조타실에 설치된 모니터에 카메라에 의해 촬영된 상기 선박의 외부 영상을 전송하는 영상 전송단계;
상기 선박의 위치 및 상기 카메라의 촬영 방향을 인식하는 인식단계;
상기 선박의 위치 및 상기 카메라의 촬영 방향에 따라 외부 지형에 관한 외부지형 데이터베이스로부터 외부 영상 데이터를 정보를 수신하는 수신단계;
상기 수신부로 수신된 상기 외부 영상 데이터와 상기 카메라를 통한 실제 외부 영상과의 일치를 조정하는 정합단계; 및
상기 정합부를 통해 조정된 상기 외부 영상 데이터의 정보를 상기 실제 외부 영상의 위치에 상기 모니터를 통해 출력하는 출력단계를 포함하고,
상기 수신단계는 레이더로부터 외부의 이동물체를 수신하고,
상기 이동물체의 이동속도 및 위치를 상기 정합단계에서 실제 외부 영상과 일치되도록 조정하며,
상기 출력단계를 통해 상기 이동물체를 상기 모니터에 출력하는 것을 특징으로 하는 모니터를 이용한 선박용 증강 현실 구현방법.
An image transmission step of transmitting an external image of the vessel photographed by a camera to a monitor installed in a steering room of the vessel;
A recognition step of recognizing a position of the ship and a photographing direction of the camera;
A receiving step of receiving external image data information from an external terrain database on an external terrain according to the position of the ship and the photographing direction of the camera;
A matching step of adjusting a match between the external image data received by the receiver and the actual external image through the camera; And
And outputting the information of the external image data adjusted through the matching unit through the monitor to the position of the actual external image,
The receiving step receives an external moving object from the radar,
Adjust the moving speed and position of the moving object to match the actual external image in the matching step,
Augmented reality implementation method for a ship using a monitor, characterized in that for outputting the moving object to the monitor through the output step.
제15항에 있어서,
상기 수신단계는 상기 선박의 항해 위치에 따라 해도 데이터베이스로부터 해도를 수신하고,
상기 해도를 상기 정합단계에서 상기 카메라에서 촬영되어 전송된 실제 외부 영상과 일치되도록 조정하여,
상기 출력단계는 상기 모니터를 통해 상기 선박의 항로를 표시하는 것을 특징으로 하는 모니터를 이용한 선박용 증강 현실 구현 방법.
16. The method of claim 15,
The receiving step receives a chart from the chart database according to the navigation position of the ship,
By adjusting the chart to match the actual external image photographed and transmitted by the camera in the matching step,
The output step is a ship augmented reality implementation method using a monitor, characterized in that for displaying the course of the ship through the monitor.
제16항에 있어서,
상기 수신단계는 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보를 포함하는 전자해도표시 시스템(ECDIS)으로부터 상기 내륙수로, 해저지형, 기상 및 해역 특성 정보를 수신하고,
상기 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보를 상기 정합단계에서 실제 외부 영상과 일치되도록 조정하여,
상기 출력단계를 통해 상기 내륙수로, 해저지형, 기상 및 해역 특성 정보를 상기 모니터에 출력하는 것을 특징으로 하는 모니터를 이용한 선박용 증강 현실 구현 방법.
The method of claim 16,
The receiving step receives the inland waterway, seabed topography, weather and sea area characteristic information from an electronic chart display system (ECDIS) including information on inland waterway, seabed topography, weather and sea area characteristics,
By adjusting the information on the inland waterway, seabed topography, weather and sea area characteristics to match the actual external image in the matching step,
The augmented reality implementation method for a ship using a monitor, characterized in that for outputting the inland waterway, seabed topography, weather and sea feature information to the monitor through the output step.
제17항에 있어서,
상기 수신단계는 AIS(선박자동식별장치)로부터 해상에 운항되는 타선박들의 정보를 수신하고,
상기 타선박들의 정보를 상기 정합단계에서 실제 외부 영상과 일치되도록 조정하여,
상기 출력단계를 통해 상기 타선박들의 정보를 상기 모니터에 출력하는 것을 특징으로 하는 모니터를 이용한 선박용 증강 현실 구현방법.
The method of claim 17,
The receiving step is to receive information of other ships operating at sea from AIS (Automatic Vessel Identification System),
By adjusting the information of the other ships to match the actual external image in the matching step,
The augmented reality implementation method for a ship using a monitor, characterized in that for outputting the information of the other ships to the monitor through the output step.
삭제delete 제18항에 있어서,
상기 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보, 상기 선박의 이동속도 및 항로, 상기 타선박의 이송속도 및 항로, 및 상기 이동물체의 이송속도 및 항로를 계산하는 계산단계를 포함하여 미리 설정된 시간간격에 따라 상기 선박의 시간에 따른 상기 해저지형과의 충돌, 상기 타선박과의 충돌, 상기 기상에 따른 조난, 상기 해역 특성에 따른 조난, 상기 외부 지형과의 충돌을 예측하고, 상기 충돌이 예측되는 경우, 알람기능을 하는 알람단계를 포함하는 것을 특징으로 하는 모니터를 이용한 선박용 증강 현실 구현방법.
The method of claim 18,
A calculation step of calculating information about the inland water channel, the seabed topography, weather and sea characteristics, the moving speed and route of the vessel, the traveling speed and route of the other ship, and the moving speed and route of the moving object; Predict a collision with the seabed topography, a collision with the other ship, a distress due to the weather, a distress according to the sea area characteristics, a collision with the external terrain according to a preset time interval, When a collision is predicted, the augmented reality implementation method for a ship using a monitor comprising an alarm step to function as an alarm.
삭제delete 제20항에 있어서,
상기 알람단계에서 알람기능이 작동한 경우, 상기 선박의 항로를 자동 수정하도록 하는 제어 신호를 항법제어장치로 송신하는 제어단계를 포함하는 것을 특징으로 하는 모니터를 이용한 선박용 증강 현실 구현방법.

The method of claim 20,
And a control step of transmitting a control signal for automatically correcting the course of the ship to the navigation control device when the alarm function is activated in the alarm step.

KR1020110072448A 2011-07-21 2011-07-21 A augmented reality system for vessel using monitor and the method using thereof KR101072397B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110072448A KR101072397B1 (en) 2011-07-21 2011-07-21 A augmented reality system for vessel using monitor and the method using thereof
PCT/KR2012/005801 WO2013012280A2 (en) 2011-07-21 2012-07-20 Augmented reality system using monitor for ship and method for enabling same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110072448A KR101072397B1 (en) 2011-07-21 2011-07-21 A augmented reality system for vessel using monitor and the method using thereof

Publications (1)

Publication Number Publication Date
KR101072397B1 true KR101072397B1 (en) 2011-10-11

Family

ID=45032653

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110072448A KR101072397B1 (en) 2011-07-21 2011-07-21 A augmented reality system for vessel using monitor and the method using thereof

Country Status (2)

Country Link
KR (1) KR101072397B1 (en)
WO (1) WO2013012280A2 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101455765B1 (en) * 2013-04-16 2014-11-03 주식회사 비온시이노베이터 Ship navigation system and its operating method
KR101575954B1 (en) 2014-04-30 2015-12-11 인하대학교 산학협력단 Apparatus for augmented reality using 3d reconstruction and mehhod thereof
KR101657646B1 (en) * 2016-02-16 2016-09-22 한국해양과학기술원 Method for displaying label in augmented reality service
KR101798891B1 (en) * 2016-08-02 2017-11-17 (주)럭스콤 Method for providing ausmented reality by using 4d database and system
KR101920707B1 (en) * 2017-08-30 2018-11-21 (주) 하늘소프트 smart navigation information generation apparatus based on image information and method thereof
KR20200040089A (en) * 2018-10-08 2020-04-17 대우조선해양 주식회사 Mobile apparatus for providing integration voyage informaiton
KR20200050808A (en) 2018-11-02 2020-05-12 대우조선해양 주식회사 System for predicting degree of collision risk and guiding safe voyage route through fusing navigation sensor inside ship and image information
KR102112000B1 (en) 2019-11-08 2020-05-18 동명대학교산학협력단 System for Warning Collision with Marine Bridge and Seaside Facilities based on Radar
EP4173942A1 (en) * 2020-06-24 2023-05-03 Mapsea Corp. Navigation assistance device using augmented reality and 3d images

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106643683A (en) * 2016-10-15 2017-05-10 中国人民解放军海军大连舰艇学院 Sea-surface target automatic detecting device and target detecting method
CN109816751A (en) * 2017-11-20 2019-05-28 南京模幻天空航空科技有限公司 Navigation channel Accident Handling Method based on unmanned plane aerial photography and Visual identification technology
US11548598B2 (en) 2017-12-25 2023-01-10 Furuno Electric Co., Ltd. Image generating device and method of generating image
CN110009731A (en) * 2019-04-09 2019-07-12 中船第九设计研究院工程有限公司 A kind of three-dimensional scene construction method that ship auxiliary drives
CN113257040B (en) * 2021-05-14 2022-12-30 广州嘉航通信科技有限公司 Inland river traffic safety sign monitoring method, system, computer equipment and storage medium

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101004126B1 (en) * 2010-09-27 2010-12-27 (주)에디넷 3-dimensional vessel traffic service system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005233712A (en) * 2004-02-18 2005-09-02 Hitachi Software Eng Co Ltd Position display system
KR20060112721A (en) * 2005-04-27 2006-11-02 (주)모어엠 System and method for camera actuator with direction sensor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101004126B1 (en) * 2010-09-27 2010-12-27 (주)에디넷 3-dimensional vessel traffic service system

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101455765B1 (en) * 2013-04-16 2014-11-03 주식회사 비온시이노베이터 Ship navigation system and its operating method
KR101575954B1 (en) 2014-04-30 2015-12-11 인하대학교 산학협력단 Apparatus for augmented reality using 3d reconstruction and mehhod thereof
KR101657646B1 (en) * 2016-02-16 2016-09-22 한국해양과학기술원 Method for displaying label in augmented reality service
KR101798891B1 (en) * 2016-08-02 2017-11-17 (주)럭스콤 Method for providing ausmented reality by using 4d database and system
KR101920707B1 (en) * 2017-08-30 2018-11-21 (주) 하늘소프트 smart navigation information generation apparatus based on image information and method thereof
KR20200040089A (en) * 2018-10-08 2020-04-17 대우조선해양 주식회사 Mobile apparatus for providing integration voyage informaiton
KR102660973B1 (en) * 2018-10-08 2024-04-25 한화오션 주식회사 Mobile hmd for providing integration voyage information
KR20200050808A (en) 2018-11-02 2020-05-12 대우조선해양 주식회사 System for predicting degree of collision risk and guiding safe voyage route through fusing navigation sensor inside ship and image information
KR102661171B1 (en) * 2018-11-02 2024-04-26 한화오션 주식회사 System for predicting degree of collision risk and guiding safe voyage route through fusing navigation sensor inside ship and image information
KR102112000B1 (en) 2019-11-08 2020-05-18 동명대학교산학협력단 System for Warning Collision with Marine Bridge and Seaside Facilities based on Radar
EP4173942A1 (en) * 2020-06-24 2023-05-03 Mapsea Corp. Navigation assistance device using augmented reality and 3d images
EP4173942A4 (en) * 2020-06-24 2024-05-01 Mapsea Corp Navigation assistance device using augmented reality and 3d images

Also Published As

Publication number Publication date
WO2013012280A2 (en) 2013-01-24
WO2013012280A3 (en) 2013-03-21

Similar Documents

Publication Publication Date Title
KR101072397B1 (en) A augmented reality system for vessel using monitor and the method using thereof
KR101072395B1 (en) A augmented reality system for vessel using ceil moving transparent display device and the method using thereof
US11328155B2 (en) Augmented reality labels systems and methods
US11892298B2 (en) Navigational danger identification and feedback systems and methods
US20210206459A1 (en) Video sensor fusion and model based virtual and augmented reality systems and methods
KR100687277B1 (en) Automatic Identification System built in Electronic Chart
CN102589542A (en) Methods and systems for augmented navigation
KR101880437B1 (en) Unmanned surface vehicle control system for providing wide viewing angle using real camera image and virtual camera image
US20220172464A1 (en) Water non-water segmentation systems and methods
US20220392211A1 (en) Water non-water segmentation systems and methods
KR101072393B1 (en) A augmented reality system for vessel using transparent display device and the method using thereof
JP2022173157A (en) Tidal current information display device
JP2021144751A (en) Navigation system for ship
US20230081665A1 (en) Predicted course display device and method
KR20180119238A (en) Augmented reality used navigation control system and method
US8666655B2 (en) Systems and methods for navigation
JP3777411B2 (en) Ship navigation support device
KR102464212B1 (en) Augmented reality system for ships using omnidirectional cameras
CN116343551A (en) Intelligent ship control simulation system and method
KR20140137233A (en) System and Method for Shipping lookout using the 3D spatial
KR102660973B1 (en) Mobile hmd for providing integration voyage information
EP3825982A1 (en) Detection of a risk of collision between a boat and a luminous object
KR102249156B1 (en) Sailing assistance device using augmented reality image
KR102620098B1 (en) Augmented reality based system and method of displaying maritime object
KR20220042592A (en) Apparatus for providing navigation information of ship

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140930

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160928

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170927

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20181001

Year of fee payment: 8