KR20200040089A - Mobile apparatus for providing integration voyage informaiton - Google Patents

Mobile apparatus for providing integration voyage informaiton Download PDF

Info

Publication number
KR20200040089A
KR20200040089A KR1020180119924A KR20180119924A KR20200040089A KR 20200040089 A KR20200040089 A KR 20200040089A KR 1020180119924 A KR1020180119924 A KR 1020180119924A KR 20180119924 A KR20180119924 A KR 20180119924A KR 20200040089 A KR20200040089 A KR 20200040089A
Authority
KR
South Korea
Prior art keywords
head
camera
unit
information
processing terminal
Prior art date
Application number
KR1020180119924A
Other languages
Korean (ko)
Other versions
KR102660973B1 (en
Inventor
김재휘
추교식
김성수
이성재
Original Assignee
대우조선해양 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대우조선해양 주식회사 filed Critical 대우조선해양 주식회사
Priority to KR1020180119924A priority Critical patent/KR102660973B1/en
Publication of KR20200040089A publication Critical patent/KR20200040089A/en
Application granted granted Critical
Publication of KR102660973B1 publication Critical patent/KR102660973B1/en

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G3/00Traffic control systems for marine craft
    • G08G3/02Anti-collision systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Ocean & Marine Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

According to the present invention, provided is a mobile integrated navigation information providing apparatus, which comprises: a head display body configured to be worn on the head or face, and having a display unit; a camera mounted on the head display unit and configured to capture an external situation; a microphone mounted on the head display unit and configured to input voice; and a processing terminal unit mounted on the head display unit to be connected to an external device or network, and configured to process a voice command input to a display and a microphone for the head display unit, and implement an electronic chart to guide the navigation of a ship. The processing terminal unit represents the electronic chart on the head display unit to be recognizable, navigation information which has processed marine information captured by the camera into augmented reality together with an actual marine image captured by the camera.

Description

이동용 통합 항해 정보 제공장치{MOBILE APPARATUS FOR PROVIDING INTEGRATION VOYAGE INFORMAITON}Mobile integrated navigation information providing device {MOBILE APPARATUS FOR PROVIDING INTEGRATION VOYAGE INFORMAITON}

본 발명은 항해 정보의 제공기술에 관한 것으로, 보다 구체적으로는 신체에 착용 가능한 이동용 통합 항해 정보 제공장치에 관한 것이다.The present invention relates to a technology for providing navigation information, and more particularly, to an integrated navigation information providing device for movement that can be worn on a body.

항해란 영리를 목적으로 선박을 운용하여 지구 위의 한 지점에서 다른 지점으로 선박을 안전하고 경제적으로 이동시키는 것을 말한다. 이러한 항해의 방법에는 천문을 보고 항해를 하는 천문항해와 주변의 지리 정보를 보고 항해하는 지문항해, 전파기기를 이용하여 항해를 하는 전파항해 등이 있다.Sailing refers to the safe and economic movement of a ship from one point on the earth to another by operating the ship for commercial purposes. The navigational methods include astronomical voyages that look at astronomical voyages, fingerprint voyages that look at geographic information and sails, and radio voyages that use nautical devices to navigate.

최근에는 해상의 항해에서 지리 정보가 구축되어 마련된 전자지도를 사용한다. 전자 지도는 GPS를 수신하여 지구 상에서 현재 위치를 표시하도록 구성된다.In recent years, electronic maps, which have been constructed and prepared for geographic information, are used in maritime navigation. The electronic map is configured to receive GPS and display its current location on Earth.

이러한 전자 지도는 전자해도 표시정보시스템으로 구현된다. 종래 대형 선박에만 탑재되었던 전자해도 표시정보시스템(ECDIS: Electronic Chart Display and Information System)이 다양한 선박에 탑재되고 있다.The electronic map is implemented as an electronic chart display information system. An electronic chart display and information system (ECDIS), which was previously installed only on large ships, is mounted on various ships.

전자해도는 그 사용목적과 소형화 및 저가격화된 시스템에 맞추어져 적용되고 있다. 또한, 전자해도의 일부 기능만을 가지는 간이 전자해도 제작기술도 발전하고 있으며, 실제로 간이 전자해도를 적용한 디스플레이장치도 활발히 제작되고 있다.Electronic charts are applied in accordance with their purpose of use and miniaturized and low-cost systems. In addition, technology for manufacturing simple electronic charts having only some functions of electronic charts has been developed, and display devices to which simple electronic charts are actually applied are also being actively produced.

기존의 전자해도 표시정보시스템은 주로 전자 해도만을 통해 선박의 경로정보 및 해양지리정보를 표시하였기에, 선박 항해자의 시야를 통해 인지되는 영상과는 상당한 차이가 있었다.The existing electronic chart display information system mainly displays the route information and marine geographic information of the ship through only the electronic chart, so there is a significant difference from the image perceived through the view of the ship's navigator.

기존의 전자해도 표시정보시스템은, 단말기를 통하여 제공받을 수 있었으나, 이동용으로 사용하면서 쉽게 보면서 항해 조작을 함께 수행하기에는 무리가 있었다.The existing electronic chart display information system could be provided through a terminal, but it was difficult to perform the navigation operation together while easily viewing it while using it for mobile.

본 발명은 기존 전자해도 표시정보시스템의 문제를 해결하기 위한 것으로서, 항해자의 시야를 통해 인지되는 영상을 반영하도록 구현하여 실제적인 통합 항해 정보를 제공하며, 착용이 용이하여 외부 상황과 전자 지도를 함께 인식하면서 항해 조작을 수행할 수 있는 이동용 통합 항해 정보 제공장치를 제공하는 것이다.The present invention is to solve the problem of the existing electronic chart display information system, and implements to reflect the image perceived through the view of the navigator to provide practical integrated navigation information. It is to provide an integrated navigation information providing device for mobile that can perform navigation operation while recognizing.

상기 과제를 해결하기 위한 본 발명에 따른 이동용 통합 항해 정보 제공장치는, 머리 또는 안면에 착용 가능하도록 구성되며, 디스플레이부가 있는 헤드 디스플레이 본체; 상기 헤드 디플레이부에 탑재되며, 외부 상황을 포착하도록 구성된 카메라; 상기 헤드 디플레이부에 탑재되며, 음성이 입력되도록 구성된 마이크; 및 외부 기기나 네트워크에 접속되도록 상기 헤드 디플레이부에 탑재되며, 상기 헤드 디플레이부에 대한 디스플레이와 상기 마이크에 입력되는 음성 명령을 처리하며, 선박의 항해를 안내하기 위한 전자 해도를 구현하도록 구성된 처리 단말부를 포함하며, 상기 처리 단말부는 상기 헤드 디플레이부에 전자 해도를 인식 가능하게 표현하되, 상기 카메라로부터 포착된 해상의 정보를 처리한 항해 정보를 상기 카메라에 의해 포착된 해상의 실제 영상과 함께 증강 현실로 표시할 수 있다.Integrated navigation information providing device for movement according to the present invention for solving the above problems is configured to be worn on the head or the face, the head display main body with a display unit; A camera mounted on the head deplay unit and configured to capture an external situation; A microphone mounted on the head deplay unit and configured to input voice; And mounted on the head deplay unit to be connected to an external device or a network, configured to implement an electronic chart for processing a display for the head deplay unit and a voice command input to the microphone, and guiding the navigation of the ship. It includes a processing terminal unit, the processing terminal unit to express the electronic chart to the head display unit recognizable, the navigation information processed by the marine information captured from the camera and the actual image of the sea captured by the camera Together, they can be displayed in augmented reality.

상기 처리 단말부는 상기 헤드 디스플레이 본체에 항해를 위한 항해 메뉴들을 표시하도록 구성될 수 있다.The processing terminal unit may be configured to display navigation menus for navigation on the head display body.

상기 해상의 정보는, 파랑 정보 및/또는 해수 온도를 포함할 수 있다.The maritime information may include blue information and / or seawater temperature.

상기 해상의 정보는, 네트워크 통신을 통해 외부에서 입력되는 날씨 환경을 더 포함할 수 있다.The maritime information may further include a weather environment input from the outside through network communication.

상기 헤드 디플레이부, 카메라, 마이크 및 처리 단말부는 구글 글라스로 마련될 수 있다.The head deplay unit, the camera, the microphone, and the processing terminal unit may be provided with Google Glass.

상기 카메라는 복수로서, 전방의 듀얼 카메라와 후방 카메라를 포함할 수 있다.The plurality of cameras may include a front dual camera and a rear camera.

상기 처리 단말부는, 항해자의 머리 또는 시선이 향하는 방향을 인식하는 인식단계, 선박의 위치 및 상기 항해자의 머리 또는 시선방향에 따라 외부 지형에 관한 외부 지형 데이터베이스로부터 외부 영상 데이터를 정보를 수신하는 수신단계, 수신된 상기 외부 영상 데이터와 실제 외부 영상과의 일치를 조정하는 정합단계, 및 상기 정합단계를 통해 조정된 외부 영상 데이터의 정보를 실제 외부 영상의 위치인 헤드 디스플레이 본체를 통해 출력하는 출력단계를 포함하여 작동할 수 있다.The processing terminal unit, the recognition step of recognizing the direction of the head or gaze direction of the navigator, receiving step of receiving information from the external terrain data from the external terrain database related to the location of the vessel and the head or the gaze direction of the navigator , A matching step of adjusting the correspondence between the received external image data and a real external image, and an output step of outputting information of the external image data adjusted through the matching step through a head display body that is a location of the actual external image. Can work including.

상기 처리 단말부는, 상기 수신단계에서 선박의 항해 위치에 따라 해도 데이터베이스로부터 해도를 수신하되, 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보를 포함하는 전자해도 표시시스템(ECDIS)으로부터 내륙수로, 해저지형, 기상 및 해역 특성 정보를 수신하며, AIS(선박자동식별장치)로부터 해상에 운항되는 타선박들의 정보를 수신하며, 상기 정합단계에서 선박의 레이더로부터 외부의 이동물체를 수신하여 실제 외부 영상과 이들 정보들의 표시위치가 일치하도록 정합단계에서 정합과정을 거치고, 상기 출력단계에서 헤드부 디스플레이를 통해 처리된 각종 정보들을 디스플레이하는 작동할 수 있다.The processing terminal unit receives the sea chart from the sea chart database according to the sailing position of the ship in the receiving step, but the inland water from the electronic chart display system (ECDIS) including information on inland waterway, subsea topography, weather and sea area characteristics. Furnace, submarine topography, weather and sea area characteristic information is received, and information from other ships operating on the sea is received from AIS (Automatic Vessel Identification System), and external moving objects are actually received from the ship's radar during the matching step. A matching process may be performed in a matching step so that the display positions of the external images and these information match, and various information processed through a head display in the output step may be displayed.

상기 처리 단말부는, 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보, 선박의 이동속도 및 항로, 타선박의 이송속도 및 항로, 및 이동물체의 이송속도 및 항로를 종합적으로 계산하여 선박이 항로 계획을 따라 항해할 경우 충돌 가능성이 있는지를 계산하는 계산단계를 더 포함하여 구현될 수 있다.The processing terminal unit comprehensively calculates inland waterway, submarine topography, weather and sea area characteristics, ship's moving speed and route, other ship's transport speed and route, and moving object's transport speed and route. When navigating along the route plan, it may be implemented by further including a calculation step of calculating whether there is a possibility of collision.

상기 처리 단말부는, 항해자가 미리 설정해 놓은 시간 간격에 따라 선박의 항해 시간에 따른 충돌 가능성을 예측하여 충돌이 예측되면, 항해자에게 알람 신호를 보내는 알람단계를 더 포함하여 구현될 수 있다.The processing terminal unit may be implemented by further including an alarm step of predicting a collision possibility according to a sailing time of a ship according to a time interval set in advance by a navigator, and when an collision is predicted, an alarm signal is sent to the navigator.

상기와 같은 해결수단에 따른 본 발명은, 항해자의 시야를 통해 인지되는 영상을 반영하도록 구현하여 실제적인 통합 항해 정보를 제공하며, 착용이 용이하여 외부 상황과 전자 지도를 함께 인식하면서 항해 조작을 수월하게 수행할 수 있는 이동용 통합 항해 정보 제공장치를 제공할 수 있다.The present invention according to the above-described solution is implemented to reflect the image perceived through the view of the navigator to provide practical integrated navigation information, and it is easy to wear, facilitating navigation while recognizing the external situation and the electronic map together. It is possible to provide an integrated navigation information providing device for mobile that can be easily performed.

도 1은 본 발명의 일 실시 예에 따른 이동용 통합 항해 정보 제공장치의 개념도이다.
도 2는 도 1의 블록도이다.
도 3은 도 2의 처리 과정을 나타낸 도면이다.
1 is a conceptual diagram of an apparatus for providing integrated navigation information for movement according to an embodiment of the present invention.
FIG. 2 is a block diagram of FIG. 1.
FIG. 3 is a view showing the processing of FIG. 2.

본 발명은 전자 해도로부터 선택적으로 추출한 항해정보를 실제 현실과 중첩시켜 표시함으로써, 현실감 높은 항해정보를 제공할 수 있는 증강현실을 이용한 선박 항법 시스템의 전자해도 표시를 구현하는 것이다.The present invention implements an electronic chart display of a ship navigation system using augmented reality capable of providing realistic navigation information by superimposing and displaying navigation information selectively extracted from an electronic chart.

특히 본 발명은, AR 기능을 갖는 HMD(Head Mounted Display)를 이용하여 선박에 통합항해정보를 구현하는 것이다. 이러한 본 발명에서 증강 현실에 필요한 전자장치 및 통신과 네트워크 시스템의 구현은 이 분야의 범용 기술에 의해 구현되는 것으로 상정한다.In particular, the present invention is to implement integrated navigation information on a vessel using a head mounted display (HMD) having an AR function. It is assumed that the implementation of the electronic devices and communication and network systems required for augmented reality in the present invention is implemented by general-purpose technology in this field.

도 1 내지 도 3에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 이동용 통합 항해 정보 제공장치는, 머리 또는 안면에 착용 가능하도록 구성되며, 디스플레이부가 있는 헤드 디스플레이 본체(10), 헤드 디플레이부에 탑재되며 외부 상황을 포착하도록 구성된 카메라(20), 헤드 디플레이부에 탑재되며 음성이 입력되도록 구성된 마이크(30), 및 외부 기기나 네트워크에 접속되도록 헤드 디플레이부에 탑재되며 헤드 디플레이부에 대한 디스플레이와 마이크(30)에 입력되는 음성 명령을 처리하며 선박의 항해를 안내하기 위한 전자 해도를 구현하도록 구성된 처리 단말부(40)를 포함한다.1 to 3, the integrated navigation information providing device for movement according to an embodiment of the present invention is configured to be worn on a head or a face, and a head display main body 10 with a display unit and a head deplay A camera 20 mounted on the unit and configured to capture an external situation, mounted on the head deplay unit, a microphone 30 configured to input voice, and mounted on the head deplay unit to be connected to an external device or network, and head deplay It includes a processing terminal unit 40 configured to implement an electronic chart for processing the voice command input to the display and the microphone 30 for guiding the vessel and guiding the navigation of the ship.

상기의 처리 단말부(40)는 헤드 디플레이부에 전자 해도를 인식 가능하게 표현하되, 카메라(20)로부터 포착된 해상의 정보를 처리한 항해 정보를 카메라(20)에 의해 포착된 해상의 실제 영상과 함께 증강 현실로 표시하도록 프로세서(41)와 메모리가 탑재된다. 이에 따라 항해자는 해상의 증강 현실에 따른 현실감이 있는 항로 정보를 인식하면서 항해를 위한 조작을 구체적으로 수행할 수 있다.The above-described processing terminal unit 40 expresses the electronic charts recognizable on the head display unit, but the actual information of the maritime captured by the camera 20 is the nautical information processed by the maritime information captured from the camera 20. A processor 41 and a memory are mounted to display augmented reality together with the image. Accordingly, the navigator can specifically perform the operation for navigation while recognizing the route information with the sense of reality according to the augmented reality of the sea.

이처럼 본 발명의 일 실시예는, 항해자의 시야를 통해 인지되는 영상을 반영하도록 구현하여 실제적인 통합 항해 정보를 제공하며, 착용이 용이하여 외부 상황과 전자 지도를 함께 인식하면서 항해 조작을 수월하게 수행할 수 있는 이동용 통합 항해 정보 제공장치를 제공한다.As described above, one embodiment of the present invention is implemented to reflect an image perceived through the view of the navigator to provide practical integrated navigation information, and is easy to wear, thereby easily performing navigation operation while recognizing an external situation and an electronic map together. It provides an integrated navigation information providing device that can move.

상기의 처리 단말부(40)는 헤드 디스플레이 본체(10)에 항해를 위한 항해 메뉴들을 표시하며, 메뉴들의 선택에 따른 기능을 처리하기 위한 상기의 프로세서(41)가 구성될 수 있다. 헤드 디플레이부는 투명한 안경 형상의 창 상에 헤드업 디스플레이(43)에 의해 터치 가능한 메뉴 창을 구현하도록 구성된다.The processing terminal unit 40 displays navigational menus for navigation on the head display main body 10, and the processor 41 for processing functions according to selection of menus may be configured. The head deplay unit is configured to implement a menu window touchable by the head-up display 43 on a transparent glasses-shaped window.

사용자는 헤드 업으로 표시된 각종 메뉴들을 손가락이나 음성 인식을 사용하여 선택할 수 있다. 이러한 각종 메뉴는 선박의 항해에 필수적인 메뉴들을 포함한다.The user can select various menus displayed as head-ups using a finger or voice recognition. These various menus include menus essential to the navigation of the ship.

해상의 정보는, 파랑 정보 및/또는 해수 온도를 포함할 수 있다. 실제 해상의 영상에는 선박에 예상되는 파랑 정보가 증강 현실로 미리 표시될 수 있으며, 해수 온도 또한 등온선이나 색상으로 표시될 수 있다.Information on the sea may include blue information and / or sea water temperature. In the actual sea image, the blue information expected on the ship may be displayed in advance in augmented reality, and the sea water temperature may also be displayed in an isotherm or color.

이러한 해상의 정보가 해상 영상과 함께 증강 현실로 헤드 디스플레이 본체(10)에서 제공되며, 항해자가 이를 인식함으로써 항해를 조작하기 위한 정보로서 활용된다.This maritime information is provided in the head display main body 10 in augmented reality together with the maritime image, and is utilized as information for manipulating the voyage by recognizing it.

해상의 정보는, 카메라(20)로부터 네트워크 통신을 통해 외부에서 입력되는 날씨 환경을 더 포함할 수 있다.The maritime information may further include a weather environment input from the outside through the network communication from the camera 20.

처리 단말부(40)는 상기의 프로세서(41)와 무선 데이터 통신을 통해 인터넷이나 항해 센터에 접속되도록 통신 모듈(42)을 포함할 수 있으며, 능동적으로 항해 정보를 검색하여 수신하도록 설정된다.The processing terminal unit 40 may include a communication module 42 to be connected to the Internet or a navigation center through wireless data communication with the processor 41, and is set to actively search for and receive navigation information.

처리 단말부(40)에서 수시되는 날씨 환경에 따른 해상 정보는 예상 시간과 함께 증강 현실로 헤드 디스플레이 본체(10)에 표시되며, 항해자는 이에 대비하여 항해를 지속할 수 있으며, 사고 방지 및 예상 사고에 따른 대비책을 세울 수 있다.The maritime information according to the weather environment often received by the processing terminal unit 40 is displayed on the head display body 10 in augmented reality along with the expected time, and the navigator can continue to prepare for the voyage, and prevent accidents and anticipated accidents You can make preparations according to.

상기의 헤드 디플레이부, 카메라(20), 마이크(30) 및 처리 단말부(40)는 일예로 구글 글라스와 같은 상용제품이 사용될 수 있다. 이러한 구글 글라스는 상기와 같이 헤드업 디스플레이(43)와 통신 및 음성, 카메라(20)와 통신 및 컴퓨터 처리가 포함된 머리 또는 안면에 착용 가능한 것이다.The head deplay unit, the camera 20, the microphone 30, and the processing terminal unit 40, for example, commercial products such as Google Glass may be used. The Google Glass can be worn on the head or face including communication and voice with the head-up display 43, communication with the camera 20, and computer processing as described above.

본 발명의 일 실시예는, 상기와 같은 구글 글라스나 선박에 탑재된 전자해도 시스템(50)이나 외부의 전자해도 시스템(50) 및 GPS 수신기에 연결하여 사용할 수 있다. According to an embodiment of the present invention, the electronic chart system 50 mounted on the Google glass or ship as described above, or the external chart chart system 50 and the GPS receiver may be used.

본 발의 일 실시예에서, 카메라(20)는 구글 글라스와 같이 전방만을 제한적으로 볼 수 있으나, 이에 한정되진 않으며 전방의 듀얼 카메라(21, 22)와 후방 카메라(미도시)를 포함할 수 있다. 듀얼 카메라(21, 22)는 실질적으로 두 눈으로 보는 영상과 같은 영상을 구현하기 위한 것이다. 헤드 디스플레이 본체(10)의 메뉴에 후방 카메라를 사용하기 위한 메뉴를 구성함으로써 후방 카메라에 의한 영상 촬영이 가능하게 된다.In one embodiment of the present invention, the camera 20 is limited to view only the front, such as Google Glass, but is not limited thereto, and may include the front dual cameras 21 and 22 and the rear camera (not shown). The dual cameras 21 and 22 are intended to realize an image that is substantially the same as an image viewed with both eyes. By configuring a menu for using the rear camera in the menu of the head display main body 10, it is possible to take an image by the rear camera.

헤드 디스플레이 본체(10)의 헤드 밴드에 상기와 같은 카메라들이 구성될 수 있으며, 카메라는 측방 카메라가 더 구성될 수도 있다.The above-described cameras may be configured in the head band of the head display body 10, and the side camera may be further configured as the camera.

상기와 같은 본 발명의 일 실시예에 따른 처리 단말부(40)는, 항해자의 머리 또는 시선이 향하는 방향을 인식하는 인식단계, 선박의 위치 및 항해자의 머리 또는 시선방향에 따라 외부 지형에 관한 외부 지형 데이터베이스로부터 외부 영상 데이터 정보를 수신하는 수신단계, 수신된 외부 영상 데이터와 실제 외부 영상과의 일치를 조정하는 정합단계, 및 정합단계를 통해 조정된 외부 영상 데이터의 정보를 실제 외부 영상의 위치인 헤드 디스플레이 본체(10)를 통해 출력하는 출력단계를 포함하여 작동한다.The processing terminal unit 40 according to an embodiment of the present invention as described above, the recognition step of recognizing the direction of the head or gaze of the navigator, the location of the ship and the external or external terrain according to the navigator's head or gaze direction The receiving step of receiving external image data information from the terrain database, the matching step of adjusting the correspondence between the received external image data and the actual external image, and the information of the external image data adjusted through the matching step is the location of the actual external image. It operates by including an output step of outputting through the head display body 10.

이러한 처리 단말부(40)는, 수신단계에서 선박의 항해 위치에 따라 해도 데이터베이스로부터 해도를 수신하되, 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보를 포함하는 전자해도 표시시스템(ECDIS)으로부터 내륙수로, 해저지형, 기상 및 해역 특성 정보를 수신하며, AIS(선박자동식별장치)로부터 해상에 운항되는 타선박들의 정보를 수신한다.In the receiving step, the processing terminal unit 40 receives a chart chart from the chart chart according to the ship's sailing position, but includes an electronic chart display system (ECDIS) including information on inland waterways, seabed topography, weather and sea area characteristics. It receives inland waterway, submarine topography, weather and sea area characteristic information from and receives information of other ships operating at sea from AIS (Automatic Vessel Identification System).

또한 처리 단말부(40)는 정합단계에서 선박의 레이더로부터 외부의 이동물체를 수신하여 실제 외부 영상과 이들 정보들의 표시위치가 일치하도록 정합단계에서 정합과정을 구현하며, 출력단계에서 헤드부 디스플레이를 통해 처리된 각종 정보들을 디스플레이한다.In addition, the processing terminal unit 40 receives an external moving object from the ship's radar in the matching step and implements a matching process in the matching step so that the actual external image and the display position of these information match, and displays the head part in the output step. Displays various information processed through.

처리 단말부(40)는, 외부 정보들(내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보, 선박의 이동속도 및 항로, 타선박의 이송속도 및 항로, 및 이동물체의 이송속도 및 항로)을 종합적으로 계산하여 선박이 항로 계획을 따라 항해할 경우 충돌 가능성이 있는지를 계산하는 계산단계를 더 포함하여 구현될 수 있다.The processing terminal unit 40 includes external information (inland waterway, submarine topography, weather and sea area characteristics, ship's movement speed and route, ship's transport speed and route, and transport object's transport speed and route) ) Can be implemented by further including a calculation step to calculate whether there is a possibility of collision when the ship sails according to the route plan by comprehensively calculating.

한편, 처리 단말부(40)는, 항해자가 미리 설정해 놓은 시간 간격에 따라 선박의 항해 시간에 따른 충돌 가능성을 예측하여 충돌이 예측되면, 항해자에게 알람 신호를 보내는 알람단계를 더 포함하여 구현될 수 있다.On the other hand, the processing terminal unit 40 may be implemented by further including an alarm step of predicting a collision possibility according to a sailing time of a ship according to a time interval set in advance by a navigator, and when an collision is predicted, an alarm signal is sent to the navigator. have.

이에 따라 항해자는 다른 선박과의 충돌 예상에 따른 항로를 변경하거나 충돌을 회피하도록 선체 속도를 조절할 수 있다.Accordingly, the navigator can adjust the hull speed to change the route according to the collision prediction with other ships or to avoid the collision.

10: 헤드 디스플레이 본체 20, 21, 22: 카메라
30: 마이크 40: 처리 단말부
41: 프로세서 42 통신 모듈
43: 헤드업 디스플레이 50: 전자해도 시스템
10: head display body 20, 21, 22: camera
30: microphone 40: processing terminal unit
41: processor 42 communication module
43: head-up display 50: electronic chart system

Claims (10)

머리 또는 안면에 착용 가능하도록 구성되며, 디스플레이부가 있는 헤드 디스플레이 본체;
상기 헤드 디플레이부에 탑재되며, 외부 상황을 포착하도록 구성된 카메라;
상기 헤드 디플레이부에 탑재되며, 음성이 입력되도록 구성된 마이크; 및
외부 기기나 네트워크에 접속되도록 상기 헤드 디플레이부에 탑재되며, 상기 헤드 디플레이부에 대한 디스플레이와 상기 마이크에 입력되는 음성 명령을 처리하며, 선박의 항해를 안내하기 위한 전자 해도를 구현하도록 구성된 처리 단말부를 포함하며,
상기 처리 단말부는 상기 헤드 디플레이부에 전자 해도를 인식 가능하게 표현하되, 상기 카메라로부터 포착된 해상의 정보를 처리한 항해 정보를 상기 카메라에 의해 포착된 해상의 실제 영상과 함께 증강 현실로 표시하는 이동용 통합 항해 정보 제공장치.
It is configured to be worn on the head or face, the head display body having a display unit;
A camera mounted on the head deplay unit and configured to capture an external situation;
A microphone mounted on the head deplay unit and configured to input voice; And
It is mounted on the head deplay unit to be connected to an external device or a network, processes a display for the head deplay unit and a voice command input to the microphone, and is configured to implement an electronic chart for guiding the navigation of the ship It includes a terminal,
The processing terminal unit expresses the electronic chart recognizable on the head display unit, but displays the navigation information processed by the maritime information captured by the camera in augmented reality together with the actual image of the maritime captured by the camera. Integrated navigation information providing device for mobile use.
제1 항에 있어서,
상기 처리 단말부는 상기 헤드 디스플레이 본체에 항해를 위한 항해 메뉴들을 표시하도록 구성되는 이동용 통합 항해 정보 제공장치.
According to claim 1,
The processing terminal unit is configured to display navigation menus for navigation on the head display body, the integrated navigation information providing device for movement.
제2 항에 있어서,
상기 해상의 정보는, 파랑 정보 및 해수 온도 중 어느 하나 이상을 포함하는 이동용 통합 항해 정보 제공장치.
According to claim 2,
The information on the sea, the integrated navigation information providing device for moving, including any one or more of the blue information and seawater temperature.
제3 항에 있어서,
상기 해상의 정보는, 네트워크 통신을 통해 외부에서 입력되는 날씨 환경을 더 포함하는 이동용 통합 항해 정보 제공장치.
According to claim 3,
The maritime information, mobile integrated navigation information providing device further comprises a weather environment input from the outside through a network communication.
제1 항 내지 제4 항 중 어느 한 항에 있어서,
상기 헤드 디플레이부, 카메라, 마이크 및 처리 단말부는 구글 글라스로 마련되는 이동용 통합 항해 정보 제공장치.
The method according to any one of claims 1 to 4,
The head deplay unit, a camera, a microphone, and a processing terminal unit are integrated navigation information providing devices provided with Google Glass.
제1 항에 있어서,
상기 카메라는 복수로서, 전방의 듀얼 카메라와 후방 카메라를 포함하는 이동용 통합 항해 정보 제공장치.
According to claim 1,
The camera is a plurality, the integrated navigation information providing device for mobile, including a dual camera in front and a rear camera.
제1 항에 있어서,
상기 처리 단말부는, 항해자의 머리 또는 시선이 향하는 방향을 인식하는 인식단계, 선박의 위치 및 상기 항해자의 머리 또는 시선방향에 따라 외부 지형에 관한 외부 지형 데이터베이스로부터 외부 영상 데이터를 정보를 수신하는 수신단계, 수신된 상기 외부 영상 데이터와 실제 외부 영상과의 일치를 조정하는 정합단계, 및 상기 정합단계를 통해 조정된 외부 영상 데이터의 정보를 실제 외부 영상의 위치인 헤드 디스플레이 본체를 통해 출력하는 출력단계를 포함하여 작동하는 이동용 통합 항해 정보 제공장치.
According to claim 1,
The processing terminal unit, the recognition step of recognizing the direction of the head or gaze direction of the navigator, receiving step of receiving information from the external terrain data from the external terrain database related to the location of the vessel and the head or the gaze direction of the navigator , A matching step of adjusting the correspondence between the received external image data and a real external image, and an output step of outputting information of the external image data adjusted through the matching step through a head display body that is a location of the actual external image. Integrated navigation information providing device for operation, including.
제7 항에 있어서,
상기 처리 단말부는,
상기 수신단계에서 선박의 항해 위치에 따라 해도 데이터베이스로부터 해도를 수신하되, 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보를 포함하는 전자해도 표시시스템(ECDIS)으로부터 내륙수로, 해저지형, 기상 및 해역 특성 정보를 수신하며, AIS(선박자동식별장치)로부터 해상에 운항되는 타선박들의 정보를 수신하며,
상기 정합단계에서 선박의 레이더로부터 외부의 이동물체를 수신하여 실제 외부 영상과 이들 정보들의 표시위치가 일치하도록 정합단계에서 정합과정을 거치고,
상기 출력단계에서 헤드부 디스플레이를 통해 처리된 각종 정보들을 디스플레이하는 작동하는 이동용 통합 항해 정보 제공장치.
The method of claim 7,
The processing terminal unit,
In the receiving step, a sea chart is received from the sea chart database according to the ship's voyage position, but the inland waterway, seabed terrain, Receives information on weather and sea area characteristics, and receives information on other ships operating on the sea from AIS
In the matching step, an external moving object is received from the ship's radar, and a matching process is performed in the matching step so that the actual external image matches the display position of these information.
Integrated navigation information providing device for operating to display various information processed through the head display in the output step.
제8 항에 있어서,
상기 처리 단말부는, 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보, 선박의 이동속도 및 항로, 타선박의 이송속도 및 항로, 및 이동물체의 이송속도 및 항로를 종합적으로 계산하여 선박이 항로 계획을 따라 항해할 경우 충돌 가능성이 있는지를 계산하는 계산단계를 더 포함하여 구현되는 이동용 통합 항해 정보 제공장치.
The method of claim 8,
The processing terminal unit comprehensively calculates inland waterway, submarine topography, weather and sea area characteristics, ship's moving speed and route, other ship's transport speed and route, and moving object's transport speed and route. An integrated navigation information providing device for movement, which is implemented by further comprising a calculation step of calculating whether there is a possibility of collision when sailing along a route plan.
제8 항에 있어서,
상기 처리 단말부는, 항해자가 미리 설정해 놓은 시간 간격에 따라 선박의 항해 시간에 따른 충돌 가능성을 예측하여 충돌이 예측되면, 항해자에게 알람 신호를 보내는 알람단계를 더 포함하여 구현되는 이동용 통합 항해 정보 제공장치.
The method of claim 8,
The processing terminal unit, the predictor of the collision according to the sailing time of the ship according to the time interval set in advance by the navigator, when the collision is predicted, the integrated navigation information providing device for moving further comprising an alarm step for sending an alarm signal to the navigator .
KR1020180119924A 2018-10-08 2018-10-08 Mobile hmd for providing integration voyage information KR102660973B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180119924A KR102660973B1 (en) 2018-10-08 2018-10-08 Mobile hmd for providing integration voyage information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180119924A KR102660973B1 (en) 2018-10-08 2018-10-08 Mobile hmd for providing integration voyage information

Publications (2)

Publication Number Publication Date
KR20200040089A true KR20200040089A (en) 2020-04-17
KR102660973B1 KR102660973B1 (en) 2024-04-25

Family

ID=70461029

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180119924A KR102660973B1 (en) 2018-10-08 2018-10-08 Mobile hmd for providing integration voyage information

Country Status (1)

Country Link
KR (1) KR102660973B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102223363B1 (en) * 2020-06-16 2021-03-05 이상창 System for automatically berthing ship at pier

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101072397B1 (en) * 2011-07-21 2011-10-11 한국해양연구원 A augmented reality system for vessel using monitor and the method using thereof
KR20110116842A (en) * 2010-04-20 2011-10-26 목포대학교산학협력단 Electronic navigational chart display method of vessels navigation system using augmented reality
KR20140017187A (en) * 2012-07-31 2014-02-11 대우조선해양 주식회사 Ship navigation apparatus using transparent display
KR20150129546A (en) * 2014-05-12 2015-11-20 엘지전자 주식회사 Wearable glass-type device and method of controlling the device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110116842A (en) * 2010-04-20 2011-10-26 목포대학교산학협력단 Electronic navigational chart display method of vessels navigation system using augmented reality
KR101072397B1 (en) * 2011-07-21 2011-10-11 한국해양연구원 A augmented reality system for vessel using monitor and the method using thereof
KR20140017187A (en) * 2012-07-31 2014-02-11 대우조선해양 주식회사 Ship navigation apparatus using transparent display
KR20150129546A (en) * 2014-05-12 2015-11-20 엘지전자 주식회사 Wearable glass-type device and method of controlling the device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102223363B1 (en) * 2020-06-16 2021-03-05 이상창 System for automatically berthing ship at pier

Also Published As

Publication number Publication date
KR102660973B1 (en) 2024-04-25

Similar Documents

Publication Publication Date Title
US20200278433A1 (en) Real-time monitoring of surroundings of marine vessel
US10989537B2 (en) Sonar sensor fusion and model based virtual and augmented reality systems and methods
US11892298B2 (en) Navigational danger identification and feedback systems and methods
JP5816751B2 (en) Augmented reality system for ships using ceiling-movable transparent display and method for realizing the same
KR101072397B1 (en) A augmented reality system for vessel using monitor and the method using thereof
AU2021200630B2 (en) Systems and methods for controlling operations of marine vessels
US20210206459A1 (en) Video sensor fusion and model based virtual and augmented reality systems and methods
CN102589542A (en) Methods and systems for augmented navigation
CN111989547A (en) Determining a virtual representation of at least a portion of an environment
KR100687277B1 (en) Automatic Identification System built in Electronic Chart
JP5102886B2 (en) Image display system, image display method, and program
JP7386041B2 (en) Ship maneuvering support system and method
JP2022173157A (en) Tidal current information display device
US11852476B2 (en) Tidal current information display apparatus and method
Vasiljević et al. Augmented reality in marine applications
US10712159B2 (en) Critical system operations and simulations using wearable immersive augmented reality technology
KR101379636B1 (en) Automatic identification system and method for ship by using image of monocular camera vision
CA2282064A1 (en) A system and method for use with a moveable platform
KR102660973B1 (en) Mobile hmd for providing integration voyage information
CA2279165A1 (en) A system and method for use with a moveable platform
Morgère et al. Mobile augmented reality system for marine navigation assistance
JP2005061893A (en) Vessel navigation supporting system
KR101072393B1 (en) A augmented reality system for vessel using transparent display device and the method using thereof
US11808579B2 (en) Augmented reality based tidal current display apparatus and method
JP2006065831A (en) Operation control method and apparatus for vessel

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant