KR101072393B1 - 투명디스플레이를 이용한 선박용 증강 현실 시스템 및 그 구현 방법 - Google Patents

투명디스플레이를 이용한 선박용 증강 현실 시스템 및 그 구현 방법 Download PDF

Info

Publication number
KR101072393B1
KR101072393B1 KR1020110072432A KR20110072432A KR101072393B1 KR 101072393 B1 KR101072393 B1 KR 101072393B1 KR 1020110072432 A KR1020110072432 A KR 1020110072432A KR 20110072432 A KR20110072432 A KR 20110072432A KR 101072393 B1 KR101072393 B1 KR 101072393B1
Authority
KR
South Korea
Prior art keywords
transparent display
information
external image
ship
ships
Prior art date
Application number
KR1020110072432A
Other languages
English (en)
Inventor
김선영
오재용
박세길
Original Assignee
한국해양연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국해양연구원 filed Critical 한국해양연구원
Priority to KR1020110072432A priority Critical patent/KR101072393B1/ko
Application granted granted Critical
Publication of KR101072393B1 publication Critical patent/KR101072393B1/ko
Priority to PCT/KR2012/005797 priority patent/WO2013012277A2/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G3/00—Traffic control systems for marine craft

Abstract

본 발명에 따른 투명디스플레이를 이용한 선박용 증강 현실 시스템은 선박의 조타실에 설치된 유리창이 투명 디스플레이로 구성되고, 상기 선박의 위치 및 항해자의 머리 및 눈동자 방향을 인식하는 인식부; 상기 선박의 위치 및 상기 항해자의 머리 및 눈동자 방향에 따라 외부 지형에 관한 외부지형 데이터베이스로부터 외부 영상 데이터를 정보를 수신하는 수신부; 상기 수신부로 수신된 상기 외부 영상 데이터와 상기 유리창을 통한 실제 외부 영상과의 일치를 조정하는 정합부; 및 상기 정합부를 통해 조정된 상기 외부 영상 데이터의 정보를 상기 실제 외부 영상의 위치에 상기 투명 디스플레이를 통해 출력하는 출력부를 포함하는 것을 특징으로 한다.

Description

투명디스플레이를 이용한 선박용 증강 현실 시스템 및 그 구현 방법{A Augmented Reality System for vessel using transparent display device and the method using thereof}
본 발명은 투명디스플레이를 이용한 선박용 증강 현실 시스템 및 그 구현 방법에 관한 것이다.
증강현실(增强現實: Augmented Reality)이란 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 새로운 환경을 생성한다. 현실환경과 가상환경을 융합하는 증강현실 시스템은 1990년대 후반부터 미국·일본을 중심으로 연구·개발이 진행되고 있다. 현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가제공하는 역할을 한다.
또한, 현실환경과 가상환경을 동시에 디스플레이하기 위한 투명 디스플레이 장치에 있어서도 최근 디스플레이 기술의 발달로 인하여 투명 전자 소자를 이용한 투명 디스플레이 장치가 개발되었다. 투명 디스플레이 장치는 투명한 유리 또는 투명한 플라스틱 상에 투명 전극, 투명 반도체 및 투명 절연체 등을 적층하여 구현한다. 발광면은 유기물 발광 소자(OLED : Organic Light Emitting Diode), 무기물 발광 소자(LED :Light Emitting Diode) 또는 액정(LCD : Liquid Crystal Display) 등으로 이루어진다.
선박 항행 시스템에 있어서 종래 기술은 대한민국 특허출원번호 제10-2007-0037443호의 "파랑정보를 구비하는 ＥＣＤＩＳ에 의한 선박 안전운항방법"에 개시된 바와 같이, 레이더를 통해 파랑정보를 정확하게 계측하고, 이러한 정보를 ＥＣＤＩＳ를 통해 표시함과 동시에 서로 공유하며, 파랑정보와 ＥＣＤＩＳ 정보를 통해 선박운항의 안정성을 향상시킬 수 있는 파랑정보를 구비하는 ＥＣＤＩＳ에 의한 선박 안전운항방법을 제공한다.
그러나, 이러한 선박 운항의 안정성을 향상시키기 위해 전자해도표시시스템(ECDIS)만으로는 한계가 있고, 현실환경에 관한 다양한 정보 및 선박을 운행함에 있어 필요한 가상의 정보들을 동시에 디스플레이하여 급박한 순간에서의 선장의 판단력을 도와주어 선박의 안정성을 확보하고, 선박 운항의 효율성과 정확성을 확대시키기 위해서는 증강 현실 시스템의 적용이 필요하다.
본 발명은 이러한 종래기술의 문제점을 해결하기 위한 투명디스플레이를 이용한 선박용 증강 현실 시스템 및 증강 현실 구현 방법에 관한 것으로서, 이를 통해 사용자가 바라보는 선박 외부의 배경과 사물에 이들의 정보를 가상 환경으로 덧입혀 항행에 필요한 정보들을 한 눈에 볼 수 있도록 하여 다양하고 복잡한 항해 정보를 직관적으로 판단가능하도록 하여 선박 운항의 안정성을 확보하고, 운항 부주의로 인한 사고를 미연에 방지하고자 하는데 그 목적이 있다.
상기한 바와 같은 목적을 달성하기 위해 본 발명에 따른 투명디스플레이를 이용한 선박용 증강 현실 시스템은 선박의 조타실의 유리창에 설치된 투명 디스플레이; 상기 선박의 위치 및 항해자의 머리 및 눈동자 방향을 인식하는 인식부; 상기 선박의 위치 및 상기 항해자의 머리 및 눈동자 방향에 따라 외부 지형에 관한 외부지형 데이터베이스로부터 외부 영상 데이터를 정보를 수신하는 수신부; 상기 수신부로 수신된 상기 외부 영상 데이터와 상기 유리창을 통한 실제 외부 영상이 일치되도록 조정하는 정합부; 및 상기 정합부를 통해 조정된 상기 외부 영상 데이터의 정보를 상기 실제 외부 영상의 위치에 상기 투명 디스플레이를 통해 출력하는 출력부를 포함하는 것을 특징으로 한다.
또한 본 발명에 따르면, 상기 인식부는 GPS시스템을 포함하여 상기 선박의 이동속도와 위치를 인식하고, 상기 항해자의 머리 및 시선 방향을 인식하는 인식 센서를 포함하는 것을 특징으로 한다.
또한 본 발명에 따르면, 상기 외부 영상 데이터는 3D 데이터로 구성된 것을 특징으로 한다.
또한 본 발명에 따르면, 상기 수신부는 상기 선박의 항해 위치에 따라 해도 데이터베이스로부터 해도를 수신하고, 상기 해도를 상기 정합부에서 실제 외부 영상과 일치되도록 조정하여, 상기 출력부는 상기 투명 디스플레이를 통해 상기 선박의 항로를 표시하는 것을 특징으로 한다.
또한 본 발명에 따르면, 상기 수신부는 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보를 포함하는 전자해도표시 시스템(ECDIS)으로부터 상기 내륙수로, 해저지형, 기상 및 해역 특성 정보를 수신하고, 상기 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보를 상기 정합부에서 실제 외부 영상과 일치되도록 조정하여, 상기 출력부를 통해 상기 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보를 상기 투명 디스플레이에 출력하는 것을 특징으로 한다.
또한 본 발명에 따르면, 상기 수신부는 AIS(선박자동식별장치)로부터 해상에 운항되는 타선박들의 정보를 수신하고, 상기 타선박들의 정보를 상기 정합부에서 실제 외부 영상과 일치되도록 조정하여, 상기 출력부를 통해 상기 투명 디스플레이에 출력하는 것을 특징으로 한다.
또한 본 발명에 따르면, 상기 정합부는 미리 설정된 타선박의 사이즈별 템플릿에 따라 상기 AIS로부터 수신된 타선박들의 사이즈를 조절하여 상기 출력부를 통해 상기 투명 디스플레이에 출력하는 것을 특징으로 한다.
또한 본 발명에 따르면, 상기 수신부는 레이더로부터 외부의 이동물체를 수신하고, 상기 이동물체의 이동속도 및 위치를 상기 정합부에서 실제 외부 영상과 일치되도록 조정하며, 상기 출력부를 통해 상기 투명 디스플레이에 출력하는 것을 특징으로 한다.
또한 본 발명에 따르면, 상기 이동물체는 상기 AIS로부터 수신된 타선박이 아닌 경우에, 상기 정합부에서 실제 외부 영상과 일치되도록 조정하고, 상기 출력부를 통해 상기 투명 디스플레이에 출력하는 것을 특징으로 한다.
또한 본 발명에 따르면, 상기 선박의 외부 조도가 미리 셋팅된 값보다 낮은 경우, 상기 실제 외부 영상의 위치에 미리 설정된 템플릿을 이용하여 표시하는 것을 특징으로 한다.
본 발명에 따른 또 다른 실시예로서, 투명디스플레이를 이용한 선박용 증강 현실 시스템은 선박의 조타실의 유리창에 설치된 투명 디스플레이; 상기 선박의 위치 및 항해자의 머리 및 눈동자 방향을 인식하는 인식부; 상기 선박의 위치 및 상기 항해자의 머리 및 눈동자 방향에 따라 외부 지형에 관한 외부지형 데이터베이스로부터 외부 영상 데이터를 정보를 수신하는 수신부; 상기 수신부로 수신된 상기 외부 영상 데이터와 상기 유리창을 통한 실제 외부 영상이 일치되도록 조정하는 정합부; 및 상기 정합부를 통해 조정된 상기 외부 영상 데이터의 정보를 상기 실제 외부 영상의 위치에 상기 투명 디스플레이를 통해 출력하는 출력부를 포함하고, 상기 수신부는 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보, 상기 선박의 이동속도 및 항로, 타선박의 이송속도 및 항로, 및 이동물체의 이송속도 및 항로를 수신하여 계산하는 계산부를 포함하며, 미리 설정된 시간간격에 따라 상기 선박의 시간에 따른 충돌을 예측하는 것을 특징으로 한다.
또한 본 발명에 따르면, 상기 충돌은 상기 해저지형과의 충돌, 상기 타선박과의 충돌, 상기 기상에 따른 조난, 상기 해역 특성에 따른 조난, 상기 외부 지형과의 충돌을 포함하는 것을 특징으로 한다.
또한 본 발명에 따르면, 상기 충돌이 예측되는 경우, 알람기능을 하는 알람부를 포함하는 것을 특징으로 한다.
또한 본 발명에 따르면, 상기 알람부에서 알람기능이 작동한 경우, 상기 선박의 항로를 자동 수정하도록 하는 제어 신호를 항법제어장치로 송신하는 제어부를 포함하는 것을 특징으로 한다.
본 발명에 따른 투명디스플레이를 이용한 선박용 증강 현실 구현 방법은 선박의 조타실의 유리창에 설치된 투명 디스플레이; 상기 선박의 위치 및 항해자의 머리 및 눈동자 방향을 인식하는 인식단계; 상기 선박의 위치 및 상기 항해자의 머리 및 눈동자 방향에 따라 외부 지형에 관한 외부 지형 데이터베이스로부터 외부 영상 데이터를 정보를 수신하는 수신단계; 상기 수신부로 수신된 상기 외부 영상 데이터와 상기 유리창을 통한 실제 외부 영상과의 일치를 조정하는 정합단계; 및 상기 정합부를 통해 조정된 상기 외부 영상 데이터의 정보를 상기 실제 외부 영상의 위치에 상기 투명 디스플레이를 통해 출력하는 출력단계를 포함하는 것을 특징으로 한다.
또한 본 발명에 따르면, 상기 수신단계는 상기 선박의 항해 위치에 따라 해도 데이터베이스로부터 해도를 수신하고, 상기 해도를 상기 정합단계에서 실제 외부 영상과 일치되도록 조정하여, 상기 출력단계는 상기 투명 디스플레이를 통해 상기 선박의 항로를 표시하는 것을 특징으로 한다.
또한 본 발명에 따르면, 상기 수신단계는 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보를 포함하는 전자해도표시 시스템(ECDIS)으로부터 상기 내륙수로, 해저지형, 기상 및 해역 특성 정보를 수신하고, 상기 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보를 상기 정합단계에서 실제 외부 영상과 일치되도록 조정하여, 상기 출력단계를 통해 상기 내륙수로, 해저지형, 기상 및 해역 특성 정보를 상기 투명 디스플레이에 출력하는 것을 특징으로 한다.
또한 본 발명에 따르면, 상기 수신단계는 AIS(선박자동식별장치)로부터 해상에 운항되는 타선박들의 정보를 수신하고, 상기 타선박들의 정보를 상기 정합단계에서 실제 외부 영상과 일치되도록 조정하여, 상기 출력단계를 통해 상기 투명 디스플레이에 출력하는 것을 특징으로 한다.
또한 본 발명에 따르면, 상기 수신단계는 레이더로부터 외부의 이동물체를 수신하고, 상기 이동물체의 이동속도 및 위치를 상기 정합단계에서 실제 외부 영상과 일치되도록 조정하며, 상기 출력단계를 통해 상기 투명 디스플레이에 출력하는 것을 특징으로 한다.
또한 본 발명에 따르면, 상기 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보, 상기 선박의 이동속도 및 항로, 상기 타선박의 이송속도 및 항로, 및 상기 이동물체의 이송속도 및 항로를 계산하는 계산단계를 포함하여 미리 설정된 시간간격에 따라 상기 선박의 시간에 따른 충돌을 예측하는 것을 특징으로 한다.
또한 본 발명에 따르면, 상기 충돌은 상기 해저지형과의 충돌, 상기 타선박과의 충돌, 상기 기상에 따른 조난, 상기 해역 특성에 따른 조난, 상기 외부 지형과의 충돌을 포함하고, 상기 충돌 예측 발견시, 알람기능을 하는 알람단계를 포함하는 것을 특징으로 한다.
또한 본 발명에 따르면, 상기 알람단계에서 알람기능이 작동한 경우, 상기 선박의 항로를 자동 수정하도록 하는 제어 신호를 항법제어장치로 송신하는 제어단계를 포함하는 것을 특징으로 한다.
본 발명의 목적은, 사용자가 바라보는 배경 및 사물에 가상 환경을 덧입혀 종래 기술에 비하여 좀 더 현실적인 증강 현실을 구현하기 위한 장치 및 방법을 제공하는데 있다.
또한, 다양한 선박 사고의 원인 중 운항 부주의에 의한 사고가 많은 부분을 차지하는데 이는 항해자가 느끼는 피로감 때문으로 파악되고 있고, 본 발명에 따른 투명디스플레이를 이용한 선박용 증강 현실 시스템은 다양하고 복잡한 항해 정보들을 항해자가 한 눈에 보고 파악할 수 있도록 함으로써, 직관적 판단 능력을 향상시켜 해양 사고를 방지하는 효과가 있다.
도 1은 본 발명에 따른 투명디스플레이를 이용한 선박용 증강 현실 시스템의 블럭도이다.
도 2는 본 발명에 따른 투명디스플레이의 개략도이다.
도 3은 본 발명에 따른 투명디스플레이를 이용한 선박용 증강 현실 시스템의 다른 실시예의 블럭도이다.
도 4는 본 발명에 따른 투명디스플레이를 이용한 선박용 증강 현실 시스템의 개략도이다.
도 5는 본 발명에 따른 투명디스플레이를 이용한 선박용 증강 현실 구현방법에 관한 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 우선, 도면들 중 동일한 구성요소 또는 부품들은 가능한 한 동일한 참조부호를 나타내고 있음에 유의해야 한다. 본 발명을 설명함에 있어서 관련된 공지기능 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 모호하게 하지 않기 위해 생략한다.
증강현실 기술은 실사 영상과 가상영상을 합성하여 표현하는 기술이며, 항해자가 바라보는 외부 영상에 항해 지원 정보를 중첩 출력함으로써 보다 직관적인 정보의 제공이 가능하다.
증강현실 기술 기반 지능형 항해 지원 시스템은 CCTV 카메라 및 투명 디스플레이용 영상 합성 기술, 3차원 정합 기술, 센서 데이터 융합 기술과 지능형 항법 기술을 결합하여 항행 정보를 항해자가 이해하기 쉬운 형태로 제공함으로써 항행안전 및 정보 전달 효율을 향상시킬 수 있는 새로운 개념의 항해시스템이다.
증강현실(AR) 기술을 활용한 항해 지원 시스템은 실제 시각정보와 가상정보를 정합(Registration)해야 하는데, 시각 정보의 위치는 사용자의 위치 및 시선 방향에 따라 달라지므로, 카메라 혹은 다양한 센서 등을 이용하여 사용자의 위치 및 시선 방향을 정확히 찾아 내야 한다.
증강현실(AR) 기술을 활용한 항행정보 제공 시스템은 실시간 해상정보제공 시스템, 전자해도, AIS 등을 이용하여 선박의 충돌회피, 해상교통 흐름 관제, 선박 모니터링 등에 활용할 수 있다.
도 1은 본 발명에 따른 투명디스플레이를 이용한 선박용 증강 현실 시스템의 블럭도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 투명디스플레이를 이용한 선박용 증강 현실 시스템(1)은 투명 디스플레이(100), 인식부(200), 수신부(300), 정합부(400), 출력부(500)를 포함하고,
인식부(200)에서는 GPS 시스템을 이용하여 현재 선박의 이동 속도와 위치를 인식하고, 항해자의 머리 방향 및 시선방향을 인식할 수 있도록 구성된 인식 센서로부터 항해자의 시선 방향을 감지하여 인식한다.
인식센서는 항해자의 시선방향을 인식하기 위해 눈동자 인식 카메라와 항해자의 머리 방향을 인식하기 위한 인식 카메라가 별도로 구성될 수도 있고, 항해자 시선과 머리 방향을 함께 인식하는 하나의 센서일 수도 있다.
수신부(300)는 선박의 위치, 항해자의 머리 및 눈동자 방향에 따라 유리창별로 외부 지형에 관한 외부지형 데이터베이스(DB)로부터 외부 영상 데이터를 수신한다.
수신된 외부 영상 데이터와 유리창을 통해 항해자가 바라보는 실제 외부 영상간의 위치를 서로 정확하게 일치시키는 정합과정을 정합부(400)에서 수행하고, 출력부(500)는 정합부(400)에서 일치된 외부 영상 데이터의 다양한 정보, 즉 육지에 관한 정보, 부표에 관한 정보등을 투명 디스플레이(100)를 통해 실제 외부 영상의 위치에 출력하게 된다.
실제 외부 영상과의 정합과정에 효과적으로 적용시키고, 항해자가 실제 항행 정보를 쉽게 볼 수 있도록 하기 위해 외부 영상 데이터는 3D 데이터로 구성되는 것이 바람직하다. 즉 외부 지형에 관한 외부 지형 데이터베이스(DB) 구축이 3D 데이터로 구축되는 것이 바람직하다.
도 2는 본 발명에 따른 투명디스플레이의 개략도이다.
도 2에 도시된 바와 같이, 투명 디스플레이(100)를 통해 다양한 항행 정보가 표시될 수 있고, 다양한 항행 정보에는 선박의 항로, 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보, 타선박들의 정보, 현재 운항 위치 정보등을 포함할 수 있다.
다양한 항행 정보 중 선박의 항로 계획에 관한 정보수집은 본 발명에 따른 수신부(300)가 선박의 항해 위치에 따라 해도 데이터베이스(DB)로부터 해도를 수신하고, 정합부(400)에서는 수신된 해도를 실제 외부 영상과 일치되도록 조정한다.
출력부(500)는 실제 외부 영상과 수신된 해도간의 조정을 통해 해도의 정확한 위치를 투명 디스플레이(100)를 통해 선박의 항로를 표시하게 된다.
또한, 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보의 수집은 마찬가지로 수신부(300)가 전자해도표시 시스템(ECDIS)으로부터 수신하고,
정합부(400)에서는 수신된 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보를 실제 외부 영상의 위치와 일치되도록 조정한다.
출력부(500)는 실제 외부 영상과 수신된 내륙수로, 해저지형, 기상 및 해역 특성간의 조정을 통해 내륙수로, 해저지형, 기상 및 해역 특성을 투명 디스플레이(100)를 통해 표시하게 된다.
또한, 해상에 운항되는 타선박들에 관한 정보의 수집도 수신부(300)가 AIS(선박자동식별장치)로부터 수신하고,
정합부(400)에서는 수신된 타선박들에 관한 정보를 실제 외부 영상의 위치와 일치되도록 조정한다.
출력부(500)는 실제 외부 영상과 수신된 타선박들에 관한 정보간의 조정을 통해 타선박들에 관한 정보를 투명 디스플레이(100)를 통해 표시하게 된다.
여기서, 수집된 타선박들의 사이즈에 따라 정합부(400)는 미리 설정된 타선박의 사이즈별 템플릿을 선택조정하여 출력부(500)를 통해 투명 디스플레이(100)에 표시하게 된다.
템플릿은 선박을 크기와 종류로 분류하여 미리 모델링해 놓은 것을 말하고, 모든 선박에 대한 3차원 모델을 만들 수 없기 때문이다. 외부 조도가 낮은 상황에서는 이러한 선박 템플릿과 3차원 가상 지형 정보가 함께 출력되며, 이 영상이 실제 외부 영상을 대신할 수 있는 가상현실 기능을 한다.
이렇게 미리 타선박의 사이즈에 따라 템플릿을 구성해 놓으면, 야간 운항시 실제로 AIS로 통해 수집된 정보에서는 타선박이 근처에서 운항하는 것으로 표시되더라도 항해자의 육안으로는 식별이 되지 않아 얼마나 가까이에 어느정도 사이즈의 타선박이 와 있는지 직감하기 어려운데 템플릿으로 투명 디스플레이(100)에 표시를 해 주면 항해자의 운항 정보 수집과 판단에 있어서 도움이 된다.
선박의 운항시간이 야간이거나 날씨가 흐려 시계가 나쁜 날과 같이 외부 조도가 낮은 기준을 항해자가 미리 셋팅해 놓고, 조도 센서를 통해 외부 조도를 실시간으로 센싱하다가 센싱된 외부조도가 미리 셋팅된 값보다 낮은 경우에는 실제 외부 영상이 항해자의 육안으로 제대로 판별이 되지 않음을 의미하고 이를 보완하기 위해 미리 설정된 템플릿을 이용하여 실제 외부 영상을 디스플레이한다.
참고로 해상인명안전협약(Solars)에 의해 여객선, 100m 이상의 선박등의 경우에는 선박에 관한 정보를 의무적으로 외부로 송신하게 되어 있고, 이러한 타선박들의 선박 운항 정보를 AIS를 통해 수집하게 된다. AIS란 선박자동식별장치(Automatic Identification System)로서, 선박의 위치, 침로, 속력 등 항해 정보를 실시간으로 제공하는 첨단 장치이다. 이는 해상에서 선박의 충돌을 방지하기 위한 장치로서, 국제 해사 기구(IMO)에 따라 선박 의무 설치사항이며, 선박 자동 식별 장치(AIS)가 도입으로, 인접한 선박을 인식할 수 없는 경우에도 타선의 존재와 진행 상황 판단이 가능하다.
AIS를 통해 수집가능한 타선박 이외의 소형 선박이나, 선박 이외의 해상에서 표류하는 이동 물체에 관한 정보 수집은 수신부(300)가 레이더로부터 수신하여, 이동물체의 이동속도 및 위치를 정합부(400)에서 실제 외부 영상과 일치되도록 조정한 후, 출력부(500)를 통해 투명 디스플레이(100)에 출력한다.
도 3은 본 발명에 따른 투명디스플레이를 이용한 선박용 증강 현실 시스템의 다른 실시예의 블럭도이다.
도 3에 도시된 바와 같이, 본 발명에 따른 투명디스플레이를 이용한 선박용 증강 현실 시스템은 투명 디스플레이(100), 인식부(200), 수신부(300), 정합부(400), 출력부(500) 이외에 계산부(600)를 더 포함할 수 있다.
전자해도표시 시스템(ECDIS)으로부터 수신부(300)가 전자해도표시 시스템(ECDIS)으로부터 수신하여 수집한 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보, GPS를 통해 인식부(200)가 인식한 현재 선박의 이동속도 및 항로 정보, 수신부(300)가 선박의 항해 위치에 따른 해도 데이터베이스(DB)로부터 수신하여 수집한 해도에 관한 정보, 수신부(300)가 AIS를 통해 수신하여 수집한 해상에 운항되는 타선박들에 관한 정보를 종합하여 계산부(600)가 선박의 항로 계획에 따른 타선박이나 이동물체, 내륙수로, 암초와 같은 해저지형에 의한 충돌 가능성을 계산하게 된다.
항해자는 계산부(600)에서 충돌 가능성에 대한 계산을 일정 시간 간격으로 수행하도록 시간 간격을 미리 설정할 수 있고, 선박의 진행 시간에 따라 셋팅된 시간 간격으로 충돌을 예측가능하게 한다.
여기서, 충돌이란 해저지형과의 충돌, 타선박과의 충돌, 기상악화에 따른 조난, 소용돌이, 물살의 속도 등과 같은 해역 특성에 따른 조난, 육지, 섬과 같은 외부 지형과의 충돌등을 의미한다.
충돌가능성이 발견되면 항해자에게 이를 경고하는 알람기능을 하는 알람부(700)를 포함할 수 있다.
알람은 투명 디스플레이(100)에 화면 깜박임과 같은 화상 알람을 사용하거나, 소리 알람을 사용한다. 이들을 모두 사용할 수도 있고, 이러한 알람의 종류를 항해자가 선택할 수도 있다.
또한, 충돌이 예측되어 알람부(700)에서 알람기능이 작동한 경우, 선박의 항로 계획을 자동 수정하도록 하는 제어 신호를 항법제어장치에 송신하는 제어부(800)를 추가로 포함할 수 있다.
이를 통해 본 발명에 따른 투명디스플레이를 이용한 선박용 증강 현실 시스템은 항해자에게 항해에 필요한 종합적인 정보를 한 눈에 실제 영상과 함께 제공하여 직관적 판단을 높이고, 항해자의 실수까지도 항로 자동 조정 기능을 통해 미연에 방지함으로써, 해상 충돌을 차단할 수 있다.
도 4는 본 발명에 따른 투명디스플레이를 이용한 선박용 증강 현실 시스템의 개략도이다.
도 4에 도시된 바와 같이 항해자는 선박의 조타실의 유리창에 설치된 투명 디스플레이(100)에 표시된 다양한 정보와 실제 외부 영상을 한 눈에 볼 수 있다.
도 5는 본 발명에 따른 투명디스플레이를 이용한 선박용 증강 현실 구현방법에 관한 순서도이다.
도 5에 도시된 바와 같이, 투명디스플레이를 이용한 선박용 증강 현실 구현방법은 선박의 위치 및 상기 항해자의 머리 및 눈동자 방향을 인식하는 인식단계(S100), 선박의 위치 및 상기 항해자의 머리 및 눈동자 방향에 따라 외부 지형에 관한 외부 지형 데이터베이스로부터 외부 영상 데이터를 정보를 수신하는 수신단계(S200), 수신부로 수신된 상기 외부 영상 데이터와 상기 유리창을 통한 실제 외부 영상과의 일치를 조정하는 정합단계(S300), 및 정합단계(S300)를 통해 조정된 외부 영상 데이터의 정보를 실제 외부 영상의 위치에 투명 디스플레이를 통해 출력하는 출력단계(S400)를 포함한다.
수신단계(S200)는 선박의 항해 위치에 따라 해도 데이터베이스로부터 해도를 수신하고, 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보를 포함하는 전자해도표시 시스템(ECDIS)으로부터 내륙수로, 해저지형, 기상 및 해역 특성 정보를 수신하며, AIS(선박자동식별장치)로부터 해상에 운항되는 타선박들의 정보를 수신하고, 레이더로부터 외부의 이동물체를 수신하여 실제 외부 영상과 이들 정보들의 표시위치가 일치하도록 정합단계(S300)에서 정합과정을 거치고, 출력단계(S400)에서 투명 디스플레이를 통해 각종 정보들을 디스플레이하게 된다.
이러한 다양한 외부 정보들, 예를 들면 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보, 선박의 이동속도 및 항로, 타선박의 이송속도 및 항로, 및 이동물체의 이송속도 및 항로를 종합적으로 계산하여 선박이 항로계획대로 항해할 경우 충돌을 계산하는 계산단계(S500)을 더 포함할 수 있다.
항해자가 미리 설정해 놓은 시간 간격에 따라 선박의 항해 시간에 따른 충돌을 예측하여 충돌 가능성이 예측되면, 항해자에게 알람신호를 보내는 알람단계(S600)를 더 포함할 수 있다.
여기서 충돌은 해저지형과의 충돌, 타선박과의 충돌, 기상에 따른 조난, 해역 특성에 따른 조난, 외부 지형과의 충돌 등이 있을 수 있고 이에 한정되는 것은 아니다.
알람단계(S600)에서 알람기능이 작동한 경우, 선박의 항로 계획을 수정하도록 제어 신호를 항법제어장치에 송신하는 제어단계(S700)을 더 포함할 수도 있다.
이상에서 본 발명은 특정의 실시예와 관련하여 도시 및 설명하였지만, 첨부된 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도내에서 다양한 변경, 개조 및 변화가 가능하다는 것을 당 업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.
1: 투명디스플레이를 이용한 선박용 증강 현실 시스템
100: 투명 디스플레이 200: 인식부
300: 수신부 400: 정합부
500: 출력부 600: 계산부
700: 알람부 800: 제어부
S100: 인식단계 S200: 수신단계
S300: 정합단계 S400: 출력단계
S500: 계산단계 S600: 알람단계
S700: 제어단계

Claims (22)

  1. 선박의 조타실의 유리창에 설치된 투명 디스플레이;
    상기 선박의 위치 및 항해자의 머리 및 눈동자 방향을 인식하는 인식부;
    상기 선박의 위치 및 상기 항해자의 머리 및 눈동자 방향에 따라 외부 지형에 관한 외부지형 데이터베이스로부터 외부 영상 데이터를 정보를 수신하는 수신부;
    상기 수신부로 수신된 상기 외부 영상 데이터와 상기 유리창을 통한 실제 외부 영상이 일치되도록 조정하는 정합부; 및
    상기 정합부를 통해 조정된 상기 외부 영상 데이터의 정보를 상기 실제 외부 영상의 위치에 상기 투명 디스플레이를 통해 출력하는 출력부를 포함하고,
    상기 수신부는 레이더로부터 외부의 이동물체를 수신하고,
    상기 이동물체의 이동속도 및 위치를 상기 정합부에서 실제 외부 영상과 일치되도록 조정하며,
    상기 출력부를 통해 상기 이동물체를 상기 투명 디스플레이에 출력하는 것을 특징으로 하는 투명디스플레이를 이용한 선박용 증강 현실 시스템.
  2. 제1항에 있어서,
    상기 인식부는 GPS시스템을 포함하여 상기 선박의 이동속도와 위치를 인식하고,
    상기 항해자의 머리 및 시선 방향을 인식하는 인식 센서를 포함하는 것을 특징으로 하는 투명디스플레이를 이용한 선박용 증강 현실 시스템.
  3. 제2항에 있어서,
    상기 외부 영상 데이터는 3D 데이터로 구성된 것을 특징으로 하는 투명디스플레이를 이용한 선박용 증강 현실 시스템.
  4. 제3항에 있어서,
    상기 수신부는 상기 선박의 항해 위치에 따라 해도 데이터베이스로부터 해도를 수신하고,
    상기 해도를 상기 정합부에서 실제 외부 영상과 일치되도록 조정하여,
    상기 출력부는 상기 투명 디스플레이를 통해 상기 선박의 항로를 표시하는 것을 특징으로 하는 투명디스플레이를 이용한 선박용 증강 현실 시스템.
  5. 제4항에 있어서,
    상기 수신부는 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보를 포함하는 전자해도표시 시스템(ECDIS)으로부터 상기 내륙수로, 해저지형, 기상 및 해역 특성 정보를 수신하고,
    상기 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보를 상기 정합부에서 실제 외부 영상과 일치되도록 조정하여,
    상기 출력부를 통해 상기 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보를 상기 투명 디스플레이에 출력하는 것을 특징으로 하는 투명디스플레이를 이용한 선박용 증강 현실 시스템.
  6. 제5항에 있어서,
    상기 수신부는 AIS(선박자동식별장치)로부터 해상에 운항되는 타선박들의 정보를 수신하고,
    상기 타선박들의 정보를 상기 정합부에서 실제 외부 영상과 일치되도록 조정하여,
    상기 출력부를 통해 상기 타선박들의 정보를 상기 투명 디스플레이에 출력하는 것을 특징으로 하는 투명디스플레이를 이용한 선박용 증강 현실 시스템.
  7. 제6항에 있어서,
    상기 정합부는 미리 설정된 타선박의 사이즈별 템플릿에 따라 상기 AIS로부터 수신된 타선박들의 사이즈를 조절하여 상기 출력부를 통해 상기 타선박들을 템플릿으로 상기 투명 디스플레이에 출력하는 것을 특징으로 하는 투명디스플레이를 이용한 선박용 증강 현실 시스템.
  8. 삭제
  9. 제7항에 있어서,
    상기 이동물체는 상기 AIS로부터 수신된 타선박이 아닌 경우에, 상기 정합부에서 실제 외부 영상과 일치되도록 조정하고,
    상기 출력부를 통해 상기 이동물체를 상기 투명 디스플레이에 출력하는 것을 특징으로 하는 투명디스플레이를 이용한 선박용 증강 현실 시스템.
  10. 제9항에 있어서,
    상기 선박의 외부 조도가 미리 셋팅된 값보다 낮은 경우, 상기 실제 외부 영상의 위치에 미리 설정된 템플릿을 이용하여 표시하는 것을 특징으로 하는 투명디스플레이를 이용한 선박용 증강 현실 시스템.
  11. 선박의 조타실의 유리창에 설치된 투명 디스플레이;
    상기 선박의 위치 및 항해자의 머리 및 눈동자 방향을 인식하는 인식부;
    상기 선박의 위치 및 상기 항해자의 머리 및 눈동자 방향에 따라 외부 지형에 관한 외부지형 데이터베이스로부터 외부 영상 데이터를 정보를 수신하는 수신부;
    상기 수신부로 수신된 상기 외부 영상 데이터와 상기 유리창을 통한 실제 외부 영상이 일치되도록 조정하는 정합부; 및
    상기 정합부를 통해 조정된 상기 외부 영상 데이터의 정보를 상기 실제 외부 영상의 위치에 상기 투명 디스플레이를 통해 출력하는 출력부를 포함하고,
    상기 수신부는 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보, 상기 선박의 이동속도 및 항로, 타선박의 이송속도 및 항로, 및 이동물체의 이송속도 및 항로를 수신하여 계산하는 계산부를 포함하며,
    미리 설정된 시간간격에 따라 상기 선박의 시간에 따른 상기 해저지형과의 충돌, 상기 타선박과의 충돌, 상기 기상에 따른 조난, 상기 해역 특성에 따른 조난, 상기 외부 지형과의 충돌을 예측하는 것을 특징으로 하는 투명디스플레이를 이용한 선박용 증강 현실 시스템.
  12. 삭제
  13. 제11항에 있어서,
    상기 충돌이 예측되는 경우, 알람기능을 하는 알람부를 포함하는 것을 특징으로 하는 투명디스플레이를 이용한 선박용 증강 현실 시스템.
  14. 제13항에 있어서,
    상기 알람부에서 알람기능이 작동한 경우, 상기 선박의 항로를 자동 수정하도록 하는 제어 신호를 항법제어장치로 송신하는 제어부를 포함하는 것을 특징으로 하는 투명디스플레이를 이용한 선박용 증강 현실 시스템.
  15. 선박의 조타실의 유리창에 설치된 투명 디스플레이를 이용한 선박용 증강 현실 구현방법에 있어서,
    상기 선박의 위치 및 항해자의 머리 및 눈동자 방향을 인식하는 인식단계;
    상기 선박의 위치 및 상기 항해자의 머리 및 눈동자 방향에 따라 외부 지형에 관한 외부지형 데이터베이스로부터 외부 영상 데이터를 정보를 수신하는 수신단계;
    상기 수신부로 수신된 상기 외부 영상 데이터와 상기 유리창을 통한 실제 외부 영상과의 일치를 조정하는 정합단계; 및
    상기 정합부를 통해 조정된 상기 외부 영상 데이터의 정보를 상기 실제 외부 영상의 위치에 상기 투명 디스플레이를 통해 출력하는 출력단계를 포함하고,
    상기 수신단계는 레이더로부터 외부의 이동물체를 수신하고,
    상기 이동물체의 이동속도 및 위치를 상기 정합단계에서 실제 외부 영상과 일치되도록 조정하며,
    상기 출력단계를 통해 상기 이동물체를 상기 투명 디스플레이에 출력하는 것을 특징으로 하는 투명디스플레이를 이용한 선박용 증강 현실 구현방법.
  16. 제15항에 있어서,
    상기 수신단계는 상기 선박의 항해 위치에 따라 해도 데이터베이스로부터 해도를 수신하고,
    상기 해도를 상기 정합단계에서 실제 외부 영상과 일치되도록 조정하여,
    상기 출력단계는 상기 투명 디스플레이를 통해 상기 선박의 항로를 표시하는 것을 특징으로 하는 투명디스플레이를 이용한 선박용 증강 현실 구현 방법.
  17. 제16항에 있어서,
    상기 수신단계는 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보를 포함하는 전자해도표시 시스템(ECDIS)으로부터 상기 내륙수로, 해저지형, 기상 및 해역 특성 정보를 수신하고,
    상기 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보를 상기 정합단계에서 실제 외부 영상과 일치되도록 조정하여,
    상기 출력단계를 통해 상기 내륙수로, 해저지형, 기상 및 해역 특성 정보를 상기 투명 디스플레이에 출력하는 것을 특징으로 하는 투명디스플레이를 이용한 선박용 증강 현실 구현 방법.
  18. 제17항에 있어서,
    상기 수신단계는 AIS(선박자동식별장치)로부터 해상에 운항되는 타선박들의 정보를 수신하고,
    상기 타선박들의 정보를 상기 정합단계에서 실제 외부 영상과 일치되도록 조정하여,
    상기 출력단계를 통해 상기 타선박들의 정보를 상기 투명 디스플레이에 출력하는 것을 특징으로 하는 투명디스플레이를 이용한 선박용 증강 현실 구현방법.
  19. 삭제
  20. 제18항에 있어서,
    상기 내륙수로, 해저지형, 기상 및 해역 특성에 관한 정보, 상기 선박의 이동속도 및 항로, 상기 타선박의 이송속도 및 항로, 및 상기 이동물체의 이송속도 및 항로를 계산하는 계산단계를 포함하여 미리 설정된 시간간격에 따라 상기 선박의 시간에 따른 상기 해저지형과의 충돌, 상기 타선박과의 충돌, 상기 기상에 따른 조난, 상기 해역 특성에 따른 조난, 상기 외부 지형과의 충돌을 예측하고,
    상기 충돌이 예측되는 경우, 알람기능을 하는 알람단계를 포함하는 것을 특징으로 하는 투명디스플레이를 이용한 선박용 증강 현실 구현방법.
  21. 삭제
  22. 제20항에 있어서,
    상기 알람단계에서 알람기능이 작동한 경우, 상기 선박의 항로를 자동 수정하도록 하는 제어 신호를 항법제어장치로 송신하는 제어단계를 포함하는 것을 특징으로 하는 투명디스플레이를 이용한 선박용 증강 현실 구현방법.

KR1020110072432A 2011-07-21 2011-07-21 투명디스플레이를 이용한 선박용 증강 현실 시스템 및 그 구현 방법 KR101072393B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110072432A KR101072393B1 (ko) 2011-07-21 2011-07-21 투명디스플레이를 이용한 선박용 증강 현실 시스템 및 그 구현 방법
PCT/KR2012/005797 WO2013012277A2 (ko) 2011-07-21 2012-07-20 투명디스플레이를 이용한 선박용 증강 현실 시스템 및 그 구현 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110072432A KR101072393B1 (ko) 2011-07-21 2011-07-21 투명디스플레이를 이용한 선박용 증강 현실 시스템 및 그 구현 방법

Publications (1)

Publication Number Publication Date
KR101072393B1 true KR101072393B1 (ko) 2011-10-11

Family

ID=45032651

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110072432A KR101072393B1 (ko) 2011-07-21 2011-07-21 투명디스플레이를 이용한 선박용 증강 현실 시스템 및 그 구현 방법

Country Status (2)

Country Link
KR (1) KR101072393B1 (ko)
WO (1) WO2013012277A2 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101456439B1 (ko) * 2013-10-14 2014-10-31 한국해양과학기술원 투명 디스플레이를 이용한 선박용 영상 개선 시스템
US11548598B2 (en) 2017-12-25 2023-01-10 Furuno Electric Co., Ltd. Image generating device and method of generating image
CN111862389B (zh) * 2020-07-21 2022-10-21 武汉理工大学 一种智能航行感知及增强现实可视化系统
CN112581796B (zh) * 2020-12-25 2023-10-17 江苏燕宁工程科技集团有限公司 基于bim的桥梁碰撞定位和告警方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101004126B1 (ko) * 2010-09-27 2010-12-27 (주)에디넷 3차원 항만 관제 시스템
KR101036600B1 (ko) * 2009-12-18 2011-05-24 주식회사 비전소프트텍 투명스크린을 이용한 3차원 가상현실 시스템 및 가상영상 표시방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010076524A (ja) * 2008-09-25 2010-04-08 Mazda Motor Corp 車両用運転支援装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101036600B1 (ko) * 2009-12-18 2011-05-24 주식회사 비전소프트텍 투명스크린을 이용한 3차원 가상현실 시스템 및 가상영상 표시방법
KR101004126B1 (ko) * 2010-09-27 2010-12-27 (주)에디넷 3차원 항만 관제 시스템

Also Published As

Publication number Publication date
WO2013012277A2 (ko) 2013-01-24
WO2013012277A3 (ko) 2013-03-21

Similar Documents

Publication Publication Date Title
KR101072395B1 (ko) 천정 이동형 투명 디스플레이를 이용한 선박용 증강현실 시스템 및 그 구현 방법
KR101072397B1 (ko) 모니터를 이용한 선박용 증강 현실 시스템 및 그 구현 방법
CN107748561B (zh) 一种基于多传感参数的无人船局部避障系统及方法
KR101289349B1 (ko) 해양 네비게이션시스템
CN201435162Y (zh) 船舶智能避碰预警装置
KR100687277B1 (ko) 전자해도가 내장된 선박자동식별장치
US11892298B2 (en) Navigational danger identification and feedback systems and methods
CN111354226B (zh) 基于三维图像的自主驾驶船舶航行远程监控方法和装置
CN111989547A (zh) 确定环境的至少一部分的虚拟表示
CN103106817A (zh) 一种基于增强式虚拟现实系统的航海科技仿真系统
KR101072393B1 (ko) 투명디스플레이를 이용한 선박용 증강 현실 시스템 및 그 구현 방법
JP2005289284A (ja) 相手船動静監視装置
CN109911140A (zh) 一种水域航行信息增强装置、系统及方法
JP2022173157A (ja) 潮流情報表示装置
KR20160129213A (ko) 선박의 충돌 회피 방법 및 장치
JP2023041010A (ja) 予想進路表示装置及び予想進路表示方法
CN109683322A (zh) 一种多功能船用hud显示系统
TWM554985U (zh) 船舶電子海圖顯示及安全警示系統
CN111258322A (zh) 一种基于增强现实技术的船用驾驶辅助装置及方法
CN116343551A (zh) 一种智能船舶操纵模拟系统及方法
KR20140017187A (ko) 투명 디스플레이를 이용한 선박항해 내비게이션 장치
KR102464207B1 (ko) 증강현실을 이용한 선박 안전운항 관리시스템
KR102464212B1 (ko) 전방위 카메라를 이용한 증강현실기반의 선박 안전운항관리 시스템
KR102420334B1 (ko) 가상 항로표지 제공 시스템
TWI670470B (zh) 海上無人船舶航道修正系統及方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140930

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160928

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170927

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20181001

Year of fee payment: 8