KR20170031895A

KR20170031895A - 가상 선교 시스템 및 그의 제어방법

Info

Publication number: KR20170031895A
Application number: KR1020150129440A
Authority: KR
Inventors: 이재범; 박광필; 이현진; 조유경; 우일국
Original assignee: 대우조선해양 주식회사
Priority date: 2015-09-14
Filing date: 2015-09-14
Publication date: 2017-03-22
Also published as: KR102476252B1

Abstract

가상 선교 시스템 및 그의 제어방법에 관한 것으로, 육상에 마련되고 선박에 마련된 정보수집, 처리 및 저장 시스템과 통신을 수행하는 데이터 통신 모듈, 복수의 카메라에서 개별적으로 촬영된 각 선박 주변 영상을 360도 화면으로 가시화하도록 정합하는 영상 정보 정합 처리 모듈, 상기 선박 주변 영상 정보로부터 영상 처리를 통해 장애물을 탐지하는 장애물 탐지 모듈 및 정합 처리된 영상을 기반으로 실시간 운항 정보를 가시화하는 항행 정보 영상 가시화 모듈을 포함하는 구성을 마련하여, 육상에 마련된 가상 선교 시스템을 이용해서 선교 시야 정보를 포함한 선박 주변 영상 정보와 운항 정보를 육상에서 실시간으로 가시화할 수 있다는 효과가 얻어진다.

Description

가상 선교 시스템 및 그의 제어방법{VIRTUAL BRIDGE SYSTEM AND CONTROL METHOD THEREOF}

본 발명은 가상 선교 시스템 및 그의 제어방법에 관한 것으로, 더욱 상세하게는 선박에서 수집된 선교 시야 영상을 포함한 선박 주변 영상 및 운항 정보를 육상에서 가시화하여 안전 운항을 지원하는 가상 선교 시스템 및 그의 제어방법에 관한 것이다.

일반적으로, 선박의 선교에서의 운항 환경 파악은 항해자의 시각에 100% 의지하게 된다.

특히, 대형 선박에서는 그 규모가 매우 커서 선박의 위치 및 자세를 파악하는 일이 쉽지 않다.

이로 인해, 항해자는 항해장비에서 제공되는 정보뿐만 아니라, 선박 주위를 직접 눈으로 확인하면서 선박의 현재 상태를 파악하게 되는데, 이는 매우 번거로운 작업이며, 운항 오류를 발생시킬 수 있다.

예를 들어, 하기의 특허문헌 1에는 상기한 바와 같은 문제점을 해결하기 위한 선박용 전방위 모니터링 시스템 구성이 개시되어 있다.

특허문헌 1에는 선박 주위에 설치되어, PTZ(pan-tilt-zoom) 기능을 통해 상기 선박의 동작 모드에 따른 주변 영상을 습득하는 복수 개의 PTZ 카메라들을 포함하는 카메라부, 복수 개의 PTZ 카메라들 각각의 전체적인 동작을 제어하는 카메라 제어부, 복수 개의 카메라들 각각에서 제공되는 영상 정보에서 특징점(feature point)을 추출하고, 중첩된 영역의 특징점(feature point) 간의 관계를 추출한 후, 기하학적 변환 과정, 컬러 정규화 과정, 엣지 블랜딩 과정을 순차적으로 수행하여 하나의 영상으로 정합(registration)하는 영상 정합부, 영상 정합부에서 제공된 정합 영상과 선박의 동작모드에 필요한 부속영상을 중첩시킨 중첩 영상을 출력하는 영상 중첩부, 영상 중첩부에서 제공된 영상들을 PTZ 카메라의 위치별로 정렬하여 선박의 전방위 영상을 항해자에게 표시하는 영상정보 표시부 및 선박의 동작모드에 따라 서로 다른 부속영상 정보를 영상 중첩부로 제공하는 동작모드 처리부를 포함한다.

대한민국 특허 등록 번호 제10-1545276호(2015년 8월 20일 공고)

한편, 특허문헌 1은 선내에서 항해자의 시야를 넓혀주기 위해, 선박 주변을 카메라로 촬영하여 가시화한다.

따라서 특허문헌 1은 선내에서 필요한 부가적인 정보만을 수집하는 한계가 있었다.

또한, 특허문헌 1은 수집된 정보를 선내에서 제한된 범위로 활용함에 따라, 육상에 위치한 운항전문가의 조언과 같은 안전 운항을 지원하기 위한 다양한 참여 조건을 제공하지 못하는 한계가 있었다.

따라서 실제 운항하는 선박의 주변 영상과 운항 정보를 육상으로 송신하고, 육상에서 수신된 각 정보를 활용하여 선박의 안전 운항을 지원하는 기술의 개발이 요구되고 있다.

특히, 육상에 존재하는 안전 운항 지원 시스템에서 선박 내에 있는 사용자의 경험을 그대로 전달하기 위해서, 선박의 주변 영상뿐만 아니라 선박을 조종하는 선교에서의 시야 정보가 필요하다.

본 발명의 목적은 상기한 바와 같은 문제점을 해결하기 위한 것으로, 선교 시야 정보를 포함한 선박 주변 영상 정보와 운항 정보를 육상에서 실시간으로 가시화하는 가상 선교 시스템 및 그의 제어방법을 제공하는 것이다.

본 발명의 다른 목적은 육상에서 선교 시야 정보를 확보하여 선내에서 운항 또는 장비 이상 등의 문제가 발생하는 경우, 선내에 있는 항해사나 기관사와 육상에 있는 전문가가 효과적으로 선교 시야를 공유하면서 협업할 수 있는 가상 선교 시스템 및 그의 제어방법을 제공하는 것이다.

본 발명의 또 다른 목적은 선교 시야 정보를 포함한 선박 주변 영상 정보와 운항 정보를 활용해서, 승선 경험이 부족한 인력을 대상으로 선박 운항 상황을 실시간으로 제공하여 안전 운항을 위한 학습 정보로 활용할 수 있는 가상 선교 시스템 및 그의 제어방법을 제공하는 것이다.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 가상 선교 시스템은 육상에 마련되고 선박에 마련된 정보수집, 처리 및 저장 시스템으로부터 선교 시야 정보를 포함한 선박 주변 영상 정보와 운항 정보를 실시간으로 제공받아 가시화하는 것을 특징으로 한다.

본 발명은 상기 정보 수집, 처리 및 저장시스템과 통신을 수행하는 데이터 통신 모듈, 복수의 카메라에서 개별적으로 촬영된 각 선박 주변 영상을 360도 화면으로 가시화하도록 정합하는 영상 정보 정합 처리 모듈, 상기 선박 주변 영상 정보로부터 영상 처리를 통해 장애물을 탐지하는 장애물 탐지 모듈 및 정합 처리된 영상을 기반으로 실시간 운항 정보를 가시화하는 항행 정보 영상 가시화 모듈을 포함하는 것을 특징으로 한다.

본 발명은 상기 선박 주변 영상 정보를 저장하는 영상 정보 저장모듈, 상기 운항 정보를 저장하는 운항 정보 저장모듈 및 실제 선교를 모사하여 가시화된 영상 정보와 운항 정보를 표시하는 가상 선교 시설을 더 포함하는 것을 특징으로 한다.

상기 항행 정보 영상 가시화 모듈은 하나의 360도 영상으로 정합된 영상을 기반으로 장애물 정보, 실시간 운항 정보를 추가적으로 가시화하는 것을 특징으로 한다.

상기 가상 선교 시설은 선수 방향과 선미 방향에 각각 설치되고 1/4 구 형상으로 형성되는 제1 및 제2 스크린, 상기 제1 및 제2 스크린을 연결하는 연결 구조물을 포함하고, 상기 연결 구조물은 원통 형상 또는 직사각통 형상으로 형성되는 것을 특징으로 한다.

상기 가상 선교 시설은 상기 선교 시야 정보를 포함한 선박 주변 영상 정보와 운항 정보를 화면에 표시하고 육상 전문가로부터 조작 명령을 입력받는 콘솔 장치, 실세 선교와 동일하거나 유사한 천정 구조물 및 유리창을 더 포함하는 것을 특징으로 한다.

상기 정보 수집, 처리 및 저장 시스템은 선교 시야를 포함한 선박 주변 영상을 촬영해서 수집하는 카메라부, 미리 설정된 선박의 운항 정보를 감지해서 수집하는 운항 정보 수집 센서, 상기 카메라부에서 수집된 영상 정보를 스트리밍 전송하는 영상 정보 스트리밍 모듈, 수집된 영상 정보를 실시간으로 저장하는 영상 정보 저장모듈, 수집된 센서 신호에 포함된 노이즈를 제거하거나 정보를 압축하는 센서 신호처리 모듈, 상기 운항 정보를 실시간으로 저장하는 운항정보 저장 모듈 그리고 상기 선박 주변 영상 정보 및 운항 정보를 상기 가상 선교 시스템으로 전송하고 상기 가상 선교 시스템으로부터 제어신호를 수신하는 데이터 통신모듈을 포함하고, 상기 운항 정보는 선박의 위치, 선속, 풍속, 풍향, 수심, 조류 방향 및 조류 속도 정보를 포함하는 것을 특징으로 한다.

상기 정보 수집, 처리 및 저장시스템은 상기 카메라부에서 촬영된 영상 정보에서 흔들림이 발생하거나 물방울이 포함된 영상, 안개가 낀 영상을 보정하고 노이즈를 제거하는 영상 보정 모듈 및 상기 카메라부에서 촬영된 대용량의 영상 정보를 압축하는 영상 압축 모듈을 더 포함하는 것을 특징으로 한다.

상기 카메라부는 선박의 선수, 선미, 선교에 각각 설치되는 제1 내지 제3 카메라와 선체의 양측에 미리 설정된 간격으로 설치되는 복수의 제4 카메라를 포함하는 것을 특징으로 한다.

상기 카메라부는 선박의 선수, 선미, 선교에 각각 설치되는 제1 내지 제3 카메라와 선체의 중앙부에 설치되는 하나의 제4 카메라를 포함하는 것을 특징으로 한다.

또한, 상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 가상 선교 시스템의 제어방법은 (a) 선박에 마련된 정보 수집 처리 저장시스템에서 카메라부를 이용하여 선교 시야 영상을 포함한 선박 주변 영상을 촬영하는 단계, (b) 운항 정보 수집 센서에서 미리 설정된 선박의 운항 정보를 감지해서 수집하는 단계 및 (c) 육상에 마련된 가상 선교 시스템에서 상기 선박 주변 영상 정보와 운항 정보를 실시간으로 수신해서 가시화하는 단계를 포함하는 것을 특징으로 한다.

상기 (c)단계는 (c1) 데이터 통신 모듈을 이용해서 상기 선박 주변 영상 정보와 운항 정보를 수신하는 단계, (c2) 영상 정보 저장모듈과 운항 정보 저장모듈에서 각각 수신된 상기 선박 주변 영상 정보와 운항 정보를 저장하는 단계, (c3) 영상 정보 정합 처리 모듈에서 복수의 카메라에서 개별적으로 촬영된 각 선박 주변 영상을 360도 화면으로 가시화하도록 정합하는 단계, (c4) 장애물 탐지 모듈에서 상기 선박 주변 영상 정보와 운항 정보로부터 영상 처리를 통해 장애물을 탐지하는 단계 및 (c5) 항행 정보 영상 가시화 모듈에서 정합 처리된 영상을 기반으로 실시간 운항 정보를 가시화하여 가상 선교 시설에 표시하는 단계를 포함하는 것을 특징으로 한다.

상기 (c5)단계에서 상기 항행 정보 영상 가시화 모듈은 하나의 360도 영상으로 정합된 영상을 기반으로 장애물 정보, 실시간 운항 정보를 추가적으로 가시화하는 것을 특징으로 한다.

본 발명은 (d) 상기 정보 수집, 처리 및 저장 시스템에서 상기 가상 선교 시스템으로 송신하기 이전에 영상 보정 모듈을 이용해서 카메라부에서 촬영된 영상 정보에서 흔들림이 발생하거나 물방울이 포함된 영상, 안개가 낀 영상을 보정하고 노이즈를 제거하는 단계, (e) 영상 압축 모듈을 이용해서 상기 카메라부에서 촬영된 대용량의 영상 정보를 압축하는 단계 및 (f) 센서 신호처리 모듈을 이용해서 상기 (b)단계에서 수집된 센서 신호에 포함된 노이즈를 제거를 제거하고 정보를 압축하는 단계를 포함하는 것을 특징으로 한다.

상기 정보 수집, 처리 및 저장 시스템은 영상 정보 스트리밍 모듈을 이용하여 상기 선박 주변 영상 정보를 상기 가상 선교 시스템으로 스트리밍 전송하며, 상기 운항 정보는 선박의 위치, 선속, 풍속, 풍향, 수심, 조류 방향 및 조류 속도 정보를 포함하는 것을 특징으로 한다.

상술한 바와 같이, 본 발명에 따른 가상 선교 시스템 및 그의 제어방법에 의하면, 육상에 마련된 가상 선교 시스템을 이용해서 선교 시야 정보를 포함한 선박 주변 영상 정보와 운항 정보를 육상에서 실시간으로 가시화할 수 있다는 효과가 얻어진다.

본 발명에 의하면, 선박 내에 있는 사용자의 경험을 그대로 전달하기 위해, 선박 주변 영상뿐만 아니라 선박을 조종하는 선교에서 보는 시야 정보를 육상에서 확보함으로써, 선내에서 운항 또는 장비 이상 등의 문제가 발생하는 경우, 선내에 있는 항해사나 기관사와 육상에 있는 전문가가 서로 효과적으로 시야를 공유하면서 협업할 수 있다는 효과가 얻어진다.

특히, 선박 사고의 대다수가 인적 오류(human error)에서 기인함에 따라, 본 발명에 의하면, 승선 경험이 부족한 인력을 대상으로 한 선박 운항 교육 시 가장 중요한 요소인 선교 시야 정보 및 선박 운항 상황을 실시간으로 가시화하여 제공함으로써, 선박 안전 운항 학습 효과를 극대화할 수 있다는 효과가 얻어진다.

이에 따라, 본 발명에 의하면, 영상 분석 기술을 활용해서 분석된 정보를 이용하여 선박 사고를 유발하는 인적 오류를 감소시킬 수 있고, 선박 안전 운항을 위한 지원 시스템에 효과적으로 활용할 수 있다는 효과가 얻어진다.

또한, 본 발명에 의하면, 선박 주변 영상 정보 및 운항 정보를 저장하고, 저장된 정보를 선박 운항 환경을 파악하기 위한 자료로 활용할 수 있고, 선박의 충돌 회피, 해적 단속(anti-piracy) 등의 선박 안전사고 방지 및 조사를 위한 영상 항해 자료 기록 시스템에 활용할 수 있다는 효과가 얻어진다.

도 1은 본 발명의 바람직한 실시 예에 따른 가상 선교 시스템과 선박에 마련되는 정보수집, 처리 및 저장 시스템의 블록 구성도,
도 2와 도 3은 카메라부 구성의 예시도,
도 4는 영상 보정 모듈에서 보정되는 보정 전후 영상의 예시도,
도 5는 가상 선교 시설의 구성도,
도 6은 본 발명의 바람직한 실시 예에 따른 가상 선교 시스템의 제어방법을 단계별로 설명하는 공정도.

이하 본 발명의 바람직한 실시 예에 따른 가상 선교 시스템 및 그의 제어방법을 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 바람직한 실시 예에 따른 가상 선교 시스템과 선박에 마련되는 정보수집, 처리 및 저장 시스템의 블록 구성도이다.

본 발명의 바람직한 실시 예에 따른 가상 선교 시스템(20)은 육상에 마련되고, 선박(10)에 마련된 정보수집, 처리 및 저장 시스템으로부터 선교 시야 정보를 포함한 선박 주변 영상 정보와 운항 정보를 실시간으로 제공받아 가시화한다.

먼저, 선박(10)에 마련되는 정보수집, 처리 및 저장 시스템의 구성을 설명한다.

상기 정보 수집, 처리 및 저장 시스템은 선교 시야를 포함한 선박 주변 영상을 촬영해서 수집하는 카메라부(11), 미리 설정된 선박의 운항 정보를 감지해서 수집하는 운항 정보 수집 센서(12), 카메라부(11)에서 수집된 영상 정보를 스트리밍 전송하는 영상 정보 스트리밍 모듈(13), 수집된 영상 정보를 실시간으로 저장하는 영상 정보 저장모듈(14), 수집된 센서 신호에 포함된 노이즈를 제거하거나 정보를 압축하는 센서 신호처리 모듈(15), 수집된 운항 정보를 실시간으로 저장하는 운항정보 저장 모듈(16) 그리고 상기 선박 주변 영상 정보 및 운항 정보를 가상 선교 시스템(20)으로 전송하고 가상 선교 시스템(20)으로부터 제어신호를 수신하는 데이터 통신모듈(17)을 포함할 수 있다.

이와 함께, 상기 정보 수집, 처리 및 저장 시스템은 카메라부(11)에서 촬영된 영상 정보에서 흔들림이 발생하거나 물방울이 포함된 영상, 안개가 낀 영상 등을 보정하고 노이즈를 제거하는 영상 보정 모듈(18) 및 카메라부(11)에서 촬영된 대용량의 영상 정보를 육상으로 빠르게 송신할 수 있도록 압축하는 영상 압축 모듈(19)을 더 포함할 수 있다.

상기 운항 정보는 선박의 위치, 선속, 풍속, 풍향, 수심, 조류 방향, 조류 속도 정보를 포함할 수 있다.

예를 들어, 도 2와 도 3은 카메라부 구성의 예시도이다.

도 2의 (a) 내지 (c)에는 선박에 설치되는 카메라의 배치 위치를 예시하는 측면도, 정면도, 평면도가 도시되어 있다.

도 3에는 본 발명의 다른 실시 예에 따라 선박에 설치되는 카메라의 배치 위치를 변형한 예시하는 평면도가 도시되어 있다.

카메라부(11)는 도 2의 (a) 내지 (c)에 도시된 바와 같이, 선박(10)의 선수, 선미, 선교에 각각 설치되는 제1 내지 제3 카메라(31 내지 33)와 선체의 양측에 미리 설정된 간격으로 설치되는 복수의 제4 카메라(34)를 포함할 수 있다.

여기서, 제1 내지 제4 카메라(31 내지 34)는 각각 회전하면서 360도 전체 방위에 대한 영상 촬영이 가능한 360도 카메라로 마련될 수 있다.

제4 카메라(34)는 감시하고자 하는 물체를 정면에서 고해상도로 상세하게 확인 가능하도록, 선박의 길이에 따라 미리 설정된 간격으로 설치될 수 있다.

물론, 카메라부(11)는 도 3에 도시된 바와 같이, 제1 내지 제3 카메라(31 내지 33)와 함께, 선체의 중앙부에 설치되는 하나의 제4 카메라(34)를 포함하도록 변경될 수 있다.

상기 360도 카메라는 회전을 통해 360도 전방위 촬영이 가능함에 따라, 시야각 제한이 없으므로, 본 발명은 선체의 중앙부에 제4 카메라를 설치해서 선박 주변 영상을 효과적으로 수집할 수도 있다.

도 4는 영상 보정 모듈에서 보정되는 보정 전후 영상의 예시도이다.

영상 보정 모듈(18)은 도 4의 (a)에 도시된 바와 같이, 흔들림 발생 영상, 물방울이 포함된 영상, 안개가 낀 영상 등에서 흔들림, 물방울, 안개를 제거하고, 노이즈를 제거해서 도 4의 (b)에 도시된 바와 같이, 촬영된 물체를 탐지 가능한 수준으로 보정할 수 있다.

다시 도 1에서, 본 발명의 바람직한 실시 예에 따른 가상 선교 시스템(20)은 선박(10)의 정보 수집, 처리 및 저장시스템(20)과 통신을 수행하는 데이터 통신 모듈(21), 선박(10)에서 수신된 선박 주변 영상 정보를 저장하는 영상 정보 저장모듈(22), 각 카메라에서 개별적으로 촬영한 영상을 360도 화면으로 가시화하도록 정합하는 영상 정보 정합 처리 모듈(23), 수신된 운항 정보를 저장하는 운항 정보 저장모듈(24), 수신된 선박 주변 영상 정보로부터 영상 처리를 통해 장애물을 탐지하는 장애물 탐지 모듈(25) 및 정합 처리된 영상을 기반으로 실시간 운항 정보를 가시화하는 항행 정보 영상 가시화 모듈(26)을 포함할 수 있다.

이와 함께, 본 발명의 바람직한 실시 예에 따른 가상 선교 시스템(20)은 실제 선교를 모사하여 가시화된 영상 정보와 운항 정보를 표시하는 가상 선교 시설(27)을 더 포함할 수 있다.

영상 정보 정합 처리모듈(23)은 카메라부(11)에 마련된 제1 내지 제4 카메라(31 내지 34)에서 촬영된 각 촬영 영상의 겹치는 부분을 정합해서 하나의 카메라에서 수집된 영상과 같이 자연스러운 영상으로 정합하는 기능을 수행한다.

이를 위해, 영상 정보 정합 처리모듈(23)은 각 카메라(31 내지 34)에서 개별적으로 촬영된 각 촬영 영상에서 특징점을 추출하고, 중첩된 영역의 특징점 간의 관계를 분석하며, 분석된 결과에 기초해서 기하학적 변환 과정, 컬러 정규화 과정, 엣지 블랜딩 과정을 순차적으로 수행하여 하나의 360도 영상으로 정합할 수 있다.

물론, 본 발명은 반드시 이에 한정되는 것은 아니며, 다양한 영상 분석 기술을 이용해서 영상 정보를 정합하도록 변경될 수 있다.

항행 정보 영상 가시화 모듈(26)은 하나의 360도 영상으로 정합된 영상을 기반으로 장애물 정보, 실시간 운항 정보와 같은 주요 정보를 추가적으로 가시화하여 표시할 수 있다.

가상 선교 시설(27)은 하나로 정합된 360도 영상을 몰입감 있게 가시화하기 위해 캡슐 형상으로 형성된 구조물로 마련될 수 있다.

예를 들어, 도 5는 가상 선교 시설의 구성도이다.

도 5의 (a)와 (b)에는 각각 가상 선교 시설의 측면도와 평면도가 도시되어 있다.

즉, 도 5의 (a) 및 (b)에 도시된 바와 같이, 가상 선교 시설(27)의 선수 방향과 선미 방향에는 각각 1/4 구 형상의 제1 및 제2 스크린(41,42)이 마련되고, 제1 및 제2 스크린(41,42)은 대략 원통 형상의 연결 구조물(43)에 의해 연결될 수 있다.

물론, 연결 구조물(43)은 가공비를 고려하여 직사각통 형상으로 형성되도록 변경될 수 있다.

제1 및 제2 스크린(41,42)은 각각 선박(10)으로부터 수신된 선교의 전방 및 후방의 시야 정보를 표시할 수 있다.

가상 선교 시설(27) 내부에는 화면이 선미 방향을 향하도록 선수 측에 선박(10)의 선교 콘솔과 동일한 콘솔 장치(44)가 마련되거나, 유사 콘솔 장치가 마련될 수 있다.

콘솔 장치(44)는 선박(10)에서 수신된 선교 시야 정보를 포함한 선박 주변 영상 정보와 운항 정보를 화면에 표시하고, 육상 전문가의 조작 명령을 입력받을 수 있다.

이에 따라, 육상의 전문가는 가상 선교 시설(27)을 통해 선박(10)의 선교 시야 정보를 포함한 선박 주변 영상 정보와 운항 정보를 실시간으로 확인할 수 있고, 사고 위험이나 장비 이상 등의 문제 발생시 콘솔 장치(44)를 통해 선박(10)에 마련된 각 장치를 제어하는 제어신호를 입력할 수 있다.

가상 선교 시설(27)의 천정에는 실제 선교와 동일하거나 유사한 천정 구조물(45)이 설치되고, 가상 선교 시설(27)의 외측에는 실제 선교와 동일하거나 유사한 유리창(46)이 설치될 수 있다.

이와 같이, 본 발명은 선박의 선교와 동일한 가상 선교 시스템을 육상에 설치하고, 선교 시야 영상을 포함한 선박 주변 영상과 운항 정보를 수집해서 가시화할 수 있다.

즉, 본 발명은 선박 내에 있는 사용자의 경험을 그대로 전달하기 위해, 선박 주변 영상뿐만 아니라 선박을 조종하는 선교에서 보는 시야 정보를 육상에서 확보함으로써, 선내에서 운항 또는 장비 이상 등의 문제가 발생하는 경우, 선내에 있는 항해사나 기관사와 육상에 있는 전문가가 서로 효과적으로 시야를 공유하면서 협업할 수 있다.

특히, 선박 사고의 대다수가 인적 오류(human error)에서 기인함에 따라, 본 발명은 승선 경험이 부족한 인력을 대상으로 한 선박 운항 교육 시 가장 중요한 요소인 선교 시야 정보 및 선박 운항 상황을 실시간으로 가시화하여 제공함으로써, 선박 안전 운항 학습 효과를 극대화할 수 있다.

이에 따라, 본 발명은 영상 분석 기술을 활용해서 분석된 정보를 이용하여 선박 사고를 유발하는 인적 오류를 감소시킬 수 있고, 선박 안전 운항을 위한 지원 시스템에 효과적으로 활용될 수 있다.

또한, 본 발명은 영상 정보 및 운항 정보를 저장하고, 저장된 정보를 선박 운항 환경을 파악하기 위한 자료로 활용할 수 있고, 선박의 충돌 회피, 해적 단속(anti-piracy) 등의 선박 안전사고 방지 및 조사를 위한 영상 항해 자료 기록 시스템에 활용될 수 있다.

다음, 도 6을 참조하여 본 발명의 바람직한 실시 예에 따른 가상 선교 시스템의 제어방법을 상세하게 설명한다.

도 6은 본 발명의 바람직한 실시 예에 따른 가상 선교 시스템의 제어방법을 단계별로 설명하는 공정도이다.

도 6의 S10단계에서 선박(10)의 항해가 시작되면, 선박(10)에 마련된 카메라부(11)의 제1 내지 제4 카메라(31 내지 34)는 360도 회전을 통해 선수, 선미, 선교 및 선체 좌현과 우현 등 선박 주변 영상을 촬영한다.

그리고 선박(10)에 마련된 운항 정보 수집 센서(12)는 선박(10)의 위치, 선속, 풍속, 풍향, 수심, 조류 방향, 조류 속도 정보를 포함하는 운항 정보를 감지한다(S14).

S14단계에서 영상 보정 모듈(18)은 카메라부(11)에서 촬영된 영상 정보에서 흔들림이 발생하거나 물방울이 포함된 영상, 안개가 낀 영상 등을 보정하고 노이즈를 제거하며, 영상 압축 모듈(19)은 카메라부(11)에서 촬영된 대용량의 영상 정보를 육상으로 빠르게 송신할 수 있도록 압축한다.

그리고 센서 신호처리 모듈(15)은 수집된 센서 신호에 포함된 노이즈를 제거하거나 정보를 압축한다.

S16단계에서 영상 정보 저장모듈(14)과 운항 정보 저장모듈(16)은 각각 선박 주변 영상 정보와 운항 정보를 저장하고, 데이터 통신모듈(17)은 인공위성이나 케이블 통신을 통해 가상 선교 시스템(20)으로 송신한다.

그러면, S18단계에서 가상 선교 시스템(20)에 마련된 데이터 통신 모듈(21)은 선박 주변 영상 정보와 운항 정보를 수신하고, 영상 정보 저장모듈(22)과 운항 정보 저장모듈(24)은 각각 수신된 선박 주변 정보와 운항 정보를 저장한다.

S20단계에서 영상 정보 정합 처리모듈(23)은 각 카메라(31 내지 34)에서 개별적으로 촬영된 영상을 하나의 카메라에서 수집된 영상과 같이 자연스러운 하나의 360도 영상을 만들도록 각 촬영 영상에서 서로 중첩된 영역을 정합 처리한다.

그리고 장애물 탐지 모듈(25)은 수신된 선박 주변 영상 정보와 운항 정보로부터 영상 처리를 통해 장애물을 탐지한다(S22).

이에 따라, 항행 정보 영상 가시화 모듈(26)은 하나의 360도 영상으로 정합된 영상을 기반으로 장애물 정보, 실시간 운항 정보와 같은 주요 정보를 추가적으로 가시화하고, 가상 선교 시설(27)은 가시화된 선박 주변 영상 정보와 운항 정보를 제1 및 제2 스크린(41,42)과 콘솔 장치(44)를 통해 표시할 수 있다(S24).

만약, 사고 위험이나 장비 이상 등의 문제가 발생하면, 육상의 전문가는 콘솔 장치(44)를 통해 선박(10)에 마련된 각 장치를 제어하는 제어신호를 입력하고, 가상 선교 시스템(20)은 입력된 제어신호를 선박으로 송신해서 문제를 신속하게 해결할 수 있다.

상기한 바와 같은 과정을 통하여, 본 발명은 육상에 마련된 가상 선교 시스템을 이용해서 선교 시야 정보를 포함한 선박 주변 영상 정보와 운항 정보를 육상에서 실시간으로 가시화할 수 있다.

이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

상기의 실시 예에서는 선박의 주변 영상 정보와 운항 정보를 육상에서 가시화하는 것으로 설명하였으나, 본 발명은 반드시 이에 한정되는 것은 아니다.

즉, 본 발명은 선박뿐만 아니라, 다양한 형상, 크기 및 용도의 해양 플랜트에도 적용하도록 변경될 수 있다.

본 발명은 육상에 마련된 가상 선교 시스템을 이용해서 선교 시야 정보를 포함한 선박 주변 영상 정보와 운항 정보를 육상에서 실시간으로 가시화하는 가상 선교 시스템 및 그의 제어방법 기술에 적용된다.

이에 따라, 본 발명은 영상 분석 기술을 활용해서 분석된 정보를 이용하여 선박 사고를 유발하는 인적 오류를 감소시키고, 선박 안전 운항을 위한 지원 시스템에 적용될 수 있다.

또한, 본 발명은 영상 정보 및 운항 정보를 저장하고, 저장된 정보를 선박 운항 환경을 파악하기 위한 자료로 제공하고, 선박의 충돌 회피, 해적 단속(anti-piracy) 등의 선박 안전사고 방지 및 조사를 위한 영상 항해 자료 기록 시스템에 적용될 수 있다.

10: 선박 11: 카메라부
12: 운항 정보 수집 센서 13: 영상 정보 스트리밍 모듈
14: 영상 정보 저장모듈 15: 센서 신호처리모듈
16: 운항 정보 저장모듈 17: 데이터 통신모듈
18: 영상 보정 모듈 19: 영상 압축 모듈
20: 가상 선교 시스템 21: 데이터 통신 모듈
22: 영상 정보 저장모듈 23: 영상 정보 정합 처리모듈
24: 운항 정보 저장모듈 25: 장애물 탐지 모듈
26: 항행 정보 영상 가시화 모듈 27: 가상 선교 시설
31 내지 34: 제1 내지 제4 카메라
41,42: 제1, 제2 스크린 43: 연결 구조물
44: 콘솔 장치 45: 천정 구조물
46: 유리창

Claims

육상에 마련되고 선박에 마련된 정보수집, 처리 및 저장 시스템으로부터 선교 시야 정보를 포함한 선박 주변 영상 정보와 운항 정보를 실시간으로 제공받아 가시화하는 것을 특징으로 하는 가상 선교 시스템.
제1항에 있어서,
상기 정보 수집, 처리 및 저장시스템과 통신을 수행하는 데이터 통신 모듈,
복수의 카메라에서 개별적으로 촬영된 각 선박 주변 영상을 360도 화면으로 가시화하도록 정합하는 영상 정보 정합 처리 모듈,
상기 선박 주변 영상 정보로부터 영상 처리를 통해 장애물을 탐지하는 장애물 탐지 모듈 및
정합 처리된 영상을 기반으로 실시간 운항 정보를 가시화하는 항행 정보 영상 가시화 모듈을 포함하는 것을 특징으로 하는 가상 선교 시스템.
제2항에 있어서,
상기 선박 주변 영상 정보를 저장하는 영상 정보 저장모듈,
상기 운항 정보를 저장하는 운항 정보 저장모듈 및
실제 선교를 모사하여 가시화된 영상 정보와 운항 정보를 표시하는 가상 선교 시설을 더 포함하는 것을 특징으로 하는 가상 선교 시스템.
제3항에 있어서,
상기 항행 정보 영상 가시화 모듈은 하나의 360도 영상으로 정합된 영상을 기반으로 장애물 정보, 실시간 운항 정보를 추가적으로 가시화하는 것을 특징으로 하는 가상 선교 시스템.
제3항에 있어서, 상기 가상 선교 시설은
선수 방향과 선미 방향에 각각 설치되고 1/4 구 형상으로 형성되는 제1 및 제2 스크린,
상기 제1 및 제2 스크린을 연결하는 연결 구조물을 포함하고,
상기 연결 구조물은 원통 형상 또는 직사각통 형상으로 형성되는 것을 특징으로 하는 가상 선교 시스템.
제5항에 있어서, 상기 가상 선교 시설은
상기 선교 시야 정보를 포함한 선박 주변 영상 정보와 운항 정보를 화면에 표시하고 육상 전문가로부터 조작 명령을 입력받는 콘솔 장치,
실세 선교와 동일하거나 유사한 천정 구조물 및 유리창을 더 포함하는 것을 특징으로 하는 가상 선교 시스템.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 정보 수집, 처리 및 저장 시스템은
선교 시야를 포함한 선박 주변 영상을 촬영해서 수집하는 카메라부,
미리 설정된 선박의 운항 정보를 감지해서 수집하는 운항 정보 수집 센서,
상기 카메라부에서 수집된 영상 정보를 스트리밍 전송하는 영상 정보 스트리밍 모듈,
수집된 영상 정보를 실시간으로 저장하는 영상 정보 저장모듈,
수집된 센서 신호에 포함된 노이즈를 제거하거나 정보를 압축하는 센서 신호처리 모듈,
상기 운항 정보를 실시간으로 저장하는 운항정보 저장 모듈 그리고
상기 선박 주변 영상 정보 및 운항 정보를 상기 가상 선교 시스템으로 전송하고 상기 가상 선교 시스템으로부터 제어신호를 수신하는 데이터 통신모듈을 포함하고,
상기 운항 정보는 선박의 위치, 선속, 풍속, 풍향, 수심, 조류 방향 및 조류 속도 정보를 포함하는 것을 특징으로 하는 가상 선교 시스템.
제7항에 있어서, 상기 정보 수집, 처리 및 저장시스템은
상기 카메라부에서 촬영된 영상 정보에서 흔들림이 발생하거나 물방울이 포함된 영상, 안개가 낀 영상을 보정하고 노이즈를 제거하는 영상 보정 모듈 및
상기 카메라부에서 촬영된 대용량의 영상 정보를 압축하는 영상 압축 모듈을 더 포함하는 것을 특징으로 하는 가상 선교 시스템.
제7항에 있어서, 상기 카메라부는
선박의 선수, 선미, 선교에 각각 설치되는 제1 내지 제3 카메라와
선체의 양측에 미리 설정된 간격으로 설치되는 복수의 제4 카메라를 포함하는 것을 특징으로 하는 가상 선교 시스템.
제7항에 있어서, 상기 카메라부는
선박의 선수, 선미, 선교에 각각 설치되는 제1 내지 제3 카메라와
선체의 중앙부에 설치되는 하나의 제4 카메라를 포함하는 것을 특징으로 하는 가상 선교 시스템.
(a) 선박에 마련된 정보 수집 처리 저장시스템에서 카메라부를 이용하여 선교 시야 영상을 포함한 선박 주변 영상을 촬영하는 단계,
(b) 운항 정보 수집 센서에서 미리 설정된 선박의 운항 정보를 감지해서 수집하는 단계 및
(c) 육상에 마련된 가상 선교 시스템에서 상기 선박 주변 영상 정보와 운항 정보를 실시간으로 수신해서 가시화하는 단계를 포함하는 것을 특징으로 하는 가상 선교 시스템의 제어방법.
제11항에 있어서, 상기 (c)단계는
(c1) 데이터 통신 모듈을 이용해서 상기 선박 주변 영상 정보와 운항 정보를 수신하는 단계,
(c2) 영상 정보 저장모듈과 운항 정보 저장모듈에서 각각 수신된 상기 선박 주변 영상 정보와 운항 정보를 저장하는 단계,
(c3) 영상 정보 정합 처리 모듈에서 복수의 카메라에서 개별적으로 촬영된 각 선박 주변 영상을 360도 화면으로 가시화하도록 정합하는 단계,
(c4) 장애물 탐지 모듈에서 상기 선박 주변 영상 정보와 운항 정보로부터 영상 처리를 통해 장애물을 탐지하는 단계 및
(c5) 항행 정보 영상 가시화 모듈에서 정합 처리된 영상을 기반으로 실시간 운항 정보를 가시화하여 가상 선교 시설에 표시하는 단계를 포함하는 것을 특징으로 하는 가상 선교 시스템의 제어방법.
제12항에 있어서,
상기 (c5)단계에서 상기 항행 정보 영상 가시화 모듈은 하나의 360도 영상으로 정합된 영상을 기반으로 장애물 정보, 실시간 운항 정보를 추가적으로 가시화하는 것을 특징으로 하는 가상 선교 시스템의 제어방법.
제11항 내지 제13항 중 어느 한 항에 있어서,
(d) 상기 정보 수집, 처리 및 저장 시스템에서 상기 가상 선교 시스템으로 송신하기 이전에 영상 보정 모듈을 이용해서 카메라부에서 촬영된 영상 정보에서 흔들림이 발생하거나 물방울이 포함된 영상, 안개가 낀 영상을 보정하고 노이즈를 제거하는 단계,
(e) 영상 압축 모듈을 이용해서 상기 카메라부에서 촬영된 대용량의 영상 정보를 압축하는 단계 및
(f) 센서 신호처리 모듈을 이용해서 상기 (b)단계에서 수집된 센서 신호에 포함된 노이즈를 제거를 제거하고 정보를 압축하는 단계를 포함하는 것을 특징으로 하는 가상 선교 시스템의 제어방법.
제14항에 있어서,
상기 정보 수집, 처리 및 저장 시스템은 영상 정보 스트리밍 모듈을 이용하여 상기 선박 주변 영상 정보를 상기 가상 선교 시스템으로 스트리밍 전송하며,
상기 운항 정보는 선박의 위치, 선속, 풍속, 풍향, 수심, 조류 방향 및 조류 속도 정보를 포함하는 것을 특징으로 하는 가상 선교 시스템의 제어방법.