KR102156338B1 - 선박의 통합 모니터링 방법 및 그 장치 - Google Patents

Abstract

선박의 통합 모니터링 방법 및 그 장치가 개시된다. 통신망을 통해 선박과 연결되는 육상통합관제시스템은 선박으로부터 영상을 포함한 선박데이터를 수신하여 화면에 표시할 때 물표의 식별정보를 중첩하여 표시한다.

Description

선박의 통합 모니터링 방법 및 그 장치{Method for monitoring ships and apparatus therefor}

본 발명의 실시 예는 선박을 통합 모니터링하는 방법 및 그 장치에 관한 것이다.

선박은 전자해도표시정보시스템(ECDIS, Electronic Chart Display and Information System)를 포함한 각종 장비와 센서들을 포함한다. 선박은 장비와 네트워크 상태를 실시간 모니터링하고 이를 선박 내 표시장치를 통해 표시하거나 선박 내 운영자에게 통보한다. 그러나 선박의 운영자 등이 모니터링 결과를 누락 또는 간과하거나 작업자의 실수로 선박 내 장비의 설정을 잘못하는 경우에 예기치 못한 사고가 발생할 수 있다. 한정된 인력이 존재하는 선박에서 다양한 유형의 사고를 미연에 방지하고 대응하는데 한계가 있다. 따라서 육상에서 실시간 선박의 상황을 모니터링하여 사고 등을 예방하는 시스템의 개발이 필요하다.

본 발명의 실시 예가 이루고자 하는 기술적 과제는, 육상에서 선박을 원격 모니터링할 수 있는 방법 및 그 장치를 제공하는 데 있다.

상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 선박의 통합 모니터링 방법의 일 예는, 통신망을 통해 선박과 연결되는 육상통합관제시스템이 수행하는 선박의 통합 모니터링 방법에 있어서, 선박으로부터 영상을 포함한 선박데이터를 수신하는 단계; 및 상기 수신한 선박데이터를 화면에 표시하는 단계;를 포함하고, 상기 표시하는 단계는, 선박의 선수 방향을 촬영한 영상을 표시하는 단계; 및 상기 영상에 물표의 식별정보를 중첩하여 표시하는 단계;를 포함한다.

상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 선박의 통합 모니터링 방법의 다른 일 예는, 통신망을 통해 육상통합관제시스템과 연결되는 선박이 수행하는 통합 모니터링 방법에 있어서, 선박의 선수 방향을 촬영하는 단계; 상기 영상을 포함하는 선박데이터를 상기 육상통합관제시스템에 전송하는 단계; 및 상기 영상에 물표의 식별정보를 중첩하여 표시하는 단계;를 포함한다.

상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 선박관리장치의 일 예는, 선박의 선수 방향을 촬영한 영상을 표시하는 영상표시부; 및 상기 영상에 나타나는 물표를 식별하여 표시하는 물표식별부;를 포함한다.

본 발명의 실시 예에 따르면, 육상통합관제시스템이 선박과 동일한 정보를 공유하여 표시하므로 육상에서 선박에 대한 종합적인 판단과 지원이 가능하다. 또한, 선박이 촬영한 영상에 물표(예를 들어, 주변 선박 등)의 식별정보를 중첩하여 표시할 수 있어 선박 주변 상황을 용이하게 파악할 수 있다.

도 1은 본 발명의 실시 예에 따른 선박의 통합 모니터링 방법이 적용되는 시스템의 개략적인 구조를 도시한 도면,
도 2는 본 발명의 실시 예에 따른 선박과 육상통합관제시스템이 공유하는 데이터의 일 예를 도시한 도면,
도 3은 본 발명의 실시 예에 따른 선박의 일 예를 도시한 도면,
도 4는 본 발명의 실시 예에 따라 물표의 식별정보를 영상에 중첩하여 표시한 일 예를 도시한 도면,
도 5는 본 발명의 실시 예에 따른 선박 카메라와 물표 사이의 공간상의 위치의 일 예를 개략적으로 도시한 도면,
도 6 및 도 7은 본 발명의 실시 예에 따른 물표의 3차원 위치와 맵핑되는 영상 내 가로좌표를 파악하는 방법의 일 예를 도시한 도면,
도 8 및 도 9는 본 발명의 실시 예에 따른 물표의 3차원 위치와 맵핑되는 영상 내 세로좌표를 파악하는 방법의 일 예를 도시한 도면,
도 10은 본 발명의 실시 예에 따른 영상 내 물표 식별방법을 이용하여 물표의 경로를 표시하는 방법의 일 예를 도시한 도면,
도 11은 본 발명의 실시 예에 따른 육상통합관제시스템이 수행하는 선박의 통합 관리방법의 일 예를 도시한 흐름도,
도 12는 본 발명의 실시 예에 따른 선박관리장치가 수행하는 선박의 통합 관리방법의 일 예를 도시한 흐름도,
도 13은 본 발명의 실시 예에 따른 선박관리장치의 일 예의 구성을 도시한 도면, 그리고,
도 14는 도 13의 선박관리장치의 물표식별부의 상세 구성의 일 예를 도시한 도면이다.

이하에서, 첨부된 도면들을 참조하여 본 발명의 실시 예에 따른 선박의 통합 모니터링 방법 및 그 장치에 대해 상세히 설명한다.

도 1은 본 발명의 실시 예에 따른 선박의 통합 모니터링 방법이 적용되는 시스템의 개략적인 구조를 도시한 도면이다.

도 1을 참조하면, 육상에 위치한 육상통합관제시스템(130)은 적어도 하나 이상의 선박(100,102,104)과 해사 통신망(120)으로 연결된다.

선박(100,102,104)에는 항해 정보, 선박 내 각종 장비의 상태 정보, 외부 환경 정보(기상 상황, 주변 선박 위치 등)를 파악하고 표시하는 다양한 장비가 존재한다. 예를 들어, 항해를 위한 주변 지리 정보를 표시하는 전자해도표시정보시스템(ECDIS), 선박의 내부 또는 외부를 촬영하여 표시하는 CCTV 시스템, 레이더 장치, 선박의 위치를 자동으로 발신하는 선박자동식별장치(AIS, Automatic Identification System), 각종 센서, 다양한 종류의 IoT(Internet of Things) 장비 등이 선박(100,102,104)에 존재할 수 있다. 승무원은 각종 장비의 데이터를 이용하여 선박 내 이상 유무를 판단하거나 주변 상황을 인지할 수 있다. 그러나 선박(100,102,104) 내 한정된 인원이 다양한 상황에 모두 적절히 대처하는데 한계가 있을 수 있으므로, 육상에서 각 선박(100,102,104)의 상황을 모니터링하는 것이 필요하다.

이를 위해, 각 선박(100,102,104)의 선박관리장치는 선박 내 각종 장비(예를 들어, ECDIS, CCTV, IoT, 센서 등)와 네트워크를 구성하고, 각종 장비로부터 수신한 데이터를 육상통합관제시스템(130)으로 실시간 전송할 수 있다. 선박관리장치는 선박 내 각종 장비로부터 데이터를 용이하게 수집하기 위한 표준 프로토콜을 제공할 수 있다. 다른 예로, 각 장비의 통신 프로토콜이 상이한 경우에, 선박관리장치는 각 장비의 통신 프로토콜을 위한 다양한 인터페이스를 포함할 수 있다.

육상통합관제시스템(130)은 각 선박(100,102,104)으로부터 실시간 수신한 데이터를 표시한다. 육상에서 선박이 처한 상황을 정확히 알기 위하여, 육상통합관제시스템(130)은 선박 내 승무원이 보는 데이터와 동일한 데이터를 각 선박(100,102,104)으로부터 수신하여 표시한다. 선박과 육상에서 공유하는 데이터의 일 예가 도 2에 도시되어 있다.

육상통합관제시스템(130)은 해운선사가 운영하는 복수의 선박을 통합 관리할 수 있다. 예를 들어, 육상통합관제시스템(130)은 복수의 선박(100,102,104)으로부터 각각 수신한 데이터를 기초로 각 선박의 장비 이상 상황 또는 선박 충돌 위험 등의 각종 내외부 상황을 판단할 수 있다. 육상통합관제시스템(130)은 이상상황 또는 위급상황 등이 발생하면 해당 선박의 데이터를 표시하여 육상에서 적절한 조치를 취할 수 있도록 한다.

각 선박(100,102,104)의 선박관리장치 또는 육상통합관제시스템(130)은 선박의 주변 해상 상황을 시각적으로 확인할 수 있도록 카메라를 통해 촬영한 영상을 화면에 표시할 수 있다. 그러나 카메라가 촬영한 영상에 나타나는 물표(예를 들어, 선박 등)가 무엇인지 정확하게 식별하기 어려운 문제점이 있다. 따라서 본 실시 예는, 영상에 나타나는 물표를 자동 식별하고 표시하는 방법을 제시하며, 이에 대한 예가 도 4 이하에 도시되어 있다. 본 실시 예에서 물표라고 함은 해상에 존재하는 다양한 객체를 의미하며, 일 예로 선박이나 부표 등이 이에 해당할 수 있다. 이하에서는 설명의 편의를 위하여 물표가 선박인 경우를 가정하여 설명한다.

도 2는 본 발명의 실시 예에 따른 선박과 육상통합관제시스템이 공유하는 데이터의 일 예를 도시한 도면이다.

도 2를 참조하면, 각 선박(100,102,104)의 선박관리장치(110)는 ECDIS의 데이터(200), 영상 데이터(210), 기타 각종 장비의 데이터(220) 등의 선박데이터를 실시간으로 육상통합관제시스템(130)에 전송하여 서로 공유한다.

육상통합관제시스템(130)은 선박관리장치(110)로부터 수신한 ECDIS 데이터(250), 영상 데이터(260), 기타 각종 장비의 데이터(270)를 선박과 동일하게 표시한다. 예를 들어, 육상통합관제시스템(130)은 선박의 위치정보 등을 이용하여 선박의 항해 정보를 표시하고, 각종 장비의 상태 데이터를 표시하며, 또한 선박의 선수 방향의 촬영 영상을 표시할 수 있다. 영상에는 물표의 식별정보가 중첩하여 표시될 수 있다.

선박관리장치(110)와 육상통합관제시스템(130)이 데이터를 실시가 공유하기 위해서는 데이터를 신속하게 상호 송수신할 수 있어야 한다. 그러나 선박관리장치(110)와 육상통합관제시스템(130)은 해사위성통신으로 연결되므로 대역폭 등에 제한이 존재한다. 따라서 선박관리장치(110)와 육상통합관제시스템(130)은 각종 데이터를 압축하여 전송할 필요가 있다. 예를 들어, 선박관리장치(110)는 대용량 영상 데이터를 전송하기 위한 대역폭이 부족한 경우에 영상 데이터를 흑백 이미지로 만들거나, 영상의 해상도를 일정 이하로 만들어 전송할 수 있으며, 또는 영상 데이터의 초당 프레임 수를 일정 이하로 줄여 전송할 수 있다.

도 3은 본 발명의 실시 예에 따른 선박의 일 예를 도시한 도면이다.

도 3을 참조하면, 선박(300)의 일측에는 선수 방향의 해상을 촬영하는 카메라(예를 들어, CCTV 등)(310)가 위치한다. 선박(300)은 선박자동식별장치(AIS)를 포함하며, 선박자동식별장치(300)는 선박의 특정 위치를 기준으로 하여 선박 위치(예를 들어, 위경도 좌표, GPS 좌표 등)를 파악한다. 선박자동식별장치는 선박(300)의 위치정보와 식별정보(예를 들어, 선박 이름 등), 기타 정보(예를 들어, 속력, 침로 등) 등을 주변 선박에 전송할 수 있다.

실시 예에 따라, 선박자동식별장치가 선박 위치 파악을 위해 기준점으로 삼는 선박의 특정 위치(이하, 선박 위치 기준점)(320)와 카메라(310)의 위치는 일치하거나 서로 다를 수 있다. 선박 위치 기준점(320)과 카메라(310)의 위치가 서로 다른 경우에, 선박관리장치(110)는 선박 위치 기준점(320)과 카메라(310) 위치 사이의 거리 및 방향 등을 미리 등록받을 수 있다. 따라서 선박관리장치(110)는 선박자동식별장치가 선박 위치를 파악하면, 선박 위치 기준점(320)과 카메라(310) 사이의 거리 및 방향 등을 이용하여 카메라의 위치(예를 들어, 위경도 좌표 등) 및 방향 등을 실시간 파악할 수 있다.

선박관리장치(110)는 선박(300)의 일정 위치(예를 들어, 선박의 최하측)를 기준으로 파악된 카메라의 설치 높이(A)를 미리 등록받을 수 있다. 선박관리장치(110)는 흘수선을 이용하여 해수면으로부터 카메라까지의 높이(h)(=A-흘수선높이)를 파악할 수 있다. 흘수선 높이를 파악하는 종래의 다양한 방법이 본 실시 예에 적용될 수 있다.

선박관리장치(110)는 또한 카메라(310)의 설치 방향과 각도 등을 미리 등록받을 수 있다. 예를 들어, 선박관리장치(110)는 선박(300)의 선수 방향을 기준으로 카메라(310)가 설치된 좌우각도 및 상하각도를 등록받을 수 있다. 다른 예로, 카메라(310)가 상하좌우의 회전이 가능한 경우에, 선박관리장치(110)는 카메라에 내장된 센서(예를 들어, 지자기 센서, 자이로 센서 등)를 통해 선수 방향을 기준으로 카메라의 상하좌우 각도를 파악할 수 있다.

선박관리장치(110)는 카메라(310)의 촬영 각도를 등록받을 수 있다. 카메라(310)의 상하좌우 촬영각도는 고정되어 있거나, 줌을 이용하는 경우 줌의 위치에 따라 변경될 수 있다. 카메라(300)의 촬영각도가 줌에 따라 변경되는 경우에, 선박관리장치는 카메라로부터 줌에 따른 촬영 각도를 실시간 제공받을 수 있다.

도 4는 본 발명의 실시 예에 따라 물표의 식별정보를 영상에 중첩하여 표시한 일 예를 도시한 도면이다.

도 4를 참조하면, 선박관리장치(110)는 선박의 카메라가 촬영한 영상(400)에 존재하는 적어도 하나 이상의 물표(410,420,430)에 대한 식별정보(412,422,432)를 영상(400)에 중첩하여 표시한다.

선박관리장치(110)는 주변 해상에 위치한 물표(즉, 주변 선박)(410,420,430)로부터 위치정보와 식별정보(예를 들어, 선박식별정보 등)를 수신할 수 있다. 예를 들어, 선박관리장치(110)는 주변 선박의 선박자동식별장치로부터 위치정보와 식별정보 등을 수신할 수 있다. 이 외에도, 선박관리장치(110)는 종래의 다양한 방법을 이용하여 주변 물표의 위치정보와 식별정보를 수신할 수 있으며, 어느 한 가지 방법으로 한정되는 것은 아니다.

선박관리장치(110)는 선박자동식별장치 또는 레이더 등을 통해 파악되는 주변 물표가 영상(400) 내 표시되는 물표(410,420,430) 중 어느 것에 해당하지는 파악한 후 해당 물표(410,420,430)에 대한 식별정보(412,422,432)를 영상에 중첩 표시한다. 다른 실시 예로, 선박관리장치(110)는 물표의 식별정보(412,422,432)와 함께 물표의 속도나 침로 등의 다양한 정보를 함께 표시할 수 있다.

선박관리장치(110)가 수신한 주변 해상의 물표의 위치정보는 경위도 좌표 등과 같은 공간 정보이며, 영상(400)에 표시되는 물표(410,420,430)는 단순한 이미지이므로, 3차원 공간상의 물표가 2차원 영상에 표시된 물표(410,420,430) 중 어느 물표에 해당하는지 구별하는 방법이 필요하다. 예를 들어, 선박 주변에 다섯 개의 물표가 위치하나 영상(400)에는 세 개의 물표(410,42,430)가 나타난다면, 영상 내 표시된 물표(410,420,430)가 공간상 존재하는 다섯 개의 물표 중 어느 것에 해당하는지 파악하기 위한 방법이 필요하다.

본 실시 예는, 종래의 객체 식별 알고리즘이나 머신 러닝을 이용한 영상 분석 과정 없이 바로 물표의 공간 위치를 영상 내 특정 위치와 맵핑하는 방법을 제시한다. 다시 말해, 본 실시 예는 영상에서 물표 영역을 식별하는 과정 없이 3차원 공간의 물표 좌표가 영상 내 어느 픽셀 좌표와 맵핑되는지 바로 파악하여 물표의 식별정보(412,422,432)를 신속하게 중첩 표시하는 방법을 제시한다. 이에 대해, 도 5 이하에서 구체적으로 살펴본다.

선박관리장치(110)는 선박과 물표(410,420,430) 사이의 거리에 따라 영상 내 물표 식별정보(412,422,432)의 표시 크기를 서로 다르게 할 수 있다. 예를 들어, 선박관리장치(110)는 각 물표(410,420,430)로부터 수신한 위치정보와 선박 자신의 위치정보를 이용하여 선박과 물표(410,420,430) 사이의 거리를 파악한 후, 가까운 거리에 존재하는 물표에 대한 식별정보를 먼 거리에 존재하는 물표에 대한 식별정보보다 크게 표시할 수 있다. 다른 실시 예로, 각 물표의 식별정보(412,422,432)의 표시 크기를 모두 동일하게 하거나, 거리에 따라 서로 다른 색상으로 표시하는 등 식별정보의 표시 방법은 다양하게 변형 가능하다.

본 실시 예는 선박관리장치(110)가 영상(400)에 각 물표(410,420,430)의 식별정보(412,422,432)를 중첩표시하는 경우를 설명하고 있으나, 육상통합관제시스템(130)이 동일한 방법으로 선박으로부터 수신한 영상에 물표 식별정보를 중첩 표시할 수 있다. 이하에서는 설명의 편의를 위하여 선박관리장치(110)가 영상(400)에 물표 식별정보(412,422,432)를 중첩표시하는 경우를 위주로 설명하나, 이하의 방법이 육상통합관제시스템(130)에도 동일하게 적용될 수 있다.

도 5는 본 발명의 실시 예에 따른 선박 카메라와 물표 사이의 공간상의 위치의 일 예를 개략적으로 도시한 도면이다.

도 5를 참조하면, 선박의 카메라는 해수면으로부터 일정 높이(h)에 위치한다. 선박관리장치(110)는 물표(510)로부터 위치정보와 식별정보를 수신한다. 예를 들어, 위치정보가 위경도 좌표 등의 정보를 포함하고 해수면으로부터의 높이 정보를 포함하지 않는 경우에, 선박관리장치(110)는 물표(510)의 위치를 해수면에 위치한다고 가정한다. 다른 예로, 위치정보가 해수면으로부터의 높이 정보를 포함하면, 선박관리장치(110)는 높이 정보를 반영하여 카메라와 물표 사이의 공간상 배치 관계를 파악할 수 있다. 이하의 실시 예는 설명의 편의를 위하여 물표(510)의 위치정보는 위경도 좌표의 정보를 포함할 뿐 높이 정보를 포함하지 않는다고 가정한다.

선박관리장치(110)는 자선의 위치정보(즉, 자선의 선박 위치 기준점(320))를 기초로 물표(510)와의 거리 및 상대방위를 파악한 후, 도 3과 같이 자선의 선박 위치 기준점(320)과 카메라(310) 사이의 거리 및 방향을 이용하여 카메라(500)를 기준으로 다시 물표(510)와의 거리 및 상대방위를 파악할 수 있다.

선박관리장치(110)는 카메라(500)와 물표(510) 사이의 거리(ℓ) 및 상대방위(B)를 파악한 후, 선박관리장치(110)는 카메라(500)를 원점으로 하는 물표(510)의 공간 위치를 파악할 수 있다. 예를 들어, 상대방위가 B이고, 카메라(500)와 물표 사이의 거리가 ℓ이면, 물표(510)의 공간 좌표는 (ℓsinB, ℓcosB, h)가 된다.

다른 실시 예로, 자선의 선박 위치 기준점(320)과 카메라(310) 사이의 거리가 자선과 물표(510) 사이의 거리에 비해 매우 짧고 카메라가 선수 방향을 향하는 경우에, 자선의 선박 위치 기준점(320)과 물표(510)와의 거리 및 상대방위를 카메라를 기준으로 보정하지 않고 그대로 사용할 수 있다.

도 6 및 도 7은 본 발명의 실시 예에 따른 물표의 3차원 위치와 맵핑되는 영상 내 가로좌표를 파악하는 방법의 일 예를 도시한 도면이다. 도 6은 카메라와 물표의 공간상의 배치를 위에서 바라본 모습을 도시한 도면이고, 도 7은 영상에 표시되는 물표의 일 예를 도시한 도면이다.

도 6 및 도 7을 함께 참조하면, 선박관리장치(110)는 카메라(500)의 좌우촬영각도(δ)를 이용하여 물표(512)가 위치한 지점에서 촬영되는 실제 공간의 가로방향(즉, x축 방향)의 최대 가로거리(MX)를 파악한다. 예를 들어, 카메라의 좌우촬영각도가 기준축(즉, y축)을 기준으로 δ인 경우에, 최대가로거리(MX)는 2*L*tanδ이다. 여기서 L=ℓcosB이다.

선박관리장치(110)는 최대가로거리(MX)와 영상의 가로축 해상도(WR)의 비를 이용하여 최대가로거리(MX)에서 물표(512)가 위치하는 상대적 위치(X)에 해당하는 영상 내 가로축의 위치(710)를 파악할 수 있다. 이를 수학식으로 표현하면 다음과 같다.

여기서, MX는 최대가로거리, X는 기준축(y축)과 물표(512) 사이의 거리, WR은 영상의 가로축 해상도, W는 영상의 세로방향의 중심축(700)으로부터 물표가 위치하는 영상 내 세로축(710)까지의 픽셀수(W)를 의미한다.

도 7은 이해를 돕기 위하여 물표(512)의 실제 영상 내 위치(720)를 함께 표시하고 있으나, 위 수학식을 기초로 파악되는 값은 물표(512)가 위치할 수 있는 영상 내 세로축(710)이며 물표(512)의 정확한 위치(700)를 파악할 수 있는 것은 아니다. 즉 물표(512)는 세로축(710)의 어느 한 곳에 위치할 수 있다.

세로축(710)의 좌표값을 영상의 좌측을 기준으로 다시 정리하면 다음과 같다.

여기서, AW는 영상 좌측을 기준으로 물표(720)가 위치하는 세로축(710)까지의 픽셀수, 즉 가로좌표값을 의미하고, WR은 영상의 가로축 해상도, W는 수학식 1에서 구한 영상 세로방향의 중심축(700)에서 세로축(710)까지의 픽셀수이다.

위 수학식을 상대방위(B)와 화면의 좌우촬영각도(δ)를 이용하여 다시 정리하면 다음과 같다.

도 8 및 도 9는 본 발명의 실시 예에 따른 물표의 3차원 위치와 맵핑되는 영상 내 세로좌표를 파악하는 방법의 일 예를 도시한 도면이다. 도 8은 카메라와 물표의 공간상의 배치를 옆에서 바라본 모습을 도시한 도면이고, 도 9는 영상에 표시되는 물표의 일 예를 도시한 도면이다.

도 8 및 도 9를 함께 참조하면, 선박관리장치(110)는 카메라(500)의 상하촬영각도(Θ)를 이용하여 물표(510)가 위치한 지점에서 촬영되는 실제 공간의 세로방향(즉, z축 방향)의 최대 세로거리(MZ)를 파악한다. 예를 들어, 카메라의 상하촬영각도가 기준축(즉, y축)을 기준으로 Θ인 경우에, 최대세로거리(MZ)는 2*L*tanΘ이다.

선박관리장치(110)는 최대세로거리(MZ)와 영상의 세로축 해상도(WH)의 비를 이용하여 최대세로거리(MZ)에서 물표(510)가 위치하는 상대적 위치(Z)에 해당하는 영상 내 가로축(910)의 위치를 파악할 수 있다. 이를 수학식으로 표현하면 다음과 같다.

여기서, MZ는 최대세로거리, Z는 기준축(y축)과 물표(510)사이의 거리, WH는 영상의 세로축 해상도, H는 영상의 가로방향의 중심축(900)으로부터 물표가 위치하는 가로축(910)까지의 픽셀수를 나타낸다.

도 9는 이해를 돕기 위하여 물표(510)의 실제 영상 내 위치(920)를 함께 표시하고 있으나, 위 수학식을 기초로 파악되는 값은 물표(510)가 위치할 수 있는 영상 내 가로축(910)이며 물표(510)의 정확한 위치(920)를 파악할 수 있는 것은 아니다. 즉 물표(510)는 가로축(910)의 어느 한 곳에 위치할 수 있다.

가로축(910)의 좌표값을 영상의 상측을 기준으로 다시 정리하면 다음과 같다.

여기서, AH는 영상 상측을 기준으로 물표(920)가 위치하는 가로축(910)까지의 픽셀수, 즉 세로좌표값을 의미하고, WH는 영상의 세로축 해상도, H는 수학식 4에서 구한 영상 가로방향의 중심축(900)에서 가로축(910)까지의 픽셀수이다.

위 수학식을 상대방위(B)와 화면의 좌우촬영각도(δ) 등을 이용하여 다시 정리하면 다음과 같다.

여기서, B는 카메라(500)와 물표(510) 사이의 상대방위, h는 해수면으로부터 카메라까지의 높이, ℓ은 카메라(500)와 물표(512) 사이의 거리를 나타낸다.

삭제

도 6 내지 도 9에서 살핀 방법으로 구한 물표의 영상 내 좌표는 (AW, AH)이다. 다시 말해, 선박관리장치(110)는 카메라(500)와 물표(510) 사이의 거리 및 상대방위, 영상의 촬영각도, 해상도 등을 이용하여 선박의 공간상 위치와 영상 내 위치를 맵핑할 수 있다. 선박관리장치(110)는 물표(510)에 대해 파악된 영상 내 좌표를 기준으로 물표(510)의 식별정보를 도 3과 같이 표시할 수 있다. 즉, 선박관리장치(110)는 영상 내 좌표(AW, AH)를 중심으로 물표의 식별정보를 바로 표시하면 되고, 영상 분석을 통해 영상 내 물표를 식별하는 별도의 과정을 수행할 필요가 없다.

도 10은 본 발명의 실시 예에 따른 영상 내 물표 식별방법을 이용하여 물표의 경로를 표시하는 방법의 일 예를 도시한 도면이다.

도 10을 참조하면, 선박관리장치(110)는 도 6 내지 도 9에서 살핀 방법을 이용하여 공간상 물표(510)가 표시되는 영상(100) 내 좌표(1010,1020,1030)를 파악할 수 있다. 선박관리장치(110)는 일정 시간 간격으로 물표가 표시되는 영상 내 좌표(1010,1020,1030)를 파악하고 이를 연결하여 물표의 이동경로(1050)를 영상에 표시할 수 있다.

도 11은 본 발명의 실시 예에 따른 육상통합관제시스템이 수행하는 선박의 통합 관리방법의 일 예를 도시한 흐름도이다.

도 11을 참조하면, 육상통합관제시스템(130)은 선박으로부터 영상을 포함한 선박 데이터를 수신한다(S1100). 육상통합관제시스템(130)은 수신한 영상 등의 선박 데이터를 선박과 동일하게 표시한다(S1120). 육상통합관제시스템(130)은 선박으로부터 수신한 영상에 나타내는 물표에 물표 식별정보를 중첩하여 표시한다(S1130). 영상에 물표 식별정보를 중첩표시하는 방법의 예가 도 6 내지 도 9에 도시되어 있다.

도 12는 본 발명의 실시 예에 따른 선박관리장치가 수행하는 선박의 통합 관리방법의 일 예를 도시한 흐름도이다.

도 12를 참조하면, 선박관리장치(110)는 선박의 선수 방향의 해당을 카메라를 통해 촬영한다(S1200). 선박관리장치(110)는 영상을 표시할 때(S1210), 영상 내 물표 식별정보를 중첩하여 표시한다(S1220). 선박관리장치(110)는 실시 예에 따라 촬영한 영상을 육상통합관제시스템(130)에 전송하거나, 물표 식별정보가 중첩된 영상을 육상통합관제시스템(130)으로 전송할 수 있다.

도 13은 본 발명의 실시 예에 따른 선박관리장치의 일 예의 구성을 도시한 도면이다.

도 13을 참조하면, 선박관리장치(110)는 영상표시부(1310), 물표식별부(1320) 및 경로표시부(1330)를 포함한다. 실시 예에 따라 경로표시부(1330)는 생략 가능하다.

영상표시부(1310)는 선박에 설치된 카메라를 통해 촬영한 영상을 표시한다. 예를 들어, 영상표시부(1310)는 선박의 선수 방향의 해상을 촬영한 영상을 표시할 수 있다.

물표식별부(1320)는 영상 내 표시된 적어도 하나 이상의 물표를 식별한다. 물표식별부(1320)는 선박 주변 물표로부터 수신한 위치정보를 이용하여 해당 물표가 영상 내 어느 위치에 표시될 것인지 파악한 후 영상 내 해당 위치에 물표 식별정보를 중첩하여 표시한다. 공간상 물표 위치와 영상 내 물표의 표시 좌표를 맵핑하는 방법의 일 예가 도 5 내지 도 9에 도시되어 있다. 물표식별부(1320)의 상세 구성은 도 14에서 다시 살펴본다.

경로표시부(1330)는 물표식별부(1320)에 의해 영상 내 물표의 픽셀 좌표가 파악되면, 일정 시간 간격으로 파악된 물표의 영상 내 픽셀 좌표를 연결하여 물표의 이동경로를 화면상에 표시한다. 물표의 이동경로를 화면상에 표시하는 방법의 일 예가 도 10에 도시되어 있다.

도 14는 도 13의 선박관리장치의 물표식별부의 상세 구성의 일 예를 도시한 도면이다.

도 14를 참조하면, 물표식별부(1320)는 물표파악부(1400), 가로좌표파악부(1410), 세로좌표파악부(1420) 및 식별표시부(1430)를 포함한다.

물표파악부(1400)는 선박 주변 해상의 물표로부터 위치정보 및 식별정보 등을 수신한다. 예를 들어, 물표파악부(1400)는 주변 물표에 위치한 선박자동식별장치로부터 물표의 위치정보 등을 수신할 수 있다.

가로좌표파악부(1410)는 카메라의 좌우촬영각도를 이용하여 물표가 위치한 지점에서 촬영되는 가로방향의 최대가로거리를 파악하고, 카메라의 가로축 해상도와 최대가로거리 사이의 비를 이용하여 영상 내 물표가 위치하는 가로좌표를 파악한다. 이에 대한 일 예가 도 5 내지 도 7에 도시되어 있다.

세로좌표파악부(1420)는 카메라의 상하촬영각도를 이용하여 물표가 위치한 지점에서 촬영되는 세로방향의 최대세로거리를 파악하고, 카메라의 세로축 해상도와 최대세로거리 사이의 비를 이용하여 영상 내 물표가 위치하는 세로좌표를 파악한다. 이에 대한 일 예가 도 5, 도 8, 도 9에 도시되어 있다.

식별표시부(1430)는 가로좌표파악부(1410) 및 세로좌표파악부(1420)에 의해 파악된 영상 내 좌표를 기준으로 물표의 식별정보를 표시한다. 물표의 식별정보를 영상에 중첩하여 표시한 일 예가 도 4에 도시되어 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (9)

1. 통신망을 통해 선박과 연결되는 육상통합관제시스템이 수행하는 선박의 통합 모니터링 방법에 있어서,
   선박으로부터 영상을 포함한 선박데이터를 수신하는 단계; 및
   상기 수신한 선박데이터를 화면에 표시하는 단계;를 포함하고,
   상기 표시하는 단계는,
   선박의 선수 방향을 촬영한 영상을 표시하는 단계; 및
   상기 영상에 물표의 식별정보를 중첩하여 표시하는 단계;를 포함하고,
   상기 물표의 식별정보를 중첩하여 표시하는 단계는,
   상기 선박에 위치한 카메라로부터 상기 물표까지의 거리 및 상대방위를 파악하는 단계;
   상기 카메라의 좌우촬영각도를 이용하여 상기 물표가 위치한 지점에서 촬영되는 가로방향의 최대가로거리를 파악하고, 카메라의 가로축 해상도와 상기 최대가로거리 사이의 비를 이용하여 영상 내 물표가 위치하는 가로좌표를 파악하는 단계;
   상기 카메라의 상하촬영각도를 이용하여 상기 물표가 위치한 지점에서 촬영되는 세로방향의 최대세로거리를 파악하고, 카메라의 세로축 해상도와 상기 최대세로거리 사이의 비를 이용하여 영상 내 물표가 위치하는 세로좌표를 파악하는 단계; 및
   상기 가로좌표 및 상기 세로좌표가 가리키는 위치를 기준으로 상기 물표의 식별정보를 표시하는 단계;를 포함하는 것을 특징으로 하는 선박의 통합 모니터링 방법.
2. 통신망을 통해 육상통합관제시스템과 연결되는 선박이 수행하는 통합 모니터링 방법에 있어서,
   선박의 선수 방향을 촬영하는 단계;
   촬영한 영상을 포함하는 선박데이터를 상기 육상통합관제시스템에 전송하는 단계; 및
   상기 영상에 물표의 식별정보를 중첩하여 표시하는 단계;를 포함하고,
   상기 물표의 식별정보를 중첩하여 표시하는 단계는,
   상기 선박에 위치한 카메라로부터 상기 물표까지의 거리 및 상대방위를 파악하는 단계;
   상기 카메라의 좌우촬영각도를 이용하여 상기 물표가 위치한 지점에서 촬영되는 가로방향의 최대가로거리를 파악하고, 카메라의 가로축 해상도와 상기 최대가로거리 사이의 비를 이용하여 영상 내 물표가 위치하는 가로좌표를 파악하는 단계;
   상기 카메라의 상하촬영각도를 이용하여 상기 물표가 위치한 지점에서 촬영되는 세로방향의 최대세로거리를 파악하고, 카메라의 세로축 해상도와 상기 최대세로거리 사이의 비를 이용하여 영상 내 물표가 위치하는 세로좌표를 파악하는 단계; 및
   상기 가로좌표 및 상기 세로좌표가 가리키는 위치를 기준으로 상기 물표의 식별정보를 표시하는 단계;를 포함하는 것을 특징으로 하는 선박의 통합 모니터링 방법.
3. 삭제
4. 제 1항 또는 제 2항에 있어서,
   상기 가로좌표를 파악하는 단계는,
   수학식1:

   

   
   (여기서, AW는 가로좌표, WR은 가로축 해상도, B는 상기 물표의 상대방위, δ는 카메라의 좌우촬영각도를 나타냄)
   위 수학식1을 이용하여 가로좌표를 파악하는 단계를 포함하고,
   상기 세로좌표를 파악하는 단계는,
   수학식2:

   

   
   (여기서, AH는 세로좌표, WH는 세로축 해상도, B는 상기 물표의 상대방위, h는 상기 카메라와 해수면 사이의 높이차, ℓ은 상기 카메라와 상기 물표 사이의 거리, Θ는 카메라의 상하촬영각도를 나타냄)
   위 수학식2를 이용하여 세로좌표를 파악하는 단계를 포함하는 것을 특징으로 하는 선박의 통합 모니터링 방법.
5. 제 1항 또는 제 2항에 있어서, 상기 물표의 식별정보를 중첩하여 표시하는 단계는,
   상기 선박과 상기 물표 사이의 거리에 따라 식별정보를 서로 다른 크기로 표시하는 단계;를 포함하는 것을 특징으로 하는 선박의 통합 모니터링 방법.
6. 선박의 선수 방향을 촬영한 영상을 표시하는 영상표시부; 및
   상기 영상에 나타나는 물표를 식별하여 표시하는 물표식별부;를 포함하고,
   상기 물표식별부는,
   상기 선박에 위치한 카메라로부터 상기 물표까지의 거리 및 상대방위를 파악하는 물표파악부;
   상기 카메라의 좌우촬영각도를 이용하여 상기 물표가 위치한 지점에서 촬영되는 가로방향의 최대가로거리를 파악하고, 카메라의 가로축 해상도와 상기 최대가로거리 사이의 비를 이용하여 영상 내 물표가 위치하는 가로좌표를 파악하는 가로좌표파악부;
   상기 카메라의 상하촬영각도를 이용하여 상기 물표가 위치한 지점에서 촬영되는 세로방향의 최대세로거리를 파악하고, 카메라의 세로축 해상도와 상기 최대세로거리 사이의 비를 이용하여 영상 내 물표가 위치하는 세로좌표를 파악하는 세로좌표파악부; 및
   상기 가로좌표 및 상기 세로좌표가 나타내는 위치를 기준으로 상기 물표의 식별정보를 표시하는 식별표시부;를 포함하는 것을 특징으로 하는 선박관리장치.
7. 삭제
8. 제 6항에 있어서,
   상기 물표에 대한 영상 내 좌표를 연결하여 상기 물표의 이동경로를 표시하는 경로표시부;를 더 포함하는 것을 특징으로 하는 선박관리장치.
9. 제 1항 또는 제 2항에 기재된 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 읽을 수 있는 기록매체.
   

Images