KR102235787B1 - Device and method for monitoring a berthing - Google Patents

Device and method for monitoring a berthing Download PDF

Info

Publication number
KR102235787B1
KR102235787B1 KR1020200003191A KR20200003191A KR102235787B1 KR 102235787 B1 KR102235787 B1 KR 102235787B1 KR 1020200003191 A KR1020200003191 A KR 1020200003191A KR 20200003191 A KR20200003191 A KR 20200003191A KR 102235787 B1 KR102235787 B1 KR 102235787B1
Authority
KR
South Korea
Prior art keywords
image
ship
information
distance
target
Prior art date
Application number
KR1020200003191A
Other languages
Korean (ko)
Inventor
박별터
김한근
김동훈
Original Assignee
씨드로닉스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 씨드로닉스(주) filed Critical 씨드로닉스(주)
Priority to KR1020200003191A priority Critical patent/KR102235787B1/en
Priority to KR1020210040733A priority patent/KR20210090572A/en
Application granted granted Critical
Publication of KR102235787B1 publication Critical patent/KR102235787B1/en

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G3/00Traffic control systems for marine craft
    • G08G3/02Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B49/00Arrangements of nautical instruments or navigational aids
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion

Abstract

The present invention relates to a berthing monitoring method performed by a computing means to monitor the vicinity of a ship and a harbor. According to one embodiment of the present invention, the berthing monitoring method comprises: a step of using a camera installed on a harbor to photograph an image to acquire a harbor image including the sea and a plurality of ships; a step of using an artificial neural network trained by using an input image and a learning set resulting from labeling pixels corresponding to objects including the sea, ships, and terrain features included in the input image with class values indicating the sea, ships, and terrain features to generate a segmentation image for the objects; a step of tracking the plurality of ships based on first pixels which are assigned a class value indicating a ship of the segmentation image to acquire tracking information including position information of representative points representing the plurality of ships; a step of determining a berthing-guided target ship among the tracked ships based on the tracking information; and a step of acquiring berthing guide information including a stem distance between the stem of the target ship and a pier and a stern distance between the stern of the target ship and the pier based on the segmentation image.

Description

접안 모니터링 장치 및 방법{DEVICE AND METHOD FOR MONITORING A BERTHING}Eyepiece monitoring device and method {DEVICE AND METHOD FOR MONITORING A BERTHING}

본 발명은 접안 모니터링 장치 및 방법에 관한 것으로, 구체적으로 이미지에 기초한 접안 모니터링을 수행하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for eyepiece monitoring, and more particularly, to an apparatus and method for performing eyepiece monitoring based on an image.

최근 선박의 운항 및 항만 내에서의 접안, 이안에 있어 많은 사고가 발생하고 있다. 주로 접안 시, 선박 주변이나 항만 내의 상황을 영상을 통해서 정확하게 확인하지 못하는 점에 의해 발생하는 사고가 많다. Recently, many accidents have occurred in the operation of ships, berths and berths in ports. There are many accidents that occur mainly due to the inability to accurately check the situation around the ship or in the port through images when berthing.

이에 종래에는 ECDIS, radar 등의 다양한 종류의 센서를 이용해 접안을 지원하고 있으나, ECDIS의 경우 GPS의 부정확성, AIS의 업데이트 주기 및 AIS 미등록 이동체 등으로 인한 한계가 존재하고, radar의 경우 비탐색영역의 존재 및 노이즈로 인한 한계가 존재한다. Therefore, conventionally, the eyepiece is supported using various types of sensors such as ECDIS and radar. However, in the case of ECDIS, there are limitations due to the inaccuracy of GPS, the update period of AIS, and the non-registered mobile object, and in the case of radar, the There are limitations due to presence and noise.

따라서, 실질적으로 접안 시 선박 주변이나 항만 내의 상황을 영상을 통해 모니터링 하는 기술에 대한 기술 개발이 필요한 실정이다.Therefore, it is necessary to develop a technology for monitoring the situation around the ship or in the port through images when berthing is practically berthing.

본 명세서의 해결하고자 하는 일 과제는, 선박 주변 및 항만을 모니터링하기 위한 접안 모니터링 장치 및 방법을 제공하는 것에 있다.One problem to be solved in the present specification is to provide an berthing monitoring device and method for monitoring the vicinity of the ship and the port.

본 명세서의 해결하고자 하는 다른 일 과제는 모니터링의 대상인 선박을 결정하고, 모니터링 대상에 관한 정보를 산출 및 출력하는 접안 모니터링 장치 및 방법을 제공하는 것이다.Another task to be solved in the present specification is to provide a berth monitoring apparatus and method for determining a vessel that is a monitoring target, and calculating and outputting information on a monitoring target.

본 명세서의 해결하고자 하는 다른 일 과제는 이미지 세그멘테이션을 이용하는 접안 모니터링 장치 및 방법을 제공하는 것이다.Another problem to be solved in the present specification is to provide an eyepiece monitoring apparatus and method using image segmentation.

본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present invention is not limited to the above-described problems, and problems that are not mentioned will be clearly understood by those of ordinary skill in the art from the present specification and the accompanying drawings. .

본 명세서의 일 양상에 따르면, 컴퓨팅 수단에 의해 수행되는 접안 모니터링 방법에 있어서, 항만에 설치되어 이미지를 촬상하는 카메라를 이용하여 바다 및 복수의 선박을 포함하는 항만 이미지를 획득하는 단계, 입력 이미지 및 상기 입력 이미지에 포함된 바다, 선박 및 지형지물을 포함하는 오브젝트들에 해당하는 픽셀에 각각 바다, 선박 및 지형지물을 지시하는 클래스 값들을 라벨링한 러닝셋을 이용하여 학습된 인공 신경망을 이용하여 상기 항만 이미지로부터 상기 오브젝트들에 대한 세그멘테이션 이미지를 생성하는 단계, 상기 세그멘테이션 이미지의 선박을 지시하는 클래스 값이 할당된 제1 픽셀들에 기초하여 상기 복수의 선박을 트래킹하여 상기 복수의 선박 각각을 나타내는 대표 포인트들의 위치 정보가 포함된 트래킹 정보를 획득하는 단계, 상기 트래킹 정보에 기초하여 상기 트래킹되는 선박 중 접안 가이드되는 타겟 선박을 결정하는 단계 및 상기 세그멘테이션 이미지에 기초하여 상기 타겟 선박의 선수와 안벽사이의 거리인 선수 거리 및 상기 타겟 선박의 선미와 안벽 사이의 거리인 선미 거리를 포함하는 접안 가이드 정보를 획득하는 단계를 포함하는 접안 모니터링 방법이 제공될 수 있다.According to an aspect of the present specification, in the eyepiece monitoring method performed by a computing means, the step of acquiring a port image including the sea and a plurality of ships using a camera installed in a port to capture an image, an input image, and Using an artificial neural network learned using a learning set in which class values indicating the sea, ship, and terrain are respectively labeled in pixels corresponding to objects including sea, ship, and terrain included in the input image, the Generating a segmentation image for the objects from a port image, representing each of the plurality of vessels by tracking the plurality of vessels based on first pixels to which a class value indicating a vessel of the segmentation image is assigned Acquiring tracking information including location information of points, determining a target ship to be guided by the eyepiece among the tracked ships based on the tracking information, and between the bow and the quay wall of the target ship based on the segmentation image An eyepiece monitoring method comprising the step of acquiring eyepiece guide information including a bow distance, which is a distance, and a stern distance, which is a distance between a stern and a quay wall of the target vessel may be provided.

또한, 본 명세서의 다른 일 양상에 따르면, 항만에 설치되어 이미지를 촬상하는 카메라, 상기 카메라가 촬상한 바다 및 선박을 포함하는 항만 이미지를 획득하고, 입력 이미지 및 상기 입력 이미지에 포함된 바다, 선박 및 지형지물을 포함하는 오브젝트들에 해당하는 픽셀에 각각 바다, 선박 및 지형지물을 지시하는 클래스 값들을 라벨링한 러닝셋을 이용하여 학습된 인공 신경망을 이용하여 상기 항만 이미지로부터 상기 오브젝트들에 대한 세그멘테이션 이미지를 생성하고, 상기 세그멘테이션 이미지의 선박을 지시하는 클래스 값이 할당된 제1 픽셀들에 기초하여 상기 복수의 선박을 트래킹하여 상기 복수의 선박 각각을 나타내는 대표 포인트들의 위치 정보가 포함된 트래킹 정보를 획득하고, 상기 트래킹 정보에 기초하여 상기 트래킹되는 선박 중 접안 가이드되는 타겟 선박을 결정하고, 상기 세그멘테이션 이미지에 기초하여 상기 타겟 선박의 선수와 안벽 사이의 거리인 선수 거리 및 상기 타겟 선박의 선미와 안벽 사이의 거리인 선미 거리를 포함하는 접안 가이드 정보를 획득하는 제어 모듈, 및 상기 타겟 선박의 접안 가이드 정보를 원격 위치한 단말기에 전송하는 통신 모듈을 포함하는 접안 모니터링 장치가 제공될 수 있다.In addition, according to another aspect of the present specification, a camera installed in a port to capture an image, a port image including the sea and a ship captured by the camera is acquired, and an input image and a sea, a ship included in the input image And segmentation of the objects from the port image by using an artificial neural network learned using a learning set in which a pixel corresponding to objects including a feature is labeled sea, a ship, and a class value indicating a feature, respectively. An image is generated, and tracking information including location information of representative points representing each of the plurality of ships is provided by tracking the plurality of ships based on first pixels to which a class value indicating a ship of the segmentation image is assigned. It is obtained, based on the tracking information, determines a target ship that is guided by the eyepiece among the tracked ships, and based on the segmentation image, the bow distance, which is the distance between the bow and the quay wall, and the stern and quay wall of the target ship An eyepiece monitoring apparatus including a control module for acquiring eyepiece guide information including a stern distance, which is a distance therebetween, and a communication module for transmitting eyepiece guide information of the target vessel to a remotely located terminal may be provided.

본 명세서의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The means for solving the problems of the present specification are not limited to the above-described solutions, and solutions that are not mentioned will be clearly understood by those of ordinary skill in the art from the present specification and the accompanying drawings. I will be able to.

본 명세서의 일 실시예에 의하면, 선박 주변 및 항만을 모니터링하기 위한 접안 가이드 정보를 산출함으로써, 선박 및 항만에 대한 모니터링을 수행할 수 있다. According to an embodiment of the present specification, by calculating the berthing guide information for monitoring the vicinity of the ship and the port, it is possible to perform monitoring for the ship and the port.

본 명세서의 일 실시예에 의하면, 모니터링의 대상인 선박을 결정하고, 결정된 모니터링 대상에 관한 정보를 산출 및 출력하여 접안 모니터링을 효율적으로 수행할 수 있다. According to an exemplary embodiment of the present specification, it is possible to efficiently perform eyepiece monitoring by determining a vessel that is a monitoring target, and calculating and outputting information on the determined monitoring target.

본 명세서의 일 실시예에 의하면, 이미지 세그멘테이션을 이용하여 선박을 인식하고, 이에 기초하여 모니터링 대상을 결정할 수 있다. According to an embodiment of the present specification, a vessel may be recognized using image segmentation, and a monitoring target may be determined based on this.

본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.The effects of the present invention are not limited to the above-described effects, and effects that are not mentioned will be clearly understood by those of ordinary skill in the art from the present specification and the accompanying drawings.

도 1은 일 실시예에 따른 이미지 기반 모니터링에 관한 도면이다.
도 2는 일 실시예에 따른 접안 모니터링 장치에 관한 도면이다.
도 3 및 도 4는 일 실시예에 따른 접안 모니터링 장치의 실시예에 관한 도면이다.
도 5는 일 실시예에 따른 시야각 및 피사계 심도에 관한 도면이다.
도 6 및 도 7은 일 실시예에 따른 센서 모듈의 설치 위치에 관한 도면이다.
도 8은 일 실시예에 따른 이미지 분석에 관한 도면이다.
도 9 내지 도 11은 일 실시예에 따른 오브젝트 인식 단계에 관한 도면이다.
도 12 및 도 13은 일 실시예에 따른 인공 신경망의 학습 단계 및 추론 단계에 관한 도면이다.
도 14 및 도 15는 일 실시예에 따른 오브젝트의 위치/이동 정보 추정에 관한 도면이다.
도 16은 일 실시예에 따른 타겟 선박 결정에 관한 순서도이다.
도 17은 일 실시예에 따른 선박의 트래킹의 일 예에 관한 도면이다.
도 18은 일 실시예에 따른 위치 정보에 기초한 타겟 선박 결정의 일 예에 관한 도면이다.
도 19는 일 실시예에 따른 이동 정보에 기초한 타겟 선박 결정의 일 예에 관한 도면이다.
도 20은 일 실시예에 따른 항해 정보에 기초한 타겟 선박 결정의 일 예에 관한 도면이다.
도 21은 일 실시예에 따른 사용자 입력 정보에 기초한 타겟 선박 결정의 일 예에 관한 도면이다.
도 22는 일 실시예에 따른 타겟 선박의 접안 가이드 정보 획득에 관한 도면이다.
도 23은 일 실시예에 따른 모니터링 정보 출력에 관한 순서도이다.
도 24는 일 실시예에 따른 모니터링 정보 출력의 일 예에 관한 도면이다.
도 25 내지 도 27은 일 실시예에 따른 모니터링 정보 출력의 다른 예에 관한 도면이다.
도 28은 일 실시예에 따른 복수의 이미지에 기초한 이미지 기반 모니터링에 관한 도면이다.
도 29 및 도 30은 일 실시예에 따른 모니터링 정보 출력의 다른 예에 관한 도면이다.
도 31 및 도 32는 일 실시예에 따른 모니터링 정보 출력의 다른 예에 관한 도면이다.
도 33 및 도 34는 일 실시예에 따른 시점 변환에 관한 도면이다.
도 35는 일 실시예에 따른 접안 모니터링의 순서도이다.
1 is a diagram for image-based monitoring according to an embodiment.
2 is a diagram of an eyepiece monitoring apparatus according to an exemplary embodiment.
3 and 4 are diagrams of an embodiment of an eyepiece monitoring apparatus according to an embodiment.
5 is a diagram illustrating a viewing angle and a depth of field according to an exemplary embodiment.
6 and 7 are diagrams illustrating an installation location of a sensor module according to an exemplary embodiment.
8 is a diagram illustrating image analysis according to an exemplary embodiment.
9 to 11 are diagrams illustrating an object recognition step according to an exemplary embodiment.
12 and 13 are diagrams illustrating a learning step and an inference step of an artificial neural network according to an embodiment.
14 and 15 are diagrams for estimating location/movement information of an object according to an exemplary embodiment.
16 is a flow chart for determining a target vessel according to an embodiment.
17 is a diagram illustrating an example of tracking of a ship according to an embodiment.
18 is a diagram illustrating an example of determining a target vessel based on location information according to an embodiment.
19 is a diagram illustrating an example of determining a target vessel based on movement information according to an embodiment.
20 is a diagram illustrating an example of determining a target ship based on voyage information according to an embodiment.
21 is a diagram illustrating an example of determining a target vessel based on user input information according to an embodiment.
22 is a diagram illustrating acquisition of eyepiece guide information of a target ship according to an exemplary embodiment.
23 is a flowchart illustrating outputting monitoring information according to an exemplary embodiment.
24 is a diagram illustrating an example of outputting monitoring information according to an embodiment.
25 to 27 are diagrams illustrating another example of outputting monitoring information according to an exemplary embodiment.
28 is a diagram illustrating image-based monitoring based on a plurality of images, according to an exemplary embodiment.
29 and 30 are diagrams illustrating another example of outputting monitoring information according to an embodiment.
31 and 32 are diagrams illustrating another example of outputting monitoring information according to an embodiment.
33 and 34 are diagrams for view conversion according to an embodiment.
35 is a flowchart of eyepiece monitoring according to an embodiment.

본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 의해 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.The embodiments described in the present specification are intended to clearly explain the spirit of the present invention to those of ordinary skill in the technical field to which the present invention pertains, so the present invention is not limited by the embodiments described herein, and the present invention The scope of should be construed as including modifications or variations that do not depart from the spirit of the present invention.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.The terms used in this specification have been selected as general terms currently widely used in consideration of functions in the present invention, but this varies according to the intention, custom, or the emergence of new technologies of those of ordinary skill in the technical field to which the present invention belongs. I can. However, if a specific term is defined and used in an arbitrary meaning unlike this, the meaning of the term will be separately described. Therefore, the terms used in the present specification should be interpreted based on the actual meaning of the term and the entire contents of the present specification, not a simple name of the term.

본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.The drawings attached to the present specification are for easy explanation of the present invention, and the shapes shown in the drawings may be exaggerated and displayed as necessary to aid understanding of the present invention, so the present invention is not limited by the drawings.

본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.In the present specification, when it is determined that a detailed description of a well-known configuration or function related to the present invention may obscure the subject matter of the present invention, a detailed description thereof will be omitted as necessary.

본 명세서에서 사용되는 '항만 이미지' 라는 용어는 항만과 관련된 이미지로 이해될 수 있으며, 예를 들어, 항만 이미지는 항만에 설치된 카메라를 통해 촬상된 이미지, 항만의 적어도 일부가 포함된 이미지 등을 포함할 수 있다. The term'port image' used in this specification can be understood as an image related to a port, for example, a port image includes an image captured by a camera installed in a port, an image including at least a part of the port, etc. can do.

본 명세서의 일 양상에 따르면 컴퓨팅 수단에 의해 수행되는 접안 모니터링 방법에 있어서, 항만에 설치되어 이미지를 촬상하는 카메라를 이용하여 바다 및 복수의 선박을 포함하는 항만 이미지를 획득하는 단계; 입력 이미지 및 상기 입력 이미지에 포함된 바다, 선박 및 지형지물을 포함하는 오브젝트들에 해당하는 픽셀에 각각 바다, 선박 및 지형지물을 지시하는 클래스 값들을 라벨링한 러닝셋을 이용하여 학습된 인공 신경망을 이용하여 상기 항만 이미지로부터 상기 오브젝트들에 대한 세그멘테이션 이미지를 생성하는 단계; 상기 세그멘테이션 이미지의 선박을 지시하는 클래스 값이 할당된 제1 픽셀들에 기초하여 상기 복수의 선박을 트래킹하여 상기 복수의 선박 각각을 나타내는 대표 포인트들의 위치 정보가 포함된 트래킹 정보를 획득하는 단계; 상기 트래킹 정보에 기초하여 상기 트래킹되는 선박 중 접안 가이드되는 타겟 선박을 결정하는 단계; 및 상기 세그멘테이션 이미지에 기초하여 상기 타겟 선박의 선수와 안벽 사이의 거리인 선수 거리 및 상기 타겟 선박의 선미와 안벽 사이의 거리인 선미 거리를 포함하는 접안 가이드 정보를 획득하는 단계; 를 포함하는 접안 모니터링 방법이 제공될 수 있다.According to an aspect of the present specification, in the eyepiece monitoring method performed by a computing means, the method comprising: acquiring a port image including the sea and a plurality of ships using a camera installed in a port to capture an image; An artificial neural network learned using a learning set in which the input image and the class values indicating the sea, the ship, and the topographic feature, respectively, are labeled in pixels corresponding to objects including the sea, ship, and feature included in the input image. Generating a segmentation image of the objects from the port image using the port image; Tracking the plurality of ships based on first pixels assigned a class value indicating a ship of the segmentation image to obtain tracking information including location information of representative points representing each of the plurality of ships; Determining a target vessel to be guided by the eyepiece among the tracked vessels based on the tracking information; And obtaining eyepiece guide information including a bow distance, which is a distance between a bow and quay wall of the target ship, and a stern distance, which is a distance between a stern and quay wall of the target ship, based on the segmentation image. Eyepiece monitoring method comprising a may be provided.

여기서, 상기 대표 포인트는 상기 세그멘테이션 이미지의 상기 복수의 선박 각각의 세그멘테이션 영역 상의 하나의 포인트일 수 있다.Here, the representative point may be one point on the segmentation area of each of the plurality of ships of the segmentation image.

여기서, 상기 대표 포인트는 상기 복수의 선박 각각의 세그멘테이션 영역의 중심에 위치하는 포인트일 수 있다.Here, the representative point may be a point located at the center of the segmentation area of each of the plurality of ships.

여기서, 상기 트래킹 정보를 획득하는 단계는 상기 대표점과 상기 안벽 사이의 거리를 획득하는 단계를 포함하고 상기 타겟 선박은 상기 대표 포인트와 상기 안벽 사이의 거리에 기초하여 결정될 수 있다.Here, the obtaining of the tracking information includes obtaining a distance between the representative point and the quay wall, and the target ship may be determined based on the distance between the representative point and the quay wall.

여기서, 상기 타겟 선박은 상기 복수의 선박 중 상기 대표 포인트와 상기 안벽 사이의 거리가 기설정된 값 미만인 선박으로 결정될 수 있다.Here, the target ship may be determined as a ship in which a distance between the representative point and the quay wall among the plurality of ships is less than a preset value.

여기서, 상기 타겟 선박은 상기 복수의 선박 중 상기 대표 포인트가 기설정된 영역 상에 위치하는 선박으로 결정될 수 있다.Here, the target ship may be determined as a ship in which the representative point is located on a predetermined area among the plurality of ships.

여기서, 상기 트래킹 정보를 획득하는 단계는 상기 대표 포인트의 위치 정보에 기초하여 상기 대표 포인트의 이동 정보를 획득하는 단계를 포함하고, 상기 타겟 선박은 상기 대표 포인트의 이동 정보에 기초하여 결정될 수 있다.Here, the obtaining of the tracking information includes obtaining movement information of the representative point based on the location information of the representative point, and the target ship may be determined based on the movement information of the representative point.

여기서, 상기 타겟 선박은 상기 복수의 선박 중 상기 대표 포인트의 상기 안벽으로의 접근 속도의 크기에 기초하여 결정될 수 있다.Here, the target vessel may be determined based on a magnitude of an approach speed of the representative point to the quay wall among the plurality of vessels.

여기서, 상기 트래킹 정보를 획득하는 단계는 상기 복수의 선박의 VTS 정보 및 AIS 정보 중 적어도 하나를 획득하는 단계를 포함하고, 상기 타겟 선박은 상기 VTS 정보 및 AIS 정보 중 적어도 하나에 기초하여 결정될 수 있다.Here, the obtaining of the tracking information includes obtaining at least one of VTS information and AIS information of the plurality of vessels, and the target vessel may be determined based on at least one of the VTS information and AIS information. .

여기서, 상기 타겟 선박은 상기 복수의 선박 중 상기 VTS 정보 및 AIS 정보 중 적어도 하나에 따른 도착지에 기초하여 결정될 수 있다.Here, the target ship may be determined based on a destination according to at least one of the VTS information and AIS information among the plurality of ships.

여기서, 상기 트래킹 정보를 획득하는 단계는 사용자 단말로부터 상기 복수의 선박에 대한 사용자 입력 정보를 획득하는 단계를 포함하고, 상기 타겟 선박은 상기 복수의 선박에 대한 사용자 입력 정보에 기초하여 결정될 수 있다.Here, the step of obtaining the tracking information includes obtaining user input information for the plurality of vessels from a user terminal, and the target vessel may be determined based on user input information for the plurality of vessels.

여기서, 상기 타겟 선박은 상기 복수의 선박 중 상기 사용자 입력 정보에 따라 선택된 선박으로 결정될 수 있다.Here, the target ship may be determined as a ship selected according to the user input information among the plurality of ships.

여기서, 상기 타겟 선박은 상기 타겟 선박 결정에 이용되는 조건에 부합하는 선박이 복수인 경우 상기 조건에 더 늦게 부합한 하나의 선박으로 결정될 수 있다.Here, the target vessel may be determined as one vessel that meets the condition later when there are a plurality of vessels that meet the conditions used for determining the target vessel.

여기서, 상기 인공 신경망은 입력 이미지 및 상기 입력 이미지에 포함된 바다, 예인선, 예인선을 제외한 선박 및 지형지물을 포함하는 오브젝트들에 해당하는 픽셀에 각각 바다, 예인선, 예인선이 제외된 선박 및 지형지물을 지시하는 클래스 값들을 라벨링한 러닝셋을 이용하여 학습될 수 있다.Here, the artificial neural network includes the input image and the sea, the tugboat, the ship excluding the tugboat, and the terrain feature in pixels corresponding to the objects including the sea, the tugboat, the vessel excluding the tugboat, and the terrain feature, respectively. It can be learned using a running set labeled with the indicated class values.

여기서, 상기 접안 가이드 정보를 획득하는 단계는 상기 타겟 선박이 해수면과 접하는 밑면의 양 단부에 대응하는 한 쌍의 포인트를 추출하는 단계 및 상기 한 쌍의 포인트에 기초하여 상기 선수 거리 및 상기 선미 거리를 획득하는 단계를 포함할 수 있다.Here, the step of obtaining the eyepiece guide information includes extracting a pair of points corresponding to both ends of the bottom surface in contact with the sea level of the target vessel, and calculating the bow distance and the stern distance based on the pair of points. It may include the step of obtaining.

여기서, 상기 접안 가이드 정보를 획득하는 단계는 상기 선수 거리 및 상기 선미 거리에 기초하여 상기 타겟 선박의 선수가 상기 안벽으로 접근하는 속도인 선수 속도 및 상기 타겟 선박의 선미가 상기 안벽으로 접근하는 속도인 선미 속도를 획득하는 단계를 포함할 수 있다.Here, the step of obtaining the eyepiece guide information includes a bow speed, which is a speed at which the bow of the target ship approaches the quay wall, based on the bow distance and the stern distance, and a speed at which the stern of the target ship approaches the quay wall. It may include the step of obtaining the stern speed.

여기서, 상기 접안 가이드 정보를 획득하는 단계는 상기 세그멘테이션 이미지에 기초하여 상기 타겟 선박과 상기 다른 선박 사이의 거리를 획득하는 단계를 포함할 수 있다.Here, the obtaining of the eyepiece guide information may include obtaining a distance between the target vessel and the other vessel based on the segmentation image.

여기서, 상기 접안 가이드 정보를 획득하는 단계는 상기 타겟 선박과 다른 선박 사이의 거리에 기초하여 상기 타겟 선박과 상기 다른 선박 사이의 상대 속도를 획득하는 단계를 포함할 수 있다.Here, obtaining the eyepiece guide information may include obtaining a relative speed between the target vessel and the other vessel based on a distance between the target vessel and another vessel.

여기서, 상기 접안 가이드 정보를 획득하는 단계는 상기 선박의 다른 선박 또는 상기 안벽과의 충돌 위험과 관련된 정보를 획득하는 단계를 포함할 수 있다.Here, the step of acquiring the eyepiece guide information may include acquiring information related to the risk of collision with another ship of the ship or the quay wall.

여기서, 상기 접안 모니터링 방법은 상기 접안 가이드 정보를 상기 항만 이미지와 함께 출력하는 단계; 를 더 포함할 수 있다.Here, the eyepiece monitoring method includes: outputting the eyepiece guide information together with the port image; It may further include.

여기서, 상기 항만 이미지는 복수의 항만 이미지가 정합된 파노라마 이미지를 포함할 수 있다.Here, the port image may include a panoramic image in which a plurality of port images are matched.

또한 상술한 방법을 실행시키기 위한 프로그램을 기록한 기록매체가 제공될 수 있다.Further, a recording medium on which a program for executing the above-described method is recorded may be provided.

또한 본 명세서의 일 양상에 따르면 항만에 설치되어 이미지를 촬상하는 카메라; 상기 카메라가 촬상한 바다 및 선박을 포함하는 항만 이미지를 획득하고, 입력 이미지 및 상기 입력 이미지에 포함된 바다, 선박 및 지형지물을 포함하는 오브젝트들에 해당하는 픽셀에 각각 바다, 선박 및 지형지물을 지시하는 클래스 값들을 라벨링한 러닝셋을 이용하여 학습된 인공 신경망을 이용하여 상기 항만 이미지로부터 상기 오브젝트들에 대한 세그멘테이션 이미지를 생성하고, 상기 세그멘테이션 이미지의 선박을 지시하는 클래스 값이 할당된 제1 픽셀들에 기초하여 상기 복수의 선박을 트래킹하여 상기 복수의 선박 각각을 나타내는 대표 포인트들의 위치 정보가 포함된 트래킹 정보를 획득하고, 상기 트래킹 정보에 기초하여 상기 트래킹되는 선박 중 접안 가이드되는 타겟 선박을 결정하고, 상기 세그멘테이션 이미지에 기초하여 상기 타겟 선박의 선수와 안벽(pier) 사이의 거리인 선수 거리 및 상기 타겟 선박의 선미와 안벽 사이의 거리인 선미 거리를 포함하는 접안 가이드 정보를 획득하는 제어 모듈; 및 상기 타겟 선박의 접안 가이드 정보를 원격 위치한 단말기에 전송하는 통신 모듈; 을 포함하는 접안 모니터링 장치가 제공될 수 있다.In addition, according to an aspect of the present specification, a camera installed in a port to capture an image; A port image including the sea and a ship captured by the camera is acquired, and the sea, a ship, and a terrain feature are respectively included in the input image and the pixels corresponding to the objects including the sea, the ship, and the feature included in the input image. A first pixel to which a segmentation image for the objects is generated from the port image using an artificial neural network learned using a learning set labeled with the indicated class values, and a class value indicating a vessel of the segmentation image is assigned Based on the tracking information, tracking information including location information of representative points representing each of the plurality of ships is obtained by tracking the plurality of ships, and a target ship to be guided by the eyepiece among the tracked ships is determined based on the tracking information. And a control module for acquiring eyepiece guide information including a bow distance, which is a distance between a bow and a pier of the target ship, and a stern distance, which is a distance between a stern and a quay wall of the target ship, based on the segmentation image; And a communication module for transmitting the berthing guide information of the target vessel to a remotely located terminal. Eyepiece monitoring device comprising a may be provided.

이하에서는 일 실시예에 따른 접안 모니터링 장치 및 방법에 대하여 설명한다.Hereinafter, an apparatus and method for monitoring the eyepiece according to an embodiment will be described.

본 명세서에서 모니터링이란 주변 상황을 파악하거나 인식하는 것으로, 일정 영역이나 특정 오브젝트 등 감지 대상을 각종 센서를 이용하여 감지하고 그 감지 결과를 사용자에게 제공하는 것뿐만 아니라 감지 결과를 바탕으로 연산 등을 통해 추가적인 정보를 제공하는 것 등을 포함하도록 넓게 해석되어야 한다.In this specification, monitoring refers to identifying or recognizing the surrounding situation, sensing targets such as a certain area or specific object using various sensors, and providing the detection result to the user, as well as through calculations based on the detection result. It should be interpreted broadly to include, for example, providing additional information.

이미지 기반 모니터링이란 이미지에 기초하여 주변 상황을 파악하거나 인식하는 것을 의미할 수 있다. 예를 들어, 모니터링은 선박의 운항 시 선박 주변 이미지를 획득하여 이로부터 다른 선박이나 장애물 등을 인식하거나, 선박의 접안 또는 이안 시 접안 가이드 정보를 산출하기 위한 정보를 획득하는 것을 의미할 수 있다. Image-based monitoring may mean grasping or recognizing a surrounding situation based on an image. For example, monitoring may mean acquiring an image around the vessel during operation of the vessel and recognizing other vessels or obstacles therefrom, or obtaining information for calculating eyepiece guide information when berthing or berthing the vessel.

접안 가이드 정보란 다른 선박이나 장애물 등의 인식, 항만 상황 파악, 선석에 접근 가능한지 여부, 안벽과의 거리 및 속도, 다른 선박과의 거리 및 속도, 운항 경로 상 장애물 존재 여부 파악 등 접안에 필요한 주변 환경에 대한 정보를 의미할 수 있다. 본 명세서에서는 주로 선박 및 항만에서 접안이 수행되는 경우의 모니터링에 대해 설명하나, 이에 한정되는 것은 아니고 차량의 주행, 비행체의 운항 등의 경우에도 적용될 수 있을 것이다.The berthing guide information refers to the surrounding environment required for berthing, such as recognition of other ships or obstacles, understanding the port situation, whether the berth is accessible, distance and speed from the quay wall, distance and speed from other ships, and whether there are obstacles in the navigation route. It can mean information about. In the present specification, the monitoring is mainly described when berthing is performed in ships and ports, but the present disclosure is not limited thereto, and may be applied to the case of driving a vehicle or operating an aircraft.

도 1은 일 실시예에 따른 이미지 기반 모니터링에 관한 도면이다. 도 1을 참고하면, 이미지 기반 모니터링은 이미지 획득 단계(S10) 및 이미지 분석 단계(S20)를 포함할 수 있다.1 is a diagram for image-based monitoring according to an embodiment. Referring to FIG. 1, image-based monitoring may include an image acquisition step (S10) and an image analysis step (S20).

이미지 획득 단계(S10)는 장치(10)가 이미지를 획득하는 단계를 의미할 수 있다. 여기서, 이미지의 종류는 RGB 이미지, IR 이미지, depth 이미지, 라이다(lidar) 이미지, 레이더(radar) 이미지 등 다양할 수 있고 제한이 있는 것은 아니다. 또한, 2차원 이미지뿐만 아니라 3차원 이미지 등도 가능하다.The image acquisition step S10 may mean a step in which the device 10 acquires an image. Here, the type of image may be various, such as an RGB image, an IR image, a depth image, a lidar image, and a radar image, and there is no limitation. In addition, not only 2D images but also 3D images are possible.

이미지 분석 단계(S20)는 이미지에 기초하여 분석 결과를 획득하는 단계를 의미할 수 있다. 일 예로, 이미지 분석 단계(S20)는 이미지를 통해 접안 가이드 정보를 산출하는 단계를 포함할 수 있다. 또는, 이미지 분석 단계(S20)는 이미지에 포함된 오브젝트의 특성을 분석하는 단계를 의미할 수 있다. 또는, 이미지 분석 단계(S20)는 이미지가 나타내는 상황을 판단하는 단계를 포함할 수 있다. 또는, The image analysis step S20 may mean a step of obtaining an analysis result based on an image. For example, the image analysis step S20 may include calculating eyepiece guide information through an image. Alternatively, the image analysis step S20 may refer to a step of analyzing characteristics of an object included in the image. Alternatively, the image analysis step S20 may include determining a situation indicated by the image. or,

이미지 획득 단계(S10) 및 이미지 분석 단계(S20)의 구체적인 내용은 후술하기로 한다. 이하에서는 이미지 획득 단계(S10) 또는 이미지 분석 단계(S20)를 통해 획득한 정보를 모니터링 정보라 한다.Details of the image acquisition step (S10) and the image analysis step (S20) will be described later. Hereinafter, information acquired through the image acquisition step S10 or the image analysis step S20 is referred to as monitoring information.

도 2는 일 실시예에 따른 접안 모니터링 장치에 관한 도면이다. 도 2를 참고하면, 모니터링 장치(10)는 센서 모듈(100), 제어 모듈(200) 및 통신 모듈(300)을 포함할 수 있다.2 is a diagram of an eyepiece monitoring apparatus according to an exemplary embodiment. Referring to FIG. 2, the monitoring device 10 may include a sensor module 100, a control module 200, and a communication module 300.

센서 모듈(100)은 선박이나 선박 주변 및 항만에 대한 정보를 센싱할 수 있다. 센서 모듈(100)은 선박자동식별장치(automatic identification system, AIS), 이미지 생성 유닛, 위치 측정 유닛, 자세 측정 유닛, 케이싱 등을 포함할 수 있다.The sensor module 100 may sense information on a ship or around a ship and a port. The sensor module 100 may include an automatic identification system (AIS), an image generation unit, a position measurement unit, an attitude measurement unit, a casing, and the like.

이미지 생성 유닛은 이미지를 생성할 수 있다. 이미지 생성 유닛은 카메라, 라이다, 레이더, 초음파 탐지기 등을 포함할 수 있다. 카메라의 예로는 단안 카메라, 쌍안 카메라, 가시광선 카메라, IR 카메라, depth 카메라가 있지만 이에 한정되는 것은 아니다.The image generating unit may generate an image. The image generating unit may include a camera, a lidar, a radar, an ultrasonic detector, and the like. Examples of cameras include monocular cameras, binocular cameras, visible light cameras, IR cameras, and depth cameras, but are not limited thereto.

위치 측정 유닛은 센서 모듈이나 이미지 생성 유닛 등 센서 모듈에 포함된 구성의 위치를 측정할 수 있다. 일 예로, 위치 측정 유닛은 GPS(Global Positioning System)일 수 있다. 특히, 위치 측정의 정확도 향상을 위해 RTK-GPS(Real-Time Kinematic GPS)가 이용될 수도 있다.The position measuring unit may measure the position of a component included in a sensor module, such as a sensor module or an image generating unit. For example, the location measurement unit may be a Global Positioning System (GPS). In particular, Real-Time Kinematic GPS (RTK-GPS) may be used to improve the accuracy of location measurement.

위치 측정 유닛은 미리 정해진 시간 간격마다 위치 정보를 획득할 수 있다. 여기서, 상기 시간 간격은 센서 모듈의 설치 위치에 따라 달라질 수 있다. 예를 들어, 센서 모듈이 선박 등 이동체에 설치된 경우 위치 측정 유닛은 짧은 시간 간격마다 위치 정보를 획득할 수 있다. 반면, 센서 모듈이 항만 등 고정체에 설치된 경우 위치 측정 유닛은 긴 시간 간격마다 위치 정보를 획득할 수 있다. 위치 측정 유닛의 위치 정보 획득을 위한 시간 간격은 변경될 수 있다.The location measurement unit may acquire location information at predetermined time intervals. Here, the time interval may vary depending on the installation position of the sensor module. For example, when the sensor module is installed on a moving object such as a ship, the position measurement unit may acquire position information at short time intervals. On the other hand, when the sensor module is installed in a fixture such as a port, the position measurement unit may acquire position information at long intervals. The time interval for obtaining the location information of the location measurement unit may be changed.

자세 측정 유닛은 센서 모듈이나 이미지 생성 유닛 등 센서 모듈에 포함된 구성의 자세를 측정할 수 있다. 일 예로, 자세 측정 유닛은 관성측정장비(Inertial Measurement Unit, IMU)일 수 있다.The posture measurement unit may measure the posture of a component included in a sensor module, such as a sensor module or an image generating unit. For example, the posture measurement unit may be an inertial measurement unit (IMU).

자세 측정 유닛은 미리 정해진 시간 간격마다 자세 정보를 획득할 수 있다. 여기서, 상기 시간 간격은 센서 모듈의 설치 위치에 따라 달라질 수 있다. 예를 들어, 센서 모듈이 선박 등 이동체에 설치된 경우 자세 측정 유닛은 짧은 시간 간격마다 자세 정보를 획득할 수 있다. 반면, 센서 모듈이 항만 등 고정체에 설치된 경우 자세 측정 유닛은 긴 시간 간격마다 자세 정보를 획득할 수 있다. 자세 측정 유닛의 자세 정보 획득을 위한 시간 간격은 변경될 수 있다.The posture measurement unit may acquire posture information at predetermined time intervals. Here, the time interval may vary depending on the installation position of the sensor module. For example, when the sensor module is installed on a moving object such as a ship, the attitude measurement unit may acquire attitude information at short time intervals. On the other hand, when the sensor module is installed in a fixed body such as a port, the attitude measurement unit may acquire attitude information at every long time interval. The time interval for obtaining the posture information of the posture measurement unit may be changed.

케이싱은 이미지 생성 유닛, 위치 측정 유닛, 자세 측정 유닛 등 센서 모듈을 보호할 수 있다.The casing can protect sensor modules such as an image generating unit, a position measuring unit, and a posture measuring unit.

케이싱의 내부에는 이미지 생성 유닛, 위치 측정 유닛, 자세 측정 유닛 중 적어도 하나가 존재할 수 있다. 케이싱은 내부에 존재하는 이미지 생성 유닛 등의 장비가 염수에 의해 부식되는 것을 방지할 수 있다. 또는, 케이싱은 내부에 존재하는 장비에 가해지는 충격을 방지하거나 완화시켜 이를 보호할 수 있다.At least one of an image generating unit, a position measuring unit, and a posture measuring unit may be present inside the casing. The casing can prevent equipment such as an image generating unit existing inside from being corroded by salt water. Alternatively, the casing may protect the equipment by preventing or mitigating the impact applied to the equipment existing therein.

내부에 이미지 생성 유닛 등을 포함하기 위하여 케이싱의 내부에 공동이 형성될 수 있다. 예를 들어, 케이싱은 내부가 비어있는 직육면체 형상일 수 있지만, 이에 한정되는 것은 아니고 내부에 이미지 생성 유닛 등이 배치될 수 있는 다양한 형상으로 제공될 수 있다.A cavity may be formed inside the casing to include an image generating unit or the like therein. For example, the casing may have a rectangular parallelepiped shape with an empty inside, but is not limited thereto and may be provided in various shapes in which an image generating unit or the like may be disposed therein.

케이싱의 내부에 이미지 생성 유닛이 배치되는 경우, 이미지 생성 유닛의 시야 확보를 위해 케이싱의 일 영역에 개폐구가 형성되거나 케이싱의 일 영역을 유리 등 투명한 물질로 형성할 수 있다. 이미지 생성 유닛은 상기 개폐구 또는 투명한 영역을 통해 선박 주변 및 항만을 촬상할 수 있다.When the image generating unit is disposed inside the casing, an opening and closing opening may be formed in one area of the casing to secure a field of view of the image generating unit, or an area of the casing may be formed of a transparent material such as glass. The image generating unit may capture images around the ship and the port through the opening or the transparent area.

케이싱은 이미지 생성 유닛 등을 외부 충격으로부터 보호하기 위해 강인한 소재로 제공될 수 있다. 또는, 케이싱은 염분으로 인한 부식을 방지하기 위하여 해수용 합금 등의 소재로 제공될 수 있다.The casing may be provided with a tough material to protect the image generating unit or the like from external impact. Alternatively, the casing may be provided with a material such as an alloy for seawater in order to prevent corrosion due to salt.

케이싱은 이미지 생성 유닛의 이물질을 제거하기 위한 장비를 포함할 수 있다. 일 예로, 케이싱에 포함된 와이퍼를 통해 이미지 생성 유닛의 표면에 달라붙은 이물질을 물리적으로 제거할 수 있다. 여기서, 상기 와이퍼는 이물질을 제거하려는 표면에 밀착할 수 있도록 상기 표면과 동일하거나 유사한 곡률을 갖는 선형 또는 판형으로 제공될 수 있다. 다른 예로, 케이싱에 포함된 액체 스프레이를 통해 물이나 워셔액을 도포하여 이물질을 제거하거나 도포 후 와이퍼를 이용하여 이물질을 물리적으로 제거할 수 있다.The casing may include equipment for removing foreign matter from the image generating unit. As an example, foreign matter adhered to the surface of the image generating unit may be physically removed through a wiper included in the casing. Here, the wiper may be provided in a linear or plate shape having the same or similar curvature as the surface so as to be in close contact with the surface to be removed from foreign substances. As another example, foreign substances may be removed by applying water or a washer liquid through a liquid spray included in the casing, or the foreign substances may be physically removed using a wiper after application.

이물질 제거 장비는 수동으로 가동될 수 있지만, 자동으로도 가동될 수 있다. 예를 들어, 미리 정해진 시간 간격으로 이물질 제거 장비가 동작할 수 있다. 또는, 이미지 생성 유닛에 이물질이 달라 붙었는지 여부를 감지하는 센서를 이용하여 이물질 제거 장비를 동작시킬 수 있다. 또는, 이미지 생성 유닛이 촬상한 이미지를 이용하여, 상기 이미지에 이물질이 촬상되었는지 여부를 판단한 후, 이물질이 존재한다고 판단되는 경우에 이물질 제거 장비를 동작시킬 수 있다. 여기서, 이미지에 이물질이 촬상되었는지 여부는 인공 신경망(artificial neural network)을 통하여 판단될 수도 있을 것이다.Debris removal equipment can be operated manually, but it can also be operated automatically. For example, the foreign matter removal equipment may be operated at predetermined time intervals. Alternatively, the foreign material removal equipment may be operated using a sensor that detects whether the foreign material has adhered to the image generating unit. Alternatively, after determining whether a foreign material has been captured in the image using the image captured by the image generating unit, the foreign material removing equipment may be operated when it is determined that the foreign material is present. Here, whether or not a foreign object is captured in the image may be determined through an artificial neural network.

하나의 센서 모듈(100)은 2개 이상의 동일한 카메라를 포함하는 등 복수의 동일한 장비를 포함할 수도 있다.One sensor module 100 may include a plurality of identical devices, such as including two or more identical cameras.

제어 모듈(200)은 이미지 분석을 수행할 수 있다. 또한, 센서 모듈(100)을 통해 각종 데이터를 수신하는 동작, 출력 장치를 통해 각종 출력을 출력하는 동작, 메모리에 각종 데이터를 저장하거나 메모리로부터 각종 데이터를 획득하는 동작 등이 제어 모듈(200)의 제어에 의해 수행될 수 있다. 이하에서는 본 명세서의 실시예로 개시되는 각종 동작이나 단계들은 별도의 언급이 없는 이상 제어 모듈(200)에 의해 수행되거나 제어 모듈(200)의 제어에 의해 수행되는 것으로 해석될 수 있다.The control module 200 may perform image analysis. In addition, the operation of receiving various data through the sensor module 100, outputting various outputs through an output device, storing various data in a memory or acquiring various data from the memory, etc. Can be done by control. Hereinafter, various operations or steps disclosed in the embodiments of the present specification may be interpreted as being performed by the control module 200 or performed by the control of the control module 200 unless otherwise stated.

제어 모듈(200)의 예로는 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphics Processing Unit, GPU), 디지털 신호 처리 장치(Digital Signal Processor, DSP), 상태 기계(state machine), 주문형 반도체(Application Specific Integrated Circuit, ASIC), 무선 주파수 집적 회로(Radio-Frequency Integrated Circuit, RFIC) 및 이들의 조합 등이 있을 수 있다.Examples of the control module 200 include a central processing unit (CPU), a graphics processing unit (GPU), a digital signal processor (DSP), a state machine, and an on-demand There may be an Application Specific Integrated Circuit (ASIC), a Radio-Frequency Integrated Circuit (RFIC), and a combination thereof.

통신 모듈(300)은 장치(10)로부터 외부로 정보를 송신하거나 외부로부터 정보를 수신할 수 있다. 통신 모듈(300)은 유선 또는 무선 통신을 수행할 수 있다. 통신 모듈(300)은 양방향(bi-directional) 또는 단방향 통신을 수행할 수 있다. 예를 들어, 장치(10)는 통신 모듈(300)을 통해 외부 출력 장치로 정보를 전달하여 제어 모듈(200)이 수행한 제어 결과를 외부 출력 장치를 통해 출력할 수 있다. 또한, 통신 모듈(300)은 선박을 관제하는 해상교통관제시스템(VTS, Vessel Traffic Service)으로부터 선박과 관련된 VTS 정보 또는 CITS(Costal Intelligent Transport System) 정보를 수신할 수 있다.The communication module 300 may transmit information from the device 10 to the outside or may receive information from the outside. The communication module 300 may perform wired or wireless communication. The communication module 300 may perform bi-directional or one-way communication. For example, the device 10 may transmit information to an external output device through the communication module 300 and output a control result performed by the control module 200 through the external output device. In addition, the communication module 300 may receive VTS information related to a vessel or Costal Intelligent Transport System (CITS) information from a vessel traffic control system (VTS) that controls a vessel.

센서 모듈(100), 제어 모듈(200) 및 통신 모듈(300)은 제어부를 포함할 수 있다. 제어부는 모듈 내에서 각종 정보의 처리와 연산을 수행하고, 모듈을 구성하는 다른 구성 요소를 제어할 수 있다. 제어부는 물리적으로는 전기 신호를 처리하는 전자 회로 형태로 제공될 수 있다. 모듈은 물리적으로 단일한 제어부만을 포함할 수도 있으나, 이와 달리 복수의 제어부를 포함할 수도 있다. 일 예로, 제어부는 하나의 컴퓨팅 수단에 탑재되는 하나 또는 복수의 프로세서(processor)일 수 있다. 다른 예로, 제어부는 물리적으로 이격된 서버(server)와 터미널(terminal)에 탑재되어 통신을 통해 협업하는 프로세서들로 제공될 수도 있다. 제어부의 예로는 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphics Processing Unit, GPU), 디지털 신호 처리 장치(Digital Signal Processor, DSP), 상태 기계(state machine), 주문형 반도체(Application Specific Integrated Circuit, ASIC), 무선 주파수 집적 회로(Radio-Frequency Integrated Circuit, RFIC) 및 이들의 조합 등이 있을 수 있다.The sensor module 100, the control module 200, and the communication module 300 may include a control unit. The control unit may process and operate various types of information within the module, and may control other components constituting the module. The control unit may be physically provided in the form of an electronic circuit that processes electrical signals. The module may physically include only a single control unit, but may otherwise include a plurality of control units. For example, the control unit may be one or a plurality of processors mounted on one computing means. As another example, the control unit may be provided to processors mounted on a server and a terminal physically separated from each other to cooperate through communication. Examples of the control unit include a Central Processing Unit (CPU), a Graphics Processing Unit (GPU), a Digital Signal Processor (DSP), a state machine, and an Application Specific Integrated Circuit (ASIC), Radio-Frequency Integrated Circuit (RFIC), and combinations thereof.

센서 모듈(100), 제어 모듈(200) 및 통신 모듈(300)은 통신부를 포함할 수 있다. 상기 모듈들은 통신부를 통해 정보를 송수신할 수 있다. 예를 들어, 센서 모듈(100)은 외부로부터 획득한 정보를 그 통신부를 통해 송신하고, 제어 모듈(200)은 그 통신부를 통해 센서 모듈(100)이 송신한 정보를 수신할 수 있다. 통신부는 유선 또는 무선 통신을 수행할 수 있다. 통신부는 양방향(bi-directional) 또는 단방향 통신을 수행할 수 있다.The sensor module 100, the control module 200, and the communication module 300 may include a communication unit. The modules may transmit and receive information through a communication unit. For example, the sensor module 100 may transmit information obtained from the outside through its communication unit, and the control module 200 may receive information transmitted by the sensor module 100 through the communication unit. The communication unit may perform wired or wireless communication. The communication unit may perform bi-directional or unidirectional communication.

센서 모듈(100), 제어 모듈(200) 및 통신 모듈(300)은 메모리를 포함할 수 있다. 메모리는 각종 프로세싱 프로그램, 프로그램의 프로세싱을 수행하기 위한 파라미터 또는 이러한 프로세싱 결과 데이터 등을 저장할 수 있다. 예를 들어, 메모리는 학습 및/또는 추론에 필요한 데이터, 학습이 진행중이거나 학습된 인공 신경망 등을 저장할 수 있다. 메모리는 비휘발성 반도체 메모리, 하드 디스크, 플래시 메모리, RAM(Random Access Memory), ROM(Read Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 또는 그 외에 유형의(tangible) 비휘발성의 기록 매체 등으로 구현될 수 있다.The sensor module 100, the control module 200, and the communication module 300 may include a memory. The memory may store various processing programs, parameters for performing processing of the program, or processing result data. For example, the memory may store data necessary for learning and/or inference, an artificial neural network that is being trained or learned. Memory is a nonvolatile semiconductor memory, hard disk, flash memory, random access memory (RAM), read only memory (ROM), electrically erasable programmable read-only memory (EEPROM), or any other tangible nonvolatile recording medium. It can be implemented as such.

모니터링 장치(10)는 2개 이상의 센서 모듈(100)을 포함하는 등 복수의 동일한 모듈을 포함할 수도 있다. 예를 들어, 하나의 장치(10)가 2개의 센서 모듈(100)을 포함하고, 각 센서 모듈(100)이 다시 2개의 카메라를 포함할 수도 있다.The monitoring device 10 may include a plurality of identical modules, such as including two or more sensor modules 100. For example, one device 10 may include two sensor modules 100, and each sensor module 100 may again include two cameras.

도 3 및 도 4는 일 실시예에 따른 접안 모니터링 장치의 실시예에 관한 도면이다.3 and 4 are diagrams of an embodiment of an eyepiece monitoring apparatus according to an embodiment.

도 3을 참고하면, 모니터링 장치(10)는 센서 모듈(100) 및 제어 모듈(200)을 포함할 수 있다. 센서 모듈(100)은 카메라(130)를 통해 이미지를 생성하고, 통신부(110)를 통해 이미지를 제어 모듈(200)로 송신할 수 있다. 또한, 센서 모듈(100)의 제어부(120)는 후술할 시점 변환을 수행하여 이미지의 시점을 변환시킬 수 있다. 제어 모듈(200)은 통신부(210)를 통해 센서 모듈(100)로부터 이미지를 수신하고, 제어부(220)를 통해 후술할 위치/이동 정보 추정 및 이미지 정합 등 이미지 분석을 수행할 수 있다. 또한, 제어 모듈(200)은 통신부(210)를 통해 클라우드 서버로 위치/이동 정보 및 정합된 이미지 등 분석 결과를 송신할 수 있다. 클라우드 서버는 제어 모듈(200)로부터 수신한 분석 결과를 스마트폰, 태블릿, PC 등 사용자 단말로 전송하거나 사용자 단말로부터 인스트럭션을 수신할 수 있다.Referring to FIG. 3, the monitoring device 10 may include a sensor module 100 and a control module 200. The sensor module 100 may generate an image through the camera 130 and transmit the image to the control module 200 through the communication unit 110. In addition, the control unit 120 of the sensor module 100 may convert a viewpoint of an image by performing viewpoint conversion to be described later. The control module 200 may receive an image from the sensor module 100 through the communication unit 210 and perform image analysis, such as estimation of position/movement information and image matching, which will be described later, through the control unit 220. In addition, the control module 200 may transmit an analysis result such as location/movement information and a matched image to the cloud server through the communication unit 210. The cloud server may transmit the analysis result received from the control module 200 to a user terminal such as a smartphone, a tablet, or a PC, or may receive an instruction from the user terminal.

도 4를 참고하면, 모니터링 장치(10)는 센서 모듈(100)을 포함할 수 있다. 센서 모듈(100)은 카메라(130)를 통해 이미지를 생성하고, 통신부(110)를 통해 클라우드 서버로 이미지를 전송할 수 있다. 또한, 센서 모듈(100)의 제어부(120)는 후술할 시점 변환을 수행하여 이미지의 시점을 변환시킬 수 있다. 클라우드 서버는 센서 모듈(100)로부터 이미지를 수신하고, 후술할 위치/이동 정보 추정 및 이미지 정합 등 이미지 분석을 수행할 수 있다. 또한, 클라우드 서버는 이미지 분석의 결과를 스마트폰, 태블릿, PC 등 사용자 단말로 전송하거나 사용자 단말로부터 인스트럭션을 수신할 수 있다.Referring to FIG. 4, the monitoring device 10 may include a sensor module 100. The sensor module 100 may generate an image through the camera 130 and transmit the image to a cloud server through the communication unit 110. In addition, the control unit 120 of the sensor module 100 may convert a viewpoint of an image by performing viewpoint conversion to be described later. The cloud server may receive an image from the sensor module 100 and perform image analysis such as location/movement information estimation and image matching, which will be described later. In addition, the cloud server may transmit the result of image analysis to a user terminal such as a smartphone, tablet, or PC, or may receive an instruction from the user terminal.

도 2 내지 도 4에서 도시하는 장치(10)는 예시에 불과하며 장치(10)의 구성이 이에 한정되지는 않는다.The device 10 illustrated in FIGS. 2 to 4 is only an example, and the configuration of the device 10 is not limited thereto.

일 예로, 장치(10)는 출력 모듈(400)을 포함할 수 있다. 출력 모듈(400)은 제어 모듈(200)에 의해 수행된 연산의 결과 등을 출력할 수 있다. 예를 들어, 출력 모듈(400)은 분석 결과를 출력할 수 있다. 출력 모듈(400)은 예시적으로 디스플레이, 스피커, 신호 출력 회로 등일 수 있으나 이에 한정되는 것은 아니다. 이 경우 정보를 사용자 단말 등 외부 출력 장치로 전달하여 외부 출력 장치가 정보를 출력하는 것 외에 출력 모듈(400)을 통해 정보를 출력할 수도 있을 것이다.For example, the device 10 may include an output module 400. The output module 400 may output a result of an operation performed by the control module 200 and the like. For example, the output module 400 may output an analysis result. The output module 400 may be, for example, a display, a speaker, a signal output circuit, etc., but is not limited thereto. In this case, in addition to transmitting the information to an external output device such as a user terminal and outputting the information, the external output device may output information through the output module 400.

다른 예로, 장치(10)는 센서 모듈을 포함하지 않을 수도 있다. 이 경우 제어 모듈(200)은 외부 센서 장치로부터 정보를 전달받아 이미지 분석을 수행하는 등 이미지 기반 모니터링 동작을 수행할 수 있을 것이다. 예를 들어, 제어 모듈(200)은 선박이나 항만에 이미 설치된 AIS, 카메라, 라이다, 레이다 등으로부터 정보를 전달받아 이미지 분석을 수행할 수 있다.As another example, the device 10 may not include a sensor module. In this case, the control module 200 may perform an image-based monitoring operation, such as performing image analysis by receiving information from an external sensor device. For example, the control module 200 may perform image analysis by receiving information from an AIS, camera, lidar, radar, etc. already installed in a ship or port.

또한, 도 2 내지 도 4의 각 구성이 수행하는 단계는 반드시 해당 구성이 수행해야 하는 것은 아니고 다른 구성에 의해 수행될 수 있다. 예를 들어, 위의 도 3에서는 센서 모듈(100)의 제어부(120)가 시점 변환을 수행하는 것으로 기재하였으나, 제어 모듈(200)의 제어부(220) 또는 클라우드 서버가 시점 변환을 수행할 수도 있다.In addition, the steps performed by each configuration of FIGS. 2 to 4 are not necessarily performed by the corresponding configuration and may be performed by other configurations. For example, in FIG. 3 above, it is described that the control unit 120 of the sensor module 100 performs viewpoint conversion, but the control unit 220 of the control module 200 or a cloud server may perform viewpoint conversion. .

이하에서는 모니터링 장치(10) 및 방법에 대해 보다 구체적으로 살펴본다.Hereinafter, the monitoring device 10 and method will be described in more detail.

이미지 기반 모니터링을 위한 이미지 획득은 센서 모듈(100)을 통해 수행될 수 있다. 예를 들어, 센서 모듈(100)에 포함된 이미지 생성 유닛을 통해 이미지를 획득할 수 있다. 또는, 전술한 바와 같이 외부 센서 장치로부터 이미지를 획득할 수도 있다. 선박 및 항만 모니터링을 위한 이미지는 바다, 선박, 부표, 장애물, 지형, 항만, 하늘, 건물 등을 포함하는 것이 일반적일 것이다. 이하에서는 주로 가시광선 카메라를 통해 획득한 이미지를 분석하여 모니터링하는 것에 대해 설명하나 이에 한정되는 것은 아니다.Image acquisition for image-based monitoring may be performed through the sensor module 100. For example, an image may be acquired through an image generating unit included in the sensor module 100. Alternatively, as described above, an image may be obtained from an external sensor device. Images for vessel and port monitoring will generally include seas, ships, buoys, obstacles, terrain, ports, sky, buildings, and the like. Hereinafter, a description will be given of mainly analyzing and monitoring an image acquired through a visible light camera, but is not limited thereto.

이미지 생성 유닛에 따라 시야각(field of view) 및 피사계 심도(depth of field)가 달라질 수 있다. 도 5는 일 실시예에 따른 시야각 및 피사계 심도에 관한 도면이다. 도 5를 참고하면, 시야각(FOV)은 좌우 또는 상하로 어느 정도의 범위까지 이미지에 포함되는지를 의미할 수 있고, 일반적으로는 각도(angle, degree)로 표현된다. 시야각이 더 크다는 의미는 좌우로 더 큰 폭의 영역을 포함하는 이미지를 생성하거나, 상하로 더 큰 폭의 영역을 포함하는 이미지를 생성하는 것을 의미할 수 있다. 피사계 심도는 이미지의 초점이 맞은 것으로 인식되는 거리 범위를 의미할 수 있고, 피사계 심도가 깊다는 의미는 이미지의 초점이 맞은 것으로 인식되는 거리 범위가 넓다는 것을 의미할 수 있다. 도 5를 참고하면, 피사계 심도(DOF)에 따라 이미지는 초점이 맞은 것으로 인식되는 영역(A1) 및 그 외의 영역(A2)을 포함할 수 있다. 이하에서는 이미지가 포함하고 있는 영역을 촬상 영역(A1 + A2), 초점이 맞은 것으로 인식되는 영역을 유효 영역(A1)이라 하고, 이미지 분석 및 모니터링은 유효 영역에 기초하여 수행될 수 있지만 촬상 영역 전체에 기초하여 수행되거나 촬상 영역의 일부에 기초하여 수행될 수도 있으므로, 이미지 분석 및 모니터링을 수행하기 위해 이용되는 영역을 모니터링 영역이라고 한다.Depending on the image generating unit, a field of view and a depth of field may vary. 5 is a diagram illustrating a viewing angle and a depth of field according to an exemplary embodiment. Referring to FIG. 5, the field of view (FOV) may mean to what extent the image is included in the image horizontally or vertically, and is generally expressed as an angle (degree). The meaning of a larger viewing angle may mean generating an image including an area having a larger width left and right, or generating an image including an area having a larger width vertically. Depth of field may mean a distance range recognized as being in focus, and a deep depth of field may mean that an image has a wide range of distances recognized as being in focus. Referring to FIG. 5, the image may include an area A1 recognized as being in focus and other areas A2 according to a depth of field DOF. Hereinafter, the area included in the image is referred to as the imaging area (A1 + A2), and the area recognized as being in focus is referred to as the effective area (A1), and image analysis and monitoring can be performed based on the effective area, but the entire imaging area. Since it may be performed based on or may be performed based on a part of the imaging area, an area used to perform image analysis and monitoring is referred to as a monitoring area.

시야각이 크고 피사계 심도가 얕은 카메라의 예로 광각 카메라가 있다. 시야각이 작고 피사계 심도가 깊은 카메라의 예로는 고배율 카메라, 줌 카메라가 있다.An example of a camera with a large field of view and a shallow depth of field is a wide-angle camera. Examples of cameras with a small field of view and a deep depth of field include high-magnification cameras and zoom cameras.

센서 모듈(100)은 항만 내의 조명탑, 크레인, 선박 등 그 위치나 자세에 제한이 없이 설치될 수 있고, 그 개수에도 제한이 없다. 다만, 센서 모듈(100)의 종류 및 성능 등 특성에 따라 그 설치 위치나 개수가 달라질 수 있다. 예를 들어, 센서 모듈(100)이 카메라인 경우, 센서 모듈(100)은 효율적인 모니터링을 위해 수면에서 15m 이상의 고도에 설치되거나, 서로 다른 촬상 영역을 갖도록 복수가 설치될 수 있다. 또한, 센서 모듈(100)의 위치 및 자세는 설치 시 또는 설치 후에 수동 또는 자동으로 조절될 수도 있다.The sensor module 100 may be installed without limitation in its position or posture, such as a lighting tower, a crane, a ship, etc. in a port, and there is no limitation in the number of the sensor modules 100. However, the installation location or number of the sensor modules 100 may vary according to characteristics such as type and performance. For example, when the sensor module 100 is a camera, the sensor module 100 may be installed at an altitude of 15 m or more from the water surface for efficient monitoring, or a plurality of sensor modules 100 may be installed to have different imaging areas. In addition, the position and posture of the sensor module 100 may be manually or automatically adjusted during or after installation.

도 6 및 도 7은 일 실시예에 따른 센서 모듈(100)의 설치 위치에 관한 도면이다. 도 6 및 도 7을 참고하면, 센서 모듈(100)은 항만 또는 육지와 같이 고정된 위치에 설치되거나, 선박 등과 같이 이동하는 물체에 설치될 수 있다. 여기서, 센서 모듈(100)이 선박에 설치되는 경우, 도 7과 같이 모니터링의 대상이 되는 선박(이하 “타겟 선박”이라 함)에 설치될 수 있고, 도 6과 같이 타겟 선박의 접안 또는 이안을 보조하는 예인선 등 모니터링의 대상이 아닌 제3의 선박에 설치될 수도 있다. 이 외에도, 센서 모듈(100)은 드론 등에 설치되어 타겟 선박을 모니터링할 수 있다.6 and 7 are diagrams illustrating an installation position of the sensor module 100 according to an exemplary embodiment. 6 and 7, the sensor module 100 may be installed in a fixed position such as a port or land, or may be installed in a moving object such as a ship. Here, when the sensor module 100 is installed on a ship, it may be installed on a vessel to be monitored (hereinafter referred to as “target vessel”) as shown in FIG. It may be installed on a third vessel that is not subject to monitoring, such as an auxiliary tugboat. In addition to this, the sensor module 100 may be installed in a drone or the like to monitor a target ship.

모니터링 장치(10)의 다른 구성 요소는 센서 모듈(100)과 함께 또는 이와 별도의 장소에 설치될 수 있다. Other components of the monitoring device 10 may be installed together with the sensor module 100 or in a separate location.

전술한 바와 같이 이미지 기반 모니터링을 위한 이미지 분석은 오브젝트 특성을 획득하는 것을 포함할 수 있다. 오브젝트의 예로는 선박, 항만, 부표, 바다, 지형, 하늘, 건물, 사람, 동물, 불, 연기 등이 있을 수 있다. 오브젝트 특성의 예로는 오브젝트의 종류, 오브젝트의 위치, 오브젝트까지의 거리, 오브젝트의 절대적 및 상대적인 속력 및 속도 등이 있을 수 있다. 다른 예를 들어, As described above, image analysis for image-based monitoring may include obtaining object characteristics. Examples of objects may include ships, ports, buoys, sea, terrain, sky, buildings, people, animals, fire, smoke, and the like. Examples of object characteristics may include the type of the object, the position of the object, the distance to the object, and the absolute and relative speed and speed of the object. Another example,

이미지 기반 모니터링을 위한 이미지 분석은 주변 상황을 인식/판단하는 것을 포함할 수 있다. 예를 들어, 이미지 분석은 항만에 불이 난 이미지로부터 화재 상황이 발생한 것을 판단하거나, 예정되지 않은 시간에 항만에 들어온 사람이 촬상된 이미지로부터 침입자가 들어온 것을 판단하는 것일 수 있다. 다른 예를 들어, 이미지 분석은 연기가 존재하는 이미지로부터 화재를 감지하는 것을 포함할 수 있다.Image analysis for image-based monitoring may include recognizing/determining the surrounding situation. For example, the image analysis may be to determine that a fire situation has occurred from an image of a fire in the port, or to determine that an intruder has entered from an image captured by a person who entered the port at an unscheduled time. For another example, image analysis may include detecting a fire from an image in the presence of smoke.

이미지 기반 모니터링을 위한 이미지 분석은 제어 모듈(200)이나 각 모듈(100, 200)에 포함된 제어부(120, 220)를 통해 수행될 수 있다.Image analysis for image-based monitoring may be performed through the control module 200 or the controllers 120 and 220 included in each of the modules 100 and 200.

도 8은 일 실시예에 따른 이미지 분석에 관한 도면이다. 도 8을 참고하면, 이미지 분석은 오브젝트 인식 단계(S210) 및 위치/이동 정보 추정 단계(S220)를 포함할 수 있다.8 is a diagram illustrating image analysis according to an exemplary embodiment. Referring to FIG. 8, image analysis may include an object recognition step (S210) and a position/movement information estimation step (S220 ).

이미지 분석은 오브젝트 인식 단계(S210)를 포함할 수 있다. 오브젝트 인식 단계(S210)는 이미지에 포함된 오브젝트를 인식하는 것을 포함할 수 있다. 예를 들어, 오브젝트 인식은 이미지에 선박, 예인선, 바다, 항만 등의 오브젝트가 포함되어 있는지 여부를 판단하는 것일 수 있다. 더 나아가, 오브젝트 인식은 이미지의 어떤 위치에 오브젝트가 존재하는지를 판단하는 것일 수 있다.Image analysis may include an object recognition step (S210). The object recognition step S210 may include recognizing an object included in the image. For example, object recognition may be determining whether an object such as a ship, a tugboat, a sea, or a port is included in the image. Furthermore, object recognition may be determining where an object exists in an image.

도 9 내지 도 11은 일 실시예에 따른 오브젝트 인식 단계에 관한 도면이다.9 to 11 are diagrams illustrating an object recognition step according to an exemplary embodiment.

도 9는 카메라가 촬상한 이미지이고, 오브젝트 인식 단계를 통해 도 10 또는 도 11과 같이 오브젝트를 인식할 수 있다. 9 is an image captured by a camera, and an object may be recognized as shown in FIG. 10 or 11 through the object recognition step.

구체적으로, 도 10은 이미지의 각 픽셀 별로 해당 픽셀이 어떠한 오브젝트에 대응되는지를 나타낸 것으로, 세그멘테이션(segmentation)이라고도 한다. 이 경우 오브젝트 인식 단계는 세그멘테이션 단계를 의미할 수 있을 것이다. 세그멘테이션을 통해 이미지로부터 이미지상의 픽셀에 대응되는 특성을 할당하거나 산출할 수 있다. 이는 픽셀에 특성이 할당 또는 라벨링(labelling)되었다고 얘기할 수도 있을 것이다. 도 9 및 도 10을 참고하면, 도 9 의 카메라로 촬상된 이미지에 기초한 세그멘테이션을 수행하여 도 10과 같은 세그멘테이션 이미지를 획득할 수 있다. 도 10에서, 제1 픽셀 영역(P1)은 선박에 대응되는 픽셀의 이미지상의 영역이고, 제2 픽셀 영역(P2)은 바다, 제3 픽셀 영역(P3)은 항만의 안벽, 제4 픽셀 영역(P4)은 지형, 제5 픽셀 영역(P5)은 하늘에 대응되는 픽셀의 이미지상의 영역이다.Specifically, FIG. 10 shows which object a corresponding pixel corresponds to for each pixel of an image, and is also referred to as segmentation. In this case, the object recognition step may mean a segmentation step. Through segmentation, characteristics corresponding to pixels on an image can be assigned or calculated from an image. This could be said to have been assigned or labeled a characteristic to a pixel. 9 and 10, a segmentation image as shown in FIG. 10 may be obtained by performing segmentation based on the image captured by the camera of FIG. 9. In FIG. 10, a first pixel area P1 is an image area of a pixel corresponding to a ship, a second pixel area P2 is a sea, a third pixel area P3 is a quay wall of a port, and a fourth pixel area ( P4) is a terrain, and a fifth pixel area P5 is an area on an image of a pixel corresponding to the sky.

도 10 에서는 세그멘테이션을 수행하여 이미지상의 각 픽셀에 대응되는 오브젝트의 종류에 대한 정보를 산출하는 것을 도시하였으나, 세그멘테이션을 통해 획득할 수 있는 정보가 이에 한정되는 것은 아니다. 예를 들어, 오브젝트의 위치, 좌표, 거리, 방향 등의 특성 또한 세그멘테이션을 통해 획득할 수 있을 것이다. 이 경우 서로 다른 특성은 독립적으로 표현될 수도 있고, 동시에 반영하여 표현될 수도 있다.In FIG. 10, information on the type of object corresponding to each pixel on an image is calculated by performing segmentation, but information that can be obtained through segmentation is not limited thereto. For example, properties such as the location, coordinates, distance, and direction of an object may also be acquired through segmentation. In this case, different characteristics may be expressed independently or reflected at the same time.

표 1은 일 실시예에 따른 오브젝트의 종류 및 거리에 대한 정보를 동시에 반영한 라벨링에 관한 표이다. 표 1을 참고하면, 오브젝트의 종류 및 거리에 대한 정보를 함께 고려하여 클래스를 설정하고, 각 클래스 별로 식별값을 할당할 수 있다. 예를 들어, 오브젝트의 종류에 대한 정보인 지형과 거리에 대한 정보인 근거리를 함께 고려하여 2번 식별값을 할당할 수 있다. 표 1은 종류에 대한 정보와 거리에 대한 정보를 함께 고려한 경우의 일 예이고, 이 외에 방향 정보, 장애물 이동 방향, 속도, 항로 표지 등 다른 정보 또한 함께 고려될 수 있다. 또한, 모든 식별값이 복수의 정보를 포함해야 하는 것은 아니고, 같은 종류의 정보를 포함해야 하는 것도 아니다. 예를 들어, 특정 식별값은 종류에 대한 정보만 포함하고(예를 들어, 식별값 1은 거리에 대한 정보를 포함하지 않음) 다른 식별값은 종류 및 거리에 대한 정보를 포함하는 등 경우에 따라 다양한 방식으로 표현될 수 있다.Table 1 is a table for labeling that simultaneously reflects information on the type and distance of an object according to an embodiment. Referring to Table 1, a class may be set in consideration of information on the type and distance of an object, and an identification value may be assigned to each class. For example, the second identification value may be assigned in consideration of the terrain, which is information about the type of object, and the near distance, which is information about the distance. Table 1 is an example of a case in which information about type and information about distance are considered together, and other information such as direction information, obstacle movement direction, speed, and route indicator may also be considered together. In addition, not all identification values need to include a plurality of pieces of information, nor do they need to include the same type of information. In some cases, for example, certain identification values contain only information about type (e.g., identification value 1 does not contain information about distance) and other identification values contain information about type and distance, etc. It can be expressed in a variety of ways.

식별값Identification value 클래스class 00 하늘 및 기타Sky and others 1One 바다Sea 22 지형 + 근거리Terrain + close range 33 지형 + 중거리Terrain + medium distance 44 지형 + 원거리Terrain + Long Range 55 고정 장애물 + 근거리Fixed obstacle + close range 66 고정 장애물 + 중거리Fixed obstacle + medium distance 77 고정 장애물 + 원거리Fixed Obstacle + Long Range 88 동적 장애물 + 근거리Dynamic Obstacle + Close Range 99 동적 장애물 + 중거리Dynamic obstacle + medium distance 1010 동적 장애물 + 원거리Dynamic Obstacle + Long Range

도 11은 이미지의 어떤 위치에 오브젝트가 존재하는지를 바운딩 박스(bounding box)로 표시한 것으로, 디텍션(detection)이라고도 한다. 이 경우 오브젝트 인식 단계는 디텍션 단계를 의미할 수 있을 것이다. 세그멘테이션과 비교하면, 디텍션은 이미지의 각 픽셀 별로 특성을 산출하는 것이 아닌 오브젝트가 어느 위치에 포함되어 있는지를 박스 형태로 검출하는 것으로 볼 수 있다. 도 9 및 도 11을 참고하면, 도 9 의 카메라로 촬상된 이미지에 기초한 디텍션을 수행하여 도 11과 같은 디텍션 이미지를 획득할 수 있다. 도 11에서, 이미지상에서 선박을 검출하고 선박의 위치를 사각형의 바운딩 박스(BB)로 표현한 것을 볼 수 있다. 도 11에는 하나의 오브젝트만을 디텍션하는 것으로 도시하였으나, 하나의 이미지로부터 2 이상의 오브젝트를 디텍션할 수도 있다.FIG. 11 shows the presence of an object at a certain position in the image as a bounding box, and is also referred to as detection. In this case, the object recognition step may mean a detection step. Compared with segmentation, detection can be seen as detecting in the form of a box where an object is included, rather than calculating characteristics for each pixel of an image. Referring to FIGS. 9 and 11, a detection image as shown in FIG. 11 may be obtained by performing detection based on an image captured by the camera of FIG. 9. In FIG. 11, it can be seen that the ship is detected on the image and the position of the ship is represented by a rectangular bounding box (BB). Although only one object is detected in FIG. 11, two or more objects may be detected from one image.

세그멘테이션 및 디텍션은 인공 신경망을 이용하여 수행될 수 있다. 하나의 인공 신경망을 통해 세그멘테이션/디텍션을 수행할 수도 있고, 복수의 인공 신경망을 이용하여 각각의 인공 신경망이 세그멘테이션/디텍션을 수행하고 이 결과를 조합하여 최종 결과를 산출할 수도 있다.Segmentation and detection may be performed using an artificial neural network. Segmentation/detection may be performed through one artificial neural network, or each artificial neural network may perform segmentation/detection using a plurality of artificial neural networks, and the final result may be calculated by combining the results.

인공 신경망이란 인간의 신경망 구조를 본떠 만든 알고리즘의 일종으로, 하나 이상의 노드 또는 뉴런(neuron)을 포함하는 하나 이상의 레이어를 포함할 수 있고 각각의 노드는 시냅스(synapse)를 통해 연결될 수 있다. 인공 신경망에 입력된 데이터(입력 데이터)는 시냅스를 통해 노드를 거쳐 출력(출력 데이터)될 수 있고, 이를 통해 정보를 획득할 수 있다.An artificial neural network is a type of algorithm modeled after the structure of a human neural network, and can include one or more nodes or one or more layers including neurons, and each node can be connected through a synapse. Data (input data) input to the artificial neural network may be output (output data) through a node through a synapse, and information may be obtained through this.

인공 신경망의 종류로는 필터를 이용해 특징을 추출하는 합성곱신경망(convolution neural network, CNN) 및 노드의 출력이 다시 입력으로 피드백 되는 구조를 갖는 순환인공신경망(recurrent neural network, RNN)이 있고, 제한된 볼츠만 머신(restricted Boltzmann machine, RBM), 심층신뢰신경망(deep belief network, DBN), 생성대립신경망(generative adversarial network, GAN), 관계형 네트워크(relation networks, RN) 등 다양한 구조가 적용될 수 있고 제한이 있는 것은 아니다.Types of artificial neural networks include a convolution neural network (CNN) that extracts features using a filter, and a recurrent neural network (RNN) that has a structure in which the output of a node is fed back to the input. Various structures such as restricted Boltzmann machine (RBM), deep belief network (DBN), generative adversarial network (GAN), and relational networks (RN) can be applied and have limitations. It is not.

인공 신경망을 이용하기 전에 학습시키는 단계가 필요하다. 또는, 인공 신경망을 이용하며 학습시킬 수 있다. 이하에서는 인공신경망을 학습시키는 단계를 학습 단계, 이용하는 단계를 추론 단계로 표현하기로 한다. Before using the artificial neural network, a step of training is required. Alternatively, it can be trained using an artificial neural network. Hereinafter, the step of learning the artificial neural network will be expressed as a learning step and a step of using the artificial neural network as an inference step.

인공 신경망은 지도 학습(supervised learning), 비지도 학습(unsupervised learning), 강화 학습(reinforcement learning), 모방 학습(imitation learning) 등 다양한 방법을 통해 학습될 수 있다.Artificial neural networks can be learned through various methods such as supervised learning, unsupervised learning, reinforcement learning, and imitation learning.

도 12 및 도 13은 일 실시예에 따른 인공 신경망의 학습 단계 및 추론 단계에 관한 도면이다.12 and 13 are diagrams illustrating a learning step and an inference step of an artificial neural network according to an embodiment.

도 12는 인공 신경망의 학습 단계의 일 실시예로, 학습되지 않은 인공 신경망이 학습 데이터 또는 훈련 데이터(training data)를 입력 받아 출력 데이터를 출력하고, 출력 데이터와 라벨링 데이터(labelling data)를 비교하여 그 오차의 역전파를 통해 인공 신경망을 학습시킬 수 있다. 학습 데이터, 출력 데이터, 라벨링 데이터는 이미지일 수 있다. 라벨링 데이터는 실측 자료(ground truth)를 포함할 수 있다. 또는, 라벨링 데이터는 사용자 또는 프로그램을 통하여 생성된 자료일 수 있다.12 is an embodiment of the learning step of an artificial neural network, wherein an untrained artificial neural network receives training data or training data, outputs output data, and compares the output data and labeling data. The artificial neural network can be trained through the backpropagation of the error. Training data, output data, and labeling data may be images. The labeling data may include ground truth. Alternatively, the labeling data may be data generated through a user or a program.

도 13은 인공 신경망의 추론 단계의 일 실시예로, 학습된 인공 신경망이 입력 데이터를 입력 받아 출력 데이터를 출력할 수 있다. 학습 단계에서의 학습 데이터의 정보에 따라 추론 단계에서 추론 가능한 정보가 달라질 수 있다. 또한, 인공 신경망의 학습 정도에 따라 출력 데이터의 정확성이 달라질 수 있다.13 illustrates an embodiment of an inference step of an artificial neural network, and a learned artificial neural network may receive input data and output output data. Information that can be inferred in the inference stage may vary according to the information of the learning data in the learning stage. Also, the accuracy of the output data may vary according to the learning degree of the artificial neural network.

이미지 분석은 위치/이동 정보 추정 단계(S220)를 포함할 수 있다. 위치/이동 정보 추정 단계(S220)는 오브젝트 인식 단계(S210)에서 인식된 오브젝트 중 적어도 일부에 대하여 그 위치 및/또는 이동에 관한 정보를 추정하는 것을 포함할 수 있다. 여기서, 위치 정보는 오브젝트의 좌표와 같은 절대적 위치, 특정 기준으로부터의 상대적 위치, 거리(임의의 지점으로부터의 거리, 거리 범위 등), 방향 등을 포함할 있고, 이동 정보는 절대적 속도, 상대적 속도, 속력 등 오브젝트의 이동에 관한 정보를 포함할 수 있다.Image analysis may include the step of estimating location/movement information (S220). The location/movement information estimating step S220 may include estimating information on the location and/or movement of at least some of the objects recognized in the object recognition step S210. Here, the location information includes an absolute location such as the coordinates of an object, a relative location from a specific reference, a distance (distance from an arbitrary point, a distance range, etc.), a direction, and the like, and the movement information includes an absolute speed, a relative speed, It may include information on the movement of the object, such as speed.

오브젝트의 위치/이동 정보는 선박의 접안 또는 이안 시 이용될 수 있다. 예를 들어, 선박 접안 또는 이안 시 선석 또는 안벽과의 거리, 이들을 기준으로 한 접근 속도, 다른 선박과의 간격 및 상대 속도 등을 이용하여 선박의 안전한 접안 또는 이안을 보조하거나 가이드 할 수 있다.The location/movement information of the object can be used when berthing or berthing the ship. For example, it is possible to assist or guide the safe berthing or berthing of the ship by using the distance to the berth or quay wall when berthing or berthing the ship, the approach speed based on these, and the distance and relative speed with other ships.

오브젝트의 위치/이동 정보는 선박의 운항 시 이용될 수 있다. 예를 들어, 다른 선박이나 선박 주변의 장애물을 감지하거나, 이들까지의 거리, 이들의 이동 속도 등을 이용하여 충돌을 경고하거나 경로 생성/추천을 하는 등 선박의 안전한 운항을 보조하거나 가이드 할 수 있다. 또는 이러한 정보를 바탕으로 자율 운항을 수행할 수도 있을 것이다.The location/movement information of the object can be used during the operation of the ship. For example, it is possible to assist or guide the safe operation of the ship by detecting other ships or obstacles around the ship, warning of a collision or creating/recommending a route using the distance to them and their moving speed. . Alternatively, autonomous navigation could be performed based on this information.

오브젝트의 위치/이동 정보는 이미지에 기초하여 산출될 수 있다. 예를 들어, 오브젝트로써 선박, 바다 및 육지를 포함하는 이미지에 기초하여 선박의 위치/이동 정보를 산출할 수 있다. 이하에서는 위치/이동 정보를 추정하는 오브젝트를 타겟 오브젝트라 한다. 예를 들어, 위의 예에서는 선박이 타겟 오브젝트일 수 있다. 또한, 타겟 오브젝트는 복수일 수 있다. 예를 들어, 이미지에 포함된 복수의 선박 각각에 대해 그 위치나 속력 등을 추정하는 경우 복수의 선박이 타겟 오브젝트일 수 있다.The location/movement information of the object may be calculated based on the image. For example, it is possible to calculate the location/movement information of a ship based on an image including a ship, sea, and land as an object. Hereinafter, an object for estimating position/movement information is referred to as a target object. For example, in the above example, the ship may be the target object. In addition, there may be a plurality of target objects. For example, when estimating the position or speed of each of a plurality of ships included in the image, the plurality of ships may be target objects.

오브젝트의 위치/이동 정보는 일정 범위를 갖는 복수의 카테고리로 표현될 수 있다. 예를 들어, 거리 정보는 근거리, 중거리 및 원거리 등으로 표현될 수 있고, 방향 정보는 좌측 방향, 정면 방향 및 우측 방향 등으로 표현될 수 있다. 이를 조합하여 좌측 근거리, 우측 원거리 등으로 표현하는 것도 가능할 것이다. 이동 정보는 고속, 저속 등으로 표현될 수 있다.The location/movement information of the object may be expressed in a plurality of categories having a certain range. For example, distance information may be expressed in a short distance, a medium distance, a far distance, and the like, and the direction information may be expressed in a left direction, a front direction, a right direction, and the like. It will be possible to combine these and express them in the near-left or far-right distance. Movement information can be expressed in high speed, low speed, and the like.

오브젝트의 위치/이동 정보는 실제 거리값, 방향값 및 속도값 등으로 표현될 수 있다. 예를 들어, 거리 정보는 미터(m) 단위로 표현될 수 있고, 방향 정보는 도(degree) 단위로 표현될 수 있고, 이동 정보는 cm/s 단위로 표현될 수 있다. The location/movement information of the object may be expressed as an actual distance value, a direction value, and a speed value. For example, distance information may be expressed in meters (m), direction information may be expressed in degrees, and movement information may be expressed in cm/s.

오브젝트의 위치/이동 정보는 영역이나 포인트를 기준으로 추정될 수 있다. 일 예로, 선박과 안벽 사이의 거리는 선박의 일 포인트와 안벽의 일 포인트 사이의 거리를 산출함으로써 추정되거나, 선박의 일 포인트와 안벽과의 최단 거리를 산출함으로써 추정될 수 있다. 다른 예로, 선박 사이의 간격은 제1 선박의 일 포인트와 제2 선박의 일 포인트 사이의 거리를 산출함으로써 추정될 수 있다. 선박의 일 포인트는 바다와 접하는 선박의 일 지점에 대응되거나 선박의 선수 또는 선미에 대응될 수 있지만, 이에 한정되는 것은 아니다. The location/movement information of the object may be estimated based on an area or point. For example, the distance between the ship and the quay wall may be estimated by calculating a distance between one point of the ship and one point of the quay wall, or may be estimated by calculating the shortest distance between a point of the ship and the quay wall. As another example, the distance between ships may be estimated by calculating a distance between one point of the first ship and one point of the second ship. One point of the ship may correspond to a point of the ship in contact with the sea or may correspond to the bow or stern of the ship, but is not limited thereto.

오브젝트의 위치/이동 정보는 이미지 픽셀을 기반으로 추정될 수 있다. 전술한 바와 같이 포인트를 기준으로 위치/이동 정보를 추정하는 경우, 이미지 상에서 포인트는 픽셀에 대응될 수 있다. 따라서, 오브젝트의 위치/이동 정보는 이미지 픽셀 사이의 간격에 기초하여 산출될 수 있다. The location/movement information of the object may be estimated based on the image pixel. As described above, when estimating location/movement information based on a point, a point on the image may correspond to a pixel. Accordingly, the position/movement information of the object may be calculated based on the interval between image pixels.

포인트 사이의 거리 정보는 픽셀 사이의 간격에 기초하여 산출될 수 있다. 일 예로, 하나의 픽셀 간격마다 일정 거리를 할당하고 픽셀 사이의 간격에 비례하여 포인트 사이의 거리를 산출할 수 있다. 다른 예로, 픽셀의 이미지상에서의 좌표값을 바탕으로 픽셀 사이의 거리를 산출하고 이에 기초하여 포인트 사이의 거리를 산출할 수 있다.The distance information between points may be calculated based on the distance between pixels. For example, a predetermined distance may be allocated for each pixel interval, and the distance between points may be calculated in proportion to the interval between pixels. As another example, a distance between pixels may be calculated based on a coordinate value on an image of a pixel, and the distance between points may be calculated based on this.

포인트 사이의 이동 정보는 포인트 사이의 거리 정보의 변화에 기초하여 산출될 수 있다. 이 경우 복수의 이미지 또는 영상 프레임에 기초하여 이동 정보를 산출할 수 있다. 예를 들어, 이전 프레임에서의 포인트 사이의 거리와 현재 프레임에서의 포인트 사이의 거리 및 프레임 사이의 시간 간격에 기초하여 포인트 사이의 이동 정보를 산출할 수 있다. Movement information between points may be calculated based on a change in distance information between points. In this case, movement information may be calculated based on a plurality of images or image frames. For example, movement information between points may be calculated based on a distance between points in a previous frame, a distance between points in a current frame, and a time interval between frames.

도 14 및 도 15는 일 실시예에 따른 오브젝트의 위치/이동 정보 추정에 관한 도면이다.14 and 15 are diagrams for estimating location/movement information of an object according to an exemplary embodiment.

도 14를 참고하면, 위치/이동 정보 추정 단계는 선박(OBJ1)의 접안 또는 이안 시 안벽(OBJ2)과의 위치/이동 정보(f1, f2) 또는 다른 선박(OBJ3, OBJ4)과의 위치/이동 정보(f3, f4)를 추정하는 것을 포함할 수 있다. 도 14에 도시된 바와 같이, 선박(OBJ1)과 안벽(OBJ2) 사이의 위치/이동 정보(f1, f2)는 선박(OBJ1)의 2개의 포인트에 대해 산출될 수 있다. 이 경우 상기 2개의 포인트는 선박(OBJ1)이 바다와 접하는 지점에 대응될 수 있다. 또한, 선박(OBJ1)과 안벽(OBJ2) 사이의 거리는 상기 2개의 포인트와 안벽(OBJ2) 사이의 최단 거리일 수 있다. 선박(OBJ1)과 다른 선박(OBJ3, OBJ4) 사이의 위치/이동 정보(f3, f4)는 선박들(OBJ1, OBJ3, OBJ4)의 선수 또는 선미에 대응되는 포인트 사이의 위치/이동 정보일 수 있다. 이와 같이 위치/이동 정보가 선박의 접안 또는 이안에 이용되어 이를 보조하거나 가이드 하는 경우 접안 가이드 정보 또는 이안 가이드 정보라 지칭될 수 있다.Referring to FIG. 14, the step of estimating location/movement information includes location/movement information (f1, f2) with the quay wall (OBJ2) when berthing or berthing of the ship (OBJ1), or location/movement with other ships (OBJ3, OBJ4). It may include estimating the information f3 and f4. As shown in FIG. 14, the position/movement information f1 and f2 between the ship OBJ1 and the quay wall OBJ2 may be calculated for two points of the ship OBJ1. In this case, the two points may correspond to a point where the ship OBJ1 contacts the sea. In addition, the distance between the ship OBJ1 and the quay wall OBJ2 may be the shortest distance between the two points and the quay wall OBJ2. The location/movement information (f3, f4) between the ship OBJ1 and other ships (OBJ3, OBJ4) may be location/movement information between points corresponding to the bow or stern of the ships (OBJ1, OBJ3, OBJ4). . In this way, when the location/movement information is used in the berthing or the berth of the ship to assist or guide it, it may be referred to as berthing guide information or berthing guide information.

도 15를 참고하면, 위치/이동 정보 추정 단계는 선박(OBJ5)의 운항 시 다른 선박(OBJ6)이나 부표 등 장애물(OBJ7)과의 위치/이동 정보(f5, f6)를 추정하는 것을 포함할 수 있다.Referring to FIG. 15, the step of estimating position/movement information may include estimating position/movement information f5, f6 with another vessel OBJ6 or an obstacle OBJ7 such as a buoy during the operation of the vessel OBJ5. have.

위치/이동 정보 추정 단계에서 산출한 데이터에 기반하여 항만 운용이나 관리를 수행할 수 있다. 예를 들어, 선박이 방충제(fender)와 충돌하는 경우 선박의 속도 등 이동 정보로부터 충격량 등을 계산하여 방충제의 교체 시기를 예측할 수 있을 것이다.Port operation or management can be performed based on the data calculated in the step of estimating location/movement information. For example, when a ship collides with a fender, it is possible to predict the replacement timing of the insect repellent by calculating the amount of impact from movement information such as the speed of the ship.

이상에서는 오브젝트 인식 단계를 수행한 후 위치/이동 정보를 추정하는 방식의 이미지 분석의 실시예에 대해 살펴보았다. 이와 달리, 오브젝트 인식과 위치/이동 정보 추정이 하나의 단계로 수행될 수도 있다. 예를 들어, 세그멘테이션 또는 디텍션을 수행하여 오브젝트를 인식함과 동시에 오브젝트의 위치/이동 정보를 추정할 수 있다.In the above, an embodiment of image analysis in a method of estimating location/movement information after performing the object recognition step has been described. Alternatively, object recognition and location/movement information estimation may be performed in one step. For example, it is possible to recognize an object by performing segmentation or detection and estimate the location/movement information of the object.

이미지 상의 모든 선박을 모니터링하는 경우 선박의 접안 가이드 정보를 획득하기 위한 데이터 연산량이 많아져 장치(10)의 처리 속도가 저하될 수 있다. 또한, 모니터링의 대상이 되는 타겟 선박을 결정하여 타겟 선박만의 접안 가이드 정보를 획득하고(일 예로, 선수 거리, 선미 거리 등), 획득한 접안 가이드 정보를 출력함으로써 사용자는 다른 불필요한 정보가 제외된 접안에 필요한 정보를 제공받을 수 있다. 이를 위해, 제어 모듈(200)은 이미지 생성 유닛을 이용하여 획득한 적어도 하나의 이미지에 복수의 선박이 포함된 경우 타겟 선박을 결정하는 이미지 분석을 수행할 수 있다. When all ships on the image are monitored, the amount of data computation for acquiring the ship's berthing guide information increases, and the processing speed of the apparatus 10 may be lowered. In addition, by determining the target vessel to be monitored, berthing guide information only for the target vessel is obtained (for example, head distance, stern distance, etc.), and outputting the obtained berthing guide information, users can exclude other unnecessary information. You can be provided with information necessary for berthing. To this end, the control module 200 may perform image analysis to determine a target ship when a plurality of ships are included in at least one image acquired using the image generating unit.

도 16은 일 실시예에 따른 타겟 선박 결정에 관한 순서도이다. 16 is a flow chart for determining a target vessel according to an embodiment.

도 16을 참고하면, 이미지 기반 모니터링은 선박 트래킹 단계(S213), 트래킹 정보 획득 단계(S216) 및 타겟 선박 결정 단계(S219)를 포함할 수 있다. Referring to FIG. 16, the image-based monitoring may include a ship tracking step (S213), a tracking information acquisition step (S216), and a target ship determination step (S219).

일 실시예에 따르면, 제어 모듈(200)은 이미지 상의 선박을 트래킹할 수 있다(S213). According to an embodiment, the control module 200 may track a vessel on an image (S213).

트래킹(tracking)은 이미지 상에서 시공간적으로 변화하는 특징점(오브젝트, 트래킹 대상)을 추적하는 행위를 의미한다. 예를 들어, 트래킹은 이미지 상에서 시공간적으로 변화하는 특징점의 위치, 형태, 움직임, 궤도, 정보 등을 추적하는 것을 포함할 수 있다. 또한, 트래킹은 이미지 상에 특징점의 화상을 계속 보존하도록 하는 것을 포함할 수도 있다. Tracking refers to the act of tracking feature points (objects, tracking targets) that change temporally and temporally on an image. For example, tracking may include tracking the location, shape, movement, trajectory, information, etc. of feature points that change spatiotemporally on an image. In addition, tracking may include continuing to preserve an image of a feature point on the image.

일 실시예에 따르면, 제어 모듈(200)은 세그멘테이션된 이미지에 기초하여 선박의 트래킹을 수행할 수 있다. 구체적으로, 제어 모듈(200)은 세그멘테이션된 이미지 중 픽셀의 클래스 값이 선박에 해당하는 영역에 기초하여 선박을 트래킹할 수 있다. 예를 들어, 제어 모듈(200)은 연속 촬영된 이미지의 세그멘테이션된 이미지들(연속)의 클래스 값이 선박에 해당하는 픽셀에 기초하여 트래킹할 수 있다. 여기서, 제어 모듈(200)은 클래스 값이 선박에 해당하는 픽셀에 의해 형성되는 선박 에어리어 내부의 선박의 대표 포인트(픽셀)를 연속되는 프레임들 간에 트래킹할 수 있다. According to an embodiment, the control module 200 may perform tracking of a ship based on the segmented image. Specifically, the control module 200 may track a ship based on an area in which a class value of a pixel corresponds to a ship in the segmented image. For example, the control module 200 may track a class value of segmented images (consecutive) of a continuously photographed image based on a pixel corresponding to a ship. Here, the control module 200 may track a representative point (pixel) of a ship within a ship area, in which a class value is formed by a pixel corresponding to a ship, between successive frames.

도 17은 일 실시예에 따른 선박의 트래킹의 일 예에 관한 도면이다.17 is a diagram illustrating an example of tracking of a ship according to an embodiment.

도 17을 참조하면, 제어 모듈(200)은 연속 촬영된 이미지에서 선박을 나타내는 대표 포인트들(141, 142, 143)을 추적함으로써 이미지의 선박들을 트래킹할 수 있다. 예를 들어, 제어 모듈(200)은 세그멘테이션 이미지의 각각의 선박들에 대응하는 영역 상의 하나의 포인트를 트래킹할 수 있다.Referring to FIG. 17, the control module 200 may track the vessels of the image by tracking representative points 141, 142, and 143 representing the vessel in the continuously photographed image. For example, the control module 200 may track one point on an area corresponding to each of the ships of the segmentation image.

선박의 대표 포인트(141, 142, 143)는 어떠한 특징점이어도 무방하나, 세그멘테이션된 이미지는 단일한 클래스 값을 가지므로, 예시적으로 제어 모듈(200)은 선박에 대응하는 영역의 중앙에 위치하는 포인트(141)를 대표 포인트로 결정할 수 있다. The representative points 141, 142, and 143 of the ship can be any feature point, but since the segmented image has a single class value, for example, the control module 200 is a point located at the center of the area corresponding to the ship. (141) can be determined as a representative point.

물론, 제어 모듈(200)은 선박의 대표 포인트(141, 142, 143)를 선박 영역의 최상단 포인트, 최하단 포인트(142), 최좌단 포인트, 최우단 포인트(143) 등 다른 위치의 포인트로 결정해도 무방하며, 뿐만 아니라 제어 모듈(200)은 하나의 픽셀을 선박의 대표 포인트로 결정하여 이를 트래킹하는 대신 선박에 대응하는 영역의 외곽선, 또는 영역 자체를 트래킹하는 것도 가능하다.Of course, the control module 200 may determine the representative points (141, 142, 143) of the ship as points at other locations such as the top point, the bottom point 142, the leftmost point, and the rightmost point 143 of the ship area. In addition, the control module 200 may determine one pixel as a representative point of the ship and track the outline of the area corresponding to the ship or the area itself instead of tracking it.

트래킹에는 다양한 기법이 활용될 수 있으며, 그 예시로 칼만 필터(Kalman filter), 확장 칼만 필터(Extended Kalman filter), 무향 칼만 필터(Unscented Kalman filter), 파티클 필터(Particle filter), 인포메이션 필터(Information filter), 히스토그람 필터(Histogram Filter) 등을 포함하고, 트래킹은 이들 중 적어도 하나가 적용될 수 있다.Various techniques can be used for tracking, for example Kalman filter, Extended Kalman filter, Unscented Kalman filter, Particle filter, Information filter ), a histogram filter, and the like, and at least one of them may be applied for tracking.

물론, 반드시 그러한 것은 아니며, 제어 모듈(200)은 배경영상과 차영상을 이용하여 선박을 트래킹하는 등 촬상 영상 등의 이미지에 기초하여 선박을 트래킹할 수 있는 등 제어 모듈(200)은 다양한 방식으로 선박을 트래킹할 수 있다. Of course, this is not necessarily the case, and the control module 200 can track the ship based on images such as captured images, such as tracking the ship using the background image and the difference image. You can track the ship.

또한, 트래킹하는 단계(S213)는 제어 모듈(200)이 이미지 상에 포함된 선박 중 예인선이 아닌 선박을 트래킹하는 것을 포함할 수 있다. 예를 들어, 제어 모듈(200)은 세그멘테이션 이미지에 기초하여 선박 중 예인선이 아닌 선박을 트래킹할 수 있다. 구체적으로, 제어 모듈(200)은 입력 이미지 및 상기 입력 이미지에 포함된 바다, 예인선, 예인선을 제외한 선박 및 지형지물을 포함하는 오브젝트들에 해당하는 픽셀에 각각 바다, 예인선, 예인선을 제외한 선박 및 지형지물을 지시하는 클래스 값들을 라벨링한 러닝셋을 이용하여 학습된 인공 신경망을 이용하여 이미지 세그멘테이션을 수행하고, 예인선을 제외한 선박을 트래킹할 수 있다. 여기서, 생성된 세그멘테이션 이미지는 예인선을 제외한 선박에 대응되도록 라벨링된 픽셀을 포함할 수 있고, 제어 모듈(200)은 예인선을 제외한 선박에 대응하는 픽셀을 트래킹할 수 있다.In addition, the tracking step (S213) may include the control module 200 tracking a vessel other than a tugboat among vessels included in the image. For example, the control module 200 may track a vessel other than a tugboat among vessels based on the segmentation image. Specifically, the control module 200 includes an input image and a ship and a terrain site excluding the sea, a tugboat, and a tugboat, respectively, in pixels corresponding to the input image and objects including the sea, tugboat, and tugboat excluding ships and terrain features. Image segmentation can be performed using an artificial neural network learned using a learning set labeled with class values indicating water, and vessels other than a tugboat can be tracked. Here, the generated segmentation image may include a pixel labeled to correspond to a ship excluding a tugboat, and the control module 200 may track a pixel corresponding to a ship excluding the tugboat.

일 실시예에 따르면, 제어 모듈(200)은 이미지 상의 트래킹되는 선박의 트래킹 정보를 획득할 수 있다(S216). According to an embodiment, the control module 200 may acquire tracking information of a vessel tracked on an image (S216).

트래킹 정보는 트래킹되는 선박에 대한 정보를 의미할 수 있고, 트래킹 정보는 타겟 선박을 결정하기 위해 이용될 수 있다. 한정되지 않는 예를 들어, 트래킹 정보는 선박의 위치 정보, 선박의 이동 정보, 선박의 VTS 정보, 선박의 AIS 정보, 사용자 입력 정보 등을 포함할 수 있다.The tracking information may mean information on a tracked ship, and the tracking information may be used to determine a target ship. For example, without limitation, the tracking information may include location information of a ship, movement information of a ship, VTS information of a ship, AIS information of a ship, user input information, and the like.

일 실시예에 따르면, 트래킹 정보를 획득하는 단계(S216)는 제어 모듈(200)이 이미지로부터 선박의 위치 정보를 획득하는 것을 포함할 수 있다. 예를 들어, 제어 모듈(200)은 연속 촬영된 이미지에서 트래킹되는 선박의 대표 포인트의 위치 정보를 획득할 수 있다. 여기서, 선박의 대표 포인트의 위치 정보는 대표 포인트와 안벽 사이의 거리, 대표 포인트와 다른 오브젝트 사이의 거리, 대표 포인트의 이미지 상의 좌표 등에 관한 정보 등일 수 있다.According to an embodiment, the step of acquiring tracking information (S216) may include the control module 200 acquiring the position information of the ship from the image. For example, the control module 200 may acquire location information of a representative point of a ship to be tracked from a continuously photographed image. Here, the location information of the representative point of the ship may be information about the distance between the representative point and the quay wall, the distance between the representative point and other objects, coordinates on the image of the representative point, and the like.

일 실시예에 따르면, 트래킹 정보를 획득하는 단계(S216)는 제어 모듈(200)이 이미지로부터 선박의 이동 정보를 획득하는 것을 포함할 수 있다. 예를 들어, 제어 모듈(200)은 연속 촬영된 이미지에서 트래킹되는 선박의 대표 포인트의 이동 정보를 획득할 수 있다. 여기서, 제어 모듈(200)은 대표 포인트의 이동 정보를 대표 포인트의 위치 정보에 기초하여 획득할 수 있다. 여기서, 선박의 대표 포인트의 이동 정보는 대표 포인트의 안벽으로의 접근 속도, 대표 포인트의 다른 오브젝트로의 접근 속도, 대표 포인트의 속도 변화 등에 관한 정보 등일 수 있다.According to an embodiment, the step of acquiring tracking information (S216) may include the control module 200 acquiring movement information of the vessel from the image. For example, the control module 200 may acquire movement information of a representative point of a ship to be tracked from a continuously photographed image. Here, the control module 200 may obtain movement information of the representative point based on the location information of the representative point. Here, the movement information of the representative point of the ship may be information about an approach speed of the representative point to the quay wall, an approach speed of the representative point to another object, a change in speed of the representative point, and the like.

일 실시예에 따르면, 트래킹 정보를 획득하는 단계(S216)는 제어 모듈(200)이 트래킹되는 선박의 VTS 정보 및 AIS 정보 등의 항해 정보를 획득하는 것을 포함할 수 있다. 예를 들어, 제어 모듈(200)은 VTS 정보 및 AIS 정보 중 적어도 하나를 획득할 수 있다. 여기서 제어 모듈(200)은 항해 정보에 따른 선박의 도착지에 관한 정보, 선박의 접안 예정 시간 등을 획득할 수 있다.According to an embodiment, the step of acquiring tracking information (S216) may include acquiring voyage information such as VTS information and AIS information of a vessel for which the control module 200 is tracked. For example, the control module 200 may acquire at least one of VTS information and AIS information. Here, the control module 200 may obtain information on the destination of the ship according to the voyage information, a scheduled berthing time of the ship, and the like.

일 실시예에 따르면, 트래킹 정보를 획득하는 단계(S216)는 제어 모듈(200)이 트래킹되는 선박에 대한 사용자 입력 정보를 획득하는 것을 포함할 수 있다. 예를 들어, 제어 모듈(200)은 사용자 단말기로부터 타겟 선박의 결정에 이용되는 사용자 입력 정보를 획득할 수 있다.According to an embodiment, the step of acquiring tracking information (S216) may include acquiring user input information on a vessel tracked by the control module 200. For example, the control module 200 may obtain user input information used to determine a target vessel from a user terminal.

다만, 트래킹 정보의 획득은 상술한 방식에 의해 수행되는 것으로 한정될 필요는 없고 다양한 방식으로 수행될 수 있다. However, the acquisition of tracking information need not be limited to being performed by the above-described method, and may be performed in various ways.

일 실시예에 따르면, 제어 모듈(200)은 획득된 트래킹 정보에 기초하여 타겟 선박을 결정할 수 있다(S219). According to an embodiment, the control module 200 may determine a target vessel based on the acquired tracking information (S219).

일 실시예에 따르면, 제어 모듈(200)은 획득한 선박의 위치 정보에 기초하여 타겟 선박을 결정할 수 있다. 예를 들어, 제어 모듈(200)은 선박과 안벽 사이의 거리에 기초하여 타겟 선박을 결정할 수 있다.According to an embodiment, the control module 200 may determine a target ship based on the acquired position information of the ship. For example, the control module 200 may determine a target ship based on the distance between the ship and the quay wall.

도 18은 일 실시예에 따른 위치 정보에 기초한 타겟 선박 결정의 일 예에 관한 도면이다.18 is a diagram illustrating an example of determining a target vessel based on location information according to an embodiment.

도 18을 참고하면, 제어 모듈(200)은 이미지 상에 복수의 선박이 있는 경우 위치 정보에 기초하여 모니터링의 대상이 되는 타겟 선박을 결정할 수 있다.Referring to FIG. 18, when there are a plurality of ships on an image, the control module 200 may determine a target ship to be monitored based on location information.

일 실시예에 따르면, 제어 모듈(200)은 트래킹되는 선박의 안벽으로부터의 거리에 기초하여 타겟 선박을 결정할 수 있다. 여기서, 트래킹되는 선박의 안벽으로부터의 거리는 트래킹되는 선박의 대표 포인트와 안벽 사이의 거리일 수 있다. According to an embodiment, the control module 200 may determine a target vessel based on a distance from the quay wall of the tracked vessel. Here, the distance from the quay wall of the tracked ship may be a distance between the representative point of the tracked ship and the quay wall.

예를 들어, 제어 모듈(200)은 트래킹되는 선박 중 안벽으로부터의 거리가 임계거리 미만인 선박을 타겟 선박으로 결정할 수 있다. 도 18을 참고하면 제어 모듈(200)은 트래킹되는 선박 중 안벽과의 거리가 기설정된 임계거리(d0)보다 작은 선박을 타겟 선박으로 결정할 수 있다. 제어 모듈(200)은 타겟 선박으로 결정된 선박(151)이 움직여 안벽과의 거리가 d0 보다 먼 장소에 위치하는 경우 선박(151)은 타겟 선박이 아닌 것으로 결정할 수 있다. 또한, 제어 모듈(200)은 선박(152)이 움직여 안벽과의 거리가 d0 보다 가까운 장소에 위치하는 경우 선박(152)을 타겟 선박으로 결정할 수 있다.For example, the control module 200 may determine a ship whose distance from the quay wall is less than the critical distance among the tracked ships as the target ship. Referring to FIG. 18, the control module 200 may determine a vessel whose distance to the quay wall is smaller than a preset critical distance (d 0 ) among the tracked vessels as the target vessel. The control module 200 may determine that the vessel 151 is not a target vessel when the vessel 151 determined as the target vessel moves and is located in a place where the distance from the quay wall is greater than d 0. In addition, the control module 200 may determine the vessel 152 as a target vessel when the vessel 152 moves and is located at a location closer to the quay wall than d 0.

제어 모듈(200)은 타겟 선박 결정에 이용되는 임계거리를 다양하게 설정할 수 있다. 예를 들어, 제어 모듈(200)은 임계거리를 인식된 선박의 크기에 기초하여 설정할 수 있다. 구체적으로, 제어 모듈(200)은 선박의 크기가 클수록 임계거리를 크게 설정할 수 있다. 뿐만 아니라, 제어 모듈(200)은 이미지 상의 선박 중 안벽이 아닌 특정 물체(구조물 등)와의 거리가 임계거리 보다 작은 선박을 타겟 선박으로 결정하는 것도 가능하다.The control module 200 may variously set a critical distance used to determine a target vessel. For example, the control module 200 may set the critical distance based on the recognized size of the ship. Specifically, the control module 200 may set the critical distance larger as the size of the ship increases. In addition, the control module 200 may determine a vessel whose distance to a specific object (structure, etc.) other than the quay wall among the vessels in the image is less than the critical distance as the target vessel.

일 실시예에 따르면, 제어 모듈(200)은 트래킹되는 선박의 이미지 상의 위치에 기초하여 타겟 선박을 결정할 수 있다. 여기서, 트래킹되는 선박의 이미지 상의 위치는 트래킹되는 선박의 대표 포인트의 이미지 상의 위치일 수 있다. 예를 들어, 제어 모듈(200)은 이미지 상의 선박 중 이미지의 기설정된 특정 영역 상에 위치하는 선박을 타겟 선박으로 결정할 수 있다. 도 18을 참고하면 제어 모듈(200)은 트래킹되는 선박 중 이미지 상의 기설정된 정사각형 형태의 영역(153) 내에 위치하는 선박(151)을 타겟 선박으로 결정할 수 있다. 제어 모듈(200)은 선박(152)이 움직여 영역(153) 내에 위치하는 경우 선박(152)을 타겟 선박으로 결정할 수 있다. 또한, 제어 모듈(200)은 타겟 선박으로 결정된 선박(151)이 움직여 영역(153) 밖에 위치하는 경우 선박(151)을 타겟 선박에서 제외할 수 있다. According to an embodiment, the control module 200 may determine a target vessel based on a position on an image of the tracked vessel. Here, the position on the image of the tracked ship may be a position on the image of the representative point of the tracked ship. For example, the control module 200 may determine a ship located on a predetermined specific area of the image among ships on the image as the target ship. Referring to FIG. 18, the control module 200 may determine a vessel 151 located within a predetermined square-shaped area 153 on an image among tracked vessels as a target vessel. The control module 200 may determine the vessel 152 as a target vessel when the vessel 152 moves and is located within the region 153. In addition, the control module 200 may exclude the vessel 151 from the target vessel when the vessel 151 determined as the target vessel moves and is located outside the region 153.

제어 모듈(200)은 영역(153)을 다양한 방식으로 설정할 수 있다. 예를 들어, 제어 모듈(200)은 영역(153)의 크기, 모양, 개수 등을 다양하게 결정할 수 있다. 구체적으로, 제어 모듈(200)은 영역(153)을 이미지가 촬상된 선석에서 선박이 주로 들어오는 경로 주위의 영역, 선박이 주로 접안하는 구역 등으로 결정할 수 있다. 또한 반대로, 제어 모듈(200)은 이미지 상의 선박 중 기설정된 특정 영역(153)을 제외한 영역에 위치한 선박을 타겟 선박으로 결정하는 것도 가능하다.The control module 200 may set the region 153 in various ways. For example, the control module 200 may variously determine the size, shape, and number of the regions 153. Specifically, the control module 200 may determine the area 153 as an area around a path where a ship mainly enters from a berth where an image is captured, an area that the ship mainly berths, and the like. In addition, on the contrary, the control module 200 may determine a vessel located in an area other than the predetermined specific area 153 among the vessels on the image as the target vessel.

일 실시예에 따르면, 제어 모듈(200)은 획득한 선박의 이동 정보에 기초하여 타겟 선박을 결정할 수 있다. 예를 들어, 제어 모듈(200)은 선박이 안벽으로 접근하는 속도에 기초하여 타겟 선박을 결정할 수 있다.According to an embodiment, the control module 200 may determine a target ship based on the acquired movement information of the ship. For example, the control module 200 may determine the target ship based on the speed at which the ship approaches the quay wall.

도 19는 일 실시예에 따른 이동 정보에 기초한 타겟 선박 결정의 일 예에 관한 도면이다. 19 is a diagram illustrating an example of determining a target vessel based on movement information according to an embodiment.

도 19를 참고하면, 제어 모듈(200)은 이미지 상에 복수의 선박이 있는 경우 이동 정보에 기초하여 타겟 선박을 결정할 수 있다.Referring to FIG. 19, when there are a plurality of ships on an image, the control module 200 may determine a target ship based on movement information.

일 실시예에 따르면, 제어 모듈(200)은 트래킹되는 선박의 속도에 기초하여 타겟 선박을 결정할 수 있다. 예를 들어, 제어 모듈(200)은 이미지 상의 선박 중 속도의 크기(속도의 절대값)가 임계속도보다 큰 선박을 타겟 선박으로 결정할 수 있다. 도 16을 참고하면 제어 모듈(200)은 트래킹되는 선박 중 임계속도 값보다 큰 값인 vo의 속도로 접근하는 선박(161)을 타겟 선박으로 결정할 수 있다. 제어 모듈(200)은 타겟 선박으로 결정된 선박(161)이 접안이 완료되어 선석에 가만히 멈춰있는 경우 선박(161)을 타겟 선박이 아닌 것으로 결정할 수 있다. 또한, 제어 모듈(200)은 정박해있던 선박(162)이 움직여 임계속도보다 큰 값의 속도(방향 무관)로 움직이는 경우 선박(162)을 타겟 선박으로 결정할 수 있다.According to an embodiment, the control module 200 may determine a target vessel based on the speed of the tracked vessel. For example, the control module 200 may determine, as a target ship, a ship having a speed (absolute value of speed) greater than a critical speed among ships in the image. Referring to FIG. 16, the control module 200 may determine a vessel 161 approaching at a speed of v o , which is a value greater than a threshold speed value among the tracked vessels, as a target vessel. The control module 200 may determine that the vessel 161 is not the target vessel when the vessel 161 determined as the target vessel is stopped still in the berth after the berthing is completed. In addition, the control module 200 may determine the vessel 162 as a target vessel when the vessel 162 that was moored moves and moves at a speed (regardless of direction) greater than the critical speed.

제어 모듈(200)은 타겟 선박 결정에 이용되는 임계속도 크기를 다양하게 설정할 수 있다. 예를 들어, 제어 모듈(200)은 타겟 선박 결정에 이용되는 임계속도를 선박의 크기에 기초하여 결정할 수 있다. 구체적으로, 제어 모듈(200)은 선박의 크기가 클수록 임계속도가 크도록 결정할 수 있다.The control module 200 may variously set the size of the critical speed used to determine the target vessel. For example, the control module 200 may determine a critical speed used for determining a target vessel based on the size of the vessel. Specifically, the control module 200 may determine that the larger the size of the vessel, the larger the critical speed.

뿐만 아니라, 제어 모듈(200)은 트래킹되는 선박 중 속도의 방향, 크기, 속도 변화(가속도) 등 이동 정보와 관련된 조건에 기초하여 타겟 선박을 결정하는 것도 가능하다. 예를 들어, 제어 모듈(200)은 이미지 상의 선박 중 가속도의 크기(가속도의 절대값)가 기설정된 값보다 큰 선박을 타겟 선박으로 결정할 수 있다.In addition, the control module 200 may determine a target vessel based on conditions related to movement information, such as a direction, magnitude, and speed change (acceleration) of the speed among the tracked vessels. For example, the control module 200 may determine a vessel whose acceleration magnitude (absolute value of acceleration) is larger than a preset value among vessels on the image as the target vessel.

일 실시예에 따르면, 제어 모듈(200)은 획득한 선박의 항해 정보에 기초하여 타겟 선박을 결정할 수 있다. 여기서, 항해 정보란 선박이 항해하는 것과 관련된 정보를 포함할 수 있고, 예를 들어, 항해 정보는 AIS 정보, VTS 정보, CITS 정보 등일 수 있다. 항해 정보는 선박의 항해와 관련하여 선박의 출발지, 도착지, 계류지, 항해 경로 등의 정보를 포함할 수 있다.According to an embodiment, the control module 200 may determine a target ship based on the acquired navigation information of the ship. Here, the voyage information may include information related to the sailing of the ship. For example, the voyage information may be AIS information, VTS information, CITS information, and the like. The voyage information may include information such as a ship's departure point, destination, mooring point, and navigation route in relation to the ship's voyage.

예를 들어, 제어 모듈(200)은 트래킹되는 선박의 항해 정보에 따른 도착지에 기초하여 타겟 선박을 결정할 수 있다.For example, the control module 200 may determine the target ship based on the destination according to the navigation information of the tracked ship.

도 20은 일 실시예에 따른 항해 정보에 기초한 타겟 선박 결정의 일 예에 관한 도면이다.20 is a diagram illustrating an example of determining a target ship based on voyage information according to an embodiment.

도 20을 참고하면, 제어 모듈(200)은 이미지 상에 복수의 선박이 있는 경우 항해 정보에 기초하여 타겟 선박을 결정할 수 있다. Referring to FIG. 20, when there are a plurality of ships on the image, the control module 200 may determine a target ship based on navigation information.

일 실시예에 따르면, 제어 모듈(200)은 트래킹되는 선박의 항해 정보에 따른 도착지에 기초하여 타겟 선박을 결정할 수 있다. 예를 들어, 제어 모듈(200)은 이미지 상의 선박 중 항해 정보에 따른 도착지가 이미지를 촬상한 카메라가 설치된 선석인 선박을 타겟 선박으로 결정할 수 있다. 도 17을 참고하면 트래킹되는 선박 중 항해 정보에 따른 도착지가 해당 이미지를 촬상한 카메라가 설치된 선석인 선박(171)을 타겟 선박으로 결정할 수 있다. 제어 모듈(200)은 타겟 선박으로 결정된 선박(171)이 항해 정보에 따라 이안 또는 출항하는 경우 선박(171)을 타겟 선박이 아닌 것으로 결정할 수 있다. 또한, 제어 모듈(200)은 선박(172)이 다른 곳에서 계류하고 난 후, 새로운 항해 정보에 따라 해당 이미지를 촬상한 카메라가 설치된 선석으로 접안하는 경우 선박(172)을 타겟 선박으로 결정할 수 있다.According to an embodiment, the control module 200 may determine a target ship based on a destination according to navigation information of a tracked ship. For example, the control module 200 may determine as a target ship a ship in which a camera on which an image is captured is installed at a destination according to the voyage information among ships on the image. Referring to FIG. 17, a ship 171, which is a berth in which a camera photographing a corresponding image is installed, at a destination according to navigation information among the tracked ships, may be determined as a target ship. The control module 200 may determine that the ship 171 is not a target ship when the ship 171 determined as the target ship is departing or outgoing according to the voyage information. In addition, the control module 200 may determine the ship 172 as a target ship when the ship 172 is moored at another place and then docks with a berth in which a camera photographing a corresponding image is installed according to new voyage information. .

뿐만 아니라, 제어 모듈(200)은 항해 정보와 관련되는 다른 조건에 기초하여 타겟 선박을 결정할 수도 있다. 예를 들어, 제어 모듈(200)은 항해 정보에 따라 선석에서 접안이 이루어지기로 예정된 시간에 이미지 상에 인식되는 선박을 타겟 선박으로 결정할 수 있다.In addition, the control module 200 may determine a target vessel based on other conditions related to navigation information. For example, the control module 200 may determine a vessel recognized on the image as a target vessel at a time scheduled to be berthing in the berth according to the navigation information.

일 실시예에 따르면, 제어 모듈(200)은 획득한 사용자 입력 정보에 기초하여 타겟 선박을 결정할 수 있다. 사용자 입력 정보란 사용자의 기기로부터 입력되어 수신되는 정보를 포함할 수 있고, 예를 들어, 사용자 입력 정보는 모니터링을 수행할 선박 선택, 선석 선택 등과 관련되어 사용자로부터 입력 받은 정보를 포함할 수 있다.According to an embodiment, the control module 200 may determine a target vessel based on the acquired user input information. The user input information may include information input and received from the user's device. For example, the user input information may include information input from the user in connection with selection of a vessel to perform monitoring, selection of a berth, and the like.

도 21은 일 실시예에 따른 사용자 입력 정보에 기초한 타겟 선박 결정의 일 예에 관한 도면이다. 21 is a diagram illustrating an example of determining a target vessel based on user input information according to an embodiment.

도 21을 참고하면, 제어 모듈(200)은 이미지 상에 복수의 선박이 있는 경우 사용자 입력 정보에 기초하여 타겟 선박을 결정할 수 있다. 예를 들어, 제어 모듈(200)은 트래킹되는 선박 중 사용자 입력 정보에 따라 모니터링 대상으로 선택되는 선박을 타겟 선박으로 결정할 수 있다. 도 18을 참고하면 제어 모듈(200)은 트래킹되는 선박 중 사용자 입력 정보에 따라 화면에 표시되는 지시자(193)로부터 선택되는 선박(181)을 타겟 선박으로 결정할 수 있다. 제어 모듈(200)은 타겟 선박으로 결정된 선박(181)이 접안이 완료되고 난 후에 사용자 입력 정보에 따라 선택되지 않는 선박(181)을 타겟 선박이 아닌 것으로 결정할 수 있다. 또한, 제어 모듈(200)은 선택되지 않은 선박(182)이 사용자 입력 정보에 따라 사용자로부터 선택되는 경우 선박(182)을 타겟 선박으로 결정할 수 있다.Referring to FIG. 21, when there are a plurality of ships on an image, the control module 200 may determine a target ship based on user input information. For example, the control module 200 may determine a vessel selected as a target for monitoring according to user input information among the tracked vessels as the target vessel. Referring to FIG. 18, the control module 200 may determine a vessel 181 selected from an indicator 193 displayed on a screen according to user input information among tracked vessels as a target vessel. The control module 200 may determine that the vessel 181 that is not selected according to the user input information is not the target vessel after the vessel 181 determined as the target vessel is docked. In addition, the control module 200 may determine the vessel 182 as a target vessel when an unselected vessel 182 is selected by a user according to user input information.

여기서, 타겟 선박 결정에 이용되는 사용자 입력 정보는 다양한 방식으로 제공될 수 있다. 예를 들어, 사용자 입력 정보는 항만에 출입하는 선박의 목록 중 선박을 선택하여 타겟 선박을 결정하는 정보일 수 있다. 또한, 사용자 입력 정보는 출력되는 항만 이미지(일 예로, 사용자 단말의 출력된 이미지) 상에서 선택된 위치에 있는 선박을 타겟 선박을 결정하는 정보일 수 있다.Here, the user input information used to determine the target vessel may be provided in various ways. For example, the user input information may be information for determining a target ship by selecting a ship from a list of ships entering and leaving a port. In addition, the user input information may be information for determining a target vessel for a vessel at a location selected on an output port image (eg, an output image of a user terminal).

뿐만 아니라, 제어 모듈(200)은 복수의 선석에서 촬상된 이미지 중 모니터링 정보가 출력이 되는 선석의 이미지를 결정할 수 있다. 예를 들어, 제어 모듈(200)은 복수의 선석에서 촬상된 이미지 중 사용자 입력 정보에 따라 선택된 선석의 이미지를 출력하고 상기 이미지에 포함된 선박을 타겟 선박으로 결정할 수 있다.In addition, the control module 200 may determine an image of a berth to which monitoring information is output among images captured from a plurality of berths. For example, the control module 200 may output an image of a berth selected according to user input information among images captured from a plurality of berths, and determine a ship included in the image as a target ship.

또한, 획득된 트래킹 정보에 기초하여 타겟 선박을 결정하는 단계(S216)는 제어 모듈(200)이 이미지 상에서 하나의 타겟 선박을 결정하는 것을 포함할 수 있다. In addition, determining a target vessel based on the obtained tracking information (S216) may include the control module 200 determining one target vessel on the image.

일 실시예에 따르면, 제어 모듈(200)은 이미지 상에 타겟 선박으로 결정되는 조건에 부합하는 복수의 선박 중 하나의 선박을 타겟 선박으로 결정할 수 있다. 예를 들어, 제어 모듈(200)은 이미지 상에 타겟 선박으로 결정되는 조건에 부합하는 선박이 복수인 경우 보다 늦게 타겟 선박으로 결정되는 하나의 선박을 타겟 선박으로 결정할 수 있다. 예를 들어, 도 18을 참조하면, 제어 모듈(200)은 선박(151)과 선박(152)이 차례로 영역(153) 내에 위치하는 경우, 초기에는 선박(151)이 타겟 선박이었다가 선박(152)이 영역(153) 내에 위치하는 이후에 타겟 선박을 선박(152)으로 결정할 수 있다. 반대로, 제어 모듈(200)은 이미지 상에 타겟 선박으로 결정되는 조건에 부합하는 선박이 복수인 경우 보다 먼저 타겟 선박으로 결정되는 하나의 선박을 타겟 선박으로 결정할 수도 있다. According to an embodiment, the control module 200 may determine one of a plurality of ships meeting a condition determined as the target ship on the image as the target ship. For example, the control module 200 may determine one vessel determined as the target vessel as the target vessel later than when there are a plurality of vessels meeting the condition determined as the target vessel on the image. For example, referring to FIG. 18, when the ship 151 and the ship 152 are sequentially located within the area 153, the ship 151 was initially a target ship, but the ship 152 After) is located within the region 153, the target vessel may be determined as the vessel 152. Conversely, the control module 200 may determine one vessel determined as the target vessel as the target vessel prior to the case where there are a plurality of vessels meeting the condition determined as the target vessel on the image.

다만, 타겟 선박의 결정은 상술한 방식에 의해 수행되는 것으로 한정될 필요는 없고 다양한 방식으로 수행될 수 있다. However, the determination of the target ship is not necessarily limited to being performed by the above-described method, and may be performed in various ways.

도 22는 일 실시예에 따른 타겟 선박의 접안 가이드 정보 획득에 관한 도면이다.22 is a diagram illustrating acquisition of eyepiece guide information of a target ship according to an exemplary embodiment.

도 22를 참조하면, 제어 모듈(200)은 트래킹되는 선박(191, 192) 중 타겟 선박(191)의 접안 가이드 정보를 획득할 수 있다. 여기서, 접안 가이드 정보는 선수 거리, 선미 거리, 선수 속도, 선미 속도, 타겟 선박과 다른 선박 사이의 거리, 타겟 선박과 다른 선박 사이의 상대속도 등을 포함할 수 있다. 선수 거리는 선박의 선수가 안벽으로부터 떨어진 거리를 의미할 수 있고 선미 거리는 선박의 선미가 안벽으로부터 떨어진 거리를 의미할 수 있다. 선수 속도는 선박의 선수가 안벽으로 접근하는 속도를 의미할 수 있고, 선미 속도는 선박의 선미가 안벽으로 접근하는 속도를 의미할 수 있다.Referring to FIG. 22, the control module 200 may acquire eyepiece guide information of the target vessel 191 among the tracked vessels 191 and 192. Here, the berthing guide information may include a bow distance, a stern distance, a bow speed, a stern speed, a distance between a target ship and another ship, a relative speed between the target ship and another ship, and the like. The bow distance may mean the distance from the quay wall of the bow of the ship, and the stern distance may mean the distance from the quay wall of the ship's stern. The bow speed may refer to the speed at which the bow of the ship approaches the quay wall, and the stern speed may refer to the speed at which the stern of the ship approaches the quay wall.

일 실시예에 따르면, 제어 모듈(200)은 타겟 선박(191)과 안벽 사이의 거리를 획득할 수 있다. According to an embodiment, the control module 200 may acquire a distance between the target vessel 191 and the quay wall.

예를 들어, 제어 모듈(200)은 타겟 선박(191)의 선수와 안벽 사이의 거리인 선수 거리(193)를 획득할 수 있다. 구체적으로, 제어 모듈(200)은 타겟 선박의 선수에 대응하는 하나의 포인트를 결정하고, 상기 선수에 대응하는 하나의 포인트와 안벽 사이의 거리를 획득할 수 있다. 다른 예를 들어, 제어 모듈(200)은 타겟 선박(191)의 선미와 안벽 사이의 거리인 선미 거리(194)를 획득할 수 있다. 구체적으로, 제어 모듈(200)은 타겟 선박의 선미에 대응하는 하나의 포인트를 결정하고, 상기 선미에 대응하는 하나의 포인트와 안벽 사이의 거리를 획득할 수 있다. For example, the control module 200 may acquire a bow distance 193 which is a distance between a bow and a quay wall of the target ship 191. Specifically, the control module 200 may determine one point corresponding to the bow of the target ship, and obtain a distance between the one point corresponding to the bow and the quay wall. For another example, the control module 200 may obtain a stern distance 194 that is a distance between the stern of the target vessel 191 and the quay wall. Specifically, the control module 200 may determine one point corresponding to the stern of the target ship, and obtain a distance between the one point corresponding to the stern and the quay wall.

일 실시예에 따르면, 제어 모듈(200)은 선박이 해수면과 접하는 밑면의 양 단부에 대응하는 한 쌍의 포인트를 추출할 수 있다. 여기서, 제어 모듈(200)은 상기 한 쌍의 포인트를 선수에 대응하는 하나의 포인트 및 선미에 대응하는 하나의 포인트로 결정할 수 있다. 예를 들어, 제어 모듈(200)은 선수 거리를 획득하기 위해 선박이 해수면과 접하는 밑면의 양 단부에 대응하는 한 쌍의 포인트 중 하나와 안벽 사이의 거리를 획득할 수 있다. 또한 제어 모듈(200)은 선미 거리를 획득하기 위해 선박이 해수면과 접하는 밑면의 양 단부에 대응하는 한 쌍의 포인트 중 다른 하나와 안벽 사이의 거리를 획득할 수 있다.According to an embodiment, the control module 200 may extract a pair of points corresponding to both ends of the bottom of the ship in contact with the sea level. Here, the control module 200 may determine the pair of points as one point corresponding to the bow and one point corresponding to the stern. For example, the control module 200 may acquire the distance between the quay wall and one of a pair of points corresponding to both ends of the bottom surface in contact with the sea level in order to obtain the bow distance. In addition, the control module 200 may acquire the distance between the quay wall and the other of a pair of points corresponding to both ends of the bottom surface in contact with the sea level in order to obtain the stern distance.

물론, 제어 모듈(200)은 타겟 선박(191)의 선수 및 선미에 대응하는 포인트들을 추출하여 선박의 선수 거리 및 선미 거리를 획득하는 대신 타겟 선박(191)의 임의의 1개의 포인트 또는 2개 이상의 포인트를 추출하여 선박과 안벽 사이의 거리를 획득하는 것도 가능하며, 영역의 외곽선, 또는 영역 자체에 기초하여 선박과 안벽 사이의 거리를 획득해도 무방하다. Of course, the control module 200 extracts points corresponding to the bow and stern of the target vessel 191 to obtain the bow distance and the stern distance of the target vessel, instead of obtaining one point or two or more points of the target vessel 191. It is possible to obtain the distance between the ship and the quay wall by extracting points, and it is also possible to obtain the distance between the ship and the quay wall based on the outline of the area or the area itself.

일 실시예에 따르면, 제어 모듈(200)은 타겟 선박(191)이 안벽으로 접근하는 속도를 획득할 수 있다. According to an embodiment, the control module 200 may acquire a speed at which the target vessel 191 approaches the quay wall.

예를 들어, 제어 모듈(200)은 타겟 선박(191)의 선수가 안벽으로 접근하는 속도인 선수 속도를 획득할 수 있다. 구체적으로, 제어 모듈(200)은 타겟 선박(191)의 선수에 대응하는 하나의 포인트를 결정하고, 상기 선수에 대응하는 하나의 포인트가 안벽으로 접근하는 속도를 획득할 수 있다. 여기서, 제어 모듈(200)은 타겟 선박(191)의 선수 거리(193)에 기초하여 타겟 선박(191)의 선수가 안벽으로 접근하는 속도를 획득할 수 있다. 제어 모듈(200)은 현재 프레임에서의 타겟 선박(191)의 선수 거리(193)와 후속 프레임에서의 타겟 선박(191)의 선수 거리를 비교하여 타겟 선박(191)의 선수가 안벽으로 접근하는 속도를 획득할 수 있다.For example, the control module 200 may acquire a bow speed, which is a speed at which the bow of the target ship 191 approaches the quay wall. Specifically, the control module 200 may determine one point corresponding to the bow of the target ship 191, and obtain a speed at which one point corresponding to the bow approaches the quay wall. Here, the control module 200 may acquire a speed at which the bow of the target ship 191 approaches the quay wall based on the bow distance 193 of the target ship 191. The control module 200 compares the bow distance 193 of the target ship 191 in the current frame and the bow distance of the target ship 191 in the subsequent frame, and the speed at which the bow of the target ship 191 approaches the quay wall. Can be obtained.

다른 예를 들어, 제어 모듈(200)은 타겟 선박(191)의 선미가 안벽으로 접근하는 속도인 선미 속도를 획득할 수 있다. 구체적으로, 제어 모듈(200)은 타겟 선박(191)의 선미에 대응하는 하나의 포인트를 결정하고, 상기 선미에 대응하는 하나의 포인트가 안벽으로 접근하는 속도를 획득할 수 있다. 여기서, 제어 모듈(200)은 타겟 선박(191)의 선미 거리(194)에 기초하여 타겟 선박(191)의 선미가 안벽으로 접근하는 속도를 획득할 수 있다. 제어 모듈(200)은 현재 프레임에서의 타겟 선박(191)의 선미 거리(194)와 후속 프레임에서의 타겟 선박(191)의 선미 거리를 비교하여 타겟 선박(191)의 선미가 안벽으로 접근하는 속도를 획득할 수 있다.For another example, the control module 200 may acquire a stern speed, which is a speed at which the stern of the target vessel 191 approaches the quay wall. Specifically, the control module 200 may determine one point corresponding to the stern of the target vessel 191 and obtain a speed at which one point corresponding to the stern approaches the quay wall. Here, the control module 200 may acquire a speed at which the stern of the target vessel 191 approaches the quay wall based on the stern distance 194 of the target vessel 191. The control module 200 compares the stern distance 194 of the target vessel 191 in the current frame with the stern distance of the target vessel 191 in a subsequent frame, and the speed at which the stern of the target vessel 191 approaches the quay wall. Can be obtained.

물론, 제어 모듈(200)은 타겟 선박(191)의 선수 및 선미에 대응하는 포인트들을 추출하여 선박의 선수 속도 및 선미 속도를 획득하는 대신 타겟 선박(191)의 임의의 1개의 포인트 또는 2개 이상의 포인트를 추출하여 선박이 안벽으로 접근하는 속도를 획득하는 것도 가능하며, 영역의 외곽선, 또는 영역 자체에 기초하여 선박이 안벽으로 접근하는 속도를 획득해도 무방하다. Of course, the control module 200 extracts points corresponding to the bow and stern of the target vessel 191 to obtain the bow speed and stern speed of the vessel, instead of obtaining one point or two or more of the target vessel 191. It is also possible to obtain the speed at which the ship approaches the quay wall by extracting points, and it is also possible to acquire the speed at which the ship approaches the quay wall based on the outline of the area or the area itself.

일 실시예에 따르면, 제어 모듈(200)은 타겟 선박(191)과 다른 선박(192) 사이의 거리를 획득할 수 있다. According to an embodiment, the control module 200 may acquire a distance between the target vessel 191 and another vessel 192.

예를 들어, 제어 모듈(200)은 타겟 선박(191)의 선수와 다른 선박(192) 사이의 거리를 획득할 수 있다. 구체적으로, 제어 모듈(200)은 타겟 선박(191)의 선수에 대응하는 하나의 포인트를 결정하고, 상기 선수에 대응하는 하나의 포인트와 다른 선박(192) 사이의 거리를 획득할 수 있다.For example, the control module 200 may acquire a distance between a bow of the target ship 191 and another ship 192. Specifically, the control module 200 may determine one point corresponding to the bow of the target ship 191 and obtain a distance between the one point corresponding to the bow and the other ship 192.

다른 예를 들어, 제어 모듈(200)은 타겟 선박(191)의 선미와 다른 선박(192) 사이의 거리를 획득할 수 있다. 구체적으로, 제어 모듈(200)은 타겟 선박(191)의 선미에 대응하는 하나의 포인트를 결정하고, 상기 선미에 대응하는 하나의 포인트와 안벽 사이의 거리를 획득할 수 있다.For another example, the control module 200 may acquire a distance between the stern of the target vessel 191 and another vessel 192. Specifically, the control module 200 may determine one point corresponding to the stern of the target vessel 191 and obtain a distance between the one point corresponding to the stern and the quay wall.

일 실시예에 따르면, 제어 모듈(200)은 선박에 대응하는 영역에서 선수단부 및 선미단부에 대응하는 한 쌍의 포인트를 추출할 수 있다. 여기서, 제어 모듈(200)은 상기 한 쌍의 포인트를 선수에 대응하는 하나의 포인트 및 선미에 대응하는 하나의 포인트로 결정할 수 있다. 예를 들어, 제어 모듈(200)은 선박과 다른 선박 사이의 거리를 획득하기 위해 선박에 대응하는 영역에서 선수단부 및 선미단부에 대응하는 한 쌍의 포인트 중 하나와 다른 선박 사이의 거리를 획득할 수 있다. 여기서, 제어 모듈(200)은 선수단부 및 선미단부에 대응하는 한 쌍의 포인트 중 다른 선박과 더 가까운 포인트에 기초하여 다른 선박 사이의 거리를 획득할 수 있다. According to an embodiment, the control module 200 may extract a pair of points corresponding to the fore end and the stern end from the area corresponding to the ship. Here, the control module 200 may determine the pair of points as one point corresponding to the bow and one point corresponding to the stern. For example, the control module 200 may acquire the distance between one of the pair of points corresponding to the fore end and the stern end in the area corresponding to the ship and another ship in order to obtain the distance between the ship and another ship. I can. Here, the control module 200 may acquire a distance between other ships based on a point closer to another ship among a pair of points corresponding to the fore end and the stern end.

물론, 제어 모듈(200)은 타겟 선박(191)의 선수 및 선미에 대응하는 포인트들을 추출하여 선박의 선수 및 선미와 다른 선박 사이의 거리를 획득하는 대신 타겟 선박(191)의 임의의 1개의 포인트 또는 2개 이상의 포인트를 추출하여 선박과 다른 선박 사이의 거리를 획득하는 것도 가능하며, 영역의 외곽선, 또는 영역 자체에 기초하여 선박과 다른 선박 사이의 거리를 획득해도 무방하다. Of course, the control module 200 extracts points corresponding to the fore and stern of the target vessel 191 to obtain a distance between the fore and stern of the vessel and other vessels, instead of one arbitrary point of the target vessel 191 Alternatively, it is possible to obtain the distance between the ship and other ships by extracting two or more points, and it is also possible to obtain the distance between the ship and other ships based on the outline of the area or the area itself.

일 실시예에 따르면, 제어 모듈(200)은 타겟 선박(191)과 다른 선박(192) 사이의 상대 속도를 획득할 수 있다. According to an embodiment, the control module 200 may acquire a relative speed between the target ship 191 and another ship 192.

예를 들어, 제어 모듈(200)은 타겟 선박(191)의 선수가 다른 선박(192)으로 접근하는 속도를 획득할 수 있다. 구체적으로, 제어 모듈(200)은 타겟 선박(191)의 선수에 대응하는 하나의 포인트를 결정하고, 상기 선수에 대응하는 하나의 포인트가 다른 선박(192)으로 접근하는 속도를 획득할 수 있다. 여기서, 제어 모듈(200)은 타겟 선박(191)의 선수와 다른 선박(192) 사이의 거리에 기초하여 타겟 선박(191)의 선수가 다른 선박(192)으로 접근하는 속도를 획득할 수 있다. 제어 모듈(200)은 현재 프레임에서의 타겟 선박(191)의 선수와 다른 선박(192) 사이의 거리와 후속 프레임에서의 타겟 선박(191)의 선수와 다른 선박(192) 사이의 거리를 비교하여 타겟 선박(191)의 선수가 다른 선박(192)으로 접근하는 속도를 획득할 수 있다.For example, the control module 200 may acquire a speed at which a player of the target vessel 191 approaches another vessel 192. Specifically, the control module 200 may determine one point corresponding to the bow of the target ship 191 and acquire a speed at which one point corresponding to the bow approaches the other ship 192. Here, the control module 200 may acquire the speed at which the bow of the target ship 191 approaches the other ship 192 based on the distance between the bow of the target ship 191 and the other ship 192. The control module 200 compares the distance between the bow of the target ship 191 and the other ship 192 in the current frame and the distance between the bow of the target ship 191 and the other ship 192 in the subsequent frame. It is possible to acquire the speed at which the athlete of the target ship 191 approaches another ship 192.

다른 예를 들어, 제어 모듈(200)은 타겟 선박(191)의 선미가 다른 선박(192)으로 접근하는 속도를 획득할 수 있다. 구체적으로, 제어 모듈(200)은 타겟 선박(191)의 선미에 대응하는 하나의 포인트를 결정하고, 상기 선미에 대응하는 하나의 포인트가 다른 선박(192)으로 접근하는 속도를 획득할 수 있다. 여기서, 제어 모듈(200)은 타겟 선박(191)의 선미와 다른 선박(192) 사이의 거리에 기초하여 타겟 선박(191)의 선미가 다른 선박(192)으로 접근하는 속도를 획득할 수 있다. 제어 모듈(200)은 현재 프레임에서의 타겟 선박(191)의 선미와 다른 선박(192) 사이의 거리와 후속 프레임에서의 타겟 선박(191)의 선미와 다른 선박(192) 사이의 거리를 비교하여 타겟 선박(191)의 선미가 다른 선박(192)으로 접근하는 속도를 획득할 수 있다.For another example, the control module 200 may acquire a speed at which the stern of the target vessel 191 approaches another vessel 192. Specifically, the control module 200 may determine one point corresponding to the stern of the target vessel 191 and obtain a speed at which one point corresponding to the stern approaches the other vessel 192. Here, the control module 200 may acquire a speed at which the stern of the target vessel 191 approaches the other vessel 192 based on the distance between the stern of the target vessel 191 and the other vessel 192. The control module 200 compares the distance between the stern of the target vessel 191 and the other vessel 192 in the current frame and the distance between the stern of the target vessel 191 and the other vessel 192 in the subsequent frame. The speed at which the stern of the target vessel 191 approaches another vessel 192 may be obtained.

물론, 제어 모듈(200)은 타겟 선박(191)의 선수 및 선미에 대응하는 포인트들을 추출하여 선박의 선수 및 선미가 다른 선박(192)으로 접근하는 속도를 획득하는 대신 타겟 선박(191)의 임의의 1개의 포인트 또는 2개 이상의 포인트를 추출하여 타겟 선박(191)과 다른 선박(192) 사이의 상대 속도를 획득하는 것도 가능하며, 영역의 외곽선, 또는 영역 자체에 기초하여 타겟 선박(191)과 다른 선박(192) 사이의 상대 속도를 획득해도 무방하다.Of course, the control module 200 extracts points corresponding to the fore and stern of the target vessel 191 to obtain the speed at which the fore and stern of the vessel approaches other vessels 192, It is also possible to obtain the relative speed between the target ship 191 and the other ship 192 by extracting one point or two or more points of, and the target ship 191 and the target ship 191 based on the outline of the area or the area itself It is okay to acquire the relative speed between the different ships 192.

도 23은 일 실시예에 따른 모니터링 정보 출력에 관한 순서도이다.23 is a flowchart illustrating outputting monitoring information according to an exemplary embodiment.

도 23을 참조하면, 접안 모니터링은 모니터링 정보를 출력하는 단계(S30)를 더 포함할 수 있다. 모니터링 정보 출력 단계에서 출력되는 정보는 선박 주변이나 해양, 항만의 이미지, 이미지에 포함된 오브젝트의 종류 및 거리/속도 등 그 특성과 같이 이미지 기반 모니터링에 관련된 정보라면 제한이 없다. Referring to FIG. 23, eyepiece monitoring may further include outputting monitoring information (S30). The information output in the monitoring information output stage is not limited as long as it is information related to image-based monitoring, such as the characteristics of the image around the ship, the sea, the port, the type and distance/speed of the object included in the image.

장치(10)는 시각적으로 모니터링 정보를 출력할 수 있다. 예를 들어, 장치(10)는 디스플레이 등의 출력 모듈을 통해 모니터링 정보를 출력할 수 있다. 다른 예를 들어, 장치(10)는 통신 모듈(300)을 통해 사용자의 단말기로 모니터링 정보를 송신하고, 사용자 단말기의 디스플레이를 통해 모니터링 정보를 출력하도록 제어 신호를 전송할 수 있다. The device 10 may visually output monitoring information. For example, the device 10 may output monitoring information through an output module such as a display. For another example, the device 10 may transmit monitoring information to the user's terminal through the communication module 300 and transmit a control signal to output monitoring information through the display of the user terminal.

모니터링 정보 출력 단계(S30)는 이미지 획득 단계에서 이미지 생성 유닛을 이용하여 획득한 이미지를 디스플레이하는 것을 포함할 수 있다. 이 외에도 전처리 단계를 거친 이미지, 세그멘테이션 또는 디텍션 후의 이미지, 시점 변환 후의 이미지 등 이미지 기반 모니터링에 관련된 다양한 이미지를 디스플레이하는 것을 포함할 수 있다. The monitoring information output step S30 may include displaying an image acquired by using the image generating unit in the image acquisition step. In addition, it may include displaying various images related to image-based monitoring, such as an image that has undergone a pre-processing step, an image after segmentation or detection, and an image after viewpoint conversion.

또한, 모니터링 정보 출력 단계(S30)는 제어 모듈(200)이 이미지 분석 단계에서 추정한 위치/이동 정보를 출력 모듈 또는 사용자 단말기를 통해 디스플레이하는 것을 포함할 수 있다. In addition, the monitoring information output step S30 may include displaying the position/movement information estimated in the image analysis step by the control module 200 through an output module or a user terminal.

도 24는 일 실시예에 따른 모니터링 정보 출력의 일 예에 관한 도면이다.24 is a diagram illustrating an example of outputting monitoring information according to an embodiment.

도 24를 참고하면, 이미지와 접안 가이드 정보는 함께 디스플레이 될 수 있다. 도 24에 도시된 바와 같이, 디스플레이되는 접안 가이드 정보는 타겟 선박의 선수 거리, 선수 속도, 선미 거리 및 선미 속도 등을 포함할 수 있다. Referring to FIG. 24, the image and eyepiece guide information may be displayed together. As shown in FIG. 24, the displayed eyepiece guide information may include a bow distance, bow speed, aft distance, and aft speed of the target ship.

모니터링 정보 출력 단계(S30)는 장치(10)가 시각적인 디스플레이 외에 소리나 진동을 출력하는 등 다른 방식으로 사용자에게 정보를 제공하는 것을 포함할 수 있다. 예를 들어, 제어 모듈(200)은 타겟 선박이 안벽이나 다른 선박, 장애물 등과 충돌할 위험이 있거나 접안 시 안벽으로의 접근 속도가 기준 속도 이상인 경우, 선박이 경로를 이탈하여 운항하는 경우 등 경고음을 출력 모듈 또는 사용자 단말기를 통해 출력할 수 있다. The monitoring information output step S30 may include providing information to the user in other ways, such as outputting sound or vibration in addition to the visual display by the device 10. For example, the control module 200 may sound a warning sound, such as when the target ship is in danger of colliding with the quay wall, other ships, obstacles, etc., or when the approach speed to the quay wall is higher than the reference speed when berthing, or when the ship deviates from the route and operates. It can be output through an output module or a user terminal.

이미지 기반 모니터링은 서베일런스(surveillance)를 포함할 수 있다. 여기서, 서베일런스란 침입자를 감시하거나 등록되지 않은 선박의 항만 접근을 감시하는 등의 보안 관련 정보 및 화재 발생 등 긴급 상황 발생에 대한 정보를 사용자에게 제공하는 것을 의미할 수 있다.Image-based monitoring may include surveillance. Here, the surveillance may mean providing security-related information such as monitoring an intruder or monitoring access to a port of an unregistered vessel, and information on an emergency situation such as a fire occurrence to a user.

장치(10)는 이미지에 사람이 포함되었는지 여부 및 이미지가 촬상된 시점에 기초하여 침입자를 감시할 수 있다. 예를 들어, 제어 모듈(200)은 항만에서 작업이 진행되지 않는 시점에 촬상된 항만 이미지에 사람이 포함되는 경우 침입자가 존재하는 것으로 판단할 수 있다. The device 10 may monitor an intruder based on whether or not a person is included in the image and when the image is captured. For example, the control module 200 may determine that an intruder exists when a person is included in a port image captured at a point in time when a work is not performed in the port.

장치(10)는 이미지에 선박이 포함되었는지 여부에 기초하여 선박 감시를 할 수 있다. 예를 들어, 제어 모듈(200)은 AIS에 등록되지 않은 선박이 감지되는 경우 이에 대한 정보를 사용자에게 제공하는 방식으로 선박 감시를 할 수 있다.The device 10 may monitor the vessel based on whether the image contains a vessel. For example, when a vessel not registered in AIS is detected, the control module 200 may monitor a vessel in a manner that provides information on this to a user.

또한, 장치(10)는 세그멘테이션이나 디텍션을 통해 이미지에 기초하여 사람이나 선박을 감지함으로써 서베일런스를 수행할 수도 있다.In addition, the device 10 may perform surveillance by detecting a person or a ship based on an image through segmentation or detection.

도 25 내지 도 27은 일 실시예에 따른 모니터링 정보 출력의 다른 예에 관한 도면이다. 25 to 27 are diagrams illustrating another example of outputting monitoring information according to an exemplary embodiment.

도 25와 도 26을 참고하면, 이미지와 접안 가이드 정보는 함께 디스플레이 될 수 있고, 타겟 선박이 복수인 경우 복수의 접안 가이드 정보가 출력될 수 있다. Referring to FIGS. 25 and 26, the image and eyepiece guide information may be displayed together, and when there are a plurality of target vessels, a plurality of eyepiece guide information may be output.

도 25에 도시된 바와 같이, 접안 가이드 정보가 출력되는 위치는 이미지 상의 타겟 선박의 위치와 대응될 수 있다. 예를 들어, 좌측 타겟 선박의 접안 가이드 정보는 좌측에, 우측 타겟 선박의 접안 가이드 정보는 우측에 디스플레이될 수 있다.As shown in FIG. 25, the position where the eyepiece guide information is output may correspond to the position of the target vessel on the image. For example, the eyepiece guide information of the left target ship may be displayed on the left, and the eyepiece guide information of the right target ship may be displayed on the right.

또한, 도 26에 도시된 바와 같이, 접안 가이드 정보는 타겟 선박의 식별자와 함께 출력될 수 있다. 예를 들어, 이미지 상의 좌측 타겟 선박에 '선박 1', 이미지 상의 우측 타겟 선박에 '선박 2'이라는 임의의 식별자를 각각 부여하고 부여된 식별자와 각 타겟 선박의 접안 가이드 정보가 함께 출력될 수 있다. 또한, 부여된 식별자와 접안 가이드 정보는 이미지 상의 타겟 선박 주변에 표시될 수도 있다.In addition, as shown in FIG. 26, the eyepiece guide information may be output together with the identifier of the target vessel. For example, a random identifier of'Ship 1'to the left target vessel on the image and'Ship 2'to the right target vessel on the image may be assigned, and the assigned identifier and berthing guide information of each target vessel may be output together. . In addition, the assigned identifier and eyepiece guide information may be displayed around the target vessel on the image.

또한 도 27을 참고하면, 이미지와 접안 가이드 정보는 함께 디스플레이 될 수 있고, 선박이 복수인 경우 타겟 선박이 하나로만 결정되면 타겟 선박의 접안 가이드 정보만 출력될 수 있다. 예를 들어, 타겟 선박이 접안이 진행되는 중인 좌측 선박으로 결정된 경우, 타겟 선박으로 결정된 좌측 선박의 접안 가이드 정보만 화면에 출력될 수 있다.In addition, referring to FIG. 27, the image and the eyepiece guide information may be displayed together. In the case of a plurality of vessels, if only one target vessel is determined, only the eyepiece guide information of the target vessel may be output. For example, when the target ship is determined to be a left ship in which berthing is in progress, only berthing guide information of the left ship determined as the target ship may be displayed on the screen.

이상에서는 단일 이미지에 기초한 이미지 기반 모니터링에 대해 살펴보았다. 이 외에도 복수의 이미지에 기초하여 이미지 기반 모니터링을 수행할 수 있다. 복수에 이미지에 기초하여 이미지 분석을 수행하는 경우 이미지 기반 모니터링 장치(10)의 총 모니터링 영역이 증가하거나 모니터링의 정확도가 향상될 수 있다.In the above, we have looked at the image-based monitoring based on a single image. In addition to this, image-based monitoring may be performed based on a plurality of images. When image analysis is performed based on a plurality of images, the total monitoring area of the image-based monitoring device 10 may increase or the accuracy of monitoring may be improved.

도 28은 일 실시예에 따른 복수의 이미지에 기초한 이미지 기반 모니터링에 관한 도면이다.28 is a diagram illustrating image-based monitoring based on a plurality of images, according to an exemplary embodiment.

도 28을 참고하면, 이미지 획득 단계는 제1 이미지 획득 단계(S11) 및 제2 이미지 획득 단계(S12)를 포함할 수 있고, 이미지 분석 단계(S20)는 제1 이미지 획득 단계(S11)에서 획득한 제1 이미지 및 제2 이미지 획득 단계(S12)에서 획득한 제2 이미지에 기초하여 이미지 분석을 수행할 수 있다.Referring to FIG. 28, the image acquisition step may include a first image acquisition step (S11) and a second image acquisition step (S12), and the image analysis step (S20) is acquired in the first image acquisition step (S11). An image analysis may be performed based on the first image and the second image acquired in the second image acquisition step S12.

복수의 이미지에 기초하여 하나의 이미지를 생성한 후 이미지 분석을 수행할 수 있다. 예를 들어, 제어 모듈(200)은 복수의 이미지가 정합된 파노라마 이미지를 생성하고, 상기 파노라마 이미지의 이미지 분석을 수행할 수 있다. 구체적으로, 제어 모듈(200)은 제1 이미지 및 제2 이미지를 정합하거나 융합하여 정합 이미지 또는 융합 이미지를 생성하고, 생성된 정합 이미지 또는 융합 이미지에 기초하여 이미지 분석을 수행할 수 있다.After generating one image based on a plurality of images, image analysis may be performed. For example, the control module 200 may generate a panoramic image in which a plurality of images are matched, and perform image analysis of the panoramic image. Specifically, the control module 200 may match or fuse the first image and the second image to generate a matched image or a fused image, and perform image analysis based on the generated matched image or fused image.

또는, 복수의 이미지 각각에 기초하여 이미지 분석을 수행한 결과를 바탕으로 최종 분석 결과를 산출할 수 있다. 예를 들어, 제1 이미지로부터 이미지 분석을 수행하여 제1 모니터링 정보를 획득하고 제2 이미지로부터 이미지 분석을 수행하여 제2 모니터링 정보를 획득한 후 제1 모니터링 정보와 제2 모니터링 정보에 기초하여 최종 모니터링 정보를 획득할 수 있다. Alternatively, a final analysis result may be calculated based on a result of performing image analysis based on each of the plurality of images. For example, after performing image analysis from a first image to obtain first monitoring information and performing image analysis from a second image to obtain second monitoring information, a final Monitoring information can be obtained.

복수의 모니터링 정보로부터 최종 모니터링 정보를 획득하는 방법의 일 예로, 복수의 모니터링 정보를 가중치별로 고려하여 최종 모니터링 정보를 산출하는 방법이 있을 수 있다. As an example of a method of obtaining final monitoring information from a plurality of monitoring information, there may be a method of calculating final monitoring information by considering a plurality of monitoring information by weight.

또는, 복수의 모니터링 정보가 서로 일치하지 않거나 그 차이가 특정 값과 같은 임계치(threshold) 이상인지 여부(이하 “에러 발생 여부”라 함)에 기초하여 최종 모니터링 정보를 산출할 수 있다. 예를 들어, 에러 발생 여부에 기초하여 복수의 모니터링 정보를 가중치별로 고려하여 최종 모니터링 정보를 산출하거나, 복수의 모니터링 정보 중 특정 모니터링 정보를 우선시하여 최종 모니터링 정보를 산출하거나, 특정 모니터링 정보를 다른 모니터링 정보로 보정하거나, 해당 모니터링 정보를 무시하는 방법 등이 있을 수 있지만, 이에 한정되는 것은 아니다.Alternatively, the final monitoring information may be calculated based on whether a plurality of monitoring information does not match each other or whether the difference is equal to or greater than a threshold equal to a specific value (hereinafter referred to as “whether or not an error has occurred”). For example, based on whether an error has occurred, the final monitoring information is calculated by considering a plurality of monitoring information by weight, or by prioritizing specific monitoring information among a plurality of monitoring information to calculate the final monitoring information, or to perform other monitoring of specific monitoring information. There may be a method of correcting with information or ignoring the monitoring information, but is not limited thereto.

복수의 이미지는 동일한 종류의 이미지일 수 있다. 예를 들어, 센서 모듈이 동일한 이미지 생성 유닛을 2개 포함하거나, 하나의 이미지 생성 유닛을 포함하는 동일한 센서 모듈이 2개 배치되어 이미지 기반 모니터링을 수행하는 경우 제1 이미지 및 제2 이미지는 동일한 종류일 수 있다.The plurality of images may be the same type of image. For example, when the sensor module includes two identical image generating units, or two identical sensor modules including one image generating unit are disposed to perform image-based monitoring, the first image and the second image are of the same type. Can be

복수의 이미지의 모니터링 영역은 서로 다를 수 있다. 예를 들어, 제1 이미지는 이미지 생성 유닛으로부터 근거리를 모니터링하고, 제2 이미지는 원거리를 모니터링할 수 있다. 또는, 제1 이미지는 이미지 생성 유닛으로부터 좌측을 모니터링하고, 제2 이미지는 우측을 모니터링할 수 있다.Monitoring areas of the plurality of images may be different from each other. For example, the first image may monitor a short distance from the image generating unit, and the second image may monitor a far distance. Alternatively, the first image may monitor the left side from the image generating unit, and the second image may monitor the right side.

또한, 장치(10)는 복수의 이미지 분석으로 획득한 모니터링 정보를 적합한 이미지와 함께 출력할 수 있다. In addition, the device 10 may output monitoring information acquired by analyzing a plurality of images together with an appropriate image.

장치(10)는 복수의 이미지 분석으로 획득한 모니터링 정보를 복수의 이미지 중 타겟 선박이 포함된 이미지와 함께 출력할 수 있다. 예를 들어, 제어 모듈(200)은 적어도 일부가 다른 영역의 이미지를 촬상하는 복수의 카메라에 의해 획득한 복수의 이미지를 이미지 분석한 후, 출력 모듈 또는 사용자 단말기를 통해 복수의 이미지 중 타겟 선박이 찍힌 제1 이미지가 제1 이미지에서 산출된 제1 접안 가이드 정보와 함께 출력할 수 있다.The device 10 may output monitoring information obtained by analyzing a plurality of images together with an image including a target vessel among the plurality of images. For example, the control module 200 analyzes a plurality of images acquired by a plurality of cameras that at least partially capture images of different areas, and then the target ship among the plurality of images through an output module or a user terminal The captured first image may be output together with the first eyepiece guide information calculated from the first image.

도 29 및 도 30은 일 실시예에 따른 모니터링 정보 출력의 다른 예에 관한 도면이다. 29 and 30 are diagrams illustrating another example of outputting monitoring information according to an embodiment.

도 29와 도 30을 참고하면, 복수의 이미지 분석 후 타겟 선박이 결정되는 경우, 타겟 선박의 접안 가이드 정보는 복수의 이미지 중 타겟 선박이 포함된 이미지와 함께 디스플레이될 수 있다. 예를 들어, 타겟 선박이 '선박 1'로 결정된 경우 '선박 1'의 접안 가이드 정보는 '선박 1'이 포함된 선석의 이미지와 함께 디스플레이될 수 있다. 또한, 타겟 선박이 '선박 3'으로 결정된 경우 '선박 3'의 접안 가이드 정보는 '선박 3'이 포함된 선석의 이미지와 함께 디스플레이될 수 있다.Referring to FIGS. 29 and 30, when a target ship is determined after analyzing a plurality of images, the eyepiece guide information of the target ship may be displayed together with an image including the target ship among the plurality of images. For example, when the target ship is determined to be'Ship 1', berthing guide information of'Ship 1'may be displayed together with an image of a berth including'Ship 1'. In addition, when the target ship is determined to be'Ship 3', the berthing guide information of'Ship 3'may be displayed together with the image of the berth including'Ship 3'.

장치(10)는 복수의 이미지 분석으로 획득한 모니터링 정보를 복수의 이미지 중 선박의 도착지 이미지와 함께 출력할 수 있다. 예를 들어, 제어 모듈(200)은 적어도 일부가 중첩되는 영역의 이미지를 촬상하는 복수의 카메라에 의해 획득한 복수의 이미지를 이미지 분석한 후, 타겟 선박이 복수의 이미지에 함께 찍힌 경우 복수의 이미지 중 타겟 선박의 항해 정보에 따른 도착지에 설치된 카메라를 이용하여 획득된 이미지와 상기 이미지에서 산출된 접안 가이드 정보가 함께 출력되도록 제어 신호를 생성할 수 있다.The device 10 may output monitoring information acquired by analyzing a plurality of images together with an image of a destination of a ship among the plurality of images. For example, the control module 200 analyzes a plurality of images acquired by a plurality of cameras that capture an image of an area in which at least a portion overlaps, and then, when the target ship is photographed with a plurality of images, the plurality of images Among them, a control signal may be generated so that an image obtained using a camera installed at a destination according to the navigation information of the target ship and the eyepiece guide information calculated from the image are output together.

도 31 및 도 32는 일 실시예에 따른 모니터링 정보 출력의 다른 예에 관한 도면이다.31 and 32 are diagrams illustrating another example of outputting monitoring information according to an embodiment.

도 31 및 도 32는 적어도 일부가 중첩되는 영역의 이미지를 촬상하는 복수의 카메라에 의해 획득된 서로 인접한 각각의 선석의 이미지인 제1 이미지 및 제2 이미지와 함께 접안 가이드 정보가 디스플레이된 것을 나타낸다. 31 and 32 show that eyepiece guide information is displayed together with a first image and a second image, which are images of each berth that are adjacent to each other, obtained by a plurality of cameras that capture images of an area where at least a portion overlaps.

도 31 및 도 32를 참고하면, 선박(252)은 동일한 시점에 두 개의 이미지 상에 함께 찍혀있다. 선박(252)의 도착지가 제1 이미지의 선석이 아니고 제2 이미지의 선석인 경우, 다른 곳을 향해 지나가는 선박(252)의 접안 가이드 정보를 제2 이미지가 아닌 제1 이미지와 함께 출력하는 것은 바람직하지 않을 수 있다. 도 31과 같이, 제1 이미지는 항해 정보에 따라 제1 이미지의 선석이 도착지인 선박(251)의 접안 가이드 정보와 함께 출력되는 것이 바람직하다. 또한, 도 32와 같이, 항해 정보에 따라 제2 이미지의 선석이 도착지인 선박(252)의 접안 가이드 정보는 제2 이미지와 함께 출력되는 것이 바람직하다. 31 and 32, the ship 252 is photographed together on two images at the same time point. When the destination of the ship 252 is not the berth of the first image but the berth of the second image, it is preferable to output the eyepiece guide information of the ship 252 passing toward another place together with the first image other than the second image. I can't. As shown in FIG. 31, it is preferable that the first image is output along with the berthing guide information of the ship 251 where the berth of the first image is destination according to the navigation information. In addition, as shown in FIG. 32, it is preferable that the berth guide information of the ship 252 to which the berth of the second image is destination is output together with the second image according to the voyage information.

물론, 복수의 이미지 분석으로 획득한 모니터링 정보는 복수의 이미지 중 임의의 이미지와 함께 출력되어도 무방하며, 상술한 기재에 한정되지 않는다.Of course, monitoring information obtained by analyzing a plurality of images may be output together with an arbitrary image among a plurality of images, and is not limited to the above description.

이미지 기반 모니터링은 시점 변환 단계를 더 포함할 수 있다.The image-based monitoring may further include a viewpoint conversion step.

일반적으로 카메라 등 이미지 생성 유닛이 생성하는 이미지는 원근 시점(perspective view)로 나타날 수 있다. 이를 탑 뷰(top view, 평면 시점), 측면 시점(side view), 다른 원근 시점 등으로 변환하는 것을 시점 변환이라 할 수 있다. 물론, 탑 뷰나 측면 시점 이미지를 다른 시점으로 변환할 수도 있으며, 이미지 생성 유닛이 탑 뷰 이미지나 측면 시점 이미지 등을 생성할 수도 있고 이 경우 시점 변환이 수행될 필요가 없을 수도 있다.In general, an image generated by an image generating unit such as a camera may appear as a perspective view. Converting this into a top view, a side view, or another perspective may be referred to as a viewpoint conversion. Of course, a top view or a side view image may be converted to another view, and the image generation unit may generate a top view image or a side view image, and in this case, the view conversion may not need to be performed.

도 33 및 도 34는 일 실시예에 따른 시점 변환에 관한 도면이다. 33 and 34 are diagrams for view conversion according to an embodiment.

도 33을 참고하면, 원근 시점 이미지의 시점 변환을 통해 다른 원근 시점 이미지를 획득할 수 있다. 여기서, 안벽(OBJ8)이 이미지 상에서 수평 방향(이미지 상에서 좌우 방향)을 따라 위치하도록 시점 변환을 수행할 수 있다. 도 34를 참고하면, 원근 시점 이미지의 시점 변환을 통해 탑 뷰 이미지를 획득할 수 있다. 여기서, 탑 뷰 이미지는 해수면과 수직한 방향에서 해수면을 내려다 본 뷰일 수 있다. 또한, 도 33과 마찬가지로 안벽(OBJ9)이 이미지 상에서 수평 방향을 따라 위치하도록 시점 변환을 수행할 수 있다.Referring to FIG. 33, another perspective view image may be obtained through a viewpoint conversion of the perspective view image. Here, viewpoint conversion may be performed so that the quay wall OBJ8 is positioned along the horizontal direction (left and right directions on the image) on the image. Referring to FIG. 34, a top view image may be obtained through a viewpoint conversion of a perspective view image. Here, the top view image may be a view looking down at the sea level in a direction perpendicular to the sea level. Also, as in FIG. 33, viewpoint conversion may be performed so that the quay wall OBJ9 is positioned along the horizontal direction on the image.

이미지 획득 후 시점 변환을 수행한 뒤에 선박의 접안 가이드에 필요한 정보를 획득하기 위한 이미지 분석을 할 수 있다. 일 예에 따르면, 접안 가이드 정보의 획득은 시점이 변환된 세그멘테이션된 이미지에 기초하여 수행될 수 있다. 구체적으로, 원근 시점의 세그멘테이션 이미지를 탑 뷰 세그멘테이션 이미지로 시점을 변환하고, 탑 뷰 세그멘테이션된 이미지 중 픽셀의 클래스 값이 선박에 해당하는 영역에 기초하여 선박의 접안 가이드 정보를 획득할 수 있다. 물론, 시점 변환된 세그멘테이션이미지는 탑 뷰가 아니라 측면 시점 등 다양한 시점으로 시점이 변환된 세그멘테이션 이미지여도 무방하며, 뿐만 아니라 2개의 포인트를 추출하여 선박의 위치/이동 정보를 획득하는 대신 영역의 외곽선, 또는 영역 자체에 기초하여 선박의 위치/이동 정보를 획득하여도 무방하다. After acquiring the image and performing viewpoint conversion, image analysis to obtain necessary information for the ship's berthing guide can be performed. According to an example, the acquisition of the eyepiece guide information may be performed based on the segmented image in which the viewpoint is converted. Specifically, the viewpoint may be converted from a segmentation image of a perspective view to a top view segmentation image, and eyepiece guide information of a ship may be obtained based on an area in which a class value of a pixel corresponds to a ship among the top view segmented images. Of course, the segmentation image converted from viewpoint may not be a top view, but may be a segmentation image in which the viewpoint is converted into various viewpoints such as a side viewpoint.In addition, instead of obtaining the location/movement information of the ship by extracting two points, Alternatively, it is also possible to acquire the location/movement information of the ship based on the area itself.

물론, 반드시 그러한 것은 아니며, 시점이 변환된 촬영 영상 등의 이미지에 기초하여 수행되는 것도 가능하다.Of course, this is not necessarily the case, and the viewpoint may be performed based on an image such as a converted photographed image.

또한 이미지 획득 후 시점 변환을 수행한 뒤에 사용자에게 이미지를 디스플레이하는 등 모니터링 정보를 출력할 수 있다. 이 경우 시점 변환을 통해 사용자에게 주변 상황에 대한 정보를 보다 용이하게 제공할 수 있다.In addition, it is possible to output monitoring information such as displaying an image to a user after performing a viewpoint conversion after acquiring an image. In this case, information about the surrounding situation can be more easily provided to the user through the viewpoint conversion.

이미지의 시점 변환은 다양한 방식으로 수행될 수 있다.Transformation of the viewpoint of an image can be performed in various ways.

시점 변환의 일 예로 역투영 변환(Inverse Projective Mapping, IPM)을 수행할 수 있다. 2차원 이미지는 3차원 공간 상의 피사체에서 반사된 빛이 카메라의 렌즈를 통해 이미지 센서에 입사되어 생성되고, 2차원과 3차원의 관계는 이미지 센서와 렌즈에 의존하며, 예를 들어 수학식 1과 같이 표현될 수 있다.As an example of viewpoint transformation, inverse projection transformation (IPM) may be performed. In a two-dimensional image, light reflected from a subject in a three-dimensional space is incident on the image sensor through the lens of the camera, and the relationship between the two-dimensional and three-dimensional depends on the image sensor and the lens, for example, Equation 1 and It can be expressed together.

Figure 112020002558444-pat00001
Figure 112020002558444-pat00001

여기서, 좌변의 행렬은 2차원 이미지 좌표, 우변의 첫 번째 행렬은 내부 파라미터(intrinsic parameter), 두 번째 행렬은 외부 파라미터(extrinsic parameter), 세 번째 행렬은 3차원 좌표를 의미한다. 구체적으로, fx 및 fy는 초점 거리(focal length), cx 및 cy는 주점(principal point), r 및 t는 각각 회전 및 평행이동 변환 파라미터를 의미한다.Here, the matrix on the left side is a 2D image coordinate, the first matrix on the right side is an intrinsic parameter, the second matrix is an extrinsic parameter, and the third matrix is 3D coordinates. Specifically, fx and fy denote a focal length, cx and cy denote a principal point, and r and t denote rotation and translation transformation parameters, respectively.

2차원 이미지를 역투영 변환을 통해 3차원 상의 임의의 평면에 투영시켜 그 시점을 변경시킬 수 있다. 예를 들어, 원근 시점 이미지를 역투영 변환을 통해 탑 뷰 이미지로 변환하거나, 다른 원근 시점 이미지로 변환할 수 있다.It is possible to change the viewpoint by projecting a 2D image onto an arbitrary plane on the 3D through a back projection transformation. For example, a perspective view image may be converted into a top view image through reverse projection transformation, or another perspective view image may be converted.

시점 변환을 위해서 내부 파라미터가 필요할 수 있다. 내부 파라미터를 구하는 방법의 일 예로 Zhang 방법을 이용할 수 있다. Zhang 방법은 다항식 모델(polynomial model)의 일종으로 격자의 크기를 알고 있는 격자판을 다양한 각도와 거리에서 촬영하여 내부 파라미터를 획득하는 방법이다.Internal parameters may be required for viewpoint conversion. As an example of how to obtain an internal parameter, the Zhang method can be used. The Zhang method is a type of polynomial model. It is a method of obtaining internal parameters by photographing a grid plate with a known size of the grid at various angles and distances.

시점 변환을 위해서 이미지를 촬상한 이미지 생성 유닛/센서 모듈의 위치 및/또는 자세에 대한 정보가 필요할 수 있다. 이러한 정보는 위치 측정 유닛 및 자세 측정 유닛으로부터 획득될 수 있다.Information on the position and/or posture of the image generating unit/sensor module that has captured an image may be required for viewpoint conversion. This information can be obtained from the position measuring unit and the posture measuring unit.

또는, 이미지에 포함된 고정체의 위치에 기초하여 위치 및/또는 자세에 대한 정보를 획득할 수 있다. 예를 들어, 제1 시점에 이미지 생성 유닛은 제1 위치 및/또는 제1 자세로 배치되고, 지형이나 건물 등과 같이 고정된 객체인 타겟 고정체를 포함하는 제1 이미지를 생성할 수 있다. 이 후, 제2 시점에 이미지 생성 유닛은 상기 타겟 고정체를 포함하는 제2 이미지를 생성할 수 있다. 제1 이미지 상에서의 타겟 고정체의 위치 및 제2 이미지 상에서의 타겟 고정체의 위치를 비교하여 제2 시점에서의 이미지 생성 유닛의 위치 및/또는 자세인 제2 위치 및/또는 제2 자세를 산출할 수 있다.Alternatively, information on the position and/or posture may be obtained based on the position of the fixture included in the image. For example, at a first viewpoint, the image generating unit may generate a first image including a target fixture, which is disposed in a first position and/or a first posture, and is a fixed object such as a terrain or a building. Thereafter, at a second viewpoint, the image generating unit may generate a second image including the target fixture. By comparing the position of the target fixture on the first image and the position of the target fixture on the second image, a second position and/or a second posture, which is the position and/or posture of the image generating unit at the second viewpoint, is calculated. can do.

또한, 시점 변환 시 기준 평면의 선택에 따라 이미지 분석의 정확도가 달라질 수 있다. 예를 들어, 원근 시점 이미지를 탑 뷰 이미지로 변환하는 경우, 기준 평면의 높이에 따라 탑 뷰 이미지에 기초한 이미지 분석의 정확도가 달라질 수 있다. 해수면 상에서의 오브젝트 사이의 거리를 정확히 산출하기 위해서는 시점 변환 시 기준 평면이 해수면인 것이 바람직할 수 있다. 해수면의 높이는 시간에 따라 변화할 수 있으므로 해수면의 높이를 고려하여 시점 변환을 수행하는 것이 이미지 분석의 정확도 향상에 바람직할 수 있다.In addition, the accuracy of image analysis may vary depending on the selection of the reference plane during the viewpoint conversion. For example, when converting a perspective view image to a top view image, the accuracy of image analysis based on the top view image may vary according to the height of the reference plane. In order to accurately calculate the distance between objects on the sea level, it may be preferable that the reference plane is sea level when the viewpoint is converted. Since the height of the sea level may change over time, it may be desirable to perform a viewpoint conversion in consideration of the height of the sea level to improve the accuracy of image analysis.

전술한 시점 변환 방법은 예시에 불과하고 이와 다른 방법으로 시점 변환을 수행할 수도 있으며, 시점 변환 정보는 전술한 수학식 1의 행렬, 파라미터, 좌표, 위치 및/또는 자세에 대한 정보 등 시점 변환을 위해 필요한 정보를 포함한다.The above-described viewpoint transformation method is only an example, and viewpoint transformation may be performed in a different method. The viewpoint transformation information includes viewpoint transformation such as information on the matrix, parameters, coordinates, position and/or posture of Equation 1 above. Include the information you need for it.

이미지 기반 모니터링은 전처리(pre-processing) 단계를 포함할 수 있다. 전처리는 이미지에 행하여지는 모든 종류의 가공을 의미하고, 이미지 정규화(normalization), 이미지 밝기 평준화(image equalization, histogram equalization), 이미지 리사이즈(resize), 이미지의 해상도/크기를 변경하는 업스케일링(upscaling) 및 다운스케일링(downscaling), 잘라내기(crop), 노이즈 제거 등을 포함할 수 있다. 여기서, 노이즈는 안개, 비, 물방울, 해무(sea clutter), 미세먼지, 직사광선, 염분 및 이들의 조합 등을 포함할 수 있고, 노이즈를 제거한다는 것은 이미지에 포함된 노이즈 성분을 없애거나 감소시키는 것을 포함할 수 있다. Image-based monitoring may include a pre-processing step. Preprocessing refers to all kinds of processing performed on an image, image normalization, image equalization, histogram equalization, image resize, and upscaling to change the resolution/size of an image. And downscaling, cropping, noise removal, and the like. Here, the noise may include fog, rain, water droplets, sea clutter, fine dust, direct sunlight, salt, and combinations thereof, and removing noise means removing or reducing noise components included in the image. Can include.

전처리의 일 예로 정규화에 대해 살펴보면, 정규화는 RGB 이미지의 전체 픽셀의 RGB 값의 평균을 구하고 이를 RGB 이미지로부터 차감하는 것을 의미할 수 있다. Looking at the normalization as an example of the preprocessing, normalization may mean obtaining an average of RGB values of all pixels of the RGB image and subtracting this from the RGB image.

전처리의 다른 예로 안개 제거(defogging)에 대해 살펴보면, 안개 제거는 안개 낀 지역을 촬영한 이미지를 전처리를 통해 맑은 지역을 촬영한 이미지처럼 보이도록 변환하는 것을 의미할 수 있다. 도 13은 일 실시예에 따른 안개 제거에 관한 도면이다. 도 13을 참고하면, 안개 제거를 통해 도 13의 (a)와 같이 안개 낀 지역을 촬영한 이미지를 도 13의 (b)와 같은 안개가 제거된 이미지로 변환할 수 있다.Looking at defogging as another example of the pre-processing, fog removal may mean converting an image of a foggy area to look like an image of a clear area through pre-processing. 13 is a diagram illustrating fog removal according to an exemplary embodiment. Referring to FIG. 13, an image of a foggy area as shown in (a) of FIG. 13 may be converted into an image from which the fog is removed as shown in (b) of FIG. 13 through fog removal.

전처리의 또 다른 예로 물방울 제거에 대해 살펴보면, 물방울 제거는 카메라 전면에 맺힌 물방울이 촬영된 이미지에서 전처리를 통해 물방울이 제거된 것처럼 보이도록 변환하는 것을 의미할 수 있다.Looking at the removal of water droplets as another example of the pre-processing, the water droplet removal may mean converting the water droplets formed on the front of the camera to appear as if the water droplets have been removed through pre-processing in a photographed image.

일 실시예에 따르면, 이미지 획득 단계(S10) 후 전처리 단계를 거쳐 이미지 분석 단계(S20)를 수행할 수 있다. 예를 들어, 이미지 생성 유닛을 이용하여 획득한 이미지에 전처리를 수행한 후 이미지 분석을 수행할 수 있다. 이미지 전처리를 통해 이미지 분석이 용이해지거나 정확도가 향상될 수 있다.According to an embodiment, after the image acquisition step S10, the image analysis step S20 may be performed through a pre-processing step. For example, image analysis may be performed after performing pre-processing on an image acquired using the image generating unit. Image analysis may be facilitated or accuracy may be improved through image preprocessing.

이미지 전처리는 인공 신경망을 통해 수행될 수 있다. 예를 들어, 안개 낀 지역을 촬영한 이미지를 인공 신경망에 입력하여 맑은 지역을 촬영한 이미지처럼 보이도록 변환할 수 있는 등 노이즈를 포함하는 이미지를 인공 신경망에 입력하여 노이즈가 제거된 이미지를 획득할 수 있다. 인공 신경망의 예로는 GAN 등이 있으나 이에 한정되는 것은 아니다.Image preprocessing can be performed through an artificial neural network. For example, the image containing the noise can be input into the artificial neural network by inputting an image of a foggy area into an artificial neural network and transformed to look like an image of a clear area. I can. Examples of artificial neural networks include GAN, but are not limited thereto.

또는, 이미지 전처리는 이미지 마스크를 이용하여 수행될 수 있다. 예를 들어, 안개 낀 지역을 촬영한 이미지에 이미지 마스크를 적용하여 맑은 지역을 촬영한 이미지처럼 보이도록 변환할 수 있다. 여기서, 이미지 마스크의 예로는 역 컨볼루션(deconvolution) 필터, 샤픈(sharpen) 필터 등이 있고, GAN 등의 인공 신경망을 통해 이미지 마스크를 생성할 수도 있지만 이에 한정되는 것은 아니다.Alternatively, image preprocessing may be performed using an image mask. For example, by applying an image mask to an image of a foggy area, the clear area can be converted to look like a captured image. Here, examples of the image mask include an inverse convolution filter, a sharpen filter, and the like, and an image mask may be generated through an artificial neural network such as GAN, but is not limited thereto.

이상에서는 이미지를 전처리한 후에 이미지 분석을 수행하는 경우에 대해 살펴보았다. 이와 달리, 전처리 과정을 포함한 이미지 분석 수행이 가능할 수도 있다. 예를 들어, 이미지 분석 단계가 세그멘테이션 또는 디텍션을 포함하는 경우, 노이즈를 포함하는 이미지의 세그멘테이션 또는 디텍션 수행 결과가 노이즈를 포함하지 않는 이미지의 세그멘테이션 또는 디텍션 수행 결과와 동등하도록 구현할 수도 있을 것이다.In the above, we have looked at the case of performing image analysis after preprocessing the image. Alternatively, it may be possible to perform image analysis including pre-processing. For example, when the image analysis step includes segmentation or detection, the result of performing segmentation or detection of an image including noise may be implemented to be equivalent to a result of performing segmentation or detection of an image that does not contain noise.

도 35는 일 실시예에 따른 이미지 기반 모니터링의 순서도이다. 35 is a flowchart of image-based monitoring according to an embodiment.

도 35를 참고하면, 접안 모니터링은 이미지 획득 단계(S1010), 세그멘테이션 단계(S1210), 선박 트래킹 단계(S1213), 트래킹 정보 획득 단계(S1216), 타겟 선박 결정 단계(S1219), 접안 가이드 정보 획득 단계(S1220) 및 모니터링 정보 출력 단계(S1030)를 포함할 수 있다. 각 단계는 상술한 바와 같이 구현될 수 있다.Referring to Figure 35, the eyepiece monitoring is an image acquisition step (S1010), segmentation step (S1210), ship tracking step (S1213), tracking information acquisition step (S1216), target ship determination step (S1219), eyepiece guide information acquisition step It may include (S1220) and the step of outputting monitoring information (S1030). Each step can be implemented as described above.

장치(10)는 이미지 획득 단계(S1010)를 통해 오브젝트를 포함하는 이미지를 획득할 수 있다. 장치(10)는 이미지에 기초하여 세그멘테이션 단계(S1210)를 수행하여 세그멘테이션 이미지를 획득할 수 있다. 장치(10)는 선박 트래킹 단계(S1213)를 수행하여 세그멘테이션 이미지에 기초하여 인식한 적어도 하나의 선박을 트래킹할 수 있다. 장치(10)는 트래킹 정보 획득 단계(S1216)를 수행하여 트래킹 정보를 획득할 수 있다. 여기서, 트래킹 정보는 선박의 위치 정보, 선박의 이동 정보, 선박의 항해 정보 및 사용자 입력 정보 중 적어도 하나를 포함할 수 있다. 장치(10)는 타겟 선박 결정 단계(S1219)를 수행하여, 획득한 트래킹 정보에 기초하여 트래킹되는 선박 중 타겟 선박을 결정할 수 있다. 장치(10)는 접안 가이드 정보 획득 단계(S1220)를 수행하여, 결정된 타겟 선박의 접안 가이드 정보를 세그멘테이션 이미지에 기초하여 획득할 수 있다. 여기서, 접안 가이드 정보는 타겟 선박의 선수 거리와 선미 거리 중 적어도 하나를 포함할 수 있다. 장치(10)는 모니터링 정보 출력 단계(S1030)를 수행하여, 접안 가이드 정보를 상기 이미지와 함께 출력할 수 있다.The device 10 may acquire an image including the object through the image acquisition step S1010. The device 10 may obtain a segmentation image by performing the segmentation operation S1210 based on the image. The apparatus 10 may track at least one vessel recognized based on the segmentation image by performing the vessel tracking step S1213. The device 10 may acquire tracking information by performing the tracking information acquisition step (S1216). Here, the tracking information may include at least one of location information of a ship, movement information of a ship, navigation information of a ship, and user input information. The apparatus 10 may determine a target vessel among the tracked vessels based on the acquired tracking information by performing the target vessel determination step (S1219). The apparatus 10 may obtain the determined eyepiece guide information of the target vessel based on the segmentation image by performing the step of obtaining eyepiece guide information (S1220 ). Here, the eyepiece guide information may include at least one of a bow distance and a stern distance of the target vessel. The device 10 may output the eyepiece guide information together with the image by performing the monitoring information output step (S1030).

도 35의 실시예는 예시에 불과하고 이와 다른 방법으로 이미지 기반 모니터링이 수행될 수 있다. The embodiment of FIG. 35 is only an example, and image-based monitoring may be performed in a different way.

일 예로, 도 35의 실시예에서 일부 단계가 수행되지 않을 수 있다. 도 35를 참고하면, 모니터링 정보를 출력하는 단계(S1030)가 수행되지 않을 수 있다. For example, some steps may not be performed in the embodiment of FIG. 35. Referring to FIG. 35, the step of outputting monitoring information (S1030) may not be performed.

다른 예로, 이미지가 정합되는 단계가 추가되거나 이미지의 시점 변환 단계가 추가되는 등 도 35의 실시예에서 다른 단계가 추가될 수 있다. As another example, another step may be added in the embodiment of FIG. 35, such as adding an image matching step or adding an image viewpoint conversion step.

또 다른 예로, 세그멘테이션 단계가 디텍션 단계로 치환되는 등 도 35의 실시예에서 일부 단계가 다른 단계로 치환될 수 있다.As another example, some steps in the embodiment of FIG. 35 may be replaced with other steps, such as the segmentation step being replaced by the detection step.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operation of the embodiment, and vice versa.

상기에서는 실시예를 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 발명이 속하는 기술 분야의 당업자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀둔다.In the above, the configuration and features of the present invention have been described based on the embodiments, but the present invention is not limited thereto, and that various changes or modifications can be made within the spirit and scope of the present invention to those skilled in the art. It is obvious, and therefore, such changes or modifications are found to be within the scope of the appended claims.

10: 모니터링 장치
100: 센서 모듈
110: 통신부
120: 제어부
130: 카메라
200: 제어 모듈
210: 통신부
220: 제어부
300: 통신 모듈
10: monitoring device
100: sensor module
110: communication department
120: control unit
130: camera
200: control module
210: communication department
220: control unit
300: communication module

Claims (23)

컴퓨팅 수단에 의해 수행되는 접안 모니터링 방법에 있어서,
항만에 설치되어 이미지를 촬상하는 카메라를 이용하여 바다 및 선박을 포함하는 항만 이미지를 획득하는 단계;
입력 이미지 및 상기 입력 이미지에 포함된 바다, 선박 및 지형지물을 포함하는 오브젝트들에 해당하는 픽셀에 각각 바다, 선박 및 지형지물을 지시하는 클래스 값들을 라벨링한 러닝셋을 이용하여 학습된 인공 신경망을 이용하여 상기 항만 이미지로부터 상기 오브젝트들에 대한 세그멘테이션 이미지를 생성하는 단계;
상기 세그멘테이션 이미지의 선박을 지시하는 클래스 값이 할당된 제1 픽셀들에 기초하여 복수의 선박을 트래킹하여 상기 복수의 선박 각각을 나타내는 대표 포인트들의 위치 정보가 포함된 트래킹 정보를 획득하는 단계;
상기 트래킹 정보에 기초하여 상기 트래킹되는 선박 중 접안 가이드되는 타겟 선박을 결정하는 단계; 및
상기 세그멘테이션 이미지에 기초하여 상기 타겟 선박의 선수와 안벽(pier) 사이의 거리인 선수 거리 및 상기 타겟 선박의 선미와 안벽 사이의 거리인 선미 거리를 포함하는 접안 가이드 정보를 획득하는 단계; 를 포함하고,
상기 트래킹 정보를 획득하는 단계는
상기 복수의 선박의 VTS 정보 및 AIS 정보 중 적어도 하나를 획득하는 단계를 포함하고,
상기 타겟 선박은 상기 VTS 정보 및 AIS 정보 중 적어도 하나에 기초하여 결정되는
접안 모니터링 방법.
In the eyepiece monitoring method performed by the computing means,
Acquiring a port image including the sea and a ship using a camera installed in the port to capture an image;
An artificial neural network learned using a learning set in which the input image and the class values indicating the sea, the ship, and the topographic feature, respectively, are labeled in pixels corresponding to objects including the sea, ship, and feature included in the input image. Generating a segmentation image of the objects from the port image using the port image;
Tracking a plurality of ships based on first pixels assigned a class value indicating a ship of the segmentation image to obtain tracking information including location information of representative points representing each of the plurality of ships;
Determining a target vessel to be guided by the eyepiece among the tracked vessels based on the tracking information; And
Obtaining eyepiece guide information including a bow distance, which is a distance between a bow and a pier of the target ship, and a stern distance, which is a distance between a stern and a quay wall of the target ship based on the segmentation image; Including,
The step of obtaining the tracking information
Including the step of obtaining at least one of the VTS information and AIS information of the plurality of ships,
The target vessel is determined based on at least one of the VTS information and AIS information
Eyepiece monitoring method.
제1항에 있어서,
상기 대표 포인트는,
상기 세그멘테이션 이미지의 상기 복수의 선박 각각의 세그멘테이션 영역 상의 하나의 포인트인
접안 모니터링 방법.
The method of claim 1,
The representative points above are,
One point on the segmentation area of each of the plurality of ships of the segmentation image
Eyepiece monitoring method.
제2항에 있어서,
상기 대표 포인트는,
상기 복수의 선박 각각의 세그멘테이션 영역의 중심에 위치하는 포인트인
접안 모니터링 방법.
The method of claim 2,
The representative points above are,
A point located at the center of the segmentation area of each of the plurality of ships,
Eyepiece monitoring method.
제1항에 있어서,
상기 트래킹 정보를 획득하는 단계는
상기 대표 포인트와 상기 안벽 사이의 거리를 획득하는 단계를 포함하고
상기 타겟 선박은 상기 대표 포인트와 상기 안벽 사이의 거리에 기초하여 결정되는
접안 모니터링 방법.
The method of claim 1,
The step of obtaining the tracking information
Including the step of obtaining a distance between the representative point and the quay wall,
The target ship is determined based on the distance between the representative point and the quay wall
Eyepiece monitoring method.
제4항에 있어서,
상기 타겟 선박은 상기 복수의 선박 중 상기 대표 포인트와 상기 안벽 사이의 거리가 기설정된 값 미만인 선박으로 결정되는
접안 모니터링 방법.
The method of claim 4,
The target ship is determined as a ship in which the distance between the representative point and the quay wall among the plurality of ships is less than a preset value.
Eyepiece monitoring method.
제1항에 있어서,
상기 타겟 선박은 상기 복수의 선박 중 상기 대표 포인트가 기설정된 영역 상에 위치하는 선박으로 결정되는
접안 모니터링 방법.
The method of claim 1,
The target ship is determined as a ship in which the representative point is located on a preset area among the plurality of ships.
Eyepiece monitoring method.
제1항에 있어서,
상기 트래킹 정보를 획득하는 단계는,
상기 대표 포인트의 위치 정보에 기초하여 상기 대표 포인트의 이동 정보를 획득하는 단계를 포함하고,
상기 타겟 선박은 상기 대표 포인트의 이동 정보에 기초하여 결정되는
접안 모니터링 방법.
The method of claim 1,
The step of obtaining the tracking information,
Including the step of obtaining movement information of the representative point based on the location information of the representative point,
The target ship is determined based on the movement information of the representative point
Eyepiece monitoring method.
제7항에 있어서,
상기 타겟 선박은 상기 복수의 선박 중 상기 대표 포인트의 상기 안벽으로의 접근 속도의 크기에 기초하여 결정되는
접안 모니터링 방법.
The method of claim 7,
The target ship is determined based on the magnitude of the approach speed of the representative point to the quay wall among the plurality of ships.
Eyepiece monitoring method.
삭제delete 제1항에 있어서,
상기 타겟 선박은 상기 복수의 선박 중 상기 VTS 정보 및 AIS 정보 중 적어도 하나에 따른 도착지에 기초하여 결정되는
접안 모니터링 방법.
The method of claim 1,
The target ship is determined based on a destination according to at least one of the VTS information and AIS information among the plurality of ships.
Eyepiece monitoring method.
제1항에 있어서,
상기 트래킹 정보를 획득하는 단계는
사용자 단말로부터 상기 복수의 선박에 대한 사용자 입력 정보를 획득하는 단계를 포함하고,
상기 타겟 선박은 상기 복수의 선박에 대한 사용자 입력 정보에 기초하여 결정되는
접안 모니터링 방법.
The method of claim 1,
The step of obtaining the tracking information
Including the step of obtaining user input information for the plurality of ships from a user terminal,
The target ship is determined based on user input information for the plurality of ships
Eyepiece monitoring method.
제11항에 있어서,
상기 타겟 선박은 상기 복수의 선박 중 상기 사용자 입력 정보에 따라 선택된 선박으로 결정되는
접안 모니터링 방법.
The method of claim 11,
The target ship is determined as a ship selected according to the user input information among the plurality of ships.
Eyepiece monitoring method.
제1항에 있어서,
상기 타겟 선박은 상기 타겟 선박 결정에 이용되는 조건에 부합하는 선박이 복수인 경우 상기 조건에 더 늦게 부합한 하나의 선박으로 결정되는
접안 모니터링 방법.
The method of claim 1,
The target ship is determined as one ship that meets the conditions later when there are a plurality of ships meeting the conditions used to determine the target ship.
Eyepiece monitoring method.
제1항에 있어서,
상기 인공 신경망은,
입력 이미지 및 상기 입력 이미지에 포함된 바다, 예인선, 예인선을 제외한 선박 및 지형지물을 포함하는 오브젝트들에 해당하는 픽셀에 각각 바다, 예인선, 예인선이 제외된 선박 및 지형지물을 지시하는 클래스 값들을 라벨링한 러닝셋을 이용하여 학습된,
접안 모니터링 방법.
The method of claim 1,
The artificial neural network,
Class values indicating the sea, the tugboat, the ship excluding the tugboat and the terrain feature are labeled on the pixels corresponding to the input image and the objects including the sea, the tugboat, and the vessel excluding the tugboat and the feature included in the input image, respectively. Learned using one running set,
Eyepiece monitoring method.
제1항에 있어서,
상기 접안 가이드 정보를 획득하는 단계는,
상기 타겟 선박이 해수면과 접하는 밑면의 양 단부에 대응하는 한 쌍의 포인트를 추출하는 단계 및
상기 한 쌍의 포인트에 기초하여 상기 선수 거리 및 상기 선미 거리를 획득하는 단계를 포함하는
접안 모니터링 방법.
The method of claim 1,
The step of obtaining the eyepiece guide information,
Extracting a pair of points corresponding to both ends of the bottom surface of the target ship in contact with the sea level, and
Comprising the step of obtaining the bow distance and the stern distance based on the pair of points
Eyepiece monitoring method.
제1항에 있어서,
상기 접안 가이드 정보를 획득하는 단계는,
상기 선수 거리 및 상기 선미 거리에 기초하여 상기 타겟 선박의 선수가 상기 안벽으로 접근하는 속도인 선수 속도 및 상기 타겟 선박의 선미가 상기 안벽으로 접근하는 속도인 선미 속도를 획득하는 단계를 포함하는
접안 모니터링 방법.
The method of claim 1,
The step of obtaining the eyepiece guide information,
And acquiring a bow speed that is a speed at which the bow of the target ship approaches the quay wall and a stern speed that is a speed at which the stern of the target ship approaches the quay wall based on the bow distance and the stern distance.
Eyepiece monitoring method.
제1항에 있어서,
상기 접안 가이드 정보를 획득하는 단계는,
상기 세그멘테이션 이미지에 기초하여 상기 타겟 선박과 다른 선박 사이의 거리를 획득하는 단계를 포함하는
접안 모니터링 방법.
The method of claim 1,
The step of obtaining the eyepiece guide information,
Comprising the step of obtaining a distance between the target vessel and another vessel based on the segmentation image
Eyepiece monitoring method.
제17항에 있어서,
상기 접안 가이드 정보를 획득하는 단계는,
상기 타겟 선박과 다른 선박 사이의 거리에 기초하여 상기 타겟 선박과 상기 다른 선박 사이의 상대 속도를 획득하는 단계를 포함하는
접안 모니터링 방법.
The method of claim 17,
The step of obtaining the eyepiece guide information,
Comprising the step of obtaining a relative speed between the target vessel and the other vessel based on the distance between the target vessel and another vessel
Eyepiece monitoring method.
제1항에 있어서,
상기 접안 가이드 정보를 획득하는 단계는,
상기 선박의 다른 선박 또는 상기 안벽과의 충돌 위험과 관련된 정보를 획득하는 단계를 포함하는
접안 모니터링 방법.
The method of claim 1,
The step of obtaining the eyepiece guide information,
Comprising the step of acquiring information related to the risk of collision with another vessel of the vessel or the quay wall
Eyepiece monitoring method.
제1항에 있어서,
상기 접안 가이드 정보를 상기 항만 이미지와 함께 출력하는 단계; 를 더 포함하는
접안 모니터링 방법.
The method of claim 1,
Outputting the eyepiece guide information together with the port image; Further comprising
Eyepiece monitoring method.
제1항에 있어서,
상기 항만 이미지는
복수의 항만 이미지가 정합된 파노라마 이미지를 포함하는
접안 모니터링 방법.
The method of claim 1,
The above port image is
Including a panoramic image in which a plurality of port images are matched
Eyepiece monitoring method.
제1항 내지 제8항 및 제10항 내지 제21항 중 어느 하나의 항에 따른 방법을 실행시키기 위한 프로그램을 기록한 기록매체.
A recording medium on which a program for executing the method according to any one of claims 1 to 8 and 10 to 21 is recorded.
항만에 설치되어 이미지를 촬상하는 카메라;
상기 카메라가 촬상한 바다 및 선박을 포함하는 항만 이미지를 획득하고, 입력 이미지 및 상기 입력 이미지에 포함된 바다, 선박 및 지형지물을 포함하는 오브젝트들에 해당하는 픽셀에 각각 바다, 선박 및 지형지물을 지시하는 클래스 값들을 라벨링한 러닝셋을 이용하여 학습된 인공 신경망을 이용하여 상기 항만 이미지로부터 상기 오브젝트들에 대한 세그멘테이션 이미지를 생성하고, 상기 세그멘테이션 이미지의 선박을 지시하는 클래스 값이 할당된 제1 픽셀들에 기초하여 복수의 선박을 트래킹하여 상기 복수의 선박 각각을 나타내는 대표 포인트들의 위치 정보가 포함된 트래킹 정보를 획득하고, 상기 트래킹 정보에 기초하여 상기 트래킹되는 선박 중 접안 가이드되는 타겟 선박을 결정하고, 상기 세그멘테이션 이미지에 기초하여 상기 타겟 선박의 선수와 안벽(pier) 사이의 거리인 선수 거리 및 상기 타겟 선박의 선미와 안벽 사이의 거리인 선미 거리를 포함하는 접안 가이드 정보를 획득하는 제어 모듈; 및
상기 타겟 선박의 접안 가이드 정보를 원격 위치한 단말기에 전송하는 통신 모듈; 을 포함하고,
상기 제어 모듈은
상기 복수의 선박의 VTS 정보 및 AIS 정보 중 적어도 하나를 획득하여 상기 트래킹 정보를 획득하고, 획득한 상기 VTS 정보 및 AIS 정보 중 적어도 하나에 기초하여 상기 타겟 선박을 결정하는
접안 모니터링 장치.
A camera installed in a port to capture an image;
A port image including the sea and a ship captured by the camera is acquired, and the sea, a ship, and a terrain feature are respectively included in the input image and the pixels corresponding to the objects including the sea, the ship, and the feature included in the input image. A first pixel to which a segmentation image for the objects is generated from the port image using an artificial neural network learned using a learning set labeled with the indicated class values, and a class value indicating a vessel of the segmentation image is assigned A plurality of vessels are tracked based on the field to obtain tracking information including location information of representative points representing each of the plurality of vessels, and a target vessel to be guided by the eyepiece among the tracked vessels is determined based on the tracking information. A control module for acquiring eyepiece guide information including a bow distance, which is a distance between a bow and a pier of the target ship, and a stern distance, which is a distance between a stern and a quay wall of the target ship, based on the segmentation image; And
A communication module for transmitting the berthing guide information of the target vessel to a remotely located terminal; Including,
The control module
Acquiring at least one of the VTS information and AIS information of the plurality of vessels to obtain the tracking information, and determining the target vessel based on at least one of the obtained VTS information and AIS information
Eyepiece monitoring device.
KR1020200003191A 2020-01-09 2020-01-09 Device and method for monitoring a berthing KR102235787B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200003191A KR102235787B1 (en) 2020-01-09 2020-01-09 Device and method for monitoring a berthing
KR1020210040733A KR20210090572A (en) 2020-01-09 2021-03-29 Device and method for monitoring a berthing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200003191A KR102235787B1 (en) 2020-01-09 2020-01-09 Device and method for monitoring a berthing

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210040733A Division KR20210090572A (en) 2020-01-09 2021-03-29 Device and method for monitoring a berthing

Publications (1)

Publication Number Publication Date
KR102235787B1 true KR102235787B1 (en) 2021-04-05

Family

ID=75461730

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200003191A KR102235787B1 (en) 2020-01-09 2020-01-09 Device and method for monitoring a berthing
KR1020210040733A KR20210090572A (en) 2020-01-09 2021-03-29 Device and method for monitoring a berthing

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210040733A KR20210090572A (en) 2020-01-09 2021-03-29 Device and method for monitoring a berthing

Country Status (1)

Country Link
KR (2) KR102235787B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110059206A (en) * 2009-11-27 2011-06-02 김영복 Vessel docking guide system
KR20160062286A (en) * 2014-11-24 2016-06-02 (주)세이프텍리서치 System for supporting vessel berth using unmanned aerial vehicle and the method thereof
KR20180065411A (en) * 2016-12-07 2018-06-18 한국해양과학기술원 System and method for automatic tracking of marine objects
KR102005559B1 (en) * 2018-09-04 2019-08-07 씨드로닉스(주) Situation awareness method using image segmentation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110059206A (en) * 2009-11-27 2011-06-02 김영복 Vessel docking guide system
KR20160062286A (en) * 2014-11-24 2016-06-02 (주)세이프텍리서치 System for supporting vessel berth using unmanned aerial vehicle and the method thereof
KR20180065411A (en) * 2016-12-07 2018-06-18 한국해양과학기술원 System and method for automatic tracking of marine objects
KR102005559B1 (en) * 2018-09-04 2019-08-07 씨드로닉스(주) Situation awareness method using image segmentation

Also Published As

Publication number Publication date
KR20210090572A (en) 2021-07-20

Similar Documents

Publication Publication Date Title
KR102231286B1 (en) Ship surrounding monitoring device and ship surrounding monitoring method
KR102112935B1 (en) Path planning method using obstacle map
Zhuang et al. Radar-based collision avoidance for unmanned surface vehicles
US20220024549A1 (en) System and method for measuring the distance to an object in water
US20210019521A1 (en) Method and Device for Situation Awareness
Aulinas et al. Feature based slam using side-scan salient objects
Bovcon et al. Improving vision-based obstacle detection on USV using inertial sensor
Kim et al. Artificial intelligence vision-based monitoring system for ship berthing
Clunie et al. Development of a perception system for an autonomous surface vehicle using monocular camera, lidar, and marine radar
KR20200039588A (en) Device and method for real-time monitoring of ship and port
Sorial et al. Towards a real time obstacle detection system for unmanned surface vehicles
KR102278674B1 (en) Method and device for monitoring harbor and ship considering sea level
KR102235787B1 (en) Device and method for monitoring a berthing
Lin et al. Environment perception and object tracking for autonomous vehicles in a harbor scenario
KR102265980B1 (en) Device and method for monitoring ship and port
Neves et al. Rotation-invariant shipwreck recognition with forward-looking sonar
US20220351523A1 (en) Method and device for monitoring port and ship in consideration of sea level
Fiorini et al. Optical target recognition for drone ships
KR20220055555A (en) Method and device for monitoring harbor and ship
KR102466804B1 (en) Autonomous navigation method using image segmentation
KR20220055556A (en) Device and method for monitoring ship and port
Friebe et al. Situational awareness and obstacle avoidance for a wind propelled marine research ASV
Krupiński et al. Positioning aiding using LiDAR in GPS signal loss scenarios
Petković et al. Target Detection for Visual Collision Avoidance System
Kennedy Development of an exteroceptive sensor suite on unmanned surface vessels for real-time classification of navigational markers

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant