KR102265980B1 - Device and method for monitoring ship and port - Google Patents

Device and method for monitoring ship and port Download PDF

Info

Publication number
KR102265980B1
KR102265980B1 KR1020200003190A KR20200003190A KR102265980B1 KR 102265980 B1 KR102265980 B1 KR 102265980B1 KR 1020200003190 A KR1020200003190 A KR 1020200003190A KR 20200003190 A KR20200003190 A KR 20200003190A KR 102265980 B1 KR102265980 B1 KR 102265980B1
Authority
KR
South Korea
Prior art keywords
vessel
image
points
distance
pair
Prior art date
Application number
KR1020200003190A
Other languages
Korean (ko)
Inventor
박별터
김한근
김동훈
Original Assignee
씨드로닉스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 씨드로닉스(주) filed Critical 씨드로닉스(주)
Priority to KR1020200003190A priority Critical patent/KR102265980B1/en
Priority to PCT/KR2021/000036 priority patent/WO2021141338A1/en
Priority to KR1020210075563A priority patent/KR20210090574A/en
Application granted granted Critical
Publication of KR102265980B1 publication Critical patent/KR102265980B1/en

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G3/00Traffic control systems for marine craft
    • G08G3/02Anti-collision systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery

Abstract

The present invention relates to a method for monitoring a port which is performed by a computing means. According to one embodiment of the present invention, the method for monitoring a port comprises: a step of acquiring a port image including a ship and the sea by using a camera installed on the port to photograph an image; a step of extracting a pair of first points corresponding to both ends of the bottom surface on which the ship comes in contact with the surface of the sea and a pair of second points corresponding to the stem and stern of the ship from the port image; a step of acquiring approaching-related information of the ship including a stem distance which is the distance between a wharf and the stem of the ship and a stern distance which is the distance between the wharf and the stern of the ship based on the pair of first points; and a step of acquiring collision-related information of the ship including the distance between the ship and a different ship based on the pair of second points. The step of acquiring the collision-related information includes a step of acquiring the distance between the ship and a different ship based on one of the pair of second points which is closer to the different ship if the different ship is included in the port image.

Description

선박 및 항만 모니터링 장치 및 방법{DEVICE AND METHOD FOR MONITORING SHIP AND PORT}Vessel and port monitoring device and method {DEVICE AND METHOD FOR MONITORING SHIP AND PORT}

본 발명은 선박 및 항만 모니터링 모니터링 장치 및 방법에 관한 것으로, 구체적으로 이미지에 기초하여 선박 및 항만 모니터링을 수행하는 장치 및 방법에 관한 것이다.The present invention relates to a vessel and port monitoring device and method, and more particularly, to an apparatus and method for performing vessel and port monitoring based on an image.

최근 선박의 운항 및 항만 내에서의 접안, 이안에 있어 많은 사고가 발생하고 있다. 주로 접안 시, 선박 주변이나 항만 내의 상황을 영상을 통해서 정확하게 확인하지 못하는 점에 의해 발생하는 사고가 많다. In recent years, many accidents have occurred in the operation of ships and berthing and berthing in ports. Most of the accidents are caused by the inability to accurately check the situation around the ship or in the port through video when berthing.

이에 종래에는 ECDIS, radar 등의 다양한 종류의 센서를 이용해 접안을 지원하고 있으나, ECDIS의 경우 GPS의 부정확성, AIS의 업데이트 주기 및 AIS 미등록 이동체 등으로 인한 한계가 존재하고, radar의 경우 비탐색영역의 존재 및 노이즈로 인한 한계가 존재한다. In the past, various types of sensors such as ECDIS and radar are used to support berthing, but in the case of ECDIS, there are limitations due to GPS inaccuracy, AIS update cycle, and AIS unregistered moving objects. There are limitations due to presence and noise.

따라서, 실질적으로 접안 시 선박 주변이나 항만 내의 상황을 영상을 통해 모니터링 하는 기술에 대한 기술 개발이 필요한 실정이다.Therefore, there is a need to develop a technology for actually monitoring the situation around a ship or in a port through an image when berthing.

본 명세서의 해결하고자 하는 일 과제는, 선박 주변 및 항만을 모니터링하기 위한 선박 및 항만 모니터링 장치 및 방법을 제공하는 것에 있다.One problem to be solved by the present specification is to provide an apparatus and method for monitoring a vessel and a port for monitoring a port around a vessel and a port.

본 명세서의 해결하고자 하는 다른 일 과제는, 이미지에 기초하여 선박의 접안을 보조하고, 선박의 충돌을 방지하는 선박 및 항만 모니터링 장치 및 방법을 제공하는 것에 있다.Another object to be solved by the present specification is to assist the berthing of the vessel based on the image, and to provide a vessel and port monitoring apparatus and method for preventing the collision of the vessel.

본 명세서의 해결하고자 하는 다른 일 과제는 이미지 세그멘테이션을 이용하는 선박 및 항만 모니터링 장치 및 방법을 제공하는 것이다.Another object to be solved by the present specification is to provide a vessel and port monitoring apparatus and method using image segmentation.

본 명세서가 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present specification is not limited to the above-mentioned problems, and the problems not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the present specification and the accompanying drawings. .

본 명세서의 일 양상에 따르면, 컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법으로, 항만에 설치되어 이미지를 촬상하는 카메라를 이용하여 바다 및 선박을 포함하는 항만 이미지를 획득하는 단계, 상기 항만 이미지로부터 상기 선박이 해수면과 접하는 밑면의 양 단부에 대응하는 한 쌍의 제1 포인트들 및 상기 선박의 선수 및 선미에 대응하는 한 쌍의 제2 포인트들을 추출하는 단계, 상기 한 쌍의 제1 포인트들에 기초하여 상기 선박의 선수와 안벽 사이의 거리인 선수 거리 및 상기 선박의 선미와 안벽 사이의 거리인 선미 거리를 포함하는 상기 선박의 접안 관련 정보를 획득하는 단계 및 상기 한 쌍의 제2 포인트들에 기초하여 상기 선박의 다른 선박과의 거리를 포함하는 상기 선박의 충돌 관련 정보를 획득하는 단계를 포함하고, 상기 충돌 관련 정보를 획득하는 단계는 상기 항만 이미지에 다른 선박이 포함된 경우 상기 한 쌍의 제2 포인트들 중 상기 다른 선박과 더 가까운 상기 하나의 제2 포인트에 기초하여 상기 선박과 상기 다른 선박 사이의 거리를 획득하는 단계를 포함하는 항만 모니터링 방법이 제공될 수 있다.According to an aspect of the present specification, as a port monitoring method performed by a computing means, acquiring an image of a port including the sea and a vessel using a camera installed in the port to capture an image, the vessel from the port image Extracting a pair of first points corresponding to both ends of the bottom surface in contact with the sea level and a pair of second points corresponding to the bow and stern of the ship, based on the pair of first points Acquiring berthing-related information of the vessel including a bow distance that is a distance between the bow of the vessel and a quay wall and a stern distance that is a distance between the stern and a quay wall of the vessel and the pair of second points and obtaining collision-related information of the vessel including a distance of the vessel to another vessel, wherein the obtaining of the collision-related information includes the pair of second vessels when the other vessel is included in the port image. A port monitoring method may be provided, comprising obtaining a distance between the vessel and the other vessel based on the second one of the points that is closer to the other vessel.

또한 본 명세서의 다른 일 양상에 따르면, 컴퓨팅 수단에 의해 수행되는 선박의 항만 모니터링 방법으로, 항만에 설치되어 이미지를 촬상하는 카메라를 이용하여 바다 및 선박을 포함하는 항만 이미지를 획득하는 단계, 입력 이미지 및 상기 입력 이미지에 포함된 바다, 선박 및 지형지물을 포함하는 오브젝트들에 해당하는 픽셀에 각각 바다, 선박 및 지형지물을 지시하는 클래스 값들을 라벨링한 러닝셋을 이용하여 학습된 인공 신경망을 이용하여 상기 항만 이미지로부터 상기 오브젝트들에 대한 세그멘테이션 이미지를 생성하는 단계, 상기 세그멘테이션 이미지의 선박을 지시하는 클래스 값이 할당된 선박의 영역이 해수면과 접하는 밑면의 양 단부에 대응하는 한 쌍의 제1 포인트들을 추출하는 단계 및 상기 한 쌍의 제1 포인트들에 기초하여 상기 선박의 선수와 안벽(pier) 사이의 거리인 선수 거리 및 상기 선박의 선미와 안벽 사이의 거리인 선미 거리를 포함하는 상기 선박의 접안 관련 정보를 획득하는 단계를 포함하고 상기 선박의 접안 관련 정보를 획득하는 단계는 상기 한 쌍의 제1 포인트들 중 하나의 제1 포인트에 기초하여 상기 선박의 상기 선수 거리를 획득하는 단계 및 상기 한 쌍의 제1 포인트들 중 다른 하나의 제1 포인트에 기초하여 상기 선박의 상기 선미 거리를 획득하는 단계를 포함하는 항만 모니터링 방법이 제공될 수 있다.In addition, according to another aspect of the present specification, as a method of monitoring a port of a vessel performed by a computing means, using a camera installed in a port to capture an image, acquiring an image of a port including the sea and a vessel, an input image and using an artificial neural network learned using a learning set in which class values indicating the sea, vessel, and feature, respectively, are labeled in pixels corresponding to objects including the sea, ship, and feature included in the input image. generating a segmentation image for the objects from the harbor image; a pair of first points corresponding to both ends of the bottom surface in which the region of the vessel assigned a class value indicating the vessel of the segmentation image is in contact with the sea level The berthing of the ship including a bow distance that is a distance between a bow of the ship and a pier and a stern distance that is a distance between the stern and a quay wall of the ship based on the step of extracting and the pair of first points acquiring relevant information, wherein acquiring the berthing-related information of the vessel includes: acquiring the bow distance of the vessel based on a first point of one of the pair of first points; A port monitoring method may be provided, comprising obtaining the stern distance of the vessel based on a first point of the other of the first points of a pair.

또한 본 명세서의 다른 일 양상에 따르면 항만에 설치되어 이미지를 촬상하는 카메라, 상기 카메라가 촬상한 바다 및 선박을 포함하는 항만 이미지를 획득하고, 상기 항만 이미지로부터 상기 선박이 해수면과 접하는 밑면의 양 단부에 대응하는 한 쌍의 제1 포인트들 및 상기 선박의 선수 및 선미에 대응하는 한 쌍의 제2 포인트들을 추출하고, 상기 한 쌍의 제1 포인트들에 기초하여 상기 선박의 선수와 안벽(pier) 사이의 거리인 선수 거리 및 상기 선박의 선미와 안벽 사이의 거리인 선미 거리를 포함하는 상기 선박의 접안 관련 정보를 획득하고, 상기 한 쌍의 제2 포인트들에 기초하여 상기 선박과 다른 선박 사이의 거리를 포함하는 상기 선박의 충돌 관련 정보를 획득 - 상기 충돌 관련 정보의 획득은 상기 항만 이미지에 다른 선박이 포함된 경우 상기 한 쌍의 제2 포인트들 중 상기 다른 선박과 더 가까운 상기 하나의 제2 포인트에 기초하여 상기 선박과 상기 다른 선박 사이의 거리를 획득하는 것을 포함함 - 하는 제어 모듈 및 상기 접안 관련 정보 및/또는 상기 충돌 관련 정보를 원격 위치한 단말기에 전송하는 통신 모듈을 포함하는 항만 모니터링 장치가 제공될 수 있다.In addition, according to another aspect of the present specification, a camera installed in a harbor to capture an image, a harbor image including the sea and a vessel captured by the camera is obtained, and both ends of the bottom surface of the vessel in contact with the sea level from the harbor image A pair of first points corresponding to and a pair of second points corresponding to the bow and stern of the ship are extracted, and based on the pair of first points, the bow and pier of the ship Acquire berthing-related information of the vessel including a bow distance that is a distance between the vessel and a stern distance that is a distance between the stern and a quay wall of the vessel, and based on the pair of second points, the distance between the vessel and another vessel Acquire the collision related information of the vessel including the distance - The acquisition of the collision related information is the second one of the pair of second points closer to the other vessel when the other vessel is included in the port image A port monitoring device comprising: a control module comprising obtaining a distance between the vessel and the other vessel based on a point; and a communication module transmitting the berthing-related information and/or the collision-related information to a terminal located remotely may be provided.

본 명세서의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The solutions of the problems of the present specification are not limited to the above-described solutions, and solutions not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the present specification and the accompanying drawings. will be able

본 명세서의 일 실시예에 의하면, 선박 및 항만 모니터링 장치 및 방법을 이용하여 선박 주변 및 항만을 모니터링할 수 있다.According to an embodiment of the present specification, a vessel and a port may be monitored using a vessel and port monitoring apparatus and method.

본 명세서의 일 실시예에 의하면, 이미지에 기초하여 접안 시 선박의 접안을 보조하고, 선박의 충돌을 방지할 수 있다. According to an embodiment of the present specification, it is possible to assist the berthing of the vessel when berthing based on the image, and to prevent the collision of the vessel.

본 명세서의 일 실시예에 의하면, 이미지 세그멘테이션을 이용하여 선박에 대한 정보를 정확하게 산출함으로써 선박 및 항만 모니터링을 수행할 수 있다. According to an embodiment of the present specification, ship and port monitoring can be performed by accurately calculating information about a ship using image segmentation.

본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.The effects of the present invention are not limited to the above-mentioned effects, and the effects not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the present specification and the accompanying drawings.

도 1은 일 실시예에 따른 이미지 기반 모니터링에 관한 도면이다.
도 2는 일 실시예에 따른 항만 모니터링 장치에 관한 도면이다.
도 3 및 도 4는 일 실시예에 따른 항만 모니터링 장치의 실시예에 관한 도면이다.
도 5는 일 실시예에 따른 시야각 및 피사계 심도에 관한 도면이다.
도 6 및 도 7은 일 실시예에 따른 센서 모듈의 설치 위치에 관한 도면이다.
도 8은 일 실시예에 따른 이미지 분석에 관한 도면이다.
도 9 내지 도 11은 일 실시예에 따른 오브젝트 인식 단계에 관한 도면이다.
도 12 및 도 13은 일 실시예에 따른 인공 신경망의 학습 단계 및 추론 단계에 관한 도면이다.
도 14 및 도 15는 일 실시예에 따른 오브젝트의 위치/이동 정보 추정에 관한 도면이다.
도 16은 일 실시예에 따른 항만 모니터링의 순서도이다.
도 17은 일 실시예에 따른 접안 모니터링 및 충돌 모니터링에 관한 순서도이다.
도 18은 일 실시예에 따른 접안 관련 정보의 획득을 위한 포인트 추출의 일 예에 관한 도면이다.
도 19는 일 실시예에 따른 접안 관련 정보의 획득을 위한 포인트 추출의 다른 예에 관한 도면이다.
도 20은 일 실시예에 따른 충돌 관련 정보의 획득을 위한 포인트 추출의 일 예에 관한 도면이다.
도 21은 일 실시예에 따른 충돌 관련 정보의 획득을 위한 포인트 추출의 다른 예에 관한 도면이다.
도 22는 일 실시예에 따른 항만 모니터링을 위한 포인트들의 추출의 일 예에 관한 도면이다.
도 23은 일 실시예에 따른 접안 관련 정보 획득의 일 예에 관한 도면이다.
도 24는 일 실시예에 따른 충돌 관련 정보 획득의 일 예에 관한 도면이다.
도 25는 일 실시예에 따른 충돌 관련 정보 획득의 다른 예에 관한 도면이다.
도 26 및 도 27은 일 실시예에 따른 선박의 선수/선미 구별에 관한 도면이다.
도 28 및 도 29는 일 실시예에 따른 시점 변환에 관한 도면이다.
도 30은 일 실시예에 따른 복수의 이미지에 기초한 이미지 기반 모니터링에 관한 도면이다.
도 31은 일 실시예에 따른 이미지 융합에 관한 도면이다.
도 32는 일 실시예에 따른 RGB 이미지의 위치/이동 정보 보정에 관한 도면이다.
도 33은 일 실시예에 따른 라이다 이미지에 기초한 위치/이동 정보 보정에 관한 순서도이다.
1 is a diagram of image-based monitoring according to an embodiment.
2 is a view of a port monitoring apparatus according to an embodiment.
3 and 4 are diagrams related to an embodiment of a port monitoring apparatus according to an embodiment.
5 is a diagram illustrating a viewing angle and a depth of field according to an exemplary embodiment.
6 and 7 are views of an installation position of a sensor module according to an embodiment.
8 is a diagram related to image analysis according to an exemplary embodiment.
9 to 11 are diagrams of an object recognition step according to an exemplary embodiment.
12 and 13 are diagrams of a learning step and an inference step of an artificial neural network according to an embodiment.
14 and 15 are diagrams for estimating position/movement information of an object according to an embodiment.
16 is a flowchart of port monitoring according to an embodiment.
17 is a flowchart related to berthing monitoring and collision monitoring according to an embodiment.
18 is a diagram related to an example of point extraction for obtaining eyepiece-related information according to an embodiment.
19 is a diagram related to another example of point extraction for obtaining eyepiece-related information according to an embodiment.
20 is a diagram illustrating an example of point extraction for obtaining collision-related information according to an embodiment.
21 is a diagram illustrating another example of point extraction for obtaining collision-related information according to an embodiment.
22 is a diagram related to an example of extraction of points for port monitoring according to an embodiment.
23 is a diagram related to an example of obtaining eyepiece-related information according to an embodiment.
24 is a diagram illustrating an example of obtaining collision-related information according to an embodiment.
25 is a diagram illustrating another example of obtaining collision-related information according to an embodiment.
26 and 27 are views related to the distinction between the bow / stern of the ship according to an embodiment.
28 and 29 are diagrams for view transformation according to an embodiment.
30 is a diagram of image-based monitoring based on a plurality of images according to an embodiment.
31 is a diagram of image fusion according to an embodiment.
32 is a diagram for correcting position/movement information of an RGB image according to an exemplary embodiment.
33 is a flowchart for correcting position/movement information based on a lidar image according to an exemplary embodiment.

본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 의해 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.The embodiments described in this specification are for clearly explaining the spirit of the present invention to those of ordinary skill in the art to which the present invention belongs, so the present invention is not limited by the embodiments described in this specification, and the present invention It should be construed as including modifications or variations that do not depart from the spirit of the present invention.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.The terms used in the present specification are selected as widely used general terms as possible in consideration of the functions in the present invention, but they may vary depending on the intention, custom, or emergence of new technology of those of ordinary skill in the art to which the present invention belongs. can However, if a specific term is defined and used with an arbitrary meaning, the meaning of the term will be separately described. Therefore, the terms used in this specification should be interpreted based on the actual meaning of the terms and the contents of the entire specification, rather than the names of simple terms.

본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.The drawings attached to this specification are for easy explanation of the present invention, and the shapes shown in the drawings may be exaggerated as necessary to help understand the present invention, so the present invention is not limited by the drawings.

본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.In the present specification, when it is determined that a detailed description of a known configuration or function related to the present invention may obscure the gist of the present invention, a detailed description thereof will be omitted if necessary.

본 명세서에서 사용되는 '항만 이미지' 라는 용어는 항만과 관련된 이미지로 이해될 수 있으며, 예를 들어, 항만 이미지는 항만에 설치된 카메라를 통해 촬상된 이미지, 항만의 적어도 일부가 포함된 이미지 등을 포함할 수 있다. As used herein, the term 'port image' may be understood as an image related to a port, for example, a port image includes an image captured by a camera installed in a port, an image including at least a part of the port, and the like. can do.

본 명세서의 일 양상에 따르면, 컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법으로, 항만에 설치되어 이미지를 촬상하는 카메라를 이용하여 바다 및 선박을 포함하는 항만 이미지를 획득하는 단계; 상기 항만 이미지로부터 상기 선박이 해수면과 접하는 밑면의 양 단부에 대응하는 한 쌍의 제1 포인트들 및 상기 선박의 선수 및 선미에 대응하는 한 쌍의 제2 포인트들을 추출하는 단계; 상기 한 쌍의 제1 포인트들에 기초하여 상기 선박의 선수와 안벽(pier) 사이의 거리인 선수 거리 및 상기 선박의 선미와 안벽 사이의 거리인 선미 거리를 포함하는 상기 선박의 접안 관련 정보를 획득하는 단계; 및 상기 한 쌍의 제2 포인트들에 기초하여 상기 선박의 다른 선박과의 거리를 포함하는 상기 선박의 충돌 관련 정보를 획득하는 단계; 를 포함하고, 상기 충돌 관련 정보를 획득하는 단계는, 상기 항만 이미지에 다른 선박이 포함된 경우 상기 한 쌍의 제2 포인트들 중 상기 다른 선박과 더 가까운 상기 하나의 제2 포인트에 기초하여 상기 선박과 상기 다른 선박 사이의 거리를 획득하는 단계를 포함하는 항만 모니터링 방법이 제공될 수 있다.According to an aspect of the present specification, a method of monitoring a port performed by a computing means, comprising: acquiring an image of a port including the sea and a ship using a camera installed in a port to capture an image; extracting a pair of first points corresponding to both ends of the bottom surface of the ship in contact with the sea level and a pair of second points corresponding to the bow and stern of the ship from the harbor image; Based on the pair of first points, obtaining berthing-related information of the vessel including a bow distance that is a distance between the bow of the vessel and a pier and a stern distance that is a distance between the stern and a quay wall of the vessel to do; and obtaining collision related information of the vessel including a distance of the vessel to another vessel based on the pair of second points; Including, wherein the obtaining of the collision-related information comprises: when another vessel is included in the port image, the vessel based on the one second point that is closer to the other vessel among the pair of second points A port monitoring method comprising obtaining a distance between and the other vessel may be provided.

여기서, 상기 추출하는 단계는 상기 항만 이미지로부터 상기 선박에 대응하는 영역을 획득하는 단계, 상기 선박에 대응하는 영역이 상기 해수면과 접하는 선을 추출하는 단계 및 상기 해수면과 접하는 선의 양 단부를 한 쌍의 제1 포인트들로 결정하는 단계를 포함할 수 있다.Here, the extracting includes: obtaining an area corresponding to the ship from the harbor image; extracting a line in which the area corresponding to the ship is in contact with the sea level; and both ends of the line in contact with the sea level are a pair of It may include determining the first points.

여기서, 상기 추출하는 단계는 상기 항만 이미지로부터 상기 선박에 대응하는 영역을 획득하는 단계, 상기 선박에 대응하는 영역에서 상기 선박의 선수측면에 대응하는 선수선 및 선미측면에 대응하는 선미선을 추출하는 단계 및 상기 선수선의 하나의 단부 및 상기 선미선의 하나의 단부를 한 쌍의 제2 포인트들로 결정하는 단계를 포함할 수 있다.Here, the step of extracting is obtaining a region corresponding to the vessel from the harbor image, and extracting a bow vessel corresponding to the bow side of the vessel and a stern vessel corresponding to the stern side in the region corresponding to the vessel. and determining one end of the bow line and one end of the stern line as a pair of second points.

여기서, 상기 추출하는 단계는 상기 선박의 경계를 표시하는 경계 다각형을 결정하는 단계 및 상기 결정된 경계 다각형에 기초하여 상기 한 쌍의 제1 포인트들 및 상기 한 쌍의 제2 포인트들을 추출하는 단계를 포함할 수 있다.Here, the extracting includes determining a boundary polygon indicating the boundary of the vessel and extracting the pair of first points and the pair of second points based on the determined boundary polygon. can do.

여기서, 상기 한 쌍의 제1 포인트들은 상기 경계 다각형의 상기 선박의 하부에 대응하는 복수의 포인트 중 두 개의 포인트로 결정될 수 있다.Here, the pair of first points may be determined as two points among a plurality of points corresponding to the lower portion of the vessel of the boundary polygon.

여기서, 상기 한 쌍의 제1 포인트들은 상기 경계 다각형의 상기 선박의 선수단부 및 선미단부에 대응하는 두 개의 포인트 각각과 가장 인접한 두 개의 포인트로 결정될 수 있다.Here, the pair of first points may be determined as two points closest to each of the two points corresponding to the front end and the stern end of the vessel of the boundary polygon.

여기서, 상기 접안 관련 정보를 획득하는 단계는 상기 한 쌍의 제1 포인트들 중 하나의 제1 포인트에 기초하여 상기 선수 거리를 획득하는 단계 및 상기 한 쌍의 제1 포인트들 중 다른 하나의 제1 포인트에 기초하여 상기 선미 거리를 획득하는 단계를 포함할 수 있다.Here, the step of obtaining the eyepiece-related information includes obtaining the bow distance based on a first point of one of the pair of first points and a first of the other one of the pair of first points. It may include obtaining the stern distance based on the point.

여기서, 상기 선수 거리를 획득하는 단계는 상기 하나의 제1 포인트와 상기 안벽 사이의 상기 항만 이미지의 픽셀 개수에 기초하여 상기 선수 거리를 산출하는 단계를 포함하고, 상기 선미 거리를 획득하는 단계는 상기 다른 하나의 제1 포인트와 상기 안벽 사이의 상기 항만 이미지의 픽셀 개수에 기초하여 상기 선미 거리를 산출하는 단계를 포함할 수 있다.Here, the step of obtaining the bow distance includes calculating the bow distance based on the number of pixels of the harbor image between the one first point and the quay wall, and the step of obtaining the stern distance is the It may include calculating the stern distance based on the number of pixels of the harbor image between the other first point and the quay wall.

여기서, 상기 접안 관련 정보를 획득하는 단계는 상기 선수 거리에 기초하여 상기 선박의 선수가 상기 안벽으로 접근하는 속도인 선수 속도를 획득하는 단계 및 상기 선미 거리에 기초하여 상기 선박의 선미가 상기 안벽으로 접근하는 속도인 선미 속도를 획득하는 단계를 포함할 수 있다.Here, the step of obtaining the berthing-related information is based on the bow distance, obtaining a bow speed, which is the speed at which the bow of the ship approaches the quay wall, and the stern of the ship based on the stern distance to the quay wall. It may include obtaining a stern speed, which is an approaching speed.

여기서, 상기 선수 속도를 획득하는 단계는 상기 항만 이미지의 제1 선수 거리 및 상기 항만 이미지의 후속 프레임 이미지의 제2 선수 거리를 비교하여 상기 선수 속도를 획득하는 단계를 포함하고, 상기 선미 속도를 획득하는 단계는 상기 항만 이미지의 제1 선미 거리 및 상기 후속 프레임 이미지의 제2 선미 거리를 비교하여 상기 선미 속도를 획득하는 단계를 포함할 수 있다.Here, the step of obtaining the bow speed comprises obtaining the bow speed by comparing a first bow distance of the harbor image and a second bow distance of a subsequent frame image of the harbor image, and obtaining the stern speed The doing may include obtaining the stern speed by comparing the first stern distance of the harbor image and the second stern distance of the subsequent frame image.

여기서, 상기 선수 속도를 획득하는 단계는 상기 항만 이미지와 상기 후속 프레임 이미지 간의 시간 간격 및 상기 제1 및 제2 선수 거리의 픽셀 개수의 차이에 기초하여 상기 선수 속도를 산출하는 단계를 포함하고, 상기 선미 속도를 획득하는 단계는 상기 시간 간격 및 상기 제1 및 제2 선미 거리의 픽셀 개수의 차이에 기초하여 상기 선미 속도를 산출하는 단계를 포함할 수 있다.Here, the step of obtaining the bow speed includes calculating the bow speed based on a time interval between the harbor image and the subsequent frame image and the difference in the number of pixels of the first and second bow distances, Obtaining the stern velocity may include calculating the stern velocity based on a difference between the time interval and the number of pixels of the first and second stern distances.

여기서, 상기 한 쌍의 제2 포인트들은 상기 경계 다각형의 상기 선박의 선수에 대응하는 복수의 선수 포인트 중 하나의 포인트 및 상기 경계 다각형의 상기 선박의 선미에 대응하는 복수의 선미 포인트 중 하나의 포인트로 결정될 수 있다.Here, the pair of second points are one of a plurality of bow points corresponding to the bow of the vessel of the boundary polygon and one point of a plurality of stern points corresponding to the stern of the vessel of the boundary polygon. can be decided.

여기서, 상기 한 쌍의 제2 포인트들은 상기 선수 포인트들 중 선수단부에 대응하는 하나의 포인트 및 상기 선미 포인트들 중 선미단부에 대응하는 하나의 포인트로 결정될 수 있다.Here, the pair of second points may be determined as one point corresponding to the fore end of the bow points and one point corresponding to the aft end of the stern points.

여기서, 상기 충돌 관련 정보를 획득하는 단계는 상기 하나의 제2 포인트와 상기 다른 선박 사이의 상기 항만 이미지의 픽셀 개수에 기초하여 상기 선박과 상기 다른 선박 사이의 거리를 산출하는 단계를 포함할 수 있다.Here, the obtaining of the collision-related information may include calculating a distance between the vessel and the other vessel based on the number of pixels in the port image between the one second point and the other vessel. .

여기서, 상기 충돌 관련 정보를 획득하는 단계는 상기 선박과 상기 다른 선박 사이의 거리에 기초하여 상기 선박과 상기 다른 선박 사이의 상대속도를 획득하는 단계를 포함할 수 있다.Here, the acquiring of the collision-related information may include acquiring a relative speed between the vessel and the other vessel based on a distance between the vessel and the other vessel.

여기서, 상기 상대속도를 획득하는 단계는 상기 항만 이미지의 상기 선박과 상기 다른 선박 사이의 제1 거리 및 상기 항만 이미지의 후속 프레임 이미지의 상기 선박과 상기 다른 선박 사이의 제2 거리를 비교하여 상기 상대속도를 획득하는 단계를 포함할 수 있다.Here, the step of obtaining the relative speed may include comparing a first distance between the vessel and the other vessel in the harbor image and a second distance between the vessel and the other vessel in a subsequent frame image of the harbor image to determine the relative speed. It may include obtaining the speed.

여기서, 상기 상대속도를 획득하는 단계는 상기 항만 이미지와 상기 후속 프레임 이미지 간의 시간 간격 및 상기 제1 거리 및 상기 제2 거리의 픽셀 개수의 차이에 기초하여 상기 상대속도를 산출하는 단계를 포함할 수 있다.Here, the step of obtaining the relative speed may include calculating the relative speed based on a time interval between the harbor image and the subsequent frame image and a difference between the number of pixels at the first distance and the second distance. have.

여기서, 상기 충돌 관련 정보를 획득하는 단계는 상기 하나의 제2 포인트가 상기 선박이 해수면과 접하는 상기 밑면과 수직하게 접하는 위치의 제3 포인트를 추출하는 단계 및 상기 제3 포인트와 상기 다른 선박 사이의 이미지 픽셀 개수에 기초하여 상기 선박과 상기 다른 선박 사이의 거리를 산출하는 단계를 포함할 수 있다.Here, the step of obtaining the collision-related information may include extracting a third point at a position where the one second point is in contact with the bottom surface where the ship is in contact with the sea level, and between the third point and the other ship. The method may include calculating a distance between the vessel and the other vessel based on the number of image pixels.

여기서, 상기 한 쌍의 제1 포인트들 및 상기 한 쌍의 제2 포인트들은 상기 경계 다각형의 일부에 기초하여 결정될 수 있다.Here, the pair of first points and the pair of second points may be determined based on a part of the boundary polygon.

여기서, 상기 한 쌍의 제1 포인트들 및 한 쌍의 제2 포인트들을 추출하는 단계는 상기 항만 이미지의 시점을 변환하여 시점 변환 항만 이미지를 생성하는 단계 및 상기 시점 변환 항만 이미지에 기초하여 상기 한 쌍의 제1 포인트들 및 한 쌍의 제2 포인트들을 추출하는 단계를 포함할 수 있다.Here, the step of extracting the pair of first points and the pair of second points includes generating a viewpoint transformed harbor image by converting the viewpoint of the harbor image and the pair of viewpoint transformation harbor images based on the image. It may include extracting the first points of and a pair of second points.

여기서, 상기 한 쌍의 제1 포인트들 및 상기 한 쌍의 제2 포인트들을 추출하는 단계는 입력 이미지 및 상기 입력 이미지에 포함된 바다, 선박 및 지형지물을 포함하는 오브젝트들에 해당하는 픽셀에 각각 바다, 선박 및 지형지물을 지시하는 클래스 값들을 라벨링한 러닝셋을 이용하여 학습된 인공 신경망을 이용하여 상기 항만 이미지로부터 상기 오브젝트들에 대한 세그멘테이션 이미지를 생성하는 단계 및 상기 세그멘테이션 이미지로부터 상기 한 쌍의 제1 포인트들 및 상기 한 쌍의 제2 포인트들을 추출하는 단계를 포함할 수 있다.Here, in the step of extracting the pair of first points and the pair of second points, the pixels corresponding to the input image and the objects including the sea, the ship, and the features included in the input image are sea, respectively. , generating segmentation images for the objects from the harbor image using an artificial neural network trained using a running set that labels class values indicating ships and features, and the pair of second images from the segmentation image It may include extracting 1 points and the pair of second points.

여기서, 상기 항만 모니터링 방법은 상기 항만 이미지와 대응하는 라이다 이미지를 획득하는 단계; 및 획득한 상기 라이다 이미지에 기초하여 상기 접안 관련 정보 및/또는 상기 충돌 관련 정보를 보정하는 단계를 더 포함할 수 있다.Here, the harbor monitoring method includes: acquiring a lidar image corresponding to the harbor image; and correcting the eyepiece-related information and/or the collision-related information based on the acquired lidar image.

여기서, 상기 항만 이미지는 복수의 항만 이미지가 정합된 파노라마 이미지를 포함할 수 있다.Here, the harbor image may include a panoramic image in which a plurality of harbor images are registered.

여기서, 상기 항만 모니터링 방법은 상기 접안 관련 정보 및/또는 상기 충돌 관련 정보를 상기 항만 이미지와 함께 출력하는 단계; 를 더 포함할 수 있다.Here, the port monitoring method comprises: outputting the berthing-related information and/or the collision-related information together with the port image; may further include.

여기서, 상기 항만 모니터링 방법은 상기 항만 이미지에 기초하여 상기 선박의 상기 선수 및 상기 선미를 결정하는 단계; 를 더 포함할 수 있다.Here, the port monitoring method comprises: determining the bow and the stern of the vessel based on the harbor image; may further include.

또한 본 명세어의 다른 일 양상에 따르면 컴퓨팅 수단에 의해 수행되는 선박의 항만 모니터링 방법으로, 항만에 설치되어 이미지를 촬상하는 카메라를 이용하여 바다 및 선박을 포함하는 항만 이미지를 획득하는 단계; 입력 이미지 및 상기 입력 이미지에 포함된 바다, 선박 및 지형지물을 포함하는 오브젝트들에 해당하는 픽셀에 각각 바다, 선박 및 지형지물을 지시하는 클래스 값들을 라벨링한 러닝셋을 이용하여 학습된 인공 신경망을 이용하여 상기 항만 이미지로부터 상기 오브젝트들에 대한 세그멘테이션 이미지를 생성하는 단계; 상기 세그멘테이션 이미지의 선박을 지시하는 클래스 값이 할당된 선박의 영역이 해수면과 접하는 밑면의 양 단부에 대응하는 한 쌍의 제1 포인트들을 추출하는 단계; 및 상기 한 쌍의 제1 포인트들에 기초하여 상기 선박의 선수와 안벽(pier) 사이의 거리인 선수 거리 및 상기 선박의 선미와 안벽 사이의 거리인 선미 거리를 포함하는 상기 선박의 접안 관련 정보를 획득하는 단계; 를 포함하고 상기 선박의 접안 관련 정보를 획득하는 단계는 상기 한 쌍의 제1 포인트들 중 하나의 제1 포인트에 기초하여 상기 선박의 상기 선수 거리를 획득하는 단계 및 상기 한 쌍의 제1 포인트들 중 다른 하나의 제1 포인트에 기초하여 상기 선박의 상기 선미 거리를 획득하는 단계를 포함하는 항만 모니터링 방법이 제공될 수 있다.In addition, according to another aspect of the present specification, a port monitoring method of a vessel performed by a computing means, comprising: acquiring an image of a port including the sea and a vessel using a camera installed in the port to capture an image; An artificial neural network learned using a learning set in which the input image and the pixels corresponding to the objects including the sea, the ship, and the feature included in the input image are labeled with class values indicating the sea, the ship, and the feature, respectively. generating segmentation images for the objects from the harbor image using; extracting a pair of first points corresponding to both ends of the bottom surface of the vessel to which the class value indicating the vessel of the segmentation image is assigned is in contact with the sea level; And based on the pair of first points, berthing-related information of the vessel including a bow distance, which is a distance between the bow of the vessel and a pier, and a stern distance, which is a distance between the stern and a quay wall, of the vessel obtaining; and acquiring the berthing-related information of the vessel includes: acquiring the bow distance of the vessel based on a first point of one of the pair of first points; and the pair of first points There may be provided a port monitoring method comprising the step of obtaining the stern distance of the vessel based on the first point of the other.

여기서, 상기 항만 모니터링 방법은 상기 선박의 선수 및 선미에 대응하는 한 쌍의 제2 포인트들을 추출하는 단계; 및 상기 한 쌍의 제2 포인트들에 기초하여 상기 선박과 다른 선박 사이의 거리를 포함하는 상기 선박의 충돌 관련 정보를 획득하는 단계; 를 더 포함하고, 상기 충돌 관련 정보를 획득하는 단계는 상기 항만 이미지에 다른 선박이 포함된 경우 상기 한 쌍의 제2 포인트들 중 상기 다른 선박과 더 가까운 상기 하나의 제2 포인트에 기초하여 상기 선박과 상기 다른 선박 사이의 거리를 획득하는 단계를 포함할 수 있다.Here, the port monitoring method comprises the steps of extracting a pair of second points corresponding to the bow and stern of the ship; and obtaining collision-related information of the vessel including a distance between the vessel and another vessel based on the pair of second points; The method further includes, wherein the obtaining of the collision-related information comprises: when another vessel is included in the port image, the vessel based on the one second point that is closer to the other vessel among the pair of second points and obtaining a distance between the other vessel.

또 상술한 방법을 실행시키기 위한 프로그램을 기록한 기록매체가 제공될 수 있다.In addition, a recording medium in which a program for executing the above-described method is recorded may be provided.

또한 본 명세서의 다른 일 양상에 따르면 항만에 설치되어 이미지를 촬상하는 카메라; 상기 카메라가 촬상한 바다 및 선박을 포함하는 항만 이미지를 획득하고, 상기 항만 이미지로부터 상기 선박이 해수면과 접하는 밑면의 양 단부에 대응하는 한 쌍의 제1 포인트들 및 상기 선박의 선수 및 선미에 대응하는 한 쌍의 제2 포인트들을 추출하고, 상기 한 쌍의 제1 포인트들에 기초하여 상기 선박의 선수와 안벽(pier) 사이의 거리인 선수 거리 및 상기 선박의 선미와 안벽 사이의 거리인 선미 거리를 포함하는 상기 선박의 접안 관련 정보를 획득하고, 상기 한 쌍의 제2 포인트들에 기초하여 상기 선박과 다른 선박 사이의 거리를 포함하는 상기 선박의 충돌 관련 정보를 획득 - 상기 충돌 관련 정보의 획득은 상기 항만 이미지에 다른 선박이 포함된 경우 상기 한 쌍의 제2 포인트들 중 상기 다른 선박과 더 가까운 상기 하나의 제2 포인트에 기초하여 상기 선박과 상기 다른 선박 사이의 거리를 획득하는 것을 포함함 - 하는 제어 모듈; 및 상기 접안 관련 정보 및/또는 상기 충돌 관련 정보를 원격 위치한 단말기에 전송하는 통신 모듈; 을 포함하는 항만 모니터링 장치가 제공될 수 있다.In addition, according to another aspect of the present specification, a camera is installed in the harbor to take an image; A port image including the sea and the vessel captured by the camera is acquired, and from the port image, the vessel corresponds to a pair of first points corresponding to both ends of the bottom surface in contact with the sea level and the bow and stern of the vessel extracting a pair of second points, and based on the pair of first points, a bow distance that is a distance between the bow of the ship and a pier and a stern distance that is a distance between the stern and a quay wall of the ship Acquire berthing-related information of the vessel including, and obtain collision-related information of the vessel including the distance between the vessel and another vessel based on the pair of second points - Acquisition of the collision-related information includes obtaining a distance between the vessel and the other vessel based on the one second point that is closer to the other vessel among the pair of second points when another vessel is included in the port image - which control module; and a communication module for transmitting the berthing-related information and/or the collision-related information to a terminal located remotely. A port monitoring device comprising a may be provided.

이하에서는 일 실시예에 따른 선박 및 항만 모니터링 장치 및 방법에 대하여 설명한다.Hereinafter, a vessel and port monitoring apparatus and method according to an embodiment will be described.

본 명세서에서 모니터링이란 주변 상황을 파악하거나 인식하는 것으로, 일정 영역이나 특정 오브젝트 등 감지 대상을 각종 센서를 이용하여 감지하고 그 감지 결과를 사용자에게 제공하는 것뿐만 아니라 감지 결과를 바탕으로 연산 등을 통해 추가적인 정보를 제공하는 것 등을 포함하도록 넓게 해석되어야 한다.In this specification, monitoring refers to grasping or recognizing the surrounding situation, detecting a detection target such as a certain area or a specific object using various sensors and providing the detection result to the user, as well as through calculation based on the detection result. It should be construed broadly to include, for example, providing additional information.

이미지 기반 모니터링이란 이미지에 기초하여 주변 상황을 파악하거나 인식하는 것을 의미할 수 있다. 예를 들어, 모니터링은 선박의 운항 시 선박 주변 이미지를 획득하여 이로부터 다른 선박이나 장애물 등을 인식하거나, 선박의 접안 또는 이안 시 접안 가이드 정보를 산출하기 위한 정보를 획득하는 것을 의미할 수 있다. Image-based monitoring may mean identifying or recognizing a surrounding situation based on an image. For example, monitoring may mean acquiring information for calculating berthing guide information during berthing or berthing of a ship or recognizing other ships or obstacles therefrom by acquiring images around the ship when the ship is operating.

접안 가이드 정보란 다른 선박이나 장애물 등의 인식, 항만 상황 파악, 선석에 접근 가능한지 여부, 안벽과의 거리 및 속도, 다른 선박과의 거리 및 속도, 운항 경로 상 장애물 존재 여부 파악 등 환경에 대한 정보를 의미할 수 있다. 본 명세서에서는 주로 선박 및 항만에서 접안이 수행되는 경우의 모니터링에 대해 설명하나, 이에 한정되는 것은 아니고 차량의 주행, 비행체의 운항 등의 경우에도 적용될 수 있을 것이다.Berthing guide information refers to information about the environment, such as recognizing other ships or obstacles, understanding port conditions, whether the berth is accessible, distance and speed from the quay wall, distance and speed from other ships, and identification of obstacles in the navigation route. can mean In this specification, although mainly described for monitoring when berthing is performed in ships and ports, it is not limited thereto and may be applied to the case of driving of a vehicle, operation of an aircraft, and the like.

도 1은 일 실시예에 따른 이미지 기반 모니터링에 관한 도면이다. 도 1을 참고하면, 이미지 기반 모니터링은 이미지 획득 단계(S10) 및 이미지 분석 단계(S20)를 포함할 수 있다.1 is a diagram of image-based monitoring according to an embodiment. Referring to FIG. 1 , image-based monitoring may include an image acquisition step S10 and an image analysis step S20 .

이미지 획득 단계(S10)는 장치(10)가 이미지를 획득하는 단계를 의미할 수 있다. 여기서, 이미지의 종류는 RGB 이미지, IR 이미지, depth 이미지, 라이다(lidar) 이미지, 레이더(radar) 이미지 등 다양할 수 있고 제한이 있는 것은 아니다. 또한, 2차원 이미지뿐만 아니라 3차원 이미지 등도 가능하다.The image acquisition step S10 may mean a step in which the device 10 acquires an image. Here, the type of image may be various, such as an RGB image, an IR image, a depth image, a lidar image, and a radar image, and there is no limitation. In addition, not only a two-dimensional image but also a three-dimensional image is possible.

이미지 분석 단계(S20)는 이미지에 기초하여 분석 결과를 획득하는 단계를 의미할 수 있다. 일 예로, 이미지 분석 단계(S20)는 이미지를 통해 접안 가이드 정보를 산출하는 단계를 포함할 수 있다. 또는, 이미지 분석 단계(S20)는 이미지에 포함된 오브젝트의 특성을 분석하는 단계를 의미할 수 있다. 또는, 이미지 분석 단계(S20)는 이미지가 나타내는 상황을 판단하는 단계를 포함할 수 있다. 또는, The image analysis step S20 may refer to a step of obtaining an analysis result based on the image. For example, the image analysis step (S20) may include calculating the eyepiece guide information through the image. Alternatively, the image analysis step ( S20 ) may refer to a step of analyzing characteristics of an object included in the image. Alternatively, the image analysis step S20 may include determining a situation indicated by the image. or,

이미지 획득 단계(S10) 및 이미지 분석 단계(S20)의 구체적인 내용은 후술하기로 한다. 이하에서는 이미지 획득 단계(S10) 또는 이미지 분석 단계(S20)를 통해 획득한 정보를 모니터링 정보라 한다.Details of the image acquisition step ( S10 ) and the image analysis step ( S20 ) will be described later. Hereinafter, information acquired through the image acquisition step ( S10 ) or the image analysis step ( S20 ) is referred to as monitoring information.

도 2는 일 실시예에 따른 항만 모니터링 장치에 관한 도면이다.2 is a view of a port monitoring apparatus according to an embodiment.

도 2를 참고하면, 모니터링 장치(10)는 센서 모듈(100), 제어 모듈(200) 및 통신 모듈(300)을 포함할 수 있다.Referring to FIG. 2 , the monitoring device 10 may include a sensor module 100 , a control module 200 , and a communication module 300 .

센서 모듈(100)은 선박이나 선박 주변 및 항만에 대한 정보를 센싱할 수 있다. 센서 모듈(100)은 선박자동식별장치(automatic identification system, AIS), 이미지 생성 유닛, 위치 측정 유닛, 자세 측정 유닛, 케이싱 등을 포함할 수 있다.The sensor module 100 may sense information about a ship or a ship's vicinity and a port. The sensor module 100 may include an automatic identification system (AIS), an image generating unit, a position measuring unit, an attitude measuring unit, a casing, and the like.

이미지 생성 유닛은 이미지를 생성할 수 있다. 이미지 생성 유닛은 카메라, 라이다, 레이더, 초음파 탐지기 등을 포함할 수 있다. 카메라의 예로는 단안 카메라, 쌍안 카메라, 가시광선 카메라, IR 카메라, depth 카메라가 있지만 이에 한정되는 것은 아니다.The image generating unit may generate an image. The image generating unit may include a camera, lidar, radar, ultrasonic detector, and the like. Examples of cameras include, but are not limited to, monocular cameras, binocular cameras, visible light cameras, IR cameras, and depth cameras.

위치 측정 유닛은 센서 모듈이나 이미지 생성 유닛 등 센서 모듈에 포함된 구성의 위치를 측정할 수 있다. 일 예로, 위치 측정 유닛은 GPS(Global Positioning System)일 수 있다. 특히, 위치 측정의 정확도 향상을 위해 RTK-GPS(Real-Time Kinematic GPS)가 이용될 수도 있다.The position measuring unit may measure the position of a component included in the sensor module, such as a sensor module or an image generating unit. As an example, the location measurement unit may be a Global Positioning System (GPS). In particular, Real-Time Kinematic GPS (RTK-GPS) may be used to improve the accuracy of location measurement.

위치 측정 유닛은 미리 정해진 시간 간격마다 위치 정보를 획득할 수 있다. 여기서, 상기 시간 간격은 센서 모듈의 설치 위치에 따라 달라질 수 있다. 예를 들어, 센서 모듈이 선박 등 이동체에 설치된 경우 위치 측정 유닛은 짧은 시간 간격마다 위치 정보를 획득할 수 있다. 반면, 센서 모듈이 항만 등 고정체에 설치된 경우 위치 측정 유닛은 긴 시간 간격마다 위치 정보를 획득할 수 있다. 위치 측정 유닛의 위치 정보 획득을 위한 시간 간격은 변경될 수 있다.The position measuring unit may acquire position information at predetermined time intervals. Here, the time interval may vary depending on the installation position of the sensor module. For example, when the sensor module is installed in a moving object such as a ship, the position measurement unit may acquire position information at short time intervals. On the other hand, when the sensor module is installed in a fixed body such as a port, the position measurement unit may acquire position information at long time intervals. The time interval for obtaining the location information of the location measuring unit may be changed.

자세 측정 유닛은 센서 모듈이나 이미지 생성 유닛 등 센서 모듈에 포함된 구성의 자세를 측정할 수 있다. 일 예로, 자세 측정 유닛은 관성측정장비(Inertial Measurement Unit, IMU)일 수 있다.The posture measuring unit may measure the posture of components included in the sensor module, such as a sensor module or an image generating unit. For example, the posture measurement unit may be an inertial measurement unit (IMU).

자세 측정 유닛은 미리 정해진 시간 간격마다 자세 정보를 획득할 수 있다. 여기서, 상기 시간 간격은 센서 모듈의 설치 위치에 따라 달라질 수 있다. 예를 들어, 센서 모듈이 선박 등 이동체에 설치된 경우 자세 측정 유닛은 짧은 시간 간격마다 자세 정보를 획득할 수 있다. 반면, 센서 모듈이 항만 등 고정체에 설치된 경우 자세 측정 유닛은 긴 시간 간격마다 자세 정보를 획득할 수 있다. 자세 측정 유닛의 자세 정보 획득을 위한 시간 간격은 변경될 수 있다.The posture measuring unit may acquire posture information at predetermined time intervals. Here, the time interval may vary depending on the installation position of the sensor module. For example, when the sensor module is installed in a moving object such as a ship, the posture measuring unit may acquire posture information at short time intervals. On the other hand, when the sensor module is installed in a fixed body such as a port, the posture measuring unit may acquire posture information at long time intervals. The time interval for acquiring the posture information of the posture measuring unit may be changed.

케이싱은 이미지 생성 유닛, 위치 측정 유닛, 자세 측정 유닛 등 센서 모듈을 보호할 수 있다.The casing may protect a sensor module such as an image generating unit, a position measuring unit, and a posture measuring unit.

케이싱의 내부에는 이미지 생성 유닛, 위치 측정 유닛, 자세 측정 유닛 중 적어도 하나가 존재할 수 있다. 케이싱은 내부에 존재하는 이미지 생성 유닛 등의 장비가 염수에 의해 부식되는 것을 방지할 수 있다. 또는, 케이싱은 내부에 존재하는 장비에 가해지는 충격을 방지하거나 완화시켜 이를 보호할 수 있다.At least one of an image generating unit, a position measuring unit, and a posture measuring unit may be present inside the casing. The casing may prevent equipment such as an image generating unit existing therein from being corroded by salt water. Alternatively, the casing may protect it by preventing or mitigating the impact applied to the equipment existing therein.

내부에 이미지 생성 유닛 등을 포함하기 위하여 케이싱의 내부에 공동이 형성될 수 있다. 예를 들어, 케이싱은 내부가 비어있는 직육면체 형상일 수 있지만, 이에 한정되는 것은 아니고 내부에 이미지 생성 유닛 등이 배치될 수 있는 다양한 형상으로 제공될 수 있다.A cavity may be formed in the interior of the casing to contain an image generating unit or the like therein. For example, the casing may have a rectangular parallelepiped shape with an empty interior, but is not limited thereto and may be provided in various shapes in which an image generating unit or the like can be disposed.

케이싱의 내부에 이미지 생성 유닛이 배치되는 경우, 이미지 생성 유닛의 시야 확보를 위해 케이싱의 일 영역에 개폐구가 형성되거나 케이싱의 일 영역을 유리 등 투명한 물질로 형성할 수 있다. 이미지 생성 유닛은 상기 개폐구 또는 투명한 영역을 통해 선박 주변 및 항만을 촬상할 수 있다.When the image generating unit is disposed inside the casing, an opening may be formed in one area of the casing or a transparent material such as glass may be formed in one area of the casing to secure a view of the image generating unit. The image generating unit may image the periphery of the vessel and the harbor through the opening or the transparent area.

케이싱은 이미지 생성 유닛 등을 외부 충격으로부터 보호하기 위해 강인한 소재로 제공될 수 있다. 또는, 케이싱은 염분으로 인한 부식을 방지하기 위하여 해수용 합금 등의 소재로 제공될 수 있다.The casing may be provided with a strong material to protect the image generating unit and the like from external impact. Alternatively, the casing may be provided with a material such as an alloy for seawater in order to prevent corrosion due to salt.

케이싱은 이미지 생성 유닛의 이물질을 제거하기 위한 장비를 포함할 수 있다. 일 예로, 케이싱에 포함된 와이퍼를 통해 이미지 생성 유닛의 표면에 달라붙은 이물질을 물리적으로 제거할 수 있다. 여기서, 상기 와이퍼는 이물질을 제거하려는 표면에 밀착할 수 있도록 상기 표면과 동일하거나 유사한 곡률을 갖는 선형 또는 판형으로 제공될 수 있다. 다른 예로, 케이싱에 포함된 액체 스프레이를 통해 물이나 워셔액을 도포하여 이물질을 제거하거나 도포 후 와이퍼를 이용하여 이물질을 물리적으로 제거할 수 있다.The casing may include equipment for removing foreign substances from the image generating unit. For example, foreign substances adhering to the surface of the image generating unit may be physically removed through a wiper included in the casing. Here, the wiper may be provided in a linear or plate shape having the same or similar curvature as the surface so as to be in close contact with the surface to remove the foreign material. As another example, foreign substances may be removed by applying water or washer liquid through a liquid spray included in the casing, or the foreign substances may be physically removed using a wiper after application.

이물질 제거 장비는 수동으로 가동될 수 있지만, 자동으로도 가동될 수 있다. 예를 들어, 미리 정해진 시간 간격으로 이물질 제거 장비가 동작할 수 있다. 또는, 이미지 생성 유닛에 이물질이 달라 붙었는지 여부를 감지하는 센서를 이용하여 이물질 제거 장비를 동작시킬 수 있다. 또는, 이미지 생성 유닛이 촬상한 이미지를 이용하여, 상기 이미지에 이물질이 촬상되었는지 여부를 판단한 후, 이물질이 존재한다고 판단되는 경우에 이물질 제거 장비를 동작시킬 수 있다. 여기서, 이미지에 이물질이 촬상되었는지 여부는 인공 신경망(artificial neural network)을 통하여 판단될 수도 있을 것이다.The debris removal equipment can be operated manually, but can also be operated automatically. For example, the foreign material removal equipment may operate at a predetermined time interval. Alternatively, the foreign material removal equipment may be operated using a sensor that detects whether a foreign material is attached to the image generating unit. Alternatively, after determining whether a foreign material is captured in the image by using the image captured by the image generating unit, the foreign material removal equipment may be operated when it is determined that the foreign material is present. Here, whether a foreign material is captured in the image may be determined through an artificial neural network.

하나의 센서 모듈(100)은 2개 이상의 동일한 카메라를 포함하는 등 복수의 동일한 장비를 포함할 수도 있다.One sensor module 100 may include a plurality of identical equipment, such as including two or more identical cameras.

제어 모듈(200)은 이미지 분석을 수행할 수 있다. 또한, 센서 모듈(100)을 통해 각종 데이터를 수신하는 동작, 출력 장치를 통해 각종 출력을 출력하는 동작, 메모리에 각종 데이터를 저장하거나 메모리로부터 각종 데이터를 획득하는 동작 등이 제어 모듈(200)의 제어에 의해 수행될 수 있다. 이하에서는 본 명세서의 실시예로 개시되는 각종 동작이나 단계들은 별도의 언급이 없는 이상 제어 모듈(200)에 의해 수행되거나 제어 모듈(200)의 제어에 의해 수행되는 것으로 해석될 수 있다.The control module 200 may perform image analysis. In addition, the operation of receiving various data through the sensor module 100, the operation of outputting various outputs through the output device, the operation of storing various data in the memory or acquiring various data from the memory, etc. It can be done by control. Hereinafter, various operations or steps disclosed in the embodiments of the present specification may be interpreted as being performed by the control module 200 or being performed by the control of the control module 200 unless otherwise specified.

제어 모듈(200)의 예로는 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphics Processing Unit, GPU), 디지털 신호 처리 장치(Digital Signal Processor, DSP), 상태 기계(state machine), 주문형 반도체(Application Specific Integrated Circuit, ASIC), 무선 주파수 집적 회로(Radio-Frequency Integrated Circuit, RFIC) 및 이들의 조합 등이 있을 수 있다.Examples of the control module 200 include a central processing unit (CPU), a graphics processing unit (GPU), a digital signal processing unit (DSP), a state machine, and an on-demand system. There may be a semiconductor (Application Specific Integrated Circuit, ASIC), a Radio-Frequency Integrated Circuit (RFIC), and a combination thereof.

통신 모듈(300)은 장치(10)로부터 외부로 정보를 송신하거나 외부로부터 정보를 수신할 수 있다. 통신 모듈(300)은 유선 또는 무선 통신을 수행할 수 있다. 통신 모듈(300)은 양방향(bi-directional) 또는 단방향 통신을 수행할 수 있다. 예를 들어, 장치(10)는 통신 모듈(300)을 통해 외부 출력 장치로 정보를 전달하여 제어 모듈(200)이 수행한 제어 결과를 외부 출력 장치를 통해 출력할 수 있다. 또한, 통신 모듈(300)은 선박을 관제하는 해상교통관제시스템(VTS, Vessel Traffic Service)으로부터 선박과 관련된 VTS 정보 또는 CITS(Costal Intelligent Transport System) 정보를 수신할 수 있다.The communication module 300 may transmit information from the device 10 to the outside or receive information from the outside. The communication module 300 may perform wired or wireless communication. The communication module 300 may perform bi-directional or unidirectional communication. For example, the device 10 may transmit information to an external output device through the communication module 300 to output a control result performed by the control module 200 through the external output device. In addition, the communication module 300 may receive vessel-related VTS information or CITS (Costal Intelligent Transport System) information from a Vessel Traffic Service (VTS) that controls the vessel.

센서 모듈(100), 제어 모듈(200) 및 통신 모듈(300)은 제어부를 포함할 수 있다. 제어부는 모듈 내에서 각종 정보의 처리와 연산을 수행하고, 모듈을 구성하는 다른 구성 요소를 제어할 수 있다. 제어부는 물리적으로는 전기 신호를 처리하는 전자 회로 형태로 제공될 수 있다. 모듈은 물리적으로 단일한 제어부만을 포함할 수도 있으나, 이와 달리 복수의 제어부를 포함할 수도 있다. 일 예로, 제어부는 하나의 컴퓨팅 수단에 탑재되는 하나 또는 복수의 프로세서(processor)일 수 있다. 다른 예로, 제어부는 물리적으로 이격된 서버(server)와 터미널(terminal)에 탑재되어 통신을 통해 협업하는 프로세서들로 제공될 수도 있다. 제어부의 예로는 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphics Processing Unit, GPU), 디지털 신호 처리 장치(Digital Signal Processor, DSP), 상태 기계(state machine), 주문형 반도체(Application Specific Integrated Circuit, ASIC), 무선 주파수 집적 회로(Radio-Frequency Integrated Circuit, RFIC) 및 이들의 조합 등이 있을 수 있다.The sensor module 100 , the control module 200 , and the communication module 300 may include a control unit. The control unit may process and operate various types of information within the module, and may control other components constituting the module. The control unit may be provided in the form of an electronic circuit that physically processes an electrical signal. A module may physically include only a single control unit, or alternatively may include a plurality of control units. For example, the control unit may be one or a plurality of processors mounted on one computing means. As another example, the control unit may be mounted on a physically separated server and a terminal and provided as processors that cooperate through communication. Examples of the control unit include a central processing unit (CPU), a graphics processing unit (GPU), a digital signal processing unit (DSP), a state machine, and an application specific Integrated Circuit (ASIC), Radio-Frequency Integrated Circuit (RFIC), and combinations thereof.

센서 모듈(100), 제어 모듈(200) 및 통신 모듈(300)은 통신부를 포함할 수 있다. 상기 모듈들은 통신부를 통해 정보를 송수신할 수 있다. 예를 들어, 센서 모듈(100)은 외부로부터 획득한 정보를 그 통신부를 통해 송신하고, 제어 모듈(200)은 그 통신부를 통해 센서 모듈(100)이 송신한 정보를 수신할 수 있다. 통신부는 유선 또는 무선 통신을 수행할 수 있다. 통신부는 양방향(bi-directional) 또는 단방향 통신을 수행할 수 있다.The sensor module 100 , the control module 200 , and the communication module 300 may include a communication unit. The modules may transmit and receive information through a communication unit. For example, the sensor module 100 may transmit information obtained from the outside through the communication unit, and the control module 200 may receive information transmitted by the sensor module 100 through the communication unit. The communication unit may perform wired or wireless communication. The communication unit may perform bi-directional or unidirectional communication.

센서 모듈(100), 제어 모듈(200) 및 통신 모듈(300)은 메모리를 포함할 수 있다. 메모리는 각종 프로세싱 프로그램, 프로그램의 프로세싱을 수행하기 위한 파라미터 또는 이러한 프로세싱 결과 데이터 등을 저장할 수 있다. 예를 들어, 메모리는 학습 및/또는 추론에 필요한 데이터, 학습이 진행중이거나 학습된 인공 신경망 등을 저장할 수 있다. 메모리는 비휘발성 반도체 메모리, 하드 디스크, 플래시 메모리, RAM(Random Access Memory), ROM(Read Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 또는 그 외에 유형의(tangible) 비휘발성의 기록 매체 등으로 구현될 수 있다.The sensor module 100 , the control module 200 , and the communication module 300 may include a memory. The memory may store various processing programs, parameters for performing the processing of the programs, or processing result data, and the like. For example, the memory may store data required for learning and/or inference, an artificial neural network in progress or learned, and the like. Memory includes non-volatile semiconductor memory, hard disk, flash memory, random access memory (RAM), read only memory (ROM), electrically erasable programmable read-only memory (EEPROM), or any other tangible non-volatile recording medium. etc. can be implemented.

모니터링 장치(10)는 2개 이상의 센서 모듈(100)을 포함하는 등 복수의 동일한 모듈을 포함할 수도 있다. 예를 들어, 하나의 장치(10)가 2개의 센서 모듈(100)을 포함하고, 각 센서 모듈(100)이 다시 2개의 카메라를 포함할 수도 있다.The monitoring device 10 may include a plurality of identical modules, such as including two or more sensor modules 100 . For example, one device 10 may include two sensor modules 100 , and each sensor module 100 may include two cameras again.

도 3 및 도 4는 일 실시예에 따른 모니터링 장치의 실시예에 관한 도면이다.3 and 4 are diagrams related to an embodiment of a monitoring device according to an embodiment.

도 3을 참고하면, 모니터링 장치(10)는 센서 모듈(100) 및 제어 모듈(200)을 포함할 수 있다. 센서 모듈(100)은 카메라(130)를 통해 이미지를 생성하고, 통신부(110)를 통해 이미지를 제어 모듈(200)로 송신할 수 있다. 또한, 센서 모듈(100)의 제어부(120)는 후술할 시점 변환을 수행하여 이미지의 시점을 변환시킬 수 있다. 제어 모듈(200)은 통신부(210)를 통해 센서 모듈(100)로부터 이미지를 수신하고, 제어부(220)를 통해 후술할 위치/이동 정보 추정 및 이미지 정합 등 이미지 분석을 수행할 수 있다. 또한, 제어 모듈(200)은 통신부(210)를 통해 클라우드 서버로 위치/이동 정보 및 정합된 이미지 등 분석 결과를 송신할 수 있다. 클라우드 서버는 제어 모듈(200)로부터 수신한 분석 결과를 스마트폰, 태블릿, PC 등 사용자 단말로 전송하거나 사용자 단말로부터 인스트럭션을 수신할 수 있다.Referring to FIG. 3 , the monitoring device 10 may include a sensor module 100 and a control module 200 . The sensor module 100 may generate an image through the camera 130 and transmit the image to the control module 200 through the communication unit 110 . In addition, the controller 120 of the sensor module 100 may convert the viewpoint of the image by performing viewpoint transformation, which will be described later. The control module 200 may receive an image from the sensor module 100 through the communication unit 210 , and perform image analysis such as position/movement information estimation and image registration, which will be described later, through the control unit 220 . Also, the control module 200 may transmit an analysis result such as location/movement information and a matched image to the cloud server through the communication unit 210 . The cloud server may transmit the analysis result received from the control module 200 to a user terminal such as a smart phone, a tablet, a PC, or receive an instruction from the user terminal.

도 4를 참고하면, 모니터링 장치(10)는 센서 모듈(100)을 포함할 수 있다. 센서 모듈(100)은 카메라(130)를 통해 이미지를 생성하고, 통신부(110)를 통해 클라우드 서버로 이미지를 전송할 수 있다. 또한, 센서 모듈(100)의 제어부(120)는 후술할 시점 변환을 수행하여 이미지의 시점을 변환시킬 수 있다. 클라우드 서버는 센서 모듈(100)로부터 이미지를 수신하고, 후술할 위치/이동 정보 추정 및 이미지 정합 등 이미지 분석을 수행할 수 있다. 또한, 클라우드 서버는 이미지 분석의 결과를 스마트폰, 태블릿, PC 등 사용자 단말로 전송하거나 사용자 단말로부터 인스트럭션을 수신할 수 있다.Referring to FIG. 4 , the monitoring device 10 may include a sensor module 100 . The sensor module 100 may generate an image through the camera 130 and transmit the image to the cloud server through the communication unit 110 . In addition, the controller 120 of the sensor module 100 may convert the viewpoint of the image by performing viewpoint transformation, which will be described later. The cloud server may receive an image from the sensor module 100 and perform image analysis such as position/movement information estimation and image matching, which will be described later. In addition, the cloud server may transmit the image analysis result to a user terminal such as a smartphone, tablet, or PC or receive an instruction from the user terminal.

도 2 내지 도 4에서 도시하는 장치(10)는 예시에 불과하며 장치(10)의 구성이 이에 한정되지는 않는다.The apparatus 10 shown in FIGS. 2 to 4 is merely an example, and the configuration of the apparatus 10 is not limited thereto.

일 예로, 장치(10)는 출력 모듈(400)을 포함할 수 있다. 출력 모듈(400)은 제어 모듈(200)에 의해 수행된 연산의 결과 등을 출력할 수 있다. 예를 들어, 출력 모듈(400)은 분석 결과를 출력할 수 있다. 출력 모듈(400)은 예시적으로 디스플레이, 스피커, 신호 출력 회로 등일 수 있으나 이에 한정되는 것은 아니다. 이 경우 정보를 사용자 단말 등 외부 출력 장치로 전달하여 외부 출력 장치가 정보를 출력하는 것 외에 출력 모듈(400)을 통해 정보를 출력할 수도 있을 것이다.As an example, the device 10 may include an output module 400 . The output module 400 may output a result of an operation performed by the control module 200 . For example, the output module 400 may output an analysis result. The output module 400 may be, for example, a display, a speaker, a signal output circuit, and the like, but is not limited thereto. In this case, information may be output through the output module 400 in addition to transmitting information to an external output device such as a user terminal and the external output device outputting information.

다른 예로, 장치(10)는 센서 모듈을 포함하지 않을 수도 있다. 이 경우 제어 모듈(200)은 외부 센서 장치로부터 정보를 전달받아 이미지 분석을 수행하는 등 이미지 기반 모니터링 동작을 수행할 수 있을 것이다. 예를 들어, 제어 모듈(200)은 선박이나 항만에 이미 설치된 AIS, 카메라, 라이다, 레이다 등으로부터 정보를 전달받아 이미지 분석을 수행할 수 있다.As another example, the device 10 may not include a sensor module. In this case, the control module 200 may receive information from an external sensor device and perform an image-based monitoring operation, such as performing image analysis. For example, the control module 200 may perform image analysis by receiving information from an AIS, a camera, a lidar, a radar, etc. already installed in a ship or a port.

또한, 도 2 내지 도 4의 각 구성이 수행하는 단계는 반드시 해당 구성이 수행해야 하는 것은 아니고 다른 구성에 의해 수행될 수 있다. 예를 들어, 위의 도 3에서는 센서 모듈(100)의 제어부(120)가 시점 변환을 수행하는 것으로 기재하였으나, 제어 모듈(200)의 제어부(220) 또는 클라우드 서버가 시점 변환을 수행할 수도 있다.In addition, the steps performed by each of the components of FIGS. 2 to 4 are not necessarily performed by the corresponding components and may be performed by other components. For example, although it has been described that the control unit 120 of the sensor module 100 performs viewpoint transformation in FIG. 3 above, the control unit 220 of the control module 200 or the cloud server may perform viewpoint transformation. .

이하에서는 모니터링 장치(10) 및 방법에 대해 보다 구체적으로 살펴본다.Hereinafter, the monitoring apparatus 10 and the method will be described in more detail.

이미지 기반 모니터링을 위한 이미지 획득은 센서 모듈(100)을 통해 수행될 수 있다. 예를 들어, 센서 모듈(100)에 포함된 이미지 생성 유닛을 통해 이미지를 획득할 수 있다. 또는, 전술한 바와 같이 외부 센서 장치로부터 이미지를 획득할 수도 있다. 선박 및 항만 모니터링을 위한 이미지는 바다, 선박, 부표, 장애물, 지형, 항만, 하늘, 건물 등을 포함하는 것이 일반적일 것이다. 이하에서는 주로 가시광선 카메라를 통해 획득한 이미지를 분석하여 모니터링하는 것에 대해 설명하나 이에 한정되는 것은 아니다.Image acquisition for image-based monitoring may be performed through the sensor module 100 . For example, an image may be acquired through an image generating unit included in the sensor module 100 . Alternatively, as described above, an image may be acquired from an external sensor device. Images for vessel and port monitoring will generally include sea, vessel, buoy, obstacle, terrain, port, sky, building, and the like. Hereinafter, the analysis and monitoring of images acquired through a visible light camera will be mainly described, but the present invention is not limited thereto.

이미지 생성 유닛에 따라 시야각(field of view) 및 피사계 심도(depth of field)가 달라질 수 있다. 도 5는 일 실시예에 따른 시야각 및 피사계 심도에 관한 도면이다. 도 5를 참고하면, 시야각(FOV)은 좌우 또는 상하로 어느 정도의 범위까지 이미지에 포함되는지를 의미할 수 있고, 일반적으로는 각도(angle, degree)로 표현된다. 시야각이 더 크다는 의미는 좌우로 더 큰 폭의 영역을 포함하는 이미지를 생성하거나, 상하로 더 큰 폭의 영역을 포함하는 이미지를 생성하는 것을 의미할 수 있다. 피사계 심도는 이미지의 초점이 맞은 것으로 인식되는 거리 범위를 의미할 수 있고, 피사계 심도가 깊다는 의미는 이미지의 초점이 맞은 것으로 인식되는 거리 범위가 넓다는 것을 의미할 수 있다. 도 5를 참고하면, 피사계 심도(DOF)에 따라 이미지는 초점이 맞은 것으로 인식되는 영역(A1) 및 그 외의 영역(A2)을 포함할 수 있다. 이하에서는 이미지가 포함하고 있는 영역을 촬상 영역(A1 + A2), 초점이 맞은 것으로 인식되는 영역을 유효 영역(A1)이라 하고, 이미지 분석 및 모니터링은 유효 영역에 기초하여 수행될 수 있지만 촬상 영역 전체에 기초하여 수행되거나 촬상 영역의 일부에 기초하여 수행될 수도 있으므로, 이미지 분석 및 모니터링을 수행하기 위해 이용되는 영역을 모니터링 영역이라고 한다.A field of view and a depth of field may vary according to an image generating unit. 5 is a diagram illustrating a viewing angle and a depth of field according to an exemplary embodiment. Referring to FIG. 5 , a field of view (FOV) may mean to what extent an image is included in an image from left to right or up and down, and is generally expressed as an angle (degree, degree). A larger viewing angle may mean generating an image including an area having a larger width left and right or generating an image including an area having a larger width up and down. The depth of field may mean a distance range recognized as being in focus of the image, and a deep depth of field may mean that the distance range recognized as being in focus of the image is wide. Referring to FIG. 5 , according to the depth of field (DOF), the image may include an area A1 recognized as being in focus and an area A2 other than that. Hereinafter, an area included in the image is referred to as an imaging area (A1 + A2), and an area recognized as being in focus is referred to as an effective area (A1). Image analysis and monitoring may be performed based on the effective area, but the entire imaging area Since it may be performed based on , or based on a part of the imaging area, an area used to perform image analysis and monitoring is referred to as a monitoring area.

시야각이 크고 피사계 심도가 얕은 카메라의 예로 광각 카메라가 있다. 시야각이 작고 피사계 심도가 깊은 카메라의 예로는 고배율 카메라, 줌 카메라가 있다.An example of a camera with a large field of view and a shallow depth of field is a wide-angle camera. Examples of cameras with a small field of view and a deep depth of field include high magnification cameras and zoom cameras.

센서 모듈(100)은 항만 내의 조명탑, 크레인, 선박 등 그 위치나 자세에 제한이 없이 설치될 수 있고, 그 개수에도 제한이 없다. 다만, 센서 모듈(100)의 종류 및 성능 등 특성에 따라 그 설치 위치나 개수가 달라질 수 있다. 예를 들어, 센서 모듈(100)이 카메라인 경우, 센서 모듈(100)은 효율적인 모니터링을 위해 수면에서 15m 이상의 고도에 설치되거나, 서로 다른 촬상 영역을 갖도록 복수가 설치될 수 있다. 또한, 센서 모듈(100)의 위치 및 자세는 설치 시 또는 설치 후에 수동 또는 자동으로 조절될 수도 있다.The sensor module 100 may be installed without limitation in its position or posture, such as a lighting tower, a crane, a ship, etc. in a port, and there is no limitation in the number. However, the installation location or number of the sensor module 100 may vary according to characteristics such as the type and performance of the sensor module 100 . For example, when the sensor module 100 is a camera, the sensor module 100 may be installed at an altitude of 15 m or more from the water surface for efficient monitoring, or a plurality of sensor modules 100 may be installed to have different imaging areas. In addition, the position and posture of the sensor module 100 may be manually or automatically adjusted during or after installation.

도 6 및 도 7은 일 실시예에 따른 센서 모듈의 설치 위치에 관한 도면이다. 도 6 및 도 7을 참고하면, 센서 모듈(100)은 항만 또는 육지와 같이 고정된 위치에 설치되거나, 선박 등과 같이 이동하는 물체에 설치될 수 있다. 여기서, 센서 모듈(100)이 선박에 설치되는 경우, 도 7과 같이 모니터링의 대상이 되는 선박(이하 “타겟 선박”이라 함)에 설치될 수 있고, 도 6과 같이 타겟 선박의 접안 또는 이안을 보조하는 예인선 등 모니터링의 대상이 아닌 제3의 선박에 설치될 수도 있다. 이 외에도, 센서 모듈(100)은 드론 등에 설치되어 타겟 선박을 모니터링할 수 있다.6 and 7 are views of an installation position of a sensor module according to an embodiment. 6 and 7 , the sensor module 100 may be installed at a fixed location, such as a port or on land, or installed on a moving object, such as a ship. Here, when the sensor module 100 is installed in a vessel, it may be installed in a vessel to be monitored (hereinafter referred to as a “target vessel”) as shown in FIG. 7 , and berthing or berthing of the target vessel as shown in FIG. 6 . It may be installed on a third vessel that is not subject to monitoring, such as an auxiliary tugboat. In addition, the sensor module 100 may be installed on a drone or the like to monitor a target vessel.

모니터링 장치(10)의 다른 구성 요소는 센서 모듈(100)과 함께 또는 이와 별도의 장소에 설치될 수 있다. Other components of the monitoring device 10 may be installed together with the sensor module 100 or at a separate location.

전술한 바와 같이 이미지 기반 모니터링을 위한 이미지 분석은 오브젝트 특성을 획득하는 것을 포함할 수 있다. 오브젝트의 예로는 선박, 항만, 부표, 바다, 지형, 하늘, 건물, 사람, 동물, 불, 연기 등이 있을 수 있다. 오브젝트 특성의 예로는 오브젝트의 종류, 오브젝트의 위치, 오브젝트까지의 거리, 오브젝트의 절대적 및 상대적인 속력 및 속도 등이 있을 수 있다.As described above, image analysis for image-based monitoring may include acquiring object characteristics. Examples of the object may include a ship, port, buoy, sea, terrain, sky, building, person, animal, fire, smoke, and the like. Examples of object characteristics may include a type of object, a location of an object, a distance to the object, absolute and relative speed and speed of the object, and the like.

이미지 기반 모니터링을 위한 이미지 분석은 주변 상황을 인식/판단하는 것을 포함할 수 있다. 예를 들어, 이미지 분석은 항만에 불이 난 이미지로부터 화재 상황이 발생한 것을 판단하거나, 예정되지 않은 시간에 항만에 들어온 사람이 촬상된 이미지로부터 침입자가 들어온 것을 판단하는 것일 수 있다. 다른 예를 들어, 이미지 분석은 연기가 존재하는 이미지로부터 화재를 감지하는 것을 포함할 수 있다.Image analysis for image-based monitoring may include recognizing/judging a surrounding situation. For example, the image analysis may be to determine that a fire situation has occurred from an image of a fire in the port, or to determine that an intruder has entered the port from an image captured by a person who entered the port at an unscheduled time. For another example, image analysis may include detecting a fire from an image in which smoke is present.

이미지 기반 모니터링을 위한 이미지 분석은 제어 모듈(200)이나 각 모듈(100, 200)에 포함된 제어부(120, 220)를 통해 수행될 수 있다.Image analysis for image-based monitoring may be performed through the control module 200 or the controllers 120 and 220 included in each of the modules 100 and 200 .

도 8은 일 실시예에 따른 이미지 분석에 관한 도면이다. 도 8을 참고하면, 이미지 분석은 오브젝트 인식 단계(S210) 및 위치/이동 정보 추정 단계(S220)를 포함할 수 있다.8 is a diagram related to image analysis according to an exemplary embodiment. Referring to FIG. 8 , image analysis may include an object recognition step S210 and a position/movement information estimation step S220 .

이미지 분석은 오브젝트 인식 단계(S210)를 포함할 수 있다. 오브젝트 인식 단계(S210)는 이미지에 포함된 오브젝트를 인식하는 것을 포함할 수 있다. 예를 들어, 오브젝트 인식은 이미지에 선박, 예인선, 바다, 항만 등의 오브젝트가 포함되어 있는지 여부를 판단하는 것일 수 있다. 더 나아가, 오브젝트 인식은 이미지의 어떤 위치에 오브젝트가 존재하는지를 판단하는 것일 수 있다.The image analysis may include an object recognition step ( S210 ). The object recognition step S210 may include recognizing an object included in an image. For example, object recognition may be determining whether an object such as a ship, tugboat, sea, or harbor is included in the image. Furthermore, object recognition may be determining at which position in an image the object exists.

도 9 내지 도 11은 일 실시예에 따른 오브젝트 인식 단계에 관한 도면이다.9 to 11 are diagrams of an object recognition step according to an exemplary embodiment.

도 9는 카메라가 촬상한 이미지이고, 오브젝트 인식 단계를 통해 도 10 또는 도 11과 같이 오브젝트를 인식할 수 있다. 9 is an image captured by the camera, and an object may be recognized as shown in FIG. 10 or 11 through the object recognition step.

구체적으로, 도 10은 이미지의 각 픽셀 별로 해당 픽셀이 어떠한 오브젝트에 대응되는지를 나타낸 것으로, 세그멘테이션(segmentation)이라고도 한다. 이 경우 오브젝트 인식 단계는 세그멘테이션 단계를 의미할 수 있을 것이다. 세그멘테이션을 통해 이미지로부터 이미지상의 픽셀에 대응되는 특성을 할당하거나 산출할 수 있다. 이는 픽셀에 특성이 할당 또는 라벨링(labelling)되었다고 얘기할 수도 있을 것이다. 도 9 및 도 10을 참고하면, 도 9 의 카메라로 촬상된 이미지에 기초한 세그멘테이션을 수행하여 도 10과 같은 세그멘테이션 이미지를 획득할 수 있다. 도 10에서, 제1 픽셀 영역(P1)은 선박에 대응되는 픽셀의 이미지상의 영역이고, 제2 픽셀 영역(P2)은 바다, 제3 픽셀 영역(P3)은 항만의 안벽, 제4 픽셀 영역(P4)은 지형, 제5 픽셀 영역(P5)은 하늘에 대응되는 픽셀의 이미지상의 영역이다.Specifically, FIG. 10 shows which object the corresponding pixel corresponds to for each pixel of the image, which is also referred to as segmentation. In this case, the object recognition step may mean a segmentation step. Through segmentation, a characteristic corresponding to a pixel on an image may be assigned or calculated from an image. It could be said that the pixel has been assigned a property or labeled. 9 and 10 , a segmentation image as shown in FIG. 10 may be obtained by performing segmentation based on an image captured by the camera of FIG. 9 . In FIG. 10 , the first pixel area P1 is the area on the image of the pixel corresponding to the ship, the second pixel area P2 is the sea, the third pixel area P3 is the quay wall of the harbor, and the fourth pixel area ( P4) is the terrain, and the fifth pixel area P5 is the area on the image of the pixel corresponding to the sky.

도 10 에서는 세그멘테이션을 수행하여 이미지상의 각 픽셀에 대응되는 오브젝트의 종류에 대한 정보를 산출하는 것을 도시하였으나, 세그멘테이션을 통해 획득할 수 있는 정보가 이에 한정되는 것은 아니다. 예를 들어, 오브젝트의 위치, 좌표, 거리, 방향 등의 특성 또한 세그멘테이션을 통해 획득할 수 있을 것이다. 이 경우 서로 다른 특성은 독립적으로 표현될 수도 있고, 동시에 반영하여 표현될 수도 있다.Although FIG. 10 shows that information on the type of object corresponding to each pixel on the image is calculated by performing segmentation, information obtainable through segmentation is not limited thereto. For example, characteristics such as position, coordinates, distance, and direction of an object may also be acquired through segmentation. In this case, the different characteristics may be expressed independently or may be expressed by reflecting them at the same time.

표 1은 일 실시예에 따른 오브젝트의 종류 및 거리에 대한 정보를 동시에 반영한 라벨링에 관한 표이다. 표 1을 참고하면, 오브젝트의 종류 및 거리에 대한 정보를 함께 고려하여 클래스를 설정하고, 각 클래스 별로 식별값을 할당할 수 있다. 예를 들어, 오브젝트의 종류에 대한 정보인 지형과 거리에 대한 정보인 근거리를 함께 고려하여 2번 식별값을 할당할 수 있다. 표 1은 종류에 대한 정보와 거리에 대한 정보를 함께 고려한 경우의 일 예이고, 이 외에 방향 정보, 장애물 이동 방향, 속도, 항로 표지 등 다른 정보 또한 함께 고려될 수 있다. 또한, 모든 식별값이 복수의 정보를 포함해야 하는 것은 아니고, 같은 종류의 정보를 포함해야 하는 것도 아니다. 예를 들어, 특정 식별값은 종류에 대한 정보만 포함하고(예를 들어, 식별값 1은 거리에 대한 정보를 포함하지 않음) 다른 식별값은 종류 및 거리에 대한 정보를 포함하는 등 경우에 따라 다양한 방식으로 표현될 수 있다.Table 1 is a table related to labeling in which information on the type and distance of an object is simultaneously reflected, according to an embodiment. Referring to Table 1, a class may be set in consideration of information on the type and distance of an object, and an identification value may be assigned to each class. For example, the second identification value may be assigned in consideration of both topography, which is information about the type of object, and short distance, which is information about distance. Table 1 is an example in which type information and distance information are considered together. In addition, other information such as direction information, obstacle movement direction, speed, and route mark may also be considered. In addition, not all identification values need to include a plurality of pieces of information, nor do they need to include the same type of information. For example, a specific identification value includes only information about the type (for example, identification value 1 does not include information about distance) and another identification value includes information about type and distance, etc. It can be expressed in various ways.

식별값identification value 클래스class 00 하늘 및 기타sky and others 1One 바다Sea 22 지형 + 근거리terrain + close range 33 지형 + 중거리Terrain + Medium 44 지형 + 원거리Terrain + Ranged 55 고정 장애물 + 근거리Fixed obstacles + close range 66 고정 장애물 + 중거리Fixed obstacle + medium range 77 고정 장애물 + 원거리Fixed Obstacle + Ranged 88 동적 장애물 + 근거리Dynamic obstacles + close range 99 동적 장애물 + 중거리Dynamic Obstacles + Medium Range 1010 동적 장애물 + 원거리Dynamic Obstacle + Ranged

도 11은 이미지의 어떤 위치에 오브젝트가 존재하는지를 바운딩 박스(bounding box)로 표시한 것으로, 디텍션(detection)이라고도 한다. 이 경우 오브젝트 인식 단계는 디텍션 단계를 의미할 수 있을 것이다. 세그멘테이션과 비교하면, 디텍션은 이미지의 각 픽셀 별로 특성을 산출하는 것이 아닌 오브젝트가 어느 위치에 포함되어 있는지를 박스 형태로 검출하는 것으로 볼 수 있다. 도 9 및 도 11을 참고하면, 도 9 의 카메라로 촬상된 이미지에 기초한 디텍션을 수행하여 도 11과 같은 디텍션 이미지를 획득할 수 있다. 도 11에서, 이미지상에서 선박을 검출하고 선박의 위치를 사각형의 바운딩 박스(BB)로 표현한 것을 볼 수 있다. 도 11에는 하나의 오브젝트만을 디텍션하는 것으로 도시하였으나, 하나의 이미지로부터 2 이상의 오브젝트를 디텍션할 수도 있다.11 is a diagram showing a position of an object in an image with a bounding box, which is also referred to as detection. In this case, the object recognition step may mean a detection step. Compared with segmentation, detection can be viewed as detecting the position of an object in the form of a box, rather than calculating a characteristic for each pixel of an image. Referring to FIGS. 9 and 11 , a detection image as shown in FIG. 11 may be obtained by performing detection based on an image captured by the camera of FIG. 9 . 11 , it can be seen that a vessel is detected on the image and the position of the vessel is expressed as a rectangular bounding box BB. Although only one object is detected in FIG. 11 , two or more objects may be detected from one image.

세그멘테이션 및 디텍션은 인공 신경망을 이용하여 수행될 수 있다. 하나의 인공 신경망을 통해 세그멘테이션/디텍션을 수행할 수도 있고, 복수의 인공 신경망을 이용하여 각각의 인공 신경망이 세그멘테이션/디텍션을 수행하고 이 결과를 조합하여 최종 결과를 산출할 수도 있다.Segmentation and detection may be performed using an artificial neural network. Segmentation/detection may be performed through one artificial neural network, or each artificial neural network may perform segmentation/detection using a plurality of artificial neural networks, and the final result may be calculated by combining the results.

인공 신경망이란 인간의 신경망 구조를 본떠 만든 알고리즘의 일종으로, 하나 이상의 노드 또는 뉴런(neuron)을 포함하는 하나 이상의 레이어를 포함할 수 있고 각각의 노드는 시냅스(synapse)를 통해 연결될 수 있다. 인공 신경망에 입력된 데이터(입력 데이터)는 시냅스를 통해 노드를 거쳐 출력(출력 데이터)될 수 있고, 이를 통해 정보를 획득할 수 있다.An artificial neural network is a kind of algorithm modeled after the structure of a human neural network, and may include one or more nodes or one or more layers including neurons, and each node may be connected through a synapse. Data input to the artificial neural network (input data) may be output (output data) through a node through a synapse, and information may be obtained through this.

인공 신경망의 종류로는 필터를 이용해 특징을 추출하는 합성곱신경망(convolution neural network, CNN) 및 노드의 출력이 다시 입력으로 피드백 되는 구조를 갖는 순환인공신경망(recurrent neural network, RNN)이 있고, 제한된 볼츠만 머신(restricted Boltzmann machine, RBM), 심층신뢰신경망(deep belief network, DBN), 생성대립신경망(generative adversarial network, GAN), 관계형 네트워크(relation networks, RN) 등 다양한 구조가 적용될 수 있고 제한이 있는 것은 아니다.Types of artificial neural networks include a convolutional neural network (CNN) that extracts features using a filter, and a recurrent neural network (RNN) that has a structure in which the output of a node is fed back as an input. Various structures such as restricted Boltzmann machine (RBM), deep belief network (DBN), generative adversarial network (GAN), relational network (RN), etc. can be applied and have limitations. it is not

인공 신경망을 이용하기 전에 학습시키는 단계가 필요하다. 또는, 인공 신경망을 이용하며 학습시킬 수 있다. 이하에서는 인공신경망을 학습시키는 단계를 학습 단계, 이용하는 단계를 추론 단계로 표현하기로 한다. Before using the artificial neural network, it is necessary to train it. Alternatively, training may be performed using an artificial neural network. Hereinafter, the step of learning the artificial neural network is expressed as a learning step, and the step of using the artificial neural network is expressed as an inference step.

인공 신경망은 지도 학습(supervised learning), 비지도 학습(unsupervised learning), 강화 학습(reinforcement learning), 모방 학습(imitation learning) 등 다양한 방법을 통해 학습될 수 있다.The artificial neural network may be learned through various methods such as supervised learning, unsupervised learning, reinforcement learning, and imitation learning.

도 12 및 도 13은 일 실시예에 따른 인공 신경망의 학습 단계 및 추론 단계에 관한 도면이다.12 and 13 are diagrams of a learning step and an inference step of an artificial neural network according to an embodiment.

도 12는 인공 신경망의 학습 단계의 일 실시예로, 학습되지 않은 인공 신경망이 학습 데이터 또는 훈련 데이터(training data)를 입력 받아 출력 데이터를 출력하고, 출력 데이터와 라벨링 데이터(labelling data)를 비교하여 그 오차의 역전파를 통해 인공 신경망을 학습시킬 수 있다. 학습 데이터, 출력 데이터, 라벨링 데이터는 이미지일 수 있다. 라벨링 데이터는 실측 자료(ground truth)를 포함할 수 있다. 또는, 라벨링 데이터는 사용자 또는 프로그램을 통하여 생성된 자료일 수 있다.12 is an embodiment of the learning step of the artificial neural network, in which an untrained artificial neural network receives learning data or training data and outputs output data, and compares the output data with the labeling data. The artificial neural network can be trained through the backpropagation of the error. The training data, output data, and labeling data may be images. The labeling data may include ground truth. Alternatively, the labeling data may be data generated by a user or a program.

도 13은 인공 신경망의 추론 단계의 일 실시예로, 학습된 인공 신경망이 입력 데이터를 입력 받아 출력 데이터를 출력할 수 있다. 학습 단계에서의 학습 데이터의 정보에 따라 추론 단계에서 추론 가능한 정보가 달라질 수 있다. 또한, 인공 신경망의 학습 정도에 따라 출력 데이터의 정확성이 달라질 수 있다.13 is an example of an inference step of an artificial neural network, and a learned artificial neural network may receive input data and output output data. According to the information of the learning data in the learning stage, information that can be inferred in the inference stage may vary. Also, the accuracy of the output data may vary according to the learning degree of the artificial neural network.

이미지 분석은 위치/이동 정보 추정 단계(S220)를 포함할 수 있다. 위치/이동 정보 추정 단계(S220)는 오브젝트 인식 단계(S210)에서 인식된 오브젝트 중 적어도 일부에 대하여 그 위치 및/또는 이동에 관한 정보를 추정하는 것을 포함할 수 있다. 여기서, 위치 정보는 오브젝트의 좌표와 같은 절대적 위치, 특정 기준으로부터의 상대적 위치, 거리(임의의 지점으로부터의 거리, 거리 범위 등), 방향 등을 포함할 있고, 이동 정보는 절대적 속도, 상대적 속도, 속력 등 오브젝트의 이동에 관한 정보를 포함할 수 있다.The image analysis may include a position/movement information estimation step ( S220 ). The location/movement information estimation step ( S220 ) may include estimating information on the location and/or movement of at least some of the objects recognized in the object recognition step ( S210 ). Here, the position information may include an absolute position such as coordinates of an object, a relative position from a specific reference, a distance (distance from an arbitrary point, a distance range, etc.), a direction, etc., and the movement information includes an absolute velocity, a relative velocity, Information about the movement of the object, such as speed, may be included.

오브젝트의 위치/이동 정보는 선박의 접안 또는 이안 시 이용될 수 있다. 예를 들어, 선박 접안 또는 이안 시 선석 또는 안벽과의 거리, 이들을 기준으로 한 접근 속도, 다른 선박과의 간격 및 상대 속도 등을 이용하여 선박의 안전한 접안 또는 이안을 보조하거나 가이드 할 수 있다.The position/movement information of the object may be used when the vessel is berthing or berthing. For example, it is possible to assist or guide the safe berthing or berthing of a vessel by using the distance to the berth or quay wall, the approach speed based on them, the distance from other vessels, and the relative speed when berthing or disembarking a vessel.

오브젝트의 위치/이동 정보는 선박의 운항 시 이용될 수 있다. 예를 들어, 다른 선박이나 선박 주변의 장애물을 감지하거나, 이들까지의 거리, 이들의 이동 속도 등을 이용하여 충돌을 경고하거나 경로 생성/추천을 하는 등 선박의 안전한 운항을 보조하거나 가이드 할 수 있다. 또는 이러한 정보를 바탕으로 자율 운항을 수행할 수도 있을 것이다.The position/movement information of the object may be used when the vessel is operating. For example, it is possible to assist or guide the safe operation of a ship, such as detecting other ships or obstacles around the ship, warning of collisions using the distance to them, and their moving speed, or creating/recommending routes. . Alternatively, autonomous navigation may be performed based on this information.

오브젝트의 위치/이동 정보는 이미지에 기초하여 산출될 수 있다. 예를 들어, 오브젝트로써 선박, 바다 및 육지를 포함하는 이미지에 기초하여 선박의 위치/이동 정보를 산출할 수 있다. 이하에서는 위치/이동 정보를 추정하는 오브젝트를 타겟 오브젝트라 한다. 예를 들어, 위의 예에서는 선박이 타겟 오브젝트일 수 있다. 또한, 타겟 오브젝트는 복수일 수 있다. 예를 들어, 이미지에 포함된 복수의 선박 각각에 대해 그 위치나 속력 등을 추정하는 경우 복수의 선박이 타겟 오브젝트일 수 있다.The position/movement information of the object may be calculated based on the image. For example, location/movement information of a ship may be calculated based on an image including a ship, sea, and land as objects. Hereinafter, an object for estimating location/movement information is referred to as a target object. For example, in the above example, a ship may be a target object. Also, there may be a plurality of target objects. For example, when estimating a position or speed of each of a plurality of ships included in an image, the plurality of ships may be a target object.

오브젝트의 위치/이동 정보는 일정 범위를 갖는 복수의 카테고리로 표현될 수 있다. 예를 들어, 거리 정보는 근거리, 중거리 및 원거리 등으로 표현될 수 있고, 방향 정보는 좌측 방향, 정면 방향 및 우측 방향 등으로 표현될 수 있다. 이를 조합하여 좌측 근거리, 우측 원거리 등으로 표현하는 것도 가능할 것이다. 이동 정보는 고속, 저속 등으로 표현될 수 있다.The location/movement information of the object may be expressed in a plurality of categories having a certain range. For example, the distance information may be expressed in a short distance, a medium distance, and a long distance, and the direction information may be expressed in a left direction, a front direction, and a right direction. It may be possible to combine these to express the left near field, the right far field, and the like. The movement information may be expressed as a high speed, a low speed, or the like.

오브젝트의 위치/이동 정보는 실제 거리값, 방향값 및 속도값 등으로 표현될 수 있다. 예를 들어, 거리 정보는 미터(m) 단위로 표현될 수 있고, 방향 정보는 도(degree) 단위로 표현될 수 있고, 이동 정보는 cm/s 단위로 표현될 수 있다. The position/movement information of the object may be expressed as an actual distance value, a direction value, a velocity value, and the like. For example, distance information may be expressed in units of meters (m), direction information may be expressed in units of degrees, and movement information may be expressed in units of cm/s.

오브젝트의 위치/이동 정보는 영역이나 포인트를 기준으로 추정될 수 있다. 일 예로, 선박과 안벽 사이의 거리는 선박의 일 포인트와 안벽의 일 포인트 사이의 거리를 산출함으로써 추정되거나, 선박의 일 포인트와 안벽과의 최단 거리를 산출함으로써 추정될 수 있다. 다른 예로, 선박 사이의 간격은 제1 선박의 일 포인트와 제2 선박의 일 포인트 사이의 거리를 산출함으로써 추정될 수 있다. 선박의 일 포인트는 바다와 접하는 선박의 일 지점에 대응되거나 선박의 선수 또는 선미에 대응될 수 있지만, 이에 한정되는 것은 아니다. The location/movement information of the object may be estimated based on an area or a point. For example, the distance between the ship and the quay wall may be estimated by calculating the distance between one point of the ship and one point of the quay wall, or may be estimated by calculating the shortest distance between one point of the ship and the quay wall. As another example, the distance between the vessels may be estimated by calculating a distance between a point of the first vessel and a point of the second vessel. One point of the ship may correspond to a point of the ship in contact with the sea or may correspond to the bow or stern of the ship, but is not limited thereto.

오브젝트의 위치/이동 정보는 이미지 픽셀을 기반으로 추정될 수 있다. 전술한 바와 같이 포인트를 기준으로 위치/이동 정보를 추정하는 경우, 이미지 상에서 포인트는 픽셀에 대응될 수 있다. 따라서, 오브젝트의 위치/이동 정보는 이미지 픽셀 사이의 간격에 기초하여 산출될 수 있다. The position/movement information of the object may be estimated based on image pixels. As described above, when estimating location/movement information based on a point, a point on an image may correspond to a pixel. Accordingly, the position/movement information of the object may be calculated based on the distance between image pixels.

포인트 사이의 거리 정보는 픽셀 사이의 간격에 기초하여 산출될 수 있다. 일 예로, 하나의 픽셀 간격마다 일정 거리를 할당하고 픽셀 사이의 간격에 비례하여 포인트 사이의 거리를 산출할 수 있다. 다른 예로, 픽셀의 이미지상에서의 좌표값을 바탕으로 픽셀 사이의 거리를 산출하고 이에 기초하여 포인트 사이의 거리를 산출할 수 있다.Distance information between points may be calculated based on an interval between pixels. For example, a predetermined distance may be allocated to each pixel interval, and the distance between points may be calculated in proportion to the interval between pixels. As another example, the distance between pixels may be calculated based on the coordinate values of the pixels on the image, and the distance between points may be calculated based on this.

포인트 사이의 이동 정보는 포인트 사이의 거리 정보의 변화에 기초하여 산출될 수 있다. 이 경우 복수의 이미지 또는 영상 프레임에 기초하여 이동 정보를 산출할 수 있다. 예를 들어, 이전 프레임에서의 포인트 사이의 거리와 현재 프레임에서의 포인트 사이의 거리 및 프레임 사이의 시간 간격에 기초하여 포인트 사이의 이동 정보를 산출할 수 있다. Movement information between points may be calculated based on a change in distance information between points. In this case, movement information may be calculated based on a plurality of images or image frames. For example, movement information between points may be calculated based on a distance between points in a previous frame, a distance between points in a current frame, and a time interval between frames.

도 14 및 도 15는 일 실시예에 따른 오브젝트의 위치/이동 정보 추정에 관한 도면이다.14 and 15 are diagrams for estimating position/movement information of an object according to an embodiment.

도 14를 참고하면, 위치/이동 정보 추정 단계는 선박(OBJ1)의 접안 또는 이안 시 안벽(OBJ2)과의 위치/이동 정보(f1, f2) 또는 다른 선박(OBJ3, OBJ4)과의 위치/이동 정보(f3, f4)를 추정하는 것을 포함할 수 있다. 도 14에 도시된 바와 같이, 선박(OBJ1)과 안벽(OBJ2) 사이의 위치/이동 정보(f1, f2)는 선박(OBJ1)의 2개의 포인트에 대해 산출될 수 있다. 이 경우 상기 2개의 포인트는 선박(OBJ1)이 바다와 접하는 지점에 대응될 수 있다. 또한, 선박(OBJ1)과 안벽(OBJ2) 사이의 거리는 상기 2개의 포인트와 안벽(OBJ2) 사이의 최단 거리일 수 있다. 선박(OBJ1)과 다른 선박(OBJ3, OBJ4) 사이의 위치/이동 정보(f3, f4)는 선박들(OBJ1, OBJ3, OBJ4)의 선수 또는 선미에 대응되는 포인트 사이의 위치/이동 정보일 수 있다. 이와 같이 위치/이동 정보가 선박의 접안 또는 이안에 이용되어 이를 보조하거나 가이드 하는 경우 접안 가이드 정보 또는 이안 가이드 정보라 지칭될 수 있다.Referring to FIG. 14 , the position/movement information estimation step includes position/movement information f1 and f2 with the berthing wall OBJ2 or other vessels OBJ3 and OBJ4 when the vessel OBJ1 is berthing or berthing. It may include estimating information f3, f4. As shown in FIG. 14 , the position/movement information f1 and f2 between the vessel OBJ1 and the quay wall OBJ2 may be calculated for two points of the vessel OBJ1 . In this case, the two points may correspond to a point where the ship OBJ1 is in contact with the sea. Further, the distance between the vessel OBJ1 and the quay wall OBJ2 may be the shortest distance between the two points and the quay wall OBJ2. The position/movement information f3 and f4 between the vessel OBJ1 and the other vessels OBJ3 and OBJ4 may be position/movement information between points corresponding to the bow or stern of the vessels OBJ1, OBJ3, OBJ4. . In this way, when the location/movement information is used to assist or guide the berthing or berthing of the vessel, it may be referred to as berthing guide information or berthing guide information.

도 15를 참고하면, 위치/이동 정보 추정 단계는 선박(OBJ5)의 운항 시 다른 선박(OBJ6)이나 부표 등 장애물(OBJ7)과의 위치/이동 정보(f5, f6)를 추정하는 것을 포함할 수 있다.Referring to FIG. 15 , the step of estimating position/movement information may include estimating position/movement information (f5, f6) with another vessel (OBJ6) or an obstacle (OBJ7) such as a buoy during operation of the vessel (OBJ5). have.

위치/이동 정보 추정 단계에서 산출한 데이터에 기반하여 항만 운용이나 관리를 수행할 수 있다. 예를 들어, 선박이 방충제(fender)와 충돌하는 경우 선박의 속도 등 이동 정보로부터 충격량 등을 계산하여 방충제의 교체 시기를 예측할 수 있을 것이다.Port operation or management may be performed based on the data calculated in the location/movement information estimation step. For example, when a ship collides with a fender, the time to replace the insect repellent may be predicted by calculating the amount of impact from movement information such as the speed of the ship.

이상에서는 오브젝트 인식 단계를 수행한 후 위치/이동 정보를 추정하는 방식의 이미지 분석의 실시예에 대해 살펴보았다. 이와 달리, 오브젝트 인식과 위치/이동 정보 추정이 하나의 단계로 수행될 수도 있다. 예를 들어, 세그멘테이션 또는 디텍션을 수행하여 오브젝트를 인식함과 동시에 오브젝트의 위치/이동 정보를 추정할 수 있다.In the above, an embodiment of image analysis in which position/movement information is estimated after performing the object recognition step has been described. Alternatively, object recognition and location/movement information estimation may be performed in one step. For example, it is possible to recognize an object by performing segmentation or detection and at the same time estimate position/movement information of the object.

도 16은 일 실시예에 따른 항만 모니터링의 순서도이다.16 is a flowchart of port monitoring according to an embodiment.

일 실시예에 따르면, 항만 모니터링은 접안 모니터링 하는 단계(S230) 및 충돌 모니터링 하는 단계(S240)를 포함할 수 있다. According to one embodiment, the port monitoring may include the step of monitoring the berth (S230) and the step of monitoring the collision (S240).

일 실시예에 따르면, 장치(10)는 이미지의 포함된 선박을 접안 모니터링할 수 있다(S230). According to one embodiment, the device 10 may monitor the vessel included in the image berthing (S230).

접안 모니터링은 선박이 안벽에 접안하는 과정을 모니터링하는 것을 의미할 수 있고, 접안 모니터링은 선박이 안벽에 접안할 때 접안에 필요한 정보를 제공하는 것일 수 있다. 예를 들어, 접안 모니터링은 안벽과 관련한 선박의 정보를 획득하고 제공하는 것일 수 있으며, 반대로 접안 모니터링은 선박과 관련하여 안벽의 정보를 획득하고 제공하는 것일 수도 있다. Berthing monitoring may mean monitoring the process of the vessel berthing on the quay wall, and the berthing monitoring may be to provide information necessary for berthing when the vessel is berthing on the quay wall. For example, berthing monitoring may be to obtain and provide information of the vessel in relation to the quay wall, and conversely, berthing monitoring may be to obtain and provide information of the quay wall in relation to the vessel.

구체적으로, 접안 모니터링은 선박이 안벽에 접안할 때 접안에 필요한 정보인 접안 관련 정보를 제공하는 것일 수 있다. 접안 관련 정보는 선박의 접안 상황과 관련되는 정보를 포함할 수 있으며, 예를 들어 선박과 안벽 사이의 거리, 선박이 안벽으로 접근하는 속도, 안벽의 상태, 수심, 풍속, 해류의 세기 등을 포함할 수 있다.Specifically, berthing monitoring may be to provide berthing-related information, which is information necessary for berthing, when the vessel berths on the quay wall. The berthing-related information may include information related to the berthing situation of the vessel, including, for example, the distance between the vessel and the quay wall, the speed at which the vessel approaches the quay wall, the condition of the quay wall, water depth, wind speed, and the strength of the current. can do.

일 실시예에 따르면, 접안 모니터링은 선박의 선수 거리 및/또는 선미 거리를 획득하는 것일 수 있다. 선수 거리는 선박의 선수와 안벽 사이의 거리를 의미할 수 있고 선미 거리는 선박의 선미와 안벽 사이의 거리를 의미할 수 있다.According to an embodiment, the berthing monitoring may be obtaining the bow distance and/or the stern distance of the vessel. The bow distance may mean the distance between the bow of the ship and the quay wall, and the stern distance may mean the distance between the stern and the quay wall of the ship.

또한, 일 실시예에 따르면, 접안 모니터링은 선박의 선수 속도 및/또는 선미 속도를 획득하는 것일 수 있다. 선수 속도는 선박의 선수가 안벽으로 접근하는 속도를 의미할 수 있고, 선미 속도는 선박의 선미가 안벽으로 접근하는 속도를 의미할 수 있다.Also, according to one embodiment, the berthing monitoring may be acquiring the bow speed and/or the stern speed of the vessel. The bow speed may mean the speed at which the bow of the ship approaches the quay wall, and the stern speed may mean the speed at which the stern of the ship approaches the quay wall.

선박의 선수 및 선미 각각에 대하여 접안 관련 정보를 제공하는 접안 모니터링을 통해 선박의 접안이 선박의 각 부분이 안벽에 부딪히지 않도록 안전하고 정확하게 가이드되는 장점이 있다.There is an advantage that the berthing of the vessel is guided safely and accurately so that each part of the vessel does not collide with the quay wall through berthing monitoring that provides berthing-related information for each of the bow and stern of the vessel.

이를 위해 접안 모니터링은 선박이 포함된 이미지로부터 2개의 포인트를 추출하고, 추출된 2개의 포인트에 기초하여 접안 관련 정보를 획득하는 것일 수 있다. 예를 들어, 접안 모니터링은 이미지에서 선박의 선수 및 선미에 대응하는 2개의 포인트를 획득하고, 추출된 2개의 포인트 중 하나의 포인트로부터 선박의 선수와 관련된 접안 관련 정보를 획득하고, 추출된 2개의 포인트 중 다른 하나의 포인트로부터 선박의 선미와 관련된 접안 관련 정보를 획득하는 것일 수 있다. 여기서, 선박의 선수와 관련된 접안 관련 정보는 선박의 선수 거리, 선수 속도 등을 포함할 수 있고, 선박의 선미와 관련된 접안 관련 정보는 선박의 선미 거리, 선미 속도 등을 포함할 수 있다. 후술하겠지만, 추출된 2개의 포인트는 선박이 해수면과 접하는 밑면의 양 단부에 대응하는 2개의 포인트로 결정될 수 있다. To this end, berthing monitoring may be to extract two points from an image including a vessel, and to acquire berthing-related information based on the extracted two points. For example, the berthing monitoring acquires two points corresponding to the bow and stern of the vessel in the image, obtains berthing-related information related to the bow of the vessel from one of the extracted two points, and It may be to acquire berthing-related information related to the stern of the ship from another one of the points. Here, the berthing-related information related to the bow of the ship may include a bow distance and bow speed of the ship, and the berthing-related information related to the stern of the ship may include the stern distance and stern speed of the ship. As will be described later, the extracted two points may be determined as two points corresponding to both ends of the bottom surface of the ship in contact with the sea level.

일 실시예에 따르면, 장치(10)는 이미지의 포함된 선박을 충돌 모니터링할 수 있다(S240). According to an embodiment, the device 10 may collision-monitor the vessel included in the image ( S240 ).

충돌 모니터링은 선박이 인접 오브젝트와 충돌하는 것을 방지하기 위해 선박 및 주변을 모니터링하는 것을 의미할 수 있고, 충돌 모니터링은 선박이 인접 오브젝트(일 예로, 선박)와 충돌하는 것을 방지하기 위해 필요한 정보를 제공하는 것일 수 있다. 이하에서는, 설명의 편의를 위해 충돌 모니터링은 선박과 인접 선박이 충돌하는 것을 방지하기 위해 모니터링하는 것으로 설명하나 충돌 모니터링은 선박과 인접 오브젝트가 충돌하는 것을 방지하기 위해 모니터링하는 것으로 이해가 되어도 무방하다. 여기서, 인접 선박은 타겟 선박의 충돌 관련 정보 산출의 대상이 되는 것으로, 타겟 선박의 주변에 있는 선박을 의미한다. 일 예로, 인접 선박은 타겟 선박과 기설정된 거리 이하에 있는 선박일 수 있다. 다른 예로, 인접 선박은 여러 선박 중 타겟 선박에 가장 가까이 있는 선박 또는 이미지에 포함된 선박들 중 타겟 선박을 제외한 다른 선박일 수 있다.Collision monitoring may mean monitoring the vessel and its surroundings in order to prevent the vessel from colliding with an adjacent object, and the collision monitoring provides information necessary to prevent the vessel from colliding with an adjacent object (eg, a vessel). may be doing Hereinafter, for convenience of description, collision monitoring is described as monitoring to prevent a ship and an adjacent ship from collide, but collision monitoring may be understood as monitoring to prevent a ship and an adjacent object from colliding. Here, the adjacent vessel is a target for calculating the collision-related information of the target vessel, and means a vessel in the vicinity of the target vessel. For example, the adjacent vessel may be a vessel that is less than or equal to a predetermined distance from the target vessel. As another example, the adjacent vessel may be a vessel closest to the target vessel among several vessels or a vessel other than the target vessel among vessels included in the image.

예를 들어, 충돌 모니터링은 인접 선박과 관련한 모니터링 대상이 되는 타겟 선박의 정보를 획득하고 제공하는 것일 수 있으며, 반대로 충돌 모니터링은 타겟 선박과 관련하여 인접 선박의 정보를 획득하고 제공하는 것일 수도 있다. 구체적으로, 충돌 모니터링은 선박의 충돌 상황과 관련된 정보인 충돌 관련 정보를 제공할 수 있다. 충돌 관련 정보는 선박의 충돌 방지를 위한 정보를 포함할 수 있으며, 예를 들어 충돌 관련 정보는 인접 선박의 존재 여부, 선박과 인접 선박 사이의 거리, 선박과 인접 선박으로 접근하는 속도 등을 포함할 수 있다. For example, collision monitoring may be to obtain and provide information on a target vessel to be monitored in relation to an adjacent vessel, and conversely, collision monitoring may be to obtain and provide information on an adjacent vessel in relation to a target vessel. Specifically, collision monitoring may provide collision-related information that is information related to a collision situation of a ship. Collision-related information may include information for preventing collision of ships. For example, collision-related information may include the existence of an adjacent ship, the distance between the ship and the adjacent ship, and the speed of approaching the ship and the adjacent ship. can

일 실시예에 따르면, 충돌 모니터링은 선박의 선수와 다른 선박 사이의 거리 및/또는 선박의 선미와 다른 선박 사이의 거리를 획득하는 것일 수 있다. 구체적으로, 충돌 모니터링은 타겟 선박의 선수와 선미 중 다른 선박과 더 가까운 하나와 다른 선박 사이의 거리를 획득하는 것일 수 있다. 이하, 선박의 선수와 다른 선박 사이의 거리 또는 선박의 선미와 다른 선박 사이의 거리는 편의상 선박간 거리로 지칭될 수 있다. According to an embodiment, the collision monitoring may be to obtain the distance between the bow of the vessel and another vessel and/or the distance between the stern of the vessel and the other vessel. Specifically, the collision monitoring may be to obtain a distance between one and the other vessel closer to the other of the bow and stern of the target vessel. Hereinafter, a distance between the bow of a ship and another ship or a distance between the stern of a ship and another ship may be referred to as an inter-ship distance for convenience.

일 실시예에 따르면, 충돌 모니터링은 선박의 선수가 다른 선박으로 접근하는 속도(선박의 선수와 다른 선박 사이의 상대속도) 및/또는 선박의 선미가 다른 선박으로 접근하는 속도(선박의 선미와 다른 선박 사이의 상대 속도)를 획득하는 것일 수 있다. 구체적으로, 충돌 모니터링은 타겟 선박의 선수와 선미 중 다른 선박과 더 가까운 하나가 다른 선박으로 접근하는 속도를 획득하는 것일 수 있다. According to one embodiment, the collision monitoring is the speed at which the bow of the vessel approaches the other vessel (relative speed between the bow of the vessel and the other vessel) and/or the speed at which the stern of the vessel approaches the other vessel (different from the stern of the vessel). relative speed between ships). Specifically, the collision monitoring may be to acquire the speed at which one of the bow and stern of the target vessel, which is closer to the other vessel, approaches the other vessel.

선박의 선수 및 선미 각각에 대하여 충돌 관련 정보를 제공하는 충돌 모니터링을 통해 선박의 각 부분이 인접 선박과 충돌하지 않도록 안전하고 정확하게 선박의 접안이 가이드되는 장점이 있다.There is an advantage in that the berthing of the vessel is guided safely and accurately so that each part of the vessel does not collide with an adjacent vessel through collision monitoring that provides collision-related information for each of the bow and stern of the vessel.

이를 위해 충돌 모니터링은 선박이 포함된 이미지로부터 2개의 포인트를 추출하고, 추출된 2개의 포인트에 기초하여 충돌 관련 정보를 획득하는 것일 수 있다. 예를 들어, 충돌 모니터링은 이미지에서 선박의 선수 및 선미에 대응하는 2개의 포인트를 획득하고, 추출된 2개의 포인트 중 하나의 포인트로부터 선박의 선수와 관련된 충돌 관련 정보를 획득하고, 추출된 2개의 포인트 중 다른 하나의 포인트로부터 선박의 선미와 관련된 충돌 관련 정보를 획득하는 것일 수 있다. 여기서, 선박의 선수와 관련된 충돌 관련 정보는 선박의 선수와 다른 선박 사이의 거리, 선박의 선수가 다른 선박으로 접근하는 속도 등을 포함할 수 있고, 선박의 선미와 관련된 충돌 관련 정보는 선박의 선미와 다른 선박 사이의 거리, 선박의 선미가 다른 선박으로 접근하는 속도 등을 포함할 수 있다. 후술하겠지만, 추출된 2개의 포인트는 선박의 선수 및 선미에 대응하는 2개의 포인트로 또는 선박의 선수단부 및 선미단부에 대응하는 2개의 포인트로 결정될 수 있다. To this end, collision monitoring may be to extract two points from an image including a ship, and to obtain collision-related information based on the extracted two points. For example, collision monitoring acquires two points corresponding to the bow and stern of the ship in the image, obtains collision-related information related to the bow of the ship from one of the extracted two points, and obtains the extracted two points. It may be to acquire collision-related information related to the stern of the ship from another one of the points. Here, the collision-related information related to the bow of the vessel may include a distance between the bow of the vessel and another vessel, a speed at which the bow of the vessel approaches another vessel, and the like, and the collision related information related to the stern of the vessel is the stern of the vessel. This may include the distance between the ship and the other ship, the speed at which the stern of the ship approaches the other ship, and so on. As will be described later, the extracted two points may be determined as two points corresponding to the bow and stern of the ship or two points corresponding to the fore and aft ends of the ship.

다만, 이미지에 기반한 모니터링은 상술한 바와 같이 접안 모니터링을 위한 2개의 포인트 및 충돌 모니터링을 위한 2개의 포인트, 총 4개의 포인트에 기초하여 수행될 수 있으나, 예를 들어, 이미지에 기반한 모니터링은 접안 모니터링을 위한 1개의 포인트 및 충돌 모니터링을 위한 2개의 포인트에 기초하여 수행될 수 있는 등 더 적은 개수의 포인트 또는 더 많은 개수의 포인트에 기초하여 수행되어도 무방하다.However, image-based monitoring may be performed based on a total of four points, two points for eyepiece monitoring and two points for collision monitoring, as described above. For example, image-based monitoring is eyepiece monitoring. It may be performed based on a smaller number of points or a larger number of points, such as may be performed based on one point for , and two points for collision monitoring.

이하에서는, 일 실시예에 따른, 4개의 포인트에 기초하여 모니터링을 수행하는 방법에 대해서 상세히 설명하도록 한다. Hereinafter, a method of performing monitoring based on four points according to an embodiment will be described in detail.

도 17은 일 실시예에 따른 접안 모니터링 및 충돌 모니터링에 관한 순서도이다.17 is a flowchart related to berthing monitoring and collision monitoring according to an embodiment.

도 17을 참고하면, 일 실시예에 따른 항만 모니터링은 선박의 한 쌍의 제1 포인트들 및 한 쌍의 제2 포인트들을 추출하는 단계(S222), 한 쌍의 제1 포인트들에 기초하여 접안 관련 정보 획득하는 단계(S232) 및 한 쌍의 제2 포인트들에 기초하여 충돌 관련 정보 획득하는 단계(S242)를 포함할 수 있다. 여기서, 선박의 접안 관련 정보 및/또는 충돌 관련 정보는 접안 가이드 정보에 포함될 수 있다.Referring to Figure 17, port monitoring according to an embodiment is a step of extracting a pair of first points and a pair of second points of the vessel (S222), berthing-related based on the pair of first points It may include obtaining information (S232) and obtaining collision-related information based on the pair of second points (S242). Here, the berthing-related information and/or the collision-related information of the vessel may be included in the berthing guide information.

일 실시예에 따르면, 장치(10)는 선박이 포함된 이미지로부터 한 쌍의 제1 포인트들 및 한 쌍의 제2 포인트들을 추출할 수 있다(S222). According to an embodiment, the device 10 may extract a pair of first points and a pair of second points from an image including a ship ( S222 ).

일 실시예에 따르면, 제어 모듈(200)은 선박의 접안 관련 정보를 획득하기 위한 한 쌍의 제1 포인트들을 추출할 수 있다. 예를 들어, 제어 모듈(200)은 선박의 선수 거리 및 선미 거리를 획득하기 위한 한 쌍의 제1 포인트들을 추출할 수 있다. 이를 위해 제어 모듈(200)은 이미지로부터 선박이 해수면과 접하는 밑면의 양 단부에 대응하는 한 쌍의 제1 포인트들을 추출할 수 있다. 다만, 제어 모듈(200)은 선박이 해수면과 접하는 밑면을 이루는 복수의 포인트들 중 2개의 포인트들을 한 쌍의 제1 포인트들로 추출하는 등 다른 방식으로 추출해도 무방하다. According to an embodiment, the control module 200 may extract a pair of first points for obtaining the berthing-related information of the vessel. For example, the control module 200 may extract a pair of first points for obtaining the bow distance and the stern distance of the ship. To this end, the control module 200 may extract a pair of first points corresponding to both ends of the bottom surface of the vessel in contact with the sea level from the image. However, the control module 200 may extract in other ways, such as extracting two points from among a plurality of points forming the bottom surface of the ship in contact with the sea level as a pair of first points.

일 실시예에 따르면, 제어 모듈(200)은 선박에 대응하는 영역에 기초하여 한 쌍의 제1 포인트들을 추출할 수 있다. According to an embodiment, the control module 200 may extract a pair of first points based on an area corresponding to the vessel.

도 18은 일 실시예에 따른 접안 관련 정보의 획득을 위한 포인트 추출의 일 예에 관한 도면이다. 18 is a diagram related to an example of point extraction for obtaining eyepiece-related information according to an embodiment.

도 18을 참고하면 제어 모듈(200)은 상기 선박에 대응하는 영역이 해수면과 접하는 선(152)을 추출할 수 있다. 이를 위해, 제어 모듈(200)은 이미지로부터 선박에 대응하는 영역을 획득할 수 있다. 예를 들어, 제어 모듈(200)은 이미지 세그멘테이션을 수행하여 카메라로부터 획득한 이미지로부터 세그멘테이션 이미지를 생성하고, 세그멘테이션 이미지 중 픽셀의 클래스 값이 선박에 해당하는 영역을 획득할 수 있다. Referring to FIG. 18 , the control module 200 may extract a line 152 in which an area corresponding to the vessel is in contact with the sea level. To this end, the control module 200 may obtain a region corresponding to the vessel from the image. For example, the control module 200 may perform image segmentation to generate a segmented image from an image obtained from a camera, and obtain a region in the segmented image in which a class value of a pixel corresponds to a ship.

또한, 제어 모듈(200)은 획득한 선박에 대응하는 영역이 해수면과 접하는 선(152)을 추출할 수 있다. 예를 들어, 제어 모듈(200)은 세그멘테이션 이미지 중 픽셀의 클래스 값이 선박에 해당하는 영역이 해수면과 접하는 선을 추출할 수 있다. Also, the control module 200 may extract a line 152 in which an area corresponding to the acquired vessel is in contact with the sea level. For example, the control module 200 may extract a line in which a region corresponding to a ship having a class value of a pixel in the segmented image is in contact with the sea level.

또한, 제어 모듈(200)은 상기 해수면과 접하는 선(152)을 이루는 복수의 포인트 중 임의의 2개의 포인트를 한 쌍의 제1 포인트들로 결정할 수 있다. 예를 들어, 제어 모듈(200)은 상기 해수면과 접하는 선의 양 단부를 한 쌍의 제1 포인트들(151-1, 151-2)로 결정할 수 있다. 다만, 제어 모듈(200)은 상기 해수면과 접하는 선의 양 단부와 기설정된 거리만큼 떨어진 위치에 있는 포인트들을 한 쌍의 제1 포인트들로 결정하는 등 다른 방식으로 한 쌍의 제1 포인트들을 결정하여도 무방하다.Also, the control module 200 may determine any two points among a plurality of points forming the line 152 in contact with the sea level as a pair of first points. For example, the control module 200 may determine both ends of the line in contact with the sea level as a pair of first points 151-1 and 151-2. However, even if the control module 200 determines the pair of first points in a different way, such as determining the points located at a location separated by a predetermined distance from both ends of the line in contact with the sea level as a pair of first points, free of charge

물론, 반드시 그러한 것은 아니며, 제어 모듈(200)은 카메라로부터 획득된 촬영 영상 등의 이미지에 기초하여 한 쌍의 제1 포인트들(151-1, 151-2)을 추출해도 무방하다.Of course, this is not always the case, and the control module 200 may extract a pair of first points 151-1 and 151-2 based on an image such as a captured image obtained from a camera.

일 실시예에 따르면, 제어 모듈(200)은 이미지 상의 선박을 다각형화하는 방식으로 한 쌍의 제1 포인트들을 추출할 수 있다. 예를 들어, 제어 모듈(200)은 이미지 상의 선박의 경계를 표시하는 경계 다각형(boundary polygon)을 결정할 수 있고, 제어 모듈(200)은 결정된 경계 다각형에 기초하여 한 쌍의 제1 포인트들을 추출할 수 있다.According to an embodiment, the control module 200 may extract a pair of first points in a manner that polygons the vessel on the image. For example, the control module 200 may determine a boundary polygon indicating the boundary of the vessel on the image, and the control module 200 may extract a pair of first points based on the determined boundary polygon. can

도 19는 일 실시예에 따른 접안 관련 정보의 획득을 위한 포인트 추출의 다른 예에 관한 도면이다. 19 is a diagram related to another example of point extraction for obtaining eyepiece-related information according to an embodiment.

도 19를 참고하면, 제어 모듈(200)은 이미지 상의 선박을 다각형화하여 선박의 경계를 표시하는 경계 다각형(161)을 결정할 수 있다. 예를 들어, 제어 모듈(200)은 이미지 세그멘테이션을 수행하여 카메라로부터 획득한 이미지로부터 세그멘테이션 이미지에 기초하여 선박의 경계를 표시하는 경계 다각형(161)을 생성할 수 있다. 구체적으로, 제어 모듈(200)은 세그멘테이션 이미지 중 픽셀의 클래스 값이 선박에 해당하는 영역을 다각형화하여 선박의 경계를 표시하는 경계 다각형(161)을 결정할 수 있다.Referring to FIG. 19 , the control module 200 may determine a boundary polygon 161 indicating the boundary of the vessel by polygonizing the vessel on the image. For example, the control module 200 may perform image segmentation to generate the boundary polygon 161 indicating the boundary of the vessel based on the segmentation image from the image obtained from the camera. Specifically, the control module 200 may determine a boundary polygon 161 that indicates the boundary of the vessel by polygonizing an area in the segmented image where the class value of the pixel corresponds to the vessel.

또한, 제어 모듈(200)은 결정된 경계 다각형(161)에 기초하여 선박의 접안 관련 정보를 획득하기 위한 한 쌍의 제1 포인트들(163)을 추출할 수 있다. 예를 들어, 제어 모듈(200)은 한 쌍의 제1 포인트들(163-1, 163-2)을 경계 다각형(161)의 복수의 포인트 중 임의의 두 개의 포인트로 결정할 수 있다. 구체적으로, 제어 모듈(200)은 한 쌍의 제1 포인트들(163-1, 163-2)을 경계 다각형(161)의 선박의 하부에 대응하는 복수의 포인트 중 임의의 두 개의 포인트로 결정할 수 있다. 여기서, 제어 모듈(200)은 한 쌍의 제1 포인트들(163-1, 163-2)을 경계 다각형(161)의 선박의 선수단부 및 선미단부에 대응하는 두 개의 포인트 각각과 가장 인접한 두 개의 포인트로 결정할 수 있다. In addition, the control module 200 may extract a pair of first points 163 for obtaining the berthing-related information of the vessel based on the determined boundary polygon 161 . For example, the control module 200 may determine the pair of first points 163 - 1 and 163 - 2 as any two points among a plurality of points of the boundary polygon 161 . Specifically, the control module 200 may determine the pair of first points 163-1 and 163-2 as any two points among a plurality of points corresponding to the lower part of the vessel of the boundary polygon 161. have. Here, the control module 200 sets the pair of first points 163-1 and 163-2 to the two points closest to each of the two points corresponding to the front end and the stern end of the vessel of the boundary polygon 161. points can be determined.

다만, 제어 모듈(200)은 경계 다각형(161)에 기초하여 한 쌍의 제1 포인트들(163-1, 163-2)을 다양한 방식으로 결정할 수 있으며, 제어 모듈(200)은 한 쌍의 제1 포인트들(163-1, 163-2)을 경계 다각형(161)의 포인트들 중 안벽과의 거리가 가장 작은 두 개의 포인트 또는 경계 다각형(161)의 선박의 선수단부 및 선미단부에 대응되는 두 개의 포인트 각각과 두 번째로 인접한 두 개의 포인트로 결정하는 등 상술한 방식에 한정되지 않고 다른 방식으로 한 쌍의 제1 포인트들(163-1, 163-2)을 결정해도 무방하다.However, the control module 200 may determine the pair of first points 163-1 and 163-2 in various ways based on the boundary polygon 161, and the control module 200 may determine the pair of first points 163-1 and 163-2 in various ways. One point (163-1, 163-2) of the points of the boundary polygon 161, two points having the smallest distance from the quay or two points corresponding to the forward end and the stern end of the vessel of the boundary polygon 161 The pair of first points 163 - 1 and 163 - 2 may be determined in another method without being limited to the above-described method, such as determining each of the points as two points adjacent to each other.

물론, 제어 모듈(200)은 한 쌍의 제1 포인트들(163-1, 163-2)의 추출을 경계 다각형(161)자체가 아니라 경계 다각형(161)을 포함하는 특정 영역에 기초하여 수행해도 무방하며, 경계 다각형(161)은 도 19에 도시된 다각형과는 달리 사각형, 오각형, 육각형, 칠각형 등 선박의 형태 및 크기에 따라 꼭지점의 개수가 달라져도 무방하다. 또한, 반드시 그러한 것은 아니며, 제어 모듈(200)은 카메라로부터 획득된 촬영 영상 등의 이미지에 기초하여 한 쌍의 제1 포인트들(163-1, 163-2)의 추출하는 것도 가능하다.Of course, the control module 200 may perform the extraction of the pair of first points 163-1 and 163-2 based on a specific area including the boundary polygon 161 rather than the boundary polygon 161 itself. Unlike the polygon shown in FIG. 19 , the boundary polygon 161 may have a different number of vertices depending on the shape and size of the vessel, such as a quadrangle, a pentagon, a hexagon, and a heptagon. Also, this is not necessarily the case, and the control module 200 may extract a pair of first points 163-1 and 163-2 based on an image such as a captured image obtained from a camera.

일 실시예에 따르면, 제어 모듈(200)은 이미지 상의 선박의 경계 다각형(161)의 일부에 기초하여 선박의 한 쌍의 제1 포인트들을 추출할 수 있다.According to an embodiment, the control module 200 may extract a pair of first points of the vessel based on a part of the boundary polygon 161 of the vessel on the image.

구체적으로, 제어 모듈(200)은 한 쌍의 제1 포인트들을 추출하기 위한 경계 다각형(161)의 기설정된 영역을 결정할 수 있다. 제어 모듈(200)은 상기 기설정된 영역에 기초하여 한 쌍의 제1 포인트들을 추출할 수 있다. 예를 들어, 제어 모듈(200)은 선박 하부에 대응하는 경계 다각형(161)의 하부 영역을 결정하고, 경계 다각형(161)의 하부 영역에 기초하여 한 쌍의 제1 포인트들을 추출할 수 있다. 여기서, 제어 모듈(200)은 경계 다각형의 기설정된 영역을 다양한 방식으로 결정할 수 있다. 예를 들어, 제어 모듈(200)은 선박의 크기 또는 형상에 기초하여 기설정된 영역을 결정할 수 있다. 구체적으로, 제어 모듈(200)은 경계 다각형의 기설정된 영역을 선박의 크기가 클수록 커지도록 결정할 수 있다. 다른 예를 들어, 제어 모듈(200)은 경계 다각형의 기설정된 영역을 선박의 형상에 따라 원형의 영역으로 결정할 수 있다.Specifically, the control module 200 may determine a preset area of the boundary polygon 161 for extracting the pair of first points. The control module 200 may extract a pair of first points based on the preset area. For example, the control module 200 may determine a lower area of the boundary polygon 161 corresponding to the lower part of the ship, and extract a pair of first points based on the lower area of the boundary polygon 161 . Here, the control module 200 may determine the preset area of the boundary polygon in various ways. For example, the control module 200 may determine a preset area based on the size or shape of the vessel. Specifically, the control module 200 may determine the preset area of the boundary polygon to increase as the size of the vessel increases. As another example, the control module 200 may determine the preset area of the boundary polygon as a circular area according to the shape of the vessel.

또한, 제어 모듈(200)은 경계 다각형의 일부를 포함하는 기설정된 영역에 기초하여 한 쌍의 제1 포인트들을 추출해도 무방하며, 뿐만 아니라 2개의 포인트를 추출하여 선박의 접안 관련 정보를 획득하는 대신 영역의 외곽선, 또는 영역 자체에 기초하여 선박의 접안 관련 정보를 획득하여도 무방하다. In addition, the control module 200 may extract a pair of first points based on a preset area including a part of the boundary polygon, as well as extracting two points instead of obtaining berthing-related information of the vessel It is ok to acquire information related to berthing of a ship based on the outline of the area or the area itself.

일 실시예에 따르면, 제어 모듈(200)은 선박의 충돌 관련 정보를 획득하기 위한 한 쌍의 제2 포인트들을 추출할 수 있다. 예를 들어, 제어 모듈(200)은 선박의 선박간 거리를 획득하기 위한 한 쌍의 제2 포인트들을 추출할 수 있다. 이를 위해 제어 모듈(200)은 이미지로부터 선박의 선수 및 선미에 대응하는 한 쌍의 제2 포인트들을 추출할 수 있다.According to an embodiment, the control module 200 may extract a pair of second points for obtaining collision-related information of a ship. For example, the control module 200 may extract a pair of second points for obtaining the intership distance of the vessel. To this end, the control module 200 may extract a pair of second points corresponding to the bow and stern of the ship from the image.

일 실시예에 따르면, 제어 모듈(200)은 선박에 대응하는 영역에 기초하여 한 쌍의 제2 포인트들을 추출할 수 있다. According to an embodiment, the control module 200 may extract a pair of second points based on an area corresponding to the vessel.

도 20은 일 실시예에 따른 충돌 관련 정보의 획득을 위한 포인트 추출의 일 예에 관한 도면이다. 20 is a diagram illustrating an example of point extraction for obtaining collision-related information according to an embodiment.

도 20을 참고하면 상기 선박에 대응하는 영역에서 선박의 선수측면에 대응하는 선수선(172) 및 선미측면에 대응하는 선미선(173)을 추출할 수 있다. 여기서, 선박의 선수측면은 선수의 단부로부터 선박이 해수면에 접하는 밑면의 선수쪽 단부까지에 해당하는 선박의 부분일 수 있고, 선박의 선미측면은 선미의 단부로부터 선박이 해수면에 접하는 밑면의 선미쪽 단부까지에 해당하는 선박의 부분일 수 있다. 이를 위해, 제어 모듈(200)은 이미지로부터 선박에 대응하는 영역을 획득할 수 있다. 예를 들어, 제어 모듈(200)은 이미지 세그멘테이션을 수행하여 카메라로부터 획득한 이미지로부터 세그멘테이션 이미지를 생성할 수 있고, 제어 모듈(200)은 세그멘테이션 이미지 중 픽셀의 클래스 값이 선박에 해당하는 영역을 획득할 수 있다. Referring to FIG. 20 , a bow 172 corresponding to the bow side of the vessel and a stern 173 corresponding to the stern side may be extracted from the area corresponding to the vessel. Here, the bow side of the ship may be a part of the ship from the end of the bow to the bow end of the bottom of the ship in contact with the sea level, and the aft side of the ship is from the end of the stern to the stern side of the bottom where the ship is in contact with the sea level It may be the part of the vessel that corresponds to the end. To this end, the control module 200 may obtain a region corresponding to the vessel from the image. For example, the control module 200 may perform image segmentation to generate a segmented image from an image obtained from a camera, and the control module 200 obtains an area in which the class value of a pixel in the segmented image corresponds to a ship. can do.

또한, 제어 모듈(200)은 선박에 대응하는 영역에서 선박의 선수측면에 대응하는 선수선(172) 및 선미측면에 대응하는 선미선(173)을 추출할 수 있다. 예를 들어, 제어 모듈(200)은 세그멘테이션 이미지 중 픽셀의 클래스 값이 선박에 해당하는 영역에서 선박의 선수측면에 대응하는 선수선(172) 및 선미측면에 대응하는 선미선(173)을 추출할 수 있다. In addition, the control module 200 may extract the bow 172 corresponding to the bow side of the ship and the stern ship 173 corresponding to the stern side in the area corresponding to the vessel. For example, the control module 200 extracts the bow line 172 corresponding to the bow side of the vessel and the stern line 173 corresponding to the stern side in the region where the class value of the pixel in the segmentation image corresponds to the vessel. can

또한, 제어 모듈(200)은 선수선(172)을 이루는 복수의 포인트 중 하나의 포인트 및 선미선(173)을 이루는 복수의 포인트 중 하나의 포인트를 한 쌍의 제2 포인트들로 결정할 수 있다. 예를 들어, 제어 모듈(200)은 선수선(172)의 하나의 단부 및 선미선(173)의 하나의 단부를 한 쌍의 제2 포인트들(171-1, 171-2)로 결정할 수 있다. 여기서, 선수선(172)의 하나의 단부는 선수 쪽의 단부일 수 있고, 선미선(173)의 하나의 단부는 선미 쪽의 단부일 수 있다. Also, the control module 200 may determine one point among a plurality of points forming the bow line 172 and one point among a plurality of points forming the stern line 173 as a pair of second points. For example, the control module 200 may determine one end of the bow line 172 and one end of the stern line 173 as a pair of second points 171-1 and 171-2. . Here, one end of the bow line 172 may be an end of the bow side, and one end of the stern line 173 may be an end of the stern side.

다만, 제어 모듈(200)은 선수선(172)의 하나의 단부 및 선미선(173)의 하나의 단부와 기설정된 거리만큼 떨어진 위치에 있는 포인트들을 한 쌍의 제2 포인트들로 결정하는 등 다른 방식으로 한 쌍의 제2 포인트들을 결정하여도 무방하다.However, the control module 200 determines the points at a location separated by a predetermined distance from one end of the bow line 172 and one end of the stern line 173 as a pair of second points, etc. The pair of second points may be determined in this manner.

물론, 반드시 그러한 것은 아니며, 제어 모듈(200)은 카메라로부터 획득된 촬영 영상 등의 이미지에 기초하여 한 쌍의 제2 포인트들(171-1, 171-2)을 추출하는 것도 가능하다.Of course, this is not always the case, and the control module 200 may extract a pair of second points 171-1 and 171-2 based on an image such as a captured image obtained from a camera.

일 실시예에 따르면, 제어 모듈(200)은 이미지 상의 선박을 다각형화하는 방식으로 한 쌍의 제2 포인트들을 추출할 수 있다. According to an embodiment, the control module 200 may extract a pair of second points in a manner that polygons the vessel on the image.

구체적으로, 제어 모듈(200)은 이미지 상의 선박의 경계를 표시하는 경계 다각형을 결정할 수 있다. 제어 모듈(200)은 결정된 경계 다각형에 기초하여 한 쌍의 제2 포인트들을 추출할 수 있다.Specifically, the control module 200 may determine a boundary polygon indicating the boundary of the vessel on the image. The control module 200 may extract a pair of second points based on the determined boundary polygon.

도 21은 일 실시예에 따른 충돌 관련 정보의 획득을 위한 포인트 추출의 다른 예에 관한 도면이다. 21 is a diagram illustrating another example of point extraction for obtaining collision-related information according to an embodiment.

도 21을 참고하면, 제어 모듈(200)은 이미지 상의 선박을 다각형화하여 선박의 경계를 표시하는 경계 다각형(181)을 결정할 수 있다. 제어 모듈(200)은 결정된 경계 다각형(181)에 기초하여 선박의 충돌 관련 정보를 획득하기 위한 한 쌍의 제2 포인트들(183-1, 183-2)을 추출할 수 있다. 구체적으로, 제어 모듈(200)은 선박의 선수 및 선미에 대응하는 한 쌍의 제2 포인트들(183-1, 183-2)을 경계 다각형(181)에 기초하여 추출할 수 있다. 예를 들어, 제어 모듈(200)은 한 쌍의 제2 포인트들(183-1, 183-2)을 경계 다각형(181)의 복수의 포인트 중 임의의 두 개의 포인트로 결정할 수 있다. 구체적으로, 제어 모듈(200)은 한 쌍의 제2 포인트들(183-1, 183-2)을 경계 다각형(181)의 선박의 제1 방향 부분(일 예로, 선수)에 대응하는 복수의 제1 방향 포인트(일 예로, 선수 포인트) 중 하나의 포인트 및 경계 다각형(181)의 선박의 제2 방향 부분(일 예로, 선미)에 대응하는 복수의 제2 방향 포인트(일 예로, 선미 포인트) 중 하나의 포인트로 결정할 수 있다. 여기서, 제어 모듈(200)은 한 쌍의 제2 포인트들(183-1, 183-2)을 선수 포인트들 중 선수단부에 대응하는 하나의 포인트 및 선미 포인트들 중 선미단부에 대응하는 하나의 포인트로 결정할 수 있다. Referring to FIG. 21 , the control module 200 may determine a boundary polygon 181 indicating the boundary of the vessel by polygonizing the vessel on the image. The control module 200 may extract a pair of second points 183 - 1 and 183 - 2 for obtaining collision related information of a ship based on the determined boundary polygon 181 . Specifically, the control module 200 may extract a pair of second points 183 - 1 and 183 - 2 corresponding to the bow and stern of the ship based on the boundary polygon 181 . For example, the control module 200 may determine the pair of second points 183 - 1 and 183 - 2 as any two points among a plurality of points of the boundary polygon 181 . Specifically, the control module 200 sets the pair of second points 183 - 1 and 183 - 2 to a plurality of second points corresponding to the first direction part (eg, bow) of the vessel of the boundary polygon 181 . One of a plurality of second direction points (eg, stern point) corresponding to one of the first direction points (eg, bow point) and the second direction portion (eg, stern) of the boundary polygon 181 of the boundary polygon 181 . It can be decided by one point. Here, the control module 200 converts the pair of second points 183-1 and 183-2 to one point corresponding to the fore end of the bow points and one point corresponding to the aft end among the stern points. can be decided with

제어 모듈(200)은 한 쌍의 제2 포인트들(183-1, 183-2)을 경계 다각형(181)의 포인트들 중 제2 포인트(183-1. 183-2) 각각과 다른 오브젝트 사이의 거리의 합이 최소가 되는 2개의 포인트 또는 선수 포인트들 중 선수단부에 대응하는 포인트와 가장 인접한 하나의 포인트 및 선미 포인트들 중 선미단부에 대응하는 포인트와 가장 인접한 하나의 포인트로 결정하는 등 상술한 방식에 한정되지 않고 제어 모듈(200)은 경계 다각형(181)에 기초하여 한 쌍의 제2 포인트들(183-1, 183-2)을 다양한 방식으로 결정할 수 있다.The control module 200 determines a pair of second points 183 - 1 and 183 - 2 between each of the second points 183 - 1 and 183 - 2 among the points of the boundary polygon 181 and another object. The two points at which the sum of the distances are the minimum or one point closest to the point corresponding to the fore end of the bow points and one point closest to the point corresponding to the aft end among the stern points are determined as described above, etc. The method is not limited thereto, and the control module 200 may determine the pair of second points 183 - 1 and 183 - 2 based on the boundary polygon 181 in various ways.

물론, 제어 모듈(200)은 한 쌍의 제2 포인트들(183-1, 183-2)의 추출을 경계 다각형(181)자체가 아니라 경계 다각형(181)을 포함하는 특정 영역에 기초하여 수행해도 무방하다. 또한, 경계 다각형(181)은 도 21에 도시된 다각형과는 달리 사각형, 오각형, 육각형, 칠각형 등 선박의 형태 및 크기에 따라 꼭지점의 개수가 달라져도 무방하다. 반드시 그러한 것은 아니며, 제어 모듈(200)은 카메라로부터 획득된 촬영 영상 등의 이미지에 기초하여 한 쌍의 제2 포인트들(183-1, 183-2)을 추출하는 것도 가능하다.Of course, the control module 200 may perform the extraction of the pair of second points 183-1 and 183-2 based on a specific area including the boundary polygon 181 rather than the boundary polygon 181 itself. free of charge Also, unlike the polygon shown in FIG. 21 , the boundary polygon 181 may have a different number of vertices depending on the shape and size of the vessel, such as a quadrangle, a pentagon, a hexagon, and a heptagon. This is not necessarily the case, and the control module 200 may extract a pair of second points 183 - 1 and 183 - 2 based on an image such as a captured image obtained from a camera.

일 실시예에 따르면, 제어 모듈(200)은 이미지 상의 선박의 경계 다각형(181)의 일부에 기초하여 한 쌍의 제2 포인트들(183-1, 183-2)을 추출할 수 있다. 구체적으로, 제어 모듈(200)은 한 쌍의 제2 포인트들(183-1, 183-2)의 추출을 위한 경계 다각형(181)의 기설정된 영역을 결정할 수 있다. 예를 들어, 제어 모듈(200)은 선박 하부에 대응하는 경계 다각형(181)의 하부 영역을 결정할 수 있다. 제어 모듈(200)은 상기 기설정된 영역에 기초하여 한 쌍의 제2 포인트들(183-1, 183-2)을 추출할 수 있다. 예를 들어, 제어 모듈(200)은 경계 다각형(181)의 하부 영역에 기초하여 선박의 충돌 관련 정보를 획득하기 위한 한 쌍의 제2 포인트들(183-1, 183-2)을 추출할 수 있다. According to an embodiment, the control module 200 may extract a pair of second points 183 - 1 and 183 - 2 based on a part of the boundary polygon 181 of the vessel on the image. Specifically, the control module 200 may determine a preset area of the boundary polygon 181 for extraction of the pair of second points 183 - 1 and 183 - 2 . For example, the control module 200 may determine a lower region of the boundary polygon 181 corresponding to the lower portion of the vessel. The control module 200 may extract a pair of second points 183 - 1 and 183 - 2 based on the preset area. For example, the control module 200 may extract a pair of second points 183-1 and 183-2 for acquiring collision-related information of a vessel based on the lower region of the boundary polygon 181 . have.

제어 모듈(200)은 경계 다각형(181)의 기설정된 영역을 다양한 방식으로 결정할 수 있다. 예를 들어, 제어 모듈(200)은 기설정된 영역을 선박의 크기 또는 형상에 기초하여 결정할 수 있다. 구체적으로, 제어 모듈(200)은 경계 다각형(181)의 기설정된 영역을 선박의 크기가 클수록 커지도록 결정할 수 있다. 다른 예를 들어, 제어 모듈(200)은 경계 다각형(181)의 기설정된 영역을 선박의 형상에 따라 원형의 영역으로 결정할 수 있다.The control module 200 may determine the preset area of the boundary polygon 181 in various ways. For example, the control module 200 may determine the preset area based on the size or shape of the vessel. Specifically, the control module 200 may determine the preset area of the boundary polygon 181 to increase as the size of the vessel increases. As another example, the control module 200 may determine the preset area of the boundary polygon 181 as a circular area according to the shape of the vessel.

물론, 제어 모듈(200)은 경계 다각형(181)의 일부를 포함하는 기설정된 영역에 기초하여 한 쌍의 제2 포인트들(183-1, 183-2)을 추출해도 무방하다. 또한, 제어 모듈(200)은 2개의 포인트를 추출하여 선박의 충돌 관련 정보를 획득하는 대신 영역의 외곽선, 또는 영역 자체에 기초하여 선박의 충돌 관련 정보를 획득하여도 무방하다. Of course, the control module 200 may extract a pair of second points 183 - 1 and 183 - 2 based on a preset area including a part of the boundary polygon 181 . In addition, the control module 200 may acquire collision-related information of a ship based on the outline of the area or the area itself, instead of obtaining the collision-related information of the vessel by extracting two points.

또한 일 실시예에 따르면 선박의 한 쌍의 제1 포인트들 및 한 쌍의 제2 포인트들을 추출하는 단계(S222)는 제어 모듈(200)이 인공 신경망을 이용하여 선박의 접안 관련 정보를 획득하기 위한 한 쌍의 제1 포인트들 및/또는 선박의 충돌 관련 정보를 획득하기 위한 한 쌍의 제2 포인트들을 추출하는 것을 포함할 수 있다. 예를 들어, 제어 모듈(200)은 인공 신경망을 이용하여 선박의 선수 거리 및 선미 거리를 획득하기 위한 한 쌍의 제1 포인트들을 추출할 수 있다. 다른 예를 들어, 제어 모듈(200)은 인공 신경망을 이용하여 선박의 선박간 거리를 획득하기 위한 한 쌍의 제2 포인트들을 추출할 수 있다. In addition, according to an embodiment, the step of extracting the pair of first points and the pair of second points of the vessel ( S222 ) is for the control module 200 to obtain berthing-related information of the vessel using an artificial neural network. It may include extracting a pair of first points and/or a pair of second points for obtaining collision related information of the vessel. For example, the control module 200 may extract a pair of first points for obtaining a bow distance and a stern distance of a ship using an artificial neural network. As another example, the control module 200 may extract a pair of second points for obtaining the intership distance of the vessel using the artificial neural network.

도 22는 일 실시예에 따른 항만 모니터링을 위한 포인트들의 추출의 일 예에 관한 도면이다.22 is a diagram related to an example of extraction of points for port monitoring according to an embodiment.

도 22를 참고하면, 제어 모듈(200)은 선박의 이미지로부터 이미지 세그멘테이션에 의해 선박의 접안 관련 정보를 획득하기 위한 한 쌍의 제1 포인트들(191-1, 191-2)을 추출할 수 있다. Referring to FIG. 22 , the control module 200 may extract a pair of first points 191-1 and 191-2 for acquiring berthing-related information of a ship by image segmentation from an image of the ship. .

일 실시예에 따르면, 제어 모듈(200)은 입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 특징점을 출력하도록 학습된 인공 신경망을 이용한 이미지 세그멘테이션에 의해 선박의 접안 관련 정보를 획득하기 위한 한 쌍의 제1 포인트들(191-1, 191-2)을 추출할 수 있다. 예를 들어, 제어 모듈(200)은 입력 이미지 및 상기 입력 이미지에 포함된 선박 및 바다를 포함하는 오브젝트들에 해당하는 픽셀에 각각 바다, 선박 및 선박의 해수면과 접하는 밑면의 양 단부를 지시하는 클래스 값들을 라벨링한 러닝셋을 이용하여 학습된 인공 신경망을 이용하여 이미지 세그멘테이션을 수행하여 한 쌍의 제1 포인트들(191-1, 191-2)을 추출할 수 있다. 여기서, 제어 모듈(200)은 이미지로부터 세그멘테이션 이미지를 생성할 수 있고, 세그멘테이션 이미지 중 픽셀의 클래스 값이 선박의 해수면과 접하는 밑면의 양 단부에 해당하는 픽셀을 획득할 수 있다.According to an embodiment, the control module 200 is a pair of first for acquiring information related to berthing of a vessel by image segmentation using an artificial neural network trained to output feature points of an object included in the input image from an input image. 1 points 191-1 and 191-2 may be extracted. For example, the control module 200 is a class indicating both ends of the sea, the vessel, and the bottom surface in contact with the sea level of the vessel, respectively, to the pixels corresponding to the input image and the objects including the vessel and the sea included in the input image. A pair of first points 191-1 and 191-2 may be extracted by performing image segmentation using an artificial neural network trained using a learning set labeled with values. Here, the control module 200 may generate a segmentation image from the image, and may obtain a pixel whose class value of the segmented image corresponds to both ends of the bottom surface in contact with the sea level of the ship.

물론, 제어 모듈(200)은 입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 특징점을 출력하도록 학습된 인공 신경망을 이용한 이미지 디텍션에 의해 선박의 접안 관련 정보를 획득하기 위한 한 쌍의 제1 포인트들(191-1, 191-2)을 추출해도 무방하다. 또한, 제어 모듈(200)은 하나의 인공 신경망을 통해 세그멘테이션/디텍션을 수행할 수도 있고, 제어 모듈(200)은 복수의 인공 신경망을 이용하여 각각의 인공 신경망이 세그멘테이션/디텍션을 수행하여 한 쌍의 제1 포인트들(191-1, 191-2)을 추출할 수도 있다. Of course, the control module 200 is a pair of first points for acquiring the berthing-related information of the vessel by image detection using an artificial neural network trained to output the feature points of the object included in the input image from the input image ( 191-1, 191-2) may be extracted. In addition, the control module 200 may perform segmentation/detection through one artificial neural network, and the control module 200 uses a plurality of artificial neural networks to perform segmentation/detection for each artificial neural network to form a pair of The first points 191-1 and 191-2 may be extracted.

또한, 제어 모듈(200)은 선박의 이미지로부터 이미지 세그멘테이션에 의해 선박의 충돌 관련 정보를 획득하기 위한 한 쌍의 제2 포인트들(192-1, 192-2)을 추출할 수 있다.Also, the control module 200 may extract a pair of second points 192-1 and 192-2 for acquiring collision-related information of a ship by image segmentation from the image of the ship.

일 실시예에 따르면, 제어 모듈(200)은 입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 특징점을 출력하도록 학습된 인공 신경망을 이용한 이미지 세그멘테이션에 의해 선박의 충돌 관련 정보를 획득하기 위한 한 쌍의 제2 포인트들(192-1, 192-2)을 추출할 수 있다. 예를 들어, 제어 모듈(200)은 입력 이미지 및 상기 입력 이미지에 포함된 선박 및 바다를 포함하는 오브젝트들에 해당하는 픽셀에 각각 바다, 선박, 선수의 하나의 포인트 및 선미의 하나의 포인트를 지시하는 클래스 값들을 라벨링한 러닝셋을 이용하여 학습된 인공 신경망을 이용하여 이미지 세그멘테이션을 수행하여 한 쌍의 제2 포인트들(192-1, 192-2)을 추출할 수 있다. 구체적으로, 제어 모듈(200)은 이미지로부터 세그멘테이션 이미지를 생성할 수 있고, 세그멘테이션 이미지 중 픽셀의 클래스 값이 선수 및 선미에 해당하는 픽셀을 획득할 수 있다. 여기서, 픽셀의 클래스 값은 선수단부 및 선미단부로 설정되는 값일 수도 있다.According to an embodiment, the control module 200 is a pair of first for obtaining collision-related information of a ship by image segmentation using an artificial neural network trained to output feature points of an object included in the input image from an input image. Two points 192-1 and 192-2 may be extracted. For example, the control module 200 indicates one point of the sea, the ship, and the bow and one point of the stern to pixels corresponding to the input image and objects including the ship and the sea included in the input image, respectively. A pair of second points 192-1 and 192-2 may be extracted by performing image segmentation using an artificial neural network learned using a learning set that labels class values. Specifically, the control module 200 may generate a segmentation image from the image, and may obtain pixels whose class values correspond to the bow and the stern of the segmented image. Here, the class value of the pixel may be a value set at the front end and the stern end.

물론 제어 모듈(200)은 입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 특징점을 출력하도록 학습된 인공 신경망을 이용한 이미지 디텍션에 의해 선박의 충돌 관련 정보를 획득하기 위한 한 쌍의 제2 포인트들(192-1, 192-2)을 추출해도 무방하다. 또한, 제어 모듈(200)은 하나의 인공 신경망을 통해 세그멘테이션/디텍션을 수행할 수도 있고, 제어 모듈(200)은 복수의 인공 신경망을 이용하여 각각의 인공 신경망이 세그멘테이션/디텍션을 수행하여 한 쌍의 제2 포인트들(192-1, 192-2)을 추출할 수도 있다. Of course, the control module 200 provides a pair of second points 192 for acquiring collision-related information of a ship by image detection using an artificial neural network trained to output feature points of an object included in the input image from the input image. -1, 192-2) may be extracted. In addition, the control module 200 may perform segmentation/detection through one artificial neural network, and the control module 200 uses a plurality of artificial neural networks to perform segmentation/detection for each artificial neural network to form a pair of The second points 192-1 and 192-2 may be extracted.

다만, 한 쌍의 제1 포인트들 및 한 쌍의 제2 포인트들의 추출(S222)은 상술한 방식에 의해 수행되는 것으로 한정될 필요는 없고 다양한 방식으로 수행될 수 있다. However, the extraction ( S222 ) of the pair of first points and the pair of second points is not limited to being performed by the above-described method and may be performed in various ways.

일 실시예에 따르면, 장치(10)는 추출된 한 쌍의 제1 포인트들에 기초하여 접안 관련 정보를 획득할 수 있다(S232). According to an embodiment, the device 10 may acquire eyepiece-related information based on the extracted pair of first points (S232).

한 쌍의 제1 포인트들에 기초하여 접안 관련 정보 획득하는 단계(S232)는 제어 모듈(200)이 한 쌍의 제1 포인트들 각각과 관련된 접안 관련 정보를 획득하는 것을 포함할 수 있다. 예를 들어, 제어 모듈(200)은 한 쌍의 제1 포인트들 중 하나의 제1 포인트와 안벽 사이의 거리 및 다른 하나의 제1 포인트와 안벽 사이의 거리를 획득할 수 있다. 즉, 제어 모듈(200)은 한 쌍의 제1 포인트들에 기초하여 선박의 선수 거리 및 선미 거리를 획득할 수 있다. The step of obtaining eyepiece-related information based on the pair of first points (S232) may include obtaining, by the control module 200, eyepiece-related information related to each of the pair of first points. For example, the control module 200 may obtain a distance between one first point and the quay wall and a distance between the other first point and the quay wall among the pair of first points. That is, the control module 200 may acquire the bow distance and the stern distance of the ship based on the pair of first points.

일 실시예에 따르면, 제어 모듈(200)은 이미지 픽셀을 기반으로 선박의 선수 거리 및/또는 선미 거리를 획득할 수 있다. 예를 들어, 제어 모듈(200)은 이미지 픽셀을 기반으로 한 쌍의 제1 포인트들과 안벽 사이의 거리를 획득할 수 있다. 구체적으로, 제어 모듈(200)은 한 쌍의 제1 포인트들 중 하나의 제1 포인트와 안벽 사이의 거리를 선수 거리로서 이미지 픽셀을 기반으로 획득할 수 있고, 제어 모듈(200)은 한 쌍의 제1 포인트들 중 다른 하나의 제1 포인트와 안벽 사이의 거리를 선미 거리로서 이미지 픽셀을 기반으로 획득할 수 있다. 여기서, 픽셀은 제어 모듈(200)이 이미지 분석을 수행하는 이미지 상의 픽셀일 수 있으나, 스크린 상에서 디스플레이 되는 이미지 상의 픽셀이 되는 등 이에 한정되지 않는다.According to an embodiment, the control module 200 may acquire the bow distance and/or the stern distance of the vessel based on the image pixel. For example, the control module 200 may acquire the distance between the pair of first points and the quay wall based on the image pixel. Specifically, the control module 200 may obtain the distance between the first point of the pair of first points and the quay wall as the bow distance based on the image pixel, and the control module 200 may obtain the distance between the first point of the pair of first points and the quay wall. A distance between the first point of the other one of the first points and the quay wall may be obtained as the stern distance based on the image pixel. Here, the pixel may be a pixel on an image on which the control module 200 performs image analysis, but is not limited thereto, such as a pixel on an image displayed on a screen.

도 23은 일 실시예에 따른 접안 관련 정보 획득의 일 예에 관한 도면이다.23 is a diagram related to an example of obtaining eyepiece-related information according to an embodiment.

도 23을 참조하면, 제어 모듈(200)은 이미지 픽셀을 기반으로 한 쌍의 제1 포인트들(2001, 2002) 각각과 안벽 사이의 거리를 획득할 수 있다. Referring to FIG. 23 , the control module 200 may obtain a distance between each of the pair of first points 2001 and 2002 and the quay wall based on the image pixel.

제어 모듈(200)은 이미지 픽셀을 기반으로 제1 포인트(2001)와 안벽 사이의 선수 거리(2003)를 획득할 수 있다. 예를 들어, 제어 모듈(200)은 하나의 이미지 픽셀마다 일정 거리를 할당하고 제1 포인트(2001)와 안벽 사이의 픽셀 개수에 비례하여 선수 거리(2003)를 산출할 수 있다. 구체적으로, 제어 모듈(200)은 제1 포인트(2001)와 안벽 사이의 픽셀 개수와 이미지 픽셀마다 할당된 거리를 곱하여 선수 거리(2003)를 산출할 수 있다. 예를 들어, 도 23에서 각 픽셀마다 할당된 거리가 50m인 경우, 제1 포인트(2001)와 안벽 사이의 픽셀의 수가 5개이므로, 제어 모듈(200)은 선수 거리(2003)를 각 픽셀마다 할당된 거리 50m와 제1 포인트(2001)와 안벽 사이의 픽셀의 수 5개를 곱한 값인 250m로 산출할 수 있다. 여기서, 제어 모듈(200)은 카메라 각도에 의해 이미지 상에서 안벽으로부터 먼 픽셀일수록 픽셀에 할당되는 거리를 증가시킬 수 있다. 또는 제어 모듈(200)은 픽셀의 이미지상에서의 좌표값을 바탕으로 픽셀 사이의 거리를 산출하고 이에 기초하여 포인트 사이의 거리를 산출할 수도 있다.The control module 200 may acquire the bow distance 2003 between the first point 2001 and the quay wall based on the image pixel. For example, the control module 200 may allocate a certain distance to each image pixel and calculate the bow distance 2003 in proportion to the number of pixels between the first point 2001 and the quay wall. Specifically, the control module 200 may calculate the bow distance 2003 by multiplying the number of pixels between the first point 2001 and the quay wall and the distance allocated to each image pixel. For example, when the distance allocated to each pixel in FIG. 23 is 50 m, the number of pixels between the first point 2001 and the quay wall is 5, so the control module 200 sets the bow distance 2003 for each pixel. It can be calculated as 250m, which is a value obtained by multiplying the allocated distance by 50m and the number of pixels between the first point 2001 and the quay wall by 5. Here, the control module 200 may increase the distance allocated to the pixel as the pixel is farther from the quay wall on the image by the camera angle. Alternatively, the control module 200 may calculate the distance between pixels based on the coordinate values of the pixels on the image, and calculate the distance between points based on this.

또한, 제어 모듈(200)은 이미지 픽셀을 기반으로 제1 포인트(2002)와 안벽 사이의 선미 거리(2004)를 획득할 수 있다. 예를 들어, 제어 모듈(200)은 하나의 이미지 픽셀마다 일정 거리를 할당하고 제1 포인트(2002)와 안벽 사이의 픽셀 개수에 비례하여 선미 거리(2004)를 산출할 수 있다. 구체적으로, 제어 모듈(200)은 제1 포인트(2002)와 안벽 사이의 픽셀 개수와 이미지 픽셀마다 할당된 거리를 곱하여 선미 거리(2004)를 산출할 수 있다. 예를 들어, 도 23에서 각 픽셀마다 할당된 거리가 50m인 경우, 제1 포인트(2002)와 안벽 사이의 픽셀의 수가 6.5개이므로, 제어 모듈(200)은 선미 거리(2004)를 각 픽셀마다 할당된 거리 50m와 제1 포인트(2002)와 안벽 사이의 픽셀의 수 6.5개를 곱한 값인 325m로 산출할 수 있다. 여기서, 제어 모듈(200)은 카메라 각도에 의해 이미지 상에서 안벽으로부터 먼 픽셀일수록 픽셀에 할당되는 거리를 증가시킬 수 있다. 또한 제어 모듈(200)은 픽셀의 이미지상에서의 좌표값을 바탕으로 픽셀 사이의 거리를 산출하고 이에 기초하여 포인트 사이의 거리를 산출할 수도 있다.Also, the control module 200 may obtain the stern distance 2004 between the first point 2002 and the quay wall based on the image pixel. For example, the control module 200 may allocate a predetermined distance to each image pixel and calculate the stern distance 2004 in proportion to the number of pixels between the first point 2002 and the quay wall. Specifically, the control module 200 may calculate the stern distance 2004 by multiplying the number of pixels between the first point 2002 and the quay wall by the distance allocated for each image pixel. For example, when the distance allocated to each pixel in FIG. 23 is 50 m, the number of pixels between the first point 2002 and the quay wall is 6.5, so the control module 200 sets the stern distance 2004 to each pixel. It can be calculated as 325 m, which is a value obtained by multiplying the allocated distance by 50 m and the number of pixels between the first point 2002 and the quay wall by 6.5. Here, the control module 200 may increase the distance allocated to the pixel as the pixel is farther from the quay wall on the image by the camera angle. Also, the control module 200 may calculate the distance between pixels based on the coordinate values of the pixels on the image, and calculate the distance between points based on this.

또한, 한 쌍의 제1 포인트들에 기초하여 접안 관련 정보 획득하는 단계(S232)는 제어 모듈(200)이 한 쌍의 제1 포인트들 각각의 안벽으로 접근하는 속도를 획득하는 것을 포함할 수 있다. 예를 들어, 제어 모듈(200)은 한 쌍의 제1 포인트들 중 하나의 제1 포인트와 안벽 사이의 거리에 기초하여 상기 하나의 제1 포인트가 안벽으로 접근하는 속도를 획득할 수 있다. 또한, 제어 모듈(200)은 한 쌍의 제1 포인트들 중 다른 하나의 제1 포인트와 안벽 사이의 거리에 기초하여 상기 다른 하나의 제1 포인트가 안벽으로 접근하는 속도를 획득할 수 있다. 즉, 제어 모듈(200)은 한 쌍의 제1 포인트들에 기초하여 선박의 선수 속도 및 선미 속도를 획득할 수 있다.In addition, the step of obtaining eyepiece-related information based on the pair of first points ( S232 ) may include obtaining the speed at which the control module 200 approaches the quay wall of each of the pair of first points. . For example, the control module 200 may acquire the speed at which the one first point approaches the quay wall based on a distance between the first point of the pair of first points and the quay wall. Also, the control module 200 may acquire a speed at which the other first point approaches the quay wall based on a distance between the quay wall and the other first point among the pair of first points. That is, the control module 200 may acquire the bow speed and the stern speed of the ship based on the pair of first points.

일 실시예에 따르면, 제어 모듈(200)은 이미지 픽셀을 기반으로 선박의 선수 속도 및/또는 선미 속도를 획득할 수 있다. 예를 들어, 제어 모듈(200)은 이미지 픽셀을 기반으로 한 쌍의 제1 포인트들 각각이 안벽으로 접근하는 속도를 획득할 수 있다. 구체적으로, 제어 모듈(200)은 한 쌍의 제1 포인트들 중 하나의 제1 포인트가 안벽으로 접근하는 속도를 선수 속도로서 이미지 픽셀을 기반으로 획득할 수 있다. 또한, 제어 모듈(200)은 한 쌍의 제1 포인트들 중 다른 하나의 제1 포인트가 안벽으로 접근하는 속도를 선미 속도로서 이미지 픽셀을 기반으로 획득할 수 있다. According to an embodiment, the control module 200 may acquire the bow speed and/or the stern speed of the vessel based on the image pixel. For example, the control module 200 may acquire a speed at which each of the pair of first points approaches the quay wall based on the image pixel. Specifically, the control module 200 may acquire the speed at which one of the pair of first points approaches the quay wall as the bow speed based on the image pixel. Also, the control module 200 may acquire, as a stern speed, a speed at which the other first point of the pair of first points approaches the quay wall based on the image pixel.

도 23을 참조하면, 제어 모듈(200)은 이미지 픽셀을 기반으로 한 쌍의 제1 포인트들(2001, 2002) 각각이 안벽으로 접근하는 속도를 획득할 수 있다.Referring to FIG. 23 , the control module 200 may acquire the speed at which each of the pair of first points 2001 and 2002 approaches the quay wall based on the image pixel.

제어 모듈(200)은 이미지 픽셀을 기반으로 제1 포인트(2001)가 안벽으로 접근하는 속도를 획득할 수 있다. 예를 들어, 제어 모듈(200)은 이미지 픽셀을 기반으로 획득한 제1 포인트(2001)와 안벽 사이의 거리인 선수 거리(2003)에 기초하여 선수 속도를 획득할 수 있다. 구체적으로, 제어 모듈(200)은 획득한 선수 거리(2003)의 변화에 기초하여 선수 속도를 산출할 수 있다. 이 경우 제어 모듈(200)은 복수의 이미지 또는 영상 프레임에서의 선수 거리(2003)를 비교하여 선수 속도를 산출할 수 있다. 예를 들어, 제어 모듈(200)은 현재 프레임에서의 선수 거리(2003)와 후속 프레임에서의 선수 거리의 픽셀 개수의 차이 및 프레임 사이의 시간 간격에 기초하여 선수 속도를 산출할 수 있다. 구체적으로, 제어 모듈(200)은 현재 프레임에서의 선수 거리(2003)와 후속 프레임에서의 선수 거리의 픽셀 개수의 차이에 픽셀에 할당된 거리를 곱한 값에서 각 프레임 사이의 시간 간격을 나눈 값을 선수 속도로 산출할 수 있다. 예를 들어, 도 23에서 각 픽셀마다 할당된 거리가 50m인 경우, 프레임 사이의 시간 간격이 1분이고, 현재 프레임에서의 선수 거리(2003) 및 후속 프레임에서의 선수 거리 사이의 픽셀 개수 차이가 1개이면 제어 모듈(200)은 상술한 바에 따라 선수 속도는 50m/min로 산출될 수 있다. 여기서, 제어 모듈(200)은 현재 프레임에서의 선수 거리보다 후속 프레임에서의 선수 거리의 픽셀 개수가 많은 경우 선수가 안벽으로부터 멀어지는 것으로 선수 속도의 방향을 결정할 수 있다. The control module 200 may acquire the speed at which the first point 2001 approaches the quay wall based on the image pixel. For example, the control module 200 may acquire the bow speed based on the bow distance 2003 that is the distance between the first point 2001 and the quay wall acquired based on the image pixel. Specifically, the control module 200 may calculate the speed of the bow based on the obtained change in the distance 2003 of the bow. In this case, the control module 200 may calculate the bow speed by comparing the bow distances 2003 in a plurality of images or image frames. For example, the control module 200 may calculate the bow speed based on a difference in the number of pixels between the bow distance 2003 in the current frame and the bow distance in a subsequent frame and a time interval between frames. Specifically, the control module 200 calculates a value obtained by dividing the time interval between each frame by multiplying the distance allocated to the pixel by the difference between the number of pixels of the bow distance 2003 in the current frame and the bow distance in the subsequent frame. It can be calculated by player speed. For example, in FIG. 23 , when the distance allocated to each pixel is 50 m, the time interval between frames is 1 minute, and the difference in the number of pixels between the bow distance 2003 in the current frame and the bow distance in the subsequent frame is 1 If the dog, the control module 200 may calculate the bow speed as described above as 50 m/min. Here, when the number of pixels of the bow distance in the subsequent frame is greater than the bow distance in the current frame, the control module 200 may determine the direction of the bow speed as the bow moves away from the quay wall.

또한, 제어 모듈(200)은 이미지 픽셀을 기반으로 제1 포인트(2002)가 안벽으로 접근하는 선미 속도를 획득할 수 있다. 예를 들어, 제어 모듈(200)은 이미지 픽셀을 기반으로 획득한 제1 포인트(2002)와 안벽 사이의 거리인 선미 거리(2004)에 기초하여 선미 속도를 획득할 수 있다. 구체적으로, 제어 모듈(200)은 획득한 선미 거리(2004)의 변화에 기초하여 선미 속도를 산출할 수 있다. 이 경우 제어 모듈(200)은 복수의 이미지 또는 영상 프레임에서의 선미 거리(2004)를 비교하여 선미 속도를 산출할 수 있다. 예를 들어, 제어 모듈(200)은 현재 프레임에서의 선미 거리(2004)와 후속 프레임에서의 선미 거리의 픽셀 개수의 차이 및 프레임 사이의 시간 간격에 기초하여 선미 속도를 산출할 수 있다. 구체적으로, 제어 모듈(200)은 현재 프레임에서의 선미 거리(2004)와 후속 프레임에서의 선미 거리의 픽셀 개수의 차이에 픽셀에 할당된 거리를 곱한 값에서 각 프레임 사이의 시간 간격을 나눈 값을 선미 속도로 산출할 수 있다. 예를 들어, 도 23에서 각 픽셀마다 할당된 거리가 50m인 경우, 프레임 사이의 시간 간격이 1분이고, 현재 프레임에서의 선미 거리(2004) 및 후속 프레임에서의 선미 거리 사이의 픽셀 개수 차이가 2개이면 제어 모듈(200)은 상술한 바에 따라 선미 속도는 100m/min로 산출될 수 있다. 여기서, 제어 모듈(200)은 현재 프레임에서의 선미 거리보다 후속 프레임에서의 선미 거리의 픽셀 개수가 많은 경우 선미가 안벽으로부터 멀어지는 것으로 선미 속도의 방향을 결정할 수 있다. Also, the control module 200 may acquire the stern velocity at which the first point 2002 approaches the quay wall based on the image pixel. For example, the control module 200 may acquire the stern speed based on the stern distance 2004 that is the distance between the first point 2002 and the quay wall acquired based on the image pixel. Specifically, the control module 200 may calculate the stern speed based on the obtained change in the stern distance 2004 . In this case, the control module 200 may calculate the stern speed by comparing the stern distance 2004 in a plurality of images or image frames. For example, the control module 200 may calculate the stern speed based on the difference in the number of pixels between the stern distance 2004 in the current frame and the stern distance in the subsequent frame and the time interval between frames. Specifically, the control module 200 calculates a value obtained by dividing the time interval between each frame by multiplying the distance allocated to the pixel by the difference between the number of pixels of the stern distance 2004 in the current frame and the stern distance in the subsequent frame. It can be calculated at stern speed. For example, if the distance allocated to each pixel in FIG. 23 is 50 m, the time interval between frames is 1 minute, and the difference in the number of pixels between the stern distance 2004 in the current frame and the stern distance in the subsequent frame is 2 If the dog, the control module 200 may be calculated as a stern speed of 100 m/min as described above. Here, when the number of pixels of the stern distance in a subsequent frame is greater than the stern distance in the current frame, the control module 200 may determine the direction of the stern speed as the stern moves away from the quay wall.

또한, 제어 모듈(200)은 카메라 각도에 의해 이미지 상에서 안벽으로부터 먼 픽셀일수록 픽셀에 할당되는 거리를 증가시킬 수 있다. 또한 제어 모듈(200)은 픽셀의 이미지상에서의 좌표값을 바탕으로 픽셀 사이의 거리를 산출하고 픽셀 사이의 거리에 기초하여 포인트 사이의 상대 속도를 산출할 수도 있다.Also, the control module 200 may increase the distance allocated to the pixel as the pixel is farther from the quay wall in the image due to the camera angle. Also, the control module 200 may calculate the distance between pixels based on the coordinate values of the pixels on the image, and calculate the relative speed between points based on the distance between the pixels.

일 실시예에 따르면, 장치(10)는 추출된 한 쌍의 제2 포인트들에 기초하여 충돌 관련 정보를 획득할 수 있다(S242). According to an embodiment, the device 10 may acquire collision-related information based on the extracted pair of second points ( S242 ).

일 실시예에 따르면, 한 쌍의 제2 포인트들에 기초하여 충돌 관련 정보 획득하는 단계(S242)는 제어 모듈(200)이 한 쌍의 제2 포인트들 각각과 관련된 충돌 관련 정보를 획득하는 것을 포함할 수 있다. 예를 들어, 제어 모듈(200)은 인접 선박이 있는 경우 한 쌍의 제2 포인트들에 기초하여 선박의 선박간 거리를 획득할 수 있다. 여기서, 제어 모듈(200)은 인접 선박이 있는 경우 한 쌍의 제2 포인트들 중 하나의 제2 포인트에 기초하여 선박의 선박간 거리를 획득할 수 있다. 예를 들어, 제어 모듈(200)은 인접 선박과 더 가까운 하나의 제2 포인트에 기초하여 선박의 선박간 거리를 획득할 수 있다. 또는, 제어 모듈(200)은 한 쌍의 제2 포인트들 각각과 인접 선박 사이의 거리를 획득하고 획득한 양 거리 중 더 낮은 거리 값을 선박간 거리로 결정할 수 있다.According to an embodiment, the step of obtaining collision-related information based on the pair of second points ( S242 ) includes obtaining, by the control module 200 , collision-related information related to each of the pair of second points. can do. For example, when there is an adjacent vessel, the control module 200 may acquire the intership distance of the vessel based on the pair of second points. Here, when there is an adjacent vessel, the control module 200 may acquire the intership distance of the vessel based on one second point among the pair of second points. For example, the control module 200 may acquire the intership distance of the vessel based on one second point closer to the neighboring vessel. Alternatively, the control module 200 may obtain a distance between each of the pair of second points and an adjacent vessel, and determine a lower distance value among the obtained distances as the intership distance.

일 실시예에 따르면, 제어 모듈(200)은 인접 선박이 있는 경우, 선박의 선박간 거리를 이미지 픽셀을 기반으로 획득할 수 있다. 예를 들어, 제어 모듈(200)은 한 쌍의 제2 포인트들 각각과 다른 선박 사이의 거리를 이미지 픽셀을 기반으로 획득할 수 있다. 여기서, 제어 모듈(200)은 인접 선박과 더 가까운 제2 포인트와 인접 선박 사이의 거리를 이미지 픽셀을 기반으로 획득할 수 있다. According to an embodiment, when there is an adjacent vessel, the control module 200 may obtain the distance between the vessels of the vessel based on the image pixel. For example, the control module 200 may obtain a distance between each of the pair of second points and another vessel based on the image pixel. Here, the control module 200 may acquire the distance between the second point closer to the adjacent ship and the adjacent ship based on the image pixel.

도 24는 일 실시예에 따른 충돌 관련 정보 획득의 일 예에 관한 도면이다.24 is a diagram illustrating an example of obtaining collision-related information according to an embodiment.

도 24를 참조하면, 제어 모듈(200)은 이미지 픽셀을 기반으로 한 쌍의 제2 포인트들(2101, 2102)과 다른 선박(2105) 사이의 거리를 획득할 수 있다. Referring to FIG. 24 , the control module 200 may obtain a distance between a pair of second points 2101 and 2102 and another vessel 2105 based on an image pixel.

제어 모듈(200)은 선박의 선박간 거리(2103)를 이미지 픽셀 기반으로 획득할 수 있다. 예를 들어, 제어 모듈(200)은 선박의 한 쌍의 제2 포인트들(2101, 2102) 중 다른 선박(2105)과 더 가까운 하나의 제2 포인트(2101)사이의 거리를 이미지 픽셀 기반으로 획득할 수 있다. 여기서, 제어 모듈(200)은 하나의 이미지 픽셀마다 일정 거리를 할당하고 다른 선박(2105)과 더 가까운 제2 포인트(2101)와 다른 선박(2105) 사이의 픽셀 개수에 비례하여 선박간 거리(2103)를 산출할 수 있다. 구체적으로, 제어 모듈(200)은 제2 포인트(2101)와 다른 선박(2105) 사이의 픽셀 개수와 이미지 픽셀마다 할당된 거리를 곱하여 선박간 거리(2103)를 산출할 수 있다. 예를 들어, 도 24에서 각 픽셀마다 할당된 거리가 50m인 경우, 제2 포인트(2101)와 다른 선박(2105) 사이의 픽셀의 수가 7개이므로, 제어 모듈(200)은 선박간 거리(2103)를 각 픽셀마다 할당된 거리 50m와 제2 포인트(2101)와 다른 선박(2105) 사이의 픽셀의 수 7개를 곱한 값인 350m로 산출할 수 있다. 여기서, 제어 모듈(200)은 카메라 각도에 의해 이미지 상에서 안벽으로부터 먼 픽셀일수록 픽셀에 할당되는 거리를 증가시킬 수 있다. 또는 제어 모듈(200)은 픽셀의 이미지상에서의 좌표값을 바탕으로 픽셀 사이의 거리를 산출하고 이에 기초하여 포인트 사이의 거리를 산출할 수도 있다. The control module 200 may acquire the vessel-to-ship distance 2103 of the vessel based on the image pixel. For example, the control module 200 obtains a distance between a second point 2101 closer to another ship 2105 among a pair of second points 2101 and 2102 of the ship based on the image pixel. can do. Here, the control module 200 allocates a certain distance to each image pixel, and the inter-vessel distance 2103 is proportional to the number of pixels between the second point 2101 closer to the other vessel 2105 and the other vessel 2105 . ) can be calculated. Specifically, the control module 200 may calculate the intership distance 2103 by multiplying the number of pixels between the second point 2101 and the other vessel 2105 by the distance allocated for each image pixel. For example, when the distance allocated to each pixel in FIG. 24 is 50 m, the number of pixels between the second point 2101 and the other vessel 2105 is 7, so the control module 200 determines the inter-vessel distance 2103 ) can be calculated as 350 m, which is a value obtained by multiplying the distance 50 m allocated for each pixel and the number of pixels between the second point 2101 and the other vessel 2105 multiplied by seven. Here, the control module 200 may increase the distance allocated to the pixel as the pixel is farther from the quay wall on the image by the camera angle. Alternatively, the control module 200 may calculate the distance between pixels based on the coordinate values of the pixels on the image, and calculate the distance between points based on this.

일 실시예에 따르면, 한 쌍의 제2 포인트들에 기초하여 충돌 관련 정보 획득하는 단계(S242)는 제어 모듈(200)이 인접 선박이 있는 경우 한 쌍의 제2 포인트들에 기초하여 선박과 인접 선박 사이의 상대 속도를 획득하는 것을 포함할 수 있다. 예를 들어, 제어 모듈(200)은 인접 선박이 있는 경우 한 쌍의 제2 포인트들 중 하나에 기초하여 선박과 인접 선박 사이의 상대 속도를 획득할 수 있다. 여기서, 제어 모듈(200)은 한 쌍의 제2 포인트들 중 인접 선박에 더 가까운 하나의 제2 포인트에 기초하여 선박과 인접 선박 사이의 상대 속도를 획득할 수 있다. 구체적으로, 제어 모듈(200)은 한 쌍의 제2 포인트들 중 하나의 제2 포인트와 다른 선박 사이의 거리에 기초하여 상기 하나의 제2 포인트가 다른 선박으로 접근하는 속도를 획득할 수 있다. According to an embodiment, in the step of obtaining collision-related information based on a pair of second points ( S242 ), when the control module 200 has an adjacent ship, it is adjacent to the ship based on the pair of second points. It may include obtaining the relative speed between the vessels. For example, when there is an adjacent ship, the control module 200 may acquire the relative speed between the ship and the adjacent ship based on one of the pair of second points. Here, the control module 200 may acquire the relative speed between the ship and the adjacent ship based on one second point closer to the adjacent ship among the pair of second points. Specifically, the control module 200 may acquire the speed at which the one second point approaches the other vessel based on the distance between the second point of the pair of second points and the other vessel.

일 실시예에 따르면, 제어 모듈(200)은 이미지 픽셀을 기반으로 선박과 다른 선박 사이의 상대 속도를 획득할 수 있다. 예를 들어, 제어 모듈(200)은 이미지 픽셀을 기반으로 선박의 선수가 다른 선박으로 접근하는 속도 및/또는 선박의 선미가 다른 선박으로 접근하는 속도를 획득할 수 있다. 예를 들어, 제어 모듈(200)은 한 쌍의 제2 포인트들 각각이 다른 선박으로 접근하는 속도를 획득할 수 있다. 구체적으로, 제어 모듈(200)은 한 쌍의 제2 포인트들 중 다른 선박과 더 가까운 하나의 제2 포인트가 다른 선박으로 접근하는 속도를 이미지 픽셀을 기반으로 획득할 수 있다. According to an embodiment, the control module 200 may obtain a relative speed between the vessel and another vessel based on the image pixel. For example, the control module 200 may acquire the speed at which the bow of the vessel approaches another vessel and/or the speed at which the stern of the vessel approaches the other vessel based on the image pixel. For example, the control module 200 may acquire the speed at which each of the pair of second points approaches the other vessel. Specifically, the control module 200 may acquire the speed at which one second point closer to another ship from among the pair of second points approaches the other ship based on the image pixel.

도 24를 참조하면, 제어 모듈(200)은 이미지 픽셀을 기반으로 한 쌍의 제2 포인트들(2101, 2102) 각각이 다른 선박(2105)으로 접근하는 속도를 획득할 수 있다.Referring to FIG. 24 , the control module 200 may acquire the speed at which each of the pair of second points 2101 and 2102 approaches the other vessel 2105 based on the image pixel.

제어 모듈(200)은 이미지 픽셀을 기반으로 제2 포인트(2101)가 다른 선박(2105)으로 접근하는 속도를 획득할 수 있다. 예를 들어, 제어 모듈(200)은 이미지 픽셀을 기반으로 획득한 제2 포인트(2101)와 다른 선박(2105) 사이의 거리인 선박간 거리에 기초하여 선박과 다른 선박(2105) 사이의 상대 속도를 획득할 수 있다. 구체적으로, 제어 모듈(200)은 획득한 선박간 거리의 변화에 기초하여 선박과 다른 선박(2105) 사이의 상대 속도를 산출할 수 있다. 이 경우 제어 모듈(200)은 복수의 이미지 또는 영상 프레임에서의 선박간 거리를 비교하여 선박과 다른 선박(2105) 사이의 상대 속도를 산출할 수 있다. 예를 들어, 제어 모듈(200)은 현재 프레임에서의 선박간 거리와 후속 프레임에서의 선박간 거리의 픽셀 개수의 차이 및 프레임 사이의 시간 간격에 기초하여 선박과 다른 선박(2105) 사이의 상대 속도를 산출할 수 있다. 구체적으로, 제어 모듈(200)은 현재 프레임에서의 선박간 거리와 후속 프레임에서의 선박간 거리의 픽셀 개수의 차이에 픽셀에 할당된 거리를 곱한 값에서 각 프레임 사이의 시간 간격을 나눈 값을 선박과 다른 선박(2105) 사이의 상대 속도로 산출할 수 있다. 예를 들어, 도 24에서 각 픽셀마다 할당된 거리가 50m인 경우, 프레임 사이의 시간 간격이 1분이고, 현재 프레임에서의 선박간 거리 및 후속 프레임에서의 선박간 거리 사이의 픽셀 개수 차이가 3개이면 제어 모듈(200)은 상술한 바에 따라 선박과 다른 선박(2105) 사이의 상대 속도는 150m/min로 산출될 수 있다. 여기서, 제어 모듈(200)은 현재 프레임에서의 선박간 거리보다 후속 프레임에서의 선박간 거리의 픽셀 개수가 많은 경우 선박이 다른 선박(2105)으로부터 멀어지는 것으로 선박과 다른 선박(2105) 사이의 상대 속도의 방향을 결정할 수 있다. The control module 200 may acquire the speed at which the second point 2101 approaches another vessel 2105 based on the image pixel. For example, the control module 200 may control the relative speed between the vessel and the other vessel 2105 based on the vessel-to-vessel distance, which is the distance between the second point 2101 and the other vessel 2105 obtained based on the image pixel. can be obtained. Specifically, the control module 200 may calculate the relative speed between the vessel and the other vessel 2105 based on the obtained change in the intership distance. In this case, the control module 200 may calculate the relative speed between the ship and the other ship 2105 by comparing the distances between ships in a plurality of images or image frames. For example, the control module 200 may control the relative speed between the vessel and the other vessel 2105 based on the difference in the number of pixels of the inter-vessel distance in the current frame and the inter-vessel distance in the subsequent frame and the time interval between frames. can be calculated. Specifically, the control module 200 calculates a value obtained by dividing the time interval between each frame from a value obtained by multiplying the distance allocated to a pixel by the difference between the number of pixels of the distance between ships in the current frame and the distance between ships in the subsequent frame. It can be calculated as the relative speed between and another vessel (2105). For example, if the distance allocated to each pixel in FIG. 24 is 50 m, the time interval between frames is 1 minute, and the difference in the number of pixels between the inter-ship distance in the current frame and the inter-vessel distance in the subsequent frame is 3 The rear surface control module 200 may calculate the relative speed between the ship and the other ship 2105 as 150 m/min as described above. Here, the control module 200 determines that the vessel moves away from the other vessel 2105 when the number of pixels of the intership distance in the subsequent frame is greater than the intership distance in the current frame, and the relative speed between the vessel and the other vessel 2105 direction can be determined.

이미지에 존재하는 물체는 수평면(해수면) 상에 존재하는 것으로 취급된다. 즉, 선박의 아래 부분보다 윗부분이 더 멀리 있는 것으로 취급된다. 따라서, 선박과 다른 오브젝트 사이의 거리/상대속도 계산 시 선박의 윗부분을 기준으로 계산하는 경우 오차가 생길 수 있으며 특히 선박이 기울어져 들어오는 경우 오차가 더 커질 수 있다. Objects that exist in the image are treated as if they exist on a horizontal plane (sea level). That is, the upper part of the vessel is treated as being farther away than the lower part. Therefore, when calculating the distance/relative speed between the ship and other objects, an error may occur when calculating based on the upper part of the ship, and in particular, when the ship is inclined, the error may be larger.

이러한 오차를 보정하기 위해, 일 실시예에 따른 한 쌍의 제2 포인트들에 기초하여 충돌 관련 정보 획득하는 단계(S242)는 제어 모듈(200)이 한 쌍의 제2 포인트들과 선박이 해수면과 접하는 밑면과 수직하게 접하는 위치의 한 쌍의 제3 포인트들에 기초하여 선박과 다른 선박 사이의 충돌 관련 정보를 획득하는 것을 포함할 수 있다. 예를 들어, 제어 모듈(200)은 한 쌍의 제2 포인트들과 선박이 해수면과 접하는 밑면과 수직하게 접하는 위치의 한 쌍의 제3 포인트들에 기초하여 선박의 선박간 거리 및/또는 선박과 인접 선박 사이의 상대 속도를 획득할 수 있다. 여기서, 제어 모듈(200)은 한 쌍의 제3 포인트들 중 인접 선박과 더 가까운 하나의 제3 포인트에 기초하여 선박의 선박간 거리 및/또는 선박과 인접 선박 사이의 상대 속도를 획득할 수 있다.In order to correct this error, in the step of obtaining collision-related information based on a pair of second points according to an embodiment ( S242 ), the control module 200 determines that the pair of second points and the ship are at sea level and The method may include acquiring collision-related information between a ship and another ship based on a pair of third points at a position perpendicular to the contacting bottom surface. For example, the control module 200 may be configured to determine the inter-ship distance of the vessel and/or the vessel based on the pair of second points and the pair of third points at a position in which the vessel is in contact with the bottom surface in contact with the sea level and/or vertically. It is possible to obtain the relative speed between adjacent ships. Here, the control module 200 may obtain the intership distance of the vessel and/or the relative speed between the vessel and the neighboring vessel based on one third point closer to the neighboring vessel among the pair of third points. .

도 25는 일 실시예에 따른 충돌 관련 정보 획득의 다른 예에 관한 도면이다. 25 is a diagram illustrating another example of obtaining collision-related information according to an embodiment.

도 25를 참고하면, 제어 모듈(200)은 S222 단계를 통해 추출된 한 쌍의 제2 포인트들(2201-1, 2201-2)에 기초하여 선박의 충돌 관련 정보 획득을 위한 한 쌍의 제3 포인트들(2203-1, 2203-2)을 추출할 수 있다. 예를 들어, 제어 모듈(200)은 한 쌍의 제3 포인트들(2203-1, 2203-2)을 한 쌍의 제2 포인트들(2201-1, 2201-2)과 선박이 해수면과 접하는 밑면과 수직하게 접하는 2개의 포인트로 결정할 수 있다. 여기서, 제어 모듈(200)은 한 쌍의 제3 포인트들(2203-1, 2203-2) 중 다른 선박(2204)과 더 가까운 제3 포인트(2203)에 기초하여 선박의 충돌 관련 정보를 획득할 수 있다. 예를 들어, 제어 모듈(200)은 한 쌍의 제3 포인트들(2203-1, 2203-2) 중 다른 선박(2204)과 더 가까운 제3 포인트(2203-2)와 다른 선박(2204) 사이의 거리를 획득할 수 있다.Referring to FIG. 25 , the control module 200 performs a third pair of points for obtaining collision-related information of a ship based on a pair of second points 2201-1 and 2201-2 extracted through step S222. Points 2203-1 and 2203-2 may be extracted. For example, the control module 200 controls the pair of third points 2203-1 and 2203-2 to the pair of second points 2201-1 and 2201-2 and the bottom surface of the vessel in contact with the sea level. It can be determined by two points perpendicular to and tangent to. Here, the control module 200 acquires collision-related information of a ship based on a third point 2203 that is closer to another ship 2204 among a pair of third points 2203-1 and 2203-2. can For example, the control module 200 may be configured to operate between a third point 2203-2 closer to the other vessel 2204 and another vessel 2204 among the pair of third points 2203-1 and 2203-2. distance can be obtained.

다만, 제어 모듈(200)은 제3 포인트(2203-1, 2203-2)를 한 쌍의 제2 포인트들(2201-1, 2201-2)과 선박이 해수면과 접하는 밑면 사이의 임의의 포인트로 결정하는 등 상술한 방식에 한정되지 않고 한 쌍의 제2 포인트들(2201-1, 2201-2)에 기초하여 한 쌍의 제3 포인트들(2203-1, 2203-2)을 다양하게 결정할 수 있다. 또한, 제어 모듈(200)은 선박의 충돌 관련 정보를 획득하기 위한 2개의 제3 포인트(2203-1, 2203-2)를 추출하는 대신 1개 또는 2개 이상의 포인트를 추출하여도 무방하다. However, the control module 200 converts the third points 2203-1 and 2203-2 to an arbitrary point between the pair of second points 2201-1 and 2201-2 and the bottom surface of the vessel in contact with the sea level. The pair of third points 2203-1 and 2203-2 may be variously determined based on the pair of second points 2201-1 and 2201-2 without being limited to the above-described method. have. In addition, the control module 200 may extract one or two or more points instead of extracting the two third points 2203-1 and 2203-2 for obtaining the collision-related information of the ship.

일 실시예에 따르면, 제어 모듈(200)은 인접 선박이 있는 경우, 선박의 선박간 거리를 이미지 픽셀을 기반으로 획득할 수 있다. 예를 들어, 제어 모듈(200)은 한 쌍의 제3 포인트들 각각과 다른 선박 사이의 거리를 이미지 픽셀을 기반으로 획득할 수 있다. 여기서, 제어 모듈(200)은 다른 선박과 더 가까운 제3 포인트와 다른 선박 사이의 거리를 이미지 픽셀을 기반으로 획득할 수 있다. According to an embodiment, when there is an adjacent vessel, the control module 200 may obtain the distance between the vessels of the vessel based on the image pixel. For example, the control module 200 may obtain a distance between each of the pair of third points and another vessel based on the image pixel. Here, the control module 200 may acquire the distance between the third point closer to the other vessel and the other vessel based on the image pixel.

도 25를 참조하면, 제어 모듈(200)은 이미지 픽셀을 기반으로 한 쌍의 제3 포인트들(2203-1, 2203-2)과 다른 선박(2204) 사이의 거리를 획득할 수 있다. Referring to FIG. 25 , the control module 200 may obtain a distance between a pair of third points 2203 - 1 and 2203 - 2 and another vessel 2204 based on an image pixel.

제어 모듈(200)은 선박의 선박간 거리(2205)를 이미지 픽셀 기반으로 획득할 수 있다. 예를 들어, 제어 모듈(200)은 선박의 한 쌍의 제3 포인트들(2203-1, 2203-2) 중 다른 선박(2204)과 더 가까운 하나의 제3 포인트(2203-2)와 다른 선박(2204)사이의 거리를 이미지 픽셀 기반으로 획득할 수 있다. 여기서, 제어 모듈(200)은 하나의 이미지 픽셀마다 일정 거리를 할당하고 다른 선박(2204)과 더 가까운 제3 포인트(2203-2)와 다른 선박(2204) 사이의 픽셀 개수에 비례하여 선박간 거리(2205)를 산출할 수 있다. 구체적으로, 제어 모듈(200)은 제3 포인트(2203-2)와 다른 선박(2204) 사이의 픽셀 개수와 이미지 픽셀마다 할당된 거리를 곱하여 선박간 거리(2205)를 산출할 수 있다. 예를 들어, 도 25에서 각 픽셀마다 할당된 거리가 50m인 경우, 제3 포인트(2203-2)와 다른 선박(2204) 사이의 픽셀의 수가 11개이므로, 제어 모듈(200)은 선박간 거리(2205)를 각 픽셀마다 할당된 거리 50m와 제3 포인트(2203-2)와 다른 선박 사이의 픽셀의 수 11개를 곱한 값인 550m로 산출할 수 있다. 여기서, 제어 모듈(200)은 카메라 각도에 의해 이미지 상에서 안벽으로부터 먼 픽셀일수록 픽셀에 할당되는 거리를 증가시킬 수 있다. 또는 제어 모듈(200)은 픽셀의 이미지상에서의 좌표값을 바탕으로 픽셀 사이의 거리를 산출하고 이에 기초하여 포인트 사이의 거리를 산출할 수도 있다. The control module 200 may acquire the ship-to-ship distance 2205 of the ship based on the image pixel. For example, the control module 200 may control one third point 2203 - 2 closer to the other ship 2204 among the pair of third points 2203 - 1 and 2203 - 2 of the ship and the other ship. The distance between 2204 may be obtained based on image pixels. Here, the control module 200 allocates a certain distance to each image pixel, and the distance between ships is proportional to the number of pixels between the third point 2203 - 2 closer to the other ship 2204 and the other ship 2204 . (2205) can be calculated. Specifically, the control module 200 may calculate the intership distance 2205 by multiplying the number of pixels between the third point 2203 - 2 and the other vessel 2204 by the distance allocated to each image pixel. For example, when the distance allocated to each pixel in FIG. 25 is 50 m, the number of pixels between the third point 2203-2 and the other vessel 2204 is 11, so the control module 200 determines the inter-vessel distance (2205) can be calculated as 550m, which is a value obtained by multiplying a distance of 50m allocated to each pixel by 11 pixels between the third point 2203-2 and another vessel. Here, the control module 200 may increase the distance allocated to the pixel as the pixel is farther from the quay wall on the image by the camera angle. Alternatively, the control module 200 may calculate the distance between pixels based on the coordinate values of the pixels on the image, and calculate the distance between points based on this.

일 실시예에 따르면, 제어 모듈(200)은 이미지 픽셀을 기반으로 선박과 인접 선박 사이의 상대 속도를 획득할 수 있다. 예를 들어, 제어 모듈(200)은 한 쌍의 제3 포인트들 각각이 다른 선박으로 접근하는 속도를 획득할 수 있다. 구체적으로, 제어 모듈(200)은 한 쌍의 제3 포인트들 중 다른 선박과 더 가까운 하나의 제3 포인트가 다른 선박으로 접근하는 속도를 이미지 픽셀을 기반으로 획득할 수 있다. According to an embodiment, the control module 200 may acquire the relative speed between the vessel and the adjacent vessel based on the image pixel. For example, the control module 200 may acquire the speed at which each of the pair of third points approaches the other vessel. Specifically, the control module 200 may acquire, based on the image pixel, the speed at which one third point closer to another ship approaches the other ship among the pair of third points.

도 25를 참조하면 제어 모듈(200)은 이미지 픽셀을 기반으로 한 쌍의 제3 포인트들(2203-1, 2203-2) 각각이 다른 선박(2204)으로 접근하는 속도를 획득할 수 있다. 예를 들어, 제어 모듈(200)은 선박의 한 쌍의 제3 포인트들(2203-1, 2203-2) 중 다른 선박(2204)과 더 가까운 하나의 제3 포인트(2203-2)가 다른 선박(2204)으로 접근하는 속도를 이미지 픽셀 기반으로 획득할 수 있다. Referring to FIG. 25 , the control module 200 may acquire the speed at which each of the pair of third points 2203 - 1 and 2203 - 2 approaches the other vessel 2204 based on the image pixel. For example, the control module 200 may determine that one third point 2203-2 closer to the other ship 2204 among the pair of third points 2203-1 and 2203-2 of the ship is the other ship. The speed of approaching 2204 may be obtained based on image pixels.

구체적으로, 제어 모듈(200)은 이미지 픽셀을 기반으로 획득한 제3 포인트(2203-2)와 다른 선박(2204) 사이의 선박간 거리(2205)에 기초하여 선박과 다른 선박(2204) 사이의 상대 속도를 획득할 수 있다. 예를 들어, 제어 모듈(200)은 획득한 선박간 거리(2205)의 변화에 기초하여 선박과 다른 선박(2204) 사이의 상대 속도를 산출할 수 있다. 이 경우 제어 모듈(200)은 복수의 이미지 또는 영상 프레임에서의 선박간 거리(2205)를 비교하여 선박과 다른 선박(2204) 사이의 상대 속도를 산출할 수 있다. 예를 들어, 제어 모듈(200)은 현재 프레임에서의 선박간 거리(2205)와 후속 프레임에서의 선박간 거리의 픽셀 개수의 차이 및 프레임 사이의 시간 간격에 기초하여 선박과 다른 선박(2204) 사이의 상대 속도를 산출할 수 있다. 구체적으로, 제어 모듈(200)은 현재 프레임에서의 선박간 거리(2205)와 후속 프레임에서의 선박간 거리의 픽셀 개수의 차이에 픽셀에 할당된 거리를 곱한 값에서 각 프레임 사이의 시간 간격을 나눈 값을 선박과 다른 선박(2204) 사이의 상대 속도로 산출할 수 있다. 예를 들어, 도 25에서 각 픽셀마다 할당된 거리가 50m인 경우, 프레임 사이의 시간 간격이 1분이고, 현재 프레임에서의 선박간 거리(2205) 및 후속 프레임에서의 선박간 거리 사이의 픽셀 개수 차이가 3개이면 제어 모듈(200)은 상술한 바에 따라 선박과 다른 선박(2204) 사이의 상대 속도는 150m/min로 산출될 수 있다. 여기서, 제어 모듈(200)은 현재 프레임에서의 선박간 거리보다 후속 프레임에서의 선박간 거리의 픽셀 개수가 많은 경우 선박이 다른 선박(2204)으로부터 멀어지는 것으로 선박과 다른 선박(2204) 사이의 상대 속도의 방향을 결정할 수 있다. Specifically, the control module 200 determines the distance between the vessel and the other vessel 2204 based on the vessel-to-vessel distance 2205 between the third point 2203-2 obtained based on the image pixel and the other vessel 2204. Relative speed can be obtained. For example, the control module 200 may calculate the relative speed between the ship and the other ship 2204 based on the obtained change in the inter-ship distance 2205 . In this case, the control module 200 may calculate the relative speed between the ship and the other ship 2204 by comparing the distances 2205 between ships in a plurality of images or image frames. For example, the control module 200 may control the distance between the vessel and the other vessel 2204 based on the difference in the number of pixels between the inter-vessel distance 2205 in the current frame and the inter-vessel distance in the subsequent frame and the time interval between frames. We can calculate the relative speed of Specifically, the control module 200 divides the time interval between each frame from a value obtained by multiplying the distance allocated to the pixel by the difference between the number of pixels of the inter-ship distance 2205 in the current frame and the inter-vessel distance in the subsequent frame. A value can be calculated as the relative speed between the vessel and the other vessel 2204 . For example, if the distance allocated to each pixel in FIG. 25 is 50 m, the time interval between frames is 1 minute, and the difference in the number of pixels between the inter-ship distance 2205 in the current frame and the inter-vessel distance in the subsequent frame If there are three, the control module 200 may calculate the relative speed between the vessel and the other vessel 2204 as 150 m/min as described above. Here, the control module 200 determines that the vessel moves away from the other vessel 2204 when the number of pixels of the intership distance in the subsequent frame is greater than the intership distance in the current frame, and the relative speed between the vessel and the other vessel 2204 direction can be determined.

선박과 다른 선박 사이의 거리/속도를 추정함에 있어서, 다른 선박에 대응하는 포인트는 다양한 방식으로 결정될 수 있다. 예를 들어, 다른 선박에 대응하는 포인트는 S222 단계에 따라 추출된 선박의 제2 포인트 중 하나일 수 있다. 다른 예를 들어, 다른 오브젝트(선박)에 대응하는 포인트는 S222 단계에 따라 추출된 제2 포인트가 선박이 해수면과 접하는 밑면과 수직하게 접하는 지점인 제3 포인트일 수도 있다.In estimating the distance/velocity between the vessel and the other vessel, a point corresponding to the other vessel may be determined in various ways. For example, the point corresponding to the other vessel may be one of the second points of the vessel extracted according to step S222. For another example, a point corresponding to another object (ship) may be a third point in which the second point extracted according to step S222 is a point perpendicular to the bottom surface of the ship in contact with the sea level.

항만 모니터링은 선박의 선수/선미를 구별하는 단계를 더 포함할 수 있다. 선박의 선수/선미를 구별하는 것은 선박의 전면과 후면을 결정하는 것을 의미할 수 있다. The port monitoring may further include the step of distinguishing the bow/stern of the vessel. Distinguishing the bow/stern of a ship may mean determining the front and rear of the ship.

선박의 형태는 다양하지만, 이미지 상에서 선박의 선수 및 선미를 구별하기 위한 일반적인 특징들이 나타날 수 있다. 예를 들어, 선박의 전진 항해 시 해수가 선수 위로 들어오는 것을 방지하기 위해 선박의 선수는 선미보다 일반적으로 높게 형성될 수 있다. 또한, 선박은 추진 시 저항을 줄이기 위해 유선형으로 형성되어 선수가 선미보다 날렵한 구조를 가질 수 있다. Although the shape of the vessel is various, general characteristics for distinguishing the bow and the stern of the vessel may appear on the image. For example, the bow of a ship may be formed generally higher than the stern to prevent seawater from entering over the bow when the ship is sailing forward. In addition, the ship is formed in a streamlined shape to reduce resistance during propulsion, so that the bow can have a sharper structure than the stern.

이러한 선박의 구조적 특징들을 이용하여 선박의 선수 및 선미는 이미지 상에서 구별될 수 있다. 따라서, 제어 모듈(200)은 이미지에 기초하여 선박의 선수/선미를 결정할 수 있다. 예를 들어, 제어 모듈(200)은 선박에 대응하는 영역에 기초하여 선박의 선수/선미를 결정할 수 있다. 구체적으로 제어 모듈(200)은 세그멘테이션 이미지 중 픽셀의 클래스 값이 선박에 해당하는 영역에 기초하여 선박의 선수/선미를 결정할 수 있다. 다른 예를 들어, 제어 모듈(200)은 이미지의 선박을 폴리곤화하여 선박의 경계 다각형을 생성하고, 선박의 경계 다각형에 기초하여 선박의 선수/선미를 결정할 수 있다.Using these structural features of the vessel, the bow and stern of the vessel can be distinguished on the image. Accordingly, the control module 200 may determine the bow/stern of the vessel based on the image. For example, the control module 200 may determine the bow/stern of the ship based on an area corresponding to the ship. In more detail, the control module 200 may determine the bow/stern of the ship based on an area in which the class value of the pixel in the segmented image corresponds to the ship. As another example, the control module 200 may generate a boundary polygon of the vessel by polygonizing the vessel of the image, and determine the bow/stern of the vessel based on the boundary polygon of the vessel.

일 실시예에 따르면, 제어 모듈(200)은 추출한 한 쌍의 제1 포인트들(2301-1, 2301-2) 및/또는 한 쌍의 제2 포인트들(2302-1, 2302-2)에 기초하여 선박의 선수/선미를 결정할 수 있다. According to an embodiment, the control module 200 is based on the extracted pair of first points 2301-1 and 2301-2 and/or the pair of second points 2302-1 and 2302-2. Thus, the bow/stern of the ship can be determined.

도 26 및 도 27은 일 실시예에 따른 선박의 선수/선미 구별에 관한 도면이다.26 and 27 are views related to the distinction between the bow / stern of the ship according to an embodiment.

도 26 및 도 27을 참고하면, 제어 모듈(200)은 추출한 한 쌍의 제1 포인트들(2301-1, 2301-2) 및/또는 한 쌍의 제2 포인트들(2302-1, 2302-2)에 기초하여 선박의 선수/선미를 결정할 수 있다. 26 and 27 , the control module 200 extracts a pair of first points 2301-1 and 2301-2 and/or a pair of second points 2302-1 and 2302-2. ) based on the ship's bow/stern can be determined.

도 26을 참고하면, 제어 모듈(200)은 추출된 제1 포인트 및 제2 포인트 사이의 기울기에 기초하여 선박의 선수/선미를 결정할 수 있다. 예를 들어, 제어 모듈(200)은 선박의 한쪽에 위치하는 하나의 제1 포인트(2301-1) 및 하나의 제2 포인트(2302-1)의 제1 기울기와 선박의 다른 한쪽에 위치하는 다른 하나의 제1 포인트(2301-2) 및 다른 하나의 제2 포인트(2302-2)의 제2 기울기 차이에 기초하여 선박의 선수/선미를 결정할 수 있다. 구체적으로, 제어 모듈(200)은 제1 포인트(2301-1)에서 시작하는 제1 수직선과 제1 포인트(2301-1) 및 제2 포인트(2302-1)를 연결하는 제1 선이 이루는 각도(2303)가 제1 포인트(2301-2)에서 시작하는 제2 수직선과 제1 포인트(2301-2) 및 제2 포인트(2302-2)를 연결하는 제2 선이 이루는 각도(2304)보다 큰 경우 제1 포인트(2301-1) 및 제2 포인트(2302-1)가 위치하는 부분을 선박의 선수로 결정할 수 있다. 여기서, 제어 모듈(200)은 제1 포인트(2301-2) 및 제2 포인트(2302-2)가 위치하는 부분을 선박의 선미로 결정할 수 있다.Referring to FIG. 26 , the control module 200 may determine the bow/stern of the ship based on the inclination between the extracted first point and the second point. For example, the control module 200 may include a first inclination of one first point 2301-1 and one second point 2302-1 located on one side of the vessel and another located on the other side of the vessel. The bow/stern of the ship may be determined based on the second inclination difference between the first point 2301 - 2 and the second point 2302 - 2 . Specifically, the control module 200 is the angle formed by the first vertical line starting from the first point 2301-1 and the first line connecting the first point 2301-1 and the second point 2302-1. 2303 is greater than an angle 2304 between a second vertical line starting from the first point 2301-2 and a second line connecting the first points 2301-2 and 2302-2. In this case, a portion in which the first point 2301-1 and the second point 2302-1 are located may be determined as the bow of the ship. Here, the control module 200 may determine a portion in which the first point 2301 - 2 and the second point 2302 - 2 are located as the stern of the ship.

도 27을 참고하면, 제어 모듈(200)은 추출된 제1 포인트 및 제2 포인트 사이의 위치에 기초하여 선박의 선수/선미를 결정할 수 있다. 예를 들어, 제어 모듈(200)은 선박의 한쪽에 위치하는 하나의 제1 포인트(2301-1) 및 하나의 제2 포인트(2302-1) 사이의 제1 높이와 선박의 다른 한쪽에 위치하는 다른 하나의 제1 포인트(2301-2) 및 다른 하나의 제2 포인트(2302-2) 사이의 제2 높이 차이에 기초하여 선박의 선수/선미를 결정할 수 있다. 구체적으로, 제어 모듈(200)은 제1 포인트(2301-1)와 제2 포인트(2302-1) 사이의 수직 방향으로의 거리(2305)가 제1 포인트(2301-2)와 제2 포인트(2302-2) 사이의 수직 방향으로의 거리(2306)가 보다 큰 경우 제1 포인트(2301-1) 및 제2 포인트(2302-1)가 위치하는 부분을 선박의 선수로 결정할 수 있다. 여기서, 제어 모듈(200)은 제1 포인트(2301-2) 및 제2 포인트(2302-2)가 위치하는 부분을 선박의 선미로 결정할 수 있다.Referring to FIG. 27 , the control module 200 may determine the bow/stern of the ship based on the extracted positions between the first and second points. For example, the control module 200 is located at a first height between one first point 2301-1 and one second point 2302-1 located on one side of the vessel and the other side of the vessel. The bow/stern of the vessel may be determined based on a second height difference between the other first point 2301 - 2 and the other second point 2302 - 2 . Specifically, the control module 200 determines that the distance 2305 in the vertical direction between the first point 2301-1 and the second point 2302-1 is the first point 2301-2 and the second point ( When the distance 2306 in the vertical direction between 2302-2) is greater, the portion in which the first point 2301-1 and the second point 2302-1 are located may be determined as the bow of the ship. Here, the control module 200 may determine a portion in which the first point 2301 - 2 and the second point 2302 - 2 are located as the stern of the ship.

일 실시예에 따르면, 제어 모듈(200)은 입력 이미지로부터 상기 입력 이미지에 포함된 선박의 선수/선미를 출력하도록 인공 신경망을 이용하여 선박의 선수/선미를 결정할 수 있다. 예를 들어, 제어 모듈(200)은 입력 이미지 및 상기 입력 이미지에 포함된 선박 및 바다를 포함하는 오브젝트들에 해당하는 픽셀에 각각 바다, 선박, 선박의 선수 및 선박의 선미를 지시하는 클래스 값들을 라벨링한 러닝셋을 이용하여 학습된 인공 신경망을 이용하여 이미지 세그멘테이션을 수행하여 선박의 선수/선미를 결정할 수 있다. 구체적으로, 제어 모듈(200)은 이미지로부터 세그멘테이션 이미지를 생성할 수 있고, 세그멘테이션 이미지 중 픽셀의 클래스 값이 선박의 선수 및 선미에 해당하는 픽셀을 획득할 수 있다.According to an embodiment, the control module 200 may determine the bow/stern of the ship using an artificial neural network to output the bow/stern of the ship included in the input image from the input image. For example, the control module 200 may generate class values indicating the sea, the vessel, the bow of the vessel, and the stern of the vessel in pixels corresponding to the input image and objects including the vessel and the sea included in the input image, respectively. The fore/stern of the ship can be determined by performing image segmentation using the artificial neural network learned using the labeled running set. Specifically, the control module 200 may generate a segmentation image from the image, and may obtain pixels whose class values correspond to the bow and stern of the ship in the segmentation image.

물론, 제어 모듈(200)은 입력 이미지로부터 상기 입력 이미지에 포함된 선박의 선수/선미를 출력하도록 학습된 인공 신경망을 이용한 이미지 디텍션에 의해 선박의 선수/선미를 결정해도 무방하다. 또한, 제어 모듈(200)은 하나의 인공 신경망을 통해 세그멘테이션/디텍션을 수행할 수도 있고, 제어 모듈(200)은 복수의 인공 신경망을 이용하여 각각의 인공 신경망이 세그멘테이션/디텍션을 수행하여 선박의 선수/선미를 결정할 수도 있다. Of course, the control module 200 may determine the bow/stern of the ship by image detection using an artificial neural network learned to output the bow/stern of the ship included in the input image from the input image. In addition, the control module 200 may perform segmentation/detection through a single artificial neural network, and the control module 200 uses a plurality of artificial neural networks to perform segmentation/detection of each artificial neural network, so that the bow of the ship / You can also decide on the stern.

다만, 선박의 선수 및 선미의 결정은 상술한 방식에 의해 수행되는 것으로 한정될 필요는 없고 다양한 방식으로 수행될 수 있다. However, the determination of the bow and stern of the ship is not necessarily limited to being performed by the above-described method, and may be performed in various ways.

이미지 기반 모니터링은 시점 변환 단계를 더 포함할 수 있다.The image-based monitoring may further include a viewpoint conversion step.

일반적으로 카메라 등 이미지 생성 유닛이 생성하는 이미지는 원근 시점(perspective view)로 나타날 수 있다. 이를 탑 뷰(top view, 평면 시점), 측면 시점(side view), 다른 원근 시점 등으로 변환하는 것을 시점 변환이라 할 수 있다. 물론, 탑 뷰나 측면 시점 이미지를 다른 시점으로 변환할 수도 있으며, 이미지 생성 유닛이 탑 뷰 이미지나 측면 시점 이미지 등을 생성할 수도 있고 이 경우 시점 변환이 수행될 필요가 없을 수도 있다.In general, an image generated by an image generating unit such as a camera may be displayed as a perspective view. Converting this to a top view (planar view), a side view, another perspective view, etc. may be referred to as view transformation. Of course, a top view or a side view image may be converted into another view, and the image generating unit may generate a top view image or a side view image, etc. In this case, it may not be necessary to perform view point conversion.

도 28 및 도 29는 일 실시예에 따른 시점 변환에 관한 도면이다.28 and 29 are diagrams for view transformation according to an embodiment.

도 28을 참고하면, 원근 시점 이미지의 시점 변환을 통해 다른 원근 시점 이미지를 획득할 수 있다. 여기서, 안벽(OBJ8)이 이미지 상에서 수평 방향(이미지 상에서 좌우 방향)을 따라 위치하도록 시점 변환을 수행할 수 있다. 도 29를 참고하면, 원근 시점 이미지의 시점 변환을 통해 탑 뷰 이미지를 획득할 수 있다. 여기서, 탑 뷰 이미지는 해수면과 수직한 방향에서 해수면을 내려다 본 뷰일 수 있다. 또한, 도 28과 마찬가지로 안벽(OBJ9)이 이미지 상에서 수평 방향을 따라 위치하도록 시점 변환을 수행할 수 있다.Referring to FIG. 28 , another perspective view image may be acquired through viewpoint transformation of the perspective view image. Here, viewpoint conversion may be performed so that the quay wall OBJ8 is positioned along a horizontal direction (left and right direction on the image) on the image. Referring to FIG. 29 , a top view image may be acquired through viewpoint transformation of the perspective viewpoint image. Here, the top view image may be a view looking down at the sea level in a direction perpendicular to the sea level. Also, as in FIG. 28 , viewpoint conversion may be performed so that the quay wall OBJ9 is positioned along the horizontal direction on the image.

이미지 획득 후 시점 변환을 수행한 뒤에 선박의 접안 가이드에 필요한 정보를 획득하기 위한 이미지 분석을 할 수 있다. 일 예에 따르면, 접안 가이드 정보의 획득은 시점이 변환된 세그멘테이션된 이미지에 기초하여 수행될 수 있다. 구체적으로, 원근 시점의 세그멘테이션 이미지를 탑 뷰 세그멘테이션 이미지로 시점을 변환하고, 탑 뷰 세그멘테이션된 이미지 중 픽셀의 클래스 값이 선박에 해당하는 영역에 기초하여 선박의 위치/이동 정보를 획득할 수 있다. 예를 들어, 탑 뷰 세그멘테이션된 이미지의 선박에 해당하는 영역에서 선박의 접안 관련 정보를 획득하기 위한 한 쌍의 제1 포인트들 및 선박의 충돌 관련 정보를 획득하기 위한 한 쌍의 제2 포인트들을 추출하고, 추출된 한 쌍의 제1 포인트들 및 한 쌍의 제2 포인트들에 기초하여 선박과 안벽 사이의 거리/속도 및 선박과 다른 오브젝트(선박) 사이의 거리/속도를 획득할 수 있다. 이 때, 한 쌍의 제1 포인트들이 선박이 해수면과 접하는 밑면의 양 단부에 대응하는 경우 한 쌍의 제1 포인트들에 기초하여 선수 거리/속도 및 선미 거리/속도를 획득할 수 있고, 한 쌍의 제2 포인트들이 선박의 선수 및 선미에 대응하는 경우 한 쌍의 제2 포인트들에 기초하여 선박간 거리/속도를 획득할 수 있다. 물론, 시점 변환된 세그멘테이션이미지는 탑 뷰가 아니라 측면 시점 등 다양한 시점으로 시점이 변환된 세그멘테이션 이미지여도 무방하며, 뿐만 아니라 4개의 포인트를 추출하여 선박의 위치/이동 정보를 획득하는 대신 영역의 외곽선, 또는 영역 자체에 기초하여 선박의 위치/이동 정보를 획득하여도 무방하다. After obtaining the image, after converting the viewpoint, image analysis can be performed to obtain information necessary for the berthing guide of the vessel. According to an example, the acquisition of the eyepiece guide information may be performed based on the segmented image in which the viewpoint is converted. Specifically, the viewpoint is converted from the segmentation image of the perspective viewpoint into the top-view segmentation image, and the position/movement information of the vessel may be obtained based on the region in which the class value of the pixel in the top-view segmented image corresponds to the vessel. For example, in the region corresponding to the vessel of the top-view segmented image, a pair of first points for obtaining berthing-related information of the vessel and a pair of second points for obtaining collision-related information of the vessel are extracted And, based on the extracted pair of first points and the pair of second points, the distance/velocity between the ship and the quay wall and the distance/speed between the ship and another object (ship) may be acquired. At this time, when the pair of first points correspond to both ends of the bottom surface of the ship in contact with the sea level, the bow distance/speed and the stern distance/speed can be obtained based on the pair of first points, and the pair When the second points of ? correspond to the bow and stern of the ship, the distance/velocity between the ships may be obtained based on the pair of second points. Of course, the viewpoint-converted segmentation image may be a segmentation image in which the viewpoint is converted to various viewpoints, such as a side viewpoint, rather than a top view. Alternatively, the location/movement information of the vessel may be acquired based on the area itself.

물론, 반드시 그러한 것은 아니며, 시점이 변환된 촬영 영상 등의 이미지에 기초하여 수행되는 것도 가능하다.Of course, this is not always the case, and it may be performed based on an image, such as a photographed image in which the viewpoint is converted.

또한 이미지 획득 후 시점 변환을 수행한 뒤에 사용자에게 이미지를 디스플레이하는 등 모니터링 정보를 출력할 수 있다. 이 경우 시점 변환을 통해 사용자에게 주변 상황에 대한 정보를 보다 용이하게 제공할 수 있다.In addition, monitoring information such as displaying an image to the user may be output after the viewpoint is changed after acquiring the image. In this case, information on the surrounding situation can be more easily provided to the user through viewpoint conversion.

이미지의 시점 변환은 다양한 방식으로 수행될 수 있다.The viewpoint transformation of the image may be performed in various ways.

시점 변환의 일 예로 역투영 변환(Inverse Projective Mapping, IPM)을 수행할 수 있다. 2차원 이미지는 3차원 공간 상의 피사체에서 반사된 빛이 카메라의 렌즈를 통해 이미지 센서에 입사되어 생성되고, 2차원과 3차원의 관계는 이미지 센서와 렌즈에 의존하며, 예를 들어 수학식 1과 같이 표현될 수 있다.As an example of the viewpoint transformation, inverse projection transformation (IPM) may be performed. A two-dimensional image is generated when light reflected from a subject in a three-dimensional space is incident on an image sensor through the lens of the camera, and the relationship between two dimensions and three dimensions depends on the image sensor and lens, for example, Equation 1 and can be expressed together.

Figure 112020002558309-pat00001
Figure 112020002558309-pat00001

여기서, 좌변의 행렬은 2차원 이미지 좌표, 우변의 첫 번째 행렬은 내부 파라미터(intrinsic parameter), 두 번째 행렬은 외부 파라미터(extrinsic parameter), 세 번째 행렬은 3차원 좌표를 의미한다. 구체적으로, fx 및 fy는 초점 거리(focal length), cx 및 cy는 주점(principal point), r 및 t는 각각 회전 및 평행이동 변환 파라미터를 의미한다.Here, the matrix on the left side indicates two-dimensional image coordinates, the first matrix on the right side indicates an intrinsic parameter, the second matrix indicates an external parameter, and the third matrix indicates three-dimensional coordinates. Specifically, fx and fy denote focal lengths, cx and cy denote principal points, and r and t denote rotation and translation transformation parameters, respectively.

2차원 이미지를 역투영 변환을 통해 3차원 상의 임의의 평면에 투영시켜 그 시점을 변경시킬 수 있다. 예를 들어, 원근 시점 이미지를 역투영 변환을 통해 탑 뷰 이미지로 변환하거나, 다른 원근 시점 이미지로 변환할 수 있다.By projecting a two-dimensional image onto an arbitrary plane in three dimensions through inverse projection transformation, the viewpoint can be changed. For example, a perspective view image may be converted into a top view image through inverse projection transformation, or may be converted into another perspective view image.

시점 변환을 위해서 내부 파라미터가 필요할 수 있다. 내부 파라미터를 구하는 방법의 일 예로 Zhang 방법을 이용할 수 있다. Zhang 방법은 다항식 모델(polynomial model)의 일종으로 격자의 크기를 알고 있는 격자판을 다양한 각도와 거리에서 촬영하여 내부 파라미터를 획득하는 방법이다.Internal parameters may be required for viewpoint transformation. As an example of a method for obtaining an internal parameter, the Zhang method may be used. The Zhang method is a type of polynomial model, and is a method of acquiring internal parameters by photographing a grid with a known size at various angles and distances.

시점 변환을 위해서 이미지를 촬상한 이미지 생성 유닛/센서 모듈의 위치 및/또는 자세에 대한 정보가 필요할 수 있다. 이러한 정보는 위치 측정 유닛 및 자세 측정 유닛으로부터 획득될 수 있다.Information on the position and/or posture of the image generating unit/sensor module capturing the image may be required for viewpoint conversion. Such information may be obtained from the position measuring unit and the posture measuring unit.

또는, 이미지에 포함된 고정체의 위치에 기초하여 위치 및/또는 자세에 대한 정보를 획득할 수 있다. 예를 들어, 제1 시점에 이미지 생성 유닛은 제1 위치 및/또는 제1 자세로 배치되고, 지형이나 건물 등과 같이 고정된 객체인 타겟 고정체를 포함하는 제1 이미지를 생성할 수 있다. 이 후, 제2 시점에 이미지 생성 유닛은 상기 타겟 고정체를 포함하는 제2 이미지를 생성할 수 있다. 제1 이미지 상에서의 타겟 고정체의 위치 및 제2 이미지 상에서의 타겟 고정체의 위치를 비교하여 제2 시점에서의 이미지 생성 유닛의 위치 및/또는 자세인 제2 위치 및/또는 제2 자세를 산출할 수 있다.Alternatively, information on the position and/or posture may be acquired based on the position of the fixture included in the image. For example, at a first time point, the image generating unit may generate a first image including a target fixture that is disposed at a first position and/or a first posture and is a fixed object such as a terrain or a building. Thereafter, at a second time point, the image generating unit may generate a second image including the target fixture. Comparing the position of the target fixture on the first image and the position of the target fixture on the second image to calculate a second position and/or a second posture that is the position and/or posture of the image generating unit at the second time point can do.

또한, 시점 변환 시 기준 평면의 선택에 따라 이미지 분석의 정확도가 달라질 수 있다. 예를 들어, 원근 시점 이미지를 탑 뷰 이미지로 변환하는 경우, 기준 평면의 높이에 따라 탑 뷰 이미지에 기초한 이미지 분석의 정확도가 달라질 수 있다. 해수면 상에서의 오브젝트 사이의 거리를 정확히 산출하기 위해서는 시점 변환 시 기준 평면이 해수면인 것이 바람직할 수 있다. 해수면의 높이는 시간에 따라 변화할 수 있으므로 해수면의 높이를 고려하여 시점 변환을 수행하는 것이 이미지 분석의 정확도 향상에 바람직할 수 있다.In addition, the accuracy of image analysis may vary depending on the selection of the reference plane when changing the viewpoint. For example, when a perspective view image is converted into a top view image, the accuracy of image analysis based on the top view image may vary according to the height of the reference plane. In order to accurately calculate the distance between objects on the sea level, it may be preferable that the reference plane be the sea level when changing the viewpoint. Since the height of the sea level may change with time, it may be desirable to perform viewpoint conversion in consideration of the height of the sea level to improve the accuracy of image analysis.

전술한 시점 변환 방법은 예시에 불과하고 이와 다른 방법으로 시점 변환을 수행할 수도 있으며, 시점 변환 정보는 전술한 수학식 1의 행렬, 파라미터, 좌표, 위치 및/또는 자세에 대한 정보 등 시점 변환을 위해 필요한 정보를 포함한다.The above-described viewpoint transformation method is merely an example, and viewpoint transformation may be performed in a different way. The viewpoint transformation information includes viewpoint transformation such as information on the matrix, parameters, coordinates, position and/or posture of Equation 1 above. contains the necessary information for

선박 등의 모니터링을 위해 이미지 기반 모니터링은 모니터링 정보(일 예로, 접안 가이드 정보)를 출력하는 단계를 포함할 수 있다. 모니터링 정보 출력 단계에서 출력되는 정보는 선박 주변이나 해양, 항만의 이미지, 이미지에 포함된 오브젝트의 종류 및 거리/속도 등 그 특성과 같이 이미지 기반 모니터링에 관련된 정보라면 제한이 없다. Image-based monitoring for monitoring a vessel, etc. may include outputting monitoring information (eg, berthing guide information). The information output in the monitoring information output step is not limited as long as it is information related to image-based monitoring, such as images of the vicinity of a ship, the ocean, and a port, and the type and distance/speed of objects included in the image.

모니터링 정보는 시각적으로 출력될 수 있다. 예를 들어, 모니터링 정보는 디스플레이 등의 출력 모듈을 통해 출력될 수 있다.Monitoring information may be output visually. For example, the monitoring information may be output through an output module such as a display.

모니터링 정보 출력 단계는 이미지 획득 단계에서 이미지 생성 유닛을 이용하여 획득한 이미지를 디스플레이하는 것을 포함할 수 있다. 이 외에도 전처리 단계를 거친 이미지, 세그멘테이션 또는 디텍션 후의 이미지, 후술할 시점 변환 후의 이미지 등 이미지 기반 모니터링에 관련된 다양한 이미지를 디스플레이하는 것을 포함할 수 있다. The monitoring information output step may include displaying the image acquired in the image obtaining step using the image generating unit. In addition to this, it may include displaying various images related to image-based monitoring, such as an image that has undergone a pre-processing step, an image after segmentation or detection, and an image after viewpoint conversion, which will be described later.

모니터링 정보 출력 단계는 이미지 분석 단계에서 추정한 위치/이동 정보(접안 가이드 정보)를 디스플레이하는 것을 포함할 수 있다. 예를 들어, 이미지와 접안 가이드 정보는 함께 디스플레이 될 수 있다. 구체적으로 디스플레이되는 접안 가이드 정보는 타겟 선박의 선수 거리, 선수 속도, 선미 거리 및 선미 속도 등을 포함할 수 있다. The monitoring information output step may include displaying the position/movement information (eyepiece guide information) estimated in the image analysis step. For example, the image and eyepiece guide information may be displayed together. The specifically displayed eyepiece guide information may include a bow distance, a bow speed, a stern distance, and a stern speed of the target vessel.

모니터링 정보 출력 단계는 시각적인 디스플레이 외에 소리나 진동을 출력하는 등 다른 방식으로 사용자에게 정보를 제공하는 것을 포함할 수 있다. 예를 들어, 타겟 선박이 안벽이나 다른 선박, 장애물 등과 충돌할 위험이 있거나 접안 시 안벽으로의 접근 속도가 기준 속도 이상인 경우, 선박이 경로를 이탈하여 운항하는 경우 등에 경고음을 출력할 수 있다. The step of outputting monitoring information may include providing information to the user in other ways such as outputting sound or vibration in addition to a visual display. For example, a warning sound may be output when the target vessel is in danger of colliding with a quay wall, other vessel, obstacle, etc., when the speed of approaching to the quay wall is higher than the reference speed when berthing, or when the vessel deviates from the route.

이미지 기반 모니터링은 서베일런스(surveillance)를 포함할 수 있다. 여기서, 서베일런스란 침입자를 감시하거나 등록되지 않은 선박의 항만 접근을 감시하는 등의 보안 관련 정보 및 화재 발생 등 긴급 상황 발생에 대한 정보를 사용자에게 제공하는 것을 의미할 수 있다.Image-based monitoring may include surveillance. Here, the surveillance may mean to provide the user with information about the occurrence of an emergency situation, such as a fire, and security-related information such as monitoring an intruder or monitoring an access of an unregistered vessel to a port.

침입자 감시는 이미지에 사람이 포함되었는지 여부 및 이미지가 촬상된 시점에 기초하여 수행될 수 있다. 예를 들어, 항만에서 작업이 진행되지 않는 시점에 촬상된 항만 이미지에 사람이 포함되는 경우 침입자가 존재하는 것으로 판단할 수 있다. Intruder monitoring can be performed based on whether or not a person is included in the image and when the image was captured. For example, if a person is included in the image of the port taken at a time when the operation is not in progress in the port, it may be determined that an intruder exists.

선박 감시는 이미지에 선박이 포함되었는지 여부에 기초하여 수행될 수 있다. 예를 들어, AIS에 등록되지 않은 선박이 감지되는 경우 이에 대한 정보를 사용자에게 제공할 수 있다.Vessel monitoring may be performed based on whether a vessel is included in the image. For example, when a vessel not registered with the AIS is detected, information about this may be provided to the user.

서베일런스는 세그멘테이션이나 디텍션을 통해 이미지에 기초하여 사람이나 선박을 감지함으로써 수행될 수 있다.Surveillance can be performed by detecting people or ships based on images through segmentation or detection.

이미지 기반 모니터링은 전처리(pre-processing) 단계를 포함할 수 있다. 전처리는 이미지에 행하여지는 모든 종류의 가공을 의미하고, 이미지 정규화(normalization), 이미지 밝기 평준화(image equalization, histogram equalization), 이미지 리사이즈(resize), 이미지의 해상도/크기를 변경하는 업스케일링(upscaling) 및 다운스케일링(downscaling), 잘라내기(crop), 노이즈 제거 등을 포함할 수 있다. 여기서, 노이즈는 안개, 비, 물방울, 해무(sea clutter), 미세먼지, 직사광선, 염분 및 이들의 조합 등을 포함할 수 있고, 노이즈를 제거한다는 것은 이미지에 포함된 노이즈 성분을 없애거나 감소시키는 것을 포함할 수 있다. Image-based monitoring may include a pre-processing step. Preprocessing refers to all kinds of processing performed on an image, including image normalization, image equalization, histogram equalization, image resizing, and upscaling to change the resolution/size of the image. and downscaling, cropping, noise removal, and the like. Here, the noise may include fog, rain, water droplets, sea clutter, fine dust, direct sunlight, salt, and combinations thereof. may include

전처리의 일 예로 정규화에 대해 살펴보면, 정규화는 RGB 이미지의 전체 픽셀의 RGB 값의 평균을 구하고 이를 RGB 이미지로부터 차감하는 것을 의미할 수 있다. Referring to normalization as an example of preprocessing, normalization may mean obtaining an average of RGB values of all pixels of an RGB image and subtracting it from the RGB image.

전처리의 다른 예로 안개 제거(defogging)에 대해 살펴보면, 안개 제거는 안개 낀 지역을 촬영한 이미지를 전처리를 통해 맑은 지역을 촬영한 이미지처럼 보이도록 변환하는 것을 의미할 수 있다. 도 13은 일 실시예에 따른 안개 제거에 관한 도면이다. 도 13을 참고하면, 안개 제거를 통해 도 13의 (a)와 같이 안개 낀 지역을 촬영한 이미지를 도 13의 (b)와 같은 안개가 제거된 이미지로 변환할 수 있다.Referring to defogging as another example of preprocessing, defogging may mean converting an image of a foggy area to look like an image of a clear area through preprocessing. 13 is a view related to fog removal according to an embodiment. Referring to FIG. 13 , an image of a foggy area as shown in FIG. 13 ( a ) may be converted into an image in which fog is removed as shown in FIG. 13 ( b ) through fog removal.

전처리의 또 다른 예로 물방울 제거에 대해 살펴보면, 물방울 제거는 카메라 전면에 맺힌 물방울이 촬영된 이미지에서 전처리를 통해 물방울이 제거된 것처럼 보이도록 변환하는 것을 의미할 수 있다.Looking at water drop removal as another example of pre-processing, water drop removal may mean converting water droplets on the front of the camera so that the water droplets appear to have been removed through pre-processing in the captured image.

일 실시예에 따르면, 이미지 획득 단계(S10) 후 전처리 단계를 거쳐 이미지 분석 단계(S20)를 수행할 수 있다. 예를 들어, 이미지 생성 유닛을 이용하여 획득한 이미지에 전처리를 수행한 후 이미지 분석을 수행할 수 있다. 이미지 전처리를 통해 이미지 분석이 용이해지거나 정확도가 향상될 수 있다.According to an embodiment, after the image acquisition step ( S10 ), the image analysis step ( S20 ) may be performed through a pre-processing step. For example, image analysis may be performed after performing pre-processing on an image obtained by using the image generating unit. Image preprocessing may facilitate image analysis or improve accuracy.

이미지 전처리는 인공 신경망을 통해 수행될 수 있다. 예를 들어, 안개 낀 지역을 촬영한 이미지를 인공 신경망에 입력하여 맑은 지역을 촬영한 이미지처럼 보이도록 변환할 수 있는 등 노이즈를 포함하는 이미지를 인공 신경망에 입력하여 노이즈가 제거된 이미지를 획득할 수 있다. 인공 신경망의 예로는 GAN 등이 있으나 이에 한정되는 것은 아니다.Image preprocessing may be performed through an artificial neural network. For example, you can input an image of a foggy area into an artificial neural network to convert a clear area to look like a photographed image, etc. You can input an image containing noise into an artificial neural network to obtain an image with noise removed. can Examples of the artificial neural network include, but are not limited to, a GAN.

또는, 이미지 전처리는 이미지 마스크를 이용하여 수행될 수 있다. 예를 들어, 안개 낀 지역을 촬영한 이미지에 이미지 마스크를 적용하여 맑은 지역을 촬영한 이미지처럼 보이도록 변환할 수 있다. 여기서, 이미지 마스크의 예로는 역 컨볼루션(deconvolution) 필터, 샤픈(sharpen) 필터 등이 있고, GAN 등의 인공 신경망을 통해 이미지 마스크를 생성할 수도 있지만 이에 한정되는 것은 아니다.Alternatively, image preprocessing may be performed using an image mask. For example, by applying an image mask to an image of a foggy area, you can transform a clear area to look like a photographed image. Here, examples of the image mask include a deconvolution filter, a sharpen filter, and the like, and an image mask may be generated through an artificial neural network such as a GAN, but is not limited thereto.

이상에서는 이미지를 전처리한 후에 이미지 분석을 수행하는 경우에 대해 살펴보았다. 이와 달리, 전처리 과정을 포함한 이미지 분석 수행이 가능할 수도 있다. 예를 들어, 이미지 분석 단계가 세그멘테이션 또는 디텍션을 포함하는 경우, 노이즈를 포함하는 이미지의 세그멘테이션 또는 디텍션 수행 결과가 노이즈를 포함하지 않는 이미지의 세그멘테이션 또는 디텍션 수행 결과와 동등하도록 구현할 수도 있을 것이다.In the above, the case of performing image analysis after image preprocessing has been discussed. Alternatively, it may be possible to perform image analysis including pre-processing. For example, when the image analysis step includes segmentation or detection, it may be implemented so that a result of performing segmentation or detection of an image including noise is equivalent to a result of performing segmentation or detection of an image that does not include noise.

이상에서는 단일 이미지에 기초한 접안 모니터링에 대해 살펴보았다. 이 외에도 복수의 이미지에 기초하여 접안 모니터링 할 수 있다. 복수에 이미지에 기초하여 이미지 분석을 수행하는 경우 장치(10)의 총 모니터링 영역이 증가하거나 모니터링의 정확도가 향상될 수 있다.In the above, we looked at eyepiece monitoring based on a single image. In addition to this, eyepiece monitoring can be performed based on a plurality of images. When image analysis is performed based on a plurality of images, the total monitoring area of the device 10 may increase or monitoring accuracy may be improved.

도 30은 일 실시예에 따른 복수의 이미지에 기초한 이미지 기반 모니터링에 관한 도면이다.30 is a diagram of image-based monitoring based on a plurality of images according to an embodiment.

도 30을 참고하면, 이미지 획득 단계는 제1 이미지 획득 단계(S11) 및 제2 이미지 획득 단계(S12)를 포함할 수 있고, 이미지 분석 단계(S20)는 제1 이미지 획득 단계(S11)에서 획득한 제1 이미지 및 제2 이미지 획득 단계(S12)에서 획득한 제2 이미지에 기초하여 이미지 분석을 수행할 수 있다. Referring to FIG. 30 , the image acquisition step may include a first image acquisition step S11 and a second image acquisition step S12 , and the image analysis step S20 is obtained in the first image acquisition step S11 . Image analysis may be performed based on the first image and the second image acquired in the second image acquiring step ( S12 ).

복수의 이미지에 기초하여 하나의 이미지를 생성한 후 이미지 분석을 수행할 수 있다. 예를 들어, 제어 모듈(200)은 복수의 이미지가 정합된 파노라마 이미지를 생성하고, 상기 파노라마 이미지의 이미지 분석을 수행할 수 있다. 구체적으로, 제어 모듈(200)은 제1 이미지 및 제2 이미지를 정합하거나 융합하여 정합 이미지 또는 융합 이미지를 생성하고, 생성된 정합 이미지 또는 융합 이미지에 기초하여 이미지 분석을 수행할 수 있다. After generating one image based on a plurality of images, image analysis may be performed. For example, the control module 200 may generate a panoramic image in which a plurality of images are matched, and perform image analysis of the panoramic image. Specifically, the control module 200 may generate a registered image or a fusion image by registering or fusing the first image and the second image, and may perform image analysis based on the generated registered image or the fusion image.

또는, 복수의 이미지 각각에 기초하여 이미지 분석을 수행한 결과를 바탕으로 최종 분석 결과를 산출할 수 있다. 예를 들어, 제1 이미지로부터 이미지 분석을 수행하여 제1 모니터링 정보를 획득하고 제2 이미지로부터 이미지 분석을 수행하여 제2 모니터링 정보를 획득한 후 제1 모니터링 정보와 제2 모니터링 정보에 기초하여 최종 모니터링 정보를 획득할 수 있다. Alternatively, a final analysis result may be calculated based on a result of performing image analysis based on each of the plurality of images. For example, after image analysis is performed from the first image to obtain first monitoring information, and image analysis is performed to obtain second monitoring information from the second image, the final monitoring information is based on the first monitoring information and the second monitoring information. Monitoring information can be obtained.

복수의 모니터링 정보로부터 최종 모니터링 정보를 획득하는 방법의 일 예로, 복수의 모니터링 정보를 가중치별로 고려하여 최종 모니터링 정보를 산출하는 방법이 있을 수 있다. As an example of a method of acquiring the final monitoring information from the plurality of monitoring information, there may be a method of calculating the final monitoring information by considering the plurality of monitoring information for each weight.

또는, 복수의 모니터링 정보가 서로 일치하지 않거나 그 차이가 특정 값과 같은 임계치(threshold) 이상인지 여부(이하 “에러 발생 여부”라 함)에 기초하여 최종 모니터링 정보를 산출할 수 있다. 예를 들어, 에러 발생 여부에 기초하여 복수의 모니터링 정보를 가중치별로 고려하여 최종 모니터링 정보를 산출하거나, 복수의 모니터링 정보 중 특정 모니터링 정보를 우선시하여 최종 모니터링 정보를 산출하거나, 특정 모니터링 정보를 다른 모니터링 정보로 보정하거나, 해당 모니터링 정보를 무시하는 방법 등이 있을 수 있지만, 이에 한정되는 것은 아니다.Alternatively, the final monitoring information may be calculated based on whether a plurality of pieces of monitoring information do not match each other or whether the difference is equal to or greater than a threshold equal to a specific value (hereinafter referred to as “error occurrence”). For example, based on the occurrence of an error, the final monitoring information is calculated by considering a plurality of monitoring information by weight, or the final monitoring information is calculated by giving priority to specific monitoring information among a plurality of monitoring information, or the specific monitoring information is used for other monitoring There may be a method of compensating with information or ignoring the corresponding monitoring information, but is not limited thereto.

복수의 이미지는 동일한 종류의 이미지일 수 있다. 예를 들어, 센서 모듈이 동일한 이미지 생성 유닛을 2개 포함하거나, 하나의 이미지 생성 유닛을 포함하는 동일한 센서 모듈이 2개 배치되어 이미지 기반 모니터링을 수행하는 경우 제1 이미지 및 제2 이미지는 동일한 종류일 수 있다.The plurality of images may be images of the same type. For example, when two sensor modules include the same image generating unit, or two identical sensor modules including one image generating unit are disposed to perform image-based monitoring, the first image and the second image are of the same type can be

복수의 이미지의 모니터링 영역은 서로 다를 수 있다. 예를 들어, 제1 이미지는 이미지 생성 유닛으로부터 근거리를 모니터링하고, 제2 이미지는 원거리를 모니터링할 수 있다. 또는, 제1 이미지는 이미지 생성 유닛으로부터 좌측을 모니터링하고, 제2 이미지는 우측을 모니터링할 수 있다.Monitoring areas of the plurality of images may be different from each other. For example, the first image may monitor a short distance from the image generating unit, and the second image may monitor a long distance. Alternatively, the first image may monitor the left side from the image generating unit, and the second image may monitor the right side.

도 31은 일 실시예에 따른 이미지 융합에 관한 도면이다.31 is a diagram of image fusion according to an embodiment.

도 31을 참고하면, 제어 모듈(200)은 RGB 이미지(IMG1) 및 라이다 이미지(IMG2)를 융합하여 이미지 분석(S20)을 수행할 수 있다. 예를 들어, 제어 모듈(200)은 카메라 및 라이다를 통해 동일한 영역을 나타내는 RGB 이미지 및 라이다 이미지를 획득하고 획득한 양 이미지를 서로 맵핑할 수 있다. 여기서, RGB 이미지에서 거리/속도 산출에 이용되는 픽셀 당 거리는 맵핑된 라이다 이미지에서의 거리에 기초하여 결정될 수 있다. Referring to FIG. 31 , the control module 200 may perform image analysis ( S20 ) by fusing the RGB image IMG1 and the LiDAR image IMG2 . For example, the control module 200 may acquire an RGB image and a lidar image representing the same area through a camera and a lidar, and map the acquired images to each other. Here, the distance per pixel used for calculating the distance/velocity in the RGB image may be determined based on the distance in the mapped lidar image.

제어 모듈(200)가 이미지를 융합하여 이미지 분석을 수행하는 경우, 전술한 바와 같이 제어 모듈(200)은 제1 이미지 및 제2 이미지를 융합하여 하나의 융합 이미지를 생성한 후에 이미지 분석을 수행하여 모니터링 정보를 획득하거나(예를 들어, RGB 이미지(IMG1) 및 라이다 이미지(IMG2)를 융합하여 하나의 융합 이미지를 생성하고 이에 기반하여 이미지 분석(S20)을 수행), 제1 이미지로부터 이미지 분석을 수행하여 제1 모니터링 정보를 획득하고 제2 이미지로부터 이미지 분석을 수행하여 제2 모니터링 정보를 획득한 후 제1 모니터링 정보와 제2 모니터링 정보를 융합하여 최종 모니터링 정보를 획득(예를 들어, RGB 이미지(IMG1)에 기초한 이미지 분석을 통해 제1 모니터링 정보를 획득하고 라이다 이미지(IMG2)에 기초한 이미지 분석을 통해 제2 모니터링 정보를 획득한 후 이를 융합하여 최종 모니터링 정보 획득)할 수 있다.When the control module 200 fuses images to perform image analysis, as described above, the control module 200 fuses the first image and the second image to generate one fusion image, then performs image analysis to Acquire monitoring information (for example, by fusing an RGB image (IMG1) and a lidar image (IMG2) to generate one fused image and perform image analysis (S20) based on it), or image analysis from the first image to obtain the first monitoring information, perform image analysis from the second image to obtain the second monitoring information, and then fuse the first monitoring information and the second monitoring information to obtain the final monitoring information (e.g., RGB The first monitoring information may be obtained through image analysis based on the image IMG1 and the second monitoring information may be obtained through image analysis based on the lidar image IMG2 and then fused to obtain final monitoring information).

도 32는 일 실시예에 따른 RGB 이미지의 위치/이동 정보 보정에 관한 도면이다.32 is a diagram for correcting position/movement information of an RGB image according to an exemplary embodiment.

도 32를 참고하면, 모니터링하는 선박의 위치/이동 정보의 정확도를 향상시키기 위해 장치(10)는 센서 모듈(100)를 통해 획득한 다른 데이터를 통해 RGB 이미지로부터 획득한 선박의 위치/이동 정보를 보정할 수 있다. Referring to FIG. 32 , in order to improve the accuracy of the location/movement information of the monitored vessel, the device 10 receives the position/movement information of the vessel obtained from the RGB image through other data acquired through the sensor module 100 . can be corrected.

일 실시예에 따르면, 제어 모듈(200)은 센서 모듈(100)를 통해 획득한 라이다 이미지에 기초하여 RGB 이미지 상에서 획득한 선박의 거리/속도를 보정할 수 있다. 예를 들어, 장치(10)는 RGB 이미지 상에서 획득한 선박의 거리/속도 및 라이다 이미지 상에서 획득한 선박의 거리/속도에 기초하여 보정된 선박의 거리/속도를 획득할 수 있다. 구체적으로, 장치(10)는 RGB 이미지 상에서 획득한 선박의 거리/속도 및 라이다 이미지 상에서 획득한 선박의 거리/속도를 비교하여 보정된 선박의 거리/속도를 획득할 수 있다.According to an embodiment, the control module 200 may correct the distance/speed of the vessel acquired on the RGB image based on the lidar image acquired through the sensor module 100 . For example, the device 10 may obtain the corrected vessel distance/velocity based on the vessel distance/velocity acquired on the RGB image and the vessel distance/velocity acquired on the lidar image. Specifically, the device 10 may obtain the corrected distance/speed of the vessel by comparing the distance/speed of the vessel acquired on the RGB image and the distance/speed of the vessel acquired on the lidar image.

물론, 모니터링하는 선박의 위치/이동 정보의 보정은 라이다 이미지뿐만 아니라 종래에 사용되는 radar, 초음파 탐지기 등의 다양한 종류의 센서 데이터를 이용하여 수행되어도 무방하다.Of course, the correction of the position/movement information of the monitored vessel may be performed using not only the lidar image but also various types of sensor data such as conventionally used radar and ultrasonic detectors.

도 33은 일 실시예에 따른 라이다 이미지에 기초한 위치/이동 정보 보정에 관한 순서도이다.33 is a flowchart for correcting position/movement information based on a lidar image according to an exemplary embodiment.

도 33을 참고하면, 이미지 기반 모니터링은 제어 모듈(200)이 라이다 이미지 획득하는 단계(S252) 및 라이다 이미지에 기초하여 위치/이동 정보 보정하는 단계(S254)를 수행하는 것을 포함할 수 있다. Referring to FIG. 33 , the image-based monitoring may include performing, by the control module 200, obtaining a lidar image (S252) and correcting position/movement information based on the lidar image (S254). .

장치(10)는 이미지 생성 유닛으로부터 라이다 이미지를 획득할 수 있다(S252). The device 10 may obtain a lidar image from the image generating unit (S252).

예를 들어, 제어 모듈(200)은 센서 모듈(100)로부터 RGB 이미지와 실시간으로 동기화된 라이다 이미지를 획득할 수 있다. 여기서 라이다 이미지는 2차원 이미지뿐만 아니라 3차원 이미지 등도 가능하다.For example, the control module 200 may obtain a LiDAR image synchronized with the RGB image in real time from the sensor module 100 . Here, the lidar image may be a three-dimensional image as well as a two-dimensional image.

장치(10)는 획득한 라이다 이미지에 기초하여 RGB 이미지에서 획득된 선박의 위치/이동 정보를 보정할 수 있다(S254). The device 10 may correct the position/movement information of the vessel obtained from the RGB image based on the obtained lidar image (S254).

라이다 이미지에 기초하여 위치/이동 정보 보정하는 단계(S254)는 제어 모듈(200)이 라이다 이미지에서 선박의 위치/이동 정보를 획득하는 것을 포함할 수 있다. 예를 들어, 제어 모듈(200)은 라이다 이미지에서 선박과 안벽 사이의 거리/속도를 획득하거나 선박과 다른 선박 사이의 거리/속도를 획득할 수 있다. 구체적으로, 제어 모듈(200)은 라이다 이미지로부터 선박의 선수 거리/속도, 선박의 선미 거리/속도, 선박간 거리, 선박과 인접 선박 사이의 상대 속도 등을 획득할 수 있다.The step of correcting the position/movement information based on the lidar image ( S254 ) may include obtaining, by the control module 200 , the position/movement information of the vessel from the lidar image. For example, the control module 200 may acquire the distance/speed between the vessel and the quay wall from the lidar image or the distance/speed between the vessel and another vessel. Specifically, the control module 200 may acquire the bow distance/speed of the ship, the stern distance/speed of the ship, the distance between ships, the relative speed between the ship and the adjacent ship, and the like from the lidar image.

일 실시예에 따르면, 제어 모듈(200)은 RGB 이미지와 실시간으로 동기화된 라이다 이미지에 기초하여 선박의 위치/이동 정보를 획득할 수 있다. 예를 들어, 제어 모듈(200)은 RGB 이미지와 실시간으로 동기화된 라이다 이미지에 기초하여 선박의 접안 관련 정보 및/또는 충돌 관련 정보를 획득할 수 있다. 구체적으로, 제어 모듈(200)은 RGB 이미지와 실시간으로 동기화된 라이다 이미지에서 선석 평면에 대하여 수직 관계에 있는 포인트들을 일정 간격으로 샘플링하여 추정된 선박의 옆면에 기초하여 선박의 위치/이동 정보를 획득할 수 있다. 제어 모듈(200)은 라이다 이미지에서 샘플링을 통해 추정된 선박의 옆면의 양끝을 선박의 선수/선미로 결정할 수 있다. According to an embodiment, the control module 200 may acquire the position/movement information of the vessel based on the RGB image and the LiDAR image synchronized in real time. For example, the control module 200 may acquire berthing-related information and/or collision-related information of the vessel based on the RGB image and the LiDAR image synchronized in real time. Specifically, the control module 200 samples the points that are perpendicular to the berth plane at regular intervals in the RGB image and the LiDAR image synchronized in real time to obtain the position/movement information of the vessel based on the estimated side surface of the vessel. can be obtained The control module 200 may determine both ends of the side surface of the ship estimated through sampling from the lidar image as the bow/stern of the ship.

제어 모듈(200)은 라이다 이미지에서 결정된 선수/선미에 기초하여 선박과 안벽 사이의 거리/속도를 획득할 수 있다. 예를 들어, 제어 모듈(200)은 라이다 이미지에서 결정된 선수/선미에 기초하여 선박의 선수 거리, 선미 거리, 선수 속도, 선미 속도 등을 획득할 수 있다.The control module 200 may acquire the distance/speed between the ship and the quay wall based on the bow/stern determined from the lidar image. For example, the control module 200 may acquire the bow distance, the stern distance, the bow speed, the stern speed, etc. of the ship based on the bow/stern determined from the lidar image.

또한 제어 모듈(200)은 라이다 이미지에서 결정된 선수/선미에 기초하여 선박과 다른 선박 사이의 거리/속도를 획득할 수 있다. 예를 들어, 제어 모듈(200)은 라이다 이미지에서 결정된 선수/선미에 기초하여 선박의 선박간 거리, 선박과 인접 선박 사이의 상대 속도 등을 획득할 수 있다. Also, the control module 200 may acquire the distance/velocity between the vessel and the other vessel based on the bow/stern determined from the lidar image. For example, the control module 200 may acquire a ship-to-ship distance of a ship, a relative speed between a ship and an adjacent ship, etc. based on the bow/stern determined from the lidar image.

물론, 제어 모듈(200)은 라이다 이미지에서 선박의 선수/선미를 선박의 옆면의 양끝이 아닌 다른 위치로 결정해도 무방하며, 뿐만 아니라 제어 모듈(200)은 라이다 이미지에서 하나의 포인트를 선정하여 선박의 위치/이동 정보를 획득하는 대신 영역 자체를 선정하여 선박의 위치/이동 정보를 획득하여도 무방하다. 또한 반드시 그러한 것은 아니며, 라이다 이미지에서의 선박의 위치/이동 정보의 획득은 다양한 방식으로 수행될 수 있다.Of course, the control module 200 may determine the fore/stern of the ship in a position other than both ends of the side of the ship in the lidar image, and the control module 200 selects one point in the lidar image. Therefore, instead of acquiring the position/movement information of the vessel, it is okay to select the area itself to acquire the position/movement information of the vessel. Also, this is not necessarily the case, and the acquisition of the position/movement information of the vessel in the lidar image may be performed in various ways.

또한, 라이다 이미지에 기초하여 위치/이동 정보 보정하는 단계(S254)는 제어 모듈(200)이 RGB 이미지에서 획득한 위치/이동 정보를 라이다 이미지에서 획득한 선박의 위치/이동 정보를 이용하여 보정하는 것을 포함할 수 있다. 예를 들어, 제어 모듈(200)은 RGB 이미지에서 획득한 접안 관련 정보 및/또는 충돌 관련 정보를 라이다 이미지에서 획득한 선박의 접안 관련 정보 및/또는 충돌 관련 정보를 이용하여 보정할 수 있다. 여기서, RGB 이미지와 라이다 이미지는 동일한 영역을 촬상한 이미지이고, 서로 맵핑된 이미지일 수 있다. 또한, RGB 이미지와 라이다 이미지는 실시간으로 동기화될 수 있다. In addition, in the step of correcting the position/movement information based on the lidar image (S254), the control module 200 uses the position/movement information obtained from the RGB image and the position/movement information of the vessel obtained from the lidar image. This may include correction. For example, the control module 200 may correct the berthing-related information and/or collision-related information obtained from the RGB image by using the vessel's berthing-related information and/or collision-related information obtained from the lidar image. Here, the RGB image and the lidar image may be images obtained by capturing the same area, and may be images mapped to each other. In addition, the RGB image and LiDAR image can be synchronized in real time.

일 실시예에 따르면, 제어 모듈(200)은 RGB 이미지로부터 획득된 거리/속도와 라이다 이미지로부터 획득된 거리/속도의 차이가 기설정된 임계값 이상이 되는 경우, 해당 프레임에서의 선박의 거리/속도를 라이다 이미지로부터 획득된 기반 거리/속도로 결정할 수 있다. 예를 들어, 제어 모듈(200)은 RGB 이미지로부터 획득된 선수 거리 및 선미 거리와 라이다 이미지로부터 획득된 선수 거리 및 선미 거리의 차이가 기설정된 값 이상이 되는 경우, 선박의 선수 거리 및 선미 거리를 라이다 이미지로부터 획득된 선수 거리 및 선미 거리로 결정할 수 있다. 다른 예를 들어, 제어 모듈(200)은 RGB 이미지로부터 획득된 선박간 거리와 라이다 이미지로부터 획득된 선박간 거리의 차이가 기설정된 값 이상이 되는 경우, 선박의 선박간 거리를 라이다 이미지로부터 획득된 선박간 거리로 결정할 수 있다. 물론, 제어 모듈(200)은 선박의 속도를 RGB 이미지로부터 획득된 속도가 아닌 라이다 이미지로부터 획득된 속도로 결정하는 것도 가능하다.According to one embodiment, when the difference between the distance/speed obtained from the RGB image and the distance/speed obtained from the lidar image is greater than or equal to a preset threshold, the control module 200 controls the distance/speed of the vessel in the corresponding frame. The velocity can be determined based on distance/velocity obtained from the lidar image. For example, when the difference between the bow and stern distances obtained from the RGB image and the bow and stern distances obtained from the lidar image is equal to or greater than a preset value, the control module 200 may control the vessel's bow and stern distances. can be determined as the bow distance and the stern distance obtained from the lidar image. For another example, when the difference between the distance between ships obtained from the RGB image and the distance between ships obtained from the LiDAR image is equal to or greater than a preset value, the control module 200 calculates the distance between ships from the LiDAR image. It can be determined by the obtained intership distance. Of course, it is also possible for the control module 200 to determine the speed of the vessel as the speed obtained from the lidar image rather than the speed obtained from the RGB image.

또한 일 실시예에 따르면, 제어 모듈(200)은 선박의 거리/속도를 해당 프레임에서의 RGB 이미지로부터 획득된 거리/속도와 라이다 이미지로부터 획득된 거리/속도가 일정 비율로 반영된 값으로 결정할 수 있다. Also, according to an embodiment, the control module 200 may determine the distance/speed of the ship as a value in which the distance/speed obtained from the RGB image in the corresponding frame and the distance/speed obtained from the lidar image are reflected at a certain ratio. have.

예를 들어, 제어 모듈(200)은 선박의 선수 거리 및 선미 거리를 RGB 이미지로부터 획득된 선수 거리 및 선미 거리와 라이다 이미지로부터 획득된 선수 거리 및 선미 거리가 일정 비율로 반영된 값으로 결정할 수 있다. 다른 예를 들어, 제어 모듈(200)은 선박의 선박간 거리를 RGB 이미지로부터 획득된 선박간 거리와 라이다 이미지로부터 획득된 선박간 거리가 일정 비율로 반영된 값으로 결정할 수 있다. 물론, 제어 모듈(200)은 선박의 속도를 RGB 이미지로부터 획득된 속도와 라이다 이미지로부터 획득된 속도가 일정 비율로 반영된 값으로 결정하는 것도 가능하다. For example, the control module 200 may determine the bow distance and the stern distance of the ship as values in which the bow and stern distances obtained from the RGB image and the bow and stern distances obtained from the lidar image are reflected at a certain ratio. . For another example, the control module 200 may determine the intership distance of the vessel as a value in which the intership distance obtained from the RGB image and the intership distance obtained from the lidar image are reflected at a certain ratio. Of course, it is also possible for the control module 200 to determine the speed of the vessel as a value in which the speed obtained from the RGB image and the speed obtained from the lidar image are reflected in a certain ratio.

다만, 라이다 이미지에 기초한 위치/이동 정보 보정은 상술한 방식에 의해 수행되는 것으로 한정될 필요는 없고 제어 모듈(200)은 라이다 이미지에 기초하여 RGB 이미지에서 획득한 선박의 위치/이동 정보를 다양한 방식으로 보정할 수 있다. However, the position/movement information correction based on the lidar image does not need to be limited to being performed by the above-described method, and the control module 200 determines the position/movement information of the vessel obtained from the RGB image based on the lidar image. It can be corrected in a number of ways.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

상기에서는 실시예를 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 발명이 속하는 기술 분야의 당업자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀둔다.In the above, the configuration and features of the present invention have been described with reference to the embodiments, but the present invention is not limited thereto, and it will be appreciated by those skilled in the art that various changes or modifications can be made within the spirit and scope of the present invention. It is evident that such changes or modifications are intended to fall within the scope of the appended claims.

10: 모니터링 장치
100: 센서 모듈
110: 통신부
120: 제어부
130: 카메라
200: 제어 모듈
210: 통신부
220: 제어부
300: 통신 모듈
10: monitoring device
100: sensor module
110: communication department
120: control unit
130: camera
200: control module
210: communication unit
220: control unit
300: communication module

Claims (29)

컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법으로,
항만에 설치되어 이미지를 촬상하는 카메라를 이용하여 바다, 제1 선박의 적어도 일부 및 제2 선박의 적어도 일부를 포함하는 항만 이미지를 획득하는 단계;
상기 항만 이미지로부터 상기 제1 선박이 해수면과 접하는 밑면의 양 단부에 대응하는 한 쌍의 제1 포인트들 및 상기 제1 선박의 선수 및 선미에 대응하는 한 쌍의 제2 포인트들을 추출하는 단계;
상기 한 쌍의 제1 포인트들에 기초하여 상기 제1 선박의 선수와 안벽(pier) 사이의 거리인 선수 거리 및 상기 제1 선박의 선미와 안벽 사이의 거리인 선미 거리를 포함하는 상기 제1 선박의 접안 관련 정보를 획득하는 단계; 및
상기 한 쌍의 제2 포인트들에 기초하여 상기 제1 선박의 제2 선박과의 거리를 포함하는 상기 제1 선박의 충돌 관련 정보를 획득하는 단계; 를 포함하고,
상기 충돌 관련 정보를 획득하는 단계는,
상기 한 쌍의 제2 포인트들 중 상기 제2 선박과 더 가까운 하나의 제2 포인트에 기초하여 상기 제1 선박과 상기 제2 선박 사이의 거리를 획득하는 단계를 포함하는
항만 모니터링 방법.
A port monitoring method performed by computing means, comprising:
Acquiring a harbor image including the sea, at least a portion of the first vessel, and at least a portion of the second vessel using a camera installed in the port to capture an image;
extracting a pair of first points corresponding to both ends of the bottom surface of the first ship in contact with sea level and a pair of second points corresponding to the bow and stern of the first ship from the harbor image;
The first vessel comprising a bow distance that is a distance between a bow of the first vessel and a pier and a stern distance that is a distance between the stern and a quay wall of the first vessel based on the pair of first points obtaining information related to the berthing of; and
obtaining collision-related information of the first vessel including a distance of the first vessel and a second vessel based on the pair of second points; including,
Obtaining the collision-related information includes:
obtaining a distance between the first vessel and the second vessel based on a second point of the pair of second points that is closer to the second vessel
How to monitor ports.
제1항에 있어서,
상기 추출하는 단계는,
상기 항만 이미지로부터 상기 제1 선박에 대응하는 영역을 획득하는 단계,
상기 제1 선박에 대응하는 영역이 상기 해수면과 접하는 선을 추출하는 단계 및
상기 해수면과 접하는 선의 양 단부를 한 쌍의 제1 포인트들로 결정하는 단계를 포함하는
항만 모니터링 방법.
According to claim 1,
The extraction step is
obtaining an area corresponding to the first vessel from the harbor image;
extracting a line in which an area corresponding to the first ship is in contact with the sea level; and
Determining both ends of the line tangent to the sea level as a pair of first points
How to monitor ports.
제1 항에 있어서,
상기 추출하는 단계는,
상기 항만 이미지로부터 상기 제1 선박에 대응하는 영역을 획득하는 단계,
상기 제1 선박에 대응하는 영역에서 상기 제1 선박의 선수측면에 대응하는 선수선 및 선미측면에 대응하는 선미선을 추출하는 단계 및
상기 선수선의 하나의 단부 및 상기 선미선의 하나의 단부를 한 쌍의 제2 포인트들로 결정하는 단계를 포함하는
항만 모니터링 방법.
According to claim 1,
The extraction step is
obtaining an area corresponding to the first vessel from the harbor image;
Extracting a bow line corresponding to the bow side of the first vessel and a stern line corresponding to the stern side in the area corresponding to the first vessel, and
determining one end of the bow line and one end of the stern line as a pair of second points
How to monitor ports.
제1항에 있어서,
상기 추출하는 단계는,
상기 제1 선박의 경계를 표시하는 경계 다각형(boundary polygon)을 결정하는 단계 및
상기 결정된 경계 다각형에 기초하여 상기 한 쌍의 제1 포인트들 및 상기 한 쌍의 제2 포인트들을 추출하는 단계를 포함하는
항만 모니터링 방법.
According to claim 1,
The extraction step is
determining a boundary polygon indicating a boundary of the first vessel; and
extracting the pair of first points and the pair of second points based on the determined boundary polygon
How to monitor ports.
제4 항에 있어서,
상기 한 쌍의 제1 포인트들은 상기 경계 다각형의 상기 제1 선박의 하부에 대응하는 복수의 포인트 중 두 개의 포인트로 결정되는
항만 모니터링 방법.
5. The method of claim 4,
The pair of first points is determined as two points among a plurality of points corresponding to the lower portion of the first vessel of the boundary polygon.
How to monitor ports.
제5 항에 있어서,
상기 한 쌍의 제1 포인트들은 상기 경계 다각형의 상기 제1 선박의 선수단부 및 선미단부에 대응하는 두 개의 포인트 각각과 가장 인접한 두 개의 포인트로 결정되는
항만 모니터링 방법.
6. The method of claim 5,
The pair of first points is determined as two points closest to each of the two points corresponding to the front end and the aft end of the first vessel of the boundary polygon
How to monitor ports.
제1항에 있어서,
상기 접안 관련 정보를 획득하는 단계는,
상기 한 쌍의 제1 포인트들 중 하나의 제1 포인트에 기초하여 상기 선수 거리를 획득하는 단계 및
상기 한 쌍의 제1 포인트들 중 다른 하나의 제1 포인트에 기초하여 상기 선미 거리를 획득하는 단계를 포함하는
항만 모니터링 방법.
According to claim 1,
The step of obtaining the eyepiece-related information,
obtaining the athlete distance based on a first point of one of the pair of first points; and
Comprising the step of obtaining the stern distance based on the other first point of the pair of first points
How to monitor ports.
제7항에 있어서,
상기 선수 거리를 획득하는 단계는
상기 하나의 제1 포인트와 상기 안벽 사이의 상기 항만 이미지의 픽셀 개수에 기초하여 상기 선수 거리를 산출하는 단계를 포함하고,
상기 선미 거리를 획득하는 단계는,
상기 다른 하나의 제1 포인트와 상기 안벽 사이의 상기 항만 이미지의 픽셀 개수에 기초하여 상기 선미 거리를 산출하는 단계를 포함하는
항만 모니터링 방법.
8. The method of claim 7,
The step of obtaining the distance of the player is
Calculating the bow distance based on the number of pixels of the harbor image between the one first point and the quay wall,
The step of obtaining the stern distance is,
Calculating the stern distance based on the number of pixels in the harbor image between the other first point and the quay wall
How to monitor ports.
제8항에 있어서,
상기 접안 관련 정보를 획득하는 단계는,
상기 선수 거리에 기초하여 상기 제1 선박의 선수가 상기 안벽으로 접근하는 속도인 선수 속도를 획득하는 단계 및
상기 선미 거리에 기초하여 상기 제1 선박의 선미가 상기 안벽으로 접근하는 속도인 선미 속도를 획득하는 단계 를 포함하는
항만 모니터링 방법.
9. The method of claim 8,
The step of obtaining the eyepiece-related information,
obtaining a bow speed, which is a speed at which the bow of the first vessel approaches the quay wall, based on the bow distance; and
Comprising the step of obtaining a stern speed that is a speed at which the stern of the first ship approaches the quay wall based on the stern distance
How to monitor ports.
제9항에 있어서,
상기 선수 속도를 획득하는 단계는,
상기 항만 이미지의 제1 선수 거리 및 상기 항만 이미지의 후속 프레임 이미지의 제2 선수 거리를 비교하여 상기 선수 속도를 획득하는 단계를 포함하고
상기 선미 속도를 획득하는 단계는,
상기 항만 이미지의 제1 선미 거리 및 상기 후속 프레임 이미지의 제2 선미 거리를 비교하여 상기 선미 속도를 획득하는 단계를 포함하고
항만 모니터링 방법.
10. The method of claim 9,
The step of obtaining the player speed includes:
Comprising the step of comparing the first bow distance of the harbor image and the second bow distance of the subsequent frame image of the harbor image to obtain the bow speed,
The step of obtaining the stern speed is,
Comprising the step of obtaining the stern speed by comparing the first stern distance of the harbor image and the second stern distance of the subsequent frame image,
How to monitor ports.
제10항에 있어서,
상기 선수 속도를 획득하는 단계는,
상기 항만 이미지와 상기 후속 프레임 이미지 간의 시간 간격 및 상기 제1 및 제2 선수 거리의 픽셀 개수의 차이에 기초하여 상기 선수 속도를 산출하는 단계를 포함하고,
상기 선미 속도를 획득하는 단계는,
상기 시간 간격 및 상기 제1 및 제2 선미 거리의 픽셀 개수의 차이에 기초하여 상기 선미 속도를 산출하는 단계를 포함하는
항만 모니터링 방법.
11. The method of claim 10,
The step of obtaining the player speed includes:
Calculating the bow speed based on a time interval between the harbor image and the subsequent frame image and a difference in the number of pixels of the first and second bow distances,
The step of obtaining the stern speed is,
Comprising the step of calculating the stern speed based on the difference between the number of pixels of the time interval and the first and second stern distances
How to monitor ports.
제4항에 있어서,
상기 한 쌍의 제2 포인트들은 상기 경계 다각형의 상기 제1 선박의 선수에 대응하는 복수의 선수 포인트 중 하나의 포인트 및 상기 경계 다각형의 상기 제1 선박의 선미에 대응하는 복수의 선미 포인트 중 하나의 포인트로 결정되는
항만 모니터링 방법.
5. The method of claim 4,
The pair of second points is one of a plurality of bow points corresponding to the bow of the first vessel of the boundary polygon and one of a plurality of stern points corresponding to the stern of the first vessel of the boundary polygon. determined by points
How to monitor ports.
제12항에 있어서,
상기 한 쌍의 제2 포인트들은 상기 선수 포인트들 중 선수단부에 대응하는 하나의 포인트 및 상기 선미 포인트들 중 선미단부에 대응하는 하나의 포인트로 결정되는
항만 모니터링 방법.
13. The method of claim 12,
The pair of second points is determined as one point corresponding to the fore end of the bow points and one point corresponding to the aft end among the stern points
How to monitor ports.
제1항에 있어서,
상기 충돌 관련 정보를 획득하는 단계는,
상기 하나의 제2 포인트와 상기 제2 선박 사이의 상기 항만 이미지의 픽셀 개수에 기초하여 상기 제1 선박과 상기 제2 선박 사이의 거리를 산출하는 단계를 포함하는
항만 모니터링 방법.
According to claim 1,
Obtaining the collision-related information includes:
Calculating a distance between the first vessel and the second vessel based on the number of pixels in the harbor image between the one second point and the second vessel
How to monitor ports.
제14항에 있어서,
상기 충돌 관련 정보를 획득하는 단계는,
상기 제1 선박과 상기 제2 선박 사이의 거리에 기초하여 상기 제1 선박과 상기 제2 선박 사이의 상대속도를 획득하는 단계를 포함하는
항만 모니터링 방법.
15. The method of claim 14,
Obtaining the collision-related information includes:
obtaining a relative speed between the first vessel and the second vessel based on a distance between the first vessel and the second vessel
How to monitor ports.
제15항에 있어서,
상기 상대속도를 획득하는 단계는,
상기 항만 이미지의 상기 제1 선박과 상기 제2 선박 사이의 제1 거리 및 상기 항만 이미지의 후속 프레임 이미지의 상기 제1 선박과 상기 제2 선박 사이의 제2 거리를 비교하여 상기 상대속도를 획득하는 단계를 포함하는
항만 모니터링 방법.
16. The method of claim 15,
The step of obtaining the relative speed comprises:
Comparing the first distance between the first vessel and the second vessel of the harbor image and the second distance between the first vessel and the second vessel of the subsequent frame image of the harbor image to obtain the relative speed including steps
How to monitor ports.
제16항에 있어서,
상기 상대속도를 획득하는 단계는,
상기 항만 이미지와 상기 후속 프레임 이미지 간의 시간 간격 및 상기 제1 거리 및 상기 제2 거리의 픽셀 개수의 차이에 기초하여 상기 상대속도를 산출하는 단계를 포함하는
항만 모니터링 방법.
17. The method of claim 16,
The step of obtaining the relative speed comprises:
calculating the relative speed based on a time interval between the harbor image and the subsequent frame image and a difference between the number of pixels at the first distance and the second distance
How to monitor ports.
제1항에 있어서,
상기 충돌 관련 정보를 획득하는 단계는,
상기 하나의 제2 포인트가 상기 제1 선박이 해수면과 접하는 상기 밑면과 수직하게 접하는 위치의 제3 포인트를 추출하는 단계 및
상기 제3 포인트와 상기 제2 선박 사이의 이미지 픽셀 개수에 기초하여 상기 제1 선박과 상기 제2 선박 사이의 거리를 산출하는 단계를 포함하는
항만 모니터링 방법.
According to claim 1,
Obtaining the collision-related information includes:
extracting a third point of a position in which the one second point is perpendicular to the bottom surface of the first vessel in contact with the sea level; and
Calculating a distance between the first vessel and the second vessel based on the number of image pixels between the third point and the second vessel
How to monitor ports.
제4항에 있어서,
상기 한 쌍의 제1 포인트들 및 상기 한 쌍의 제2 포인트들은,
상기 경계 다각형의 일부에 기초하여 결정되는,
항만 모니터링 방법.
5. The method of claim 4,
The pair of first points and the pair of second points are
determined based on a portion of the boundary polygon,
How to monitor ports.
제1항에 있어서,
상기 한 쌍의 제1 포인트들 및 한 쌍의 제2 포인트들을 추출하는 단계는,
상기 항만 이미지의 시점을 변환하여 시점 변환 항만 이미지를 생성하는 단계 및
상기 시점 변환 항만 이미지에 기초하여 상기 한 쌍의 제1 포인트들 및 한 쌍의 제2 포인트들을 추출하는 단계를 포함하는
항만 모니터링 방법.
According to claim 1,
The step of extracting the pair of first points and the pair of second points comprises:
converting the viewpoint of the harbor image to generate a viewpoint-converted harbor image; and
and extracting the pair of first points and the pair of second points based on the viewpoint-transformed harbor image.
How to monitor ports.
제1항에 있어서,
상기 한 쌍의 제1 포인트들 및 상기 한 쌍의 제2 포인트들을 추출하는 단계는,
입력 이미지 및 상기 입력 이미지에 포함된 바다, 선박 및 지형지물을 포함하는 오브젝트들에 해당하는 픽셀에 각각 바다, 선박 및 지형지물을 지시하는 클래스 값들을 라벨링한 러닝셋을 이용하여 학습된 인공 신경망을 이용하여 상기 항만 이미지로부터 상기 오브젝트들에 대한 세그멘테이션 이미지를 생성하는 단계 및
상기 세그멘테이션 이미지로부터 상기 한 쌍의 제1 포인트들 및 상기 한 쌍의 제2 포인트들을 추출하는 단계를 포함하는
항만 모니터링 방법.
According to claim 1,
The step of extracting the pair of first points and the pair of second points comprises:
An artificial neural network learned using a learning set in which the input image and the pixels corresponding to the objects including the sea, the ship, and the feature included in the input image are labeled with class values indicating the sea, the ship, and the feature, respectively. generating segmentation images for the objects from the harbor image using
extracting the pair of first points and the pair of second points from the segmentation image
How to monitor ports.
제1항에 있어서,
상기 항만 이미지와 대응하는 라이다 이미지를 획득하는 단계; 및
획득한 상기 라이다 이미지에 기초하여 상기 접안 관련 정보 및/또는 상기 충돌 관련 정보를 보정하는 단계를 더 포함하는
항만 모니터링 방법.
According to claim 1,
obtaining a lidar image corresponding to the harbor image; and
Further comprising the step of correcting the eyepiece-related information and / or the collision-related information based on the obtained LiDAR image
How to monitor ports.
제1항에 있어서,
상기 항만 이미지는
복수의 항만 이미지가 정합된 파노라마 이미지를 포함하는
항만 모니터링 방법.
According to claim 1,
The port image is
A plurality of harbor images including a registered panoramic image
How to monitor ports.
제1항에 있어서,
상기 접안 관련 정보 및/또는 상기 충돌 관련 정보를 상기 항만 이미지와 함께 출력하는 단계; 를 더 포함하는
항만 모니터링 방법.
According to claim 1,
outputting the berthing-related information and/or the collision-related information together with the harbor image; further comprising
How to monitor ports.
제1항에 있어서,
상기 항만 이미지에 기초하여 상기 제1 선박의 상기 선수 및 상기 선미를 결정하는 단계; 를 더 포함하는
항만 모니터링 방법.
According to claim 1,
determining the bow and the stern of the first vessel based on the harbor image; further comprising
How to monitor ports.
컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법으로,
항만에 설치되어 이미지를 촬상하는 카메라를 이용하여 바다 및 타겟 선박의 적어도 일부를 포함하는 항만 이미지를 획득하는 단계;
입력 이미지 및 상기 입력 이미지에 포함된 바다, 선박 및 지형지물을 포함하는 오브젝트들에 해당하는 픽셀에 각각 바다, 선박 및 지형지물을 지시하는 클래스 값들을 라벨링한 러닝셋을 이용하여 학습된 인공 신경망을 이용하여 상기 항만 이미지로부터 상기 오브젝트들에 대한 세그멘테이션 이미지를 생성하는 단계;
상기 세그멘테이션 이미지의 선박을 지시하는 클래스 값이 할당된 선박의 영역 중 상기 타겟 선박에 대응되는 영역이 해수면과 접하는 밑면의 양 단부에 대응하는 한 쌍의 제1 포인트들을 추출하는 단계; 및
상기 한 쌍의 제1 포인트들에 기초하여 상기 타겟 선박의 선수와 안벽(pier) 사이의 거리인 선수 거리 및 상기 타겟 선박의 선미와 안벽 사이의 거리인 선미 거리를 포함하는 상기 타겟 선박의 접안 관련 정보를 획득하는 단계; 를 포함하고
상기 타겟 선박의 접안 관련 정보를 획득하는 단계는,
상기 한 쌍의 제1 포인트들 중 하나의 제1 포인트에 기초하여 상기 타겟 선박의 상기 선수 거리를 획득하는 단계 및
상기 한 쌍의 제1 포인트들 중 다른 하나의 제1 포인트에 기초하여 상기 타겟 선박의 상기 선미 거리를 획득하는 단계를 포함하는
항만 모니터링 방법.
A port monitoring method performed by computing means, comprising:
Acquiring a harbor image including at least a portion of the sea and a target vessel using a camera installed in the harbor to capture an image;
An artificial neural network learned using a learning set in which the input image and the pixels corresponding to the objects including the sea, the ship, and the feature included in the input image are labeled with class values indicating the sea, the ship, and the feature, respectively. generating segmentation images for the objects from the harbor image using;
extracting a pair of first points corresponding to both ends of a bottom surface of which an area corresponding to the target ship is in contact with the sea level among areas of a ship to which a class value indicating a ship of the segmentation image is assigned; and
berthing relation of the target vessel including a bow distance that is a distance between the bow of the target vessel and a pier and a stern distance that is a distance between the stern and a quay wall of the target vessel based on the pair of first points obtaining information; includes
The step of obtaining the berthing-related information of the target vessel,
obtaining the bow distance of the target vessel based on a first point of one of the pair of first points; and
acquiring the stern distance of the target vessel based on the other first point of the pair of first points
How to monitor ports.
제26항에 있어서,
상기 항만 이미지가 다른 선박의 적어도 일부를 포함하는 경우,
상기 타겟 선박의 선수 및 선미에 대응하는 한 쌍의 제2 포인트들을 추출하는 단계; 및
상기 한 쌍의 제2 포인트들에 기초하여 상기 타겟 선박과 상기 다른 선박 사이의 거리를 포함하는 상기 타겟 선박의 충돌 관련 정보를 획득하는 단계; 를 더 포함하고,
상기 충돌 관련 정보를 획득하는 단계는,
상기 한 쌍의 제2 포인트들 중 상기 다른 선박과 더 가까운 하나의 제2 포인트에 기초하여 상기 타겟 선박과 상기 다른 선박 사이의 거리를 획득하는 단계를 포함하는
항만 모니터링 방법.

27. The method of claim 26,
If the port image includes at least a portion of another vessel,
extracting a pair of second points corresponding to the bow and stern of the target vessel; and
obtaining collision-related information of the target vessel including a distance between the target vessel and the other vessel based on the pair of second points; further comprising,
Obtaining the collision-related information includes:
obtaining a distance between the target vessel and the other vessel based on one of the pair of second points that is closer to the other vessel
How to monitor ports.

제1항 내지 제27항 중 어느 하나의 항에 따른 방법을 실행시키기 위한 프로그램을 기록한 기록매체.
A recording medium recording a program for executing the method according to any one of claims 1 to 27.
항만에 설치되어 이미지를 촬상하는 카메라;
상기 카메라가 촬상한 바다, 제1 선박의 적어도 일부 및 제2 선박의 적어도 일부를 포함하는 항만 이미지를 획득하고,
상기 항만 이미지로부터 상기 제1 선박이 해수면과 접하는 밑면의 양 단부에 대응하는 한 쌍의 제1 포인트들 및 상기 제1 선박의 선수 및 선미에 대응하는 한 쌍의 제2 포인트들을 추출하고, 상기 한 쌍의 제1 포인트들에 기초하여 상기 제1 선박의 선수와 안벽(pier) 사이의 거리인 선수 거리 및 상기 제1 선박의 선미와 안벽 사이의 거리인 선미 거리를 포함하는 상기 제1 선박의 접안 관련 정보를 획득하고, 상기 한 쌍의 제2 포인트들에 기초하여 상기 제1 선박과 상기 제2 선박 사이의 거리를 포함하는 상기 선박의 충돌 관련 정보를 획득하는 제어 모듈 - 상기 충돌 관련 정보의 획득은 상기 한 쌍의 제2 포인트들 중 상기 제2 선박과 더 가까운 하나의 제2 포인트에 기초하여 상기 제1 선박과 상기 제2 선박 사이의 거리를 획득하는 것을 포함함 - ; 및
상기 접안 관련 정보 및/또는 상기 충돌 관련 정보를 원격 위치한 단말기에 전송하는 통신 모듈; 을 포함하는
항만 모니터링 장치.

a camera installed in the harbor to capture images;
Obtaining a harbor image including at least a portion of the sea captured by the camera, at least a portion of the first vessel, and at least a portion of the second vessel,
A pair of first points corresponding to both ends of the bottom surface of the first ship in contact with the sea level and a pair of second points corresponding to the bow and stern of the first ship are extracted from the harbor image, and the one berthing of the first vessel comprising a bow distance that is a distance between a pier and a bow of the first vessel and a stern distance that is a distance between the stern and a quay wall of the first vessel based on the first points of the pair A control module that acquires related information and acquires collision related information of the ship including a distance between the first and second ships based on the pair of second points - Acquisition of the collision related information includes obtaining a distance between the first vessel and the second vessel based on a second point of the pair of second points that is closer to the second vessel; and
a communication module for transmitting the berthing-related information and/or the collision-related information to a terminal located remotely; containing
port monitoring device.

KR1020200003190A 2020-01-09 2020-01-09 Device and method for monitoring ship and port KR102265980B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200003190A KR102265980B1 (en) 2020-01-09 2020-01-09 Device and method for monitoring ship and port
PCT/KR2021/000036 WO2021141338A1 (en) 2020-01-09 2021-01-04 Device and method for monitoring ship and harbor
KR1020210075563A KR20210090574A (en) 2020-01-09 2021-06-10 Device and method for monitoring ship and port

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200003190A KR102265980B1 (en) 2020-01-09 2020-01-09 Device and method for monitoring ship and port

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210075563A Division KR20210090574A (en) 2020-01-09 2021-06-10 Device and method for monitoring ship and port

Publications (1)

Publication Number Publication Date
KR102265980B1 true KR102265980B1 (en) 2021-06-17

Family

ID=76603505

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200003190A KR102265980B1 (en) 2020-01-09 2020-01-09 Device and method for monitoring ship and port
KR1020210075563A KR20210090574A (en) 2020-01-09 2021-06-10 Device and method for monitoring ship and port

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210075563A KR20210090574A (en) 2020-01-09 2021-06-10 Device and method for monitoring ship and port

Country Status (1)

Country Link
KR (2) KR102265980B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110059206A (en) * 2009-11-27 2011-06-02 김영복 Vessel docking guide system
KR20170133010A (en) * 2016-05-25 2017-12-05 (주)주인정보시스템 Safe docking system of ships using camera image and method thereof
KR102005559B1 (en) * 2018-09-04 2019-08-07 씨드로닉스(주) Situation awareness method using image segmentation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110059206A (en) * 2009-11-27 2011-06-02 김영복 Vessel docking guide system
KR20170133010A (en) * 2016-05-25 2017-12-05 (주)주인정보시스템 Safe docking system of ships using camera image and method thereof
KR102005559B1 (en) * 2018-09-04 2019-08-07 씨드로닉스(주) Situation awareness method using image segmentation

Also Published As

Publication number Publication date
KR20210090574A (en) 2021-07-20

Similar Documents

Publication Publication Date Title
KR102231286B1 (en) Ship surrounding monitoring device and ship surrounding monitoring method
KR102112935B1 (en) Path planning method using obstacle map
CN109664301B (en) Inspection method, inspection device, inspection equipment and computer readable storage medium
US10803360B2 (en) Situation awareness method and device using image segmentation
US20220024549A1 (en) System and method for measuring the distance to an object in water
US11514668B2 (en) Method and device for situation awareness
EP3238173B1 (en) Method and device for detecting an overhead cable from an aerial vessel
KR20200095888A (en) Method for context awareness of unmanned ship system and apparatus for the same
CN111338382B (en) Unmanned aerial vehicle path planning method guided by safety situation
Kim et al. Artificial intelligence vision-based monitoring system for ship berthing
EP4058984A1 (en) Geometry-aware instance segmentation in stereo image capture processes
KR102278674B1 (en) Method and device for monitoring harbor and ship considering sea level
KR20200039588A (en) Device and method for real-time monitoring of ship and port
CN111611853A (en) Sensing information fusion method and device and storage medium
KR102265980B1 (en) Device and method for monitoring ship and port
KR102235787B1 (en) Device and method for monitoring a berthing
EP4089660A1 (en) Method and device for monitoring port and ship in consideration of sea level
CN112733678A (en) Ranging method, ranging device, computer equipment and storage medium
KR20220055556A (en) Device and method for monitoring ship and port
KR20220055555A (en) Method and device for monitoring harbor and ship
KR102466804B1 (en) Autonomous navigation method using image segmentation
Petković et al. Target Detection for Visual Collision Avoidance System
CN114359714A (en) Unmanned body obstacle avoidance method and device based on event camera and intelligent unmanned body
Thai et al. Application of Edge Detection Algorithm for Self-Driving Vehicles
Kennedy Development of an exteroceptive sensor suite on unmanned surface vessels for real-time classification of navigational markers

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant