KR102520844B1 - Method and device for monitoring harbor and ship considering sea level - Google Patents

Method and device for monitoring harbor and ship considering sea level Download PDF

Info

Publication number
KR102520844B1
KR102520844B1 KR1020210075562A KR20210075562A KR102520844B1 KR 102520844 B1 KR102520844 B1 KR 102520844B1 KR 1020210075562 A KR1020210075562 A KR 1020210075562A KR 20210075562 A KR20210075562 A KR 20210075562A KR 102520844 B1 KR102520844 B1 KR 102520844B1
Authority
KR
South Korea
Prior art keywords
image
information
sea level
ship
view
Prior art date
Application number
KR1020210075562A
Other languages
Korean (ko)
Other versions
KR20210090573A (en
Inventor
박별터
김한근
김동훈
Original Assignee
씨드로닉스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 씨드로닉스(주) filed Critical 씨드로닉스(주)
Priority to KR1020210075562A priority Critical patent/KR102520844B1/en
Publication of KR20210090573A publication Critical patent/KR20210090573A/en
Application granted granted Critical
Publication of KR102520844B1 publication Critical patent/KR102520844B1/en

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G3/00Traffic control systems for marine craft
    • G08G3/02Anti-collision systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Abstract

본 발명은 컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법에 관한 것으로, 본 발명의 일 양상에 따른 항만 모니터링 방법은, 제1 뷰 속성을 가지고 선박에 대응되는 선박 오브젝트 및 바다에 대응되는 바다 오브젝트를 포함하는 항만 이미지를 획득하는 단계; 입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 종류에 대한 정보를 출력하도록 학습된 인공 신경망을 이용한 이미지 세그멘테이션을 수행하여 상기 항만 이미지에 대응되고 상기 제1 뷰 속성을 가지는 세그멘테이션 이미지를 생성하는 단계 - 상기 세그멘테이션 이미지는 상기 선박 오브젝트에 대응되도록 라벨링된 제1 픽셀 및 상기 바다 오브젝트에 대응되도록 라벨링된 제2 픽셀을 포함함 - ; 상기 제1 뷰 속성을 가지는 이미지를 상기 제1 뷰 속성과 다른 제2 뷰 속성을 가지는 이미지로 변환하기 위해 이용되는 제1 시점 변환 정보에 기초하여 상기 제1 뷰 속성을 가지는 상기 세그멘테이션 이미지로부터 상기 제2 뷰 속성을 가지는 변환 세그멘테이션 이미지를 생성하는 단계; 및 상기 변환 세그멘테이션 이미지에 기초하여 상기 선박의 접안 가이드 정보를 산출하는 단계 - 상기 접안 가이드 정보는 상기 선박의 안벽과의 거리에 대한 정보 및 상기 선박의 상기 안벽으로의 접근 속도에 대한 정보 중 적어도 하나를 포함함 - ;를 포함하되, 상기 변환 세그멘테이션 이미지를 생성하는 단계는, 해수면의 높이를 반영하는 해수면 높이 정보를 획득하는 단계; 상기 제1 시점 변환 정보를 상기 해수면 높이 정보를 반영하여 업데이트하는 단계; 및 상기 업데이트된 제1 시점 변환 정보에 기초하여 상기 제1 뷰 속성을 가지는 상기 세그멘테이션 이미지로부터 상기 제2 뷰 속성을 가지는 변환 세그멘테이션 이미지를 생성하는 단계;를 포함한다.The present invention relates to a harbor monitoring method performed by a computing means, and the harbor monitoring method according to one aspect of the present invention includes a ship object corresponding to a ship and a sea object corresponding to the sea having a first view attribute. acquiring a harbor image; Generating a segmentation image corresponding to the harbor image and having the first view attribute by performing image segmentation using an artificial neural network trained to output information about the type of object included in the input image from an input image - wherein the The segmentation image includes a first pixel labeled to correspond to the ship object and a second pixel labeled to correspond to the sea object -; From the segmentation image having the first view attribute based on first view conversion information used to convert the image having the first view attribute into an image having a second view attribute different from the first view attribute, generating a transform segmentation image having a 2-view attribute; and calculating berthing guide information of the ship based on the converted segmentation image - the berthing guide information is at least one of information about a distance to the quay wall of the ship and information about an approach speed of the ship to the quay wall. Including - including ;, wherein the generating of the transformed segmentation image comprises: obtaining sea level height information reflecting the height of the sea level; updating the first viewpoint conversion information by reflecting the sea level height information; and generating a transformed segmentation image having the second view property from the segmented image having the first view property based on the updated first view property transformation information.

Description

해수면을 고려한 항만 및 선박 모니터링 방법 및 장치{METHOD AND DEVICE FOR MONITORING HARBOR AND SHIP CONSIDERING SEA LEVEL}Port and ship monitoring method and device considering sea level {METHOD AND DEVICE FOR MONITORING HARBOR AND SHIP CONSIDERING SEA LEVEL}

본 발명은 항만 및 선박 모니터링 방법 및 장치에 관한 것으로, 구체적으로 해수면을 고려하여 항만 및 선박을 모니터링하는 방법 및 장치에 관한 것이다.The present invention relates to a method and device for monitoring ports and ships, and more particularly, to a method and device for monitoring ports and ships in consideration of sea level.

선박의 운항 및 항만 내에서의 접안, 이안에 있어 많은 사고가 발생하고 있으며, 그 사고의 주요 원인은 사람의 운항 부주의로 알려져 있다. 여기서, 운항 부주의는 주로 선박 주변이나 항만 내의 상황을 육안을 통해서 정확하게 모니터링하지 못한다는 점에 의해 발생한다. 현재 다양한 종류의 장애물 센서 등을 이용해 이를 보완하고 있으나 아직까지는 한계점이 존재하는 상황이다. 예를 들어, ECDIS의 경우 GPS의 부정확성, AIS의 업데이트 주기 및 AIS 미등록 이동체 등으로 인한 한계가 존재하고, radar의 경우 비탐색영역의 존재 및 노이즈로 인한 한계가 존재한다. 그 결과 장애물의 정확한 감지를 위하여는 여전히 육안으로 확인하는 과정이 필요하다.Many accidents occur in the operation of ships, berthing and unloading in ports, and the main cause of these accidents is known to be carelessness of human operation. Here, negligence in operation is mainly caused by the fact that the situation around the ship or in the port cannot be accurately monitored through the naked eye. Currently, various types of obstacle sensors are used to supplement this, but there are still limitations. For example, ECDIS has limitations due to GPS inaccuracy, AIS update cycle, and AIS unregistered moving objects, and radar has limitations due to non-scanning areas and noise. As a result, a visual confirmation process is still required for accurate detection of obstacles.

본 발명의 일 과제는, 항만 및 선박 주변을 모니터링하기 위한 모니터링 방법 및 장치를 제공하는 것에 있다.One object of the present invention is to provide a monitoring method and apparatus for monitoring the surroundings of ports and ships.

본 발명의 다른 일 과제는, 선박의 접안 또는 이안 시 선박 주변 및 항만 상황을 파악하고 접안 또는 이안을 가이드하기 위한 모니터링 장치 및 방법을 제공하는 것에 있다.Another object of the present invention is to provide a monitoring device and method for grasping the surroundings and port conditions of a ship during berthing or unloading of a ship and guiding berthing or unloading.

본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present invention is not limited to the above-mentioned problems, and problems not mentioned will be clearly understood by those skilled in the art from this specification and the accompanying drawings. .

본 발명의 일 양상에 따르면 컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법에 있어서, 제1 뷰 속성을 가지고 선박에 대응되는 선박 오브젝트 및 바다에 대응되는 바다 오브젝트를 포함하는 항만 이미지를 획득하는 단계; 입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 종류에 대한 정보를 출력하도록 학습된 인공 신경망을 이용한 이미지 세그멘테이션을 수행하여 상기 항만 이미지에 대응되고 상기 제1 뷰 속성을 가지는 세그멘테이션 이미지를 생성하는 단계 - 상기 세그멘테이션 이미지는 상기 선박 오브젝트에 대응되도록 라벨링된 제1 픽셀 및 상기 바다 오브젝트에 대응되도록 라벨링된 제2 픽셀을 포함함 - ; 상기 제1 뷰 속성을 가지는 이미지를 상기 제1 뷰 속성과 다른 제2 뷰 속성을 가지는 이미지로 변환하기 위해 이용되는 제1 시점 변환 정보에 기초하여 상기 제1 뷰 속성을 가지는 상기 세그멘테이션 이미지로부터 상기 제2 뷰 속성을 가지는 변환 세그멘테이션 이미지를 생성하는 단계; 및 상기 변환 세그멘테이션 이미지에 기초하여 상기 선박의 접안 가이드 정보를 산출하는 단계 - 상기 접안 가이드 정보는 상기 선박의 안벽과의 거리에 대한 정보 및 상기 선박의 상기 안벽으로의 접근 속도에 대한 정보 중 적어도 하나를 포함함 - ;를 포함하되, 상기 변환 세그멘테이션 이미지를 생성하는 단계는, 해수면의 높이를 반영하는 해수면 높이 정보를 획득하는 단계; 상기 제1 시점 변환 정보를 상기 해수면 높이 정보를 반영하여 업데이트하는 단계; 및 상기 업데이트된 제1 시점 변환 정보에 기초하여 상기 제1 뷰 속성을 가지는 상기 세그멘테이션 이미지로부터 상기 제2 뷰 속성을 가지는 변환 세그멘테이션 이미지를 생성하는 단계;를 포함하는 항만 모니터링 방법이 제공될 수 있다.According to one aspect of the present invention, in a harbor monitoring method performed by a computing means, acquiring a harbor image having a first view attribute and including a ship object corresponding to a ship and a sea object corresponding to the sea; Generating a segmentation image corresponding to the harbor image and having the first view attribute by performing image segmentation using an artificial neural network trained to output information about the type of object included in the input image from an input image - wherein the The segmentation image includes a first pixel labeled to correspond to the ship object and a second pixel labeled to correspond to the sea object -; From the segmentation image having the first view attribute based on first view conversion information used to convert the image having the first view attribute into an image having a second view attribute different from the first view attribute, generating a transform segmentation image having a 2-view attribute; and calculating berthing guide information of the ship based on the converted segmentation image - the berthing guide information is at least one of information about a distance to the quay wall of the ship and information about an approach speed of the ship to the quay wall. Including - including ;, wherein the generating of the transformed segmentation image comprises: obtaining sea level height information reflecting the height of the sea level; updating the first viewpoint conversion information by reflecting the sea level height information; and generating a transformed segmentation image having the second view property from the segmentation image having the first view property based on the updated first view property transformation information.

본 발명의 다른 양상에 따르면 컴퓨팅 수단에 의해 수행되는 선박 주변 모니터링 방법에 있어서, 제1 뷰 속성을 가지고 선박 주변의 장애물에 대응되는 장애물 오브젝트 및 바다에 대응되는 바다 오브젝트를 포함하는 해상 이미지를 획득하는 단계; 입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 종류에 대한 정보를 출력하도록 학습된 인공 신경망을 이용한 이미지 세그멘테이션을 수행하여 상기 해상 이미지에 대응되고 상기 제1 뷰 속성을 가지는 세그멘테이션 이미지를 생성하는 단계 - 상기 세그멘테이션 이미지는 상기 장애물 오브젝트에 대응되도록 라벨링된 제1 픽셀 및 상기 바다 오브젝트에 대응되도록 라벨링된 제2 픽셀을 포함함 - ; 상기 제1 뷰 속성을 가지는 이미지를 상기 제1 뷰 속성과 다른 제2 뷰 속성을 가지는 이미지로 변환하기 위해 이용되는 제1 시점 변환 정보에 기초하여 상기 제1 뷰 속성을 가지는 상기 세그멘테이션 이미지로부터 상기 제2 뷰 속성을 가지는 변환 세그멘테이션 이미지를 생성하는 단계; 및 상기 변환 세그멘테이션 이미지에 기초하여 상기 선박의 운항 가이드 정보를 산출하는 단계 - 상기 운항 가이드 정보는 상기 선박의 상기 장애물과의 거리에 대한 정보 및 상기 선박의 상기 장애물로의 접근 속도에 대한 정보 중 적어도 하나를 포함함 - ;를 포함하되, 상기 변환 세그멘테이션 이미지를 생성하는 단계는, 해수면의 높이를 반영하는 해수면 높이 정보를 획득하는 단계; 상기 제1 시점 변환 정보를 상기 해수면 높이 정보를 반영하여 업데이트하는 단계; 및 상기 업데이트된 제1 시점 변환 정보에 기초하여 상기 제1 뷰 속성을 가지는 상기 세그멘테이션 이미지로부터 상기 제2 뷰 속성을 가지는 변환 세그멘테이션 이미지를 생성하는 단계;를 포함하는 선박 주변 모니터링 방법이 제공될 수 있다.According to another aspect of the present invention, in a method for monitoring the vicinity of a ship performed by a computing means, obtaining a maritime image including an obstacle object corresponding to an obstacle around the ship and a sea object corresponding to the sea having a first view attribute step; generating a segmentation image corresponding to the resolution image and having the first view attribute by performing image segmentation using an artificial neural network trained to output information about a type of an object included in the input image from an input image; The segmentation image includes a first pixel labeled to correspond to the obstacle object and a second pixel labeled to correspond to the sea object -; From the segmentation image having the first view attribute based on first view conversion information used to convert the image having the first view attribute into an image having a second view attribute different from the first view attribute, generating a transform segmentation image having a 2-view attribute; and calculating navigation guide information of the ship based on the transformed segmentation image - the navigation guide information is at least one of information about a distance of the ship to the obstacle and information about an approaching speed of the ship to the obstacle. Including one - including ;, wherein the generating of the transformed segmentation image comprises: obtaining sea level height information reflecting the height of the sea level; updating the first viewpoint conversion information by reflecting the sea level height information; and generating a transformed segmentation image having the second view property from the segmentation image having the first view property based on the updated first view property transformation information. .

본 발명의 또 다른 양상에 따르면 컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법에 있어서, 제1 뷰를 가지고 선박에 대응되는 선박 오브젝트 및 바다에 대응되는 바다 오브젝트를 포함하는 제1 이미지를 획득하는 단계; 상기 제1 이미지를 해수면과 평행한 제1 평면에 투영하여 상기 제1 뷰와 상이한 탑 뷰를 가지는 제2 이미지를 생성하는 단계; 상기 제2 이미지에 기초하여 접안 가이드 정보를 산출하는 단계 - 상기 접안 가이드 정보는 상기 선박의 안벽과의 거리에 대한 정보 및 상기 선박의 상기 안벽으로의 접근 속도에 대한 정보 중 적어도 하나를 포함함 -; 상기 제1 평면과 상이한 높이에 형성되되 상기 제1 평면과 평행한 제2 평면의 높이에 대응되는 해수면 높이 정보를 획득하는 단계; 및 상기 산출된 접안 가이드 정보를 상기 제1 평면 및 상기 제2 평면 사이의 높이 차이를 반영하여 보정하는 단계;를 포함하는 항만 모니터링 방법이 제공될 수 있다.According to another aspect of the present invention, in a harbor monitoring method performed by a computing means, obtaining a first image having a first view and including a ship object corresponding to a ship and a sea object corresponding to the sea; generating a second image having a top view different from the first view by projecting the first image onto a first plane parallel to the sea level; Calculating berthing guide information based on the second image - The berthing guide information includes at least one of information about a distance to the quay wall of the ship and information about an approach speed of the ship to the quay wall - ; obtaining sea level height information corresponding to a height of a second plane formed at a height different from the first plane and parallel to the first plane; and correcting the calculated eyepiece guide information by reflecting a height difference between the first plane and the second plane.

본 발명의 또 다른 양상에 따르면 컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법에 있어서, 제1 뷰를 가지고 선박에 대응되는 선박 오브젝트 및 바다에 대응되는 바다 오브젝트를 포함하는 제1 이미지를 획득하는 단계; 해수면의 높이를 반영하는 해수면 높이 정보를 획득하는 단계; 상기 제1 이미지를 해수면 높이에 상기 해수면과 평행하게 형성된 제1 평면에 투영시키기 위하여, 상기 해수면과 평행하되 상기 해수면과 상이한 높이에 형성된 제2 평면에 이미지를 투영시키는 시점 변환 정보를 상기 해수면 높이 정보에 기초하여 업데이트하는 단계; 상기 업데이트된 시점 변환 정보를 이용하여 상기 제1 이미지를 상기 제1 뷰와 상이한 탑 뷰를 가지는 제2 이미지로 변환하는 단계; 및 상기 제2 이미지에 기초하여 접안 가이드 정보를 산출하는 단계 - 상기 접안 가이드 정보는 상기 선박의 안벽과의 거리에 대한 정보 및 상기 선박의 상기 안벽으로의 접근 속도에 대한 정보 중 적어도 하나를 포함함 -;를 포함하는 항만 모니터링 방법이 제공될 수 있다.According to another aspect of the present invention, in a harbor monitoring method performed by a computing means, obtaining a first image having a first view and including a ship object corresponding to a ship and a sea object corresponding to the sea; obtaining sea level height information reflecting the height of sea level; In order to project the first image onto a first plane formed parallel to the sea level and parallel to the sea level, viewpoint conversion information for projecting the image onto a second plane parallel to the sea level but formed at a different height from the sea level is used as the sea level height information. Updating based on; converting the first image into a second image having a top view different from the first view by using the updated viewpoint conversion information; And calculating berthing guide information based on the second image - the berthing guide information includes at least one of information about a distance to the quay wall of the ship and information about an approach speed of the ship to the quay wall A port monitoring method comprising -; may be provided.

본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The solutions to the problems of the present invention are not limited to the above-described solutions, and solutions not mentioned will be clearly understood by those skilled in the art from this specification and the accompanying drawings. You will be able to.

본 발명에 의하면, 모니터링 장치 및 방법을 이용하여 선박 주변 및 항만을 모니터링할 수 있다.According to the present invention, it is possible to monitor the vicinity of a ship and a port using a monitoring device and method.

또 본 발명에 의하면, 모니터링 장치 및 방법을 이용하여 선박의 접안 또는 이안 시 선박 주변 및 항만 상황을 파악하고 접안 또는 이안을 가이드 할 수 있다.In addition, according to the present invention, by using the monitoring device and method, it is possible to grasp the surroundings and port conditions of the ship when the ship is berthing or leaving the ship, and guide the berthing or leaving the ship.

본 발명의 효과가 상술한 효과로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.Effects of the present invention are not limited to the above-mentioned effects, and effects not mentioned will be clearly understood by those skilled in the art from this specification and the accompanying drawings.

도 1은 일 실시예에 따른 해수면을 고려한 항만 모니터링 방법에 관한 도면이다.
도 2는 일 실시예에 따른 모니터링 장치에 관한 도면이다.
도 3 및 도 4는 일 실시예에 따른 센서 모듈의 설치 위치를 설명하기 위한 도면이다.
도 5 및 도 6은 일 실시예에 따른 모니터링 장치의 실시예에 관한 도면이다.
도 7은 일 실시예에 따른 이미지 세그멘테이션을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 오브젝트의 종류 및 거리에 대한 정보를 동시에 반영한 식별 값 할당에 관한 표이다.
도 9는 일 실시예에 따른 인공 신경망의 학습 단계 및 추론 단계에 관한 도면이다.
도 10은 일 실시예에 따른 접안 가이드 정보를 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 선박과 안벽 사이의 접안 가이드 정보를 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 접안 가이드 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 13은 일 실시예에 따른 시점 변환에 관한 도면이다.
도 14 내지 도 20은 일 실시예에 따른 해수면 높이 정보를 고려한 접안 가이드 정보 획득을 설명하기 위한 도면이다.
도 21 내지 도 23은 일 실시예에 따른 해수면 높이 정보 획득의 예시들에 관한 도면이다.
도 24는 일 실시예에 따른 안개 제거에 관한 도면이다.
도 25는 일 실시예에 따른 접안 가이드 정보 출력 단계를 설명하기 위한 도면이다.
도 26은 일 실시예에 따른 접안 가이드 정보 출력 단계에 관한 도면이다.
도 27은 일 실시예에 따른 운항 가이드 정보를 설명하기 위한 도면이다.
1 is a diagram of a port monitoring method considering sea level according to an embodiment.
2 is a diagram of a monitoring device according to an embodiment.
3 and 4 are diagrams for explaining an installation position of a sensor module according to an embodiment.
5 and 6 are diagrams of an embodiment of a monitoring device according to an embodiment.
7 is a diagram for describing image segmentation according to an exemplary embodiment.
8 is a table related to allocation of identification values in which information on the type and distance of an object is simultaneously reflected according to an exemplary embodiment.
9 is a diagram of a learning step and an inference step of an artificial neural network according to an embodiment.
10 is a diagram for explaining eyepiece guide information according to an embodiment.
11 is a diagram for explaining berthing guide information between a ship and a quay according to an embodiment.
12 is a diagram for explaining a method of acquiring eyepiece guide information according to an embodiment.
13 is a diagram related to viewpoint conversion according to an exemplary embodiment.
14 to 20 are views for explaining acquisition of berthing guide information in consideration of sea level height information according to an embodiment.
21 to 23 are diagrams for examples of sea level height information acquisition according to an embodiment.
24 is a view related to fog removal according to an embodiment.
25 is a diagram for explaining an eyepiece guide information output step according to an embodiment.
26 is a diagram related to an eyepiece guide information output step according to an embodiment.
27 is a diagram for explaining navigation guide information according to an exemplary embodiment.

본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 의해 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.The embodiments described in this specification are intended to clearly explain the spirit of the present invention to those skilled in the art to which the present invention belongs, and the present invention is not limited by the embodiments described in this specification, and the present invention The scope of should be construed as including modifications or variations that do not depart from the spirit of the present invention.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.The terms used in this specification have been selected as general terms that are currently widely used as much as possible in consideration of the functions in the present invention, but they may vary depending on the intention, custom, or the emergence of new technologies of those skilled in the art in the technical field to which the present invention belongs. can However, in the case where a specific term is defined and used in an arbitrary meaning, the meaning of the term will be separately described. Therefore, the terms used in this specification should be interpreted based on the actual meaning of the term and the overall content of this specification, not the simple name of the term.

본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.The drawings accompanying this specification are intended to easily explain the present invention, and the shapes shown in the drawings may be exaggerated as necessary to aid understanding of the present invention, so the present invention is not limited by the drawings.

본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.If it is determined that a detailed description of a known configuration or function related to the present invention in this specification may obscure the gist of the present invention, a detailed description thereof will be omitted if necessary.

본 발명의 일 양상에 따르면 컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법에 있어서, 제1 뷰 속성을 가지고 선박에 대응되는 선박 오브젝트 및 바다에 대응되는 바다 오브젝트를 포함하는 항만 이미지를 획득하는 단계; 입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 종류에 대한 정보를 출력하도록 학습된 인공 신경망을 이용한 이미지 세그멘테이션을 수행하여 상기 항만 이미지에 대응되고 상기 제1 뷰 속성을 가지는 세그멘테이션 이미지를 생성하는 단계 - 상기 세그멘테이션 이미지는 상기 선박 오브젝트에 대응되도록 라벨링된 제1 픽셀 및 상기 바다 오브젝트에 대응되도록 라벨링된 제2 픽셀을 포함함 - ; 상기 제1 뷰 속성을 가지는 이미지를 상기 제1 뷰 속성과 다른 제2 뷰 속성을 가지는 이미지로 변환하기 위해 이용되는 제1 시점 변환 정보에 기초하여 상기 제1 뷰 속성을 가지는 상기 세그멘테이션 이미지로부터 상기 제2 뷰 속성을 가지는 변환 세그멘테이션 이미지를 생성하는 단계; 및 상기 변환 세그멘테이션 이미지에 기초하여 상기 선박의 접안 가이드 정보를 산출하는 단계 - 상기 접안 가이드 정보는 상기 선박의 안벽과의 거리에 대한 정보 및 상기 선박의 상기 안벽으로의 접근 속도에 대한 정보 중 적어도 하나를 포함함 - ;를 포함하되, 상기 변환 세그멘테이션 이미지를 생성하는 단계는, 해수면의 높이를 반영하는 해수면 높이 정보를 획득하는 단계; 상기 제1 시점 변환 정보를 상기 해수면 높이 정보를 반영하여 업데이트하는 단계; 및 상기 업데이트된 제1 시점 변환 정보에 기초하여 상기 제1 뷰 속성을 가지는 상기 세그멘테이션 이미지로부터 상기 제2 뷰 속성을 가지는 변환 세그멘테이션 이미지를 생성하는 단계;를 포함하는 항만 모니터링 방법이 제공될 수 있다.According to one aspect of the present invention, in a harbor monitoring method performed by a computing means, acquiring a harbor image having a first view attribute and including a ship object corresponding to a ship and a sea object corresponding to the sea; Generating a segmentation image corresponding to the harbor image and having the first view attribute by performing image segmentation using an artificial neural network trained to output information about the type of object included in the input image from an input image - wherein the The segmentation image includes a first pixel labeled to correspond to the ship object and a second pixel labeled to correspond to the sea object -; From the segmentation image having the first view attribute based on first view conversion information used to convert the image having the first view attribute into an image having a second view attribute different from the first view attribute, generating a transform segmentation image having a 2-view attribute; and calculating berthing guide information of the ship based on the converted segmentation image - the berthing guide information is at least one of information about a distance to the quay wall of the ship and information about an approach speed of the ship to the quay wall. Including - including ;, wherein the generating of the transformed segmentation image comprises: obtaining sea level height information reflecting the height of the sea level; updating the first viewpoint conversion information by reflecting the sea level height information; and generating a transformed segmentation image having the second view property from the segmentation image having the first view property based on the updated first view property transformation information.

여기서, 상기 업데이트하는 단계는, 기준 평면에 기초하여 생성된 상기 제1 시점 변환 정보를 상기 해수면 높이 정보를 반영하여 업데이트할 수 있다.Here, in the updating step, the first viewpoint conversion information generated based on the reference plane may be updated by reflecting the sea level height information.

여기서, 상기 접안 가이드 정보는, 상기 선박의 상기 해수면과 접하는 영역인 경계 영역에 기초하여 산출될 수 있다.Here, the berthing guide information may be calculated based on a boundary area, which is an area in contact with the sea surface of the ship.

여기서, 상기 선박의 안벽과의 거리에 대한 정보는, 상기 경계 영역의 상기 안벽과의 거리에 대응되고, 상기 안벽으로의 접근 속도에 대한 정보는, 상기 경계 영역의 상기 안벽으로의 접근 속도에 대응될 수 있다.Here, the information on the distance to the quay wall of the vessel corresponds to the distance to the quay wall in the boundary area, and the information on the approach speed to the quay wall corresponds to the approach speed to the quay wall in the boundary area. It can be.

여기서, 상기 접안 가이드 정보는, 상기 경계 영역에 포함되고 상기 선박의 선수에 대응되는 제1 포인트 및 상기 선박의 선미에 대응되는 제2 포인트에 기초하여 산출될 수 있다.Here, the eyepiece guide information may be calculated based on a first point included in the boundary area and corresponding to the bow of the ship and a second point corresponding to the stern of the ship.

여기서, 상기 선박의 안벽과의 거리에 대한 정보는, 상기 제1 포인트 및 상기 제2 포인트의 상기 안벽과의 거리에 대응되고, 상기 안벽으로의 접근 속도에 대한 정보는, 상기 제1 포인트 및 상기 제2 포인트의 상기 안벽으로의 접근 속도에 대응될 수 있다.Here, the information on the distance from the quay wall of the ship corresponds to the distances of the first point and the second point from the quay wall, and the information on the speed of approach to the quay wall corresponds to the first point and the information on the approach speed to the quay wall. It may correspond to the approach speed of the second point to the quay wall.

여기서, 상기 항만 이미지는, 제1 항만 이미지 및 상기 제1 항만 이미지와 모니터링 영역이 적어도 일부 중첩되는 제2 항만 이미지를 포함할 수 있다.Here, the harbor image may include a first harbor image and a second harbor image at least partially overlapping the first harbor image and a monitoring region.

여기서, 상기 해수면 높이 정보를 획득하는 단계는, 상기 제1 항만 이미지의 모니터링 영역과 상기 제2 항만 이미지의 모니터링 영역이 중첩되는 영역인 오버랩 영역에 기초하여 상기 해수면 높이 정보를 산출하는 단계;를 포함할 수 있다.Here, the obtaining of the sea level height information includes calculating the sea level height information based on an overlap area, which is an area where a monitoring area of the first harbor image and a monitoring area of the second harbor image overlap. can do.

여기서, 상기 해수면 높이 정보를 획득하는 단계는, 서로 매칭되는 상기 제1 항만 이미지 및 상기 제2 항만 이미지의 특징점에 기초하여 상기 오버랩 영역을 결정하는 단계;를 더 포함할 수 있다.Here, the obtaining of the sea level height information may further include determining the overlap area based on feature points of the first and second bay images that match each other.

여기서, 상기 항만 이미지는, 상기 안벽에 대응되는 안벽 오브젝트를 더 포함하고, 상기 해수면 높이 정보를 획득하는 단계는, 상기 안벽에 의해 폐색되어(occluded) 상기 항만 이미지에 표현되지 않은 바다에 대응되는 음영 영역에 기초하여 상기 해수면 높이 정보를 산출하는 단계;를 포함할 수 있다.Here, the harbor image further includes a quay wall object corresponding to the quay wall, and the obtaining of the sea level height information includes a shade corresponding to a sea that is occluded by the quay wall and is not represented in the harbor image. Calculating the sea level height information based on the region; may include.

여기서, 상기 해수면 높이 정보를 획득하는 단계는, 상기 항만 이미지에 포함된 높이 측정 오브젝트가 해수면 위로 노출된 영역에 기초하여 상기 해수면 높이 정보를 산출하는 단계;를 포함할 수 있다.Here, the obtaining of the sea level height information may include calculating the sea level height information based on an area where the height measurement object included in the harbor image is exposed above the sea level.

여기서, 상기 해수면 높이 정보를 획득하는 단계는, 상기 해수면 높이 정보를 측정하기 위한 센서로부터 상기 해수면 높이 정보를 수신하는 단계;를 포함할 수 있다.Here, the obtaining of the sea level height information may include receiving the sea level height information from a sensor for measuring the sea level height information.

여기서, 상기 해수면 높이 정보를 획득하는 단계는, 해상 교통 관제 시스템(vessel traffic service system, VTS system)으로부터 상기 해수면 높이 정보를 수신하는 단계;를 포함할 수 있다.Here, the acquiring of the sea level height information may include receiving the sea level height information from a vessel traffic service system (VTS system).

여기서, 상기 접안 가이드 정보는, 상기 선박의 인접 선박과의 거리에 대한 정보 및 상기 인접 선박으로의 접근 속도에 대한 정보 중 적어도 하나를 더 포함할 수 있다.Here, the berthing guide information may further include at least one of information about a distance between the ship and an adjacent ship and information about an approach speed to the adjacent ship.

여기서, 상기 항만 모니터링 방법은, 상기 제1 뷰 속성을 가지는 이미지를 상기 제1 뷰 속성 및 상기 제2 뷰 속성과 다른 제3 뷰 속성을 가지는 이미지로 변환하기 위해 이용되는 제2 시점 변환 정보에 기초하여 상기 제1 뷰 속성을 가지는 상기 항만 이미지로부터 상기 제3 뷰 속성을 가지는 디스플레이 이미지를 생성하는 단계;를 더 포함할 수 있다.Here, the port monitoring method is based on second viewpoint transformation information used to convert an image having the first view property into an image having a third view property different from the first view property and the second view property. and generating a display image having the third view property from the harbor image having the first view property.

여기서, 상기 항만 모니터링 방법은, 상기 디스플레이 이미지 및 상기 접안 가이드 정보를 출력하는 단계;를 더 포함할 수 있다.Here, the harbor monitoring method may further include outputting the display image and the eyepiece guide information.

여기서, 상기 출력하는 단계는, 원격 위치한 단말을 이용하여 상기 디스플레이 이미지 및 상기 접안 가이드 정보를 디스플레이하기 위하여 상기 디스플레이 이미지 및 상기 접안 가이드 정보를 상기 단말로 송신하는 단계; 또는 상기 디스플레이 이미지 및 상기 접안 가이드 정보를 디스플레이하는 단계;일 수 있다.Here, the outputting may include: transmitting the display image and the eyepiece guide information to a terminal to display the display image and the eyepiece guide information using a remotely located terminal; or displaying the display image and the eyepiece guide information;

여기서, 상기 인공 신경망은, 학습 이미지를 상기 인공 신경망에 입력하여 출력되는 출력 이미지 및 상기 학습 이미지에 포함된 오브젝트의 종류에 대한 정보가 반영된 라벨링 이미지 사이의 차이를 고려하여 학습될 수 있다.Here, the artificial neural network may be trained in consideration of a difference between an output image output by inputting a training image to the artificial neural network and a labeling image in which information about the type of object included in the training image is reflected.

여기서, 상기 제2 뷰는, 해수면과 수직한 방향에서 해수면을 내려다 본 뷰인 것을 특징으로 할 수 있다. Here, the second view may be a view looking down at the sea level from a direction perpendicular to the sea level.

본 발명의 다른 양상에 따르면 컴퓨팅 수단에 의해 수행되는 선박 주변 모니터링 방법에 있어서, 제1 뷰 속성을 가지고 선박 주변의 장애물에 대응되는 장애물 오브젝트 및 바다에 대응되는 바다 오브젝트를 포함하는 해상 이미지를 획득하는 단계; 입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 종류에 대한 정보를 출력하도록 학습된 인공 신경망을 이용한 이미지 세그멘테이션을 수행하여 상기 해상 이미지에 대응되고 상기 제1 뷰 속성을 가지는 세그멘테이션 이미지를 생성하는 단계 - 상기 세그멘테이션 이미지는 상기 장애물 오브젝트에 대응되도록 라벨링된 제1 픽셀 및 상기 바다 오브젝트에 대응되도록 라벨링된 제2 픽셀을 포함함 - ; 상기 제1 뷰 속성을 가지는 이미지를 상기 제1 뷰 속성과 다른 제2 뷰 속성을 가지는 이미지로 변환하기 위해 이용되는 제1 시점 변환 정보에 기초하여 상기 제1 뷰 속성을 가지는 상기 세그멘테이션 이미지로부터 상기 제2 뷰 속성을 가지는 변환 세그멘테이션 이미지를 생성하는 단계; 및 상기 변환 세그멘테이션 이미지에 기초하여 상기 선박의 운항 가이드 정보를 산출하는 단계 - 상기 운항 가이드 정보는 상기 선박의 상기 장애물과의 거리에 대한 정보 및 상기 선박의 상기 장애물로의 접근 속도에 대한 정보 중 적어도 하나를 포함함 - ;를 포함하되, 상기 변환 세그멘테이션 이미지를 생성하는 단계는, 해수면의 높이를 반영하는 해수면 높이 정보를 획득하는 단계; 상기 제1 시점 변환 정보를 상기 해수면 높이 정보를 반영하여 업데이트하는 단계; 및 상기 업데이트된 제1 시점 변환 정보에 기초하여 상기 제1 뷰 속성을 가지는 상기 세그멘테이션 이미지로부터 상기 제2 뷰 속성을 가지는 변환 세그멘테이션 이미지를 생성하는 단계;를 포함하는 선박 주변 모니터링 방법이 제공될 수 있다.According to another aspect of the present invention, in a method for monitoring the vicinity of a ship performed by a computing means, obtaining a maritime image including an obstacle object corresponding to an obstacle around the ship and a sea object corresponding to the sea having a first view attribute step; generating a segmentation image corresponding to the resolution image and having the first view attribute by performing image segmentation using an artificial neural network trained to output information about a type of an object included in the input image from an input image; The segmentation image includes a first pixel labeled to correspond to the obstacle object and a second pixel labeled to correspond to the sea object -; From the segmentation image having the first view attribute based on first view conversion information used to convert the image having the first view attribute into an image having a second view attribute different from the first view attribute, generating a transform segmentation image having a 2-view attribute; and calculating navigation guide information of the ship based on the transformed segmentation image - the navigation guide information is at least one of information about a distance of the ship to the obstacle and information about an approaching speed of the ship to the obstacle. Including one - including ;, wherein the generating of the transformed segmentation image comprises: obtaining sea level height information reflecting the height of the sea level; updating the first viewpoint conversion information by reflecting the sea level height information; and generating a transformed segmentation image having the second view property from the segmentation image having the first view property based on the updated first view property transformation information. .

여기서, 상기 해수면 높이 정보는, 상기 선박에 설치된 카메라의 해수면으로부터의 높이를 반영할 수 있다.Here, the sea level height information may reflect a height from the sea level of a camera installed in the ship.

여기서, 상기 해수면 높이 정보를 획득하는 단계는, 상기 해수면 높이 정보를 측정하기 위해 상기 선박에 설치된 센서로부터 상기 해수면 높이 정보를 수신하는 단계;를 포함할 수 있다. Here, the acquiring of the sea level height information may include receiving the sea level height information from a sensor installed in the ship to measure the sea level height information.

본 발명의 또 다른 양상에 따르면 컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법에 있어서, 제1 뷰를 가지고 선박에 대응되는 선박 오브젝트 및 바다에 대응되는 바다 오브젝트를 포함하는 제1 이미지를 획득하는 단계; 상기 제1 이미지를 해수면과 평행한 제1 평면에 투영하여 상기 제1 뷰와 상이한 탑 뷰를 가지는 제2 이미지를 생성하는 단계; 상기 제2 이미지에 기초하여 접안 가이드 정보를 산출하는 단계 - 상기 접안 가이드 정보는 상기 선박의 안벽과의 거리에 대한 정보 및 상기 선박의 상기 안벽으로의 접근 속도에 대한 정보 중 적어도 하나를 포함함 -; 상기 제1 평면과 상이한 높이에 형성되되 상기 제1 평면과 평행한 제2 평면의 높이에 대응되는 해수면 높이 정보를 획득하는 단계; 및 상기 산출된 접안 가이드 정보를 상기 제1 평면 및 상기 제2 평면 사이의 높이 차이를 반영하여 보정하는 단계;를 포함하는 항만 모니터링 방법이 제공될 수 있다.According to another aspect of the present invention, in a harbor monitoring method performed by a computing means, obtaining a first image having a first view and including a ship object corresponding to a ship and a sea object corresponding to the sea; generating a second image having a top view different from the first view by projecting the first image onto a first plane parallel to the sea level; Calculating berthing guide information based on the second image - The berthing guide information includes at least one of information about a distance to the quay wall of the ship and information about an approach speed of the ship to the quay wall - ; obtaining sea level height information corresponding to a height of a second plane formed at a height different from the first plane and parallel to the first plane; and correcting the calculated eyepiece guide information by reflecting a height difference between the first plane and the second plane.

여기서, 상기 제2 평면의 높이는 해수면 높이인 것을 특징으로 할 수 있다.Here, the height of the second plane may be characterized in that the height of the sea level.

본 발명의 또 다른 양상에 따르면 컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법에 있어서, 제1 뷰를 가지고 선박에 대응되는 선박 오브젝트 및 바다에 대응되는 바다 오브젝트를 포함하는 제1 이미지를 획득하는 단계; 해수면의 높이를 반영하는 해수면 높이 정보를 획득하는 단계; 상기 제1 이미지를 해수면 높이에 상기 해수면과 평행하게 형성된 제1 평면에 투영시키기 위하여, 상기 해수면과 평행하되 상기 해수면과 상이한 높이에 형성된 제2 평면에 이미지를 투영시키는 시점 변환 정보를 상기 해수면 높이 정보에 기초하여 업데이트하는 단계; 상기 업데이트된 시점 변환 정보를 이용하여 상기 제1 이미지를 상기 제1 뷰와 상이한 탑 뷰를 가지는 제2 이미지로 변환하는 단계; 및 상기 제2 이미지에 기초하여 접안 가이드 정보를 산출하는 단계 - 상기 접안 가이드 정보는 상기 선박의 안벽과의 거리에 대한 정보 및 상기 선박의 상기 안벽으로의 접근 속도에 대한 정보 중 적어도 하나를 포함함 -;를 포함하는 항만 모니터링 방법이 제공될 수 있다.According to another aspect of the present invention, in a harbor monitoring method performed by a computing means, obtaining a first image having a first view and including a ship object corresponding to a ship and a sea object corresponding to the sea; obtaining sea level height information reflecting the height of sea level; In order to project the first image onto a first plane formed parallel to the sea level and parallel to the sea level, viewpoint conversion information for projecting the image onto a second plane parallel to the sea level but formed at a different height from the sea level is used as the sea level height information. Updating based on; converting the first image into a second image having a top view different from the first view by using the updated viewpoint conversion information; And calculating berthing guide information based on the second image - the berthing guide information includes at least one of information about a distance to the quay wall of the ship and information about an approach speed of the ship to the quay wall A port monitoring method comprising -; may be provided.

이하에서는 해수면을 고려한 항만 및 선박 모니터링 방법 및 장치에 관해 설명한다. Hereinafter, a port and vessel monitoring method and apparatus considering sea level will be described.

본 명세서에서, 모니터링이란 일정 영역이나 특정 오브젝트 등을 각종 센서를 이용하여 감시, 관찰, 감지하는 것뿐만 아니라 그 결과를 사용자에게 제공하거나 결과를 바탕으로 연산 등을 통해 추가적인 정보를 제공하는 것 등을 포함하도록 넓게 해석되어야 한다.In this specification, monitoring means not only monitoring, observing, and sensing a certain area or a specific object using various sensors, but also providing the result to the user or providing additional information through calculation based on the result. should be interpreted broadly to include

본 명세서에서, 항만 및 선박 모니터링 장치는 항만 및 선박 모니터링을 수행하는 장치로써 구체적인 구성에 대해서는 후술하기로 한다.In the present specification, the port and ship monitoring device is a device for performing port and ship monitoring, and a detailed configuration thereof will be described later.

도 1은 일 실시예에 따른 해수면을 고려한 항만 모니터링 방법에 관한 도면이다. 도 1을 참고하면, 항만 모니터링 방법은 항만 이미지 획득 단계(S100), 세그멘테이션(segmentation) 이미지 생성 단계(S200) 및 접안 가이드 정보 획득 단계(S300)를 포함할 수 있다.1 is a diagram of a port monitoring method considering sea level according to an embodiment. Referring to FIG. 1 , the harbor monitoring method may include a harbor image acquisition step (S100), a segmentation image generation step (S200), and a berth guide information acquisition step (S300).

항만 이미지 획득 단계(S100)는 모니터링 장치가 항만 이미지를 획득하는 단계를 의미할 수 있다. 세그멘테이션 이미지 생성 단계(S200)는 모니터링 장치가 이미지 세그멘테이션을 수행하여 항만 이미지로부터 세그멘테이션 이미지를 생성하는 단계를 의미할 수 있다. 이미지 세그멘테이션에 대한 구체적인 내용은 후술하기로 한다. 접안 가이드 정보 획득 단계(S300)는 모니터링 장치가 세그멘테이션 이미지에 기초하여 접안 가이드 정보를 획득하는 단계를 의미할 수 있다. 여기서, 모니터링 장치는 해수면 높이 등 해수면을 고려하여 접안 가이드 정보를 획득할 수 있다. 해수면을 고려하는 경우 접안 가이드 정보의 정확도가 향상될 수 있다. 접안 가이드 정보를 획득하는 단계에 대한 구체적인 내용은 후술하기로 한다.The harbor image acquisition step (S100) may refer to a step in which the monitoring device acquires a harbor image. The segmentation image generation step ( S200 ) may refer to a step of generating a segmentation image from a harbor image by performing image segmentation by the monitoring device. Details of image segmentation will be described later. The eyepiece guide information acquisition step (S300) may refer to a step in which the monitoring device acquires eyepiece guide information based on the segmentation image. Here, the monitoring device may obtain berthing guide information in consideration of sea level, such as sea level height. If the sea level is considered, the accuracy of berthing guide information can be improved. Details of the step of obtaining berthing guide information will be described later.

본 명세서에서, 접안 가이드 정보는 선박의 접안에 이용될 수 있고 도선사나 선장 등 사용자의 접안을 보조하거나 가이드하기 위한 정보를 의미할 수 있다. 예를 들어, 접안 가이드 정보는 선박의 안벽(wharf wall)과의 거리, 선박의 안벽으로의 접근 속도, 선박과 다른 선박 사이의 거리, 선박과 다른 선박 사이의 상대 속도, 항만 이미지 등을 포함할 수 있지만 이에 한정되는 것은 아니다.In the present specification, berthing guide information may be used for berthing of a ship and may refer to information for assisting or guiding users such as a pilot or a captain to berth. For example, the berthing guide information may include the distance from the ship's wharf wall, the approach speed of the ship to the wharf wall, the distance between the ship and other ships, the relative speed between the ship and other ships, the harbor image, and the like. may, but is not limited thereto.

도 2는 일 실시예에 따른 모니터링 장치에 관한 도면이다. 도 2를 참고하면, 모니터링 장치(10)는 센서 모듈(100), 제어 모듈(200) 및 통신 모듈(300)을 포함할 수 있다.2 is a diagram of a monitoring device according to an embodiment. Referring to FIG. 2 , the monitoring device 10 may include a sensor module 100 , a control module 200 and a communication module 300 .

센서 모듈(100)은 선박이나 선박 주변 및 항만에 대한 정보를 획득하거나 센싱할 수 있다. 센서 모듈(100)은 선박자동식별장치(automatic identification system, AIS), 이미지 생성 유닛, 위치 측정 유닛, 자세 측정 유닛, 케이싱/케이스 등을 포함할 수 있다.The sensor module 100 may acquire or sense information about a ship or a ship's surroundings and a port. The sensor module 100 may include an automatic identification system (AIS), an image generation unit, a position measurement unit, a posture measurement unit, a casing/case, and the like.

이미지 생성 유닛은 이미지를 생성할 수 있다. 항만 및 선박 모니터링을 위한 이미지는 바다, 선박, 부표, 장애물, 지형, 항만, 하늘, 건물 등의 오브젝트를 포함하는 것이 일반적일 것이다. 이미지 생성 유닛은 카메라, 라이다, 레이더, 초음파 탐지기 등을 포함할 수 있다. 카메라의 예로는 단안 카메라, 쌍안 카메라, 가시광선 카메라, IR 카메라, depth 카메라가 있지만 이에 한정되는 것은 아니다. 이하에서는 주로 가시광선 카메라를 통해 획득한 이미지를 분석하여 모니터링하는 것에 대해 설명하나 이에 한정되는 것은 아니다.The image generating unit may generate an image. Images for harbor and vessel monitoring will generally include objects such as the sea, ships, buoys, obstacles, terrain, harbors, sky, and buildings. The image generating unit may include a camera, lidar, radar, ultrasonic detector, and the like. Examples of cameras include, but are not limited to, monocular cameras, binocular cameras, visible light cameras, IR cameras, and depth cameras. Hereinafter, a method of analyzing and monitoring an image acquired through a visible ray camera will be mainly described, but is not limited thereto.

이미지 생성 유닛에 따라 시야각(FOV: field of view) 및 피사계 심도(DOF: depth of field)가 달라질 수 있다. 시야각은 좌우 또는 상하로 어느 정도의 범위까지 이미지에 포함되는지를 의미할 수 있고, 일반적으로는 각도(angle, degree)로 표현된다. 시야각이 더 크다는 의미는 좌우로 더 큰 폭의 영역을 포함하는 이미지를 생성하거나, 상하로 더 큰 폭의 영역을 포함하는 이미지를 생성하는 것을 의미할 수 있다. 피사계 심도는 이미지의 초점이 맞은 것으로 인식되는 거리 범위를 의미할 수 있고, 피사계 심도가 깊다는 의미는 이미지의 초점이 맞은 것으로 인식되는 거리 범위가 넓다는 것을 의미할 수 있다. 이하에서는 이미지가 포함하고 있는 영역을 촬상 영역, 초점이 맞은 것으로 인식되는 영역을 유효 영역이라 하고, 접안 가이드 정보 산출 등 모니터링은 유효 영역에 기초하여 수행될 수 있지만 촬상 영역 전체에 기초하여 수행되거나 촬상 영역의 일부에 기초하여 수행될 수도 있으므로, 모니터링을 수행하기 위해 이용되는 영역을 모니터링 영역이라고 한다.Depending on the image generating unit, a field of view (FOV) and a depth of field (DOF) may vary. The viewing angle may refer to an extent to which the left and right or top and bottom ranges are included in the image, and are generally expressed as angles (degrees). The meaning of having a larger viewing angle may mean generating an image including an area with a wider width horizontally or vertically. The depth of field may mean a distance range recognized as being in focus, and the depth of field may mean that the distance range recognized as being in focus is wide. Hereinafter, the area included in the image is referred to as the imaging area, and the area recognized as being in focus is referred to as the effective area. Since it may be performed based on a part of the area, the area used to perform monitoring is referred to as a monitoring area.

시야각이 크고 피사계 심도가 얕은 카메라의 예로 광각 카메라가 있다. 시야각이 작고 피사계 심도가 깊은 카메라의 예로는 고배율 카메라, 줌 카메라가 있다.An example of a camera with a large field of view and shallow depth of field is a wide-angle camera. Examples of a camera with a small field of view and a deep depth of field include a high-magnification camera and a zoom camera.

위치 측정 유닛은 센서 모듈이나 이미지 생성 유닛 등 센서 모듈에 포함된 구성의 위치를 측정할 수 있다. 일 예로, 위치 측정 유닛은 GPS(Global Positioning System)일 수 있다. 특히, 위치 측정의 정확도 향상을 위해 RTK-GPS(Real-Time Kinematic GPS)가 이용될 수도 있다.The position measurement unit may measure the position of a component included in a sensor module, such as a sensor module or an image generating unit. For example, the location measurement unit may be a Global Positioning System (GPS). In particular, RTK-GPS (Real-Time Kinematic GPS) may be used to improve the accuracy of position measurement.

위치 측정 유닛은 미리 정해진 시간 간격마다 위치 정보를 획득할 수 있다. 여기서, 상기 시간 간격은 센서 모듈의 설치 위치에 따라 달라질 수 있다. 예를 들어, 센서 모듈이 선박 등 이동체에 설치된 경우 위치 측정 유닛은 짧은 시간 간격마다 위치 정보를 획득할 수 있다. 반면, 센서 모듈이 항만 등 고정체에 설치된 경우 위치 측정 유닛은 긴 시간 간격마다 위치 정보를 획득할 수 있다. 위치 측정 유닛의 위치 정보 획득을 위한 시간 간격은 변경될 수 있다.The location measurement unit may obtain location information at predetermined time intervals. Here, the time interval may vary depending on the installation location of the sensor module. For example, when the sensor module is installed on a moving object such as a ship, the position measurement unit may obtain position information at short time intervals. On the other hand, when the sensor module is installed in a fixed body such as a port, the position measurement unit may acquire position information at every long time interval. A time interval for acquiring location information of the location measurement unit may be changed.

자세 측정 유닛은 센서 모듈이나 이미지 생성 유닛 등 센서 모듈에 포함된 구성의 자세를 측정할 수 있다. 일 예로, 자세 측정 유닛은 관성측정장비(Inertial Measurement Unit, IMU)일 수 있다.The posture measurement unit may measure the posture of a component included in a sensor module, such as a sensor module or an image generating unit. For example, the posture measurement unit may be an inertial measurement unit (IMU).

자세 측정 유닛은 미리 정해진 시간 간격마다 자세 정보를 획득할 수 있다. 여기서, 상기 시간 간격은 센서 모듈의 설치 위치에 따라 달라질 수 있다. 예를 들어, 센서 모듈이 선박 등 이동체에 설치된 경우 자세 측정 유닛은 짧은 시간 간격마다 자세 정보를 획득할 수 있다. 반면, 센서 모듈이 항만 등 고정체에 설치된 경우 자세 측정 유닛은 긴 시간 간격마다 자세 정보를 획득할 수 있다. 자세 측정 유닛의 자세 정보 획득을 위한 시간 간격은 변경될 수 있다.The posture measuring unit may obtain posture information at every predetermined time interval. Here, the time interval may vary depending on the installation location of the sensor module. For example, when the sensor module is installed on a moving object such as a ship, the attitude measurement unit may acquire attitude information at short time intervals. On the other hand, when the sensor module is installed in a fixed body such as a port, the attitude measurement unit may acquire attitude information at every long time interval. A time interval for acquiring attitude information of the attitude measuring unit may be changed.

케이싱은 이미지 생성 유닛, 위치 측정 유닛, 자세 측정 유닛 등 센서 모듈을 보호할 수 있다.The casing may protect sensor modules such as an image generating unit, a position measurement unit, and a posture measurement unit.

케이싱의 내부에는 이미지 생성 유닛, 위치 측정 유닛, 자세 측정 유닛 중 적어도 하나가 존재할 수 있다. 케이싱은 내부에 존재하는 이미지 생성 유닛 등의 장비가 염수에 의해 부식되는 것을 방지할 수 있다. 또는, 케이싱은 내부에 존재하는 장비에 가해지는 충격을 방지하거나 완화시켜 이를 보호할 수 있다.At least one of an image generating unit, a position measurement unit, and a posture measurement unit may be present inside the casing. The casing can prevent equipment, such as an image generating unit, from being corroded by salt water. Alternatively, the casing may protect the equipment existing therein by preventing or mitigating impact applied thereto.

내부에 이미지 생성 유닛 등을 포함하기 위하여 케이싱의 내부에 공동이 형성될 수 있다. 예를 들어, 케이싱은 내부가 비어있는 직육면체 형상일 수 있지만, 이에 한정되는 것은 아니고 내부에 이미지 생성 유닛 등이 배치될 수 있는 다양한 형상으로 제공될 수 있다.A cavity may be formed inside the casing to contain an image generating unit or the like therein. For example, the casing may have a hollow rectangular parallelepiped shape, but is not limited thereto and may be provided in various shapes in which an image generating unit or the like may be disposed.

케이싱의 내부에 이미지 생성 유닛이 배치되는 경우, 이미지 생성 유닛의 시야 확보를 위해 케이싱의 일 영역에 개폐구가 형성되거나 케이싱의 일 영역을 유리 등 투명한 물질로 형성할 수 있다. 이미지 생성 유닛은 상기 개폐구 또는 투명한 영역을 통해 선박 주변 및 항만을 촬상할 수 있다.When the image generating unit is disposed inside the casing, an opening may be formed in one region of the casing or a transparent material such as glass may be formed in one region of the casing to secure the field of view of the image generating unit. The image generating unit may capture an image of the ship's periphery and the harbor through the opening or the transparent area.

케이싱은 이미지 생성 유닛 등을 외부 충격으로부터 보호하기 위해 강인한 소재로 제공될 수 있다. 또는, 케이싱은 염분으로 인한 부식을 방지하기 위하여 해수용 합금 등의 소재로 제공될 수 있다.The casing may be made of a strong material to protect the image generating unit from external impact. Alternatively, the casing may be made of a material such as an alloy for seawater to prevent corrosion due to salt.

케이싱은 이미지 생성 유닛의 이물질을 제거하기 위한 장비를 포함할 수 있다. 일 예로, 케이싱에 포함된 와이퍼를 통해 이미지 생성 유닛의 표면에 달라붙은 이물질을 물리적으로 제거할 수 있다. 여기서, 상기 와이퍼는 이물질을 제거하려는 표면에 밀착할 수 있도록 상기 표면과 동일하거나 유사한 곡률을 갖는 선형 또는 판형으로 제공될 수 있다. 다른 예로, 케이싱에 포함된 액체 스프레이를 통해 물이나 워셔액을 도포하여 이물질을 제거하거나 도포 후 와이퍼를 이용하여 이물질을 물리적으로 제거할 수 있다.The casing may include equipment for removing foreign substances from the image generating unit. For example, foreign substances adhering to the surface of the image generating unit may be physically removed through a wiper included in the casing. Here, the wiper may be provided in a linear or plate shape having the same or similar curvature as the surface so as to be in close contact with the surface to remove foreign substances. As another example, foreign substances may be removed by applying water or washer fluid through a liquid spray included in the casing, or foreign substances may be physically removed using a wiper after application.

이물질 제거 장비는 수동으로 가동될 수 있지만, 자동으로도 가동될 수 있다. 예를 들어, 미리 정해진 시간 간격으로 이물질 제거 장비가 동작할 수 있다. 또는, 이미지 생성 유닛에 이물질이 달라 붙었는지 여부를 감지하는 센서를 이용하여 이물질 제거 장비를 동작시킬 수 있다. 또는, 이미지 생성 유닛이 촬상한 이미지를 이용하여, 상기 이미지에 이물질이 촬상되었는지 여부를 판단한 후, 이물질이 존재한다고 판단되는 경우에 이물질 제거 장비를 동작시킬 수 있다. 여기서, 이미지에 이물질이 촬상되었는지 여부는 인공 신경망(artificial neural network)을 통하여 판단될 수도 있을 것이다.The foreign matter removal equipment may be operated manually, but may also be operated automatically. For example, the foreign material removal equipment may be operated at predetermined time intervals. Alternatively, the foreign material removal equipment may be operated using a sensor that detects whether or not a foreign material is attached to the image generating unit. Alternatively, after determining whether a foreign material is captured in the image using the image captured by the image generating unit, the foreign material removing device may be operated when it is determined that the foreign material exists. Here, whether a foreign substance is captured in the image may be determined through an artificial neural network.

하나의 센서 모듈(100)은 2개 이상의 동일한 카메라를 포함하는 등 복수의 동일한 장비를 포함할 수도 있다.One sensor module 100 may include a plurality of identical equipment, such as two or more identical cameras.

센서 모듈은 항만 내의 조명탑, 크레인, 선박 등 그 위치나 자세에 제한이 없이 설치될 수 있고, 그 개수에도 제한이 없다. 다만, 센서 모듈의 종류 및 성능 등 특성에 따라 그 설치 위치나 개수가 달라질 수 있다. 예를 들어, 카메라의 경우 효율적인 모니터링을 위해 수면에서 15m 이상의 고도에 설치되거나, 서로 다른 촬상 영역을 갖도록 복수가 설치될 수 있다. 또한, 센서 모듈의 위치 및 자세는 설치 시 또는 설치 후에 수동 또는 자동으로 조절될 수도 있다.The sensor module may be installed without limitation in its position or attitude, such as a lighting tower, crane, ship, etc. in a port, and there is no limit to the number thereof. However, the installation location or number may vary depending on the type and performance of the sensor module. For example, a camera may be installed at an altitude of 15 m or more from the surface of the water for efficient monitoring, or a plurality of cameras may be installed to have different imaging areas. In addition, the position and posture of the sensor module may be manually or automatically adjusted during or after installation.

도 3 및 도 4는 일 실시예에 따른 센서 모듈의 설치 위치를 설명하기 위한 도면이다. 도 3 및 도 4를 참고하면, 센서 모듈(100)은 항만 또는 육지와 같이 고정된 위치에 설치되거나, 선박 등과 같이 이동하는 물체에 설치될 수 있다. 여기서, 센서 모듈(100)이 선박에 설치되는 경우, 도 4와 같이 모니터링의 대상이 되는 선박(이하 "타겟 선박"이라 함)에 설치될 수 있고, 도 3과 같이 타겟 선박의 접안 또는 이안을 보조하는 예인선 등 모니터링의 대상이 아닌 제3의 선박에 설치될 수도 있다. 이 외에도, 센서 모듈은 드론 등에 설치되어 타겟 선박을 모니터링할 수 있다.3 and 4 are diagrams for explaining an installation position of a sensor module according to an embodiment. Referring to FIGS. 3 and 4 , the sensor module 100 may be installed in a fixed location such as a port or land, or may be installed in a moving object such as a ship. Here, when the sensor module 100 is installed on a ship, it can be installed on a ship (hereinafter referred to as a “target ship”) to be monitored as shown in FIG. 4, and berthing or unloading the target ship as shown in FIG. It can also be installed on a third vessel that is not subject to monitoring, such as an auxiliary tugboat. In addition to this, the sensor module may be installed in a drone or the like to monitor a target ship.

모니터링 장치의 다른 구성 요소는 센서 모듈과 함께 또는 이와 별도의 장소에 설치될 수 있다. Other components of the monitoring device may be installed together with the sensor module or in a separate location.

제어 모듈(200)은 이미지 세그멘테이션을 수행하거나 접안 가이드 정보를 결정할 수 있다. 또한, 센서 모듈(100)을 통해 각종 데이터를 수신하는 동작, 출력 장치를 통해 각종 출력을 출력하는 동작, 메모리에 각종 데이터를 저장하거나 메모리로부터 각종 데이터를 획득하는 동작 등이 제어 모듈(200)의 제어에 의해 수행될 수 있다. The control module 200 may perform image segmentation or determine eyepiece guide information. In addition, an operation of receiving various data through the sensor module 100, an operation of outputting various outputs through an output device, an operation of storing various data in a memory or acquiring various data from a memory, and the like are of the control module 200. It can be done by control.

제어 모듈(200)의 예로는 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphics Processing Unit, GPU), 디지털 신호 처리 장치(Digital Signal Processor, DSP), 상태 기계(state machine), 주문형 반도체(Application Specific Integrated Circuit, ASIC), 무선 주파수 집적 회로(Radio-Frequency Integrated Circuit, RFIC) 및 이들의 조합 등이 있을 수 있다.Examples of the control module 200 include a Central Processing Unit (CPU), a Graphics Processing Unit (GPU), a Digital Signal Processor (DSP), a state machine, and an on-demand Semiconductors (Application Specific Integrated Circuits, ASICs), radio-frequency integrated circuits (Radio-Frequency Integrated Circuits, RFICs), and combinations thereof may be used.

통신 모듈(300)은 장치(10)로부터 외부로 정보를 송신하거나 외부로부터 정보를 수신할 수 있다. 통신 모듈(300)은 유선 또는 무선 통신을 수행할 수 있다. 통신 모듈(300)은 양방향(bi-directional) 또는 단방향 통신을 수행할 수 있다. 예를 들어, 장치(10)는 통신 모듈(300)을 통해 외부 출력 장치로 정보를 전달하여 제어 모듈(200)이 수행한 제어 결과를 외부 출력 장치를 통해 출력할 수 있다.The communication module 300 may transmit information from the device 10 to the outside or receive information from the outside. The communication module 300 may perform wired or wireless communication. The communication module 300 may perform bi-directional or unidirectional communication. For example, the device 10 may transfer information to an external output device through the communication module 300 and output a control result performed by the control module 200 through the external output device.

센서 모듈(100), 제어 모듈(200) 및 통신 모듈(300)은 제어부를 포함할 수 있다. 제어부는 모듈 내에서 각종 정보의 처리와 연산을 수행하고, 모듈을 구성하는 다른 구성 요소를 제어할 수 있다. 제어부는 물리적으로는 전기 신호를 처리하는 전자 회로 형태로 제공될 수 있다. 모듈은 물리적으로 단일한 제어부만을 포함할 수도 있으나, 이와 달리 복수의 제어부를 포함할 수도 있다. 일 예로, 제어부는 하나의 컴퓨팅 수단에 탑재되는 하나 또는 복수의 프로세서(processor)일 수 있다. 다른 예로, 제어부는 물리적으로 이격된 서버(server)와 터미널(terminal)에 탑재되어 통신을 통해 협업하는 프로세서들로 제공될 수도 있다. 제어부의 예로는 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphics Processing Unit, GPU), 디지털 신호 처리 장치(Digital Signal Processor, DSP), 상태 기계(state machine), 주문형 반도체(Application Specific Integrated Circuit, ASIC), 무선 주파수 집적 회로(Radio-Frequency Integrated Circuit, RFIC) 및 이들의 조합 등이 있을 수 있다. 이하에서는 본 명세서의 실시예로 개시되는 각종 동작이나 단계들은 별도의 언급이 없는 이상 제어 모듈(200) 또는 제어부에 의해 수행되거나 제어 모듈(200) 또는 제어부의 제어에 의해 수행되는 것으로 해석될 수 있다.The sensor module 100, the control module 200, and the communication module 300 may include a control unit. The control unit may process and calculate various types of information within the module, and may control other components constituting the module. The controller may be physically provided in the form of an electronic circuit that processes electrical signals. A module may physically include only a single control unit, but may also include a plurality of control units. For example, the control unit may be one or a plurality of processors mounted on one computing means. As another example, the control unit may be provided as processors that are mounted on physically separated servers and terminals and collaborate through communication. Examples of the control unit include a central processing unit (CPU), a graphics processing unit (GPU), a digital signal processor (DSP), a state machine, and an application specific semiconductor (Application Specific Integrated Circuit (ASIC), Radio-Frequency Integrated Circuit (RFIC), and combinations thereof. Hereinafter, various operations or steps disclosed as embodiments of this specification may be interpreted as being performed by the control module 200 or the control unit or under the control of the control module 200 or the control unit unless otherwise stated. .

센서 모듈(100), 제어 모듈(200) 및 통신 모듈(300)은 통신부를 포함할 수 있다. 상기 모듈들은 통신부를 통해 정보를 송수신할 수 있다. 예를 들어, 센서 모듈(100)은 외부로부터 획득한 정보를 그 통신부를 통해 송신하고, 제어 모듈(200)은 그 통신부를 통해 센서 모듈(100)이 송신한 정보를 수신할 수 있다. 통신부는 유선 또는 무선 통신을 수행할 수 있다. 통신부는 양방향(bi-directional) 또는 단방향 통신을 수행할 수 있다.The sensor module 100, the control module 200, and the communication module 300 may include a communication unit. The modules may transmit and receive information through a communication unit. For example, the sensor module 100 may transmit information acquired from the outside through the communication unit, and the control module 200 may receive the information transmitted by the sensor module 100 through the communication unit. The communication unit may perform wired or wireless communication. The communication unit may perform bi-directional or unidirectional communication.

센서 모듈(100), 제어 모듈(200) 및 통신 모듈(300)은 메모리를 포함할 수 있다. 메모리는 각종 프로세싱 프로그램, 프로그램의 프로세싱을 수행하기 위한 파라미터 또는 이러한 프로세싱 결과 데이터 등을 저장할 수 있다. 예를 들어, 메모리는 학습 및/또는 추론에 필요한 데이터, 학습이 진행중이거나 학습된 인공 신경망 등을 저장할 수 있다. 메모리는 비휘발성 반도체 메모리, 하드 디스크, 플래시 메모리, RAM(Random Access Memory), ROM(Read Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 또는 그 외에 유형의(tangible) 비휘발성의 기록 매체 등으로 구현될 수 있다.The sensor module 100, the control module 200, and the communication module 300 may include a memory. The memory may store various processing programs, parameters for performing program processing, or such processing result data. For example, the memory may store data necessary for learning and/or reasoning, learning is in progress or a learned artificial neural network, and the like. Memory is a non-volatile semiconductor memory, hard disk, flash memory, RAM (Random Access Memory), ROM (Read Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), or any other tangible non-volatile recording medium. etc. can be implemented.

모니터링 장치는 2개 이상의 센서 모듈을 포함하는 등 복수의 동일한 모듈을 포함할 수도 있다. 예를 들어, 하나의 장치가 2개의 센서 모듈을 포함하고, 각 센서 모듈이 다시 2개의 카메라를 포함할 수도 있다.The monitoring device may include a plurality of identical modules, such as including two or more sensor modules. For example, one device may include two sensor modules, and each sensor module may further include two cameras.

도 5 및 도 6은 일 실시예에 따른 모니터링 장치의 실시예에 관한 도면이다.5 and 6 are diagrams of an embodiment of a monitoring device according to an embodiment.

도 5를 참고하면, 모니터링 장치는 센서 모듈(100) 및 제어 모듈(200)을 포함할 수 있다. 센서 모듈(100)은 카메라(130)를 통해 이미지를 생성하고, 통신부(110)를 통해 이미지를 제어 모듈(200)로 송신할 수 있다. 또한, 센서 모듈(100)의 제어부(120)는 후술할 시점 변환을 수행하여 이미지의 시점을 변환시킬 수 있다. 제어 모듈(200)은 통신부(210)를 통해 센서 모듈(100)로부터 이미지를 수신하고, 제어부(220)를 통해 후술할 접안 가이드 정보 결정 및 이미지 정합 등을 수행할 수 있다. 또한, 제어 모듈(200)은 통신부(210)를 통해 클라우드 서버로 접안 가이드 정보 및 정합된 이미지 등 분석 결과를 송신할 수 있다. 클라우드 서버는 제어 모듈(200)로부터 수신한 분석 결과를 스마트폰, 태블릿, PC 등 사용자 단말로 전송하거나 사용자 단말로부터 인스트럭션을 수신할 수 있다.Referring to FIG. 5 , the monitoring device may include a sensor module 100 and a control module 200 . The sensor module 100 may generate an image through the camera 130 and transmit the image to the control module 200 through the communication unit 110 . In addition, the controller 120 of the sensor module 100 may change the viewpoint of the image by performing a viewpoint conversion to be described later. The control module 200 may receive an image from the sensor module 100 through the communication unit 210, and may perform eyepiece guide information determination and image matching, which will be described later, through the control unit 220. In addition, the control module 200 may transmit analysis results such as eyepiece guide information and matched images to the cloud server through the communication unit 210 . The cloud server may transmit the analysis result received from the control module 200 to a user terminal such as a smartphone, tablet, or PC, or may receive an instruction from the user terminal.

도 6을 참고하면, 모니터링 장치는 센서 모듈(100)을 포함할 수 있다. 센서 모듈(100)은 카메라(130)를 통해 이미지를 생성하고, 통신부(110)를 통해 클라우드 서버로 이미지를 전송할 수 있다. 또한, 센서 모듈(100)의 제어부(120)는 후술할 시점 변환을 수행하여 이미지의 시점을 변환시킬 수 있다. 클라우드 서버는 센서 모듈(100)로부터 이미지를 수신하고, 후술할 접안 가이드 정보 결정 및 이미지 정합 등을 수행할 수 있다. 또한, 클라우드 서버는 접안 가이드 정보 및 정합된 이미지 등 분석 결과를 스마트폰, 태블릿, PC 등 사용자 단말로 전송하거나 사용자 단말로부터 인스트럭션을 수신할 수 있다.Referring to FIG. 6 , the monitoring device may include the sensor module 100 . The sensor module 100 may generate an image through the camera 130 and transmit the image to a cloud server through the communication unit 110 . In addition, the controller 120 of the sensor module 100 may change the viewpoint of the image by performing a viewpoint conversion to be described later. The cloud server may receive an image from the sensor module 100 and perform eyepiece guide information determination and image matching, which will be described later. In addition, the cloud server may transmit analysis results such as eyepiece guide information and matched images to a user terminal such as a smartphone, tablet, or PC, or may receive an instruction from the user terminal.

도 2 내지 도 6에서 도시하는 장치는 예시에 불과하며 장치의 구성이 이에 한정되지는 않는다.The devices shown in FIGS. 2 to 6 are only examples, and the configuration of the devices is not limited thereto.

일 예로, 장치는 출력 모듈을 포함할 수 있다. 출력 모듈은 제어 모듈에 의해 수행된 연산의 결과 등을 출력할 수 있다. 예를 들어, 출력 모듈은 분석 결과를 출력할 수 있다. 출력 모듈은 예시적으로 디스플레이, 스피커, 신호 출력 회로 등일 수 있으나 이에 한정되는 것은 아니다. 이 경우 정보를 사용자 단말 등 외부 출력 장치로 전달하여 외부 출력 장치가 정보를 출력하는 것 외에 출력 모듈을 통해 정보를 출력할 수도 있을 것이다.As an example, the device may include an output module. The output module may output a result of an operation performed by the control module and the like. For example, the output module may output analysis results. The output module may be, for example, a display, a speaker, a signal output circuit, etc., but is not limited thereto. In this case, the information may be output through an output module, in addition to transferring the information to an external output device such as a user terminal and outputting the information by the external output device.

다른 예로, 장치는 센서 모듈을 포함하지 않을 수도 있다. 이 경우 제어 모듈은 외부 센서 장치로부터 정보를 전달받아 접안 가이드 정보를 산출하는 등 모니터링 동작을 수행할 수 있을 것이다. 예를 들어, 제어 모듈은 선박이나 항만에 이미 설치된 AIS, 카메라, 라이다, 레이다 등으로부터 정보를 전달받아 접안 가이드 정보를 결정할 수 있다.As another example, a device may not include a sensor module. In this case, the control module may perform a monitoring operation such as receiving information from an external sensor device and calculating eyepiece guide information. For example, the control module may determine berthing guide information by receiving information from an AIS, camera, lidar, radar, etc. already installed in a ship or port.

또한, 도 2 내지 도 6의 각 구성이 수행하는 단계는 반드시 해당 구성이 수행해야 하는 것은 아니고 다른 구성에 의해 수행될 수 있다. 예를 들어, 위의 도 5에서는 센서 모듈(100)의 제어부(120)가 시점 변환을 수행하는 것으로 기재하였으나, 제어 모듈(200)의 제어부(220) 또는 클라우드 서버가 시점 변환을 수행할 수도 있을 것이다.In addition, the steps performed by each component of FIGS. 2 to 6 are not necessarily performed by the corresponding component, but may be performed by other components. For example, in FIG. 5 above, it is described that the controller 120 of the sensor module 100 performs the viewpoint conversion, but the controller 220 of the control module 200 or the cloud server may perform the viewpoint conversion. will be.

이하에서는 항만 및 선박 모니터링의 각 단계 및 구성에 대해 보다 구체적으로 살펴본다.Hereinafter, each step and configuration of port and vessel monitoring will be examined in more detail.

전술한 바와 같이, 모니터링 방법은 항만 이미지 획득 단계를 포함할 수 있고, 항만 이미지 획득 단계는 모니터링 장치가 항만 이미지를 획득하는 단계를 의미할 수 있다. 항만 이미지는 모니터링 장치에 포함된 이미지 생성 유닛에 의해 생성될 수 있다. 또는, 모니터링 장치는 외부로부터 항만 이미지를 수신할 수 있다. 여기서, 이미지의 종류는 RGB 이미지, IR 이미지, depth 이미지, 라이다(lidar) 이미지, 레이더(radar) 이미지 등 다양할 수 있고 제한이 있는 것은 아니다. 또한, 2차원 이미지뿐만 아니라 3차원 이미지 등도 가능하다.As described above, the monitoring method may include a harbor image acquisition step, and the harbor image acquisition step may mean a step in which a monitoring device acquires a harbor image. The harbor image may be generated by an image generating unit included in the monitoring device. Alternatively, the monitoring device may receive a harbor image from the outside. Here, the type of image may be various such as an RGB image, an IR image, a depth image, a lidar image, and a radar image, and is not limited thereto. In addition, not only 2D images but also 3D images are possible.

전술한 바와 같이, 모니터링 방법은 세그멘테이션 이미지 생성 단계를 포함할 수 있다. 세그멘테이션이란 이미지의 픽셀 별로 각 픽셀에 대응되는 특성(characteristic)이나 속성(attribute)을 할당/라벨링(labelling)/매칭(matching)하는 것을 의미할 수 있다. 예를 들어, 세그멘테이션을 수행하여 원본 이미지로부터 세그멘테이션 이미지를 생성하는 경우, 세그멘테이션 이미지의 각 픽셀은 원본 이미지상의 대응되는 픽셀의 특성/속성이 반영된 식별값이 할당되어 있다고 볼 수 있다. 그 결과, 세그멘테이션 이미지는 식별값이 할당된 매트릭스의 형태로 볼 수도 있다. 특성/속성의 예로는 해당 픽셀에 대응되는 오브젝트의 종류, 위치, 좌표, 거리, 방향, 속도 등에 관한 정보가 있으나 이에 한정되는 것은 아니다.As described above, the monitoring method may include generating a segmentation image. Segmentation may mean allocating/labeling/matching a characteristic or attribute corresponding to each pixel for each pixel of an image. For example, when a segmented image is generated from an original image by performing segmentation, it can be seen that each pixel of the segmented image is assigned an identification value reflecting the characteristics/attributes of the corresponding pixel on the original image. As a result, the segmented image may be viewed in the form of a matrix to which identification values are assigned. Examples of characteristics/attributes include, but are not limited to, information about the type, location, coordinates, distance, direction, and speed of an object corresponding to a corresponding pixel.

도 7은 일 실시예에 따른 이미지 세그멘테이션을 설명하기 위한 도면이다. 도 7의 (a)는 카메라가 촬상한 이미지이고, 도 7의 (b)는 이미지 세그멘테이션에 기초하여 생성된 세그멘테이션 이미지(또는 세그멘테이션 이미지를 시각화한 이미지)이다.7 is a diagram for describing image segmentation according to an exemplary embodiment. FIG. 7(a) is an image captured by a camera, and FIG. 7(b) is a segmented image generated based on image segmentation (or an image obtained by visualizing the segmented image).

구체적으로, 도 7의 (a)의 이미지를 이용하여 수행된 세그멘테이션에 기초하여 도 7의 (b)와 같은 세그멘테이션 이미지를 생성할 수 있다. 도 7의 (b)에서, 제1 픽셀 영역(P1)은 선박에 대응되는 픽셀의 이미지상의 영역이고, 제2 픽셀 영역(P2)은 물(예를 들어, 바다, 강, 호수 등), 제3 픽셀 영역(P3)은 항만의 안벽, 제4 픽셀 영역(P4)은 지형(예를 들어, 산, 육지 등), 제5 픽셀 영역(P5)은 하늘에 대응되는 픽셀의 이미지상의 영역이다. 세그멘테이션 이미지의 서로 다른 픽셀 영역은 서로 다른 식별값이 할당되어 있을 수 있다. 예를 들어, 제1 픽셀 영역(P1)에는 선박에 대응되는 식별값이 할당되고 제2 픽셀 영역(P2)에는 물에 대응되는 식별값이 할당될 수 있고, 다른 픽셀 영역 또한 마찬가지일 수 있다.Specifically, based on the segmentation performed using the image of FIG. 7 (a), a segmented image as shown in (b) of FIG. 7 may be generated. In (b) of FIG. 7 , the first pixel area P1 is an area on the image of a pixel corresponding to a ship, and the second pixel area P2 is water (eg, sea, river, lake, etc.), The 3-pixel area P3 is the harbor wall, the 4th pixel area P4 is the topography (eg, mountain, land, etc.), and the 5th pixel area P5 is the area on the image of the pixel corresponding to the sky. Different identification values may be assigned to different pixel regions of the segmented image. For example, an identification value corresponding to a ship may be assigned to the first pixel region P1, and an identification value corresponding to water may be assigned to the second pixel region P2, and other pixel regions may be the same.

도 7의 (b)에서는 세그멘테이션을 수행하여 이미지상의 각 픽셀에 대응되는 오브젝트의 종류에 대한 정보를 산출하는 것을 도시하였으나, 전술한 바와 같이 세그멘테이션을 통해 획득할 수 있는 정보가 이에 한정되는 것은 아니다. 이 경우 서로 다른 특성/속성은 별도의 식별값으로 할당되는 등 독립적으로 표현될 수도 있고, 하나의 식별값으로 할당되는 등 동시에 반영되어 표현될 수도 있다.In (b) of FIG. 7, it is illustrated that information about the type of object corresponding to each pixel on an image is calculated by performing segmentation, but as described above, information that can be obtained through segmentation is not limited thereto. In this case, different characteristics/attributes may be expressed independently, such as being assigned as separate identification values, or may be reflected and expressed simultaneously, such as being assigned as one identification value.

도 8은 일 실시예에 따른 오브젝트의 종류 및 거리에 대한 정보를 동시에 반영한 식별값 할당에 관한 표이다. 도 8을 참고하면, 오브젝트의 종류 및 거리에 대한 정보를 함께 고려하여 클래스를 설정하고, 각 클래스 별로 식별값을 할당할 수 있다. 예를 들어, 오브젝트의 종류에 대한 정보인 지형과 거리에 대한 정보인 근거리를 함께 고려하여 2번 식별값을 할당할 수 있다. 도 8은 종류에 대한 정보와 거리에 대한 정보를 함께 고려한 경우의 일 예이고, 이 외에 방향 정보, 장애물 이동 방향, 속도, 항로 표지 등 다른 정보 또한 함께 고려될 수 있다. 또한, 모든 식별값이 복수의 정보를 포함해야 하는 것은 아니고, 같은 종류의 정보를 포함해야 하는 것도 아니다. 예를 들어, 특정 식별값은 종류에 대한 정보만 포함하고(예를 들어, 식별값 1은 거리에 대한 정보를 포함하지 않음) 다른 식별값은 종류 및 거리에 대한 정보를 포함하는 등 경우에 따라 다양한 방식으로 표현될 수 있다.8 is a table related to allocation of identification values in which information on object types and distances are simultaneously reflected according to an exemplary embodiment. Referring to FIG. 8 , classes may be set in consideration of object type and distance information, and an identification value may be assigned to each class. For example, identification value 2 may be assigned by considering both topography, which is information about the type of object, and short distance, which is information about distance. 8 is an example of a case in which information on type and information on distance are considered together, and other information such as direction information, obstacle movement direction, speed, and navigational aid may also be considered together. In addition, all identification values do not have to include a plurality of pieces of information, nor do they have to include the same type of information. For example, in some cases, a specific identification value includes only type information (for example, identification value 1 does not include information about distance) and other identification values include information about type and distance. It can be expressed in various ways.

세그멘테이션은 인공 신경망을 이용하여 수행될 수 있다. 하나의 인공 신경망을 통해 세그멘테이션을 수행할 수도 있고, 복수의 인공 신경망을 이용하여 각각의 인공 신경망이 세그멘테이션을 수행하고 이 결과를 조합하여 최종 결과를 산출할 수도 있다.Segmentation may be performed using an artificial neural network. Segmentation may be performed through one artificial neural network, or each artificial neural network may perform segmentation using a plurality of artificial neural networks, and a final result may be calculated by combining the results.

인공 신경망이란 인간의 신경망 구조를 본떠 만든 알고리즘의 일종으로, 하나 이상의 노드 또는 뉴런(neuron)을 포함하는 하나 이상의 레이어를 포함할 수 있고 각각의 노드는 시냅스(synapse)를 통해 연결될 수 있다. 인공 신경망에 입력된 데이터(입력 데이터)는 시냅스를 통해 노드를 거쳐 출력(출력 데이터)될 수 있고, 이를 통해 정보를 획득할 수 있다.An artificial neural network is a type of algorithm modeled after the structure of a human neural network, and may include one or more layers including one or more nodes or neurons, and each node may be connected through a synapse. Data (input data) input to the artificial neural network may be output (output data) through nodes through synapses, through which information may be obtained.

인공 신경망의 종류로는 필터를 이용해 특징을 추출하는 합성곱신경망(convolution neural network, CNN) 및 노드의 출력이 다시 입력으로 피드백 되는 구조를 갖는 순환인공신경망(recurrent neural network, RNN)이 있고, 제한된 볼츠만 머신(restricted Boltzmann machine, RBM), 심층신뢰신경망(deep belief network, DBN), 생성대립신경망(generative adversarial network, GAN), 관계형 네트워크(relation networks, RN) 등 다양한 구조가 적용될 수 있고 제한이 있는 것은 아니다.Types of artificial neural networks include a convolution neural network (CNN) that extracts features using a filter and a recurrent neural network (RNN) that has a structure in which the output of a node is fed back to an input. Various structures such as restricted Boltzmann machine (RBM), deep belief network (DBN), generative adversarial network (GAN), and relational networks (RN) can be applied, and there are limitations. It is not.

인공 신경망을 이용하기 전에 학습시키는 단계가 필요하다. 또는, 인공 신경망을 이용하며 학습시킬 수 있다. 이하에서는 인공신경망을 학습시키는 단계를 학습 단계, 이용하는 단계를 추론 단계로 표현하기로 한다. Before using an artificial neural network, a training step is required. Alternatively, it may be trained using an artificial neural network. Hereinafter, the step of learning the artificial neural network will be expressed as a learning step, and the step of using it as an inference step.

인공 신경망은 지도 학습(supervised learning), 비지도 학습(unsupervised learning), 강화 학습(reinforcement learning), 모방 학습(imitation learning) 등 다양한 방법을 통해 학습될 수 있다.The artificial neural network may be trained through various methods such as supervised learning, unsupervised learning, reinforcement learning, and imitation learning.

도 9는 일 실시예에 따른 인공 신경망의 학습 단계 및 추론 단계에 관한 도면이다. 9 is a diagram of a learning step and an inference step of an artificial neural network according to an embodiment.

도 9의 (a)는 인공 신경망의 학습 단계의 일 실시예로, 학습되지 않은 인공 신경망이 학습 데이터 또는 훈련 데이터(training data)를 입력 받아 출력 데이터를 출력하고, 출력 데이터와 라벨링 데이터(labelling data)를 비교하여 그 오차의 역전파를 통해 인공 신경망을 학습시킬 수 있다. 학습 데이터, 출력 데이터, 라벨링 데이터는 이미지일 수 있다. 라벨링 데이터는 실측 자료(ground truth)를 포함할 수 있다. 또는, 라벨링 데이터는 사용자 또는 프로그램을 통하여 생성된 자료일 수 있다.Figure 9 (a) is an embodiment of the learning step of the artificial neural network, in which the untrained artificial neural network receives learning data or training data and outputs output data, and outputs the output data and labeling data. ) can be compared and the artificial neural network can be trained through backpropagation of the error. Training data, output data, and labeling data may be images. Labeling data may include ground truth. Alternatively, the labeling data may be data generated by a user or program.

도 9의 (b)는 인공 신경망의 추론 단계의 일 실시예로, 학습된 인공 신경망이 입력 데이터를 입력 받아 출력 데이터를 출력할 수 있다. 학습 단계에서의 학습 데이터의 정보에 따라 추론 단계에서 추론 가능한 정보가 달라질 수 있다. 또한, 인공 신경망의 학습 정도에 따라 출력 데이터의 정확성이 달라질 수 있다.9(b) is an example of an artificial neural network inference step, in which the trained artificial neural network receives input data and outputs output data. Information that can be inferred in the inference step may vary depending on the information of the learning data in the learning step. In addition, the accuracy of output data may vary according to the degree of learning of the artificial neural network.

전술한 바와 같이, 모니터링 방법은 접안 가이드 정보 획득 단계를 포함할 수 있다. 접안 가이드 정보 획득 단계는 모니터링 장치가 세그멘테이션 이미지에 기초하여 접안 가이드 정보를 획득하는 단계를 의미할 수 있으나 모니터링 방법은 세그멘테이션 이미지 생성 단계를 반드시 포함해야 하는 것은 아니며 항만 이미지로부터 바로 접안 가이드 정보를 획득할 수도 있을 것이다.As described above, the monitoring method may include obtaining eyepiece guide information. The berthing guide information acquisition step may refer to a step in which the monitoring device acquires berthing guide information based on the segmentation image, but the monitoring method does not necessarily include a segmentation image generation step, and berthing guide information may be obtained directly from the harbor image. It could be.

접안 가이드 정보는 선박의 접안에 이용될 수 있고 도선사나 선장 등 사용자의 접안을 보조하거나 가이드하기 위한 정보를 의미할 수 있다. The berthing guide information may be used for berthing of a ship and may refer to information for assisting or guiding a user such as a pilot or a captain in berthing.

접안 가이드 정보는 거리/속도에 대한 정보를 포함할 수 있다. 거리/속도에 대한 정보의 예로는 좌표와 같은 절대적 위치, 특정 기준으로부터의 상대적 위치, 임의의 지점으로부터의 거리, 거리 범위, 방향, 절대적 속도, 상대적 속도, 속력 등이 있으나 이에 한정되는 것은 아니다.Eyepiece guide information may include information on distance/velocity. Examples of information on distance/velocity include, but are not limited to, an absolute position such as coordinates, a relative position from a specific reference point, a distance from an arbitrary point, a distance range, a direction, an absolute speed, a relative speed, and a speed.

거리/속도에 대한 정보는 소정의 영역이나 포인트를 기준으로 추정될 수 있다. 일 예로, 선박과 안벽 사이의 거리는 선박의 일 포인트와 안벽의 일 포인트 사이의 거리를 산출함으로써 추정되거나, 선박의 일 포인트와 안벽과의 최단 거리를 산출함으로써 추정될 수 있다. 다른 예로, 선박 사이의 간격은 제1 선박의 일 포인트와 제2 선박의 일 포인트 사이의 거리를 산출함으로써 추정될 수 있다. 선박의 일 포인트는 바다와 접하는 선박의 일 지점에 대응되거나 선박의 선수 또는 선미에 대응될 수 있지만, 이에 한정되는 것은 아니다. Information on distance/velocity may be estimated based on a predetermined area or point. For example, the distance between the ship and the quay may be estimated by calculating the distance between one point of the ship and one point of the quay, or may be estimated by calculating the shortest distance between one point of the ship and the quay. As another example, the distance between ships may be estimated by calculating the distance between one point of the first ship and one point of the second ship. One point of the ship may correspond to a point of the ship in contact with the sea or may correspond to the bow or stern of the ship, but is not limited thereto.

거리/속도에 대한 정보는 소정의 거리값, 방향값 및 속도값 등으로 표현될 수 있다. 예를 들어, 거리 정보는 1m, 2m 등으로 표현될 수 있고, 방향 정보는 10°, 20° 등으로 표현될 수 있고, 속도 정보는 5cm/s, 10cm/s 등으로 표현될 수 있다. Information on distance/speed may be expressed as a predetermined distance value, direction value, and speed value. For example, distance information may be expressed as 1m, 2m, etc., direction information may be expressed as 10°, 20°, etc., and speed information may be expressed as 5cm/s, 10cm/s, etc.

거리/속도에 대한 정보는 일정 범위를 갖는 복수의 카테고리에 대응되는 인덱스(index)로 표현될 수 있다. 예를 들어, 거리 정보는 근거리, 중거리 및 원거리 등으로 표현될 수 있고, 방향 정보는 좌측 방향, 정면 방향 및 우측 방향 등으로 표현될 수 있고, 속도 정보는 저속, 중속, 고속 등으로 표현될 수 있다. 이를 조합하여 좌측 근거리, 우측 원거리 등으로 표현하는 것도 가능할 것이다.Information on distance/speed may be expressed as an index corresponding to a plurality of categories having a certain range. For example, distance information may be expressed as short distance, medium distance, and long distance, direction information may be expressed as left direction, front direction, and right direction, and speed information may be expressed as low speed, medium speed, and high speed. there is. It will also be possible to combine these and express them as left near distance, right far distance, and the like.

도 10은 일 실시예에 따른 접안 가이드 정보를 설명하기 위한 도면이다. 도 10의 (a)를 참고하면, 접안 가이드 정보는 선박(OBJ1)과 안벽(OBJ2) 사이의 접안 가이드 정보(f1, f2) 및 선박(OBJ1)과 다른 선박(OBJ3, OBJ4) 사이의 접안 가이드 정보(f3, f4)를 포함할 수 있다. 구체적으로, 선박(OBJ1)과 안벽(OBJ2) 사이의 접안 가이드 정보(f1, f2)는 선박(OBJ1)의 안벽(OBJ2)과의 거리/속도에 대한 정보를 포함할 수 있고, 선박(OBJ1)과 다른 선박(OBJ3, OBJ4) 사이의 접안 가이드 정보(f3, f4)는 선박(OBJ1)의 다른 선박(OBJ3, OBJ4)과의 거리/속도에 대한 정보를 포함할 수 있다. 도 10의 (b)를 참고하면, 선박(OBJ1)과 안벽(OBJ2) 사이의 접안 가이드 정보(f1, f2)는 선박(OBJ1)의 해수면과 접하는 영역에 대응되는 영역인 경계 영역과 안벽(OBJ2) 사이의 정보일 수 있다. 경계 영역은 선박과 해수면이 접하는 라인 또는 포인트뿐만 아니라 그 근방의 일정 영역을 포함할 수 있다. 또한, 선박(OBJ1)과 다른 선박(OBJ3, OBJ4) 사이의 접안 가이드 정보는 선박(OBJ1, OBJ3, OBJ4)의 선수/선미에 대응되는 소정의 영역 사이의 정보일 수 있고, 여기서 상기 소정의 영역은 선박(OBJ1, OBJ3, OBJ4)의 선수/선미 포인트뿐만 아니라 그 근방의 일정 영역을 의미할 수도 있다.10 is a diagram for explaining eyepiece guide information according to an embodiment. Referring to (a) of FIG. 10, berthing guide information is berthing guide information (f 1 , f 2 ) between the ship (OBJ1) and the quay (OBJ2) and between the ship (OBJ1) and other ships (OBJ3, OBJ4). Eyepiece guide information (f 3 , f 4 ) may be included. Specifically, the berthing guide information (f 1 , f 2 ) between the ship (OBJ1) and the quay wall (OBJ2) may include information on the distance/velocity of the ship (OBJ1) to the quay wall (OBJ2), and the ship ( The berthing guide information (f 3 , f 4 ) between OBJ1) and other ships OBJ3 and OBJ4 may include information about the distance/velocity of the ship OBJ1 to the other ships OBJ3 and OBJ4. Referring to (b) of FIG. 10, berthing guide information (f 1 , f 2 ) between the ship OBJ1 and the quay wall OBJ2 is a boundary region corresponding to the region in contact with the sea surface of the ship OBJ1 and the quay wall. (OBJ2). The boundary area may include not only a line or a point where the ship and the sea surface meet, but also a certain area near the line or point. In addition, the berthing guide information between the ship (OBJ1) and the other ships (OBJ3, OBJ4) may be information between a predetermined area corresponding to the bow / stern of the vessel (OBJ1, OBJ3, OBJ4), where the predetermined area may mean not only the bow/stern points of the ships OBJ1, OBJ3, and OBJ4, but also a certain area near them.

선박(OBJ1)과 안벽(OBJ2) 사이의 접안 가이드 정보(f1, f2)는 도 10에 도시된 바와 같이 두 개의 접안 가이드 정보를 포함할 수 있지만 이에 한정되는 것은 아니고 하나의 접안 가이드 정보 또는 셋 이상의 접안 가이드 정보를 포함할 수 있다. 또한, 선박(OBJ1)과 다른 선박(OBJ3, OBJ4) 사이의 접안 가이드 정보(f3, f4)는 도 10에 도시된 바와 같이 두 선박 사이에 하나의 접안 가이드 정보를 포함할 수 있지만 이에 한정되는 것은 아니고 두 선박 사이에 둘 이상의 접안 가이드 정보를 포함할 수 있다. 전술한 정보는 선박의 이안에 이용되는 경우 이안 가이드 정보라 지칭될 수도 있을 것이다.The berthing guide information (f 1 , f 2 ) between the ship (OBJ1) and the quay wall (OBJ2) may include two berthing guide information as shown in FIG. 10, but is not limited thereto, and one berthing guide information or Three or more eyepiece guide information may be included. In addition, the berthing guide information (f 3 , f 4 ) between the ship (OBJ1) and the other ships (OBJ3, OBJ4) may include one berthing guide information between the two ships as shown in FIG. 10, but is limited thereto It is not possible to include information on two or more berthing guides between two ships. The above-described information may be referred to as unloading guide information when used for unloading of a ship.

도 11은 일 실시예에 따른 선박과 안벽 사이의 접안 가이드 정보를 설명하기 위한 도면이다.11 is a diagram for explaining berthing guide information between a ship and a quay according to an embodiment.

상기 접안 가이드 정보는 해수면 높이/해수면 상에서의 정보일 수 있다. 예를 들어, 접안 가이드 정보(f5)는 해수면 높이에서의 선박(OBJ1)과 안벽(OBJ2) 사이의 거리/속도에 대한 정보를 포함할 수 있다.The berthing guide information may be sea level height/sea level information. For example, the berthing guide information f 5 may include information about the distance/velocity between the ship OBJ1 and the quay wall OBJ2 at sea level.

상기 접안 가이드 정보는 지면 높이(또는 안벽 높이)에서의 정보일 수 있다. 예를 들어, 접안 가이드 정보(f6)는 안벽(OBJ2) 높이에서의 선박(OBJ1)과 안벽(OBJ2) 사이의 거리/속도에 대한 정보를 포함할 수 있다.The eyepiece guide information may be information at ground level (or quay wall level). For example, the berthing guide information f 6 may include information on the distance/velocity between the ship OBJ1 and the quay wall OBJ2 at the height of the quay wall OBJ2.

상기 접안 가이드 정보는 소정의 높이에서의 정보일 수 있다. 여기서, 소정의 높이는 도 11에 도시된 접안 가이드 정보(f7)와 같이 해수면 높이와 안벽 높이 사이일 수 있으나 이에 한정되는 것은 아니다.The eyepiece guide information may be information at a predetermined height. Here, the predetermined height may be between the height of the sea level and the height of the quay, as in the berthing guide information (f 7 ) shown in FIG. 11, but is not limited thereto.

선박과 안벽 사이의 접안 가이드 정보는 선박(OBJ1)과 안벽(OBJ2)에 설치된 방충재(fender, OBJ6) 사이의 정보(f8)일 수 있다. 선박(OBJ1)은 접안 시 방충재(OBJ6)와 충돌하거나 정박 시 방충재(OBJ6)와 접하므로 선박(OBJ1)과 방충재(OBJ6) 사이의 거리/속도에 대한 정보(f8)를 획득하는 것이 유리할 수 있다. 도 11에서는 방충재(OBJ6)가 해수면보다 높은 위치에 설치된 것으로 도시되었으나, 방충재(OBJ6)의 적어도 일부가 바다(OBJ5)에 잠기도록 설치될 수 있고, 이 경우 접안 가이드 정보는 해수면 높이에서의 선박과 방충재 사이의 거리/속도에 대한 정보를 포함할 수 있을 것이다.The berthing guide information between the ship and the quay may be information (f 8 ) between the fender and OBJ6 installed on the ship (OBJ1) and the quay (OBJ2). Since the ship (OBJ1) collides with the insect repellent (OBJ6) when berthing or comes into contact with the insect repellent (OBJ6) when anchored, obtaining information (f 8 ) on the distance / speed between the ship (OBJ1) and the insect repellent (OBJ6) that can be advantageous. In FIG. 11, although the insect repellent OBJ6 is shown as being installed at a higher position than the sea level, at least a portion of the insect repellent OBJ6 may be installed so as to be submerged in the sea OBJ5. In this case, the berthing guide information is at the sea level. It may include information on the distance/velocity between the vessel and the insect repellent.

선박과 다른 선박 사이의 접안 가이드 정보는 해수면 높이에서의 선박과 다른 선박 사이의 거리/속도에 대한 정보를 포함할 수 있다. 선박과 다른 선박 사이의 접안 가이드 정보는 소정의 높이에서의 선박과 다른 선박 사이의 거리/속도에 대한 정보를 포함할 수 있다. 여기서, 소정의 높이는 선체의 형태를 고려하여 결정될 수 있다. 예를 들어, 소정의 높이는 선박이 다른 선박 방향으로 돌출된 영역의 높이일 수 있다. 이 경우 선박 사이의 충돌 가능성을 보다 정확히 파악하여 접안 가이드에 유리할 수 있다.The berthing guide information between the ship and the other ship may include information about the distance/velocity between the ship and the other ship at sea level. The berthing guide information between the ship and the other ship may include information about the distance/velocity between the ship and the other ship at a predetermined height. Here, the predetermined height may be determined in consideration of the shape of the hull. For example, the predetermined height may be the height of a region where a ship protrudes in a direction of another ship. In this case, it may be advantageous to the berthing guide by more accurately grasping the possibility of collision between ships.

접안 가이드 정보는 이미지에 기초하여 산출될 수 있다. 여기서, 이미지는 카메라와 같은 이미지 생성 유닛이 생성한 이미지이거나 이로부터 이미지 세그멘테이션 등을 통해 처리된 이미지일 수 있다. 예를 들어, 오브젝트로써 선박, 바다 및 육지를 포함하는 이미지에 기초하여 선박의 거리/속도에 대한 정보를 산출하거나 상기 이미지로부터 세그멘테이션을 통해 생성된 세그멘테이션 이미지에 기초하여 선박의 거리/속도에 대한 정보를 산출할 수 있다. 오브젝트의 예로는 선박, 바다 및 육지 외에 항만, 안벽, 부표, 지형, 하늘, 건물, 사람, 동물 등이 있을 수 있다. Eyepiece guide information may be calculated based on the image. Here, the image may be an image generated by an image generating unit such as a camera or an image processed through image segmentation therefrom. For example, information on the distance/speed of a ship is calculated based on an image including a ship, sea, and land as objects, or information on the distance/speed of a ship based on a segmentation image generated through segmentation from the image. can be calculated. Examples of objects may include ships, seas, and lands as well as harbors, quay walls, buoys, terrain, sky, buildings, people, and animals.

이하에서는 접안 가이드 정보를 추정하는 오브젝트를 타겟 오브젝트라 한다. 예를 들어, 위의 예에서는 선박이 타겟 오브젝트일 수 있다. 또한, 타겟 오브젝트는 복수일 수 있다. 예를 들어, 이미지에 포함된 복수의 선박 각각에 대해 그 거리나 속도 등을 추정하는 경우 복수의 선박이 타겟 오브젝트일 수 있다.Hereinafter, an object for estimating eyepiece guide information is referred to as a target object. For example, in the above example, a ship may be a target object. Also, the number of target objects may be plural. For example, when estimating the distance or speed of each of a plurality of ships included in the image, the plurality of ships may be the target object.

접안 가이드 정보는 이미지 픽셀을 기반으로 산출될 수 있다. 전술한 바와 같이 포인트를 기준으로 접안 가이드 정보를 산출하는 경우, 이미지 상에서 포인트는 픽셀에 대응될 수 있다. 따라서, 접안 가이드 정보는 이미지 픽셀 사이의 간격에 기초하여 산출될 수 있다. Eyepiece guide information may be calculated based on image pixels. As described above, when eyepiece guide information is calculated based on a point, a point on an image may correspond to a pixel. Thus, eyepiece guide information can be calculated based on the spacing between image pixels.

포인트 사이의 거리에 대한 정보는 픽셀 사이의 간격에 기초하여 산출될 수 있다. 일 예로, 하나의 픽셀 간격마다 일정 거리를 할당하고 픽셀 사이의 간격에 비례하여 포인트 사이의 거리를 산출할 수 있다. 다른 예로, 픽셀의 이미지상에서의 좌표값을 바탕으로 픽셀 사이의 거리를 산출하고 이에 기초하여 포인트 사이의 거리를 산출할 수 있다.Information on the distance between points may be calculated based on the spacing between pixels. For example, a predetermined distance may be assigned to each pixel interval and a distance between points may be calculated in proportion to the interval between pixels. As another example, distances between pixels may be calculated based on coordinate values of pixels on an image, and distances between points may be calculated based on the distances between pixels.

포인트 사이의 속도에 대한 정보는 포인트 사이의 거리에 대한 정보의 변화에 기초하여 산출될 수 있다. 이 경우 복수의 이미지 또는 영상 프레임에 기초하여 이동 정보를 산출할 수 있다. 예를 들어, 이전 프레임에서의 포인트 사이의 거리와 현재 프레임에서의 포인트 사이의 거리 및 프레임 사이의 시간 간격에 기초하여 포인트 사이의 속도에 대한 정보를 산출할 수 있다. Information about the speed between points may be calculated based on changes in information about the distance between points. In this case, movement information may be calculated based on a plurality of images or video frames. For example, information on speed between points may be calculated based on a distance between points in a previous frame, a distance between points in a current frame, and a time interval between frames.

도 12는 일 실시예에 따른 접안 가이드 정보를 획득하는 방법을 설명하기 위한 도면이다. 접안 가이드 정보를 획득하는 단계는 카메라 등 이미지 생성 유닛이 생성한 이미지를 획득하는 단계(도 12의 (a)), 상기 이미지에 대해 이미지 세그멘테이션을 수행하여 세그멘테이션 이미지(또는 세그멘테이션 이미지를 시각화한 이미지)를 생성하는 단계(도 12의 (b)), 상기 세그멘테이션 이미지에 기초하여 접안 가이드 정보를 산출하는 포인트를 찾는 단계(도 12의 (c)) 및 상기 포인트에 대응되는 접안 가이드 정보를 산출하는 단계를 포함할 수 있다. 도 12에서는 세그멘테이션 이미지로부터 접안 가이드 정보를 산출하는 방법에 대해 기재하였으나 이는 실시예에 불과하고 세그멘테이션 이미지를 생성하는 단계 없이 이미지 생성 유닛이 생성한 이미지에 기초하여 포인트를 찾고 접안 가이드 정보를 산출할 수도 있을 것이다.12 is a diagram for explaining a method of acquiring eyepiece guide information according to an embodiment. Obtaining eyepiece guide information is a step of acquiring an image generated by an image generating unit such as a camera (FIG. 12(a)), performing image segmentation on the image to obtain a segmented image (or an image obtained by visualizing the segmented image) Generating (Fig. 12 (b)), finding a point for calculating eyepiece guide information based on the segmentation image (Fig. 12 (c)), and calculating eyepiece guide information corresponding to the point can include Although a method of calculating eyepiece guide information from a segmentation image has been described in FIG. 12, this is only an embodiment, and it is possible to find a point based on an image generated by an image generating unit and calculate eyepiece guide information without generating a segmentation image. There will be.

접안 가이드 정보를 획득하는 단계는 이미지의 시점을 변환하는 단계를 포함할 수 있다. 예를 들어, 접안 가이드 정보를 획득하는 단계는 이미지 생성 유닛이 생성한 이미지를 획득하는 단계 이후에 상기 이미지에 대해 시점 변환을 수행하는 단계를 거쳐 시점 변환된 이미지에 대해 세그멘테이션을 수행하여 세그멘테이션 이미지를 생성하거나, 세그멘테이션 이미지를 생성하는 단계 이후에 상기 세그멘테이션 이미지에 대해 시점 변환을 수행하는 단계를 거쳐 시점 변환된 세그멘테이션 이미지에 대해 접안 가이드 정보를 산출할 수 있다. 이하에서는 시점 변환에 대해 설명한다.Obtaining eyepiece guide information may include converting a viewpoint of an image. For example, the obtaining of the eyepiece guide information includes obtaining an image generated by an image generating unit, performing viewpoint transformation on the image, and segmenting the viewpoint-converted image to obtain a segmented image. Eyepiece guide information may be calculated for the segmentation image converted from the viewpoint through the step of generating the segmentation image or performing viewpoint conversion on the segmentation image after the step of generating the segmentation image. Hereinafter, viewpoint conversion will be described.

일반적으로 카메라 등 이미지 생성 유닛이 생성하는 이미지는 원근 시점(perspective view)로 나타날 수 있다. 이를 탑 뷰(top view, 평면 시점), 측면 시점(side view), 다른 원근 시점 등으로 변환하는 것을 시점 변환이라 할 수 있다. 물론, 탑 뷰나 측면 시점 이미지를 다른 시점으로 변환할 수도 있으며, 이미지 생성 유닛이 탑 뷰 이미지나 측면 시점 이미지 등을 생성할 수도 있고 이 경우 시점 변환이 수행될 필요가 없을 수도 있다.In general, an image generated by an image generating unit such as a camera may appear as a perspective view. Converting this to a top view (planar viewpoint), a side view, or another perspective viewpoint may be referred to as viewpoint conversion. Of course, a top view or side view image may be converted to another view, and the image generating unit may generate a top view image or a side view image, etc. In this case, the view conversion may not need to be performed.

도 13은 일 실시예에 따른 시점 변환에 관한 도면이다. 도 13의 (a)를 참고하면, 원근 시점 이미지의 시점 변환을 통해 다른 원근 시점 이미지를 획득할 수 있다. 여기서, 안벽(OBJ2)이 이미지 상에서 수평 방향(이미지 상에서 좌우 방향)을 따라 위치하도록 시점 변환을 수행할 수 있다. 도 13의 (b)를 참고하면, 원근 시점 이미지의 시점 변환을 통해 탑 뷰 이미지를 획득할 수 있다. 여기서, 탑 뷰 이미지는 해수면과 수직한 방향에서 해수면을 내려다 본 뷰일 수 있다. 또한, 도 13의 (a)와 마찬가지로 안벽(OBJ2)이 이미지 상에서 수평 방향을 따라 위치하도록 시점 변환을 수행할 수 있다.13 is a diagram related to viewpoint conversion according to an exemplary embodiment. Referring to (a) of FIG. 13 , another near perspective image may be acquired through conversion of a perspective view image. Here, the viewpoint conversion may be performed so that the pier OBJ2 is positioned along the horizontal direction (left-right direction on the image) on the image. Referring to (b) of FIG. 13 , a top view image may be obtained through conversion of a perspective view image of a perspective view image. Here, the top view image may be a view looking down at the sea level from a direction perpendicular to the sea level. In addition, as in (a) of FIG. 13 , viewpoint conversion may be performed so that the pier OBJ2 is positioned along the horizontal direction on the image.

시점 변환을 통해 접안 가이드 정보 산출 시 용이성, 편의성 및 정확성 향상을 도모할 수 있다. 예를 들어, 픽셀 기반 거리 산출의 경우 탑 뷰 이미지를 이용하면 픽셀 사이의 간격에 대응되는 거리가 이미지 전체 또는 적어도 일부 영역에 대해 동일해질 수 있다.Convenience, convenience, and accuracy can be improved when calculating eyepiece guide information through viewpoint conversion. For example, in the case of pixel-based distance calculation, if a top-view image is used, a distance corresponding to an interval between pixels may be the same for the entire image or at least a partial area.

시점 변환의 일 예로 역투영 변환(Inverse Projective Mapping, IPM)을 수행할 수 있다. 2차원 이미지는 3차원 공간 상의 피사체에서 반사된 빛이 카메라의 렌즈를 통해 이미지 센서에 입사되어 생성되고, 2차원과 3차원의 관계는 이미지 센서와 렌즈에 의존하며, 예를 들어 식 1과 같이 표현될 수 있다.As an example of viewpoint transformation, inverse projective mapping (IPM) may be performed. A 2D image is generated when light reflected from a subject in a 3D space is incident on an image sensor through a lens of a camera, and the relationship between 2D and 3D depends on the image sensor and lens. For example, as shown in Equation 1 can be expressed

[식 1][Equation 1]

Figure 112021067212881-pat00001
Figure 112021067212881-pat00001

여기서, 좌변의 행렬은 2차원 이미지 좌표, 우변의 첫 번째 행렬은 내부 파라미터(intrinsic parameter), 두 번째 행렬은 외부 파라미터(extrinsic parameter), 세 번째 행렬은 3차원 좌표를 의미한다. 구체적으로, fx 및 fy는 초점 거리(focal length), cx 및 cy는 주점(principal point), r 및 t는 각각 회전 및 평행이동 변환 파라미터를 의미한다.Here, the matrix on the left side denotes 2D image coordinates, the first matrix on the right side denotes intrinsic parameters, the second matrix denotes extrinsic parameters, and the third matrix denotes 3D coordinates. Specifically, f x and f y are focal lengths, c x and c y are principal points, and r and t are rotation and translation parameters, respectively.

2차원 이미지를 역투영 변환을 통해 3차원 상의 임의의 평면에 투영시켜 그 시점을 변경시킬 수 있다. 예를 들어, 원근 시점 이미지를 역투영 변환을 통해 탑 뷰 이미지로 변환하거나, 다른 원근 시점 이미지로 변환할 수 있다.A viewpoint can be changed by projecting a 2D image onto an arbitrary 3D plane through back-projection transformation. For example, a perspective view image may be converted into a top view image through back projection transformation, or may be converted into another perspective view image.

시점 변환을 위해서 내부 파라미터가 필요할 수 있다. 내부 파라미터를 구하는 방법의 일 예로 Zhang 방법을 이용할 수 있다. Zhang 방법은 다항식 모델(polynomial model)의 일종으로 격자의 크기를 알고 있는 격자판을 다양한 각도와 거리에서 촬영하여 내부 파라미터를 획득하는 방법이다.Internal parameters may be required for viewpoint conversion. As an example of a method for obtaining internal parameters, the Zhang method may be used. The Zhang method is a kind of polynomial model, which acquires internal parameters by taking pictures of a grid having a known grid size from various angles and distances.

시점 변환을 위해서 이미지를 촬상한 이미지 생성 유닛/센서 모듈의 위치 및/또는 자세에 대한 정보가 필요할 수 있다. 이러한 정보는 위치 측정 유닛 및 자세 측정 유닛으로부터 획득될 수 있다.Information on the position and/or attitude of the image generating unit/sensor module that captured the image may be required for viewpoint conversion. This information may be obtained from the position measurement unit and the attitude measurement unit.

또는, 이미지에 포함된 고정체의 위치에 기초하여 위치 및/또는 자세에 대한 정보를 획득할 수 있다. 예를 들어, 제1 시점에 이미지 생성 유닛은 제1 위치 및/또는 제1 자세로 배치되고, 지형이나 건물 등과 같이 고정된 객체인 타겟 고정체를 포함하는 제1 이미지를 생성할 수 있다. 이 후, 제2 시점에 이미지 생성 유닛은 상기 타겟 고정체를 포함하는 제2 이미지를 생성할 수 있다. 제1 이미지 상에서의 타겟 고정체의 위치 및 제2 이미지 상에서의 타겟 고정체의 위치를 비교하여 제2 시점에서의 이미지 생성 유닛의 위치 및/또는 자세인 제2 위치 및/또는 제2 자세를 산출할 수 있다.Alternatively, information on the position and/or posture may be obtained based on the position of the fixed body included in the image. For example, the image generating unit may generate a first image including a target fixture, which is a fixed object such as a terrain or a building, disposed in a first position and/or a first posture at a first viewpoint. Then, at a second viewpoint, the image generation unit may generate a second image including the target fixture. The position of the target fixture on the first image and the position of the target fixture on the second image are compared to calculate the second position and/or the second posture, which is the position and/or posture of the image generating unit at the second viewpoint. can do.

시점 변환을 위한 위치 및/또는 자세에 대한 정보의 획득은 미리 정해진 시간 간격으로 수행될 수 있다. 여기서, 상기 시간 간격은 이미지 생성 유닛/센서 모듈의 설치 위치에 의존할 수 있다. 예를 들어, 이미지 생성 유닛/센서 모듈이 선박 등 이동체에 설치된 경우 짧은 시간 간격마다 위치 및/또는 자세에 대한 정보가 획득되어야 할 필요성이 존재할 수 있다. 반면, 이미지 생성 유닛/센서 모듈이 항만 등 고정체에 설치된 경우 상대적으로 긴 시간 간격으로 위치 및/또는 자세에 대한 정보를 획득하거나 초기에 한 번만 획득할 수도 있다. 크레인과 같이 이동과 고정이 반복되는 경우, 이동 후에만 위치 및/또는 자세에 대한 정보를 획득하는 방식으로 구현될 수도 있을 것이다. 또한, 이러한 위치 및/또는 자세에 대한 정보 획득을 위한 시간 간격은 변경될 수도 있다.Acquisition of information on a position and/or posture for viewpoint conversion may be performed at predetermined time intervals. Here, the time interval may depend on the installation location of the image generating unit/sensor module. For example, when the image generating unit/sensor module is installed on a mobile body such as a ship, there may be a need to acquire position and/or attitude information at short time intervals. On the other hand, when the image generating unit/sensor module is installed in a fixed body such as a port, information on the position and/or attitude may be obtained at a relatively long time interval or initially obtained only once. When movement and fixation are repeated, such as in a crane, it may be implemented in a manner in which information on position and/or attitude is obtained only after movement. In addition, the time interval for acquiring information on the location and/or posture may be changed.

전술한 시점 변환 방법은 예시에 불과하고 이와 다른 방법으로 시점 변환을 수행할 수도 있으며, 시점 변환 정보는 전술한 식 1의 행렬, 파라미터, 좌표, 위치 및/또는 자세에 대한 정보 등 시점 변환을 위해 필요한 정보를 포함한다.The above-described viewpoint conversion method is only an example, and viewpoint conversion may be performed in a different way, and the viewpoint conversion information is used for viewpoint conversion, such as the matrix of Equation 1, parameters, coordinates, position and/or posture information, etc. Include the necessary information.

접안 가이드 정보는 해수면의 높이를 반영하는 해수면 높이 정보를 고려하여 산출될 수 있다. Berthing guide information may be calculated in consideration of sea level height information reflecting the height of sea level.

본 명세서에서, 해수면 높이 정보는 해수면의 높이와 관련된 정보로, 절대적인 해수면의 높이뿐만 아니라 해수면과 지면 사이의 거리, 해수면과 안벽 사이의 거리, 해수면과 모니터링 장치(예를 들어, 이미지 생성 유닛) 사이의 거리, 해수면 위로 노출된 오브젝트의 길이 등 해수면의 높이 변화에 따라 달라질 수 있는 다양한 정보를 의미한다.In this specification, the sea level height information is information related to the height of the sea level, not only the absolute height of the sea level, but also the distance between the sea level and the ground, the distance between the sea level and the quay, and between the sea level and the monitoring device (eg, an image generating unit). It means various information that can change according to the change in the height of the sea level, such as the distance of the object and the length of the object exposed above the sea level.

도 14 내지 도 20은 일 실시예에 따른 해수면 높이 정보를 고려한 접안 가이드 정보 획득을 설명하기 위한 도면으로, 도 14 및 도 15는 시점 변환 단계를 포함하지 않는 경우, 도 16 내지 도 20은 시점 변환 단계를 포함하는 경우를 설명하기 위한 도면이다.14 to 20 are views for explaining acquisition of berthing guide information in consideration of sea level height information according to an embodiment. FIGS. 14 and 15 do not include a viewpoint conversion step, and FIGS. 16 to 20 convert viewpoints. It is a drawing for explaining a case including steps.

도 14를 참고하면, 일 실시예에 따른 접안 가이드 정보 획득 단계는 세그멘테이션 이미지 생성 단계(S200)에서 생성된 세그멘테이션 이미지를 해수면 높이 정보를 고려하여 보정하는 단계(S331) 및 보정된 세그멘테이션 이미지에 기초하여 접안 가이드 정보를 산출하는 단계(S332)를 포함할 수 있다. 도 15를 참고하면, 일 실시예에 따른 접안 가이드 정보 획득 단계는 세그멘테이션 이미지에 기초하여 접안 가이드 정보를 산출(S341)하는 단계 및 산출된 접안 가이드 정보를 해수면 높이 정보를 고려하여 보정(S342)하는 단계를 포함할 수 있다.Referring to FIG. 14 , the step of obtaining berthing guide information according to an embodiment includes correcting the segmentation image generated in the segmentation image generation step (S200) in consideration of sea level height information (S331) and based on the corrected segmentation image It may include calculating eyepiece guide information (S332). Referring to FIG. 15, the step of obtaining berthing guide information according to an embodiment includes calculating berthing guide information based on a segmentation image (S341) and correcting the calculated berthing guide information in consideration of sea level height information (S342). steps may be included.

도 16을 참고하면, 일 실시예에 따른 접안 가이드 정보 획득 단계는 세그멘테이션 이미지 생성 단계(S200)에서 생성된 세그멘테이션 이미지를 해수면 높이 정보를 고려하여 시점 변환하는 단계(S301) 및 변환된 세그멘테이션 이미지에 기초하여 접안 가이드 정보를 산출(S302)하는 단계를 포함할 수 있다. 시점 변환 단계에서는 기준 평면/기준 높이의 설정에 따라 변환된 이미지가 달라질 수 있다. 도 17은 서로 다른 기준 평면/기준 높이에서의 시점 변환에 관한 도면으로, 동일한 이미지라 하더라도 시점 변환의 기준에 따라 변환된 이미지는 상이할 수 있다. 예를 들어, 도 17의 (b) 및 (c)의 왼쪽 이미지는 동일하나 시점 변환 시의 기준에 따라 변환된 이미지는 각각 도 17의 (b) 및 (c)의 오른쪽 이미지처럼 안벽에 대한 선박의 상대적인 위치가 다른 것으로 나타날 수 있다. 이 경우 타겟 선박의 접안 가이드 정보 또한 달라지므로 정확한 접안 가이드 정보를 산출하기 위해서는 기준 평면/기준 높이의 설정이 중요할 수 있고, 이러한 기준 평면/기준 높이는 해수면 높이에 의존할 수 있다. 따라서 해수면 높이 정보를 고려하여 시점 변환을 수행하는 경우 접안 가이드 정보의 정확도가 증가할 수 있을 것이다. Referring to FIG. 16 , the step of obtaining berth guide information according to an embodiment is the step of converting the viewpoint of the segmentation image generated in the segmentation image generation step (S200) in consideration of the sea level height information (S301) and based on the converted segmentation image. It may include the step of calculating (S302) eyepiece guide information. In the viewpoint conversion step, the converted image may vary according to the setting of the reference plane/reference height. 17 is a view related to conversion of viewpoints at different reference planes/reference heights. Even in the same image, images converted according to criteria of viewpoint conversion may be different. For example, the left images in (b) and (c) of FIG. 17 are the same, but the images converted according to the criterion at the time of converting the viewpoint are ships for the quay as shown in the right images in (b) and (c) of FIG. 17, respectively. The relative position of may appear different. In this case, since berthing guide information of the target ship is also different, it may be important to set the reference plane/reference height in order to calculate accurate berthing guide information, and this reference plane/reference height may depend on the sea level height. Therefore, the accuracy of the berthing guide information can be increased if the viewpoint conversion is performed in consideration of the sea level height information.

도 17에 도시된 바와 같이 기준 평면은 해수면과 평행한 평면일 수 있으나 이에 한정되는 것은 아니다.As shown in FIG. 17, the reference plane may be a plane parallel to the sea level, but is not limited thereto.

해수면 높이 정보를 고려하기 위해 접안 가이드 정보를 산출할 때마다 시점 변환 정보를 해수면 높이 정보에 따라 업데이트하여 시점 변환을 수행할 수 있다. 또는, 시점 변환 정보는 일정 시간 간격에 따라 해수면 높이 정보를 반영하여 업데이트될 수 있다. 여기서, 시점 변환 정보의 모든 파라미터에 대해 업데이트해야하는 것은 아니고 그 중 일부 파라미터에 대해서만 업데이트할 수도 있을 것이다.Viewpoint conversion may be performed by updating viewpoint conversion information according to sea level height information whenever berthing guide information is calculated to consider sea level height information. Alternatively, the viewpoint conversion information may be updated by reflecting sea level height information according to a predetermined time interval. Here, it is not necessary to update all parameters of the view conversion information, but only some of them may be updated.

도 18을 참고하면, 일 실시예에 따른 접안 가이드 정보 획득 단계는 시점 변환 단계(S311)에서 생성된 변환 세그멘테이션 이미지를 해수면 높이 정보를 고려하여 보정하는 단계(S312) 및 보정된 변환 세그멘테이션 이미지에 기초하여 접안 가이드 정보를 산출하는 단계(S313)를 포함할 수 있다. 도 19는 일 실시예에 따른 해수면 높이/해수평면 상에서의 접안 가이드 정보 산출을 위한 이미지 보정에 관한 도면으로, 세그멘테이션 이미지를 기준 평면/기준 높이에 대해 시점 변환하고 변환된 세그멘테이션 이미지를 해수면 높이 정보를 고려하여 보정한 후 접안 가이드 정보를 산출하는 것이다. 해수면 높이와 기준 높이의 차이가 클수록 보정 전후의 이미지의 차이가 클 수 있을 것이다.Referring to FIG. 18, the step of obtaining eyepiece guide information according to an embodiment is the step of correcting the converted segmentation image generated in the viewpoint conversion step (S311) in consideration of sea level height information (S312) and based on the corrected converted segmentation image. and calculating eyepiece guide information (S313). 19 is a view related to image correction for calculation of berthing guide information on sea level/sea level according to an embodiment, wherein a segmentation image is converted from a viewpoint to a reference plane/reference height, and sea level height information is converted into the converted segmentation image. It is to calculate the berthing guide information after taking into account and correcting it. The greater the difference between the sea level height and the reference height, the greater the difference between images before and after correction.

도 20을 참고하면, 일 실시예에 따른 접안 가이드 정보 획득 단계는 세그멘테이션 이미지의 시점을 변환하는 단계(S321), 변환된 세그멘테이션 이미지에 기초하여 접안 가이드 정보를 산출하는 단계(S322) 및 해수면 높이 정보를 고려하여 산출된 접안 가이드 정보를 보정하는 단계(S323)를 포함할 수 있다. Referring to FIG. 20 , obtaining berthing guide information according to an embodiment includes converting a viewpoint of a segmentation image (S321), calculating berthing guide information based on the converted segmentation image (S322), and sea level information. It may include a step (S323) of correcting the eyepiece guide information calculated in consideration of.

도 16, 도 18 및 도 20의 해수면 높이 정보 고려는 서로 병합되어 수행될 수 있다. 도 16, 도 18 및 도 20에서는 해수면 높이 정보를 각각 시점 변환 단계(S301), 변환 세그멘테이션 이미지 보정 단계(S312) 및 접안 가이드 정보 보정 단계(S323)에서만 고려한 것으로 도시하였으나, 해수면 높이 정보는 시점 변환 단계, 변환 세그멘테이션 이미지 보정 단계 및 접안 가이드 정보 보정 단계 중 적어도 하나의 단계 이상에서 고려될 수 있다. 예를 들어, 해수면 높이 정보를 고려하여 시점 변환 단계를 수행하고 이로부터 접안 가이드 정보를 산출한 후 해수면 높이 정보를 다시 고려하여 접안 가이드 정보를 보정하는 등 전술한 해수면 높이 정보 고려 방법이 다양하게 결합되어 이용될 수 있을 것이다.The sea level information considerations of FIGS. 16, 18 and 20 may be merged and performed. 16, 18, and 20 show that the sea level height information is considered only in the viewpoint conversion step (S301), the conversion segmentation image correction step (S312), and the eyepiece guide information correction step (S323), respectively, but the sea level height information is converted to the viewpoint It may be considered in at least one or more steps among the step, transformation segmentation image correction step, and eyepiece guide information correction step. For example, considering the sea level information, the viewpoint conversion step is performed, berthing guide information is calculated therefrom, and then the berthing guide information is corrected by considering the sea level height information again. and will be able to use it.

도 16 내지 도 20에서는 세그멘테이션 이미지에 기초하여 접안 가이드 정보를 획득하는 것으로 설명하였으나 접안 가이드 정보 획득이 이에 한정되는 것은 아니고 세그멘테이션 이미지를 생성하지 않고 항만 이미지로부터 접안 가이드 정보를 획득할 수도 있다.16 to 20 have been described as obtaining berthing guide information based on the segmentation image, but berthing guide information acquisition is not limited thereto, and berthing guide information may be obtained from a harbor image without generating a segmentation image.

해수면 높이 정보를 고려하여 접안 가이드 정보를 산출하기 위해서는 그 전에 해수면 높이 정보 획득이 필요할 수 있다. 도 21 내지 도 23은 일 실시예에 따른 해수면 높이 정보 획득의 예시들에 관한 도면으로, 이하에서는 도 21 내지 도 23에 기초하여 해수면 높이 정보 획득에 관한 다양한 실시예에 대해 설명하나, 해수면 높이 정보 획득 방법이 이에 한정되는 것은 아니다.In order to calculate the berthing guide information in consideration of the sea level information, it may be necessary to obtain sea level information beforehand. 21 to 23 are diagrams for examples of obtaining sea level height information according to an embodiment. Hereinafter, various embodiments of sea level height information acquisition will be described based on FIGS. 21 to 23, but sea level height information The acquisition method is not limited thereto.

해수면 높이 정보는 해수면 위로 노출된 오브젝트의 특성(예를 들어, 길이, 면적 등)에 기초하여 획득될 수 있다. 일 예로, 도 21의 (a)를 참고하면, 해수면 높이 정보는 바다(OBJ5) 위로 노출된 안벽(OBJ2)의 노출 길이(h1)에 기초하여 산출될 수 있다. 노출 길이(h1)가 증가하는 경우 해수면 높이가 낮아지는 것으로, 감소하는 경우 해수면 높이가 높아지는 것으로 볼 수 있고, 노출 길이(h1)값을 측정하는 경우 해수면 높이가 증감하는 정도 또한 수치적으로 산출할 수 있을 것다. 다른 예로, 도 21의 (b) 및 (c)를 참고하면, 해수면 높이 정보는 바다(OBJ5) 위로 노출된 오브젝트(OBJ9)의 노출 길이(h2, h3)에 기초하여 산출될 수 있다. 여기서, 해수면 높이 정보 산출을 위해 필요한 오브젝트(OBJ9)인 높이 측정 오브젝트(OBJ9)는 이를 위해 설치된 폴대 등의 오브젝트뿐만 아니라 해수면 높이 변화에 따라 바다 위로 노출되는 길이가 변하는 오브젝트라면 그 제한이 없다. 해수면 높이가 변화함에 따라 노출 길이가 h2에서 h3로 증가하거나 h3에서 h2로 감소하고, 이 길이를 측정하여 해수면 높이가 증감하는 정도를 산출할 수 있다.Sea level height information may be obtained based on characteristics (eg, length, area, etc.) of an object exposed above the sea level. For example, referring to (a) of FIG. 21 , sea level height information may be calculated based on the exposure length h 1 of the quay wall OBJ2 exposed above the sea OBJ5. If the exposure length (h 1 ) increases, it can be seen as a decrease in sea level height, and if it decreases, it can be seen as an increase in sea level height. will be able to derive As another example, referring to (b) and (c) of FIG. 21 , sea level height information may be calculated based on the exposure lengths h 2 and h 3 of the object OBJ9 exposed above the sea OBJ5. Here, the height measuring object OBJ9, which is an object OBJ9 necessary for calculating the sea level height information, is not limited to an object such as a pole installed for this purpose as well as an object whose length exposed above the sea changes according to a change in sea level height. As the sea level changes, the exposure length increases from h 2 to h 3 or decreases from h 3 to h 2 , and by measuring this length, the degree of increase or decrease in sea level can be calculated.

높이 측정 오브젝트의 특성에 기초한 해수면 높이 정보는 이미지를 이용하여 획득될 수 있다. 이미지가 높이 측정 오브젝트를 포함하는 경우, 이를 분석하여 높이 측정 오브젝트의 길이 등의 특성을 획득할 수 있고 이에 기초하여 해수면 높이 정보를 산출할 수 있다.Sea level height information based on the characteristics of the height measurement object may be obtained using an image. If the image includes a height measurement object, it is analyzed to obtain characteristics such as a length of the height measurement object, and based on this, sea level height information may be calculated.

예를 들어, 높이 측정 오브젝트에 대응되는 픽셀의 개수에 따라 해수면 높이 정보를 산출할 수 있다. 상기 픽셀의 개수가 증가하면 높이 측정 오브젝트가 해수면 위로 노출된 길이가 긴 것이므로 해수면 높이가 낮아지는 것으로 볼 수 있을 것이다. 여기서, 높이 측정 오브젝트에 대응되는 픽셀은 이미지 세그멘테이션을 통해 결정할 수 있으나 이에 한정되는 것은 아니다.For example, sea level height information may be calculated according to the number of pixels corresponding to the height measurement object. If the number of pixels increases, it can be seen that the height of the sea level decreases because the length of the height measurement object exposed above the sea level is long. Here, a pixel corresponding to the height measurement object may be determined through image segmentation, but is not limited thereto.

해수면 높이 정보는 안벽에 의해 폐색되어(occluded) 보이지 않는 바다에 대응되는 영역인 음영 영역에 기초하여 산출될 수 있다. 예를 들어, 이미지 생성 유닛이 안벽에 설치되어 바다를 향하도록 배치된 경우 안벽에 근접한 바다 영역은 안벽에 의해 가려져 이미지 생성 유닛에 의해 모니터링 될 수 없을 것이다. 이러한 음영 영역의 특성(예를 들어, 길이, 면적 등)에 기초하여 해수면 높이 정보를 획득할 수 있다.The sea level height information may be calculated based on a shaded area corresponding to an invisible sea occluded by a quay wall. For example, when the image generating unit is installed on the quay wall and is disposed facing the sea, the sea area close to the quay wall is blocked by the quay wall and cannot be monitored by the image generating unit. Sea level height information may be obtained based on the characteristics (eg, length, area, etc.) of the shaded area.

도 22의 (a)는 해수면 높이가 상대적으로 높은 경우의 음영 영역(SA1)에 관한 도면이고, (b)는 해수면 높이가 상대적으로 낮은 경우의 음영 영역(SA2)에 관한 도면이다. 해수면 높이가 낮아짐에 따라 음영 영역의 면적이 증가하게 되고, 이를 측정하여 해수면 높이 정보를 산출할 수 있을 것이다.22 (a) is a diagram of a shaded area SA1 when the sea level is relatively high, and (b) is a diagram related to a shaded area SA2 when the sea level is relatively low. As the sea level decreases, the area of the shaded area increases, and sea level information can be calculated by measuring it.

해수면 높이 정보는 동일한 종류의 이미지 생성 유닛이 생성한 복수의 이미지에 기초하여 산출될 수 있다. 예를 들어, 해수면 높이 정보는 복수의 카메라가 생성한 복수의 이미지에 기초하여 산출되거나, 하나의 카메라가 생성한 복수의 이미지에 기초하여 산출될 수 있다.The sea level height information may be calculated based on a plurality of images generated by the same type of image generation unit. For example, the sea level height information may be calculated based on a plurality of images generated by a plurality of cameras or based on a plurality of images generated by a single camera.

해수면 높이 정보는 복수의 이미지 사이의 중첩되는 모니터링 영역인 오버랩 영역에 기초하여 산출될 수 있다. 예를 들어, 모니터링 장치가 복수의 센서 모듈/이미지 생성 유닛을 포함하는 경우 복수의 이미지를 획득할 수 있고, 상기 복수의 이미지 사이의 오버랩 영역의 면적 등의 특성에 기초하여 해수면 높이 정보를 획득할 수 있다. 또는, 하나의 센서 모듈/이미지 생성 유닛이 회전하는 등으로 인해 서로 다른 모니터링 영역을 갖는 복수의 이미지를 생성하는 경우 상기 복수의 이미지 사이의 오버랩 영역의 특성에 기초하여 해수면 높이 정보를 획득할 수 있다.The sea level height information may be calculated based on an overlap area, which is an overlapping monitoring area between a plurality of images. For example, when the monitoring device includes a plurality of sensor modules/image generating units, a plurality of images may be acquired, and sea level height information may be obtained based on characteristics such as an area of an overlapping region between the plurality of images. can Alternatively, when a plurality of images having different monitoring areas are generated due to rotation of one sensor module/image generating unit, sea level height information may be obtained based on characteristics of an overlapping area between the plurality of images. .

도 23을 참고하면, 2개의 카메라(OBJ7, OBJ8) 각각에 대응되는 모니터링 영역(MA1, MA2)이 존재하고, 카메라(OBJ7, OBJ8)의 설치 위치나 방향 등에 따라 오버랩 영역(OA)이 존재할 수 있다. 해수면 높이가 높아짐에 따라 오버랩 영역의 면적은 감소하고, 낮아짐에 따라 오버랩 영역의 면적은 증가할 수 있다. 따라서, 오버랩 영역의 면적을 측정함에 따라 해수면 높이 정보를 산출할 수 있다.Referring to FIG. 23 , monitoring areas MA1 and MA2 corresponding to the two cameras OBJ7 and OBJ8 exist, and an overlap area OA may exist depending on the installation location or direction of the cameras OBJ7 and OBJ8. there is. As the sea level increases, the area of the overlap area decreases, and as the sea level decreases, the area of the overlap area may increase. Therefore, sea level height information can be calculated by measuring the area of the overlap area.

오버랩 영역은 특징점에 기초하여 결정될 수 있다. 예를 들어, 제1 이미지 및 제2 이미지로부터 특징점을 추출하고, 상기 특징점의 매칭을 통해 제1 이미지 및 제2 이미지의 오버랩 영역을 결정할 수 있다.The overlap area may be determined based on feature points. For example, feature points may be extracted from the first image and the second image, and an overlapping area of the first image and the second image may be determined through matching of the feature points.

해수면 높이 정보는 서로 다른 종류의 이미지 생성 유닛이 생성한 복수의 이미지에 기초하여 산출될 수 있다. 예를 들어, 해수면 높이 정보는 카메라가 생성한 카메라 이미지 및 라이다가 생성한 라이다 이미지에 기초하여 산출되거나 카메라 이미지 및 레이더가 생성한 레이더 이미지에 기초하여 산출될 수 있으나 이에 한정되는 것은 아니다. 이하에서는 설명의 편의를 위해 서로 다른 종류의 이미지 생성 유닛이 생성한 이미지 각각을 제1 타입 이미지 및 제2 타입 이미지라 한다. The sea level height information may be calculated based on a plurality of images generated by different types of image generating units. For example, the sea level height information may be calculated based on a camera image generated by a camera and a lidar image generated by a lidar, or may be calculated based on a camera image and a radar image generated by a radar, but is not limited thereto. Hereinafter, for convenience of description, images generated by different types of image generating units are referred to as a first type image and a second type image, respectively.

제1 타입 이미지 및 제2 타입 이미지 사이의 매칭을 통해 해수면 높이 정보를 산출할 수 있다. 예를 들어, 제1 타입 이미지 상의 하나 이상의 포인트의 위치/거리/높이 등을 제2 타입 이미지에 기초하여 획득하여 해수면 높이 정보를 산출할 수 있다.Sea level height information may be calculated through matching between the first type image and the second type image. For example, the location/distance/height of one or more points on the first type image may be obtained based on the second type image to calculate sea level height information.

구체적인 예로 제1 타입 이미지 및 제2 타입 이미지 각각이 카메라 이미지 및 라이다 이미지인 경우에 대해 살펴보면, 카메라 이미지 상의 하나 이상의 포인트의 위치/거리/높이 등을 라이다 이미지에 기초하여 획득한 후 카메라 이미지 상의 픽셀 개수 등 픽셀 정보와 융합하여 해수면 높이 정보를 산출할 수 있다. 예컨대, 라이다 이미지의 포인트 클라우드(point cloud) 중 특정 포인트에 대응되는 카메라 이미지 상의 픽셀을 찾고 상기 픽셀의 위치/거리/높이 등을 라이다 이미지에 기초하여 산출한 뒤 카메라 이미지 상에서 상기 픽셀과 해수면 사이의 픽셀 개수를 고려하여 해수면 높이 정보를 산출할 수 있다. 이 경우 상기 픽셀은 해수면보다 높이 위치하는 픽셀일 수 있다. 또한, 상기 카메라 이미지는 카메라가 촬상한 이미지 또는 이로부터 시점 변환 등을 통해 처리된 이미지일 수 있다.As a specific example, looking at the case where each of the first type image and the second type image is a camera image and a lidar image, the position/distance/height of one or more points on the camera image is obtained based on the lidar image, and then the camera image Sea level height information can be calculated by fusing with pixel information such as the number of pixels on the image. For example, after finding a pixel on a camera image corresponding to a specific point in a point cloud of a lidar image and calculating the location/distance/height of the pixel based on the lidar image, the pixel and the sea level on the camera image Sea level height information may be calculated by considering the number of pixels between the pixels. In this case, the pixel may be a pixel located higher than the sea level. In addition, the camera image may be an image captured by a camera or an image processed through a viewpoint transformation therefrom.

이상에서는 서로 다른 두 종류의 이미지에 기초하여 해수면 높이 정보를 산출하는 방법에 대해 설명하였으나 세 종류 이상의 이미지에 기초하여 해수면 높이 정보를 산출할 수도 있을 것이다.In the above, a method for calculating sea level height information based on two different types of images has been described, but sea level height information may be calculated based on three or more types of images.

모니터링 장치는 외부로부터 해수면 높이 정보를 수신할 수 있다. 모니터링 장치는 해수면 높이 정보를 가지고 있는 외부 장치로부터 해수면 높이 정보를 수신할 수 있다.The monitoring device may receive sea level height information from the outside. The monitoring device may receive sea level height information from an external device having sea level height information.

해수면 높이 정보를 가지고 있는 외부 장치는 해수면 높이를 측정할 수 있는 센서일 수 있다. 이 경우 모니터링 장치는 해수면 높이를 측정할 수 있는 별도의 센서로부터 해수면 높이 정보를 수신할 수 있다. 예컨대, 초음파 탐지기 등 수심을 측정할 수 있는 센서로 소정의 위치에서의 수심을 측정하여 해수면 높이 정보를 산출할 수 있다. (예를 들어, 수심이 깊어지면 해수면 높이가 증가했다고 볼 수 있을 것이다.)The external device having sea level height information may be a sensor capable of measuring the sea level height. In this case, the monitoring device may receive sea level height information from a separate sensor capable of measuring the sea level height. For example, sea level height information may be calculated by measuring the water depth at a predetermined location with a sensor capable of measuring the water depth, such as an ultrasonic detector. (For example, it would be seen that the sea level increased as the water depth increased.)

해수면 높이 정보를 가지고 있는 외부 장치는 해상 교통 관제 시스템(VTS system: vessel traffic service system)일 수 있다. 이 경우 모니터링 장치는 해상 교통 관제 시스템으로부터 해수면 높이 정보를 수신할 수 있다.An external device having sea level height information may be a vessel traffic service system (VTS system). In this case, the monitoring device may receive sea level height information from the marine traffic control system.

조석(tide)을 고려하여 해수면 높이 정보를 산출할 수 있다. 특정 지역에 있어서 해수면 높이는 만조(high tide)와 간조(ebb tide) 사이에서 변할 수 있고 이는 시간에 따라 예측할 수 있으므로 해수면 높이 정보 또한 산출될 수 있을 것이다. 예를 들어, 지역 및 시간 중 적어도 하나를 입력하면 해수면 높이 정보를 출력하는 함수를 세팅할 수 있을 것이다. Sea level height information can be calculated by considering the tide. Sea level information can also be calculated since the sea level in a given area can change between high tide and ebb tide and can be predicted over time. For example, if at least one of region and time is input, a function that outputs sea level height information may be set.

모니터링 방법은 전술한 단계 외의 다른 단계를 포함할 수 있다.The monitoring method may include steps other than the steps described above.

모니터링 방법은 전처리(pre-processing) 단계를 포함할 수 있다. 전처리는 이미지에 행하여지는 모든 종류의 가공을 의미하고, 이미지 정규화(normalization), 이미지 밝기 평준화(image equalization, histogram equalization), 이미지 리사이즈(resize), 이미지의 해상도/크기를 변경하는 업스케일링(upscaling) 및 다운스케일링(downscaling), 잘라내기(crop), 노이즈 제거 등을 포함할 수 있다. 여기서, 노이즈는 안개, 비, 물방울, 해무(sea clutter), 미세먼지, 직사광선, 염분 및 이들의 조합 등을 포함할 수 있고, 노이즈를 제거한다는 것은 이미지에 포함된 노이즈 성분을 없애거나 감소시키는 것을 포함할 수 있다. The monitoring method may include a pre-processing step. Preprocessing refers to all kinds of processing performed on images, such as image normalization, image equalization, histogram equalization, image resize, and upscaling to change the resolution/size of the image. and downscaling, cropping, denoising, and the like. Here, noise may include fog, rain, water droplets, sea fog, fine dust, direct sunlight, salt, and combinations thereof, and removing noise means removing or reducing noise components included in an image. can include

전처리의 일 예로 정규화에 대해 살펴보면, 정규화는 RGB 이미지의 전체 픽셀의 RGB 값의 평균을 구하고 이를 RGB 이미지로부터 차감하는 것을 의미할 수 있다. Looking at normalization as an example of preprocessing, normalization may mean obtaining an average of RGB values of all pixels of an RGB image and subtracting the average from the RGB image.

전처리의 다른 예로 안개 제거(defogging)에 대해 살펴보면, 안개 제거는 안개 낀 지역을 촬영한 이미지를 전처리를 통해 맑은 지역을 촬영한 이미지처럼 보이도록 변환하는 것을 의미할 수 있다. 도 24는 일 실시예에 따른 안개 제거에 관한 도면이다. 도 24를 참고하면, 안개 제거를 통해 도 24의 (a)와 같이 안개 낀 지역을 촬영한 이미지를 도 24의 (b)와 같은 안개가 제거된 이미지로 변환할 수 있다.Looking at defogging as another example of preprocessing, defogging may mean converting an image of a foggy area to look like an image of a clear area through preprocessing. 24 is a view related to fog removal according to an embodiment. Referring to FIG. 24 , through fog removal, an image of a foggy region as shown in FIG. 24 (a) may be converted into a fog-free image as shown in FIG. 24 (b).

전처리의 또 다른 예로 물방울 제거에 대해 살펴보면, 물방울 제거는 카메라 전면에 맺힌 물방울이 촬영된 이미지에서 전처리를 통해 물방울이 제거된 것처럼 보이도록 변환하는 것을 의미할 수 있다.Looking at the removal of water droplets as another example of pre-processing, the removal of water droplets may mean converting an image of water droplets formed on the front of a camera to appear as if the water droplets have been removed through pre-processing.

전처리 단계는 이미지 획득 단계 이후에 수행될 수 있다. 예를 들어, 모니터링 방법은 이미지 획득 단계, 전처리 단계 및 세그멘테이션 이미지 생성 단계를 순차적으로 포함하거나, 이미지 획득 단계, 전처리 단계, 시점 변환 단계를 순차적으로 포함할 수 있지만 이에 한정되는 것은 아니다. 이미지 전처리를 통해 접안 가이드 정보 획득이 용이해지거나 접안 가이드 정보의 정확도가 향상될 수 있다.A pre-processing step may be performed after the image acquisition step. For example, the monitoring method may sequentially include an image acquisition step, a preprocessing step, and a segmentation image generation step, or may sequentially include an image acquisition step, a preprocessing step, and a viewpoint conversion step, but is not limited thereto. Through image preprocessing, acquisition of eyepiece guide information may be facilitated or accuracy of eyepiece guide information may be improved.

전처리 단계는 인공 신경망을 통해 수행될 수 있다. 예를 들어, 안개 낀 지역을 촬영한 이미지를 인공 신경망에 입력하여 맑은 지역을 촬영한 이미지처럼 보이도록 변환할 수 있는 등 노이즈를 포함하는 이미지를 인공 신경망에 입력하여 노이즈가 제거된 이미지를 획득할 수 있다. 인공 신경망의 예로는 GAN 등이 있으나 이에 한정되는 것은 아니다.The pre-processing step may be performed through an artificial neural network. For example, an image containing noise can be input to an artificial neural network to obtain a denoised image, such as inputting an image of a foggy area into an artificial neural network and converting it to look like an image of a sunny area. can Examples of artificial neural networks include, but are not limited to, GANs.

또는, 전처리 단계는 이미지 마스크를 이용하여 수행될 수 있다. 예를 들어, 안개 낀 지역을 촬영한 이미지에 이미지 마스크를 적용하여 맑은 지역을 촬영한 이미지처럼 보이도록 변환할 수 있다. 여기서, 이미지 마스크의 예로는 역 컨볼루션(deconvolution) 필터, 샤픈(sharpen) 필터 등이 있고, GAN 등의 인공 신경망을 통해 이미지 마스크를 생성할 수도 있지만 이에 한정되는 것은 아니다.Alternatively, the preprocessing step may be performed using an image mask. For example, an image of a foggy area can be converted to look like an image of a clear area by applying an image mask. Here, examples of the image mask include a deconvolution filter, a sharpen filter, and the like, and the image mask may be generated through an artificial neural network such as GAN, but is not limited thereto.

모니터링 방법은 접안 가이드 정보를 출력하는 단계를 포함할 수 있다. 도 25는 일 실시예에 따른 접안 가이드 정보 출력 단계를 설명하기 위한 도면이다. 도 25를 참고하면, 모니터링 방법은 접안 가이드 정보 획득 단계(S300)를 통해 산출된 접안 가이드 정보를 출력하는 단계(S400)를 포함할 수 있다.The monitoring method may include outputting eyepiece guide information. 25 is a diagram for explaining an eyepiece guide information output step according to an embodiment. Referring to FIG. 25 , the monitoring method may include outputting the eyepiece guide information calculated through the eyepiece guide information acquisition step (S300) (S400).

접안 가이드 정보는 시각적으로 출력될 수 있다. 예를 들어, 접안 가이드 정보는 디스플레이 등의 출력 모듈을 통해 출력될 수 있다.Eyepiece guide information may be visually output. For example, eyepiece guide information may be output through an output module such as a display.

접안 가이드 정보 출력 단계는 이미지 획득 단계에서 이미지 생성 유닛을 이용하여 획득한 이미지를 디스플레이하는 것을 포함할 수 있다. 이 외에도 접안 가이드 정보 출력 단계는 전처리 단계를 거친 이미지, 세그멘테이션 후의 이미지, 시점 변환 후의 이미지 등 모니터링에 관련된 다양한 이미지를 디스플레이하는 것을 포함할 수 있다. The step of outputting the eyepiece guide information may include displaying an image acquired using the image generating unit in the image acquisition step. In addition, the step of outputting eyepiece guide information may include displaying various images related to monitoring, such as an image after preprocessing, an image after segmentation, and an image after converting a viewpoint.

도 26은 일 실시예에 따른 접안 가이드 정보 출력 단계에 관한 도면이다. 도 26을 참고하면, 이미지와 거리/속도 정보를 함께 디스플레이 할 수 있다. 도 26에 도시된 바와 같이, 디스플레이되는 거리/속도 정보는 타겟 선박의 선수 및 선미와 안벽 사이의 거리 및 속도, 타겟 선박과 다른 선박 사이의 간격을 포함할 수 있다.26 is a diagram related to an eyepiece guide information output step according to an embodiment. Referring to FIG. 26 , an image and distance/velocity information may be displayed together. As shown in FIG. 26 , the displayed distance/speed information may include the distance and speed between the bow and stern of the target ship and the quay, and the distance between the target ship and other ships.

접안 가이드 정보 출력 단계는 시각적인 디스플레이 외에 소리나 진동을 출력하는 등 다른 방식으로 사용자에게 정보를 제공하는 것을 포함할 수 있다. 예를 들어, 타겟 선박이 안벽이나 다른 선박, 장애물 등과 충돌할 위험이 있거나 접안 시 안벽으로의 접근 속도가 기준 속도 이상인 경우, 선박이 경로를 이탈하여 운항하는 경우 등에 경고음을 출력할 수 있을 것이다. The step of outputting eyepiece guide information may include providing information to the user in a different way, such as outputting sound or vibration, in addition to a visual display. For example, if there is a risk of collision of the target ship with a quay, other ships, obstacles, etc., or if the approaching speed to the quay at the time of berthing exceeds a standard speed, a warning sound can be output when the ship deviated from its course and navigated.

이상에서는 주로 단일 이미지에 기초한 모니터링 방법에 대해 살펴보았으나 복수의 이미지에 기초하여 모니터링을 수행할 수도 있다. 복수에 이미지에 기초하여 모니터링을 수행하는 경우 모니터링 장치의 총 모니터링 영역이 증가하거나 모니터링의 정확도가 향상될 수 있다.In the above, the monitoring method based on a single image has been mainly described, but monitoring may be performed based on a plurality of images. When monitoring is performed based on a plurality of images, the total monitoring area of the monitoring device may be increased or the accuracy of monitoring may be improved.

복수의 이미지에 기초한 모니터링 방법은 상기 복수의 이미지를 정합하는 단계를 포함할 수 있다. 예를 들어, 제1 이미지 및 제2 이미지를 정합하여 하나의 정합 이미지를 생성하고 상기 정합 이미지에 기초하여 접안 가이드 정보를 획득할 수 있다.A monitoring method based on a plurality of images may include registering the plurality of images. For example, one matching image may be generated by matching the first image and the second image, and eyepiece guide information may be obtained based on the matching image.

이미지 정합 단계는 세그멘테이션 이미지 생성 단계 이전에 수행되거나 그 이후에 수행될 수 있다. 예를 들어, 복수의 항만 이미지를 정합하여 정합 이미지를 생성한 후 이미지 세그멘테이션을 수행하거나 복수의 항만 이미지 각각에 대해 세그멘테이션을 수행한 후 복수의 세그멘테이션 이미지를 정합할 수 있다.The image matching step may be performed before or after the segmentation image generation step. For example, after generating a matched image by matching a plurality of port images, image segmentation may be performed, or after performing segmentation on each of a plurality of port images, the plurality of segmented images may be matched.

이미지 정합 단계는 시점 변환 단계 이전에 수행되거나 그 이후에 수행될 수 있다. 예를 들어, 복수의 항만 이미지를 정합하여 정합 이미지를 생성한 후 시점 변환을 수행하거나 복수의 항만 이미지 각각에 대해 시점 변환을 수행한 후 복수의 시점 변환 이미지를 정합할 수 있다.The image matching step may be performed before or after the viewpoint conversion step. For example, a plurality of viewport images may be matched to generate a matched image, and then view conversion may be performed, or view transformation may be performed on each of the plurality of view images, and then the plurality of view converted images may be matched.

해수면 높이 정보는 복수의 이미지를 정합하기 전에 고려되거나 정합한 후에 고려되거나 정합 전후 모두에 고려될 수 있다. 예를 들어, 복수의 이미지를 해수면 높이 정보를 고려하여 보정한 후 정합하거나 복수의 이미지를 정합하여 정합 이미지를 생성한 후 해수면 높이 정보를 고려하여 상기 정합 이미지를 보정할 수 있다.The sea level height information may be considered before or after registration of the plurality of images, or both before and after registration. For example, a plurality of images may be corrected in consideration of sea level height information and then matched, or a registered image may be generated by matching a plurality of images and then the registered image may be corrected in consideration of sea level height information.

이미지 정합은 특징점 매칭을 통해 수행될 수 있다. 예를 들어, 제1 이미지와 제2 이미지의 특징점을 추출하고 이를 매칭하여 정합 이미지를 생성할 수 있다. 이 경우 정합 정보는 특징점 및 특징점 매칭을 위해 필요한 정보를 포함할 수 있다.Image matching may be performed through feature point matching. For example, a matched image may be generated by extracting feature points of the first image and the second image and matching them. In this case, matching information may include feature points and information necessary for feature point matching.

이미지 정합을 위해 호모그래피 행렬(homography matrix)이 필요할 수 있다. 이 경우 정합 정보는 호모그래피 행렬을 포함할 수 있다. 호모그래피는 동일한 평면 상에서의 임의의 두 이미지 사이의 매칭으로, 호모그래피 행렬은 식 2와 같이 표현될 수 있다.A homography matrix may be required for image matching. In this case, matching information may include a homography matrix. Homography is matching between two arbitrary images on the same plane, and the homography matrix can be expressed as Equation 2.

[식 2][Equation 2]

Figure 112021067212881-pat00002
Figure 112021067212881-pat00002

여기서, 좌변 및 우변의 3x1 행렬은 이미지의 좌표를, 우변의 3x3 행렬은 호모그래피 행렬을 의미한다. 복수의 이미지 사이의 호모그래피 행렬을 계산한 후 이를 이용하여 이미지 정합을 수행해 정합 이미지를 생성할 수 있다.Here, the 3x1 matrices on the left and right sides represent the coordinates of the image, and the 3x3 matrix on the right side represents the homography matrix. A matched image may be generated by calculating a homography matrix between a plurality of images and then performing image matching using the homography matrix.

전술한 이미지 정합 방법은 예시에 불과하고 이 외의 다른 방법으로 이미지 정합이 수행될 수도 있다.The above image matching method is only an example, and image matching may be performed by other methods.

이상에서는 주로 선박 접안 시의 모니터링에 대해 설명하였으나 이는 선박 이안 시나 선박 운항 시에도 적용될 수 있다. 예를 들어, 다른 선박이나 선박 주변의 장애물을 감지하거나, 이들까지의 거리, 이들의 이동 속도 등을 이용하여 충돌을 경고하거나 경로 추천/생성을 하는 등 선박의 안전한 운항을 보조하거나 가이드하기 위해 전술한 방법이 적용될 수 있다. 또는 이러한 정보를 바탕으로 자율 운항을 수행할 수도 있을 것이다. 또한, 해수면을 고려하여 가이드 정보를 획득하는 것으로 설명하였으나 해수면에 한정되는 것은 아니고 수면을 고려하는 것으로 넓게 이해되어야 한다. 전술한 접안 가이드 정보는 선박 이안 시에는 이안 가이드 정보, 선박 운항 시에는 운항 가이드 정보와 같이 지칭될 수 있을 것이다. 이안 가이드 정보 획득 단계/운항 가이드 정보 획득 단계는 전술한 접안 가이드 정보 획득 단계를 포함할 수 있다. In the above, monitoring has been mainly described when the ship is docked, but this can be applied also when the ship is unloaded or when the ship is operating. For example, to assist or guide the safe navigation of a ship, such as detecting another ship or obstacles around the ship, warning of a collision using the distance to them, and their moving speed, or recommending/creating a route, etc. One method can be applied. Alternatively, autonomous navigation may be performed based on such information. In addition, although it has been described that guide information is acquired in consideration of the sea level, it should be widely understood that the surface is not limited to the sea level and the water surface is considered. The above-mentioned berthing guide information may be referred to as unloading guide information when the ship is unloaded and operation guide information when the ship is operating. The step of obtaining berth guide information/obtaining navigation guide information may include the above-described step of obtaining berthing guide information.

도 27은 일 실시예에 따른 운항 가이드 정보를 설명하기 위한 도면이다. 도 27을 참고하면, 운항 가이드 정보 획득 단계는 타겟 선박(OBJ1)의 운항 시 다른 선박(OBJ3)이나 부표 등 장애물(OBJ10)과의 운항 가이드 정보(f9, f10)를 산출하는 것을 포함할 수 있다. 27 is a diagram for explaining navigation guide information according to an exemplary embodiment. Referring to FIG. 27, the operation guide information acquisition step may include calculating operation guide information (f 9 , f 10 ) with another vessel (OBJ3) or an obstacle (OBJ10) such as a buoy during the operation of the target vessel (OBJ1). can

모니터링 장치가 선박에 설치되는 경우에는 그 설치 높이가 선박의 운항에 따라 변화할 수 있다. 모니터링 장치가 항만 등 그 높이가 변하지 않는 장소에 설치되는 경우에는 의도적으로 변경하지 않는 한 장치의 높이가 일정할 것이므로 해수면 높이만 알 수 있다면 해수면으로부터 장치까지의 거리를 예측할 수 있을 것이다. 그러나 모니터링 장치가 선박과 같이 그 높이가 변하는 장소에 설치되는 경우 해수면 높이를 알더라도 선박의 흘수(draft)를 알 수 없다면 해수면으로부터 장치까지의 정확한 거리를 예측할 수 없을 것이다. 예를 들어, 모니터링 장치가 항만에 설치되면 해수면 높이가 증가하는 경우 장치와 해수면 사이의 거리가 감소한다고 볼 수 있지만 선박에 설치되면 해수면 높이는 증가하더라도 선박의 흘수가 감소하여 장치와 해수면 사이의 거리가 증가할 수도 있을 것이다. 따라서 이러한 경우에는 해수면의 높이보다는 장치와 해수면 사이의 상대적인 거리를 획득하여야 하고, 선박에 설치된 모니터링 장치로부터 가이드 정보를 획득하기 위해서는 해수면 높이 정보는 선박의 흘수를 반영하여 결정되어야 할 필요가 있다. 이러한 관점은 접안 가이드 정보를 획득하는 경우에도 적용될 수 있을 것이다.When the monitoring device is installed on a ship, its installation height may change according to the operation of the ship. If the monitoring device is installed in a place where the height does not change, such as a port, the height of the device will be constant unless it is intentionally changed, so the distance from the sea level to the device can be predicted if only the height of the sea level is known. However, if the monitoring device is installed in a place where the height changes, such as a ship, even if the height of the sea level is known, if the draft of the ship cannot be known, it will not be possible to accurately predict the distance from the sea level to the device. For example, if a monitoring device is installed in a port, the distance between the device and the sea level decreases when the height of the sea level increases. might increase. Therefore, in this case, the relative distance between the device and the sea level should be obtained rather than the height of the sea level, and in order to obtain guide information from the monitoring device installed on the ship, the sea level height information needs to be determined by reflecting the draft of the ship. This point of view may also be applied to the case of acquiring eyepiece guide information.

실시예에 따른 방법은 다양한 컴퓨팅 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computing means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

상기에서는 실시예를 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 발명이 속하는 기술 분야의 당업자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀둔다.In the above, the configuration and characteristics of the present invention have been described based on the examples, but the present invention is not limited thereto, and various changes or modifications can be made within the spirit and scope of the present invention to those skilled in the art. It is obvious, and therefore such changes or modifications are intended to fall within the scope of the appended claims.

10: 모니터링 장치
100: 센서 모듈
110: 통신부
120: 제어부
130: 카메라
200: 제어 모듈
210: 통신부
220: 제어부
300: 통신 모듈
10: monitoring device
100: sensor module
110: communication department
120: control unit
130: camera
200: control module
210: communication department
220: control unit
300: communication module

Claims (16)

컴퓨팅 수단에 의해 수행되는 선박 주변 모니터링 방법에 있어서,
제1 뷰를 가지는 제1 이미지를 획득하는 단계;
해수면의 높이(sea level)를 반영하는 해수면 높이 정보(sea level information)를 획득하는 단계;
상기 제1 이미지를 상기 해수면의 높이에 상기 해수면과 평행하게 형성된 제1 평면에 투영시키기 위하여, 상기 해수면과 평행하되 상기 해수면의 높이와 상이한 높이에 형성된 제2 평면에 이미지를 투영시키는 시점 변환 정보를 상기 해수면 높이 정보에 기초하여 업데이트하는 단계;
상기 업데이트된 시점 변환 정보를 이용하여 상기 제1 이미지를 상기 제1 뷰와 상이한 제2 뷰를 가지는 제2 이미지로 변환하는 단계; 및
상기 제2 이미지에 기초하여 주변 모니터링 정보를 산출하는 단계 - 상기 주변 모니터링 정보는 상기 선박의 주변 선박과의 거리에 대한 정보 및 상기 주변 선박의 이동 속도에 대한 정보 중 적어도 하나를 포함함 -;를 포함하는
선박 주변 모니터링 방법.
In the ship surroundings monitoring method performed by a computing means,
obtaining a first image having a first view;
obtaining sea level information reflecting sea level;
In order to project the first image on a first plane formed parallel to the sea level at a height of the sea level, viewpoint conversion information for projecting an image on a second plane formed at a height different from the height of the sea level but parallel to the sea level Updating based on the sea level height information;
converting the first image into a second image having a second view different from the first view by using the updated viewpoint conversion information; and
Calculating surrounding monitoring information based on the second image, wherein the surrounding monitoring information includes at least one of information about a distance of the vessel to neighboring vessels and information about a moving speed of the neighboring vessels; including
How to monitor the ship's perimeter.
제1 항에 있어서,
상기 해수면 높이 정보는, 상기 선박에 설치된 카메라의 상기 해수면으로부터의 높이를 반영하는
선박 주변 모니터링 방법.
According to claim 1,
The sea level height information reflects the height from the sea level of the camera installed in the ship.
How to monitor the ship's perimeter.
제1 항에 있어서,
상기 해수면 높이 정보는, 상기 선박의 흘수(draft)를 반영하는
선박 주변 모니터링 방법.
According to claim 1,
The sea level height information reflects the draft of the ship
How to monitor the ship's perimeter.
제1 항에 있어서,
상기 해수면 높이 정보를 획득하는 단계는, 상기 해수면 높이 정보를 측정하기 위해 상기 선박에 설치된 센서로부터 상기 해수면 높이 정보를 수신하는 단계;를 포함하는
선박 주변 모니터링 방법.
According to claim 1,
The obtaining of the sea level height information includes receiving the sea level height information from a sensor installed in the ship to measure the sea level height information.
How to monitor the ship's perimeter.
제1 항에 있어서,
상기 주변 모니터링 정보는, 상기 주변 선박의 상기 해수면과 접하는 영역인 경계 영역(border area)에 기초하여 산출되는
선박 주변 모니터링 방법.
According to claim 1,
The surrounding monitoring information is calculated based on a border area, which is an area in contact with the sea level of the surrounding vessel.
How to monitor the ship's perimeter.
제5 항에 있어서,
상기 주변 선박과의 거리에 대한 정보는, 상기 경계 영역의 상기 선박과의 거리에 대응되고,
상기 주변 선박의 이동 속도에 대한 정보는, 상기 경계 영역의 이동 속도에 대응되는
선박 주변 모니터링 방법.
According to claim 5,
The information on the distance to the neighboring vessel corresponds to the distance to the vessel in the boundary area,
The information on the moving speed of the surrounding vessels corresponds to the moving speed of the boundary area.
How to monitor the ship's perimeter.
제5 항에 있어서,
상기 주변 모니터링 정보는, 상기 주변 선박의 선수에 대응되는 제1 포인트 및 상기 주변 선박의 선미에 대응되는 제2 포인트 - 상기 제1 포인트 및 상기 제2 포인트는 상기 경계 영역에 포함됨 -,에 기초하여 산출되는
선박 주변 모니터링 방법.
According to claim 5,
The surrounding monitoring information is based on a first point corresponding to the bow of the neighboring vessel and a second point corresponding to the stern of the neighboring vessel, wherein the first point and the second point are included in the boundary area. produced
How to monitor the ship's perimeter.
제7 항에 있어서,
상기 주변 선박과의 거리에 대한 정보는, 상기 제1 포인트 및 상기 제2 포인트의 상기 선박과의 거리에 대응되고,
상기 주변 선박의 이동 속도에 대한 정보는, 상기 제1 포인트 및 상기 제2 포인트의 이동 속도에 대응되는
선박 주변 모니터링 방법.
According to claim 7,
The information on the distance to the neighboring vessel corresponds to the distance of the first point and the second point to the vessel,
The information on the moving speed of the neighboring vessel corresponds to the moving speed of the first point and the second point.
How to monitor the ship's perimeter.
제1 항에 있어서,
상기 해수면 높이 정보를 획득하는 단계는, 상기 제1 이미지에 포함된 높이 측정 오브젝트가 상기 해수면 위로 노출된 영역에 기초하여 상기 해수면 높이 정보를 산출하는 단계;를 포함하는
선박 주변 모니터링 방법.
According to claim 1,
The acquiring of the sea level height information may include calculating the sea level height information based on an area where a height measurement object included in the first image is exposed above the sea level.
How to monitor the ship's perimeter.
제1 항에 있어서,
상기 해수면 높이 정보를 획득하는 단계는, 해상 교통 관제 시스템(vessel traffic service system, VTS system)으로부터 상기 해수면 높이 정보를 수신하는 단계;를 포함하는
선박 주변 모니터링 방법.
According to claim 1,
The obtaining of the sea level height information includes receiving the sea level height information from a vessel traffic service system (VTS system).
How to monitor the ship's perimeter.
제1 항에 있어서,
상기 제1 뷰 속성을 가지는 이미지를 상기 제1 뷰 속성 및 상기 제2 뷰 속성과 다른 제3 뷰 속성을 가지는 이미지로 변환하기 위해 이용되는 제2 시점 변환 정보를 이용한 상기 제1 이미지의 시점 변환을 통해 상기 제3 뷰 속성을 가지는 디스플레이 이미지(display image)를 생성하는 단계;를 더 포함하는
선박 주변 모니터링 방법.
According to claim 1,
Converting the viewpoint of the first image using second viewpoint conversion information used to convert the image having the first view attribute into an image having a third view attribute different from the first view attribute and the second view attribute Generating a display image having the third view property through
How to monitor the ship's perimeter.
제11 항에 있어서,
상기 디스플레이 이미지 및 상기 주변 모니터링 정보를 출력하는 단계;를 더 포함하는
선박 주변 모니터링 방법.
According to claim 11,
Outputting the display image and the surrounding monitoring information; further comprising
How to monitor the ship's perimeter.
제12 항에 있어서,
상기 출력하는 단계는,
원격 위치한 단말을 이용하여 상기 디스플레이 이미지 및 상기 주변 모니터링 정보를 디스플레이하기 위하여 상기 디스플레이 이미지 및 상기 주변 모니터링 정보를 상기 단말로 송신하는 단계; 및
상기 디스플레이 이미지 및 상기 주변 모니터링 정보를 디스플레이하는 단계; 중 적어도 하나를 포함하는
선박 주변 모니터링 방법.
According to claim 12,
The outputting step is
transmitting the display image and the surrounding monitoring information to a terminal to display the display image and the surrounding monitoring information using a remotely located terminal; and
displaying the display image and the surrounding monitoring information; containing at least one of
How to monitor the ship's perimeter.
제1 항에 있어서,
상기 제2 뷰는, 상기 해수면과 수직한 방향에서 상기 해수면을 내려다본 뷰인 것을 특징으로 하는
선박 주변 모니터링 방법.
According to claim 1,
Characterized in that the second view is a view looking down at the sea level in a direction perpendicular to the sea level
How to monitor the ship's perimeter.
컴퓨팅 수단에 의해 수행되는 선박 주변 모니터링 방법에 있어서,
제1 뷰를 가지는 제1 이미지를 획득하는 단계;
상기 제1 이미지를 해수면과 평행한 제1 평면에 투영하여 상기 제1 뷰와 상이한 제2 뷰를 가지는 제2 이미지를 생성하는 단계;
상기 제2 이미지에 기초하여 주변 모니터링 정보를 산출하는 단계 - 상기 주변 모니터링 정보는 상기 선박의 주변 선박과의 거리에 대한 정보 및 상기 주변 선박의 이동 속도에 대한 정보 중 적어도 하나를 포함함 -;
상기 제1 평면과 상이한 높이에 형성된 상기 해수면의 높이에 대응되는 해수면 높이 정보를 획득하는 단계; 및
상기 산출된 주변 모니터링 정보를 상기 제1 평면 및 상기 해수면 사이의 높이 차이를 반영하여 보정하는 단계를 포함하는,
선박 주변 모니터링 방법.
In the ship surroundings monitoring method performed by a computing means,
obtaining a first image having a first view;
generating a second image having a second view different from the first view by projecting the first image onto a first plane parallel to the sea level;
Calculating surrounding monitoring information based on the second image, wherein the surrounding monitoring information includes at least one of information about a distance of the vessel to neighboring vessels and information about a moving speed of the neighboring vessels;
obtaining sea level height information corresponding to a height of the sea level formed at a height different from the first plane; and
Comprising the step of correcting the calculated surrounding monitoring information by reflecting the height difference between the first plane and the sea level,
How to monitor the ship's perimeter.
컴퓨터에 제1 항 내지 제15 항 중 어느 하나의 항에 따른 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium recording a program for executing the method according to any one of claims 1 to 15 in a computer.
KR1020210075562A 2020-01-09 2021-06-10 Method and device for monitoring harbor and ship considering sea level KR102520844B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210075562A KR102520844B1 (en) 2020-01-09 2021-06-10 Method and device for monitoring harbor and ship considering sea level

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200003173A KR102278674B1 (en) 2020-01-09 2020-01-09 Method and device for monitoring harbor and ship considering sea level
KR1020210075562A KR102520844B1 (en) 2020-01-09 2021-06-10 Method and device for monitoring harbor and ship considering sea level

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200003173A Division KR102278674B1 (en) 2020-01-09 2020-01-09 Method and device for monitoring harbor and ship considering sea level

Publications (2)

Publication Number Publication Date
KR20210090573A KR20210090573A (en) 2021-07-20
KR102520844B1 true KR102520844B1 (en) 2023-04-13

Family

ID=77125980

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200003173A KR102278674B1 (en) 2020-01-09 2020-01-09 Method and device for monitoring harbor and ship considering sea level
KR1020210075562A KR102520844B1 (en) 2020-01-09 2021-06-10 Method and device for monitoring harbor and ship considering sea level

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020200003173A KR102278674B1 (en) 2020-01-09 2020-01-09 Method and device for monitoring harbor and ship considering sea level

Country Status (1)

Country Link
KR (2) KR102278674B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102595569B1 (en) 2021-11-11 2023-10-30 (주)지씨 Integrated maritime traffic control system using cloud computing technology and method therefor
KR102477457B1 (en) * 2022-08-30 2022-12-14 (주)에스엔 Docking aid and monitoring system of naval vessels
KR102604408B1 (en) * 2022-11-25 2023-11-22 씨드로닉스(주) LiDAR-based map generation method and apparatus thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102005559B1 (en) * 2018-09-04 2019-08-07 씨드로닉스(주) Situation awareness method using image segmentation

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140126998A (en) * 2013-04-24 2014-11-03 주식회사 씨큐로 System for preventing collision with dock gate
KR101812994B1 (en) * 2016-05-25 2017-12-28 (주)주인정보시스템 Safe docking system of ships using camera image and method thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102005559B1 (en) * 2018-09-04 2019-08-07 씨드로닉스(주) Situation awareness method using image segmentation

Also Published As

Publication number Publication date
KR102278674B9 (en) 2022-01-17
KR102278674B1 (en) 2021-07-19
KR20210090573A (en) 2021-07-20

Similar Documents

Publication Publication Date Title
KR102566724B1 (en) Harbor monitoring device and harbor monitoring method
KR102530691B1 (en) Device and method for monitoring a berthing
CN109283538B (en) Marine target size detection method based on vision and laser sensor data fusion
KR102112935B1 (en) Path planning method using obstacle map
KR102520844B1 (en) Method and device for monitoring harbor and ship considering sea level
EP4089660A1 (en) Method and device for monitoring port and ship in consideration of sea level
KR102265980B1 (en) Device and method for monitoring ship and port
Teixeira et al. Underwater inspection using sonar-based volumetric submaps
US20220024549A1 (en) System and method for measuring the distance to an object in water
US11514668B2 (en) Method and device for situation awareness
KR102466804B1 (en) Autonomous navigation method using image segmentation
Kim et al. Artificial intelligence vision-based monitoring system for ship berthing
KR102530847B1 (en) Method and device for monitoring harbor and ship
Naus et al. Precision in determining ship position using the method of comparing an omnidirectional map to a visual shoreline image
Wang et al. Estimation of ship berthing parameters based on Multi-LiDAR and MMW radar data fusion
KR102645492B1 (en) Device and method for monitoring ship and port
Nomura et al. Study of 3D measurement of ships using dense stereo vision: towards application in automatic berthing systems
CN115131720A (en) Ship berthing assisting method based on artificial intelligence
KR20200039588A (en) Device and method for real-time monitoring of ship and port
Douguet et al. Multimodal perception for obstacle detection for flying boats-Unmanned Surface Vehicle (USV)
KR20240036529A (en) Device and method for monitoring ship and port
Krupiński et al. Positioning aiding using LiDAR in GPS signal loss scenarios
US20230377326A1 (en) Method and Device for Situation Awareness
NO20210695A1 (en) Method and system for detection a line above ground from a helicopter
Heidarsson et al. Extrinsic Calibration of a Monocular Camera for an Autonomous Surface Vessel Using a Forward Facing Sonar

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right