KR20210044674A - support system for vessel operation and ship having the same - Google Patents

support system for vessel operation and ship having the same Download PDF

Info

Publication number
KR20210044674A
KR20210044674A KR1020200028644A KR20200028644A KR20210044674A KR 20210044674 A KR20210044674 A KR 20210044674A KR 1020200028644 A KR1020200028644 A KR 1020200028644A KR 20200028644 A KR20200028644 A KR 20200028644A KR 20210044674 A KR20210044674 A KR 20210044674A
Authority
KR
South Korea
Prior art keywords
ship
unit
information
horizontal line
image
Prior art date
Application number
KR1020200028644A
Other languages
Korean (ko)
Other versions
KR102269384B1 (en
Inventor
우주현
전마로
이호진
Original Assignee
한국조선해양 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국조선해양 주식회사 filed Critical 한국조선해양 주식회사
Publication of KR20210044674A publication Critical patent/KR20210044674A/en
Application granted granted Critical
Publication of KR102269384B1 publication Critical patent/KR102269384B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B43/00Improving safety of vessels, e.g. damage control, not otherwise provided for
    • B63B43/18Improving safety of vessels, e.g. damage control, not otherwise provided for preventing collision or grounding; reducing collision damage
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G3/00Traffic control systems for marine craft
    • G08G3/02Anti-collision systems

Abstract

The present invention relates to a ship navigation support system and a ship having the same, comprising: a sensor unit for acquiring an image of the front with respect to the own ship; an analysis unit that analyzes a horizontal line in the image collected by the sensor unit to calculate attitude information of the own ship; and an output unit for outputting the attitude information of the own ship calculated by the analysis unit.

Description

선박 운항 지원 시스템 및 이를 포함하는 선박{support system for vessel operation and ship having the same}Support system for vessel operation and ship having the same

본 발명은 선박 운항 지원 시스템 및 이를 포함하는 선박에 관한 것이다.The present invention relates to a ship navigation support system and a ship including the same.

선박은 대량의 광물이나 원유, 천연가스, 또는 몇천 개 이상의 컨테이너 등을 싣고 대양을 항해하는 운송수단으로서, 강철로 이루어져 있고 부력에 의해 수선면에 부유한 상태에서 프로펠러의 회전을 통해 발생되는 추력을 통해 이동한다.A ship is a means of transport that navigates the ocean carrying a large amount of minerals, crude oil, natural gas, or thousands of containers, etc., and is made of steel, and it is made of steel and is suspended on the water surface by buoyancy, and the thrust generated through the rotation of the propeller is controlled. Go through.

이러한 선박은 엔진이나 가스 터빈 등을 구동함으로써 추력을 발생시키는데, 이때 엔진은 중유(HFO) 또는 경유(MDO, MGO) 등의 오일연료를 사용하여 피스톤을 움직여서 피스톤의 왕복운동에 의해 크랭크 축이 회전되도록 하고, 크랭크 축에 연결된 샤프트가 회전되어 프로펠러가 구동되도록 하며, 반면 가스 터빈은 압축 공기와 함께 오일연료를 연소시키고, 연소 공기의 온도/압력을 통해 터빈 날개를 회전시킴으로써 발전하여 프로펠러에 동력을 전달하는 방식을 사용한다.These ships generate thrust by driving engines or gas turbines.At this time, the engine uses oil fuel such as heavy oil (HFO) or diesel (MDO, MGO) to move the piston, and the crankshaft rotates by the reciprocating motion of the piston. In addition, the shaft connected to the crankshaft rotates to drive the propeller, while the gas turbine burns oil fuel with compressed air and generates power by rotating the turbine blades through the temperature/pressure of the combustion air. Use the method of delivery.

그러나 최근에는, 오일연료 사용 시의 배기로 인한 환경 파괴 문제를 해소하기 위해, 액화천연가스(LNG)나 액화석유가스(LPG) 등의 가스연료를 사용하여 엔진이나 터빈 등을 구동해 추진하는 가스연료 추진 방식이 사용되고 있다. 특히 LNG는 청정연료이고 매장량도 석유보다 풍부하기 때문에, 가스연료로 LNG를 사용하는 방식이 LNG 운반선 외에 컨테이너선 등과 같은 다른 선박에도 적용되고 있다.However, in recent years, gas fuels such as liquefied natural gas (LNG) or liquefied petroleum gas (LPG) are used to drive engines or turbines to solve the problem of environmental damage caused by exhaust when oil fuel is used. Fuel propulsion is being used. In particular, since LNG is a clean fuel and reserves are more abundant than petroleum, the method of using LNG as gas fuel is applied to other ships such as container ships in addition to LNG carriers.

이와 같이 선박은, 화물의 운송 효율을 보장하는 기본 기능에서 더 나아가, 환경 오염을 억제하고 에너지 소비를 줄일 수 있도록, 운항 효율을 보장하는 수준까지 점차 발전해 나가고 있다.In this way, ships are gradually developing to the level of ensuring operational efficiency in order to further suppress environmental pollution and reduce energy consumption, further from the basic function of ensuring the transport efficiency of cargo.

이러한 발전 과정에 따라 운항을 효과적이고 심지어 자율적으로 제어할 수 있도록 하는 기술에 대한 연구 및 개발이 지속적으로 이루어지고 있다. 그러나 아직까지 선박에 적용된 사례는 많지 않은 것이 현실이며, 꾸준한 연구가 필요한 실정이다.In accordance with this development process, research and development on technologies that enable effective and even autonomous control of navigation are continually being made. However, it is the reality that there are not many cases applied to ships so far, and constant research is required.

본 발명은 상기와 같은 종래기술의 문제점을 해결하고자 창출된 것으로서, 본 발명의 목적은, 항해 과정에서 객체에 대한 직관적 정보를 제공하여 안전한 운항을 가능케 하며, 객체의 자세정보를 토대로 객체의 운동을 추적해 제공하며, 자선의 자세를 명확하게 추정할 수 있고, 선박의 형상정보를 토대로 촬영 수단의 효율적 관리가 가능한 선박 운항 지원 시스템 및 이를 포함하는 선박을 제공하기 위한 것이다.The present invention was created to solve the problems of the prior art as described above, and an object of the present invention is to enable safe navigation by providing intuitive information on an object during the navigation process, and to perform movement of the object based on the attitude information of the object. It is to provide a ship navigation support system and a ship including the same, which can be tracked and provided, the attitude of the own ship can be clearly estimated, and efficient management of photographing means based on the shape information of the ship.

본 발명의 일 측면에 따른 선박 운항 지원 시스템은, 자선을 기준으로 전방의 영상을 획득하는 센서부; 상기 센서부에 의해 수집된 상기 영상에서 수평선을 분석하여 상기 자선의 자세정보를 산출하는 분석부; 및 상기 분석부에 의해 산출된 상기 자선의 자세정보를 출력하는 출력부를 포함하는 것을 특징으로 한다.A ship navigation support system according to an aspect of the present invention includes: a sensor unit for acquiring an image of a front based on the own ship; An analysis unit that calculates posture information of the own ship by analyzing a horizontal line from the image collected by the sensor unit; And an output unit for outputting the attitude information of the own ship calculated by the analysis unit.

구체적으로, 상기 센서부는, 상기 자선의 좌우방향 중심에 마련되며 이미지 센서를 갖는 단안 카메라일 수 있다.Specifically, the sensor unit may be a monocular camera provided at the center of the own ship in the left-right direction and having an image sensor.

구체적으로, 상기 분석부는, 상기 영상에 포함되어 있는 현재 수평선을 추출하는 수평선 추출부; 상기 자선이 기설정 자세일 때의 수평선을 기준 수평선으로 설정한 뒤, 상기 현재 수평선을 상기 기준 수평선과 대비하는 수평선 분석부; 및 상기 기준 수평선 대비 상기 현재 수평선의 차이를 토대로 상기 자선의 자세정보를 산출하는 자세 산출부를 포함할 수 있다.Specifically, the analysis unit includes: a horizontal line extracting unit for extracting a current horizontal line included in the image; A horizontal line analyzer configured to set a horizontal line when the own ship is in a preset posture as a reference horizontal line, and then compare the current horizontal line with the reference horizontal line; And a posture calculator configured to calculate posture information of the own ship based on a difference between the current horizontal line and the reference horizontal line.

구체적으로, 상기 자세 산출부는, 상기 기준 수평선 대비 상기 현재 수평선의 기울기를 이용하여 상기 자선의 롤링 각도를 산출하며, 상기 기준 수평선 대비 상기 현재 수평선의 상하 편차를 이용하여 상기 자선의 피칭 각도를 산출할 수 있다.Specifically, the posture calculation unit calculates the rolling angle of the own ship by using the slope of the current horizontal line with respect to the reference horizontal line, and calculates the pitching angle of the own ship by using the vertical deviation of the current horizontal line with respect to the reference horizontal line. I can.

본 발명의 일 측면에 따른 선박은, 상기 선박 운항 지원 시스템을 갖는 것을 특징으로 한다.A ship according to an aspect of the present invention is characterized in that it has the ship navigation support system.

본 발명에 따른 선박 운항 지원 시스템 및 이를 포함하는 선박은, 운항 시 마주하게 될 객체에 대해 정보를 직관적으로 제공할 수 있고, 객체의 운동추적을 구현하여 사고 위험을 혁신적으로 낮추며, 자선 자세의 추정 및 자선 형상을 바탕으로 한 자선 장비의 최적 관리를 구현할 수 있다.The ship navigation support system and the ship including the same according to the present invention can intuitively provide information on objects to be encountered during navigation, and implement motion tracking of the object to innovatively reduce the risk of accidents, and estimate the attitude of the own ship. And it is possible to implement the optimal management of the own ship equipment based on the shape of the own ship.

도 1은 본 발명에 따른 선박 운항 지원 시스템의 디스플레이 화면을 나타내는 도면이다.
도 2 내지 도 4는 본 발명의 제1 실시예에 따른 선박 운항 지원 시스템의 블록도이다.
도 5는 본 발명의 제1 실시예에 따른 선박 운항 지원 시스템의 분석 원리를 설명하는 도면이다.
도 6 및 도 7은 본 발명의 제2 실시예에 따른 선박 운항 지원 시스템의 블록도이다.
도 8은 본 발명의 제2 실시예에 따른 선박 운항 지원 시스템의 분석 예시를 나타내는 도면이다.
도 9 및 도 10은 본 발명의 제3 실시예에 따른 선박 운항 지원 시스템의 블록도이다.
도 11은 본 발명의 제3 실시예에 따른 선박 운항 지원 시스템의 분석 예시를 나타내는 도면이다.
도 12 및 도 13은 본 발명의 제4 실시예에 따른 선박 운항 지원 시스템의 블록도이다.
1 is a view showing a display screen of a ship navigation support system according to the present invention.
2 to 4 are block diagrams of a ship navigation support system according to a first embodiment of the present invention.
5 is a view for explaining the analysis principle of the ship navigation support system according to the first embodiment of the present invention.
6 and 7 are block diagrams of a ship navigation support system according to a second embodiment of the present invention.
8 is a view showing an analysis example of the ship navigation support system according to the second embodiment of the present invention.
9 and 10 are block diagrams of a ship navigation support system according to a third embodiment of the present invention.
11 is a view showing an analysis example of the ship navigation support system according to the third embodiment of the present invention.
12 and 13 are block diagrams of a ship navigation support system according to a fourth embodiment of the present invention.

본 발명의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되어지는 이하의 상세한 설명과 바람직한 실시예로부터 더욱 명백해질 것이다. 본 명세서에서 각 도면의 구성요소들에 참조번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.Objects, specific advantages and novel features of the present invention will become more apparent from the following detailed description and preferred embodiments associated with the accompanying drawings. In adding reference numerals to elements of each drawing in the present specification, it should be noted that, even though they are indicated on different drawings, only the same elements are to have the same number as possible. In addition, in describing the present invention, when it is determined that a detailed description of related known technologies may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 본 발명은 이하에서 설명하는 선박 운항 지원 시스템은 물론이고, 해당 시스템이 탑재/내장되는 선박도 포함한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The present invention includes not only the ship navigation support system described below, but also a ship on which the system is mounted/built.

이때 선박이라 함은 화물이나 사람을 출발지에서 도착지까지 실어 나르는 상선/여객선과 같은 일반적인 선박 외에도, 해양에서 특정한 작업을 수행하기 위한 부유 구조물 등을 모두 포괄하는 개념일 수 있다.In this case, the term “ship” may be a concept encompassing all of a floating structure for performing a specific task in the sea, in addition to a general ship such as a merchant ship/passenger ship that carries cargo or people from the point of departure to the destination.

또한 참고로 본 명세서에서, 본 발명의 시스템이 마련되는 선박을 자선이라 하며, 자선의 주변에 위치하는 물체로서 선박이나 부유체, 교각과 같은 고정 구조물 등을 객체라 지칭함을 알려둔다.In addition, in the present specification, it is noted that the ship on which the system of the present invention is provided is referred to as an own ship, and as an object located around the own ship, a fixed structure such as a ship, a floating body, or a pier is referred to as an object.

도 1은 본 발명에 따른 선박 운항 지원 시스템의 디스플레이 화면을 나타내는 도면이고, 도 2 내지 도 4는 본 발명의 제1 실시예에 따른 선박 운항 지원 시스템의 블록도이며, 도 5는 본 발명의 제1 실시예에 따른 선박 운항 지원 시스템의 분석 원리를 설명하는 도면이다.1 is a diagram showing a display screen of a ship navigation support system according to the present invention, FIGS. 2 to 4 are block diagrams of a ship navigation support system according to a first embodiment of the present invention, and FIG. 5 is a first embodiment of the present invention. 1 is a view for explaining the analysis principle of the ship navigation support system according to the embodiment.

도 1 내지 도 5를 참조하면, 본 발명의 제1 실시예에 따른 선박 운항 지원 시스템(1)은, 추정부(110), 수집부(120), 분석부(130), 출력부(140)를 포함한다.1 to 5, the ship navigation support system 1 according to the first embodiment of the present invention includes an estimation unit 110, a collection unit 120, an analysis unit 130, and an output unit 140. Includes.

추정부(110)는, 자선을 기준으로 일정 범위 내에 위치한 객체의 제1 객체정보를 추정한다. 이때 추정부(110)는, 일정 범위 내의 영상을 기반으로 할 수 있다.The estimating unit 110 estimates first object information of an object located within a certain range based on the own ship. In this case, the estimating unit 110 may be based on an image within a certain range.

추정부(110)는 센서부(111), 탐지부(112), 정보 추정부(113)를 포함할 수 있다. 이때 센서부(111)는 일정 범위 내의 영상을 획득하기 위한 구성으로서, 이미지 센서일 수 있고 카메라 등의 촬영장비일 수 있다.The estimation unit 110 may include a sensor unit 111, a detection unit 112, and an information estimation unit 113. In this case, the sensor unit 111 is a component for acquiring an image within a certain range, and may be an image sensor or photographing equipment such as a camera.

센서부(111)는 자선의 상갑판 위에 마련되어 전방을 향하도록 설치될 수 있으며, 일례로 선실이나 조타실 등과 같이 높이가 높은 위치에 마련되어 비교적 충분한 전방 시야를 확보할 수 있다.The sensor unit 111 may be provided on the upper deck of the own ship and may be installed to face the front, and may be provided at a high position such as a cabin or a steering compartment to secure a relatively sufficient front view.

다만 센서부(111)가 촬영하는 영상은 원근법으로 인하여 왜곡될 수 있는데, 이하 정보 추정부(113)는 이러한 왜곡을 고려하여 제1 객체정보의 추정을 수행할 수 있다.However, the image captured by the sensor unit 111 may be distorted due to a perspective method. Hereinafter, the information estimating unit 113 may estimate the first object information in consideration of such distortion.

탐지부(112)는, 일정 범위 내에서 객체를 탐지한다. 이때 탐지부(112)가 탐지하는 객체는 움직이는 물체 또는 움직이지 않는 물체 등을 제한하지 않는다. 즉 탐지부(112)는 일정 범위 내에서, 해수와 공기를 제외하고 자선의 운항에 영향을 미치는 모든 물체를 객체로서 탐지할 수 있다. 일례로 탐지부(112)가 탐지하는 객체는 해양생물도 가능하다.The detection unit 112 detects an object within a certain range. In this case, the object detected by the detection unit 112 does not limit a moving object or a non-moving object. That is, within a certain range, the detection unit 112 may detect all objects that affect the operation of the own ship as objects except seawater and air. For example, the object detected by the detection unit 112 may be a marine organism.

탐지부(112)는, 영상에서 객체가 탐지된 영역에 대해 바운딩 박스를 할당할 수 있다. 바운딩 박스(Bounding Box)라 함은 객체를 내포할 수 있는 최소한의, 혹은 최적의 크기를 갖는 가상의 사각 테두리를 의미한다.The detector 112 may allocate a bounding box to an area in which an object is detected in the image. The bounding box refers to a virtual rectangular border having a minimum or optimum size that can contain an object.

센서부(111)에 의해 획득되는 영상은 픽셀(pixel) 단위로 쪼개질 수 있으므로, 탐지부(112)는 일정 픽셀 크기로 바운딩 박스를 생성할 수 있다. 일례로 도 1을 참고하면 좌측의 객체에 대한 바운딩 박스는 20픽셀의 높이를 갖고, 우측의 객체에 대한 바운딩 박스는 10픽셀의 높이를 갖는 것으로 할당될 수 있다.Since the image acquired by the sensor unit 111 may be split into pixels, the detector 112 may generate a bounding box with a predetermined pixel size. As an example, referring to FIG. 1, a bounding box for an object on the left has a height of 20 pixels, and a bounding box for an object on the right may be assigned to have a height of 10 pixels.

정보 추정부(113)는, 객체의 제1 객체정보를 추정한다. 이때 제1 객체정보는 객체의 위치와 방위각 정보 등을 포함할 수 있다. 물론 이하에서 서술하겠으나, 영상에서 별도로 추출되는 것이 아니라 직접 탐지하거나 객체로부터 직접 수신되는 제2 객체정보 외에, 충돌 위험도의 분석에 필요할 수 있는 모든 정보(영상에서 획득 가능한)가 제1 객체정보에 포함될 수 있다.The information estimating unit 113 estimates first object information of an object. In this case, the first object information may include information on the location and azimuth angle of the object. Of course, it will be described below, but in addition to the second object information that is not separately extracted from the image, but directly detected or directly received from the object, all information (obtainable from the image) that may be necessary for the analysis of the collision risk is included in the first object information. I can.

추정부(110)가 영상에서 객체의 위치를 추정하는 것은, 영상에서 객체가 위치한 해수면을 기준으로 확인 가능하다. 센서부(111)에 의해 획득되는 영상은 앞서 설명한 것과 같이 원근법이 적용된 영상일 수 있으므로, 이를 고려하여 객체가 놓인 해수면 지점이 센서부(111)로부터 이격된 전후 거리가 추정될 수 있다.Estimating the position of the object in the image by the estimating unit 110 can be confirmed based on the sea level where the object is located in the image. Since the image acquired by the sensor unit 111 may be an image to which a perspective method is applied as described above, a distance before and after the sea level point where the object is placed is separated from the sensor unit 111 may be estimated in consideration of this.

일례로 도 1에서와 같이, 영상 내에서 해수면은 그리드(Grid)로 분할될 수 있는데, 이때 분할은 원근법을 고려하여 격자 크기가 수평선에 가까울수록 작게 이루어질 수 있다.For example, as shown in FIG. 1, the sea level in the image may be divided into a grid, and the division may be made smaller as the grid size is closer to the horizontal line in consideration of the perspective method.

또한 도 1에 나타난 것처럼 좌우 방향의 격자 형상도 원근법을 고려하여 배분될 수 있으며, 정보 추정부(113)는 이러한 사항들을 고려하여 객체의 위치를 효율적이고 비교적 정확하게 추출해낼 수 있다.In addition, as shown in FIG. 1, the grid shape in the left and right directions may be distributed in consideration of the perspective method, and the information estimation unit 113 may efficiently and relatively accurately extract the position of the object in consideration of these items.

수집부(120)는, 전파를 이용하여 객체의 제2 객체정보를 수집한다. 수집부(120)는 레이더 또는 위성을 이용하여 제2 객체정보를 수집할 수 있으며, AIS를 이용할 수도 있다. 즉 수집부(120)는 레이더 센서이거나, 위성 통신장비 등으로 마련될 수 있다. The collection unit 120 collects second object information of an object using radio waves. The collection unit 120 may collect second object information using a radar or satellite, and may use AIS. That is, the collection unit 120 may be provided as a radar sensor or satellite communication equipment.

이때 수집부(120)는 제2 객체정보를 수집할 수 있는데, 이는 앞서 설명한 것과 같이 제2 객체정보는 자선이 직접 측정하거나 객체로부터 직접 전달받을 수 있는 정보이기 때문이다. 즉 제2 객체정보는 제1 객체정보와 같은 데이터 변환이나 가공 없이 (혹은 낮은 수준의 가공 정도로) 획득 가능하다.At this time, the collection unit 120 may collect the second object information, because, as described above, the second object information is information that can be directly measured by the own ship or directly transmitted from the object. That is, the second object information can be obtained without data conversion or processing (or with a low degree of processing) like the first object information.

제2 객체정보는, 자선과 객체 간의 거리, 객체의 속도, 객체의 경로 등을 포함할 수 있다. 물론 자선과 객체의 충돌 위험 판단을 위해 필요한 모든 정보가 제2 객체정보로서 수집될 수 있다.The second object information may include a distance between the own ship and the object, the speed of the object, and the path of the object. Of course, all information necessary for determining the risk of collision between the own ship and the object may be collected as the second object information.

특히 영상에서 추출 가능하여 제1 객체정보로 취급될 수 있는 정보도, 제2 객체정보로서 수집될 수 있다. 이 경우 동일한 변수에 대한 값이 제1 객체정보 및 제2 객체정보로 입력되는데, 두 값의 차이가 발생할 경우에는 알림을 제공해줄 수 있다. 또한 제1 객체정보와 제2 객체정보의 충돌 시에는 제2 객체정보를 신뢰하도록 작동할 수 있다.In particular, information that can be extracted from an image and treated as first object information may also be collected as second object information. In this case, a value for the same variable is input as first object information and second object information, and when a difference between the two values occurs, a notification may be provided. In addition, when the first object information and the second object information collide, the second object information may be trusted.

분석부(130)는, 추정부(110)가 추정한 제1 객체정보 및 수집부(120)에 의해 수집된 제2 객체정보를 융합해 매칭시켜서, 객체의 제3 객체정보를 생성한다. 분석부(130)는 제1 객체정보의 객체와 제2 객체정보의 객체를 매칭시켜 하나의 객체에 제1, 2 객체정보가 할당되도록 분류할 수 있다.The analysis unit 130 combines and matches the first object information estimated by the estimating unit 110 and the second object information collected by the collection unit 120 to generate third object information of the object. The analysis unit 130 may classify the object of the first object information and the object of the second object information so that the first and second object information are allocated to one object by matching the object of the second object information.

혹 제1 객체정보와 제2 객체정보가 매칭되지 않는 경우, 이는 영상에서 확인되지 않으나 레이더로 잡히는 객체이거나, 반대로 영상에서는 확인되나 레이더로 확인되지 않는 객체(stealth 등) 등일 수 있다.If the first object information and the second object information do not match, this may be an object that is not identified in an image but is caught by a radar, or, conversely, an object that is identified in an image but not identified by a radar (stealth, etc.).

이 경우에도 제1, 2 객체정보가 충돌하는 상황과 유사하게 알림을 제공해줄 수 있으며, 다만 이때의 알림은 앞선 객체정보의 충돌 시 알림과 상이할 수 있다.Even in this case, a notification may be provided similarly to a situation in which the first and second object information collide, but the notification at this time may be different from the notification when the previous object information collides.

상세하게 분석부(130)는 정보 융합부(131), 위험 산출부(132)를 포함한다. 정보 융합부(131)는, 추정부(110)가 추정한 제1 객체정보 및 수집부(120)에 의해 수집된 제2 객체정보를 융합해 매칭시켜서, 객체의 크기를 산출할 수 있다.In detail, the analysis unit 130 includes an information fusion unit 131 and a risk calculation unit 132. The information fusion unit 131 may calculate the size of an object by fusing and matching the first object information estimated by the estimating unit 110 and the second object information collected by the collecting unit 120.

앞서 탐지부(112)는 객체에 대해 바운딩 박스를 할당할 수 있다고 설명하였는데, 정보 융합부(131)는 탐지부(112)에 의한 바운딩 박스를 활용할 수 있다. 일례로 정보 융합부(131)는 바운딩 박스의 크기와 제2 객체정보에 포함된 거리를 이용하여 객체의 크기를 산출할 수 있다.It has been described above that the detection unit 112 can allocate a bounding box to an object, but the information fusion unit 131 may utilize the bounding box of the detection unit 112. For example, the information fusion unit 131 may calculate the size of the object using the size of the bounding box and the distance included in the second object information.

물론 바운딩 박스 없이, 탐지부(112)가 직접 영상 내에서 객체의 크기(높이 등)를 픽셀 단위 등으로 탐지해낼 수 있고, 정보 융합부(131)가 객체의 크기를 직접 고려하는 것도 가능하다.Of course, without a bounding box, the detection unit 112 can directly detect the size (height, etc.) of the object in the image in pixel units, and the information fusion unit 131 can directly consider the size of the object.

다만 영상 내에서 객체와 해수 부분의 구별이 픽셀 단위로 명확히 이루어지지 못할 수 있으며, 충돌 위험을 충분히 방지하기 위한 여유분을 확보하고자, 바운딩 박스를 활용하는 것이 바람직할 수 있다.However, it may not be possible to clearly distinguish between an object and a seawater part in an image, and it may be desirable to use a bounding box to secure a margin to sufficiently prevent a collision risk.

정보 융합부(131)는 도 5에서 나타난 것과 같은 계산을 사용할 수 있다. 센서부(111)가 촬영장비일 경우 센서부(111)의 초점거리(f), 영상 내 탐지부(112)에 의해 탐지된 객체의 이미지크기(y, 일례로 높이), 자선과 객체 간의 거리(d_obj, 구체적으로는 센서부(111)와 객체 간의 거리를 활용할 수도 있음)를 이용하면, 객체의 실제 크기(h_obj, 높이)를 산출할 수 있게 된다.The information fusion unit 131 may use calculations as shown in FIG. 5. When the sensor unit 111 is a photographing device, the focal length f of the sensor unit 111, the image size (y, for example, height) of the object detected by the detection unit 112 in the image, the distance between the own ship and the object Using (d_obj, specifically, the distance between the sensor unit 111 and the object may be used), it is possible to calculate the actual size (h_obj, height) of the object.

일례로 d_obj가 5km이고, y가 0.06mm, f가 15mm일 경우, 객체는 약 20m의 높이를 갖는 물체임을 알 수 있다. 다만 이러한 계산을 위하여 영상 내 객체의 크기는 자선과 객체 간의 거리와 동일한 단위로 산출될 수 있다.For example, if d_obj is 5km, y is 0.06mm, and f is 15mm, it can be seen that the object has a height of about 20m. However, for this calculation, the size of the object in the image may be calculated in the same unit as the distance between the own ship and the object.

즉 영상은 픽셀 단위로 생성되는데, 픽셀을 일례로 mm 단위 등으로 변환하는 작업이 필요하다. 이는 이미지 센서의 크기를 고려해 결정될 수 있다. 일례로 이미지 센서의 크기(y_sensor)= 12.2 mm 인 카메라의 경우, 3000 pixels를 수용할 수 있으므로, 객체의 크기가 15 pixels라면, 이미지 센서에 투영된 이미지크기(y)는 약 0.06 mm로 산출될 수 있다.In other words, an image is generated in pixel units, and a process of converting the pixels into mm units, for example, is required. This can be determined in consideration of the size of the image sensor. For example, in the case of a camera with the image sensor size (y_sensor) = 12.2 mm, it can accommodate 3000 pixels, so if the object size is 15 pixels, the image size (y) projected on the image sensor will be calculated as about 0.06 mm. I can.

위험 산출부(132)는, 객체의 크기와 제2 객체정보를 이용하여 객체의 제3 객체정보를 산출할 수 있다. 이때 제3 객체정보는 충돌 위험도를 포함할 수 있다.The risk calculation unit 132 may calculate third object information of the object by using the size of the object and the second object information. In this case, the third object information may include a collision risk.

객체의 크기는 등급 형태로 변환한 수치가 사용될 수 있는데, 일례로 객체의 높이가 10m 이내이면 1, 객체의 높이가 10~20m이면 2, 객체의 높이가 20m 이상이면 3 등으로 단계적 수치화될 수 있다.The size of the object can be converted to a graded number.For example, if the height of the object is within 10m, it can be converted to 1, if the height of the object is 10 to 20m, it can be stepped into 2, and 3 if the height of the object is more than 20m. have.

위험 산출부(132)는, 객체의 크기, 객체의 속도, 객체의 경로 등을 병합하여 충돌 위험도를 산출하게 되는데, 이때 충돌 위험의 계산 알고리즘은 종래 알려져 있는 DCPA, TCPA, VCD, 퍼지 등의 계산법을 이용할 수 있으므로, 여기서 자세한 설명은 생략한다.The risk calculation unit 132 calculates a collision risk by merging the size of the object, the speed of the object, and the path of the object, and the collision risk calculation algorithm is a conventionally known calculation method such as DCPA, TCPA, VCD, and fuzzy. Since can be used, a detailed description is omitted here.

위험 산출부(132)가 퍼지 계산을 이용할 경우, 위험 산출부(132)는 퍼지 계산기로부터 나온 추론값을 비퍼지화함으로써, 최종 충돌 위험도를 산출해낼 수 있다.When the risk calculation unit 132 uses the fuzzy calculation, the risk calculation unit 132 may calculate the final collision risk by defuzzifying the inferred value from the fuzzy calculator.

출력부(140)는, 분석부(130)에 의해 생성된 객체의 제3 객체정보를 출력한다. 출력부(140)는 디스플레이 등일 수 있으며, 출력부(140)는 조타실, 선원들이 개인별로 소지하는 단말기 등과 같이 다양한 위치나 장비에 마련될 수 있다.The output unit 140 outputs third object information of the object generated by the analysis unit 130. The output unit 140 may be a display or the like, and the output unit 140 may be provided in various locations or equipment, such as a steering room, a terminal held by crew members individually.

출력부(140)는 제3 객체정보인 충돌 위험도를 출력할 수 있는데, 출력 방법은 제한되지 않는다. 일례로 충돌 위험도 자체를 수치적으로 표현할 수 있고, 또는 색상이나 소리 등을 이용하는 출력도 가능하다.The output unit 140 may output the risk of collision, which is the third object information, but the output method is not limited. For example, the risk of collision can be expressed numerically, or output using color or sound is also possible.

이와 같이 본 실시예는, 레이더 등을 이용하여 수집되는 객체정보에 더하여, 영상에서 추출될 수 있는 객체정보(객체의 크기 등)를 통합 분석함으로써 객체에 대한 충돌 위험도를 보다 정확하게 제공하여, 운항 안전도를 개선할 수 있다.As described above, the present embodiment provides more accurate collision risk for objects by analyzing object information (object size, etc.) that can be extracted from images in addition to object information collected using radar, etc. Can be improved.

도 6 및 도 7은 본 발명의 제2 실시예에 따른 선박 운항 지원 시스템의 블록도이고, 도 8은 본 발명의 제2 실시예에 따른 선박 운항 지원 시스템의 분석 예시를 나타내는 도면이다.6 and 7 are block diagrams of a ship navigation support system according to a second embodiment of the present invention, and FIG. 8 is a view showing an analysis example of a ship navigation support system according to a second embodiment of the present invention.

도 6 내지 도 8을 참조하면, 본 발명의 제2 실시예에 따른 선박 운항 지원 시스템(1)은, 추정부(210), 수집부(220), 분석부(230), 출력부(240)를 포함한다. 본 명세서에서 동일한 명칭의 구성이라 하더라도 반드시 동일한 구성을 의미하는 것은 아니며, 또한 반대로 반드시 상이한 구성인 것도 아님을 알려둔다. 다만 이하에서는 설명의 편의를 위하여, 동일한 명칭을 사용하는 구성에 대해서는 상이한 부분을 위주로 설명하도록 한다.6 to 8, the ship navigation support system 1 according to the second embodiment of the present invention includes an estimation unit 210, a collection unit 220, an analysis unit 230, and an output unit 240 Includes. In the present specification, even if the configuration has the same name, it does not necessarily mean the same configuration, and, conversely, it should be noted that it is not necessarily different configurations. However, in the following, for convenience of description, different parts will be mainly described for the configuration using the same name.

추정부(210)는, 자선을 기준으로 일정 범위 내의 객체에 대한 제1 객체정보를 추정한다. 이때 추정부(210)는 앞선 제1 실시예에서와 같이, 일정 범위 내의 영상을 기반으로 제1 객체정보를 추정할 수 있다.The estimating unit 210 estimates first object information for an object within a certain range based on the own ship. In this case, the estimating unit 210 may estimate the first object information based on an image within a certain range, as in the previous first embodiment.

또한 추정부(210)는, 제1 실시예에서와 마찬가지로 일정 범위 내의 영상을 획득하는 센서부(211)와, 일정 범위 내에서 객체를 탐지하는 탐지부(212)와, 객체의 제1 객체정보를 추정하는 정보 추정부(213)를 포함할 수 있다.In addition, as in the first embodiment, the estimation unit 210 includes a sensor unit 211 that acquires an image within a certain range, a detection unit 212 that detects an object within a certain range, and first object information of the object. It may include an information estimating unit 213 for estimating.

추가로 탐지부(212)는, 영상에서 객체가 탐지된 영역에 대해 바운딩 박스를 할당하는 것 역시 앞서 제1 실시예에서 설명한 것과 동일하다.In addition, the detection unit 212 allocates a bounding box to an area in which an object is detected in the image is the same as described in the first embodiment.

다만 본 실시예의 추정부(210) 및 정보 추정부(213)는, 제1 객체정보로서 객체의 자세를 추정할 수 있다. 객체의 자세라 함은 (자항을 이용하여) 움직이는 객체에 대해, 예상되는 미래의 위치를 파악하기 위한 것으로, 선수각 등과 관련되는 정보일 수 있다.However, the estimating unit 210 and the information estimating unit 213 of the present embodiment may estimate the posture of the object as the first object information. The posture of an object is for grasping a predicted future position of a moving object (using self-direction), and may be information related to a bow angle and the like.

본 명세서에서 객체는 앞서 설명한 것과 같이 고정 구조물을 포괄하는 개념이다. 다만 본 실시예는 객체의 자세를 고려하고자 하는 것이어서, 위치가 고정되어 있는 구조물(부표, 해상플랜트, 교각, 육상과 연결되는 구조물 등)은 탐지 대상에서 제외될 수 있다.In the present specification, an object is a concept encompassing a fixed structure as described above. However, since this embodiment is intended to consider the posture of an object, structures (buoys, offshore plants, piers, structures connected to land, etc.) with a fixed location may be excluded from detection targets.

즉 본 실시예의 탐지부(212)는, 영상에서 주요 관심 장애물을 객체로서 탐지할 수 있고, 이때 주요 관심 장애물이라 함은 자세의 추정이 의미있는 선박일 수 있다.That is, the detection unit 212 of the present embodiment may detect a major obstacle of interest in an image as an object, and the major obstacle of interest may be a ship in which posture estimation is meaningful.

물론 본 발명에서 영상에 포함된 객체 중 주요 관심 장애물에서 제외되는 객체들은, 앞선 제1 실시예를 통해 충돌 위험이 안내될 수 있다.Of course, among the objects included in the image in the present invention, the collision risk may be guided through the first embodiment of the object excluded from the main obstacle of interest.

정보 추정부(213)는, 자선을 기준으로 한 상대좌표계에서 객체의 선수방향을 추정할 수 있다. 도 8에 나타난 것과 같이, 정보 추정부(213)는 객체의 특징점 좌표를 토대로 영상에 투영된 객체의 선수방향을 산출할 수 있다.The information estimating unit 213 may estimate the bow direction of the object in a relative coordinate system based on the own ship. As shown in FIG. 8, the information estimating unit 213 may calculate the heading direction of the object projected on the image based on the coordinates of the feature point of the object.

여기서 특징점은 선수나 선미의 좌현 및 우현 모서리점 등을 의미할 수 있지만, 영상에서 추출이 용이한 점이 모두 특징점으로 사용될 수 있다. 이러한 특징점을 바탕으로 정보 추정부(213)는 딥러닝 기반의 자세 추정 알고리즘 모델을 이용해, 이미지 평면에 투영된 객체의 선수방향(선수각 정보)을 계측할 수 있다.Here, the feature points may refer to the port and starboard corner points of the fore or stern, but all points that can be easily extracted from the image may be used as feature points. Based on these feature points, the information estimating unit 213 may measure the heading direction (head angle information) of the object projected on the image plane using a deep learning-based posture estimation algorithm model.

다만 계측된 선수각 정보는, 자선에 고정된 센서부(211)(카메라)의 좌표계에서 정의된 선수각이므로 좌표계 변환이 필요하다. 따라서 정보 추정부(213)는 선수각 정보를 관성좌표계로 변환하도록 연산하여 객체의 자세를 추정할 수 있다.However, since the measured head angle information is defined in the coordinate system of the sensor unit 211 (camera) fixed to the own ship, it is necessary to convert the coordinate system. Accordingly, the information estimating unit 213 may calculate the head angle information to convert the head angle information into an inertial coordinate system to estimate the posture of the object.

수집부(220)는, 전파를 이용해 객체의 제2 객체정보를 수집할 수 있다. 이때 수집부(220)는 레이더 센서 등일 수 있으며, 레이더나 위성, AIS 등을 이용하여 제2 객체정보인 자선과 객체 간의 거리, 객체의 속도 등을 수집할 수 있다.The collection unit 220 may collect second object information of an object using radio waves. At this time, the collection unit 220 may be a radar sensor or the like, and may collect the second object information such as a distance between the own ship and the object, the speed of the object, and the like using a radar, satellite, or AIS.

분석부(230)는, 추정부(210)가 추정한 제1 객체정보 및 수집부(220)에 의해 수집된 제2 객체정보를 융합해 매칭시킨다. 이를 통해 분석부(230)는 객체의 제3 객체정보를 생성할 수 있다.The analysis unit 230 combines and matches the first object information estimated by the estimating unit 210 and the second object information collected by the collection unit 220. Through this, the analysis unit 230 may generate third object information of the object.

여기서 제3 객체정보는, 객체의 운동 추적정보를 포함할 수 있다. 운동 추적정보라 함은 움직이는 객체의 예상 이동 방향 등의 예측값(predicted value)으로서 현재 측정될 수 없는 미래 정보를 의미한다.Here, the third object information may include motion tracking information of the object. The motion tracking information refers to future information that cannot be measured at present as a predicted value such as an expected movement direction of a moving object.

본 실시예는 앞서 설명한 선수각 정보, 객체의 위치와 속도 등을 융합해 분석함으로써, 객체의 운동 추적정보를 추정해낼 수 있다. In the present embodiment, the motion tracking information of the object can be estimated by fusion and analysis of the heading angle information, the position and speed of the object, and the like described above.

출력부(240)는, 분석부(230)에 의해 생성된 객체의 제3 객체정보를 출력한다. 출력부(240)는 디스플레이 등일 수 있음은 앞서 설명한 바와 같고, 또한 제3 객체정보의 출력 방식에 제한이 없다는 것 역시 앞선 내용과 마찬가지이다.The output unit 240 outputs third object information of the object generated by the analysis unit 230. It is as described above that the output unit 240 may be a display or the like, and it is also the same as the previous description that there is no limitation on the output method of the third object information.

다만 출력부(240)는 객체의 제3 객체정보를 활용하여, 객체의 예상 경로를 시각화하여 출력할 수 있다. 따라서 자선을 운항하는 관리자 입장에서, 객체와의 충돌 위험을 사전에 차단시킬 수 있는 운영이 가능해진다.However, the output unit 240 may visualize and output the expected path of the object by using the third object information of the object. Therefore, from the standpoint of a manager operating an own ship, an operation that can prevent the risk of collision with an object in advance becomes possible.

이와 같이 본 실시예는, 자선에 인접하는 객체에 대해 선수 방향을 객체정보로서 활용함에 따라, 영상이나 레이더 등으로 현재 수집될 수 없는 미래 정보인 운동 추적정보를 산출할 수 있게 되어, 운항 안전성을 혁신적으로 높일 수 있다.As described above, in this embodiment, by using the bow direction as object information for an object adjacent to the own ship, it is possible to calculate motion tracking information, which is future information that cannot be currently collected through images or radars, thereby improving navigation safety. It can be improved innovatively.

도 9 및 도 10은 본 발명의 제3 실시예에 따른 선박 운항 지원 시스템의 블록도이고, 도 11은 본 발명의 제3 실시예에 따른 선박 운항 지원 시스템의 분석 예시를 나타내는 도면이다.9 and 10 are block diagrams of a ship navigation support system according to a third embodiment of the present invention, and FIG. 11 is a view showing an analysis example of a ship navigation support system according to a third embodiment of the present invention.

도 9 내지 도 11을 참조하면, 본 발명의 제3 실시예에 따른 선박 운항 지원 시스템(1)은, 센서부(310), 분석부(320), 출력부(330)를 포함한다.9 to 11, the ship navigation support system 1 according to the third embodiment of the present invention includes a sensor unit 310, an analysis unit 320, and an output unit 330.

센서부(310)는, 자선을 기준으로 전방의 영상을 획득할 수 있다. 센서부(310)는 앞선 내용에서 설명한 것과 마찬가지로 영상의 획득이 가능한 이미지 센서(카메라) 등의 장비를 포함할 수 있다. 일례로 센서부(310)는, 자선의 좌우방향 중심에 마련되며 이미지 센서를 갖는 단안 카메라일 수 있다. The sensor unit 310 may acquire an image in front of the own ship. As described above, the sensor unit 310 may include equipment such as an image sensor (camera) capable of obtaining an image. For example, the sensor unit 310 may be a monocular camera provided at the center of the own ship in the left and right directions and having an image sensor.

또한 본 실시예에서 센서부(310)는 자선의 전방에서 수평선이 포함되는 영상을 획득할 수 있다. 이를 위해 센서부(310)의 설치 위치, 각도 등이 적절하게 세팅될 수 있으며, 센서부(310)는 선박에서 높이가 높은 데크 하우스 상부나 선교 등에 마련될 수 있다.In addition, in the present embodiment, the sensor unit 310 may acquire an image including a horizontal line in front of the own ship. To this end, the installation position, angle, etc. of the sensor unit 310 may be appropriately set, and the sensor unit 310 may be provided on a deck house or a bridge having a high height on a ship.

분석부(320)는, 센서부(310)에 의해 수집된 영상을 통해 자선의 자세정보를 산출할 수 있다. 특히 분석부(320)는, 영상 내에 포함된 수평선을 분석하여 자세정보를 산출해낼 수 있다.The analysis unit 320 may calculate the attitude information of the own ship through the image collected by the sensor unit 310. In particular, the analysis unit 320 may calculate posture information by analyzing a horizontal line included in the image.

분석부(320)는, 수평선 추출부(321), 수평선 분석부(322), 자세 산출부(323)를 포함한다. 수평선 추출부(321)는 영상에 포함되어 있는 현재 수평선을 추출할 수 있으며, 수평선은 면적이 없는 직선의 형태로 추출될 수 있다.The analysis unit 320 includes a horizontal line extraction unit 321, a horizontal line analysis unit 322, and a posture calculation unit 323. The horizontal line extractor 321 may extract the current horizontal line included in the image, and the horizontal line may be extracted in the form of a straight line without an area.

수평선 분석부(322)는, 수평선 추출부(321)가 추출하는 현재 수평선을, 기준 수평선과 대비한다. 여기서 기준 수평선이라 함은 자선이 기설정 자세일 때의 수평선으로서, 자선이 횡동요인 롤링(rolling)이나 종동요인 피칭(pitching)이 없는 정수 중에 놓여있을 때 센서부(310)가 획득하는 영상 내의 수평선으로서 설정될 수 있다.The horizontal line analysis unit 322 compares the current horizontal line extracted by the horizontal line extraction unit 321 with a reference horizontal line. Here, the reference horizontal line refers to a horizontal line when the own ship is in a preset posture, and an image obtained by the sensor unit 310 when the own ship is placed in a constant without rolling or pitching, which is a lateral movement factor. It can be set as the horizontal line within.

즉 기준 수평선은, 자선의 자세정보를 추출하기 위한 기준값으로서, 현재 수평선이 기준 수평선과 일치하는 경우 자선의 자세는 움직임이 없는 기준 상태가 될 수 있다.That is, the reference horizontal line is a reference value for extracting the attitude information of the own ship, and when the current horizontal line coincides with the reference horizontal line, the attitude of the own ship may be in a reference state without movement.

자세 산출부(323)는, 기준 수평선 대비 현재 수평선의 차이를 토대로 자선의 자세 정보를 산출한다. 구체적으로 자세 산출부(323)는, 롤링과 피칭을 각각 구분하여 산출해낼 수 있다.The attitude calculating unit 323 calculates the attitude information of the own ship based on the difference between the current horizontal line and the reference horizontal line. Specifically, the posture calculation unit 323 may calculate rolling and pitching separately.

도 11을 참조하면, 센서부(310)에 의해 획득된 영상 내의 현재 수평선이, 기설정된 기준 수평선 대비 중앙 부분에서 상방으로 편향되고 일정각도 기울어진 것을 알 수 있다.Referring to FIG. 11, it can be seen that the current horizontal line in the image acquired by the sensor unit 310 is deflected upward at a center portion compared to a preset reference horizontal line and is inclined at a certain angle.

이때 자세 산출부(323)는, 기준 수평선 대비 현재 수평선의 기울기를 이용하여 자선의 롤링 각도를 산출할 수 있다. 또한 자세 산출부(323)는 기준 수평선 대비 현재 수평선의 상하 편차를 이용하여 자선의 피칭 각도를 산출해낼 수 있다.At this time, the posture calculating unit 323 may calculate the rolling angle of the own ship by using the inclination of the current horizontal line relative to the reference horizontal line. In addition, the posture calculation unit 323 may calculate the pitching angle of the own ship by using the vertical deviation of the current horizontal line with respect to the reference horizontal line.

롤링 각도의 산출 시 기울기는 기준 수평선과 현재 수평선이 이루는 각도로서 이용될 수 있으며, 피칭 각도의 산출 시 상하 편차는 기준 수평선에서의 중심점과 현재 수평선에서의 중심점 간의 상하 이격 거리를 활용할 수 있다.When calculating the rolling angle, the slope may be used as an angle between the reference horizontal line and the current horizontal line, and the vertical deviation when calculating the pitching angle may utilize the vertical separation distance between the center point on the reference horizontal line and the center point on the current horizontal line.

이때 중심점은, 영상 내에서 좌우 방향으로 중앙에 위치하는 점을 의미할 수 있고, 센서부(310)가 선박에서 폭방향으로 센터라인(C.L.)에 마련되어 있고 기울어져 있지 않다면, 중심점은 선박의 센터라인의 연장선 상에 놓여 있을 수 있다.At this time, the center point may mean a point located in the center in the left and right directions in the image, and if the sensor unit 310 is provided on the center line CL in the width direction in the ship and is not inclined, the center point is the center of the ship. It can lie on an extension of the line.

물론 센서부(310)가 제대로 설치되지 않은 경우에는 위의 롤링 각도나 피칭 각도의 계산에 오류가 발생할 수 있는데, 이는 이하에서 후술하는 제4 실시예에서의 센서부(310) 탑재 교정을 통해 해소 가능함을 알려둔다.Of course, if the sensor unit 310 is not properly installed, an error may occur in the calculation of the rolling angle or the pitching angle, which is solved through calibration of the sensor unit 310 mounted in the fourth embodiment to be described later. Note that it is possible.

출력부(330)는, 위와 같이 분석부(320)에 의하여 도출되는 자선의 자세정보를 출력한다. 출력부(330)는 디스플레이 등일 수 있음은 앞서 설명한 바와 같으며, 롤링 각도 등을 디스플레이 상에서 숫자 등으로 표현할 수 있다.The output unit 330 outputs the attitude information of the own ship derived by the analysis unit 320 as described above. As described above, the output unit 330 may be a display or the like, and the rolling angle may be expressed as a number or the like on the display.

다만 롤링 각도나 피칭 각도가 임계값을 넘어서는 경우에는 출력 방식이 변경될 수 있고, 일례로 롤링 각도가 제1 임계값을 넘어서면 화면 반전 등의 강조 효과를 활용하고, 롤링 각도가 제2 임계값을 넘어서면 음향 효과를 추가로 활용하여 관리자에게 적절한 조치가 필요함을 긴급히 안내할 수 있다.However, if the rolling angle or pitching angle exceeds the threshold value, the output method may be changed.For example, if the rolling angle exceeds the first threshold value, an emphasis effect such as screen reversal is used, and the rolling angle is the second threshold value. If it exceeds, additional sound effects can be used to urgently inform the manager of the need for appropriate action.

이와 같이 본 실시예는, 선박의 기울기를 자이로미터 등을 대신하거나 자이로미터 등과 함께, 전방 영상에 포함되는 수평선의 기울기 등을 이용하여 산출해냄으로써, 자선의 제어에 대한 신뢰성을 대폭 향상시킬 수 있다.As described above, in this embodiment, the inclination of the ship is calculated using the inclination of the horizontal line included in the front image in place of the gyrometer or the like, and thus the reliability of the control of the own ship can be greatly improved. .

도 12 및 도 13은 본 발명의 제4 실시예에 따른 선박 운항 지원 시스템의 블록도이다.12 and 13 are block diagrams of a ship navigation support system according to a fourth embodiment of the present invention.

도 12 및 도 13을 참조하면, 본 발명의 제4 실시예에 따른 선박 운항 지원 시스템(1)은, 가상부(410), 센서부(420), 분석부(430), 교정부(440)를 포함한다.12 and 13, the ship navigation support system 1 according to the fourth embodiment of the present invention includes a virtual unit 410, a sensor unit 420, an analysis unit 430, and a calibration unit 440. Includes.

가상부(410)는, 자선의 제원정보 및 자선에 탑재되는 장비의 탑재정보를 토대로, 장비에 의하여 수집될 수 있는 가상의 수집정보를 생성한다. 여기서 장비는 자선의 제원정보가 적어도 부분적으로 포함되는 데이터를 수집하는 장치일 수 있다.The virtual unit 410 generates virtual collection information that can be collected by the equipment based on the specification information of the own ship and the mounting information of the equipment mounted on the own ship. Here, the equipment may be a device that collects data at least partially including the specification information of the own ship.

일례로 장비는, 자선의 외형에 대한 정보를 부분적으로 포함하는 데이터를 수집할 수 있고, 구체적으로 장비는 자선의 외형을 포함한 영상을 획득하는 이미지 센서(카메라) 등일 수 있다. 또한 장비는 앞서 제3 실시예에서 설명한 것과 같이 수평선을 포함하는 영상을 획득하는 이미지 센서일 수 있다.As an example, the equipment may collect data that partially includes information on the outer shape of the own ship, and specifically, the equipment may be an image sensor (camera) that acquires an image including the outer shape of the own ship. In addition, the device may be an image sensor that acquires an image including a horizontal line as described in the third embodiment.

가상부(410)는, 선박정보 입력부(411), 장비정보 입력부(412), 가상정보 생성부(413)를 포함한다. 선박정보 입력부(411)는, 자선의 제원정보로서 자선의 도면정보를 입력받을 수 있다. 이때 자선의 도면정보에는 장비에 의하여 획득되는 데이터와 중첩될 수 있는 부분이 포함된다.The virtual unit 410 includes a ship information input unit 411, an equipment information input unit 412, and a virtual information generation unit 413. The ship information input unit 411 may receive drawing information of the own ship as specification information of the own ship. At this time, the own ship's drawing information includes a part that can overlap with data acquired by the equipment.

장비정보 입력부(412)는, 자선에 탑재되는 장비의 탑재정보로서 장비의 설치위치 및 자세정보를 입력받는다. 장비는 제3 실시예에서와 유사하게 데크하우스 등과 같이 선박에서 높이가 높은 위치에 설치될 수 있으며, 전방의 영상을 왜곡 없이 획득하기 위하여 수평하게 설치될 수 있다.The equipment information input unit 412 receives information on an installation position and posture of the equipment as the information on the equipment to be mounted on the own ship. Similar to the third embodiment, the equipment may be installed at a high position on a ship, such as a deckhouse, and may be installed horizontally to obtain an image of the front without distortion.

다만 장비정보 입력부(412)가 입력받는 장비의 자세정보 등은, 장비의 설치 시 요구되는 세팅 정보를 의미하며, 현재 장비가 기울어져 있다고 하여 기울어진 자세정보를 입력받는 것은 아니다.However, the attitude information of the equipment received by the equipment information input unit 412 means setting information required when the equipment is installed, and the fact that the equipment is currently inclined does not mean that the inclined posture information is input.

가상정보 생성부(413)는, 자선의 도면정보 및 장비의 설치위치 및 자세정보를 토대로 장비에 의해 수집될 수 있는 가상의 수집정보를 생성한다. 일례로 가상정보 생성부(413)는, 자선의 도면정보에 포함된 외형을 장비의 촬영 각도 등을 고려하여 변형시켜서, 설계값에 따라 설치된 장비라면 응당 획득해야 하는 자선의 외형 데이터를 가상으로 만들어낼 수 있다.The virtual information generation unit 413 generates virtual collection information that can be collected by the equipment based on the drawing information of the own ship and the installation location and attitude information of the equipment. As an example, the virtual information generation unit 413 transforms the appearance included in the own ship's drawing information in consideration of the shooting angle of the equipment, and creates a virtual appearance data of the own ship that should be obtained if the equipment is installed according to the design value. I can do it.

센서부(420)는, 장비에 의해 수집되는 현실의 수집정보를 수집한다. 센서부(420)는 장비인 이미지 센서로부터 획득되는 데이터를 전달받아 분석부(430)에 제공하는 구성일 수 있고, 또는 장비 자체가 센서부(420)를 의미하는 것도 가능하다.The sensor unit 420 collects actual collection information collected by the equipment. The sensor unit 420 may be configured to receive data acquired from an image sensor, which is an equipment, and provide it to the analysis unit 430, or the equipment itself may mean the sensor unit 420.

이하에서는 편의상 장비와 센서부(420)가 동일 구성인 것으로 가정하여 설명한다.Hereinafter, for convenience, it is assumed that the device and the sensor unit 420 have the same configuration.

분석부(430)는, 가상부(410)에 의해 생성된 가상의 수집정보와 센서부(420)에 의해 수집된 현실의 수집정보를 분석하여 장비의 탑재 상태정보를 분석할 수 있다. 분석부(430)는 가상정보 생성부(413)에 의해 생성된 가상의 수집정보 대비, 센서부(420)가 획득한 현실의 수집정보의 차이를 토대로 장비의 탑재 정보로서 장비에 대한 교정신호를 생성할 수 있다.The analysis unit 430 may analyze the virtual collection information generated by the virtual unit 410 and the actual collection information collected by the sensor unit 420 to analyze the mounting state information of the equipment. The analysis unit 430 is based on the difference between the virtual collection information generated by the virtual information generation unit 413 and the actual collection information acquired by the sensor unit 420, and generates a calibration signal for the equipment as the mounting information of the equipment. Can be generated.

일례로 가상의 수집정보는 장비가 설계 제원에 맞춰 마련되어 있을 경우 현실의 수집정보와 일치하게 될 것인데(다만 가상부(410)에 의해 생성되는 가상의 수집정보는 촬영 영상 자체가 될 수는 없으므로, 여기서 일치라 함은 색상이나 이미지 타입 등의 차이는 허용하되 외곽선 등과 같은 특징점은 일치하는 상태를 말하는 것일 수 있다.), 현실의 수집정보가 가상의 수집정보와 어긋나게 되면, 이는 장비의 탑재 상태가 설계 제원에서 벗어나 있다는 것을 의미한다.As an example, the virtual collection information will match the actual collection information if the equipment is provided according to the design specifications (however, since the virtual collection information generated by the virtual unit 410 cannot be the captured image itself, Here, the coincidence may refer to a state in which differences in color or image type are allowed, but feature points such as outlines are coincident.) If the collected information in reality deviates from the collected information in the virtual, this means that the mounting state of the device is changed. It means that it is out of design specifications.

즉 분석부(430)는, 현실의 수집정보가 가상의 수집정보로부터 얼마나 벗어나 있는지에 따라, 장비를 설계 제원에 맞게 설치된 상태로 복구시키기 위한 교정신호를 생성하게 된다.That is, the analysis unit 430 generates a calibration signal for restoring the equipment to a state installed in accordance with the design specifications according to how far the collected information in reality deviates from the virtual collected information.

이와 같이 분석부(430)는 센서부(420)에 의해 실제로 수집되는 수집정보를, 센서부(420)가 제대로 설치되어 있을 경우를 가정해 수집되어야 할 가상의 수집정보와 매칭시키면서 센서부(420)의 설치 상태를 점검할 수 있게 된다.In this way, the analysis unit 430 matches the collected information actually collected by the sensor unit 420 with the virtual collection information to be collected on the assumption that the sensor unit 420 is properly installed, and the sensor unit 420 ), you can check the installation status.

및/또는 분석부(430)는, 앞서 제3 실시예에서 설명한 수평선의 차이를 활용할 수도 있다. 즉 분석부(430)는, 가상의 수집정보에 포함되는 기준 수평선 대비, 현실의 수집정보에 포함되는 현재 수평선의 차이를 토대로, 장비의 탑재 상태정보로서 장비에 대한 교정신호를 생성할 수 있다.And/or the analysis unit 430 may utilize the difference between the horizontal lines described in the third embodiment. That is, the analysis unit 430 may generate a calibration signal for the equipment as the mounting state information of the equipment based on a difference between the reference horizontal line included in the virtual collection information and the current horizontal line included in the actual collected information.

물론 이 경우 자이로미터 등의 데이터를 함께 활용하여, 선박의 자세정보가 교정신호를 왜곡하지 않도록 계산을 수행하는 것이 가능하다. 즉 선박이 기울어진 상태에서 수평선의 차이를 이용하면, 장비는 제대로 설치되어 있는데 교정신호가 생성될 수 있다.Of course, in this case, it is possible to perform calculations so that the attitude information of the ship does not distort the calibration signal by using data such as a gyrometer together. That is, if the difference between the horizontal line is used while the ship is inclined, a correction signal can be generated even though the equipment is properly installed.

따라서 분석부(430)는, 수평선의 차이에서 자이로미터 등의 외부 측정장비로부터 획득한 선박의 자세정보를 제한 뒤, 여전히 존재하는 수평선의 차이를 이용하여 장비의 교정신호를 생성하는 것이 가능하다.Therefore, the analysis unit 430, after limiting the attitude information of the ship acquired from external measuring equipment such as a gyrometer, from the difference between the horizontal line, it is possible to generate a calibration signal of the equipment by using the difference between the horizontal line that still exists.

교정부(440)는, 분석부(430)에 의해 산출된 장비의 탑재 상태정보를 출력한다. 교정부(440)는 앞선 출력부(140, 240, 330)와 유사하게 디스플레이 등을 이용하여 장비의 교정신호를 출력하게 되는데, 다만 교정부(440)는 선박 운항의 총 관리를 위한 디스플레이가 아니라, 장비의 담당자가 보유한 단말기에 교정신호 등을 알람과 함께 출력하는 것이 바람직할 수 있다.The calibration unit 440 outputs the mounting state information of the equipment calculated by the analysis unit 430. The calibration unit 440 outputs the calibration signal of the equipment using a display, similar to the previous output units 140, 240, 330, but the calibration unit 440 is not a display for total management of ship operations. In addition, it may be desirable to output a calibration signal, etc., along with an alarm to a terminal held by the person in charge of the equipment.

이와 같이 본 실시예는, 선박에 마련되는 장비의 상태가 바람직한 상태에 설치되어 있는 것인지를, 직접 장비에 접근하지 않더라도 점검 가능하도록 하여 효율적인 장비 관리를 가능케 한다.As described above, the present embodiment enables efficient equipment management by making it possible to check whether the equipment provided on the ship is installed in a desirable state, even without direct access to the equipment.

본 발명은 앞서 설명된 실시예 외에도, 상기 실시예들 중 적어도 둘 이상의 조합 또는 적어도 하나 이상의 상기 실시예와 공지기술의 조합에 의해 발생하는 실시예들을 모두 포괄한다.In addition to the above-described embodiments, the present invention encompasses all embodiments generated by a combination of at least two or more of the above embodiments or a combination of at least one or more of the above embodiments and known techniques.

이상 본 발명을 구체적인 실시예를 통하여 상세히 설명하였으나, 이는 본 발명을 구체적으로 설명하기 위한 것으로, 본 발명은 이에 한정되지 않으며, 본 발명의 기술적 사상 내에서 당해 분야의 통상의 지식을 가진 자에 의해 그 변형이나 개량이 가능함은 명백하다고 할 것이다.Although the present invention has been described in detail through specific examples, this is for explaining the present invention in detail, and the present invention is not limited thereto, and within the technical scope of the present invention, by those of ordinary skill in the art. It would be clear that the transformation or improvement is possible.

본 발명의 단순한 변형 내지 변경은 모두 본 발명의 영역에 속하는 것으로 본 발명의 구체적인 보호 범위는 첨부된 특허청구범위에 의하여 명확해질 것이다.All simple modifications to changes of the present invention belong to the scope of the present invention, and the specific scope of protection of the present invention will be made clear by the appended claims.

1: 선박 운항 지원 시스템 110: 추정부
111: 센서부 112: 탐지부
113: 정보 추정부 120: 수집부
130: 분석부 131: 정보 융합부
132: 위험 산출부 140: 출력부
210: 추정부 211: 센서부
212: 탐지부 213: 정보 추정부
220: 수집부 230: 분석부
240: 출력부 310: 센서부
320: 분석부 321: 수평선 추출부
322: 수평선 분석부 323: 자세 산출부
330: 출력부 410: 가상부
411: 선박정보 입력부 412: 장비정보 입력부
413: 가상정보 생성부 420: 센서부
430: 분석부 440: 교정부
1: ship operation support system 110: estimation unit
111: sensor unit 112: detection unit
113: information estimation unit 120: collection unit
130: analysis unit 131: information fusion unit
132: risk calculation unit 140: output unit
210: estimation unit 211: sensor unit
212: detection unit 213: information estimation unit
220: collection unit 230: analysis unit
240: output unit 310: sensor unit
320: analysis unit 321: horizontal line extraction unit
322: horizontal line analysis unit 323: posture calculation unit
330: output unit 410: virtual unit
411: ship information input unit 412: equipment information input unit
413: virtual information generation unit 420: sensor unit
430: analysis unit 440: calibration unit

Claims (5)

자선을 기준으로 전방의 영상을 획득하는 센서부;
상기 센서부에 의해 수집된 상기 영상에서 수평선을 분석하여 상기 자선의 자세정보를 산출하는 분석부; 및
상기 분석부에 의해 산출된 상기 자선의 자세정보를 출력하는 출력부를 포함하는 것을 특징으로 하는 선박 운항 지원 시스템.
A sensor unit that acquires an image in front of the own ship;
An analysis unit that calculates posture information of the own ship by analyzing a horizontal line from the image collected by the sensor unit; And
And an output unit for outputting the attitude information of the own ship calculated by the analysis unit.
제 1 항에 있어서, 상기 센서부는,
상기 자선의 좌우방향 중심에 마련되며 이미지 센서를 갖는 단안 카메라인 것을 특징으로 하는 선박 운항 지원 시스템.
The method of claim 1, wherein the sensor unit,
Ship navigation support system, characterized in that provided in the center of the left and right direction of the own ship and characterized in that it is a monocular camera having an image sensor.
제 1 항에 있어서, 상기 분석부는,
상기 영상에 포함되어 있는 현재 수평선을 추출하는 수평선 추출부;
상기 자선이 기설정 자세일 때의 수평선을 기준 수평선으로 설정한 뒤, 상기 현재 수평선을 상기 기준 수평선과 대비하는 수평선 분석부; 및
상기 기준 수평선 대비 상기 현재 수평선의 차이를 토대로 상기 자선의 자세정보를 산출하는 자세 산출부를 포함하는 것을 특징으로 하는 선박 운항 지원 시스템.
The method of claim 1, wherein the analysis unit,
A horizontal line extracting unit for extracting a current horizontal line included in the image;
A horizontal line analyzer configured to set a horizontal line when the own ship is in a preset posture as a reference horizontal line, and then compare the current horizontal line with the reference horizontal line; And
And an attitude calculation unit that calculates the attitude information of the own ship based on a difference between the current horizontal line and the reference horizontal line.
제 3 항에 있어서, 상기 자세 산출부는,
상기 기준 수평선 대비 상기 현재 수평선의 기울기를 이용하여 상기 자선의 롤링 각도를 산출하며, 상기 기준 수평선 대비 상기 현재 수평선의 상하 편차를 이용하여 상기 자선의 피칭 각도를 산출하는 것을 특징으로 하는 선박 운항 지원 시스템.
The method of claim 3, wherein the posture calculation unit,
A ship navigation support system, characterized in that the rolling angle of the own ship is calculated by using the inclination of the current horizontal line with respect to the reference horizontal line, and the pitching angle of the own ship is calculated by using the vertical deviation of the current horizontal line with respect to the reference horizontal line. .
제 1 항 내지 제 4 항 중 어느 한 항의 상기 선박 운항 지원 시스템을 갖는 것을 특징으로 하는 선박.A ship comprising the ship navigation support system according to any one of claims 1 to 4.
KR1020200028644A 2019-10-15 2020-03-06 support system for vessel operation and ship having the same KR102269384B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190128047 2019-10-15
KR1020190128047 2019-10-15

Publications (2)

Publication Number Publication Date
KR20210044674A true KR20210044674A (en) 2021-04-23
KR102269384B1 KR102269384B1 (en) 2021-06-25

Family

ID=75738322

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020200028636A KR102269385B1 (en) 2019-10-15 2020-03-06 support system for vessel operation and ship having the same
KR1020200028644A KR102269384B1 (en) 2019-10-15 2020-03-06 support system for vessel operation and ship having the same
KR1020200028649A KR102269386B1 (en) 2019-10-15 2020-03-06 support system for vessel operation and ship having the same
KR1020200028640A KR102269383B1 (en) 2019-10-15 2020-03-06 support system for vessel operation and ship having the same

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020200028636A KR102269385B1 (en) 2019-10-15 2020-03-06 support system for vessel operation and ship having the same

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020200028649A KR102269386B1 (en) 2019-10-15 2020-03-06 support system for vessel operation and ship having the same
KR1020200028640A KR102269383B1 (en) 2019-10-15 2020-03-06 support system for vessel operation and ship having the same

Country Status (1)

Country Link
KR (4) KR102269385B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102455565B1 (en) * 2021-11-29 2022-10-17 한국해양과학기술원 System and method for multi-image-based vessel proximity situation recognition support

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007003260A (en) * 2005-06-22 2007-01-11 Shimadzu Corp Hull magnetism measurement system
JP2008514483A (en) * 2004-09-29 2008-05-08 シー オン ライン Anti-collision alarm device and anti-collision analysis method for marine vehicles
KR20150107539A (en) * 2014-03-14 2015-09-23 (주)유일 Double checking level horizon for ship and method thereof

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007022349A (en) * 2005-07-19 2007-02-01 Shipbuilding Research Centre Of Japan Ship front side monitoring system
KR101683274B1 (en) * 2014-11-24 2016-12-06 (주)세이프텍리서치 System for supporting vessel berth using unmanned aerial vehicle and the method thereof
KR102251720B1 (en) * 2015-03-16 2021-05-17 한국전자통신연구원 Method and apparatus for preventing a collision of ship
KR101941521B1 (en) * 2016-12-07 2019-01-23 한국해양과학기술원 System and method for automatic tracking of marine objects
KR101882483B1 (en) * 2018-01-24 2018-07-27 엘아이지넥스원 주식회사 Apparatus and method for detecting obstacle by unmanned surface vessel

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008514483A (en) * 2004-09-29 2008-05-08 シー オン ライン Anti-collision alarm device and anti-collision analysis method for marine vehicles
JP2007003260A (en) * 2005-06-22 2007-01-11 Shimadzu Corp Hull magnetism measurement system
KR20150107539A (en) * 2014-03-14 2015-09-23 (주)유일 Double checking level horizon for ship and method thereof

Also Published As

Publication number Publication date
KR102269384B1 (en) 2021-06-25
KR102269383B1 (en) 2021-06-25
KR20210044675A (en) 2021-04-23
KR102269386B1 (en) 2021-06-25
KR20210044672A (en) 2021-04-23
KR102269385B1 (en) 2021-06-25
KR20210044673A (en) 2021-04-23

Similar Documents

Publication Publication Date Title
US10538299B2 (en) Predictive sea state mapping for ship motion control
Zhang et al. Subsea pipeline leak inspection by autonomous underwater vehicle
CN110414396B (en) Unmanned ship perception fusion algorithm based on deep learning
Zhuang et al. Radar-based collision avoidance for unmanned surface vehicles
KR102235787B1 (en) Device and method for monitoring a berthing
CN103697855B (en) A kind of hull horizontal attitude measuring method detected based on sea horizon
JP2018503913A (en) Ship auxiliary docking method and system
CN105184816A (en) Visual inspection and water surface target tracking system based on USV and detection tracking method thereof
CN106710313A (en) Method and system for ship in bridge area to actively avoid collision based on laser three-dimensional imaging technique
US20220024549A1 (en) System and method for measuring the distance to an object in water
CN104535066A (en) Marine target and electronic chart superposition method and system in on-board infrared video image
Zhou et al. Mapping the underside of an iceberg with a modified underwater glider
Han et al. Three-dimensional reconstruction of a marine floating structure with an unmanned surface vessel
Robinette et al. Sensor evaluation for autonomous surface vehicles in inland waterways
Sangekar et al. Development of a landing algorithm for autonomous underwater vehicles using laser profiling
CN114061565B (en) Unmanned ship SLAM and application method thereof
Lin et al. Environment perception and object tracking for autonomous vehicles in a harbor scenario
KR102269385B1 (en) support system for vessel operation and ship having the same
CN116486252A (en) Intelligent unmanned search and rescue system and search and rescue method based on improved PV-RCNN target detection algorithm
KR102428892B1 (en) support system for vessel operation and ship having the same
CN104215967A (en) Precise measurement system and method for spatial positions between two ships
Foresti et al. Autonomous underwater vehicle guidance by integrating neural networks and geometric reasoning
KR20230164518A (en) Ocean information prediction system and vessel comprising the same
Xuefeng et al. Ship behavior recognition based on infrared video analysis in a maritime environment
Kennedy Development of an exteroceptive sensor suite on unmanned surface vessels for real-time classification of navigational markers

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant