KR20170133010A - Safe docking system of ships using camera image and method thereof - Google Patents
Safe docking system of ships using camera image and method thereof Download PDFInfo
- Publication number
- KR20170133010A KR20170133010A KR1020160063893A KR20160063893A KR20170133010A KR 20170133010 A KR20170133010 A KR 20170133010A KR 1020160063893 A KR1020160063893 A KR 1020160063893A KR 20160063893 A KR20160063893 A KR 20160063893A KR 20170133010 A KR20170133010 A KR 20170133010A
- Authority
- KR
- South Korea
- Prior art keywords
- ship
- image
- fixed
- distance
- camera
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G3/00—Traffic control systems for marine craft
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING
- B63B21/00—Tying-up; Shifting, towing, or pushing equipment; Anchoring
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G3/00—Traffic control systems for marine craft
- G08G3/02—Anti-collision systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING
- B63B21/00—Tying-up; Shifting, towing, or pushing equipment; Anchoring
- B63B2021/003—Mooring or anchoring equipment, not otherwise provided for
Abstract
Description
본 발명은 카메라 영상을 이용한 선박의 안전접안 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 카메라로 촬영되는 영상을 이용하여 고정 항만 또는 고정 선박에 접안하는 선박을 안전하게 접안시킬 수 있는 카메라 영상을 이용한 선박의 안전접안 시스템 및 그 방법에 관한 것이다.The present invention relates to a safety eyepiece system and method for a ship using camera images, and more particularly to a safety eyepiece system using a camera image capable of safely biding a ship docked at a fixed port or a fixed ship, The present invention relates to a safety eyepiece system and a method thereof.
도선사는 항만·운하·강 등의 일정한 도선 구역에서 선박에 탑승하여 해당 선박을 안전한 수로로 안내하고, 선박이 항구에 안전하게 정박할 수 있도록 입ㆍ출항을 인도한다. 그런데, 해협, 항만 또는 연안 구역에서는 선박의 안전한 항해를 위협하는 요소들이 많으므로, 도선사는 경험에 의존하거나, 풍속, 풍향, 기상, 조류 등을 고려하여 선박의 항로와 속도를 조정해야만 한다. 따라서 실시간으로 고정 항만의 정확한 위치를 확인하고 고정 항만과 이동 선박 간의 상대위치를 검출하여 선박을 안전히 항만에 정박하게 도와줄 수 있는 시스템이 필요하였다.The pilot will board the ship in a fixed area such as a port, a canal, or a river, guide the ship to a safe waterway, and deliver the vessel in and out so that the vessel can berth securely in the port. However, in the strait, harbor or coastal area, there are many factors that threaten the safe navigation of the ship. Therefore, the pilot must adjust the course and speed of the ship in consideration of experience or considering the wind speed, wind direction, weather, Therefore, a system was needed to identify the exact position of the fixed port in real time and to detect the relative position between the fixed port and the moving ship and to help the ship to berth securely in the port.
등록특허 10-1452994호(선박의 안전접안 시스템)는 이러한 문제를 해결하기 위한 것으로서, 고정 항만 또는 고정 선박에 배치되는 안전접안 서버와 안전접안 서버와 통신하는 이동형 안전접안 장치를 구비하여 실시간으로 고정 항만 또는 고정 선박과 이동 선박간의 거리를 측정하여 선박을 안전하게 정박시킬 수 있도록 도와주는 안전접안 시스템에 관한 것이다.In order to solve such a problem, Japanese Laid-Open Patent Publication No. 10-1452994 (Ship's safety eyepiece system) is equipped with a safety eyepiece server arranged in a fixed port or a fixed ship and a movable safety eyepiece device communicating with a safety eyepiece server, The present invention relates to a safety eyepiece system for measuring the distance between a port or a fixed ship and a moving ship, thereby helping to berth the ship safely.
등록특허 10-1452994호는 안전접안 서버가 GPS 수신기, 접안하는 선박에 대한 영상정보를 수집하는 카메라, 안전접안 장치와 통신하는 안테나 등을 구비해야 하며, 이동선박에는 이동선박의 위치정보를 수집하는 GPS 수신기, 사용자 화면을 제시하는 디스플레이, 안전접안 서버와 통신하는 안테나 등을 구비해야 한다.Japanese Patent Application Laid-Open No. 10-1452994 discloses a safety eyepiece server having a GPS receiver, a camera for collecting image information about a ship to berth, an antenna for communicating with a safety eyepiece, and the like. A GPS receiver, a display for presenting a user screen, an antenna for communicating with a safety eyewear server, and the like.
등록특허 10-1452994호에 의하면 상기에서 살펴본 바와 같이 고정 항만 또는 고정 선박에 별도의 고가 장비를 추가로 구비해야 할 뿐만 아니라 접안하는 이동선박에도 안전접안 서버와 통신을 위한 별도의 장비를 구비해야 하므로 장비 설치비용이 많이 들뿐만 아니라, 두 개의 장비 사이에 통신 두절 등의 문제가 발생하는 경우 선박충돌의 사고가 발생할 위험이 있다.As described above, according to the above-mentioned Japanese Patent Application No. 10-1452994, it is necessary not only to additionally provide additional high-priced equipment to the fixed port or the fixed ship, but also to provide a separate equipment for communication with the safety eyewear server In addition to the high installation cost of the equipment, there is a risk of collision accident if there is a problem such as communication disconnection between two equipment.
본 발명은 상기와 같은 문제점을 개선하기 위하여 발명된 것으로, 고정 항만 또는 고정 선박과 이에 접안하는 이동 선박 간에 위치 정보를 공유하지 않아도 이동 선박을 안전하게 접안시킬 수 있는 카메라 영상을 이용한 선박의 안전접안 시스템 및 그 방법을 제공하기 위한 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a safety eyepiece system using a camera image capable of safely docking a mobile ship without sharing location information between a fixed port or a fixed ship, And a method thereof.
고정 항만 또는 고정 선박에 설치되는 카메라를 통해 실시간으로 획득되는 차영상 정보를 이용하여 이동 선박의 위치 및 이동 선박까지의 거리를 측정할 수 있는 카메라 영상을 이용한 선박의 안전접안 시스템 및 그 방법을 제공하기 위한 것이다.Providing a safety eyepiece system and method for a ship using a camera image capable of measuring a position of a moving ship and a distance to the moving ship by using car image information obtained in real time through a camera installed in a fixed port or a fixed ship .
또한, 이동 선박의 접근 거리에 따라 단계별 경보를 발생시킬 뿐만 아니라, 카메라를 통해 파악되는 차영상 정보를 가지고 선박의 크기를 판단 후 선박의 크기에 따라 물체근접 위험경보를 발생시키는 거리를 다르게 적용할 수 있는 카메라 영상을 이용한 선박의 안전접안 시스템 및 그 방법을 제공하기 위한 것이다.In addition, not only does it generate a step-by-step alarm according to the approach distance of the moving ship, but also determines the size of the ship with the car image information captured through the camera, and applies the distance that generates the object proximity danger alarm according to the size of the ship And to provide a safety eyepiece system and method therefor using a camera image.
상기와 같은 목적을 달성하기 위하여, 본 발명은 고정 항만 또는 고정 선박에 설치되는 카메라; 상기 카메라가 획득하는 영상을 수신하는 영상수신부; 상기 영상수신부에서 수신되는 실시간 영상프레임을 차영상, 모폴로지(Morphology) 열림, 팽창 연산을 통해 선박을 감지하는 물체감지부; 상기 물체감지부에서 감지된 차영상 이미지 정보를 저장하는 차영상저장부; 상기 카메라 시야각에 들어오는 바다 영상을 위에서 아래까지 일정 간격으로 나누는 이미지구획부; 상기 이미지구획부에서 나눈 해수면의 각 위치에서 카메라까지 이어지는 선분과 고정 항만 또는 고정 선박에 설치된 카메라 수직축이 만나는 각도(θ)를 저장하는 각도저장부; 상기 각도저장부에 저장된 각 해수면 위치별 각도(θ)와 해수면에서 카메라까지의 높이(h)를 이용하여 상기 카메라가 설치된 고정 항만 또는 고정 선박으로부터 상기 이미지구획부에서 나눈 해수면의 각 위치까지의 거리(d)를 계산하여 저장하는 거리저장부; 및 상기 차영상저장부에 저장된 선박에 대한 차영상 이미지 정보와 상기 거리저장부에 저장된 이미지구획별 거리(d) 정보를 비교하여 선박이 고정 항만 또는 고정 선박 측으로 이동하는 것으로 판단되는 경우 단계별로 경보를 발생시키는 경보발생부를 포함한다.In order to achieve the above object, the present invention provides a camera installed in a fixed port or a fixed ship; An image receiving unit for receiving an image acquired by the camera; A physical object sensing unit for sensing a ship through a car image, a morphology opening and an expansion calculation of a real-time image frame received by the image receiving unit; A difference image storage unit for storing difference image information detected by the object detection unit; An image dividing unit dividing the image of the sea entering the camera viewing angle at regular intervals from top to bottom; An angle storage unit for storing an angle (?) Between a line segment extending from each position of the sea surface divided by the image partitioning unit to a camera and a vertical axis of a camera installed on a fixed port or a fixed ship; The distance from the fixed port where the camera is installed to each position of the sea surface divided from the image dividing section by using the angle (?) For each sea surface position stored in the angle storage section and the height (h) (d); And comparing the difference image information for the ship stored in the difference image storage unit with the distance information d for each image segment stored in the distance storage unit to determine whether the ship is moving to a fixed port or a fixed ship, And an alarm generator for generating an alarm.
상기 거리저장부는 이미지구획부에서 일정 간격으로 나눈 이미지 상에서의 각 위치 정보와 상기 카메라가 설치된 고정 항만 또는 고정 선박으로부터 상기 이미지 상에서의 각 위치가 가리키는 해수면까지의 거리(d)를 매핑하여 저장할 수 있다.The distance storage unit may store the distance information d on the image divided by the image dividing unit at a predetermined interval and the distance d from the fixed port where the camera is installed or the fixed sea to the sea level indicated by the respective positions on the image, .
상기 경보발생부는 선박의 차영상 이미지의 좌표값에 해당하는 이미지 상에서의 위치 정보를 파악하고, 해당하는 이미지 상에서의 위치가 가리키는 해수면까지의 거리(d)가 적어지는 경우 선박이 고정 항만 또는 고정 선박 측으로 이동하는 것으로 판단할 수 있다.When the distance (d) to the sea level indicated by the position on the corresponding image is small, when the ship is a fixed port or a fixed ship As shown in FIG.
상기 경보발생부는 선박에 대한 차영상 이미지의 좌표값 중 선박의 하부 지점을 나타내는 Y 축 좌표값에 가까운 이미지 상에서의 위치정보를 파악하여, 해당하는 이미지 상에서의 위치가 가리키는 해수면까지의 거리(d)가 적어지는 경우 선박이 고정 항만 또는 고정 선박 측으로 이동하는 것으로 판단할 수 있다.The alarm generating unit detects the position information on the image near the Y-axis coordinate value indicating the lower point of the ship among the coordinate values of the difference image for the ship and calculates the distance d to the sea level indicated by the position on the corresponding image, It can be judged that the ship moves to the fixed port or the fixed ship side.
상기 경보발생부는 선박을 최초 확인 시 물체확인 경보를 발생시키고, 선박이 접근하는 것으로 판단되는 경우 물체이동 경보를 발생시키며, 선박이 지정된 거리 내에 속하게 되는 경우 물체근접 위험경보를 발생시킬 수 있다.The alarm generator generates an object confirmation alarm when the ship is first checked, generates an object movement alarm when it is determined that the ship is approaching, and may generate an object proximity danger alarm when the ship is within a specified distance.
상기 선박에 대한 차영상 이미지 정보를 가지고 선박이 옆으로 접근하는지, 선수가 접근하는지 또는 선미가 접근하는지 판단하고, 선박의 전후 길이 또는 좌우 폭 정보를 가지고 선박의 크기를 결정하는 물체크기결정부를 더 포함하고, 상기 경보발생부는 물체크기결정부에서 결정된 선박의 크기를 복수의 등급으로 나누어 각 등급에 따라 상기 지정된 거리를 다르게 적용할 수 있다.An object size determining unit for determining the size of the ship with the information of the ship's image about the ship, determining whether the ship is approaching sideways, approaching the athlete or approaching the stern, And the alarm generating unit may divide the size of the ship determined by the object size determining unit into a plurality of classes and apply the designated distance differently according to each class.
한편, 상기와 같은 목적을 달성하기 위하여, 본 발명은 고정 항만 또는 고정 선박에 설치되는 카메라 시야각에 들어오는 바다 영상을 위에서 아래까지 일정 간격으로 나누어 이미지구획하는 단계; 상기 이미지구획되어 나누어진 해수면의 각 위치에서 카메라까지 이어지는 선분과 고정 항만 또는 고정 선박에 설치되는 카메라 수직축이 만나는 각도(θ)를 저장하는 단계; 상기 각 해수면 위치별 각도(θ)와 해수면에서 카메라까지의 높이(h)를 이용하여 카메라가 설치된 고정 항만 또는 고정 선박으로부터 상기 이미지구획하여 나누어진 해수면의 각 위치까지의 거리(d)를 계산하여 저장하는 단계; 상기 카메라에서 실시간 영상프레임을 수신하고, 차영상, 모폴로지(Morphology) 열림, 팽창 연산을 통해 선박을 감지하는 단계; 상기 감지된 차영상 이미지 정보를 저장하는 단계; 및 상기 저장된 선박에 대한 차영상 이미지 정보와 상기 저장된 이미지구획별 거리(d) 정보를 비교하여 선박이 고정 항만 또는 고정 선박 측으로 이동하는 것으로 판단되는 경우 단계별로 경보를 발생시키는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of detecting an image, the method comprising: dividing an image of a sea, which is installed in a fixed port or a fixed ship, Storing an angle (?) At which a line segment extending from the angular position of the sea divided by the image to the camera and the vertical axis of the camera installed at the fixed port or the fixed ship meet; The distance d from the fixed port where the camera is installed or the fixed ship to each position of the sea level divided by the image is calculated by using the angle θ by each sea level position and the height h from the sea level to the camera Storing; Receiving a real-time image frame from the camera, sensing a vessel through a car image, a morphology opening, and an expansion calculation; Storing the sensed difference image information; And comparing the difference image information of the stored ship with the distance information d of the stored image segment to generate an alarm for each step when it is determined that the ship is moving to the fixed port or the fixed ship.
상기 거리(d)를 계산하여 저장하는 단계는 이미지구획 단계에서 일정 간격으로 나눈 이미지 상에서의 각 위치 정보와 상기 카메라가 설치된 고정 항만 또는 고정 선박으로부터 상기 이미지 상에서의 각 위치가 가리키는 해수면까지의 거리(d)를 매핑하여 저장하고, 상기 경보를 발생시키는 단계는 선박의 차영상 이미지의 좌표값에 해당하는 이미지 상에서의 위치 정보를 파악하고, 해당하는 이미지 상에서의 위치가 가리키는 해수면까지의 거리(d)가 적어지는 경우 선박이 고정 항만 또는 고정 선박 측으로 이동하는 것으로 판단할 수 있다.The step of calculating and storing the distance d may include calculating the distance d from the position information on the image divided by the predetermined interval in the image segmentation step and the distance from the fixed port where the camera is installed or the fixed ship to the sea surface indicated by the position on the image, d), and generating the alarm, the position information on the image corresponding to the coordinate value of the difference image of the ship is grasped, and the distance d to the sea level indicated by the position on the corresponding image is calculated, It can be judged that the ship moves to the fixed port or the fixed ship side.
상기 경보를 발생시키는 단계는 선박에 대한 차영상 이미지의 좌표값 중 선박의 하부 지점을 나타내는 Y 축 좌표값에 가까운 이미지 상에서의 위치정보를 파악하여, 해당하는 이미지 상에서의 위치가 가리키는 해수면까지의 거리(d)가 적어지는 경우 선박이 고정 항만 또는 고정 선박 측으로 이동하는 것으로 판단할 수 있다.The generating of the alarm may include obtaining positional information on an image close to a Y-axis coordinate value indicating a lower point of the ship among the coordinate values of the difference image for the ship, determining the distance to the sea level indicated by the position on the corresponding image (d) is small, it can be judged that the ship is moving to the fixed port or fixed ship side.
상기 경보를 발생시키는 단계는 선박을 최초 확인 시 물체확인 경보를 발생시키고, 선박이 접근하는 것으로 판단되는 경우 물체이동 경보를 발생시키며, 선박이 지정된 거리 내에 속하게 되는 경우 물체근접 위험경보를 발생시키고, 상기 선박에 대한 차영상 이미지 정보를 가지고 선박이 옆으로 접근하는지, 선수가 접근하는지 또는 선미가 접근하는지 판단하고, 선박의 전후 길이 또는 좌우 폭 정보를 가지고 선박의 크기를 결정하며, 상기 결정된 선박의 크기를 복수의 등급으로 나누어 각 등급에 따라 상기 지정된 거리를 다르게 적용할 수 있다.The alarm generating step generates an object confirmation alarm upon initial confirmation of the ship, generates an object movement alarm when it is determined that the ship is approaching, generates an object proximity risk alarm when the ship is within a specified distance, Determines the size of the ship with the information about the length of the ship or the width of the ship, determines whether the ship is approaching sideways, approaches the athlete or approaches the ship with the difference image information for the ship, The size may be divided into a plurality of classes, and the specified distance may be applied differently according to each class.
상기와 같은 구성의 본 발명에 따르면, 다음과 같은 효과를 도모할 수 있다.According to the present invention having the above-described configuration, the following effects can be achieved.
우선, 본 발명은 고정 항만 또는 고정 선박과 이동 선박 간에 위치 정보를 서로 공유하지 않고도 운영이 가능하여 통신 두절의 문제를 걱정할 필요가 없으며 카메라를 통해 획득되는 차영상 정보를 이용하여 선박의 이동 여부 및 접근 거리를 측정할 수 있기 때문에 시스템을 간단하게 구성할 수 있다.First, the present invention can operate without sharing location information between a fixed port or a fixed ship and a moving ship, so there is no need to worry about communication disconnection. Since the distance can be measured, the system can be easily configured.
또한, 접안하는 이동 선박에는 별도의 장비가 필요하지 않으며 고정 항만 또는 고정 선박에 CCTV 카메라와 같은 일반 카메라만 설치되어 있으면 운영이 가능하기 때문에 장비 설치 비용이 상당히 저렴하다.In addition, there is no need for a special equipment for a moving ship to berth, and it is possible to operate the equipment if only a general camera such as a CCTV camera is installed in a fixed port or a fixed ship.
이동 선박의 접근 거리에 따라 단계별로 경보를 발생시킬 수 있고, 차영상 이미지로 판단되는 선박의 크기가 큰 경우는 접근 속도가 빠르고, 선박의 크기가 작은 경우는 접근 속도가 느리기 때문에 이와 같은 상황을 고려하여 차영상에서 판단되는 선박의 크기에 따라 물체근접 위험경보를 발생시키는 거리를 다르게 적용하여 선박의 충돌 위험을 사전에 효율적으로 대처할 수 있다.It is possible to generate alarm in stages according to the approach distance of the moving ship. If the size of the ship judged to be the car image is large, the approach speed is fast. If the size of the ship is small, It is possible to efficiently cope with the risk of collision of the ship in advance by applying different distances to generate object proximity risk alarm according to the size of the ship judged in the car image.
나아가, 충돌에 대한 경보를 음향 및 모니터에 출력할 수 있으며, 충돌예상정보를 AIS(Auto Identification System, 선박자동식별장치)에 연계함으로써, 이동 선박의 정보를 무선으로 전달할 수 있다.Furthermore, an alarm for collision can be output to the sound and monitor, and the information of the mobile ship can be transmitted wirelessly by associating the collision prediction information with the AIS (Auto Identification System).
도 1은 본 발명의 일 실시예에 따른 카메라 영상을 이용한 선박의 안전접안 시스템의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 카메라 영상을 이용한 선박의 안전접안 시스템이 적용되는 부유식 LNG 벙커링 터미널(FLBT, Floating LNG Bunkering Terminal)과 액화 천연가스 운반선(LNGC, LNG Carrier)의 예시도이다.
도 3은 본 발명의 일 실시예에 따라 이동 선박의 이미지 추출 테스트 결과이다.
도 4는 본 발명의 일 실시예에 따라 화면 이미지를 구획하고 각 구획지점이 가리키는 해수면의 위치까지의 거리(d)를 산출하여 화면 이미지에 표시한 예시도이다.
도 5는 본 발명의 또 다른 실시예에 따른 카메라 영상을 이용한 선박의 안전접안 방법의 순서도이다.1 is a block diagram illustrating a configuration of a safety eyepiece system using a camera image according to an embodiment of the present invention.
FIG. 2 is an exemplary view of a floating LNG bunkering terminal (FLBT) and a liquefied natural gas carrier (LNGC) to which a safety eyepiece system using a camera image according to an embodiment of the present invention is applied. to be.
3 is a result of image extraction test of a moving ship according to an embodiment of the present invention.
FIG. 4 is an exemplary diagram illustrating a screen image by dividing a screen image according to an embodiment of the present invention and calculating a distance d to the position of the sea level indicated by each of the divided points on a screen image.
5 is a flowchart of a method of safety eyepiece using a camera image according to another embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시예를 참조하면 명확해질 것이다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and how to accomplish them, will become apparent by reference to the embodiments described in detail below with reference to the accompanying drawings.
그러나, 본 발명은 이하에서 개시되는 실시예로 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이다.However, the present invention is not limited to the embodiments described below, but may be embodied in various other forms.
본 명세서에서 본 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.The present embodiments are provided so that the disclosure of the present invention is thoroughly disclosed and that those skilled in the art will fully understand the scope of the present invention.
그리고 본 발명은 청구항의 범주에 의해 정의될 뿐이다.And the present invention is only defined by the scope of the claims.
따라서, 몇몇 실시예에서, 잘 알려진 구성 요소, 잘 알려진 동작 및 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다.Thus, in some embodiments, well known components, well known operations, and well-known techniques are not specifically described to avoid an undesirable interpretation of the present invention.
또한, 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭하고, 본 명세서에서 사용된(언급된) 용어들은 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.In addition, throughout the specification, like reference numerals refer to like elements, and the terms (mentioned) used herein are intended to illustrate the embodiments and not to limit the invention.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함하며, '포함(또는, 구비)한다'로 언급된 구성 요소 및 동작은 하나 이상의 다른 구성요소 및 동작의 존재 또는 추가를 배제하지 않는다.In this specification, the singular forms include plural forms unless the context clearly dictates otherwise, and the constituents and acts referred to as " comprising (or comprising) " do not exclude the presence or addition of one or more other constituents and actions .
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다.Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense commonly understood by one of ordinary skill in the art to which this invention belongs.
또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.Also, commonly used predefined terms are not ideally or excessively interpreted unless they are defined.
이하, 첨부된 도면을 참고로 본 발명의 바람직한 실시예에 대하여 설명한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.
도 1 내지 도 4를 참고하면, 본 발명인 카메라 영상을 이용한 선박의 안전접안 시스템(100)은 카메라(110), 영상수신부(120), 물체감지부(130), 차영상저장부(140), 이미지구획부(150), 각도저장부(160), 거리저장부(170) 및 경보발생부(180)를 포함하며, 물체크기결정부(190)를 더 포함할 수 있다.1 to 4, a
영상수신부(120)에서 수신하는 영상은 카메라 영상 DB(121)에 저장하고, 차영상저장부(140)에서 저장하는 차영상 이미지는 차영상 DB(141)에 저장하고, 각도저장부(160)에서 저장하는 각도(θ)는 각도 DB(161)에 저장하고, 거리저장부(170)에서 저장하는 거리(d)는 거리 DB(171)에 저장할 수 있다.The image received by the
카메라(110)는 CCTV카메라 또는 스테레오 카메라 등 다양한 종류의 카메라가 사용될 수 있으며, 고정 항만 또는 고정 선박에 설치된다.The
도 2의 실시예에서는 카메라(110)가 고정 선박(1)인 부유식 LNG 벙커링 터미널(FLBT)에 설치된 예를 보여준다.In the embodiment of FIG. 2, the
영상수신부(120)는 카메라(110)가 획득하는 실시간 영상을 수신하여 카메라 영상 DB(121)에 저장한다.The
물체감지부(130)는 영상수신부(120)에서 수신되는 실시간 영상프레임을 사용자 지정 시간 간격(예를 들어, 3분 간격)으로 획득하고 차영상, 모폴로지(Morphology) 열림, 팽창 연산을 통해 이동 선박(2)을 감지한다.The
구체적으로는, 기준 영상프레임과 이후 영상프레임을 뺄셈 연산을 사용하여 차영상 이미지를 추출한 후 선박(2)의 색상 정보와 이접안 사이의 색상을 임계값으로 이진화한 후 레이블링을 통해 그룹화한다. 그런 다음 모폴로지 열기(Open) 연산을 사용하여 잡음을 제거하고 팽창(Dilation) 연산을 사용하여 객체의 반사빛을 제거한다.Specifically, a difference image is extracted using a subtraction operation of a reference image frame and a subsequent image frame, and then the color between the color information of the
도 3은 카메라(110)가 획득한 실시간 원본 이미지(a)를 이용하여 특정 영역을 검출(b-1, c-1)하고 해당 특정 영역을 이진화(b-2, c-2)한 각각의 테스트 결과를 보여준다. 테스트 방법으로 색상은 RGB color space를 사용하고 각 R,G,B 값의 임계값을 ±50으로 하였다.FIG. 3 is a block diagram illustrating a method for detecting (b-1, c-1) a specific region using the real-time original image a obtained by the
차영상저장부(140)는 물체감지부(130)에서 감지된 차영상 이미지 정보를 차영상 DB(141)에 저장한다.The difference
이미지구획부(150)는 카메라(110) 시야각에 들어오는 바다 영상을 위에서 아래까지 일정 간격으로 나눈다.The
도 4를 참고하면, 이미지구획부(150)가 카메라(110)에 의해 촬영된 영상을 제일 위에서 제일 아래까지 또는 이미지의 중심을 기준으로 위, 아래로 일정 간격으로 분할하고, 각 분할 위치가 가리키는 이미지 내 각도(α)와 각 분할 위치가 가리키는 수평면까지의 거리(d)를 표시한 것이다. Referring to FIG. 4, the
표 1은 도 4의 이미지구획에 따른 해수면의 각 위치와 카메라가 이루는 각도(θ) 및 해수면의 각 위치까지의 거리(d)를 나타낸다.Table 1 shows angles (?) Between the angular positions of the sea surface according to the image segment of FIG. 4 and the camera, and distances (d) to respective positions of the sea surface.
도 4 및 표 1을 보면, 이미지 내 각도(α)는 화면 이미지의 중심(0')를 기준으로 위로는 +, 아래로는 - 를 나타내며, 화면 이미지의 제일 아래를 나타내는 이미지 내 각도(α)는 -18°이고, 그에 해당하는 전체 각도(θ)는 23°이다. 화면 이미지의 제일 위를 나타내는 이미지 내 각도(α)는 +18°이고, 그에 해당하는 전체 각도(θ)는 59°이다. 전체 각도(θ) 23°가 가리키는 해수면 상의 해당 위치까지의 거리(d)는 6.367m이고, 전체 각도(θ) 59°가 가리키는 해수면 상의 해당 위치까지의 거리(d)는 24.964m 이다. 선박(2)까지의 전체 각도(θ)가 커질수록 거리(d)가 멀어지는 것을 알 수 있다. 거리(d)를 구하는데 이용되는 값은 전체 각도(θ)이다.4 and Table 1, the angle? In the image represents an upper angle? And a lower angle? With respect to the center (0 ') of the screen image, and an angle? Is -18 deg., And the corresponding total angle [theta] is 23 deg. The angle α in the image representing the top of the screen image is + 18 °, and the corresponding total angle θ is 59 °. The distance d to the corresponding position on the sea surface indicated by the total angle of 23 ° is 6.367 m and the distance d to the corresponding position on the sea surface indicated by the total angle of 59 ° is 24.964 m. It can be seen that the distance d becomes longer as the total angle [theta] to the
도 2를 참고하여 전체 각도(θ)와 거리(d)에 대해서 자세하게 설명한다. 도 2는 부유식 LNG 벙커링 터미널(1) 측으로 액화 천연가스 운반선(2)이 접안하는 예를 나타낸다. 부유식 LNG 벙커링 터미널(1)에는 카메라(110)가 설치된다. 카메라(110)가 설치되는 수직축을 기준으로 액화 천연가스 운반선(2)까지의 전체 각도를 θ라고 할 때, 액화 천연가스 운반선(2)이 해수면을 기준으로 카메라(110)와 이루는 각도는 90-θ가 된다. 해수면으로부터 카메라(110)까지의 높이는 h가 된다.The overall angle [theta] and the distance d will be described in detail with reference to Fig. Fig. 2 shows an example in which the liquefied
부유식 LNG 벙커링 터미널(1)에서 액화 천연가스 운반선(2)까지의 거리(d)는 다음의 식 1에 의해 구할 수 있다.The distance d from the floating
거리(d) = 카메라 높이(h)/tan(90-θ) ---- (식 1)Distance (d) = Camera height (h) / tan (90 -?)
각도저장부(160)는 이미지구획부(150)에서 나눈 해수면의 각 위치에서 카메라(110)까지 이어지는 선분과 고정 항만 또는 고정 선박(1)에 설치된 카메라(110) 수직축이 만나는 각도(θ)를 각도 DB(161)에 저장한다. 각도 DB(161)에는 도 4에서 살펴본 이미지구획별 해수면의 각 위치에서 카메라(110)까지 이어지는 가상의 선분과 고정 항만 또는 고정 선박(1)에 설치된 카메라(110) 수직축이 만나는 각도(θ)를 저장한다.The
거리저장부(170)는 각도저장부(160)에 저장된 각 해수면 위치별 각도(θ)와 해수면에서 카메라(110)까지의 높이(h)를 이용하여 카메라(110)가 설치된 고정 항만 또는 고정 선박(1)으로부터 이미지구획부(150)에서 나눈 해수면의 각 위치까지의 거리(d)를 계산하여 거리 DB(171)에 저장한다. 거리 DB(171)에는 상기의 식 1을 이용하여 도 4에서 살펴본 이미지구획별 해수면의 각 위치까지의 거리(d)를 저장한다.The
경보발생부(180)는 차영상저장부(140)에 저장된 선박(2)에 대한 차영상 이미지 정보와 거리저장부(170)에 저장된 이미지구획별 거리(d) 정보를 비교하여 선박(2)이 고정 항만 또는 고정 선박(1) 측으로 이동하는 것으로 판단되는 경우 단계별로 경보를 발생시킨다.The
거리저장부(170)는 이미지구획부(150)에서 일정 간격으로 나눈 이미지 상에서의 각 위치 정보와 카메라(110)가 설치된 고정 항만 또는 고정 선박(1)으로부터 이미지 상에서의 각 위치가 가리키는 해수면까지의 거리(d)를 매핑하여 저장할 수 있다. The
도 4를 참고하면, 거리저장부(170)는 이미지 상의 구획별 위치 정보와 해당 위치가 가리키는 해수면까지의 거리(d)를 매핑하여 저장함으로써, 차영상 이미지의 좌표값이 가리키는 해수면까지의 거리(d)를 쉽게 구할 수 있다. 일정 간격으로 나눈 이미지 상에서의 위치는 위, 아래로만 증가 또는 감소하기 때문에 X축 값은 '0' 또는 전부 동일한 값으로 설정될 수 있으며, Y축 값만 다르게 설정된다.Referring to FIG. 4, the
경보발생부(180)는 선박(2)의 차영상 이미지의 좌표값에 해당하는 이미지 상에서의 위치 정보를 파악하고, 해당하는 이미지 상에서의 위치가 가리키는 해수면까지의 거리(d)가 적어지는 경우 선박(2)이 고정 항만 또는 고정 선박(1) 측으로 이동하는 것으로 판단한다.The
구체적으로, 경보발생부(180)는 선박(2)에 대한 차영상 이미지의 좌표값 중 선박(2)의 하부 지점을 나타내는 Y 축 좌표값에 가까운 이미지 상에서의 위치정보를 파악하여, 해당하는 이미지 상에서의 위치가 가리키는 해수면까지의 거리(d)가 적어지는 경우 선박(2)이 고정 항만 또는 고정 선박(1) 측으로 이동하는 것으로 판단할 수 있다. Specifically, the
도 4를 참고하면, 멀리서 접근하는 선박(2)과 고정 항만 또는 고정 선박(1) 사이의 거리(d)는 접안하는 선박(2)의 상부가 아니라 하부, 즉 선박이 바닷물과 접하는 부분이 가리키는 거리를 측정해야 정확한 거리(d)를 알 수 있기 때문이다.4, the distance d between the
경보발생부(180)는 카메라(110)가 획득하는 영상을 통해 선박(2)을 최초 확인 시 물체확인 경보(1단계)를 발생시키고, 거리(d)가 점점 줄어들어 선박(2)이 고정 선박(1)에 접근하는 것으로 판단되는 경우 물체이동 경보(2단계)를 발생시키며, 선박(2)이 지정된 거리 내에 속하게 되는 경우 물체근접 위험경보(3단계)를 발생시킨다. 지정된 거리는 사용자에 의해 설정 및 변경 가능하며 선박(2)이 고정 선박(1)에 가까이 접근하여 충돌의 위험이 있는 거리를 말한다. 물체근접 위험경보(3단계) 발생시 싸이렌도 같이 울릴 수 있다. 이상의 각 단계 경보는 사용자 모니터 및 스피커로 출력될 수 있음은 당연하다.The
물체크기결정부(190)는 선박(2)에 대한 차영상 이미지 정보를 가지고 선박(2)이 옆으로 접근하는지, 선수가 접근하는지 또는 선미가 접근하는지 판단하고, 선박(2)의 전후 길이 또는 좌우 폭 정보를 가지고 선박(2)의 크기를 결정한다.The object
물체크기결정부(190)는 선박(2) 이미지로 선박의 접근 방향을 판단하기 위한 기준 정보를 가지고 있다. 선박의 차영상 이미지와 해당 기준 정보를 비교함으로써 선박(2)이 옆으로 접근하는지, 선수가 접근하는지 또는 선미가 접근하는지 알 수 있다. 또한, 차영상 이미지가 나타내는 선박(2)의 길이 또는 폭 정보를 가지고 선박(2)의 크기를 판단하여 10, 20, 30, 40, 50, 60,…,100 과 같이 수치화할 수 있다.The object
경보발생부(180)는 물체크기결정부(190)에서 결정된 선박(2)의 크기를 복수의 등급으로 나누어 각 등급에 따라 물체근접 위험경보를 발생시키는 지정 거리를 다르게 적용한다. 선박(2)의 크기가 큰 경우는 접근 속도가 빠를 수 있기 때문에 물체근접 위험경보를 발생시키는 지정 거리를 길게 유지하는 것이 안전하며, 선박(2)의 크기가 작은 경우는 물체근접 위험경보를 발생시키는 지정 거리를 조금 짧게 유지해도 괜찮을 것이다.The
도 5를 참고하여, 본 발명인 카메라 영상을 이용한 선박의 안전접안 방법을 설명한다.Referring to FIG. 5, a safety eyepiece method using a camera image according to the present invention will be described.
먼저, 고정 항만 또는 고정 선박(1)에 설치되는 카메라(110) 시야각에 들어오는 바다 영상을 위에서 아래까지 일정 간격으로 나누어 이미지 구획한다(S510).First, in step S510, an image of a sea in a fixed port or a view angle of a camera installed on the fixed
다음으로, 이미지 구획되어 나누어진 해수면의 각 위치에서 카메라(110)까지 이어지는 선분과 고정 항만 또는 고정 선박(1)에 설치되는 카메라(110) 수직축이 만나는 각도(θ)를 저장한다(S520).Next, an angle (?) At which a line segment extending from the sea level surface divided from the divided sea level to the
다음으로, 각 해수면 위치별 각도(θ)와 해수면에서 카메라까지의 높이(h)를 이용하여 카메라(110)가 설치된 고정 항만 또는 고정 선박(1)으로부터 이미지 구획하여 나누어진 해수면의 각 위치까지의 거리(d)를 계산하여 저장한다(S530).Next, the distance from the fixed port where the
구체적으로, 거리(d)를 계산하여 저장하는 단계(S530)는 이미지구획 단계에서 일정 간격으로 나눈 이미지 상에서의 각 위치 정보와 카메라(110)가 설치된 고정 항만 또는 고정 선박(1)으로부터 이미지 상에서의 각 위치가 가리키는 해수면까지의 거리(d)를 매핑하여 저장한다.Specifically, the step of calculating and storing the distance d (S530) may include the step of calculating the distance d from the fixed position where the
다음으로, 카메라(110)에서 실시간 영상프레임을 수신하고, 차영상, 모폴로지(Morphology) 열림, 팽창 연산을 통해 선박(2)을 감지한다(S540).Next, the
다음으로, 감지된 차영상 이미지 정보를 저장한다(S550).Next, the sensed difference image information is stored (S550).
마지막으로, 저장된 선박(2)에 대한 차영상 이미지 정보와 저장된 이미지 구획별 거리(d) 정보를 비교하여 선박(2)이 고정 항만 또는 고정 선박(1) 측으로 이동하는 것으로 판단되는 경우 단계별로 경보를 발생시킨다(S560).Finally, when it is determined that the
경보를 발생시키는 단계(S560)는 선박(2)의 차영상 이미지의 좌표값에 해당하는 이미지 상에서의 위치 정보를 파악하고, 해당하는 이미지 상에서의 위치가 가리키는 해수면까지의 거리(d)가 적어지는 경우 선박(2)이 고정 항만 또는 고정 선박(1) 측으로 이동하는 것으로 판단할 수 있다.The step of generating an alarm (S560) is a step of acquiring the positional information on the image corresponding to the coordinate value of the difference image of the
경보를 발생시키는 단계(S560)는 선박(2)에 대한 차영상 이미지의 좌표값 중 선박(2)의 하부 지점을 나타내는 Y 축 좌표값에 가까운 이미지 상에서의 위치정보를 파악하여, 해당하는 이미지 상에서의 위치가 가리키는 해수면까지의 거리(d)가 적어지는 경우 선박(2)이 고정 항만 또는 고정 선박(1) 측으로 이동하는 것으로 판단할 수 있다.In step S560, the position information on the image close to the Y-axis coordinate value indicating the lower point of the
경보를 발생시키는 단계(S560)는 선박(2)을 최초 확인 시 물체확인 경보(1단계)를 발생시키고, 선박(2)이 접근하는 것으로 판단되는 경우 물체이동 경보(2단계)를 발생시키며, 선박(2)이 지정된 거리 내에 속하게 되는 경우 물체근접 위험경보(3단계)를 발생시키고, 선박(2)에 대한 차영상 이미지 정보를 가지고 선박(2)이 옆으로 접근하는지, 선수가 접근하는지 또는 선미가 접근하는지 판단하고, 선박(2)의 전후 길이 또는 좌우 폭 정보를 가지고 선박의 크기를 결정하며, 결정된 선박(2)의 크기를 복수의 등급으로 나누어 각 등급에 따라 지정된 거리를 다르게 적용할 수 있다. 물체근접 위험경보(3단계) 발생시 싸이렌도 같이 울릴 수 있다. 이상의 각 단계 경보는 사용자 모니터 및 스피커로 출력될 수 있음은 당연하다.The alarm generating step S560 generates an object confirmation alarm (step 1) at the first confirmation of the
그 밖에 구체적인 설명은 도 1 내지 도 4를 참고하여 설명하였으므로 자세한 설명은 생략한다.Detailed explanations are given with reference to FIGS. 1 to 4, so detailed description thereof will be omitted.
이상에서 살펴본 본 발명은 선박(2)의 VHF 상태정보를 선박자동식별장치(AIS)에 연계하여 본선의 정보를 무선으로 전달하는 방식이고, 아울러 오는 2019년부터 전 세계적으로 도입 예정인 디지털 VHF 운영 시 우리나라에서 개발한 기능을 탑재하여 디지털 VHF를 생산한다면 추가 장치 없이 운영 가능할 것으로 보고 있다. The present invention described above is a method of transmitting VFF status information of a
이상과 같이 본 발명은 충돌에 대한 경보를 안전접안 시스템에 음향 및 모니터로 출력할 수 있으며, 선박 위치에 대한 정보를 서로 공유하지 않는 상태에서도 위험을 방어할 수 있고, 스테레오 카메라 등 고가의 장비가 아니어도 설치 및 운영할 수 있는 시스템이다. 또한, 레이더가 있는 선박인 경우에도 충돌 위험에 대비하기 위하여 필요한 시스템이다.As described above, according to the present invention, it is possible to output an alarm for collision to the safety eyepiece system through the sound and the monitor, to prevent danger even when information on the ship position is not shared with each other, It is a system that can be installed and operated even if it is not. It is also necessary to prepare for the risk of collision even in case of a ship with radar.
본 발명의 기본적인 기술적 사상의 범주 내에서 당해 업계 통상의 지식을 가진 자에게 있어서는 다른 많은 변형 및 응용 또한 가능함은 물론이다.It will be understood by those skilled in the art that various changes and modifications may be made without departing from the scope of the present invention.
1...고정 선박
2...선박
100...카메라 영상을 이용한 선박의 안전접안 시스템
110...카메라
120...영상수신부
121...카메라 영상 DB
130...물체감지부
140...차영상저장부
141...차영상 DB
150...이미지구획부
160...각도저장부
161...각도 DB
170...거리저장부
171...거리 DB
180...경보발생부
190...물체크기결정부1 ... fixed vessel
2 ... ship
100 ... Safety eyepiece system of ship using camera image
110 ... camera
120 ... image receiving unit
121 ... camera image DB
130 ... Water Bunch Chapters
140 ... < / RTI >
141 ... car video DB
150 ... image compartment
160 ... angle storage unit
161 ... Angle DB
170 ... distance storage unit
171 ... distance DB
180 ... alarm generating unit
190 ... object size determining section
Claims (10)
상기 카메라가 획득하는 영상을 수신하는 영상수신부;
상기 영상수신부에서 수신되는 실시간 영상프레임을 차영상, 모폴로지(Morphology) 열림, 팽창 연산을 통해 선박을 감지하는 물체감지부;
상기 물체감지부에서 감지된 차영상 이미지 정보를 저장하는 차영상저장부;
상기 카메라 시야각에 들어오는 바다 영상을 위에서 아래까지 일정 간격으로 나누는 이미지구획부;
상기 이미지구획부에서 나눈 해수면의 각 위치에서 카메라까지 이어지는 선분과 고정 항만 또는 고정 선박에 설치된 카메라 수직축이 만나는 각도(θ)를 저장하는 각도저장부;
상기 각도저장부에 저장된 각 해수면 위치별 각도(θ)와 해수면에서 카메라까지의 높이(h)를 이용하여 상기 카메라가 설치된 고정 항만 또는 고정 선박으로부터 상기 이미지구획부에서 나눈 해수면의 각 위치까지의 거리(d)를 계산하여 저장하는 거리저장부; 및
상기 차영상저장부에 저장된 선박에 대한 차영상 이미지 정보와 상기 거리저장부에 저장된 이미지구획별 거리(d) 정보를 비교하여 선박이 고정 항만 또는 고정 선박 측으로 이동하는 것으로 판단되는 경우 단계별로 경보를 발생시키는 경보발생부를 포함하는 것을 특징으로 하는 카메라 영상을 이용한 선박의 안전접안 시스템.
A camera installed in a fixed port or fixed ship;
An image receiving unit for receiving an image acquired by the camera;
A physical object sensing unit for sensing a ship through a car image, a morphology opening and an expansion calculation of a real-time image frame received by the image receiving unit;
A difference image storage unit for storing difference image information detected by the object detection unit;
An image dividing unit dividing the image of the sea entering the camera viewing angle at regular intervals from top to bottom;
An angle storage unit for storing an angle (?) Between a line segment extending from each position of the sea surface divided by the image partitioning unit to a camera and a vertical axis of a camera installed on a fixed port or a fixed ship;
The distance from the fixed port where the camera is installed to each position of the sea surface divided from the image dividing section by using the angle (?) For each sea surface position stored in the angle storage section and the height (h) (d); And
The difference image information for the ship stored in the difference image storage unit and the distance information d for each image segment stored in the distance storage unit are compared to determine whether the ship is moving to a fixed port or a fixed ship side. And an alarm generating unit for generating an alarm signal for generating an alarm signal.
상기 거리저장부는 이미지구획부에서 일정 간격으로 나눈 이미지 상에서의 각 위치 정보와 상기 카메라가 설치된 고정 항만 또는 고정 선박으로부터 상기 이미지 상에서의 각 위치가 가리키는 해수면까지의 거리(d)를 매핑하여 저장하는 것을 특징으로 하는 카메라 영상을 이용한 선박의 안전접안 시스템.
The method according to claim 1,
The distance storage unit maps and stores the position information on the image divided by the image dividing unit at predetermined intervals and the distance d from the fixed port where the camera is installed or the fixed surface to the sea surface indicated by the respective positions on the image A safety eyepiece system using a camera image.
상기 경보발생부는 선박의 차영상 이미지의 좌표값에 해당하는 이미지 상에서의 위치 정보를 파악하고, 해당하는 이미지 상에서의 위치가 가리키는 해수면까지의 거리(d)가 적어지는 경우 선박이 고정 항만 또는 고정 선박 측으로 이동하는 것으로 판단하는 것을 특징으로 하는 카메라 영상을 이용한 선박의 안전접안 시스템.
3. The method of claim 2,
When the distance (d) to the sea level indicated by the position on the corresponding image is small, when the ship is a fixed port or a fixed ship The safety eyepiece system of the present invention uses the camera image.
상기 경보발생부는 선박에 대한 차영상 이미지의 좌표값 중 선박의 하부 지점을 나타내는 Y 축 좌표값에 가까운 이미지 상에서의 위치정보를 파악하여, 해당하는 이미지 상에서의 위치가 가리키는 해수면까지의 거리(d)가 적어지는 경우 선박이 고정 항만 또는 고정 선박 측으로 이동하는 것으로 판단하는 것을 특징으로 하는 카메라 영상을 이용한 선박의 안전접안 시스템.
The method of claim 3,
The alarm generating unit detects the position information on the image near the Y-axis coordinate value indicating the lower point of the ship among the coordinate values of the difference image for the ship and calculates the distance d to the sea level indicated by the position on the corresponding image, The control unit determines that the ship moves to the fixed port or the fixed ship.
상기 경보발생부는 선박을 최초 확인 시 물체확인 경보를 발생시키고, 선박이 접근하는 것으로 판단되는 경우 물체이동 경보를 발생시키며, 선박이 지정된 거리 내에 속하게 되는 경우 물체근접 위험경보를 발생시키는 것을 특징으로 하는 카메라 영상을 이용한 선박의 안전접안 시스템.
The method according to claim 1,
Wherein the alarm generator generates an object confirmation alarm when the ship is first checked, generates an object movement alarm when it is determined that the ship is approaching, and generates an object proximity danger alarm when the ship is within a specified distance Safety eyepiece system of ship using camera image.
상기 선박에 대한 차영상 이미지 정보를 가지고 선박이 옆으로 접근하는지, 선수가 접근하는지 또는 선미가 접근하는지 판단하고, 선박의 전후 길이 또는 좌우 폭 정보를 가지고 선박의 크기를 결정하는 물체크기결정부를 더 포함하고,
상기 경보발생부는 물체크기결정부에서 결정된 선박의 크기를 복수의 등급으로 나누어 각 등급에 따라 상기 지정된 거리를 다르게 적용하는 것을 특징으로 하는 카메라 영상을 이용한 선박의 안전접안 시스템.
6. The method of claim 5,
An object size determining unit for determining the size of the ship with the information of the ship's image about the ship, determining whether the ship is approaching sideways, approaches the athlete or approaches the stern, Including,
Wherein the alarm generating unit divides the size of the ship determined by the object size determining unit into a plurality of classes and applies the specified distance differently according to each class.
상기 이미지구획되어 나누어진 해수면의 각 위치에서 카메라까지 이어지는 선분과 고정 항만 또는 고정 선박에 설치되는 카메라 수직축이 만나는 각도(θ)를 저장하는 단계;
상기 각 해수면 위치별 각도(θ)와 해수면에서 카메라까지의 높이(h)를 이용하여 카메라가 설치된 고정 항만 또는 고정 선박으로부터 상기 이미지구획하여 나누어진 해수면의 각 위치까지의 거리(d)를 계산하여 저장하는 단계;
상기 카메라에서 실시간 영상프레임을 수신하고, 차영상, 모폴로지(Morphology) 열림, 팽창 연산을 통해 선박을 감지하는 단계;
상기 감지된 차영상 이미지 정보를 저장하는 단계; 및
상기 저장된 선박에 대한 차영상 이미지 정보와 상기 저장된 이미지구획별 거리(d) 정보를 비교하여 선박이 고정 항만 또는 고정 선박 측으로 이동하는 것으로 판단되는 경우 단계별로 경보를 발생시키는 단계를 포함하는 것을 특징으로 하는 카메라 영상을 이용한 선박의 안전접안 방법.
A step of dividing an image of a sea, which is installed in a fixed port or a fixed ship, into a camera viewing angle by dividing the image into a predetermined interval from top to bottom;
Storing an angle (?) At which a line segment extending from the angular position of the sea divided by the image to the camera and the vertical axis of the camera installed at the fixed port or the fixed ship meet;
The distance d from the fixed port where the camera is installed or the fixed ship to each position of the sea level divided by the image is calculated by using the angle θ by each sea level position and the height h from the sea level to the camera Storing;
Receiving a real-time image frame from the camera, sensing a vessel through a car image, a morphology opening, and an expansion calculation;
Storing the sensed difference image information; And
And comparing the difference image information of the stored ship with the distance information d of the stored image segment to generate an alarm in each step when it is determined that the ship is moving to a fixed port or a fixed ship, A Method of Safe Bounding of Ship Using Camera Image.
상기 거리(d)를 계산하여 저장하는 단계는 이미지구획 단계에서 일정 간격으로 나눈 이미지 상에서의 각 위치 정보와 상기 카메라가 설치된 고정 항만 또는 고정 선박으로부터 상기 이미지 상에서의 각 위치가 가리키는 해수면까지의 거리(d)를 매핑하여 저장하고,
상기 경보를 발생시키는 단계는 선박의 차영상 이미지의 좌표값에 해당하는 이미지 상에서의 위치 정보를 파악하고, 해당하는 이미지 상에서의 위치가 가리키는 해수면까지의 거리(d)가 적어지는 경우 선박이 고정 항만 또는 고정 선박 측으로 이동하는 것으로 판단하는 것을 특징으로 하는 카메라 영상을 이용한 선박의 안전접안 방법.
8. The method of claim 7,
The step of calculating and storing the distance d may include calculating the distance d from the position information on the image divided by the predetermined interval in the image segmentation step and the distance from the fixed port where the camera is installed or the fixed ship to the sea surface indicated by the position on the image, d) are mapped and stored,
The step of generating the alert is to grasp the positional information on the image corresponding to the coordinate value of the difference image of the ship, and when the distance d to the sea level indicated by the position on the corresponding image is small, Or a fixed ship side of the ship.
상기 경보를 발생시키는 단계는 선박에 대한 차영상 이미지의 좌표값 중 선박의 하부 지점을 나타내는 Y 축 좌표값에 가까운 이미지 상에서의 위치정보를 파악하여, 해당하는 이미지 상에서의 위치가 가리키는 해수면까지의 거리(d)가 적어지는 경우 선박이 고정 항만 또는 고정 선박 측으로 이동하는 것으로 판단하는 것을 특징으로 하는 카메라 영상을 이용한 선박의 안전접안 방법.
9. The method of claim 8,
The generating of the alarm may include obtaining positional information on an image close to a Y-axis coordinate value indicating a lower point of the ship among the coordinate values of the difference image for the ship, determining the distance to the sea level indicated by the position on the corresponding image (d) is small, it is determined that the ship moves to the fixed port or the fixed ship side.
상기 경보를 발생시키는 단계는 선박을 최초 확인 시 물체확인 경보를 발생시키고, 선박이 접근하는 것으로 판단되는 경우 물체이동 경보를 발생시키며, 선박이 지정된 거리 내에 속하게 되는 경우 물체근접 위험경보를 발생시키고, 상기 선박에 대한 차영상 이미지 정보를 가지고 선박이 옆으로 접근하는지, 선수가 접근하는지 또는 선미가 접근하는지 판단하고, 선박의 전후 길이 또는 좌우 폭 정보를 가지고 선박의 크기를 결정하며,
상기 결정된 선박의 크기를 복수의 등급으로 나누어 각 등급에 따라 상기 지정된 거리를 다르게 적용하는 것을 특징으로 하는 카메라 영상을 이용한 선박의 안전접안 방법.8. The method of claim 7,
The alarm generating step generates an object confirmation alarm upon initial confirmation of the ship, generates an object movement alarm when it is determined that the ship is approaching, generates an object proximity risk alarm when the ship is within a specified distance, Determines the size of the ship with the information about the length of the ship or the width of the ship, determines whether the ship is approaching sideways, approaches the athlete or approaches the stern with the difference image information for the ship,
Wherein the determined size of the ship is divided into a plurality of classes, and the specified distance is applied differently according to each class.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160063893A KR101812994B1 (en) | 2016-05-25 | 2016-05-25 | Safe docking system of ships using camera image and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160063893A KR101812994B1 (en) | 2016-05-25 | 2016-05-25 | Safe docking system of ships using camera image and method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20170133010A true KR20170133010A (en) | 2017-12-05 |
KR101812994B1 KR101812994B1 (en) | 2017-12-28 |
Family
ID=60920783
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160063893A KR101812994B1 (en) | 2016-05-25 | 2016-05-25 | Safe docking system of ships using camera image and method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101812994B1 (en) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102052013B1 (en) | 2019-06-12 | 2019-12-04 | 한국해양과학기술원 | Image composing system and camera calibration method for ship |
KR20200039589A (en) * | 2018-10-04 | 2020-04-16 | 씨드로닉스(주) | Device and method for monitoring ship and port |
US10803360B2 (en) | 2018-09-04 | 2020-10-13 | Seadronix Corp. | Situation awareness method and device using image segmentation |
CN111784759A (en) * | 2020-06-11 | 2020-10-16 | 广州中交通信有限公司 | Ship height calculation method, system and storage medium based on computer vision |
KR102231343B1 (en) * | 2020-04-24 | 2021-03-24 | (주)아이지오 | Marine warning system for the protection of bridge facilities |
CN112687127A (en) * | 2020-12-18 | 2021-04-20 | 华南理工大学 | Ship positioning and snapshot method based on AIS and image analysis assistance |
CN112733896A (en) * | 2020-12-30 | 2021-04-30 | 深圳市镭神智能系统有限公司 | Ship lockage management method, device, system and storage medium |
KR102264175B1 (en) * | 2019-12-15 | 2021-06-14 | 대한민국 | Lift vessel docking monitoring system using proximity sensor |
KR102265980B1 (en) * | 2020-01-09 | 2021-06-17 | 씨드로닉스(주) | Device and method for monitoring ship and port |
WO2021141338A1 (en) * | 2020-01-09 | 2021-07-15 | 씨드로닉스 주식회사 | Device and method for monitoring ship and harbor |
WO2021141339A1 (en) * | 2020-01-09 | 2021-07-15 | 씨드로닉스 주식회사 | Method and device for monitoring port and ship in consideration of sea level |
KR102278674B1 (en) * | 2020-01-09 | 2021-07-19 | 씨드로닉스(주) | Method and device for monitoring harbor and ship considering sea level |
US11314990B2 (en) | 2018-09-04 | 2022-04-26 | Seadronix Corp. | Method for acquiring object information and apparatus for performing same |
KR20220055556A (en) * | 2020-10-26 | 2022-05-04 | 씨드로닉스(주) | Device and method for monitoring ship and port |
KR20220062162A (en) | 2020-11-06 | 2022-05-16 | 주식회사 산엔지니어링 | A System for Supporting a Personal Safety and a Sailing Safety Based on an Artificial Intelligence and a Supporting Method with the Same |
US11514668B2 (en) | 2018-09-04 | 2022-11-29 | Seadronix Corp. | Method and device for situation awareness |
US11776250B2 (en) | 2018-09-04 | 2023-10-03 | Seadronix Corp. | Method and device for situation awareness |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102258207B1 (en) | 2019-09-26 | 2021-05-31 | 주식회사 삼우이머션 | Method for providing every side viewing angle |
KR102112000B1 (en) * | 2019-11-08 | 2020-05-18 | 동명대학교산학협력단 | System for Warning Collision with Marine Bridge and Seaside Facilities based on Radar |
KR102640795B1 (en) | 2021-08-10 | 2024-02-27 | 한화오션 주식회사 | System and method for supporting berthing of vessel based on radar and computer-readable recording medium including the same |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101600820B1 (en) * | 2015-01-14 | 2016-03-08 | 주식회사 네오카텍 | Method for measuring distance of maritime objects using vertical angle of view per pixel of a camera and system for measuring distance of maritime objects using the same |
KR101614697B1 (en) * | 2015-04-06 | 2016-04-22 | (주)주인정보시스템 | Off-shore plant image monitoring system and method using pattern matching |
-
2016
- 2016-05-25 KR KR1020160063893A patent/KR101812994B1/en active IP Right Grant
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11514668B2 (en) | 2018-09-04 | 2022-11-29 | Seadronix Corp. | Method and device for situation awareness |
US10803360B2 (en) | 2018-09-04 | 2020-10-13 | Seadronix Corp. | Situation awareness method and device using image segmentation |
US11314990B2 (en) | 2018-09-04 | 2022-04-26 | Seadronix Corp. | Method for acquiring object information and apparatus for performing same |
US11776250B2 (en) | 2018-09-04 | 2023-10-03 | Seadronix Corp. | Method and device for situation awareness |
US11702175B2 (en) | 2018-09-04 | 2023-07-18 | Seadronix Corp. | Method for acquiring object information and apparatus for performing same |
KR20200039589A (en) * | 2018-10-04 | 2020-04-16 | 씨드로닉스(주) | Device and method for monitoring ship and port |
KR102052013B1 (en) | 2019-06-12 | 2019-12-04 | 한국해양과학기술원 | Image composing system and camera calibration method for ship |
KR102264175B1 (en) * | 2019-12-15 | 2021-06-14 | 대한민국 | Lift vessel docking monitoring system using proximity sensor |
KR20210090573A (en) * | 2020-01-09 | 2021-07-20 | 씨드로닉스(주) | Method and device for monitoring harbor and ship considering sea level |
WO2021141338A1 (en) * | 2020-01-09 | 2021-07-15 | 씨드로닉스 주식회사 | Device and method for monitoring ship and harbor |
WO2021141339A1 (en) * | 2020-01-09 | 2021-07-15 | 씨드로닉스 주식회사 | Method and device for monitoring port and ship in consideration of sea level |
KR102278674B1 (en) * | 2020-01-09 | 2021-07-19 | 씨드로닉스(주) | Method and device for monitoring harbor and ship considering sea level |
KR102265980B1 (en) * | 2020-01-09 | 2021-06-17 | 씨드로닉스(주) | Device and method for monitoring ship and port |
KR102231343B1 (en) * | 2020-04-24 | 2021-03-24 | (주)아이지오 | Marine warning system for the protection of bridge facilities |
CN111784759A (en) * | 2020-06-11 | 2020-10-16 | 广州中交通信有限公司 | Ship height calculation method, system and storage medium based on computer vision |
KR20220055556A (en) * | 2020-10-26 | 2022-05-04 | 씨드로닉스(주) | Device and method for monitoring ship and port |
KR20230074438A (en) * | 2020-10-26 | 2023-05-30 | 씨드로닉스(주) | Device and method for monitoring ship and port |
KR20220062162A (en) | 2020-11-06 | 2022-05-16 | 주식회사 산엔지니어링 | A System for Supporting a Personal Safety and a Sailing Safety Based on an Artificial Intelligence and a Supporting Method with the Same |
KR20220138365A (en) | 2020-11-06 | 2022-10-12 | 주식회사 산엔지니어링 | A System for Supporting a Personal Safety and a Sailing Safety Based on an Artificial Intelligence and a Supporting Method with the Same |
CN112687127A (en) * | 2020-12-18 | 2021-04-20 | 华南理工大学 | Ship positioning and snapshot method based on AIS and image analysis assistance |
CN112733896A (en) * | 2020-12-30 | 2021-04-30 | 深圳市镭神智能系统有限公司 | Ship lockage management method, device, system and storage medium |
Also Published As
Publication number | Publication date |
---|---|
KR101812994B1 (en) | 2017-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101812994B1 (en) | Safe docking system of ships using camera image and method thereof | |
US10378905B2 (en) | Auxiliary berthing method and system for vessel | |
US20150241560A1 (en) | Apparatus and method for providing traffic control service | |
US9334030B2 (en) | Method and system for managing traffic considering GPS jamming | |
US7679530B2 (en) | Anti-collision warning system for marine vehicle and anti-collision analysis method | |
KR101805564B1 (en) | Alarm system for prevent ship collision and method thereby | |
KR101696615B1 (en) | Control system for avoiding collision of multiple ships using time series graphic interface | |
KR101549513B1 (en) | System and Method for Preventing Collision of Vessel and Recording using Augmented Reality | |
US20150261869A1 (en) | Vessel traffic service system and method for extracting accident data | |
JP2012021947A (en) | Navigation aid apparatus | |
Bloisi et al. | Camera based target recognition for maritime awareness | |
CN111986517A (en) | Ship anomaly detection method and device and storage medium | |
KR101666466B1 (en) | Marine risk management system and marine risk management method using marine object distance measuring system with monocular camera | |
KR101686043B1 (en) | Vessel collision monitoring system of marine structure | |
KR100981990B1 (en) | A safety management equipment by the location and the trace deduction of coast vessel using microwave buoy and method thereof | |
KR100990764B1 (en) | System and method of image monitoring harbor | |
CN116453276A (en) | Marine wind power electronic fence monitoring and early warning method and system | |
KR102283968B1 (en) | System and method for generating and sharing visibility observation information based on image learning | |
CN110299029A (en) | Ship's particulars detection system and method and bridge superelevation early warning system and method | |
KR20150028074A (en) | Collision prevention device | |
KR20220011879A (en) | Coastal monitoring system based on electronic charts interlocked with radar equipment | |
KR101186952B1 (en) | Vessel navigation monitoring system | |
CN103942979B (en) | The method for early warning of detection target and device | |
KR20200041183A (en) | Smart Device Evacuation Support System | |
KR101531593B1 (en) | 3D model-based marine traffic control device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |