KR20240059205A - Drone for ship guidance, ship guidance system and method there of - Google Patents
Drone for ship guidance, ship guidance system and method there of Download PDFInfo
- Publication number
- KR20240059205A KR20240059205A KR1020220140192A KR20220140192A KR20240059205A KR 20240059205 A KR20240059205 A KR 20240059205A KR 1020220140192 A KR1020220140192 A KR 1020220140192A KR 20220140192 A KR20220140192 A KR 20220140192A KR 20240059205 A KR20240059205 A KR 20240059205A
- Authority
- KR
- South Korea
- Prior art keywords
- ship
- information
- aerial vehicle
- unmanned aerial
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000005259 measurement Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims description 49
- 238000012876 topography Methods 0.000 claims description 34
- 230000005540 biological transmission Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 239000013589 supplement Substances 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 230000010365 information processing Effects 0.000 description 5
- 230000009469 supplementation Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005536 corrosion prevention Methods 0.000 description 1
- 230000003412 degenerative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING
- B63B43/00—Improving safety of vessels, e.g. damage control, not otherwise provided for
- B63B43/18—Improving safety of vessels, e.g. damage control, not otherwise provided for preventing collision or grounding; reducing collision damage
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING
- B63B49/00—Arrangements of nautical instruments or navigational aids
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/203—Specially adapted for sailing ships
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G3/00—Traffic control systems for marine craft
- G08G3/02—Anti-collision systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Ocean & Marine Engineering (AREA)
- Mechanical Engineering (AREA)
- Aviation & Aerospace Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 무인비행체를 이용하여 선박의 예상경로를 모니터링하고, 선박의 이접안 및 항해시 경로를 가이드하는 선박 가이드용 무인비행체와 이를 이용한 선박 가이드 시스템 및 선박 가이드 방법에 대한 것으로서, 무인비행체는 영상촬영부, 음파 측정부 및 제어부를 포함하고, 선박 가이드 시스템은 무인비행체와 서버를 포함하여 선박을 가이드 한다.The present invention relates to an unmanned aerial vehicle for guiding ships that monitors the expected path of a ship using an unmanned aerial vehicle and guides the path during berthing and navigation of a ship, and a ship guide system and method for guiding a ship using the same. The unmanned aerial vehicle uses video images. It includes an imaging unit, a sound wave measurement unit, and a control unit, and the ship guide system guides the ship including an unmanned aerial vehicle and a server.
Description
본 발명은 무인비행체를 이용하여 선박의 예상경로를 모니터링하고, 선박의 이접안 및 항해시 경로를 가이드하는 선박 가이드용 무인비행체와 이를 이용한 선박 가이드 시스템 및 선박 가이드 방법에 대한 것이다.The present invention relates to an unmanned aerial vehicle for ship guidance that monitors the expected path of a ship using an unmanned aerial vehicle and guides the path of a ship during berthing and navigation, and a ship guide system and ship guide method using the same.
선박의 운항 및 접안과 이안에 있어서, 운항자의 운행 부주의로 인하여 사고가 발생할 위험이 있고, 이러한 운행 부주의란 주로 선박 주변이나 항만 내의 상황을 육안으로 확인하기 어렵다는 점에 의하여 발생하는 경우가 다수이다.In the operation, berthing, and berthing of ships, there is a risk of accidents occurring due to the operator's carelessness, and in many cases, such carelessness is mainly caused by the fact that it is difficult to visually check the situation around the ship or in the port.
또한, 해도상의 해저 지형과 실제 해저 지형이 다른 경우가 있을 수 있다. 기존의 선박의 경우, 음파 탐지기와 같은 음파 장치가 구비되어 있지 않는 경우가 다수 존재하는데, 이 경우에 음파 장치 없이는 해저 지형을 포함하는 해양환경을 파악하기가 어려워서 도선사의 지식과 경험에 의존하여 운항하는 경우가 다수 존재한다. 그리고, 이러한 상황에 있어서도 운행 부주의가 나타날 수 있다. Additionally, there may be cases where the seafloor topography on the chart is different from the actual seafloor topography. In the case of existing ships, there are many cases where sonar devices such as sonar are not equipped. In this case, it is difficult to understand the marine environment, including the seabed topography, without sonar devices, so navigation relies on the pilot's knowledge and experience. There are many cases where this happens. And, even in these situations, careless driving may occur.
특히, 이접안의 상황에서는, 항구 또는 안벽에 선박이 평행을 유지하여야 하는데 선박의 각도와 속도 등의 정보를 정확히 파악하기가 어려워서 여러 척의 예인선과 항해사들이 동원되어 이접안 되는 것이 일반적인 실정이다.In particular, in the situation of berthing, the ship must be maintained parallel to the port or quay wall, but it is difficult to accurately determine information such as the angle and speed of the ship, so it is common for multiple tugboats and navigators to be mobilized to berth.
그러므로, 선박의 운항 및 접안과 이안에 있어서 운항자의 경험에 의존하지 않고, 예인선 등의 도움 없이 안전하게 운항 및 접안, 이안 할 수 있는 선박 보조 시스템 등이 필요한 실정이다.Therefore, there is a need for a ship assistance system that does not depend on the operator's experience in operating, berthing, and berthing of a ship, and can safely operate, berth, and berth without the help of a tugboat or the like.
본 발명은 위와 같은 문제를 해결하기 위한 것으로, 영상 정보와 음파 정보를 획득하는 무인비행체를 이용하여 선박의 운항 및 이접안을 보조하기 위한 선박 가이드 시스템 및 방법을 제공하는 것을 목적으로 한다.The present invention is intended to solve the above problems, and its purpose is to provide a ship guide system and method for assisting the navigation and berthing of ships using an unmanned aerial vehicle that acquires image information and sound wave information.
본 발명은 위와 같은 목적을 달성하기 위하여 다음과 같이 형성된 무인비행체와 선박가이드 시스템을 제공한다.In order to achieve the above object, the present invention provides an unmanned aerial vehicle and a ship guide system formed as follows.
본 발명의 일실시예에 따른 무인비행체는, 해상 영상을 촬영하는 영상촬영부와, 해수면을 향하여 음파를 발사하는 음파발사부와, 상기 음파가 해저에서 반사되는 것을 인식하는 음파인식부를 포함하고, 해저 지형의 음파 정보를 획득하는 음파측정부와, 상기 영상촬영부에서 촬영한 영상 정보와 상기 음파 정보를 서버로 송신하는 정보송신부와, 상기 서버로부터 상기 정보송신부에 의하여 획득한 정보를 처리하여 도출된 해상 정보와 기설정된 선박경로를 기준으로 위치 보완 정보를 수신받는 정보수신부 및 상기 해상 정보 또는 상기 위치 보완 정보에 의하여 상기 무인비행체의 위치, 높이를 포함하는 비행상태를 제어하는 제어부를 포함한다. 상기 영상촬영부와 상기 음파측정부로부터 획득한 정보를 저장하는 디지털 레코더부를 더 포함할 수 있다.The unmanned aerial vehicle according to an embodiment of the present invention includes an image capture unit for capturing marine images, a sound wave emitting unit for firing sound waves toward the sea surface, and a sound wave recognition unit for recognizing that the sound waves are reflected from the sea floor, A sound wave measuring unit that acquires sound wave information of the seabed topography, an information transmitting unit that transmits the image information captured by the image capture unit and the sound wave information to a server, and the information obtained by the information transmitting unit from the server is processed and derived. It includes an information receiving unit that receives position supplementation information based on the maritime information and the preset ship route, and a control unit that controls the flight state including the position and height of the unmanned aerial vehicle based on the maritime information or the position supplementation information. It may further include a digital recorder unit that stores information obtained from the image capture unit and the sound wave measurement unit.
본 발명의 일 실시예에 따른 선박 가이드용 시스템은, 선박의 예상경로의 해상 정보를 획득하는 무인비행체와, 상기 무인비행체가 획득한 정보를 분석 처리하는 서버를 포함하고, 상기 서버는 상기 획득한 정보를 취합, 분석하는 제1 처리부와, 상기 획득한 정보로 상기 무인비행체의 비행상태를 보완 계산하는 제2 처리부를 포함한다. 상기 무인비행체는, 선박의 항해 중에 예상 항로를 탐색하는 항로탐색모드를 기본으로 비행경로가 제어되고, 상기 서버가 처리한 정보에 따라 상기 비행경로를 보완하는 제어부와, 해양의 영상을 촬영하는 영상촬영부 및 해저를 향하여 음파를 조사하는 음파조사부와, 상기 음파가 해저에서 반사되는 것을 인식하는 음파인식부를 포함하고, 음파 정보를 획득하는 음파측정부를 더 포함하고, 상기 항로탐색모드는, 선박의 진행 방향과 기 설정된 정찰 각도의 방향으로 기 설정된 정찰 거리로 설정된 정찰영역을 이동하며, 상기 영상촬영부와 상기 음파측정부를 통하여 영상 정보와 음파 정보를 획득할 수 있다.A ship guide system according to an embodiment of the present invention includes an unmanned aerial vehicle that acquires maritime information of the expected path of a ship, and a server that analyzes and processes the information acquired by the unmanned aerial vehicle, and the server provides the obtained information. It includes a first processing unit that collects and analyzes information, and a second processing unit that supplementally calculates the flight state of the unmanned aerial vehicle using the obtained information. The unmanned aerial vehicle has a flight path controlled based on a route search mode that searches for an expected route during a ship's voyage, a control unit that supplements the flight path according to information processed by the server, and an image that captures images of the ocean. It includes a photographing unit and a sound wave irradiation unit that irradiates sound waves toward the seafloor, a sound wave recognition unit that recognizes that the sound waves are reflected from the seafloor, and further includes a sound wave measurement unit that acquires sound wave information, and the route search mode is, It moves through a reconnaissance area set at a preset reconnaissance distance in the direction of the traveling direction and a preset reconnaissance angle, and can acquire image information and sound wave information through the image capture unit and the sound wave measurement unit.
본 발명은 위와 같은 구조를 통하여, 선박의 예상경로를 미리 탐색하고 선박의 이접안시 넓은 시야를 확보할 수 있도록 보조하여, 선박 사고가 일어나지 않도록 하며, 항해 및 이접안시 인력을 줄 일 수 있는 장점이 있다. Through the above structure, the present invention has the advantage of helping to search the expected path of the ship in advance and secure a wide field of view when berthing the ship, preventing ship accidents from occurring, and reducing manpower during navigation and berthing. there is.
서버를 통하여 선박의 경로상 문제가 있는 경우 즉각적으로 대응할 수 있는 장점이 있다.It has the advantage of being able to respond immediately if there is a problem with the ship's route through the server.
도 1은 본 발명의 일실시예에 선박 가이드용 무인비행체를 포함하는 선박 가이드 시스템의 개략도이다.
도 2는 본 발명의 일실시예에 따른 항로탐색모드에 있어서 무인비행체가 해상정보를 얻는 영역을 도시한 개략도이다.
도 3은 본 발명의 일실시예에 따른 항로탐색모드에 있어서 순서도이다.
도 4는 본 발명의 일실시예에 따라 이접안탐색모드에 있어서 무인비행체가 촬영한 이미지에 대한 도면으로서, (a)는 선박의 탑뷰 영상정보를 획득한 상태이고, (b)는 객체가 탐지된 상태이며, (c)는 선박과 위치 정렬된 상태의 이미지에 대한 도면이다.
도 5는 본 발명의 일실시예에 따른 이접안탐색모드에 있어서 도 4의 (a), (b) 및 (c)에 대응되는 내용의 블록도이다.
도 6은 본 발명의 일실시예에 따른 이접안탐색모드에 있어서 순서도이다.
도 7은 본 발명의 일실시예에 따른 선박 가이드 방법을 도시한 블록도이다.Figure 1 is a schematic diagram of a ship guide system including an unmanned aerial vehicle for ship guide in one embodiment of the present invention.
Figure 2 is a schematic diagram showing an area where an unmanned aerial vehicle obtains maritime information in a route search mode according to an embodiment of the present invention.
Figure 3 is a flow chart in the route search mode according to an embodiment of the present invention.
Figure 4 is a diagram of an image taken by an unmanned aerial vehicle in a dual-eye search mode according to an embodiment of the present invention. (a) is a state in which top view image information of a ship has been acquired, and (b) is a state in which an object is detected. (c) is a drawing of the image in alignment with the ship.
FIG. 5 is a block diagram of content corresponding to (a), (b), and (c) of FIG. 4 in the disjunctive eye search mode according to an embodiment of the present invention.
Figure 6 is a flowchart in the disjunctive eye search mode according to an embodiment of the present invention.
Figure 7 is a block diagram showing a ship guide method according to an embodiment of the present invention.
이하에서는 첨부된 도면을 참고로 하여, 본 발명의 구체적인 실시예에 대하여 설명하도록 한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경 또는 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상의 범위 내에 포함된다고 할 것이다.Hereinafter, specific embodiments of the present invention will be described with reference to the attached drawings. However, the spirit of the present invention is not limited to the presented embodiments, and those skilled in the art who understand the spirit of the present invention may add, change, or delete other components within the scope of the same spirit, or create other degenerative inventions or this invention. Other embodiments that are included within the scope of the inventive idea can be easily proposed, but it will also be said that this is included within the scope of the inventive idea of the present application.
또한, 본 발명을 설명함에 있어, '~ 부' 또는 '유닛'은 다양한 방식, 예를 들면 프로세서, 프로세서에 의해 수행되는 프로그램 명령들, 소프트웨어 모듈, 마이크로 코드, 컴퓨터 프로그램 생성물, 로직 회로, 애플리케이션 전용 집적 회로, 펌웨어 등에 의해 구현될 수 있다.In addition, in describing the present invention, '~ part' or 'unit' may be used in various ways, for example, a processor, program instructions executed by the processor, software module, microcode, computer program product, logic circuit, application-specific It can be implemented by an integrated circuit, firmware, etc.
본 출원의 실시예에 개시된 방법의 내용은 하드웨어 프로세서로 직접 구현될 수 있으며, 또는 프로세서 중 하드웨어 및 소프트웨어 모듈의 조합으로 구현되어 수행 완성될 수 있다. 소프트웨어 모듈은 랜덤 액세스 메모리, 플래시 메모리, 판독 전용 메모리, 프로그래머블 판독 전용 메모리 또는 전기적 소거 가능 프로그래머블 메모리, 레지스터 등과 같은 종래의 저장 매체에 저장될 수 있다. 상기 저장 매체는 메모리에 위치하며, 프로세서는 메모리에 저장된 정보를 판독하여, 그 하드웨어와 결합하여 상술한 방법의 내용을 완성한다. 중복되는 것을 방지하기 위해, 여기서는 상세한 설명을 생략한다.The contents of the method disclosed in the embodiments of the present application may be directly implemented with a hardware processor, or may be implemented and completed through a combination of hardware and software modules among the processors. Software modules may be stored in conventional storage media such as random access memory, flash memory, read only memory, programmable read only memory, or electrically erasable programmable memory, registers, etc. The storage medium is located in a memory, and the processor reads the information stored in the memory and combines it with the hardware to complete the content of the method described above. To prevent duplication, detailed description is omitted here.
구현 과정에서, 상술한 방법의 각 내용은 프로세서 중 하드웨어의 논리 집적 회로 또는 소프트웨어 형태의 인스트럭션에 의해 완성될 수 있다. 본 출원의 실시예에 개시된 방법의 내용은 하드웨어 프로세서로 직접 구현될 수 있으며, 또는 프로세서 중 하드웨어 및 소프트웨어 모듈의 조합으로 구현되어 수행 완성될 수 있다. 소프트웨어 모듈은 랜덤 액세스 메모리, 플래시 메모리, 판독 전용 메모리, 프로그래머블 판독 전용 메모리 또는 전기적 소거 가능 프로그래머블 메모리, 레지스터 등과 같은 종래의 저장 매체에 저장될 수 있다. 상기 저장 매체는 메모리에 위치하며, 프로세서는 메모리에 저장된 정보를 판독하여, 그 하드웨어와 결합하여 상술한 방법의 내용을 완성한다.In the implementation process, each content of the above-described method can be completed by a logical integrated circuit of hardware among processors or instructions in the form of software. The contents of the method disclosed in the embodiments of the present application may be directly implemented with a hardware processor, or may be implemented and completed through a combination of hardware and software modules among the processors. Software modules may be stored in conventional storage media such as random access memory, flash memory, read only memory, programmable read only memory, or electrically erasable programmable memory, registers, etc. The storage medium is located in a memory, and the processor reads the information stored in the memory and combines it with the hardware to complete the content of the method described above.
즉, 본 분야에서 통상의 지식을 가진 자들은, 본 명세서에서 개시한 실시예에서 설명하는 각 예시적인 유닛 및 알고리즘 단계를 결합하여, 전자 하드웨어 또는 컴퓨터 소프트웨어와 전자 하드웨어의 결합으로 실현할 수 있음을 알 수 있다. 이러한 기능을 하드웨어 방식으로 수행할 것인지 아니면 소프트웨어 방식으로 수행할 것인지는, 기술방안의 특정 응용과 설계 제약 조건에 의해 결정된다. 통상의 지식을 가진 자들은 특정된 응용 각각에 대해 서로 다른 방법을 사용하여 설명한 기능을 실현할 수 있지만, 이러한 실현은 본 출원의 범위를 벗어난 것으로 간주되어서는 안된다.That is, those skilled in the art will know that each exemplary unit and algorithm step described in the embodiments disclosed herein can be combined and realized by electronic hardware or a combination of computer software and electronic hardware. You can. Whether these functions are performed by hardware or software is determined by the specific application and design constraints of the technical solution. Those skilled in the art may implement the described functionality using different methods for each particular application, but such implementation should not be considered beyond the scope of the present application.
본 출원에서 제공하는 몇 개의 실시예에서, 이해해야 할 것은 개시된 장치와 방법은 기타 방식을 통해 실현될 수 있다. 예를 들어, 위에서 설명한 장치 실시예는 단지 예시적인 것으로서, 예를 들어, 상기 유닛의 구분은 단지 일종 논리적 기능 구분으로서, 실제 실현 시 기타의 구분 방식이 존재할 수 있으며, 예를 들어, 복수의 유닛 또는 어셈블리는 다른 하나의 시스템에 결합되거나 집적될 수 있고, 또는 일부 특징은 무시하거나 수행하지 않을 수 있다. 다른 한편, 표시되거나 논의되는 서로 사이의 커플링 또는 직접적인 커플링 또는 통신 연결은 일부 인터페이스, 장치 또는 유닛을 통한 간접적인 커플링 또는 통신 연결일 수 있고, 전기적, 기계적 또는 기타 형태일 수 있다.In some embodiments provided in this application, it should be understood that the disclosed devices and methods may be implemented in other ways. For example, the device embodiment described above is merely illustrative. For example, the division of the units is only a kind of logical function division, and in actual implementation, other division methods may exist, for example, a plurality of units. Alternatively, the assembly may be combined or integrated into another system, or some features may be ignored or not performed. On the other hand, the coupling or direct coupling or communication connection between each other shown or discussed may be an indirect coupling or communication connection through some interface, device or unit and may be electrical, mechanical or other form.
위에서 분리된 부품으로서 설명된 유닛은 물리적으로 분리된 것일 수 있고, 유닛으로서 표시되는 부품은 물리적 유닛이거나 아닐 수 있는 바, 즉 한 곳에 위치하거나 복수의 네트워크 유닛에 분포될 수도 있다. 실제 수요에 따라 그 중 일부 또는 모든 유닛을 선택하여 본 실시예의 방안의 목적을 실현할 수 있다.Units described above as separate parts may be physically separated, and parts displayed as units may or may not be physical units, that is, they may be located in one place or distributed across a plurality of network units. Some or all of the units may be selected according to actual demand to realize the purpose of the scheme of this embodiment.
즉, 본 출원의 각 실시예에서의 각 기능 유닛은 하나의 처리 유닛에 집적될 수 있고, 각 유닛이 단독으로 존재할 수도 있으며, 둘 또는 둘 이상의 유닛이 하나의 유닛에 집적될 수도 있다.That is, each functional unit in each embodiment of the present application may be integrated into one processing unit, each unit may exist alone, or two or more than two units may be integrated into one unit.
상기 기능이 만약 소프트웨어 기능 유닛의 형태로 구현되어 독립적인 제품으로서 판매되거나 사용될 경우, 하나의 컴퓨터 판독 가능 저장매체에 저장될 수 있다. 이러한 이해에 기반하여, 본 출원의 기술방안에서 본질적으로 또는 선행기술에 대해 기여한 부분 또는 상기 기술방안의 일부분은 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장매체에 저장되며, 약간의 인스트럭션을 포함하여 하나의 컴퓨터 장치(개인 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음)로 하여금 본 출원의 각 실시예에서 설명하는 방법의 전부 또는 일부 단계를 수행하도록 한다. 상술한 저장매체는 USB 메모리, 모바일 하드디스크, 읽기 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 시디롬 등과 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.If the above function is implemented in the form of a software function unit and sold or used as an independent product, it may be stored in a single computer-readable storage medium. Based on this understanding, the part of the technical solution of this application that is essentially or a contribution to the prior art or a part of the technical solution may be implemented in the form of a software product, and the computer software product is stored in a storage medium. , including some instructions to cause one computer device (which may be a personal computer, server, or network device, etc.) to perform all or part of the steps of the method described in each embodiment of the present application. The above-described storage media includes various media that can store program code, such as USB memory, mobile hard disk, read-only memory (ROM), random access memory (RAM), magnetic disk, or CD-ROM. Includes.
도 1은 본 발명의 일실시예에 따른 선박 가이드용 무인비행체와 이를 포함하는 선박 가이드 시스템을 간략하게 도시한다.Figure 1 briefly shows an unmanned aerial vehicle for guiding a ship and a ship guide system including the same according to an embodiment of the present invention.
본 발명에 있어서, 선박(1)은 위치인식부(11)와 선박항로제어부(12)가 포함되어 있을 수 있다. 위치인식부(11)는 항해 도중에 현 위치를 파악하기 위한 것으로서, GPS 등의 시스템일 수 있다. 선박항로제어부(12)는 선박(1)의 항로를 제어하는 부분으로서, 하기 서술된 서버(3)에 의하여 직접적으로 제어될 수도 있지만, 선박(1) 내부에서 선박항로제어부(12)를 통하여 선박(1)의 항로가 제어될 수도 있다.In the present invention, the
본 발명의 일 실시예에 따른 선박(1)의 항로 탐색 또는 이접안을 보조하는 선박 가이드용 무인비행체(2)는, 영상촬영부(21)와 음파측정부(22)의 실측을 위한 부분과 실측 정보를 저장하는 디지털 레코더부(23), 측정한 정보를 외부로 송신하는 정보송신부(24), 외부에서 처리한 정보 등을 수신하는 정보수신부(25) 및 무인비행체(2)의 비행경로, 비행상태 등을 제어하는 제어부(26)를 포함할 수 있다.The unmanned aerial vehicle (2) for guiding a ship that assists in route navigation or berthing of a ship (1) according to an embodiment of the present invention includes a portion for actual measurement of the image capture unit (21) and the sound wave measurement unit (22). A
본 발명에서 언급하는 무인비행체(2)는 사람이 직접적으로 탑승하지 않고 비행하는 모든 물체를 포함하고, 일반적으로 드론을 의미할 수 있다.The unmanned aerial vehicle (2) referred to in the present invention includes all objects that fly without a person directly aboard, and may generally refer to a drone.
영상촬영부(21)는 해상 영상을 촬영할 수 있다. 영상촬영부(21)는 종래의 촬영장치나 카메라 등이 사용될 수 있다. 그리고 영상의 흔들림을 방지하기 위하여 보정수단 등이 추가적으로 구비될 수 있다. 영상촬영부(21)는 다양한 각도로 촬영하도록 360°로 촬영되는 어안렌즈 등을 사용할 수도 있고, 복수개의 촬영 장비가 설치되어 적어도 선박(1)의 탑뷰(top view)와 무인비행체(2)의 전방을 촬영하도록 구비되어 있을 수 있다. 또한, 해양상에서 사용되는 것을 목적으로 하기 때문에, 염분으로 인한 부식을 방지하기 위해 별도의 부식방지 수단이 마련되거나 부식방지층이 무인비행체(2)의 표면에 마련될 수 있다.The
음파측정부(22)는 해저를 향하여 음파를 조사하는 음파조사부(22a)와, 조사된 음파가 수중에서 지형물 등에 의하여 반사되고, 이 반사된 음파를 인식하는 음파인식부(22b)를 포함한다. 이를 통하여 해저 지형의 음파 정보를 획득할 수 있다. 고유의 음파 신호를 발생시켜 해수면을 향하여 발사되고, 발사된 음파가 음파인식부(22b)에 의하여 인식 또는 탐지된다. 이러한 음파 신호는 조사된 시간과 수신된 시간에 대한 정보의 분석 또는 음파가 수중에서 전파되는 속도 등을 이용하여 분석될 수 있다.The sound
디지털 레코더부(23)는 영상촬영부(21)와 음파측정부(22)에서 획득한 영상 정보와 음파 정보를 저장할 수 있다. 1차적으로 디지털 레코더부(23)에 저장한 후 일괄적으로 서버(3)로 송신하여, 데이터 손상에 대비하고, 데이터를 효율적으로 처리하는데 도움을 줄 수 있다. The
디지털 레코더부(23)는 무인비행체(2) 외에 서버(3)나, 서버(3) 외의 다른 서버에 구비되어 있을 수도 있다. The
정보송신부(24)는 상기 영상촬영부(21)에서 촬영한 영상 정보와 상기 음파 정보를 서버(3)로 송신할 수 있다. 정보를 송신하는 것은 일반적인 모든 방법에 따라 서버(3)로 정보를 송신할 수 있다.The
정보수신부(25)는 상기 서버(3)에서 처리한 정보를 처리하여 도출된 해상정보와, 기설정된 선박(1) 예상경로를 기준으로 무인비행체(2)의 위치에 대한 위치 보완 정보를 수신 받을 수 있다. 무인비행체(2)는 일반인 모든 방법을 통하여 서버(3)로부터 위치 보완 정보를 수신받을 수 있다.The
특히, 사물인터넷 기술이 적용됨으로써 서버(3)와 무인비행체(2), 해양의 구조물 및 이동식 부유체 등과 통신이 가능할 수 있다.In particular, by applying IoT technology, communication between the
위치 보완 정보는 선박(1)의 운항시에는 해상과 해저의 장애 객체의 유무에 따라 선박(1)의 예상 경로가 변경될 수 있고, 예상 경로 그대로 유지될 수도 있다. 이러한 선박(1)의 경로와 무인비행체(2)의 속도 등을 고려하여 무인비행체(2)가 귀환되어야 할 귀환위치(ro)에 대한 정보일 수 있다. When operating the
또는, 선박(1)이 이접안 되는 경우에 있어서, 선박(1)의 이동에 따라 영상 정보에 선박(1)의 일정한 부분을 촬영하는 무인비행체(2)가 선박(1)과 정렬되는 위치인 정렬위치에 대한 정보일 수 있다. 즉, 선박(1)의 예상 경로를 기준으로, 무인비행체(2)의 위치 또는 경로가 위치 보완 정보에 따라 수정, 보완될 수 있다.Alternatively, in the case where the
제어부(26)는 무인비행체(2)의 위치, 높이를 포함하는 비행상태를 제어할 수 있다. 이러한 제어는 해상정보 또는 위치 보완 정보에 의하여 수정, 보완되어 수행될 수 있다.The
이하, 선박 가이드 시스템 또는 선박 가이드 방법에 있어서, 무인비행체에 대한 설명은 상기 기재된 선박 가이드용 무인비행체(2)의 내용을 인용하도록 한다.Hereinafter, in the ship guide system or ship guide method, the description of the unmanned air vehicle will refer to the contents of the unmanned air vehicle for ship guide (2) described above.
본 발명의 일실시예에 따른 무인비행체를 이용한 선박 항로 또는 이접안을 가이드하는 선박 가이드 시스템은, 무인비행체(2)와 서버(3)를 포함한다.A ship guide system that guides ship navigation or berthing using an unmanned aerial vehicle according to an embodiment of the present invention includes an unmanned aerial vehicle (2) and a server (3).
무인비행체(2)는 선박의 예상경로의 해상 정보를 미리 획득할 수 있다. 상기 무인비행체(2)가 획득하는 해상 정보는 영상 정보를 포함한다. 그리고 추가적으로, 음파 정보일 수 있다. 또한, 무인비행체는 상기 설명된 선박 가이드용 무인비행체(2) 일 수 있다. The unmanned aerial vehicle (2) can acquire maritime information about the ship's expected route in advance. The maritime information acquired by the unmanned
무인비행체(2)는 선박(1)의 운항 상태에 따라 비행상태를 제어하는 모드가 구분되어 있을 수 있다.The unmanned
서버(3)는 상기 무인비행체(2)가 획득한 정보를 처리 분석하고, 무인비행체(2)의 비행경로와 비행상태에 대한 제어를 보완하기 위한 정보를 계산하여 송신할 수 있다.The
서버(3)는 상기 무인비행체(2)가 획득한 정보를 취합, 분석하는 제1 처리부(31)와, 상기 획득한 정보로 상기 무인비행체(2)의 비행상태를 보완 계산하는 제2 처리부(32)를 포함할 수 있다.The
제1 처리부(31)와 제2 처리부(32)는 별도로 구성되어 있을 수도 있고, 하나의 처리부에서 임의로 각각의 처리를 구분하기 위하여 나뉘어진 임의의 영역일 수도 있다.The
서버(3)에는 해도저장부(33)가 구비되어 있을 수 있다. 해도저장부(33)에는 기존의 해도가 저장되어 있는 부분으로서, 디지털 해도가 관리되고 있을 수 있다.The
그리고 서버(3)에는 서버수신부(34)와 서버송신부(35)가 마련되어 있을 수 있다. 서버수신부(34)를 통하여 무인비행체(2) 또는 선박(1) 등에서 송신한 정보를 수신할 수 있다. 그리고 무인비행체(2), 선박(1) 또는 디스플레이부(4)에 서버(3)에서 처리한 정보를 송신하기 위한 서버송신부(35)가 더 포함될 수 있다.Additionally, the
본 발명은 디스플레이부(4)를 더 포함하고 있을 수 있다. 디스플레이부(4)를 더 포함하여 서버(3)에서 처리한 정보 등을 출력 또는 표시하고, 사용자 또는 관리자가 디스플레이부(4)를 통해 전달된 정보를 쉽게 알 수 있는 효과를 제공할 수 있다. 또한 다양한 정보를 디스플레이부(4)에서 한꺼번에 표시함으로서 확인하여 할 정보를 놓치지 않고 확인할 수도 있다.The present invention may further include a
도 2는 항로탐색모드에 대한 무인비행체의 비행경로를 개략적으로 도시한다. 도 3은 본 발명의 일실시예에 따른 순서도를 도시한다.Figure 2 schematically shows the flight path of an unmanned aerial vehicle in route search mode. Figure 3 shows a flow chart according to one embodiment of the present invention.
상기 무인비행체(2)는, 선박(1)의 항해 중에 예상경로를 탐색하는 항로탐색모드를 기본으로 비행경로가 제어될 수 있다.The flight path of the unmanned
항로탐색모드는 선박(1)의 예상 항로를 무인비행체(2)가 사전에 탐색하여 예상경로로 운항하는 것이 문제가 없을지를 판단하기 위한 정보를 촬영, 측정하여 선박 항로를 가이드하기 위한 비행 모드이다. The route search mode is a flight mode for guiding the ship's route by having the unmanned aerial vehicle (2) search in advance for the expected route of the vessel (1) and photographing and measuring information to determine whether there will be any problems in operating on the expected route. .
도 2를 참고하면, 상기 항로탐색모드는, 기 설정된 정찰영역으로 이동하며, 상기 영상촬영부(21)와 상기 음파측정부(22)를 통하여 영상 정보와 음파 정보를 획득할 수 있다. 기 설정된 정찰영역은 선박(1)의 진행 방향과 기 설정된 정찰각도(θ)로 기 설정된 정찰거리(r)로 이루어지는 영역일 수 있다.Referring to FIG. 2, the route search mode moves to a preset reconnaissance area and can acquire image information and sound wave information through the
일례로서, 선박(1)의 예상경로의 전진 방향을 기준으로 특정 각도인 정찰각도(θ)를 갖는 영역을 사전에 탐지할 수 있다. 기설정된 정찰각도(θ)가 30°, 정찰거리(r)가 3km로 기 설정되어 있다면, 선박(1)의 현재 위치를 기준으로 선박의 예상경로의 전진방향을 0°로 하여 상부각과 하부각이 각각 30°의 3km의 반지름을 갖는 부채꼴이 되는 영역을 이동하도록 구성될 수 있다. 다만, 귀환위치(ro)는 선박(1)의 현재 위치를 기준으로 귀환시점에 선박(1)이 위치될 위치로 이동될 수 있다. 또 다른 례로서는 정찰거리(r) 중 일정 거리, 예를 들어서 변경되기 전의 예상 경로로 무인비행체(2)의 정찰 후 복귀 지점으로 예상되는 귀환위치(ro)까지 예상경로를 따라 이동한 후에, 상기와 같이, 선박(1)의 현재 위치를 기준으로 선박의 예상경로의 전진방향을 0°로 하여 상부각과 하부각이 각각 30°의 3km의 반지름을 갖는 호에 해당하는 거리를 정찰하도록 구성될 수도 있다. 즉, 첫째로 선박(1)의 현재 위치를 기준으로 일정거리를 선박의 예상 경로를 따라 이동, 두번째로 선박(1)의 현재 위치를 기준으로 예상 경로의 전진방향을 0°로 하여 상부각 또는 하부각이 30°의 거리가 3km인 지점까지 이동, 세번째로 선박(1)의 현재 위치를 기준으로 예상 경로의 전진방향을 0°로 하여 상부각 또는 하부각이 30°의 거리가 3km인 호를 따라 이동할 수 있다. 마지막으로, 귀환시점에 선박(1)의 예상 위치를 귀환위치(ro)로 무인비행체(2)가 이동할 수 있다.As an example, an area having a reconnaissance angle θ, which is a specific angle based on the forward direction of the expected path of the
항로탐색모드에서는 일정한 높이를 유지하면서 영상 정보 또는 음파 정보를 취득하는 것이 바람직하고, 일례로서 선박(1)으로부터 상공으로 80m를 유지하여 취득할 수 있다. 그러나 상공의 장애물이나, 기상상황 등에 의하여 일정한 높이의 유지가 어렵거나 높이를 변경하면서 촬영하는 것이 유리한 경우가 있을 수 있고, 일정한 높이로서 촬영하는 것에 한정되지는 않는다.In the route search mode, it is desirable to acquire image information or sound wave information while maintaining a constant height, and as an example, it can be acquired by maintaining an altitude of 80 m from the
항로탐색모드에서는, 무인비행체(2)가 앞서 설명한 것과 같이 일정한 영역을 이동하게 된다. 상기 영역을 이동하면서 카메라를 통한 해상촬영을 통한 해상 이미지 정보를 획득하고, 음파측정부(22)에서 음파를 조사하고 되돌아오는 음파에 대한 시간을 측정하여 해저 지형에 대한 정보를 획득할 수 있다. 그리고 획득된 정보는 별개의 저장영역인 디지털 레코더부(23)에 저장될 수도 있다. In the route search mode, the unmanned
이미지 정보와 음파 정보는 정보송신부(24)에서 서버(3)로 송신될 수 있다. 서버(3) 내에서 서버수신부(34)에서 정보를 수신 받을 수 있다. 제1 처리부(31)는 영상 정보와 음파 정보를 전달받아 선박의 예상 경로상의 해상 정보를 파악할 수 있게 된다. Image information and sound wave information can be transmitted from the
상기 제1 처리부(31)는, 상기 영상 정보를 통하여 해상에 존재하는 객체를 구분하고, 상기 객체가 상기 선박의 예상경로상 장애물인지 여부를 판단하며, 상기 음파 정보를 통하여 측정 해저지형을 파악하고, 상기 해도저장부(33)에 저장된 해도의 해저지형 정보와 상기 측정 해저지형을 비교하여 동일 여부를 판단하되, 상기 해상에 장애물이 존재하지 않고 상기 해저지형이 동일한 경우에 한하여 상기 선박(1)의 경로를 상기 예상경로로 유지할 수 있다. 그리고, 상기 선박의 예상경로상 장애물이 존재하는 경우 상기 선박(1)의 경로를 변경할 수 있다. 또는, 상기 해저지형이 동일하지 않은 경우, 상기 해도저장부(33)의 해저지형 정보를 상기 측정 해저지형으로 저장하고, 상기 선박(1)의 경로를 변경할 수 있다.The
일례로, 영상 정보를 통하여, 딥 러닝을 이용한 객체 탐지를 진행할 수 있다. 그 이후에 예상 경로로 이동하였을 경우, 경로 상에 존재하는 장애 객체가 인식되는 경우, 선박(1)의 경로를 변경할 수 있다. For example, object detection using deep learning can be performed through image information. Afterwards, when moving to the expected route, if an obstacle object existing on the route is recognized, the route of the
객체로서 인식되는 물체는 선박(1), 부표, 지형, 항만, 건물 등을 포함할 수 있다. 이하에서는 주로 가시광선 카메라를 통해 획득한 이미지를 분석하는 것에 대해 설명하나 이에 한정되는 것은 아니다.Objects recognized as objects may include
또한, 영상 정보는 이미지의 각 픽셀별로 해당 픽셀이 어떤 객체에 대응하는지를 나타내는 세그멘테이션(segmentation)에 따라 인식될 수도 있다. 그리고, 사전에 각 객체별 픽셀에 해당되는 특성에 라벨링(labelling) 또는 할당되어서, 이러한 사전 정보 및 세그멘테이션에 따라 객체가 인식될 수 있다. Additionally, image information may be recognized according to segmentation, which indicates which object each pixel in the image corresponds to. Additionally, characteristics corresponding to pixels for each object are labeled or assigned in advance, so that the object can be recognized according to this prior information and segmentation.
이렇게 인식된 객체를 선박(1)의 경로와 비교하여 장애 객체인지 여부를 판단할 수 있다. 장애 객체가 있는 경우, 선박(1)의 경로를 변경하고, 장애 객체가 없는 경우, 선박(1)의 경로를 유지하되, 음파 정보에 따른 결과 경로 변경여부에 대한 결과를 도출할 수 있다.By comparing the recognized object with the path of the
위와 같은 세그멘테이션 및 장애 객체여부 판단은 인공 신경망을 통하여 도출될 수도 있다. 인공 신경망의 종류로는 필터를 이용해 특징을 추출하는 합성곱신경망(convolution neural network, CNN) 및 노드의 출력이 다시 입력으로 피드백 되는 구조를 갖는 순환인공신경망(recurrent neural network, RNN)이 있고, 제한된 볼츠만 머신(restricted Boltzmann machine, RBM), 심층신뢰신경망(deep belief network, DBN), 생성대 립신경망(generative adversarial network, GAN), 관계형 네트워크(relation networks, RN) 등 다양한 구조가 적용될 수 있고 제한이 있는 것은 아니다. 인공 신경망을 이용하기 전에 학습시키는 단계가 필요하다. The above segmentation and determination of whether a fault object exists can also be derived through an artificial neural network. Types of artificial neural networks include a convolution neural network (CNN), which extracts features using filters, and a recurrent neural network (RNN), which has a structure in which the output of a node is fed back to the input. Various structures such as restricted Boltzmann machine (RBM), deep belief network (DBN), generative adversarial network (GAN), and relational networks (RN) can be applied and have limitations. It doesn't exist. Before using an artificial neural network, a learning step is necessary.
또는, 인공 신경망을 이용하며 학습시킬 수 있다. 인공 신경망은 지도 학습(supervised learning), 비지도 학습(unsupervised learning), 강화 학습 (reinforcement learning), 모방 학습(imitation learning) 등 다양한 방법을 통해 학습될 수 있다.Alternatively, it can be trained using an artificial neural network. Artificial neural networks can be learned through various methods such as supervised learning, unsupervised learning, reinforcement learning, and imitation learning.
일례로, 음파 정보는 제1 처리부(31)에 의하여 음파의 전달 시간에 따른 해저 지형을 도시할 수 있다. 직접 측정한 해저지형과 서버(3)에 존재하는 해도저장부(33)에 기 저장된 기존의 해도를 비교하여, 현재 지형과 해도에 따른 지형이 동일한지 여부를 판단할 수 있다. 본 발명에서 언급하는 동일은 완전히 일치하는 것 이외에, 선박(1)이 예상 경로를 이동할 때 선박(1)의 충돌과 같은 문제가 없을 정도로 일치되는 경우도 포함될 수 있다. For example, the sound wave information may show the seafloor topography according to the transmission time of the sound wave by the
해도저장부(33)에 저장된 해저지형과 측정 해저지형이 동일한 경우에는 기존의 예상 경로를 유지하고, 동일하지 않은 경우에는 선박 항로를 변경한다. 그리고 이 경우에는 실제 측정한 해저지형을 해도저장부(33)에 저장하여 업데이트 하는 과정을 더 포함하고 있을 수 있다. 즉, 상기 해도저장부(33)의 해저지형 정보를 상기 측정 해저지형으로 저장하고, 선박(1)의 경로를 변경할 수 있다.If the seafloor topography stored in the
상기 이미지 정보와 음파 정보는 동시에 제1 처리부(31)에 의하여 각각 또는 동시에 처리될 수도 있으나, 이미지 정보에 의하여 장애 객체가 존재한다고 판단되거나 음파 정보에 의하여 해저 지형이 다르다고 판단되는 경우 중 적어도 어느 하나에 해당하는 경우에 선박(1)의 예상 경로를 변경하여야 하고, 이미지 정보에 의하여 장애 객체가 존재하지 않고, 음파 정보에 의한 처리 값에 의하여 해저 지형이 동일하다고 판단되는 경우에만 선박(1)의 경로를 예상대로 유지하도록 제어될 수 있다. The image information and sound wave information may be processed separately or simultaneously by the
그리고 무인비행체(2)는 제2 처리부(32)에 의하여 귀환위치(ro)가 연산되고, 서버(3)에서 직접 무인비행체(2)를 제어하거나, 무인비행체(2)에 상기 제2 처리부(32)에 의한 연산결과를 송신하여 무인비행체(2)에 마련된 제어부(26)에 의하여 귀환위치(ro)로 이동하도록 비행경로가 보완되며 제어될 수도 있다.And the
상기 제2 처리부(32)는 제1 처리부(31)의 처리 결과를 바탕으로 귀환위치(ro)를 연산하게 된다. The
일례로서, 상기 제2 처리부(32)는, 상기 선박(1)에 구비된 위치인식부(11)로부터 GPS 위치 정보를 획득하고, 상기 선박의 예상경로와 상기 무인비행체(2)의 속도를 분석하여 상기 무인비행체(2)의 귀환 위치를 계산할 수 있다. 그리고, 상기 무인비행체(2)는, 상기 정찰영역의 정보 획득이 종료되면, 상기 제2 처리부(32)에 의한 값을 정보수신부(25)에 의하여 수신 받고, 상기 제어부(26)에 의하여 상기 귀환위치(ro)로 이동되도록 상기 비행경로가 보완될 수 있다.As an example, the
선박 경로를 유지하게 된다면, 무인비행체(2)의 탐색종료의 위치에서 선박(1)의 예상 경로상 어느 한 지점으로 이동하는 시간과, 선박(1)의 예상 이동시간이 동일한 지점을 귀환위치(ro)로서 연산하여 무인비행체(2)의 비행경로를 보완할 수 있다.If the ship's route is maintained, the return position ( ro), the flight path of the unmanned aerial vehicle (2) can be supplemented.
선박(1)이 경로를 변경하게 된다면, 무인비행체(2)의 탐색 종료의 위치에서 변경된 선박(1)의 항로상 어느 한 지점으로 이동하는 시간과, 선박(1)의 변경된 항로 중 상기 어느 지점으로 이동하는 시간이 동일한 점을 무인비행체(2)의 귀환위치(ro)로서 연산하여 무인비행체(2)의 비행경로를 보완할 수 있다.If the ship (1) changes its route, the time to move from the search end position of the unmanned aerial vehicle (2) to a point on the changed route of the ship (1), and the time to move to a point on the changed route of the ship (1) The flight path of the unmanned aerial vehicle (2) can be supplemented by calculating the point where the travel time is the same as the return position (ro) of the unmanned aerial vehicle (2).
그리고, 무인비행체(2)는 선박(1)의 예상 항로가 변경된 경우에 있어서 새로운 항로에 대한 탐색을 위하여 귀환위치(ro)의 정보를 제공하기 전에 탐색에 대한 항로로 경로를 보완하도록 제2 처리부(32)에서 연산된 결과를 도출할 수도 있다.In addition, in the case where the expected route of the
상기 언급한 내용 이외에 제2 처리부(32)는 선박 경로를 고려해 무인비행체(2)의 비행경로를 보완, 유지 및 변경하는 것을 포함할 수 있다.In addition to the above-mentioned contents, the
도 4는 본 발명의 일실시예에 따라 이접안탐색모드에 있어서 무인비행체가 촬영한 촬영 정보로부터 객체를 인식하고 정렬하는 일련의 과정을 도시한 도면이고, 도 5는 도 4의 이접안탐색모드의 무인비행체의 제어를 설명하는 블록도이다. 도 6은 본 발명의 일실시예에 따른 선박 가이드 시스템의 이접안탐색모드인 경우에 순서도를 도시한다.FIG. 4 is a diagram illustrating a series of processes for recognizing and aligning objects from shooting information captured by an unmanned aerial vehicle in a disjunctive eye search mode according to an embodiment of the present invention, and FIG. 5 is a distal eye search mode of FIG. 4 This is a block diagram explaining the control of an unmanned aerial vehicle. Figure 6 shows a flow chart in the case of the berthing search mode of the ship guide system according to an embodiment of the present invention.
이접안탐색모드는, 선박(1)의 이접안시에 항구 또는 인접한 선박(1) 등과의 사고를 방지하기 위하여 선박(1)의 상부에서 선박(1)이 확인할 수 없는 시야를 확보하여 사전에 사고를 방지하기 위한 모드이다. The berthing search mode is used to prevent accidents with ports or adjacent ships (1) when berthing a ship (1) by securing a field of view that the ship (1) cannot see from the top of the ship (1), thereby preventing accidents in advance. This is a mode to prevent.
이접안탐색모드에 있어서, 무인비행체(2)는 선박(1)의 이접안시 예상되는 선박(1)의 이접안 경로를 탐색하는 이접안탐색모드를 기본으로 비행경로가 제어되고, 무인비행체(2)는 상기 선박(1)의 이동경로와 나란하게 기 설정된 높이로 이동하면서, 선박(1)의 탑뷰(top view) 영상을 촬영하는 영상촬영부(21)를 통하여 영상 정보를 획득하도록 제어될 수 있다. In the berthing search mode, the flight path of the
무인비행체(2)에는 서버(3)가 처리한 정보에 비행경로를 보완하도록 제어부(26)가 더 구비되어 있을 수 있다.The unmanned
일례로서, 이접안탐색모드에서 상기 제1 처리부(31)는, 상기 영상 정보를 통하여 해상에 존재하는 객체를 구분하고, 상기 객체 중에서 가장 크게 탐지된 선박(1)을 주 선박으로 설정하며, 상기 영상 정보 및 상기 무인비행체(2)의 속도를 포함하는 데이터로부터 이안 또는 접안 대상체를 기준으로 상기 주 선박의 진행 각도와 속도를 포함하는 상기 주 선박의 데이터를 연산할 수 있다.As an example, in the disjunctive eye search mode, the
제1 처리부(31)는 이접안탐색모드에서 영상 정보에 대한 객체를 구분하고, 인식된 객체 중에서 가장 큰 객체를 주 선박으로 설정한다. 주 선박은 가이드하고자 하는 선박(1)이 된다. 이접안시에 직상부에서의 선박(1)의 탑뷰(top view)를 획득하여 선박(1) 내에서는 확인하기 어려운 다른 객체들 및 선박(1)이 예상하는 경로로 움직이도록 제어된 경우에 사고가 발생하지 않는지를 탐색한다. 또는, 선박(1)의 직상부에서의 뷰를 획득하여 운항자가 이접안하는 경우에 직접적으로 참고하여 사고를 미연에 방지할 수도 있다. The
도 4의 (a)는 무인비행체(2)가 선박(1) 직상부의 영상정보를 촬영한 것을 도시한다. 그리고 도 4의 (b)는 상기 항로탐색모드에서 기재한 것과 동일하게 딥 러닝을 통한 객체 탐지 기술을 이용하여 가장 크게 인식된 선박(1)을 주 선박으로 인식하도록 설정될 수 있다. 노란색 박스로 나타난 부분이 주 선박으로 설정되는 것을 도시한다. 도 4의 (c)에 의하면 선박(1)에 무인비행체(2)가 정렬된 상태에서 주 선박이 설정된 상태의 영상 정보이다. 즉, 제1 처리부(31)와 제2 처리부(32)로 인하여 선박(1)의 정렬위치로 무인비행체(2)가 위치되도록 제어될 수 있다. Figure 4(a) shows that the unmanned
제2 처리부(32)는 상기 영상 정보가 이미지로 변환되고, 상기 이미지가 가로의 제1 길이와 상대적으로 제1 길이보다 짧거나 같은 세로의 길이인 제2 길이를 가진 사각형의 모양으로 나타나는 경우, 상기 주 선박의 선두로부터 선미까지의 선박(1) 길이 및 상기 주 선박의 선박(1) 폭이 각각 상기 제1 길이 및 제2 길이의 중앙에 위치되도록 상기 무인비행체(2)의 선박정렬위치를 계산될 수 있다. 그리고, 상기 서버(3)에 구비되는 서버송신부(35)에 의하여 상기 선박정렬위치를 송신하며, 상기 무인비행체(2)에 구비되어 정보를 수신하는 정보수신부(25)가 상기 선박정렬위치를 수신하고, 상기 제어부(26)가 상기 무인비행체(2)를 상기 선박정렬위치로 이동시키도록 상기 비행경로가 보완될 수 있다. 제2 처리부(32)로부터 경로 보완의 정보을 송신하여 무인비행체(2)의 제어부(26)에 의하여 비행경로가 제어될 수 있다. 즉, 무인비행체(2)가 선박(1)과 정렬된 위치에 위치됨으로서, 선박(1)에서 볼 수 없었던 넓은 시야의 정보를 제공하고, 이를 이용하여 선박(1) 운행을 가이드 하게 된다. 무인비행체(2)의 위치는 선박(1)의 경로를 따라 유지되고, 선박(1)의 이접안이 끝난 상태에서 이접안탐색모드가 해제될 수도 있다. When the
또한, 무인비행체(2)의 상공 높이가 어느 정도 이상이 되어야 선박(1) 내에서는 확인하기 어려운 시야를 확보할 수 있으므로, 무인비행체(2)의 높이가 기설정되어 있을 수 있다. 그리고 해당 높이에 이르지 못할 경우, 무인비행체(2)의 높이가 변경되도록 제어될 수 있다.In addition, since the height of the
이하, 선박 가이드 방법에 대하여 기재한다. 선박 가이드 방법에 있어서 상술한 무인비행체 또는 선박 가이드 시스템과 동일한 명칭 또는 언급한 과정 및 효과를 갖는 경우에는 상술한 내용을 인용한다.Hereinafter, the ship guide method will be described. In case the ship guide method has the same name or mentioned process and effect as the above-mentioned unmanned aerial vehicle or ship guide system, the above-mentioned content is cited.
도 7은 본 발명의 일 실시예에 따른 선박 가이드 방법에 대한 순서도를 도시한다.Figure 7 shows a flow chart for a ship guide method according to an embodiment of the present invention.
본 발명의 일 실시예에 따르면, 선박의 예상경로를 모니터링하고 가이드 방법에 있어서, 선박의 측정 정보 획득 단계(S10)와, 정보 처리 단계(S20)와, 정보 판단 단계(S30)와, 선박 경로 수정 단계(S40)와, 무인비행체 경로 보정 단계(S50)를 포함한다.According to an embodiment of the present invention, in a method for monitoring and guiding the expected path of a ship, a ship measurement information acquisition step (S10), an information processing step (S20), an information determination step (S30), and a ship path It includes a correction step (S40) and an unmanned aerial vehicle path correction step (S50).
측정 정보 획득 단계(S10)는, 선박의 예상경로와 상기 예상경로의 특정한 지점으로부터 일정거리인 정찰거리(r) 및 일정각도인 정찰각도(θ)로 형성될 수 있는 기 설정된 정찰범위를 무인비행체(2)가 이동하면서 상기 무인비행체(2)에 구비된 영상촬영부(21)로 해상의 영상 정보를 획득하고, 상기 무인비행체(2)에 구비된 음파측정부(22)로 해저의 음파 정보를 획득하는 단계이다.In the measurement information acquisition step (S10), a preset reconnaissance range that can be formed by the reconnaissance distance (r), which is a certain distance from the expected path of the ship and a specific point of the expected path, and the reconnaissance angle (θ), which is a certain angle, is determined by the unmanned aerial vehicle. As (2) moves, image information of the sea is acquired by the
정보 처리 단계(S20)는, 상기 획득된 영상 정보를 서버(3)로 수신하고, 상기 서버(3)에 구비된 제1 처리부(31)에 의하여 딥 러닝을 이용한 객체인식을 통하여 영상 정보 내의 객체를 인식하고 구분하는 영상 정보 처리와, 상기 획득된 음파 정보를 상기 서버(3)로 수신하고, 상기 제1 처리부(31)에 의하여 상기 음파 정보로 해저지형을 연산하는 음파 정보 처리를 포함할 수 있다.In the information processing step (S20), the acquired image information is received by the
정보 판단 단계(S30)는, 상기 처리된 영상 정보에서, 상기 선박(1)의 이동에 장애가 될 수 있는 장애 객체 유무를 판단하고, 상기 처리된 음파 정보에서, 상기 서버(3)에 구비된 해도저장부(33)에 저장된 해저지형과 상기 연산된 해저지형을 비교하는 단계이다.In the information determination step (S30), the presence or absence of an obstacle that may be an obstacle to the movement of the
선박 경로 수정 단계(S40)는, 상기 제1 처리부(31)에서, 상기 장애 객체가 존재하거나 상기 저장된 해저지형과 상기 연산된 해저지형이 다른 경우, 상기 선박의 예상경로를 변경하고, 상기 장애 객체가 존재하지 않고 상기 저장된 해저지형과 상기 연산된 해저지형이 동일한 경우, 상기 선박(1)의 예상 경로를 그대로 유지하는 단계이다.In the ship path modification step (S40), in the
무인비행체 경로 보정 단계(S50)는, 상기 선박(1)에 구비된 위치인식부(11)에 의하여 상기 서버(3)가 상기 선박(1)의 위치정보를 획득하고, 상기 서버(3)에 구비된 제2 처리부(32)에 의하여 상기 선박(1)의 위치정보 및 상기 무인비행체(2)의 속도를 연산하여 상기 무인비행체(2)의 귀환위치(ro)를 연산하는 단계이다.In the unmanned aerial vehicle path correction step (S50), the
그리고, 표시 단계(미도시)를 더 구비하여, 상기 제1 처리부(31) 또는 제2 처리부(32)에 의하여 연산된 정보를 별도의 디스플레이부(4)에서 표시하는 단계를 더 포함할 수도 있다.In addition, a display step (not shown) may be further included to display the information calculated by the
상기와 같은 단계를 통하여 선박의 예상 경로를 무인비행체가 사전에 정찰하고 선박을 가이드 할 수 있어서, 사전에 선박 사고를 방지하는 효과를 제공할 수 있다.Through the above steps, the unmanned aerial vehicle can scout the expected route of the ship in advance and guide the ship, providing the effect of preventing ship accidents in advance.
이상에서는 본 발명을 실시예를 중심으로 설명하였지만, 본 발명은 상술한 실시예에 한정되지 않으며, 청구범위에서 청구되는 본 발명의 기술적 사상의 변화 없이 통상의 기술자에 의해서 변형되어 실시될 수 있음은 물론이다.In the above, the present invention has been described focusing on the embodiments, but the present invention is not limited to the above-described embodiments, and may be modified and implemented by those skilled in the art without changing the technical spirit of the present invention as claimed in the claims. Of course.
1: 선박
2: 무인비행체
3: 서버
4: 디스플레이부
11: 위치인식부
12: 선박항로제어부
21: 영상촬영부
22: 음파측정부
23: 디지털 레코더부
24: 정보송신부
25: 정보수신부
26: 제어부
31: 제1 처리부
32: 제2 처리부
33: 해도저장부
34: 서버수신부
35: 서버송신부
r: 정찰거리
ro: 귀환위치
θ: 정찰각도
S10: 측정 정보 획득 단계
S20: 정보 처리 단계
S30: 정보 판단 단계
S40: 선박 경로 수정 단계
S50: 무인비행체 경로 보정단계1: Ship 2: Unmanned Aerial Vehicle
3: Server 4: Display unit
11: Location recognition unit 12: Ship route control unit
21: video recording unit 22: sound wave measurement unit
23: digital recorder unit 24: information transmission unit
25: information receiving unit 26: control unit
31: first processing unit 32: second processing unit
33: chart storage unit 34: server reception unit
35: Server transmitter r: Reconnaissance distance
ro: return position θ: reconnaissance angle
S10: Measurement information acquisition step S20: Information processing step
S30: Information judgment step S40: Ship route correction step
S50: Unmanned aerial vehicle path correction step
Claims (14)
해상 영상을 촬영하는 영상촬영부;
해수면을 향하여 음파를 발사하는 음파발사부와, 상기 음파가 해저에서 반사되는 것을 인식하는 음파인식부를 포함하고, 해저 지형의 음파 정보를 획득하는 음파측정부;
상기 영상촬영부에서 촬영한 영상 정보와 상기 음파 정보를 서버로 송신하는 정보송신부;
상기 서버로부터 상기 정보송신부에 의하여 획득한 정보를 처리하여 도출된 해상 정보와 기설정된 선박경로를 기준으로 위치 보완 정보를 수신받는 정보수신부; 및
상기 해상 정보 또는 상기 위치 보완 정보에 의하여 상기 무인비행체의 비행상태를 제어하는 제어부; 를 포함하는 선박 가이드용 무인비행체.
In the unmanned aerial vehicle that assists ship route navigation or berthing,
Video recording department that captures marine video;
A sound wave measurement unit comprising a sound wave emitting unit that fires a sound wave toward the sea surface, a sound wave recognition unit that recognizes that the sound wave is reflected from the sea floor, and acquiring sound wave information of the sea floor topography;
an information transmission unit that transmits the image information captured by the image capture unit and the sound wave information to a server;
an information receiving unit that receives location supplementary information from the server based on maritime information derived by processing the information acquired by the information transmitting unit and a preset vessel route; and
a control unit that controls the flight state of the unmanned aerial vehicle based on the maritime information or the location supplementary information; An unmanned aerial vehicle for ship guidance, including a.
상기 영상촬영부와 상기 음파측정부로부터 획득한 정보를 저장하는 디지털 레코더부를 더 포함하는 선박 가이드용 무인비행체.
According to paragraph 1,
An unmanned aerial vehicle for guiding a ship, further comprising a digital recorder unit that stores information obtained from the image capture unit and the sound wave measurement unit.
선박의 예상경로의 해상 정보를 획득하는 무인비행체와, 상기 무인비행체가 획득한 정보를 분석 처리하는 서버를 포함하고,
상기 서버는,
상기 획득한 정보를 취합, 분석하는 제1 처리부와,
상기 획득한 정보로 상기 무인비행체의 비행상태를 보완 계산하는 제2 처리부를 포함하는 선박 가이드 시스템.
In a ship guide system that guides ship navigation or berthing using an unmanned aerial vehicle,
It includes an unmanned aerial vehicle that acquires maritime information about the expected path of the ship, and a server that analyzes and processes the information acquired by the unmanned aerial vehicle,
The server is,
a first processing unit that collects and analyzes the obtained information;
A ship guide system including a second processing unit that supplementally calculates the flight state of the unmanned aerial vehicle using the acquired information.
상기 무인비행체는,
선박의 항해 중에 예상 항로를 탐색하는 항로탐색모드를 기본으로 비행경로가 제어되고,
상기 서버가 처리한 정보에 따라 상기 비행경로를 보완하는 제어부;
해양의 영상을 촬영하는 영상촬영부; 및
해저를 향하여 음파를 조사하는 음파조사부와, 상기 음파가 해저에서 반사되는 것을 인식하는 음파인식부를 포함하고, 음파 정보를 획득하는 음파측정부;를 더 포함하고,
상기 항로탐색모드는,
선박의 진행 방향과 기 설정된 정찰 각도의 방향으로 기 설정된 정찰 거리로 설정된 정찰영역을 이동하며,
상기 영상촬영부와 상기 음파측정부를 통하여 영상 정보와 음파 정보를 획득하는 선박 가이드 시스템.
According to paragraph 3,
The unmanned aerial vehicle,
The flight path is controlled based on the route search mode, which searches for the expected route while the ship is sailing.
a control unit that supplements the flight path according to the information processed by the server;
A video recording department that captures images of the ocean; and
It further includes a sound wave irradiation unit that irradiates sound waves toward the seafloor, a sound wave recognition unit that recognizes that the sound waves are reflected from the seafloor, and a sound wave measurement unit that acquires sound wave information,
The route search mode is,
Moves the reconnaissance area set at the preset reconnaissance distance in the direction of the ship's direction of travel and the preset reconnaissance angle,
A ship guide system that acquires image information and sound wave information through the image capture unit and the sound wave measurement unit.
상기 제2 처리부는,
상기 선박에 구비된 위치인식부로부터 GPS 위치 정보를 획득하고,
상기 선박의 예상경로와 상기 무인비행체의 속도를 분석하여 상기 무인비행체의 귀환 위치를 계산하며,
상기 무인비행체는,
상기 정찰영역의 정보 획득이 종료되면, 상기 제2 처리부에 의한 값을 정보 수신부에 의하여 수신 받고, 상기 제어부에 의하여 상기 귀환 위치로 이동되도록 상기 비행경로가 보완되는 선박 가이드 시스템.
According to paragraph 4,
The second processing unit,
Obtaining GPS location information from the location recognition unit provided on the vessel,
Calculate the return location of the unmanned aerial vehicle by analyzing the expected path of the ship and the speed of the unmanned aerial vehicle,
The unmanned aerial vehicle,
When information acquisition of the reconnaissance area is completed, the value from the second processing unit is received by the information receiving unit, and the flight path is supplemented so that the control unit moves to the return location.
상기 서버는 해도가 저장된 해도저장부를 더 포함하고,
상기 무인비행체는 상기 영상촬영부와 상기 음파측정부를 통하여 획득한 정보를 상기 서버로 송신하는 정보송신부를 더 포함하며,
상기 서버는 상기 정보를 수신하는 서버수신부를 더 포함하고,
상기 제1 처리부는,
상기 영상 정보를 통하여 해상에 존재하는 객체를 구분하고, 상기 객체가 상기 선박의 예상경로상 장애물인지 여부를 판단하며,
상기 음파 정보를 통하여 측정 해저지형을 파악하고, 상기 해도저장부에 저장된 해도의 해저지형 정보와 상기 측정 해저지형을 비교하여 동일 여부를 판단하되,
상기 해상에 장애물이 존재하지 않고 상기 해저지형이 동일한 경우 상기 선박의 경로를 상기 예상경로로 유지하는 선박 가이드 시스템.
According to clause 4,
The server further includes a chart storage unit in which charts are stored,
The unmanned aerial vehicle further includes an information transmission unit that transmits information obtained through the image capture unit and the sound wave measurement unit to the server,
The server further includes a server receiver that receives the information,
The first processing unit,
Distinguish between objects existing at sea through the image information and determine whether the object is an obstacle on the expected path of the ship,
Identify the measured seafloor topography through the sound wave information, and compare the seafloor topography information of the chart stored in the chart storage unit with the measured seafloor topography to determine whether they are the same,
A ship guide system that maintains the path of the ship as the expected path when there are no obstacles in the sea and the seafloor topography is the same.
상기 해저지형이 동일하지 않은 경우,
상기 해도저장부의 해저지형 정보를 상기 측정 해저지형으로 저장하고,
상기 선박의 경로를 변경하는 선박 가이드 시스템.
According to clause 6,
If the seafloor topography is not the same,
Saving the seafloor topography information of the chart storage unit as the measured seafloor topography,
A ship guide system that changes the route of the ship.
상기 선박의 예상경로상 장애물이 존재하는 경우 상기 선박의 경로를 변경하는 선박 가이드 시스템.
According to clause 6,
A ship guide system that changes the path of the ship when an obstacle exists in the ship's expected path.
상기 무인비행체는,
선박의 이접안시 예상되는 선박의 이접안 경로를 탐색하는 이접안탐색모드를 기본으로 비행경로가 제어되고,
상기 서버가 처리한 정보에 따라 상기 비행경로를 보완하는 제어부;
선박의 탑뷰(top view) 영상을 촬영하는 영상촬영부;를 더 포함하고,
상기 이접안탐색모드는,
상기 선박의 이동경로와 나란하게 기 설정된 높이로 이동하면서, 상기 영상촬영부가 영상 정보를 획득하는 선박 가이드 시스템.
According to paragraph 3,
The unmanned aerial vehicle,
The flight path is controlled based on the berthing search mode, which searches for the expected berthing path of the ship when berthing,
a control unit that supplements the flight path according to the information processed by the server;
It further includes a video capture unit that takes a top view image of the ship,
The above-mentioned eye search mode is,
A ship guide system in which the image capture unit acquires image information while moving at a preset height parallel to the movement path of the vessel.
상기 무인비행체는 상기 영상촬영부를 통하여 획득한 정보를 상기 서버로 송신하는 정보송신부를 더 포함하며,
상기 서버는 상기 정보를 수신하는 서버수신부를 더 포함하고,
상기 제1 처리부는,
상기 영상 정보에서 객체를 인식하고,
상기 객체 중에서 가장 크게 탐지된 선박을 주 선박으로 설정하며,
상기 영상 정보 및 상기 무인비행체의 속도를 포함하는 데이터로부터 이안 또는 접안 대상체를 기준으로 상기 주 선박의 진행 각도와 속도를 포함하는 상기 주 선박의 데이터를 연산하는 선박 가이드 시스템.
According to clause 9,
The unmanned aerial vehicle further includes an information transmission unit that transmits information obtained through the image capture unit to the server,
The server further includes a server receiver that receives the information,
The first processing unit,
Recognize an object from the image information,
Among the objects, the largest detected vessel is set as the main vessel,
A ship guide system that calculates data of the main ship including the moving angle and speed of the main ship based on the eye or berthing object from data including the image information and the speed of the unmanned aerial vehicle.
상기 제2 처리부는,
상기 영상 정보가 이미지로 변환되고, 상기 이미지가 제1 길이와 제2 길이를 가진 사각형의 모양으로 나타나는 경우,
상기 주 선박의 선두로부터 선미까지의 선박 길이 및 상기 주 선박의 선박 폭이 상기 제1 길이 및 제2 길이의 중앙에 위치되도록 상기 무인비행체의 선박정렬위치를 계산하고,
상기 서버에 구비되는 서버송신부에 의하여 상기 선박정렬위치를 송신하며,
상기 무인비행체에 구비되어 정보를 수신하는 정보수신부가 상기 선박정렬위치를 수신하고,
상기 제어부가 상기 무인비행체를 상기 선박정렬위치로 이동시키도록 상기 비행경로가 보완되는 선박 가이드 시스템.
According to clause 10,
The second processing unit,
When the image information is converted to an image and the image appears in the shape of a square with a first length and a second length,
Calculate the vessel alignment position of the unmanned aerial vehicle so that the vessel length from the head to the stern of the main vessel and the vessel width of the main vessel are located at the center of the first length and the second length,
The ship alignment position is transmitted by a server transmitter provided in the server,
An information receiver provided in the unmanned aerial vehicle to receive information receives the vessel alignment position,
A ship guide system in which the flight path is supplemented so that the control unit moves the unmanned aerial vehicle to the ship alignment position.
상기 서버가 처리한 정보를 출력하는 디스플레이부를 더 포함하는 선박 가이드 시스템.
According to paragraph 3,
A ship guide system further comprising a display unit that outputs information processed by the server.
선박의 예상경로와 상기 예상경로의 특정한 지점으로부터 기 설정된 정찰범위를 무인비행체가 이동하면서 상기 무인 비행체에 구비된 영상촬영부로 해상의 영상 정보를 획득하고, 상기 무인비행체에 구비된 음파측정부로 해저의 음파 정보를 획득하는 단계;
상기 획득된 영상 정보를 서버로 수신하고, 상기 서버에 구비된 제1 처리부에 의하여 딥 러닝을 이용한 객체인식을 통하여 상기 선박의 이동에 장애가 될 수 있는 장애 객체 유무를 판단하고,
상기 획득된 음파 정보를 상기 서버로 수신하고, 상기 제1 처리부에 의하여 상기 음파 정보로 해저지형을 연산하고, 상기 서버에 구비된 해도저장부에 저장된 해저지형과 상기 연산된 해저지형을 비교하는 단계; 및
상기 제1 처리부에서, 상기 장애 객체가 존재하거나 상기 저장된 해저지형과 상기 연산된 해저지형이 다른 경우, 상기 선박의 예상경로를 변경하고,
상기 장애 객체가 존재하지 않고 상기 저장된 해저지형과 상기 연산된 해저지형이 동일한 경우, 상기 선박의 예상 경로를 그대로 유지하는 단계; 를 포함하는 선박 가이드 방법.
In the method of monitoring and guiding the expected route of a ship,
As the unmanned aerial vehicle moves through a preset reconnaissance range from the expected path of the ship and a specific point on the expected path, image information of the sea is acquired with an image capture unit provided on the unmanned aerial vehicle, and the seabed is measured with a sound wave measurement unit provided on the unmanned aerial vehicle. Obtaining sound wave information;
The acquired image information is received by a server, and the first processing unit provided in the server determines whether there is an obstacle object that may be an obstacle to the movement of the vessel through object recognition using deep learning,
Receiving the acquired sound wave information to the server, calculating a seabed topography using the sound wave information by the first processing unit, and comparing the calculated seabed topography with the seabed topography stored in the chart storage unit provided in the server. ; and
In the first processing unit, if the obstacle object exists or the stored seafloor terrain and the calculated seafloor terrain are different, the expected path of the ship is changed,
maintaining the expected path of the ship when the obstacle object does not exist and the stored seafloor terrain and the calculated seafloor terrain are the same; Ship guide method including.
상기 선박에 구비된 위치인식부에 의하여 상기 서버가 상기 선박의 위치정보를 획득하고,
상기 서버에 구비된 제2 처리부에 의하여 상기 선박의 위치정보 및 상기 무인비행체의 속도를 연산하여 상기 무인비행체의 귀환위치를 연산하는 단계;를 더 포함하는 선박 가이드 방법.
According to clause 13,
The server acquires location information of the ship by a location recognition unit provided on the ship,
A ship guide method further comprising calculating the return location of the unmanned aerial vehicle by calculating the location information of the vessel and the speed of the unmanned aerial vehicle by a second processing unit provided in the server.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220140192A KR20240059205A (en) | 2022-10-27 | 2022-10-27 | Drone for ship guidance, ship guidance system and method there of |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220140192A KR20240059205A (en) | 2022-10-27 | 2022-10-27 | Drone for ship guidance, ship guidance system and method there of |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20240059205A true KR20240059205A (en) | 2024-05-07 |
Family
ID=91078065
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220140192A KR20240059205A (en) | 2022-10-27 | 2022-10-27 | Drone for ship guidance, ship guidance system and method there of |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20240059205A (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110025398A (en) | 2009-09-04 | 2011-03-10 | 삼성중공업 주식회사 | System for berth and unberth of ship |
-
2022
- 2022-10-27 KR KR1020220140192A patent/KR20240059205A/en not_active Application Discontinuation
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110025398A (en) | 2009-09-04 | 2011-03-10 | 삼성중공업 주식회사 | System for berth and unberth of ship |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102231286B1 (en) | Ship surrounding monitoring device and ship surrounding monitoring method | |
KR102530691B1 (en) | Device and method for monitoring a berthing | |
US11900668B2 (en) | System and method for identifying an object in water | |
KR20220155559A (en) | Autonomous navigation method using image segmentation | |
US20190033447A1 (en) | Systems and methods for detecting objects in underwater environments | |
US20190204416A1 (en) | Target object detecting device, method of detecting a target object and computer readable medium | |
Zhuang et al. | Radar-based collision avoidance for unmanned surface vehicles | |
US20230023434A1 (en) | Deep learning-based marine object classification using 360-degree images | |
KR20180121784A (en) | Automatic Positioning System | |
US20090276105A1 (en) | Robotic vehicle remote control system having a virtual operator environment | |
KR102530847B1 (en) | Method and device for monitoring harbor and ship | |
KR102535115B1 (en) | Device and method for monitoring ship and port | |
KR102265980B1 (en) | Device and method for monitoring ship and port | |
KR102466804B1 (en) | Autonomous navigation method using image segmentation | |
Ferreira et al. | Forward looking sonar mosaicing for mine countermeasures | |
EP4089660A1 (en) | Method and device for monitoring port and ship in consideration of sea level | |
KR102261665B1 (en) | Apparatus for automatic navigation, method for automatic navigation and midget submarine using the same | |
KR20170003078A (en) | Seabed investigation apparatus with self moving buoy and the seabed investigation method thereof | |
RU2735559C1 (en) | Optoelectronic system for analysis of external environment based on machine vision | |
CN116700275A (en) | Unmanned operation method, unmanned operation device, unmanned operation equipment and unmanned operation storage medium for ship unloader | |
KR20240059205A (en) | Drone for ship guidance, ship guidance system and method there of | |
WO2023164707A1 (en) | Bird's eye view (bev) semantic mapping systems and methods using plurality of cameras | |
US20240104746A1 (en) | Vessel tracking and monitoring system and operating method thereof | |
US20240194078A1 (en) | System and method to avoid obstacles in an autonomous unmanned maritime vehicle | |
KR20240030937A (en) | Berthing path generation method and apparatus thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal |