KR20210078589A - Apparatus and method for berthing assistance by using unmanned aerial vehicle - Google Patents
Apparatus and method for berthing assistance by using unmanned aerial vehicle Download PDFInfo
- Publication number
- KR20210078589A KR20210078589A KR1020190169448A KR20190169448A KR20210078589A KR 20210078589 A KR20210078589 A KR 20210078589A KR 1020190169448 A KR1020190169448 A KR 1020190169448A KR 20190169448 A KR20190169448 A KR 20190169448A KR 20210078589 A KR20210078589 A KR 20210078589A
- Authority
- KR
- South Korea
- Prior art keywords
- unmanned aerial
- aerial vehicles
- information
- port
- vessel
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 15
- 238000005259 measurement Methods 0.000 claims abstract description 14
- 230000015654 memory Effects 0.000 claims description 24
- 238000003032 molecular docking Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004873 anchoring Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING
- B63B43/00—Improving safety of vessels, e.g. damage control, not otherwise provided for
- B63B43/18—Improving safety of vessels, e.g. damage control, not otherwise provided for preventing collision or grounding; reducing collision damage
- B63B43/20—Feelers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING
- B63B45/00—Arrangements or adaptations of signalling or lighting devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/006—Apparatus mounted on flying objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- B64C2201/127—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- Ocean & Marine Engineering (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 항만 접안 지원 장치에 관한 것으로, 특히 다수의 무인 비행기를 이용하여 선박 및 선박 주변부의 전체 영상을 어라운드뷰(Around View) 형태로 연속적인 정보를 제공할 수 있는 무인 비행기를 이용한 항만 접안 지원 장치 및 방법에 관한 것이다.The present invention relates to a port berthing support apparatus, and in particular, port berthing support using an unmanned aerial vehicle that can provide continuous information in the form of an Around View of the entire image of a ship and the periphery of the vessel using a plurality of unmanned aerial vehicles It relates to an apparatus and method.
일반적으로 정찰, 감시, 정밀 타격 등의 목적으로 군사 임무 수행을 위해 제작된 무인 비행기(일명, 드론(Drone)이라고 함)는 최근 재해감시, 물품이송, 영상촬영, 재난구조 등을 비롯하여 그 목적과 방법에 따라서 민간 분야에서도 수요 및 활용도가 증가하고 있다.In general, unmanned aerial vehicles (aka drones) manufactured for military missions for the purpose of reconnaissance, surveillance, precision strike, etc. have recently been used for disaster monitoring, goods transport, video shooting, disaster relief, etc. Depending on the method, demand and utilization are also increasing in the private sector.
특히 최근 몇 년 간 무인 비행기에 대한 관심이 급증하고 있으며, 응용 분야가 무궁무진하기 때문에 전 세계 항공 선진국과 IT(Information Technology) 업계는 앞다투어 기술 개발을 위한 투자 및 연구개발에 박차를 가하고 있다.In particular, interest in unmanned aerial vehicles has been rapidly increasing in recent years, and the application fields are limitless, so the advanced aviation industry and the information technology (IT) industry around the world are spurring investment and R&D for technology development.
무인 비행기는 사람이 접근하기 어려운 지역의 관찰이 가능하며, 특히 저고도 비행으로 인한 우수한 시인성(視認性)으로 정밀 관찰을 수행할 수 있는 장점이 있다.Unmanned aerial vehicles can observe areas that are difficult for humans to access, and have the advantage of being able to perform precise observations with excellent visibility, especially due to low-altitude flight.
선박을 항만에 접안 시킬 경우 도선사가 선박에 승선하여 해당 선박을 안전한 수로로 안내하고, 선박이 안전하게 정박할 수 있도록 유도한다. 이 경우 도선사의 경험과 선박 운영 시스템에서 제공하는 풍속, 풍향, 기상, 조류 등의 정보를 이용하여 선박의 접안이 수행된다. 따라서, 보다 안전하고 신속한 선박의 항만 접안을 위하여 선박 운항 정보, 선박 주변에 위치하는 선박이나 시설물들의 정보 및 충돌 유발 정보를 실시간으로 영상 형태로 제공할 수 있는 수단을 필요로 한다.When a vessel is docked in a port, the pilot boards the vessel, guides the vessel to a safe waterway, and guides the vessel to anchor safely. In this case, the berthing of the ship is performed using the pilot's experience and information such as wind speed, wind direction, weather, and current provided by the ship operating system. Therefore, there is a need for a means capable of providing vessel operation information, information on vessels or facilities located near the vessel, and collision-inducing information in real time in the form of an image for safer and more rapid berthing of a vessel in a port.
본 발명은 다수의 무인 비행기를 이용하여 선박 및 선박 주변부의 전체 영상을 어라운드뷰 형태로 연속적인 정보를 제공할 수 있는 무인 비행기를 이용한 항만 접안 지원 장치 및 방법을 제공한다.The present invention provides an apparatus and method for supporting port berthing using an unmanned aerial vehicle that can provide continuous information in the form of an around view of a ship and the entire image of the ship's periphery using a plurality of unmanned aerial vehicles.
본 발명의 실시예에 따른 무인 비행기를 이용한 항만 접안 지원 장치는, 하나 이상의 프로세서; 및 상기 하나 이상의 프로세서에 의한 실행 시, 상기 하나 이상의 프로세서가 연산을 수행하도록 하는 명령들이 저장된 하나 이상의 메모리를 포함하며, 상기 하나 이상의 프로세서는, 다수의 무인 비행기를 이용하여 기준거리 측정판을 촬영한 다수의 기준거리 영상을 수신하고, 다수의 무인 비행기를 이용하여 선박 외부를 촬영한 다수의 영상 데이터를 수신하며, 상기 다수의 기준거리 영상 및 상기 기준거리 측정판의 실제 거리를 이용하여 상기 다수의 무인 비행기 각각에 대한 오프셋 정보를 산출하고, 상기 오프셋 정보를 이용하여 상기 다수의 영상 데이터를 합성하여 어라운드뷰 영상을 형성할 수 있다.Port berthing support apparatus using an unmanned aerial vehicle according to an embodiment of the present invention, one or more processors; and one or more memories in which instructions for causing the one or more processors to perform operations are stored when executed by the one or more processors, wherein the one or more processors take a reference distance measuring plate using a plurality of unmanned aerial vehicles. Receive a plurality of reference distance images, receive a plurality of image data photographed outside the ship using a plurality of unmanned aerial vehicles, and use the plurality of reference distance images and the actual distance of the reference distance measurement plate to obtain the plurality of An around-view image may be formed by calculating offset information for each unmanned aerial vehicle, and synthesizing the plurality of image data using the offset information.
본 발명의 실시예에 따른 무인 비행기를 이용한 항만 접안 지원 장치는, 하나 이상의 프로세서; 및 상기 하나 이상의 프로세서에 의한 실행 시, 상기 하나 이상의 프로세서가 연산을 수행하도록 하는 명령들이 저장된 하나 이상의 메모리를 포함하며, 상기 하나 이상의 프로세서는, 선박 외부에 위치하는 다수의 무인 비행기 각각에 대한 다수의 위치 데이터 및 다수의 영상 데이터를 수신하고, 상기 다수의 무인 비행기 각각에 대한 다수의 기준 위치 정보를 획득하며, 상기 다수의 기준 위치 정보 및 상기 다수의 위치 데이터와의 차이에 기초하여 상기 다수의 무인 비행기 중 적어도 일부에 대한 오프셋 정보를 산출하고, 상기 오프셋 정보를 이용하여 상기 다수의 영상 데이터를 합성하여 어라운드뷰 영상을 형성할 수 있다.Port berthing support apparatus using an unmanned aerial vehicle according to an embodiment of the present invention, one or more processors; and one or more memories storing instructions that, when executed by the one or more processors, cause the one or more processors to perform operations, wherein the one or more processors include a plurality of instructions for each of a plurality of unmanned aerial vehicles located outside the ship. Receive location data and a plurality of image data, obtain a plurality of pieces of reference location information for each of the plurality of unmanned aerial vehicles, and based on a difference between the plurality of reference location information and the plurality of location data, the plurality of unmanned aerial vehicles An around-view image may be formed by calculating offset information for at least a part of an airplane, and synthesizing the plurality of image data using the offset information.
일 실시예로서, 상기 하나 이상의 프로세서는, 상기 어라운드뷰 영상을 이용하여 선박 외부의 장애물과 선박 간의 거리를 산출하고, 산출된 거리가 임계값 이하일 경우 알람 메시지를 형성할 수 있다.As an embodiment, the one or more processors may calculate a distance between an obstacle outside the vessel and the vessel using the around-view image, and form an alarm message when the calculated distance is less than or equal to a threshold value.
일 실시예로서, 상기 하나 이상의 프로세서는, 선박이 접안하려고 하는 항만의 접안 시설에 대한 시설 이미지를 수신하고, 상기 시설 이미지를 이용하여 선박의 예상 접안 영역에 대한 정보를 형성하며, 상기 예상 접안 영역에 대한 정보를 이용하여 상기 선박의 이동 경로에 대한 정보를 산출할 수 있다.In one embodiment, the one or more processors receive a facility image for a berthing facility of a port to which the vessel intends to dock, and use the facility image to form information on an expected berthing area of the vessel, the expected berthing area Information on the movement path of the vessel may be calculated using the information on .
일 실시예로서, 상기 다수의 영상 데이터는 적외선 정보를 포함할 수 있다.As an embodiment, the plurality of image data may include infrared information.
본 발명의 실시예에 따른 무인 비행기를 이용한 항만 접안 지원 방법은, 다수의 무인 비행기를 이용하여 기준거리 측정판을 촬영한 다수의 기준거리 영상을 수신하는 단계; 다수의 무인 비행기를 이용하여 선박 외부를 촬영한 다수의 영상 데이터를 수신하는 단계; 상기 다수의 기준거리 영상 및 상기 기준거리 측정판의 실제 거리를 이용하여 상기 다수의 무인 비행기 각각에 대한 오프셋 정보를 산출하는 단계; 및 상기 오프셋 정보를 이용하여 상기 다수의 영상 데이터를 합성하여 어라운드뷰 영상을 형성하는 단계를 포함할 수 있다.A port berthing support method using an unmanned aerial vehicle according to an embodiment of the present invention comprises the steps of: receiving a plurality of reference distance images obtained by photographing a reference distance measuring plate using a plurality of unmanned aerial vehicles; Receiving a plurality of image data taken outside the ship using a plurality of unmanned aerial vehicles; calculating offset information for each of the plurality of unmanned aerial vehicles by using the plurality of reference distance images and the actual distances of the reference distance measurement plate; and synthesizing the plurality of image data using the offset information to form an around-view image.
본 발명의 실시예에 따른 무인 비행기를 이용한 항만 접안 지원 방법은, 선박 외부에 위치하는 다수의 무인 비행기 각각에 대한 다수의 위치 데이터 및 다수의 영상 데이터를 수신하는 단계; 상기 다수의 무인 비행기 각각에 대한 다수의 기준 위치 정보를 획득하는 단계; 상기 다수의 기준 위치 정보 및 상기 다수의 위치 데이터와의 차이에 기초하여 상기 다수의 무인 비행기 중 적어도 일부에 대한 오프셋 정보를 산출하는 단계; 및 상기 오프셋 정보를 이용하여 상기 다수의 영상 데이터를 합성하여 어라운드뷰 영상을 형성하는 단계를 포함할 수 있다.A port berthing support method using an unmanned aerial vehicle according to an embodiment of the present invention includes: receiving a plurality of location data and a plurality of image data for each of a plurality of unmanned aerial vehicles located outside a ship; obtaining a plurality of pieces of reference location information for each of the plurality of unmanned aerial vehicles; calculating offset information for at least some of the plurality of unmanned aerial vehicles based on a difference between the plurality of pieces of reference location information and the plurality of pieces of location data; and synthesizing the plurality of image data using the offset information to form an around-view image.
일 실시예로서, 상기 어라운드뷰 영상을 이용하여 선박 외부의 장애물과 선박 간의 거리를 산출하는 단계; 및 산출된 거리가 임계값 이하일 경우 알람 메시지를 형성하는 단계를 더 포함할 수 있다.In an embodiment, calculating a distance between an obstacle outside the vessel and the vessel using the around-view image; and forming an alarm message when the calculated distance is less than or equal to a threshold value.
일 실시예로서, 선박이 접안하려고 하는 항만의 접안 시설에 대한 시설 이미지를 수신하는 단계; 상기 시설 이미지를 이용하여 선박의 예상 접안 영역에 대한 정보를 형성하는 단계; 및 상기 예상 접안 영역에 대한 정보를 이용하여 상기 선박의 이동 경로에 대한 정보를 산출하는 단계를 더 포함할 수 있다.In one embodiment, the method comprising: receiving a facility image for a berthing facility of a port that a vessel intends to dock; forming information on the expected berthing area of the vessel by using the facility image; and calculating information on the movement path of the vessel by using the information on the expected berthing area.
일 실시예로서, 상기 다수의 영상 데이터는 적외선 정보를 포함할 수 있다.As an embodiment, the plurality of image data may include infrared information.
본 발명의 실시예들에 따르면, 다수의 무인 비행기를 이용하여 형성된 영상을 사용자에게 제공하여 정밀한 선박 및 선박 주변부에 대한 연속적인 정보인 어라운드뷰 제공이 가능할 수 있다. 아울러, 선박의 어라운드뷰를 이용하여 선박의 운항 정보, 선박 주변에 위치한 다른 선박들의 정보, 충돌 유발 정보 등을 판단할 수 있어서 안전하고 신속하게 선박의 항만 시설 접안을 진행하도록 도움을 줄 수 있다.According to embodiments of the present invention, it may be possible to provide an image formed using a plurality of unmanned aerial vehicles to a user, thereby providing an around view, which is continuous information on a precise vessel and the periphery of the vessel. In addition, by using the ship's around view, it is possible to determine the operation information of the ship, the information of other ships located in the vicinity of the ship, the collision-inducing information, and the like, thereby helping the ship to safely and quickly proceed with berthing at the port facility.
도 1은 본 발명의 실시예에 따른 항만 접안 지원 장치의 구성을 보이는 예시도이다.
도 2는 본 발명의 실시예에 따른 무인 비행기를 이용한 항만 접안 지원 환경의 구성을 보이는 예시도이다.
도 3은 본 발명의 실시예에 따른 이동용 콘솔의 구성을 보이는 예시도이다.
도 4 및 도 5는 본 발명의 실시예에 따른 무인 비행기를 이용한 항만 접안 지원 방법의 절차를 보이는 흐름도이다.1 is an exemplary diagram showing the configuration of a port berthing support apparatus according to an embodiment of the present invention.
2 is an exemplary diagram showing the configuration of a port berthing support environment using an unmanned aerial vehicle according to an embodiment of the present invention.
3 is an exemplary view showing the configuration of a mobile console according to an embodiment of the present invention.
4 and 5 are flowcharts showing a procedure of a method for supporting berthing in a port using an unmanned aerial vehicle according to an embodiment of the present invention.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those of ordinary skill in the art to which the present invention pertains can easily implement them. The present invention may be embodied in many different forms and is not limited to the embodiments described herein.
도 1은 본 발명의 실시예에 따른 항만 접안 지원 장치의 구성을 보이는 예시도이다.1 is an exemplary diagram showing the configuration of a port berthing support apparatus according to an embodiment of the present invention.
도 1에 도시한 바와 같이, 항만 접안 지원 장치(100)는, 이동용 콘솔(110), 다수의 무인 비행기(120) 및 수납 장치(130)를 포함할 수 있다.As shown in FIG. 1 , the port
이동용 콘솔(110)은, 다수의 무인 비행기(120)를 조정하기 위한 용도로 사용될 수 있고, 다수의 무인 비행기(120)에서 송신하는 영상을 합성하여 항만 접안 지원 장치(100)가 탑재된 선박 주변의 어라운드뷰 영상(Around View Image) 및/또는 적외선 영상을 형성할 수 있다. 또한, 이동용 콘솔(110)은 어라운드뷰 영상 또는 적외선 영상을 사용자의 선택에 의해서 디스플레이하는 표시부(DU)를 더 포함할 수 있다.The
이동용 콘솔(110)은, 도선사 등의 항만 접안 업무를 수행하는 인원으로부터 선박 선형 및 크기에 대한 정보를 입력 받아 항만 접안에 사용할 무인 비행기(120)의 수량을 결정할 수 있다. 일 실시예에 따르면, 항만 접안에 사용할 무인 비행기(120)의 수량은 별도의 결정 프로그램을 이용하여 결정될 수도 있다.The
항만 접안 지원 장치(100)는, 항만 접안 업무를 수행하는 인원이 소지하고 접안을 위한 선박의 조타실 또는 조타실 전방 안전하게 승선 가능한 장소에 설치할 수 있다. 항만 접안 업무를 수행하는 인원은, 항만 접안 지원 장치(100)의 설치 후 이동용 콘솔(110)의 전원을 온(On)시키고, 다수의 무인 비행기(120)의 전원을 온(On)시켜서 이동용 콘솔(110)을 이용한 다수의 무인 비행기(120)의 조종을 시작할 수 있다.The harbor
무인 비행기(120)가 이륙하기 이전에 무인 비행기(120) 이륙 장소 인근 안전한 장소에 기준거리 측정판(RM)이 설치될 수 있다. 이륙한 다수의 무인 비행기(120) 각각은 미리 설치된 기준거리 측정판(RM)을 촬영하고, 촬영된 기준거리 영상을 이동용 콘솔(110)로 전송할 수 있다. 이동용 콘솔(110)은 수신된 다수의 기준거리 영상에 포함된 길이와 기준거리 측정판(RM)의 실제 길이의 매핑을 통해 다수의 기준거리 영상에서 측정된 길이와 실제 길이 사이의 오프셋 정보(영상거리 보정값)를 산출할 수 있다. 이후 다수의 무인 비행기(120)에서 촬영되는 영상을 산출된 오프셋 정보를 이용하여 어라운드뷰 영상을 형성함으로써 어라운드뷰 영상을 확인하는 사용자는 실제 길이를 인지할 수 있다.Before the unmanned
이동용 콘솔(110)은, 다수의 무인 비행기(120) 각각에서 형성된 오프셋을 이용하여 다수 무인 비행기(120) 각각에서 수신된 영상을 합성하여 어라운드뷰 영상을 형성할 수 있다.The
이동용 콘솔(110)은, 다수의 무인 비행기 각각에 대한 다수의 위치 데이터 및 다수의 영상 데이터를 수신하고, 다수의 무인 비행기 각각에 대한 다수의 기준 위치 정보를 획득하며, 다수의 기준 위치 정보 및 다수의 위치 데이터와의 차이에 기초하여 다수의 무인 비행기(120) 중 적어도 일부에 대한 오프셋 정보를 산출하고, 오프셋 정보를 이용하여 다수의 영상 데이터를 합성하여 어라운드뷰 영상을 형성할 수 있다.The
도 2는 본 발명의 실시예에 따른 무인 비행기를 이용한 항만 접안 지원 환경의 구성을 보이는 예시도이다.2 is an exemplary diagram showing the configuration of a port berthing support environment using an unmanned aerial vehicle according to an embodiment of the present invention.
도 2에 도시한 바와 같이, 항해 중이던 선박(EV)은 항구에 도착하면 정박을 위하여 접안 시설(BF)에 접안을 수행한다. 항만 접안 업무를 수행하는 인원은, 항만 접안 지원 장치(100)를 소지하고 접안을 위한 선박(EV)의 조타실 또는 조타실 전방 안전하게 승선 가능한 장소에 설치할 수 있다. 항만 접안 업무를 수행하는 인원은, 항만 접안 지원 장치(100)의 설치 후 이동용 콘솔(110)의 전원을 온(On)시키고, 다수의 무인 비행기(120)의 전원을 온(On)시켜서 이동용 콘솔(110)을 이용한 다수의 무인 비행기(120)의 조종을 시작할 수 있다. 이후, 다수의 무인 비행기(120)는, 미리 설정된 위치로 이동할 수 있다. 일 실시예에 따르면, 다수의 무인 비행기(120)는 선박(EV)의 선수 좌측과 우측, 선박의 선미 좌측과 우측, 및 선수 중앙에서 선박 외부를 촬영할 수 있지만, 다수의 무인 비행기(120)가 이동하는 위치가 이에 한정되지 않는다. 아울러, 다수의 무인 비행기(120)는 선박(EV) 주변의 전체 모습을 측정할 수 있는 최소 4기 이상의 다양한 개수로 구비될 수 있다.As shown in Figure 2, the vessel (EV) that was sailing performs berthing at the berthing facility (BF) for anchoring when it arrives at the port. Personnel performing the port berthing task may be installed in a place that can board safely in the wheelhouse or the wheelhouse front of the ship (EV) for berthing with the port
다수의 무인 비행기(120)는, 미리 설정된 위치로 이동하여 해당 위치에서의 선박 외부의 모습을 촬영할 수 있다. 일 실시예에 따르면, 다수의 무인 비행기(120)에서 촬영되는 선박 외부의 이미지에는, 접안 시설(BF)에 이미 정박하고 있는 선박(BS)이나, 접안 시설(BF)에 정박을 시도하는 다른 선박(FS) 등 장애물의 이미지가 포함될 수 있다.The plurality of unmanned
다수의 무인 비행기(120)는, 위치 측정부(122) 및 촬영부(124)를 포함할 수 있다. 위치 측정부(122)는, 무인 비행기(120)의 위치를 측정하여 위치 데이터를 형성할 수 있다. 일 실시예에 따르면, 무인 비행기(120)는, GPS(Global Positioning System), GLONASS(Global Navigation Satellite System) 등의 장치를 포함할 수 있지만, 이에 한정되지 않는다.The plurality of unmanned
촬영부(124)는, 선박 외부의 모습을 촬영하여 영상 데이터를 형성할 수 있다. 일 실시예에 따르면, 촬영부(124)는, 3D 카메라, FPV(First Person View) 카메라, 적외선 카메라 등을 포함할 수 있지만, 이에 한정되지 않는다. 다른 실시예에 따르면, 촬영부(124)는 적외선 정보를 포함하여 영상 데이터를 형성할 수도 있다. 이와 같이, 영상 데이터가 적외선 정보를 포함하므로 야간인 경우에도 선박 외부에 대한 명확하고 연속적인 정보를 제공하여 선박(EV)의 접안 시설(BF) 접안에 대한 도움을 줄 수 있다.The photographing
선박(EV)에 탑재된 이동용 콘솔(110)은, 다수의 무인 비행기(120)를 이용하여 기준거리 측정판을 촬영한 다수의 기준거리 영상을 수신하고, 다수의 무인 비행기(120)를 이용하여 선박 외부를 촬영한 다수의 영상 데이터를 수신하며, 다수의 기준거리 영상 및 기준거리 측정판의 실제 거리를 이용하여 다수의 무인 비행기(120) 각각에 대한 오프셋 정보를 산출하고, 오프셋 정보를 이용하여 다수의 영상 데이터를 합성하여 어라운드뷰 영상을 형성할 수 있다.The
또한, 이동용 콘솔(110)은 다수의 무인 비행기(120)에서 형성된 다수의 영상 데이터를 수신하고, 다수의 영상 데이터 각각에 대한 다수의 기준 이미지를 획득하며, 다수의 기준 이미지 및 다수의 영상 데이터와의 차이에 기초하여 다수의 무인 비행기(120) 중 적어도 일부에 대한 오프셋 정보를 산출하고, 상기 오프셋 정보를 이용하여 상기 다수의 영상 데이터를 합성하여 어라운드뷰 영상을 형성할 수 있다.In addition, the
또한, 이동용 콘솔(110)은, 다수의 무인 비행기(120)에서 형성된 다수의 위치 데이터를 수신하고, 다수의 무인 비행기(120) 각각에 대한 다수의 기준 위치 정보를 획득하며, 다수의 기준 위치 정보 및 다수의 위치 데이터와의 차이에 기초하여 다수의 무인 비행기(120) 중 적어도 일부에 대한 오프셋 정보를 산출하고, 오프셋 정보를 이용하여 다수의 영상 데이터를 합성하여 어라운드뷰 영상을 형성할 수 있다.In addition, the
선박(EV)은 다수의 센서부(140)를 포함할 수 있다. 센서부(140)는, 선박(EV) 주변에 위치하는 물체로 송신되는 신호와 해당 물체로부터 반사되어 수신되는 신호와의 시간 차이를 이용하여 선박(EV)으로부터 해당 물체까지의 거리를 산출할 수 있다. 또한, 센서부(140)는, 선박(EV)으로부터 특정 물체까지의 거리가 임계값(예를 들어, 50m, 30m, 10m 등) 이내일 경우 경고 신호를 형성할 수 있다. 일 실시예에 따르면, 센서부(140)는, 적외선 센서, 초음파 센서 등을 포함할 수 있지만, 이에 한정되지 않는다.The vessel EV may include a plurality of
이동용 콘솔(110)은, 센서부(140)로부터 경고 신호를 수신할 경우 선박(EV)의 엔진의 출력을 제한하거나 엔진이 정지하도록 설정하여 선박(EV)이 주변에 위치하는 물체와 충돌하는 것을 방지할 수 있다.The
도 3은 본 발명의 실시예에 따른 이동용 콘솔의 구성을 보이는 예시도이다.3 is an exemplary view showing the configuration of a mobile console according to an embodiment of the present invention.
도 3에 도시한 바와 같이, 이동용 콘솔(110)는, 하나 이상의 프로세서(112), 하나 이상의 메모리(114) 및/또는 송수신기(116)를 포함할 수 있다. 일 실시예로서, 이동용 콘솔(110)의 이 구성요소들 중 적어도 하나가 생략되거나, 다른 구성요소가 이동용 콘솔(110)에 추가될 수 있다. 추가적으로(additionally) 또는 대체적으로(alternatively), 일부의 구성요소들이 통합되어 구현되거나, 단수 또는 복수의 개체로 구현될 수 있다. 이동용 콘솔(110) 내, 외부의 구성요소들 중 적어도 일부의 구성요소들은 버스, GPIO(general purpose input/output), SPI(serial peripheral interface) 또는 MIPI(mobile industry processor interface) 등을 통해 서로 연결되어, 데이터 및/또는 신호(signal)을 주고 받을 수 있다. As shown in FIG. 3 , the
일 실시예로서, 이동용 콘솔(110)은 다수의 무인 비행기(120)를 이용하여 기준거리 측정판을 촬영한 다수의 기준거리 영상을 수신하고, 다수의 무인 비행기(120)를 이용하여 선박 외부를 촬영한 다수의 영상 데이터를 수신하며, 다수의 기준거리 영상 및 기준거리 측정판의 실제 거리를 이용하여 다수의 무인 비행기(120) 각각에 대한 오프셋 정보를 산출하고, 오프셋 정보를 이용하여 다수의 영상 데이터를 합성하여 어라운드뷰 영상을 형성할 수 있다.As an embodiment, the
다른 실시예로서, 이동용 콘솔(110)은 다수의 무인 비행기(120)를 이용하여 선박 외부를 촬영한 다수의 영상 데이터를 수신하고, 다수의 영상 데이터 각각에 대한 다수의 기준 이미지를 획득하며, 다수의 기준 이미지 및 다수의 영상 데이터와의 차이에 기초하여 다수의 무인 비행기(120) 중 적어도 일부에 대한 오프셋 정보를 산출하고, 오프셋 정보를 이용하여 다수의 영상 데이터를 합성하여 어라운드뷰 영상을 형성할 수 있다. As another embodiment, the
또 다른 실시예로서, 이동용 콘솔(110)은 선박 외부에 위치하는 다수의 무인 비행기(120) 각각에 대한 다수의 위치 데이터 및 다수의 영상 데이터를 수신하고, 다수의 무인 비행기(120) 각각에 대한 다수의 기준 위치 정보를 획득하며, 다수의 기준 위치 정보 및 다수의 위치 데이터와의 차이에 기초하여 다수의 무인 중 적어도 일부에 대한 오프셋 정보를 산출하고, 오프셋 정보를 이용하여 다수의 영상 데이터를 합성하여 어라운드뷰 영상을 형성할 수 있다.As another embodiment, the
하나 이상의 프로세서(112)는 소프트웨어(예: 명령, 프로그램 등)를 구동하여 프로세서(112)에 연결된 이동용 콘솔(110)의 적어도 하나의 구성요소를 제어할 수 있다. 또한, 프로세서(112)는 본 발명과 관련된 다양한 연산, 처리, 데이터 생성, 가공 등의 동작을 수행할 수 있다. 또한, 프로세서(112)는 데이터 등을 메모리(114)로부터 로드하거나, 메모리(114)에 저장할 수 있다.The one or
전술한 바와 같이, 하나 이상의 프로세서(112)는 선박 외부를 촬영한 다수의 영상 데이터를 송수신기(116)를 통해서 다수의 무인 비행기(120)로부터 수신할 수 있다. 다수의 영상 데이터는, 다수의 무인 비행기(120) 각각에서 형성되는데, 다수의 무인 비행기(120) 각각에 구비된 촬영부(124)에서 형성될 수 있고, 적외선 정보를 포함할 수 있다. 일 실시예에 따르면, 다수의 무인 비행기(120)는 선박의 선수 좌측과 우측, 선박의 선미 좌측과 우측, 및 선수 중앙 등에서 선박 외부를 촬영하도록 설정할 수 있다.As described above, the one or
또한, 하나 이상의 프로세서(112)는 다수의 무인 비행기(120) 각각에 대한 다수의 위치 데이터를 송수신기(116)를 통해서 다수의 무인 비행기(120)로부터 수신할 수 있다. 다수의 위치 데이터는, 다수의 무인 비행기(120) 각각에서 형성되는데, 다수의 무인 비행기(120) 각각에 구비된 위치 측정부(122)에서 형성될 수 있다. 일 실시예에 따르면, 위치 측정부(122)는, GPS(Global Positioning System), GLONASS(Global Navigation Satellite System) 등의 장치를 포함할 수 있지만, 이에 한정되지 않는다.In addition, the one or
또한, 하나 이상의 프로세서(112)는 다수의 영상 데이터 각각에 대한 다수의 기준 이미지를 하나 이상의 메모리(114)로부터 획득할 수 있다. 일 실시예에 따르면, 하나 이상의 메모리(114)는, 선박(EV)이 자주 이용하는 항구의 이미지를 기준 이미지로 저장할 수 있다. 하나 이상의 프로세서(112)는, 선박(EV)이 해당 항구에 접안을 시도하는 경우 기준 이미지를 하나 이상의 메모리(114)로부터 인출하여 다수의 무인 비행기(120)에서 촬영된 영상 데이터와의 차이에 기초하여 다수의 무인 비행기(120) 중 적어도 일부에 대한 오프셋 정보를 산출할 수 있다. 일 실시예에 따르면, 기준 이미지와 영상 데이터가 선박의 일부에 대한 이미지를 포함하는 경우 하나 이상의 프로세서(112)는, 기준 이미지 내의 선박의 일부에 대한 이미지와 영상 데이터 내의 선박의 일부에 대한 이미지의 차이를 이용하여 오프셋 정보를 산출할 수 있다. Also, the one or
다른 실시예에 따르면, 기준 이미지와 영상 데이터가 선박 외부의 시설물에 대한 이미지를 포함하는 경우 하나 이상의 프로세서(112)는, 기준 이미지 내의 시설물 이미지와 영상 데이터 내의 시설물 이미지의 차이를 이용하여 오프셋 정보를 산출할 수 있다. 예를 들어, 선박 외부의 시설물은, 접안 시설(BF), 갑문, 앵커(Anchor) 등을 포함할 수 있지만, 이에 한정되지 않는다.According to another embodiment, when the reference image and the image data include an image of a facility outside the ship, the one or
하나 이상의 프로세서(112)는, 산출된 오프셋 정보를 이용하여 다수의 영상 데이터를 합성하여 어라운드뷰 영상을 형성할 수 있다. 또한, 하나 이상의 프로세서(112)는, 형성된 어라운드뷰 영상을 이용하여 선박 외부의 장애물(예를 들어, 접안 시설(BF)에 정박 중인 다른 선박(BS))과 선박(EV) 간의 거리를 산출하고, 산출된 거리가 임계값(예를 들어, 25m, 15m, 5m 등) 이하일 경우 알람 메시지를 형성할 수 있다. 일 실시예에 따르면, 알람 메시지는 “선박 좌현 15m 전방에 정박 중인 선박이 있으니 주의하시기 바랍니다.”와 같은 문구를 포함할 수 있지만, 알람 메시지의 내용이 이에 한정되지 않는다.The one or
또한, 하나 이상의 프로세서(112)는, 선박이 접안하려고 하는 항만의 접안 시설에 대한 시설 이미지를 하나 이상의 메모리(114)로부터 수신하고, 수신된 시설 이미지를 이용하여 선박의 예상 접안 영역에 대한 정보를 형성하며, 형성된 예상 접안 영역에 대한 정보를 이용하여 선박의 이동 경로에 대한 정보를 산출할 수 있다. 일 실시예에 따르면, 이동 경로에 대한 정보는 조타기의 조타 방향 및 조타 각도, 선박의 이동 속도 등에 대한 정보를 포함할 수 있지만, 이에 한정되지 않는다. In addition, the one or
하나 이상의 메모리(114)는 다양한 데이터를 저장할 수 있다. 메모리(114)에 저장되는 데이터는, 이동용 콘솔(110)의 적어도 하나의 구성요소에 의해 획득되거나, 처리되거나, 사용되는 데이터로서, 소프트웨어(예: 명령, 프로그램 등)를 포함할 수 있다. 메모리(114)는 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 본 발명에서, 명령 내지 프로그램은 메모리(114)에 저장되는 소프트웨어로서, 이동용 콘솔(110)의 리소스를 제어하기 위한 운영체제, 어플리케이션 및/또는 어플리케이션이 이동용 콘솔(110)의 리소스들을 활용할 수 있도록 다양한 기능을 어플리케이션에 제공하는 미들 웨어 등을 포함할 수 있다. The one or
하나 이상의 메모리(114)는 상술한 다수의 영상 데이터, 다수의 기준 이미지, 다수의 위치 데이터, 오프셋 정보, 알람 메시지, 다수의 시설물 이미지, 선박의 이동 경로에 대한 정보, 선박(EV)과 선박(EV) 외부에 위치한 물체와의 거리에 대한 정보 등을 저장할 수 있다. 또한, 하나 이상의 메모리(114)는, 하나 이상의 프로세서(112)에 의한 실행 시, 하나 이상의 프로세서(112)가 연산을 수행하도록 하는 명령들을 저장할 수 있다.The one or
일 실시예로서, 이동용 콘솔(110)은 송수신기(116)를 더 포함할 수 있다. 송수신기(116)는, 다수의 무인 비행기(120), 센서부(140) 및/또는 기타 다른 장치 간의 무선 또는 유선 통신을 수행할 수 있다. 예를 들어, 송수신기(116)는 eMBB(enhanced Mobile Broadband), URLLC(Ultra Reliable Low-Latency Communications), MMTC(Massive Machine Type Communications), LTE(long-term evolution), LTE-A(LTE Advance), UMTS(Universal Mobile Telecommunications System), GSM(Global System for Mobile communications), CDMA(code division multiple access), WCDMA(wideband CDMA), WiBro(Wireless Broadband), WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), GPS(Global Positioning System) 또는 GNSS(global navigation satellite system) 등의 방식에 따른 무선 통신을 수행할 수 있다. 예를 들어, 송수신기(116)는 USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232) 또는 POTS(plain old telephone service) 등의 방식에 따른 유선 통신을 수행할 수 있다.In one embodiment, the
일 실시예로서, 하나 이상의 프로세서(112)는 송수신기(116)를 제어하여 다수의 무인 비행기(120) 및 센서부(140)로부터 정보를 획득할 수 있다. 무인 비행기(120) 및 센서부(140)로부터 획득된 정보는 하나 이상의 메모리(114)에 저장될 수 있다. 일 실시예로서, 다수의 무인 비행기(120)로부터 획득되는 정보는 다수의 무인 비행기(120)의 위치 측정부(122)에서 형성된 위치 데이터 및 촬영부(124)에서 형성된 다수의 영상 데이터를 포함하고, 센서부(140)로부터 획득되는 정보는 선박(EV)과 선박(EV) 외부에 위치한 물체와의 거리에 대한 정보를 포함할 수 있다.As an embodiment, the one or
일 실시예로서, 이동용 콘솔(110)은 다양한 형태의 장치가 될 수 있다. 예를 들어, 이동용 콘솔(110)은 휴대용 통신 장치, 컴퓨터 장치, 또는 상술한 장치들 중 하나 또는 그 이상의 조합에 따른 장치일 수 있다. 그러나, 본 발명의 이동용 콘솔(110)은 전술한 장치들에 한정되지 않는다.As an embodiment, the
본 발명에 따른 이동용 콘솔(110)의 다양한 실시예들은 서로 조합될 수 있다. 각 실시예들은 경우의 수에 따라 조합될 수 있으며, 조합되어 만들어진 이동용 콘솔(110)의 실시예 역시 본 발명의 범위에 속한다. 또한 전술한 본 발명에 따른 이동용 콘솔(110)의 내/외부 구성 요소들은 실시예에 따라 추가, 변경, 대체 또는 삭제될 수 있다. 또한 전술한 이동용 콘솔(110)의 내/외부 구성 요소들은 하드웨어 컴포넌트로 구현될 수 있다.Various embodiments of the
도 4 및 도 5는 본 발명의 실시예에 따른 무인 비행기를 이용한 항만 접안 지원 방법의 절차를 보이는 흐름도이다.4 and 5 are flowcharts showing a procedure of a method for supporting berthing in a port using an unmanned aerial vehicle according to an embodiment of the present invention.
도 4 및 도 5의 흐름도에서 프로세스 단계들, 방법 단계들, 알고리즘들 등이 순차적인 순서로 설명되었지만, 그러한 프로세스들, 방법들 및 알고리즘들은 임의의 적합한 순서로 작동하도록 구성될 수 있다. 다시 말하면, 본 발명의 다양한 실시예들에서 설명되는 프로세스들, 방법들 및 알고리즘들의 단계들이 본 발명에서 기술된 순서로 수행될 필요는 없다. 또한, 일부 단계들이 비동시적으로 수행되는 것으로서 설명되더라도, 다른 실시예에서는 이러한 일부 단계들이 동시에 수행될 수 있다. 또한, 도면에서의 묘사에 의한 프로세스의 예시는 예시된 프로세스가 그에 대한 다른 변화들 및 수정들을 제외하는 것을 의미하지 않으며, 예시된 프로세스 또는 그의 단계들 중 임의의 것이 본 발명의 다양한 실시예들 중 하나 이상에 필수적임을 의미하지 않으며, 예시된 프로세스가 바람직하다는 것을 의미하지 않는다. Although process steps, method steps, algorithms, etc. are described in a sequential order in the flowcharts of FIGS. 4 and 5 , such processes, methods, and algorithms may be configured to operate in any suitable order. In other words, the steps of the processes, methods, and algorithms described in various embodiments of the invention need not be performed in the order described herein. Also, although some steps are described as being performed asynchronously, in other embodiments some of these steps may be performed concurrently. Further, the exemplification of a process by description in the drawings does not imply that the exemplified process excludes other changes and modifications thereto, and that the illustrated process or any of its steps is not one of the various embodiments of the present invention. It is not meant to be essential to one or more, nor does it imply that the illustrated process is preferred.
도 4에 도시한 바와 같이, 단계(S410)에서, 다수의 무인 비행기를 이용하여 기준거리 측정판을 촬영한 다수의 기준거리 영상이 수신된다. 예를 들어, 도 1 내지 도 3을 참조하면, 선박(EV)이 항만 접안을 시도할 경우 항만 접안 업무를 수행하는 인원은 항만 접안 지원 장치(100)를 소지하고 접안을 위한 선박(EV)의 조타실 또는 조타실 전방 안전하게 승선 가능한 장소에 설치할 수 있다. 항만 접안 지원 장치(100)의 설치 후 이동용 콘솔(110)의 전원을 온(On)시키고, 다수의 무인 비행기(120)의 전원을 온(On)시켜서 이동용 콘솔(110)을 이용한 다수의 무인 비행기(120)의 조종을 시작할 수 있다. 무인 비행기(120)가 이륙하기 이전에 무인 비행기(120) 이륙 장소 인근 안전한 장소에 기준거리 측정판(RM)이 설치될 수 있다. 이륙한 다수의 무인 비행기(120) 각각은 미리 설치된 기준거리 측정판(RM)을 촬영하고, 촬영된 기준거리 영상을 이동용 콘솔(110)로 전송할 수 있다.As shown in FIG. 4 , in step S410 , a plurality of reference distance images obtained by photographing a reference distance measuring plate using a plurality of unmanned aerial vehicles are received. For example, referring to FIGS. 1 to 3 , when the vessel (EV) attempts to berth in the port, the personnel performing the port berthing service carry the port
단계(S420)에서, 다수의 무인 비행기를 이용하여 선박 외부를 촬영한 다수의 영상 데이터가 수신된다. 예를 들어, 도 1 내지 도 3을 참조하면, 미리 설정된 위치로 이동한 다수의 무인 비행기(120)는, 해당 위치에서의 선박(EV) 외부에 대한 영상을 촬영하여 영상 데이터를 형성하고, 이동용 콘솔(110)은, 형성된 영상 데이터를 다수의 무인 비행기(120)로부터 수신할 수 있다.In step S420 , a plurality of image data obtained by photographing the outside of the ship using a plurality of unmanned aerial vehicles is received. For example, referring to FIGS. 1 to 3 , a plurality of unmanned
단계(S430)에서, 다수의 기준거리 영상 및 기준거리 측정판의 실제 거리를 이용하여 다수의 무인 비행기 각각에 대한 오프셋 정보가 산출된다. 예를 들어, 도 1 내지 도 3을 참조하면, 이동용 콘솔(110)의 하나 이상의 프로세서(112)는, 송수신기(116)를 통해서 다수의 무인 비행기(120)로부터 수신된 다수의 기준거리 영상과 기준거리 측정판(RM)의 실제 거리 차이를 이용하여 다수의 무인 비행기(120) 각각에 대한 오프셋 정보를 산출할 수 있다. 일 실시예에 따르면, 하나 이상의 프로세서(112)는, 산출된 오프셋 값이 임계값 이상일 경우 이후의 절차를 중단하고 “어라운드 뷰를 형성할 수 없습니다.”와 같은 알람 메시지를 형성할 수 있다.In step S430 , offset information for each of the plurality of unmanned aerial vehicles is calculated using the plurality of reference distance images and the actual distances of the reference distance measurement plate. For example, referring to FIGS. 1 to 3 , the one or
단계(S440)에서, 산출된 오프셋 정보를 이용하여 다수의 영상 데이터를 합성하여 어라운드뷰 영상이 형성된다. 예를 들어, 도 1 내지 도 3을 참조하면, 이동용 콘솔(110)의 하나 이상의 프로세서(112)는, 단계 S430에서 산출된 오프셋 정보를 이용하여 다수의 영상 데이터를 합성하여 어라운드뷰 영상을 형성할 수 있다.In step S440, an around-view image is formed by synthesizing a plurality of image data using the calculated offset information. For example, referring to FIGS. 1 to 3 , the one or
도 5에 도시한 바와 같이, 단계(S510)에서, 선박 외부에 위치하는 다수의 무인 비행기 각각에 대한 다수의 위치 데이터 및 다수의 무인 비행에서 형성된 다수의 영상 데이터가 수신된다. 예를 들어, 도 1 내지 도 3을 참조하면, 선박(EV)이 항만 접안을 시도할 경우 항만 접안 업무를 수행하는 인원은 항만 접안 지원 장치(100)를 소지하고 접안을 위한 선박(EV)의 조타실 또는 조타실 전방 안전하게 승선 가능한 장소에 설치할 수 있다. 항만 접안 지원 장치(100)의 설치 후 이동용 콘솔(110)의 전원을 온(On)시키고, 다수의 무인 비행기(120)의 전원을 온(On)시켜서 이동용 콘솔(110)을 이용한 다수의 무인 비행기(120)의 조종을 시작할 수 있다. 다수의 무인 비행기(120) 각각은 미리 설정된 위치로 이동할 수 있고, 다수의 무인 비행기(120) 각각은 위치 측정부(122)를 이용하여 해당 위치에서의 위치 데이터를 형성하고, 촬영부(124)를 이용하여 선박 외부에 대한 영상을 촬영하여 영상 데이터를 형성하며, 이동용 콘솔(110)은, 다수의 무인 비행기(120)로부터 다수의 위치 데이터 및 다수의 영상 데이터를 수신할 수 있다.As shown in FIG. 5 , in step S510 , a plurality of location data for each of a plurality of unmanned aerial vehicles located outside the ship and a plurality of image data formed in a plurality of unmanned aerial vehicles are received. For example, referring to FIGS. 1 to 3 , when the vessel (EV) attempts to berth in the port, the personnel performing the port berthing service carry the port
단계(S520)에서, 다수의 위치 데이터 각각에 대한 다수의 기준 위치 정보가 획득된다. 예를 들어, 도 1 내지 도 3을 참조하면, 다수의 무인 비행기(120)에서 획득된 다수의 위치 데이터 각각에 대하여 다수의 기준 위치 정보가 하나 이상의 메모리(114)에 저장되어 있을 수 있고, 하나 이상의 프로세서(112)는, 하나 이상의 메모리(114)로부터 다수의 기준 위치 정보를 획득할 수 있다. 일 실시예에 따르면, 다수의 기준 위치 정보는, 선박(EV)이 접안을 시도하는 항만의 위치 정보를 포함할 수 있지만, 이에 한정되지 않는다.In step S520, a plurality of pieces of reference location information for each of a plurality of location data is obtained. For example, referring to FIGS. 1 to 3 , a plurality of reference location information for each of a plurality of location data acquired from a plurality of unmanned
단계(S530)에서, 다수의 기준 위치 정보 및 다수의 위치 데이터와의 차이에 기초하여 다수의 무인 비행기 중 적어도 일부에 대한 오프셋 정보가 산출된다. 예를 들어, 도 1 내지 도 3을 참조하면, 이동용 콘솔(110)의 하나 이상의 프로세서(112)는, 하나 이상의 메모리(114)에서 인출된 다수의 기준 위치 정보 및 다수의 무인 비행기(120)로부터 수신된 다수의 위치 데이터와의 차이에 기초하여 다수의 무인 비행기(120) 중 적어도 일부에 대한 오프셋 정보를 산출할 수 있다. 일 실시예에 따르면, 하나 이상의 프로세서(112)는, 산출된 오프셋 값이 임계값 이상일 경우 이후의 절차를 중단하고 “어라운드 뷰를 형성할 수 없습니다.”와 같은 알람 메시지를 형성할 수 있다.In step S530 , offset information for at least some of the plurality of unmanned aerial vehicles is calculated based on the difference between the plurality of pieces of reference location information and the plurality of location data. For example, referring to FIGS. 1 to 3 , one or
단계(S540)에서, 산출된 오프셋 정보를 이용하여 다수의 영상 데이터를 합성하여 어라운드뷰 영상이 형성된다. 예를 들어, 도 1 내지 도 3을 참조하면, 이동용 콘솔(110)의 하나 이상의 프로세서(112)는, 단계 S530에서 산출된 오프셋 정보를 이용하여 다수의 영상 데이터를 합성하여 어라운드뷰 영상을 형성할 수 있다.In step S540, an around-view image is formed by synthesizing a plurality of image data using the calculated offset information. For example, referring to FIGS. 1 to 3 , the one or
본 발명의 다양한 실시예들은 기기(machine)가 읽을 수 있는 저장매체(machine-readable storage medium)에 소프트웨어로 구현될 수 있다. 소프트웨어는 본 발명의 다양한 실시예들을 구현하기 위한 소프트웨어일 수 있다. 소프트웨어는 본 발명이 속하는 기술분야의 프로그래머들에 의해 본 발명의 다양한 실시예들로부터 추론될 수 있다. 예를 들어 소프트웨어는 기기가 읽을 수 있는 명령어(예: 코드 또는 코드 세그먼트)를 포함하는 프로그램일 수 있다. 기기는 저장 매체로부터 호출된 명령어에 따라 동작이 가능한 장치로서, 예를 들어 컴퓨터일 수 있다. 일 실시예로서, 기기는 본 발명의 실시예들에 따른 이동용 콘솔(110)일 수 있다. 일 실시예로서, 기기의 프로세서는 호출된 명령어를 실행하여, 기기의 구성요소들이 해당 명령어에 해당하는 기능을 수행하게 할 수 있다. 일 실시예로서, 프로세서는 본 발명의 실시예들에 따른 하나 이상의 프로세서(112)일 수 있다. 저장 매체는 기기에 의해 읽혀질 수 있는, 데이터가 저장되는 모든 종류의 기록 매체(recording medium)를 의미할 수 있다. 저장 매체는, 예를 들어 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장 장치 등을 포함할 수 있다. 일 실시예로서, 저장 매체는 하나 이상의 메모리(114)일 수 있다. 일 실시예로서, 저장 매체는 네트워크로 연결된 컴퓨터 시스템 등에 분산된 형태로서 구현될 수도 있다. 소프트웨어는 컴퓨터 시스템 등에 분산되어 저장되고, 실행될 수 있다. 저장 매체는 비일시적(non-transitory) 저장 매체일 수 있다. 비일시적 저장 매체는, 데이터가 반영구적 또는 임시적으로 저장되는 것과 무관하게 실재하는 매체(tangible medium)를 의미하며, 일시적(transitory)으로 전파되는 신호(signal)를 포함하지 않는다.Various embodiments of the present invention may be implemented as software in a machine-readable storage medium. The software may be software for implementing various embodiments of the present invention. Software can be inferred from various embodiments of the present invention by programmers in the art. For example, software may be a program containing machine-readable instructions (eg, code or code segments). The device is a device capable of operating according to a command called from a storage medium, and may be, for example, a computer. As an embodiment, the device may be a
이상, 본 발명을 도면에 도시된 실시예를 참조하여 설명하였다. 그러나, 본 발명은 이에 한정되지 않고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명과 균등한 범위에 속하는 다양한 변형예 또는 다른 실시예가 가능하다. 따라서, 본 발명의 진정한 보호범위는 이어지는 특허청구범위에 의해 정해져야 할 것이다.In the above, the present invention has been described with reference to the embodiments shown in the drawings. However, the present invention is not limited thereto, and various modifications or other embodiments within the scope equivalent to the present invention are possible by those of ordinary skill in the art to which the present invention pertains. Accordingly, the true scope of protection of the present invention should be defined by the following claims.
100: 항만 접안 지원 장치
110: 이동용 콘솔
120: 무인 비행기
130: 수납 장치
140: 센서부
112: 프로세서
114: 메모리
116: 송수신기
122: 위치 측정부
124: 촬영부
RM: 기준거리 측정판
DU: 표시부
BS, FS, EV: 선박100: port berthing support device 110: mobile console
120: drone 130: storage device
140: sensor unit 112: processor
114: memory 116: transceiver
122: position measuring unit 124: photographing unit
RM: Reference distance measuring plate DU: Display
BS, FS, EV: Ship
Claims (10)
하나 이상의 프로세서; 및
상기 하나 이상의 프로세서에 의한 실행 시, 상기 하나 이상의 프로세서가 연산을 수행하도록 하는 명령들이 저장된 하나 이상의 메모리를 포함하며,
상기 하나 이상의 프로세서는,
다수의 무인 비행기를 이용하여 기준거리 측정판을 촬영한 다수의 기준거리 영상을 수신하고,
다수의 무인 비행기를 이용하여 선박 외부를 촬영한 다수의 영상 데이터를 수신하며,
상기 다수의 기준거리 영상 및 상기 기준거리 측정판의 실제 거리를 이용하여 상기 다수의 무인 비행기 각각에 대한 오프셋 정보를 산출하고,
상기 오프셋 정보를 이용하여 상기 다수의 영상 데이터를 합성하여 어라운드뷰 영상을 형성하는, 무인 비행기를 이용한 항만 접안 지원 장치.As a port berthing support device using an unmanned aerial vehicle,
one or more processors; and
and one or more memories storing instructions that, when executed by the one or more processors, cause the one or more processors to perform an operation,
The one or more processors,
Receives a plurality of reference distance images of the reference distance measurement plate using a number of unmanned aerial vehicles,
Receives a number of image data taken outside the ship using a number of unmanned aerial vehicles,
Calculating offset information for each of the plurality of unmanned aerial vehicles by using the plurality of reference distance images and the actual distances of the reference distance measurement plate,
A port berthing support device using an unmanned aerial vehicle, which forms an around-view image by synthesizing the plurality of image data using the offset information.
하나 이상의 프로세서; 및
상기 하나 이상의 프로세서에 의한 실행 시, 상기 하나 이상의 프로세서가 연산을 수행하도록 하는 명령들이 저장된 하나 이상의 메모리를 포함하며,
상기 하나 이상의 프로세서는,
선박 외부에 위치하는 다수의 무인 비행기 각각에 대한 다수의 위치 데이터 및 다수의 영상 데이터를 수신하고,
상기 다수의 무인 비행기 각각에 대한 다수의 기준 위치 정보를 획득하며,
상기 다수의 기준 위치 정보 및 상기 다수의 위치 데이터와의 차이에 기초하여 상기 다수의 무인 비행기 중 적어도 일부에 대한 오프셋 정보를 산출하고,
상기 오프셋 정보를 이용하여 상기 다수의 영상 데이터를 합성하여 어라운드뷰 영상을 형성하는, 무인 비행기를 이용한 항만 접안 지원 장치.As a port berthing support device using an unmanned aerial vehicle,
one or more processors; and
and one or more memories storing instructions that, when executed by the one or more processors, cause the one or more processors to perform an operation,
The one or more processors,
Receive a plurality of location data and a plurality of image data for each of a plurality of unmanned aerial vehicles located outside the ship,
Obtaining a plurality of reference location information for each of the plurality of unmanned aerial vehicles,
Calculating offset information for at least some of the plurality of unmanned aerial vehicles based on a difference between the plurality of reference location information and the plurality of location data,
A port berthing support device using an unmanned aerial vehicle, which forms an around-view image by synthesizing the plurality of image data using the offset information.
상기 하나 이상의 프로세서는,
상기 어라운드뷰 영상을 이용하여 선박 외부의 장애물과 선박 간의 거리를 산출하고,
산출된 거리가 임계값 이하일 경우 알람 메시지를 형성하는, 무인 비행기를 이용한 항만 접안 지원 장치.3. The method according to claim 1 or 2,
The one or more processors,
Calculating the distance between the obstacle outside the vessel and the vessel using the around-view image,
A port berthing support device using an unmanned aerial vehicle that forms an alarm message when the calculated distance is less than or equal to a threshold.
상기 하나 이상의 프로세서는,
선박이 접안하려고 하는 항만의 접안 시설에 대한 시설 이미지를 수신하고,
상기 시설 이미지를 이용하여 선박의 예상 접안 영역에 대한 정보를 형성하며,
상기 예상 접안 영역에 대한 정보를 이용하여 상기 선박의 이동 경로에 대한 정보를 산출하는, 무인 비행기를 이용한 항만 접안 지원 장치.3. The method according to claim 1 or 2,
The one or more processors,
Receive a facility image of the berthing facility of the port where the vessel intends to dock,
Using the facility image to form information on the expected berthing area of the vessel,
A port berthing support device using an unmanned aerial vehicle for calculating information on a movement path of the vessel by using the information on the expected berthing area.
상기 다수의 영상 데이터는 적외선 정보를 포함하는, 무인 비행기를 이용한 항만 접안 지원 장치.3. The method according to claim 1 or 2,
The plurality of image data includes infrared information, port berthing support device using an unmanned aerial vehicle.
다수의 무인 비행기를 이용하여 기준거리 측정판을 촬영한 다수의 기준거리 영상을 수신하는 단계;
다수의 무인 비행기를 이용하여 선박 외부를 촬영한 다수의 영상 데이터를 수신하는 단계;
상기 다수의 기준거리 영상 및 상기 기준거리 측정판의 실제 거리를 이용하여 상기 다수의 무인 비행기 각각에 대한 오프셋 정보를 산출하는 단계; 및
상기 오프셋 정보를 이용하여 상기 다수의 영상 데이터를 합성하여 어라운드뷰 영상을 형성하는 단계를 포함하는, 무인 비행기를 이용한 항만 접안 지원 방법.As a method of supporting port berthing using an unmanned aerial vehicle,
receiving a plurality of reference distance images obtained by photographing a reference distance measuring plate using a plurality of unmanned aerial vehicles;
Receiving a plurality of image data taken outside the ship using a plurality of unmanned aerial vehicles;
calculating offset information for each of the plurality of unmanned aerial vehicles by using the plurality of reference distance images and the actual distances of the reference distance measurement plate; and
Comprising the step of synthesizing the plurality of image data using the offset information to form an around-view image, a port berthing support method using an unmanned aerial vehicle.
선박 외부에 위치하는 다수의 무인 비행기 각각에 대한 다수의 위치 데이터 및 다수의 영상 데이터를 수신하는 단계;
상기 다수의 무인 비행기 각각에 대한 다수의 기준 위치 정보를 획득하는 단계;
상기 다수의 기준 위치 정보 및 상기 다수의 위치 데이터와의 차이에 기초하여 상기 다수의 무인 비행기 중 적어도 일부에 대한 오프셋 정보를 산출하는 단계; 및
상기 오프셋 정보를 이용하여 상기 다수의 영상 데이터를 합성하여 어라운드뷰 영상을 형성하는 단계를 포함하는, 무인 비행기를 이용한 항만 접안 지원 방법.As a method of supporting berthing in a port using an unmanned aerial vehicle,
Receiving a plurality of location data and a plurality of image data for each of a plurality of unmanned aerial vehicles located outside the ship;
obtaining a plurality of pieces of reference location information for each of the plurality of unmanned aerial vehicles;
calculating offset information for at least some of the plurality of unmanned aerial vehicles based on a difference between the plurality of pieces of reference location information and the plurality of pieces of location data; and
Comprising the step of synthesizing the plurality of image data using the offset information to form an around-view image, a port berthing support method using an unmanned aerial vehicle.
상기 어라운드뷰 영상을 이용하여 선박 외부의 장애물과 선박 간의 거리를 산출하는 단계; 및
산출된 거리가 임계값 이하일 경우 알람 메시지를 형성하는 단계를 더 포함하는, 무인 비행기를 이용한 항만 접안 지원 방법.8. The method according to claim 6 or 7,
calculating a distance between an obstacle outside the vessel and the vessel by using the around-view image; and
Port berthing support method using an unmanned aerial vehicle, further comprising the step of forming an alarm message when the calculated distance is less than or equal to a threshold value.
선박이 접안하려고 하는 항만의 접안 시설에 대한 시설 이미지를 수신하는 단계;
상기 시설 이미지를 이용하여 선박의 예상 접안 영역에 대한 정보를 형성하는 단계; 및
상기 예상 접안 영역에 대한 정보를 이용하여 상기 선박의 이동 경로에 대한 정보를 산출하는 단계를 더 포함하는, 무인 비행기를 이용한 항만 접안 지원 방법.8. The method according to claim 6 or 7,
Receiving a facility image for a docking facility of a port to which the vessel intends to dock;
forming information on the expected berthing area of the vessel by using the facility image; and
Port berthing support method using an unmanned aerial vehicle, further comprising the step of calculating information on the movement path of the vessel by using the information on the expected berthing area.
상기 다수의 영상 데이터는 적외선 정보를 포함하는, 무인 비행기를 이용한 항만 접안 지원 방법.8. The method according to claim 6 or 7,
The plurality of image data includes infrared information, port berthing support method using an unmanned aerial vehicle.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190169448A KR20210078589A (en) | 2019-12-18 | 2019-12-18 | Apparatus and method for berthing assistance by using unmanned aerial vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190169448A KR20210078589A (en) | 2019-12-18 | 2019-12-18 | Apparatus and method for berthing assistance by using unmanned aerial vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20210078589A true KR20210078589A (en) | 2021-06-29 |
Family
ID=76626393
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190169448A KR20210078589A (en) | 2019-12-18 | 2019-12-18 | Apparatus and method for berthing assistance by using unmanned aerial vehicle |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20210078589A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113534811A (en) * | 2021-07-28 | 2021-10-22 | 上海海事大学 | Unmanned aerial vehicle-based ship berthing system and method |
-
2019
- 2019-12-18 KR KR1020190169448A patent/KR20210078589A/en not_active Application Discontinuation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113534811A (en) * | 2021-07-28 | 2021-10-22 | 上海海事大学 | Unmanned aerial vehicle-based ship berthing system and method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10884433B2 (en) | Aerial drone utilizing pose estimation | |
CN109478068B (en) | Method, apparatus and storage medium for dynamically controlling a vehicle | |
US10431099B2 (en) | Collision avoidance systems and methods | |
US20180032042A1 (en) | System And Method Of Dynamically Controlling Parameters For Processing Sensor Output Data | |
US20180259338A1 (en) | Sonar sensor fusion and model based virtual and augmented reality systems and methods | |
US10773591B2 (en) | Video analytics based pilot safety devices | |
KR101683274B1 (en) | System for supporting vessel berth using unmanned aerial vehicle and the method thereof | |
Almeida et al. | Radar based collision detection developments on USV ROAZ II | |
CN111373283A (en) | Real-time monitoring of the surroundings of a marine vessel | |
CN112334852A (en) | Method, device and arrangement for autonomous docking of a marine vessel | |
TWI686686B (en) | Method and apparatus for controlling aircraft | |
US11074463B2 (en) | Dynamic sensor operation and data processing based on motion information | |
US10254767B1 (en) | Determining position or orientation relative to a marker | |
US11548598B2 (en) | Image generating device and method of generating image | |
KR20220079667A (en) | Shipbuilding support systems and methods | |
CN114258372A (en) | Ship information display system, ship information display method, image generation device, and program | |
KR20210078589A (en) | Apparatus and method for berthing assistance by using unmanned aerial vehicle | |
WO2019022910A2 (en) | System and method of dynamically controlling parameters for processing sensor output data | |
AU2018379592B2 (en) | Interface unit | |
JP2023181079A (en) | Water-surface moving body vehicle collision warning apparatus and output method of collision warning signal | |
Choi et al. | Autonomous towed vehicle for underwater inspection in a port area | |
Kapetanović et al. | Acoustical underwater localization of a remotely operated vehicle in mariculture | |
JP2006267042A (en) | Mobile object speed detector | |
US20230399091A1 (en) | Apparatus and method for adaptively determining target area for vessels | |
JP2020160018A (en) | Quantity acceptance inspection system for load of vessel |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal |