KR102050519B1

KR102050519B1 - Marine rescue boat drone

Info

Publication number: KR102050519B1
Application number: KR1020180038447A
Authority: KR
Inventors: 김영철; 김근모
Original assignee: 동명대학교산학협력단
Priority date: 2018-04-03
Filing date: 2018-04-03
Publication date: 2019-11-29
Also published as: KR20190115575A

Abstract

해상 인명구조용 보트드론은, 선체; 주변 영상을 획득하고, 상기 선체 주변에 위치하는 객체들의 위치를 측정하여 센싱 신호를 출력하는 센싱 장치; 상기 주변 영상에 대한 분석을 통해 상기 객체들 중에서 익수자를 감지하고, 상기 익수자에 대응하는 제1 객체 영상의 위치 변화에 기초하여 상기 익수자의 위치를 추정하며, 상기 익수자의 위치에 기초하여 이동 경로를 설정하되, 상기 센싱 신호에 기초하여 상기 익수자의 위치를 갱신하는 제어 장치를 포함한다. 여기서, 상기 센싱 장치는, 상기 선체로부터 상기 익수자까지의 이격 거리가 제1 기준 거리보다 작은 경우, 상기 센싱 신호를 출력한다.Marine life-saving boat drones, the hull; A sensing device which acquires a surrounding image and outputs a sensing signal by measuring positions of objects located around the hull; Detects the learner from among the objects by analyzing the surrounding image, estimates the location of the learner based on the change of the position of the first object image corresponding to the learner, and moves the movement path based on the location of the learner. Set a, but includes a control device for updating the position of the learner based on the sensing signal. Here, the sensing device outputs the sensing signal when the separation distance from the hull to the drone is smaller than a first reference distance.

Description

Marine lifesaving boat drone {MARINE RESCUE BOAT DRONE}

본 발명은 보트드론에 관한 것으로, 보다 상세하게는, 사용자의 원격 제어 또는 자동으로 해상을 운행하면서 익수자(또는, 조난자)를 식별 및 구조하는 해상 인명구조용 보트드론에 관한 것이다.The present invention relates to a boat drone, and more particularly, to a marine life-saving boat drone for identifying and rescued drowners (or survivors) while operating the sea remotely or automatically.

2015년 이후 드론을 활용한 사업이 여러 분야에 활용되고 있으며, 해상 구조용 드론이 개발되었으나, 기상 변화(강풍, 우천 등)에 따라 대응이 불가한 경우가 있으며, 드론 조정을 위한 조정 전문가가 요구되며, 드론 자체의 제작 비용이 과다하게 소요되고, 비행시간이 짧은 문제점 등을 가지고 있다.Since 2015, drone-based projects have been utilized in various fields, and marine rescue drones have been developed, but they may not be able to respond due to weather changes (strong winds, rainy weather, etc.), and an expert for adjusting drones is required. In addition, the drone itself is excessively expensive to manufacture and has a short flight time.

한국공개특허 제2013-0022348호(2013.03.06.공개)는 인명구조용 무선조종보트에 관한 것으로, 인명구조용 무선조종보트는 부력에 의해 수면에 뜨는 튜브체와, 튜브체에 결합되어 구난자가 안착하거나 매달릴 수 있도록 이루어진 보트 본체 및 튜브체의 후방에 배치되는 것으로 상부 및 하부가 서로 대칭으로 이루어져 상하 양방향으로 추진력을 발생시키는 양방향 추진부를 포함하며, 보트가 수면에 어느 방향으로 투척되어도 구동이 가능하기 때문에 구난 작업의 효율성을 향상시키고 무선 조종 또는 무인 제어가 가능한 효과를 개시하고 있다.Korean Laid-Open Patent Publication No. 2013-0022348 (published on March 6, 2013) relates to a radio-controlled boat for lifesaving, and a life-saving radio-controlled boat is coupled to a tube body floating on the surface by buoyancy, and a rescuer is seated on It is disposed at the rear of the boat body and the tube body which can be suspended, and includes a bidirectional propulsion unit which generates the propulsion force in both the upper and lower parts symmetrically and generates the driving force in both directions. It improves the efficiency of rescue work and discloses the effect of radio control or unmanned control.

그러나, 이러한 선행기술과 같이 무선조종보트의 구조에 대해 연구만이 진행되고 있으며, 해상 환경에서 무선조종보트(즉, 보트드론)의 자율적인 주행 및 익수자의 식별/구조 기술에 대한 연구 개발이 필요한 실정이다.However, only the research on the structure of the wireless pilot boat is progressing as in the prior art, and it is necessary to research and develop the autonomous driving of the wireless pilot boat (ie, boat drone) and the identification / rescue technology of the drone in a marine environment. It is true.

한국공개특허 제2005-0059504호(2005.06.21.공개) “원격조종 무인방제보트 장치”Korea Patent Publication No. 2005-0059504 (June 21, 2005) “Remote control unmanned boat device” 한국공개특허 제2013-0022348호(2013.03.06.공개) “인명구조용 무선조종보트”Korean Patent Publication No. 2013-0022348 (published Mar. 06, 2013) “Lifesaving Wireless Control Boat”

본 발명의 일 목적은 사용자의 간단한 조종으로 익수자를 구조하거나, 자율적으로 익수자를 감지하여 구조할 수 있는 보트 형태의 해상 인명구조용 보트드론을 제공하는 것이다.One object of the present invention is to provide a boat-shaped marine life-saving boat drone that can rescue the drowned person by simple manipulation of the user, or autonomously detect the drowned person.

상기 일 목적을 달성하기 위하여, 본 발명의 실시예들에 따른 해상 인명구조용 보트드론은, 선체; 주변 영상을 획득하고, 상기 선체 주변에 위치하는 객체들의 위치를 측정하여 센싱 신호를 출력하는 센싱 장치; 상기 주변 영상에 대한 분석을 통해 상기 객체들 중에서 익수자를 감지하고, 기 익수자에 대응하는 제1 객체 영상의 위치 변화에 기초하여 상기 익수자의 위치를 추정하며, 상기 익수자의 위치에 기초하여 이동 경로를 설정하되, 상기 센싱 신호에 기초하여 상기 익수자의 위치를 갱신하는 제어 장치를 포함 할 수 있다. 여기서, 상기 센싱 장치는, 상기 선체로부터 상기 익수자까지의 이격 거리가 제1 기준 거리보다 작은 경우, 상기 센싱 신호를 출력할 수 있다.In order to achieve the above object, the marine life-saving boat drone according to the embodiments of the present invention, the hull; A sensing device which acquires a surrounding image and outputs a sensing signal by measuring positions of objects located around the hull; Detects the learner from among the objects through analysis of the surrounding image, estimates the location of the learner based on a change in the position of the first object image corresponding to the learner, and moves the movement path based on the learner's location. Set to, but may include a control device for updating the position of the learner based on the sensing signal. Here, the sensing device may output the sensing signal when the separation distance from the hull to the drowner is smaller than a first reference distance.

일 실시예에 의하면, 상기 센싱 장치는, 상기 주변 영상을 획득하는 카메라 장치; 펄스 레이저를 이용하여 제1 센싱 신호를 출력하는 라이다 센서; 및 초음파를 이용하여 제2 센싱 신호를 출력하는 근접 센서를 포함하고, 상기 제1 센싱 신호 및 상기 제2 센싱 신호는 상기 센싱 신호에 포함 될 수 있다.According to one embodiment, the sensing device, the camera device for obtaining the surrounding image; A lidar sensor for outputting a first sensing signal using a pulse laser; And a proximity sensor configured to output a second sensing signal using ultrasonic waves, wherein the first sensing signal and the second sensing signal may be included in the sensing signal.

일 실시예에 의하면, 상기 제어 장치는, 상기 이격 거리가 상기 제1 기준 거리보다 작은 경우, 상기 라이다 센서를 동작시키고, 상기 제1 센싱 신호에 기초하여 상기 익수자의 위치를 갱신하며, 상기 이격 거리가 제2 기준 거리보다 작은 경우, 상기 근접센서를 동작시키며, 상기 제2 센싱 신호에 기초하여 상기 익수자의 위치를 갱신하며, 상기 제2 기준 거리는 상기 제1 기준 거리보다 작을 수 있다.According to an embodiment, when the separation distance is smaller than the first reference distance, the control device operates the lidar sensor, updates the position of the drowner based on the first sensing signal, and the separation distance. When the distance is smaller than the second reference distance, the proximity sensor is operated, the position of the learner is updated based on the second sensing signal, and the second reference distance may be smaller than the first reference distance.

일 실시예에 의하면, 상기 제어 장치는, 상기 주변 영상을 축소시키고,임계값(threshold value)에 기초하여 주변 영상의 계조 범위를 축소시키며, 외곽선을 추출 기술을 이용하여 수평선을 검출하고, 상기 수평선에 기초하여 상기 주변 영상 중 적어도 일부에 대한 관심 영역을 설정하며, 상기 주변 영상의 상기 관심 영역에 특징점 추출 기술을 적용하여 상기 제1 객체 영상을 검출하되, 상기 임계값은 이전 시점에서 획득한 주변 영상의 관심 영역에 대한 히스토그램 분석을 통해 설정 될 수 있다.According to an embodiment, the control device may reduce the surrounding image, reduce the gradation range of the surrounding image based on a threshold value, detect a horizontal line using an extraction technique of an outline, and detect the horizontal line. Set a region of interest for at least a portion of the surrounding image based on the first image, and detect the first object image by applying a feature extraction technique to the region of interest of the surrounding image, wherein the threshold value is obtained from a previous viewpoint. It can be set through histogram analysis of the ROI of the image.

일 실시예에 의하면, 상기 센싱 장치는, 해수가 이동하는 해수 방향 및 해수의 유속을 측정하는 해수탐지 센서를 더 포함 할 수 있다. 이 경우, 상기 제어 장치는, 상기 해수 방향 및 상기 유속에 기초하여 경유지를 설정하고, 상기 경유지에 기초하여 상기 이동 경로를 갱신하되, 상기 경유지는 상기 익수자로부터 제1 방향으로 이격되되, 상기 제1 방향은 해수 방향과 제1 각도를 형성 할 수 있다.According to one embodiment, the sensing device may further include a seawater detection sensor for measuring the flow direction of the seawater and the seawater direction seawater moves. In this case, the control device may set a waypoint based on the seawater direction and the flow rate, and update the movement path based on the waypoint, wherein the waypoint is spaced apart from the drowner in a first direction, The first direction may form a first angle with the seawater direction.

본 발명의 실시예들에 따른 해상 인명구조용 보트드론은, 보트 형태를 가짐으로써, 기상 악화에서도 신속하게 인명구조 작업을 수행할 수 있다. The marine lifesaving boat drone according to the embodiments of the present invention has a boat shape, and thus can quickly perform lifesaving work even in bad weather.

또한, 해상 인명구조용 보트드론은 이격거리(즉, 보트드론으로부터 익수자까지의 이격된 거리)에 따라 카메라, 라이다 센서 및 근접센서를 순차적으로 이용함으로써 익수자의 위치를 보다 정확하게 파악하고, 나아가, 이격거리(및 유속)에 따라 경유지 추가 등을 통한 경로 재설정/갱신을 통해, 익수자에 대한 보다 안전하고 정확한 도킹 및 구조 작업이 가능하게 할 수 있다.In addition, the marine life-saving boat drone uses the camera, the lidar sensor, and the proximity sensor in sequence according to the separation distance (ie, the distance from the boat drone to the drone) to more accurately determine the position of the drowned person. Depending on the separation distance (and flow rate), rerouting / updating, for example by adding waypoints, enables safer and more accurate docking and rescue operations for the drowned.

도 1은 본 발명의 실시예들에 따른 해상 인명구조 시스템을 나타내는 도면이다.
도 2a 및 도 2b는 도 1의 해상 인명구조 시스템에 포함된 보트드론의 일 예를 나타내는 도면이다.
도 2c는 도 1의 해상 인명구조 시스템에 포함된 무선조정장치의 일 예를 나타내는 도면이다.
도 3은 도 2a의 보트드론에 포함된 제어장치의 일 예를 나타내는 블록도이다.
도 4는 도 3의 제어장치에서 익수자를 감지하는 익수자 감지 방법의 일 예를 나타내는 순서도이다.
도 5a 내지 도 5c는 도 3의 제어장치에서 영상 분석을 통해 익수자를 감지하는 구성을 설명하는 도면이다.
도 6a 및 도 6b는 도 3의 제어장치에서 익수자의 위치를 추정하는 구성을 설명하는 도면이다.
도 7은 익수자를 기준으로 설정된 영역의 일 예를 나타내는 도면이다.
도 8은 도 3의 제어장치에서 보트드론의 이동 경로를 설정하는 이동 경로 설정 방법을 나타내는 순서도이다.
도 9a 및 도 9b는 도 8의 이동 경로 설정 방법에 의해 설정된 이동 경로의 일 예를 나타내는 도면이다.1 is a view showing a marine lifesaving system according to embodiments of the present invention.
2A and 2B are views illustrating an example of a boat drone included in the marine lifesaving system of FIG. 1.
FIG. 2C is a diagram illustrating an example of a radio controller included in the marine lifesaving system of FIG. 1.
3 is a block diagram illustrating an example of a control device included in the boat drone of FIG. 2A.
4 is a flowchart illustrating an example of a drowner detecting method for sensing a drowned person in the control apparatus of FIG. 3.
5A to 5C are diagrams illustrating a configuration of detecting a drowned person through image analysis in the control apparatus of FIG. 3.
6A and 6B are views for explaining a configuration of estimating the position of the drowned person in the control device of FIG.
7 is a diagram illustrating an example of an area set based on a drowned person.
FIG. 8 is a flowchart illustrating a moving path setting method of setting a moving path of a boat drone in the control device of FIG. 3.
9A and 9B are diagrams illustrating an example of a movement path set by the movement path setting method of FIG. 8.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, with reference to the accompanying drawings, it will be described in detail a preferred embodiment of the present invention. The same reference numerals are used for the same elements in the drawings, and duplicate descriptions of the same elements are omitted.

도 1은 본 발명의 실시예들에 따른 해상 인명구조 시스템을 나타내는 도면이다.1 is a view showing a marine lifesaving system according to embodiments of the present invention.

도 1을 참조하면, 해상 인명구조 시스템(100)은 해상 인명구조용 보트드론(110)(이하, “보트드론” 이라 함) 및 무선조종장치(120)(또는, 무선조정기)를 포함할 수 있다. 또한, 해상 인명구조 시스템(100)은 외부의 관제 시스템(130), GPS 시스템(또는, GPS 위성) 등과 연동되거나, 이들로부터 데이터를 수신할 수 있다.Referring to FIG. 1, the marine lifesaving system 100 may include a marine lifesaving boat drone 110 (hereinafter referred to as a “boat drone”) and a radio pilot device 120 (or a radio controller). . In addition, the marine lifesaving system 100 may be linked to or receive data from an external control system 130, a GPS system (or a GPS satellite), or the like.

보트드론(110)은 갑판이 없는 소형의 배로, 일반적인 보트로 구현될 수 있다. 예를 들어, 보트드론(110)은 모터보트 일 수 있다. 보트드론(110)은 방수형 드론으로 구현되어 기상상황에 의한 영향이 적을 수 있으며, 양면 구조(예를 들어, 상부와 하부가 대칭되는 구조)를 가짐으로써 해상(또는, 수상)에서 뒤집히더라도 진행(또는, 주행, 운행) 할 수 있다. 보트드론(110)의 형상 등에 대해서는 도 2a 및 도 2b를 참조하여 상세히 설명하기로 한다.The boat drone 110 is a small boat without a deck and may be implemented as a general boat. For example, the boat drone 110 may be a motorboat. The boat drone 110 may be implemented as a waterproof drone and may have a low impact due to weather conditions, and may have a double-sided structure (for example, a structure in which the upper and lower parts are symmetrical), so that the boat drone 110 may be flipped at sea (or water). You can proceed (or drive, run). The shape and the like of the boat drone 110 will be described in detail with reference to FIGS. 2A and 2B.

보트드론(110)은 카메라(예를 들어, 보트드론(110)의 전방 또는 선수에 장착된 카메라)를 통해 주변 영상(즉, 보트드론(110) 주변 해상의 영상)을 획득하고, 주변 영상을 무선조정장치(120)에 제공할 수 있다. 이 경우, 사용자(즉, 무선조정장치(120)를 사용하는 사용자)는 익수자를 확인하고, 보트드론(110)에 대한 제어를 통해 익수자를 구조할 수 있다. 한편, 보트드론(110)은, 사용자에 의한 제어가 불가능한 경우에는, 자율적으로 익수자를 감지(또는, 판단)하고, 익수자에게 이동하여 구조하며(또는, 익수자에게 이동하여 익수자가 보트드론(110)에 탑승할 때까지 대기하며), 이후 처음 지역(또는, 보트드론(110)이 출발한 지점, 안전 지역)으로 리턴(또는, 이동) 할 수 있다.The boat drone 110 acquires a surrounding image (ie, an image of a sea around the boat drone 110) through a camera (for example, a camera mounted in front of the boat drone 110 or a player), and obtains the surrounding image. It may be provided to the radio controller 120. In this case, the user (that is, the user using the radio controller 120) may check the drowner and rescue the drowner through control of the boat drone 110. Meanwhile, when control by the user is impossible, the boat drone 110 autonomously detects (or judges) the learner, moves to the learner and rescues it (or moves to the learner so that the learner can use the boat drone ( Waiting to board 110), and then return (or move) to the first area (or the point where the boat drone 110 departed, the safety area).

실시예들에서, 보트드론(110)은 카메라를 통해 획득된 주변 영상에 대한 분석을 통해 익수자의 위치(또는, 목표 위치)를 산출/추정하거나 보트드론(110)으로부터 익수자까지의 이격거리를 측정하며(예를 들어, 특정 시간 동안 보트드론(110)이 이동한 거리 및 삼각측정법에 기초하여 이격거리를 산출하며), 이격거리가 제1 기준 범위(또는, 제1 영역, 예를 들어, 50m 내지 5m) 이내인 경우 라이다(LIDAR) 센서를 이용하여 익수자의 위치를 파악(또는, 측정)하고, 이격거리가 제2 기준 범위(또는, 제2 영역, 예를 들어, 5m 이하)인 경우 근접센서(또는, 물체감지센서, 예를 들어, 초음파 센서)를 이용하여 익수자의 위치를 파악할 수 있다. 즉, 보트드론(110)은 이격거리에 따라 카메라, 라이다 센서, 근접센서를 순차적으로 이용하여 익수자의 위치를 보다 정확하게 파악하며, 익수자와의 충돌을 방지하고, 익수자를 보다 안전하고 신속 정확하게 구조할 수 있도록 할 수 있다.In embodiments, the boat drone 110 may calculate / estimate the position (or target position) of the drowner through analysis of the surrounding image obtained through the camera, or may calculate the separation distance from the drone 110 to the drowner. Measurement (e.g., calculating the separation distance based on the distance traveled by the boat drone 110 and triangulation for a specific time), and the separation distance is determined by the first reference range (or, in the first region, for example, 50 m to 5 m), using a LIDAR sensor to determine (or measure) the position of the drowned person, and the separation distance is a second reference range (or second area, for example, 5 m or less) In this case, a proximity sensor (or an object sensor, for example, an ultrasonic sensor) may be used to determine the location of the learner. That is, the boat drone 110 uses the camera, the lidar sensor, and the proximity sensor in sequence according to the separation distance to more accurately determine the position of the drowner, prevents collision with the drowner, and more accurately and safely. It can be rescued.

실시예들에서, 보트드론(110)은 이격거리가 제1 기준 범위를 벗어난 경우 익수자의 위치를 목적지(또는, 목표 지점)로 설정하여 보트드론(110)의 이동 경로를 설정하되, 이격거리가 제1 기준 범위 이내인 경우, 익수자를 기준으로 특정 방향(예를 들어, 해수의 방향(또는, 해수의 이동 방향)과 특정 각도를 형성하는 방향)으로 특정 거리만큼 이격된 지점을 경유지로 설정하며, 경유지에 기초하여 이동 경로를 재설정/갱신할 수 있다. 예를 들어, 보트드론(110)은 이격거리가 50m 이내인 경우 음향 도플러 유속계(ADCP)와 같은 유속 측정 장치를 이용하여 해수의 방향을 측정하며, 익수자로부터 특정 방향(예를 들어, 해수의 방향에 수직하는 방향)으로 5m만큼 이격된 지점을 경유지로 포함시킬 수 있다. 해수의 방향에 기초하여 경유지를 설정함으로써, 해수에 기인한 보트드론(110)의 경로 이탈 가능성(또는, 이동 경로 상에서 익수자의 이탈 가능성), 보트드론(110)의 익수자에 대한 충돌 가능성 등을 감소시키고, 보다 안전한 접근(또는, 도킹) 및 보다 신속 정확한 익수자 구조가 가능하게 할 수 있다.In embodiments, the boat drone 110 may set the moving path of the boat drone 110 by setting the location of the drowned person as a destination (or a target point) when the separation distance is out of the first reference range. If it is within the first reference range, it is set as a stopover point that is spaced apart by a specific distance in a specific direction (for example, the direction of seawater (or the direction of seawater movement) and a specific angle) based on the drowning person. In this case, the movement route may be reset / updated based on the waypoint. For example, the boat drone 110 measures the direction of the sea water using a flow rate measuring device such as an acoustic Doppler flowmeter (ADCP) when the separation distance is within 50 meters, and from the drowner in a specific direction (for example, It may include a waypoint separated by 5m in the direction perpendicular to the direction). By setting a waypoint based on the direction of the seawater, the possibility of the boat's departure from the boat drone 110 due to the seawater (or the possibility of the learner's departure on the moving path), the possibility of collision of the boat drone 110 with the learner, etc. Reducing, more secure access (or docking), and faster and more accurate learner structure.

보트드론(110)이 익수자를 감지하는 구성 및 익수자에게 이동하는 구성(또는, 자율 주행 구성)에 대해서는 도 4 내지 도 9b를 참조하여 후술하기로 한다.The configuration in which the boat drone 110 detects the drowned person and the structure in which the boat drone moves to the drowned person (or an autonomous driving configuration) will be described later with reference to FIGS. 4 to 9B.

무선조정장치(120)는 무선통신망을 통해 보트드론(110)과 연결되고, 보트드론(110)으로부터 주변 영상을 수신하여 디스플레이하며, 사용자로부터 조작신호를 수신하여 제어신호(즉, 보트드론(110)의 이동을 제어하는 신호)를 송신할 수 있다. 무선조정장치(120)는 심플한 인터페이스를 통해 전문적인 조종 교육을 받은 전문가가 아닌 일반인도 보트드론(110)을 용이하게 조종 가능하게 할 수 있다. 무선조종장치(120)에 대해서는 도 2c를 참조하여 상세히 설명하기로 한다.The radio controller 120 is connected to the boat drone 110 through a wireless communication network, receives and displays the surrounding image from the boat drone 110, and receives a control signal from the user to control signals (that is, the boat drone 110). Signal to control the movement). The radio controller 120 can easily control the boat drone 110, even non-professional trained professional through a simple interface. The radio steering apparatus 120 will be described in detail with reference to FIG. 2C.

한편, 보트드론(110)에 장착된 카메라 등의 센서는 그 설치 고도가 비행 드론에 비해 상대적으로 낮으므로, 탐색 범위가 상대적으로 좁을 수 있다. 따라서, 보트드론(110)은 관제 시스템(130)(또는, 비행 드론, 관제 센터)로부터 익수자의 대략적인 위치 정보를 획득(또는, 수신)하고, 해당 지역에서 상대적으로 정밀한 탐색 및 인명 구조 작업을 수행할 수 있다.On the other hand, a sensor such as a camera mounted on the boat drone 110 is relatively low compared to the flying drone, the search range may be relatively narrow. Accordingly, the boat drone 110 acquires (or receives) the approximate location information of the drowned person from the control system 130 (or the flying drone, the control center), and performs relatively precise search and rescue operations in the area. Can be done.

도 1을 참조하여 설명한 바와 같이, 본 발명의 실시예들에 따른 해상 인명구조 시스템(100)(또는, 보트드론(110))은 사용자의 간단한 조종으로 익수자를 구조하거나, 자율적으로 익수자를 감지 및 구조할 수 있다. 특히, 보트드론(110)은 비행 드론의 문제점을 제거한 보트 형태를 가짐으로써, 기상 악화에서도 신속하게 인명구조 작업을 수행할 수 있다. 또한, 보트드론(110)은 이격거리(즉, 보트드론(110)으로부터 익수자까지의 이격된 거리)에 따라 카메라, 라이다 센서 및 근접센서를 순차적으로 이용함으로써 익수자의 위치를 보다 정확하게 파악하고, 나아가, 이격거리(및 유속)에 따라 경유지 추가 등을 통한 경로 재설정/갱신을 통해, 익수자에 대한 보다 안전하고 정확한 도킹 및 구조 작업이 가능하게 할 수 있다.As described with reference to FIG. 1, the marine lifesaving system 100 (or the boat drone 110) according to the embodiments of the present invention rescues the learner by simple manipulation of the user, or detects and learns the learner autonomously. You can rescue it. In particular, the boat drone 110 has a boat form that eliminates the problem of the flying drone, it is possible to quickly perform lifesaving work even in bad weather. In addition, the boat drone 110 uses the camera, the lidar sensor and the proximity sensor in sequence according to the separation distance (ie, the distance from the boat drone 110 to the drone) to more accurately determine the position of the drowned person. Furthermore, rerouting / update through addition of waypoints according to the separation distance (and flow rate) can enable safer and more accurate docking and rescue work for the drowned.

도 2a 및 도 2b는 도 1의 해상 인명구조 시스템에 포함된 보트드론의 일 예를 나타내는 도면이다.2A and 2B are views illustrating an example of a boat drone included in the marine lifesaving system of FIG. 1.

도 2a를 참조하면 제1 보트드론(200a)은 선체(210), 구동 장치(220)(또는, 구동 시스템), 제어장치(230) 및 센싱 장치(240)를 포함할 수 있다.Referring to FIG. 2A, the first boat drone 200a may include a hull 210, a driving device 220 (or a driving system), a control device 230, and a sensing device 240.

선체(210)는 유선형의 양면 구조를 가지며, 양측에 부유체들(BU1, BU2)을 포함할 수 있다. 제1 보트드론(200a)의 경우, 익수자는 부유체들(BU1, BU2) 중 적어도 하나를 붙잡은 상태에서 이동할 수 있다. 즉, 부유체들(BU1, BU2)이 구조 장치로 이용될 수 있다.The hull 210 has a streamlined double-sided structure and may include floating bodies BU1 and BU2 on both sides. In the case of the first boat drone 200a, the drowner may move in a state of catching at least one of the floating bodies BU1 and BU2. That is, the floats BU1 and BU2 may be used as rescue devices.

구동 장치(220)는 선체(210)(또는, 제1 보트드론(200a))의 이동에 필요한 추친력을 생성하고, 선체(210)의 이동방향을 제어할 수 있다. 구동 장치(220)는 일반적인 기관(221)(예를 들어, 내연기관, 모터), 프로펠러(222) 및 조타(223)(rudder)를 포함하여 구성될 수 있으며, 이에 대한 상세한 설명은 생략하기로 한다. The driving device 220 may generate a thrust force required for the movement of the hull 210 (or the first boat drone 200a), and may control the moving direction of the hull 210. The driving device 220 may include a general engine 221 (eg, an internal combustion engine, a motor), a propeller 222 and a steering 223 (rudder), and a detailed description thereof will be omitted. do.

일 실시예에서, 구동 장치(220)에 포함된 모터는 선체(210)(또는, 제어장치(230))를 기준으로 특정 각도(예를 들어, 상하 45도) 범위 내에서 틸팅(tilting) 가능한 구조를 가질 수 있다. 이 경우, 조류와 파고에 의해 보트드론(110)이 전진 불가능한 문제점을 해소할 수 있다. 또한, 모터는 선미 양측에 각각 구비되어, 즉, 상하 듀얼모터로 구현되어, 하나의 모터에 장애 또는 고장이 발생하더라도 다른 하나의 모터를 통해 구동이 가능하도록 구성될 수 있다.In one embodiment, the motor included in the drive device 220 is capable of tilting within a specific angle (eg, 45 degrees up and down) relative to the hull 210 (or control device 230). It may have a structure. In this case, the boat drone 110 by the algae and digging can solve the problem that it is impossible to move forward. In addition, the motor is provided on both sides of the stern, that is, it is implemented as a dual motor up and down, even if a failure or failure in one motor may be configured to be driven through the other motor.

제어장치(230)는 무선조정장치(120)로부터 수신한 제어신호에 기초하여 구동 장치(220)의 동작(예를 들어, 제1 보트드론(200a)의 이동 방향 및 이동 속도)를 제어할 수 있다. 예를 들어, 제어장치(230)는 일반적인 ECU(engine control unit) 및 조타기(steering gear) 등을 포함할 수 있으며, 이에 대한 상세한 설명은 생략하기로 한다.The controller 230 may control an operation (for example, a moving direction and a moving speed of the first boat drone 200a) of the driving device 220 based on the control signal received from the radio controller 120. have. For example, the control device 230 may include a general engine control unit (ECU), a steering gear, etc., and a detailed description thereof will be omitted.

또한, 제어장치(230)는 보트가 뒤집혀도 처음 조작 그대로 제어가 가능한 헤드리스 모드 프로그램을 탑재할 수 있다.In addition, the controller 230 may be equipped with a headless mode program that can be controlled as it is the first operation even if the boat is upside down.

센싱 장치(240)는, 도 1을 참조하여 설명한 바와 같이, 카메라(또는, 촬상 장치), 라이다(LIDAR) 센서, 근접 센서 등을 포함하고, 이들을 통해 선체(210) 주변의 영상(즉, 주변 영상), 라이다 신호, 초음파 신호 등을 획득할 수 있다. 이 경우, 제어장치(230)는 획득된 주변 영상에 기초하여 선체(210)(또는, 제1 보트드론(200a))으로부터 특정 거리(예를 들어, 제1 보트드론(200a)의 가시 거리) 이내에 위치하는 익수자(또는, 익수자를 포함하는 객체)를 감지할 수 있다.As described with reference to FIG. 1, the sensing device 240 includes a camera (or an imaging device), a LIDAR sensor, a proximity sensor, and the like, through which the image around the hull 210 (ie, Peripheral image), a lidar signal, an ultrasonic signal, and the like. In this case, the controller 230 may determine a specific distance (for example, the visible distance of the first boat drone 200a) from the hull 210 (or the first boat drone 200a) based on the acquired surrounding image. The learner (or an object including the learner) located within can be detected.

또한, 센싱 장치(240)는 자세 제어 센서(즉, 보트드론(110)의 자세 및 기울기를 측정하기 위한 자이로, 가속도 센서)를 더 포함할 수 있다.In addition, the sensing device 240 may further include an attitude control sensor (that is, a gyro and an acceleration sensor for measuring the attitude and inclination of the boat drone 110).

한편, 도 1에서 센서 장치(240)는 선수(FWD)의 상부면에 배치되는 것으로 도시되었으나, 센서 장치(240)가 이에 한정되는 것은 아니다. 예를 들어, 앞서 설명한 바와 같이, 선체(210)가 양면 구조(즉, 상하부 대칭 구조)를 가짐에 따라 센서 장치(240)는 선체(210)의 선수 중앙에 배치되고 상하좌우로 특정 각도 내를 탐지(또는, 스캔)할 수 있다. 특히, 제1 보트드론(200a)(또는, 보트드론(110))의 고속 이동시 선수가 들리는 현상을 고려하여 충분한 탐색 범위를 확보하기 위해서는, 센서 장치(240)는 선체(210)의 선수 중앙에 배치되는 것이 바람직할 수 있다.Meanwhile, although the sensor device 240 is illustrated in FIG. 1 as being disposed on the upper surface of the bow FWD, the sensor device 240 is not limited thereto. For example, as described above, as the hull 210 has a double-sided structure (ie, upper and lower symmetrical structure), the sensor device 240 is disposed at the bow center of the hull 210 and within a certain angle up, down, left, and right. Can be detected (or scanned). In particular, in order to secure a sufficient search range in consideration of a phenomenon in which a bow is heard when the first boat drone 200a (or the boat drone 110) moves at a high speed, the sensor device 240 is located at the bow center of the hull 210. It may be desirable to arrange.

도 2b를 참조하면, 도 2b에 도시된 제2 보트드론(200b)는, 선체(210)를 제외하고, 제1 보트드론(200a) 과 실질적으로 동일할 수 있다. 따라서, 중복되는 설명은 반복하지 않기로 한다.Referring to FIG. 2B, the second boat drone 200b illustrated in FIG. 2B may be substantially the same as the first boat drone 200a except for the hull 210. Therefore, duplicate descriptions will not be repeated.

제2 보트드론(200b)의 선체(210b)의 선수는 외부를 향해 오픈된 빈 공간을 포함하며, 양측에서 선수 방향을 향해 돌출된 부력체들을 포함할 수 있다. 빈 공간에는 그물(NET)가 배치되어 익수자 구조에 이용될 수 있다.The bow of the hull 210b of the second boat drone 200b includes an empty space opened toward the outside and may include buoyancy bodies protruding toward the bow direction from both sides. A net is disposed in the empty space and can be used for the drowned person structure.

제2 보트드론(200b)의 센서 장치(240)는 선미측에 형성된 별도의 마운트 상에 배치될 수 있다. 센서 장치(240)의 고도는 상대적으로 높아지므로, 상대적으로 넓은 탐색범위를 확보할 수 있다. 한편, 마운트는 선미를 기준으로 회전 및 접이(folding)가 가능하도록 구성되어, 센싱 장치(240)의 고도/방향 제어 및 선체(210)의 양면 구조(예를 들어, 제2 보트드론(200b)이 뒤집히는 경우)에 대응할 수 있다.The sensor device 240 of the second boat drone 200b may be disposed on a separate mount formed on the stern side. Since the altitude of the sensor device 240 is relatively high, a relatively wide search range can be secured. On the other hand, the mount is configured to be rotated and folded relative to the stern, the altitude / direction control of the sensing device 240 and the double-sided structure of the hull 210 (for example, the second boat drone 200b) Can be reversed).

한편, 도 2a 및 도 2b를 참조하여 설명한 제1 및 제2 보트드론들(200a, 200b)은 보트드론(200)의 일 예에 지나지 않으며, 본 발명의 보트드론(200)은 일반적인 보트들의 다양한 형상(또는, 구조) 및 크기를 가질 수 있음은 자명하다 할 것이다.Meanwhile, the first and second boat drones 200a and 200b described with reference to FIGS. 2A and 2B are merely examples of the boat drone 200, and the boat drone 200 of the present invention may be a variety of general boats. It will be apparent that it may have a shape (or structure) and size.

도 2c는 도 1의 해상 인명구조 시스템에 포함된 무선조정장치의 일 예를 나타내는 도면이다.FIG. 2C is a diagram illustrating an example of a radio controller included in the marine lifesaving system of FIG. 1.

보트드론(110)의 경우, 비행 드론과 달리 기체의 상승과 하강(또는, 호버링)을 위한 조작이 불필요하므로, 무선조정장치(120)는 기본적인 전진과 좌우 방향 변경과 같이, 전문가가 아닌 일반인이 조작할 수 있는 상대적으로 심플한 인터페이스를 가질 수 있다.In the case of the boat drone 110, unlike the flight drone, since the operation for raising and lowering (or hovering) the aircraft is unnecessary, the radio controller 120 may be operated by a general person, not an expert, such as basic forward and left and right direction changes. It can have a relatively simple interface that can be manipulated.

도 2c를 참조하면, 무선조정장치(120)는 안테나(ANT), 디스플레이부(DISP), 전진레버(LE V2), 좌우레버(LEV1), 전원버튼(B_P), 리턴투홈 버튼(B_R2H) 및 배터리표시부(BAT)를 포함할 수 있다.Referring to FIG. 2C, the radio controller 120 includes an antenna ANT, a display unit DISP, a forward lever LE V2, a left and right lever LEV1, a power button B_P, a return-to-home button B_R2H, and It may include a battery indicator (BAT).

무선조정장치(120)는, 일반적인 무선조정기와 유사하게, 사용자의 조작신호(또는, 조작 동작)에 대응하여 제어신호를 생성하여 안테나(ANT)를 통해 송신하고, 안테나(ANT)를 통해 보트드론(110)으로부터 주변 영상을 수신할 수 있다. 수신한 주변 영상은 디스플레이부(DISP)를 통해 표시될 수 있다.The radio controller 120 generates a control signal in response to a user's manipulation signal (or manipulation operation) and transmits it through the antenna ANT, similar to a general radio controller, and the boat drone through the antenna ANT. The surrounding image may be received from the 110. The received peripheral image may be displayed through the display unit DISP.

사용자는 전진레버(LEV2)를 통해 보트드론(110)의 속도를 제어하고, 좌우레버(LEV1)를 통해 보트드론(110)의 방향을 제어할 수 있다.The user may control the speed of the boat drone 110 through the forward lever LEV2 and the direction of the boat drone 110 through the left and right levers LEV1.

한편, 사용자는 전원버튼(B_P)을 통해 무선조정장치(120)의 전원을 턴온 또는 턴오프할 수 있고, 리터투홈 버튼(B_R2H)을 통해 보트드론(110)이 처음 위치로 자동으로 복귀할 수 있도록 제어 할 수 있다. 한편, 배터리표시부(BAT)는 무선조정장치(120) 및/또는 보트드론(110)의 배터리 잔량을 표시할 수 있다.On the other hand, the user can turn on or off the power of the radio controller 120 through the power button (B_P), the boat drone 110 can automatically return to the initial position through the liter-to-home button (B_R2H). So you can control it. Meanwhile, the battery display unit BAT may display the battery remaining amount of the radio controller 120 and / or the boat drone 110.

이하에서는, 도 3 내지 도 7을 참조하여 익수자를 감지하는 구성을 설명하고, 이후 도 8 내지 도 9b를 참조하여 이동경로를 설정하는 구성에 대하여 순차적으로 상세히 설명하기로 한다.Hereinafter, the configuration of detecting the drowned person will be described with reference to FIGS. 3 to 7, and the configuration for setting the movement route will be described in detail with reference to FIGS. 8 to 9B.

도 3은 도 2a의 보트드론에 포함된 제어장치의 일 예를 나타내는 블록도이다. 도 4는 도 3의 제어장치에서 익수자를 감지하는 익수자 감지 방법의 일 예를 나타내는 순서도이다. 도 5a 내지 도 5c는 도 3의 제어장치에서 영상 분석을 통해 익수자를 감지하는 구성을 설명하는 도면이다. 도 6a 및 도 6b는 도 3의 제어장치에서 익수자의 위치를 추정하는 구성을 설명하는 도면이다. 도 7은 익수자를 기준으로 설정된 영역의 일 예를 나타내는 도면이다.3 is a block diagram illustrating an example of a control device included in the boat drone of FIG. 2A. 4 is a flowchart illustrating an example of a drowner detecting method for sensing a drowned person in the control apparatus of FIG. 3. 5A to 5C are diagrams illustrating a configuration of detecting a drowned person through image analysis in the control device of FIG. 3. 6A and 6B are views for explaining a configuration of estimating the position of the drowned person in the control device of FIG. 7 is a diagram illustrating an example of an area set based on a drowned person.

먼저 도 3을 참조하면, 제어장치(230)는 통신부(310), 위치 결정부(320), 객체 감지부(330), 자율 주행부(340) 및 제어부(350)를 포함할 수 있다.First, referring to FIG. 3, the controller 230 may include a communicator 310, a location determiner 320, an object detector 330, an autonomous driving unit 340, and a controller 350.

통신부(310)는 무선통신망을 통해 무선조정장치(120)(및 관제 시스템(130))간에 데이터를 송수신할 수 있다.The communication unit 310 may transmit and receive data between the radio controller 120 (and the control system 130) through a wireless communication network.

위치 결정부(320)는 보트드론(110)의 위치를 결정하고, 익수자의 위치를 결정/추정할 수 있다. 예를 들어, 위치 결정부(320)는 일반적인 GPS 수신기를 포함하고, GSP 위성으로부터 획득한 GPS 정보에 기초하여 보트드론(110)의 위치(예를 들어, GPS 위치 정보)를 결정할 수 있다. 또한, 위치 결정부(320)는 보트드론(110)의 위치(또는, 제1 위치 정보) 및 삼각측량법에 기초하여 익수자의 위치를 추정할 수 있다. 추정된 익수자의 위치는 후술하는 자율 주행부(340)에서 보트드론(110)의 이동경로(또는, 목적지)를 설정하는데 이용될 수 있다.The positioning unit 320 may determine the position of the boat drone 110 and determine / estimate the position of the drowned person. For example, the location determiner 320 may include a general GPS receiver, and determine the location (eg, GPS location information) of the boat drone 110 based on the GPS information obtained from the GSP satellite. In addition, the positioning unit 320 may estimate the position of the learner based on the position (or first position information) of the boat drone 110 and the triangulation method. The estimated learner's position may be used to set the movement path (or destination) of the boat drone 110 in the autonomous driving unit 340 described later.

객체 감지부(330)는 센싱 장치(240)로부터 획득한 신호들(예를 들어, 가시 영상, 적외선 영상, 레이저 영상, 초음파 영상 등)을 분석하여 보트드론(110)으로부터 특정 거리 이내에 존재하는 객체(예를 들어, 익수자, 장애물(부이, 암초 등))을 감지할 수 있다.The object detector 330 analyzes signals (for example, a visible image, an infrared image, a laser image, an ultrasonic image, etc.) acquired from the sensing device 240 and exists within a specific distance from the boat drone 110. (For example, drowners, obstacles (buoys, reefs, etc.)) can be detected.

한편, 카메라(241)는 일반적인 카메라 장치로 구현되어 주변 영상을 획득할 수 있으며, 일반적인 칼라 카메라, 적외선 카메라로 구현되거나, 이들을 포함할 수 있다. 예를 들어, 도 2a에 도시된 바와 같이, 카메라(241)는 선수(또는, 선수 중앙)에 배치되어 선수 방향으로 일정 범위(예를 들어, 상하좌우 180도 범위)의 주변 영상을 획득할 수 있다. 다른 예를 들어, 카메라(241)는 복수로 구비되어 보트드론(110)을 기준으로 사방(즉, 전후좌우 방향들)에 대한 주변 영상을 획득할 수 있다. 또 다른 예를 들어, 도 2b에 도시된 바와 같이, 카메라(241)는 선미측 상(또는, 마운트 상)에 배치되어 특정 범위의 주변 영상을 획득할 수 있다.On the other hand, the camera 241 may be implemented as a general camera device to obtain a peripheral image, may be implemented as a general color camera, an infrared camera, or may include them. For example, as shown in FIG. 2A, the camera 241 may be disposed at a player (or a player's center) to acquire a surrounding image of a predetermined range (for example, 180 ° up, down, left, and right) in the player direction. have. For another example, the camera 241 may be provided in plural to acquire surrounding images of four directions (ie, front, rear, left, and right directions) with respect to the boat drone 110. For another example, as illustrated in FIG. 2B, the camera 241 may be disposed on the stern side (or the mount image) to acquire a peripheral image of a specific range.

라이다 센서(242)는 일반적인 라이다 장치로 구현되고, 펄스 레이저광을 대기 중에 발사해 객체(예를 들어, 익수자)까지의 거리를 측정할 수 있다. 주변 영상에 대한 분석(및 보트드론(110)의 GPS 위치 정보)을 통해 획득한 익수자의 위치 정보는 10m 내지 20m의 오차를 가질 수 있으며, 라이다 센서(242)는 이러한 오차를 보완하여 보다 정확한 익수자의 위치 정보를 산출하는데 이용될 수 있다. 또한, 기상 악화 등으로 인하여 GPS 위치 정보의 획득이 불가능한 경우에, 라이다 센서(242)가 이용될 수 있다. 라이다 센서(242)의 탐지거리는 100m 이하일 수 있다.The lidar sensor 242 may be implemented as a general lidar device, and may emit pulsed laser light in the air to measure a distance to an object (eg, a drowned person). The location information of the drowned person obtained through the analysis of the surrounding image (and the GPS location information of the boat drone 110) may have an error of 10m to 20m, and the lidar sensor 242 compensates for such an error to make it more accurate. It can be used to calculate the position information of the learner. In addition, when it is impossible to obtain GPS location information due to bad weather or the like, the lidar sensor 242 may be used. The detection distance of the lidar sensor 242 may be 100 m or less.

근접 센서(243)는 초음파 등을 이용하여 거리를 측정하는 일반적인 근접 센서(또는, 초근접 센서)로 구현되고, 5m 이하의 탐지거리를 가지며, 보트드론(110)을 기준으로 익수자의 상대적인 위치를 보다 정확하게 파악하는데 이용될 수 있다.Proximity sensor 243 is implemented as a general proximity sensor (or super close-up sensor) that measures the distance using ultrasonic waves, etc., has a detection distance of 5m or less, and the relative position of the drowned person based on the boat drone 110. It can be used to identify more accurately.

해수탐지 센서(244)는, 도 1을 참조하여 설명한 바와 같이, 음향 도플러 유속계(ADCP)로 구현되어, 해수의 이동 방향 및 이동 속도를 측정할 수 있다. 해수탐지 센서(244)의 측정 결과(즉, 해수의 이동 방향 및 이동 속도)는 도 8을 참조하여 설명할 이동경로 설정 구성에 이용될 수 있다.As described with reference to FIG. 1, the seawater detection sensor 244 may be implemented with an acoustic Doppler flowmeter (ADCP) to measure a moving direction and a moving speed of seawater. The measurement result of the seawater detection sensor 244 (that is, the moving direction and the moving speed of the seawater) may be used in the movement path setting configuration to be described with reference to FIG. 8.

객체 감지 구성과 관련하여 도 4를 참조하면, 제어장치(230)(또는, 객체 감지부(330))는 도 4의 객체 감지 방법을 이용하여, 센싱 장치(240)의 동작을 제어할 수 있다.Referring to FIG. 4 in relation to the object sensing configuration, the controller 230 (or the object sensing unit 330) may control the operation of the sensing device 240 using the object sensing method of FIG. 4. .

카메라(241)는 상시 동작하면서 주변 영상을 획득할 수 있다. 이에 따라, 제어장치(230)는 상시 주변 영상에 대한 영상 분석을 수행하고(S410), 익수자가 감지되는지 여부를 판단할 수 있다(S420). 영상 분석 구성에 대해서는 도 5를 참조하여 후술하기로 한다.The camera 241 may acquire the surrounding image while always operating. Accordingly, the control device 230 may perform image analysis of the surrounding image at all times (S410), and determine whether a drowned person is detected (S420). The image analysis configuration will be described later with reference to FIG. 5.

익수자가 감지되는 경우, 제어장치(230)는 익수자의 위치를 추정하고, 익수자를 기준으로 제1 및 제2 영역들을 설정할 수 있다(S430). 도 7에 도시된 바와 같이, 제1 영역(A1)은 익수자(OBJ1)의 위치를 기준으로 제1 거리(L1) 이내의 영역이며, 제1 거리(L1)는 라이다 센서(242)의 탐지 능력을 고려하여 설정되되, 예를 들어, 제1 거리(L1)는 100m, 50m 등 일 수 있다. 유사하게, 제2 영역(A2)은 익수자(OBJ1)의 위치를 기준으로 제2 거리(L2) 이내의 영역이며, 제2 거리(L2)는 근접 센서(243)의 측정 가능 거리를 고려하여 설정되되, 예를 들어, 제2 거리(L2)는 5m 일 수 있다.When the learner is detected, the controller 230 may estimate the location of the learner and set first and second regions based on the learner (S430). As shown in FIG. 7, the first area A1 is an area within the first distance L1 based on the position of the submerged object OBJ1, and the first distance L1 is the area of the lidar sensor 242. Although set in consideration of the detection capability, for example, the first distance L1 may be 100m, 50m, or the like. Similarly, the second area A2 is an area within the second distance L2 based on the position of the submerged object OBJ1, and the second distance L2 is in consideration of the measurable distance of the proximity sensor 243. Although set, for example, the second distance L2 may be 5 m.

이후, 보트드론(110)이 익수자의 구조를 위해 익수자를 향해 이동하는 경우, 제어장치(230)는 보트드론(110)이 제1 영역(A1)에 진입하거나, 제1 영역(A1) 내에 위치하는지 여부를 주기적으로 판단할 수 있다(S440).Thereafter, when the boat drone 110 moves toward the drowner for the structure of the drowned person, the controller 230 may include the boat drone 110 entering the first area A1 or positioned in the first area A1. It may be determined periodically whether or not (S440).

보트드론(110)이 제1 영역(A1) 내에 위치하는 경우, 제어장치(230)는 라이다 센서를 동작시키고, 라이다 센서의 센싱 신호에 기초하여 익수자의 위치(또는, 방향 및 거리)를 갱신할 수 있다(S450).When the boat drone 110 is located in the first area A1, the controller 230 operates the lidar sensor and adjusts the position (or direction and distance) of the drowner based on the sensing signal of the lidar sensor. Can be updated (S450).

이후, 제어장치(230)는 보트드론(110)이 제2 영역(A2)에 진입하거나, 제2 영역(A2) 내에 위치하는지 여부를 주기적으로 판단할 수 있다(S460).Thereafter, the control device 230 may periodically determine whether the boat drone 110 enters the second area A2 or is located in the second area A2 (S460).

보트드론(110)이 제2 영역(A2) 내에 위치하는 경우, 제어장치(230)는 근접 센서를 동작시키고, 근접 센서의 센싱 신호에 기초하여 익수자의 위치(또는, 방향 및 거리)를 갱신할 수 있다(S470).When the boat drone 110 is located in the second area A2, the controller 230 operates the proximity sensor and updates the position (or direction and distance) of the drowner based on the sensing signal of the proximity sensor. It may be (S470).

따라서, 제어장치(230)(또는, 도 4의 익수자 감지 방법)은 익수자의 위치를 보다 정확하게 파악 및 갱신하면서, 보다 정확하게 익수자를 구조할 수 있도록 할 수 있다.Therefore, the controller 230 (or the learner detecting method of FIG. 4) can more accurately identify and update the learner's position, and more accurately rescue the learner.

실시예들에서, 제어장치(230)(또는, 객체 감지부(330))는 주변 영상으로부터 수평선을 검출하고, 수평선을 기준으로 관심 영역을 설정하며, 관심 영역에 대한 히스토드램 분석 또는 패턴 매칭을 통해 익수자를 검출할 수 있다.In embodiments, the controller 230 (or the object detector 330) detects a horizontal line from the surrounding image, sets a region of interest based on the horizontal line, and analyzes histograms or patterns for the region of interest. You can detect the drowned person through.

도 5a 및 도 5b를 참조하면, 도 5a에 도시된 제1 영상(IMAGE1)은 카메라를 통해 획득한 주변 영상이고, 도 5b에 도시된 제2 영상(IMAGE2)은 영상 분석 결과를 반영한 영상일 수 있다.5A and 5B, the first image IMAGE1 illustrated in FIG. 5A is a peripheral image acquired through a camera, and the second image IMAGE2 illustrated in FIG. 5B may be an image reflecting an image analysis result. have.

제1 영상(IMAGE1)이 컬러영상(또는, RGB 영상)인 경우, 제어장치(230)는 제1 영상(IMAGE1)을 흑백영상으로 변환할 수 있다. 제어장치(230)는 영상 분석 속도를 향상시키기 위해, 가우시안 필터링 등을 이용하여 제1 영상(IMAGE1)을 축소시킬 수 있다. 이후, 제어장치(230)는 스무스(smooth) 필터 등을 이용하여 해수면의 빛 반사에 의한 노이즈를 제거하고, 노이즈 제거된 영상의 계조 범위를 축소시킬 수 있다. 예를 들어, 제어장치(230)는 임계값(Threshold value)를 적용하여 이진화된 영상을 획득할 수 있으며, 임계값은 주변 영상(또는, 이전 시점에서 획득한 주변 영상의 관심 영역)에 대한 히스토그램 분석을 통해 설정될 수 있다.When the first image IMAGE1 is a color image (or an RGB image), the controller 230 may convert the first image IMAGE1 into a black and white image. The controller 230 may reduce the first image IMAGE1 by using Gaussian filtering to improve image analysis speed. Subsequently, the controller 230 may remove noise due to light reflection from the sea surface using a smooth filter, etc., and reduce the gradation range of the noise-removed image. For example, the controller 230 may acquire a binarized image by applying a threshold value, and the threshold value is a histogram of the surrounding image (or a region of interest of the surrounding image obtained at a previous point in time). Can be set through analysis.

이후, 제어장치(230)는 외곽선 추출 기술을 이용하여 수평선(HOZ) 및 객체들(OBJ1, OBJ2)를 추출 할 수 있다. 또한, 제어장치(230)는 수평선(HOZ)을 기준으로 관심 영역(AOI)를 설정하고, 관심 영역(AOI) 내 검출된 객체들(OBJ1, OBJ2)에 특정 패턴(예를 들어, 사람의 특정 부위의 형상에 대응하는 패턴)을 매칭하거나 특징점 추출 기법을 이용함으로써, 익수자를 검출할 수 있다. Thereafter, the controller 230 may extract the horizontal line HOZ and the objects OBJ1 and OBJ2 using an outline extraction technique. In addition, the controller 230 sets the region of interest AAOI based on the horizontal line HOZ, and sets a specific pattern (eg, a person's specification) to the detected objects OBJ1 and OBJ2 in the region of interest AOI. The drones can be detected by matching a pattern corresponding to the shape of the site) or by using a feature point extraction technique.

한편, 수평선(HOZ)은 익수자의 위치를 추정함에 있어 기준 지점이 될 수 있다. 예를 들어, 파도에 의해 보트드론(110)에 요(yaw), 롤링(rolling) 등이 발생할 수 있으며, 이 경우, 제어장치(230)는 수평선(HOZ)을 기준으로 주변 영상을 회전, 이동시켜, 주변 영상들간에 상호 비교가 가능하도록 정렬/재배치 시킬 수 있다.The horizontal line HOZ may be a reference point in estimating the position of the drowned person. For example, a yaw, rolling, etc. may occur in the boat drone 110 due to the waves. In this case, the controller 230 rotates and moves the surrounding image based on the horizontal line HOZ. In this case, the images may be aligned / relocated to allow mutual comparison between neighboring images.

상술한 바와 같이, 제어장치(230)는 주변 영상의 축소 및 계조 범위의 축소를 통해 영상 분석 속도를 향상시키며, 수평선을 기준으로 관심 영역(AOI)을 설정하고 관심 영역(AOI) 내 객체들(OBJ1, OBJ2)에 대해서만 패턴 매칭 또는 특징점 추출 기술을 적용함으로써, 제어장치(230)의 부하를 감소시키고 익수자 감지 속도를 향상시킬 수 있다.As described above, the controller 230 improves the image analysis speed by reducing the surrounding image and reducing the gradation range, sets the region of interest AAO based on the horizontal line, and sets the objects in the region of interest AOI ( By applying a pattern matching or feature point extraction technique only to OBJ1 and OBJ2, it is possible to reduce the load on the controller 230 and improve the speed of detecting the drowned person.

일 실시예에서, 제어장치(230)는 주변 영상에 대한 히스토그램 분석을 통해 임계값을 설정하거나 익수자를 검출할 수 있다. 예를 들어, 제어장치(230)는 이전 시점에서 획득한 주변 영상(예를 들어, 이전 프레임 영상)의 주변 영역에 대해 히스토그램 분석을 수행할 수 있다. In an embodiment, the controller 230 may set a threshold value or detect a drowned person through histogram analysis of the surrounding image. For example, the controller 230 may perform a histogram analysis on the surrounding area of the surrounding image (eg, the previous frame image) acquired at the previous time.

도 5c에 도시된 바와 같이, 해수면에 의해 제1 계조값(GR1)이 높게 나타날 수 있으며, 노이즈는 전체 계조 범위에 걸치거나 특정 범위에서 매우 미미하게 나타날 수 있다. 이 경우, 제어장치(230)는 제1 기준 개수(N1) 이하이거나, 제2 기준 개수(N2)를 초과하는 계조값들을 추출하고, 주변 영상으로부터 해당 계조값들을 제거함으로써, 제2 계조값(GR2)에 대응하는 객체를 검출할 수 있다.As shown in FIG. 5C, the first grayscale value GR1 may be high due to the sea level, and noise may appear over the entire grayscale range or very little in a specific range. In this case, the controller 230 extracts the grayscale values that are equal to or less than the first reference number N1 or exceeds the second reference number N2, and removes the grayscale values from the surrounding image, thereby removing the second grayscale value ( The object corresponding to GR2) can be detected.

다른 예를 들어, 주변 영상이 적외선 영상인 경우, 해수 온도에 대응하는 특정 온도에 화소들이 집중하여 분포되고(예를 들어, 제1 계조값(GR1)에 대응하는 온도에 화소들이 집중되고), 제어장치(230)는 해당 온도(예를 들어, 제1 계조값(GR1))을 기준으로 임계값을 설정할 수 있다.For example, when the surrounding image is an infrared image, the pixels are concentrated and distributed at a specific temperature corresponding to the sea water temperature (for example, the pixels are concentrated at a temperature corresponding to the first gray value GR1), The controller 230 may set a threshold value based on the temperature (eg, the first gray value GR1).

일 실시예에서, 제어장치(230)는 보트드론(110)의 위치 정보 및 삼각측량기술을 이용하여 익수자의 위치(또는, 방향 및 거리)를 추정할 수 있다.In one embodiment, the controller 230 may estimate the position (or direction and distance) of the learner using the location information and triangulation technique of the boat drone 110.

도 6a 및 도 6b를 참조하면, 도 6a에는 보트드론(110)과 익수자(OGJ1)의 상대적인 위치가 평면도 상에 도시되어 있으며, 도 6b에는 제1 시점(예를 들어, 보트드론(110)이 제1 지점(P1_D))에서 획득한 주변 영상에서의 익수자의 제1 상대 위치(CP1)와 제2 시점(예를 들어, 보트드론(110)이 제2 지점(P2_D))에서 획득한 익수자의 제2 상대 위치(CP2)가 도시되어 있다.6A and 6B, the relative positions of the boat drone 110 and the submerged fish OGJ1 are shown in plan view in FIG. 6A, and in FIG. 6B, the first view point (for example, the boat drone 110) is illustrated in FIG. 6B. Drip obtained from the first relative position CP1 of the drowner in the surrounding image obtained at the first point P1_D) and the second viewpoint (for example, the boat drone 110 at the second point P2_D). The second relative position CP2 of the child is shown.

이 경우, 제어장치(230)는 각 시점에서의 보트드론(110)의 위치 정보, 이동 방향(DM) 및 위치 변화(ΔD)(또는, 변화각(ANG2))에 기초하여 익수자의 위치를 추정할 수 있다.In this case, the control device 230 estimates the position of the learner based on the position information of the boat drone 110 at each time point, the moving direction DM, and the position change ΔD (or the change angle ANG2). can do.

도 5a 내지 도 6b를 참조하여 설명한 바와 같이, 제어장치(230)(또는, 객체 감지부(330))는 영상 분석을 통해 익수자를 검출하고, 익수자의 위치(또는, 보트드론(110)으로부터 익수자까지의 이격거리)를 산출/추정할 수 있다.As described with reference to FIGS. 5A to 6B, the controller 230 (or the object detector 330) detects the drowner through image analysis, and the drowner's position (or the drowning water from the boat drone 110). Distance to the child) can be calculated / estimated.

다시 도 3을 참조하면, 자율 주행부(340)는 추정된 익수자의 위치에 기초하여 보트드론(110)의 이동 경로를 설정하고, 이동 경로에 따라 구동 장치(220)의 동작을 제어할 수 있다. 자율 주행부(340)는 경로 설정부(341)와 구동 제어부(342)를 포함할 수 있다.Referring back to FIG. 3, the autonomous driving unit 340 may set the movement path of the boat drone 110 based on the estimated position of the drowned person and control the operation of the driving device 220 according to the movement path. . The autonomous driving unit 340 may include a route setting unit 341 and a driving controller 342.

예를 들어, 자율 주행부(340)는 익수자가 검출되는 직후 익수자의 위치(즉, 주변 영상에 대한 분석을 통해 추정된 익수자의 위치)를 목표 지점으로 하여 경로를 설정하고, 보트드론(110)의 이동에 따라 갱신된 익수자의 위치(즉, 라이다 센서(222)의 센싱값을 통해 갱신된 위치, 근접 센서(223)의 센상값을 통해 갱신된 위치)에 기초하여 경로를 재설정 또는 갱신할 수 있다.For example, the autonomous driving unit 340 sets the path using the location of the learner immediately after the learner is detected (that is, the learner's location estimated through analysis of the surrounding image) as a target point, and the boat drone 110. The route may be reset or updated based on the updated learner's location according to the movement of the location (ie, the location updated through the sensing value of the lidar sensor 222 and the location updated through the sensory value of the proximity sensor 223). Can be.

예를 들어, 구동 제어부(342)는 보트드론(110)이 제1 영역(A1)을 벗어나 위치하는 경우, 보트드론(110)이 최대 속도로 이동하도록 제어하고, 보트드론(110)이 제1 영역(A1) 내에 위치하는 경우 보트드론(110)이 최대 속도 이하의 제1 속도를 가지고 이동경로를 따라 이동하도록 제어하며, 보트드론(110)이 제2 영역(A1) 내에 위치하는 경우 보트드론(110)이 상대적으로 저속의 제2 속도를 가지고 이동경로를 따라 이동하도록 제어할 수 있다.For example, when the boat drone 110 is located outside the first area A1, the driving controller 342 controls the boat drone 110 to move at the maximum speed, and the boat drone 110 may move to the first speed. When the boat drone 110 is located within the area A1, the boat drone 110 is controlled to move along the movement path with a first speed less than or equal to the maximum speed. When the boat drone 110 is located within the second area A1, the boat drone 110 is controlled. The controller 110 may be controlled to move along the movement path with the second relatively low speed.

한편, 제어부(350)는 통신부(310), 위치 결정부(320), 객체 감지부(330) 및 자율 주행부(340) 간의 데이터 전송을 제어하고, 이들 각각의 동작을 제어할 수 있다.Meanwhile, the controller 350 may control data transmission between the communication unit 310, the location determiner 320, the object detector 330, and the autonomous driving unit 340, and control each operation thereof.

실시예들에서, 제어장치(230)는 익수자의 구조를 위해 구조장치를 동작시키거나, 익수자의 구조(또는, 승선) 여부를 판단하는 구조부(360)를 더 포함할 수 있다.In embodiments, the control device 230 may further include a structure 360 for operating the rescue device for the rescue of the learner or determining whether the learner has a rescue (or boarding).

예를 들어, 도 2b에 도시된 바와 같이, 보트드론(110)이 제2 보트드론(200b)으로 구현되고 그물(NET)을 포함하는 경우, 구조부(360)는 그물을 하강 및 상승시키는 그물 구동 장치(미도시)를 동작시키며, 그물(NET)에 가해지는 장력에 기초하여 익수자의 구조 여부를 판단할 수 있다. 다른 예를 들어, 보트드론(110)의 선체(210) 표면의 적어도 일부에는 압력 센서/패널 등이 배치되는 경우, 구조부(360)는 압력 센서/패널 등을 통해 센싱된 압력값의 변화에 기초하여 익수자의 구조 여부를 판단할 수 있다.For example, as shown in FIG. 2B, when the boat drone 110 is implemented with the second boat drone 200b and includes a net, the structure 360 drives the net to lower and raise the net. By operating the device (not shown), it is possible to determine whether the structure of the drowned person based on the tension applied to the net (NET). In another example, when a pressure sensor / panel or the like is disposed on at least a portion of the surface of the hull 210 of the boat drone 110, the structure 360 may be based on a change in the pressure value sensed through the pressure sensor / panel or the like. It is possible to determine whether the structure of the learner.

도 3 내지 도 7을 참조하여 설명한 바와 같이, 제어장치(230)는 이격거리(즉, 보트드론(110)으로부터 익수자까지의 이격된 거리)에 따라 카메라, 라이다 센서 및 근접센서를 순차적으로 이용함으로써 익수자의 위치를 보다 정확하게 파악할 수 있다.As described with reference to FIGS. 3 to 7, the controller 230 sequentially controls the camera, the lidar sensor, and the proximity sensor according to the separation distance (that is, the distance from the boat drone 110 to the drone). By using this, the position of the learner can be identified more accurately.

도 8은 도 3의 제어장치에서 보트드론의 이동 경로를 설정하는 이동 경로 설정 방법을 나타내는 순서도이다. 도 9a 및 도 9b는 도 8의 이동 경로 설정 방법에 의해 설정된 이동 경로의 일 예를 나타내는 도면이다.FIG. 8 is a flowchart illustrating a moving path setting method of setting a moving path of a boat drone in the control device of FIG. 3. 9A and 9B are diagrams illustrating an example of a movement path set by the movement path setting method of FIG. 8.

도 3 및 도 8을 참조하면, 도 8의 이동 경로 설정 방법은 제어장치(230)에 의해 수행될 수 있다.3 and 8, the moving path setting method of FIG. 8 may be performed by the controller 230.

앞서 도 4를 참조하여 설명한 바와 같이, 주변 영상에 대한 분석을 통해 익수자가 검출되는 경우, 제어장치(230)는 익수자의 위치(즉, 최초 추정된 위치)를 목적지로 하여 이동 경로를 설정할 수 있다(S810).As described above with reference to FIG. 4, when the learner is detected through the analysis of the surrounding image, the controller 230 may set a movement path using the location of the learner (ie, the first estimated location) as a destination. (S810).

예를 들어, 도 9b에 도시된 바와 같이, 제어장치(230)는 익수자(OBJ1)의 위치를 목적지로 설정하고, 제1 경로(PATH1)과 같이 보트드론(110)으로부터 익수자(OBJ1)까지의 최단 경로(예를 들어, 직선 거리, 또는, 장애물이 존재하는 경우, 장애물을 회피하는 최단 경로)를 이동 경로로 설정할 수 있다.For example, as shown in FIG. 9B, the controller 230 sets the position of the drowner OBJ1 as a destination, and the drowner OBJ1 from the boat drone 110 as in the first path PATH1. The shortest path to (for example, a straight line distance or, if there is an obstacle, the shortest path to avoid the obstacle) can be set as the movement path.

이후, 제어장치(230)는 보트드론(110)의 위치 정보(예를 들어, GPS 정보)에 기초하여 보트드론(110)이 제1 영역(A1) 내에 진입하거나 제1 영역(A1) 내에 위치하는지 여부를 판단할 수 있다(S820).Thereafter, the controller 230 may enter the first area A1 or may be located in the first area A1 based on the location information (eg, GPS information) of the boat drone 110. It may be determined whether or not (S820).

보트드론(110)이 제1 영역(A1) 내에 위치하는 경우, 제어장치(230)는 도 3을 참조하여 설명한 해수 측정 장치(224)를 이용하여 해수의 방향 및 속도를 측정하고(S830), 해수의 속도가 기준 속도를 초과하는지 여부를 판단할 수 있다(S840).When the boat drone 110 is located in the first area A1, the controller 230 measures the direction and speed of the seawater using the seawater measuring device 224 described with reference to FIG. 3 (S830). It may be determined whether the speed of the sea water exceeds the reference speed (S840).

해수의 속도가 기준 속도를 초과하여 상대적으로 빠른 경우, 보트드론(110)의 속도 제어에 상대적으로 큰 오차가 발생할 수 있고, 또한, 보트드론(110) 또는 익수자가 이동 경로 상에서 이탈 할 수 있으며, 나아가, 해수 또는 해수에 의한 파도에 의한 익수자가 움직임(또는, 요동)으로 인하여, 보트드론(110)과 익수자 간의 충돌이 발생할 수 있다.When the speed of the sea water is relatively fast exceeding the reference speed, a relatively large error may occur in the speed control of the boat drone 110, and the boat drone 110 or the drowned person may leave the moving path, Furthermore, due to the movement (or oscillation) of the drowner due to the seawater or the waves caused by the seawater, a collision between the boat drone 110 and the drowner may occur.

따라서, 해수의 속도가 기준 속도를 초과하는 경우, 제어장치(230)는 해수의 방향에 기초하여 경유지를 설정하여 이동 경로를 재설정 또는 갱신할 수 있다(S840). Therefore, when the speed of the sea water exceeds the reference speed, the control device 230 may set a waypoint based on the direction of the sea water to reset or update the movement path (S840).

한편, 도 4를 참조하여 설명한, 라이다 센서(222)의 센싱값에 기초하여 갱신된 익수자의 위치 정보를 고려하여, 경유지 추가가 수행될 수 있다. Meanwhile, the waypoint addition may be performed in consideration of the updated location information of the drowned person based on the sensing value of the lidar sensor 222 described with reference to FIG. 4.

경유지는 익수자를 기준으로 해수의 방향과 특정 각도를 형성하는 특정 방향으로 특정 거리(예를 들어, 5m)만큼 이격된 지점으로, 보트드론(110)의 이동 또는 이동 제어에 해수의 영향이 가장 적은 지점일 수 있다.The waypoint is a point spaced apart by a certain distance (for example, 5 m) in a specific direction forming a specific angle with respect to the direction of the seawater, the least influence of the seawater on the movement or movement control of the boat drone 110 It may be a point.

예를 들어, 해수가 해수 방향(DW)으로 이동하는 경우, 제1 경유지(ST1)는 익수자(OBJ1)로부터 제2 방향(예를 들어, 해수 방향(DW)에 수직하는 방향)으로 특정 거리만큼 이격된 지점일 수 있다. 다른 예를 들어, 제2 경유지(ST2)는 익수자(OBJ1)로부터 제3 방향(예를 들어, 해수 방향(DW)에 평행한 방향)으로 특정 거리만큼 이격된 지점일 수 있다. 또 다른 예를 들어, 제3 경유지(ST3)는 익수자(OBJ1)로부터 제4 방향(예를 들어, 해수 방향(DW)과 45도 각도를 형성하는 방향)으로 특정 거리만틈 이격된 지점일 수 있다.For example, when the seawater moves in the seawater direction DW, the first waypoint ST1 is a specific distance from the drowner OBJ1 in a second direction (eg, a direction perpendicular to the seawater direction DW). It may be as far apart as points. As another example, the second waypoint ST2 may be a point spaced apart from the drowning man OBJ1 in a third direction (eg, a direction parallel to the seawater direction DW) by a specific distance. As another example, the third waypoint ST3 may be a point spaced apart from the submerged object OBJ1 in a fourth direction (for example, a direction forming a 45 degree angle with the seawater direction DW). Can be.

실시예들에서, 제어장치(230)는 보트드론(110)의 구조에 기초하여 경유지를 설정할 수 있다. 예를 들어, 보트드론(110)이 도 2a에 도시된 제1 보트드론(200a)와 같이 측면에 부력체들을 구비하는 경우, 제어장치(230)는 제1 경유지(ST1)을 경유지로 설정할 수 있다. 이 경우, 보트드론(110)과 익수자 간의 충돌 가능성이 감소될 수 있고, 보트드론(110)의 이동에 대한 해수의 영향이 상대적으로 감소될 수 있다.In embodiments, the controller 230 may set waypoints based on the structure of the boat drone 110. For example, when the boat drone 110 includes buoyancy bodies on the side, such as the first boat drone 200a illustrated in FIG. 2A, the controller 230 may set the first waypoint ST1 as a stopover site. have. In this case, the possibility of collision between the boat drone 110 and the drowned person may be reduced, and the influence of seawater on the movement of the boat drone 110 may be relatively reduced.

다른 예를 들어, 보트드론(110)이 도 2b에 도시된 제2 보트드론(200b)과 같이 선수에 그물을 구비하는 경우, 즉, 보트드론(110)의 이동 방향으로의 충돌 위험이 낮은 경우, 제어장치(230)는 제2 경유지(ST2)를 경유지로 설정할 수 있다. 이 경우, 보트드론(110) 또는 익수자의 경로 이탈 가능성이 감소될 수 있다. In another example, when the boat drone 110 is provided with a net in the bow, such as the second boat drone 200b shown in FIG. 2B, that is, when the collision risk in the moving direction of the boat drone 110 is low. The controller 230 may set the second waypoint ST2 as a waypoint. In this case, the possibility of the boat drone 110 or the drowning off the path may be reduced.

일 실시예에서, 제어장치(230)는 보트드론(110)의 회전 반경(또는, 최대 허용 회전 반경)에 기초하여 경유지를 포함하는 이동 경로를 설정 또는 갱신할 수 있다. 예를 들어, 제어장치(230)는 제1 경유지(ST1)를 단순히 통과하는 제2 경로(PATH2)가 아닌, 보트드론(110)이 제1 경유지(ST1)를 통과시 보트드론(110)의 이동 방향이 해수 방향(DW)과 특정 각도(예를 들어, 직각)를 이루는 제3 경로(PATH3)를 새로운 경로로서 설정 및 갱신할 수 있다. 따라서, 보트드론(110)은 익수자와의 충돌 가능성, 이동 경로 상에서 익수자의 이탈 가능성 등을 보다 낮추어 익수자를 보다 안전하고 신속하게 구조할 수 있다.In one embodiment, the controller 230 may set or update the travel path including the waypoint based on the radius of rotation of the boat drone 110 (or the maximum allowable radius of rotation). For example, the controller 230 is not the second path PATH2 that simply passes through the first waypoint ST1, but the boat drone 110 passes through the first waypoint ST1 when the boat drone 110 passes through the first waypoint ST1. The third path PATH3, in which the moving direction forms a specific angle (for example, a right angle) with the seawater direction DW, may be set and updated as a new path. Accordingly, the boat drone 110 may lower the likelihood of collision with the drowner, the possibility of the drowner's departure from the moving path, and the like, thereby more safely and quickly rescue the drowner.

도 8 내지 도 9b를 참조하여 설명한 바와 같이, 제어장치(230)는 해수의 방향/속도 및 보트드론(110)의 구조를 고려하여 경유지를 설정하되, 보트드론(110)의 회전 반경 등을 고려하여 최적의 이동 경로를 설정/갱신함으로써, 보트드론(110)은 익수자를 보다 안전하고 신속하게 구조할 수 있다.As described with reference to FIGS. 8 to 9B, the control device 230 sets a waypoint in consideration of the direction / speed of the seawater and the structure of the boat drone 110, and considers a rotation radius of the boat drone 110 and the like. By setting / updating the optimum movement route, the boat drone 110 can rescue the drowner more safely and quickly.

본 발명은 무인보트, 해상 인명구조 시스템 등에 적용될 수 있다. The present invention can be applied to unmanned boats, marine lifesaving systems and the like.

상술한 바와 같이, 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.As described above, although described with reference to the embodiments of the present invention, those of ordinary skill in the art variously modified the present invention without departing from the spirit and scope of the present invention described in the claims below. It will be understood that modifications and variations can be made.

100: 해상 인명구조 시스템
110: 해상 인명구조용 보트드론
120: 무선조정장치
130: 관제 시스템
200a, 200b: 제1 및 제2 보트드론들
210a, 210b: 선체
220: 구동 장치
230: 제어 장치
240: 센싱 장치
241: 카메라
242: 라이다 센서
243: 근접 센서
244: 해수탐지 센서
310: 통신부
320: 위치 결정부
330: 객체 감지부
340: 자율 주행부
341: 경로 설정부
342: 구동 제어부
350: 제어부
360: 구조부100: Marine Lifesaving System
110: Marine Lifeboat Drone
120: radio controller
130: control system
200a, 200b: first and second boat drones
210a, 210b: hull
220: drive unit
230: control unit
240: sensing device
241: camera
242: lidar sensor
243: proximity sensor
244: seawater detection sensor
310: communication unit
320: positioning unit
330: object detection unit
340: autonomous driving unit
341: route setting unit
342: drive control unit
350: control unit
360: rescue

Claims

In the marine lifesaving boat drone,
hull;
A sensing device for obtaining a surrounding image and measuring a position of objects located around the hull and outputting a sensing signal; And
Detects the learner from among the objects by analyzing the surrounding image, estimates the location of the learner based on the change of the position of the first object image corresponding to the learner, and moves the movement path based on the learner's location. Set a, and including a control device for updating the position of the master based on the sensing signal,
The sensing device outputs the sensing signal when the separation distance from the hull to the drone is smaller than a first reference distance.
The sensing device,
A camera device for acquiring the surrounding image;
A lidar sensor for outputting a first sensing signal using a pulse laser;
A proximity sensor for outputting a second sensing signal using ultrasonic waves; And
It includes a seawater detection sensor for measuring the direction of the seawater and the flow rate of the seawater to move the seawater,
The first sensing signal and the second sensing signal are included in the sensing signal,
The control device operates the lidar sensor when the separation distance is smaller than the first reference distance, updates the position of the drowner based on the first sensing signal, and the separation distance is smaller than a second reference distance. The proximity sensor is operated and the position of the drowner is updated based on the second sensing signal,
The second reference distance is less than the first reference distance,
The control device reduces the surrounding image by using Gaussian filtering, controls noise caused by light reflection of the sea level from the surrounding image reduced by using a smooth filter, and based on a threshold value. Reduce the gradation range of the noise-free surrounding image, detect a horizontal line by using an outline extraction technique, set a region of interest for at least a portion of the surrounding image based on the horizontal line, and the region of interest of the surrounding image The first object image is detected by applying a feature point extraction technique to
The threshold value is set through histogram analysis of the ROI of the surrounding image acquired at a previous time point.
The control device sets a waypoint based on the seawater direction and the flow rate, and updates the movement path based on the waypoint, but when the separation distance to the learner is out of a first reference range, the position of the learner Set the travel route by setting a destination, and set a travel route based on the waypoint when the distance to the drowned person is within a first reference range,
The waypoint is spaced apart from the submersible in a first direction, the first direction is a marine lifeboat drone, characterized in that forming a first angle with the seawater direction.

delete