WO2017078220A1 - 드론의 움직임을 제어하기 위한 드론 제어 시스템 - Google Patents

드론의 움직임을 제어하기 위한 드론 제어 시스템 Download PDF

Info

Publication number
WO2017078220A1
WO2017078220A1 PCT/KR2015/014043 KR2015014043W WO2017078220A1 WO 2017078220 A1 WO2017078220 A1 WO 2017078220A1 KR 2015014043 W KR2015014043 W KR 2015014043W WO 2017078220 A1 WO2017078220 A1 WO 2017078220A1
Authority
WO
WIPO (PCT)
Prior art keywords
drone
light signal
movement
control
control device
Prior art date
Application number
PCT/KR2015/014043
Other languages
English (en)
French (fr)
Inventor
김병욱
한영선
Original Assignee
경일대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경일대학교산학협력단 filed Critical 경일대학교산학협력단
Priority claimed from KR1020150182636A external-priority patent/KR101768780B1/ko
Publication of WO2017078220A1 publication Critical patent/WO2017078220A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot

Definitions

  • the present specification relates to a drone, and more particularly to a system for controlling the movement of the drone.
  • Drones have been actively used in various fields recently through the development of lightweight materials and the development of related flight control algorithms.
  • Representative control methods for controlling the current drone can be largely divided into (1) ultra long range indirect control using satellite signals or (2) short range direct control using RF (Radio Frequency) signals.
  • the ultra long range indirect control method uses satellite signals, so the use of drones is limited.
  • an object of the present disclosure is to provide a method for controlling a drone using a light signal capable of relatively long distance transmission as compared to an RF signal.
  • an object of the present disclosure is to provide a method for controlling a drone at a distance by recognizing a position, intensity and color change of a light signal through a camera mounted on a drone, and grasping a user's command based thereon.
  • a drone control system for controlling the movement of a drone (Drone), taking an image through a camera, receiving a light signal associated with the movement control of the drone within the photographed image range, the received light signal
  • a drone that detects a change in a position and moves a current position to a target point according to a change in the detected light signal
  • a drone control device that receives a user input related to the movement control of the drone and transmits a light signal according to the received user input to control the movement of the drone.
  • the drone control device is characterized in that performed within a controllable distance in which communication can be performed.
  • the change of the light signal may be any one of a position change of the light signal, a change in intensity of the light signal, or a change in color of the light signal.
  • the drone in the present specification a camera for taking an image; Communication unit for transmitting and receiving a light signal with the drone control device; And a processor operatively connected to the camera and the communication unit, wherein the processor controls to receive a light signal related to the movement control of the drone within the image range photographed through the camera through the communication unit, And detecting whether the received light signal changes, and controlling to move the current position of the drone to the target point based on the change of the received light signal.
  • the processor of the drone determines a start point and an end point of a light signal related to the movement control of the drone, and considers the distance and direction of the determined start point and the end point to the target point. And control the drone to move the shortest distance.
  • the drone is characterized in that it performs a preliminary procedure for exchanging information associated with the drone control device and the movement control of the drone.
  • the pre-procedure is characterized in that at least one of a synchronization procedure or a connection procedure.
  • the drone when the drone receives a plurality of light signals within the photographed image range, the drone controls movement of the drone among the plurality of received light signals based on the information exchanged through the preliminary procedure. A light signal to be performed is determined, and the motion control of the drone is performed according to the change of the determined light signal.
  • the drone further includes a wireless charging module that performs wireless charging, and the processor of the drone may provide notification information indicating a lack of battery when the battery remaining amount of the drone is smaller than a predetermined threshold.
  • Control to transmit to the drone control device through the communication unit control the communication unit to receive the list of the wirelessly chargeable places from the drone control device, and consider the remaining battery level among the received list of wirelessly chargeable places. Select a movable place and control to move to the selected place.
  • the processor of the drone characterized in that for controlling the communication unit to transmit the information of the selected place to the drone control device.
  • the drone control device in the present specification the communication unit for transmitting and receiving the light signal with the drone, and receives the image taken by the drone from the drone; An output unit; And a processor operatively connected to the communication unit and the output unit, wherein the processor controls the communication unit to transmit a light signal according to a user input to the drone, and receives and displays an image photographed by the drone. It characterized in that for controlling the output unit.
  • the output unit of the drone control apparatus further includes a display, wherein the display is divided into a first screen and a second screen when a function of controlling the movement of the drone is performed, and the first screen The photographed image received by the drone is displayed, the second screen is characterized in that the operation menu for controlling the movement of the drone is displayed.
  • the processor of the drone control device controls the intensity of the light signal to be transmitted to the drone according to the change in the intensity of the touch pen touching the screen of the display, and the second screen of the touch pen.
  • the display is controlled so that the intensity of the transmitted light signal corresponding to the touch intensity is displayed.
  • FIG. 1 shows an example of a drone control system to which the methods proposed herein may be applied.
  • FIG. 2 shows an example of an internal block diagram of a drone and a drone control device proposed in the present specification.
  • FIG. 3 is a flowchart illustrating an example of a drone motion control method using a light signal proposed in the present specification.
  • FIG. 4 is a view showing an example of a method of controlling the movement of the drone by using the position change of the light signal proposed in the present specification.
  • FIG. 5 is a diagram illustrating an example of a method of controlling the movement of a drone by using the intensity change of the light signal proposed in the present specification.
  • FIG. 6 is a diagram illustrating an example of a method of controlling the movement of a drone by using a color change of a light signal proposed in the specification.
  • FIG. 1 shows an example of a drone control system to which the methods proposed herein can be applied
  • FIG. 2 shows an example of an internal block diagram of a drone and a drone control device proposed herein.
  • FIGS. 1 and 2 a drone control system, a drone, and a drone control apparatus to which the methods proposed herein may be applied will be described with reference to FIGS. 1 and 2.
  • Drone is a device that is not human boarding, but moves by the remote control from the ground, generally means a flying aircraft, in the present specification, a drone is a ship or water that moves on water in addition to the aircraft It can also be said to include a submersible to move.
  • the drone control system 100 proposed in the present specification may include a drone 110 and a drone control device 120.
  • the drone control system 100 may further include a smartphone 130, a wireless charging function related server 140, and the like to perform the functions described herein in addition to the drone and the drone control device.
  • the drone control device 120 may be a device provided in the smart phone, or may be present in the drone control system separately from the smart phone.
  • the drone control device may further include a display (module) as described below.
  • the drone control device may receive an image photographed by the drone and display the received photographed image directly through the display module.
  • the drone control device receives the captured image transmitted from the drone through the smartphone and displays the received captured image through the display module of the smartphone. Can be.
  • the drone control device or the smartphone may divide the screen to display the image taken by the camera in real time on the divided first screen, and the divided second screen may display an operation menu for the user's operation. have.
  • the command is processed accordingly. If the command is for control of drone movement, etc., the command signal is generated according to the command and wireless communication mounted on the drone through the wireless communication network. Send to module
  • the wireless communication module may transmit an image captured by the camera to a drone control device, a smartphone, various servers, etc. through a wireless communication network, and wirelessly transmit a command signal transmitted from the drone control device, a smartphone, various servers, and the like. It can be received through a communication network.
  • a drone and / or drone control device having all or some of the components shown in FIG. 2 may be implemented.
  • FIG. 2 the components shown in FIG. 2 are not essential, so a drone and / or drone control device having more or fewer components may be implemented.
  • the drone 110 and / or drone control device (including a smartphone) 120 includes a communication unit 111 and 121, an input unit 112 and 122, a sensing unit 113 and 123, a power supply unit 114 and 124, a control unit 115 and 125, and an interface unit 116 and 126. ), Output units 117 and 127, and memory 118 and 128.
  • the communication unit may include one or more modules that enable communication.
  • the communication unit may include a light transmission / reception module, a short range communication module, a mobile communication module, a wireless internet module, and the like.
  • the light transmitting / receiving module refers to a module for transmitting or receiving a light signal for controlling the movement of a drone.
  • the short range communication module refers to a module for short range communication.
  • Bluetooth Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and the like may be used.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • the mobile communication module transmits and receives a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call call signal, or a text / multimedia message.
  • the wireless internet module refers to a module for wireless internet access and may be embedded or external to the smartwatch.
  • Wireless Internet technologies may include Wireless LAN (Wi-Fi), Wireless Broadband (Wibro), World Interoperability for Microwave Access (Wimax), High Speed Downlink Packet Access (HSDPA), and the like.
  • the communication unit may further include a broadcast receiving module and a location information module.
  • the broadcast reception module receives a broadcast signal and / or broadcast related information from an external broadcast management server through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel.
  • the broadcast management server may mean a server that generates and transmits a broadcast signal and / or broadcast related information or a server that receives a previously generated broadcast signal and / or broadcast related information and transmits the same to a terminal.
  • the broadcast signal may include not only a TV broadcast signal, a radio broadcast signal, and a data broadcast signal, but also a broadcast signal having a data broadcast signal combined with a TV broadcast signal or a radio broadcast signal.
  • the broadcast related information may mean information related to a broadcast channel, a broadcast program, or a broadcast service provider.
  • the broadcast related information may also be provided through a mobile communication network. In this case, it may be received by the mobile communication module.
  • the broadcast related information may exist in various forms. For example, it may exist in the form of Electronic Program Guide (EPG) of Digital Multimedia Broadcasting (DMB) or Electronic Service Guide (ESG) of Digital Video Broadcast-Handheld (DVB-H).
  • EPG Electronic Program Guide
  • DMB Digital Multimedia Broadcasting
  • ESG Electronic Service Guide
  • DVB-H Digital Video Broadcast-Handheld
  • the broadcast receiving module may include, for example, Digital Multimedia Broadcasting-Terrestrial (DMB-T), Digital Multimedia Broadcasting-Satellite (DMB-S), Media Forward Link Only (MediaFLO), and Digital Video Broadcast-Handheld (DVB-H).
  • DMB-T Digital Multimedia Broadcasting-Terrestrial
  • DMB-S Digital Multimedia Broadcasting-Satellite
  • MediaFLO Media Forward Link Only
  • DVD-H Digital Video Broadcast-Handheld
  • the digital broadcast signal may be received using a digital broadcasting system such as ISDB-T (Integrated Services Digital Broadcast-Terrestrial).
  • ISDB-T Integrated Services Digital Broadcast-Terrestrial
  • the broadcast receiving module may be configured to be suitable for other broadcast systems as well as the above-described digital broadcast system.
  • the broadcast signal and / or broadcast related information received through the broadcast receiving module may be stored in a memory.
  • the location information module is a module for obtaining a location of a mobile terminal, and a representative example thereof is a GPS (Global Position System) module.
  • GPS Global Position System
  • the controller refers to a module that controls the overall operation of the drone and the drone control device.
  • the controller is responsible for controlling the drone movement and is functionally connected to each component.
  • the control unit may be referred to as an application processor (AP), a processor, a control module, a controller, a microcontroller, a microprocessor, and the like, and the control unit may include hardware and firmware. (firmware), software, or a combination thereof.
  • AP application processor
  • processor processor
  • control module control module
  • controller controller
  • microcontroller microcontroller
  • microprocessor microprocessor
  • control unit may include hardware and firmware. (firmware), software, or a combination thereof.
  • the control unit may include an application-specific integrated circuit (ASIC), another chipset, a logic circuit, and / or a data processing device.
  • ASIC application-specific integrated circuit
  • the input is for audio signal or video signal input or user input.
  • a camera and a microphone may be included to input an audio signal or a video signal.
  • the camera processes image frames such as still images or moving images obtained by an image sensor in a video call mode or a photographing mode.
  • the processed image frame may be displayed on the display unit.
  • the image frame processed by the camera may be stored in a memory or transmitted to the outside through a wireless communication unit. Two or more cameras may be provided according to the use environment.
  • the microphone receives an external sound signal by a microphone in a call mode, a recording mode, a voice recognition mode, etc., and processes it into electrical voice data.
  • the processed voice data may be converted into a form transmittable to the mobile communication base station through the mobile communication module and output in the call mode.
  • Various noise reduction algorithms may be implemented in the microphone to remove noise generated while receiving an external sound signal.
  • the user input unit generates input data for the user to control the movement of the drone.
  • the user input unit may include a key pad dome switch, a touch pad (static pressure / capacitance), a jog wheel, a jog switch, and the like.
  • the sensing unit is in the current state of the drone and drone control device, such as the opening and closing state of the drone and drone control device, the position of the drone and drone control device, the presence of user contact, the orientation of the drone and drone control device, the acceleration and deceleration of the drone and drone control device, etc.
  • the sensing unit generates a sensing signal for controlling the operation of the drone and the drone control device.
  • the drone control device or smartphone when the drone control device or smartphone is in the form of a slide, it may sense whether the slide is opened or closed. In addition, it may be sensed whether the power supply of the power supply unit, whether the external unit of the interface unit is coupled.
  • the sensing unit may include a proximity sensor, a sensor capable of detecting a user's heart rate, pulse rate, respiration, blood pressure, and the like, and a sensor capable of sensing ambient temperature and noise.
  • the output unit is used to generate an output related to sight, hearing, or tactile sense, and may include a display unit, a sound output module, an alarm unit, and a haptic module.
  • the display unit displays (outputs) information processed by the drone and the drone control device.
  • the display unit includes a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), a flexible display, and 3 It may include at least one of a 3D display.
  • LCD liquid crystal display
  • TFT LCD thin film transistor-liquid crystal display
  • OLED organic light-emitting diode
  • flexible display and 3 It may include at least one of a 3D display.
  • Some of these displays can be configured to be transparent or light transmissive so that they can be seen from the outside. This may be referred to as a transparent display.
  • a representative example of the transparent display is TOLED (Transparant OLED).
  • the rear structure of the display portion of the drone and the drone control device may also be configured as a light transmissive structure. With this structure, the user can see the object located behind the drone and the drone control device body through the area occupied by the display of the drone and the drone control device body.
  • a plurality of display units may be spaced apart or integrally disposed on one surface of the drone and the drone control device, or may be disposed on different surfaces.
  • the display unit and a sensor for detecting a touch operation form a mutual layer structure (hereinafter referred to as a touch screen)
  • the display unit may be used as an input device as well as an output device.
  • the touch sensor may have, for example, a form of a touch film, a touch sheet, a touch pad, or the like.
  • the touch sensor may be configured to convert a change in pressure applied to a specific portion of the display unit or capacitance generated at a specific portion of the display unit into an electrical input signal.
  • the touch sensor may be configured to detect not only the position and area of the touch but also the pressure at the touch.
  • the touch controller processes the signal (s) and then transmits the corresponding data to the controller. As a result, the controller can know which area of the display unit has been touched.
  • the proximity sensor may be disposed in the inner region of the drone and the drone control device wrapped by the touch screen or near the touch screen.
  • the proximity sensor refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or an object present in the vicinity without using a mechanical contact by using an electromagnetic force or infrared rays.
  • Proximity sensors have a longer life and higher utilization than touch sensors.
  • the proximity sensor examples include a transmission photoelectric sensor, a direct reflection photoelectric sensor, a mirror reflection photoelectric sensor, a high frequency oscillation proximity sensor, a capacitive proximity sensor, a magnetic proximity sensor, and an infrared proximity sensor.
  • the touch screen is capacitive, the touch screen is configured to detect the proximity of the pointer by the change of the electric field according to the proximity of the pointer.
  • the touch screen may be classified as a proximity sensor.
  • the memory may store a program for the operation of the controller, and may temporarily store input / output data.
  • the memory may store data relating to various patterns of vibration and sound output when a touch is input on the touch screen.
  • the memory is a medium for storing various types of information of a terminal.
  • the memory may be connected to the controller to store a program, an application, a general file, and input / output data for the operation of the controller.
  • the memory may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg SD or XD memory, etc.), RAM At least one type of Access Memory (RAM), Static Random Access Memory (SRAM), ReadOnly Memory (ROM), Electrically Erasable Programmable ReadOnly Memory (EEPROM), Programmable ReadOnly Memory (PROM) It may include a storage medium.
  • RAM Access Memory
  • SRAM Static Random Access Memory
  • ROM ReadOnly Memory
  • EEPROM Electrically Erasable Programmable ReadOnly Memory
  • PROM Programmable ReadOnly Memory It may include a storage medium.
  • the power supply unit refers to a module that supplies power required for the operation of each component by receiving external power and internal power under the control of the controller.
  • FIG. 3 is a flowchart illustrating an example of a drone motion control method using a light signal proposed in the present specification.
  • the drone shoots the (ground) image through the camera (S310).
  • the drone checks whether a light signal related to the movement control of the drone is received from the captured image (S320).
  • the drone detects at least one change in position of the light signal, intensity change of the light signal, or color change of the light signal in the captured image (S330).
  • the drone moves to a moving point (or The movement to the target point, the destination point, etc. is performed (S340).
  • the drone may determine a start point, which is a reference point of the movement, and an end point corresponding to the last point of the movement, in order to perform the movement operation.
  • the drone changes (or moves) its current position to the movement point in consideration of the distance, direction, etc. between the determined start point and the end point.
  • FIG. 4 is a view showing an example of a method of controlling the movement of the drone by using the position change of the light signal proposed in the present specification.
  • FIG. 4 illustrates a method of recognizing a change in the position of the light signal received in the captured image of the drone and controlling the movement of the drone according to the change of the position of the recognized light signal.
  • the drone control device may instruct to move the position of the drone from P1 to P2 by moving the transmission of the light signal from the start position P1 to the end position P2.
  • the drone control apparatus may refer to a device capable of transmitting a light signal related to the motion control of the drone or a terminal including the corresponding device for controlling the motion of the drone proposed in the present specification.
  • the terminal may be a smartphone, PDA, or the like.
  • the drone receives a light signal related to drone motion control from the drone control device through the captured image (S410).
  • the light signal is a signal for controlling the movement of the drone, and may be a signal shared or promised in advance between the drone and the drone control device.
  • An example of the light signal may be infrared rays, visible light, or the like.
  • the drone checks whether the position change (or movement of the light signal) of the received light signal is checked in the photographed image (S420).
  • the drone determines a moving point to move the current position to a specific point according to the position change of the received light signal (S430).
  • the movement point may be determined in consideration of a start point and an end point of a light signal received by the drone control device, and a distance / direction / shortest distance between the start point and the end point.
  • the drone moves the current position to the determined moving point (S440).
  • a detailed method of the drone to move the current position according to the change of the position of the received light signal is as follows.
  • the drone checks the first point of receiving the light signal from the drone control device, that is, the start point of the drone motion control and the last point of receiving the light signal, that is, the end point of the drone motion control (S441).
  • the drone changes the current position to the movement point in consideration of the distance, direction, and shortest distance from the identified starting point to the ending point (S442).
  • the starting point may mean a point of first detecting or receiving a light signal transmitted by the drone control device in an image photographed by the drone.
  • the end point may mean a point at which the light signal transmitted by the drone control device is finally received or a point at which the movement of the received light signal ends.
  • the drone may recognize the specific point as the end point.
  • the drone may move from the current position to the location corresponding to the movement point at the shortest distance.
  • the drone may calculate the shortest distance from the current position to the moving point corresponding to the change of the position of the light signal in the captured image and move to the calculated shortest distance.
  • the shortest distance between two points is generally a straight line distance, but when there is an obstacle between the two points, the shortest distance may be calculated in consideration of the obstacle.
  • the drone when the drone moves to the moving point through the shortest distance, the drone may be shortened and thus may be effective for power saving of the drone.
  • the previously defined start point and end point may be defined in another manner as follows.
  • the drone and the drone control apparatus capable of controlling the movement of the drone may define light signals indicating a start point which is a reference of the drone movement and an end point related to the end of the drone's movement in advance.
  • the drone when the drone receives the light signal corresponding to the start point and the light signal corresponding to the end point, the drone advances from the current position in consideration of the distance and direction from the start point to the end point. You will be taken to the salping movement point.
  • the drone determines that the point of receiving the light signal is a reference point for controlling the movement of the drone.
  • the drone receives the light signal defined as the end point in the captured image, it is determined that the point for receiving the light signal is an end point for terminating the movement control of the drone.
  • the drone can move the current position to the moving point determined based on the start point and the end point.
  • the motion control of the drone proposed in the present specification may be performed within a 'controllable distance' range defined between the drone and the drone control device.
  • the controllable distance represents a distance that the drone control device can control the drone by using a light signal or wireless communication.
  • the controllable distance may be determined differently according to a communication method (light signal, wireless communication, etc.) used for controlling the movement of the drone.
  • controllable distance may be determined differently according to the performance (eg, resolution) of the camera provided in the drone.
  • a drone control method when a drone receives a light signal representing a plurality of start points and / or a plurality of end points related to the movement control of the drone in an image captured by a camera Look at it.
  • the drone When the drone receives from the drone control device a light signal indicating a plurality of starting points related to the drone's movement control through the captured image, the drone may be one drone control device or the like related to the motion control according to a priority or a predetermined rule. Determine only one light signal.
  • the drone performs motion control based on at least one of a position change, an intensity change, or a color change of the light signal received from the determined drone control device.
  • the expression 'A and / or B' may be interpreted to mean 'including at least one of A or B'.
  • the drone may inform the drone control device via a wireless communication module that a plurality of light signals related to the movement control of the drone have been received.
  • the drone may inform the drone control device to control the drone's movement using a change in intensity and / or color of the light signal.
  • the drone when the drone detects a plurality of light signals related to the movement control of the drone in the image taken by the camera, the drone is a pre-procedure such as a synchronization control device, a connection procedure, and the drone control device It is also possible to determine a single light signal related to the drone's movement control.
  • Determination of one of the plurality of light signals associated with the movement control of the drone through the method can be performed through the following methods.
  • the drone is required to control the movement of the drone by performing a synchronization procedure, a connection procedure (or a pairing procedure) with the drone control device before performing the drone motion control according to the light signal received from the drone control device.
  • Information can be exchanged.
  • the synchronization procedure is a procedure for synchronizing a transmission and reception of information or data between a drone and a drone control apparatus, and the drone and the drone control apparatus provide information necessary for controlling the movement of the drone through the synchronization procedure. You can share with each other.
  • the drone can know in advance which drone control device and drone movement control to be performed through the synchronization procedure. Through this, even if the drone detects a plurality of light signals in the captured image, it is possible to find one light signal related to drone motion control.
  • the drone when the drone cannot exchange all the information related to drone movement control with the drone control device through the synchronization procedure, the drone performs an additional connection procedure (or pairing procedure) with the drone control device. You can also exchange information.
  • the drone may share information with the drone control device in advance through the synchronization procedure, the connection procedure, and the like, so as to detect the light signals related to the movement control of the drone. Therefore, it is possible to know whether to control the drone's movement.
  • intercommunication handover a method of handing over a communication used to control the movement of a drone to another communication
  • the communication between handover method is to control the drone's movement using other communication during the control of the drone's movement (for some reason or any condition is satisfied) using the light signal or the drone's movement using other communication. It may mean a method of controlling the movement of the drone using the light signal during the control.
  • the drone controls the drone's movement using the drone control device and the light signal
  • the drone and the drone control device perform the drone's motion control using the light signal.
  • the drone and the drone control device perform the drone's motion control using the light signal.
  • Such information may be shared between the drone and the drone control device in advance through a salping synchronization procedure and a connection procedure.
  • the drone may determine whether the drone control device supports another communication module, the controllable distance information for performing drone movement control using the other communication module, etc. through the synchronization process, the connection procedure, and the like.
  • the inter-communication handover may be performed based on the remaining battery level of the drone.
  • drones can be very short, with dozens of minutes available on a single charge.
  • the drone may drop in an unexpected place, which may cause a problem that the drone may break or the drone may disappear.
  • the following describes a method of wirelessly charging the drone in motion.
  • the drone may further include a wireless charging module in addition to the salping component of FIG. 2.
  • the wireless charging module is a module capable of performing wireless charging in a magnetic induction method and / or magnetic resonance method.
  • the drone control device may not be able to wirelessly charge the drone.
  • Information about possible places eg, wireless charging stations
  • the drone may be moved to a place where the wireless charging is possible.
  • the drone may select the nearest wireless charging station location that can be moved to the remaining battery from the received wireless charging place information, and move to the selected place.
  • the drone may inform the drone control device of the selected wireless charging station location.
  • the drone detects a start point P1 and an end point P2 of a light signal in an image taken by a camera, and selects a current position in consideration of the position change from the detected P1 to P2. Perform the movement to the moving point.
  • FIG. 5 is a diagram illustrating an example of a method of controlling a drone's movement using a change in intensity of a light signal proposed in the present specification.
  • start and end points related to the movement control of the drone are predefined by the intensity of the light signal transmitted from the drone control device.
  • the intensity S1 of the light signal is defined as a start point, and the intensity S2 of the light signal is defined as an end point.
  • the drone When the drone receives or detects a light signal having an intensity S1 in an image captured by the camera, the drone receives a light signal corresponding to the intensity S1 as a start point (or reference point) of the drone's movement control. Judging by.
  • the drone When the drone receives or detects a light signal whose intensity is S2 in the captured image, the drone determines that a point at which the light signal corresponding to the intensity S2 is received is an end point associated with the end of drone motion control. .
  • the drone moves the current position to the moving point in consideration of the distance, direction, and shortest distance from the start point to the end point.
  • the drone control device may instruct the drone to move according to the change in intensity of the light signal by changing the intensity of the light signal from S1 to S2.
  • the color C1 of the light signal is defined as a start point, and the color C2 of the light signal is defined as an end point.
  • the drone When the drone receives or detects a light signal whose color is C1 in an image captured by the camera, the drone receives a point where the light signal corresponding to the color C1 is received as a start point (or reference point) of the drone's movement control. Judging by.
  • the drone When the drone receives or detects a light signal whose color of the light signal is C2 in the captured image, the drone determines the point where the light signal corresponding to the color C2 is received as an end point associated with the end of the drone's movement control. .
  • the drone moves the current position to the moving point in consideration of the distance, direction, and shortest distance from the start point to the end point.
  • the drone control device may instruct the drone to move according to the color change of the light signal by changing the color of the light signal from C1 to C2.
  • the color of the light signal when the color of the light signal is 'red' as the start point of the drone movement, and when the color of the light signal is 'blue', it may be used as the end point of the drone's movement.
  • the drone determines a drone control device to perform the drone movement control through a preliminary procedure (synchronization procedure, connection procedure) with the salin control device, and the light transmitted through the determined drone control device. Only perform motion control based on color.
  • the drone may consider the light signal by a drone control device that is previously registered or registered to perform drone movement control in advance. Perform motion control.
  • the drone control device is a smartphone
  • the drone control device is a smartphone (or a terminal)
  • the motion control method of the salping drone will be described as another example.
  • the drone control device will be described as a 'smart phone'.
  • the drone may transmit the captured image to the smartphone using wireless communication.
  • the user can more easily perform the motion control of the salping drone while watching the captured image received from the drone with the smart phone.
  • the smart phone may transmit a light signal used to control the movement of the drone using a camera provided in the smart phone, or may be provided with a separate (light transmission / reception) module for transmitting the light signal.
  • the case of transmitting the light signal using the camera provided in the smartphone may be a case of transmitting the light signal using the camera flash function.
  • a light signal may be transmitted to implement the methods proposed herein. It may be.
  • the method using the entire display of the camera flash or the smartphone as a light signal may be particularly effective for controlling the movement of the drone at night.
  • the light signal may be performed through a light transmitting / receiving module provided separately from the camera.
  • the user may use the 'touch pen' provided in the smart phone.
  • a tool or means for controlling the movement of the drone not only the 'touch pen' but also a user's motion, voice, etc. may be used.
  • the smartphone When the user of the smartphone moves the pen in a specific direction on the screen of the smartphone using the 'touch pen' (that is, when the smartphone receives a user's input corresponding to the movement in a specific direction), the smartphone The light signal is transmitted to the drone in a specific direction input through the 'touch pen' through the camera.
  • the drone that receives the light signal from the smartphone performs motion control according to the received light signal.
  • the intensity control of the light signal may be possible by adjusting the intensity of touching the smartphone screen with a 'touch pen'.
  • the smartphone screen may be divided into a first screen displaying a captured image received from the drone and a second screen displayed for performing the drone's motion control when the drone's motion control is performed.
  • an indication indicating that the intensity corresponds to the starting point associated with the movement control of the drone may be displayed on the second screen.
  • the smartphone may transmit a light signal to the drone at an intensity corresponding to the pressure at which the touch pen touches the screen.
  • Transmission of the light signal having the intensity corresponding to the end point may be performed in the same manner as the transmission method of the light signal having the intensity corresponding to the start point.
  • the drone receiving the light signal from the smart phone can detect the start point and the end point according to the change in the intensity of the light signal, and use this to move the current position to the moving point.
  • the drawings are divided and described, but the embodiments described in each drawing may be merged to implement a new embodiment.
  • the display device is not limited to the configuration and method of the embodiments described as described above, the above embodiments are configured by selectively combining all or some of the embodiments so that various modifications can be made May be
  • the present specification relates to a drone, and more particularly to a system for controlling the movement of the drone.

Abstract

본 명세서는 드론(Drone)의 움직임을 제어하기 위한 드론 제어 시스템에 있어서, 카메라를 통해 영상을 촬영하고, 상기 촬영 영상 범위 내에서 드론의 움직임 제어와 관련된 빛 신호를 수신하고, 상기 수신된 빛 신호의 변화 여부를 감지하고, 상기 감지된 빛 신호의 변화에 따라 현재의 위치를 목표 지점으로 이동하는 드론; 및 상기 드론의 움직임 제어와 관련된 사용자 입력을 수신하고, 상기 수신된 사용자 입력에 따라 빛 신호를 전송하여 상기 드론의 움직임을 제어하는 드론 제어 장치를 포함하되, 상기 드론의 움직임 제어는 상기 드론과 상기 드론 제어 장치 간에 통신이 수행될 수 있는 제어 가능 거리 내에서 수행되는 것을 특징으로 한다.

Description

드론의 움직임을 제어하기 위한 드론 제어 시스템
본 명세서는 드론(Drone)에 관한 것으로, 보다 구체적으로 드론의 움직임을 제어하기 위한 시스템에 관한 것이다.
드론(Drone)은 경량 소재의 개발과 관련 비행 제어 알고리즘의 발전을 통해 최근 다양한 분야에서 활발히 이용되고 있다.
현재 드론을 제어하는 대표적인 제어 방식은 크게 (1) 위성 신호를 이용한 초장거리 간접 제어 방식 또는 (2) RF(Radio Frequency) 신호를 이용한 근거리 직접 제어 방식으로 구분할 수 있다.
초장거리 간접 제어 방식은 위성 신호를 이용하므로 드론의 사용이 제한적이다.
반면에, RF 신호를 이용한 직접 제어 방식은 실생활에서 활발히 사용되고 있기는 하나, RF 신호의 특성상 제어 가능 거리(또는 제한 거리)에 제한이 있어 제어 가능 거리 밖에서는 드론의 제어가 불가능하다는 문제가 있다.
따라서, 본 명세서는 RF 신호에 비해 상대적으로 원거리 전달이 가능한 빛 신호를 이용하여 드론을 제어하기 위한 방법을 제공함에 목적이 있다.
또한, 본 명세서는 드론에 장착된 카메라를 통해 빛 신호의 위치, 강약 및 색상 변화를 인식하고, 이를 기반으로 사용자의 명령을 파악하여 원거리에서의 드론을 제어하기 위한 방법을 제공함에 목적이 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서는 드론(Drone)의 움직임을 제어하기 위한 드론 제어 시스템에 있어서, 카메라를 통해 영상을 촬영하고, 상기 촬영 영상 범위 내에서 드론의 움직임 제어와 관련된 빛 신호를 수신하고, 상기 수신된 빛 신호의 변화 여부를 감지하고, 상기 감지된 빛 신호의 변화에 따라 현재의 위치를 목표 지점으로 이동하는 드론; 및 상기 드론의 움직임 제어와 관련된 사용자 입력을 수신하고, 상기 수신된 사용자 입력에 따라 빛 신호를 전송하여 상기 드론의 움직임을 제어하는 드론 제어 장치를 포함하되, 상기 드론의 움직임 제어는 상기 드론과 상기 드론 제어 장치 간에 통신이 수행될 수 있는 제어 가능 거리 내에서 수행되는 것을 특징으로 한다.
또한, 본 명세서에서 상기 빛 신호의 변화는 빛 신호의 위치(position) 변화, 빛 신호의 강도(intensity) 변화 또는 빛 신호의 색상(color) 변화 중 어느 하나인 것을 특징으로 한다.
또한, 본 명세서에서 상기 드론은, 영상을 촬영하는 카메라; 상기 드론 제어 장치와 빛 신호를 송수신하는 통신부; 및 상기 카메라 및 상기 통신부와 기능적으로 연결되는 프로세서를 포함하되, 상기 프로세서는, 상기 카메라를 통해 촬영하는 영상 범위 내에서 상기 드론의 움직임 제어와 관련된 빛 신호를 상기 통신부를 통해 수신하도록 제어하며, 상기 수신된 빛 신호의 변화 여부를 감지하여, 상기 수신된 빛 신호의 변화에 기초하여 상기 드론의 현재 위치를 상기 목표 지점으로 이동시키도록 제어하는 것을 특징으로 한다.
또한, 본 명세서에서 상기 드론의 프로세서는, 상기 드론의 움직임 제어와 관련된 빛 신호의 시작 지점 및 종료 지점을 결정하며, 상기 결정된 시작 지점과 상기 종료 지점과의 거리 및 방향을 고려하여 상기 목표 지점까지 최단 거리로 상기 드론을 이동시키도록 제어하는 것을 특징으로 한다.
또한, 본 명세서에서 상기 드론은, 상기 드론 제어 장치와 상기 드론의 움직임 제어와 관련된 정보를 교환하기 위해 사전 절차를 수행하는 것을 특징으로 한다.
또한, 본 명세서에서 상기 사전 절차는 동기 절차 또는 연결 절차 중 적어도 하나인 것을 특징으로 한다.
또한, 본 명세서에서 상기 드론은, 상기 촬영 영상 범위 내에서 다수의 빛 신호들을 수신하는 경우, 상기 사전 절차를 통해 교환된 정보에 기초하여 상기 수신된 다수의 빛 신호들 중 상기 드론의 움직임 제어를 수행할 하나의 빛 신호를 결정하고, 상기 결정된 빛 신호의 변화에 따라 상기 드론의 움직임 제어를 수행하는 것을 특징으로 한다.
또한, 본 명세서에서 상기 드론은, 무선 충전을 수행하는 무선 충전 모듈을 더 포함하며, 상기 드론의 프로세서는 상기 드론의 배터리 잔량이 기 정의된 임계값보다 작은 경우, 배터리의 부족을 알리는 알림 정보를 상기 통신부를 통해 상기 드론 제어 장치로 전송하도록 제어하며, 상기 드론 제어 장치로부터 상기 무선 충전 가능 장소의 리스트를 수신하도록 상기 통신부를 제어하며, 상기 수신된 무선 충전 가능 장소의 리스트 중에서 상기 배터리 잔량을 고려하여 이동 가능한 장소를 선택하고, 상기 선택된 장소로 이동하도록 제어하는 것을 특징으로 한다.
또한, 본 명세서에서 상기 드론의 프로세서는, 상기 선택된 장소의 정보를 상기 드론 제어 장치로 전송하도록 상기 통신부를 제어하는 것을 특징으로 한다.
또한, 본 명세서에서 상기 드론 제어 장치는, 상기 드론과 빛 신호를 송수신하고, 상기 드론에 의해 촬영되는 영상을 상기 드론으로부터 수신하기 위한 통신부; 출력부; 및 상기 통신부 및 상기 출력부와 기능적으로 연결되는 프로세서를 포함하되, 상기 프로세서는, 사용자 입력에 따른 빛 신호를 상기 드론으로 전송하도록 상기 통신부를 제어하며, 상기 드론에 의해 촬영되는 영상을 수신하여 디스플레이하도록 상기 출력부를 제어하는 것을 특징으로 한다.
또한, 본 명세서에서 상기 드론 제어 장치의 출력부는, 디스플레이를 더 포함하며, 상기 디스플레이는 상기 드론의 움직임을 제어하는 기능이 수행되는 경우, 제 1 화면 및 제 2 화면으로 분할되며, 상기 제 1 화면은 상기 드론에 의해 수신되는 촬영 영상이 디스플레이되며, 상기 제 2 화면은 상기 드론의 움직임 제어를 수행하기 위한 조작메뉴가 디스플레이되는 것을 특징으로 한다.
또한, 본 명세서에서 상기 드론 제어 장치의 프로세서는, 상기 디스플레이의 화면을 터치하는 터치펜의 강도 변화에 따라 상기 드론으로 전송할 빛 신호의 강도가 변화되도록 제어하며, 상기 제 2 화면에 상기 터치펜의 터치 강도에 해당하는 상기 전송할 빛 신호의 강도가 표시되도록 상기 디스플레이를 제어하는 것을 특징으로 한다.
본 명세서는 RF 신호에 비해 상대적으로 원거리 전달이 가능한 빛 신호를 이용하여 드론을 제어함으로써, 기존의 드론 제어를 위한 제어 가능 거리(또는 제한 거리)를 비약적으로 증가시킬 수 있는 효과가 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다.
도 1은 본 명세서에서 제안하는 방법들이 적용될 수 있는 드론 제어 시스템의 일례를 나타낸다.
도 2는 본 명세서에서 제안하는 드론 및 드론 제어 장치의 내부 블록도의 일례를 나타낸다.
도 3은 본 명세서에서 제안하는 빛 신호를 이용한 드론의 움직임 제어 방법의 일례를 나타낸 순서도이다.
도 4는 본 명세서에서 제안하는 빛 신호의 위치 변화를 이용하여 드론의 움직임을 제어하는 방법의 일례를 나타낸 도이다.
도 5는 본 명세서에서 제안하는 빛 신호의 강도 변화를 이용하여 드론의 움직임을 제어하는 방법의 일례를 나타낸 도이다.
도 6은 본 명세서에서 제안하는 빛 신호의 색상 변화를 이용하여 드론의 움직임을 제어하는 방법의 일례를 나타낸 도이다.
본 명세서에서 사용되는 용어는 본 명세서에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 아닌 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
더욱이, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시예를 상세하게 설명하지만, 실시예들에 의해 제한되거나 한정되는 것은 아니다.
이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다.
드론 제어 시스템(Drone Controlling System)
도 1은 본 명세서에서 제안하는 방법들이 적용될 수 있는 드론 제어 시스템의 일례를 나타내며, 도 2는 본 명세서에서 제안하는 드론 및 드론 제어 장치의 내부 블록도의 일례를 나타낸다.
이하, 도 1 및 도 2를 같이 참조하여 본 명세서에서 제안하는 방법들이 적용될 수 있는 드론 제어 시스템, 드론 및 드론 제어 장치에 대해 살펴본다.
(무인) 드론(Drone)은 사람이 탑승하지 아니하고, 지상에서 원격 조작에 의해 이동하는 기기로서, 일반적으로 하늘을 나는 비행체를 의미하나, 본 명세서에서 드론은 비행체 이외에도 물 위를 이동하는 배나 물 속을 이동하는 잠수체 등도 포함한다고 할 수 있다.
본 명세서에서 제안하는 드론 제어 시스템(100)은 드론(110) 및 드론 제어 장치(120)를 포함하여 구성될 수 있다.
상기 드론 제어 시스템(100)은 상기 드론 및 드론 제어 장치 이외에도 본 명세서에서 기술된 기능들을 수행하기 위해 스마트폰(130), 무선 충전 기능 관련 서버(140) 등을 추가적으로 포함할 수 있다.
상기 드론 제어 장치(120)는 상기 스마트폰에 구비되는 장치일 수도 있으며, 상기 스마트폰과 별개로 상기 드론 제어 시스템 내에 존재할 수도 있다.
상기 드론 제어 장치는 후술할 바와 같이 디스플레이 (모듈)을 추가적으로 구비할 수도 있다.
상기 드론 제어 장치가 상기 디스플레이 모듈을 구비하는 경우, 드론에 의해 촬영되는 영상을 수신받아 상기 디스플레이 모듈을 통해 직접 상기 수신된 촬영 영상을 디스플레이할 수 있다.
만약 상기 드론 제어 장치가 디스플레이 모듈을 구비하지 않는 경우, 상기 드론 제어 장치는 상기 스마트폰을 통해 상기 드론으로부터 전송되는 촬영 영상을 수신받아 상기 스마트폰의 디스플레이 모듈을 통해 상기 수신된 촬영 영상을 디스플레이할 수 있다.
또한, 상기 드론 제어 장치 또는 상기 스마트폰은 화면을 분할해서 분할된 제 1 화면에는 카메라가 촬영하는 영상이 실시간으로 디스플레이되도록 하고, 분할된 제 2 화면은 사용자의 조작을 위한 조작 메뉴를 디스플레이시킬 수 있다.
사용자가 제 2 화면을 통해 조작메뉴를 터치하면 그에 따른 명령을 처리하고, 이 명령이 드론 이동 등의 제어를 위한 것인 경우에는 그에 따른 명령신호를 생성하여 무선 통신망을 통해 드론에 장착된 무선 통신 모듈로 전송한다.
또한, 상기 무선 통신 모듈은 상기 카메라를 통해 촬영되는 영상을 무선 통신망을 통해 드론 제어 장치, 스마트폰, 각종 서버 등으로 전송할 수 있고, 드론 제어 장치, 스마트폰, 각종 서버에서 전송하는 명령 신호를 무선 통신망을 통해 수신할 수 있다.
도 2에 도시된 구성 요소들 전부 또는 일부를 갖는 드론 및/또는 드론 제어 장치가 구현될 수 있다.
즉, 도 2에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 드론 및/또는 드론 제어 장치가 구현될 수도 있다.
드론(110) 및/또는 드론 제어 장치(스마트폰 포함)(120)는 통신부(111,121), 입력부(112,122), 센싱부(113,123), 전원 공급부(114,124), 제어부(115,125), 인터페이스부(116,126), 출력부(117,127) 및 메모리(118,128) 등을 포함하여 구성될 수 있다.
이하, 각 구성요소들에 대해 차례대로 살펴본다.
통신부는 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.
즉, 통신부는 빛 송/수신 모듈, 근거리 통신 모듈, 이동통신 모듈, 무선 인터넷 모듈 등을 포함할 수 있다.
빛 송/수신 모듈은 드론의 움직임 제어를 위한 빛 신호를 송신 또는 수신하기 위한 모듈을 말한다.
근거리 통신 모듈은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA: infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.
이동통신 모듈은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 스마트워치에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
이외에도, 상기 통신부는 방송 수신 모듈, 위치정보 모듈을 추가적으로 포함할 수 있다.
방송 수신 모듈은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.
상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈에 의해 수신될 수 있다.
상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
상기 방송 수신 모듈은, 예를 들어, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.
방송 수신 모듈을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리에 저장될 수 있다.
위치정보 모듈은 이동 단말기의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다.
상기 제어부는 상기 드론 및 드론 제어 장치의 전반적인 동작을 제어하는 모듈을 말한다.
상기 제어부는 드론 움직임의 제어를 담당하며, 각 구성 요소와 기능적으로 연결된다.
상기 제어부는 어플리케이션 프로세서(Application Processor:AP), 프로세서, 제어 모듈, 컨트롤러(controller), 마이크로 컨트롤러(micro controller), 마이크로프로세서(microprocessor)등으로 호칭 될 수 있으며, 상기 제어부는 하드웨어(hardware), 펌웨어(firmware), 소프트웨어, 또는 이들의 결합에 의해 구현될 수 있다.
상기 제어부는 ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로 및/또는 데이터 처리 장치를 포함할 수 있다.
입력부는 오디오 신호 또는 비디오 신호 입력 또는 사용자 입력을 위한 것이다. 오디오 신호 또는 비디오 신호 입력을 위하여 카메라와 마이크 등이 포함될 수 있다.
카메라는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부에 표시될 수 있다.
카메라에서 처리된 화상 프레임은 메모리에 저장되거나 무선 통신부를 통하여 외부로 전송될 수 있다. 카메라는 사용 환경에 따라 2개 이상이 구비될 수도 있다.
마이크는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부는 사용자가 드론의 움직임 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
센싱부는 드론 및 드론 제어 장치의 개폐 상태, 드론 및 드론 제어 장치의 위치, 사용자 접촉 유무, 드론 및 드론 제어 장치의 방위, 드론 및 드론 제어 장치의 가속/감속 등과 같이 드론 및 드론 제어 장치의 현 상태를 감지하여 드론 및 드론 제어 장치의 동작을 제어하기 위한 센싱 신호를 발생시킨다.
예를 들어, 드론 제어 장치 또는 스마트폰이 슬라이드 형태인 경우 슬라이드 형태의 개폐 여부를 센싱할 수 있다. 또한, 전원 공급부의 전원 공급 여부, 인터페이스부의 외부 기기 결합 여부 등을 센싱할 수도 있다. 한편, 상기 센싱부는 근접 센서, 사용자의 심박수, 맥박, 호흡, 혈압 등을 감지할 수 있는 센서, 주변의 온도, 소음 등을 감지할 수 있는 센서를 포함할 수 있다.
출력부는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부, 음향 출력 모듈, 알람부 및 햅틱 모듈 등이 포함될 수 있다.
디스플레이부는 드론 및 드론 제어 장치에서 처리되는 정보를 표시(출력)한다.
디스플레이부는 액정 디스플레이(LCD: liquid crystal display), 박막 트랜지스터 액정 디스플레이(TFT LCD: thin film transistor-liquid crystal display), 유기 발광 다이오드(OLED: organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 드론 및 드론 제어 장치의 디스플레이부의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 드론 및 드론 제어 장치 바디의 디스플레이부가 차지하는 영역을 통해 드론 및 드론 제어 장치 바디의 후방에 위치한 사물을 볼 수 있다.
드론 및 드론 제어 장치의 구현 형태에 따라 디스플레이부이 2개 이상 존재할 수 있다. 예를 들어, 드론 및 드론 제어 장치에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
디스플레이부와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
터치 센서는 디스플레이부의 특정 부위에 가해진 압력 또는 디스플레이부의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.
터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부로 전송한다. 이로써, 제어부는 디스플레이부의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
상기 근접 센서는 상기 터치스크린에 의해 감싸지는 드론 및 드론 제어 장치의 내부 영역 또는 상기 터치 스크린의 근처에 배치될 수 있다. 상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.
상기 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.
상기 메모리는 상기 제어부의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들을 임시 저장할 수도 있다. 상기 메모리는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
상기 메모리는 단말기의 각종 정보를 저장하는 매체로서, 상기 제어부와 연결되어 상기 제어부의 동작을 위한 프로그램, 어플리케이션(application), 일반파일 및 입/출력되는 데이터들을 저장할 수 있다.
상기 메모리는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(ReadOnly Memory, ROM), EEPROM(Electrically Erasable Programmable ReadOnly Memory), PROM(Programmable ReadOnly Memory) 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
상기 전원 공급부는 상기 제어부의 제어 하에 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급해주는 모듈을 말한다.
드론 제어 방법
이하, 본 명세서에서 제안하는 빛 신호를 이용하여 드론의 움직임을 제어하는 다양한 방법들에 대해 관련 도면을 참조하여 구체적으로 살펴보기로 한다.
도 3은 본 명세서에서 제안하는 빛 신호를 이용한 드론의 움직임 제어 방법의 일례를 나타낸 순서도이다.
먼저, 드론은 카메라를 통해 (지상) 영상을 촬영한다(S310).
이후, 상기 드론은 상기 촬영하는 영상에서 드론의 움직임 제어와 관련된 빛 신호의 수신 여부를 확인한다(S320).
이후, 상기 확인 결과 상기 빛 신호를 수신한 경우, 상기 드론은 상기 촬영 영상에서 빛 신호의 위치 변화, 빛 신호의 강도 변화 또는 빛 신호의 색상 변화 중적어도 하나의 변화 여부를 감지한다(S330).
이후, 상기 감지 결과, 상기 빛 신호의 위치 변화, 상기 빛 신호의 강도 변화 또는 상기 빛 신호의 색상 변화 중 어느 하나라도 변화가 있음을 감지한 경우, 상기 드론은 상기 변화에 기초하여 이동 지점(또는 목표 지점, 목적지 지점 등)으로의 움직임 동작을 수행한다(S340).
여기서, 상기 드론은 상기 움직임 동작을 수행하기 위해 움직임의 기준이 되는 시작 지점과 움직임의 마지작에 해당하는 종료 지점을 결정할 수 있다.
상기 드론은 상기 결정된 시작 지점과 상기 종료 지점 간의 거리, 방향 등을 고려하여 (자신의) 현재 위치를 상기 이동 지점으로 변경한다(또는 이동한다).
빛 신호 위치 변화를 이용한 드론의 움직임 제어
도 4는 본 명세서에서 제안하는 빛 신호의 위치 변화를 이용하여 드론의 움직임을 제어하는 방법의 일례를 나타낸 도이다.
즉, 도 4는 드론의 촬영 영상 내에 수신되는 빛 신호의 위치 변화를 인식하고, 상기 인식된 빛 신호의 위치 변화에 따라 드론의 움직임을 제어하는 방법을 나타낸다.
도 4a에 도시된 바와 같이, 드론 제어 장치는 빛 신호의 전송을 시작 위치 P1에서 종료 위치 P2로 이동시킴으로써, 상기 드론의 위치를 P1에서 P2로 이동할 것을 명령할 수 있다.
빛 신호 위치 변화에 따라 드론이 이동하는 방법에 대한 좀 더 구체적인 설명을 도 4b를 참조하여 살펴본다.
여기서, 상기 드론 제어 장치는 본 명세서에서 제안하는 드론의 움직임 제어를 위해 드론의 움직임 제어와 관련된 빛 신호를 전송할 수 있는 디바이스 또는 해당 디바이스를 포함하는 단말을 의미할 수 있다. 상기 단말은 스마트폰, PDA 등일 수 있다.
구체적으로, 드론은 촬영 영상을 통해 드론 제어 장치로부터 드론 움직임 제어와 관련된 빛 신호를 수신한다(S410).
상기 빛 신호는 드론의 움직임을 제어하는 신호로서, 상기 드론과 상기 드론 제어 장치 간 사전에 공유된 또는 약속된 신호일 수 있다.
상기 빛 신호의 일례로, 적외선, 가시광선 등이 있을 수 있다.
이후, 상기 드론은 상기 촬영 영상 (내)에서 상기 수신된 빛 신호의 위치 변화(또는 빛 신호의 움직임) 여부를 확인(check)한다(S420).
상기 빛 신호의 위치 변화를 감지하는 경우, 상기 드론은 상기 수신되는 빛 신호의 위치 변화에 따라 현재 위치를 특정 지점으로 이동시킬 이동 지점을 결정한다(S430).
상기 이동 지점은 상기 드론 제어 장치에 의해 수신되는 빛 신호의 시작 지점과 종료 지점, 상기 시작 지점과 상기 종료 지점까지의 거리/방향/최단 거리 등을 고려하여 결정될 수 있다.
이후, 상기 드론은 현재 위치를 상기 결정된 이동 지점으로 이동한다(S440).
상기 드론이 상기 수신된 빛 신호의 위치 변화에 따라 현재 위치를 이동하는 구체적인 방법은 아래와 같다.
먼저, 상기 드론은 드론 제어 장치로부터 빛 신호를 처음으로 수신하는 지점 즉, 드론 움직임 제어의 시작 지점과 빛 신호를 마지막으로 수신하는 지점 즉, 상기 드론 움직임 제어의 종료 지점을 확인한다(S441).
이후, 상기 드론은 상기 확인된 시작 지점에서 상기 종료 지점까지의 거리, 방향, 최단 거리 등을 고려하여 현재 위치를 상기 이동 지점으로 변경하게 된다(S442).
언급한 바와 같이, 상기 시작 지점은 상기 드론이 촬영하는 영상 내에서 상기 드론 제어 장치에 의해 전송되는 빛 신호를 최초로 감지 또는 수신하는 지점을 의미할 수 있다.
또한, 상기 종료 지점은 상기 드론 제어 장치에 의해 전송되는 빛 신호를 마지막으로 수신하는 지점 또는 상기 수신된 빛 신호의 움직임이 종료하는 지점을 의미할 수 있다.
또한, 상기 드론은 특정 지점(또는 임의의 지점)에서 상기 수신되는 빛 신호의 위치 변화가 일정 시간 이상 없다고 판단하는 경우, 상기 특정 지점을 상기 종료 지점으로 인식할 수 있다.
상기 드론은 현재 위치에서 상기 이동 지점에 해당하는 곳까지 최단 거리로 이동할 수 있다.
즉, 상기 드론은 현재 위치를 상기 촬영 영상 내에서의 빛 신호의 위치 변화에 대응하는 이동 지점까지 최단 거리를 계산하고, 상기 계산된 최단 거리로 이동할 수 있다.
두 지점 간의 최단 거리는 일반적으로 직선 거리이나, 두 지점 사이에 장애물이 있는 경우, 최단 거리는 상기 장애물을 고려하여 계산될 수 있다.
이와 같이, 상기 드론이 최단 거리를 통해 이동 지점으로 이동할 경우, 거리를 단축할 수 있게 됨으로 인해 상기 드론의 파워 세이빙에 효과적일 수 있다.
빛 신호의 위치 변화에 따른 드론의 움직임 제어를 수행하기 위해 앞서 정의한 시작 지점 및 종료 지점은 아래와 같이 또 다른 방식으로 정의될 수도 있다.
일례로서, 드론 및 상기 드론의 움직임을 제어할 수 있는 드론 제어 장치는 미리 드론 이동의 기준이 되는 시작 지점과 드론의 이동 종료와 관련된 종료 지점을 나타내는 빛 신호를 각각 정의할 수 있다.
따라서, 상기 드론은 상기 시작 지점에 해당하는 빛 신호 및 상기 종료 지점에 해당하는 빛 신호를 수신하는 경우, 상기 드론은 상기 시작 지점에서 상기 종료 지점까지의 거리, 방향 등을 고려하여 현재 위치에서 앞서 살핀 이동 지점으로 이동하게 된다.
즉, 상기 드론은 카메라를 통해 촬영하는 영상에서 상기 시작 지점으로 정의되는 빛 신호를 수신하는 경우, 상기 빛 신호를 수신하는 지점이 상기 드론의 움직임 제어를 위한 기준 지점으로 판단한다.
또한, 상기 드론이 상기 촬영 영상에서 상기 종료 지점으로 정의되는 빛 신호를 수신하는 경우, 상기 빛 신호를 수신하는 지점이 상기 드론의 움직임 제어를 종료하는 종료 지점으로 판단한다.
이를 통해, 상기 드론은 상기 시작 지점 및 상기 종료 지점에 기초하여 결정된 이동 지점으로 현재의 위치를 이동시킬 수 있다.
본 명세서에서 제안하는 드론의 움직임 제어는 드론과 드론 제어 장치 간에 정의되는 '제어 가능 거리' 범위 내에서 수행될 수 있다.
상기 제어 가능 거리(또는 제한 거리)는 빛 신호 또는 무선 통신을 이용하여 드론 제어 장치가 드론을 제어할 수 있는 거리를 나타낸다.
상기 제어 가능 거리는 드론의 움직임 제어를 위해 이용되는 통신 방식(빛 신호, 무선 통신 등)에 따라 다르게 결정될 수 있다.
또한, 상기 제어 가능 거리는 드론에 구비되는 카메라의 성능(예:해상도 등)에 따라 다르게 결정될 수도 있다.
즉, 상기 드론에 구비되는 카메라의 해상도가 높으면 높을수록 상기 드론은 드론 제어 장치로부터 수신된 빛 신호를 보다 정확히 인식할 수 있기 때문에 상기 제어 가능 거리는 더 증가할 수 있게 된다.
카메라를 통해 다수의 빛 신호를 수신하는 경우
본 명세서에서 제안하는 또 다른 실시 예로서, 드론이 카메라를 통해 촬영하는 영상에서 드론의 움직임 제어와 관련된 다수의 시작 지점 및/또는 다수의 종료 지점을 나타내는 빛 신호를 수신하는 경우의 드론 제어 방법에 대해 살펴본다.
드론이 드론 제어 장치로부터 드론의 움직임 제어와 관련된 다수의 시작 지점을 나타내는 빛 신호들을 촬영 영상을 통해 수신하는 경우, 상기 드론은 우선 순위 또는 미리 정해진 규칙에 따라 움직임 제어와 관련된 하나의 드론 제어 장치 또는 하나의 빛 신호만을 결정한다.
이후, 상기 드론은 상기 결정된 드론 제어 장치로부터 수신되는 또는 상기 결정된 빛 신호의 위치 변화, 강도 변화 또는 색상 변화 중 적어도 하나에 기초하여 움직임 제어를 수행한다.
'A 및/또는 B'의 표현은 'A 또는 B 중 적어도 하나를 포함한다'의 의미로 해석될 수 있다.
여기서, 상기 드론은 드론의 움직임 제어와 관련된 다수의 빛 신호들이 수신되었음을 상기 드론 제어 장치로 무선 통신 모듈을 통해 알릴 수 있다.
이와 함께 상기 드론은 빛 신호의 강도 및/또는 색상의 변화를 이용하여 드론의 움직임 제어를 수행할 것을 상기 드론 제어 장치로 알릴 수도 있다.
드론과 드론 제어 장치 간 사전 정보 교환을 통한 드론의 움직임 제어
본 명세서 제안하는 또 다른 실시 예로서, 드론이 카메라를 통해 촬영하는 영상에서 드론의 움직임 제어와 관련된 다수의 빛 신호들을 감지하는 경우, 상기 드론은 드론 제어 장치와 동기 절차, 연결 절차 등과 같은 사전 절차들을 통해 드론의 움직임 제어와 관련된 하나의 빛 신호를 결정할 수도 있다.
해당 방법을 통해 드론의 움직임 제어와 관련된 다수의 빛 신호들 중 하나의 빛 신호에 대한 결정은 아래와 같은 방법들을 통해 수행될 수 있다.
먼저, 드론은 드론 제어 장치로부터 수신되는 빛 신호에 따라 드론의 움직임 제어를 수행하기에 앞서서, 상기 드론 제어 장치와 동기 절차, 연결 절차(또는 페어링 절차) 등을 수행함으로써 상기 드론의 움직임 제어에 필요한 정보를 교환할 수 있다.
상기 동기(Synchronization) 절차는 드론과 드론 제어 장치 간에 정보 또는 데이터 등의 송/수신을 위해 동기를 맞추는 절차로서, 상기 드론과 상기 드론 제어 장치는 상기 동기 절차를 통해 드론의 움직임 제어에 필요한 정보를 서로 공유할 수 있게 된다.
따라서, 상기 드론은 상기 동기 절차를 통해 어떤 드론 제어 장치와 드론의 움직임 제어를 수행할 것인지를 미리 알 수 있게 된다. 이를 통해, 상기 드론은 촬영 영상에서 다수의 빛 신호들을 감지하더라도, 드론 움직임 제어와 관련된 하나의 빛 신호를 찾아낼 수 있게 된다.
또한, 상기 드론은 상기 동기 절차를 통해 상기 드론 제어 장치와의 드론 움직임 제어와 관련된 정보를 모두 교환할 수 없는 경우, 상기 드론은 상기 드론 제어 장치와 추가적으로 연결 절차(또는 페어링 절차)를 수행하여 추가적인 정보를 교환할 수도 있다.
따라서, 상기 드론은 상기 동기 절차, 상기 연결 절차 등을 통해 미리 드론 제어 장치와 정보를 공유하여, 드론의 움직임 제어와 관련된 다수의 빛 신호를 감지하는 경우에도 어떤 드론 제어 장치로부터 전송되는 빛 신호에 따라 드론의 움직임 제어를 수행해야 하는지를 알 수 있게 된다.
통신 간 핸드오버(Handover) 수행을 통한 드론의 움직임 제어
본 명세서에서 제안하는 또 다른 실시 예로서, 드론의 움직임 제어에 이용되는 통신을 다른 통신으로 핸드오버(이하, '통신 간 핸드오버'라 함)하는 방법을 살펴본다.
상기 통신 간 핸드오버 방법이란 빛 신호를 이용하여 드론의 움직임 제어 도중 (어떤 이유로 인해 또는 어떤 조건을 만족하는 경우) 다른 통신을 이용하여 드론의 움직임 제어를 수행하거나 또는 다른 통신을 이용하여 드론의 움직임 제어 도중 빛 신호를 이용하여 드론의 움직임 제어를 수행하는 방법을 의미할 수 있다.
일례로, 드론이 드론 제어 장치와 빛 신호를 이용하여 드론의 움직임 제어를 수행하는 도중 배터리 잔량이 얼마 남지 않은 경우, 상기 드론 및 드론 제어 장치는 빛 신호를 이용하여 드론의 움직임 제어를 수행하는 것보다 상기 드론의 배터리 소모를 최소화할 수 있는 다른 통신으로 핸드오버를 수행함으로써 드론의 움직임 제어를 안정적으로 계속해서 수행할 수 있다.
여기서, 드론의 움직임 제어 도중 통신 간 핸드오버를 수행하기 위해서는 드론 및 드론 제어 장치가 핸드오버를 수행할 다른 통신 모듈을 구비하고 있는지를 사전에 알고 있어야 한다.
이와 같은 정보는 앞서 살핀 동기 절차, 연결 절차 등을 통해 사전에 드론과 드론 제어 장치 간에 공유될 수 있다.
즉, 상기 드론은 상기 드론 제어 장치와 동기 절차, 연결 절차 등을 통해 상기 드론 제어 장치의 다른 통신 모듈 지원 여부, 상기 다른 통신 모듈을 이용하여 드론 움직임 제어를 수행할 수 있는 제어 가능 거리 정보 등을 알 수 있고, 이를 통해 상기 드론의 남은 배터리 잔량에 기초하여 통신 간 핸드오버를 수행할 수 있다.
무선 충전 기능
본 명세서에서 제안하는 또 다른 실시 예로서, 무선 충전을 통한 드론의 베터리 충전 방법에 대해서 살펴본다.
일반적으로, 드론은 한 번의 충전으로 이용 가능한 시간이 수십 분으로 매우 짧을 수 있다.
따라서, 드론 사용 도중 갑자기 배터리가 떨어지는 경우, 예기치 못한 장소에 드론이 떨어지게 됨으로 인해, 드론이 부서지거나 또는 드론이 없어질 수 있는 문제가 발생할 수 있다.
이와 같은 문제를 해결하기 위해, 이하에서는 이동 중의 드론을 무선으로 충전시키는 방법에 대해 설명한다.
드론의 무선 충전을 가능하도록 하기 위해, 상기 드론은 도 2에서 살핀 구성 요소 이외에도 무선 충전 모듈을 더 구비할 수 있다.
상기 무선 충전 모듈은 자기 유도 방식 및/또는 자기 공명 방식으로 무선 충전을 수행할 수 있는 모듈이다.
먼저, 드론이 공중에서 카메라를 통해 지상을 촬영하는 도중 배터리 잔량이 부족하여 드론 제어 장치(또는 스마트폰 또는 특정 서버)로 배터리 잔량이 부족함을 알리는 경우, 상기 드론 제어 장치는 상기 드론으로 무선 충전이 가능한 장소(예:무선 충전소)의 정보를 제공하거나 또는 상기 드론을 상기 무선 충전이 가능한 장소로 이동하도록 할 수 있다.
이 경우, 상기 드론은 상기 수신된 무선 충전 장소 정보 중에서 현재 남은 배터리로 이동 가능한 가장 가까운 무선 충전소 장소를 선택하고, 상기 선택된 장소로 이동할 수 있다.
여기서, 상기 드론은 상기 드론 제어 장치로 상기 선택된 무선 충전소 장소를 알릴 수 있다.
다시 도 4a를 참조하면, 상기 드론은 카메라를 통해 촬용하는 영상 (내)에서 빛 신호의 시작 지점 P1 및 종료 지점 P2를 검출하고, 상기 검출된 P1에서 P2로의 위치 변화를 고려하여 현재의 위치를 이동 지점으로 움직이는 동작을 수행한다.
빛 신호의 강도 변화를 이용한 드론의 움직임 제어
다음으로, 본 명세서에서 제안하는 빛 신호의 강도 변화를 이용하여 드론의 움직임을 제어하는 방법에 대해 도 5를 참조하여 살펴보기로 한다.
도 5는 본 명세서에서 제안하는 빛 신호의 강도 변화를 이용하여 드론의 움직임 제어를 수행하는 방법의 일례를 나타낸 도이다.
드론이 카메라를 통해 촬영을 수행하고, 드론 제어 장치로부터 수신되는 빛 신호를 감지하는 절차는 도 4의 내용과 동일하므로 이에 대한 구체적인 설명은 생략하기로 한다.
도 5에서도 도 4와 마찬가지로, 드론의 움직임 제어와 관련된 시작 지점 및 종료 지점이 드론 제어 장치로부터 전송되는 빛 신호의 강도에 의해 미리 정의됨을 가정한다.
도 5를 참조하면, 빛 신호의 강도 S1은 시작 지점으로, 빛 신호의 강도 S2는 종료 지점으로 정의한다.
상기 드론은 카메라를 통해 촬영하는 영상에서 강도가 S1인 빛 신호를 수신 또는 감지하는 경우, 상기 드론은 강도 S1에 해당하는 빛 신호를 수신한 지점을 드론의 움직임 제어의 시작 지점(또는 기준 지점)으로 판단한다.
그리고 상기 드론은 상기 촬영하는 영상에서 빛 신호의 강도가 S2인 빛 신호를 수신 또는 감지하는 경우, 상기 강도 S2에 대응하는 빛 신호를 수신한 지점을 드론의 움직임 제어 종료와 관련된 종료 지점으로 판단한다.
이후, 상기 드론은 상기 시작 지점부터 종료 지점까지의 거리, 방향, 최단 거리 등을 고려하여 현재 위치를 이동 지점으로 이동하도록 한다.
즉, 도 5와 같이, 상기 드론 제어 장치는 빛 신호의 강도를 S1에서 S2로 변화시킴으로써 상기 드론을 빛 신호의 강도 변화에 따라 움직이도록 명령할 수 있다.
빛 신호의 색상 변화를 이용한 드론의 움직임 제어
다음으로, 본 명세서에서 제안하는 빛 신호의 색상 변화를 이용하여 드론의 움직임 제어를 수행하는 방법에 대해 도 6을 참조하여 구체적으로 살펴본다.
드론이 카메라를 통해 촬영을 수행하고, 드론 제어 장치로부터 수신되는 빛 신호를 감지하는 절차는 도 4의 내용과 동일하므로 이에 대한 구체적인 설명은 생략하기로 한다.
도 6에서도 도 4와 마찬가지로, 드론의 움직임 제어와 관련된 시작 지점 및 종료 지점이 드론 제어 장치로부터 전송되는 빛 신호의 색상에 의해 미리 정의됨을 가정한다.
도 6을 참조하면, 빛 신호의 색상 C1은 시작 지점으로, 빛 신호의 색상 C2는 종료 지점으로 정의한다.
상기 드론은 카메라를 통해 촬영하는 영상에서 색상이 C1인 빛 신호를 수신 또는 감지하는 경우, 상기 드론은 색상 C1에 해당하는 빛 신호를 수신한 지점을 드론의 움직임 제어의 시작 지점(또는 기준 지점)으로 판단한다.
그리고 상기 드론은 상기 촬영하는 영상에서 빛 신호의 색상이 C2인 빛 신호를 수신 또는 감지하는 경우, 상기 색상 C2에 대응하는 빛 신호를 수신한 지점을 드론의 움직임 제어 종료와 관련된 종료 지점으로 판단한다.
이후, 상기 드론은 상기 시작 지점부터 종료 지점까지의 거리, 방향, 최단 거리 등을 고려하여 현재 위치를 이동 지점으로 이동하도록 한다.
즉, 도 6과 같이, 상기 드론 제어 장치는 빛 신호의 색상을 C1에서 C2로 변화시킴으로써 상기 드론을 빛 신호의 색상 변화에 따라 움직이도록 명령할 수 있다.
예를 들어, 빛 신호의 색상이 '빨간색'을 드론 움직임의 시작 지점으로 할 수 있고, 빛 신호의 색상이 '파란색'인 경우, 이를 드론의 움직임 종료 지점으로 할 수 있다.
다만, 상기 드론의 카메라를 통해 촬영되는 영상 내에서 빨간색 또는 파란색이 다수 개 존재할 수 있는 경우도 있을 수 있다.
이 경우, 상기 드론은 앞서 살핀 상기 드론 제어 장치와의 사전 절차(동기 절차, 연결 절차)를 통해 드론의 움직임 제어를 수행할 드론 제어 장치를 결정하고, 상기 결정된 드론 제어 장치를 통해 전송되는 빛의 색상에 기초하여서만 움직임 제어를 수행한다.
즉, 상기 드론은 촬영하는 영상 내에서 다수의 빛 신호들이 감지되는 경우, 상기 드론은 사전에 약속된 또는 사전에 드론의 움직임 제어 수행을 위해 등록된 드론 제어 장치에 의한 빛 신호만을 고려하여 드론의 움직임 제어를 수행한다.
드론 제어 장치가 스마트폰인 경우
본 명세서에서 제안하는 또 다른 실시 예로서, 드론 제어 장치가 스마트폰(또는 단말)인 경우 앞서 살핀 드론의 움직임 제어 방법에 대해 또 다른 일례로서 살펴보기로 한다.
설명의 편의를 위해, 드론 제어 장치를 '스마트폰'으로 호칭하여 설명하기로 한다.
해당 방법의 경우, 드론은 촬영하는 영상을 무선 통신을 이용하여 스마트폰으로 전송할 수 있다.
이를 통해, 사용자는 스마트폰으로 상기 드론으로부터 수신되는 촬영 영상을 보면서 앞서 살핀 드론의 움직임 제어 수행을 보다 손쉽게 할 수 있다.
여기서, 스마트폰은 드론의 움직임 제어에 사용되는 빛 신호를 상기 스마트폰에 구비된 카메라를 이용하여 전송할 수도 있고, 상기 빛 신호를 전송하는 (빛 송/수신) 모듈을 별도로 구비할 수도 있다.
여기서, 스마트폰에 구비된 카메라를 이용하여 빛 신호를 전송하는 경우는 카메라 플래쉬 기능을 이용하여 빛 신호를 전송하는 경우일 수 있다.
또한, 스마트폰을 이용하여 드론의 움직임 제어를 수행하는 또 다른 일례로서, 상기 스마트폰의 디스플레이 전체를 하나의 색상으로 표현(또는 구성)하여 빛 신호를 전송함으로써, 본 명세서에서 제안하는 방법들을 구현할 수도 있다.
상기 카메라 플래쉬 또는 스마트폰의 디스플레이 전체를 빛 신호로 이용하는 방법은 특히 야간에 드론의 움직임을 제어하는데 효과적일 수 있다.
이하에서는, 스마트폰의 카메라(플래쉬 기능)을 통해 드론의 움직임 제어를 위한 빛 신호를 전송하는 것으로 가정하여 설명하기로 한다.
다만, 상기 빛 신호는 카메라 이외에 별도로 구비되는 빛 송/수신 모듈을 통해서 수행될 수도 있다.
또한, 스마트폰을 통해 빛 신호를 이용한 드론의 움직임 제어를 수행하기 위한 구체적인 방법으로, 사용자는 상기 스마트폰에 구비되는 '터치펜'을 이용할 수 있다.
다만, 드론의 움직임 제어의 도구 또는 수단으로서, '터치펜' 뿐만 아니라 사용자의 모션, 음성 등도 이용될 수 있다.
스마트폰의 '터치펜'을 이용하여 드론의 움직임 제어를 수행하는 방법에 대해 예를 들어 살펴보기로 한다.
스마트폰의 사용자는 '터치펜'을 이용하여 스마트폰의 화면에서 특정 방향으로 펜을 움직이면(즉, 스마트폰이 특정 방향으로의 움직임에 해당하는 사용자의 입력을 수신하는 경우), 상기 스마트폰은 카메라를 통해 상기 '터치펜'을 통해 입력되는 특정 방향으로 빛 신호를 드론으로 전송한다.
상기 스마트폰으로부터 빛 신호를 수신한 드론은 상기 수신된 빛 신호에 따라 움직임 제어를 수행하게 된다.
도 5에서 살핀 빛 신호의 강도 변화를 이용하여 드론의 움직임 제어를 수행하는 방법에서, 상기 빛 신호의 강도 조절은 '터치펜'으로 스마트폰 화면을 터치하는 세기의 조절을 통해 가능할 수 있다.
상기 스마트폰 화면은 드론의 움직임 제어를 수행하는 경우 드론으로부터 수신되는 촬영 영상을 디스플레이하는 제 1 화면과 드론의 움직임 제어를 수행하기 위해 디스플레이되는 제 2 화면으로 구분될 수 있다.
스마트폰 화면에 터치되는 '터치펜'의 압력이 변화되면서, 상기 제 2 화면에 드론의 움직임 제어와 관련된 시작 지점에 해당하는 강도임을 나타내는 표시가 디스플레이될 수 있다.
이 경우, 상기 스마트폰은 '터치펜'이 화면을 터치하는 압력에 해당하는 강도로 빛 신호를 상기 드론으로 전송할 수 있다.
종료 지점에 해당하는 강도를 가지는 빛 신호의 전송도 시작 지점에 해당하는 강도를 가지는 빛 신호의 전송 방법과 마찬가지로 수행될 수 있다.
따라서, 상기 스마트폰으로부터 빛 신호를 수신하는 드론은 빛 신호의 강도변화에 따른 시작 지점 및 종료 지점을 감지하고, 이를 이용하여 현재 위치를 이동 지점으로 이동하는 동작을 수행할 수 있다.
설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시예들을 병합하여 새로운 실시예를 구현하도록 설계하는 것도 가능하다. 또한, 표시 장치는 상술한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상술한 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
또한, 이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시예에 한정되지 아니하며, 청구 범위에서 청구하는 요지를 벗어남이 없이 당해 명세서가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
본 명세서는 드론(Drone)에 관한 것으로, 보다 구체적으로 드론의 움직임을 제어하기 위한 시스템에 관한 것이다.

Claims (12)

  1. 드론(Drone)의 움직임을 제어하기 위한 드론 제어 시스템에 있어서,
    카메라를 통해 영상을 촬영하고, 상기 촬영 영상 범위 내에서 드론의 움직임 제어와 관련된 빛 신호를 수신하고, 상기 수신된 빛 신호의 변화 여부를 감지하고, 상기 감지된 빛 신호의 변화에 따라 현재의 위치를 목표 지점으로 이동하는 드론; 및
    상기 드론의 움직임 제어와 관련된 사용자 입력을 수신하고, 상기 수신된 사용자 입력에 따라 빛 신호를 전송하여 상기 드론의 움직임을 제어하는 드론 제어 장치를 포함하되,
    상기 드론의 움직임 제어는 상기 드론과 상기 드론 제어 장치 간에 통신이 수행될 수 있는 제어 가능 거리 내에서 수행되는 것을 특징으로 하는 드론 제어 시스템.
  2. 제 1항에 있어서,
    상기 빛 신호의 변화는 빛 신호의 위치(position) 변화, 빛 신호의 강도(intensity) 변화 또는 빛 신호의 색상(color) 변화 중 어느 하나인 것을 특징으로 하는 드론 제어 시스템.
  3. 제 1항에 있어서, 상기 드론은,
    영상을 촬영하는 카메라;
    상기 드론 제어 장치와 빛 신호를 송수신하는 통신부; 및
    상기 카메라 및 상기 통신부와 기능적으로 연결되는 프로세서를 포함하되, 상기 프로세서는,
    상기 카메라를 통해 촬영하는 영상 범위 내에서 상기 드론의 움직임 제어와 관련된 빛 신호를 상기 통신부를 통해 수신하도록 제어하며,
    상기 수신된 빛 신호의 변화 여부를 감지하여, 상기 수신된 빛 신호의 변화에 기초하여 상기 드론의 현재 위치를 상기 목표 지점으로 이동시키도록 제어하는 것을 특징으로 하는 드론 제어 시스템.
  4. 제 3항에 있어서, 상기 드론의 프로세서는,
    상기 드론의 움직임 제어와 관련된 빛 신호의 시작 지점 및 종료 지점을 결정하며,
    상기 결정된 시작 지점과 상기 종료 지점과의 거리 및 방향을 고려하여 상기 목표 지점까지 최단 거리로 상기 드론을 이동시키도록 제어하는 것을 특징으로 하는 드론 제어 시스템.
  5. 제 1항에 있어서, 상기 드론은,
    상기 드론 제어 장치와 상기 드론의 움직임 제어와 관련된 정보를 교환하기 위해 사전 절차를 수행하는 것을 특징으로 하는 드론 제어 시스템.
  6. 제 5항에 있어서,
    상기 사전 절차는 동기 절차 또는 연결 절차 중 적어도 하나인 것을 특징으로 하는 드론 제어 시스템.
  7. 제 5항에 있어서, 상기 드론은,
    상기 촬영 영상 범위 내에서 다수의 빛 신호들을 수신하는 경우, 상기 사전 절차를 통해 교환된 정보에 기초하여 상기 수신된 다수의 빛 신호들 중 상기 드론의 움직임 제어를 수행할 하나의 빛 신호를 결정하고, 상기 결정된 빛 신호의 변화에 따라 상기 드론의 움직임 제어를 수행하는 것을 특징으로 하는 드론 제어 시스템.
  8. 제 3항에 있어서, 상기 드론은,
    무선 충전을 수행하는 무선 충전 모듈을 더 포함하며,
    상기 드론의 프로세서는,
    상기 드론의 배터리 잔량이 기 정의된 임계값보다 작은 경우, 배터리의 부족을 알리는 알림 정보를 상기 통신부를 통해 상기 드론 제어 장치로 전송하도록 제어하며,
    상기 드론 제어 장치로부터 상기 무선 충전 가능 장소의 리스트를 수신하도록 상기 통신부를 제어하며,
    상기 수신된 무선 충전 가능 장소의 리스트 중에서 상기 배터리 잔량을 고려하여 이동 가능한 장소를 선택하고, 상기 선택된 장소로 이동하도록 제어하는 것을 특징으로 하는 드론 제어 시스템.
  9. 제 8항에 있어서, 상기 드론의 프로세서는,
    상기 선택된 장소의 정보를 상기 드론 제어 장치로 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 드론 제어 시스템.
  10. 제 1항에 있어서, 상기 드론 제어 장치는,
    상기 드론과 빛 신호를 송수신하고, 상기 드론에 의해 촬영되는 영상을 상기 드론으로부터 수신하기 위한 통신부;
    출력부; 및
    상기 통신부 및 상기 출력부와 기능적으로 연결되는 프로세서를 포함하되, 상기 프로세서는,
    사용자 입력에 따른 빛 신호를 상기 드론으로 전송하도록 상기 통신부를 제어하며, 상기 드론에 의해 촬영되는 영상을 수신하여 디스플레이하도록 상기 출력부를 제어하는 것을 특징으로 하는 드론 제어 시스템.
  11. 제 10항에 있어서, 상기 드론 제어 장치의 출력부는,
    디스플레이를 더 포함하며,
    상기 디스플레이는 상기 드론의 움직임을 제어하는 기능이 수행되는 경우, 제 1 화면 및 제 2 화면으로 분할되며,
    상기 제 1 화면은 상기 드론에 의해 수신되는 촬영 영상이 디스플레이되며,
    상기 제 2 화면은 상기 드론의 움직임 제어를 수행하기 위한 조작메뉴가 디스플레이되는 것을 특징으로 하는 드론 제어 시스템.
  12. 제 11항에 있어서, 상기 드론 제어 장치의 프로세서는,
    상기 디스플레이의 화면을 터치하는 터치펜의 강도 변화에 따라 상기 드론으로 전송할 빛 신호의 강도가 변화되도록 제어하며,
    상기 제 2 화면에 상기 터치펜의 터치 강도에 해당하는 상기 전송할 빛 신호의 강도가 표시되도록 상기 디스플레이를 제어하는 것을 특징으로 하는 드론 제어 시스템.
PCT/KR2015/014043 2015-11-05 2015-12-21 드론의 움직임을 제어하기 위한 드론 제어 시스템 WO2017078220A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562251121P 2015-11-05 2015-11-05
US62/251,121 2015-11-05
KR10-2015-0182636 2015-12-21
KR1020150182636A KR101768780B1 (ko) 2015-11-05 2015-12-21 드론의 움직임을 제어하기 위한 드론 제어 시스템

Publications (1)

Publication Number Publication Date
WO2017078220A1 true WO2017078220A1 (ko) 2017-05-11

Family

ID=58662097

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/014043 WO2017078220A1 (ko) 2015-11-05 2015-12-21 드론의 움직임을 제어하기 위한 드론 제어 시스템

Country Status (1)

Country Link
WO (1) WO2017078220A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080010768A (ko) * 2006-07-28 2008-01-31 두얼메카닉스 주식회사 위치 검출 방법 및 그 방법을 이용한 이동 장치
JP2012510839A (ja) * 2008-12-04 2012-05-17 パロット 認識マーカーを備えた無人機のセット
KR20130067796A (ko) * 2011-12-14 2013-06-25 건국대학교 산학협력단 가상 세계를 사용한 무인 이동체 원격 제어 장치 및 방법
KR101286376B1 (ko) * 2013-03-07 2013-07-15 건국대학교 산학협력단 무인 비행체 제어 시스템 및 방법
KR101546717B1 (ko) * 2015-02-23 2015-08-25 김영권 무인비행체가 탑재된 이동통신단말기

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080010768A (ko) * 2006-07-28 2008-01-31 두얼메카닉스 주식회사 위치 검출 방법 및 그 방법을 이용한 이동 장치
JP2012510839A (ja) * 2008-12-04 2012-05-17 パロット 認識マーカーを備えた無人機のセット
KR20130067796A (ko) * 2011-12-14 2013-06-25 건국대학교 산학협력단 가상 세계를 사용한 무인 이동체 원격 제어 장치 및 방법
KR101286376B1 (ko) * 2013-03-07 2013-07-15 건국대학교 산학협력단 무인 비행체 제어 시스템 및 방법
KR101546717B1 (ko) * 2015-02-23 2015-08-25 김영권 무인비행체가 탑재된 이동통신단말기

Similar Documents

Publication Publication Date Title
WO2021100932A1 (ko) 디스플레이의 크기를 제어하는 전자 장치 및 그 제어 방법
WO2012111873A1 (ko) 무선 충전 방법 및 장치
WO2015122624A1 (ko) 이동 단말기 및 그 제어방법
WO2015064858A1 (ko) 단말기 및 그 제어 방법
WO2015115774A1 (en) Indoor lighting device, indoor lighting system, and method of operating the same
WO2013027908A1 (en) Mobile terminal, image display device mounted on vehicle and data processing method using the same
WO2017048076A1 (en) Display apparatus and method for controlling display of display apparatus
WO2012169861A2 (en) Apparatus for handling change in orientation of terminal during wireless power transfer and method thereof
WO2017188492A1 (ko) 이동단말기 및 그 제어방법
WO2014021654A1 (en) System for and method of transmitting communication information
WO2013058423A1 (ko) 전자기기 및 전자기기의 동작 방법
WO2021107225A1 (ko) 디스플레이의 크기를 제어하는 전자 장치 및 그 제어 방법
WO2021085658A1 (ko) 크기가 변경되는 디스플레이를 포함하는 전자 장치 및 그 제어 방법
WO2016064132A1 (en) Wearable device and method of transmitting content
WO2016039576A2 (ko) 무선 통신 시스템에서 다중 망 접속을 위한 장치 및 방법
WO2016099086A1 (en) Method for providing communication service and electronic device thereof
WO2015012451A1 (en) Electronic device
WO2015057013A1 (ko) 휴대용 장치가 웨어러블 장치를 통하여 정보를 표시하는 방법 및 그 장치
WO2018090822A1 (zh) 基于智能手表的移动终端相机控制方法及控制系统
WO2016052882A1 (en) Display apparatus and control system and method for same
WO2018062754A1 (en) Digital device and data processing method in the same
WO2015065072A1 (ko) 이동 단말기의 파워 온/오프 장치 및 그 제어 방법
WO2019013448A1 (en) OPTICAL CONNECTOR AND METHOD FOR CONTROLLING DISPLAY APPARATUS
WO2015064935A1 (en) Electronic device and control method thereof
WO2021049675A1 (ko) 이동 단말기

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15907883

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15907883

Country of ref document: EP

Kind code of ref document: A1