WO2016089067A1 - 무인 이동체 원격제어 시스템 및 방법 - Google Patents

무인 이동체 원격제어 시스템 및 방법 Download PDF

Info

Publication number
WO2016089067A1
WO2016089067A1 PCT/KR2015/012938 KR2015012938W WO2016089067A1 WO 2016089067 A1 WO2016089067 A1 WO 2016089067A1 KR 2015012938 W KR2015012938 W KR 2015012938W WO 2016089067 A1 WO2016089067 A1 WO 2016089067A1
Authority
WO
WIPO (PCT)
Prior art keywords
control unit
smart terminal
ground station
moving object
information
Prior art date
Application number
PCT/KR2015/012938
Other languages
English (en)
French (fr)
Inventor
황호정
Original Assignee
황호정
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 황호정 filed Critical 황호정
Publication of WO2016089067A1 publication Critical patent/WO2016089067A1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C13/00Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02Initiating means
    • B64C13/16Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/20Initiating means actuated automatically, e.g. responsive to gust detectors using radiated signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor

Definitions

  • the present invention relates to an unmanned vehicle remote control system and method, and more particularly to an unmanned vehicle remote control that enables wide area remote control in a stable manner by managing an unmanned vehicle controlled through a smart terminal, which is controlled through a dedicated control unit on which a vehicle control program is executed.
  • System and method The present invention relates to an unmanned vehicle remote control system and method, and more particularly to an unmanned vehicle remote control that enables wide area remote control in a stable manner by managing an unmanned vehicle controlled through a smart terminal, which is controlled through a dedicated control unit on which a vehicle control program is executed.
  • unmanned aerial vehicles have been increasingly attempting to monitor large areas at high altitudes, or to perform specific functions (beacon signal generation, pesticide application, transport of objects, warning broadcasts, etc.). Cases of monitoring the environment or performing specific functions (water quality testing, green algae testing, fish detection, buoy management, terrain detection, etc.) are also increasing.
  • the performance of the driving unit of the unmanned mobile body is improved and the power supply performance of the unmanned mobile body is improved, the economical and utilization efficiency of the unmanned mobile body is increased, and thus the use of the unmanned mobile body is gradually increasing.
  • unmanned reconnaissance aircraft used in the wide area is very expensive, and the construction of a dedicated ground station control center to control it is very expensive, so it is limited to the case where it is necessary despite the high cost such as fire, disaster, and military purposes. Even if the expensive unmanned remote control system is used, there is no suitable way to solve the hardware or software problem.
  • Patent Document 1 Korean Registered Patent No. 10-0679690 [Moving Body with Camera Phone, Remote Control System and Image Information Processing of Mobile Body with Camera Phone]
  • An object of the embodiments of the present invention for improving the above-mentioned problems is to easily interwork with the dedicated control unit that is used for controlling the movement of the vehicle while supporting various protocols, through which the automatic navigation operation control or real-time video and status monitoring is possible.
  • the present invention provides an unmanned mobile vehicle remote control system and method with a smart terminal configured to enable easy reset and restoration as well as change of software or settings during operation, in the event of a sensor, hardware or software problem applied to the mobile vehicle.
  • Another object of the embodiments of the present invention is to manage a dedicated control unit for moving a mobile device through the control of a remote ground station terminal or a ground station control center through a wide area network, the ground station after storing the high-definition image through the built-in camera of the smart terminal
  • Unmanned mobile remote control system with a smart terminal added to search and select and provide according to the request of the smart terminal, and to enable the remote control in a cheap and various ways by allowing the smart terminal to be synchronized and controlled in the event of an abnormal situation; To provide a way.
  • Another object of the embodiments of the present invention is connected to a dedicated control unit for moving the vehicle to verify the abnormality by comparing the state of the mobile sensor sensors that provide information according to the operation of the smart terminal with its built-in sensors,
  • the present invention provides an unmanned moving object remote control system and method that enables a response to sensor abnormality by changing a sensor use setting connected to a dedicated control unit and converting the sensor measurement value to a previously used value.
  • the unmanned moving object remote control system is a sensor, image and communication signal input and output through the external interface based on the moving object control program and settings recorded through the control setting interface
  • An interworking interface for interworking the interfaces of the dedicated control unit with a standard interface applied to the smart terminal It is connected to the dedicated control unit through the interworking interface and connected to the ground station and the wide area wireless communication network to transmit the control status information and the transmission image received from the dedicated control unit to the ground station, and the operation information or the mobile remote control information received from the ground station.
  • the mobile control program or the setting of the dedicated control unit is controlled during operation of the moving object through the control setting interface of the dedicated control unit at the request of the ground station. It includes a smart terminal to change.
  • the smart terminal backs up the information held by the dedicated control unit internally for the control of the moving object and the driving information of the moving object according to the control state information of the dedicated control unit or the request of the ground station, and resets the dedicated control unit. Restoring the contents, and the dedicated control unit may maintain the mobile basic control state during the reset.
  • the smart terminal may include a built-in camera, resize an image taken by the built-in camera, provide the image to the dedicated control unit as image information, and receive and transmit a transmission image in which status information is displayed on an on-screen display to a ground station. have.
  • the smart terminal itself has a camera and a memory for storing an image taken by the camera, and photographs and stores the image while driving and retrieves and transmits or transmits the stored contents in real time at the request of the ground station. Can provide.
  • the smart terminal may determine the abnormality according to a preset criterion by grasping the control state information of the dedicated controller or its own state, and in response to the abnormality by performing a preset corresponding function according to the type of abnormality occurrence. Can be.
  • the smart terminal compares the outputs of the sensors corresponding to the sensors built into the smart terminal among the mobile sensors to detect an error of the mobile sensor or when the mobile sensor abnormality is detected through the control state information of the dedicated controller.
  • the moving object control program or setting of the dedicated control unit configured to use the sensor may be changed, and the output of the built-in sensor may be converted according to the output of the moving object sensor and then provided to the dedicated control unit.
  • the smart terminal waits for a connection with a new ground station when it is determined that the communication connection with the ground station is abnormal, and automatically operates according to previously received flight information, and may interwork through authentication when another ground station is connected. .
  • the smart terminal may include a local area communication configuration other than the wide area network, and may operate as an access point for interworking local area communication information with the wide area network at the request of the ground station.
  • the smart terminal may include a rear and front camera, and may provide a moving body internal image through the front camera according to the request of the ground station.
  • the smart terminal may include a touch display, and may mirror and transmit a display image of the touch display as it is and request a ground station to process a control signal of the ground station as a touch input.
  • a smart terminal connected to a dedicated control unit for controlling the moving object sensor and the driving unit controls the moving object based on driving information or control information received from the ground station by accessing the ground station through a wide area network.
  • An unmanned moving object remote control method wherein a smart terminal having received driving information and control information of a ground station controls a dedicated control unit to operate a mobile unit, and transmits state information and transmission image provided by the dedicated control unit to the ground station through a wide area network.
  • the unmanned vehicle remote control system and method connects a smart terminal that is used universally to a dedicated control unit used for moving vehicle control and configures a dedicated application to the smart terminal to support various protocols. It can be easily interlocked with a moving object, and this linkage enables automatic navigation operation control, real-time video and status monitoring, and easy reset and restoration when a sensor, hardware, or software error is applied to the moving object. Even changes can be made.
  • a smart terminal manages a dedicated control unit for operating a mobile vehicle through the control of a remote ground station terminal or a ground station control center through a wide area network, and the high quality of the smart terminal through a built-in camera. After saving the video, it can be searched and selected according to the request of the ground station, and in case of an abnormal situation, the smart terminal can be synchronized and controlled by mirroring method so that remote control can be done in a cheap and various way, so that the expensive unmanned moving object can be remotely located. It is effective to maintain control safely and stably when controlling from.
  • the unmanned moving object remote control system and method according to an embodiment of the present invention is connected to a dedicated control unit for moving a moving object and compares the state of moving object sensors that provide driving related information with the state of the sensors embedded in the smart terminal. After verifying and changing the sensor use setting connected to the dedicated control unit in case of abnormality, it is possible to respond to the sensor abnormality by providing its own sensor measured value to the used value so that it can safely operate an expensive unmanned moving object. It works.
  • FIG. 1 is an exemplary view showing a remote control system configuration of an unmanned moving object.
  • FIG. 2 is a conceptual diagram illustrating an exemplary configuration of a dedicated control unit applied to an unmanned moving object.
  • FIG. 3 is a conceptual diagram showing the configuration of an unmanned mobile remote control system according to an embodiment of the present invention.
  • Figure 4 is an exemplary view showing a moving object control block configured in the unmanned moving object of the unmanned moving object remote control system according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating an example of updating a dedicated control unit during operation according to an unmanned vehicle remote control method according to an embodiment of the present invention.
  • Figure 6 is a flow chart showing an example corresponding to the occurrence of abnormalities during operation in accordance with the method for remote control of the unmanned vehicle according to an embodiment of the present invention.
  • the general terms used in the present invention should be interpreted as defined in the dictionary or according to the context before and after, and should not be interpreted in an excessively reduced sense.
  • the embodiment of the present invention is an example of an unmanned vehicle, but in the case of an unmanned vessel or an unmanned vehicle, the same technical principles can be applied, so that the unmanned vehicle is not only an unmanned vehicle, but also various types of vehicles. It means.
  • first and second used in the present invention may be used to describe components, but the components should not be limited by the terms. The terms are used only to distinguish one component from another.
  • first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • FIG. 1 is an exemplary view showing the configuration of a remote control system of an unmanned moving object, the moving object control blocks 11 to 15 configured in the unmanned moving object 10 as shown in the figure and the ground control station 20 for remotely controlling the distance from the field of view. It is composed of
  • the sensor unit 12 may include, for example, an acceleration sensor, a gyro sensor, a geomagnetic field sensor, a position sensor (GPS), a power sensor, etc. as various sensors required for driving the moving object.
  • an acceleration sensor for example, an acceleration sensor, a gyro sensor, a geomagnetic field sensor, a position sensor (GPS), a power sensor, etc.
  • GPS position sensor
  • power sensor etc.
  • the driving unit 13 may be a motor, an engine, a servomotor, a solenoid, or the like for driving force and direction control necessary for the movement of the moving body 10.
  • the camera 14 may provide an image for checking the field of view of the moving object 10 or recording an observation area
  • the communication unit 15 is a Wi-Fi or RF communication module
  • the ground control station 20 May provide image information and status information and receive control information for driving.
  • the dedicated control unit 11 may include settings for interfaces and processing methods to be connected according to types, functions, and methods of the sensor unit 12, the driving unit 13, the camera 14, and the communication unit 15 for each unmanned moving object 10. Based on these settings, a custom moving object control program for controlling moving object movement according to the type and function of the unmanned moving object 10 is recorded and executed.
  • the dedicated control unit 11 is basically a function that can be linked to various types of sensors, drivers, communication modules and cameras are defined according to the state of the sensor and the control command of the ground control station through the communication module It may be a commercial control module for a mobile control that is provided with a basic configuration to control the mobile to operate, in order to use it, to connect any sensor to any interface port, any communication type of module, any drive unit Based on the setting of which port is connected and used for what purpose and based on these settings, a moving object control program that defines which control algorithm to perform is generated separately, and then the control setting interface provided in the corresponding control unit 11 Download and record via Use a method for executing a moving object control program.
  • the dedicated control unit 11 may maintain or change the driving state by appropriately controlling the driving unit based on the value of a specific sensor according to the control program, and the movement according to the control command of the ground station based on the value of the specific sensor. It can be adjusted appropriately to achieve the desired result, it is possible to receive the image from the camera to insert a variety of status information in the on-screen display method and send it to the ground control station 20.
  • the recent dedicated control unit 11 has a function of independently performing the basic posture maintenance function so as not to fall even when control is interrupted due to a control program abnormality or other causes.
  • the dedicated control unit 11 when used, the control is difficult when it is out of the communication range of the communication unit 15 due to the characteristics of the remote control that operates by receiving direct control for actual operation from the ground control station 20.
  • the high-power wireless communication method is expensive to construct and maintain a wireless environment for this, and there are many regulations and noise in high-power communication. have.
  • FIG. 2 shows a configuration of a dedicated control unit 100 applied to an embodiment of the present invention.
  • a moving object control program including a setting is recorded as operating by receiving power from a power supply unit 180 for driving.
  • the control unit 120 to be executed, the control setting interface 110 for changing the setting information of the control unit 120 or recording the moving object control program, and the control unit 120 and various external components.
  • An external interface 130 for interworking with a communication unit, a sensor unit, a camera, a user-defined input / output unit, and a driving unit, and a component requiring power among external components connected to the power supply unit 180 and connected to the dedicated control unit 100 and an external interface.
  • Power management unit 140 that provides power to the camera, and changes the image provided through the camera to an appropriate resolution to adjust various values related to sensor values or operation.
  • the image processing unit 150 for generating and outputting an image to be transmitted by inserting them into the on-screen display method, and the operation of independently performing minimum basic operation control such as basic posture control or position maintenance when an abnormality occurs in the control unit 120.
  • the control unit 160 and a drive control unit 170 for controlling the various drives in the appropriate power and control scheme.
  • the control unit 120 may have a structure of, for example, a microprocessor unit (MCU), in which a moving object control program is recorded in a control program development step or installation step to be executed.
  • MCU microprocessor unit
  • the moving object control program or setting change is made at the moving object production and management stage, and the control setting interface 110 can record the program to be recorded in the control unit 120 in an on-chip state.
  • the control unit 120 is equipped with a boot loader (configuration to initialize the hardware, load the program image and execute, and to change the program image to reload the changed program image to perform a function) It may be an interface for providing a control program image to such a boot loader.
  • Unmanned mobile remote control system by utilizing the configuration of the dedicated control unit 100 to provide the wide area remote control function and the identification and recovery of abnormal conditions at a relatively low cost, and the existing unmanned mobile system In such a way that it can be easily recycled to increase the versatility, the dedicated control unit 100 has a structure in which the smart terminal 200 is interlocked.
  • FIG. 3 is a conceptual diagram showing the configuration of an unmanned mobile remote control system according to an embodiment of the present invention.
  • the mobile control block (dotted line) configured in the unmanned mobile vehicle is shown to be configured to interwork with the ground station 400 through a communication network 300 including a wide area wireless communication network.
  • the moving object control block includes a dedicated control unit 100, a sensor unit 101, a driving unit 102, a camera 103 connected to the dedicated control unit 100, and an interworking interface with the dedicated control unit 100 ( It consists of a smart terminal 200 that is interlocked through the 250.
  • the smart terminal 200 may be installed and operate a variety of applications internally, such as smart phones, tablets, mobile communication terminals generally known, and supports wide area mobile communication such as 3G, 4G (LTE, LTE-A) It supports near field communication such as Wi-Fi or Bluetooth, and has various sensors (acceleration, geomagnetic field, gyroscope, position (GPS), illuminance sensor, etc.), and high resolution cameras (rear camera, front camera). Means a terminal built.
  • the smart terminal 200 Since the smart terminal 200 has a standardized wired interface port and mostly transmits and receives data in a serial manner, the smart terminal 200 communicates with the dedicated control unit 100 through an external interface and also through the control setting interface.
  • the interworking interface 250 is further configured to update and reset the control program.
  • the interworking interface 250 is for providing a configuration or specific information for converting serial and parallel signals internally at a specific timing in order to interwork the interfaces of the dedicated control unit 100 and the standard interface applied to the smart terminal 200. Conversion configurations may be included, and when such a signal conversion configuration is embedded in the dedicated control unit 100, it may be a connection line electrically connecting the interfaces.
  • the moving object control block including the illustrated smart terminal 200 is largely composed of a dedicated control unit 100 and a smart terminal 200.
  • the dedicated control unit 100 controls the basic operation of the unmanned moving object and generates basic monitoring information. It performs quickly at a speed and performance suitable for the smart terminal 200, while interlocking with the dedicated control unit 100 and the ground station 400 and the wide area communication method to control about the comprehensive operation or wide area operation at a high level and monitoring information To provide. This enables operation based on point (GPS coordinates) for large areas or performing additional functions (eg, analysis of collected information, communication repeater functions, beacon signal generation, pesticide spraying, transportation of objects, warning broadcasts, etc.).
  • additional functions eg, analysis of collected information, communication repeater functions, beacon signal generation, pesticide spraying, transportation of objects, warning broadcasts, etc.
  • a control program of the dedicated control unit 100 is updated, or a function update and error recovery during operation such as changing a setting are possible.
  • an abnormality of the sensor unit 101 may be verified or replaced when the abnormality is detected based on the driving state information of the dedicated control unit 100, and the camera 103 may be replaced.
  • the function of may also be replaced by a function built in the smart terminal 200.
  • the moving control which requires immediate control, is performed by the dedicated control unit. Management is best suited for stable control.
  • the configuration of the ground station 400 can be simplified.
  • the ground station 400 may be used for various kinds of ground station terminals as a configuration for remotely controlling a mobile object in a wide area.
  • the ground station 400 may be connected via the mobile communication network 300 without selecting the smart terminal 420 or the general computer 410, or the Internet.
  • Various types of terminals connected through the device can be used.
  • the ground station 400 can be directly connected through the smart terminal 200 and the mobile communication network 300 of the unmanned mobile vehicle can be controlled by a simple control method, if necessary, as a connection information for the smart terminal 200 of the mobile vehicle Ground stations may be selectively connected and controlled. That is, while the A ground station controls and stops the wide area communication (in this case, the unmanned vehicle is automatically operated according to the set driving route), the B ground station can continue to control the wide area communication by connecting to the smart terminal of the unmanned vehicle.
  • FIG. 4 is a block diagram showing the configuration of a moving object control block configured in an unmanned moving object among the unmanned moving object remote control system according to an embodiment of the present invention.
  • the smart terminal 200 is interlocked with the dedicated control unit 100 through the interworking interface 250, which includes an external interface 130, a control setting interface 110, and a power management unit 140 of the dedicated control unit 100. ).
  • the smart terminal 200 is connected to the ground station 400 through a wide area network (3G, 4G (LTE, LTE-A) mobile communication data network), and according to the control request of the ground station 400 dedicated control unit 100 It controls the operation of the, and provides the ground station 400 to the transmission state processing the control state information or the camera image provided by the dedicated control unit 100.
  • 3G, 4G (LTE, LTE-A) mobile communication data network 3G, 4G (LTE, LTE-A) mobile communication data network
  • Sensor management unit 270 that checks the deviation from the built-in sensors and, if necessary, converts the built-in sensor value into a standard corresponding to the moving object sensor, and provides wide area communication to and from the ground station and access if necessary.
  • a built-in camera and a composite communication unit 280 that provides a short-range communication (Wi-Fi, Bluetooth, etc.) function to operate as a point Capture high-quality video from the outside of the fuselage (e.g., a high-definition camera built into the back of the smart terminal) or video from the inside of the moving body (e.g., the camera built into the front of the smart terminal) and store it in internal or external memory.
  • a short-range communication Wi-Fi, Bluetooth, etc.
  • a video storage and management unit 225 for transmitting or transmitting in real time, a video transmission unit 220 for providing a streaming video to the ground station and a video transmitted from the dedicated control unit 100 or a video storage and management unit 225,
  • the operation management unit 230 to enable automatic navigation, and the display image of the current touch display of the smart terminal at the request of the ground station as it is
  • Mirroring synchronization unit for transmitting by mirroring and processing the control signal of the ground station as a touch input (2 90 and a program and setting update unit 260 for updating the setting of the dedicated control unit 100 or the moving object control program being executed in the control unit 120 through the control setting interface 110 while driving, and the dedicated control unit 100.
  • the abnormality determination unit 240 for performing a preset corresponding function according to the type of abnormality occurrence; Integration with the interlocking conversion unit 250 for converting the dedicated control unit 100 protocol and the universal ground station control protocol according to the custom setting and control program of the control unit 100 to interoperate with each of these components 220 to 290 Remote control unit 210 to manage.
  • the image transmission unit 220 provides or resizes the image captured by the camera built in the smart terminal 200 to the dedicated control unit 100, and receives the processed image processed by the dedicated control unit 100.
  • the mobile camera function may be replaced by the built-in camera of the smart terminal 200, and such a function may be selectively operated.
  • the dedicated control unit 100 When the control program (or settings) being executed by the dedicated control unit 100 is updated by the operation of the program and setting update unit 260, the dedicated control unit 100 must be reset for restart because the operation is stopped and restarted in this case. It may be linked with the management unit 245. In the embodiment of the present invention, the change of the setting of the dedicated control unit 100 may or may not require reprogramming (writing) of the control program running in the dedicated control unit 100. It can be processed in the same way as the update of the program.
  • the driving unit is controlled according to the sensing state or the control operation of the sensor unit, the image is processed to generate a transmission image, and the power is managed.
  • the control of the dedicated control unit 100 basically receives a direct remote operation signal of a ground station and provides a unidirectional transmission image, the automatic navigation control or the image analysis through several points is performed to perform the control accordingly.
  • the configuration for complex control is not included, and the control method and performance may differ from vehicle to vehicle, depending on the type of moving object control program and settings.
  • the interlocking converter 250 configured in the smart terminal 200 converts the control protocol or converts the control protocol into control timing so that the dedicated control unit 100 can process the information about the mobile object control and the driving control provided by the ground station.
  • the control unit 100 Provided to the control unit 100, and receives the state information and the transmission image from the dedicated control unit 100 and converts it to the form desired by the ground station.
  • the interlocking converter 250 converts it into a series of control commands that can be accepted by the control program of the dedicated control unit and provides it.
  • the conversion setting of the interlocking conversion unit 250 may be based on the setting of the moving object control program being executed by the dedicated control unit 100.
  • the abnormality determining unit 240 determines whether the dedicated control unit 100 malfunctions or determines a malfunction of the moving object sensor based on the control state information of the dedicated control unit 100 to determine a malfunction or stoppage of the dedicated control unit 100.
  • the dedicated control unit 100 is reset through the reset management unit 245, and the abnormality of the moving object sensor is determined, the setting of the use sensor of the dedicated control unit 100 set to use the moving object sensor through the sensor management unit 270. After changing to the sensor of the smart terminal can be provided by changing the value of the built-in sensor to correspond to the mobile sensor output. If the abnormality of the smart terminal 200 itself is determined, the configuration may be further added to reset the smart terminal 200 itself (in particular, the recent smart terminal 200 has its own processing speed below a certain level or stops).
  • the abnormality determination unit 240 stops the corresponding wide area communication and waits for the connection of the new ground station, and if the existing ground station or the new ground station attempts to connect, the authentication procedure is performed. If it is a certified ground station, interworking shall be resumed. Through this, it is also possible to sequentially control a single unmanned mobile vehicle operated by multiple ground stations.
  • the remote control unit 210 analyzes the control state provided by the dedicated control unit 100 or the image through the transmission image or the image built-in camera to identify the moving object or the terrain, or analyze according to a specific monitoring purpose (fire, Forest fires, etc.), and various additional services may be possible by using a short range communication means as a repeater to enable remote information exchange for a short range communication means (for example, Bluetooth) located in an area where a mobile body is located.
  • a short range communication means for example, Bluetooth
  • beacon signal generation pesticide spraying
  • object transport warning broadcast
  • water quality inspection such as terrain detection, green algae inspection, fish detection, buoy management, and terrain detection.
  • FIG. 5 is a flowchart illustrating an example of updating a dedicated controller during operation according to an unmanned vehicle remote control method according to an exemplary embodiment of the present invention. As shown in FIG. 5, sensing and driving of an unmanned vehicle is performed for a dedicated controller configured in an unmanned vehicle. Write the dedicated control program created according to the features and complete the necessary settings to finish the operation.
  • the smart terminal receives the driving route information from the ground station for moving the mobile.
  • the driving route information may include GPS information and terrain information (eg, an altitude degree on the driving route) for each location to be driven.
  • the smart terminal controls the dedicated control unit based on the driving route information to manage the operation of the moving object, receives the control status information from the dedicated control unit, receives the transmission image information, converts it into a form desired by the ground station, and transmits it in a wide area communication method.
  • the smart terminal while the smart terminal maintains the operation, it provides relevant monitoring information (control status information and transmission image) to the ground station, while the ground station provides new driving information, setting change information, or provides an image source or resolution based on the monitoring information. Information may be provided.
  • the received smart terminal can continue the operation by updating the existing driving information with new driving information, change the control criteria or change the sensor according to the change of the setting, and use the built-in camera of the smart terminal instead of the mobile camera. Can be transmitted. A mirroring scheme can also be used for such control.
  • the moving object control program of the dedicated control unit is updated with the new moving object control program provided or the new moving object control program received from the ground station. For this purpose, first of all, backup the control state information managed by the dedicated control unit for the driving information and the moving object control, and the dedicated control unit is switched to the programming standby state. Even in such a situation, the driving control unit of the dedicated control unit independently maintains the basic driving control.
  • the linkage information according to the new moving object control program may be preset in correspondence with the corresponding moving object control program.
  • the moving object control program of the dedicated control unit can be rewritten to be changed and changed during operation, it may be possible to easily develop a moving object control program, upgrade functions during operation, and correct errors.
  • FIG. 6 is a flowchart illustrating an example corresponding to an abnormal occurrence during operation according to an unmanned vehicle remote control method according to an exemplary embodiment of the present invention.
  • the sensing and driving of the unmanned vehicle is performed with respect to a dedicated controller configured in the unmanned vehicle.
  • the smart terminal After writing the dedicated control program created according to the characteristics and completing the necessary settings and preparing for the operation, the smart terminal receives the operation information from the ground station, sets the driving route, and operates the mobile accordingly.
  • the control state information and the transmission image is provided to the ground station as monitoring information when the vehicle moves, and if necessary, the smart terminal records high quality image information through the built-in camera and backs up various driving information including the control state information. This information may be verified by the ground station by searching or requesting it.
  • the smart terminal can detect an abnormal occurrence by monitoring the control state information provided by the dedicated control unit or the self state of the smart terminal according to a predetermined criterion during the movement of the moving object. For example, the dedicated control unit does not provide control state information or transmission image for a certain time, the processing speed of the smart terminal is excessively slow, or the values of the sensors included in the control state information are excessively different from the values of the built-in sensor of the smart terminal. May occur, or a situation in which communication with the ground station is interrupted may occur, and the smart terminal may detect the distinction.
  • the dedicated control unit or smart terminal performs backup after backing up necessary information and restores the backed up contents when restarting after reset.
  • the sensor value of the smart terminal is converted into the same output form as the mobile sensor and provided to the dedicated controller.
  • the smart terminal waits for a connection with a new ground station and automatically operates according to previously received flight information, and interworks through authentication when another ground station is attempted.
  • control unit 130 external interface
  • driving control unit 170 driving control unit
  • image transmission unit 225 image storage and management unit

Abstract

본 발명은 무인 비행체나 무인 선박 등과 같이 지점간 자동항법 제어가 가능하도록 구성된 무인 이동체를 스마트 단말을 통해서 안정적 방식으로 광역 원격제어가 가능하도록 한 무인 이동체 원격제어 시스템 및 방법에 관한 것으로, 이동체 운행 제어를 위해 사용되고 있는 전용 제어부에 범용적으로 사용되는 스마트 단말기를 연결하고 해당 스마트 단말기에 전용 어플리케이션을 구성하는 것으로 다양한 프로토콜을 지원하면서 무인 이동체와 용이하게 연동하고, 이러한 연동을 통해 자동 항법 운항 제어나 실시간 영상 및 상태 모니터링이 가능하며, 이동체에 적용된 센서나 하드웨어 혹은 소프트웨어 이상 발생 시 용이한 리셋과 복원은 물론이고 운항 중 소프트웨어나 설정의 변경이 가능하게 되는 효과가 있다.

Description

무인 이동체 원격제어 시스템 및 방법
본 발명은 무인 이동체 원격제어 시스템 및 방법에 관한 것으로, 특히 이동체 제어 프로그램이 실행되는 전용 제어부를 통해 제어되는 무인 이동체를 스마트 단말을 통해서 관리하여 안정적 방식으로 광역 원격제어가 가능하도록 한 무인 이동체 원격제어 시스템 및 방법에 관한 것이다.
최근 무인 항공체를 통해서 넓은 지역을 높은 고도에서 감시하거나 특정한 기능(비콘 신호 발생, 농약 살포, 물체의 운반, 경고 방송 등)을 수행하고자 하는 사례가 증가하고 있으며, 무인 선박을 통해서 넓은 지역에 대한 환경을 감시하거나 특정한 기능(수질검사, 녹조류 검사, 어군탐지, 부이 관리, 지형 탐지 등)을 수행하는 사례 역시 증가하고 있다.
즉, 무인 이동체의 구동부의 성능이 개선되고 무인 이동체의 전원 성능이 개선되면서 무인 이동체 이용에 대한 경제성과 활용성이 높아지고 있으므로 점차 이러한 무인 이동체에 대한 사용이 증가하고 있는 실정이다.
하지만, 아직까지 대부분의 무인 이동체는 근거리 통신을 이용하여 조작자가 해당 무인 이동체를 보면서 직접 제어하는 방식이 일반적이며, 원거리 자동 항법 제어를 위해서는 제어부의 구성이 복잡해지고 통신부 성능이 개선되어야 하므로 비용이 급증하며, 이러한 복잡성에 의해 운행 중 하드웨어나 소프트웨어 문제가 발생하는 경우 후속 조치가 어려운 상황이 발생하게 된다.
예컨대, 광역에서 사용되고 있는 무인 정찰기의 경우 그 가격이 대단히 높으며 이를 제어하기 위한 전용 지상국 제어 센터 구성에도 대단히 높은 비용이 발생하게 되므로 소방, 재난, 군사적 목적과 같이 높은 비용에도 불구하고 반드시 필요한 경우에 한정적으로 이용되고 있으며, 이러한 고가의 무인 원격 제어 시스템을 이용한다 하더라도 하드웨어나 소프트웨어의 문제가 발생하게 될 경우 이를 해결할 적당한 방법이 없는 실정이다.
따라서, 다양한 무인 이동체가 보편화되고 있는 상황에서, 이를 좀 더 효과적이고 안정적으로 제어하면서 그 제어 범위를 광역으로 확장하고, 운행 중 발생되는 각종 이상 상황에 능동적으로 대응할 수 있도록 하는 저렴한 시스템에 대한 요구가 증가하고 있는 실정이다.
[선행기술문헌]
[특허문헌]
(특허문헌 1) 한국 등록특허 제10-0679690호 [카메라폰이 장착되는 이동체와, 카메라폰이 장착되는 이동체의 원격 제어 시스템 및 화상정보 처리와 그 이동체 원격 제어방법]
전술한 문제점을 개선하기 위한 본 발명 실시예들의 목적은 이동체 운행 제어를 위해 사용되고 있는 전용 제어부와 다양한 프로토콜을 지원하면서 용이하게 연동하고, 이러한 연동을 통해 자동 항법 운항 제어나 실시간 영상 및 상태 모니터링이 가능하며, 이동체에 적용된 센서나 하드웨어 혹은 소프트웨어 이상 발생 시 용이한 리셋과 복원은 물론이고 운항 중 소프트웨어나 설정의 변경도 가능하도록 구성한 스마트 단말기를 부가한 무인 이동체 원격제어 시스템 및 방법을 제공하는 것이다.
본 발명 실시예들의 다른 목적은 이동체 운행을 위한 전용 제어부를 스마트 단말기가 광역 통신망을 통해 원격지 지상국 단말기나 지상국 관제 센터의 제어를 통해 관리하며, 스마트 단말기의 내장 카메라를 통한 고화질 영상을 저장한 후 지상국의 요청에 따라 검색 및 선별하여 제공하고, 이상 상황 발생 시 스마트 단말기를 미러링 방식으로 동기화하여 제어할 수 있도록 하여 저렴하면서도 다양한 방식으로 원격 제어가 가능하도록 한 스마트 단말기를 부가한 무인 이동체 원격제어 시스템 및 방법을 제공하는 것이다.
본 발명 실시예들의 또 다른 목적은 이동체 운행을 위한 전용 제어부에 연결되어 운행에 따른 정보를 제공하는 이동체 센서들의 상태를 스마트 단말기가 자신에 내장된 센서들의 상태와 비교하여 이상 여부를 검증하고, 이상 발생 시 전용 제어부에 연결된 센서 사용 설정을 변경한 후 자신의 센서 측정값을 기 사용되는 값으로 변환하여 제공하는 것으로 센서 이상에 대한 대응이 가능하도록 한 무인 이동체 원격제어 시스템 및 방법을 제공하는 것이다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 무인 이동체 원격제어 시스템은 제어 설정 인터페이스를 통해 기록되는 이동체 제어 프로그램과 설정을 기반으로 외부 인터페이스를 통해 입출력되는 센서, 영상 및 통신 신호를 처리하고 구동부를 제어하여 이동체를 운행하며 제어 상태 정보와 전송 영상을 생성하는 이동체 제어를 위한 전용 제어부와; 상기 전용 제어부의 인터페이스들과 스마트 단말기에 적용된 표준 인터페이스를 연동시키는 연동 인터페이스와; 상기 연동 인터페이스를 통해 상기 전용 제어부에 연결되고 지상국과 광역 무선 통신망을 통해 연결되어 상기 전용 제어부에서 수신한 제어 상태 정보와 전송 영상을 지상국에 전송하고, 지상국으로부터 수신한 운행 정보나 이동체 원격 제어 정보를 상기 전용 제어부의 이동체 제어 프로그램 및 설정에 따른 입출력 정보로 프로토콜 변환하여 전용 제어부에 제공하며, 지상국 요청에 따라 상기 전용 제어부의 제어 설정 인터페이스를 통해 이동체의 운행 중에 상기 전용 제어부의 이동체 제어 프로그램이나 설정을 변경하는 스마트 단말기를 포함한다.
일례로서, 상기 스마트 단말기는 상기 전용 제어부의 제어 상태 정보나 지상국의 요청에 따라 상기 전용 제어부가 이동체 제어를 위해 내부적으로 보유한 정보 및 이동체의 운행정보를 백업하고 상기 전용 제어부를 리셋한 후 상기 백업된 내용으로 복원하며, 상기 전용 제어부는 상기 리셋되는 동안 이동체 기본 제어 상태를 유지할 수 있다.
일례로서, 상기 스마트 단말기는 내장 카메라를 포함하고, 내장 카메라로 촬영된 영상을 리사이즈하여 상기 전용 제어부에 영상 정보로 제공하고 상태 정보가 온스크린 디스플레이 방식으로 표시된 전송 영상을 수신하여 지상국에 제공할 수 있다.
일례로서, 상기 스마트 단말기는 자체적으로 카메라와 해당 카메라를 통해 촬영되는 영상을 저장하는 메모리를 구비하고, 운행 시 영상을 촬영 및 저장하고 상기 지상국의 요청에 따라 저장 내용의 검색 및 전송이나 실시간 전송을 제공할 수 있다.
일례로서, 상기 스마트 단말기는 상기 전용 제어부의 제어 상태 정보나 자신의 상태를 파악하여 기 설정된 기준에 따라 이상 여부를 판단하고, 이상 발생 시 이상 발생 종류에 따라 미리 설정된 대응 기능을 수행하여 이상에 대응할 수 있다.
일례로서, 상기 스마트 단말기는 이동체 센서들 중 스마트 단말기에 내장된 센서들에 대응되는 센서들의 출력들을 비교하여 이동체 센서의 오류를 검출하거나 전용 제어부의 제어 상태 정보를 통해 이동체 센서 이상을 파악하면 상기 이동체 센서를 사용하도록 되어 있는 전용 제어부의 이동체 제어 프로그램이나 설정을 변경하고 내장된 센서의 출력을 상기 이동체 센서의 출력에 맞추어 변환한 후 상기 전용 제어부에 제공할 수 있다.
일례로서, 상기 스마트 단말기는 지상국과의 통신 연결 이상이 판단되면 새로운 지상국과의 연결을 대기하며 미리 수신된 운항 정보에 따라 자동 운항하되, 다른 지상국의 연결이 시도될 경우 인증을 통해 연동할 수 있다.
일례로서, 상기 스마트 단말기는 광역 통신망 외의 근거리 통신 구성을 포함하며, 상기 지상국의 요청에 따라 근거리 통신 정보를 광역 통신망에 연동시키는 억세스 포인트로 동작할 수 있다.
일례로서, 상기 스마트 단말기는 후방 및 전방 카메라를 구비하며, 지상국 요청에 따라 전방 카메라를 통해 이동체 내부 영상을 제공할 수 있다.
일례로서, 상기 스마트 단말기는 터치 디스플레이를 포함하며, 지상국 요청에 따라 터치 디스플레이의 표시 영상을 그대로 미러링하여 전송하고 지상국의 제어 신호를 터치 입력으로 처리할 수 있다.
본 발명의 다른 실시예에 따른 무인 이동체 원격제어 방법은 이동체 센서와 구동부를 제어하는 전용 제어부와 연결된 스마트 단말기가 광역 통신망으로 지상국에 접속하여 지상국으로부터 수신되는 운행 정보나 제어 정보를 기반으로 이동체를 제어하는 무인 이동체 원격제어 방법으로서, 지상국의 운행정보와 제어 정보를 수신한 스마트 단말기가 전용 제어부를 제어하여 이동체를 운행하면서 상기 전용 제어부가 제공하는 상태 정보와 전송 영상을 지상국에 광역 통신망을 통해 전달하는 단계와; 상기 스마트 단말기가 운행 중 지상국으로부터 전용 제어부에 기록되어 실행 중인 이동체 제어 프로그램이나 설정 변경에 대한 요청을 수신하는 경우 변경에 대한 정보를 수신한 후 운행 중에 상기 전용 제어부에 이동체 제어 프로그램이나 설정을 변경하는 단계와; 상기 스마트 단말기가 상기 전용 제어부의 상태 정보에 이상이 발생하거나 지상국으로부터 요청을 받는 경우 상기 전용 제어부가 이동체 제어를 위해 내부적으로 보유한 정보 및 이동체의 운행정보를 백업하고 상기 전용 제어부를 리셋한 후 상기 백업된 내용으로 복원하는 단계를 포함하되, 상기 전용 제어부는 이동체 제어 프로그램이나 설정 변경, 혹은 리셋되는 동안 이동체 기본 제어 상태를 유지할 수 있다.
본 발명 실시예에 따른 무인 이동체 원격제어 시스템 및 방법은 이동체 운행 제어를 위해 사용되고 있는 전용 제어부에 범용적으로 사용되는 스마트 단말기를 연결하고 해당 스마트 단말기에 전용 어플리케이션을 구성하는 것으로 다양한 프로토콜을 지원하면서 무인 이동체와 용이하게 연동하고, 이러한 연동을 통해 자동 항법 운항 제어나 실시간 영상 및 상태 모니터링이 가능하며, 이동체에 적용된 센서나 하드웨어 혹은 소프트웨어 이상 발생 시 용이한 리셋과 복원은 물론이고 운항 중 소프트웨어나 설정의 변경까지도 가능하게 되는 효과가 있다.
본 발명 실시예에 따른 무인 이동체 원격제어 시스템 및 방법은 이동체 운행을 위한 전용 제어부를 스마트 단말기가 광역 통신망을 통해 원격지 지상국 단말기나 지상국 관제 센터의 제어를 통해 관리하며, 스마트 단말기의 내장 카메라를 통한 고화질 영상을 저장한 후 지상국의 요청에 따라 검색 및 선별하여 제공하고, 이상 상황 발생 시 스마트 단말기를 미러링 방식으로 동기화하여 제어할 수 있도록 하여 저렴하면서도 다양한 방식으로 원격 제어가 가능하므로 고가의 무인 이동체를 원격지에서 제어할 때 안전하고 안정적으로 제어를 유지할 수 있는 효과가 있다.
본 발명 실시예에 따른 무인 이동체 원격제어 시스템 및 방법은 이동체 운행을 위한 전용 제어부에 연결되어 운행 관련 정보를 제공하는 이동체 센서들의 상태를 스마트 단말기가 자신에 내장된 센서들의 상태와 비교하여 이상 여부를 검증하고, 이상 발생 시 전용 제어부에 연결된 센서 사용 설정을 변경한 후 자신의 센서 측정값을 기 사용되는 값으로 변환하여 제공하여 센서 이상에 대한 대응이 가능하므로 고가의 무인 이동체를 안전하게 운행할 수 있는 효과가 있다.
도 1은 무인 이동체의 원격 제어 시스템 구성을 보인 예시도.
도 2는 무인 이동체에 적용되는 전용 제어부의 예시적 구성을 보인 개념도.
도 3은 본 발명의 실시예에 따른 무인 이동체 원격 제어 시스템의 구성을 보인 개념도.
도 4는 본 발명의 실시예에 따른 무인 이동체 원격 제어 시스템 중 무인 이동체에 구성되는 이동체 제어 블록을 보인 예시도.
도 5는 본 발명의 실시예에 따른 무인 이동체 원격 제어 방법에 따라 운행 중 전용 제어부를 갱신하는 예를 보인 순서도.
도 6은 본 발명의 실시예에 따른 무인 이동체 원격 제어 방법에 따라 운행 중 이상 발생에 대응하는 예를 보인 순서도.
상기한 바와 같은 본 발명을 첨부된 도면들과 실시예들을 통해 상세히 설명하도록 한다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다. 특히, 무인 이동체의 경우 본 발명의 실시예에서는 무인 비행체를 예시로 들고 있으나, 무인 선박이나 무인 차량 등의 경우도 동일한 기술적 원리가 적용될 수 있으므로 무인 이동체는 무인 비행체뿐만이 아닌 다양한 종류의 이동체들을 포괄적으로 의미하는 것이다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 무인 이동체의 원격 제어 시스템 구성을 보인 예시도로서, 도시된 바와 같은 무인 이동체(10)에 구성된 이동체 제어 블록(11~15)과 이를 시야가 미치는 거리에서 원격제어하는 지상 제어국(20)으로 구성된다.
상기 센서부(12)는 이동체의 운행을 위해 필요한 각종 센서로서 예컨대 가속도 센서, 자이로 센서, 지자계센서, 위치센서(GPS), 전력 센서 등을 포함할 수 있다.
구동부(13)는 이동체(10)의 운행에 필요한 추친력과 방향 제어 등을 위한 모터, 엔진, 서보모터, 솔레노이드 등일 수 있다.
카메라(14)는 이동체(10)의 운행 중 시야를 확인하거나 관찰 영역을 녹화하기 위한 영상을 제공할 수 있고, 통신부(15)는 와이파이(Wifi)나 RF 방식 통신 모듈로서, 지상 제어국(20)에 영상 정보와 상태 정보를 제공하고 운행을 위한 제어 정보를 수신할 수 있다.
전용 제어부(11)는 무인 이동체(10) 별로 다른 센서부(12), 구동부(13), 카메라(14) 및 통신부(15)의 종류와 기능 및 방식에 따라 연결될 인터페이스 및 처리 방식에 대한 설정과 이러한 설정 내용을 기반으로 해당 무인 이동체(10)의 종류와 기능에 따른 이동체 운행 제어를 수행하는 커스텀 이동체 제어 프로그램이 기록되어 실행된다. 즉, 전용 제어부(11)는 기본적으로 다양한 종류의 센서들, 구동부들, 통신 모듈들 및 카메라와 연동할 수 있는 기능이 정의되어 센서의 상태 및 통신 모듈을 통한 지상 제어국의 제어 명령에 따라 구동부를 제어하여 이동체를 운행할 수 있도록 하는 기본 구성이 마련되어 있는 이동체 제어용 상용 제어모듈일 수 있는데, 이를 사용하기 위해서는 어떠한 인터페이스 포트에 어떠한 센서들을 연결하고, 어떠한 통신 방식의 모듈을 연결하며, 어떠한 구동부를 어떠한 포트에 연결하여 어떠한 용도로 사용할 것인지에 대한 설정과 이러한 설정을 토대로 어떠한 운행 알고리즘을 통해서 제어를 수행할 것인지가 정의된 이동체 제어 프로그램을 별도로 생성한 후 이를 해당 전용 제어부(11)에 마련된 제어 설정 인터페이스를 통해서 다운로드하여 기록한 다음 해당 이동체 제어 프로그램을 실행시키는 방식을 이용한다.
예컨대 전용 제어부(11)는 제어 프로그램에 따라 특정한 센서의 값을 기준으로 구동부를 적절하게 제어하는 것으로 운행 상태를 유지하거나 변화시킬 수 있고, 지상국의 제어 명령에 따른 움직임을 특정 센서의 값들을 기준으로 적절하게 조절하여 원하는 결과가 나타나도록 할 수 있으며, 카메라로부터 영상을 수신하여 해당 영상에 각종 상태 정보를 온스크린 디스플레이 방식으로 삽입하여 이를 지상 제어국(20)에 송출할 수 있다.
또한, 최근의 전용 제어부(11)의 경우 제어 프로그램 이상이나 기타 원인에 의해 제어가 중단되는 경우에도 추락하지 않도록 기본적인 자세유지 기능이 독립적으로 수행되는 기능을 구비하고 있다.
하지만, 이러한 전용 제어부(11)를 이용하는 경우 지상 제어국(20)으로부터 실제 운행을 위한 직접적 제어를 수신하여 운행하는 원격 제어의 특성상 통신부(15)의 통신 범위를 벗어나는 경우 제어가 어려운 한계가 있다.
이러한 제어 거리의 문제를 해결하기 위해서 고출력 무선 통신 방식을 이용할 경우 이를 위한 무선 환경 구축 및 유지 비용이 높고, 고출력 통신 시 각종 규제와 노이즈가 많아 광역 원격 제어를 위해 필요한 비용과 성능 저하가 과도한 문제가 있다.
특히, 다양한 환경에서 사용되는 무인 이동체의 경우 운행 환경에 의한 물리적 충격이나 커스텀 이동체 제어 프로그램의 오류, 센서의 이상, 통신 이상 등의 각종 이상 상황이 발생할 가능성이 높고 이를 운행 중 복구하기 어려워 원격제어 시 고가의 무인 이동체가 파손되거나 망실되는 경우가 발생할 수 있으므로 광역 원격제어가 범용적으로 사용되기 어렵다.
도 2는 본 발명의 실시예에 적용되는 전용 제어부(100)의 구성을 보인 것으로, 도시된 바와 같이 구동을 위한 전원부(180)로부터 전원을 받아 동작하는 것으로서, 설정을 포함하는 이동체 제어 프로그램이 기록되어 실행되는 제어 유닛(120)과, 이러한 제어 유닛(120)에 대한 설정 정보 변경이나 이동체 제어 프로그램의 기록이 가능하도록 하는 제어 설정 인터페이스(110)와, 이러한 제어 유닛(120)과 각종 외부 구성들(통신부, 센서부, 카메라, 사용자 정의 입출력, 구동부)과 연동하기 위한 외부 인터페이스(130)와, 전원부(180)와 연결되어 전용 제어부(100) 및 외부 인터페이스로 연결된 외부 구성들 중 전원이 필요한 구성에 전원을 제공하는 전원 관리 유닛(140)과, 카메라를 통해 제공되는 영상을 적절한 해상도로 변경하여 센서값이나 운행에 관련된 각종 상태 정보들을 온스크린 디스플레이 방식으로 삽입하여 전송할 영상을 생성하여 출력하는 영상 처리 유닛(150)과, 제어 유닛(120)의 이상 발생 시 기본적인 자세 제어나 위치 유지 등의 최소 기본 동작 제어가 독립적으로 수행되는 운전 제어 유닛(160)과, 각종 구동부들을 적절한 전력과 제어 방식으로 제어하는 구동 제어 유닛(170)을 포함한다.
제어 유닛(120)은 예를 들어 마이크로 프로세서 유닛(MCU)의 구조를 가질 수 있는데, 통상 실행될 제어 프로그램 개발 단계나 설치 단계에서 이동체 제어 프로그램이 기록된다. 이러한 이동체 제어 프로그램이나 설정 변경은 이동체 생산, 관리 단계에서 이루어지며, 제어 설정 인터페이스(110)는 이러한 제어 유닛(120)에 기록될 프로그램을 온칩 상태에서 기록할 수 있는 ICSP(In Circuit Serial Programming) 인터페이스일 수도 있고, 제어 유닛(120)이 부트로더(하드웨어를 초기화하고 프로그램 이미지를 로드하여 실행하며, 이러한 프로그램 이미지를 변경할 경우 이러한 변경된 프로그램 이미지를 다시 로드하여 기능을 수행하는 구성) 기능을 구비할 경우 이러한 부트로더에 제어 프로그램 이미지를 제공하는 인터페이스 일 수 있다.
본 발명의 실시예에 따른 무인 이동체 원격제어 시스템은 이러한 전용 제어부(100)의 구성을 최대한 활용함으로써 비교적 저렴한 비용으로 광역 원격 제어 기능과 이상 상태에 대한 파악 및 복구 기능을 제공하며, 기존 무인 이동체 시스템을 용이하게 재활용할 수 있도록 하여 범용성을 높일 수 있는 방식으로, 이러한 전용 제어부(100)에 스마트 단말기(200)를 연동시킨 구조를 가진다.
도 3은 본 발명의 실시예에 따른 무인 이동체 원격 제어 시스템의 구성을 보인 개념도이다. 도시된 바와 같이 무인 이동체에 구성되는 이동체 제어 블록(점선)이 광역 무선 통신망을 포함하는 통신망(300)을 통해서 지상국(400)과 연동하는 구성을 보인 것이다.
도시된 바와 같이 이동체 제어 블록은 전용 제어부(100)와, 해당 전용 제어부(100)에 연결되는 센서부(101), 구동부(102), 카메라(103) 및 이러한 전용 제어부(100)와 연동 인터페이스(250)를 통해 연동되는 스마트 단말기(200)로 구성된다.
스마트 단말기(200)는 일반적으로 알려져 있는 스마트폰, 태블릿, 이동통신 단말기 등과 같이 내부적으로 다양한 어플리케이션이 설치되어 동작할 수 있고, 3G, 4G(LTE, LTE-A) 와 같은 광역 이동 통신을 지원하고 와이파이(WiFi)나 블루투스(Bluetooth) 등의 근거리 통신을 지원함과 아울러 다양한 센서(가속도, 지자계, 자이로스코프, 위치(GPS), 조도 센서 등)를 구비하며, 고해상도 카메라(후방 카메라, 전방 카메라)를 내장한 단말기를 의미한다.
이러한 스마트 단말기(200)는 표준화된 유선 인터페이스 포트를 구비하며 대부분 시리얼 방식으로 데이터를 송수신하기 때문에 이를 통해서 전용 제어부(100)와 외부 인터페이스를 통해 통신함과 아울러 제어 설정 인터페이스를 통해 전용 제어부의 설정이나 제어 프로그램을 갱신하고 리셋하기 위해서 연동 인터페이스(250)를 더 구성한다.
이러한 연동 인터페이스(250)는 상기 전용 제어부(100)의 인터페이스들과 스마트 단말기(200)에 적용된 표준 인터페이스를 연동시키기 위해서 내부적으로 직렬과 병렬 신호를 변환하는 구성이나 특정 정보를 특정한 타이밍에 제공하기 위한 변환 구성들이 포함될 수 있으며, 이러한 신호 변환 구성이 전용 제어부(100)에 내장될 경우 인터페이스 간을 전기적으로 연결하는 연결 선로일 수 있다.
도시된 스마트 단말기(200)를 포함한 이동체 제어 블록은, 크게 전용 제어부(100)와 스마트 단말기(200)로 구성되는데, 전용 제어부(100)가 무인 이동체의 기본적인 운행 제어와 기본적인 모니터링 정보 생성은 이동체 제어에 적합한 속도와 성능으로 빠르게 수행하고, 스마트 단말기(200)가 이러한 전용 제어부(100)와 연동하면서 지상국(400)과 광역 통신 방식으로 통신하여 상위 레벨에서 포괄적 운행이나 광역 운행에 관하여 제어하고 모니터링 정보를 제공한다. 이를 통해서 넓은 지역에 대한 지점(GPS 좌표) 기반 운행이나 부가 기능의 수행(예컨대, 수집 정보의 분석이나 통신 중계기 기능, 비콘 신호 발생, 농약 살포, 물체의 운반, 경고 방송 등)이 가능함과 아울러 운행 중인 상황에서 전용 제어부(100)를 리셋하거나 전용 제어부(100)의 제어 프로그램을 갱신하거나 설정을 변경하는 등의 운행 중 기능 갱신 및 오류 복구가 가능하다. 또한, 스마트 단말기(200)에 이미 다양한 센서들이 존재하고 있기 때문에 전용 제어부(100)의 운행 상태 정보를 기반으로 센서부(101)의 이상을 검증하거나 이상 시 이를 대체할 수 있고, 카메라(103)의 기능 역시 스마트 단말기(200)에 내장된 기능으로 대체할 수 있다.
즉, 스마트 단말기만으로 이동체를 직접 제어하고자 할 경우 스마트 단말기의 운영체제 특성상 멀티태스킹 우선순위나 작업 처리 순위 때문에 이동체의 직접 제어에 지연이 발생하거나 처리가 즉각적으로 이루어지지 않을 수 있고, 이러한 약간의 제어 처리 지연에 의해서도 이동체가 파손되거나 망실될 가능성이 존재하기 때문에 스마트 단말기만으로 이동체를 제어하는 것은 바람직하지 않으며, 도시된 바와 같이 즉각적 제어가 필수적인 이동체 제어는 전용 제어부가 수행하도록 하고 스마트 단말기는 이러한 전용 제어부를 관리하는 방식이 안정적 제어에 가장 적합하다. 또한, 이러한 구성을 채택함으로써 실질적인 자동항법 운행은 스마트 단말기에서 대부분 처리하게 되므로 지상국(400)의 구성을 간소화할 수 있게 된다.
지상국(400)은 광역에서 이동체를 원격 제어하는 구성으로 다양한 종류의 지상국 단말기가 사용될 수 있는데, 스마트 단말기(420)나 일반 컴퓨터(410)를 가리지 않고 이동 통신망(300)을 통해 연결되거나 혹은 인터넷을 통해 연결된 다양한 종류의 단말기를 이용할 수 있다.
한편, 지상국(400)은 무인 이동체의 스마트 단말기(200)와 이동통신망(300)을 통해 직접 연결하여 간단한 제어 방식으로 관제할 수 있으며, 필요한 경우 이동체의 스마트 단말기(200)에 대한 접속 정보로 여러 지상국들이 선택적으로 접속하여 관제할 수 있다. 즉, A 지상국에서 관제하다가 광역 통신을 중단하고(이 경우에도 무인 이동체는 설정된 운행 경로에 따라 자동 운행됨) B 지상국에서 무인 이동체의 스마트 단말기에 광역 통신으로 접속하여 관제를 지속할 수 있다.
결국, 도시된 바와 같이 높은 성능과 다양한 어플리케이션의 설치 및 구동과 광역 통신을 제공하고 자체 센서들과 카메라를 통해서 다양한 서비스를 제공할 수 있지만 범용 운영체제 상에서 그래픽 인터페이스를 기반으로 동작하기 때문에 비교적 순간 대응에 한계가 있는 스마트 단말기(200)와 무인 이동체 제어를 위해서 최적화된 전용 제어부(100)의 효과적인 결합에 의해서 무인 이동체 제어 정밀도와 안정성은 그대로 유지하면서 스마트 단말기의 높은 연산 성능이나 광역 통신 성능, 내장 센서들의 활용 등이 가능하여 각종 이상 상황에 대한 대응과 복원이 가능하고 다양한 부가 서비스 제공이 가능한 무인 이동체 원격 제어가 가능하게 된다.
도 4는 본 발명의 실시예에 따른 무인 이동체 원격 제어 시스템 중 무인 이동체에 구성되는 이동체 제어 블록의 구성을 보인 구성도이다.
도시된 바와 같이 스마트 단말기(200)는 연동 인터페이스(250)를 통해 전용 제어부(100)와 연동하는데, 전용 제어부(100)의 외부 인터페이스(130), 제어 설정 인터페이스(110) 및 전원 관리 유닛(140)과 연동한다.
기본적으로 스마트 단말기(200)는 광역 통신망(3G, 4G(LTE, LTE-A) 이동통신 데이터망)을 통해 지상국(400)과 연결되며, 지상국(400)의 제어 요청에 따라 전용 제어부(100)의 운행을 제어하고, 전용 제어부(100)가 제공하는 제어 상태 정보나 카메라 영상을 처리한 전송 영상을 지상국(400)에 제공한다.
이러한 스마트 단말기(200)의 도시된 구성을 살펴보면, 우선 전용 제어부(100)의 제어 상태 정보나 지상국의 요청에 따라 상기 전용 제어부(100)가 이동체 제어를 위해 내부적으로 보유한 정보 및 지상국에서 수신된 이동체의 운행정보를 백업하고 상기 전용 제어부(100)를 리셋한 후 상기 백업된 내용으로 복원하는 리셋 관리부(245)와, 전용 제어부(100)가 제공하는 제어 상태 정보에 포함된 이동체 센서 정보와 자체적으로 내장하고 있는 센서들과의 편차를 확인하고, 필요한 경우 내장하고 있는 센서값을 이동체 센서에 대응되는 규격으로 변환하여 제공하는 센서 관리부(270)와, 지상국과 정보를 주고 받는 광역 통신과 필요한 경우 억세스 포인트로 동작하는 근거리 통신(와이파이, 블루투스 등) 기능을 제공하는 복합 통신부(280)와, 내장된 카메라를 통해서 이동체 외부의 고화질 영상(예컨대 스마트 단말기 후면에 내장되는 고화질 카메라)이나 이동체 내부의 영상(예컨대 스마트 단말기의 전면에 내장되는 카메라)을 촬영하여 내장 혹은 외장 메모리에 저장하며 지상국이 저장된 영상을 검색 및 선택하거나 실시간 전송하도록 하는 영상 저장 및 관리부(225)와, 전용 제어부(100)가 제공하는 전송 영상이나 영상 저장 및 관리부(225)의 영상을 지상국에 스트리밍 영상으로 제공하는 영상 전송부(220)와, 지상국이 제공하는 광역 운행 정보를 분석하여 전용 제어부(100)의 운행을 제어하는 것으로 자동 항법이 가능하도록 하는 운행 관리부(230)와, 지상국의 요청에 따라 현재 스마트 단말기의 터치 디스플레이의 표시 영상을 그대로 미러링하여 전송하고 지상국의 제어 신호를 터치 입력으로 처리하는 미러링 동기화부(290)와, 운행 중 전용 제어부(100)의 설정이나 제어 유닛(120)에서 실행 중인 이동체 제어 프로그램을 제어 설정 인터페이스(110)를 통해 갱신하는 프로그램 및 설정 갱신부(260)와, 전용 제어부(100) 제어 상태 정보나 지상국의 제어, 자신의 상태를 파악하여 기 설정된 기준에 따라 이상 여부를 판단하고, 이상 발생 시 이상 발생 종류에 따라 미리 설정된 대응 기능을 수행하는 이상 판단부(240)와, 전용 제어부(100)의 커스텀 설정 및 제어 프로그램에 따른 전용 제어부(100) 프로토콜과 범용적인 지상국 제어 프로토콜을 변환하여 상호 연동하도록 하는 연동 변환부(250)와, 이러한 각 구성부들(220 내지 290)을 통합 관리하는 원격 제어부(210)를 포함한다.
여기서, 영상 전송부(220)는 스마트 단말기(200)에 내장된 카메라를 통해서 촬영된 영상을 전용 제어부(100)에 제공 혹은 리사이즈하여 제공하고, 전용 제어부(100)가 가공한 전송 영상을 수신하여 지상국에 제공하는 것으로 이동체 카메라 기능을 스마트 단말기(200)의 내장 카메라로 대체할 수도 있고, 이러한 기능이 선택적으로 동작할 수도 있다.
프로그램 및 설정 갱신부(260)의 동작에 의해 전용 제어부(100)의 실행 중인 제어 프로그램(혹은 설정)이 갱신되는 경우 전용 제어부(100)는 그 동작이 중단되고 재시동을 위해서 리셋되어야 하므로 이 경우 리셋 관리부(245)와 연동할 수 있다. 본 발명의 실시예에서 전용 제어부(100)의 설정 변경은 전용 제어부(100)에서 실행중인 제어 프로그램의 재 프로그래밍(라이팅)이 필요하거나 필요하지 않을 수 있으며, 제어 프로그램에 포함된 설정 변경의 경우 제어 프로그램의 갱신과 동일하게 처리될 수 있다.
한편, 앞서 설명했던 바와 같이 전용 제어부(100)의 제어 유닛(120)의 이동체 제어 프로그램이 실행되면 센서부의 센싱 상태나 제어 조작에 따라 구동부를 제어하고 영상을 처리하여 전송 영상을 생성하며 전원을 관리하면서 이동체 운행을 제어한다. 이러한 전용 제어부(100)의 제어는 기본적으로 지상국의 직접적 원격 조작 신호를 수신하고 일방적인 전송 영상의 제공이 기본이므로 여러 지점을 경유하는 자동 항법 제어나 영상을 분석하여 그에 따라 제어를 수행하도록 하는 등의 복합적인 제어를 위한 구성은 포함되어 있지 않으며, 이동체 제어 프로그램과 설정의 종류에 따라 제어 방식과 성능도 이동체마다 상이할 수 있다.
따라서, 스마트 단말기(200)에 구성된 연동 변환부(250)는 지상국이 제공하는 이동체 제어 및 운행 제어에 대한 정보를 전용 제어부(100)가 처리할 수 있도록 제어 프로토콜을 변환하거나 제어 타이밍으로 변환하여 전용 제어부(100)에 제공하고, 전용 제어부(100)로부터 상태 정보와 전송 영상을 수신하여 지상국이 원하는 형태로 변환한다. 예컨대, 특정 지점을 중심으로 원을 그리면서 선회하도록 하는 지상국의 제어 정보를 수신한 경우 연동 변환부(250)는 이를 해당 전용 제어부의 제어 프로그램이 받아들일 수 있는 일련의 제어 명령으로 변환하여 이를 제공할 수 있으며, 이러한 연동 변환부(250)의 변환 설정은 전용 제어부(100)에서 수행중인 이동체 제어 프로그램의 설정을 기반으로 할 수 있다.
이상 판단부(240)는 전용 제어부(100)의 제어 상태 정보를 기반으로 전용 제어부(100)의 오작동 여부를 판단하거나 이동체 센서의 이상을 판단하여 전용 제어부(100)의 오작동이나 작동 중지 등을 판단하면 리셋 관리부(245)를 통해 전용 제어부(100)를 리셋하고, 이동체 센서의 이상을 판단하면 센서 관리부(270)를 통해서 해당 이동체 센서를 사용하도록 설정되어 있는 전용 제어부(100)의 사용 센서의 설정을 스마트 단말기의 센서로 변경한 후 내장 센서의 값을 이동체 센서 출력에 대응하도록 변경하여 제공할 수 있다. 만일 스마트 단말기(200)의 자체 이상이 판단되면 스마트 단말기(200) 자체를 리셋하는 구성을 더 부가할 수도 있다(특히, 최근의 스마트 단말기(200)는 자체적으로 처리 속도가 일정 수준 이하가 되거나 정지 상태가 되면 자동적으로 리셋이 수행되므로 스마트 단말기(200)의 기능이 동작하지 않는 상황이 지속될 가능성은 낮다). 한편, 스마트 단말기(200)의 광역 통신 이상이 발생할 경우 이상 판단부(240)는 해당 광역 통신을 중단하고 새로운 지상국의 접속을 대기하도록 하며, 기존 지상국이나 새로운 지상국이 접속을 시도할 경우 인증 절차를 수행하여 인증된 지상국인 경우 연동을 재개하도록 한다. 이를 통해서 복수 지상국이 운행 중인 단일 무인 이동체를 순차적으로 관제할 수도 있게 된다.
한편, 원격 제어부(210)는 전용 제어부(100)가 제공하는 제어 상태나 전송 영상 혹은 영상 내장 카메라를 통한 영상을 분석하여 이동 객체를 파악하거나 지형을 파악하거나, 특정 감시 목적에 따른 분석(화재, 산불 등) 등이 가능하며, 근거리 통신 수단을 중계기로 활용하여 이동체가 위치한 지역에 위치한 근거리 통신 수단(예컨데 블루투스)에 대한 원격 정보 교환이 가능하도록 하는 등 다양한 부가 서비스가 가능할 수 있다. 또한, 이동체의 종류와 기능에 따라 비콘 신호 발생, 농약 살포, 물체의 운반, 경고 방송, 지형 탐지 등의 수질검사, 녹조류 검사, 어군탐지, 부이 관리, 지형 탐지 등의 다양한 부가 기능 수행도 가능할 수 있음은 물론이다.
이렇게, 스마트 단말기(200)를 통해서 무인 이동체의 제어에 최적화된 전용 제어부를 관리하면서 통합적인 관제가 가능하도록 하고, 지능적인 이상 판단과 그 복구가 가능하여 광역 원격 제어에 따른 우려를 줄일 수 있으며 어플리케이션의 추가나 변경을 통해서 다양한 부가 서비스들을 제공할 수 있다.
도 5는 본 발명의 실시예에 따른 무인 이동체 원격 제어 방법에 따라 운행 중 전용 제어부를 갱신하는 예를 보인 순서도로서, 도시된 바와 같이 무인 이동체에 구성되는 전용 제어부에 대해서 해당 무인 이동체의 센싱 및 구동 특징에 맞추어 생성된 전용 제어부 프로그램을 라이팅하고 필요한 설정을 완료하여 운행 준비를 마친다.
이후 이동체 운행을 위해서 스마트 단말기가 지상국으로부터 운행 경로 정보를 수신한다. 이러한 운행 경로 정보는 운행할 각 위치들에 대한 GPS 정보들과 지형 정보(예컨대, 운행 경로 상 고도 정도 등)를 포함할 수 있다.
스마트 단말기는 운행 경로 정보를 기반으로 전용 제어부를 제어하여 이동체의 운행을 관리하며 전용 제어부로부터 제어 상태 정보를 수신하고 전송 영상 정보를 수신하여 이를 지상국이 원하는 형태로 변환하여 광역 통신 방식으로 전송한다.
이렇게 스마트 단말기가 운행을 유지하면서 관련 모니터링 정보(제어 상태 정보 및 전송 영상)를 지상국에 제공하는 가운데, 지상국에서는 모니터링 정보를 토대로 새로운 운행 정보를 제공하거나, 설정 변경 정보를 제공하거나 혹은 영상 소스나 해상도 등을 선택하는 정보를 제공할 수 있다. 이를 수신한 스마트 단말기는 새로운 운행 정보로 기존 운행 정보를 갱신하여 운행을 지속할 수 있고, 설정 변경에 따라 제어 기준을 변경하거나 센서를 변경할 수 있으며, 이동체 카메라 대신 스마트 단말기의 내장 카메라를 이용하여 영상을 전송할 수 있다. 이러한 제어에 미러링 방식을 이용할 수도 있다.
이러한 운행 중 지상국의 관제 중 지상국이 전용 제어부에서 실행 중인 이동체 제어 프로그램의 갱신을 요청하는 경우 구비하고 있던 새로운 이동체 제어 프로그램이나 지상국으로부터 수신한 새로운 이동체 제어 프로그램으로 전용 제어부의 이동체 제어 프로그램을 갱신하게 되는데, 이를 위해서 우선 운행정보와 이동체 제어를 위해 전용 제어부에서 관리하던 제어 상태 정보들을 백업하고 전용 제어부를 프로그래밍 대기 상태로 전환시킨다. 이러한 상황에서도 전용 제어부의 운전 제어 유닛은 기본 운행 제어를 독립적으로 유지한다.
이후 새로운 이동체 제어 프로그램을 전용 제어부에 라이팅한 후 전용 제어부를 재 기동시키고 백업된 정보들을 활용하여 운행 상태를 복구하며 새롭게 실행되는 이동체 제어 프로그램에 맞추어 연동 정보를 재구성한다. 이러한 새로운 이동체 제어 프로그램에 따른 연동 정보는 해당 이동체 제어 프로그램에 대응되어 기 설정된 것일 수 있다.
이렇게 운행 중에도 전용 제어부의 이동체 제어 프로그램을 다시 라이팅하여 변경된 것으로 실행시킬 수 있으므로 이동체 제어 프로그램 개발이나 운행 중 기능의 업그레이드, 오류 수정 등이 용이하게 가능할 수 있다.
도 6은 본 발명의 실시예에 따른 무인 이동체 원격 제어 방법에 따라 운행 중 이상 발생에 대응하는 예를 보인 순서도로서, 도시된 바와 같이 무인 이동체에 구성되는 전용 제어부에 대해서 해당 무인 이동체의 센싱 및 구동 특징에 맞추어 생성된 전용 제어부 프로그램을 라이팅하고 필요한 설정을 완료하여 운행 준비를 마친 후 스마트 단말기가 지상국으로부터 운행 정보를 수신하여 운행 경로를 설정하며 그에 따라 이동체를 운행한다. 이동체 운행 시 제어 상태 정보와 전송 영상이 지상국에 모니터링 정보로 제공되며, 필요한 경우 스마트 단말기는 내장 카메라를 통해서 고화질 영상 정보를 기록하고 제어 상태 정보를 포함하는 각종 운행 정보를 백업한다. 이러한 정보는 지상국이 검색하거나 요청하여 확인할 수 있다.
이렇게 이동체의 운행이 이루어지는 과정에서 스마트 단말기는 전용 제어부가 제공하는 제어 상태 정보나 스마트 단말기의 자체 상태를 기 설정된 기준에 따라 감시하는 것으로 이상 발생을 검출할 수 있다. 예컨대 전용 제어부가 일정 시간 제어 상태 정보나 전송 영상을 제공하지 않는다거나 스마트 단말기의 자체 처리 속도가 과도하게 느려진다거나, 제어 상태 정보에 포함된 센서들의 값이 스마트 단말기의 내장 센서의 값과 과도하게 차이가 발생한다거나, 지상국과 통신이 중단된다거나 하는 상황이 발생할 수 있으며, 스마트 단말기는 이를 구분하여 검출할 수 있다.
이렇게 이상이 발생되는 경우 해당 이상의 종류에 따라 전용 제어부나 스마트 단말기의 자체 이상으로 판단되면 전용 제어부나 스마트 단말기는 필요한 정보를 백업한 후 리셋을 수행하고 리셋 후 재기동 시 백업된 내용을 복구한다.
만일, 이동체 센서의 이상이 파악되며 전용 제어부의 사용 센서에 대한 설정을 변경한 후 스마트 단말기의 센서값을 이동체 센서와 같은 출력 형태로 변환하여 전용 제어부에 제공한다.
만일, 스마트 단말기의 광역 통신망에 이상이 발생되는 경우 상기 스마트 단말기는 새로운 지상국과의 연결을 대기하며 미리 수신된 운항 정보에 따라 자동 운항하되, 다른 지상국의 연결이 시도될 경우 인증을 통해 연동한다.
이상과 같이 스마트 단말기를 적용하는 것으로 다양한 종류의 이상에 대해서 대응할 수 있어 고가의 무인 이동체를 먼 거리에서 원격 제어하는 상황이라도 안심하고 운영할 수 있게 된다.
이상에서는 본 발명에 따른 바람직한 실시예들에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다.
[부호의 설명]
100: 전용 제어부 110: 제어 설정 인터페이스
120: 제어 유닛 130: 외부 인터페이스
140: 전원 관리 유닛 150: 영상처리 유닛
160: 운전제어 유닛 170: 구동제어 유닛
200: 스마트 단말기 210: 원격 제어부
220: 영상 전송부 225: 영상 저장 및 관리부
230: 운행 관리부 240: 이상 판단부
245: 리셋 관리부 250: 연동 변환부
260: 프로그램 및 설정 갱신부 270: 센서 관리부
280: 복합 통신부 290: 미러링 동기화부
300: 통신망 400: 지상국

Claims (10)

  1. 제어 설정 인터페이스를 통해 기록되는 이동체 제어 프로그램과 설정을 기반으로 외부 인터페이스를 통해 입출력되는 센서, 영상 및 통신 신호를 처리하고 구동부를 제어하여 이동체를 운행하며 제어 상태 정보와 전송 영상을 생성하는 이동체 제어를 위한 전용 제어부와;
    상기 전용 제어부의 인터페이스들과 스마트 단말기에 적용된 표준 인터페이스를 연동시키는 연동 인터페이스와;
    상기 연동 인터페이스를 통해 상기 전용 제어부와 연결되고 지상국과 광역 무선 통신망을 통해 연결되어 상기 전용 제어부에서 수신한 제어 상태 정보와 전송 영상을 지상국에 전송하고, 지상국으로부터 수신한 운행 정보나 이동체 원격 제어 정보를 상기 전용 제어부의 이동체 제어 프로그램 및 설정에 따른 입출력 정보로 프로토콜 변환하여 전용 제어부에 제공하며, 지상국 요청에 따라 상기 전용 제어부의 제어 설정 인터페이스를 통해 이동체의 운행 중에 상기 전용 제어부의 이동체 제어 프로그램이나 설정을 변경하는 스마트 단말기를 포함하고,
    상기 스마트 단말기는 상기 전용 제어부의 제어 상태 정보나 자신의 상태를 파악하여 기 설정된 기준에 따라 이상 여부를 판단하고, 이상 발생 시 이상 발생 종류에 따라 미리 설정된 대응 기능을 수행하여 이상에 대응하는 것을 특징으로 하는 무인 이동체 원격제어 시스템.
  2. 청구항 1에 있어서, 상기 스마트 단말기는 상기 전용 제어부의 제어 상태 정보나 지상국의 요청에 따라 상기 전용 제어부가 이동체 제어를 위해 내부적으로 보유한 정보 및 이동체의 운행정보를 백업하고 상기 전용 제어부를 리셋한 후 상기 백업된 내용으로 복원하며, 상기 전용 제어부는 리셋되는 동안 이동체 기본 제어 상태를 유지하는 것을 특징으로 하는 무인 이동체 원격제어 시스템.
  3. 청구항 1에 있어서, 상기 스마트 단말기는 내장 카메라를 포함하고, 내장 카메라로 촬영된 영상을 리사이즈하여 상기 전용 제어부에 영상 정보로 제공하고 상태 정보가 온스크린 디스플레이 방식으로 표시된 전송 영상을 수신하여 지상국에 제공하는 것을 특징으로 하는 무인 이동체 원격제어 시스템.
  4. 청구항 1에 있어서, 상기 스마트 단말기는 자체적으로 카메라와 해당 카메라를 통해 촬영되는 영상을 저장하는 메모리를 구비하고, 운행 시 영상을 촬영 및 저장하고 상기 지상국의 요청에 따라 저장 내용의 검색 및 전송이나 실시간 전송을 제공하는 것을 특징으로 하는 무인 이동체 원격제어 시스템.
  5. 청구항 1에 있어서, 상기 스마트 단말기는 이동체 센서들 중 스마트 단말기에 내장된 센서에 대응되는 센서의 출력을 내장된 센서의 출력과 비교하여 이동체 센서의 오류를 검출하거나 전용 제어부의 제어 상태 정보를 통해 이동체 센서 이상을 파악하면 상기 이동체 센서를 사용하도록 되어 있는 전용 제어부의 이동체 제어 프로그램이나 설정을 변경하고 내장된 센서의 출력을 상기 이동체 센서의 출력에 맞추어 변환한 후 상기 전용 제어부에 제공하는 것을 특징으로 하는 무인 이동체 원격제어 시스템.
  6. 청구항 1에 있어서, 상기 스마트 단말기는 지상국과의 통신 연결 이상이 판단되면 새로운 지상국과의 연결을 대기하며 미리 수신된 운항 정보에 따라 자동 운항하되, 다른 지상국의 연결이 시도될 경우 인증을 통해 연동하는 것을 특징으로 하는 무인 이동체 원격제어 시스템.
  7. 청구항 1에 있어서, 상기 스마트 단말기는 광역 통신망 외의 근거리 통신 구성을 포함하며, 상기 지상국의 요청에 따라 근거리 통신 정보를 광역 통신망에 연동시키는 억세스 포인트로 동작하는 것을 특징으로 하는 무인 이동체 원격제어 시스템.
  8. 청구항 1에 있어서, 상기 스마트 단말기는 후방 및 전방 카메라를 구비하며, 지상국 요청에 따라 전방 카메라를 통해 이동체 내부 영상을 제공하는 것을 특징으로 하는 무인 이동체 원격제어 시스템.
  9. 청구항 1에 있어서, 상기 스마트 단말기는 터치 디스플레이를 포함하며, 지상국 요청에 따라 터치 디스플레이의 표시 영상을 그대로 미러링하여 전송하고 지상국의 제어 신호를 터치 입력으로 처리하는 것을 특징으로 하는 무인 이동체 원격제어 시스템.
  10. 이동체 센서와 구동부를 제어하는 전용 제어부와 연결된 스마트 단말기가 광역 통신망으로 지상국에 접속하여 지상국으로부터 수신되는 운행 정보나 제어 정보를 기반으로 이동체를 제어하는 무인 이동체 원격제어 방법으로서,
    지상국의 운행정보와 제어 정보를 수신한 스마트 단말기가 전용 제어부를 제어하여 이동체를 운행하면서 상기 전용 제어부가 제공하는 상태 정보와 전송 영상을 지상국에 광역 통신망을 통해 전달하는 단계와;
    상기 스마트 단말기가 운행 중 지상국으로부터 전용 제어부에 기록되어 실행 중인 이동체 제어 프로그램이나 설정 변경에 대한 요청을 수신하는 경우 변경에 대한 정보를 수신한 후 운행 중에 상기 전용 제어부에 이동체 제어 프로그램이나 설정을 변경하는 단계와;
    상기 스마트 단말기가 상기 전용 제어부의 상태 정보에 이상이 발생하거나 지상국으로부터 요청을 받는 경우 상기 전용 제어부가 이동체 제어를 위해 내부적으로 보유한 정보 및 이동체의 운행정보를 백업하고 상기 전용 제어부를 리셋한 후 상기 백업된 내용으로 복원하는 단계를 포함하되,
    상기 전용 제어부는 이동체 제어 프로그램이나 설정 변경, 혹은 리셋되는 동안 이동체 기본 제어 상태를 유지하는 것을 특징으로 하는 무인 이동체 원격제어 방법.
PCT/KR2015/012938 2014-12-03 2015-11-30 무인 이동체 원격제어 시스템 및 방법 WO2016089067A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140171802A KR101530581B1 (ko) 2014-12-03 2014-12-03 무인 이동체 원격제어 시스템 및 방법
KR10-2014-0171802 2014-12-03

Publications (1)

Publication Number Publication Date
WO2016089067A1 true WO2016089067A1 (ko) 2016-06-09

Family

ID=53519541

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/012938 WO2016089067A1 (ko) 2014-12-03 2015-11-30 무인 이동체 원격제어 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR101530581B1 (ko)
WO (1) WO2016089067A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108476221A (zh) * 2017-04-07 2018-08-31 深圳市大疆创新科技有限公司 一种无人机的信号处理方法、设备、监听设备
WO2018232713A1 (zh) * 2017-06-22 2018-12-27 深圳市大疆创新科技有限公司 用于移动终端的摇杆组件以及遥控系统
CN110303999A (zh) * 2019-06-29 2019-10-08 清华大学苏州汽车研究院(吴江) 一种无人驾驶汽车测试监控系统
CN113260938A (zh) * 2020-02-12 2021-08-13 深圳元戎启行科技有限公司 无人驾驶汽车的远程接管系统和方法、电子设备、存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170005650A (ko) * 2015-07-06 2017-01-16 엘지전자 주식회사 무인 항공기, 이동 단말기 및 그것들의 제어방법
CN105430761B (zh) * 2015-10-30 2018-12-11 小米科技有限责任公司 建立无线网络连接的方法、装置及系统
KR101732870B1 (ko) * 2016-02-12 2017-05-24 주식회사 이노와이어리스 드론을 이용한 네트워크 최적 위치 탐색 시스템
KR20180056326A (ko) * 2016-11-18 2018-05-28 주식회사 승우 비행체를 이용한 통신서비스 시스템
KR102050247B1 (ko) * 2017-02-01 2019-11-29 안진섭 드론 조종 평가 시스템
KR102163133B1 (ko) * 2019-03-27 2020-10-08 동강엠텍(주) 무인으로 운항되는 반잠수식 레저보트
WO2023069537A1 (en) * 2021-10-20 2023-04-27 Rotor Technologies, Inc. Methods and systems for remote controlled vehicle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000118498A (ja) * 1998-10-09 2000-04-25 Yamaha Motor Co Ltd 無人ヘリコプタの飛行制御システム
KR100679690B1 (ko) * 2004-08-04 2007-02-07 바로비젼(주) 카메라폰이 장착되는 이동체와, 카메라폰이 장착되는이동체의 원격 제어시스템 및 화상정보 처리와 그 이동체원격 제어방법
KR101179912B1 (ko) * 2011-12-06 2012-09-06 이순창 복수의 휴대 단말을 연동시키는 더미 터치 스크린 시스템
KR101425598B1 (ko) * 2013-07-01 2014-08-04 한국지역난방공사 스마트폰을 이용한 주요 설비 모니터링 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040035659A (ko) * 2004-04-08 2004-04-29 최영희 날개를 갖는 관측용 비행체의 구성 및 날개의 구동방법
JP2006213302A (ja) * 2005-01-24 2006-08-17 Ota Business Sozo Kyogikai 携帯電話回線による移動物体の広域・高精度制御方式
JP2014091335A (ja) * 2012-10-31 2014-05-19 Mobile Core Inc 飛行体を利用した無線通信システムおよび無線通信方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000118498A (ja) * 1998-10-09 2000-04-25 Yamaha Motor Co Ltd 無人ヘリコプタの飛行制御システム
KR100679690B1 (ko) * 2004-08-04 2007-02-07 바로비젼(주) 카메라폰이 장착되는 이동체와, 카메라폰이 장착되는이동체의 원격 제어시스템 및 화상정보 처리와 그 이동체원격 제어방법
KR101179912B1 (ko) * 2011-12-06 2012-09-06 이순창 복수의 휴대 단말을 연동시키는 더미 터치 스크린 시스템
KR101425598B1 (ko) * 2013-07-01 2014-08-04 한국지역난방공사 스마트폰을 이용한 주요 설비 모니터링 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HWANG, EUN JEONG: "Monitoring System using Android Phone and Unmaned Aerial Vehicle", EMBEDDED NEWS ARTICLE, 5 March 2012 (2012-03-05), pages 5, Retrieved from the Internet <URL:http://www.embeddednews.co.kr> *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108476221A (zh) * 2017-04-07 2018-08-31 深圳市大疆创新科技有限公司 一种无人机的信号处理方法、设备、监听设备
WO2018184200A1 (zh) * 2017-04-07 2018-10-11 深圳市大疆创新科技有限公司 一种无人机的信号处理方法、设备、监听设备
WO2018232713A1 (zh) * 2017-06-22 2018-12-27 深圳市大疆创新科技有限公司 用于移动终端的摇杆组件以及遥控系统
CN110303999A (zh) * 2019-06-29 2019-10-08 清华大学苏州汽车研究院(吴江) 一种无人驾驶汽车测试监控系统
CN113260938A (zh) * 2020-02-12 2021-08-13 深圳元戎启行科技有限公司 无人驾驶汽车的远程接管系统和方法、电子设备、存储介质

Also Published As

Publication number Publication date
KR101530581B1 (ko) 2015-06-22

Similar Documents

Publication Publication Date Title
WO2016089067A1 (ko) 무인 이동체 원격제어 시스템 및 방법
WO2018117776A1 (ko) 복수의 드론을 제어하는 전자 장치 및 방법
WO2016026128A1 (en) Unmanned aerial vehicle communications methods and systems
WO2018070768A1 (ko) 모니터링 시스템 제어 방법 및 이를 지원하는 전자 장치
WO2020154959A1 (zh) 多负载图传方法、控制系统、控制终端、无人机和服务器
CN108924520B (zh) 传输控制方法、装置、控制器、拍摄设备及飞行器
WO2018106064A1 (ko) 무인비행체를 제어하는 전자 장치 및 그 제어 방법
WO2020155037A1 (zh) 多负载多路图传方法、控制系统和终端、无人机和服务器
EP4040783A1 (en) Imaging device, camera-equipped drone, and mode control method, and program
US11816472B2 (en) Unmanned aerial vehicle updater
US11575832B2 (en) Imaging device, camera-mounted drone, mode control method, and program
CN208987073U (zh) 一种拍摄设备及飞行器
KR101951411B1 (ko) 주차 유도 시스템, 그의 설치 방법, 및 그의 제어 방법
US20220262110A1 (en) Method for controlling lens module, aerial vehicle, and aircraft system
WO2020113436A1 (zh) 负载控制方法、可移动平台及计算机可读存储介质
WO2021158066A1 (en) Electronic apparatus and control method thereof
EP3854072B1 (en) A digital video recorder and method of use thereof
US20210127092A1 (en) Robot sensor installation
JP2019105964A (ja) 車載システム及びその制御方法
WO2021014699A1 (ja) 情報処理装置
WO2020107465A1 (zh) 控制方法、无人机和计算机可读存储介质
WO2021206204A1 (ko) 복수의 드론을 이용한 감시 방법 및 시스템
US20220238026A1 (en) Information processing apparatus and information processing method
US11782093B2 (en) Detection system and detection method
JP7167326B2 (ja) 制御装置、プログラム及び制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15864442

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 30-11-2017)

122 Ep: pct application non-entry in european phase

Ref document number: 15864442

Country of ref document: EP

Kind code of ref document: A1