WO2017103255A1 - Vorrichtung und verfahren für ein unbemanntes flugobjekt - Google Patents

Vorrichtung und verfahren für ein unbemanntes flugobjekt Download PDF

Info

Publication number
WO2017103255A1
WO2017103255A1 PCT/EP2016/081700 EP2016081700W WO2017103255A1 WO 2017103255 A1 WO2017103255 A1 WO 2017103255A1 EP 2016081700 W EP2016081700 W EP 2016081700W WO 2017103255 A1 WO2017103255 A1 WO 2017103255A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
objects
predefined
reference data
signal processing
Prior art date
Application number
PCT/EP2016/081700
Other languages
English (en)
French (fr)
Inventor
Antony Pfoertzsch
Original Assignee
Antony Pfoertzsch
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Antony Pfoertzsch filed Critical Antony Pfoertzsch
Priority to EP16828716.7A priority Critical patent/EP3391163A1/de
Publication of WO2017103255A1 publication Critical patent/WO2017103255A1/de
Priority to US16/004,064 priority patent/US10351241B2/en

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/31—UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls

Definitions

  • the invention relates to the field of unmanned aerial objects, in particular drones, such as copter or multicopter.
  • flying objects are known, which have a camera and thus allow images of objects or persons from the air, which are transmitted in parallel to an operator, so that the operator can inspect the environment.
  • the operator controls the flying object at positions from which suitable recordings can be taken.
  • flying objects are known that automatically follow objects, such as people or vehicles, and this z. B. when running a sport to film to evaluate the footage, for example, later. Athletes can use the evaluation to optimize their movement sequences. For this purpose, the flying object pursues the athlete on a daily basis by the flying object follows a radio transmitter, which carries the athlete on the body.
  • a flying object automatically an object such.
  • this object to be tracked does not have a radio transmitter on his body, so the known automatic tracking is not possible.
  • the freedom of action of the person controlling the flying object is also strongly restricted by the control, so that a parallel active pursuit of persons by the operator is not possible while he controls the flying object.
  • an object of the present invention to solve one of the aforementioned problems of the prior art.
  • an apparatus and a method are to be found in order to enable the tracking of an object, such as a vehicle or a person by an unmanned flying object, without a radio link to a sender on the object.
  • At least an alternative solution to the prior art should be proposed.
  • a device for an unmanned flying object in particular for a drone or a copter, such as a multicopter or a quadrocopter and a surface aircraft, according to claim 1 is proposed.
  • the device comprises a sensor interface for receiving sensor data of at least one imaging sensor and at least one distance-giving sensor. Furthermore, the device comprises a signal processing unit which is set up to detect at least one predefined object by comparing reference data with the received sensor data and / or to distinguish a predefined object from other objects. In addition, the signal processing unit is set up to determine parameters, such as the position, distance and / or movement, of the predefined object. In particular, a determination of the parameters relative to the flying object is possible.
  • the device comprises an output interface for outputting the position, distance and / or movement of the predefined object.
  • Reference data correspond z. B. predetermined dimensions, such. B. predetermined sizes, widths and / or depths and predetermined values of temperatures and / or speeds and / or accelerations. Reference data can also areas of predetermined dimensions, such. B. predetermined sizes, widths and / or depths but also areas of predetermined values of temperatures, speeds and / or accelerations correspond. The reference data thus serve to predefine the object to be recognized and / or distinguished.
  • an object recognition based on the sensor data of an imaging sensor and the sensor data of a distance sensor are considered together to detect a predefined object.
  • an object recognition with only one imaging sensor is possible, but only two-dimensional images of an environment can be provided. Therefore, some parameters of an object, such as. B. its size, can not be detected with imaging sensors.
  • a distance sensor such.
  • parameters of an object such as the size, the position and the distance, detectable, wherein for detecting and distinguishing different objects a very compute-intensive and expensive evaluation is necessary.
  • an object with the imaging sensor for. B. due to its contours, to differentiate from other objects.
  • this object can now be distinguished from other objects, or an object corresponding to the reference data can be detected.
  • the reference data predefined objects are thus recognizable in a particularly simple manner. Furthermore, the position, distance and / or movement of the predefined object will be output at the output interface, which can then be used, for example, for control of the unmanned flying object, for example, with a predefined distance and / or height for the predefined object follow.
  • the signal processing unit is set up to determine movement patterns of the object to be recognized or of the object to be distinguished.
  • the operator can control the flying object by executing a movement pattern, which is then recognized by the signal processing unit. It is Z. B. conceivable that a person's waving is recognizable by an image processing of the data recorded with the sensor data of the imaging sensor. This waving, for example, corresponds to a pre-set movement pattern that causes the flying object in the form of a command to abort the pursuit and fly back to an exit location, such as a parking area.
  • z. B different distances between the flying object and the predefined object, which is here, for example, the athlete just mentioned, by various gestures, which are recognized as movement patterns are set.
  • the movement patterns represent a command or value, e.g. B. is also stepless, wherein according to a further alternative, a movement pattern can also represent a direction vector.
  • three-dimensional gestures of a person can be z.
  • analog control commands for controlling the unmanned aerial object by the distance of two different body parts of the Gestenausprocessden person, such as between the hand and head is detected in all three-dimensional lengths in a simple manner.
  • three-dimensional gestures can be used to select, for example, an aviation flying object, such as a drone, or to point to an object to track using a directional vector.
  • the device comprises a configuration interface, which is designed to receive reference data, so that an object to be recognized or distinguished can be predefined on the basis of this reference data.
  • a memory for storing the reference data is present as part of the device.
  • reference data, z. B. by means of programming via the configuration interface, predetermined by a user of the flying object.
  • the device and thus the flying object is thus adaptable to the detection or differentiation of different objects to be tracked, for example. If the flying object so in a first application, a person, such as an athlete on a surfboard Surf, track, so other reference data for the detection of the person as a predefined object is required, as in the pursuit of a vehicle, such. B. a car.
  • the device preferably comprises a controller, the z. B. is a remote control or a radio remote control.
  • the control is used to predefine reference data for predefining an object from the memory and / or to assign movement patterns to commands and / or values.
  • the controller includes a selection menu, the z. B. is displayed on a touch-sensitive screen of the controller.
  • this menu or selection menu is preferably for use in conjunction with the signal processing unit to determine which motion or which physical measure of any object initiates which form of action. For example, it can be determined in such a menu, with what kind of gestures a flying object can be controlled in what way. In another case, z. For example, it may be determined that the signal processing unit accepts gesture control from any person as soon as they point to the drone. Alternatively, for example, the marking of objects by means of gestures and the resulting actions can be defined, such. For example, tracking the selected object. New commands can preferably be learned via a learning mode in the signal processing unit. In this case, objects can be placed in front of the sensors and / or numerical inputs within the menu.
  • size, speed or heat ranges of the respective object can be stored as reference data.
  • the gesture can be recorded like a short film via a start / stop mechanism, and movements of individual body parts as speed ranges and position data can be stored in relation to the person's torso, for example.
  • detected motion patterns may be used to refer to other objects, such as to initialize the tracking or closer viewing.
  • detected movement patterns are used to select individual drones from a plurality of drones and to provide them with further gestures that can be recognized as movement patterns by the respective drone, eg. For example, assign a goal or control it by gesture control.
  • measurement condition and acquisition by movement pattern can be transferred to another object. For example, pointing to a person causes the flying object to begin to track the marked person.
  • the measurement conditions are adapted to the tracking of the person in order to track the object with high agility and reliability.
  • a command includes searching for an object within an already detected object. So z.
  • the elaborate detection of a license plate may be coupled to the condition that the license plate may only be searched within a detected object, such as a car.
  • a detected object such as a car.
  • the computation-intensive image processing of high-resolution data is limited only to image areas in which a car is present.
  • the signal processing unit is set up to output sensor settings for setting the sensor, in particular the measuring conditions of the sensor, as a function of the reference data via the sensor interface to the sensor.
  • the reference data may include M essock rfas- rules that z. B. include a minimum resolution of a particular object, in which case a minimum resolution is transmitted as a measurement condition to the sensor in the form of a setting of the sensor.
  • the reference data comprise rules for the measurement value detection, which, for. B. is a minimum resolution and / or a minimum update rate of one or more sensors.
  • These measured value acquisition rules may additionally predetermine, for example, also a sensor measuring range which, for example, also includes an accurate temperature detection range for an infrared camera.
  • the sensor interface is used for receiving sensor data of at least one imaging sensor, which is an infrared sensor for capturing images in the infrared range.
  • the sensor interface is used to receive sensor data from at least one imaging sensor, which is a photographic and / or video camera for recording images in the visible light range.
  • sensor data of an infrared sensor is thus also an object detection at night darkness or adverse weather conditions possible.
  • the sensor data of the photo and / or video camera is the detection of objects at high ambient temperatures, in which z. B. an ambient temperature prevails, which is similar to the body temperature of a person to be tracked and therefore an infrared sensor can not be used, still safe possible.
  • the device comprises at least one imaging sensor, which is an infrared sensor for taking images in the infrared range.
  • the infrared sensor is an infrared camera and / or a microbeam.
  • the device comprises at least one imaging sensor which is a photographic and / or video camera for taking images in the visible light range. The device is thus integrated as a complete component with sensors in a simple manner in an unmanned flying object.
  • the infrared sensor as an imaging sensor allows recording of temperatures and / or heat signatures, ie an areal distribution of temperatures that are characteristic of an object. Therefore, reference data of temperatures or thermal signatures for predefining objects can also be stored in the memory of the device in order to recognize objects predefined by the stored temperatures and / or heat signatures and / or to distinguish them from other objects having different temperatures and / or thermal signatures ,
  • the sensor interface is set up to receive sensor data from at least one distance-emitting sensor, which is a TOF camera operating according to the transit time principle, in particular by means of electromagnetic waves, operating lidar or radar sensor or a stereoscopic camera.
  • a distance-emitting sensor which is a TOF camera operating according to the transit time principle, in particular by means of electromagnetic waves, operating lidar or radar sensor or a stereoscopic camera.
  • These sensors are known in a small size and can therefore with the interface in a suitable manner - at least in the case of a TOF camera, a lidar or radar sensor - at nighttime darkness and / or poor visibility reliably determine a distance to the object.
  • a radar sensor can be distinguished simultaneously between organic and non-organic objects. For example, if the amplitude of the reflected electromagnetic radar waves is considered, then reflect z. B. non-organic objects z. B. have a metal surface, the radar waves to a greater extent than a person. By specifying amplitudes of the radar waves as reference data can So additionally an organic object can be distinguished from non-organic objects or vice versa.
  • the objects are therefore first determined or identified on the basis of the data of the imaging sensor according to a preferred embodiment, and then the distance of each of the determined or identified objects is determined simultaneously or successively with the sensor.
  • the device comprises at least one distance-emitting sensor comprising a radar sensor, a TOF camera, a lidar sensor and / or a stereoscopic camera, for. B. a stereoscopic infrared camera, is. Accordingly, the device can be integrated as an integral component in a simple manner in an unmanned flying object.
  • the signal processing unit is set up to determine and output at least one object to be recognized and / or discriminated, which determines the reliability of the recognition and / or the distinction and / or the parameters, such as the position and / or the distance indicates.
  • a probability value ie z.
  • a value between 0 and 1 is output indicating the probability that the data output from the output interface will be accurate.
  • a flying object can therefore fall below a predefined threshold, the z. B. is determined by tests, assume by the probability value that the predefined object can no longer be reliably detected and therefore a tracking must be canceled.
  • the threshold value is preferably determined as a function of the reference data and probability values that lie at or above the threshold value correspond to correct detections and / or discrimination and / or parameters and probability values that are below the threshold value correspond to incorrect detections and / or Distinctions and / or parameters.
  • the probability value is dependent on the sensor settings, e.g. As the measurement conditions of the sensor, and / or parameters of the predefined object.
  • the probability value is therefore adaptive and depends on the context of the detected object. Because z. B. the mere erroneous detection of a person is less critical than the misinterpretation of a person who currently wants to control the drone by gesture control or about to be followed by the drone, a higher probability value is given for both cases than for passive detection , Thus, the same object may assume different probability values for its detection.
  • the context is to be considered, for example, whether the object should only be detected and / or tracked.
  • the probability values are adaptive to possible interaction commands, such as drone gesture control.
  • the probability values change by interaction of the object with the drone.
  • the signal processing unit takes into account the observance of measured value acquisition rules, eg. For example, minimum resolutions and / or minimum update rates that are object and context dependent.
  • the invention relates to a method for an unmanned flying object, in particular for a drone or a copter, such as a multicopter or a quadrocopter, and a surface aircraft, with a device, in particular according to one of the aforementioned embodiments.
  • the method comprises receiving sensor data with at least one imaging sensor and at least one distance-generating sensor with a sensor interface. Furthermore, the method comprises recognizing at least one predefined object and / or distinguishing a predefined object from other objects by comparing reference data with the received sensor data. A predefine of the objects thus takes place in particular by the reference data itself.
  • parameters such as the position, distance and / or movement, of the predefined object are determined, these being determined in particular relative to the flying object.
  • the determination is carried out by means of a signal processing unit.
  • the method includes outputting the parameters with an output interface.
  • reference data, in particular parameters, for predefining the at least one object to be recognized or distinguished are received with a configuration interface and / or stored in a memory.
  • at least one probability value is output, which is determined and output by the signal processing unit for the at least one object to be detected or output in order to determine the reliability of the recognition and / or the distinction and / or the parameters, such as position and / or the distance of the predefined object.
  • movement patterns of the object to be recognized or to be distinguished are determined and output by the signal processing unit.
  • the signal processing unit uses the sensor data of the imaging sensor to determine contours of different recorded objects in the currently detected sensor data and to record the distances of all objects with the sensor data of the distance-giving sensor. Further, based on the sensor data of the imaging sensor and the distance, the parameters, such as the dimensions, of the objects are determined and compared with the reference data. In the case that one or more objects whose parameters, such. B. dimensions match the reference data, they are recognized as predefined objects or distinguished from the other objects.
  • the temperatures and / or thermal signatures of the objects are determined with the infrared sensor and the dimensions and the temperatures are compared with the reference data.
  • One or more objects are recognized in the case as an object or distinguished from the other objects, in which the dimensions and temperatures are substantially identical to the dimensions or temperature data stored as reference data.
  • the invention relates to an unmanned flying object with a device according to one of the aforementioned embodiments, which is set up in particular for carrying out the method according to one of the aforementioned embodiments.
  • Other embodiments will be apparent from the illustrated in the drawings embodiments. In the drawing shows the
  • FIG. 6 shows an image area of a sensor of the flying object.
  • FIG. 1 shows an unmanned flying object 10, which here is a drone, which is also called a copter.
  • the unmanned aerial object 10 has a plurality of distance-giving sensors 12A to 12D, which correspond to radar sensors here.
  • a pivotable camera 14 is connected to the flying object.
  • the distance-giving sensors 12A to 12C are immovable while the sensor 12D is fixedly connected to the camera 14 pivotable with respect to the flying object 10.
  • the camera 14 is connected to the flying object 10 via a gimbal 15.
  • imaging sensors 16A to 16D are shown, in which case the sensors 16A to 16C are immovably connected to the flying object 10, while the imaging sensor 16D is rotatably and pivotally connected to the camera 14.
  • the imaging sensors 16A to 16D correspond to infrared cameras.
  • the imaging sensors 16A to 16C and the distance sensors 12A to 12C are also disposed on the non-visible side of the flying object 10, so that there is an all-round view with the sensors 12A to 12C and 16A to 16C at all times.
  • the sensors 12D and 16D are additionally pivotable in order in particular to be able to scan a blind spot exactly underneath the flying object and to simplify object tracking.
  • Fig. 2 shows an alternative embodiment of the arrangement of the distance-giving sensors 12 and the imaging sensors 16, in which case no moving parts needed are, since adjacent pairs of sensors, which each consist of a distance sensor 12 and an imaging sensor 16, are each arranged at an angle of 60 ° to each other.
  • FIG. 3 now shows an exemplary embodiment of the device 18, which here comprises a distance-giving sensor 12 and an imaging sensor 16. These sensors are connected by means of a sensor interface 18 to a signal processing unit 20 in order to supply sensor data 21 to the signal processing unit 20.
  • the signal processing unit 20 comprises a memory 22 in which reference data are stored. This reference data can be programmed and / or reprogrammed via a configuration interface 24.
  • the signal processing unit comprises a processor 26 to which the sensor data 21 of the sensors 12, 16 and the reference data 25 are supplied.
  • a DSP Digital Signal Processor
  • FPGA Field Programmable Gate Array
  • the processor 26 then recognizes dimensions and temperatures of the objects which are located in the sensor area of the sensors 12, 16 on the basis of the sensor data 21.
  • a comparison means 28 the dimensions and temperatures of the objects are compared with the reference data 25 stored in the memory 22 and, in the case of a match, parameters of the object for which the match exists, such as its dimensions and its position and its spacing, via an output interface 29 transmitted to a controller 30 of the flying object 10.
  • the flying object 10 is now held, for example, at a fixed distance from the detected and / or distinguished predefined object. Thus, a movement of the object is traceable. Thus, persons are automatically trackable with a flying object 10 with the device 18 without control of the trajectory by a user.
  • the use of sensors based on controllable electromagnetic waves has the problem that due to the speed of light in each case a high resolution and a low Akutalleitersrate or a low resolution and a high refresh rate must be selected .
  • the image area is first detected passively with a camera and possible Objects are segmented for capture within the image area. Then the objects are assigned a minimum resolution and a minimum update rate.
  • the minimum resolution and the minimum update rate are defined by the reference data.
  • the signal processing unit distinguishes at least three contexts: the mere detection and representation of the object, the detection of an object and a resulting tracking of the object and the detection of an object and a resulting control command or a signal for use within the signal processing unit.
  • the contexts are arbitrarily expandable and always result from an external or internal signal through the object or through a command within the signal processing unit.
  • the measurement conditions for the same object may change frequently during the acquisition.
  • the method has the advantage of searching specifically for details within detected objects.
  • details could be highlighted within objects, such as the face of a person or the license plate of a car.
  • the signal processing unit is designed to track objects and / or to process control commands and signals, for example by gestures of a user, which are recognized as movement patterns. Stepless control commands are conceivable in the example of said gesture control, which result, for example, from the distance between different parts of the body. In doing so, it must be ensured that the sensors which detect the gesture as a movement pattern have a sufficiently high resolution to detect, for example, measured distances from head to hand with sufficient gradations between zero point and maximum deflection. Furthermore, the signal processing unit preferably has to ensure that the gestures are detected at a sufficiently high update rate to guarantee smooth control.
  • the detection of the gestures is aborted, even though the signal processing unit has recognized the gestures as such.
  • the signal processing unit it is also preferably ensured that the signal processing unit always has enough computing power available for certain calculations and acquisitions. Which minimum conditions have to be met depends on the reference data of the respective object.
  • a change in the measurement conditions can take place as soon as the object executes certain movement patterns or changes its physical state.
  • a command such as to track an object by the operator of the drone may cause an object to be tracked to be detected with other measurement conditions.
  • the signal processing unit Due to the ability of the signal processing unit to recognize, track, or interact with objects, it is conceivable that erroneous recognition or interpretation of measurement data could lead to critical drone control errors. To avoid this problem, different contexts of object detection have different thresholds that allow detection. Thus, it is usually less critical if the signal processing unit erroneously detects a human than if a human controls the flying object with the help of Gestestenst réelle and occur during the process interpretation errors of the gestures.
  • the threshold value is kept adaptive and adapts to the context in which the object is detected. If a human is detected, this happens with a relatively low threshold. Here, the measurement data of the sensors are processed with a large tolerance. Now if the captured human wants to control the flying object, he or she makes a gesture. Now the context of the capture is changing. The threshold is incremented for the recognition of control commands and the operator can only control the object if the Detection of the gestures by the signal processing unit meets the new, higher threshold.
  • This measure guarantees that control commands are detected with high reliability while still maintaining the ability of the signal processing unit to continue allocating dirty measurement data to an object.
  • the signal processing unit Due to the ability of the signal processing unit to recognize, track or interact with objects, it is conceivable that the signal processing unit also has a configuration in addition to the reference data, which assigns control commands, physical measured values or objects to an action. For example, in such a menu can be determined with what kind of gestures the flying object can be controlled as. Here are also complex commands conceivable, such as the response of a flying object by just pointing it.
  • FIGs 4 and 5 the detection of gestures by the sensors of the drone is shown.
  • the detection takes place both two-dimensionally and three-dimensionally via the use of at least one video sensor and a depth sensor.
  • the illustrated grid 40 corresponds to the resolution of one of the involved sensors 12A-12D upon detection of the operator.
  • the distance to the operator is five times greater than in Fig. 5 below.
  • the drone Although it recognizes the gestures error-free as such, will not process, since in Fig. 4, the minimum resolution can not be met. In Fig. 5, this minimum resolution is maintained.
  • the minimum resolution is set here distance to the object, the resolution of the Sensor as well as its angle together. It is specified in pixels / cm for each object within the reference data.
  • FIG. 6 shows the image area of a 1000 ⁇ 1000 pixel solid state lidar.
  • the sensor can drive 1 million pixels per second and determine the distance.
  • Object A is a dormant person
  • object B is a human being who makes a gesture
  • Object C and object D are vehicles, which are also detected.
  • Object E is a person who controls the drone by gesture control.
  • the problem with this scenario is that the sensor can refresh its image area at 1 Hz. However, letting the sensor measure only said objects results in an update rate of 12.5 Hz for all objects.
  • resting people A at 2 Hz and moving vehicles C, D at 5 Hz should be recorded.
  • humans E who perform an active control of the drone, should be recorded with at least 20 Hz and humans B, who perform a signaling gesture, with 15 Hz. Due to the speed of light and the number of objects in the image area, a sufficiently high refresh rate is not possible.
  • a context-dependent measurement method is displayed.
  • the lidar only scans the respective objects per second as often as the minimum requirements from the reference data require. This allows measurements to be redirected to objects with a higher required update rate, such as the drone operator. If during the acquisition objects signal that they are making a gesture, for example, or that the drone should actively track a detected object, the measurement condition for the respective context is dynamically adjusted.
  • object A occupies 2,137 pixels, object B 2,438 pixels, objects C and D respectively 28,600 pixels, and object E 17,712 pixels. This yields 4,346 pixels / sec for object A, 36,570 pixels / sec for object B, 143,000 pixels / sec for objects C and D, and 354,240 pixels / sec for object E, so the sensor uses only 681,156 measurements per object Must perform second and complies with the measurement conditions for each object.

Abstract

Die Erfindung betrifft eine Vorrichtung und ein Verfahren für ein unbemanntes Flugobjekt, insbesondere für eine Drohne. Gemäß der Erfindung werden mit einer Sensorschnittstelle (18) Sensordaten (21) mindestens eines bildgebenden Sensors (16A - 16D) sowie mindestens eines abstandsgebenden Sensors (12A - 12D) empfangen und einer Signalverarbeitungseinheit (20) zugeführt, die eingerichtet ist, um durch Vergleich der Sensordaten (21) mit Referenzdaten (25) mindestens ein vordefiniertes Objekt zu erkennen und/oder von anderen Objekten zu unterscheiden und die Parameter des erkannten oder unterschiedenen Objekts zu bestimmen. Mit einer Ausgabeschnittstelle (29) werden dann die Parameter des vordefinierten Objekts ausgegeben.

Description

Vorrichtung und Verfahren für ein unbemanntes Flugobjekt
Die Erfindung betrifft den Bereich unbemannter Flugobjekte, insbesondere Drohnen, wie Copter- oder Multicopter. Es sind derartige Flugobjekte bekannt, die eine Kamera aufweisen und damit Aufnahmen von Gegenständen oder Personen aus der Luft erlauben, die parallel an einen Bediener übertragen werden, sodass der Bediener die Umgebung inspizieren kann. Hierzu steuert der Bediener das Flugobjekt an Positionen, aus denen geeignete Aufnahmen aufgenommen werden können.
Ferner sind auch Flugobjekte bekannt, die automatisch Objekten, wie Personen oder Fahrzeugen, folgen und diese z. B. beim Ausführen einer Sportart filmen, um das Filmmaterial beispielsweise später auswerten zu können. Sportler können durch die Auswer- tung ihre Bewegungsabläufe optimieren. Hierzu verfolgt das Flugobjekt den Sportler selbsttägig, indem das Flugobjekt einem Funksender folgt, den der Sportler am Körper trägt.
Es sind jedoch weitere Anwendungen denkbar, bei denen ein Flugobjekt automatisch einem Objekt, wie z. B. einer Person oder einem Fahrzeug folgen soll, um z. B. die poli- zeiliche Aufklärung einer Straftat zu unterstützen. Im Gegensatz zum Sportler hat dieses Objekt, das zu verfolgen ist, jedoch keinen Funksender an seinem Körper, sodass die bekannte automatische Verfolgung nicht möglich ist.
Aufgrund von Reichweitenbeschränkungen üblicher Fernsteuerungen ist es außerdem nicht uneingeschränkt möglich, ein zu verfolgendes Objekt durch manuelle Steuerung zu verfolgen.
Insbesondere wird auch die Handlungsfreiheit der das Flugobjekt steuernden Person stark durch die Steuerung eingeschränkt, sodass eine parallele aktive Verfolgung von Personen durch den Bediener nicht möglich ist, während er das Flugobjekt steuert.
Es ist somit Aufgabe der vorliegenden Erfindung, eines der vorgenannten Probleme des Standes der Technik zu lösen. Insbesondere soll eine Vorrichtung und ein Verfahren gefunden werden, um die Verfolgung eines Objekts, wie einem Fahrzeug oder einer Person durch ein unbemanntes Flugobjekt zu ermöglichen, ohne dass eine Funkverbin- dung zu einem Sender am Objekt besteht. Zumindest soll eine alternative Lösung zum Stand der Technik vorgeschlagen werden.
Erfindungsgemäß wird eine Vorrichtung für ein unbemanntes Flugobjekt, insbesondere für eine Drohne oder einen Copter, wie einen Multicopter oder einen Quadrocopter sowie einen Flächenflieger, nach Anspruch 1 vorgeschlagen.
Die Vorrichtung umfasst eine Sensorschnittstelle zum Empfangen von Sensordaten mindestens eines bildgebenden Sensors sowie mindestens eines abstandsgebenden Sensors. Ferner umfasst die Vorrichtung eine Signalverarbeitungseinheit, die eingerichtet ist, um durch Vergleich von Referenzdaten mit den empfangenen Sensordaten mindestens ein vordefiniertes Objekt zu erkennen und/oder ein vordefiniertes Objekt von anderen Objekten zu unterscheiden. Außerdem ist die Signalverarbeitungseinheit eingerichtet, Parameter, wie die Position, Distanz und/oder Bewegung, des vordefinierten Objekts zu bestimmen. Insbesondere ist eine Bestimmung der Parameter relativ zum Flugobjekt möglich.
Zudem umfasst die Vorrichtung eine Ausgabeschnittstelle zum Ausgeben der Position, Distanz und/oder Bewegung des vordefinierten Objekts.
Referenzdaten entsprechen z. B. vorgegebenen Abmessungen, wie z. B. vorgegebenen Größen, Breiten und/oder Tiefen sowie vorgegebenen Werten von Temperaturen und/oder Geschwindigkeiten und/oder Beschleunigungen. Referenzdaten können auch Bereichen vorgegebener Abmessungen, wie z. B. vorgegebener Größen, Breiten und/oder Tiefen sowie aber auch Bereichen vorgegebener Werte von Temperaturen, Geschwindigkeiten und/oder Beschleunigungen, entsprechen. Die Referenzdaten dienen damit zum Vordefinieren des zu erkennenden und/oder zu unterscheidenden Objekts.
Es wird in vorteilhafter Weise erkannt, dass eine Objekterkennung anhand der Sensordaten eines bildgebenden Sensors und der Sensordaten eines abstandsgebenden Sensors gemeinsam betrachtet werden, um ein vordefiniertes Objekt zu detektieren.
Zwar ist eine Objekterkennung mit nur einem bildgebenden Sensor möglich, wobei jedoch nur zweidimensionale Aufnahmen einer Umgebung zur Verfügung gestellt werden können. Daher können einige Parameter eines Objekts, wie z. B. seine Größe, nicht mit bildgebenden Sensoren detektiert werden. Mit einem abstandsgebenden Sensor, wie z. B. einem Radarsensor, sind demgegenüber Parameter eines Objekts, wie die Größe, die Position und die Distanz, detektierbar, wobei zum Erkennen und Unterscheiden verschiedener Objekte eine sehr rechenintensive und aufwendige Auswertung nötig ist. Mit der Erfindung wird es nun in vorteilhafter Weise ermöglicht ein Objekt mit dem bildgebenden Sensor, z. B. aufgrund seiner Konturen, von anderen Objekten zu unterschieden. Durch Abstandsmessung des betrachteten Objektes durch gezieltes Lenken des abstandsgebenden Sensors in den Bereich, in dem sich das Objekt befindet, ist auf einfache Weise die Distanz zu dem zurzeit betrachteten Objekt und daraus dann auch die Größe des Objekts ableitbar.
Im Falle, dass die Parameter des Objekts, wie z. B. die Größe, mit hinterlegten Referenzdaten übereinstimmt, kann nun dieses Objekt von anderen Objekten unterschieden werden, bzw. ein den Referenzdaten entsprechendes Objekt erkannt werden.
Durch die Referenzdaten vordefinierte Objekte sind somit auf besonders einfache Art und Weise erkennbar. Ferner wird an der Ausgabeschnittstelle die Position, Distanz und/oder eine Bewegung des vordefinierten Objekts ausgegeben werden, die dann beispielsweise für eine Steuerung des unbemannten Flugobjekts verwendet werden kann, um das vordefinierte Objekt beispielsweise mit einem für die Steuerung vorgegebenen Abstand und/oder Höhe zu verfolgen. Demnach ist es auch möglich mehrere Objekte durch mehrere Kategorien in den Referenzdaten, wobei jede Kategorie für ein bestimmtes Objekt steht, zu beschreiben und daher mehrere verschiedene vordefinierte Objekte zu erkennen oder von anderen Objekten zu unterscheiden. Es kann auch eine Kategorisierung der vordefinierten Objekte vorgenommen werden, die von der Signalverarbeitungseinheit erkannt wurden. Gemäß einer ersten Ausführungsform ist die Signalverarbeitungseinheit eingerichtet, Bewegungsmuster des zu erkennenden oder des zu unterscheidenden Objekts zu ermitteln. Wird die Vorrichtung also zur Verfolgung des Bedieners selbst eingesetzt, sodass dieser sich beispielsweise beim Ausführen einer Sportart filmen lässt, so kann der Bedie- ner das Flugobjekt durch Ausführen eines Bewegungsmusters, das dann von der Signal- Verarbeitungseinheit erkannt wird, beispielsweise steuern. Es ist z. B. vorstellbar, dass ein Winken einer Person durch eine Bildverarbeitung der mit den Sensordaten des bildgebenden Sensors aufgenommenen Daten erkennbar ist. Dieses Winken entspricht beispielsweise einem vorab hinterlegten Bewegungsmuster, das das Flugobjekt in Form eines Befehls veranlasst, die Verfolgung abzubrechen und zu einem Ausgangsplatz, beispielsweise einer Parkfläche, zurückzufliegen.
Außerdem können z. B. unterschiedliche Abstände zwischen dem Flugobjekt und dem vordefinierten Objekt, das hier beispielsweise der soeben genannte Sportler ist, durch verschiedene Gesten, die als Bewegungsmuster erkannt werden, eingestellt werden.
Eine Steuerung eines Flugobjektes ohne Fernsteuerung ist somit möglich. Vorzugsweise repräsentieren die Bewegungsmuster demnach einen Befehl oder einen Wert, der z. B. auch stufenlos ist, wobei gemäß einer weiteren Alternative ein Bewegungsmuster auch einen Richtungsvektor repräsentieren kann.
Somit ist es beispielsweise aufgrund der abstandgebenden Sensoren möglich, dreidimensionale Gesten einer Person als Bewegungsmuster zu erfassen. Diese können z. B. analoge Steuerbefehle zur Steuerung des unbemannten Flugobjekts abbilden, indem auf einfache Art und Weise der Abstand von zwei verschiedenen Körperteilen der gestenausführenden Person, etwa zwischen Hand und Kopf, in allen dreidimensionalen Längen erfasst wird. Ebenfalls können derartige dreidimensionale Gesten genutzt werden, um etwa ein sich im Flug befindendes Flugobjekt, wie eine Drohne, auszuwählen oder aber mithilfe eines Richtungsvektors auf ein Objekt zum Verfolgen zu zeigen.
Gemäß einer weiteren Ausführungsform umfasst die Vorrichtung eine Konfigurationsschnittstelle, die zum Empfangen von Referenzdaten ausgebildet ist, sodass anhand dieser Referenzdaten ein zu erkennendes oder zu unterscheidendes Objekt vordefinier- bar ist. Alternativ oder zusätzlich ist ein Speicher zum Hinterlegen der Referenzdaten als Bestandteil der Vorrichtung vorhanden.
Demnach sind also Referenzdaten, z. B. mittels einer Programmierung über die Konfigurationsschnittstelle, von einem Benutzer des Flugobjekts vorgebbar. Die Vorrichtung und damit das Flugobjekt ist somit zur Erkennung oder Unterscheidung verschiedener Objekte, die beispielsweise verfolgt werden sollen, anpassbar. Soll das Flugobjekt also in einem ersten Anwendungsfall eine Person, wie einen Sportler auf einem Surfbrett beim Surfen, verfolgen, so sind andere Referenzdaten für die Erkennung der Person als vordefiniertes Objekt nötig, als bei der Verfolgung eines Fahrzeugs, wie z. B. eines PKWs.
Gemäß einer weiteren Alternative umfasst die Vorrichtung vorzugsweise eine Steuerung, die z. B. eine Fernsteuerung oder eine Funkfernsteuerung ist. Die Steuerung dient, um aus dem Speicher Referenzdaten zum Vordefinieren eines Objekts vorzudefinieren und/oder Bewegungsmuster Befehlen und/oder Werten zuzuordnen. Hierzu umfasst die Steuerung ein Auswahlmenü, das z. B. auf einem berührungsempfindlichen Bildschirm der Steuerung angezeigt wird.
Somit dient dieses Menü oder Auswahlmenü aufgrund der Erfassung beliebiger Objekte und Bewegungsmuster und der vorhandenen Reaktionsfähigkeit vorzugsweise zur Nutzung in Verbindung mit der Signalverarbeitungseinheit, um festzulegen, welche Bewegung oder welcher physikalische Messwert beliebiger Objekte welche Form von Aktion initiiert. Beispielsweise kann in einem solchen Menü festgelegt werden, mit welcher Art von Gesten ein Flugobjekt auf welche Art und Weise gesteuert werden kann. In einem weiteren Fall kann z. B. festgelegt werden, dass die Signalverarbeitungseinheit eine Gestensteuerung akzeptiert, und zwar von einer beliebigen Person, sobald diese auf die Drohne zeigt. Alternativ kann auch etwa die Markierung von Objekten mithilfe von Gesten und die daraus resultierenden Aktionen festgelegt werden, wie z. B. die Verfolgung des markierten Objekts. Neue Befehle können vorzugsweise über einen Lernmodus in der Signalverarbeitungseinheit eingelernt werden. Hierbei können Objekte vor die Sensoren platziert werden und/oder numerische Eingaben innerhalb des Menüs erfolgen. Beispielsweise können Größen-, Geschwindigkeits- oder Wärmebereiche des jeweiligen Objekts als Referenzdaten hinterlegt werden. Bei komplexen Gesten kann über einen Start-/Stop-Mechanismus die Geste wie ein Kurzfilm aufgezeichnet werden und Bewegungen einzelner Körperteile als Geschwindigkeitsbereiche und Positionsdaten in Relation etwa zum Rumpf der Person hinterlegt werden.
Gemäß einer weiteren Ausführungsform können erkannte Bewegungsmuster dazu dienen, um auf andere Objekte zu verweisen, um etwa die Verfolgung oder genauere Betrachtung zu initialisieren. Gemäß einer weiteren Ausführungsform dienen erkannte Bewegungsmuster, um aus einer Mehrzahl von Drohnen einzelne Drohnen auszuwählen und ihnen mit weiteren Gesten, die von der jeweiligen Drohne wiederum als Bewegungsmuster erkannt werden können, z. B. ein Ziel zuzuweisen oder diese per Gestensteuerung zu steuern. Gemäß weiterer Ausführungsformen können Messbedingung und Erfassung per Bewegungsmuster auf ein anderes Objekt übertragen werden. Z. B. führt das Zeigen auf eine Person dazu, dass das Flugobjekt beginnt, die markierte Person zu verfolgen. Hierbei werden die Messbedingungen auf das Tracking der Person angepasst, um mit hoher Agilität und Zuverlässigkeit das Objekt zu tracken. Gemäß einer Ausführungsform umfasst ein Befehl das Suchen eines Objekts innerhalb eines bereits erfassten Objekts. So kann z. B. die aufwändige Erfassung eines Nummernschildes an die Bedingung gekoppelt sein, dass nach dem Nummernschild nur innerhalb eines erfassten Objekts, wie etwa einem Auto, gesucht werden darf. Hierbei beschränkt sich die rechenaufwändige Bildverarbeitung von hochauflösenden Daten nur auf Bildbereiche, in denen ein Auto vorhanden ist.
Demnach ist gemäß einer weiteren Ausführungsform die Signalverarbeitungseinheit eingerichtet, Sensoreinstellungen zum Einstellen des Sensors, insbesondere der Messbedingungen des Sensors, in Abhängigkeit der Referenzdaten über die Sensorschnittstelle an den Sensor auszugeben. Demnach können die Referenzdaten M esswerte rfas- sungsregeln beinhalten, welche z. B. eine Mindestauflösung eines bestimmten Objekts beinhalten, wobei dann eine Mindestauflösung als Messbedingung an den Sensor in Form einer Einstellung des Sensors übertragen wird. Demnach umfassen gemäß dieser Ausführungsform die Referenzdaten Regeln zur Messwerterfassung, welche z. B. eine Mindestauflösung und/oder eine Mindestaktualisierungsrate von einem oder mehreren Sensoren ist. Diese Messwerterfassungsregeln können zusätzlich beispielsweise auch einen Sensormessbereich vorgeben, der beispielsweise auch einen genauen Temperaturerfassungsbereich für eine Infrarotkamera umfasst.
Gemäß einer weiteren Ausführungsform dient die Sensorschnittstelle zum Empfangen von Sensordaten mindestens eines bildgebenden Sensors, der ein Infrarotsensor zum Aufnehmen von Bildern im Infrarotbereich ist. Alternativ oder zusätzlich dient die Sensorschnittstelle zum Empfangen von Sensordaten mindestens eines bildgebenden Sensors, der eine Foto- und/oder Videokamera zum Aufnehmen von Bildern im sichtbaren Lichtbereich ist. Mittels Sensordaten eines Infrarotsensors ist somit auch eine Objekterkennung bei nächtlicher Dunkelheit oder widrigen Wettereinflüssen möglich. Mit den Sensordaten der Foto- und/oder Videokamera ist das Erkennen von Objekten bei hohen Umgebungstemperaturen, bei denen z. B. eine Umgebungstemperatur herrscht, die der Körpertemperatur einer zu verfolgenden Person ähnelt und daher ein Infrarotsensor nicht einsetzbar ist, weiterhin sicher möglich.
Gemäß einer weiteren Ausführungsform umfasst die Vorrichtung mindestens einen bildgebenden Sensor, der ein Infrarotsensor zum Aufnehmen von Bildern im Infrarotbereich ist. Insbesondere ist der Infrarotsensor eine Infrarotkamera und/oder ein Mikrobo- lometer. Zusätzlich oder alternativ umfasst die Vorrichtung mindestens einen bildgebenden Sensor, der eine Foto- und/oder Videokamera zum Aufnehmen von Bildern im sichtbaren Lichtbereich ist. Die Vorrichtung ist somit als Komplettbauteil mit Sensoren in einfacher Art und Weise in ein unbemanntes Flugobjekt integrierbar.
Der Infrarotsensor als bildgebender Sensor ermöglicht ein Aufnehmen von Temperaturen und/oder Wärmesignaturen, also einer flächenhaften Verteilung von Temperaturen, die für ein Objekt charakteristisch sind. Daher sind auch Referenzdaten von Temperaturen oder Wärmesignaturen zum vordefinieren von Objekten im Speicher der Vorrichtung hinterlegbar, um Objekte, die durch die hinterlegten Temperaturen und/oder Wärmesignaturen vordefiniert sind, zu erkennen und/oder von anderen Objekten mit anderen Temperaturen und/oder Wärmesignaturen zu unterscheiden.
Gemäß einer weiteren Ausführungsform ist die Sensorschnittstelle eingerichtet, Sensordaten mindestens eines abstandsgebenden Sensors zu empfangen, der eine nach dem Laufzeitprinzip, insbesondere mittels elektromagnetischer Wellen, arbeitende TOF- Kamera, arbeitender Lidar- oder Radarsensor oder eine stereoskopische Kamera ist. Diese Sensoren sind in kleiner Baugröße bekannt und können daher mit der Schnittstelle auf geeignete Art und Weise - zumindest im Falle einer TOF-Kamera, eines Lidar- oder Radarsensors - bei nächtlicher Dunkelheit und/oder schlechter Sicht zuverlässig einen Abstand zum Objekt bestimmen.
Mit einem Radarsensor kann gleichzeitig zwischen organischen und nicht-organischen Objekten unterschieden werden. Wird beispielsweise die Amplitude der reflektierten elektromagnetischen Radarwellen betrachtet, so reflektieren z. B. nicht-organische Objekte, die z. B. eine Metalloberfläche aufweisen, die Radarwellen in höherem Maße als eine Person. Durch Vorgabe von Amplituden der Radarwellen als Referenzdaten kann also zusätzlich ein organisches Objekt von nicht-organischen Objekten oder umgekehrt unterschieden werden.
Die Objekte werden gemäß einer bevorzugten Ausführungsform daher zunächst anhand der Daten des bildgebenden Sensors bestimmt oder identifiziert und dann mit dem Sen- sor gleichzeitig oder nacheinander der Abstand jedes der bestimmten oder identifizierten Objekte ermittelt.
Gemäß einer weiteren Ausführungsform umfasst die Vorrichtung mindestens einen abstandsgebenden Sensor, der ein Radarsensor, eine TOF-Kamera, ein Lidarsensor und/oder eine stereoskopische Kamera, z. B. eine stereoskopische Infrarotkamera, ist. Demnach ist die Vorrichtung als integrales Bauteil in einfacher Art und Weise in ein unbemanntes Flugobjekt integrierbar.
Gemäß einer weiteren Ausführungsform ist die Signalverarbeitungseinheit eingerichtet, für das mindestens eine zu erkennende und/oder zu unterscheidende Objekt mindestens einen Wahrscheinlichkeitswert zu ermitteln und auszugeben, der die Zuverlässigkeit der Erkennung und/oder der Unterscheidung und/oder der Parameter, wie die Position und/oder die Distanz angibt.
Es wird also von der Signalverarbeitungseinrichtung ein Wahrscheinlichkeitswert, also z. B. ein Wert zwischen 0 und 1 , ausgegeben, der angibt, mit welcher Wahrscheinlichkeit die über die Ausgabeschnittstelle ausgegebenen Daten zutreffend sind. Ein Flugobjekt kann demnach beim Unterschreiten eines vordefinierten Schwellenwertes, der z. B. durch Versuche ermittelt wird, durch den Wahrscheinlichkeitswert davon ausgehen, dass das vordefinierte Objekt nicht mehr sicher erkannt werden kann und daher eine Verfolgung abgebrochen werden muss.
Gemäß dieser Ausführungsform ist der Schwellenwert vorzugsweise in Abhängigkeit der Referenzdaten festgelegt und Wahrscheinlichkeitswerte, die auf oder oberhalb des Schwellenwerts liegen, entsprechen einer korrekten Erkennungen und/oder Unterscheidung und/oder Parametern und Wahrscheinlichkeitswerte, die unterhalb des Schwellenwerts liegen, entsprechen inkorrekten Erkennungen und/oder Unterscheidungen und/oder Parametern. Außerdem wird gemäß dieser Ausführungsform vorzugsweise der Wahrscheinlichkeitswert in Abhängigkeit der Sensoreinstellungen, z. B. der Messbedingungen des Sensors, und/oder Parametern des vordefinierten Objekts bestimmt.
Der Wahrscheinlichkeitswert ist demnach adaptiv und richtet sich nach dem Kontext des erfassten Objekts. Da z. B. die bloße fehlerhafte Erfassung eines Menschen weniger kritisch ist, als die Fehlinterpretation einer Person, welcher etwa derzeit die Drohne per Gestensteuerung steuern möchte oder etwa von der Drohne verfolgt werden soll, wird für beide Fälle ein jeweils höherer Wahrscheinlichkeitswert vorgegeben als für eine passive Erfassung. Demnach kann dasselbe Objekt unterschiedliche Wahrscheinlichkeitswerte für seine Erfassung annehmen. Hierbei ist der Kontext zu beachten, etwa ob das Objekt nur er- fasst und/oder verfolgt werden soll. Zusätzlich sind die Wahrscheinlichkeitswerte adaptiv zu möglichen Interaktionsbefehlen, etwa der Gestensteuerung der Drohne. Hierbei verändern sich die Wahrscheinlichkeitswerte durch Interaktion des Objekts mit der Drohne. Hierdurch berücksichtigt die Signalverarbeitungseinheit demnach die Einhaltung von Messwerterfassungsregeln, z. B. Mindestauflösungen und/oder Mindestaktualisierungsra- ten, welche Objekt- und kontextabhängig sind.
Ferner betrifft die Erfindung ein Verfahren für ein unbemanntes Flugobjekt, insbesondere für eine Drohne oder einen Copter, wie einen Multicopter oder einen Quadrocopter, sowie einen Flächenflieger, mit einer Vorrichtung, insbesondere nach einer der vorhergenannten Ausführungsformen.
Das Verfahren umfasst das Empfangen von Sensordaten mit mindestens einem bildgebenden Sensor sowie mindestens einen abstandsgebenden Sensor mit einer Sensorschnittstelle. Ferner umfasst das Verfahren das Erkennen mindestens eines vordefinier- ten Objekts und/oder das Unterscheiden eines vordefinierten Objekts von anderen Objekten durch Vergleich von Referenzdaten mit den empfangenen Sensordaten. Ein vordefinieren der Objekte erfolgt also insbesondere durch die Referenzdaten selbst.
Außerdem werden Parameter, wie die Position, Distanz und/oder Bewegung, des vordefinierten Objekts bestimmt, wobei diese insbesondere relativ zum Flugobjekt bestimmt werden. Die Bestimmung erfolgt mittels einer Signalverarbeitungseinheit. Außerdem umfasst das Verfahren das Ausgeben der Parameter mit einer Ausgabeschnittstelle. Gemäß einer Ausführungsform des Verfahrens werden Referenzdaten, insbesondere Parameter, zum Vordefinieren des mindestens einen zu erkennenden oder zu unterscheidenden Objekts mit einer Konfigurationsschnittstelle empfangen und/oder in einem Speicher hinterlegt. Gemäß einer weiteren Ausführungsform wird mindestens ein Wahrscheinlichkeitswert ausgegeben, wobei dieser mit der Signalverarbeitungseinheit für das mindestens eine zu erkennende oder zu unterscheidende Objekt ermittelt und ausgegeben wird, um die Zuverlässigkeit der Erkennung und/oder der Unterscheidung und/oder der Parameter, wie Position und/oder der Distanz, des vordefinierten Objekts anzugeben. Gemäß einer weiteren Ausführungsform werden Bewegungsmuster des zu erkennenden oder zu unterscheidenden Objekts mit der Signalverarbeitungseinheit ermittelt und ausgegeben.
Gemäß einer weiteren Ausführungsform werden mit der Signalverarbeitungseinheit aus den Sensordaten des bildgebenden Sensors Konturen verschiedener aufgenommener Objekte in den zurzeit erfassten Sensordaten bestimmt und mit den Sensordaten des abstandsgebenden Sensors die Abstände aller Objekte erfasst. Ferner werden anhand der Sensordaten des bildgebenden Sensors und des Abstands die Parametern, wie etwa die Abmessungen, der Objekte bestimmt und mit den Referenzdaten verglichen. Im Falle, dass ein oder mehrere Objekte, deren Parameter, wie z. B. Abmessungen, mit den Referenzdaten übereinstimmen, werden diese als vordefinierte Objekte erkannt bzw. von den übrigen Objekten unterschieden.
Gemäß einer weiteren Ausführungsform werden anstatt oder zusätzlich zu den Abmessungen der Objekte auch die Temperaturen und/oder Wärmesignaturen der Objekte mit dem Infrarotsensor bestimmt und die Abmessungen sowie die Temperaturen mit den Referenzdaten verglichen. Ein oder mehrere Objekte werden in dem Falle als Objekt erkannt bzw. von den übrigen Objekten unterschieden, in dem die Abmessungen und Temperaturen mit den als Referenzdaten hinterlegten Abmessungen oder Temperaturdaten im Wesentlichen übereinstimmen.
Zuletzt betrifft die Erfindung ein unbemanntes Flugobjekt mit einer Vorrichtung nach einer der zuvor genannten Ausführungsformen, das insbesondere zum Ausführen des Verfahrens nach einer der zuvor genannten Ausführungsformen eingerichtet ist. Weitere Ausführungsformen ergeben sich anhand der in den Zeichnungen näher erläuterten Ausführungsbeispiele. In der Zeichnung zeigt die
Fig. 1 ein unbemanntes Flugobjekt,
Fig. 2 eine vergrößerte Darstellung der Sensoren einer Vorrichtung gemäß einem Ausführungsbeispiel,
Fig. 3 ein Ausführungsbeispiel der Erfindung,
Figs. 4/5 eine Erfassung von Bewegungen und
Fig. 6 einen Bildbereich eines Sensors des Flugobjekts.
Figur 1 zeigt ein unbemanntes Flugobjekt 10, das hier eine Drohne, die auch Copter genannt wird, ist. Das unbemannte Flugobjekt 10 weist mehrere abstandsgebende Sensoren 12A bis 12D auf, die hier Radarsensoren entsprechen. Außerdem ist eine schwenkbare Kamera 14 mit dem Flugobjekt verbunden.
Die abstandsgebenden Sensoren 12A bis 12C sind unbeweglich, während der Sensor 12D verbunden mit der gegenüber dem Flugobjekt 10 schwenkbaren Kamera 14 fest verbunden ist. Die Kamera 14 ist hierzu über einen Gimbal 15 mit dem Flugobjekt 10 verbunden.
Außerdem sind bildgebenden Sensoren 16A bis 16D dargestellt, wobei auch hier die Sensoren 16A bis 16C unbeweglich mit dem Flugobjekt 10 verbunden sind, während der bildgebende Sensor 16D dreh- und schwenkbar mit der Kamera 14 verbunden ist. Die bildgebenden Sensoren 16A bis 16D entsprechen gemäß diesem Ausführungsbeispiel Infrarotkameras. Die bildgebenden Sensoren 16A bis 16C sowie die abstandsgebenden Sensoren 12A bis 12C sind auch auf der durch die Darstellung nicht sichtbaren Seite des Flugobjekts 10 angeordnet, sodass ein Rundumblick mit den Sensoren 12A bis 12C und 16A bis 16C zu jeder Zeit gegeben ist. Die Sensoren 12D und 16D sind zusätzlich schwenkbar, um insbesondere einen Totwinkel genau unterhalb des Flugobjekts abtasten zu können und eine Objektverfolgung zu vereinfachen.
Fig. 2 zeigt eine alternative Ausgestaltung der Anordnung der abstandsgebenden Sensoren 12 sowie der bildgebenden Sensoren 16, wobei hier keine beweglichen Teile benötigt sind, da hier benachbarte Sensorenpaare, die aus jeweils einem abstandsgebenden Sensor 12 und einem bildgebende Sensor 16 bestehen, jeweils in einem Winkel von 60° zueinander angeordnet sind.
Fig. 3 zeigt nun ein Ausführungsbeispiel der Vorrichtung 18, die hier einen abstandsge- benden Sensor 12 sowie einen bildgebenden Sensor 16 umfasst. Diese Sensoren sind mittels einer Sensorschnittstelle 18 mit einer Signalverarbeitungseinheit 20 verbunden, um der Signalverarbeitungseinheit 20 Sensordaten 21 zuzuführen. Die Signalverarbeitungseinheit 20 umfasst einen Speicher 22 in dem Referenzdaten hinterlegt sind. Diese Referenzdaten können über eine Konfigurationsschnittstelle 24 programmiert und/oder umprogrammiert werden. Ferner umfasst die Signalverarbeitungseinheit einen Prozessor 26, dem die Sensordaten 21 der Sensoren 12, 16 sowie die Referenzdaten 25 zugeführt werden. Gemäß anderen, hier nicht dargestellten Ausführungsbeispielen, wird anstatt oder zusätzlich zu dem Prozessor 26 ein DSP (Digitaler Signal-Prozessor) oder FPGA (Field Programmable Gate Array) verwendet. Der Prozessor 26 erkennt dann anhand der Sensordaten 21 Abmessungen sowie Temperaturen der Objekte, die sich im Sensorbereich der Sensoren 12, 16 befinden. In einem Vergleichsmittel 28 werden die Abmessungen und Temperaturen der Objekte mit den im Speicher 22 hinterlegten Referenzdaten 25 verglichen und im Falle eine Übereinstimmung Parameter des Objekts, für das die Übereinstimmung vorliegt, wie dessen Abmes- sungen sowie dessen Position und dessen Abstand, über eine Ausgabeschnittstelle 29 an eine Steuerung 30 des Flugobjekts 10 übertragen.
Mittels der Steuerung 30 wird das Flugobjekt 10 nun beispielsweise in einem festen Abstand zum erkannten und/oder unterschiedenen vordefinierten Objekt gehalten. Demnach ist eine Bewegung des Objekts nachverfolgbar. Somit sind Personen automatisch mit einem Flugobjekt 10 mit der Vorrichtung 18 ohne Steuerung der Flugbahn durch einen Benutzer verfolgbar.
Gemäß einem weiteren Ausführungsbeispiel der Erfindung besteht beim Einsatz von Sensoren basierend auf steuerbaren elektromagnetischen Wellen, wie etwa Radar oder Lidar, das Problem, dass aufgrund der Lichtgeschwindigkeit jeweils zwischen einer hohen Auflösung und einer geringen Akutalisierungsrate oder einer geringen Auflösung und einer hohen Aktualisierungsrate gewählt werden muss. Um dieses technische Problem zu umgehen, wird zuerst der Bildbereich passiv mit einer Kamera erfasst und mögliche Objekte zur Erfassung innerhalb des Bildbereichs segmentiert. Anschließend werden den Objekten eine Mindestauflösung sowie eine Mindestaktualisierungsrate zugewiesen.
Hierdurch wird der elektromagnetische Strahl des Sensors häufiger mit hoher Dichte auf interessante Objekte gelenkt und dementsprechend weniger oft auf weniger interessante Objekte sowie die Umgebung. Die Mindestauflösung sowie Mindestaktualisierungsrate ist hierbei festgelegt durch die Referenzdaten.
Hierbei unterscheidet die Signalverarbeitungseinheit mindestens drei Kontexte: Die bloße Erfassung und Darstellung des Objektes, die Erfassung eines Objektes und eine daraus resultierende Verfolgung des Objekts sowie die Erfassung eines Objektes und ein daraus resultierender Steuerbefehl oder eines Signal zur Verwendung innerhalb der Signalverarbeitungseinheit. Die Kontexte sind beliebig erweiterbar und resultieren stets aus einem externen oder internen Signal durch das Objekt oder durch einen Befehl innerhalb der Signalverarbeitungseinheit.
Somit können sich die Messbedingungen für dasselbe Objekt während der Erfassung häufig ändern.
Unabhängig vom verwendeten Sensor ergibt das Verfahren den Vorteil, gezielt nach Details innerhalb von erkannten Objekten zu suchen. So ist es denkbar, gezielt einen Bildbereich mit einer sehr hohen Auflösung auszuwerten, während das restliche Bild nur mit einer sehr geringen Auflösung oder Aktualisierungsrate ausgewertet wird. Hierdurch ließen sich Details innerhalb von Objekten hervorheben, etwa das Gesicht eines Menschen oder aber das Kennzeichen eines Autos.
Neben der bloßen Erfassung eines Objektes ist die Signalverarbeitungseinheit ausgelegt, Objekte zu verfolgen und/oder Steuerbefehle und Signale, etwa durch Gesten eines Benutzers, die als Bewegungsmuster erkannt werden, zu verarbeiten. Im Beispiel der genannten Gestensteuerung sind stufenlose Steuerbefehle denkbar, die sich etwa aus dem Abstand verschiedener Körperteile zueinander ergeben. Hierbei muss sichergestellt werden, dass die Sensoren, welche die Geste als Bewegungsmuster erfassen, über eine ausreichend hohe Auflösung verfügen, um etwa gemessene Abstände von Kopf zu Hand mit ausreichenden Abstufungen zwischen Nullpunkt und Maximalausschlag zu erfassen. Ferner muss die Signalverarbeitungseinheit vorzugsweise sicherstellen, dass die Gesten mit einer ausreichend hohen Aktualisierungsrate erfasst werden, um eine ruckelfreie Steuerung zu garantieren. Sind somit bei Erfassung der Geste nicht alle Mindestbedingungen erfüllt, so wird die Erfassung der Gesten abgebrochen, obwohl die Signalverarbeitungseinheit die Gesten als solche erkannt hat. Hierbei wird ebenfalls vorzugsweise sichergestellt, dass die Signalverarbeitungseinheit für bestimmte Berechnungen und Erfassungen stets genug Rechenleistung zur Verfügung hat. Welche Mindestbedingungen hierbei eingehalten werden müssen ist abhängig von den Referenzdaten des jeweiligen Objektes.
Ferner kann eine Änderung der Messbedingungen erfolgen, sobald das Objekt bestimmte Bewegungsmuster ausführt oder seinen physikalischen Zustand ändert. Ebenfalls kann ein Befehl, wie etwa zur Verfolgung eines Objektes durch den Bediener der Drohne, dazu führen, dass ein zu verfolgendes Objekt mit anderen Messbedingungen erfasst wird.
Durch die kontextbasierte Anpassung der Messbedingungen entsprechend der hinterlegten Referenzdaten, also vordefinierter Objekte und ausgewählter Befehle, haben somit unterschiedliche Objekte unterschiedliche Messbedingungen. Ferner kann dasselbe Objekt aufgrund eines anderen Kontexts, z. B. eines Befehls, neue Messbedingungen zugewiesen bekommen.
Aufgrund der Fähigkeit der Signalverarbeitungseinheit Objekte zu erkennen, zu verfolgen oder mit ihnen zu interagieren ist es denkbar, dass fehlerhafte Erkennungen oder Interpretationen von Messdaten zu kritischen Steuerfehlern der Drohne führen können. Um dieses Problem zu vermeiden, haben unterschiedliche Kontexte der Objekterfassung unterschiedliche Schwellwerte, welche eine Erkennung zulässig werden lassen. So ist es in der Regel weniger kritisch, wenn die Signalverarbeitungseinheit fehlerhafterweise einen Menschen detektiert als wenn ein Mensch das Flugobjekt mit Hilfe der Gestensterung steuert und während des Vorgangs Interpretationsfehler der Gesten auftreten. Der Schwellwert wird hierbei adaptiv gehalten und passt sich dem Kontext an, in welchem das Objekt erfasst wird. Wird ein Mensch erfasst, so geschieht dies mit einem relativ niedrigen Schwellwert. Hierbei werden die Messdaten der Sensorik mit einer großen Toleranz verarbeitet. Will nun der erfasste Mensch das Flugobjekt steuern, so führt er etwa eine Geste aus. Nun ändert sich der Kontext der Erfassung. Der Schwellwert wird für die Erkennung von Steuerbefehlen hochgesetzt und der Bediener kann das Objekt nur steuern, wenn die Erkennung der Gesten durch die Signalverarbeitungseinheit den neuen, höheren Schwellwert erfüllt.
Durch diese Maßnahme wird garantiert, dass Steuerbefehle mit hoher Zuverlässigkeit erfasst werden und dennoch die Fähigkeit der Signalverarbeitungseinheit, unsaubere Messdaten weiterhin einem Objekt zuzuweisen, aufrecht erhalten wird.
Aufgrund der Fähigkeit der Signalverarbeitungseinheit Objekte zu erkennen, zu verfolgen oder mit ihnen zu interagieren ist es denkbar, dass die Signalverarbeitungseinheit neben den Referenzdaten auch über eine Konfiguration verfügt, welche etwa Steuerbefehle, physikalische Messwerte oder Objekte einer Aktion zuordnet. Z. B. kann in einem solchen Menü festgelegt werden, mit welcher Art von Gesten das Flugobjekt wie gesteuert werden kann. Hierbei sind auch komplexe Befehle denkbar, etwa das Ansprechen eines Flugobjekts durch das bloße Daraufzeigen.
In den Figuren 4 und 5 wird die Erfassung von Gesten durch die Sensoren der Drohne gezeigt. Die Erfassung erfolgt sowohl zweidimensional als auch dreidimensional über die Verwendung mindestens eines Videosensors und eines Tiefensensors.
Das dargestellte Raster 40 entspricht der Auflösung eines der beteiligten Sensoren 12A - 12D bei Erfassung des Bedieners. In Fig. 4 ist der Abstand zum Bediener fünfmal größer als In Fig. 5 darunter.
Obwohl die Signalverarbeitungseinheit den Menschen fehlerfrei erkennen kann, wird deutlich, dass aufgrund der geringen Auflösung in Fig. 4 eine zuverlässige und stufenlose Vermessung des Bedieners nicht möglich ist. In Fig. 5, in welcher die Drohne näher am Bediener ist, ist dies gegeben, da die Auflösung fünfmal höher ist.
So würde der Bediener in Fig. 4 von Nullstellung bis Maximalausschlag nur drei Stufen mit dem Abstand seiner Hand zu seinem Kopf signalisieren können. Da zudem einige Körperteile, etwa die Arme, wesentlich schmaler sind als ein Bildpunkt innerhalb des Rasters, ist zudem ihre Erfassung nicht immer gegeben.
Durch die Verwendung von kontextbasierten Messbedingungen wird die Drohne, obwohl sie die Gesten fehlerfrei als solche erkennt, nicht verarbeiten, da in Fig. 4 die Mindestauflösung nicht eingehalten werden kann. In Fig. 5 wird diese Mindestauflösung eingehalten. Die Mindestauflösung setzt sich hierbei aus Abstand zum Objekt, der Auflösung des Sensors sowie dessen Blickwinkel zusammen. Sie wird angegeben in Pixel / cm für jedes Objekt innerhalb der Referenzdaten.
In Fig. 6 ist der Bildbereich eines 1000 x 1000 Pixel Solidstate Lidars zu erkennen. Der Sensor kann pro Sekunde 1 Millionen Pixel ansteuern und die Distanz bestimmen. Innerhalb des Bildbereichs befinden sich unterschiedliche Objekte, welche unter unterschiedlichen Kontexten erfasst werden. Objekt A ist ein ruhender Mensch, Objekt B ist ein Mensch, welcher eine Geste ausführt. Objekt C sowie Objekt D sind Fahrzeuge, welche ebenfalls erfasst werden. Objekt E ist eine Person, welche die Drohne per Gestensteuerung steuert. Die Problematik dieses Szenarios besteht darin, dass der Sensor seinen Bildbereich mit 1 Hz aktualisieren kann. Lässt man allerdings den Sensor nur besagte Objekte messen, so ergibt sich eine Aktualisierungsrate von 12,5 Hz für alle Objekte.
Laut den Referenzdaten sollen ruhende Menschen A mit 2 Hz sowie fahrende Fahrzeuge C, D mit 5 Hz erfasst werden. Allerdings sollen Menschen E, welche eine aktive Steue- rung der Drohne ausüben, mit mindestens 20 Hz und Menschen B, welche eine Signali- sierungsgeste ausführen, mit 15 Hz erfasst werden. Aufgrund der Lichtgeschwindigkeit sowie der Anzahl der Objekte im Bildbereich ist eine ausreichend hohe Aktualisierungsrate nicht möglich.
Um dieses Problem zu umgehen wird ein kontextabhängiges Messverfahren dargestellt. Das Lidar scannt nur so oft die jeweiligen Objekte pro Sekunde ab, wie es die Mindestanforderungen aus den Referenzdaten erfordern. Hierdurch können Messvorgänge auf Objekte mit einer höheren benötigten Aktualisierungsrate umgeleitet werden, wie etwa auf den Bediener der Drohne. Sollten während der Erfassung Objekte signalisieren, dass sie etwa eine Geste ausführen oder dass die Drohne ein erfasstes Objekt aktiv verfolgen soll, so wird dynamisch die Messbedingung für den jeweiligen Kontext angepasst.
Im dargestellten Bildbereich nimmt das Objekt A 2.137 Pixel, das Objekt B 2.438 Pixel, die Objekte C und D jeweils 28.600 Pixel und das Objekt E 17.712 Pixel ein. Damit ergeben sich für Objekt A 4.346 Pixel/Sek, für Objekt B 36.570 Pixel/Sek, für die Objekte C und D jeweils 143.000 Pixel/Sek und für Objekt E 354.240 Pixel/Sek, sodass mithilfe dieses Verfahrens der Sensor somit nur 681.156 Messvorgänge pro Sekunde durchführen muss und für jedes Objekt die Messbedingungen einhält.

Claims

Ansprüche
1. Vorrichtung für ein unbemanntes Flugobjekt (10), insbesondere für eine Drohne oder einen Copter, wie einen Multicopter oder einen Quadrocopter, sowie einen Flächenflieger, umfassend:
- eine Sensorschnittstelle (18) zum Empfangen von Sensordaten (21 ) mindestens eines bildgebenden Sensors (16A - 16D) sowie mindestens eines abstandsgebenden Sensors (12A - 12D),
- eine Signalverarbeitungseinheit (20), die eingerichtet ist, um durch Vergleich von Referenzdaten (25) mit den empfangenen Sensordaten (21 ) mindestens ein durch die Referenzdaten (25) vordefiniertes Objekt zu erkennen und/oder ein vordefiniertes Objekt von anderen Objekten zu unterscheiden sowie Parameter, wie die Position, Distanz und/oder Bewegung, des erkannten oder von anderen Objekten unterschiedenen, vordefinierten Objekts, insbesondere relativ zum Flugobjekt (10), zu bestimmen und eine Ausgabeschnittstelle (29) zum Ausgeben der Parameter des vordefinierten Objekts.
2. Vorrichtung nach Anspruch 1 , wobei die Signalverarbeitungseinheit (20) eingerichtet ist, Bewegungsmuster des erkannten oder des von anderen Objekten unterschiedenen Objekts zu ermitteln, zu verarbeiten und/oder über die Ausgabeschnittstelle (29) auszugeben,
wobei die erkannten Bewegungsmuster insbesondere einen Befehl, der beispiels- weise vom unbemannten Flugobjekt (10) ausgeführt wird, einen, vorzugsweise stufenlosen, Wert, beispielsweise als Abstandswert zu dem Objekt, der vom unbemannten Flugobjekt (10) eingenommen oder eingehalten werden soll, oder einen Richtungsvektor, der beispielsweise eine Flugrichtung des unbemannten Flugobjekts (10) vorgibt, repräsentieren.
3. Vorrichtung nach Anspruch 1 oder 2, wobei die Vorrichtung (10) eine Konfigurationsschnittstelle (24) zum Empfangen von Referenzdaten (25) und/oder einen Speicher (22) zum Hinterlegen der Referenzdaten (25) aufweist,
wobei die Vorrichtung vorzugsweise eine Steuerung, insbesondere eine Fernsteuerung oder eine Funkfernsteuerung, umfasst, um aus dem Speicher Referenzdaten (25) zum Vordefinieren eines Objekts und/oder Zuordnen von Bewegungsmustern zu Befehlen und/oder Werten durch Auswahl mit der Steuerung, die zur Auswahl vorzugsweise ein Auswahlmenü umfasst, auszuwählen.
4. Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Signalverarbeitungseinheit (20) eingerichtet ist, Sensoreinstellungen zum Einstellen des Sensors, insbesondere der Auflösung und/oder Abtastrate des Sensors, insbesondere in Abhängigkeit der Referenzdaten (25) und/oder ausgeführter Aktionen des unbemannten Flug- Objekts (10), über die Sensorschnittstelle (18) an den Sensor auszugeben.
5. Vorrichtung nach Anspruch 1 , wobei die Signalverarbeitungseinheit (20) eingerichtet ist, um nach dem vordefinierten Objekt nur innerhalb eines bestimmten weiteren bereits erkannten vordefinierten Objekts zu suchen.
6. Vorrichtung nach einem der vorhergehenden Ansprüche, wobei für das unbemann- ten Flugobjekt (10) vorgegebene Befehle, Werte und/oder Richtungsvektoren, die auf ein vordefiniertes Objekt bezogen sind, durch Bewegungsmuster/Gesten auf ein anderes Objekt übertragbar oder anwendbar sind.
7. Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Sensorschnittstelle (18) zum Empfangen von Sensordaten (21 ) mindestens eines bildgebenden Sen- sors (16A - 16D) eingerichtet ist, der ein Infrarotsensor zum Aufnehmen von Bildern im Infrarotbereich ist und/oder der eine Foto- und/oder Videokamera zum Aufnehmen von Bildern im sichtbaren Lichtbereich ist.
8. Vorrichtung nach Anspruch 7, wobei die Vorrichtung (10) mindestens einen bildgebenden Sensor (16A - 16D) umfasst, der ein Infrarotsensor zum Aufnehmen von Bildern im Infrarotbereich ist, und/oder einen bildgebenden Sensor (16A - 16D) umfasst, der eine Foto- und/oder Videokamera zum Aufnehmen von Bildern im sichtbaren Lichtbereich ist.
9. Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Sensorschnittstelle (18) zum Empfangen von Sensordaten (21 ) mindestens eines abstandsgebenden Sensors (12A - 12D) eingerichtet ist, der eine nach dem Laufzeitprinzip, insbesondere mittels elektromagnetischer Wellen, arbeitende TOF-Kamera, arbeitender Lidar- oder Radarsensor oder eine stereoskopische Kamera, z. B. eine stereoskopische Infrarotkamera, ist.
10. Vorrichtung nach Anspruch 9, wobei die Vorrichtung (10) mindestens einen abstandsgebenden Sensor (12A - 12D) umfasst, der eine TOF-Kamera, ein Lidarsensor, ein Radarsensor und/oder eine stereoskopische Kamera ist.
1 1. Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Vorrichtung (10) mindestens einen abstandsgebenden Sensor (12A - 12D) umfasst, der ein Radarsensor mit einem elektronisch Steuer- und/oder lenkbaren Radarstrahl und/oder ein Solid- State-Lidar ist.
12. Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Signalverarbeitungseinrichtung (20) eingerichtet ist, für das mindestens eine erkannte oder zu unterscheidende vordefinierte Objekt mindestens einen Wahrscheinlichkeitswert, der die Zuverlässigkeit der Erkennung und/oder der Unterscheidung und/oder der Parameter des Objekts angibt, zu ermitteln und über die Ausgabeschnittstelle (29) auszugeben,
wobei vorzugsweise ein Schwellenwert in Abhängigkeit der Referenzdaten (25) festgelegt wird und Wahrscheinlichkeitswerte auf oder oberhalb des Schwellenwerts eine korrekte und Wahrscheinlichkeitswerte unterhalb des Schwellenwerts eine inkorrekte Erkennung und/oder Unterscheidung und/oder Parameter entsprechen und/oder,
wobei der Wahrscheinlichkeitswert vorzugsweise in Abhängigkeit der Sensorein- Stellungen, z.B. der Messbedingungen des Sensors, und/oder Parametern des vordefinierten Objekts bestimmt wird.
13. Verfahren für ein unbemanntes Flugobjekt, insbesondere für eine Drohne oder einen Copter, wie einen Multicopter oder einen Quadrocopter sowie einen Flächenflieger, mit einer Vorrichtung, insbesondere nach einem der Ansprüche 1 bis 12, umfassend die Schritte:
- Empfangen von Sensordaten (21 ) mindestens eines bildgebenden Sensors (16A - 16D) sowie mindestens eines abstandsgebenden Sensors (12A - 12D) mit einer Sensorschnittstelle (18),
- Erkennen mindestens eines durch Referenzdaten (25) vordefinierten Objekts und/oder Unterscheiden eines vordefinierten Objekts von anderen Objekten durch Vergleiche der Referenzdaten (25) mit den empfangenen Sensordaten (21 ) mit einer Signalverarbeitungseinheit (20),
- Bestimmen der Parameter, wie der Position, der Distanz und/oder der Bewegungen des erkannten und/oder von anderen Objekten unterschiedenen vordefinierten Objekts, insbesondere relativ zum Flugobjekt (10), mit der Signalverarbeitungseinheit (20) und
- Ausgeben der Parameter des vordefinierten Objekts mit einer Ausgabeschnittstelle (29).
14. Verfahren nach Anspruch 13, wobei Referenzdaten (25) mit einer Konfigurationsschnittstelle (24) empfangen und in einem Speicher (22) hinterlegt werden.
15. Verfahren nach Anspruch 13 oder 14, wobei für das erkannte und/oder zu unterscheidende Objekt mindestens ein Wahrscheinlichkeitswert mit der Signalverarbeitungs- einheit (20) ermittelt wird, der die Zuverlässigkeit der Erkennung und/oder der Unterscheidung und/oder der Parameter angibt und der über die Ausgabeschnittstelle (29) ausgegeben wird.
16. Verfahren nach einem der Ansprüche 13 bis 15, wobei Bewegungsmuster des erkannten und/oder von anderen Objekten unterschiedenen Objekts mit der Signalverar- beitungseinheit (20) ermittelt und über die Ausgabeschnittstelle (29) ausgegeben werden.
17. Verfahren nach einem der Ansprüche 13 bis 16, wobei mit der Signalverarbeitungseinheit (20) aus den Sensordaten (21 ) des bildgebenden Sensors (16A - 16D) mittels Objekterkennung ein, mehrere oder alle Objekte in den zurzeit erfasstem Sensordaten (21 ) des bildgebenden Sensors bestimmt und deren Konturen ermittelt werden und mit den Sensordaten (21 ) des abstandsgebenden Sensors (12A - 12D) die Abstände der bestimmten Objekte erfasst werden und anhand der Konturen und des Abstands Abmessungen der Objekte bestimmt und die Abmessungen mit Referenzdaten (25) verglichen werden, wobei ein oder mehrere Objekte, deren Abmessungen mit den Referenzdaten (25) im Wesentlichen übereinstimmen, als vordefiniertes oder vordefinierte Objekte erkannt werden.
18. Unbemanntes Flugobjekt mit einer Vorrichtung nach einem der Ansprüche 1 bis 13, insbesondere zum Ausführen des Verfahrens nach einem der Ansprüche 13 bis 17.
PCT/EP2016/081700 2015-12-18 2016-12-19 Vorrichtung und verfahren für ein unbemanntes flugobjekt WO2017103255A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP16828716.7A EP3391163A1 (de) 2015-12-18 2016-12-19 Vorrichtung und verfahren für ein unbemanntes flugobjekt
US16/004,064 US10351241B2 (en) 2015-12-18 2018-06-08 Device and method for an unmanned flying object

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015122183.7A DE102015122183B4 (de) 2015-12-18 2015-12-18 Vorrichtung und Verfahren für ein unbemanntes Flugobjekt
DE102015122183.7 2015-12-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/004,064 Continuation US10351241B2 (en) 2015-12-18 2018-06-08 Device and method for an unmanned flying object

Publications (1)

Publication Number Publication Date
WO2017103255A1 true WO2017103255A1 (de) 2017-06-22

Family

ID=57838314

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2016/081700 WO2017103255A1 (de) 2015-12-18 2016-12-19 Vorrichtung und verfahren für ein unbemanntes flugobjekt

Country Status (4)

Country Link
US (1) US10351241B2 (de)
EP (1) EP3391163A1 (de)
DE (1) DE102015122183B4 (de)
WO (1) WO2017103255A1 (de)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239728B (zh) * 2017-01-04 2021-02-02 赛灵思电子科技(北京)有限公司 基于深度学习姿态估计的无人机交互装置与方法
US10496107B2 (en) * 2017-01-17 2019-12-03 Valeo North America, Inc. Autonomous security drone system and method
USD928072S1 (en) * 2018-12-03 2021-08-17 SZ DJI Technology Co., Ltd. Aerial vehicle
CN110132049A (zh) * 2019-06-11 2019-08-16 南京森林警察学院 一种基于无人机平台的自动瞄准式狙击步枪
DE102020112362A1 (de) 2020-05-07 2021-11-11 Spleenlab GmbH Zur räumlichen Distanzierung ("Social Distancing") geeignete Personenerfassung und Distanzmessung
US11817000B2 (en) * 2020-12-10 2023-11-14 Rockwell Collins, Inc. System and method to reduce runway occupancy time using pseudo threshold
US11656723B2 (en) * 2021-02-12 2023-05-23 Vizio, Inc. Systems and methods for providing on-screen virtual keyboards

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2071353A2 (de) * 2007-12-14 2009-06-17 The Boeing Company System und Verfahren zur autonomen Verfolgung und Überwachung
US20150205301A1 (en) * 2013-03-15 2015-07-23 Ashley A. Gilmore Digital tethering for tracking with autonomous aerial robot
US9164506B1 (en) * 2014-07-30 2015-10-20 SZ DJI Technology Co., Ltd Systems and methods for target tracking

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965850B2 (en) * 2012-07-05 2018-05-08 Bernard Fryshman Object image recognition and instant active response with enhanced application and utility
US9110168B2 (en) * 2011-11-18 2015-08-18 Farrokh Mohamadi Software-defined multi-mode ultra-wideband radar for autonomous vertical take-off and landing of small unmanned aerial systems
US20130289858A1 (en) * 2012-04-25 2013-10-31 Alain Anthony Mangiat Method for controlling and communicating with a swarm of autonomous vehicles using one-touch or one-click gestures from a mobile platform
US20140008496A1 (en) * 2012-07-05 2014-01-09 Zhou Ye Using handheld device to control flying object
US20140316614A1 (en) * 2012-12-17 2014-10-23 David L. Newman Drone for collecting images and system for categorizing image data
WO2014115139A1 (en) * 2013-01-23 2014-07-31 Iatas (Automatic Air Traffic Control) Ltd System and methods for automated airport air traffic control services
EP3754381A1 (de) * 2013-12-10 2020-12-23 SZ DJI Technology Co., Ltd. Sensorfusion
WO2015143615A1 (zh) * 2014-03-24 2015-10-01 深圳市大疆创新科技有限公司 飞行器状态实时修正的方法和装置
US9599992B2 (en) * 2014-06-23 2017-03-21 Nixie Labs, Inc. Launch-controlled unmanned aerial vehicles, and associated systems and methods
CN107077113B (zh) * 2014-10-27 2020-10-20 深圳市大疆创新科技有限公司 无人飞行器飞行显示
US9563201B1 (en) * 2014-10-31 2017-02-07 State Farm Mutual Automobile Insurance Company Feedback to facilitate control of unmanned aerial vehicles (UAVs)
CN112904880A (zh) * 2014-10-31 2021-06-04 深圳市大疆创新科技有限公司 用于利用视觉标记进行监视的系统和方法
US20170102699A1 (en) * 2014-12-22 2017-04-13 Intel Corporation Drone control through imagery
CN107531217B (zh) * 2015-05-12 2020-06-26 深圳市大疆创新科技有限公司 识别或检测障碍物的设备和方法
KR20160138806A (ko) * 2015-05-26 2016-12-06 엘지전자 주식회사 글래스타입 단말기 및 그 제어방법
US10310617B2 (en) * 2015-06-11 2019-06-04 Intel Corporation Drone controlling device and method
WO2017020181A1 (en) * 2015-07-31 2017-02-09 SZ DJI Technology Co., Ltd. Method of sensor-assisted rate control
US9663227B1 (en) * 2015-12-22 2017-05-30 Gopro, Inc. Systems and methods for controlling an unmanned aerial vehicle
US20170371410A1 (en) * 2016-06-28 2017-12-28 International Business Machines Corporation Dynamic virtual object interactions by variable strength ties

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2071353A2 (de) * 2007-12-14 2009-06-17 The Boeing Company System und Verfahren zur autonomen Verfolgung und Überwachung
US20150205301A1 (en) * 2013-03-15 2015-07-23 Ashley A. Gilmore Digital tethering for tracking with autonomous aerial robot
US9164506B1 (en) * 2014-07-30 2015-10-20 SZ DJI Technology Co., Ltd Systems and methods for target tracking

Also Published As

Publication number Publication date
DE102015122183B4 (de) 2018-12-06
US20180290750A1 (en) 2018-10-11
DE102015122183A1 (de) 2017-06-22
EP3391163A1 (de) 2018-10-24
US10351241B2 (en) 2019-07-16

Similar Documents

Publication Publication Date Title
WO2017103255A1 (de) Vorrichtung und verfahren für ein unbemanntes flugobjekt
EP1067399B1 (de) Verfahren zur Sichtweitenbestimmung
DE102008016215B4 (de) Informationsvorrichtungsbediengerät
DE60209760T2 (de) Gesichtsbilderzeugungssystem zur bildaufnahme und automatisierte bestätigung der identität
DE102013012466B4 (de) Bediensystem und Verfahren zum Bedienen einer fahrzeugseitigen Vorrichtung
EP3642696B1 (de) Verfahren und vorrichtung zum erfassen einer nutzereingabe anhand einer geste
DE102013110581A1 (de) Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
DE10319700A1 (de) Verfahren und Vorrichtung zur Ermittlung einer Wahrscheinlichkeit für eine Kollision eines Fahrzeugs mit einem Gegenstand
EP1298454A2 (de) Verfahren zur Erkennung und Verfolgung von Objekten
DE102008039130A1 (de) Durch ein neurales Netzwerk gesteuertes automatisches Verfolgungs- und Erkennungssystem und Verfahren
DE102017218366A1 (de) Verfahren und system zur fussgängererfassung in einem fahrzeug
DE102007019491A1 (de) Fahrzeugumgebungs-Überwachungsvorrichtung, Fahrzeug, Fahrzeugumgebungs-Überwachungsverfahren und Fahrzeugumgebungs-Überwachungsprogramm
DE10252323A1 (de) Verfahren zur Bestimmung einer Eigenbewegung eines Fahrzeuges
EP1531342B1 (de) Verfahren zur Erkennung von Fussgängern
EP3671546A1 (de) Verfahren und system zum bestimmen von landmarken in einer umgebung eines fahrzeugs
DE102010005290A1 (de) Vereinigungsmodul für mehrere Objekte für ein Kollisionsvorbereitungssystem
EP4030188B1 (de) Vorrichtung und verfahren zum absichern eines überwachungsbereiches
DE102009034848A1 (de) Optoelektronischer Sensor
DE102018008282A1 (de) Vorrichtung und Verfahren zum Erfassen von Flugobjekten
EP3663881B1 (de) Verfahren zur steuerung eines autonomen fahrzeugs auf der grundlage von geschätzten bewegungsvektoren
EP3151543B1 (de) Bildaufnahmeeinrichtung für ein kraftfahrzeug und verfahren zum betreiben einer derartigen bildaufnahmeeinrichtung
EP3921804A1 (de) Kalibriereinrichtung für eine überwachungsvorrichtung, überwachungsvorrichtung zur man-overboard-überwachung sowie verfahren zur kalibrierung
EP3642697A1 (de) Verfahren und vorrichtung zum erfassen einer nutzereingabe anhand einer geste
EP3097511A1 (de) Verfahren zur erkennung einer bewegungsbahn mindestens eines bewegten objektes innerhalb eines erfassungsbereiches, verfahren zur gestikerkennung unter einsatz eines derartigen erkennungsverfahrens sowie vorrichtung zur durchführung eines derartigen erkennungsverfahrens
DE102022107274B4 (de) System und Verfahren für die Gestenerkennung und/oder Gestensteuerung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16828716

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016828716

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016828716

Country of ref document: EP

Effective date: 20180718