WO1999005580A2 - Verfahren zum kontrollieren eines unbemannten fortbewegungsmittels und unbemanntes fortbewegungsmittelsystem zum durchführen dieses verfahrens - Google Patents

Verfahren zum kontrollieren eines unbemannten fortbewegungsmittels und unbemanntes fortbewegungsmittelsystem zum durchführen dieses verfahrens Download PDF

Info

Publication number
WO1999005580A2
WO1999005580A2 PCT/EP1998/004637 EP9804637W WO9905580A2 WO 1999005580 A2 WO1999005580 A2 WO 1999005580A2 EP 9804637 W EP9804637 W EP 9804637W WO 9905580 A2 WO9905580 A2 WO 9905580A2
Authority
WO
WIPO (PCT)
Prior art keywords
pilot
transport
data
signal
assigned
Prior art date
Application number
PCT/EP1998/004637
Other languages
English (en)
French (fr)
Other versions
WO1999005580A3 (de
Inventor
Horst Jürgen DUSCHEK
Original Assignee
Duschek Horst Juergen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE19731724A external-priority patent/DE19731724A1/de
Priority claimed from DE19731749A external-priority patent/DE19731749A1/de
Application filed by Duschek Horst Juergen filed Critical Duschek Horst Juergen
Priority to AU90686/98A priority Critical patent/AU9068698A/en
Publication of WO1999005580A2 publication Critical patent/WO1999005580A2/de
Publication of WO1999005580A3 publication Critical patent/WO1999005580A3/de

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation

Definitions

  • the present invention relates to a method for controlling an unmanned means of transportation and an unmanned means of transportation system for carrying out this method.
  • Missile cockpits are arranged such that their actuation corresponds essentially to the movements of the limbs of a pilot sitting in the cockpit.
  • the control and handling properties of the unmanned drone largely correspond to those of the original aircraft, so that for a pilot who was or is used to the original aircraft model, remote control of the unmanned drone in the simulated cockpit of the ground station does not constitute a significant motor changeover .
  • the drone On the missile side, the drone is further equipped with two video cameras, one of which captures the cockpit instruments and the other an exterior view through a cockpit front window. The captured image data are transmitted to the ground station and received there and in replicated cockpit displayed.
  • two fixed monitors are provided in the simulated cockpit, one of which is arranged according to the position of the instruments in the unmanned missile cockpit and reproduces the image of the instruments, and of which the other is arranged according to the front cockpit pane in the unmanned missile and the image the exterior view.
  • the replica cockpit of the ground station also has controls corresponding to the original aircraft cockpit, i.e. pedals, control sticks, etc., for the drone pilot.
  • the ground station is therefore comparable to a flight simulator, which is based on the spatial design of the cockpit of a specifically selected aircraft type and then enables pilot training for this specific aircraft type.
  • the known device and the associated method aim to reuse older, i.e. insufficiently powerful aircraft models (here: F-4 Phantom II) as drones and to enable pilots who are already familiar with the original manned aircraft to remotely control the drone without having to make any major changes.
  • the on-board computer is coupled to a position determining device, namely a GPS, which supplies a position value to the on-board computer. on the basis of which the on-board computer then the virtual one corresponding to the current position Landscape illustration generated.
  • the data helmet is equipped with a head position sensor, which delivers a head position signal to the on-board computer, which in turn generates a virtual landscape image from the data of the stored digital terrain model, which corresponds to the real point of view of the pilot, if this is the case. would look out of the cockpit with the respective head position.
  • a virtual flight path also purely arithmetically generated, is shown in the virtual landscape image.
  • the device described above and the associated method thus creates an artificial landscape display ("Electronic VFR") in poor visibility conditions, which, however, has to be continuously generated by an on-board computer with the help of a stored, very extensive landscape data collection and with constant positioning. A very heavy additional equipment must always be carried in the manned aircraft.
  • the representable landscape images are not of very high quality in spite of high computing power; although they allow electronic navigation, they are always recognizable to the user as artificial representations. Since in this system the navigation inevitably takes place according to landscape data already stored in the on-board computer, current real changes in the landscape cannot be recorded, so that a certain uncertainty factor remains with this type of navigation.
  • the invention has for its object to provide a simple and effective method for controlling an unmanned means of transportation as well as an equally simple and effective unmanned means of transportation for performing this method, which allow the pilot of the means of transportation as possible to convey a realistic sense of locomotion, whereby the means of transportation should be used in as many different ways as possible.
  • An unmanned means of transportation in the sense of the invention is a means of transportation that does not require a person to control and / or control the means of transportation, e.g. carries a pilot or operator;
  • An unmanned means of transportation within the meaning of the invention can therefore also be such a means of transportation that, although it transports people, but none of these people exercise a control and / or monitoring function for the means of transportation.
  • the means of transportation system according to the invention and the associated method according to the invention provide a pilot with a very realistic feeling of locomotion, which is particularly pronounced when the means of transportation is an aircraft, such as e.g. an airplane or a helicopter. This gives the pilot the impression that he is directly in the means of transportation and moves with it. The pilot is able to look around and orient himself in real spaces through which the means of transportation travels, depending on the design of the imaging device of the invention
  • the means of transportation system according to the invention may therefore also be advantageous for people who can move only slightly or not at all due to physical disabilities, but who can experience movement with the system according to the invention.
  • the unmanned means of transportation can be subjected to loads that are far higher than is conceivable for a pilot staying in the means of transportation.
  • G-loads acceleration loads
  • the means of transportation is an aircraft or a missile. Due to the inherent hybrid properties of various components of the means of transportation system according to the invention, real and virtual image data and information can be combined as required and made available to the pilot and thus the
  • the means of transportation system according to the invention is particularly suitable for use in safety-critical areas of application.
  • the concept according to the invention also allows extremely miniaturization of the means of transportation in a very advantageous manner, which in turn greatly reduces the manufacturing and operating costs and makes the means of transportation particularly suitable for monitoring and control tasks, in particular in urban areas or in buildings.
  • logistical tasks for example fast document, medication or the like, can be carried out easily and inexpensively.
  • the means of transportation system according to the invention is a particularly effective and efficient means of use for police, military or intelligence tasks, especially in critical missions, there is no direct risk for the pilot.
  • the means of transportation can also be designed to be very quiet due to the above-mentioned miniaturization, which in turn is advantageous for military missions or observations.
  • additional and different observers can be switched on in the pilot's perception image, ie in the depiction of the real scenario, the flight data images and images of the control and control elements, or can be supplied with additional image data via separate image capture devices.
  • Copilots who operate or coordinate further additional functions of the means of transportation can also work with the means of transportation system.
  • 1 shows a schematic overview of the most important components of the means of transportation system according to the invention
  • 2 shows a schematic view of the unmanned means of transportation according to the invention
  • FIG. 3 shows a schematic view of the image detection device according to the invention
  • FIG. 4 shows a first schematic view of the imaging device according to the invention
  • FIG. 5 shows a second schematic view of the imaging device according to the invention
  • FIG. 6 shows a schematic view of the imaging area of the imaging device according to the invention
  • FIG. 7 shows a schematic view of the imaging device from the perspective of a pilot
  • Fig. 8 shows a schematic representation of a selection of different data transmission paths between the unmanned means of transport and pilots
  • FIG. 9 is a highly simplified schematic illustration of a virtual control or monitoring device of the means of transportation system according to the invention.
  • the unmanned means of transport used in the method according to the invention is the one according to the invention
  • Locomotive system is a miniaturized helicopter F.
  • a "head and / or eye movement" of the pilot is also to be understood as such a head and / or eye movement which results from a body movement of the pilot, e.g. by a movement of the upper body or the like, or by a change in the reference system in which the pilot himself is located, relative to at least one defined reference point.
  • a “real scenario” is to be understood as a real environment, for example a landscape with living beings and objects therein, in which the helicopter is moving.
  • operation data is to be understood to mean data which represent the current state of the helicopter, for example the flight speed, the flight altitude, the position of the missile in space, navigation data, fuel display and so on.
  • Associated with the pilot in the sense of the invention means that a real or virtual object associated with the pilot is either in the pilot's direct sphere of influence or away from it, but for the execution, transmission or reception of events originating from or intended for the pilot is determined or serves.
  • Associated with the helicopter in the sense of the invention means that a real or virtual object associated with the helicopter is located either directly in or on the helicopter or else away from it, but for execution, transmission or reception thereof Helicopter or additional systems of the helicopter outgoing or intended or intended for this specific event.
  • secondary data are to be understood as data which originate directly or / or indirectly from or are intended for the auxiliary devices assigned to the helicopter and / or the pilot, for example the data of a target acquisition system or the like.
  • the data transmission device and receiver device assigned to the pilot will also be referred to as the main station.
  • Controlling the helicopter system can be understood in the sense of the invention to mean operating, controlling and regulating.
  • the device according to the invention comprises an unmanned helicopter F, which in the present case is designed as a miniature helicopter with a main rotor diameter of approximately 2.4 m and a take-off weight of approximately 18 kg, and a control device 2 assigned to a pilot P, comprises a transmission and reception device 4, a data processing device 6 and an imaging device 8 which is arranged directly in front of the pilot P and can be moved by means of a head and / or eye movement of the pilot P.
  • Another imaging device 10 with the
  • Data processing device 6 of pilot P which is connected via a data line 11, is provided for a co-pilot Pc.
  • the transmission and reception device 4 serves to transmit data to the helicopter F and to receive data signals originating from the helicopter F.
  • the transmission and reception device assigned to the pilot P is accommodated in a single device in the present case.
  • the transmission and the However, the receiving device can also be designed as separate devices.
  • the transmission and reception device 4, the control device 2, the imaging devices 8, 10 of the pilot P and the copilot Pc and sensors, which will be referred to later, are connected to the data processing device 6 assigned to the pilot P via suitable interfaces.
  • the helicopter F is movable with two in several axes
  • Image capture devices 12 are equipped for capturing at least one real scenario S and for generating image data representing the real scenario S.
  • Image acquisition devices 12, which provide image data for the pilot P, are arranged in the area of the nose of the helicopter F in this example.
  • the image capturing device 14 intended for the image data supply of the copilot Pc is located here in a rear, lower fuselage section of the helicopter F. With regard to the arrangement of the image capturing devices 12, 14, however, any suitable attachment location is generally possible.
  • the helicopter F is furthermore equipped with a transmission device for the direct and / or indirect transmission of image data of the real scenario S provided by the image acquisition devices 12, 14 to the receiving device separate from the helicopter F and assigned to the pilot P, and a receiving device for receiving from the latter Pilot P assigned transmission device outgoing data signals.
  • the transmission and reception device of the helicopter F are preferably integrated in a common device 16.
  • connection between pilot P and helicopter F, or vice versa, used for data transfer or exchange, or vice versa is realized by a radio connection C or data lines.
  • the helicopter F additionally comprises at least one data processing device 18, actuating devices 20 for moving the image capturing devices 12, 14 and actuators 22 for actuating control elements of the helicopter F, such as collective and cyclical blade adjustment, tail rotor control or the drive device, and additional control elements 24 for activating additional systems 26 , such as an on-board armament, devices for detecting and checking a locked state, lighting devices, energy generation and storage devices, starter devices, disposable containers for holding a transport load, navigation devices and the like. Furthermore, the helicopter F has
  • Sensor devices 28 which provide data signals representing the flight state or the state of the additional systems, these data or data signals are referred to below as operation and / or secondary data.
  • operation and / or secondary data representative of such sensors, a measuring instrumentation for detecting the airspeed, ie a pitot tube sensor 28, is indicated.
  • secondary data further data received on the helicopter side and used to control or regulate the above-mentioned additional systems or actuators.
  • the transmission system for the operation and / or secondary data can be configured as a telemetry device.
  • the transmission and reception device 16 the image capture devices 12, 14, the actuating devices 20 for moving the image capture devices 12, 14, the actuators 22 and the additional control elements 24 are connected to the via suitable interfaces
  • FIG. 3 shows a schematic representation of further details of the image capturing device 12, 14 of the helicopter system according to the invention. Because they were intended for pilot P and co-pilot Pc
  • Image acquisition devices 12, 14 are substantially similar, only one image acquisition device 12 will be described in general below.
  • the image capturing device 12 is held in a holder 30 which is movable in three axes (x, y, z) and can be moved with it in the corresponding axes, a corresponding number of electric servomotors 20, actuators, servos or the like being used to carry out the movements (e.g. electromagnetic, hydraulic or pneumatic actuators etc.) is provided.
  • the servomotors 20 are connected to a suitable control and / or regulating device 32, which in turn is connected to the
  • Data processing device 18 of the helicopter F corresponds or is designed as part of the same, so that by a combination of the movements about the individual axes (x, y, z) an almost arbitrary orientation of the Image capture device 12 can be achieved.
  • the control and / or regulating device 32 for controlling or regulating the servomotors 20 of the movable image capturing device 12 are matched to one another so that the
  • Image capturing device 12 can be moved essentially simultaneously with a head and / or eye movement of the pilot P (or Pc). This will be discussed in more detail later.
  • At least one motion and / or position sensor 34 for detecting at least one movement and / or position of the movable image capturing device 12 is provided to detect the respectively current movement and / or position of the image capturing device 12, this sensor 34 being a sensor provides the signal representing the movement and / or position of the image capturing device 12.
  • the camera position sensor 34 is connected to the data processing device 18 of the helicopter F via a suitable interface.
  • the image capture device 12 in the present exemplary embodiment is designed as a stereoscopic image capture device with two individual image capture devices 12.1, 12.2, the image capture device 12 being a device (not shown) for adjusting the convergence of the visual axes and / or the imaginary eye distance and a device for separately moving one of its individual image acquisition devices 12.1, 12.2.
  • This serves to adapt to the individual body dimensions and visual characteristics of the pilot P or Pc, to whom a respective image capturing device 12 or 14 is assigned.
  • the image capture device 12 can comprise a single eyepiece, but the effects that can be achieved with the stereoscopic image capture device 12 are, however generally better with regard to the effect of the subjectively achievable spatial and flight sensation.
  • the image capturing device 12 can also have an interchangeable lens, zoom, night vision or
  • Each of the individual image capture devices 12.1, 12.2 of the stereoscopic image capture device 2 comprises at least one electronic component equipped with at least one CCD array, for example a video chip or the like, which provides digital image data signals of the recorded real scenario via a suitable interface to the data processing device 18 of the helicopter F.
  • the image capturing device 12 can be implemented by one or more miniature video cameras or television cameras or the like.
  • the image capturing device 12 is provided with a precipitation separating device 36, e.g., to achieve good visibility conditions even in bad weather conditions.
  • a rapidly rotatable lens cover, one or more wipers or a heating device which, however, can also be provided on a housing 38 arranged on the helicopter F, in which the image capturing device 12, as indicated in FIG. 1, is accommodated in a protective manner.
  • Image capture device 2 is aligned here in the longitudinal axis of helicopter F, but can also be set in any other direction as required.
  • the actuators 22 for actuating the control elements of the helicopter F as well as the Additional control elements 24 for activating additional systems 26, likewise via sensors, which supply reference signals which permit information about the actuating position of the actuators 22, the activation state of the additional systems 26 and the like.
  • these sensors are connected to the via suitable interfaces
  • the data processing device 18 is in turn coupled via a suitable interface to the transmission and reception device 16 of the helicopter F, so that all relevant data signals from the helicopter F can be transmitted directly or indirectly to the reception and transmission device 4 assigned to the pilots P, Pc. Furthermore, the receiving device 16 of the helicopter F is able to receive data signals coming from the transmission device 4 assigned to the pilot P, these in the
  • the control device 2 assigned to the pilot P is integrated in the present case in a compact seat 40 or seating system, on which the data processing device 6 assigned to the pilot P and the transmission and reception device 4 as well as any additional devices are arranged .
  • the control device 2, the data processing device 6 and the transmission and reception device 4 can, of course, also be arranged in a hand-held device or partially or completely separately from one another, it also being provided that these systems are located in locations which are not directly accessible to the pilot P. are.
  • the data processing device can be located in one of the action locations of the pilot P, in a land vehicle or on a watercraft, while the pilot P is in an airplane, for example.
  • the control device 2 assigned to the pilot P has control elements 42, 44 for controlling the helicopter F and for controlling, operating, activating or deactivating the additional systems 26 of the helicopter F, such as headlights, guns, etc.
  • the control device is connected to the data processing device 6 assigned to the pilot P via suitable interfaces.
  • the equipment of the copilot Pc is comparable to that of the pilot P, but in this exemplary embodiment it does not have its own control device 2.
  • the imaging devices 12, 14 of the pilot P and the copilot Pc are connected to the data processing device 6 assigned to the pilot P or copilot via suitable data transmission paths and a suitable interface.
  • FIG. 4 An embodiment of the imaging device 56 according to the invention assigned to the pilot P is shown schematically in FIG. 4.
  • the imaging device 56 is integrated in a helmet 46 which is worn on the head K of the pilot P and is moved with every head or body movement of the pilot P.
  • the helmet 46 is equipped with a one-part or multi-part, foldable visor 48, on the inside of which faces the eyes of the pilot P the imaging device 56 is arranged.
  • the visor 48 also serves as a shield against external light influences.
  • the Helmet 46 further comprises an acoustic detection device 50 for detecting speech noises and / or voice commands from pilot P and a loudspeaker device 52.
  • the helmet 46 is equipped with a sensor device 54 for detecting at least one head and / or eye movement of the pilot P (hereinafter briefly called head position sensor), the sensor device 54 generating a signal representing the head and / or eye movement of the pilot P.
  • the head position sensor 54 is preferably designed such that it can detect the head and / or eye movement in at least three axes.
  • the head position sensor 54 in turn comprises three individual sensors, namely a position sensor 54.2, a speed sensor 54.4 and an acceleration sensor 54.6 for detecting the current head and / or eye position and at least one
  • the position sensor 54.2 generates the position (location and position) of the head K and / or the eyes
  • the speed sensor 54.4 generates the speed vector
  • the acceleration sensor 54.6 generates the acceleration vector of the head - and / or signal representing pilot P's eye movement.
  • a single sensor can perform these three functions.
  • the three sensors are designed as gyro systems, but sensor systems can also be used which determine a change in position and / or speed by determining the sensor and / or head and / or eye position relative to a reference position.
  • sensors that evaluate the orientation of an object in relation to an electrical, magnetic or electromagnetic field to determine the position or sensors that evaluate the scatter difference values and the like.
  • the sensor 54 or its three sensors 54.2 to 54.6 are connected to the data processing device 6 assigned to the pilot P via suitable interfaces.
  • the data transmission to the data processing device 6 takes place wirelessly, so that the pilot P is not restricted in its freedom of movement.
  • the visor 48 of the helmet 46, or a part of the visor 48 can be flipped up, which can be particularly advantageous during the take-off or landing phase of the helicopter F if a take-off is in the immediate vicinity of the pilot P. he follows.
  • the imaging device 8 located on the inside of the helmet visor 48 is designed as a spatially curved screen 56, the shape of which is adapted to the shape of the visor 48 and the helmet 46.
  • one or more flat screens can also be used, but the subjective spatial impressions that can be achieved with such a device are comparatively less pronounced.
  • a TFT screen TFT: thin film transisitor
  • the imaging device 8 comprises a viewing angle range greater than 180 degrees and thus corresponds approximately to the normal viewing range of a person. Depending on the application, the viewing angle range can of course be reduced or enlarged.
  • the screen 56 of the imaging device 8 is subdivided into two virtual individual imaging sections 56.2, 56.4 (cf. FIG. 7), each individual imaging section being associated with an eye of the pilot P, so that a stereoscopic effect can be achieved if an image is appropriately displayed.
  • This design corresponds to the stereoscopic image capture device 12, 14 of the helicopter F.
  • a single screen with a single imaging area or multiple screens can be provided.
  • the imaging device 8 assigned to the pilot P can also be arranged on glasses 58 or on a comparable device and can be worn on the head K of the pilot P. It is of course also conceivable to arrange such a device in a suitable position on other parts of the body of the pilot P (for example via a shoulder frame on the shoulders of the pilot) or on a movable holder which is separate from the pilot P but can be moved with it.
  • the imaging device 8 is connected via a suitable interface to the data processing device 6 assigned to the pilot P.
  • the helicopter F can now be controlled, operated, controlled or regulated as follows, provided that its individual systems are ready for operation.
  • the image capture device 12 arranged on the helicopter F detects the real scenario S located in the capture area of the image capture device 12 and image data are generated which represent the current image of the real scenario S.
  • the image data can represent the real scenario S both in the sense of a two-dimensional and a three-dimensional image.
  • These image data are possibly further processed in the data processing device 18 associated with the helicopter F (possibly also compressed using a suitable algorithm) and then sent to the data transmission device 16 of the helicopter F and from there directly or indirectly to the pilot P assigned receiving device 4 transmitted and received by this.
  • the received image data of the real scenario S are forwarded to the data processing device 6 assigned to the pilot P and further processed there, if necessary. Then the image data are transmitted directly or indirectly to the imaging device 56 arranged on the helmet 46 of the pilot P and directly in front of the pilot's eye and which can be moved by means of a head and / or eye movement of the pilot P. This transmission can also take place wirelessly or via at least one data line.
  • an image 62 of the real scenario is generated and displayed in the imaging device 8, 56, so that the real scenario S is visible to the pilot P.
  • the head movement is detected by the head position sensor 54 in at least three axes in the present case and signals representing the head movement are generated, namely a position signal, a speed signal and an acceleration signal in the present case. These signals are referred to below as head movement signals. Although three parameters (position, speed and acceleration) are recorded in the present example, one parameter (namely in particular the position) is often sufficient for many applications.
  • the head movement signals are transmitted to the data processing device 6 assigned to the pilot P, where appropriate further processed there and forwarded to the data transmission device 4 assigned to the pilot P. From there, the head movement signals are then transmitted directly or indirectly to the receiving device 16 arranged on the helicopter F and received by the latter. If necessary, the received head movement signals are processed in the data processing device 18 of the helicopter F and forwarded as reference signals or actuating signals to the servomotors 20 of the image capturing device 8 of the helicopter F.
  • the servomotors 20 are accordingly actuated in dependence on the actuation signals resulting from the head movement signals and in such a manner that the resulting movement (s) of the image capturing device 8 essentially correspond exactly to the head movements carried out by the pilot P.
  • the image capturing device 12 captures the real scenario S into a new visual range, namely a visual range that essentially corresponds to the visual range that would result if the eyes of the pilot P were at the position of the individual image capturing devices 12.1, 12.2 of the image capturing device 12 and that Pilot P carried out the said head movement on site in helicopter F.
  • the new image data are in turn transmitted to the pilot P in the manner already explained above and displayed in the imaging device 56.
  • the image data can also be stored in a storage medium (not shown in the figures) and made available for later use.
  • the pilot P thus controls the movement of the image capturing device 12 in the helicopter F by his head movement and is thus able to see images which essentially correspond to images which would result from real vision and a real head movement if the pilot were in the helicopter F would be.
  • This enables the pilot P to look around in the space through which the helicopter F is moving.
  • the subjective illusion of pilot P achieved by this method can be so pronounced that pilot P has the impression that he is himself in helicopter F.
  • an eye movement of the pilot P can also be detected with suitable sensors and can be carried out analogously to the method of operation described above.
  • the equipment and computing power required for this are far more complex.
  • image capture device position sensor 60 Similar to the detection of the head and / or eye movement of the pilot P by means of the head position sensor 54, at least one movement and / or position of the movable image detection device 8 arranged on the helicopter F can be detected with the aid of an image detection device position sensor 60. As with the above Head motion sensors 5, it is advantageous here that image capture device position sensor 60 also has at least one position and / or a speed or acceleration vector of the movement of the
  • Image capture device 2 determined.
  • the data signals from the sensor 60 can be transmitted in a manner analogous to the image data to the pilot P and the reception 4 data processing device 6 assigned to him.
  • the head position sensor 54 or speed sensor 54.4 and acceleration sensor 54.6 arranged on the helmet 46 of the pilot P detects at least one speed or acceleration vector of the head movement of the pilot P and one the speed and / or acceleration vector Signal representing head movement is generated (usually two speed or acceleration vectors are sufficient, since the most pronounced changes in the field of vision of the pilot P and thus of the image capture device 2 result from lateral head turns and head pitching movements of the pilot P).
  • This signal is also transmitted directly or indirectly to the receiving device 16 arranged on the helicopter F.
  • the servomotors 20 of the image capturing device 8 are then controlled with the aid of this signal, in such a way that the movement of the image capturing device 12 leads the pilot's head movement somewhat.
  • the received operation and / or secondary data signals are in turn input via a suitable interface into the data processing device 6 assigned to the pilot P.
  • the operation and / or Image data representing secondary data is generated.
  • a virtual image is now generated and displayed in the imaging device 4 of the pilot P, so that the operation and / or secondary data are visually visible to the pilot P as on an instrument panel and / or an instrument 64.
  • another reference signal that can be detected by the senses of the pilot P can also be generated, for example an acoustic warning signal or the like. This can be useful, for example, for a stall warning.
  • the virtual images 64 of the operation and / or secondary data can be displayed in the imaging device 8, 56 together with or separately from the image 62 of the real scenario S. 7 shows a schematic view of the pilot P from the perspective of the
  • Imaging device 56 which comprises a display area for the image 62 of the real scenario S, a display area for images 64 of operational and / or secondary data and a further display area for images 66, which will be referred to later.
  • the virtual images 64 of the operation and / or secondary data must be generated by suitable program routines, preferably in the data processing device 6 assigned to the pilot P.
  • suitable program routines preferably in the data processing device 6 assigned to the pilot P.
  • Secondary data can also originate from the pilot's side: the pilot P speaks into the acoustic detection device 50 (microphone; see FIG. 4) arranged on the helmet 46 and the voice signals are transmitted to the helicopter F by means of the data transmission device and reproduced there by means of the loudspeaker device. Communication between pilot P and copilot Pc by means of the microphone and loudspeaker device of a respective helmet 6 is also possible.
  • the acoustic detection device 50 also serves other purposes, namely the detection and transmission of voice commands.
  • the microphone 50 is connected to the data processing device 6 assigned to the pilot P via suitable interfaces.
  • the data processing device 6 is equipped in hardware with a speech recognition module and in software with a speech recognition program.
  • the commands spoken into the microphone 50 by the pilot P are evaluated with the aid of the speech recognition module and program, and a command signal corresponding to the command is generated by the data processing device 6.
  • a command signal corresponding to the command is generated by the data processing device 6.
  • this can be transmitted to the helicopter F, for example, and a control action corresponding to the command can be triggered adequately with the aid of the command signal.
  • the systems assigned to the copilot Pc essentially correspond to those of the pilot P. It has proven to be advantageous to design the imaging device 12 of the pilot P and the routines triggered by head and / or eye movements of the pilot P independently of those of the copilot Pc, so that the copilot Pc can take on additional tasks independently of the pilot P. Furthermore, it is provided within the scope of the invention to couple at least a third party, for example an operator completely independent of pilot P and copilot Pc, into the system via suitable interfaces and, if necessary, for information, control or observation purposes in the pilot P and / or to allow copilot Pc to view image data and data material. A simple screen is usually sufficient for the operator as the imaging device. Moreover, is it is conceivable to record the operator by means of a camera device and to feed the image of the operator as a further image 66 into the imaging device 56 of the pilot P and / or copilot Pc, which can be useful for communication purposes.
  • a third party for example an operator completely independent of pilot P and copilot Pc
  • the device according to the invention and the associated method according to the invention use image data of a real scenario S, comparatively less computing power is required for the data processing devices 6, 18 compared to the generation of "virtual realities". This enables a very quick image build-up.
  • the display of virtual control elements or additional information, which can optionally be overlaid with the representation of the real scenario S in the imaging device 8, 56 of the pilot P, also requires only a low computing power due to the generally comparatively simple picture elements.
  • the device according to the invention for the helicopter F has a real control device 2 assigned to the pilot P.
  • the real control device 2 is one on the armrest 68 of the Seat 40, on which pilot P takes place for steering, arranged control sticks 42 (sidestick) and additional operating elements 44.
  • Pedals 70 are provided in the foot area of pilot P.
  • the pilot P controls the cyclic rotor control of the helicopter F with the control stick 42 and the tail rotor control with the pedals 70.
  • the helicopter F can thus be controlled in three axes.
  • the pitch for the collective rotor control and switches for activating or deactivating the drive device of the helicopter F or for actuating its additional systems 26 may be mentioned as an example of the additional operating elements.
  • the mentioned control and operating elements 42, 44, 70 are ⁇ tf PH P SH 4 Oi
  • FIG. 8 shows a schematic representation of a selection from a large number of different possible direct and / or indirect data transmission paths T between the helicopter F and pilot P and / or copilot Pc, or between the transmission / assignment assigned to pilot P.
  • Receiving device 4 and the transmission / reception device 16 assigned to the helicopter F If the transmission / reception device 4 assigned to the pilot P or the data processing device 6 is not in the immediate vicinity of the pilot P, another transmission path between the transmission
  • Data processing device 6 arise. This can also be seen in FIG. 8.
  • reference symbol 72 in FIG. 7 denotes a satellite, 74 an aircraft, 76 a vehicle and 78 a watercraft.
  • the different data signals emanating from the helicopter or the pilot P do not necessarily have to go the same transmission path.
  • the location system can be, for example, the transmission device itself, since its signals are suitable for location.
  • a GPS system is particularly suitable as a navigation system, since, owing to its extremely low weight, it can advantageously be carried in the helicopter F.
  • the navigation signals can also be transmitted to the pilot P as secondary data. Furthermore, it has proven to be positive to equip the device according to the invention with a transponder device as well as encryption devices and corresponding decoders.
  • the device according to the invention described above for an individual pilot P or a pilot P and a copilot Pc and the method according to the invention can of course be expanded for several operators. Instead of the head movement of the pilot P, an eye movement of the pilot P can also be detected in an analogous manner and evaluated accordingly. If necessary, it is also possible in the transmission path T between pilot P and helicopter F, or vice versa, to also at least temporarily store the data transmitted between helicopter F and pilot P in a suitable storage medium.
  • a corresponding storage and / or data processing device can be provided, for example, in a mobile or stationary relay station.
  • the data processing device 18 assigned to the helicopter F could in principle be omitted; the data processing device 6 assigned to the pilot P then takes over its tasks.
  • the different data or data signals transferred between pilot P and helicopter F, or vice versa can be transmitted in different or identical ways.
  • the systems of the device according to the invention set out above can be constructed in the manner of components or modules.
  • the image capturing device 12, 14 arranged on the helicopter F immovably and, in the manner already described in detail, to display only a "still image" of a real scenario in the imaging device 4 that is independent of a head and / or eye movement of the pilot P.
  • a possible change in the viewing area of the real scenario and thus a change in the "still image” then only results from a movement of the helicopter F itself.
  • such a device and such a method are incomparably less impressive and less suggestive of reality than the variant described above in which the image capturing device 12, 14 is movable depending on the head and / or eye movement of the pilot P.
  • FIG. 9 shows a highly simplified schematic illustration of a virtual control or monitoring device 82 (hereinafter briefly called a virtual control device) of the means of transportation system according to the invention and its mode of operation. According to the invention, such a device can be in addition to or instead of the real one
  • Control devices 2, 42, 44, 70 may be provided for the pilot P and / or the copilot.
  • This virtual control device is a non-real control device that is artificially generated by a program of the data processing device 6 and is usually shown as a pure illustration, but with which the pilot P can interact for the purpose of checking or controlling the helicopter F. )
  • a so-called cybersuit can also be used in a complex embodiment, i.e. a garment-like device which can be worn on the body by the pilot P and is equipped with a multiplicity of sensor devices and feedback systems which are provided for interaction with the real and / or virtual control device and which simulate events that can be detected by the pilot P by sensory perception.
  • suitable gyro systems e.g. an inertial navigation method can also be used, which calculates the position of the body part of pilot P which triggers a control action or a device which is used for this purpose on the basis of the data supplied by the gyro system arranged in the device or on the body part, and a control event when a mathematically predetermined control element position is reached triggers.
  • a mouse-like, joystick-like or trackball-like device is also conceivable as an aid to carrying out a virtual control action, or a handle (possibly with further operating elements, buttons, switches) kept free by the pilot P, which comprises a built-in gyro system that the single or multi-axis Signals representing movement of the handle.
  • Such devices in turn correspond to the data processing device 6.
  • the invention is not limited to the above exemplary embodiments, which only serve to explain the basic idea of the invention in general.
  • the method according to the invention and the means of transportation system according to the invention can rather also take embodiments other than those described above, combinations of the features of the individual claims also being included.
  • the method and the system according to the invention can also be applied to land vehicles, watercraft, underwater vehicles, spacecraft or the like instead of to missiles.
  • the data transmission paths between the missile and the pilot, and vice versa can also run in at least one section via a network-like data transmission system.
  • the means of transportation system according to the invention can moreover be provided with at least one simulation device assigned to the pilot P for simulating the movements and states of the means of transportation.
  • the real and / or virtual control device of the means of transportation system can include the simulation device or vice versa.
  • the above-mentioned cybersuit can represent the simulation device, for example.
  • the real control device, on the seat device of which the pilot takes a seat in the embodiment described above can be equipped with movement means for moving the seat device in accordance with the movements of the means of transport in one or more axes.
  • control and / or regulating device for 20 34 motion and / or position sensor for 12, 14 /
  • Sensor device 54 for detecting at least one head and / or eye movement of the

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Kontrollieren eines unbemannten Fortbewegungsmittels (F), sowie ein Fortbewegungsmittelsystem zur Durchführung des Verfahrens, das Verfahren umfassend die nachfolgenden Schritte: Erfassen wenigstens eines realen Szenarios (S) mittels mindestens einer am Fortbewegungsmittel (F) angeordneten Bilderfassungseinrichtung (12, 14), Erzeugen von das reale Szenario (S) repräsentierenden Bilddaten, direktes und/oder indirektes Übertragen (T, Tr, Tw) der Bilddaten (4) des realen Szenarios (S) zu mindesten seiner vom Fortbewegungsmittel (F) getrennten und einem getrennt vom Fortbewegungsmittel (F) operierenden Piloten (P) zugeordneten Empfangseinrichtung (4) und Empfangen der Bilddaten (4) mittels derselben (4), direktes und/oder indirektes Übertragen der empfangenen Bilddaten (4) des realen Szenarios (S) zu mindestens einer am Kopf (K), insbesondere direkt vor den Augen des Piloten (P) angeordneten Abbildungseinrichtung (8, 56), Erzeugen einer Abbildung (62) des realen Szenarios (S), Anzeigen derAbbildung (62) des realen Szenarios (S) in der Abbildungseinrichtung (8, 56).

Description

Verfahren zum Kontrollieren eines unbemannten
Fortbewegungsmittels und unbemanntes Fortbewegungsmittelsystem zum Durchführen dieses
Verfahrens
TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft ein Verfahren zum Kontrollieren eines unbemannten Fortbewegungsmittels sowie ein unbemanntes FortbewegungsmittelSystem zum Durchführen dieses Verfahrens.
STAND DER TECHNIK
Aus der US 52 40 207 ist ein Verfahren und eine Vorrichtung zum Fernsteuern einer Drohne bekannt, wobei die Drohne eine Modifikation eines ursprünglich konventionellen bemannten Flugzeugs darstellt. Der Pilot wird bei diesem System durch eine flugkörperseitig vorgesehene mechanische, fernlenkbare Steuereinrichtung ersetzt und der Flugkörper über eine Bodenstation ferngelenkt . Die Bodenstation ist dem Flugzeugcockpit möglichst identisch nachgebildet. Die mechanischen Steuerelemente im modifizierten
Flugkörpercockpit sind derart angeordnet, daß ihre Betätigung im wesentlichen den Bewegungen der Gliedmaßen eines im Cockpit sitzenden Piloten entspricht. Die Steuer- und Handhabungseigenschaften der unbemannten Drohne entsprechen auf diese Weise weitgehend denen des ursprünglichen Flugzeugs, so daß für einen Piloten, der an das ursprüngliche Flugzeugmuster gewöhnt war bzw. ist, die Fernsteuerung der unbemannten Drohne im nachgebildeten Cockpit der Bodenstation keine nennenswerte motorische Umstellung darstellt. Flugkörperseitig ist die Drohne des weiteren ausgestattet mit zwei Videokameras, von denen eine die Cockpitinstrumente und die andere durch eine Cockpitfrontscheibe hindurch eine Außenansicht erfaßt. Die erfaßten Bilddaten werden zur Bodenstation übertragen und dort empfangen und im nachgebildeten Cockpit angezeigt . Zu diesem Zweck sind im nachgebildeten Cockpit zwei feststehende Monitore vorgesehen, von denen der eine entsprechend der Position der Instrumente im unbemannten Flugkörpercockpit angeordnet ist und die Abbildung der Instrumente wiedergibt, und von denen der andere entsprechend der vorderen Cockpitscheibe im unbemannten Flugkörper angeordnet ist und die Abbildung der Außenansicht wiedergibt. Das nachgebildete Cockpit der Bodenstation verfügt des weiteren über dem ursprünglichen Flugzeugcockpit entsprechende Steuerelemente, sprich Pedale, Steuerknüppel usw., für den Drohnenpiloten. Die Bodenstation ist deshalb mit einem Flugsimulatoren vergleichbar, der von seiner räumlichen Gestaltung her dem Cockpit eines gezielt ausgewählten Flugzeugmusters nachempfunden ist und dann ein Pilotentraining für dieses spezifische Flugzeugmuster ermöglicht. Die vorbekannte Vorrichtung und das damit verbundene Verfahren zielen darauf ab, ältere, sprich nicht mehr ausreichend leistungsfähige Flugzeugmuster (hier: F-4 Phantom II) als Drohnen wiederzuverwenden und bereits an das bemannte Originalflugzeug gewöhnten Piloten die Fernsteuerung der Drohne ohne große Umstellung zu ermöglichen.
Die DE-Z "Flugrevue", Heft 12, 1994, Seite 75 Mitte offenbart ein Verfahren und eine Vorrichtung zum Fernsteuern von Laborrobotern, die z.B. in einem Weltraumlabor zur Handhabung von Laborproben eingesetzt werden. Da derartige Roboter aufgrund ihrer besonderen Kinematik für durchschnittliche Wissenschaftler oder Missionsteilnehmer nur schwer zu bedienen sind, wird es als erstrebenswert angesehen eine Steuerung zu schaffen, die es ermöglicht, auch solche Zielpersonen selbständig Experimente durchführen zu lassen, die keine mit dem jeweiligen Robotermodell vertraute Roboterexperten sind. Zu diesem Zweck wird ein Verfahren und eine Vorrichtung vorgeschlagen, bei dem bzw. der das Labor, in dem der Roboter in der Realität arbeiten wird, nach dem Prinzip der virtuellen Realität als dreidimensionales elektronisches Modell in einem Rechner künstlich generiert und abgebildet wird. Mit Hilfe eines Helmdisplays kann der Bediener in die Kunstwelt des virtuellen, rechnerisch erzeugten Labors einblicken und mittels eines Datenhandschuhs die Bedienung des Roboters simulieren. Diese Simulation dient dem Roboter gleichzeitig als eine Art Lernsequenz zum anschließenden rechnerisch korrigierten Nachvollziehen einer jeweiligen Bedienungsoperation. Das heißt, jede Bedienfunktion wird vom Bediener erst in der virtuellen Realität vorgenommen, dann erst fährt der Roboter diese Aktion in der Realität nach; hierbei werden etwaige in der vorangegangenen Simulationsphase aufgetretenen Unsicherheiten oder Fehler des ungeübten Benutzers durch eine Software kompensiert, die gewissermaßen das Expertenwissen ersetzt.
Die DE-Z "Fliegermagazin", Ausg. 6/95, Seiten 3, 6 -13, Artikel "Klare Sicht im dicksten Nebel" offenbart eine Vorrichtung und ein Verfahren zur Flugführung eines bemannten Luftfahrzeugs unter extrem erschwerten Sichtverhältnissen (Null-Sicht) . In einem im Luftfahrzeug angeordneten und im bemannten Flug mitgeführten Bordcomputer sind Daten eines aus Landvermessungen gewonnen digitalen Geländemodells abgespeichert. Mit Hilfe dieser digitalen Geländedaten wird rechnerisch ein virtuelles Abbild derjenigen realen Landschaft erzeugt, in dem das Luftfahrzeug eingesetzt wird und sich bewegt . Die virtuellen Abbildungen sind in einem von dem Piloten zu tragenden Datenhelm anzeigbar. Die Verwendung eines Datenhelms wird bei diesem System allerdings als nachteilig herausgestellt und statt dessen ein sog. Head-Up- Display oder ein einfacher Cockpit-Monitor bevorzugt. Um sicherzustellen, daß dem Piloten genau diejenigen virtuellen Landschaftsbilder angezeigt werden, die einem normalen Blick aus dem Cockpit an einer aktuellen Flugposition des Luftfahrzeugs entsprechen würden, ist der Bordcomputer mit einer Positionsbestimmungseinrichtung, nämlich einem GPS, gekoppelt, das einen Positionswert an den Bordcomputer liefert, auf dessen Grundlage der Bordcomputer dann die mit der aktuellen Position jeweils korrespondierende virtuelle Landschaftsabbildung generiert . Der Datenhelm ist mit einem Kopfpositionssensor ausgestattet, der ein Kopfpositionssignal an den Bordcomputer liefert, mit dessen Hilfe dieser wiederum aus den Daten des abgespeicherten digitalen Geländemodells eine solche virtuelle Landschaftsabbildung generiert, die dem realen Blickwinkel des Piloten entsprecht, falls dieser bei. guter Sicht mit der jeweiligen Kopfposition selbst aus dem Cockpit schauen würde. Zur besseren Pilotenorientierung und Steuerung des Luftfahrzeugs wird in die virtuelle Landschaftsabbildung ein ebenfalls rein rechnerisch erzeugter virtueller Flugpfad eingeblendet. Die vorhergehend beschriebene Vorrichtung und das damit verbundene Verfahren schafft also bei schlechten Sichtverhältnisse eine künstliche Landschaftsdarstellung ("Electronic VFR"), die jedoch durch einen mitgeführten Bordcomputer unter Zuhilfenahme einer abgespeicherten, sehr umfangreichen Landschaftsdatensammlung und unter fortwährender Positionsbestimmung laufend rechnerisch generiert werden muß. Auch ist ständig eine recht schwere Zusatzausrüstung im bemannten Flugzeug mitzuführen. Des weiteren sind die darstellbaren Landschaftsabbildungen trotz hoher Rechenleistungen qualitativ nicht sehr hochwertig; sie lassen zwar eine elektronische Navigation zu, sind für den Anwender aber stets als künstliche Darstellungen erkennbar. Da bei diesem System die Navigation zwangsläufig nach bereits im Bordcomputer abgespeicherten Landschaftsdaten erfolgen muß, können aktuelle reale Änderungen in der Landschaft nicht erfaßt werden, so daß ein gewisser Unsicherheitsfaktor bei dieser Navigationsart verbleibt.
DARSTELLUNG DER ERFINDUNG
Der Erfindung liegt die Aufgabe zugrunde ein einfaches und effektives Verfahren zum Kontrollieren eines unbemannten Fortbewegungsmittels sowie ein ebenso einfaches und effektives unbemanntes Fortbewegungsmittelsystem zum Durchführen dieses Verfahrens zu schaffen, die es gestatten dem Piloten des Fortbewegungsmittel ein möglichst realitätsnahes Fortbewegungsempfinden zu vermitteln, wobei das Fortbewegungsmittelsystem möglichst vielfältig einsetzbar sein soll.
Diese Aufgabe wird gelöst durch ein erfindungsgemäßes Verfahren zum Kontrollieren eines unbemannten Fortbewegungsmittels mit den Merkmalen des Anspruchs 1 sowie durch ein unbemanntes FortbewegungsmittelSystem zum Durchführen des Verfahrens nach Anspruch 1 mit den Merkmalen des Anspruch 45.
Ein unbemanntes Fortbewegungsmittel im Sinne der Erfindung ist ein Fortbewegungsmittel, das keine zur Kontrolle und/oder zur Steuerung des Fortbewegungsmittel erforderliche Person, z.B. einen Piloten oder Bedienungsperson befördert; ein unbemanntes Fortbewegungsmittel im Sinne der Erfindung kann daher auch ein solches Fortbewegungsmittel sein, das zwar Personen befördert, wobei von diesen Personen jedoch keine eine Steuer- und/oder Kontrollfunktion für das Fortbewegungsmittel ausübt .
Das erfindungsgemäße Fortbewegungsmittelsystem und das damit verbundene erfindungsgemäße Verfahren vermittelt einem Piloten ein sehr realitätsnahes Fortbewegungsempfinden, das besonders ausgeprägt ist, wenn es sich bei dem Fortbewegungsmittel um ein Fluggerät, wie z.B. ein Flugzeug oder einen Hubschrauber handelt . Dabei entsteht dem Piloten der Eindruck, daß er sich direkt in dem Fortbewegungsmittel befindet und sich mit diesem mitbewegt. Der Pilot ist dabei in der Lage sich in realen Räumen, die das Fortbewegungsmittel durchschreitet, umzusehen und zu orientieren, wobei je nach Ausgestaltung der Abbildungseinrichtung des erfindungsgemäßen
FortbewegungsmittelSystems, die /Abbildungen realer Szenarien wiedergibt, ein so starkes 3 -D-Empfinden entsteht, so der Piloten den Eindruck gewinnt, er befände sich selbst in dem Fortbwegungsmittel und würde sich mit diesem fortbewegen. Auf diese Weise kann eine bessere Orientierung und Koordination der Steuertätigkeiten erzielt und sehr diffizile Operationen mit dem Fortbewegungsmittel ausgeführt werden, obwohl sich der Pilot an einem von dem Fortbewegungsmittel getrennten Ort aufhält. Das erfindungsgemäße FortbewegungsmittelSystem kann somit u.U. auch für Personen von Vorteil sein, die sich wegen körperlicher Behinderungen nur noch wenig oder überhaupt nicht bewegen können, mit dem erfindungsgemäßen System jedoch eine Fortbewegung erleben können.
Überdies kann das unbemannte Fortbewegungsmittels weitaus höheren Belastungen ausgesetzt werden, als es bei einem sich in dem Fortbewegungsmittel aufhaltenden Pilot denkbar ist. Dies gilt insbesondere im Hinblick auf die G-Belastungen (Beschleunigungsbelastungen) , wenn es sich bei dem Fortbewegungsmittel um ein Fluggerät bzw. einen Flugkörper handelt. Aufgrund der inhärenten hybriden Eigenschaften diverser Komponenten des erfindungsgemäßen Fortbewegungsmittelsystems können reale und virtuelle Bilddaten und Informationen je nach Bedarf kombiniert und dem Piloten zu Verfügung gestellt und somit die
Leistungsfähigkeit des Gesamtsystems Pilot-Maschine erheblich gesteigert werden. Aufgrund des unbemannten Systems erübrigen sich übliche, kostenintensive Sicherheitseinrichtungen für den Piloten. Das erfindungsgemäße FortbewegungsmittelSystem ist besonders für den Einsatz in sicherheitskritischen Einsatzgebieten geeignet. Das erfindungsgemäße Konzept gestattet ferner auf sehr vorteilhafte Weise eine extreme Miniaturisierung des Fortbewegungsmittels, was wiederum die Herstellungs- und Betriebskosten stark reduziert und das Fortbewegungsmittelsystem für Überwachungs- und Kontrollaufgaben, insbesondere in urbanen Gebieten oder in Gebäuden, besonders geeignet macht. Mit dem erfindungsgemäßen Fortbewegungsmittelsystem lassen sich logistische Aufgaben, z.B. schnelle Dokumenten- , Medikamententransporte oder ähnliches leicht und kostengünstig durchführen. Das erfindungsgemäße Fortbewegungsmittelsystem ist ein besonders effektives und effizientes Einsatzmittel für polizeiliche, militärische oder nachrichtendienstliche Aufgaben, wobei insbesondere in kritischen Missionen kein direktes Risiko für den Piloten besteht. Gleichzeitig sind die Missionen wiederum äußerst kostengünstig durchzuführen. Das Fortbewegungsmittel kann infolge der o.g. Miniaturisierung überdies sehr leise ausgelegt werden, was wiederum für militärische Missionen oder Observationen vorteilhaft ist . Neben dem Piloten können zusätzliche und verschiedene Beobachter in das Wahrnehmungsbild des Piloten, d.h. in die Abbildung des realen Szenarios, die Flugdatenabbildungen und Abbildungen der Kontroll- und Steuerelemente, eingeschaltet oder über separate Bilderfassungseinrichtungen mit zusätzlichen Bilddaten versorgt werden. Auch können Kopiloten, die weitere Zusatzfunktionen des Fortbewegungsmittels bedienen oder koordinieren, mit dem Fortbewegungsmittelsystem arbeiten.
Weitere vorteilhafte Weiterbildungen und Ausgestaltungen des erfindungsgemäßen Verfahrens und des erfindungsgemäßen • FortbewegungsmittelSystems sind Gegenstand der Unteransprüche .
Es wird darauf hingewiesen, daß der Gegenstand der Erfindung sich nicht nur auf die Merkmale der einzelnen Ansprüche erstreckt, sonder auch auf deren Kombinationen.
Bevorzugte Ausführungsformen und weitere Einzelheiten und Vorteile des erfindungsgemäßen Verfahrens und des erfindungsgemäßen Fortbewegungsmittelsystems werden nun nachfolgend unter Bezugnahme auf die Zeichnungen beschrieben werden. Es zeigen:
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Fig. 1 eine schematische Übersicht der wichtigsten Komponenten des erfindungsgemäßen FortbewegungsmittelSystems, Fig. 2 eine schematische Ansicht des erfindungsgemäßen unbemannten Fortbewegungsmittels ,
Fig. 3 eine schematische Ansicht der erfindungsgemäßen Bilderf ssungseinrichtung,
Fig. 4 eine erste schematische Ansicht der erfindungsgemäßen Abbildungsvorrichtung,
Fig. 5 eine zweite schematische Ansicht der erfindungsgemäßen Abbildungsvorrichtung,
Fig. 6 eine schematische Ansicht des Abbildungsbereiches der erfindungsgemäßen Abbildungsvorrichtung,
Fig. 7 zeigt aus der Sicht eines Piloten einen schematischen Blick in die Abbildungseinrichtung,
Fig. 8 in schematischer Darstellung eine Auswahl verschiedener Datenübertragungswege zwischen dem unbemannten Fortbewegungsmittel und Piloten, und
Fig. 9 eine stark vereinfachte schematische Darstellung einer virtuellen Steuer- oder Kontrolleinrichtung des erfindungsgemäßen FortbewegungsmittelSystems .
BESCHREIBUNG EINES AUSFÜHRUNGSBEISPIELS DER ERFINDUNG
In der nachfolgenden Beschreibung wird auf gleiche Bauteile oder Komponenten jeweils mit dem gleichen Bezugszeichen Bezug genommen werden, sofern keine weitere Differenzierung erforderlich ist.
Im Rahmen der Beschreibung wird angenommen, daß es sich bei dem im Rahmen des erfindungsgemäßen Verfahren benutzten unbemannten Fortbewegungsmittel des erfindungsgemäßen FortbewegungsmittelSystems um einen miniaturisierten Hubschrauber F handelt.
Für die nachfolgenden Darlegungen sind ferner folgende einleitende Definitionen bzw. Umschreibungen nützlich:
Unter einer "Kopf- und/oder Augenbewegung" des Piloten ist im Sinne der Erfindung auch solch eine Kopf- und/oder Augenbewegung zu verstehen, die sich aus einer Körperbewegung des Piloten, z.B. durch eine Bewegung des Oberkörpers oder dergleichen, oder durch eine Veränderung des Bezugsystems, in dem sich der Pilot selbst befindet, relativ zu mindestens einem definierten Bezugspunkt ergibt.
Unter einem "realen Szenario" ist im Sinne der Erfindung eine real existierende Umgebung, zum Beispiel eine Landschaft mit ggf. darin befindlichen Lebewesen und Objekten, zu verstehen, in der sich der Hubschrauber bewegt.
Unter Operationsdaten sind im Sinne der Erfindung Daten zu verstehen, die den aktuellen Zustand des Hubschraubers repräsentieren, zum Beispiel um die Fluggeschwindigkeit, die Flughöhe, die Lage des Flugkörpers im Raum, Navigationsdaten, Treibstoffanzeige und so weiter.
"Dem Piloten zugeordnet" bedeutet im Sinne der Erfindung, daß ein dem Piloten zugeordnetes reales oder virtuelles Objekt sich entweder im direkten Einflußbereich des Piloten oder aber von diesem entfernt befindet, jedoch zur Ausführung, Übermittlung oder Empfang von vom Piloten ausgehenden oder für diesen bestimmten Ereignissen bestimmt ist oder dient.
"Dem Hubschrauber zugeordnet" bedeutet im Sinne der Erfindung, daß ein dem Hubschrauber zugeordnetes reales oder virtuelles Objekt sich entweder direkt in oder an dem Hubschrauber oder aber von diesem entfernt befindet, jedoch zur Ausführung, Übermittlung oder Empfang von von dem Hubschrauber oder Zusatzsystemen des Hubschraubers ausgehenden oder für dieses bestimmten Ereignissen bestimmt ist oder dient.
Unter Sekundärdaten sind im Sinne der Erfindung Daten zu verstehen, die von dem Hubschrauber und/oder dem Piloten zugeordneten Zusatzgeräten direkt und/oder indirekt ausgehen oder für diese bestimmt sind, so zum Beipiel die Daten eines Zielerfassungssystems oder dergleichen.
Im nachfolgenden wird die dem Piloten zugeordnete Datenübertragungseinrichtung und Empfangseinrichtung auch als HauptStation bezeichnet werden.
Unter Kontrollieren des Hubschraubersystems kann im Sinne der Erfindung sowohl Bedienen, Steuern als auch Regeln verstanden werden .
Wie in der Figur 1 angedeutet, umfaßt die erfindungsgemäße Vorrichtung einen unbemannten Hubschrauber F, der im vorliegenden Fall als Miniaturhubschrauber mit einem Hauptrotordurchmesser von etwa 2,4 m und einem Abfluggewicht von zirka 18 kg ausgebildet ist, und eine einem Piloten P zugeordnete Steuereinrichtung 2, eine Übertragungs- und Empfangseinrichtung 4, eine Datenverarbeitungseinrichtung 6 und eine direkt vor den Augen des Piloten P angeordnete und mittels einer Kopf- und/oder Augenbewegung des Piloten P mitbewegbaren Abbildungseinrichtung 8 umfaßt . Eine weitere Abbildungseinrichtung 10, die mit der
Datenverarbeitungseinrichtung 6 des Piloten P über eine Datenleitung 11 in Verbindung steht, ist für einen Kopiloten Pc vorgesehen. Die Übertragungs- und Empfangseinrichtung 4 dient der Übertragung von Daten zum Hubschrauber F und zum Empfangen von vom Hubschrauber F ausgehenden Datensignalen. Die dem Piloten P zugeordnete Übertragungs- und Empfangseinrichtung ist im vorliegenden Fall in einem einzelnen Gerät untergebracht. Die Übertragungs- und die Empfangseinrichtung können jedoch auch als separate Geräten ausgestaltet sein.
Die Übertragungs- und Empfangseinrichtung 4, die Steuereinrichtung 2, die Abbildungseinrichtungen 8, 10 des Piloten P und des Kopiloten Pc sowie Sensoren, auf die später noch Bezug genommen werden wird, sind über geeignete Schnittstellen mit der dem Piloten P zugeordneten Datenverarbeitungseinrichtung 6 verbunden.
Der Fig. 2 sind weitere Details des erfindungsgemäßen unbemannten Hubschraubers F zu entnehmen. Der Hubschrauber F ist mit zwei in mehreren Achsen beweglichen
Bilderfassungseinrichtungen 12 zum Erfassen wenigstens eines realen Szenarios S und zum Erzeugen von das reale Szenario S repräsentierenden Bilddaten ausgerüstet. Die
Bilderfassungseinrichtungen 12, die Bilddaten für den Piloten P liefert, ist in diesem Beispiel im Bereich der Nase des Hubschraubers F angeordnet . Die für die Bilddatenversorgung des Kopiloten Pc bestimmte Bilderfassungseinrichtungen 14 befindet sich hier dagegen in einem hinteren, unteren Rumpfabschnitt des Hubschraubers F. Hinsichtlich der Anordnung der Bilderfassungseinrichtungen 12, 14 kommt generell jedoch jeder geeignete Anbringungsort in Frage.
Der Hubschrauber F ist des weiteren mit einer Übertragungseinrichtung zum direkten und/oder indirekten Übertragen von durch die Bilderfassungseinrichtungen 12, 14 gelieferten Bilddaten des realen Szenarios S zu der vom Hubschrauber F getrennten und dem Piloten P zugeordneten Empfangseinrichtung sowie einer Empfangseinrichtung zum Empfangen von von der dem Piloten P zugeordneten Übertragungseinrichtung ausgehenden Datensignalen ausgerüstet. Übertragungs- und Empfangseinrichtung des Hubschraubers F sind vorzugsweise in einem gemeinsamen Gerät 16 integriert. Zwischen Piloten P und Hubschrauber F bestehen im vorliegenden Ausführungsbeispiel also Verbindungen für folgende Basisfunktionen:
Figure imgf000014_0001
In der einfachsten Ausführungsform ist die einem Datentransfer bzw. -austausch dienende Verbindung zwischen Piloten P und Hubschrauber F, beziehungsweise umgekehrt, durch eine Funkverbindung C oder Datenleitungen realisiert.
Der Hubschrauber F umfaßt zusätzlich wenigstens eine Datenverarbeitungseinrichtung 18, Stelleinrichtungen 20 zum Bewegen der Bilderfassungseinrichtungen 12, 14 sowie Aktuatoren 22 zum Betätigen von Steuerelementen des Hubschraubers F, wie etwa kollektive und zyklische Blattverstellung, Heckrotorsteuerung oder der Antriebseinrichtung, sowie Zusatzsteuerelemente 24 zum Aktivieren von Zusatzsystemen 26, wie etwa einer Bordbewaffnung, Einrichtungen zum Erfassen und Kontrollieren eines Verriegelungszustandes, Beleuchtungseinrichtungen, Energieerzeugungs- und Speichereinrichtungen, Startereinrichtung, abwerfbare Behälter zur Aufnahme einer Transportladung, Navigationseinrichtungen und dergleichen. Des weiteren verfügt der Hubschrauber F über
Sensoreinrichtungen 28, die den Flugzustand oder den Zustand der Zusatzsysteme repräsentierende Datensignale liefern, diese Daten oder Datensignale werden nachfolgend als Operations- und/oder Sekundärdaten bezeichnet. In der Zeichnung ist stellvertretend für solche Sensoren eine Meßinstrumentierung zum Erfassen der Fluggeschwindigkeit, d.h. ein Staurohrsensor 28, angedeutet. Sekundärdaten sind des weiteren Daten, die hubschrauberseits empfangen werden und zur Kontrolle oder Regelung der oben genannten Zusatzsysteme oder Aktuatoren dienen. Das Übertragungssystem für die Operations- und/oder Sekundärdaten kann in wenigstens einer Ausführungsform der Erfindung als Telemetrieeinrichtung ausgestaltet sein.
Die Übertragungs- und Empfangseinrichtung 16, die Bilderfassungseinrichtungen 12, 14, die Stelleinrichtungen 20 zum Bewegen der Bilderfassungseinrichtungen 12, 14, die Aktuatoren 22 sowie die Zusatzsteuerelemente 24 sind über geeignete Schnittstellen mit der
Datenverarbeitungseinrichtung 18 des Hubschraubers F verbunden.
Die Fig. 3 zeigt in schematischer Darstellung weitere Einzelheiten der Bilderfassungseinrichtung 12, 14 des erfindungsgemäßen Hubschraubersystems . Da sich die für den Piloten P und den Kopiloten Pc bestimmten
Bilderfassungseinrichtungen 12, 14 im wesentlichen ähneln, wird nachfolgend nur eine Bilderfassungseinrichtung 12 allgemein beschrieben werden.
Die Bilderfassungseinrichtung 12 ist im vorliegenden Fall in einer in drei Achsen (x, y, z) beweglichen Halterung 30 gehalten und mit dieser in den entsprechenden Achsen bewegbar, wobei zur Durchführung der Bewegungen eine entsprechende Anzahl von elektrischen Stellmotoren 20, Stellglieder, Servos oder dergleichen (z.B. elektromagnetischen, hydraulischen oder pneumatische Stellglieder usw.) vorgesehen ist. Die Stellmotoren 20 sind an eine geeignete Steuer- und/oder Regeleinrichtung 32 angeschlossen, die wiederum mit der
Datenverarbeitungseinrichtung 18 des Hubschraubers F korrespondiert oder als Bestandteil derselben ausgelegt ist, so daß durch eine Kombination der Bewegungen um die einzelnen Achsen (x, y, z) eine nahezu beliebige Ausrichtung der Bilderfassungseinrichtung 12 erzielbar ist. Die Steuer- und/oder Regeleinrichtung 32 zum Steuern oder Regeln der Stellmotoren 20 der beweglichen Bilderfassungseinrichtung 12 sind so aufeinander abgestimmt, daß die
Bilderfassungseinrichtung 12 im wesentlichen simultan zu einer Kopf- und/oder Augenbewegung des Piloten P (bzw. Pc) beweglich. Hierzu wird später noch detaillierter Stellung genommen .
Zur Erfassung der jeweils aktuellen Bewegung und/oder Position der Bilderfassungseinrichtung 12 ist mindestens ein Bewegungs- und/oder Positionssensor 34 (im nachfolgenden Kamerapositionssensor 34 genannt) zum Erfassen wenigstens einer Bewegung und/oder Position der beweglichen Bilderfassungseinrichtung 12 vorgesehen, wobei dieser Sensor 34 ein die Bewegung und/oder Position der Bilderfassungseinrichtung 12 repräsentierendes Signal liefert. Der Kamerapositionssensor 34 ist über eine geeignete Schnittstelle mit der Datenverarbeitungseinrichtung 18 des Hubschraubers F verbunden.
Wie aus der Fig. 3 ferner ersichtlich, ist die Bilderfassungseinrichtung 12 im vorliegenden Ausführungsbeispiel als stereoskopische Bilderfassungseinrichtung mit zwei Bilderfassungs-einzeleinrichtungen 12.1, 12.2 ausgebildet ist, wobei die Bilderfassungseinrichtung 12 eine nicht dargestellte Einrichtung zum Einstellen der Konvergenz der Sehachsen und/oder des imaginären Augabstandes und eine Einrichtung zum separaten Bewegen jeweils einer ihrer Bilderfassungs-Einzeleinrichtungen 12.1, 12.2 umfaßt. Dies dient der Anpassung an die individuellen Körpermaße und Seheigenschaften des Piloten P bzw. Pc, dem eine jeweilige Bilderfassungseinrichtung 12 bzw. 14 zugeordnet ist. Generell kann die Bilderfassungseinrichtung 12 ein Einzelokular umfassen, die mit der stereoskopischen Bilderfassungseinrichtung 12 erzielbaren Effekte sind jedoch hinsichtlich der Wirkung des subjektiv erzielbaren Raum- und Flugempfindens in der Regel besser.
Die Bilderfassungseinrichtung 12 kann ferner über eine Wechselobjektiv-, Zoom, Nachtsicht- oder
Infrarotsichteinrichtung verfügen, so daß die Bilderfassung bestimmtem Erfordernissen anpaßbar ist.
Jede der Bilderfassungseinzeleinrichtung 12.1, 12.2 der stereoskopischen Bilderfassungseinrichtung 2 umfaßt mindestens ein mit wenigstens einem CCD-Array ausgestattetes elektronisches Bauteil, zum Beispiel einen Videochip oder dergleichen, das über eine geeignete Schnittstelle zur Datenverarbeitungseinrichtung 18 des Hubschraubers F digitale Bilddatensignale des erfaßten realen Szenarios zur Verfügung stellt. Die Bilderfassungseinrichtung 12 kann in einer einfachen Ausführungsform durch ein oder mehrere Minitur- Videokameras oder -Fernsehkameras oder dergleichen realisiert werden .
Die Bilderfassungseinrichtung 12 ist überdies zur Erzielung guter Sichtverhältnisse auch bei schlechten Witterungsverhältnissen mit einer Niederschlagsab- scheidungseinrichtung 36, z.B. einer schnell rotierbaren Objektivabdeckung, einem oder mehreren Wischern oder einer Heizeinrichtung, versehen, die jedoch auch an einem am Hubschrauber F angeordneten Gehäuse 38, in dem die Bilderfassungseinrichtung 12, wie in Fig. 1 angedeutet, schützend untergebracht ist, vorgesehen sein kann.
Die voreingestellte Sichtrichtung der
Bilderfassungseinrichtung 2 ist hier in der Längsachse des Hubschraubers F ausgerichtet, kann je nach Bedarf aber auch in jeder andere Richtung eingestellt sein.
Wie oben bereits erwähnt, verfügen die Aktuatoren 22 zum Betätigen der Steuerelemente des Hubschraubers F sowie die Zusatzsteuerelemente 24 zum Aktivieren von Zusatzsystemen 26 ebenfalls über Sensoren, die Referenzsignale liefern, die einen Aufschluß über die Stellposition der Aktuatoren 22, den Aktivierungszustand der Zusatzsysteme 26 und dergleichen zulassen. Wie der Staurohrsensor 28 stehen diese Sensoren über geeignete Schnittstellen mit der
Datenverarbeitungseinrichtung 18 des Hubschraubers F in Verbindung.
Die Datenverarbeitungseinrichtung 18 wiederum ist über eine geeignete Schnittstelle mit der Übertragungs- und Empfangseinrichtung 16 des Hubschraubers F gekoppelt, so daß sämtliche relevanten Datensignale vom Hubschrauber F aus direkt oder indirekt zu der den Piloten P, Pc zugeordneten Empfangs- und Übertragungseinrichtung 4 übertragen werden können. Des weiteren ist die Empfangseinrichtung 16 des Hubschraubers F in der Lage von der dem Piloten P zugeordneten Übertragungseinrichtung 4 ausgehende Datensignale zu empfangen, diese in der
Datenverarbeitungseinrichtung 18 aufzubereiten und nach Bedarf mit Hilfe dieser Signale die vorhergenannten Einrichtungen 12, 14 und Zusatzsysteme 26 des Hubschraubers F zu betätigen, zu steuern und/oder zu regeln.
Wie in der Fig. 1 angedeutet ist die dem Piloten P zugeordnete Steuereinrichtung 2 im vorliegenden Fall in einem kompakten Sitz 40 bzw. Sitzsystem integriert, an dem auch die dem Piloten P zugeordnete Datenverarbeitungseinrichtung 6 und die Übertragungs- und Empfangseinrichtung 4 sowie eventuelle Zusatzgeräte angeordnet sind. Die Steuereinrichtung 2, die Datenverarbeitungseinrichtung 6 und die Übertragungs- und Empfangseinrichtung 4 können natürlich auch in einem Handgerät oder teilweise oder vollständig getrennt voneinander angeordnet sein, wobei es ebenfalls vorgesehen ist, daß sich diese Systeme an Orten befinden, die dem Piloten P nicht direkt zugänglich sind. So kann sich die Datenverarbeitungseinrichtung etwa in einem vom Aktionsort des Piloten P entfernten Gebäude, in einem Landfahrzeug oder auf einem Wasserfahrzeug befinden, während sich der Pilot P zum Beispiel in einem Flugzeug aufhält. Entsprechendes gilt für die dem Piloten P zugeordnete Übertragungs- und Empfangseinrichtung. Zwischen den dem Piloten P und dem Hubschrauber F zugeordneten Systemen besteht jedoch stets eine Datenverbindung, die allerdings nach Bedarf temporär deaktiviert sein kann.
Die dem Piloten P zugeordnete Steuereinrichtung 2 verfügt über Bedienelemente 42, 44 zum Steuern des Hubschraubers F und zum Steuern, Bedienen, Aktivieren oder Deaktivieren der Zusatzsysteme 26 des Hubschraubers F, wie etwa Scheinwerfer, Bordwaffen usw. . Die Steuereinrichtung ist über geeignete Schnittstellen mit der dem Piloten P zugeordneten Datenverarbeitungseinrichtung 6 verbunden.
Die Ausrüstung des Kopiloten Pc ist mit der des Piloten P vergleichbar, sie verfügt jedoch bei diesem Ausführungsbeispiel über keine eigene Steuereinrichtung 2.
Die Abbildungseinrichtungen 12, 14 des Piloten P und des Kopiloten Pc sind über geeignete Datenübertragungswege und eine zweckmäßige Schnittstelle mit der dem Piloten P bzw. Kopiloten zugeordneten Datenverarbeitungseinrichtung 6 verbunden .
Eine Ausführungsform der dem Piloten P zugeordneten erfindungsgemäßen Abbildungseinrichtung 56 ist εchematisch in der Fig. 4 dargestellt. Die Abbildungseinrichtung 56 ist in einem Helm 46 integriert, der am Kopf K des Piloten P getragen und bei jeder Kopf- oder Körperbewegung des Piloten P mitbewegt wird. Der Helm 46 ist mit einem ein- oder mehrteiligen, klappbaren Visier 48 ausgestattet, an dessen den Augen des Piloten P zugewandten Innenseite die Abbildungseinrichtung 56 angeordnet ist. Das Visier 48 dient gleichzeitig als Abschirmung gegen äußere Lichteinflüsse . Der Helm 46 umfaßt des weiteren eine akustische Erfassungseinrichtung 50 zum Erfassen von Sprachgeräuschen und/oder Sprachbbefehlen des Piloten P sowie eine Lautsprechereinrichtung 52.
Der Helm 46 ist mit einer Sensoreinrichtung 54 zur Erfassung wenigstens einer Kopf- und/oder Augenbewegung des Piloten P (im nachfolgenden kurz Kopfpositionssenor genannt) ausgerüstet, wobei die Sensoreinrichtung 54 ein die Kopf- und/oder Augenbewegung des Piloten P repräsentierendes Signal erzeugt. Vorzugs ist der Kopfpositionssensor 54 so ausgelegt, daß er die Kopf- und/oder Augenbewegung in mindestens drei Achsen erfassen kann. Der Kopfpositionssensor 54 umfaßt wiederum drei Einzelsensoren, nämlich einen Positionssensor 54.2, einen Geschwindigkeitssensor 54.4 und einen Beschleunigungsensor 54.6 zur Erfassung der aktuellen Kopf- und/oder Augenposition und wenigstens eines
Geschwindigkeitsvektors und Beschleunigungsvektors der Kopf- und/oder Augenbewegung des Piloten P. Der Positionssensors 54.2 erzeugt ein die Position (Ort und Lage) des Kopfes K und/oder der Augen, der Geschwindigkeitssensor 54.4 einen den Geschwindigkeitsvektor und der Beschleunigungsensor 54.6 einen den Beschleunigungsvektor der Kopf- und/oder Augenbewegung des Piloten P repräsentierendes Signal. Je nach Sensorart kann gegebenenfalls ein einzelner Sensor diese drei Funktionen übernehmen. Die drei Sensoren sind im vorliegenden Fall als Kreiselsysteme ausgelegt, es können jedoch auch Sensorsysteme verwendet werden, die eine Positions- und/oder Geschwindigkeitsänderung durch Bestimmung der Sensor- und/oder Kopf- und/oder Augenpoεition relativ zu einer Bezugsposition ermitteln. So auch Sensoren, die zur Lagebestimmung die Orientierung eines Gegenstandes in Bezug zu einem elektrischne, magnetischen oder elektromagnetischen Feld auswerten, oder Sensoren, die Streulichdifferenzwerte auswerten und degleichen mehr. Der Sensor 54 bzw. dessen drei Sensoren 54.2 bis 54.6 sind über geeignete Schnittstellen mit der dem Piloten P zugeordneten Datenverarbeitungs-einrichtung 6 verbunden. Im vorliegenden Ausführungsbeispiel erfolgt die Datenübertragung zur Datenverarbeitungseinrichtung 6 auf drahtlosem Wege, so daß der Pilot P in seiner Bewegungsfreiheit nicht eingeschränkt ist.
Wie in Fig. 4 illustriert, läßt sich das Visier 48 des Helms 46, oder ein Teil des Visiers 48, hochklappen, was insbesondere bei der Start- oder Landephase des Hubschraubers F von Vorteil sein kann, falls ein Start in unmittelbarer Nähe des Piloten P erfolgt.
Die an der Innenseite des Helmvisiers 48 befindliche Abbildungseinrichtung 8 ist bei dem vorliegenden Beispiel als räumlich gebogener Bildschirm 56 ausgelegt, dessen Form der Form des Visiers 48 und des Helms 46 angepaßt ist. Generell können indes auch ein oder mehrere Flachbildschirm verwendet werden, die mit einem solchen Gerät erzielbaren subjektiven räumlichen Eindrücke sind jedoch vergleichsweise weniger ausgeprägt. Als Bildschirm hat sich besonders ein TFT- Bildschirm (TFF: thin film transisitor) von Vorteil erwiesen. Die Abbildungseinrichtung 8 umfaßt im vorliegenden Fall einen Blickwinkelbereich größer 180 Grad und entspricht damit etwa dem normalen Sichtbereich eines Menschen. Je nach Anwendungsfall kann der Blickwinkelbereich natürlich reduziert oder vergrößert sein.
Der Bildschirm 56 der Abbildungseinrichtung 8 ist in zwei virtuelle Einzelabbildungsabschnitte 56.2, 56.4 unterteilt (vergl . Fig. 7), wobei jeder Einzelabbildungsabschnitt einem Auge des Piloten P zugeordnet ist, so daß bei entsprechender Darstellungsweise einer Abbildung ein stereoskopischer Effekt zu erzielen ist. Diese Bauweise korrespondiert mit der stereoskopische Bilderfassungseinrichtung 12, 14 des Hubschraubers F. Ebenso kann im Sinne der Erfindung ein einzelner Bildschirm mit einem einzigen Abbildungsbereich oder mehrere Bildschirme vorgesehen werden.
Wie in Fig. 6 veranschaulicht, kann die dem Piloten P zugeordnete Abbildungseinrichtung 8 auch an einer Brille 58 oder an einer vergleichbaren Vorrichtung angeordnet und am Kopf K des Piloten P getragen sein. Ebenso ist es natürlich denkbar eine derartige Vorrichtung in geeigneter Position an anderen Körperteilen des Piloten P (zum Beispiel über ein Schultergestell an den Schultern des Piloten) oder an einer von dem Piloten P getrennten, jedoch mit diesem mitbewegbaren beweglichen Halterung anzuordnen.
Die Abbildungseinrichtung 8 ist über eine geeignete Schnittstelle mit der dem Piloten P zugeordneten Datenverarbeitungseinrichtung 6 verbunden.
Der Hubschrauber F kann nun, sofern dessen Einzelsysteme in betriebsbereitem Zustand sind, wie folgt kontrolliert, bedient, gesteuert oder geregelt werden.
Durch die am Hubschrauber F angeordnete Bilderfassungseinrichtung 12 wird das sich in dem Erfassungsbereich der Bilderfassungseinrichtung 12 befindliche realen Szenario S erfaßt und es werden Bilddaten erzeugt, die das aktuelle Abbild des realen Szenarios S repräsentieren. Je nach Bedarf und Auslegung der Bilderfassungseinrichtung 12 können die Bilddaten das reale Szenario S sowohl im Sinne einer zweidimensionalen als auch dreidimensionalen Abbildung repräsentieren. Diese Bilddaten werden in der dem Hubschrauber F zugeordneten Datenverarbeitungseinrichtung 18 gegebenenfalls noch weiter aufbereitet (gegebenenfalls auch über einen geeigneten Algorithmus komprimiert) und anschließend an die Datenübertragungseinrichtung 16 des Hubschraubers F geleitet und von dort direkt oder indirekt zu der dem Piloten P zugeordneten Empfangseinrichtung 4 übertragen und von dieser empfangen.
Die empfangenen Bilddaten des realen Szenarios S werden an die dem Piloten P zugeordnete Datenverarbeitungseinrichtung 6 weitergeleitet und dort, falls erforderlich, weiter aufbereitet . Dann werden die Bilddaten direkt oder indirekt zu der am Helm 46 des Piloten P und direkt vor dessen Augen angeordneten und mittels einer Kopf- und/oder Augenbewegung des Piloten P mitbewegbaren Abbildungseinrichtung 56 übertragen. Diese Übertragung kann ebenfalls auf drahtlosem Wege oder über wenigstens eine Datenleitung erfolgen. Auf Grundlage der Bilddaten wird in der Abbildungseinrichtung 8, 56 eine Abbildung 62 des realen Szenarios erzeugt und angezeigt, so daß das reale Szenario S für den Piloten P sichtbar ist.
Bewegt der Pilot P seinen Kopf K wird die Kopfbewegung von dem Kopfpositionssensor 54 im vorliegenden Fall in mindestens drei Achsen erfaßt und die Kopfbewegung repräsentierende Signale erzeugt, nämlich im vorliegenden Fall ein Positionssignal, ein Geschwindigkeits- und ein Beschleunigungssignal . Diese Signale werden nachfolgend als Kopfbewegungssignale bezeichnet. Obwohl im vorliegenden Beispiel drei Parameter (Position, Geschwindigkeit und Beschleunigung) erfaßt werden, ist für viele Anwendungsfälle oftmals bereits ein Parameter (nämlich insbesondere die Position) auseichend.
Die Kopfbewegungssignale werden zu der dem Piloten P zugeordneten Datenverarbeitungseinrichtung 6 übertragen, dort gegebenenfalls weiter aufbereitet und zu der dem Piloten P zugeordneten Datenübertragungseinrichtung 4 weitergeleitet . Von dort werden anschließend die KopfbewegungsSignale direkt oder indirekt zu der am Hubschrauber F angeordneten Empfangseinrichtung 16 übertragen und von dieser empfangen. Die empfangenen Kopfbewegungssignale werden, falls erforderlich, in der Datenverarbeitungseinrichtung 18 des Hubschraubers F aufbereitet und als Referenzsignale oder Stellsignale an die Stellmotoren 20 der Bilderfassungseinrichtung 8 des Hubschraubers F weitergeleitet. Die Stellmotoren 20 werden demnach in Abhängigkeit der aus den Kopfbewegungssignalen resultierenden Stellsignale betätigt und zwar in solch einer Weise, daß die resultierende (n) Bewegung (en) der Bilderfassungseinrichtung 8 im wesentlichen genau den von dem Piloten P ausgeführten Kopfbewegungen entsprechen. Dadurch erfaßt die Bilderfassungseinrichtung 12 das reale Szenario S in einen neuen Sichtbereich, nämlich einem Sichtbereich, der im wesentlichen dem Sichtbereich entspricht, der sich ergäbe, falls sich die Augen des Piloten P an der Position der Bilderfassungseinzelvorrichtungen 12.1, 12.2 der Bilderfassungseinrichtung 12 befänden und der Pilot P die besagte Kopfbewegung vor Ort im Hubschrauber F durchführte.
Die neuen Bilddaten werden wiederum in der oben bereits erläuterten Art und Weise zum Piloten P übertragen und in der Abbildungseinrichtung 56 zur Anzeige gebracht. Die Bilddaten können des weiteren in einem in den Figuren nicht dargestellten Speichermedium gespeichert und für spätere Anwendungen zur Verfügung gestellt werden.
Der Pilot P steuert also durch seine Kopfbewegung die Bewegung der Bilderfassungseinrichtung 12 im Hubschrauber F und ist damit in der Lage Abbildungen zu sehen, die im wesentlichen Abbildungen entsprechen, die sich durch reales Sehen und eine reale Kopfbewegung ergeben würden, falls sich der Pilot im Hubschrauber F befände. Damit wird der Pilot P in die Lage versetzt sich in dem Raum, durch den sich der Hubschrauber F bewegt, umzusehen. Die durch dieses Verfahren erzielte subjektive Sinnestäuschung des Piloten P kann so ausgeprägt sein, daß dem Piloten P der Eindruck entsteht er befände sich selbst im Hubschrauber F. Anstelle der Kopfbewegung des Piloten P kann bei geeigneten Sensoren auch eine Augenbewegung des Piloten P erfaßt und analog zu der oben dargelegten Arbeitsweise verfahren werden. Die dafür erforderlichen Apparaturen und Rechenleistungen sind jedoch bei weitem aufwendiger. Obwohl vorhergehend wesentliche Merkmale des erfindungsgemäßen Verfahrens anhand der dem Piloten P zugeordneten Bilderfassungseinrichtung 12 erläutert wurde, sind die Funktionsweise der dem Kopiloten zugeordneten Bilderfassungseinrichtung 14 sowie die zugehörigen Übertragungs- und Empfangsschritte im wesentlichen entsprechend, so daß separate Ausführungen hierzu nicht erforderlich sind.
Ähnlich wie die Erfassung der Kopf - und/oder Augenbewegung des Piloten P mittels des Kopfpositionssensors 54 ist mit Hilfe eines Bilderfassungseinrichtungs-Positionssensors 60 wenigstens eine Bewegung und/oder Position der am Hubschrauber F angeordneten beweglichen Bilderfassungseinrichtung 8 erfaßbar. Wie bei den o.g. Kopfbewegungssensoren 5 ist es hierbei vorteilhaft, , daß auch Bilderfassungseinrichtungs-Positionssensor 60 wenigstens eine Position und/oder einen Geschwindigkeits- oder Beschleunigungsvektor der Bewegung der
Bilderfassungseinrichtung 2 ermittelt. Die Datensignale des Sensors 60 können auf analoge Weise wie die Bilddaten zum Piloten P und der ihm zugeordneten Empfangs- 4 Datenverarbeitungseinrichtung 6 übertragen werden.
Zusammen mit den KopfbewegungsSignalen und mittels einer vorzugsweise in der dem Piloten P zugeordneten Datenverarbeitungseinrichtung 6 integrierten Steuer- oder Regeleinrichtung, die sich allerdings auch im Hubschrauber F befinden kann, ist somit eine exaktere Steuerung oder Regelung der Bewegung der Bilderfassungseinrichtung 12, der erzielten Bilddaten und der Darstellung der Abbildung des realen Szenarios S in der Abbildungseinrichtung 8, 56 und eine bessere Justierung oder Feineinstellung möglich.
Bei sehr großen Übertragungsstrecken zwischen Hubschrauber F und Piloten P kann es vorkommen, daß es bei der Anzeige oder Darstellung eines aktualisierten Sichtbereich des realen Szenarios S (wobei die Aktualisierung des Sichtbereiches durch eine Kopfbewegung des Piloten P und eine dementsprechende Bewegung der Bilderfassungseinrichtung 12 des Hubschraubers F initiiert ist) in der dem Piloten P zugeordneten Abbildungseinrichtung 8 zu einer gewissen Verzögerung oder einem merklichen Nacheilen kommt, was wiederum das subjektive Sehgefühl und Raumempfinden des Piloten P beeinträchtigen kann. Aus diesem Grund ist es erfindungsgemäß vorgesehen, daß durch den am Helm 46 des Piloten P angeordneten Kopfpositionssensor 54 bzw. Geschwindigkeits- 54.4 und Beschleunigungssensor 54.6 wenigstens ein Geschwindigkeits- oder Beschleunigungsvektors der Kopfbewegung des Piloten P erfaßt und ein den Geschwindigkeits- und/oder Beschleunigungsvektors der Kopf ewegung repräsentierendes Signal erzeugt wird (in der Regel sind zwei Geschwindigkeits- oder Beschleunigungsvektoren ausreichend, da sich die ausgeprägtesten Veränderungen des Sichtbereiches des Piloten P und damit der Bilderfassungseinrichtung 2 durch seitlich Kopfdrehungen und Kopf-Nickbewegungen des Piloten P ergeben) . Dieses Signal wird ebenfalls direkt oder indirekt zu der am Hubschrauber F angeordneten Empfangseinrichtung 16 übertragen. Mit Hilfe dieses Signals werden dann die Stellmotoren 20 der Bilderfassungseinrichtung 8 angesteuert und zwar auf solch eine Weise, das die Bewegung der Bilderfassungseinrichtung 12 der entsprechenden Kopfbewegung des Piloten P ein wenig vorauseilt . Dadurch kann bei großen Datenübertragungswegen und entsprechenden längeren Übertragungszeiten ein "Nachschleppen" des auf dem Bildschirm 56 des Piloten P angezeigten Bildes vermieden oder zumindest teilweise kompensiert werden. In besonderen Fällen kann es von Vorteil sein, die Bewegung der Bilderfassungseinrichtung 12 der entsprechenden Kopfbewegung des Piloten P nacheilen zu lassen, im allgemeinen wird jedoch das Vorauseilen angewendet werden. Dies hat den Vorteil, daß das oben erläuterte nachteilige Nacheilen der Darstellung des realen Szenarios in der Abbildungseinrichtung 4 des Piloten P im wesentlichen vermieden werden kann.
Aufgrund der Werte der ermittelten Geschwindigkeits- und/oder Beschleunigungsvektoren der Kopfbewegung des Piloten P und empirischer Daten, insbesondere kybernetischer und ergonomischer Daten, kann eine Aussage getroffen werden, wie weit eine beginnende Kopfbewegung des Piloten P fortgesetzt werden wird. Diese Aussage, die eine Berechnung erfordert, kann zum Beispiel in der dem Piloten P zugeordneten Datenverarbeitungseinrichtung 6 durchgeführt und das zum Hubschrauber F zu übertragende Signal, daß wie oben dargelegt später für ein Vorausführen der Bilderfassungseinrichtung 12 verantwortlich ist, gegebenenfalls noch vorher weiter aufbereitet oder manipuliert werden, um den gewünschten Effekt zu erzielen.
Ferner ist es erfindungsgemäß vorgesehen, die durch Sensoren von im und/oder am Hubschrauber F angeordneten Operationsdatensystemen und/oder Zusatzsysteme erfaßten Opertions- und/oder Sekundärdaten und die daraus resultierenden, die Opertions- und/oder Sekundärdaten repräsentierenden Opertions- und/oder Sekundärdatensignale direkt oder indirekt zu der dem Piloten P zugeordneten Empfangseinrichtung 4 zu übertragen. Die empfangenen Opertions- und/oder Sekundärdatensignale werden wiederum über eine geeignete Schnittstelle in die dem Piloten P zugeordnete Datenverarbeitungseinrichtung 6 eingegeben. Mittels der Datenverarbeitungseinrichtung 6 werden auf Grundlage der empfangenen Datensignale die Opertions- und/oder Sekundärdaten darstellende Bilddaten erzeugt. Mittels dieser Bilddaten wird nun in der Abbildungseinrichtung 4 des Piloten P eine virtuelle Abbildung erzeugt und angezeigt, so daß die Opertions- und/oder Sekundärdaten wie auf einem Instrumentenbrett und/oder einem Instrument 64 für den Piloten P optisch sichtbar werden. Je nach Art der übermittelten Sekundärdaten kann aber auch ein anderes durch Sinneswahrnehmung des Piloten P erfaßbares Referenzsignal erzeugt werden, z.B. ein akustisches Warnsignal oder dergleichen. Dies kann etwa bei einer Überziehwarnung sinnvoll sein.
Die Anzeige der virtuellen Abbildungen 64 der Opertions- und/oder Sekundärdaten in der Abbildungseinrichtung 8, 56 kann zusammen mit oder getrennt von der Abbildung 62 des realen Szenarios S erfolgen. Fig. 7 zeigt aus der Sicht des Piloten P einen schematischen Blick in die
Abbildungseinrichtung 56, die einen Anzeigebereich für die Abbildung 62 des realen Szenarios S, einen Anzeigebereich für Abbildungen 64 von Opertions- und/oder Sekundärdaten sowie einen weiteren Anzeigebereich für Abbildungen 66 umfaßt, auf die später noch Bezug genommen werden wird.
Die virtuellen Abbildungen 64 der Opertions- und/oder Sekundärdaten müssen, sofern sie auf dem Bildschirm 56 angezeigt werden sollen, durch geeignete Programmroutinen vorzugsweise in der dem Piloten P zugeordneten Datenverarbeitungseinrichtung 6 erzeugt werden. Da zur Darstellung jedoch nur relativ einfache Bildelemente erforderlich sind, bedarf dies keiner großen Rechnerleistungen und Rechenzeiten.
Sekundärdaten können im übrigen auch von der Pilotenseite ausgehen: Der Pilot P spricht in die am Helm 46 angeordnete akustische Erfassungseinrichtung 50 (Mikrofon; vergl . Fig. 4) und die Sprachsignale werden mittels der Datenübertragungseinrichtung zum Hubschrauber F übertragen und dort mittels der Lautsprechereinrichtung wiedergegeben. Eine Kommunikation zwischen Piloten P und Kopiloten Pc mittels der Mikrofon- und Lautsprechereinrichtung eines jeweiligen Helmes 6 sind ebenfalls möglich. Die akustische Erfassungseinrichtung 50 dient darüber hinaus noch weiteren Zwecken, nämlich der Erfassung und Weitergabe von Sprachbefehlen. Hierfür steht das Mikrofon 50 über geeignete Schnittstellen mit der dem Piloten P zugeordneten Datenverarbeitungseinrichtung 6 in Verbindung. Die Datenverarbeitungseinrichtung 6 ist hardwaremäßig mit einem Spracherkennungsmodul und softwaremäßig mit einem Sprachererkennungsprogramm ausgerüste . Die von dem Piloten P in das Mikrofon 50 gesprochenen Befehle werden mit Hilfe des Spracherkennungsmoduls und -programms ausgewertet, und mittels der Datenverarbeitungseinrichtung 6 wird ein dem Befehl entsprechendes Befehlssignal generiert. Dieses kann, wie oben bei den Steuersignalen der realen Steuereinrichtung 2 beschrieben, z.B. zum Hubschrauber F übermittelt und mit Hilfe des Befehlssignal adäquat eine dem Befehl entsprechende Steueraktion ausgelöst werden.
Es wurde bereits darauf hingewiesen, daß die dem Kopiloten Pc zugeordneten Systeme im wesentlichen denen des Piloten P entsprechen. Es hat sich als vorteilhaft erwiesen die Abbildungseinrichtung 12 des Piloten P und die durch Kopf- und/oder Augenbewegungen des Piloten P ausgelösten Routinen unabhängig von denen des Kopiloten Pc auszubilden, so daß der Kopilot Pc unabhängig vom Piloten P weitere Zusatzaufgaben übernehmen kann. Des weiteren ist es im Rahmen der Erfindung vorgesehen, mindestens einen dritten Beteiligten, zum Beispiel einen von Pilot P und Kopilot Pc völlig unabhängigen Operator über geeignete Schnittstellen in das System einzukoppeln und bei Bedarf zu Informations- , Kontroll- oder Beobachtungszwecken in das dem Piloten P und/oder Kopiloten Pc zugeordnete Bilddaten- und Datenmaterial Einsicht nehmen zu lassen. Für den Operator ist als Abbildungseinrichtung in der Regel ein einfacher Bildschirm ausreichend. Überdies ist es denkbar den Operator mittels einer Kameraeinrichtung aufzunehmen und die Abbildung des Operators als weitere Abbildung 66 in die Abbildungseinrichtung 56 des Piloten P und/oder Kopiloten Pc einzuspeisen, was zu Kommunikationszwecken sinnvoll sein kann.
Da die erfindungsgemäße Vorrichtung und das dazugehörige erfindungsgemäße Verfahren Bilddaten eines realen Szenarios S verwenden, sind im Vergleich zur Erzeugung "virtueller Realitäten" vergleichsweise geringere Rechenleistungen den verwendeten Datenverarbeitungs-einrichtungen 6, 18 erforderlich. Dadurch läßt sich ein sehr schneller Bildaufbau erzielen. Die Darstellung von virtuellen Kontrollelementen oder Zusatzinformationen, die mit der Abbildung des realen Szenarios S in der Abbildungseinrichtung 8, 56 des Piloten P wahlweise überlagert werden kann, bedarf aufgrund der in der Regel vergleichsweise einfachen Bildelemente ebenfalls nur einer geringen Rechnerleistung.
Wie oben bereits einleitend erläutert und in Fig. 1 schematisch skizziert, verfügt die erfindungsgemäße Vorrichtung für den Hubschrauber F über eine reale, dem Piloten P zugeordnete Steuereinrichtung 2. Im vorliegenden Fall handelt es sich bei der realne Steuereinrichtung 2 um einen an der Armlehne 68 des Sitzes 40, auf dem der Pilot P zum Steuern Platz nimmt, angeordneten Steuerknüppel 42 (sidestick) und zusätzliche Bedienelemente 44. Im Fußbereich des Piloten P sind Pedale 70 vorgesehen. Mit dem Steuerknüppel 42 kontrolliert der Pilot P die zyklische Rotorsteuerung des Hubschraubers F und mit den Pedalen 70 die Heckrotorsteuerung. Damit ist der Hubschrauber F in drei Achsen steuerbar. Als Beispiel für die zusätzlichen Bedienelemente ist zum Beispiel der Pitch für die kollektive Rotorsteuerung und Schalter zum Aktivieren oder Deaktivieren der Antriebseinrichtung des Hubschraubers F oder zum Betätigen von dessen Zusatzsystemen 26 zu nennen. Die genannten Steuer- und Bedienelemente 42, 44, 70 sind <tf PH P SH 4 Oi
Φ SH P P Φ Φ •rλ P P
Oi SH rl P 4-> Φ φ rö P • Ό g P P 0 P
Φ
Xi υ
•rλ
Φ
H
Oi
Φ
Ό w
Φ
Ό
0
P φ
SH
0
P.
Φ Q
CQ
P o
•rλ
4J
•rλ
CQ o
P4 φ
SH
Φ
Ό
Ü rö
SH
Φ
Ό
O g
Φ
4J
CQ ,
CQ
H
Φ
CQ
-rλ
Φ
SH
«
Figure imgf000031_0001
umfaßt, daß die ein- oder mehrachsige Bewegung des Handgriffes repräsentierende Signale abgibt, ist möglich. Solche Vorrichtungen korrespondieren wiederum mit der Datenverarbeitungseinrichtung 6.
Fig. 8 zeigt in schematischer Darstellung eine Auswahl aus einer Vielzahl von verschieden möglichen direkten und/oder indirekten Datenübertragungswegen T zwischen dem Hubschrauber F und Piloten P und/oder Kopiloten Pc, bzw. zwischen der dem Piloten P zugeordneten Übertragungs-/
Empfangseinrichtung 4 und der dem Hubschrauber F zugeordneten Übertragungs-/ Empfangseinrichtung 16. Befindet sich die dem Piloten P zugeordneten Übertragungs-/Empfangseinrichtung 4 oder die Datenverarbeitungseinrichtung 6 nicht in unmittelbarer Nähe des Piloten P kann ebenfalls ein weiterer Übertragungsweg zwischen der Übertragungs-
/Empfangseinrichtung 4 und dem Piloten P direkt zugeordneten Systemen oder zwischen Piloten P und der Datenverarbeitungseinrichtung 6 oder zwischen der Übertragungs-/Empfangseinrichtung 4 und der
Datenverarbeitungseinrichtung 6 entstehen. Auch dies geht aus der Fig. 8 hervor.
Allgemein erfolgt die direkte und/oder indirekte Übertragung der zwischen Piloten P und Hubschrauber F (und umgekehrt) transferierten Daten jedoch über mindestens eine Datenleitung Tw und/oder über mindestens einen drahtlosen Übertragungsweg Tr. Neben den bisher eingeführten Bezugszeichen kennzeichnen in der Fig. 7 das Bezugszeichen 72 einen Satelliten, 74 ein Flugzeug, 76 ein Fahrzeug und 78 ein Wasserfahrzeug.
Die seitens des Hubschraubers oder des Piloten P ausgehenden verschiedenen Datensignale müssen nicht zwingendermaßen den gleichen Übertragungsweg gehen. So kann es etwa von Vorteil sein vom Piloten P ausgehende Sprachgeräusche z.B. über ein Fernsprechnetz drahtlos Tr und über Datenleitungen Tw und die i
l
l i
Figure imgf000033_0001
g φ φ SH P
•rλ i Oi CQ -H Φ -H r- P Ö 0) CQ ü ö -H Ό Ö Φ φ vo 4J
© rö
00 Φ P
•rλ
PH Ό g
P
H SH Ό υ Φ P -.
Pk Ό a 4J
0 CO
"~ . •rλ
Ό CQ
P Öl Ό
P P P a φ
4J öi rÖ
04 rö υ
=rö SH •rλ
H JJ Φ rl SH SH
Φ Φ cα
> ä P rö
| P o P SH
-rλ Φ rÖ
JJ Öl Φ rö •rλ g
JJ JJ to -H JJ o Φ rÖ
•rλ co O rö SH •H rH Φ Ö φ rQ S P VD rö H
P SH φ rÖ Ö)
JJ υ Ö φ cα P
JJ rQ JJ rH P rÖ rö Xi o
Xi -H ü SH SH cα Φ P
Φ Ό •rλ
Oi φ o ö Ö) CQ
00 φ Ö Ö) rP P P
© ü 4J rö co co vμ
•rλ -H o &
S Φ g
N J PH"
Figure imgf000034_0001
Zur Ortung des Hubschraubers F und für Navigationszwecke ist dieser mit einem Ortungs- und Navigationssystem ausgestattet. Das Ortungssystem kann in einer Ausführungsform zum Beispiel die Übertragungseinrichtung selbst sein, da ihre Signale für eine Ortung geeignet sind. Als Navigationssystem bietet sich insbesondere ein GPS-System an, da es aufgrund seines äußerst geringen Gewichtes vorteilhaft im Hubschrauber F mitzuführen ist. Die Navigationssignale können ebenfalls als Sekundärdaten zum Piloten P übertragen werden. Des weiteren hat es sich als positiv herausgestellt die erfindungsgemäße Vorrichtung mit einer Transpondereinrichtung sowie Chiffriereinrichtungen und entsprechenden Dekodern auszustatten.
Die oben für einen einzelnen Piloten P bzw. einen Piloten P und einen Kopiloten Pc beschriebene erfindungsgemäße Vorrichtung sowie das erfindungsgemäße Verfahren könnenselbstverständlich für mehrere Operatoren erweitert werden. Anstelle der Kopfbewegung des Piloten P kann in analoger Weise auch eine Augenbewegung des Piloten P erfaßt und entsprechend ausgewertet werden. Falls erforderlich, ist es ferner möglich im Übertragungsweg T zwischen Piloten P und Hubschrauber F, bzw. umgekehrt, auch wenigstens eine Zwischenspeicherung der zwischen Hubschrauber F und Piloten P übertragenen Daten in einem geeigneten Speichermedium durchzuführen. Eine entsprechende Speicher- und/oder Datenverarbeitungseinrichtung kann z.B. in einer mobilen oder stationären Relaissation vorgesehen sein. Erfolgt die Datenübertragung zwischen Hubschrauber T und Piloten P über eine Datenleitung Tw (z.B. zu Trainingszwecken, wobei der Hubschrauber F durch die Datenleitung gefesselt ist) könnte grundsätzlich die dem Hubschrauber F zugeordnete Datenverarbeitungseinrichtung 18 entfallen; die dem Piloten P zugeordnete Datenverarbeitungseinrichtung 6 übernimmt dann deren Aufgaben. Des weiteren können die verschiedenen zwischen Piloten P und Hubschrauber F, bzw. umgekehrt, transferierten Daten oder Datensignale auf verschiedenen oder gleichen Wegen übertragen werden. Die oben dargelegten Systeme der erfindungsgemäßen Vorrichtung können komponentenartig oder modulartig aufgebaut sein.
Generell ist es auch möglich die am Hubschrauber F angeordnete Bilderfassungseinrichtung 12, 14 unbeweglich anzuordnen und auf die bereits detailliert beschriebene Weise lediglich ein von einer Kopf- und/oder Augenbewegung des Piloten P unabhängiges "Standbild" eines realen Szenarios in der Abbildungseinrichtung 4 anzuzeigen. Eine mögliche Veränderung des Betrachtungsbereiches des realen Szenarios und damit eine Veränderung des "Standbildes" ergibt sich dann lediglich durch eine Bewegung des Hubschraubers F selbst. Eine solche Vorrichtung und ein solches Verfahren sind jedoch ungleich weniger eindrucksvoll und realitätssuggerierend als die oben beschriebene Variante, bei der die Bilderfassungseinrichtung 12, 14 in Abhängigkeit der Kopf- und/oder Augenbewegung des Piloten P beweglich ist.
Fig. 9 zeigt in einer stark vereinfachten schematischen Darstellung eine virtuelle Steuer- oder Kontrolleinrichtung 82 (nachfolgend kurz virtuelle Steuereinrichtung genannt) des erfindungsgemäßen FortbewegungsmittelSystems sowie deren Funktionsweise. Eine derartige Einrichtung kann erfindungsgemäß neben oder statt der realen
Steuereinrichtungen 2, 42, 44, 70 für den Piloten P und/oder den Kopiloten vorgesehen sein. Bei dieser virtuellen Steuereinrichtung handelt es sich um eine künstlich durch ein Programm der Datenverarbeitungseinrichtung 6 erzeugte nicht reale und in der Regel als reine Abbildung dargestellte Steuereinrichtung, mit der der Pilot P jedoch zum Zweck der Kontrolle bzw. Steuerung des Hubschraubers F in Interaktion treten kann. )
l
Figure imgf000037_0001
«. P P,
4J Pt rH -rλ Φ
i
Figure imgf000038_0001
Figure imgf000039_0001
Anstelle des oben genannten Datenhandschuh.es 86 kann in einer aufwendigen Ausführungsform auch ein sog. Cybersuit Anwendung finden, d.h. eine kleidungsstückartige, vom Piloten P am Körper tragbare Vorrichtung, die mit einer Vielzahl von zur Interaktion mit der realen und/oder virtuellen Steuereinrichtung vorgesehenen Sensoreinrichtungen und Rückmeldesystemen ausgestattet ist, die dem Piloten P durch SinnesWahrnehmung erfaßbare Ereignisse simulieren.
Alternativ zu der oben beschriebenen Vektormethode kann mit Hilfe von geeigneten Kreiselsystemen z.B. auch eine Trägheitsnavigationsmethode eingesetzt werden, die die Position des eine Steueraktion auslösenden Körperteils des Piloten P oder einer für diese Zwecke zur Hilfe genommenen Einrichtung aufgrund der vom in der Einrichtung oder an dem Körperteil angeordneten Kreiselsystem gelieferten Daten berechnet und bei Erreichen einer rechnerisch vorbestimmten Bedienelementposition ein Steuerereignis auslöst.
Ferner ist als Hilfsmittel zur Ausführung einer virtuellen Steueraktion auch eine mausartige, joystickartige oder trackballartige Vorrichtung denkbar oder ein vom Piloten P frei gehaltener Handgriff (ggf. mit weiteren Bedienelementen, Knöpfen, Schaltern) , der ein eingebautes Kreiselsystem umfaßt, daß die ein- oder mehrachsige Bewegung des Handgriffes repräsentierende Signale abgibt. Solche Vorrichtungen korrespondieren wiederum mit der Datenverarbeitungseinrichtung 6.
Die Erfindung ist nicht auf die obigen Ausführungsbeispiele, die lediglich der allgemeinen Erläuterung des Grundgedankens der Erfindung dienen, beschränkt. Im Rahmen des Schutzumfangs können das erfindungsgemäße Verfahren und das erfindungsgemäße FortbewegungsmittelSystem vielmehr auch andere als die oben beschriebenen Ausgestaltungsformen annehmen, wobei auch Kombinationen der Merkmale der einzelnen Patentansprüche umfaßt sind. Grundsätzlich kann das erfindungsgemäße Verfahren und das erfindungsgemäße System anstatt auf Flugkörper auch auf Landfahrzeuge, Wasserfahrzeuge, Unterwasserfahrzeuge, Raumflugkörper oder dergleichen angewendet werden. Die Datenübertragungswege zwischen Flugkörper und Piloten, und umgekehrt, können im übrigen in mindestens einem Abschnitt auch über ein netzartig strukturiertes Datenübertagungssysstem laufen. Das erfindungsgemäße Fortbewegungsmittelsystem kann darüber hinaus mit wenigstens einer dem Piloten P zugeordneten Simulationseinrichtung zur Simulation der Bewegungen und Zustände des Fortbewegungsmittels versehen sein. Vorteilhafterweise kann hierbei die reale und/oder virtuelle Steuereinrichtung des FortbewegungsmittelSystem die Simulationsvorrrichtung umfassen oder umgekehrt. Bei der virtuellen Steuereinrichtung kann der o.g. Cybersuit zum Beispiel die Simulationsvorrrichtung darstellen. Die reale Steuereinrichtung, auf deren Sitzeinrichtung der Pilot in der oben beschriebenen Ausführungsform Platz nimmt, kann dagegen mit Bewegungsmitteln zum Bewegen der Sitzeinrichtung entsprechend den Fortbewegungsmittelbewegungen in ein oder mehreren Achsen ausgerüstet sein.
Bezugszeichen in den Ansprüchen und der Beschreibung dienen dem besseren Verständnis und sollen den Schutzumfang der Erfindung nicht einschränken.
Bezugszeichenliste
Es bezeichnen:
2 Steuereinrichtung
4 Übertragungs- und Empfangseinrichtung, pilotenseitig
6 Datenverarbeitungseinrichtung, pilotenseitig
8 Abbildungseinrichtung für P
10 Abbildungseinrichtung für Pc
11 Datenleitung
12 Bilderfassungseinrichtung / Videokamera
12.1 Bilderfassungseinzeleinrichtung von 12
12.2 Bilderfassungseinzeleinrichtung von 12 14 Bilderfassungseinrichtung
16 Übertragungs- und Empfangseinrichtung, hubschrauberseitig
18 Datenverarbeitungseinrichtung, hubschrauberseitig
20 Stelleinrichtungen / Stellmotoren
22 Aktuatoren
24 Zusatzsteuerelemente
26 Zusatzsysteme
28 Sensoreinrichtungen für Operations- und/oder
Sekundärdaten 30 Halterung für 12 bzw. 14
32 Steuer- und/oder Regeleinrichtung für 20 34 Bewegungs- und/oder Positionssensor für 12, 14 /
Kamerapositionssensor
36 Niederschlagsabscheidungseinrichtung von 12 38 Gehäuse für 12 bzw. 14
40 Sitz / Sitzsystem
42 Bedienelement / Steuerknüppel
44 Bedienelement
46 Helm
48 klappbares Visier von 46
50 akustische Erfassungseinrichtung 52 Lautsprechereinrichtung
54 Sensoreinrichtung 54 zur Erfassung wenigstens einer Kopf- und/oder Augenbewegung des
Piloten P / Kopfpositionssensor
54.2 Positionssensor von 54
54.4 Geschwindigkeitssensor von 54
54.6 Beschleunigungsensor von 54
56 Bildschirm
56.2 Einzelabbildungsabschnitt von 56
56.4 Einzelabbildungsabschnitt von 56
58 Brille mit Abbildungseinrichtung, für P bzw. Pc
60 Bilderfassungseinrichtungs-Positionssensor
62 Abbildung des realen Szenarios S
64 Abbildungen der Opertions- und/oder Sekundärdaten
66 Abbildung eines Operators
68 Armlehne von 40
70 Pedale
72 Satellit
74 Flugzeug
76 Fahrzeug
78 Wasserfahrzeug
80 Relaisstation / Relaishilfseinrichtung
82 virtuelle Steuer- oder Kontrolleinrichtung
84 Virtuelles Bedien- oder Steuerelement /
Tastschalter
86 Datenhandschuh
88 Positionssensor von 86
90 Sensoreinrichtung
92 Signalgeber
94 Drucksimulationseinheit an 86
96 Autopilot
98 Ortungs- und/oder Navigationssystem
A Erster Bezugspunkt
B Zweiter Bezugspunkt
B1-B4 Zweitbezugspunkte
C Dritter Bezugspunkt Ev Imaginäre, virtuelle Bezugsebene el - e4 Vektoren fl - f4 Vektoren
F Hubschrauber / Fortbewegungsmittel
H Hauptstation
K Kopf des Piloten P / Pc
P Pilot
Pc Kopilot
S reales Szenario
T Übertragungsweg (allgemein)
Tr Drahtloser Übertragungsweg
Tw Übertragungsweg via Datenleitung / Datenleitung
Vd Dynamischer Vektor
Vr Referenzvektor x Achse y Achse z Achse

Claims

Patentansprüche
1. Verfahren zum Kontrollieren eines unbemannten Fortbewegungsmittels (F) , umfassend die nachfolgenden Schritte, jedoch nicht zwingenderweise in der gegebenen Reihenfolge:
Erfassen wenigstens eines realen Szenarios (S) mittels mindestens einer am Fortbewegungsmittel (F) angeordneten Bilderfassungseinrichtung (12, 12.1, 12.2; 14),
Erzeugen von das reale Szenario (S) repräsentierenden Bilddaten, direktes und/oder indirektes Übertragen (T, Tr, Tw) der Bilddaten des realen Szenarios (S) zu mindestens einer vom Fortbewegungsmittel (F) getrennten und einem getrennt vom Fortbewegungsmittel (F) operierenden Piloten (P) zugeordneten Empfangseinrichtung (4) und Empfangen der Bilddaten mittels derselben (4) , direktes und/oder indirektes Übertragen der empfangenen Bilddaten des realen Szenarios (S) zu mindestens einer am Kopf (K) , insbesondere direkt vor den Augen des Piloten (P) angeordneten Abbildungseinrichtung (8, 56),
Erzeugen einer Abbildung (62) des realen Szenarios (S) ,
Anzeigen der Abbildung (62) des realen Szenarios (S) in der Abbildungseinrichtung (8, 56) .
2. Verfahren nach Anspruch 1, gekennzeichnet durch folgende weitere Schritte, jedoch nicht zwingenderweise in der gegebenen Reihenfolge:
Erfassen (54) einer Kopf- und/oder Augenbewegung des Piloten (P) ,
Erzeugen eines die Kopf- und/oder Augenbewegung repräsentierenden Signals, direktes und/oder indirektes Übertragen (T, Tr, Tw) dieses Signals (12) zu mindestens einer am Fortbewegungsmittel (F) angeordneten Empfangseinrichtung (16) ,
Aktivieren oder Steuern oder Regeln wenigstens einer Bewegung der am Fortbewegungsmittel (F) angeordneten Bilderfassungseinrichtung (12; 14) mittels des Signals (12) .
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß die Bewegung der am Fortbewegungsmittel (F) angeordneten Bilderfassungseinrichtung (12, 14) im wesentlichen simultan zur Kopf- und/oder Augenbewegung des Piloten (P) erfolgt .
4. Verfahren nach einem oder mehreren der vorgenannten Ansprüche, gekennzeichnet durch folgende weitere Schritte, jedoch nicht zwingenderweise in der gegebenen Reihenfolge :
Erfassen (34; 54.2) wenigstens einer Bewegung und/oder Position der am Fortbewegungsmittel (F) angeordneten beweglichen Bilderfassungseinrichtung (12, 14), Erzeugen eines die Bewegung und/oder Position der Bilderfassungseinrichtung (12, 14) repräsentierenden Signals, direktes und/oder indirektes Übertragen (T, Tr, Tw) dieses Signals zu mindestens einer vom Fortbewegungsmittel (F) getrennt angeordneten und dem Piloten (P) zugeordneten Empfangseinrichtung (4) und Empfangen des Signals mittels derselben (4) , und Steuern oder Regeln der Darstellung der Abbildung (62) des realen Szenarios (S) in der Abbildungseinrichtung (8, 56) mittels dieses Signals.
5. Verfahren nach einem oder mehreren der vorgenannten Ansprüche, gekennzeichnet durch folgende weitere Schritte, jedoch nicht zwingenderweise in der gegebenen
Reihenfolge:
Erfassen (54.4, 54.6) wenigstens eines Geschwindigkeits- und/oder Beschleunigungsvektors der Kopf- und/oder Augenbewegung des Piloten (P) , Erzeugen eines den Geschwindigkeits- und/oder Beschleunigungsvektors der Kopf- und/oder Augenbewegung repräsentierenden Signals, direktes und/oder indirektes Übertragen (T, Tr, Tw) dieses Signals zu mindestens einer am Fortbewegungsmittel (F) angeordneten Empfangseinrichtung (16) ,
Vorausführen oder Nachführen der wenigstens einen Bewegung der am Fortbewegungsmittel (F) angeordneten Bilderfassungseinrichtung (12; 14) auf Grundlage des Signals.
6. Verfahren nach Anspruch 5 , gekennzeichnet durch folgenden weiteren Verfahrensschritt:
Vorausführen oder Nachführen der Anzeige der Abbildung (62) des realen Szenarios (S) in der Abbildungseinrichtung (8, 56) auf Grundlage des den Geschwindigkeits- und/oder Beschleunigungsvektors der Kopf- und/oder Augenbewegung repräsentierenden Signals.
7. Verfahren nach einem oder mehreren der vorgenannten Ansprüche, gekennzeichnet durch folgende weitere Schritte, jedoch nicht zwingenderweise in der gegebenen Reihenfolge :
Erfassen wenigstens einer realen und/oder virtuellen
Steueraktion (42, 44, 70; 82, 84) des Piloten (P) ,
Erzeugen eines diese Steueraktion repräsentierenden
Steuersignals, direktes und/oder indirektes Übertragen (T, Tr, Tw) dieses Steuersignals zu mindestens einer am
Fortbewegungsmittel (F) angeordneten Empfangseinrichtung (16) und Empfangen des Steuersignals mittels derselben (16) , Aktivieren wenigstens eines Steuer- und/oder Kontrollorgans und/oder wenigstens einer am Fortbewegungsmittel (F) angeordneten Zusatzeinrichtung (26) mittels dieses Steuersignals.
8. Verfahren nach einem oder mehreren der vorgenannten Ansprüche, gekennzeichnet durch folgende weitere Verfahrensschritte, jedoch nicht zwingenderweise in der gegebenen Reihenfolge:
Erzeugen von Bilddaten mindestens einer virtuellen Steuereinrichtung (82) und/oder Kontrolleinrichtung
(64) ,
Erzeugen einer virtuellen Abbildung (64, 84) der virtuellen Steuereinrichtung (82) und/oder Kontrolleinrichtung (64) mittels dieser Bilddaten und Anzeigen dieser virtuellen Abbildung (64, 84) in der Abbildungseinrichtung (8, 56) zusammen mit oder getrennt von der Abbildung (62) des realen Szenarios
(S) .
9. Verfahren nach Anspruch 8 , gekennzeichnet durch folgende weitere Verfahrensschritte, jedoch nicht zwingenderweise in der gegebenen Reihenfolge :
Erzeugen von Bilddaten mindestens eines virtuellen Bedienelementes (84) der virtuellen Steuereinrichtung
(82) und/oder Kontrolleinrichtung (64) , Erzeugen einer virtuellen Abbildung des virtuellen Bedienelementes (84) mittels dieser Bilddaten und Anzeigen dieser virtuellen Abbildung (84) auf der virtuellen Abbildung der virtuellen Steuereinrichtung
(82) und/oder Kontrolleinrichtung (64) zusammen mit oder getrennt von der Abbildung (62) des realen Szenarios (S) .
10. Verfahren nach Anspruch 7, gekennzeichnet durch folgenden weiteren Verfahrensschritt:
Aktivieren und/oder Betätigen eines realen und/oder virtuellen Bedienelementes (84) des realen und/oder virtuellen Steuerpanels mittels des Steuersignals.
11. Verfahren nach einem oder mehreren der vorgenannten Ansprüche, gekennzeichnet durch das Erfassen einer virtuellen Steueraktion des Piloten (P) an einem virtuellen Bedienelement (84) der virtuellen Steuereinrichtung (82) und/oder Kontrolleinrichtung folgende Schritte, jedoch nicht zwingenderweise in der gegebenen Reihenfolge, umfaßt:
Definieren wenigstens eines ersten Bezugspunktes (A) in dem den Piloten (P) umgebenden Raum, Definieren einer virtuellen Bezugsebene (Ev) in dem den Piloten (P) umgebenden Raum,
Definieren wenigstens eines zweiten Bezugspunktes (B) auf der virtuellen Bezugsebene (Ev) , wobei dieser zweite Bezugspunkt (B) die Position des virtuellen Steuerelements (84) auf dem virtuellen Steuerpanel repräsentiert,
Bilden eines Referenzvektors (Vr) zwischen dem ersten (A) und dem zweiten (B) Bezugspunkt, Bilden wenigstens eines dynamischen Vektors (Vd) zwischen dem ersten Bezugspunkt (A) und wenigstens einem dritten Bezugspunkts (C) an einem die Steueraktion ausführenden Körperteil des Piloten (P) und/oder an einer vom Piloten (P) getragenen Hilfsmittels (86) zum virtuellen Bedienen eines virtuellen Bedienelementes (84) , Bilden eines Vergleichswertes zwischen dem Referenzvektor (Vr) und dem dynamischen Vektor (Vd) , Auslösen eines Steuerereignisses, sobald der Referenzvektor (Vr) und der dynamische Vektor (Vd) übereinstimmen oder in einem vorbestimmten Toleranzbereich liegen.
12. Verfahren nach Anspruch 11, gekennzeichnet durch folgenden weiteren Schritt:
Auslösen einer von dem Piloten (P) durch SinnesWahrnehmung erfaßbaren Rückmeldung (94) über die Auslösung des Steuerereignisses, sobald der Referenzvektor (Vr) und der dynamische Vektor (Vd) übereinstimmen oder in einem vorbestimmten Toleranzbereich liegen.
13. Verfahren nach einem oder mehreren der vorgenannten Ansprüche, gekennzeichnet durch folgende weitere Verfahrensschritte, jedoch nicht zwingenderweise in der gegebenen Reihenfolge :
Erfassen (28) von Sekundärdaten des
Fortbewegungsmittels (F) oder von am
Fortbewegungsmittel (F) angeordneten Zusatzsystemen
(26, 28),
Erzeugen eines die Sekundärdaten repräsentierenden
Sekundärdatensignals, direktes und/oder indirektes Übertragen (T, Tr, Tw) des Sekundärdatensignals zu der dem Piloten (P) zugeordneten Empfangseinrichtung (4) und Empfangen des Sekundärdatensignals mittels derselben (4) .
14. Verfahren nach Anspruch 13, gekennzeichnet durch folgende weitere Verfahrensschritte, jedoch nicht zwingenderweise in der gegebenen Reihenfolge:
Erzeugen (6) von die Sekundärdaten darstellenden
Bilddaten (64) auf Grundlage des übermittelten
Sekundärdatensignals ,
Erzeugen einer virtuellen Abbildung (64) mittels dieser Bilddaten,
Anzeigen der virtuellen Abbildungen (64) in der
Abbildungseinrichtung (8, 56) zusammen mit oder getrennt von der Abbildung (62) des realen Szenarios (S) und/oder der virtuellen Steuereinrichtung (82, 84) .
15. Verfahren nach Anspruch 13 oder 14, gekennzeichnet durch folgende weitere Verfahrensschritte, jedoch nicht zwingenderweise in der gegebenen Reihenfolge:
Erzeugen von die Sekundärdaten repräsentieren Referenzdaten auf Grundlage des übermittelten Sekundärdatensignals ,
Erzeugen eines durch SinnesWahrnehmung des Piloten (P) erfaßbaren Referenzsignals mittels dieser Referenzdaten,
Ausgeben des Referenzsignals in wenigstens einer dem Piloten (P) zugeordneten Ausgabeeinrichtung.
16. Verfahren nach Anspruch 13, dadurch gekennzeichnet, daß die Sekundärdaten Zustände des Fortbewegungsmittels (F) und/oder von am Fortbewegungsmittel (F) angeordneten Zusatzsystemen (26, 28) repräsentierende Daten sind.
17. Verfahren nach Anspruch 13 oder 16, dadurch gekennzeichnet, daß die Sekundärdaten durch am Fortbewegungsmittel (F) angeordnete Zusatzsysteme (26, 28) erfaßbare Zieldaten und/oder Daten real erfaßbarer SinnesWahrnehmungen umfassen.
18. Verfahren nach einem oder mehreren der vorgenannten Ansprüche, gekennzeichnet durch folgende zusätzliche Verfahrensschritte, jedoch nicht zwingenderweise in der gegebenen Reihenfolge :
Erfassen (50) von wenigstens einem Körpersignal des
Piloten (P) ,
Erzeugen eines das Körpersignal repräsentierenden
Datensignals, direktes und/oder indirektes Übertragen (T, Tr, Tw) des Datensignals zu mindestens einer am
Fortbewegungsmittel (F) angeordneten Empfangseinrichtung (16) und Empfangen des Datensignals mittels derselben (16) , Wiedergeben des Datensignals mittels einer am Fortbewegungsmittel (F) angeordneten Wiedergabeeinrichtung (26) .
19. Verfahren nach Anspruch 18, dadurch gekennzeichnet, daß das Körpersignal akustische Sprachgeräusche und Sprachbefehle umfaßt .
20. Verfahren nach Anspruch 18 oder 19, gekennzeichnet durch Erzeugen eines Steuerbefehlsignals auf Grundlage des Körpersignals .
21. Verfahren nach Anspruch 20, gekennzeichnet durch folgende weitere Verfahrensschritte, jedoch nicht zwingenderweise in der gegebenen Reihenfolge: direktes und/oder indirektes Übertragen (T, Tr, Tw) des Steuerbefehlsignals () zum Fortbewegungsmittel (F),
Aktivieren eines Steuer- und/oder Kontrollorgans und/oder wenigstens einer Zusatzeinrichtung (26) des Fortbewegungsmittels (F) mittels des Steuerbefehlsignals .
22. Verfahren nach Anspruch 20, gekennzeichnet durch Aktivieren eines realen und/oder virtuellen Bedienelementes (82, 84) der realen und/oder virtuellen Steuereinrichtung (42, 44, 82, 84) auf Grundlage des Steuerbefehlsignals .
23. Verfahren nach einem oder mehreren der vorgenannten Ansprüche, gekennzeichnet durch direktes und/oder indirektes Übertragen (T, Tr, Tw) der zum und/oder vom Fortbewegungsmittel (F) aus übermittelten Signale über mindestens eine Relaisstation (80) .
24. Verfahren nach Anspruch 23, dadurch gekennzeichnet, daß die Übertragung über mindestens eine Datenleitung (Tw) und/oder über mindestens einen drahtlosen Übertragungsweg
(Tr) erfolgt.
25. Verfahren nach Anspruch 23 oder 24, dadurch gekennzeichnet, daß die direkte und/oder indirekte Übertragung (T, Tr, Tw) der zum und/oder vom Fortbewegungsmittel (F) aus übermittelten Signale über mindestens eine Relaisstation (80) folgende weitere Schritte, jedoch nicht zwingenderweise in der gegebenen Reihenfolge umfaßt :
Aktivieren und Absetzen wenigstens einer Relaishilfseinrichtung (80) , sobald das Fortbewegungsmittel (F) den Sende-/Empfangsbereich der dem Piloten (P) zugeordneten Übertragungsund/oder Empfangseinrichtung (4) , im nachfolgenden Hauptstation (H) genannt, oder einer Relaisstation (80) verläßt,
Wiederaufnehmen der Relaishilfseinrichtung (80) zum Fortbewegungsmittel (F) und Deaktivieren der Relaishilfseinrichtung (80) , sobald das Fortbewegungsmittel (F) wieder in den Sende- /Empfangsbereic der Hauptstation (H) oder einer Relaisstation (80) eintritt.
26. Verfahren nach einem oder mehreren der vorgenannten Ansprüche, gekennzeichnet durch manuell oder automatisch ausgelöstes automatisches Steuern, Kontrollieren und/oder Regeln des Fortbewegungsmittels (F) mittels eines am Fortbewegungsmittel (F) angeordneten Autopiloten (96) und/oder mittels einer vom Fortbewegungsmittel (F) getrennt angeordneten Kontroll- und/oder Steuerzusatzeinrichtung .
27. Verfahren nach Anspruch 26, dadurch gekennzeichnet, daß das automatische Steuern, Kontrollieren und/oder Regeln des Fortbewegungsmittels (F) automatisch ausgelöst wird, sobald sich das Fortbewegungsmittel (F) außerhalb des Sende- und/oder Empfangsbereiches der Hauptstation (H) bzw. mindestens einer Relaisstation (80) bewegt.
28. Verfahren nach Anspruch 27, gekennzeichnet durch Richtungssteuern des Fortbewegungsmittels (F) zum Sende- und/oder Empfangsbereiches der Hauptstation (H) bzw. mindestens einer Relaisstation (80) hin, sobald sich das Fortbewegungsmittel (F) außerhalb des Sende- und/oder Empfangsbereiches der Hauptstation (H) bzw. der mindestens einen Relaisstation (80) bewegt.
29. Verfahren nach einem oder mehreren der vorgenannten Ansprüche, gekennzeichnet durch Simulieren der Bewegungen und Zustände des Fortbewegungsmittels (F) auf Grundlage der Bilddaten und Sekundärdaten vom Fortbewegungsmittel
(F) mittels wenigstens einer dem Piloten (P) zugeordneten Simulationseinrichtung .
30. Verfahren nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß wenigstens ein Abschnitt des Datenübertragungsweges oder des Datenübertragungsweges zwischen Fortbewegungsmittel (F) und Piloten (P) , oder umgekehrt, über Datenleitung (Tw) , Satellit (72), Fernmeldenetz, C- , D- oder E-Netz läuft.
31. Verfahren zum Kontrollieren eines unbemannten Fortbewegungsmittels, wobei das Fortbewegungsmittel ein Flugkörpers (F) ist, umfassend die nachfolgenden Schritte, jedoch nicht zwingenderweise in der gegebenen Reihenfolge :
Erfassen wenigstens eines realen Szenarios (S) mittels mindestens einer im und/oder am unbemannten Flugkörper (F) angeordneten Bilderfassungseinrichtung (12, 12.1, 12.2; 14), direktes und/oder indirektes Übertragen (T, Tr, Tw) von Bilddaten der Bilderfassungseinrichtung (12, 12.1, 12.2; 14) zu mindestens einer vom Flugkörper (F) getrennten und einem getrennt vom Flugkörper (F) operierenden Piloten (P, Pc) zugeordneten Bildempfangseinrichtung (4) und Empfangen der Bilddaten mittels der Empfangseinrichtung (4) , Anzeigen des realen Szenarios (S) mittels der Bilddaten in mindestens einer an einer brillen- und/oder helmartigen Trägereinrichtung (46, 58) angeordneten Abbildungseinrichtung (56) , wobei die Abbildungseinrichtung (56) am Kopf (K) des Piloten (P, Pc) tragbar ausgebildet und und im wesentlichen direkt vor den Augen des Piloten (P, Pc) positionierbar und mit dem Piloten (P, Pc) mitbewegbar ist.
32. Verfahren nach Anspruch 31, gekennzeichnet durch folgende weitere Schritte, jedoch nicht zwingenderweise in der gegebenen Reihenfolge :
Erfassen einer Kopf- (K) und/oder Augenbewegung des Piloten (P, Pc) ,
Erzeugen eines die Kopf- und/oder Augenbewegung repräsentierenden Signals, direktes und/oder indirektes Übertragen (T, Tr, Tw) dieses Signals zu mindestens einer am Flugkörper (F) angeordneten Empfangseinrichtung (16) , Aktivieren und/oder Steuern und/oder Regeln wenigstens einer Bewegung (x, y, z) der am Flugkörper (F) angeordneten
Bilderfassungseinrichtung (12, 12.1, 12.2; 14) mittels des Signals.
33. Verfahren nach Anspruch 32, dadurch gekennzeichnet, daß die Bewegung der am Flugkörper (F) angeordneten Bilderfassungseinrichtung (12, 12.1, 12.2; 14), im wesentlichen simultan zur Kopf- und/oder Augenbewegung des Piloten (P, Pc) erfolgt.
34. Verfahren nach einem oder mehreren der vorgenannten Ansprüche, gekennzeichnet durch folgende weitere Schritte, jedoch nicht zwingenderweise in der gegebenen Reihenfolge:
Erfassen wenigstens einer Bewegung und/oder
Position der am Flugkörper (F) angeordneten beweglichen Bilderfassungseinrichtung (12, 12.1,
12.2; 14) ,
Erzeugen eines die Bewegung und/oder Position der
Bilderfassungseinrichtung (12, 12.1, 12.2; 14), repräsentierenden Signals, direktes und/oder indirektes Übertragen (T, Tr, Tw) dieses Signals zu mindestens einer vom Flugkörper
(F) getrennt angeordneten und dem Piloten (P, Pc) zugeordneten Empfangseinrichtung (4) und Empfangen des Signals mittels derselben, und
Steuern oder Regeln der Darstellung der Abbildung des realen Szenarios (S) in der
Abbildungseinrichtung (56) mittels dieses Signals.
35. Verfahren nach einem oder mehreren der vorgenannten Ansprüche, gekennzeichnet durch
Erfassen von Sekundär-/Operationsdaten des
Flugkörpers (F) oder von am Flugkörper (F) angeordneten Zusatzgeräten (28) ,
Erzeugen eines die Sekundär-/Operationsdaten repräsentierenden Sekundärdatensignals, direktes und/oder indirektes Übertragen (T, Tr, Tw) des Sekundärdatensignals zu der dem Piloten (P, Pc) zugeordneten Empfangseinrichtung (4) und Empfangen des Sekundärdatensignals mittels derselben (4) .
36. Verfahren nach einem oder mehreren der vorgenannten Ansprüche, gekennzeichnet durch Erzeugen (6) virtueller Bilddaten und Anzeigen dieser Bilddaten als virtuelle Abbildung (64) in der Abbildungseinrichtung (8, 56) zusammen mit oder getrennt von der Abbildung (62) des realen Szenarios (S) .
37. Verfahren nach Anspruch 36, dadurch gekennzeichnet, daß die virtuellen Abbildungen Abbildungen von virtuellen . Instrumenten (64) sind.
38. Verfahren nach Anspruch 37, gekennzeichnet durch
Anzeigen der Sekundär-/Operationsdaten in den virtuellen Instrumenten (64) .
39. Verfahren nach einem oder mehreren der vorgenannten Ansprüche, gekennzeichnet durch Bestimmen einer Position des Flugkörpers (F) mittels einer in oder an dem Flugkörper (F) angeordneten Positionsbestimmungs- einrichtung und direktes und/oder indirektes Übertragen (T, Tr, Tw) von die Flugkörperposition enthaltenden Sekunddärdaten zu der dem Piloten (P, Pc) zugeordneten Empfangseinrichtung (4) und Empfangen der Sekundärdatensignale mittels derselben (4) .
40. Verfahren nach einem oder mehreren der vorgenannten Ansprüche, gekennzeichnet durch direktes und/oder indirektes Übertragen der zum und/oder vom Flugkörper (F) aus übermittelten Signale über mindestens eine Relaisstation (80) .
41. Verfahren nach einem oder mehreren der vorgenannten Ansprüche, gekennzeichnet durch Zwischenspeichern der zwischen dem Flugkörper (F) und dem Piloten (P, Pc) und/oder umgekehrt übertragenen Daten.
42. Verfahren nach einem oder mehreren der vorhergenannten Ansprüche, gekennzeichnet durch automatisches Steuern des Flugkörpers (F) mittels eines am Flugkörper angeordneten Autopiloten, sobald sich der Flugkörper (F) außerhalb des Sende-/Empfangsbereiches der Übertragungsund Empfangseinrichtung (4) oder der mindestens einen Relaisstation (80) bewegt.
43. Verfahren nach Anspruch 42, gekennzeichnet durch Zurückmanövrieren des Flugkörpers (F) mittels des Autopiloten in den Sende-/Empfangsbereiches der Übertragungs- und Empfangseinrichtung (4) .
44. Verfahren nach Anspruch 42, gekennzeichnet durch automatisches Steuern des Flugkörpers () mittels des Autopiloten über ein Gebiet, in dem keine Übertragung zwischen dem Flugkörper (F) und einem ersten Piloten möglich ist, zu einem Gebiet, in dem eine Übertragung zwischen dem Flugkörper (F) und einem zweiten Piloten möglich ist, und Deaktivieren der automatischen Autopilofunktion, sobald der zweite Pilot die Steuerung des Flugkörpers (F) übernimmt.
45. Unbemanntes Fortbewegungsmittelsystem, umfassend: ein unbemanntes Fortbewegungsmittel (F) , mindestens eine am Fortbewegungsmittel (F) angeordnete Bilderfassungseinrichtung (12, 14) zum Erfassen wenigstens eines realen Szenarios (S) und zum Erzeugen von das reale Szenario (S) repräsentierenden Bilddaten, mindestens eine am Fortbewegungsmittel (F) angeordnete Übertragungseinrichtung (16) zum direkten und/oder indirekten Übertragen (T, Tr, Tw) von Bilddaten des realen Szenarios (S) zu mindestens einer vom Fortbewegungsmittel (F) getrennten und einem Piloten (P, Pc) zugeordneten Empfangseinrichtung (4) , und mindestens eine am Kopf (K) des Piloten (P, Pc) tragbar ausgebildete und direkt vor den Augendes Piloten (P) positionierbare Abbildungseinrichtung (8, 46, 56) .
46. Fortbewegungsmittelsystem nach einem Anspruch 45, dadurch gekennzeichnet, daß die Übertragungseinrichtung
(16) wenigstens ein gerichtetes und/oder ungerichtetes drahtlose (Tr) Übertragungsmittel umfaßt.
47. Fortbewegungsmittelsystem nach einem Anspruch 45, dadurch gekennzeichnet, daß die Übertragungseinrichtung (16) wenigstens ein Datenkabel (Tw) umfaßt .
48. FortbewegungsmittelSystem nach einem oder mehreren der vorgenannten Ansprüche, des weiteren umfassend: mindestens eine Sensoreinrichtung (54) zum Erfassen wenigstens einer Kopf- und/oder Augenbewegung des Piloten (P) , wobei die Sensoreinrichtung (54) ein die Kopf- und/oder Augenbewegung repräsentierendes Signal erzeugt, mindestens eine vom Fortbewegungsmittel (F) getrennt angeordneten und dem Piloten (P) zugeordnete Übertragungseinrichtung (4) zum direkten und/oder indirekten Übertragen dieses Signals zum Fortbewegungsmittel (F) , mindestens eine am Fortbewegungsmittel (F) angeordnete Empfangseinrichtung (16) zum Empfangen des übertragenen Signals, wenigstens eine am Fortbewegungsmittel (F) angeordnete Steuer- und/oder Regeleinrichtung (32) zum Steuern und/oder Regeln der Bewegung der am Fortbewegungsmittel (F) angeordneten Bilderfassungseinrichtung (12, 14) mittels des Signals .
49. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, des weiteren umfassend: mindestens eine dem Fortbewegungsmittel (F) zugeordnete Datenverarbeitungseinrichtung (18) .
50. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, des weiteren umfassend: mindestens eine vom Fortbewegungsmittel (F) getrennt angeordnete und dem Piloten (P) zugeordnete Datenverarbeitungseinrichtung (6) .
51. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß die dem Piloten (P) zugeordnete Datenverarbeitungs- einrichtung (6) direkt und/oder indirekt mit der dem Piloten (P) zugeordneten Empfangseinrichtung (4) und/oder der dem Piloten (P) zugeordneten Datenübertragungseinrichtung (4) korrespondiert.
52. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß die Bilderfassungseinrichtung (12, 14) in ein oder mehreren Achsen (x, y, z) beweglich ist.
53. Fortbewegungsmittelsystem nach Anspruch 52, dadurch gekennzeichnet, daß die Bilderfassungseinrichtung (12, 14) mindestens ein Betätigungsmittel (20) zum Bewegen der Bilderfassungseinrichtung (12, 14) in ein oder mehreren Achsen (x, y, z) umfaßt.
54. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß die Bilderfassungseinrichtung (12) eine stereoskopische Bilderfassungseinrichtung (12.1, 12.2) ist.
55. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß die stereoskopische Bilderfassungseinrichtung (12.1, 12.2) eine Einrichtung zum Einstellen der Konvergenz der Sehachsen und/oder des imaginären Augabstandes besitzt.
56. Fortbewegungsmittelsystem nach Anspruch 54, dadurch gekennzeichnet, daß die stereoskopische
Bilderfassungseinrichtung (12.1, 12.2) eine Einrichtung zum separaten Bewegen jeweils einer ihrer beiden Bilderfassungseinzeleinrichtungen (12.1, 12.2) umfaßt, die zusammen die stereoskopische Bilderfassungseinrichtung bilden.
57. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß am Fortbewegungsmittel (F) wenigstens eine Steuer- und/oder Regeleinrichtung zum Steuern und/oder Regeln wenigstens einer Bewegung der Bilderfassungseinrichtung (12, 14) vorgesehen ist.
58. Fortbewegungsmittelsystem nach Anspruch 57, dadurch gekennzeichnet, daß die wenigstens eine Steuer- und/oder Regeleinrichtung zum Steuern oder Regeln der beweglichen Bilderfassungseinrichtung (12, 14) im wesentlichen simultan zu einer Kopf- und/oder Augenbewegung des Piloten (P, Pc) Steuer- bzw.- regelbar ausgebildet ist.
59. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß die Bilderfassungseinrichtung (1, 14) mit einer Niederschlagsabscheidungseinrichtung (36) versehen ist.
60. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, des weiteren umfassend:
- mindestens eine Sensoreinrichtung (34) zum Erfassen wenigstens einer Bewegung und/oder Position der am Fortbewegungsmittel (F) angeordneten beweglichen Bilderfassungseinrichtung (12, 14), die ein die Bewegung und/oder Position der
Bilderfassungseinrichtung (12, 14) repräsentierendes Signal erzeugt,
- mindestens eine am Fortbewegungsmittel (F) angeordnete Übertragungseinrichtung (16) zum direkten und/oder indirekten Übertragen dieses Signals zu der dem Piloten (P, Pc) zugeordneten Empfangseinrichtung (4) .
61. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, des weiteren umfassend:
- wenigstens eine am Fortbewegungsmittel (F) angeordnete Sensoreinrichtung (28) zum Erfassen von Sekundärdaten des Fortbewegungsmittels (F) oder von am Fortbewegungsmittel (F) angeordneten Zusatzsystemen (26) , wobei die Sensoreinrichtung (28) ein die Sekundärdaten repräsentierendes Sekundärdatensignal erzeugt,
- mindestens eine am Fortbewegungsmittel (F) angeordnete Datenübertragungseinrichtung (18) zum direkten und/oder indirekten Übertragen (T, Tr, Tw) des Sekundärdatensignals zu der dem Piloten (P) zugeordneten Empfangseinrichtung (4) .
62. Fortbewegungsmittelsystem nach Anspruch 61, des weiteren umfassend:
- wenigstens eine dem Piloten (P) zugeordnete Datenverarbeitungseinrichtung (6) zum Erzeugen von die Sekundärdaten darstellenden Bilddaten (64) auf Grundlage des empfangenen Sekundärdatensignals und zum Erzeugen einer virtuellen Abbildungen (64) mittels dieser Bilddaten, und
- wenigstens eine von der dem Piloten (P) zugeordneten Abbildungseinrichtung (56) zum Anzeigen dieser virtuellen Abbildungen (64) zusammen mit oder getrennt von der Abbildung (62) des realen Szenarios (S) und/oder der virtuellen Steuereinrichtung (82, 84) .
63. Fortbewegungsmittelsystem nach Anspruch 61 oder 62, des weiteren umfassend:
- wenigstens eine dem Piloten (P) zugeordnete Datenverarbeitungseinrichtung (6) zum Erzeugen von die Sekundärdaten repräsentieren Referenzdaten auf Grundlage des empfangenen Sekundärdatensignals und zum Erzeugen eines durch Sinneswahrnehmung des Piloten (P) erfaßbaren Referenzsignals mittels dieser Referenzdaten,
- wenigstens eine dem Piloten (P) zugeordneten Ausgabeeinrichtung zum Ausgeben des Referenzsignals.
64. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, des weiteren umfassend:
- wenigstens eine dem Piloten (P) zugeordnete Sensoreinrichtung (50) zum Erfassen von wenigstens einem Körpersignal des Piloten (P) ,
- wenigstens eine dem Piloten (P) zugeordnete Datenverarbeitungseinrichtung (6) zum Erzeugen eines das Körpersignal repräsentierenden Datensignals,
- wenigstens eine dem Piloten (P) zugeordnete Datenübertragungseinrichtung (4) zum direkten und/oder indirekten Übertragen (T, Tr, Tw) dieses Datensignals zu mindestens einer am Fortbewegungsmittel (F) angeordneten Empfangseinrichtung ()16 und Empfangen des Datensignals mittels derselben (16) ,
- wenigstens eine am Fortbewegungsmittel (F) angeordnete Wiedergabeeinrichtung (26) zum Wiedergeben des Datensignals .
65. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, gekennzeichnet durch mindestens eine Sensoreinrichtung (54) zur Erfassung wenigstens einer Kopf- und/oder Augenbewegung des Piloten (P) , wobei die Sensoreinrichtung (54) ein die Kopf- und/oder Augenbewegung und/oder die Kopf- und/oder Augenposition des Piloten (P) repräsentierendes Signal erzeugt.
66. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, gekennzeichnet durch mindestens einen Geschwindigkeitssensor (54.4) und/oder Beschleunigungsensor (54.6) zur Erfassung wenigstens eines Geschwindigkeitsvektors und/oder
Beschleunigungsvektors einer Kopf- und/oder Augenbewegung des Piloten (P) , wobei der Geschwindigkeitssensor (54.4) einen den Geschwindigkeitsvektor und der Beschleunigungsensor (54.6) einen den Beschleunigungsvektor der Kopf- und/oder Augenbewegung des Piloten (P) repräsentierendes Signal erzeugt .
67. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß die Sensoreinrichtung (54) zur Erfassung der Kopf- und/oder Augenbewegung des Piloten (P) an einer am Kopf (K) des Piloten (P) tragbaren Vorrichtung (46, 58) oder von dieser getrennt angeordnet ist.
68. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß die Abbildungseinrichtung (8, 56) eine stereoskopische Abbildungseinrichtung ist.
69. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß die Abbildungseinrichtung (8) mindestens einen Bildschirm
(56), wie einen TFT (thin film transisitor) -Bildschirm, oder dergleichen umfaßt.
70. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß die Abbildungseinrichtung (56) an einer am Kopf (K) des Piloten (P) tragbaren Vorrichtung (46, 58) angeordnet und mit dieser mittels einer Kopf- und/oder Augenbewegung des Piloten (P) mitbewegbar ausgebildet ist.
71. Fortbewegungsmittelsystem nach Anspruch 70, dadurch gekennzeichnet, daß die am Kopf (K) des Piloten (P) tragbare Vorrichtung (46, 58) mit einer Abschirmung (48) gegen äußere Lichteinflüsse versehen ist.
72. Fortbewegungsmittelsystem nach Anspruch 70 oder 71, dadurch gekennzeichnet, daß die am Kopf (K) des Piloten (P) tragbare Vorrichtung (46, 58) eine akustische
Wiedergabeeinrichtung (52) umfaßt.
73. Fortbewegungsmittelsystem nach einem der Ansprüche 70 bis 72, dadurch gekennzeichnet, daß die am Kopf (K) des Piloten (P) tragbaren Vorrichtung (46, 58) eine akustische Erfassungseinrichtung (50) zum Erfassen von Sprachgeräuschen und/oder Sprachbbefehlen umfaßt.
74. Fortbewegungsmittelsystem nach einem der Ansprüche 70 bis 3, dadurch gekennzeichnet, daß die am Kopf (K) des Piloten (P) tragbaren Vorrichtung (46) mit einem ein- oder mehrteiligen, klappbaren Visier (48) versehen ist.
75. Fortbewegungsmittelsystem nach Anspruch 74, dadurch gekennzeichnet, daß die Abbildungseinrichtung (56) an dem Visier (48) angeordnet ist.
76. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß die Abbildungseinrichtung (8, 56) ein ebene oder räumlich gebogene Abbildungseinrichtung ist .
77. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß die Abbildungseinrichtung (56) in zwei Einzelabbildungseinrichtungen (56.2, 56.4) unterteilt ist, wobei jede dieser Einzelabbildungseinrichtungen einem Auge des Piloten (P) zugeordnet ist.
78. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß die Abbildungseinrichtung (8, 56) einen Blickwinkelbereich größer gleich 180 Grad umfaßt.
79. Fortbewegungsmittelsystem nach einem oder mehreren der vorhergenannten Ansprüche, dadurch gekennzeichnet, daß die Sensoreinrichtung (54) zum Erfassen einer Kopf- und/oder Augenbewegung des Piloten (P) an der am Kopf (K) des Piloten (P) tragbaren Vorrichtung (46, 58) angebracht ist .
80. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß die am Kopf (K) des Piloten (P) tragbare Vorrichtung (46, 58) und damit die dort angeordneten Sensor- (54) , Erfassungs-
(50) und Wiedergabeeinrichtungen (52) über eine Datenleitung oder drahtlos mit der dem Piloten (P, Pc) zugeordneten Datenverarbeitungseinrichtung (6) verbunden ist bzw. sind.
81. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß die am Kopf (K) des Piloten (P) tragbare Vorrichtung (46, 58) die dem Piloten (P, Pc) zugeordnete Datenverarbeitungseinrichtung (6) umfaßt.
82. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß die am Kopf (K) des Piloten (P) tragbare Vorrichtung (46, 58) die dem Piloten (P) zugeordnete Empfangs- und/oder Datenübertragungseinrichtung (4) umfaßt.
83. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß die am Kopf (K) des Piloten (P) tragbare Vorrichtung ein Helm (46) oder eine Brille (58) oder dergleichen ist.
84. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, des weiteren umfassend:
- wenigstens eine vom Fortbewegungsmittel (F) getrennt angeordnete und dem Piloten (P) zugeordnete reale (42, 44, 70) und/oder virtuelle Steuereinrichtung (82, 84), wobei diese von dem Piloten (P) durch eine reale und/oder virtuelle Steueraktion bedienbar ist,
- wenigstens eine Sensoreinrichtung (90) zum Erfassen wenigstens einer realen und/oder virtuellen Steueraktion des Piloten (P) , wobei die
Sensoreinrichtung (90) ein die reale und/oder virtuelle Steueraktion repräsentierendes Steuersignal erzeugt,
- wenigstens eine Übertragungseinrichtung (4) zum direkten und/oder indirekten Übertragen (T, Tr, Tw) des Steuersignals zum Fortbewegungsmittel (F) , und
- wenigstens eine am Fortbewegungsmittel (F) angeordnete Empfangseinrichtung (16) zum Empfangen des Steuersignals, und
- wenigstens ein am Fortbewegungsmittel (F) angeordnetes Steuer- und/oder Kontrollorgan zum Steuern und/oder Kontrollieren des Fortbewegungsmittels (F) mittels des Steuersignals .
85. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß die Steuereinrichtung (42, 44, 70, 82, 84) ein reales und/oder virtuelles Instrumenten- oder Steuerpanel mit wenigstens einem realen (42, 44, 70) und oder virtuellen
(84) Bedienelement umfaßt.
86. Fortbewegungsmittelsystem nach Anspruch 85, dadurch gekennzeichnet, daß das virtuelle Steuerpanel durch mindestens eine virtuelle, in dem den Piloten (P) umgebenden Raum positionierte Ebene (Ev) definiert ist.
87. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß das ein virtuelles Bedienelement (84) durch mindestens eine durch zwei Koordinaten (fl; f2; f3 ; f4) in der Steuerpanelebene (Ev) festgelegte Position (B, Bl, B2 , B3 , B4) definiert ist.
88. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, gekennzeichnet durch mindestens eine Sensoreinrichtung (90) , die ein die reale und/oder virtuelle Steueraktion repräsentierendes Steuersignal erzeugt .
89. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, gekennzeichnet durch mindestens eine dem Piloten (P) zugeordnete Abbildungseinrichtung (8, 56) zum Abbilden der virtuellen Steuereinrichtung (82, 84) .
90. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, gekennzeichnet durch mindestens eine Datenverarbeitungseinrichtung (6) zum Generieren der Abbildung der virtuellen Steuereinrichtung (82, 84).
91. Fortbewegungsmittelsystem nach Anspruch 90, dadurch gekennzeichnet, daß die Datenverarbeitungseinrichtung (6) zum Generieren der Abbildung der virtuellen Steuereinrichtung (82, 84) direkt oder indirekt mit der dem Piloten (P) zugeordneten Abbildungseinrichtung (8, 56) korrespondiert.
92. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, gekennzeichnet durch eine Hilfsvorrichtung (86) zum virtuellen Bedienen eines virtuellen Bedienelementes (84) .
93. Fortbewegungsmittelsystem nach Anspruch 92, dadurch gekennzeichnet, daß die Hilfsvorrichtung (86) in einem kleidungsartigen und/oder vom Piloten (P) tragbaren Gegenstand angeordnet oder als ein solcher ausgebildet ist .
94. Fortbewegungsmittelsystem nach Anspruch 92 oder 93, dadurch gekennzeichnet, daß die Hilfsvorrichtung (86) mindestens eine Drucksimulationseinheit (94) umfaßt, die an einem Hilfsvorrichtungsabschnitt angeordnet ist, der einem Körperteil des Piloten (P) zugeordnet ist, mit dem dieser eine reale und/oder virtuelle Steueraktionen ausführt .
95. Fortbewegungsmittelsystem nach Anspruch 94, dadurch gekennzeichnet, daß die mindestens eine Drucksimulationseinheit (94) drahtlos oder über wenigstens eine Datenleitung mit einer dem Piloten (P) zugeordneten Datenverarbeitungseinrichtung (6) verbunden und mittels dieser kontrolliert und/oder geregelt ist.
96. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß die Hilfsvorrichtung ein Datenhandschuh (86) , ein Cybersuit, eine maus- oder joystickartige Vorrichtung oder dergleichen ist.
97. Fortbewegungsmittelsystem nach Anspruch 92, dadurch gekennzeichnet, daß die Hilfsvorrichtung (86) ein SpracherkennungsSystem ist.
98. Fortbewegungsmittelsystem nach Anspruch 97, dadurch gekennzeichnet, daß die dem Piloten (P) zugeordnete Datenverarbeitungseinrichtung (6) das SpracherkennungsSystem umfaßt.
99. Fortbewegungsmittelsystem nach einem oder mehreren der vorhergenannten Ansprüche, dadurch gekennzeichnet, daß die dem Piloten (P) zugeordnete akustische Erfassungseinrichtung (50) mit dem Spracherkennungssystem gekoppelt ist .
100. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, gekennzeichnet durch mindestens eine dem Piloten (P) zugeordnete
Datenverarbeitungseinrichtung (6) und/oder Steuer- oder Regeleinrichtung zum Steuern oder Regeln der Darstellung der Abbildung (62) des realen Szenarios (S) in der Abbildungseinrichtung (8, 56).
101. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, gekennzeichnet durch mindestens eine Relaisstation (80) zur Datenübertragung (Tr) zwischen der Steuereinrichtung (2) und dem Fortbewegungsmittel (F) und/oder mindestens einer weiteren Relaisstation (80) .
102. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß die Relaisstation (80) mittels einer Datenleitung und/oder auf drahtlosem Wege (Tr) direkt oder indirekt mit der dem Piloten (P) zugeordneten Steuereinrichtung
(2) und/oder der dem Fortbewegungsmittel (F) zugeordneten Sende-/Empfangseinrichtung (16) verbunden ist.
103. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß mindestens eine der Relaisstationen eine dem Fortbewegungsmittel (F) zugeordnete Relaishilfseinrichtung (80) ist, wobei die Relaishilfseinrichtung (80) von dem Fortbewegungsmittel (F) mitführbar ausgebildet ist.
104. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß die Relaisstation in einem Zusatzfortbewegungsmittel (72, 74, 76, 78) angeordnet ist.
105. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß das Zusatzfortbewegungsmittel ein Flugkörper (72, 74) ist .
106. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß das Fortbewegungsmittel (F) eine Absetz- und Aufnehmeinrichtung zum Absetzen und Aufnehmen der Relaishilfseinrichtung (80) umfaßt.
107. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, gekennzeichnet durch eine Simulationsvorrrichtung zur Simulation der Bewegung des unbemannten Fortbewegungsmittels (F) .
108. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß die reale und/oder virtuelle Steuereinrichtung (82) die Simulationsvorrrichtung umfaßt oder umgekehrt.
109. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß dieses des weiteren umfaßt, jedoch nicht zwingenderweise in Kombination: wenigstens einen dem unbemannten
Fortbewegungsmittel (F) zugeordneten Autopiloten (96), wenigstens ein dem unbemannten Fortbewegungsmittel (F) zugeordnetes Ortungs- und/oder Navigationssystem (98) , mindestens eine Transpondereinrichtung.
110. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß dieses mindestens eine Zwischenspeichereinrichtung zum Zwischenspeichern der zwischen dem Fortbewegungsmittel (F) und dem Piloten (P, Pc) und/oder umgekehrt übertragenen Daten besitzt.
112. Vorrichtung nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß diese einen Bilderfassungseinrichtungs-Positionssensor (60) zum Erfassen wenigstens einer Bewegung und/oder Position der am Flugkörper (F) angeordneten beweglichen Bilderfassungseinrichtung (8) aufweist.
112. Fortbewegungsmittelsystem nach einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, daß das unbemannte Fortbewegungsmittel (F) , ein Flugkörper, ein Landfahrzeug, ein Wasserfahrzeug, ein Unterwasserfahrzeug, ein Raumflugkörper oder dergleichen ist .
113. Fortbewegungsmittelsystem, umfassend: mindesten einen unbemannten Flugkörper (F) , mindestens eine im und/oder am Flugkörper (F) angeordnete Bilderfassungseinrichtung (12, 12.1, 12.2; 14) , mindestens eine am Flugkörper (F) angeordnete Bildübertragungseinrichtung (16) zum direkten und/oder indirekten Übertragen (T, Tr, Tw) von Bilddaten zu mindestens einer vom Flugkörper (F) getrennten und einem oder mehreren Piloten (P, Pc) zugeordneten Empfangseinrichtung (4) , und mindestens eine an einer brillen- und/oder helmartigen Trägereinrichtung (46, 58) angeordnete Abbildungseinrichtung (56) , wobei die brillen- und/oder helmartigen Trägereinrichtung (46, 58) und/oder die Abbildungseinrichtung (56) am Kopf (K) des Piloten (P, Pc) tragbar ausgebildet und im wesentlichen direkt vor den Augen des Piloten (P, Pc) positionierbar und mit dem Piloten (P, Pc) mitbewegbar ist .
114. Fortbewegungsmittelsystem nach Anspruch 113, des weiteren umfassend: mindestens eine Sensoreinrichtung (54) zum Erfassen wenigstens einer Kopf- und/oder Augenbewegung des Piloten (P, Pc) , wobei die Sensoreinrichtung (54) ein die Kopf- und/oder Augenbewegung repräsentierendes Signal erzeugt, mindestens eine vom Flugkörper (F) getrennt angeordnete und dem Piloten (P, Pc) zugeordnete Übertragungseinrichtung (4) zum direkten und/oder indirekten Übertragen (T, Tr, Tw) dieses Signals zum Flugkörper (F) , mindestens eine am Flugkörper (F) angeordnete Empfangseinrichtung (16) zum Empfangen des übertragenen Signals, wenigstens eine am Flugkörper (F) angeordnete Steuer- und/oder Regeleinrichtung (32) zum Steuern und/oder Regeln der Bewegung (x, y, z) der am Flugkörper (F) angeordneten
Bilderfassungseinrichtung (12, 12.1, 12.2; 14) mittels des Signals.
115. Fortbewegungsmittelsystem nach Anspruch 113 oder 114, des weiteren umfassend: mindestens eine Sensoreinrichtung (34) zum Erfassen wenigstens einer Bewegung und/oder Position der am Flugkörper (F) angeordneten beweglichen Bilderfassungseinrichtung (12, 12.1, 12.2; 14), die direkt und/oder indirekt ein die Bewegung und/oder Position der Bilderfassungseinrichtung (12, 12.1, 12.2; 14) repräsentierendes Signal erzeugt, mindestens eine am Flugkörper (F) angeordnete Übertragungseinrichtung (16) zum direkten und/oder indirekten Übertragen (T, Tr, Tw) dieses Signals zu der dem Piloten (P, Pc) zugeordneten Empfangseinrichtung (4) .
PCT/EP1998/004637 1997-07-23 1998-07-23 Verfahren zum kontrollieren eines unbemannten fortbewegungsmittels und unbemanntes fortbewegungsmittelsystem zum durchführen dieses verfahrens WO1999005580A2 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
AU90686/98A AU9068698A (en) 1997-07-23 1998-07-23 Method for controlling an unmanned transport vehicle and unmanned transport vehicle system therefor

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE19731724.3 1997-07-23
DE19731724A DE19731724A1 (de) 1997-07-23 1997-07-23 Verfahren zum Kontrollieren eines unbemannten Fortbewegungsmittels und unbemanntes Fortbewegungsmittelsystem zum Durchführen dieses Verfahrens
DE19731749.9 1997-07-23
DE19731749A DE19731749A1 (de) 1997-07-23 1997-07-23 Verfahren und Vorrichtung zum Kontrollieren eines unbemannten Flugkörpers

Publications (2)

Publication Number Publication Date
WO1999005580A2 true WO1999005580A2 (de) 1999-02-04
WO1999005580A3 WO1999005580A3 (de) 1999-04-15

Family

ID=26038523

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP1998/004637 WO1999005580A2 (de) 1997-07-23 1998-07-23 Verfahren zum kontrollieren eines unbemannten fortbewegungsmittels und unbemanntes fortbewegungsmittelsystem zum durchführen dieses verfahrens

Country Status (2)

Country Link
AU (1) AU9068698A (de)
WO (1) WO1999005580A2 (de)

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19906244A1 (de) * 1999-02-15 2000-08-24 Alf Holger Tschersich Vorrichtung zur elektrischen realen Raumbildvermittlung ferngelenkter selbstbeweglicher Vorrichtungen
WO2001084260A2 (en) * 2000-05-01 2001-11-08 Irobot Corporation Method and system for remote control of mobile robot
US6845297B2 (en) 2000-05-01 2005-01-18 Irobot Corporation Method and system for remote control of mobile robot
EP2122597A1 (de) * 2007-03-08 2009-11-25 ITT Manufacturing Enterprises, Inc. Auf realitätserweiterung basierendes system sowie verfahren zur steuerung unbemannter fahrzeuge und zur erzeugung von statusinformationen darüber
US7894951B2 (en) 2005-10-21 2011-02-22 Deere & Company Systems and methods for switching between autonomous and manual operation of a vehicle
DE102009051644A1 (de) * 2009-11-02 2011-05-05 Eurosimtec Gmbh Ausbildungssimulationssystem für ein Drohnensystem
US8108092B2 (en) 2006-07-14 2012-01-31 Irobot Corporation Autonomous behaviors for a remote vehicle
US8239992B2 (en) 2007-05-09 2012-08-14 Irobot Corporation Compact autonomous coverage robot
US8253368B2 (en) 2004-01-28 2012-08-28 Irobot Corporation Debris sensor for cleaning apparatus
US8255092B2 (en) 2007-05-14 2012-08-28 Irobot Corporation Autonomous behaviors for a remote vehicle
US8368339B2 (en) 2001-01-24 2013-02-05 Irobot Corporation Robot confinement
US8374721B2 (en) 2005-12-02 2013-02-12 Irobot Corporation Robot system
US8380350B2 (en) 2005-12-02 2013-02-19 Irobot Corporation Autonomous coverage robot navigation system
US8386081B2 (en) 2002-09-13 2013-02-26 Irobot Corporation Navigational control system for a robotic device
US8390251B2 (en) 2004-01-21 2013-03-05 Irobot Corporation Autonomous robot auto-docking and energy management systems and methods
US8392021B2 (en) 2005-02-18 2013-03-05 Irobot Corporation Autonomous surface cleaning robot for wet cleaning
US8387193B2 (en) 2005-02-18 2013-03-05 Irobot Corporation Autonomous surface cleaning robot for wet and dry cleaning
US8396592B2 (en) 2001-06-12 2013-03-12 Irobot Corporation Method and system for multi-mode coverage for an autonomous robot
US8412377B2 (en) 2000-01-24 2013-04-02 Irobot Corporation Obstacle following sensor scheme for a mobile robot
US8417383B2 (en) 2006-05-31 2013-04-09 Irobot Corporation Detecting robot stasis
US8418303B2 (en) 2006-05-19 2013-04-16 Irobot Corporation Cleaning robot roller processing
US8463438B2 (en) 2001-06-12 2013-06-11 Irobot Corporation Method and system for multi-mode coverage for an autonomous robot
US8474090B2 (en) 2002-01-03 2013-07-02 Irobot Corporation Autonomous floor-cleaning robot
US8515578B2 (en) 2002-09-13 2013-08-20 Irobot Corporation Navigational control system for a robotic device
US8584305B2 (en) 2005-12-02 2013-11-19 Irobot Corporation Modular robot
US8600553B2 (en) 2005-12-02 2013-12-03 Irobot Corporation Coverage robot mobility
US8739355B2 (en) 2005-02-18 2014-06-03 Irobot Corporation Autonomous surface cleaning robot for dry cleaning
DE102012023925A1 (de) * 2012-12-06 2014-06-12 Grenzebach Maschinenbau Gmbh Verfahren und Vorrichtung zum kombinierten Simulieren und Steuern ferngesteuerter Fahrzeuge mit einem benutzerfreundlichen Projektionssystem
US8781626B2 (en) 2002-09-13 2014-07-15 Irobot Corporation Navigational control system for a robotic device
US8780342B2 (en) 2004-03-29 2014-07-15 Irobot Corporation Methods and apparatus for position estimation using reflected light sources
US8788092B2 (en) 2000-01-24 2014-07-22 Irobot Corporation Obstacle following sensor scheme for a mobile robot
US8843244B2 (en) 2006-10-06 2014-09-23 Irobot Corporation Autonomous behaviors for a remove vehicle
US8874264B1 (en) 2004-07-07 2014-10-28 Irobot Corporation Celestial navigation system for an autonomous robot
US8930023B2 (en) 2009-11-06 2015-01-06 Irobot Corporation Localization by learning of wave-signal distributions
US8972052B2 (en) 2004-07-07 2015-03-03 Irobot Corporation Celestial navigation system for an autonomous vehicle
DE102013015597A1 (de) * 2013-09-19 2015-03-19 Jörg Brinkmeyer Kameraausrichtung in X und Y-Achse durch 2 Lünetten an einer Fernbedienung
US9008835B2 (en) 2004-06-24 2015-04-14 Irobot Corporation Remote control scheduler and method for autonomous robotic device
EP2920779A2 (de) * 2012-11-16 2015-09-23 Grenzebach Maschinenbau GmbH Verfahren und vorrichtung zum kombinierten simulieren und steuern ferngesteuerter fahrzeuge
US9324229B2 (en) 2007-03-08 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
US9323055B2 (en) 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
EP3086195A1 (de) 2015-04-23 2016-10-26 Parrot Drones System zum steuern einer drohne im immersionmodus
CN106773709A (zh) * 2017-01-12 2017-05-31 深圳明创自控技术有限公司 一种沉浸式无人机驾驶飞行系统
CN107309872A (zh) * 2017-05-08 2017-11-03 南京航空航天大学 一种带有机械臂的飞行机器人及其控制方法
US9908614B2 (en) 2014-05-02 2018-03-06 Sikorsky Aircraft Corporation Crew seat integral inceptor system for aircraft
JP2019507924A (ja) * 2016-02-26 2019-03-22 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ Ｕａｖ軌道を調整するシステム及び方法
US10314449B2 (en) 2010-02-16 2019-06-11 Irobot Corporation Vacuum brush
EP3417338A4 (de) * 2016-02-15 2020-04-15 Advanced Material Engineering Pte Ltd Modulares zusätzliches head-up-display für erweiterte realität, schnittstellen und steuerungen
CN112734944A (zh) * 2021-01-29 2021-04-30 中国人民解放军国防科技大学 无人驾驶汽车调试方法、系统、存储介质、计算机设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6263989B1 (en) 1998-03-27 2001-07-24 Irobot Corporation Robotic platform
US7843431B2 (en) 2007-04-24 2010-11-30 Irobot Corporation Control system for a remote vehicle

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3916094A (en) * 1974-06-21 1975-10-28 Us Navy Submersible visual simulator for remotely piloted systems
US4028725A (en) * 1976-04-21 1977-06-07 Grumman Aerospace Corporation High-resolution vision system
US4405943A (en) * 1981-08-19 1983-09-20 Harris Corporation Low bandwidth closed loop imagery control and communication system for remotely piloted vehicle
GB2128842A (en) * 1982-08-06 1984-05-02 Univ London Method of presenting visual information
US4725956A (en) * 1985-10-15 1988-02-16 Lockheed Corporation Voice command air vehicle control system
FR2721458A1 (fr) * 1994-06-15 1995-12-22 Aerospatiale Système d'observation par aéronef télépilote.
US5648897A (en) * 1994-04-22 1997-07-15 Northrop Grumman Corporation System for controlling a remote unit

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08107516A (ja) * 1994-10-04 1996-04-23 Tokyu Constr Co Ltd 建設ロボット用立体カメラ雲台装置及び建設ロボット用立体カメラ自動追従装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3916094A (en) * 1974-06-21 1975-10-28 Us Navy Submersible visual simulator for remotely piloted systems
US4028725A (en) * 1976-04-21 1977-06-07 Grumman Aerospace Corporation High-resolution vision system
US4405943A (en) * 1981-08-19 1983-09-20 Harris Corporation Low bandwidth closed loop imagery control and communication system for remotely piloted vehicle
GB2128842A (en) * 1982-08-06 1984-05-02 Univ London Method of presenting visual information
US4725956A (en) * 1985-10-15 1988-02-16 Lockheed Corporation Voice command air vehicle control system
US5648897A (en) * 1994-04-22 1997-07-15 Northrop Grumman Corporation System for controlling a remote unit
FR2721458A1 (fr) * 1994-06-15 1995-12-22 Aerospatiale Système d'observation par aéronef télépilote.

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CAPTAIN GREGORY W. WALKER ET AL.: "A TELEOPERATED UNMANNED ROTORCRAFT FLIGHT TEST TECHNIQUE" NATIONAL TELESYSTEMS CONFERENCE, 19. - 20. Mai 1992, Seiten 10.15-10.20, XP000342449 George Washington University, Washington, D.C., US *
PATENT ABSTRACTS OF JAPAN vol. 96, no. 8, 30. August 1996 & JP 08 107516 A (TOKYU CONSTR CO LTD), 23. April 1996 *
ROBERT C. MICHELSON: "TELEROBOTIC CONTROL ISSUES FOR NLOS, NOE ROTARY WING TARGET DRONES" NATIONAL TELESYSTEMS CONFERENCE PROCEEDINGS, Bd. 1, 26. - 27. M{rz 1991, Seiten 337-342, XP000266774 Georgia World Congress Center, Atlanta, Georgia, US *

Cited By (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19906244A1 (de) * 1999-02-15 2000-08-24 Alf Holger Tschersich Vorrichtung zur elektrischen realen Raumbildvermittlung ferngelenkter selbstbeweglicher Vorrichtungen
US8565920B2 (en) 2000-01-24 2013-10-22 Irobot Corporation Obstacle following sensor scheme for a mobile robot
US8412377B2 (en) 2000-01-24 2013-04-02 Irobot Corporation Obstacle following sensor scheme for a mobile robot
US8788092B2 (en) 2000-01-24 2014-07-22 Irobot Corporation Obstacle following sensor scheme for a mobile robot
US9446521B2 (en) 2000-01-24 2016-09-20 Irobot Corporation Obstacle following sensor scheme for a mobile robot
US8478442B2 (en) 2000-01-24 2013-07-02 Irobot Corporation Obstacle following sensor scheme for a mobile robot
US9144361B2 (en) 2000-04-04 2015-09-29 Irobot Corporation Debris sensor for cleaning apparatus
US6535793B2 (en) 2000-05-01 2003-03-18 Irobot Corporation Method and system for remote control of mobile robot
EP2363775A1 (de) * 2000-05-01 2011-09-07 iRobot Corporation Verfahren und System zur Fernsteuerung eines mobilen Roboters
EP2363774A1 (de) * 2000-05-01 2011-09-07 iRobot Corporation Verfahren und System zur Fernsteuerung eines mobilen Roboters
US6845297B2 (en) 2000-05-01 2005-01-18 Irobot Corporation Method and system for remote control of mobile robot
WO2001084260A3 (en) * 2000-05-01 2002-04-04 Irobot Corp Method and system for remote control of mobile robot
WO2001084260A2 (en) * 2000-05-01 2001-11-08 Irobot Corporation Method and system for remote control of mobile robot
US8686679B2 (en) 2001-01-24 2014-04-01 Irobot Corporation Robot confinement
US9038233B2 (en) 2001-01-24 2015-05-26 Irobot Corporation Autonomous floor-cleaning robot
US8368339B2 (en) 2001-01-24 2013-02-05 Irobot Corporation Robot confinement
US9622635B2 (en) 2001-01-24 2017-04-18 Irobot Corporation Autonomous floor-cleaning robot
US9582005B2 (en) 2001-01-24 2017-02-28 Irobot Corporation Robot confinement
US8396592B2 (en) 2001-06-12 2013-03-12 Irobot Corporation Method and system for multi-mode coverage for an autonomous robot
US8463438B2 (en) 2001-06-12 2013-06-11 Irobot Corporation Method and system for multi-mode coverage for an autonomous robot
US8838274B2 (en) 2001-06-12 2014-09-16 Irobot Corporation Method and system for multi-mode coverage for an autonomous robot
US9104204B2 (en) 2001-06-12 2015-08-11 Irobot Corporation Method and system for multi-mode coverage for an autonomous robot
US8656550B2 (en) 2002-01-03 2014-02-25 Irobot Corporation Autonomous floor-cleaning robot
US8474090B2 (en) 2002-01-03 2013-07-02 Irobot Corporation Autonomous floor-cleaning robot
US8516651B2 (en) 2002-01-03 2013-08-27 Irobot Corporation Autonomous floor-cleaning robot
US8671507B2 (en) 2002-01-03 2014-03-18 Irobot Corporation Autonomous floor-cleaning robot
US9128486B2 (en) 2002-01-24 2015-09-08 Irobot Corporation Navigational control system for a robotic device
US8781626B2 (en) 2002-09-13 2014-07-15 Irobot Corporation Navigational control system for a robotic device
US8515578B2 (en) 2002-09-13 2013-08-20 Irobot Corporation Navigational control system for a robotic device
US8386081B2 (en) 2002-09-13 2013-02-26 Irobot Corporation Navigational control system for a robotic device
US8793020B2 (en) 2002-09-13 2014-07-29 Irobot Corporation Navigational control system for a robotic device
US9949608B2 (en) 2002-09-13 2018-04-24 Irobot Corporation Navigational control system for a robotic device
US8749196B2 (en) 2004-01-21 2014-06-10 Irobot Corporation Autonomous robot auto-docking and energy management systems and methods
US8854001B2 (en) 2004-01-21 2014-10-07 Irobot Corporation Autonomous robot auto-docking and energy management systems and methods
US8461803B2 (en) 2004-01-21 2013-06-11 Irobot Corporation Autonomous robot auto-docking and energy management systems and methods
US8390251B2 (en) 2004-01-21 2013-03-05 Irobot Corporation Autonomous robot auto-docking and energy management systems and methods
US9215957B2 (en) 2004-01-21 2015-12-22 Irobot Corporation Autonomous robot auto-docking and energy management systems and methods
US8456125B2 (en) 2004-01-28 2013-06-04 Irobot Corporation Debris sensor for cleaning apparatus
US8253368B2 (en) 2004-01-28 2012-08-28 Irobot Corporation Debris sensor for cleaning apparatus
US8598829B2 (en) 2004-01-28 2013-12-03 Irobot Corporation Debris sensor for cleaning apparatus
US8378613B2 (en) 2004-01-28 2013-02-19 Irobot Corporation Debris sensor for cleaning apparatus
US8780342B2 (en) 2004-03-29 2014-07-15 Irobot Corporation Methods and apparatus for position estimation using reflected light sources
US9360300B2 (en) 2004-03-29 2016-06-07 Irobot Corporation Methods and apparatus for position estimation using reflected light sources
US9008835B2 (en) 2004-06-24 2015-04-14 Irobot Corporation Remote control scheduler and method for autonomous robotic device
US9486924B2 (en) 2004-06-24 2016-11-08 Irobot Corporation Remote control scheduler and method for autonomous robotic device
US9229454B1 (en) 2004-07-07 2016-01-05 Irobot Corporation Autonomous mobile robot system
US9223749B2 (en) 2004-07-07 2015-12-29 Irobot Corporation Celestial navigation system for an autonomous vehicle
US8972052B2 (en) 2004-07-07 2015-03-03 Irobot Corporation Celestial navigation system for an autonomous vehicle
US8874264B1 (en) 2004-07-07 2014-10-28 Irobot Corporation Celestial navigation system for an autonomous robot
US9445702B2 (en) 2005-02-18 2016-09-20 Irobot Corporation Autonomous surface cleaning robot for wet and dry cleaning
US8966707B2 (en) 2005-02-18 2015-03-03 Irobot Corporation Autonomous surface cleaning robot for dry cleaning
US8670866B2 (en) 2005-02-18 2014-03-11 Irobot Corporation Autonomous surface cleaning robot for wet and dry cleaning
US10470629B2 (en) 2005-02-18 2019-11-12 Irobot Corporation Autonomous surface cleaning robot for dry cleaning
US8985127B2 (en) 2005-02-18 2015-03-24 Irobot Corporation Autonomous surface cleaning robot for wet cleaning
US8774966B2 (en) 2005-02-18 2014-07-08 Irobot Corporation Autonomous surface cleaning robot for wet and dry cleaning
US8387193B2 (en) 2005-02-18 2013-03-05 Irobot Corporation Autonomous surface cleaning robot for wet and dry cleaning
US8739355B2 (en) 2005-02-18 2014-06-03 Irobot Corporation Autonomous surface cleaning robot for dry cleaning
US8782848B2 (en) 2005-02-18 2014-07-22 Irobot Corporation Autonomous surface cleaning robot for dry cleaning
US8392021B2 (en) 2005-02-18 2013-03-05 Irobot Corporation Autonomous surface cleaning robot for wet cleaning
US8855813B2 (en) 2005-02-18 2014-10-07 Irobot Corporation Autonomous surface cleaning robot for wet and dry cleaning
US8020657B2 (en) 2005-10-21 2011-09-20 Deere & Company Systems and methods for obstacle avoidance
US7894951B2 (en) 2005-10-21 2011-02-22 Deere & Company Systems and methods for switching between autonomous and manual operation of a vehicle
US9043016B2 (en) 2005-10-21 2015-05-26 Deere & Company Versatile robotic control module
US8874300B2 (en) 2005-10-21 2014-10-28 Deere & Company Systems and methods for obstacle avoidance
US8380350B2 (en) 2005-12-02 2013-02-19 Irobot Corporation Autonomous coverage robot navigation system
US8606401B2 (en) 2005-12-02 2013-12-10 Irobot Corporation Autonomous coverage robot navigation system
US8374721B2 (en) 2005-12-02 2013-02-12 Irobot Corporation Robot system
US8584305B2 (en) 2005-12-02 2013-11-19 Irobot Corporation Modular robot
US9149170B2 (en) 2005-12-02 2015-10-06 Irobot Corporation Navigating autonomous coverage robots
US8954192B2 (en) 2005-12-02 2015-02-10 Irobot Corporation Navigating autonomous coverage robots
US9144360B2 (en) 2005-12-02 2015-09-29 Irobot Corporation Autonomous coverage robot navigation system
US8661605B2 (en) 2005-12-02 2014-03-04 Irobot Corporation Coverage robot mobility
US8978196B2 (en) 2005-12-02 2015-03-17 Irobot Corporation Coverage robot mobility
US9392920B2 (en) 2005-12-02 2016-07-19 Irobot Corporation Robot system
US8761931B2 (en) 2005-12-02 2014-06-24 Irobot Corporation Robot system
US8600553B2 (en) 2005-12-02 2013-12-03 Irobot Corporation Coverage robot mobility
US9492048B2 (en) 2006-05-19 2016-11-15 Irobot Corporation Removing debris from cleaning robots
US8528157B2 (en) 2006-05-19 2013-09-10 Irobot Corporation Coverage robots and associated cleaning bins
US9955841B2 (en) 2006-05-19 2018-05-01 Irobot Corporation Removing debris from cleaning robots
US8418303B2 (en) 2006-05-19 2013-04-16 Irobot Corporation Cleaning robot roller processing
US10244915B2 (en) 2006-05-19 2019-04-02 Irobot Corporation Coverage robots and associated cleaning bins
US8572799B2 (en) 2006-05-19 2013-11-05 Irobot Corporation Removing debris from cleaning robots
US9323055B2 (en) 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
US8417383B2 (en) 2006-05-31 2013-04-09 Irobot Corporation Detecting robot stasis
US9317038B2 (en) 2006-05-31 2016-04-19 Irobot Corporation Detecting robot stasis
US8108092B2 (en) 2006-07-14 2012-01-31 Irobot Corporation Autonomous behaviors for a remote vehicle
US8843244B2 (en) 2006-10-06 2014-09-23 Irobot Corporation Autonomous behaviors for a remove vehicle
EP2122597A4 (de) * 2007-03-08 2012-01-04 Itt Mfg Enterprises Inc Auf realitätserweiterung basierendes system sowie verfahren zur steuerung unbemannter fahrzeuge und zur erzeugung von statusinformationen darüber
US9324229B2 (en) 2007-03-08 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
EP2122597A1 (de) * 2007-03-08 2009-11-25 ITT Manufacturing Enterprises, Inc. Auf realitätserweiterung basierendes system sowie verfahren zur steuerung unbemannter fahrzeuge und zur erzeugung von statusinformationen darüber
US8239992B2 (en) 2007-05-09 2012-08-14 Irobot Corporation Compact autonomous coverage robot
US8726454B2 (en) 2007-05-09 2014-05-20 Irobot Corporation Autonomous coverage robot
US11498438B2 (en) 2007-05-09 2022-11-15 Irobot Corporation Autonomous coverage robot
US11072250B2 (en) 2007-05-09 2021-07-27 Irobot Corporation Autonomous coverage robot sensing
US10299652B2 (en) 2007-05-09 2019-05-28 Irobot Corporation Autonomous coverage robot
US9480381B2 (en) 2007-05-09 2016-11-01 Irobot Corporation Compact autonomous coverage robot
US8438695B2 (en) 2007-05-09 2013-05-14 Irobot Corporation Autonomous coverage robot sensing
US8839477B2 (en) 2007-05-09 2014-09-23 Irobot Corporation Compact autonomous coverage robot
US10070764B2 (en) 2007-05-09 2018-09-11 Irobot Corporation Compact autonomous coverage robot
US8255092B2 (en) 2007-05-14 2012-08-28 Irobot Corporation Autonomous behaviors for a remote vehicle
US8447440B2 (en) 2007-05-14 2013-05-21 iRobot Coporation Autonomous behaviors for a remote vehicle
DE102009051644A1 (de) * 2009-11-02 2011-05-05 Eurosimtec Gmbh Ausbildungssimulationssystem für ein Drohnensystem
US8930023B2 (en) 2009-11-06 2015-01-06 Irobot Corporation Localization by learning of wave-signal distributions
US10314449B2 (en) 2010-02-16 2019-06-11 Irobot Corporation Vacuum brush
US11058271B2 (en) 2010-02-16 2021-07-13 Irobot Corporation Vacuum brush
EP2920779A2 (de) * 2012-11-16 2015-09-23 Grenzebach Maschinenbau GmbH Verfahren und vorrichtung zum kombinierten simulieren und steuern ferngesteuerter fahrzeuge
DE102012023925A1 (de) * 2012-12-06 2014-06-12 Grenzebach Maschinenbau Gmbh Verfahren und Vorrichtung zum kombinierten Simulieren und Steuern ferngesteuerter Fahrzeuge mit einem benutzerfreundlichen Projektionssystem
WO2014102620A3 (de) * 2012-12-06 2014-10-30 Grenzebach Maschinenbau Gmbh Verfahren und vorrichtung zum kombinierten simulieren und steuern ferngesteuerter fahrzeuge mit einem benutzerfreundlichen projektionssystem
AU2013368987B2 (en) * 2012-12-06 2016-05-12 Grenzebach Maschinenbau Gmbh Method and device for the combined simulation and control of remote-controlled vehicles using a user-friendly projection system
DE102013015597A1 (de) * 2013-09-19 2015-03-19 Jörg Brinkmeyer Kameraausrichtung in X und Y-Achse durch 2 Lünetten an einer Fernbedienung
US9908614B2 (en) 2014-05-02 2018-03-06 Sikorsky Aircraft Corporation Crew seat integral inceptor system for aircraft
US9886033B2 (en) 2015-04-23 2018-02-06 Parrot Drones System for piloting a drone in immersion
FR3035523A1 (fr) * 2015-04-23 2016-10-28 Parrot Systeme de pilotage de drone en immersion
EP3086195A1 (de) 2015-04-23 2016-10-26 Parrot Drones System zum steuern einer drohne im immersionmodus
EP3417338A4 (de) * 2016-02-15 2020-04-15 Advanced Material Engineering Pte Ltd Modulares zusätzliches head-up-display für erweiterte realität, schnittstellen und steuerungen
US11008098B2 (en) 2016-02-26 2021-05-18 SZ DJI Technology Co., Ltd. Systems and methods for adjusting UAV trajectory
JP2019507924A (ja) * 2016-02-26 2019-03-22 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ Ｕａｖ軌道を調整するシステム及び方法
US11932392B2 (en) 2016-02-26 2024-03-19 SZ DJI Technology Co., Ltd. Systems and methods for adjusting UAV trajectory
CN106773709A (zh) * 2017-01-12 2017-05-31 深圳明创自控技术有限公司 一种沉浸式无人机驾驶飞行系统
CN107309872B (zh) * 2017-05-08 2021-06-15 南京航空航天大学 一种带有机械臂的飞行机器人及其控制方法
CN107309872A (zh) * 2017-05-08 2017-11-03 南京航空航天大学 一种带有机械臂的飞行机器人及其控制方法
CN112734944A (zh) * 2021-01-29 2021-04-30 中国人民解放军国防科技大学 无人驾驶汽车调试方法、系统、存储介质、计算机设备

Also Published As

Publication number Publication date
AU9068698A (en) 1999-02-16
WO1999005580A3 (de) 1999-04-15

Similar Documents

Publication Publication Date Title
WO1999005580A2 (de) Verfahren zum kontrollieren eines unbemannten fortbewegungsmittels und unbemanntes fortbewegungsmittelsystem zum durchführen dieses verfahrens
US11760503B2 (en) Augmented reality system for pilot and passengers
DE19731724A1 (de) Verfahren zum Kontrollieren eines unbemannten Fortbewegungsmittels und unbemanntes Fortbewegungsmittelsystem zum Durchführen dieses Verfahrens
US8634969B2 (en) Teleoperation method and human robot interface for remote control of a machine by a human operator
CA2891377C (en) Method and device for the combined simulation and control of remote-controlled vehicles using a user-friendly projection system
US5904724A (en) Method and apparatus for remotely piloting an aircraft
US4298176A (en) Remote refueling station
DE60113552T3 (de) Intuitives fahrzeug und maschinensteuerung
DE102010053895A1 (de) Umfeld-Darstellungsvorrichtung sowie ein Fahrzeug mit einer derartigen Umfeld-Darstellungsvorrichtung und Verfahren zur Darstellung eines Panoramabildes
WO2016127192A1 (de) Verfahren zum fernsteuern eines fahrzeugs
WO2011051501A2 (de) Ausbildungssimulationssystem für drohnensysteme
DE102017130714B4 (de) Pilotenunterstützung mittels Augmented Reality
EP1791364B1 (de) Flugverkehr-Leiteinrichtung
EP2302481B1 (de) Verfahren zur Bereitstellung von Steuerbefehlen für ein mittels einer Bedieneinheit lenkbares Fahrzeug und Steuerungssystem für ein derartiges Fahrzeug
EP3012712A1 (de) Virtuelles zeichnen in realer umgebung
DE19731749A1 (de) Verfahren und Vorrichtung zum Kontrollieren eines unbemannten Flugkörpers
EP3547059A1 (de) Verfahren zur steuerung unbemannter fahrzeuge und zusatzmodul zur nachrüstung von unbemannten, fernsteuerbaren fahrzeugen
DE102013201554B3 (de) Einrichtung zur Stabilisierung einer Fluglage eines ferngesteuerten Flächenflugzeugs
EP1936583A1 (de) Flughafenverkehrsinformations-Anzeigesystem
DE19923105C1 (de) System zur Fernsteuerung eines Modellflugzeugs
DE10307827A1 (de) System und Verfahren zum Bewegen eines Objekts
DE102020109642B4 (de) Verfahren zur Unterstützung des Betriebs eines bemannten VTOL-Luftfahrzeugs, VTOL-Luftfahrzeug und Softwareprodukt
DE19829826A1 (de) Fernsteueranlage
Long et al. Remote pilot-controlled docking with television
DE102023004121A1 (de) Verfahren zur erweiterten Umfeldsicht für ein Kraftfahrzeug und System mit einem Kraftfahrzeug und einem beweglichen unbemannten Luftfahrzeug

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AL AM AT AU AZ BA BB BG BR BY CA CH CN CU CZ DE DK EE ES FI GB GE GH GM HR HU ID IL IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MD MG MK MN MW MX NO NZ PL PT RO RU SD SE SG SI SK SL TJ TM TR TT UA UG US UZ VN YU ZW

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): GH GM KE LS MW SD SZ UG ZW AM AZ BY KG KZ MD RU TJ TM AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE BF BJ CF CG CI CM GA GN GW ML MR NE SN TD TG

AK Designated states

Kind code of ref document: A3

Designated state(s): AL AM AT AU AZ BA BB BG BR BY CA CH CN CU CZ DE DK EE ES FI GB GE GH GM HR HU ID IL IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MD MG MK MN MW MX NO NZ PL PT RO RU SD SE SG SI SK SL TJ TM TR TT UA UG US UZ VN YU ZW

AL Designated countries for regional patents

Kind code of ref document: A3

Designated state(s): GH GM KE LS MW SD SZ UG ZW AM AZ BY KG KZ MD RU TJ TM AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE BF BJ CF CG CI CM GA GN GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
REG Reference to national code

Ref country code: DE

Ref legal event code: 8642

122 Ep: pct application non-entry in european phase
NENP Non-entry into the national phase

Ref country code: JP

Ref document number: 1999509344

Format of ref document f/p: F

NENP Non-entry into the national phase

Ref country code: CA