WO2022200249A1 - Device for driving actuators - Google Patents

Device for driving actuators Download PDF

Info

Publication number
WO2022200249A1
WO2022200249A1 PCT/EP2022/057303 EP2022057303W WO2022200249A1 WO 2022200249 A1 WO2022200249 A1 WO 2022200249A1 EP 2022057303 W EP2022057303 W EP 2022057303W WO 2022200249 A1 WO2022200249 A1 WO 2022200249A1
Authority
WO
WIPO (PCT)
Prior art keywords
actor
physical
state
virtual object
computer
Prior art date
Application number
PCT/EP2022/057303
Other languages
German (de)
French (fr)
Inventor
Manfred Weigl
Thomas PETERSEIL
Original Assignee
Manfred Weigl
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Manfred Weigl filed Critical Manfred Weigl
Priority to EP22714452.4A priority Critical patent/EP4330797A1/en
Publication of WO2022200249A1 publication Critical patent/WO2022200249A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes

Definitions

  • the invention relates to a device for controlling actuators for generating physical effects by means of at least one control unit for the actuators, the control unit being designed to detect a trigger signal for generating a physical effect and to send a trigger command for generating a physical effect to the To send actuator, and wherein a plurality of per se known and wearable by physical actors reproduction units for reproduction of a computer-generated, virtual object, in particular in the field of view of a transparent reproduction unit, is provided, wherein the reproduction units with state sensors for measuring state variables of the respective physical actor such as position, orientation and state of motion of the physical actor, according to the preamble of claim 1.
  • a physical effect is understood to mean light, fire and smoke effects, which are sometimes also referred to as special effects, as well as mechanical movements or audio and video effects that are generated with the help of appropriate actuators.
  • the actuators are, for example, technical components for generating light, fire and smoke effects, drives for mechanical movements or devices for audio and video playback.
  • These actuators are controlled via at least one control device, with the trigger signal for the trigger command for a physical effect being able to be generated manually, for example by the control device being operated by an operator, or by detecting a defined trigger signal that is triggered by a physical actor.
  • An example of such a trigger signal would be the interruption of a Light barrier by a physical person when entering an area intended for the performance of the physical effect.
  • the controller detects this trigger signal and generates a trigger command that is sent to the actuator to produce the desired physical effect.
  • Applications of such devices can currently be found, for example, in the leisure and amusement industry, for example in roller coasters, fairground rides or wellness facilities, and in the infotainment area, for example in exhibitions and the like.
  • the technical control options are very limited with conventional solutions. Essentially the same routines are always executed after a trigger signal has been set.
  • VR Virtual Reality
  • the actor wears a display unit for displaying computer-generated, virtual objects, which are also referred to as "Virtual Reality (VR)” glasses becomes.
  • VR glasses simulate a completely virtual environment for the actor. This simulation can be supported by physical effects, for example by hanging the actor on a hydraulically controlled device and simulating a flight, or sitting in a seat moved by actuators and simulating a ride in a vehicle or boat.
  • a trigger signal which is usually set manually, the actor is played a sequence of virtual content, which is accompanied by physical effects.
  • VR applications have the disadvantage that the community experience suffers, since each actor can essentially experience the simulation in isolation and only for themselves.
  • display units for displaying computer-generated, virtual objects are also available, in which the virtual objects are displayed in the field of view of a display unit designed to be transparent.
  • Playback units of this type are also referred to as “mixed reality (MR)” glasses or “augmented reality (AR)” glasses.
  • a computer-generated, virtual object is faded into the field of vision of a real environment perceived by a person depending on the current position, orientation and state of motion, in particular the speed, of the physical actor, for their determination in the conventional way different state sensors such as acceleration sensors ( Accelerometers or G-sensors), sometimes also in combination with magnetometers and/or gyroscopes, as well as GPS systems.
  • the current position, orientation and state of motion of the physical actor are subsequently also referred to as state variables and initially determine whether a virtual object is displayed at all.
  • the fade-in of the virtual object in its position and size in the person's field of vision is subsequently carried out largely as a function of the current position of the observing person.
  • systems of this type could also enable actors to interact with control devices to generate physical effects, but conventional control devices are not designed to process the complex data from the state sensors or to use them as trigger signals.
  • the aim of the present invention is therefore a device for controlling actuators for the generation of physical effects by means of at least one control device for the actuators with the integration of portable playback units for rendering a computer-generated, virtual object, in which an interaction between the physical actors equipped with the portable rendering units and the at least one control device is made possible.
  • Claim 1 relates to a device for controlling actuators for generating physical effects by means of at least one control unit for the actuators, the control unit being designed to detect a trigger signal for generating a physical effect and to send a trigger command for generating a physical effect to the To send actuator, and wherein a plurality of per se known and wearable by physical actors reproduction units for reproduction of a computer-generated, virtual object, in particular in the field of view of a transparent reproduction unit, is provided, wherein the reproduction units with state sensors for measuring state variables of the respective physical actor such as the position, orientation and state of motion of the physical actor.
  • the status sensors are connected to a logic unit via data connections for sending the measured status variables and identification information identifying the respective physical actor, with the logic unit being connected to the at least one control unit via a data connection and being configured from the measured status variables to generate a binary value for each actor through comparison with given state variables via the realization of a given state and to check a trigger condition in the form of a given logical link based on the binary values generated for the actors and, if the trigger condition is realised, to issue a trigger command for to send the creation of a physical effect to the controller.
  • the logic unit makes it possible to integrate the control unit or a plurality of control units into an "Augmented Reality (AR)" system comprising a plurality of portable display units for displaying a computer-generated, virtual object and an interaction between the physical actors equipped with the portable display units with the at least one control unit.
  • the logic unit receives the measured state variables of each actor, which can be uniquely assigned to each actor on the basis of the identification information also received. All of the state variables measured for an actor, i.e. the measured values for position, orientation and movement state , in particular the speed, of the respective physical actor defines the "state" of the respective actor.
  • the logic unit compares the measured state variables of each actor with predetermined values or value ranges for the state variables, which are also referred to as "predetermined state” in the following, and generates a binary value about the realization of the predetermined state.
  • the binary value corresponds a "yes/no" decision about the realization of the specified state, this specified state being arbitrarily definable in the course of an initial configuration.
  • the specified state can be given, for example, simply by a specified spatial position, with the state variables of the orientation and the state of movement being irrelevant.
  • a given state could also be given by a variable derived from the position, such as the Distance between two actors or the distance of an actor to a physical or virtual object.
  • a binary statement is available for each actor as to whether an actor is in a given state or not. If, for example, the control device is to trigger a physical effect as soon as all actors are in a specified spatial area, the specified state can be defined in the form of value ranges for the location coordinates of the specified spatial area.
  • the trigger condition could be that the control device should only produce a physical effect if the distance between the actor Pi and an object is below a specified distance.
  • the binary value associated with this predetermined state would thus assume the value 0 if the distance between actor Pi and the object is above this predetermined distance, and the value 1 if the distance between actor Pi and the object is below this predetermined distance lies.
  • any state variable such as position, orientation or state variable for the state of motion such as the speed of an actor and state variables derived from them and their combinations could be used to define a given state, provided that a binary statement about the realization of the given state can be derived.
  • a triggering condition in the form of a predetermined logical link is checked on the basis of the binary values generated for the actors, and if the triggering condition is met, a triggering command for generating a physical effect is sent to the control device.
  • the trigger condition can be defined arbitrarily.
  • the triggering condition could be changed such that the control device should only produce a physical effect if actor P 2 is within the specified location coordinates and the positioning of actors P x and P 3 is irrelevant.
  • control device is also provided with sensors that can detect an external trigger signal in a conventional manner and are also referred to below as trigger sensors, such as the light barrier mentioned at the outset.
  • trigger sensors such as the light barrier mentioned at the outset.
  • an external trigger signal can also be transmitted to the logic unit and can be part of a trigger condition.
  • manual inputs can also be provided by the actors, which are transmitted to the logic unit and can be part of a triggering condition.
  • the logic unit is connected via a data connection to a computer unit for creating the computer-generated, virtual object, which is connected to the reproduction units for reproduction of the computer-generated, virtual object mediated by a reproduction command, with the logic unit being designed upon implementation the trigger condition, in addition or as an alternative to the trigger command for generating a physical effect, to generate the playback command for the playback of the computer-generated, virtual object and to send it to the computer unit.
  • This also allows the playback of virtual content to be synchronized with the physical effects of the controller.
  • a physical effect be created in the form of an acoustic rendering of an audio file or a visual rendering of a light effect
  • a playback command to play a computer-generated, virtual object in the actors' playback units.
  • a virtual object could be displayed in the field of view of the transparent data glasses.
  • the playback command can also be an animation of a reproduced virtual object u_m fallen, so for example a movement of a virtual object.
  • Different triggering conditions and the triggering and playback commands associated with them can be stored in the logic unit in the form of a directory, which is also referred to below as a triggering protocol.
  • the triggering protocol thus includes the entire set of rules for triggering conditions and the triggering and playback commands linked to them.
  • the computer unit for generating a virtual actor is additionally designed to calculate state variables of the virtual object, such as the position, orientation and movement state of the virtual object, and to send the calculated state variables and identification information identifying the virtual actor to the logic unit, with the Logic unit is additionally designed to generate a binary value from the calculated state variables of the virtual actor by comparison with predetermined state variables via the realization of a predetermined state and based on the binary values generated for the virtual actor to check a triggering condition in the form of a predetermined logical link and upon realization the trigger condition to send a trigger command to the controller to create a physical effect.
  • This is how virtual objects are made possible to interact with the control device and trigger physical effects by also determining state variables for the virtual object.
  • state variables are calculated state variables and not measured state variables as in the case of the physical actors, but this subsequently plays no role for the logic unit according to the invention.
  • the state of motion of a virtual actor can also be referred to as the animation state of the virtual actor.
  • the logic unit can also generate a binary value for the calculated state variables by comparison with predetermined state variables via the realization of a predetermined state and check a triggering condition in the form of a predetermined logical operation. In this way, the virtual object becomes a virtual actor that can be seen and/or heard by the physical actors via the playback units.
  • the virtual actors also exist and can interact with the control devices if they should not be visible and/or audible to the physical actors, for example because the physical actors are not looking in the corresponding spatial direction.
  • the specified state would thus be defined in the form of value ranges for the location coordinates of the specified target area.
  • the trigger condition could also be changed such that the controller should only produce a physical effect when actor P 2 moves the virtual object to the target area, but not when actor Rc or actor P 3 moves the virtual object.
  • the display units can each be embodied as transparent data glasses, in particular as “augmented reality” glasses or “mixed reality” glasses.
  • data glasses is understood to mean a device worn like glasses that is able to display virtual, preferably three-dimensional objects in the real world and to position these objects in relation to real objects in space.
  • Such data glasses are also referred to as “augmented reality” glasses or “mixed reality” glasses.
  • augmented reality glasses or “mixed reality” glasses.
  • a person who has put on such glasses sees the environment as through normal glasses, but holographic virtual objects can be displayed in the field of vision.
  • the rendering units also each comprise a holographic projection device for projecting the virtual object into the field of view of the physical actor.
  • Fig. 1 is a schematic representation of a first embodiment of the device according to the invention.
  • FIG. 2 shows a schematic representation of a second embodiment of the device according to the invention, wherein only one control unit is used.
  • the actuators 2 are therefore, for example, technical components for generating light, fire and smoke effects, drives for mechanical movements or devices for audio and video playback.
  • the first control unit SG X controls an actuator 2, which is designed as a device for audio and video reproduction
  • the second Control unit SG 2 has an actuator 2, which is designed as a lighting system for generating light effects
  • the third control unit SG 3 has an actuator 2, which is designed as a servomotor for opening and closing a door.
  • These actuators 2 are controlled via at least one control device SGi, with the control devices SGi also being connected to triggering sensors 1 in the exemplary embodiments shown, which can detect a triggering signal A.
  • a trigger signal A would be the interruption of a light barrier by a physical person when entering an area provided for the presentation of the physical effect.
  • the triggering sensors 1 and the actuators 2 are known per se, with the control unit SGi generating a triggering command B for the actuator 2 in a conventional manner after detecting a triggering signal A.
  • the generation of a trigger command B is taken over by a logic unit LE, as will be explained in more detail below.
  • FIGS transparent running playback unit WG j are displayed.
  • Playback units WG j of this type are also referred to as “mixed reality” glasses or “augmented reality (AR)” glasses and are worn by physical actors on their heads.
  • a computer-generated, virtual object 0 is displayed in the field of view of a real environment as perceived by the respective physical actor, depending on the current position, orientation and state of motion, in particular the speed, of the respective physical actor, for their determination in a conventional manner different State sensors 3 such as acceleration sensors (accelerometers or G-sensors), sometimes also in combination with magnetometers and/or gyroscopes, and GPS systems are used.
  • the current position, orientation and state of motion of the physical actor measured by the state sensors 3 are also referred to below as measured state variables Z g and sometimes decide whether a virtual object 0 is displayed at all, for example by the respective actor showing a required viewing direction in space takes.
  • the fade-in of the virtual object 0 in its position and size in the field of vision of the physical actor is subsequently also carried out significantly depending on the current position of the observing actor.
  • These calculations and the appropriate generation of the virtual object 0 take place with the aid of a computer unit 5.
  • Display units WG j and computer units 5 of this type and techniques for displaying computer-generated, virtual objects 0 as described are known per se.
  • the generation of a playback command W for the generation and playback of a virtual object 0 is taken over by the logic unit LE.
  • This logic unit LE can be designed as a separate device that can be connected to the control devices SGi and to the computer unit 5 wirelessly via digital or analog data connections, for example via Bluetooth or WLAN, or also by cable.
  • the computer unit 5 is usually connected to the playback units WG j via wireless data connections.
  • the logic unit LE can also be implemented as a software network which, like the functions of the computer unit 5, is installed in a distributed manner on the control devices SGi and the playback units WG j .
  • the logic unit LE and the computer unit 5 could also be combined.
  • the logic unit LE also includes a triggering protocol in the form of a directory that contains different triggering conditions and the triggering commands B and playback commands W associated with them. The triggering protocol thus includes the entire set of triggering conditions and the associated triggering commands A and playback commands W.
  • the logic unit LE receives the measured state variables Z g of each actor, which can be uniquely assigned to each actor on the basis of the identification information also received.
  • the entirety of the state variables Z g measured for an actor i.e. the measured values for position, orientation and movement state, in particular the speed, of the respective physical actor, as well as any state variables derived from them such as distances, define the "state" of the respective actor.
  • the logic unit LE compares the measured state variables Zg of each actor with a specified state in the form of specified values or value ranges for the state variables Z and generates a binary value for the realization of the specified state.
  • the binary value corresponds to one "Yes/No" decision on the realization of the specified state, this specified state being arbitrarily definable in the course of an initial configuration.
  • the specified state can be given, for example, simply by a specified spatial position of an actor, with the measured state variables Z g being irrelevant for the orientation and the state of movement of the actor in this case.
  • a given state could also be given by a quantity derived from the position, for example the distance between two actors or the distance between one actor to a physical or virtual object.
  • the given state could also be given by a given speed of an actor.
  • the presence of a trigger signal A could also be part of a trigger condition.
  • manual inputs by the actors can also be provided, which are transmitted to the logic unit LE and can be part of a triggering condition.
  • any measured state variable Zg for the position, orientation or state of motion, such as the speed of an actor, and the state variable Zg derived from this, as well as their combinations, could be used to define a specified state, provided that a binary statement about the realization of the specified state can be derived.
  • binary statements are available as to whether an actor is in a given state or not, whether a given distance between actors or an actor and an object has been undercut, whether a trigger signal A is present or not, or whether a manual input of a actor is present or not.
  • triggering conditions in the form of predetermined logical operations are checked and, when a triggering condition is met, a triggering command B for generating a physical effect is generated and sent to the relevant control unit SGi.
  • the triggering command B could consist, for example, in playing an audio file to the first control unit SGi, which uses the triggering command B to activate the actuator 2 assigned to it.
  • the realization of a trigger condition can also generate a Provide playback command W for the playback of a computer-generated, virtual object 0, which is sent to the computer unit 5.
  • the playback of virtual content can also be synchronized with the physical effects of the control devices SGi.
  • a physical effect in the form of an acoustic playback of an audio file could be generated, but also a playback command W for the playback of a computer-generated, virtual object 0 in the playback units WG j of the actors.
  • a virtual object could be displayed in the field of view 4 of the transparent data glasses.
  • state variables Z e calculated for a virtual object 0 can be determined by the computer unit 5 .
  • the logic unit LE can also generate a binary value for the calculated state variables Z e by comparison with predetermined state variables Z v via the realization of a predetermined state and check a triggering condition in the form of a predetermined logical operation. If the triggering condition is met, the logic unit LE can send a triggering command B for a physical effect to a control unit SGi, for example to open a door to the third control unit SG 3 , which uses the triggering command B to activate the actuator 2 assigned to it.
  • a device for controlling actuators 2 for the generation of physical effects by means of at least one control unit SGi for the actuators 2 with the integration of portable playback units WG j for the playback of computer-generated, virtual object 0 is provided, in which interaction between the physical actors equipped with the portable playback units WG j and the at least one control unit SGi is made possible.
  • Conventional control devices SGi can also be used for the device according to the invention, although there are still many possibilities for controlling physical effects.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

A device for driving actuators (2) for generating physical effects by way of at least one controller (SGi) for the actuators (2), incorporating portable rendering units (WGj) for rendering computer-generated virtual objects (O). What is proposed is a logic unit (LE) that is connected to the at least one controller (SGi) via a data link and is designed, from measured state variables (Zg) of carriers of the rendering units (WGj) as players, to generate a binary value concerning the meeting of a predefined state through comparison with predefined state variables (Zv) and, on the basis of the binary values generated for the players, to check a trigger condition in the form of a predefined logic combination and, when the trigger condition is met, to transmit a trigger command (B) to generate a physical effect to the controller (SGi).

Description

Vorrichtung zur Ansteuerung von Aktuatoren Device for controlling actuators
Die Erfindung bezieht sich auf eine Vorrichtung zur Ansteuerung von Aktuatoren für die Erzeugung physischer Effekte mittels zumindest einem Steuergerät für die Aktuatoren, wobei das Steuergerät ausgelegt ist ein Auslösesignal für das Erzeugen eines physischen Effekts zu detektieren und einen Auslösebefehl für das Erzeugen eines physischen Effekts an den Aktuator zu senden, und wobei eine Mehrzahl von an sich bekannten und von physischen Akteuren tragbaren Wiedergabeeinheiten zur Wiedergabe eines computergenerierten, virtuellen Objektes, insbesondere im Sichtfeld einer transparent ausgeführten Wiedergabeeinheit, vorgesehen ist, wobei die Wiedergabeeinheiten mit Zustandssensoren zur Messung von Zustandsvariablen des jeweiligen physischen Akteurs wie Position, Orientierung und Bewegungszustand des physischen Akteurs versehen sind, gemäß dem Oberbegriff von Anspruch 1. The invention relates to a device for controlling actuators for generating physical effects by means of at least one control unit for the actuators, the control unit being designed to detect a trigger signal for generating a physical effect and to send a trigger command for generating a physical effect to the To send actuator, and wherein a plurality of per se known and wearable by physical actors reproduction units for reproduction of a computer-generated, virtual object, in particular in the field of view of a transparent reproduction unit, is provided, wherein the reproduction units with state sensors for measuring state variables of the respective physical actor such as position, orientation and state of motion of the physical actor, according to the preamble of claim 1.
Unter einem physischen Effekt werden dabei Licht-, Feuer- und Rauch-Effekte, die mitunter auch als Spezialeffekte bezeichnet werden, sowie mechanische Bewegungen oder auch Audio- und Videoeffekte verstanden, die mithilfe von entsprechenden Aktuatoren erzeugt werden. Bei den Aktuatoren handelt es sich beispielsweise um technische Komponenten zur Erzeugung von Licht-, Feuer- und Rauch-Effekten, um Antriebe für mechanische Bewegungen oder auch um Geräte zur Audio- und Videowiedergabe. Diese Aktuatoren werden über zumindest ein Steuergerät gesteuert, wobei das Auslösesignal für den Auslösebefehl eines physischen Effekts manuell generiert werden kann, indem das Steuergerät beispielsweise von einer Bedienperson bedient wird, oder durch Detektion eines definierten Auslösesignals, das durch einen physischen Akteur ausgelöst wird. Ein Beispiel für ein solches Auslösesignal wäre etwa das Unterbrechen einer Lichtschranke durch eine physische Person beim Betreten eines für die Darbietung des physischen Effekts vorgesehenen Bereiches. Das Steuergerät detektiert dieses Auslösesignal und generiert einen Auslösebefehl, der an den Aktuator zur Erzeugung des gewünschten physischen Effekts gesendet wird. Anwendungen solcher Vorrichtungen finden sich derzeit beispielsweise in der Freizeit- und Vergnügungsbranche etwa bei Achterbahnen, Fahrgeschäften oder Wellnessanlagen, sowie im Infotainmentbereich etwa bei Ausstellungen und dergleichen. Die steuerungstechnischen Möglichkeiten sind bei herkömmlichen Lösungen aber sehr begrenzt. Im Wesentlichen werden stets dieselben Routinen ausgeführt, nachdem ein Auslösesignal gesetzt wurde. A physical effect is understood to mean light, fire and smoke effects, which are sometimes also referred to as special effects, as well as mechanical movements or audio and video effects that are generated with the help of appropriate actuators. The actuators are, for example, technical components for generating light, fire and smoke effects, drives for mechanical movements or devices for audio and video playback. These actuators are controlled via at least one control device, with the trigger signal for the trigger command for a physical effect being able to be generated manually, for example by the control device being operated by an operator, or by detecting a defined trigger signal that is triggered by a physical actor. An example of such a trigger signal would be the interruption of a Light barrier by a physical person when entering an area intended for the performance of the physical effect. The controller detects this trigger signal and generates a trigger command that is sent to the actuator to produce the desired physical effect. Applications of such devices can currently be found, for example, in the leisure and amusement industry, for example in roller coasters, fairground rides or wellness facilities, and in the infotainment area, for example in exhibitions and the like. However, the technical control options are very limited with conventional solutions. Essentially the same routines are always executed after a trigger signal has been set.
Des Weiteren wurde versucht „Virtual Reality (VR) "-Technologie in der Freizeit- und Vergnügungsbranche sowie im Infotainment einzusetzen. Dabei trägt der Akteur eine Wiedergabeeinheit zur Wiedergabe computergenerierter, virtueller Objekte, die auch als „Virtual Reality (VR) "-Brille bezeichnet wird. Diese VR- Brille simuliert dem Akteur eine komplett virtuelle Umgebung. Diese Simulation kann durch physische Effekte unterstützt werden, indem der Akteur beispielsweise an einer hydraulisch gesteuerten Vorrichtung hängt und ihm ein Flug simuliert wird, oder in einem von Aktuatoren bewegten Sitz Platz nimmt und ihm eine Fahrt in einem Fahrzeug oder Boot simuliert wird. Dabei wird dem Akteur nach einem zumeist manuell gesetzten Auslösesignal eine Sequenz virtueller Inhalte abgespielt, die von physischen Effekten begleitet wird. Diese VR-Anwendungen weisen in der Praxis aber den Nachteil auf, dass das Gemeinschaftserlebnis leidet, da jeder Akteur die Simulation im Wesentlichen isoliert und nur für sich alleine erleben kann. Alternativ stehen auch Wiedergabeeinheiten zur Wiedergabe computergenerierter, virtueller Objekte zur Verfügung, bei denen die virtuellen Objekte in das Sichtfeld einer transparent ausgeführten Wiedergabeeinheit eingeblendet werden. Wiedergabeeinheiten dieser Art werden auch als „Mixed- Reality (MR) "-Brillen oder „Augmented Reality (AR) "-Brillen bezeichnet. Hierbei erfolgt das Einblenden eines computergenerierten, virtuellen Objektes in das von einer Person wahrgenommene Blickfeld einer realen Umgebung in Abhängigkeit von der momentanen Position, Orientierung und vom Bewegungszustand, insbesondere der Geschwindigkeit, des physischen Akteurs, für deren Bestimmung in herkömmlicher Weise unterschiedliche Zustandssensoren wie Beschleunigungssensoren (Accelerometer oder G-Sensoren), mitunter auch in Kombination mit Magnetometern und/oder Gyroskopen, sowie GPS-Systeme verwendet werden. Die momentane Position, Orientierung und der Bewegungszustand des physischen Akteurs werden in weiterer Folge auch als Zustandsvariable bezeichnet und entscheiden zunächst darüber, ob überhaupt ein virtuelles Objekt eingeblendet wird. Das Einblenden des virtuellen Objekts in seiner Positionierung und Größe im Blickfeld der Person wird in weiterer Folge maßgeblich in Abhängigkeit von der momentanen Position der beobachtenden Person vorgenommen. Systeme dieser Art könnten grundsätzlich auch eine Interaktion der Akteure mit Steuergeräten für die Erzeugung physischer Effekte ermöglichen, allerdings sind herkömmliche Steuergeräte nicht dazu ausgelegt die komplexen Daten der Zustandssensoren zu verarbeiten oder als Auslösesignale zu verwenden. Furthermore, attempts were made to use "Virtual Reality (VR)" technology in the leisure and entertainment industry and in infotainment. The actor wears a display unit for displaying computer-generated, virtual objects, which are also referred to as "Virtual Reality (VR)" glasses becomes. These VR glasses simulate a completely virtual environment for the actor. This simulation can be supported by physical effects, for example by hanging the actor on a hydraulically controlled device and simulating a flight, or sitting in a seat moved by actuators and simulating a ride in a vehicle or boat. After a trigger signal, which is usually set manually, the actor is played a sequence of virtual content, which is accompanied by physical effects. In practice, however, these VR applications have the disadvantage that the community experience suffers, since each actor can essentially experience the simulation in isolation and only for themselves. Alternatively, display units for displaying computer-generated, virtual objects are also available, in which the virtual objects are displayed in the field of view of a display unit designed to be transparent. Playback units of this type are also referred to as “mixed reality (MR)” glasses or “augmented reality (AR)” glasses. Here, a computer-generated, virtual object is faded into the field of vision of a real environment perceived by a person depending on the current position, orientation and state of motion, in particular the speed, of the physical actor, for their determination in the conventional way different state sensors such as acceleration sensors ( Accelerometers or G-sensors), sometimes also in combination with magnetometers and/or gyroscopes, as well as GPS systems. The current position, orientation and state of motion of the physical actor are subsequently also referred to as state variables and initially determine whether a virtual object is displayed at all. The fade-in of the virtual object in its position and size in the person's field of vision is subsequently carried out largely as a function of the current position of the observing person. In principle, systems of this type could also enable actors to interact with control devices to generate physical effects, but conventional control devices are not designed to process the complex data from the state sensors or to use them as trigger signals.
Das Ziel der vorliegenden Erfindung besteht somit darin eine Vorrichtung zur Ansteuerung von Aktuatoren für die Erzeugung physischer Effekte mittels zumindest einem Steuergerät für die Aktuatoren unter Einbindung von tragbaren Wiedergabeeinheiten zur Wiedergabe eines computergenerierten, virtuellen Objekts bereitzustellen, bei der eine Interaktion zwischen den mit den tragbaren Wiedergabeeinheiten ausgestatteten physischen Akteuren und dem zumindest einen Steuergerät ermöglicht wird.The aim of the present invention is therefore a device for controlling actuators for the generation of physical effects by means of at least one control device for the actuators with the integration of portable playback units for rendering a computer-generated, virtual object, in which an interaction between the physical actors equipped with the portable rendering units and the at least one control device is made possible.
Dieses Ziel wird durch die Merkmale von Anspruch 1 erreicht. Anspruch 1 bezieht sich auf eine Vorrichtung zur Ansteuerung von Aktuatoren für die Erzeugung physischer Effekte mittels zumindest einem Steuergerät für die Aktuatoren, wobei das Steuergerät ausgelegt ist ein Auslösesignal für das Erzeugen eines physischen Effekts zu detektieren und einen Auslösebefehl für das Erzeugen eines physischen Effekts an den Aktuator zu senden, und wobei eine Mehrzahl von an sich bekannten und von physischen Akteuren tragbaren Wiedergabeeinheiten zur Wiedergabe eines computergenerierten, virtuellen Objektes, insbesondere im Sichtfeld einer transparent ausgeführten Wiedergabeeinheit, vorgesehen ist, wobei die Wiedergabeeinheiten mit Zustandssensoren zur Messung von Zustandsvariablen des jeweiligen physischen Akteurs wie Position, Orientierung und Bewegungszustand des physischen Akteurs versehen sind. Erfindungsgemäß wird hierbei vorgeschlagen, dass die Zustandssensoren über Datenverbindungen zum Senden der gemessenen Zustandsvariablen sowie einer den jeweiligen physischen Akteur identifizierenden Identifizierungsinformation mit einer Logikeinheit verbunden sind, wobei die Logikeinheit mit dem zumindest einen Steuergerät über eine Datenverbindung verbunden ist und ausgelegt ist aus den gemessenen Zustandsvariablen eines jeden Akteurs durch Vergleich mit vorgegebenen Zustandsvariablen einen binären Wert über die Verwirklichung eines vorgegebenen Zustands zu generieren und anhand der für die Akteure generierten binären Werte eine Auslösebedingung in Form einer vorgegebenen logischen Verknüpfung zu überprüfen und bei Verwirklichung der Auslösebedingung einen Auslösebefehl für das Erzeugen eines physischen Effekts an das Steuergerät zu senden. This aim is achieved by the features of claim 1. Claim 1 relates to a device for controlling actuators for generating physical effects by means of at least one control unit for the actuators, the control unit being designed to detect a trigger signal for generating a physical effect and to send a trigger command for generating a physical effect to the To send actuator, and wherein a plurality of per se known and wearable by physical actors reproduction units for reproduction of a computer-generated, virtual object, in particular in the field of view of a transparent reproduction unit, is provided, wherein the reproduction units with state sensors for measuring state variables of the respective physical actor such as the position, orientation and state of motion of the physical actor. According to the invention, it is proposed that the status sensors are connected to a logic unit via data connections for sending the measured status variables and identification information identifying the respective physical actor, with the logic unit being connected to the at least one control unit via a data connection and being configured from the measured status variables to generate a binary value for each actor through comparison with given state variables via the realization of a given state and to check a trigger condition in the form of a given logical link based on the binary values generated for the actors and, if the trigger condition is realised, to issue a trigger command for to send the creation of a physical effect to the controller.
Durch die erfindungsgemäße Logikeinheit gelingt es das Steuergerät oder eine Mehrzahl an Steuergeräten in ein „Augmented Reality (AR) "-System umfassend eine Mehrzahl an tragbaren Wiedergabeeinheiten zur Wiedergabe eines computergenerierten, virtuellen Objekts einzubinden und eine Interaktion zwischen den mit den tragbaren Wiedergabeeinheiten ausgestatteten physischen Akteuren mit dem zumindest einen Steuergerät zu ermöglichen. Die Logikeinheit empfängt die gemessenen Zustandsvariablen eines jeden Akteurs, die aufgrund der ebenfalls empfangenen Identifizierungsinformation einem jeden Akteur eindeutig zugeordnet werden können. Die Gesamtheit der für einen Akteur gemessenen Zustandsvariablen, also die Messwerte zu Position, Orientierung und Bewegungszustand, insbesondere die Geschwindigkeit, des jeweiligen physischen Akteurs, definiert dabei den „Zustand" des jeweiligen Akteurs. Die Logikeinheit vergleicht in weiterer Folge die gemessenen Zustandsvariablen eines jeden Akteurs mit vorgegebenen Werten oder Wertebereichen für die Zustandsvariablen, die in weiterer Folge auch als „vorgegebener Zustand" bezeichnet werden, und generiert einen binären Wert über die Verwirklichung des vorgegebenen Zustands. Der binäre Wert entspricht dabei einer „Ja/Nein"- Entscheidung über die Verwirklichung des vorgegebenen Zustands, wobei dieser vorgegebene Zustand im Zuge einer anfänglichen Konfiguration beliebig definierbar ist. Der vorgegebene Zustand kann beispielsweise bloß durch eine vorgegebene räumliche Position gegeben sein, wobei die Zustandsvariable der Orientierung und des Bewegungszustandes unerheblich sind. Ein vorgegebener Zustand könnte auch durch eine von der Position abgeleitete Größe gegeben sein, etwa der Abstand zweier Akteure oder der Abstand eines Akteurs zu einem physischen oder virtuellen Objekt. The logic unit according to the invention makes it possible to integrate the control unit or a plurality of control units into an "Augmented Reality (AR)" system comprising a plurality of portable display units for displaying a computer-generated, virtual object and an interaction between the physical actors equipped with the portable display units with the at least one control unit. The logic unit receives the measured state variables of each actor, which can be uniquely assigned to each actor on the basis of the identification information also received. All of the state variables measured for an actor, i.e. the measured values for position, orientation and movement state , in particular the speed, of the respective physical actor defines the "state" of the respective actor. The logic unit then compares the measured state variables of each actor with predetermined values or value ranges for the state variables, which are also referred to as "predetermined state" in the following, and generates a binary value about the realization of the predetermined state. The binary value corresponds a "yes/no" decision about the realization of the specified state, this specified state being arbitrarily definable in the course of an initial configuration. The specified state can be given, for example, simply by a specified spatial position, with the state variables of the orientation and the state of movement being irrelevant. A given state could also be given by a variable derived from the position, such as the Distance between two actors or the distance of an actor to a physical or virtual object.
Nach diesem Schritt liegt für jeden Akteur eine binäre Aussage darüber vor, ob sich ein Akteur in einem vorgegebenen Zustand befindet oder nicht. Falls beispielsweise das Steuergerät einen physischen Effekt auslösen soll, sobald sich alle Akteure in einem vorgegebenen Raumbereich befinden, kann der vorgegebene Zustand in Form von Wertebereichen für die Ortskoordinaten des vorgegebenen Raumbereiches definiert werden. Die gemessenen Positionsdaten für beispielsweise drei Akteure R, P und P3 können mit den vorgegebenen Ortskoordinaten verglichen werden. Befindet sich Akteur Pi innerhalb der vorgegebenen Ortskoordinaten, nicht aber die Akteure P2 und P3, so würden die den Akteuren Pi, P2 und P3 entsprechend zugeordneten binären Werte pi, p2 und p3 etwa pi=l, p2=0, P3=0 lauten. Hinsichtlich des Abstandes könnte die Auslösebedingung etwa lauten, dass das Steuergerät nur dann einen physischen Effekt erzeugen soll, wenn sich der Abstand zwischen dem Akteur Pi und einem Objekt unterhalb einer vorgegebenen Distanz befindet. Der mit diesem vorgegebenen Zustand verbundene binäre Wert würde somit den Wert 0 annehmen, falls der Abstand zwischen dem Akteur Pi und dem Objekt oberhalb dieser vorgegebenen Distanz liegt, und den Wert 1, falls der Abstand zwischen dem Akteur Pi und dem Objekt unterhalb dieser vorgegebenen Distanz liegt. Grundsätzlich könnte aber jede Zustandsvariable wie Position, Orientierung oder Zustandsvariable zum Bewegungszustand wie etwa die Geschwindigkeit eines Akteurs und daraus abgeleitete Zustandsvariable sowie deren Kombinationen zur Definition eines vorgegebenen Zustands herangezogen werden, sofern sich eine binäre Aussage über die Verwirklichung des vorgegebenen Zustandes ableiten lässt. In weiterer Folge wird anhand der für die Akteure generierten binären Werte eine Auslösebedingung in Form einer vorgegebenen logischen Verknüpfung überprüft und bei Verwirklichung der Auslösebedingung ein Auslösebefehl für das Erzeugen eines physischen Effekts an das Steuergerät gesendet. Für das oben genannte Beispiel würde die Auslösebedingung durch die logische Verknüpfung pi=l UND p2=l UND p3=l gebildet. Falls die binären Werte wie im obigen Beispiel pi=l, P2=0, p3=0 lauten, wäre die Auslösebedingung nicht erfüllt und es wird kein Auslösebefehl an das Steuergerät gesendet. Erst wenn sich alle drei Akteure Pi, P2 und P3 innerhalb der vorgegebenen Ortskoordinaten befinden und die Logikeinheit somit die binären Werte Pi=l, p2=l, p3=l ermittelt, wäre die Auslösebedingung erfüllt und die Logikeinheit sendet einen Auslösebefehl für einen physischen Effekt, beispielsweise für das Abspielen einer Audiodatei oder das Erzeugen eines Lichteffekts, an das Steuergerät, das mithilfe des Auslösebefehls den jeweiligen Aktuator aktiviert. After this step, a binary statement is available for each actor as to whether an actor is in a given state or not. If, for example, the control device is to trigger a physical effect as soon as all actors are in a specified spatial area, the specified state can be defined in the form of value ranges for the location coordinates of the specified spatial area. The measured position data for, for example, three actors R, P and P3 can be compared with the specified location coordinates. If actor Pi is located within the specified location coordinates, but not actors P 2 and P 3 , then the binary values pi, p 2 and p 3 correspondingly assigned to actors Pi, P 2 and P3 would be approximately pi=1, p 2 =0 , P 3 =0. With regard to the distance, the trigger condition could be that the control device should only produce a physical effect if the distance between the actor Pi and an object is below a specified distance. The binary value associated with this predetermined state would thus assume the value 0 if the distance between actor Pi and the object is above this predetermined distance, and the value 1 if the distance between actor Pi and the object is below this predetermined distance lies. In principle, however, any state variable such as position, orientation or state variable for the state of motion such as the speed of an actor and state variables derived from them and their combinations could be used to define a given state, provided that a binary statement about the realization of the given state can be derived. Subsequently, a triggering condition in the form of a predetermined logical link is checked on the basis of the binary values generated for the actors, and if the triggering condition is met, a triggering command for generating a physical effect is sent to the control device. For the above example, the triggering condition would be formed by the logical operation pi=l AND p 2 =l AND p 3 =l. If the binary values are pi=1, P 2 =0, p 3 =0, as in the example above, the trigger condition would not be met and no trigger command is sent to the control unit. Only when all three actors Pi, P 2 and P 3 are within the specified location coordinates and the logic unit thus determines the binary values Pi=1, p 2 =1, p 3 =1 would the trigger condition be met and the logic unit sends a trigger command for a physical effect, such as playing an audio file or creating a light effect, to the control device, which uses the trigger command to activate the respective actuator.
Freilich ist die Auslösebedingung beliebig definierbar. So könnte die Auslösebedingung etwa dahingehend geändert werden, dass das Steuergerät nur dann einen physischen Effekt erzeugen soll, wenn sich Akteur P2 innerhalb der vorgegebenen Ortskoordinaten befindet und die Positionierung der Akteure Px und P3 dabei unerheblich ist. In diesem Fall wäre die Auslösebedingung durch die logische Verknüpfung (pi=l ODER 0) UND (p2=l) UND (p3=l ODER 0) gegeben. Da die Auslösebedingung in Form der logischen Verknüpfung entweder erfüllt oder nicht erfüllt ist, besteht ein eindeutiges Kriterium für die Generierung eines Auslösebefehls. Dieser Auslösebefehl kann auch für herkömmliche Steuergeräte verwendet werden, obwohl dennoch vielfältige Möglichkeiten für die Steuerung physischer Effekte bestehen. Zumeist ist auch das Steuergerät mit Sensoren versehen, die in herkömmlicher Weise ein externes Auslösesignal detektieren können und im Folgenden auch als Auslösesensoren bezeichnet werden, wie beispielsweise die eingangs erwähnte Lichtschranke. Im Rahmen der vorliegenden Erfindung kann ein solches externes Auslösesignal ebenfalls an die Logikeinheit übermittelt werden und Teil einer Auslösebedingung sein. Des Weiteren können auch manuelle Eingaben durch die Akteure vorgesehen sein, die an die Logikeinheit übermittelt werden und Teil einer Auslösebedingung sein können. Of course, the trigger condition can be defined arbitrarily. For example, the triggering condition could be changed such that the control device should only produce a physical effect if actor P 2 is within the specified location coordinates and the positioning of actors P x and P 3 is irrelevant. In this case, the triggering condition would be given by the logical operation (pi=l OR 0) AND (p 2 =l) AND (p 3 =l OR 0). Since the trigger condition in the form of the logical operation is either met or not met, there is a clear criterion for generating a trip command. This trigger command can also be used for traditional controllers, although there are still many ways to control physical effects. In most cases, the control device is also provided with sensors that can detect an external trigger signal in a conventional manner and are also referred to below as trigger sensors, such as the light barrier mentioned at the outset. Within the scope of the present invention, such an external trigger signal can also be transmitted to the logic unit and can be part of a trigger condition. Furthermore, manual inputs can also be provided by the actors, which are transmitted to the logic unit and can be part of a triggering condition.
Des Weiteren wird vorgeschlagen, dass die Logikeinheit über eine Datenverbindung mit einer Rechnereinheit zum Erstellen des computergenerierten, virtuellen Objektes verbunden ist, die zu einer durch einen Wiedergabebefehl vermittelten Wiedergabe des computergenerierten, virtuellen Objektes mit den Wiedergabeeinheiten verbunden ist, wobei die Logikeinheit ausgelegt ist bei Verwirklichung der Auslösebedingung zusätzlich oder alternativ zum Auslösebefehl für das Erzeugen eines physischen Effekts den Wiedergabebefehl für die Wiedergabe des computergenerierten, virtuellen Objektes zu generieren und an die Rechnereinheit zu senden. Auf diese Weise kann auch die Wiedergabe virtueller Inhalte mit den physischen Effekten des Steuergeräts synchronisiert werden. Im oben genannten Beispiel könnte zum Beispiel für den Fall, dass sich alle Akteure in einem vorgegebenen Raumbereich befinden, nicht nur ein physischer Effekt in Form einer akustischen Wiedergabe einer Audiodatei oder einer optischen Wiedergabe eines Lichteffekts erzeugt werden, sondern auch ein Wiedergabebefehl für die Wiedergabe eines computergenerierten, virtuellen Objektes in den Wiedergabeeinheiten der Akteure. So könnte beispielsweise ein virtueller Gegenstand in das Sichtfeld der transparenten Datenbrillen eingeblendet werden. Der Wiedergabebefehl kann dabei auch eine Animation eines wiedergegebenen virtuellen Objektes u_mfassen,, also beispielsweise eine Bewegung eines virtuellen Objektes. Die Auslösebedingung wäre wiederum durch die logische Verknüpfung Pi=l UND p=l UND p3=l gegeben, wobei bei Erfüllung dieser Auslösebedingung im oben genannten Beispiel sowohl der Auslösebefehl für das Abspielen einer Audiodatei oder das Erzeugen eines Lichteffekts durch das Steuergerät als auch der Wiedergabebefehl für die Wiedergabe eines computergenerierten, virtuellen Objektes durch die Rechnereinheit gesendet werden. Unterschiedliche Auslösebedingungen und die damit jeweils verknüpften Auslöse- und Wiedergabebefehle können in der Logikeinheit in Form eines Verzeichnisses, das in weiterer Folge auch als Auslöseprotokoll bezeichnet wird, gespeichert sein. Das Auslöseprotokoll umfasst somit das gesamte Regelwerk an Auslösebedingungen und die damit jeweils verknüpften Auslöse- und Wiedergabebefehle. It is also proposed that the logic unit is connected via a data connection to a computer unit for creating the computer-generated, virtual object, which is connected to the reproduction units for reproduction of the computer-generated, virtual object mediated by a reproduction command, with the logic unit being designed upon implementation the trigger condition, in addition or as an alternative to the trigger command for generating a physical effect, to generate the playback command for the playback of the computer-generated, virtual object and to send it to the computer unit. This also allows the playback of virtual content to be synchronized with the physical effects of the controller. For example, in the above example, if all the actors are in a given area of space, not only could a physical effect be created in the form of an acoustic rendering of an audio file or a visual rendering of a light effect, but also a playback command to play a computer-generated, virtual object in the actors' playback units. For example, a virtual object could be displayed in the field of view of the transparent data glasses. The playback command can also be an animation of a reproduced virtual object u_mfallen, so for example a movement of a virtual object. The trigger condition would in turn be given by the logical operation Pi=l AND p=l AND p 3 =l, whereby if this trigger condition is fulfilled in the above example, both the trigger command for playing an audio file or the generation of a light effect by the control device and the Play command for playing a computer-generated, virtual object are sent by the computer unit. Different triggering conditions and the triggering and playback commands associated with them can be stored in the logic unit in the form of a directory, which is also referred to below as a triggering protocol. The triggering protocol thus includes the entire set of rules for triggering conditions and the triggering and playback commands linked to them.
Des Weiteren wird vorgeschlagen, dass die Rechnereinheit zur Generierung eines virtuellen Akteurs zusätzlich ausgelegt ist Zustandsvariablen des virtuellen Objekts wie Position, Orientierung und Bewegungszustand des virtuellen Objekts zu errechnen und die errechneten Zustandsvariablen sowie eine den virtuellen Akteur identifizierenden Identifizierungsinformation an die Logikeinheit zu senden, wobei die Logikeinheit zusätzlich ausgelegt ist aus den errechneten Zustandsvariablen des virtuellen Akteurs durch Vergleich mit vorgegebenen Zustandsvariablen einen binären Wert über die Verwirklichung eines vorgegebenen Zustands zu generieren und anhand der für den virtuellen Akteur generierten binären Werte eine Auslösebedingung in Form einer vorgegebenen logischen Verknüpfung zu überprüfen und bei Verwirklichung der Auslösebedingung einen Auslösebefehl für das Erzeugen eines physischen Effekts an das Steuergerät zu senden. Auf diese Weise wird es virtuellen Objekten ermöglicht mit dem Steuergerät in Interaktion zu treten und physische Effekte auszulösen, indem für das virtuelle Objekt ebenfalls Zustandsvariablen ermittelt werden. Bei diesen Zustandsvariablen handelt es sich zwar um errechnete Zustandsvariablen und nicht um gemessene Zustandsvariablen wie bei den physischen Akteuren, was für die erfindungsgemäße Logikeinheit in weiterer Folge aber keine Rolle spielt. Der Bewegungszustand eines virtuellen Akteurs kann dabei auch als Animationsstatus des virtuellen Akteurs bezeichnet werden. Die Logikeinheit kann auch für die errechneten Zustandsvariablen durch Vergleich mit vorgegebenen Zustandsvariablen einen binären Wert über die Verwirklichung eines vorgegebenen Zustands generieren und eine Auslösebedingung in Form einer vorgegebenen logischen Verknüpfung überprüfen. Das virtuelle Objekt wird auf diese Weise zum virtuellen Akteur, der über die Wiedergabeeinheiten für die physischen Akteure sichtbar und/oder hörbar werden kann. Die virtuellen Akteure sind aber auch existent und können mit den Steuergeräten in Interaktion treten, wenn sie für die physischen Akteuren nicht sichtbar und/oder hörbar sein sollten, weil die physischen Akteure beispielsweise nicht in die entsprechende Raumrichtung blicken. Beispielsweise könnte etwa im oben genannten Beispiel vorgesehen sein, dass der eingeblendete virtuelle Gegenstand von den physischen Akteuren zu einem vorgegebenen Zielbereich bewegt werden muss. Der vorgegebene Zustand wäre somit in Form von Wertebereichen für die Ortskoordinaten des vorgegebenen Zielbereiches definiert. Die errechneten Positionsdaten für den virtuellen Akteur V können mit den vorgegebenen Ortskoordinaten verglichen werden. Befindet sich der virtuelle Akteur V innerhalb der vorgegebenen Ortskoordinaten, so würde der mit diesem vorgegebenen Zustand assoziierte binäre Wert v=l lauten, andernfalls v=0. Die Auslösebedingung wäre durch die logische Bedingung v=l gegeben. Falls der ermittelte binäre Wert v=0 lautet, wäre die Auslösebedingung nicht erfüllt und es wird kein Auslösebefehl an das Steuergerät gesendet. Erst wenn der virtuelle Gegenstand zum Zielbereich bewegt wurde und die Logikeinheit somit den binären Wert v=l ermittelt, wäre die Auslösebedingung erfüllt und die Logikeinheit sendet einen Auslösebefehl für einen physischen Effekt, beispielsweise für das Öffnen einer Tür, an das Steuergerät, das mithilfe des Auslösebefehls den jeweiligen Aktuator aktiviert. Furthermore, it is proposed that the computer unit for generating a virtual actor is additionally designed to calculate state variables of the virtual object, such as the position, orientation and movement state of the virtual object, and to send the calculated state variables and identification information identifying the virtual actor to the logic unit, with the Logic unit is additionally designed to generate a binary value from the calculated state variables of the virtual actor by comparison with predetermined state variables via the realization of a predetermined state and based on the binary values generated for the virtual actor to check a triggering condition in the form of a predetermined logical link and upon realization the trigger condition to send a trigger command to the controller to create a physical effect. This is how virtual objects are made possible to interact with the control device and trigger physical effects by also determining state variables for the virtual object. It is true that these state variables are calculated state variables and not measured state variables as in the case of the physical actors, but this subsequently plays no role for the logic unit according to the invention. The state of motion of a virtual actor can also be referred to as the animation state of the virtual actor. The logic unit can also generate a binary value for the calculated state variables by comparison with predetermined state variables via the realization of a predetermined state and check a triggering condition in the form of a predetermined logical operation. In this way, the virtual object becomes a virtual actor that can be seen and/or heard by the physical actors via the playback units. However, the virtual actors also exist and can interact with the control devices if they should not be visible and/or audible to the physical actors, for example because the physical actors are not looking in the corresponding spatial direction. For example, in the example mentioned above, it could be provided that the displayed virtual object has to be moved by the physical actors to a predetermined target area. The specified state would thus be defined in the form of value ranges for the location coordinates of the specified target area. The calculated position data for the virtual actor V can be compared with the specified location coordinates. If the virtual actor V is within the given location coordinates, then the binary value associated with this given state would be v=1, otherwise v=0. The triggering condition would be given by the logical condition v=l. If the identified binary value is v=0, the triggering condition would not be met and no triggering command is sent to the control unit. Only when the virtual object has been moved to the target area and the logic unit thus determines the binary value v=1 would the trigger condition be met and the logic unit sends a trigger command for a physical effect, for example opening a door, to the control device, which uses the Trigger command activates the respective actuator.
Freilich könnte die Auslösebedingung auch dahingehend geändert werden, dass das Steuergerät nur dann einen physischen Effekt erzeugen soll, wenn Akteur P2 den virtuellen Gegenstand zum Zielbereich bewegt, nicht aber, wenn Akteur Rc oder Akteur P3 den virtuellen Gegenstand bewegt. Somit muss sich Akteur P2 innerhalb der vorgegebenen Ortskoordinaten des Zielbereiches befinden und die Auslösebedingung wäre durch die logische Verknüpfung (pi=0) UND (p2=l) UND (p3=0) UND (v=l) gegeben, sofern der Zielbereich so gewählt ist, dass sich nur ein physischer Akteur im Zielbereich aufhalten kann. Of course, the trigger condition could also be changed such that the controller should only produce a physical effect when actor P 2 moves the virtual object to the target area, but not when actor Rc or actor P 3 moves the virtual object. Thus, actor P 2 must be within the specified location coordinates of the target area and the triggering condition would be given by the logical combination (pi=0) AND (p 2 =l) AND (p 3 =0) AND (v=l) if the Target area is chosen in such a way that only one physical actor can be in the target area.
Die Wiedergabeeinheiten können jeweils als transparente Datenbrille, insbesondere als „Augmented-Reality"-Brille oder „Mixed-Reality"-Brille ausgeführt sein. Als „Datenbrille" wird im Rahmen der vorliegenden Anmeldung eine wie eine Brille getragene Vorrichtung verstanden, die in der Lage ist virtuelle, vorzugsweise dreidimensionale Objekte in der realen Welt anzuzeigen und diese Objekte in Relation zu realen Objekten im Raum zu positionieren. Solche Datenbrillen werden auch als „Augmented-Reality"-Brillen oder „Mixed-Reality"- Brillen bezeichnet. Eine Person, die eine solche Brille aufgesetzt hat, sieht die Umgebung wie durch eine normale Sehbrille, allerdings können ihr holographisch virtuelle Objekte in das Sichtfeld eingeblendet werden. Hierfür können die Wiedergabeeinheiten auch jeweils eine holographische Projektionseinrichtung zum Projizieren des virtuellen Objekts in das Sichtfeld des physischen Akteurs umfassen. The display units can each be embodied as transparent data glasses, in particular as “augmented reality” glasses or “mixed reality” glasses. In the context of the present application, "data glasses" is understood to mean a device worn like glasses that is able to display virtual, preferably three-dimensional objects in the real world and to position these objects in relation to real objects in space. Such data glasses are also referred to as "augmented reality" glasses or "mixed reality" glasses. A person who has put on such glasses sees the environment as through normal glasses, but holographic virtual objects can be displayed in the field of vision. For this be able the rendering units also each comprise a holographic projection device for projecting the virtual object into the field of view of the physical actor.
Es ist jedenfalls ersichtlich, dass vielfältige Möglichkeiten für die Steuerung physischer Effekte und deren Interaktion mit physischen und virtuellen Akteuren bestehen. Dabei sind vielfältige Anwendungen auch in anderen Bereichen denkbar, beispielsweise im Bildungs- und Ausbildungsbereich. In any case, it is evident that there are many possibilities for controlling physical effects and their interaction with physical and virtual actors. Various applications are also conceivable in other areas, for example in education and training.
Die Erfindung wird in weiterer Folge anhand von Ausführungsbeispielen mithilfe der beiliegenden Figuren näher erläutert . Es zeigen hierbei die The invention is explained in more detail below on the basis of exemplary embodiments with the aid of the enclosed figures. It shows the
Fig. 1 eine schematische Darstellung einer ersten Ausführungsform der erfindungsgemäßen Vorrichtung, und dieFig. 1 is a schematic representation of a first embodiment of the device according to the invention, and the
Fig. 2 eine schematische Darstellung einer zweiten Ausführungsform der erfindungsgemäßen Vorrichtung, wobei lediglich ein Steuergerät verwendet wird. 2 shows a schematic representation of a second embodiment of the device according to the invention, wherein only one control unit is used.
In den Fig. 1 und 2 sind jeweils Steuergeräte SGX (i=l,2,3,...N) zu sehen, wobei im Ausführungsbeispiel der Fig. 1 beispielsweise drei Steuergeräte SGX, SG2 und SG3 zu sehen sind, und in der Fig. 2 lediglich ein Steuergerät SGX. Diese Steuergeräte SGi dienen der Ansteuerung von Aktuatoren 2 für physische Effekte, wie zum Beispiel Licht-, Feuer- und Rauch- Effekte, sowie mechanische Bewegungen oder auch Audio- und Videoeffekte, die mithilfe der Aktuatoren 2 erzeugt werden. Bei den Aktuatoren 2 handelt es sich somit beispielsweise um technische Komponenten zur Erzeugung von Licht-, Feuer- und Rauch-Effekten, um Antriebe für mechanische Bewegungen oder auch um Geräte zur Audio- und Videowiedergabe. Im Ausführungsbeispiel der Fig. 1 steuert beispielsweise das erste Steuergerät SGX einen Aktuator 2, der als Gerät zur Audio- und Videowiedergabe ausgeführt ist, das zweite Steuergerät SG2 einen Aktuator 2, der als Lichtanlage zur Erzeugung von Lichteffekten ausgeführt ist, und das dritte Steuergerät SG3 einen Aktuator 2, der als Stellmotor zum Öffnen und Schließen einer Tür ausgeführt ist. Diese Aktuatoren 2 werden über zumindest ein Steuergerät SGi gesteuert, wobei die Steuergeräte SGi in den gezeigten Ausführungsbeispielen auch jeweils mit Auslösesensoren 1 verbunden ist, die ein Auslösesignal A detektieren können. Ein Beispiel für ein solches Auslösesignal A wäre etwa das Unterbrechen einer Lichtschranke durch eine physische Person beim Betreten eines für die Darbietung des physischen Effekts vorgesehenen Bereiches. Die in den Fig. 1 und 2 gezeigten Steuergeräte SGi, die Auslösesensoren 1 und die Aktuatoren 2 sind an sich bekannt, wobei in herkömmlicher Weise das Steuergerät SGi nach Detektion eines Auslösesignals A einen Auslösebefehl B für den Aktuator 2 generiert. Erfindungsgemäß wird hingegen die Generierung eines Auslösebefehls B von einer Logikeinheit LE übernommen, wie noch näher ausgeführt werden wird. Control units SG X (i= 1, 2 , 3 , , and in FIG. 2 only one control unit SG X. These control devices SGi are used to control actuators 2 for physical effects, such as light, fire and smoke effects, as well as mechanical movements or audio and video effects that are generated using the actuators 2. The actuators 2 are therefore, for example, technical components for generating light, fire and smoke effects, drives for mechanical movements or devices for audio and video playback. In the exemplary embodiment in FIG. 1, for example, the first control unit SG X controls an actuator 2, which is designed as a device for audio and video reproduction, the second Control unit SG 2 has an actuator 2, which is designed as a lighting system for generating light effects, and the third control unit SG 3 has an actuator 2, which is designed as a servomotor for opening and closing a door. These actuators 2 are controlled via at least one control device SGi, with the control devices SGi also being connected to triggering sensors 1 in the exemplary embodiments shown, which can detect a triggering signal A. An example of such a trigger signal A would be the interruption of a light barrier by a physical person when entering an area provided for the presentation of the physical effect. The control units SGi shown in FIGS. 1 and 2, the triggering sensors 1 and the actuators 2 are known per se, with the control unit SGi generating a triggering command B for the actuator 2 in a conventional manner after detecting a triggering signal A. According to the invention, on the other hand, the generation of a trigger command B is taken over by a logic unit LE, as will be explained in more detail below.
Des Weiteren sind in der Fig. 1 und 2 eine Mehrzahl von Wiedergabeeinheiten WGj (j=1,2,3,...M) zur Wiedergabe computergenerierter, virtueller Objekte 0 dargestellt, bei denen die virtuellen Objekte 0 in das Sichtfeld 4 der transparent ausgeführten Wiedergabeeinheit WGj eingeblendet werden. Wiedergabeeinheiten WGj dieser Art werden auch als „Mixed-Reality"-Brillen oder „Augmented Reality (AR) "-Brillen bezeichnet und von physischen Akteuren am Kopf getragen. Hierbei erfolgt das Einblenden eines computergenerierten, virtuellen Objektes 0 wie erwähnt in das vom jeweiligen physischen Akteur wahrgenommene Blickfeld einer realen Umgebung in Abhängigkeit von der momentanen Position, Orientierung und vom Bewegungszustand, insbesondere der Geschwindigkeit, des jeweiligen physischen Akteurs, für deren Bestimmung in herkömmlicher Weise unterschiedliche Zustandssensoren 3 wie Beschleunigungssensoren (Accelerometer oder G-Sensoren) , mitunter auch in Kombination mit Magnetometern und/oder Gyroskopen, sowie GPS-Systeme verwendet werden. Die von den Zustandssensoren 3 gemessene momentane Position, Orientierung und Bewegungszustand des physischen Akteurs werden in weiterer Folge auch als gemessene Zustandsvariable Zg bezeichnet und entscheiden mitunter darüber, ob überhaupt ein virtuelles Objekt 0 eingeblendet wird, indem der jeweilige Akteur beispielsweise eine erforderliche Blickrichtung im Raum einnimmt. Das Einblenden des virtuellen Objekts 0 in seiner Positionierung und Größe im Blickfeld des physischen Akteurs wird in weiterer Folge auch maßgeblich in Abhängigkeit von der momentanen Position des beobachtenden Akteurs vorgenommen. Diese Berechnungen und die passende Generierung des virtuellen Objektes 0 erfolgen mithilfe einer Rechnereinheit 5. Wiedergabeeinheiten WGj sowie Rechnereinheiten 5 dieser Art und Techniken zur Wiedergabe computergenerierter, virtueller Objekte 0 wie beschrieben sind an sich bekannt. Erfindungsgemäß wird hingegen die Generierung eines Wiedergabebefehls W für die Generierung und Wiedergabe eines virtuellen Objekts 0 von der Logikeinheit LE übernommen.Furthermore, a plurality of rendering units WG j (j=1,2,3, . . . M) for rendering computer-generated, virtual objects 0 are shown in FIGS transparent running playback unit WG j are displayed. Playback units WG j of this type are also referred to as “mixed reality” glasses or “augmented reality (AR)” glasses and are worn by physical actors on their heads. As mentioned, a computer-generated, virtual object 0 is displayed in the field of view of a real environment as perceived by the respective physical actor, depending on the current position, orientation and state of motion, in particular the speed, of the respective physical actor, for their determination in a conventional manner different State sensors 3 such as acceleration sensors (accelerometers or G-sensors), sometimes also in combination with magnetometers and/or gyroscopes, and GPS systems are used. The current position, orientation and state of motion of the physical actor measured by the state sensors 3 are also referred to below as measured state variables Z g and sometimes decide whether a virtual object 0 is displayed at all, for example by the respective actor showing a required viewing direction in space takes. The fade-in of the virtual object 0 in its position and size in the field of vision of the physical actor is subsequently also carried out significantly depending on the current position of the observing actor. These calculations and the appropriate generation of the virtual object 0 take place with the aid of a computer unit 5. Display units WG j and computer units 5 of this type and techniques for displaying computer-generated, virtual objects 0 as described are known per se. According to the invention, on the other hand, the generation of a playback command W for the generation and playback of a virtual object 0 is taken over by the logic unit LE.
Diese Logikeinheit LE kann als eigenes Gerät ausgeführt sein, das über digitale oder analoge Datenverbindungen kabellos über beispielsweise Bluetooth oder WLAN oder auch kabelgebunden mit den Steuergeräten SGi sowie mit der Rechnereinheit 5 verbunden werden kann. Die Rechnereinheit 5 ist zumeist über kabellose Datenverbindungen mit den Wiedergabeeinheiten WGj verbunden. Die Logikeinheit LE kann aber auch als Softwareverbund ausgeführt sein, der ebenso wie die Funktionen der Rechnereinheit 5 auf den Steuergeräten SGi und den Wiedergabeeinheiten WGj verteilt installiert ist. Die Logikeinheit LE und die Rechnereinheit 5 könnten auch kombiniert ausgeführt sein. Die Logikeinheit LE umfasst ferner ein Auslöseprotokoll in Form eines Verzeichnisses, das unterschiedliche Auslösebedingungen und die damit jeweils verknüpften Auslösebefehle B und Wiedergabebefehle W enthält. Das Auslöseprotokoll umfasst somit das gesamte Regelwerk an Auslösebedingungen und die damit jeweils verknüpften Auslösebefehle A und Wiedergabebefehle W. This logic unit LE can be designed as a separate device that can be connected to the control devices SGi and to the computer unit 5 wirelessly via digital or analog data connections, for example via Bluetooth or WLAN, or also by cable. The computer unit 5 is usually connected to the playback units WG j via wireless data connections. However, the logic unit LE can also be implemented as a software network which, like the functions of the computer unit 5, is installed in a distributed manner on the control devices SGi and the playback units WG j . The logic unit LE and the computer unit 5 could also be combined. The logic unit LE also includes a triggering protocol in the form of a directory that contains different triggering conditions and the triggering commands B and playback commands W associated with them. The triggering protocol thus includes the entire set of triggering conditions and the associated triggering commands A and playback commands W.
Zur Überprüfung der Auslösebedingungen empfängt die Logikeinheit LE die gemessenen Zustandsvariablen Zg eines jeden Akteurs, die aufgrund der ebenfalls empfangenen Identifizierungsinformation einem jeden Akteur eindeutig zugeordnet werden können. Die Gesamtheit der für einen Akteur gemessenen Zustandsvariablen Zg, also die Messwerte zu Position, Orientierung und Bewegungszustand, insbesondere die Geschwindigkeit, des jeweiligen physischen Akteurs, sowie allenfalls davon abgeleitete Zustandsgrößen wie Distanzen, definiert dabei den „Zustand" des jeweiligen Akteurs. Die Logikeinheit LE vergleicht in weiterer Folge die gemessenen Zustandsvariablen Zg eines jeden Akteurs mit einem vorgegebenen Zustand in Form von vorgegebenen Werten oder Wertebereichen für die Zustandsvariablen Z und generiert einen binären Wert über die Verwirklichung des vorgegebenen Zustands. Wie bereits erwähnt wurde entspricht der binäre Wert dabei einer „Ja/Nein"-Entscheidung über die Verwirklichung des vorgegebenen Zustands, wobei dieser vorgegebene Zustand im Zuge einer anfänglichen Konfiguration beliebig definierbar ist. Der vorgegebene Zustand kann beispielsweise bloß durch eine vorgegebene räumliche Position eines Akteurs gegeben sein, wobei die gemessenen Zustandsvariablen Zg für die Orientierung und den Bewegungszustand des Akteurs in diesem Fall unerheblich sind. Ein vorgegebener Zustand könnte auch durch eine von der Position abgeleitete Größe gegeben sein, etwa durch den Abstand zweier Akteure oder den Abstand eines Akteurs zu einem physischen oder virtuellen Objekt. Der vorgegebene Zustand könnte auch durch eine vorgegebene Geschwindigkeit eines Akteurs gegeben sein. Des Weiteren könnte auch das Vorliegen eines Auslösesignals A Teil einer Auslösebedingung sein. Des Weiteren können auch manuelle Eingaben durch die Akteure vorgesehen sein, die an die Logikeinheit LE übermittelt werden und Teil einer Auslösebedingung sein können. Grundsätzlich könnte jede gemessene Zustandsvariable Zg zu Position, Orientierung oder Bewegungszustand wie etwa die Geschwindigkeit eines Akteurs und daraus abgeleitete Zustandsvariable Zg sowie deren Kombinationen zur Definition eines vorgegebenen Zustands herangezogen werden, sofern sich eine binäre Aussage über die Verwirklichung des vorgegebenen Zustandes ableiten lässt. To check the triggering conditions, the logic unit LE receives the measured state variables Z g of each actor, which can be uniquely assigned to each actor on the basis of the identification information also received. The entirety of the state variables Z g measured for an actor, i.e. the measured values for position, orientation and movement state, in particular the speed, of the respective physical actor, as well as any state variables derived from them such as distances, define the "state" of the respective actor. The logic unit LE then compares the measured state variables Zg of each actor with a specified state in the form of specified values or value ranges for the state variables Z and generates a binary value for the realization of the specified state.As already mentioned, the binary value corresponds to one "Yes/No" decision on the realization of the specified state, this specified state being arbitrarily definable in the course of an initial configuration. The specified state can be given, for example, simply by a specified spatial position of an actor, with the measured state variables Z g being irrelevant for the orientation and the state of movement of the actor in this case. A given state could also be given by a quantity derived from the position, for example the distance between two actors or the distance between one actor to a physical or virtual object. The given state could also be given by a given speed of an actor. Furthermore, the presence of a trigger signal A could also be part of a trigger condition. Furthermore, manual inputs by the actors can also be provided, which are transmitted to the logic unit LE and can be part of a triggering condition. In principle, any measured state variable Zg for the position, orientation or state of motion, such as the speed of an actor, and the state variable Zg derived from this, as well as their combinations, could be used to define a specified state, provided that a binary statement about the realization of the specified state can be derived.
Nach diesem Schritt liegen binäre Aussagen darüber vor, ob sich ein Akteur in einem vorgegebenen Zustand befindet oder nicht, ob eine vorgegebene Distanz zwischen Akteuren oder einem Akteur und einem Objekt unterschritten wurde, ob ein Auslösesignal A vorliegt oder nicht, oder ob eine manuelle Eingabe eines Akteurs vorliegt oder nicht. After this step, binary statements are available as to whether an actor is in a given state or not, whether a given distance between actors or an actor and an object has been undercut, whether a trigger signal A is present or not, or whether a manual input of a actor is present or not.
In weiterer Folge werden anhand der für die Akteure generierten binären Werte Auslösebedingungen in Form vorgegebener logischer Verknüpfungen überprüft und bei Verwirklichung einer Auslösebedingung ein Auslösebefehl B für das Erzeugen eines physischen Effekts generiert und an das betreffende Steuergerät SGi gesendet. Der Auslösebefehl B könnte beispielsweise im Abspielen einer Audiodatei an das erste Steuergerät SGi bestehen, das mithilfe des Auslösebefehls B den ihm zugeordneten Aktuator 2 aktiviert. Subsequently, based on the binary values generated for the actors, triggering conditions in the form of predetermined logical operations are checked and, when a triggering condition is met, a triggering command B for generating a physical effect is generated and sent to the relevant control unit SGi. The triggering command B could consist, for example, in playing an audio file to the first control unit SGi, which uses the triggering command B to activate the actuator 2 assigned to it.
Zusätzlich oder alternativ zum Auslösebefehl B für das Erzeugen eines physischen Effekts kann die Verwirklichung einer Auslösebedingung auch die Generierung eines Wiedergabebefehls W für die Wiedergabe eines computergenerierten, virtuellen Objektes 0 vorsehen, der an die Rechnereinheit 5 gesendet wird. Auf diese Weise kann auch die Wiedergabe virtueller Inhalte mit den physischen Effekten der Steuergeräte SGi synchronisiert werden. Beispielsweise könnte nicht nur ein physischer Effekt in Form einer akustischen Wiedergabe einer Audiodatei erzeugt werden, sondern auch ein Wiedergabebefehl W für die Wiedergabe eines computergenerierten, virtuellen Objektes 0 in den Wiedergabeeinheiten WGj der Akteure. So könnte beispielsweise ein virtueller Gegenstand in das Sichtfeld 4 der transparenten Datenbrillen eingeblendet werden. In addition or as an alternative to the trigger command B for creating a physical effect, the realization of a trigger condition can also generate a Provide playback command W for the playback of a computer-generated, virtual object 0, which is sent to the computer unit 5. In this way, the playback of virtual content can also be synchronized with the physical effects of the control devices SGi. For example, not only a physical effect in the form of an acoustic playback of an audio file could be generated, but also a playback command W for the playback of a computer-generated, virtual object 0 in the playback units WG j of the actors. For example, a virtual object could be displayed in the field of view 4 of the transparent data glasses.
Um es virtuellen Objekten 0 zu ermöglichen, gewissermaßen als virtuelle Akteure V mit den Steuergeräten SGi in Interaktion zu treten und physische Effekte auszulösen, können für ein virtuelles Objekt 0 errechnete Zustandsvariablen Ze von der Rechnereinheit 5 ermittelt werden. Die Logikeinheit LE kann auch für die errechneten Zustandsvariablen Ze durch Vergleich mit vorgegebenen Zustandsvariablen Zv einen binären Wert über die Verwirklichung eines vorgegebenen Zustands generieren und eine Auslösebedingung in Form einer vorgegebenen logischen Verknüpfung überprüfen. Falls die Auslösebedingung verwirklicht ist, kann die Logikeinheit LE einen Auslösebefehl B für einen physischen Effekt an ein Steuergerät SGi senden, beispielsweise für das Öffnen einer Tür an das dritte Steuergerät SG3, das mithilfe des Auslösebefehls B den ihm zugeordneten Aktuator 2 aktiviert. In order to make it possible for virtual objects 0 to interact as it were with the control devices SGi as virtual actors V and to trigger physical effects, state variables Z e calculated for a virtual object 0 can be determined by the computer unit 5 . The logic unit LE can also generate a binary value for the calculated state variables Z e by comparison with predetermined state variables Z v via the realization of a predetermined state and check a triggering condition in the form of a predetermined logical operation. If the triggering condition is met, the logic unit LE can send a triggering command B for a physical effect to a control unit SGi, for example to open a door to the third control unit SG 3 , which uses the triggering command B to activate the actuator 2 assigned to it.
Mithilfe der Erfindung wird somit eine Vorrichtung zur Ansteuerung von Aktuatoren 2 für die Erzeugung physischer Effekte mittels zumindest einem Steuergerät SGi für die Aktuatoren 2 unter Einbindung von tragbaren Wiedergabeeinheiten WGj zur Wiedergabe computergenerierter, virtueller Objekts 0 bereitgestellt, bei der eine Interaktion zwischen den mit den tragbaren Wiedergabeeinheiten WGj ausgestatteten physischen Akteuren und dem zumindest einen Steuergerät SGi ermöglicht wird. Für die erfindungsgemäße Vorrichtung können auch herkömmliche Steuergeräte SGi verwendet werden, obwohl dennoch vielfältige Möglichkeiten für die Steuerung physischer Effekte bestehen. With the aid of the invention, a device for controlling actuators 2 for the generation of physical effects by means of at least one control unit SGi for the actuators 2 with the integration of portable playback units WG j for the playback of computer-generated, virtual object 0 is provided, in which interaction between the physical actors equipped with the portable playback units WG j and the at least one control unit SGi is made possible. Conventional control devices SGi can also be used for the device according to the invention, although there are still many possibilities for controlling physical effects.

Claims

Patentansprüche: Patent Claims:
1. Vorrichtung zur Ansteuerung von Aktuatoren (2) für die Erzeugung physischer Effekte mittels zumindest einem Steuergerät (SGi; i=l,2,3,...N) für die Aktuatoren (2), wobei das Steuergerät (SGi) ausgelegt ist ein Auslösesignal (A) für das Erzeugen eines physischen Effekts zu detektieren und einen Auslösebefehl (B) für das Erzeugen eines physischen Effekts an den Aktuator (2) zu senden, und wobei eine Mehrzahl von an sich bekannten und von physischen Akteuren tragbaren Wiedergabeeinheiten (WGj,· j=l,2,3, ...M) zur Wiedergabe eines computergenerierten, virtuellen Objektes (0), insbesondere im Sichtfeld (4) einer transparent ausgeführten Wiedergabeeinheit (WGj), vorgesehen ist, wobei die Wiedergabeeinheiten (WGj) mit Zustandssensoren (3) zur Messung von Zustandsvariablen (Zg) des jeweiligen physischen Akteurs wie Position, Orientierung und Bewegungszustand des physischen Akteurs versehen sind, dadurch gekennzeichnet, dass die Zustandssensoren (3) über Datenverbindungen zum Senden der gemessenen Zustandsvariablen (Zg) sowie einer den jeweiligen physischen Akteur identifizierenden1. A device for controlling actuators (2) for generating physical effects by means of at least one control unit (SGi; i=1,2,3,...N) for the actuators (2), the control unit (SGi) being designed detecting a trigger signal (A) for generating a physical effect and sending a trigger command (B) for generating a physical effect to the actuator (2), and wherein a plurality of playback units (WG j ,· j=l,2,3, ...M) for the reproduction of a computer-generated, virtual object (0), in particular in the field of view (4) of a transparent reproduction unit (WG j ), wherein the reproduction units (WG j ) are provided with state sensors (3) for measuring state variables (Z g ) of the respective physical actor such as position, orientation and movement state of the physical actor, characterized in that the state sensors (3) have data connections for sending the measured state variable (Z g ) and one identifying the respective physical actor
Identifizierungsinformation mit einer Logikeinheit (LE) verbunden sind, wobei die Logikeinheit (LE) mit dem zumindest einen Steuergerät (SGi) über eine Datenverbindung verbunden ist und ausgelegt ist aus den gemessenen Zustandsvariablen (Zg) eines jeden Akteurs durch Vergleich mit vorgegebenen Zustandsvariablen (Zv) einen binären Wert über die Verwirklichung eines vorgegebenen Zustands zu generieren und anhand der für die Akteure generierten binären Werte eine Auslösebedingung in Form einer vorgegebenen logischen Verknüpfung zu überprüfen und bei Verwirklichung der Auslösebedingung einen Auslösebefehl (B) für das Erzeugen eines physischen Effekts an das Steuergerät (SGj.) zu senden. Identification information is connected to a logic unit (LE), wherein the logic unit (LE) is connected to the at least one control unit (SGi) via a data connection and is designed from the measured state variables (Z g ) of each actor by comparison with specified state variables (Z v ) to generate a binary value via the realization of a given state and to check a trigger condition in the form of a given logical link on the basis of the binary values generated for the actors and, upon realization of the Trigger condition to send a trigger command (B) for generating a physical effect to the controller (SGj .) .
2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Logikeinheit (LE) über eine Datenverbindung mit einer Rechnereinheit (5) zum Erstellen des computergenerierten, virtuellen Objektes (0) verbunden ist, die zu einer durch einen Wiedergabebefehl (W) vermittelten Wiedergabe des computergenerierten, virtuellen Objektes (0) mit den Wiedergabeeinheiten (WGj) verbunden ist, wobei die Logikeinheit (LE) ausgelegt ist bei Verwirklichung der Auslösebedingung zusätzlich oder alternativ zum Auslösebefehl (B) für das Erzeugen eines physischen Effekts den Wiedergabebefehl (W) für die Wiedergabe des computergenerierten, virtuellen Objektes (0) zu generieren und an die Rechnereinheit (5) zu senden. 2. Device according to claim 1, characterized in that the logic unit (LE) is connected via a data connection to a computer unit (5) for creating the computer-generated, virtual object (0), which is mediated by a playback command (W) for playback of the computer-generated, virtual object (0) is connected to the playback units (WG j ), the logic unit (LE) being designed when the trigger condition is realized in addition or as an alternative to the trigger command (B) for generating a physical effect, the playback command (W) for the To generate reproduction of the computer-generated, virtual object (0) and to send it to the computer unit (5).
3. Vorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass die Rechnereinheit (5) zusätzlich ausgelegt ist um zur Generierung eines virtuellen Akteurs (V)3. Device according to claim 2, characterized in that the computer unit (5) is additionally designed to generate a virtual actor (V)
Zustandsvariablen (Ze) des virtuellen Objekts (0) wie Position, Orientierung und Bewegungszustand des virtuellen Objekts (0) zu errechnen und die errechneten Zustandsvariablen (Ze) sowie eine den virtuellen Akteur (V) identifizierende Identifizierungsinformation an die Logikeinheit (LE) zu senden, wobei die Logikeinheit (LE) zusätzlich ausgelegt ist aus den errechnetenTo calculate state variables (Z e ) of the virtual object (0) such as position, orientation and movement state of the virtual object (0) and to send the calculated state variables (Z e ) and identification information identifying the virtual actor (V) to the logic unit (LE). send, the logic unit (LE) is also designed from the calculated
Zustandsvariablen (Ze) des virtuellen Akteurs (V) durch Vergleich mit vorgegebenen Zustandsvariablen (Zv) einen binären Wert über die Verwirklichung eines vorgegebenen Zustands zu generieren und anhand der für den virtuellen Akteur (V) generierten binären Werte eineState variables (Z e) of the virtual actor (V) by comparison with predetermined state variables (Z v ) to generate a binary value on the realization of a predetermined state and based on the for the virtual actor (V) generated binary values
Auslösebedingung in Form einer vorgegebenen logischen Verknüpfung zu überprüfen und bei Verwirklichung der Äuslösebedingung einen Auslösebefehl (B) für das Erzeugen eines physischen Effekts an das Steuergerät (SGj.) zu senden. Trigger condition in the form of a predetermined logical To check link and to send a trigger command (B) for the generation of a physical effect to the control unit (SGj . ) upon realization of the triggering condition.
4. Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Wiedergabeeinheiten (WGj) jeweils als transparente Datenbrille, insbesondere als „Aug ented-Reality"-Brille oder „Mixed-Reality"-Brille ausgeführt sind. 4. Device according to one of claims 1 to 3, characterized in that the display units (WG j ) are each designed as transparent data glasses, in particular as "augmented reality" glasses or "mixed reality" glasses.
5. Vorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Wiedergabeeinheiten (WGj) jeweils eine holographische Projektionseinrichtung zum5. Device according to one of claims 1 to 4, characterized in that the display units (WG j ) each have a holographic projection device for
Projizieren des virtuellen Objekts (0) in das Sichtfeld (4) des physischen Akteurs umfassen. projecting the virtual object (0) into the field of view (4) of the physical actor.
PCT/EP2022/057303 2021-03-22 2022-03-21 Device for driving actuators WO2022200249A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP22714452.4A EP4330797A1 (en) 2021-03-22 2022-03-21 Device for driving actuators

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ATA60089/2021 2021-03-22
AT600892021 2021-03-22

Publications (1)

Publication Number Publication Date
WO2022200249A1 true WO2022200249A1 (en) 2022-09-29

Family

ID=81328212

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/057303 WO2022200249A1 (en) 2021-03-22 2022-03-21 Device for driving actuators

Country Status (2)

Country Link
EP (1) EP4330797A1 (en)
WO (1) WO2022200249A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180253141A1 (en) * 2017-03-06 2018-09-06 Universal City Studios Llc Augmented ride system and method
WO2019067470A1 (en) * 2017-09-29 2019-04-04 Zermatt Technologies Llc Physical boundary guardian

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180253141A1 (en) * 2017-03-06 2018-09-06 Universal City Studios Llc Augmented ride system and method
WO2019067470A1 (en) * 2017-09-29 2019-04-04 Zermatt Technologies Llc Physical boundary guardian

Also Published As

Publication number Publication date
EP4330797A1 (en) 2024-03-06

Similar Documents

Publication Publication Date Title
DE10045117C2 (en) Method and device for real-time geometry control
DE102018200011A1 (en) Test system and method for testing a control of an at least partially autonomous vehicle in a virtual environment
EP1362281A2 (en) User-controlled link of information within an augmented reality system
EP3079041A1 (en) Method and system for the production of a virtual reality environment for passengers of landcraft and aircraft
DE102005011126A1 (en) Generation of virtual worlds based on a real environment
WO2019084583A1 (en) Device for projecting virtual information onto a roadway
WO2022200249A1 (en) Device for driving actuators
WO2013113521A1 (en) Evaluation apparatus for a monitoring system, and a monitoring system having the evaluation apparatus
WO2017144049A1 (en) Method for operating a display device and system for displaying actual image contents of an actual environment overlayed with virtual image contents
DE19653682C2 (en) Control device and method for at least one device of a room, and room with control device
EP3682631A1 (en) Equipment and method for audio/visual recording and reproduction of images/films
EP3631780A1 (en) Land-based training device for a submarine crew
DE102019211415B3 (en) Method for generating a light-based assistance function in a vehicle
DE102014009301A1 (en) Method for operating a virtual reality glasses and system with a virtual reality glasses
EP4172729A1 (en) Method for displaying a virtual object
AT506618B1 (en) INTERACTIVE MULTIMEDIA PRESENTATION DEVICE
AT525369B1 (en) Test environment for urban human-machine interaction
WO1998026345A1 (en) Device for control of rooms
EP3991818B1 (en) Leisure park and method for operating a leisure park
DE102018216383B4 (en) Method and control device for operating a head-mounted display device in a motor vehicle
EP3539628A1 (en) Synchronizing device for synchronizing of head-mounted-displays with a virtual world in a ride, ride with such a synchronization device and method for operating such a ride
DE102023107334A1 (en) Method for operating a headlight device of a motor vehicle and motor vehicle
DE102019130032B4 (en) Method, computer program product and system for generating an image data set for a computer-implemented simulation
WO2024074308A1 (en) Simulation system for combat training of crew members of a military watercraft
DE10226917A1 (en) Method for controlling simulators e.g. for training or studying reactions with vehicle- and aircraft-simulators, involves continuously determining movement data from visualization data for means of moving user

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22714452

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022714452

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022714452

Country of ref document: EP

Effective date: 20231023