WO2021104581A1

WO2021104581A1 - Bediengerät mit positionsmarkierung, simulationssystem und verfahren zur einrichtung des simulationssystems

Info

Publication number: WO2021104581A1
Application number: PCT/DE2020/101005
Authority: WO
Inventors: Manuel Pabst; Michael Haubner
Original assignee: Krauss-Maffei Wegmann Gmbh & Co. Kg
Priority date: 2019-11-28
Filing date: 2020-11-27
Publication date: 2021-06-03
Also published as: EP4066228A1

Abstract

Die vorliegende Erfindung betrifft ein reales Bediengerät (5) zur Simulation eines Fahrzeug-Bediengeräts (300) eines Fahrzeuginneren (1100), insbesondere eines militärischen Fahrzeugs (1000), in einem Simulationsraum (200), mit einer von einem 3D-Sensorsystem (7) erfassbaren Positionsmarkierung (14) zur Positionsbestimmung im Simulationsraum (200).

Description

Bediengerät mit Positionsmarkierung, Simulationssystem und Verfahren zur Einrichtung des Simulationssystems

Die vorliegende Erfindung betrifft ein reales Bediengerät zur Simulation eines Fahrzeug-Bediengeräts eines Fahrzeuginneren, insbesondere eines militärischen Fahrzeugs, in einem Simulationsraum. Weitere Gegenstände der Erfindung bilden ein Simulationssystem zur Simulation eines Fahrzeug- Bediengeräts in einem Fahrzeuginneren, insbesondere eines militärischen Fahrzeugs, innerhalb eines Simulationsraums sowie ein Verfahren zur Ein- richtung eines solchen Simulationssystems in dem Simulationsraum.

Die Erfindung findet Einsatz bei der Simulation eines Fahrzeuginneren, ins- besondere eines militärischen Fahrzeugs, in einem Simulationsraum. Solche Simulationsräume kommen zum einen beim Training von Besatzungsmit- gliedern des Fahrzeugs zur initialen Erstausbildung oder zur Auffrischung und weiteren Einprägung bereits ausgebildeter Abläufe bei der Bedienung des Fahrzeugs zur Anwendung. Zum anderen werden solche Simulations- räume auch bei der Konzeptionierung oder der Weiterentwicklung des Fahrzeuginneren im Rahmen eines insbesondere herstellerseitigen Design- prozesses genutzt.

Die im Simulationsraum erfolgende Simulation des Fahrzeuginneren gestat- tet es, das Training oder den Designprozess durchzuführen, ohne hierzu ein reales Fahrzeug einsetzen zu müssen. Im Vergleich zu einem realen Fahr- zeug ist die Simulation deutlich flexibler und lässt sich einfacher als das reale Fahrzeuginnere verändern und anpassen. Insbesondere bei einem De- signprozess, in dessen Rahmen das Fahrzeuginnere konzeptioniert oder wei- terentwickelt und somit verändert werden soll, wirkt sich die Flexibilität einer Simulation positiv aus.

Im Fahrzeuginneren des zu simulierenden realen Fahrzeugs befindet sich zudem mindestens ein Fahrzeug-Bediengerät, mit welchem ein Besat- zungsmitglied das reale Fahrzeug bedienen kann, beispielsweise indem es die Fahrzeugbeleuchtung, eine Waffe oder ein Funkgerät über das Fahr- zeug-Bediengerät steuert. Um dieses Fahrzeug-Bediengerät als Bestandteil des Fahrzeuginneren im Rahmen der Simulation auch im Simulationsraum simulieren zu können, wird ein reales Bediengerät im Simulationsraum an einer festen Position angeordnet. Anders als ein Controller, welcher wäh- rend der Simulation beispielsweise in der Hand gehalten wird und so stän- dig eine neue Position einnimmt, wird das reale Bediengerät an einer Posi- tion im Simulationsraum fixiert. Dieses reale Bediengerät kann ein oder mehrere Bedienelemente, wie Schalter, Tasten, Drehregler, Wählhebel, Pedale, Lenkräder umfassen, welche getrennt voneinander bedienbar sind. Im Vergleich zu Simulationen unter Einsatz einer rein virtuellen Realität (VR, Virtual Reality), bei welchen das simulierte Fahrzeuginnere und das simulierte Fahrzeug-Bediengerät ausschließlich über eine VR-Brille wahr- genommen werden, bieten Simulationen mit einem realen Bediengerät den Vorteil, dass eine physische Interaktion mit den realen Bediengeräten mög- lich ist. Sowohl bei einem Training als auch im Rahmen eines Designprozes- ses kann durch die physische Interaktion ein Gefühl für die räumlichen Ge- gebenheiten, Bewegungsmöglichkeiten und Bewegungseinschränkungen im Fahrzeuginneren entwickelt werden. So ist beispielsweise eine Kollision mit dem realen Bediengerät während einer Bewegung möglich, welche bei ei- ner reinen VR-Simulation nicht erfolgen kann.

Um die Position des Fahrzeug-Bediengeräts im Fahrzeuginneren zu simulie- ren, muss das reale Bediengerät bei der Einrichtung des Simulationsraums in einer Position innerhalb des Simulationsraums angeordnet werden, wel- che der Position des Fahrzeug-Bediengeräts im Fahrzeuginneren entspricht. Bei den bisher verwendeten realen Bediengeräten erfolgt diese Positionie- rung durch ein einfaches Ausmessen der Position des Fahrzeug-Bediengeräts im Fahrzeuginneren, dem entsprechenden Abmessen eines Punktes im Si- mulationsraum und die Anbringung des realen Bediengeräts an diesem Punkt im Simulationsraum.

Dieses Aus- und Abmessen ist jedoch wenig präzise und zudem fehleranfäl- lig, so dass die Position des realen Bediengeräts im Simulationsraum nicht der genauen Position des Fahrzeug-Bediengerätes im Fahrzeuginneren ent- spricht. Ein mit den bisher bekannten Bediengeräten eingerichteter Simula- tionsraum stellt somit eine unpräzise Simulation des Fahrzeuginneren dar. Insbesondere im Falle beengter Bedingungen, wie sie in militärischen Fahr- zeugen anzutreffen sind, führen bereits kleine Abweichungen zwischen dem Fahrzeuginneren und der Simulation zu einer verfälschten Wiedergabe, welche einer Übertragbarkeit des Ergebnisses der Simulation, beispielswei- se ein Trainingsergebnis oder ein Design des Fahrzeuginneren, welches eine bessere Zugänglichkeit der Fahrzeug-Bediengeräte ermöglicht, entgegen- stehen kann. Die A u f g a b e der vorliegenden Erfindung liegt daher darin, die Über- tragbarkeit des Ergebnisses einer Simulation mit einem realen Bediengerät zu verbessern.

Diese Aufgabe wird bei einem realen Bediengerät der eingangs genannten Art durch eine von einem 3D-Sensorsystem erfassbare Positionsmarkierung zur Positionsbestimmung im Simulationsraum g e l ö s t .

Mit der Positionsmarkierung lässt sich die Position des realen Bediengeräts im Simulationsraum über ein 3 D- Sensorsystem genau bestimmen. Die Posi- tionsmarkierung wird hierzu von dem 3D-Sensorsystem erfasst und über die erfasste Position der Positionsmarkierung die Position des Bediengeräts im Simulationsraum bestimmt. Da die Position des realen Bediengeräts im Si- mulationsraum über die Positionsmarkierung erfassbar ist, kann das reale Bediengerät genauer positioniert werden, als dies bei einem einfachen Ab- messen eines Punktes im Simulationsraum möglich ist.

Das reale Bediengerät kann anhand der erfassten Positionsmarkierung so im Simulationsraum positioniert werden, dass seine Position genau der Position des Fahrzeug-Bediengerätes im Fahrzeuginneren entspricht. Über die er- fassbare Positionsmarkierung kann zusätzlich auch eine Lagebestimmung des realen Bediengerätes im Simulationsraum ermöglicht werden. Das reale Bediengerät kann nach der Positionierung positions- und/oder lagerichtig im Simulationsraum fixiert werden, d. h. in seiner Position und/oder Lage im Simulationsraum fest, aber dennoch lösbar im Simulationsraum angeord- net werden. Als Position des realen Bediengeräts ist jener Ort im Simulationsraum, an welchem sich das reale Bediengerät befindet. Die Position kann beispiels- weise über Koordinaten in einem Koordinatensystem angegeben werden.

Die Lage des realen Bediengeräts entspricht seiner Orientierung im Raum, d. h. jener räumlichen Ausrichtung, welche es an seiner Position einnimmt.

Das reale Bediengerät kann auf vorteilhafte Weise realitätsgetreu, d. h. nahe an dem realen Einsatz im realen Fahrzeug, ein haptisches Feedback geben. Das haptische Feedback des realen Bediengeräts kann neben einem aktiven Feedback, wie ein Vibrieren oder ein vom Bediengerät ausgeübter Druck, auch ein passives Feedback, wie eine erfühlbare Oberfläche oder Struktur, welche vom Benutzer des Bediengeräts mittels seines Tastsinns wahrgenommen werden kann, oder eine Kombination aus aktiven und pas- siven Feedbacks sein. Insbesondere bei einer Simulation, bei welcher statt des Simulationsraums nur eine zusätzliche virtuelle Umgebung visuell wahr- nehmbar ist, kann das reale Bediengerät eine realitätsgetreue Simulation ermöglichen.

Die Positionsmarkierung kann an das reale Bediengerät angebracht, aufge- bracht oder ein integraler Bestandteil des realen Bediengeräts, d. h. Teil eines konstruktiven Elements des Bediengeräts, sein. Insbesondere kann die Positionsmarkierung Teil des Oberflächenmaterials des realen Bediengeräts sein, wie beispielsweise eine Struktur, Textur oder Farbe des Oberflächen- materials oder eines Bereichs des Oberflächenmaterials.

In diesem Zusammenhang hat es sich als vorteilhaft erwiesen, wenn die Positionsmarkierung ein, insbesondere zweidimensionaler, Marker und/oder eine farbliche Markierung ist. Die Positionsmarkierung kann als Marker und/oder als farbliche Markierung auf konstruktiv einfache Weise bereitge- stellt werden. Der Marker kann nach Art eines QR-Codes ausgebildet sein. Eine als farbliche Markierung ausgebildete Positionsmarkierung kann ein- farbig ausgestaltet sein. Die farbliche Markierung kann alternativ oder zu- sätzlich das gesamte reale Bediengerät, insbesondere allseitig, bedecken, wodurch eine Erfassung des gesamten realen Bediengeräts durch das 3D- Sensorsystem auf einfache Art ermöglicht wird.

In vorteilhafter Weise ist die Positionsmarkierung im für das menschliche Auge sichtbaren elektromagnetischen Spektralbereich nicht erkennbar. Ins- besondere kann es sich um eine nur im Infrarot-Bereich erkennbare Positi- onsmarkierung handeln.

Weiter vorteilhaft ist eine, insbesondere freie, Positionierbarkeit des rea- len Bediengeräts auf einer Trägerplatte. Durch die Positionierbarkeit auf der Trägerplatte kann das reale Bediengerät auf einfache Weise positio- niert werden, um die Position des Fahrzeug-Bediengeräts innerhalb eines Fahrzeuginneren im Simulationsraum zu simulieren. Zusammen mit einem oder mehreren auf ihr positionierten Bediengeräten kann die Trägerplatte beispielsweise ein Armaturenbrett oder ein Bedienpanel des realen Fahr- zeugs zur Simulation nachbilden. Die Trägerplatte befindet sich hierzu im Simulationsraum und/oder ist Teil einer Innenwand des Simulationsraums. Vorzugsweise ist das reale Bediengerät auf der Trägerplatte in seiner Lage ausrichtbar, beispielsweise um eine oder mehrere Achsen drehbar oder kippbar. Durch die Ausrichtbarkeit kann die Lage des realen Bedienele- ments an die Lage des Fahrzeug-Bediengeräts im Fahrzeuginneren ange- passt werden. Eine freie Positionierung und/oder Ausrichtung auf der Trä- gerplatte, bei welcher keine Positionen durch trägerplattenseitige Verbin- dungsmittel vorgegeben sind, hat sich als besonders vorteilhaft erwiesen. Eine solche freie Positionierung kann beispielsweise über Magnete, Nadeln, Schrauben oder Klebemittel auf der insbesondere hölzernen oder metalli- schen Trägerplatte erfolgen. Alternativ kann eine Positionierung über An- bindungselemente erfolgen, insbesondere Rast-, Schraub- und/oder Steckelemente, welche mit Anbindungsstellen, insbesondere nach Art von Nuten, Rast-, Schraub- und/oder Steckstellen, der Trägerplatte Zusam- menwirken. Die Trägerplatte kann hierzu insbesondere nach Art einer Ras- terplatte mit in einem regelmäßigen Muster angeordneten Anbindungsstel- len ausgebildet sein.

Die Trägerplatte kann zur Positionierung im Simulationsraum an einer ver- stellbaren Schwanenhalshalterung, einem Magie-Arm, einem Gelenkarm oder einem Stativ, im Simulationsraum in ihrer Position und Lage verstell- bar positioniert werden.

Weiter bevorzugt ist das reale Bediengerät als Nachbildung des Fahrzeug- Bediengeräts ausgestaltet. Bedienelemente des realen Bediengeräts können die gleiche Anordnung zueinander aufweisen, wie bei dem Fahrzeug- Bediengerät. Vorzugsweise werden reale Bedienelemente des gleichen Typs, z. B. Schalter, Tasten, Drehregler, Wählhebel, Pedale oder Lenkrä- der, wie sie bei dem Fahrzeug-Bediengerät zu finden sind, in der gleichen Anordnung verwendet. Das reale Bediengerät kann vorteilhafterweise auch die, insbesondere zwischen den Bedienelementen liegende, Oberflächen- Struktur des Fahrzeug-Bediengeräts nachbilden. Mit einem dem Fahrzeug- Bediengerät des Fahrzeugs, welches simuliert wird, nachgebildetes reales Bediengerät kann eine Kostenersparnis erzielt werden. Denn bei dem rea- len Bediengerät kann auf Funktionen verzichtet werden, wie sie bei dem in realen Fahrzeugen zum Einsatz kommenden Fahrzeug-Bediengerät anzutref- fen sind. Beispielsweise kann das reale Bediengerät keine funktionstüch- tigen Anzeigeelemente, wie Lampen, Messinstrumente oder Displays, auf- weisen. Insbesondere bei einer Simulation, bei welcher zusätzlich eine vir- tuelle Umgebung genutzt wird, können diese Anzeigeelemente in der virtu- ellen Umgebung nicht wahrgenommen werden, sondern können durch ent- sprechende virtuelle Anzeigeelemente ersetzt werden. Gleichwohl kann das reale Bediengerät elektrisch und/oder mechanisch funktionstüchtige Bedie- nelement aufweisen, wie sie insbesondere auch bei einem Fahrzeug- Bediengerät zum Einsatz kommen können. Diese funktionstüchtigen realen Bedienelemente können fabrikatgleich zu den Bedienelementen des Fahr- zeug-Bediengeräts oder kostengünstigerer Fabrikate des gleichen Typs sein. Die Funktionstüchtigkeit der Bedienelemente im realen Bediengerät kann sich auf die mechanische Betätigbarkeit beschränken. Insbesondere können diese realen Bedienelemente nicht in einen Schaltkreis eingebracht sein, so dass bei Betätigung eines Bedienelements des realen Bediengeräts bei- spielsweise kein elektrisches Signal erzeugt wird.

In besonders vorteilhafter weise weist das reale Bediengerät keinen Schalt- kreis auf. Durch den Verzicht auf Schaltkreise im Bediengerät kann die Her- stellung des realen Bediengeräts vereinfacht werden. Es ist möglich, dass das reale Bediengerät mechanische Funktionen auf- weist, wie sie ein Fahrzeug-Bediengerät bereitstellt. Die mechanische Funktion kann eine Betätigungsfunktion, welche eine Betätigungsstellung des Betätigungselements verändert, und/oder eine Anpassungsfunktion sein. Eine Betätigungsfunktion kann beispielsweise die Umlegbarkeit eines Schalters, die Drückbarkeit einer Taste oder eines Pedals, die Drehbarkeit eines Drehreglers oder eines Lenkrads oder die Verstellbarkeit eines Wahl- hebels sein. Eine Anpassungsfunktion kann beispielsweise die Anpassung der Länge und/oder des Winkels einer Lenkradsäule an die Statur des Besat- zungsmitglieds sein.

Bevorzugt ist das reale Bediengerät als ein rein haptischer Dummy ausge- staltet. Ein solcher rein haptischer Dummy kann eine Nachbildung eines funktionstüchtigen Bedienelements als reales Bedienelement aufweisen, wie beispielsweise die Nachbildung eines Schalters, einer Taste, eines Drehreglers, eines Wahlhebels, eines Pedals oder eines Lenkrads. Dieses reale Bedienelement kann auf einfache Weise ein haptisches Feedback über seine Position geben. Vorzugsweise kann das reale Bediengerät als rein hap- tischer Dummy mechanisch funktionslos sein, d. h. es stellt keine weiteren mechanischen Funktionen bereit, insbesondere ist es nicht betätigbar. Ein mechanisch funktionsloser, haptischer Dummy gibt hierbei ein passives hap- tisches Feedback. Solche ein mechanisch funktionsloser Dummy lässt sich auf besonders einfache Art und Weise herstellen. In diesem Zusammenhang hat sich eine Herstellung des haptischen Dummys aus formbaren Kunststof- fen, insbesondere einer thermisch aushärtendem Polymer-Modelliermasse oder einem Polymer-Lehm, nach Art einer Attrappe eines Fahrzeug- Bediengeräts als vorteilhaft erwiesen.

Gemäß einem Ausführungsbeispiel der Erfindung ist eine Betätigung des realen Bediengeräts erfassbar. Die Erfassung der Betätigung eines realen Bediengeräts, insbesondere eines realen Bedienelements, kann die Reali- tätsgetreue der Simulation und insbesondere eines Trainings weiter ver- bessern. Abhängig von der erfassten Betätigung des realen Bediengeräts, kann der weitere Verlauf des Trainings bestimmt werden, insbesondere hin- sichtlich Auswirkungen der erfassten Betätigung auf eine virtuelle Umge- bung. Die richtige und genaue Bedienung eines komplex bedienbaren Be- diengeräts, welches beispielsweise einen Drehregler mit mehreren Regel- stufen oder einem stufen losen Regelbereich umfasst, kann realitätsge- treuer simuliert werden.

Ferner kann es vorteilhaft sein, wenn zur Erfassung der Betätigung des rea- len Bediengeräts eine Veränderung erfassbar ist. Die Veränderung des rea- len Bediengeräts kann durch eine Überwachung der Betätigungsstellung des realen Bediengeräts erfasst werden. Beispielsweise kann ein Sensor in dem realen Bediengerät eine Änderung der Betätigungsstellung eines Bedien- elements erfassen, wie das Drehen eines Lenkrads, das Umlegen eines Schalters oder das Drücken einer Taste. Die Erfassung kann durch außerhalb des Bediengeräts liegende Mittel erfolgen, wie beispielsweise über das 3D- Sensorsystem.

In diesem Zusammenhang hat es sich als vorteilhaft erwiesen, wenn durch die Betätigung des realen Bediengeräts mindestens ein elektrisches Signal erzeugbar ist. Ein elektrisches Signal kann auf einfache Weise durch Betä- tigung des realen Bediengeräts von diesem erzeugt werden. Auf besonders einfache Weise kann das elektrische Signal durch Schließen eines elektri- schen Schaltkreises, beispielsweise durch Betätigung eines elektrisch funk- tionstüchtigen realen Bedienelements, erzeugt werden. Das elektrische Signal kann Informationen über die eingenommene Betätigungsstellung ent- halten, insbesondere von Betätigungselementen mit mehr als zwei Betäti- gungsstellungen. Von einem realen Bediengerät mit mehreren Bedien- elementen können zugleich mehrere elektrische Signale erzeugt werden.

Das Bediengerät kann vorteilhafterweise berührungssensitive Elemente, wie Touch-Displays oder Folientaster, aufweisen. Durch berührungssensitive Elemente kann, ohne ein mechanisch funktionstüchtiges reales Bedienele- ment zu verwenden, eine Betätigung des realen Bediengeräts erkannt wer- den. Insbesondere kann eine betätigende Berührung auf dem berührungs- sensitiven Element ortsaufgelöst erkannt werden. Auf diese Weise lassen sich Fahrzeug-Bediengeräte mit berührungssensitiven Betätigungselemente, wie Touch-Displays, kostensparend nachbilden. In vorteilhafter Weise wird das elektrische Signal kabelgebunden und/oder kabellos an einen Server übertragen. Der Server kann mit mehreren Be- diengeräten verbunden sein. Mit dem Server können weitere Bediengeräte auf einfache Weise zur Erweiterung eines Simulationssystems verbunden werden. Der Server kann das elektrische Signal des Bediengeräts selbst ver- arbeiten und/oder an einen Simulationsrechner übermitteln. Abhängig von den elektrischen Signalen kann der Server direkt oder über den Simulations- rechner eine virtuelle Umgebung verändern. Zur kabellosen Übertragung weist das Betätigungsgerät vorzugsweise eine eigene Energieversorgung auf, insbesondere eine kapazitive Energieversorgung. In einer konstruktiv vorteilhaften Ausgestaltung der Erfindung ist das reale Bediengerät, insbesondere vollständig aus leicht zu bearbeitenden Materia- lien, insbesondere Styropor, Holz oder Kunststoff, gefertigt. Leicht zu be- arbeitende Materialien können eine schnelle Anpassung an unterschiedliche Fahrzeuginnere verschiedener Fahrzeugtypen ermöglichen. Reale Bedien- geräte aus leichter zu bearbeitenden Materialien können auf besonders ein- fache Art und Weise angepasst werden. Durch die Verwendung von leicht zu bearbeitenden Materialien kann eine schnelle und keine Spezialmaschine erfordernde Fertigung der Bediengeräte, beispielsweise durch manuelles Bearbeiten oder CNC-Fräsen, erzielt werden. Die realen Bediengeräte kön- nen vollständig, d. h. gänzlich aus den leicht zu bearbeitenden Materialien hergestellt sein. Alternativ können die realen Bedienelemente eine aus den leicht zu bearbeitenden Materialien hergestellte Grundkonstruktion, insbe- sondere eine Basisplatte, aufweisen, auf welche reale Bedienelemente be- festigt werden können. Zusammen mit einem oder mehreren auf ihr positi- onierten Bediengeräten kann die Trägerplatte ein Bedienpanel oder ein Armaturenbrett des realen Fahrzeugs zur Simulation nachbilden. Durch die Fertigung aus leicht zu bearbeitenden Materialien kann die Befestigung der realen Bedienelemente besonders einfach und schnell erfolgen. Das reale Bediengerät kann mehrere Materialien kombinieren. Auf diese Weise kön- nen unterschiedliche Oberflächenstrukturen zu einer Erzielung einer reali- tätsgetreuen Haptik des realen Bediengeräts, welche die Haptik des realen Fahrzeug-Bediengeräts besser wiedergibt, beispielsweise durch eine Kombi- nation flexibler und harter Materialien, erzielt werden. Auf konstruktive einfache Art und Weise kann das Bediengerät eine Basis- platte aufweisen, auf welche reale Bedienelemente in einer dem virtuellen Bediengerät entsprechenden Anordnung angeordnet sind. Auf diese Weise kann kostengünstig und fertigungstechnisch einfach ein reales Bediengerät hergestellt werden. Die Anordnung einzelner Bedienelemente auf der Ba- sisplatte kann beispielsweise über Magnete, Nadeln, Schrauben oder Kle- bemittel auf der Basisplatte erfolgen. Bevorzugt kann es sich bei der Basis- platte um eine hölzerne oder metallische Platte handeln. Auf einer hölzer- nen Platte können die Bedienelemente auf einfache Art und Weise, bei- spielsweise durch ein Verschrauben, zur Anordnung befestigt werden. Auf einer metallischen Basisplatte kann die Befestigung der Bedienelemente, beispielsweise magnetisch, erfolgen. Die Bedienelemente können insbeson- dere frei auf der Basisplatte angeordnet werden. Alternativ kann die An- ordnung über Anbindungselemente erfolgen, insbesondere Rast-, Schraub- und/oder Steckelemente, welche mit Anbindungsstellen, insbesondere nach Art von Nuten, Rast-, Schraub- und/oder Steckstellen, der Basisplatte zu- sammenwirken. Die Basisplatte kann hierzu insbesondere nach Art einer Rasterplatte mit in einem regelmäßigen Muster angeordneten Anbindungs- stellen ausgebildet sein.

Die Basisplatte kann zusammen mit einem oder mehreren an ihr befestigten Bedienelementen beispielsweise ein Bedienpanel oder ein Armaturenbrett des realen Fahrzeugs als reales Bediengerät im Simulationsraum nachbil- den.

In besonders vorteilhafter Art und Weise ist das reale Bediengerät als 3D- Druck-Stück ausgebildet. Ein 3D-Druck-Stück lässt sich auf besonders ein- fache und schnelle Art und Weise mittels eines 3D-Druckverfahrens ferti- gen. 3D-Druck-Stücke ermöglichen eine sehr flexible Anpassung eines Simu- lationssystems an ein zu simulierendes reales Fahrzeuginnere. Insbesondere lassen sich mittels 3D-Druck-Stücken anforderungsabhängig reale Bedienge- räte für die Simulation fertigen. Auf eine umfangreiche Vorratshaltung ei- ner Vielzahl realer Bediengeräten für unterschiedliche Simulationen kann verzichtet werden. Das 3D-Druck-Stück kann Bereiche mit unterschied- lichen haptischen Eindrücken aufweisen, beispielsweise bereichsweise oder gänzlich glatt, rau, weich, hart oder flexibel sein. Ein als 3D-Druck-Stück gefertigtes reales Bediengerät kann mit funktionstüchtigen beweglichen Teilen gefertigt werden. Auf ein Zusammenbauen nach dem 3D-Druck kann auf einfache Art und Weise verzichtet werden. Beispielsweise kann das rea- le Bediengerät während des 3D-Drucks bereits mit miteinander mechanisch zusammenwirkenden Komponenten, wie beispielsweise ein Getriebe mit Zahnrädern oder in Aufnahmen bewegliche Schalter, Hebel oder Knöpfe, hergestellt werden.

Bei dem Bediengerät kann es sich vorteilhafterweise um eine Lenkrad- Konstruktion handeln. Bei einer Lenkrad-Konstruktion kann sowohl das ei- gentliche Lenkrad als auch eine Lenkrad-Säule aufweisen. In vorteilhafter Weise kann die Lenkrad-Konstruktion einen austauschbaren Lenkrad-Aufsatz aufweisen. Mit einem austauschbaren Lenkrad-Aufsatz kann die Lenkrad- Konstruktion an den jeweils zu simulierenden Fahrzeugtyp auf einfache Art und Weise durch Austausch des Lenkrad-Aufsatzes angepasst werden. In besonders vorteilhafter Weise kann der Lenkrad-Aufsatz durch ein 3D- Druckverfahren hergestellt werden. Ein 3D-gedruckter Lenkrad-Aufsatz kann eine schnelle Anpassung der Lenkrad-Konstruktion ermöglichen.

Bei einem Simulationssystem der eingangs genannten Art wird zur L ö - s u n g der vorstehenden Aufgabe vorgeschlagen, dass dies ein reales Be- diengerät zur Simulation des Fahrzeug-Bediengeräts und ein 3D- Sensorsystem zur Erfassung des realen Bediengeräts umfasst.

Das 3D-Sensorsystem ermöglicht eine einfache und schnelle Erfassung des realen Bediengeräts. Die Position des realen Bediengeräts im Simulations- raum kann über das 3D-Sensorsystem genau bestimmt werden. Das reale Bediengerät kann über das 3D-Sensorsystem genauer positioniert werden, als dies bei einem einfachen Abmessen eines Punktes im Simulationsraum möglich ist.

Mit dem 3D-Sensorsystem kann eine unmittelbare Erfassung und Positions- bestimmung eines keine Positionsmarkierung aufweisenden realen Bedien- geräts erfolgen. Gleichwohl kann auch eine Positionsmarkierung des realen Bediengeräts zur Erfassung und Positionsbestimmung mit dem 3D-Sensor- system Zusammenwirken. Hierzu wird vorzugsweise die Position der Positi- onsmarkierung von dem 3D-Sensorsystem im Simulationsraum erfasst. Über diese erfasste Position der Positionsmarkierung und deren bekannte Rela- tivposition und/oder Relativlage relativ zum gesamten realen Bediengerät wird die Position des realen Bediengeräts im Simulationsraum bestimmt.

Das 3D-Sensorsystem kann sich auch zur Erkennung von Händen während der Durchführung der Simulation eignen und hierzu eingesetzt werden.

Die in Zusammenhang mit dem erfindungsgemäßen realen Bediengerät be- schriebenen Merkmale können einzeln oder in Kombination auch bei dem Simulationssystem zur Anwendung kommen. Es ergeben sich die gleichen Vorteile, welche bereits beschrieben wurden.

In einer vorteilhaften Ausgestaltung weist das 3D-Sensorsystem eine Tie- fenkamera und/oder einer Farbkamera auf. Das 3D-Sensorsystem kann ins- besondere als 3D-Kamerasystem ausgebildet sein. Mit einer Tiefenkamera kann die Position und/oder die Lage des realen Bediengeräts auf einfache Weise auch in der Tiefe erfasst werden. Vorzugsweise liegt die Auflösung der Tiefenkamera unterhalb eines Millimeters. Die Tiefenkamera kann eine Stereo- optische Kamera mit zwei zueinander versetzten Teilkameras sein. Bei einer stereo-optischen Kamera ergibt sich die Tiefeninformation über die Position und die Lage des realen Bediengeräts aus dem Unterschied der von den beiden Teilkameras aufgenommenen Bilder analog zum menschli- chen Sehapparats. Alternativ kann die Tiefenkamera eine time-of-flight Kamera sein. Bei einer time-of-flight Kamera ergibt sich die Tiefeninforma- tion über die Position und die Lage des realen Bediengeräts über das Lauf- zeitverfahren, bei welchem die Zeit zwischen dem Aussenden eines Licht- pulses und dem Auftreffen des von dem realen Bediengerät reflektierten Pulses auf einen Lichtsensor der Kamera gemessen wird. Die time-of-flight- Kamera kann hierzu ein Sende-Modul zur Aussendung eines Lichtpulses und ein Empfangs-Modul zum Empfang des reflektierten Lichtpulses aufweisen. Weiter alternativ kann die Tiefenkamera eine Muster-Kamera sein, welche gemäß dem Projektionsverfahren arbeitet. Die Muster- Kamera kann hierzu ein Sende-Modul, welches nach Art eines Musterprojektors zeitlich versetzt unterschiedliche geometrische Muster in den Simulationsraum projiziert, und ein Empfangs-Modul, insbesondere eine Teilkamera, aufweisen. Das Empfangs-Modul kann die in den Simulationsraum projizierten geometri- sehen Muster aufnehmen. Diese können jedoch durch die sich im Simula- tionsraum befindlichen Objekte, wie das reale Bediengerät, sowie den Si- mulationsraum selbst verzerrt werden. Aus diesen aufgenommenen und für jedes Muster unterschiedlichen Verzerrungen können Tiefeninformationen gewonnen werden. Mit der Farbkamera kann ein farbiges Bild des realen Bediengeräts aufgenommen werden. Insbesondere kann das reale Bedien- gerät anhand seiner Farbe und/oder dem Kontrast zum Hintergrund in dem farbigen Bild erkannt und erfasst werden. Eine Kombination von Tiefenka- mera und Farbkamera erlaubt eine Farbwertzuordnung zu jedem mit einer Tiefeninformation versehenen Bildpunkt des Bildes der Tiefenkamera.

In Weiterbildung der Erfindung weist das Simulationssystem mehrere reale Bediengeräte nach Art eines Baukastens zur Nachbildung des Fahrzeug- inneren verschiedener Fahrzeugtypen auf. Das Simulationssystem kann durch eine Ausgestaltung nach Art eines Baukastens hochmodular ausge- bildet sein. Abhängig von der geplanten Simulation kann das Simulations- system durch Auswahl und Positionierung der Bediengeräte eine Simulation für unterschiedliche Fahrzeugtypen und/oder unterschiedliche Besatzungs- positionen innerhalb eines realen Fahrzeugs ermöglichen. Die Bediengeräte können in dem Simulationsraum entsprechend der geplanten Simulation positioniert und ausgerichtet werden. Hierbei kann es vorgesehen sein, dass nicht sämtliche realen Bediengeräte des Simulationssystems zur Nachbil- dung des Fahrzeuginneren eines jeden Fahrzeugtyps verwendet werden. Durch die mehreren realen Bediengeräte nach Art eines Baukastens kann eine schnelle und flexible Anpassung an unterschiedliche Simulationssitua- tionen ermöglicht werden.

Bei einem Verfahren der eingangs genannten Art wird zur L ö s u n g der vorstehend genannten Aufgabe vorgeschlagen, dass die Position des realen Bediengeräts von dem 3D-Sensorsystem erfasst wird und die erfasste Posi- tion des realen Bediengeräts einem Einrichter mittels einer Anzeigevorrich- tung in einer virtuellen Umgebung dargestellt wird.

Der Einrichter hat die Aufgabe, das reale Bediengerät des Simulationssys- tems im Simulationsraum zu positionieren und so das Simulationssystem einzurichten. Bei dem Einrichten kann es sich um ein reines Nachbildungs- Einrichten, bei welchem der Einrichter das reale Bediengerät zur Nachbil- dung eines vorgegebenen Fahrzeuginneren im Simulationsraum positioniert, oder ein Design-Einrichten handeln, bei welchem der Einrichter als Designer das simulierte Fahrzeuginnere im Rahmen eines zum Einrichten gehörigen Designprozesses um- oder neugestaltet und hierzu das Bediengerät im Simu- lationsraum positioniert. Die Position des realen Bediengeräts wird zur de- ren Positionierung im Simulationsraum, wie bereits vorangehend beschrie- ben, von dem 3D-Sensorsystem erfasst, insbesondere über die von dem 3D- Sensorsystem erfasste Position der Positionsmarkierung. Hierbei trägt der Einrichter eine insbesondere kopffeste, im Sichtfeld des Einrichters ange- ordnete Anzeigevorrichtung, wie beispielsweise eine kommerziell erhält- liche VR-Brille. Auf dieser Anzeigevorrichtung wird dem Einrichter eine vir- tuelle Umgebung angezeigt, in welcher die erfasste Position des realen Be- diengeräts dargestellt wird und welche die Positionierung des Bediengeräts im Simulationsraum erleichtert. Die virtuelle Umgebung ist vorzugsweise deckungsgleich mit dem realen Simulationsraum. In vorteilhafter weise wurden ein Koordinatensystem des 3D-Sensorsystems und ein Koordinatensystem eines die Anzeigevorrichtung umfassenden VR-Anzeigesystems des Simulationssystems auf ein gemeinsa- mes Koordinatenreferenzsystem und/oder aufeinander kalibriert. Ein Raumpunkt im Simulationsraum wird nach der Kalibration durch das 3D- Sensorsystem und das VR-Anzeigesystem als an der gleichen Position lie- gend erkannt. Dem Raumpunkt werden vom 3D-Sensorsystem und vom VR- Anzeigesystem die gleichen Koordinaten zugewiesen. In der virtuellen Um- gebung kann der Raumpunkt an jener Position relativ zur Anzeigevorrich- tung dargestellt werden, welche seiner Position im realen Simulationsraum relativ zur Anzeigevorrichtung entspricht.

Die virtuelle Umgebung kann zur Durchführung eines Teils der Simulation, insbesondere der visuellen Wiedergabe während der Simulation, genutzt werden. Hierzu kann die virtuelle Umgebung virtuelle Gegenstände um- fassen, welche sich im Simulationsraum nicht wiederfinden lassen, aber während des Einrichtens und/oder der Simulation dennoch für den Einrich- ter über die Anzeigevorrichtung in der virtuellen Umgebung wahrnehmbar sind. Diese virtuelle Umgebung kann die Wahrnehmungen des Simulations- raums während der Simulation ergänzen und die realitätsgetreu der Simu- lation weiter steigern. Das reale Bediengerät kann während der Simulation ein haptisches Feedback bei der Bedienung eines in der virtuellen Umge- bung angezeigten virtuellen Bediengeräts geben. Neben der Position des realen Bediengeräts kann dem Einrichter in der vir- tuellen Umgebung zusätzlich auch die Lage des realen Bediengeräts im Si- mulationsraum dargestellt werden. Die in Zusammenhang mit dem erfindungsgemäßen realen Bediengerät und dem erfindungsgemäßen Simulationssystem beschriebenen Merkmale kön- nen einzeln oder in Kombination auch bei dem Verfahren zur Anwendung kommen. Es ergeben sich die gleichen Vorteile, welche bereits beschrieben wurden.

In einer vorteilhaften Ausgestaltung der Erfindung wird die Position und die Lage des realen Bediengeräts in einem Aktionsbereich, bei welchem es sich um den Bereich des Simulationsraums handelt, in welchem sich während der Simulation bei einem eingerichteten Simulationssystem Hände zur Be- tätigung des realen Bediengeräts bewegen können, mit einem 3D-Sensor- system erfasst. Die Abtastrate des 3D-Sensorsystems kann mit der Bildwie- derholrate der Anzeigevorrichtung übereinstimmen, insbesondere kann die- se 90 fps betragen. Das Simulationssystem und insbesondere das 3D-Sensor- system weist vorzugsweise eine niedrige Latenz auf, bevorzugt unterhalb von 200 ms, weiter bevorzugt unterhalb von 100 ms und insbesondere be- vorzugt von unter 10 ms. In diesem Zusammenhang hat sich eine Latenz im Bereich vom 5 ms bis 10 ms als vorteilhaft erwiesen. Die Latenz beschreibt die Verzögerung zwischen einer Änderung im Simulationsraum und deren Erfassung und visuellen Darstellung in der virtuellen Umgebung. Das Simu- lationssystem und insbesondere das 3D-Sensorsystem sollte möglichst ver- zögerungsfrei, d. h. latenzarm, sein, um eine intuitive Positionierung zu ermöglichen. Bei einer hohen Latenz würde die Darstellung in der virtuellen Umgebung hinter den realen Gegebenheiten im Simulationsraum erheblich Zurückbleiben. Dies könnte nur durch sehr langsame und realitätsferne Be- wegungsabläufe bei der Positionierung des realen Bediengeräts und/oder einem aktiven Abgleichen der tatsächlichen, über die virtuelle Darstellung des realen Bediengeräts dargestellten Handbewegung durch den Einrichter kompensiert werden könnte. Zur Erfassung der Position und der Lage des realen Bediengeräts kann das 3D-Sensorsystem auf den Aktionsbereich ge- richtet sein, d. h. der Aktionsbereich befindet sich im Zentrum des Auf- nahmebereichs des 3D-Sensorsystems. Durch die Ausrichtung auf den Ak- tionsbereich kann das reale Bediengerät zuverlässig bei der Positionierung innerhalb der Simulationsraums erfasst werden. Als besonders vorteilhaft hat sich ein Über-Schulter-Blick des 3D-Sensorsystems auf den Aktionsbe- reich erwiesen. Bei einem Über-Schulter-Blick ist das 3D-Sensorsystem hin- ter dem Aktionsbereich, insbesondere nach links oder rechts versetzt, und oberhalb Aktionsbereich im Simulationsraum angeordnet. In bevorzugter Weise blickt das 3D-Sensorsystem schräg nach unten auf den Aktionsbe- reich. Ein Verdeckungsproblem, bei welchem das reale Bediengerät wäh- rend des Einrichtens, beispielsweise durch die Arme oder Hände des Ein- richters, für das 3D-Sensorsystem verdeckt werden, kann durch den schräg nach unten verlaufenden Über-Schulter-Blick des 3D-Sensorsystems weit- gehend vermieden werden.

Mit dem 3D-Sensorsystem können auf einfache Weise auch Handgesten er- fasst und über eine Gestenerkennung zur Erfassung der Betätigung des rea- len Bediengeräts erkannt werden. Bei den Handgesten kann es sich vorteil- hafterweise um die gleichen Handgesten handeln, wie sie bei einer Betäti- gung des Fahrzeug-Bediengeräts im realen Fahrzeug durchgeführt werden. Das 3D-Sensorsystems kann alternativ oder zusätzlich als außerhalb des Be- diengeräts liegendes Mittel zur Erfassung der Veränderung des realen Bedi- engeräts genutzt werden.

Bevorzugt wird an der erfassten Position des realen Bediengeräts in der vir- tuellen Umgebung ein virtuelles Bediengerät dargestellt. Die Darstellung des virtuellen Bediengeräts kann als virtuelles Modell des Bediengeräts, als virtuelles Modell des Fahrzeug-Bediengeräts oder als eine Punktwolke mit mehreren, die Position und die Umrisse des realen Bediengeräts darstellen- den Punkten ausgebildet sein. Die Lage des virtuellen Bediengeräts ent- spricht vorzugsweise der Lage der realen Bediengeräts im Simulationsraum. In vorteilhafter Weise wird die in der virtuellen Umgebung dargestellte Po- sition des realen Bediengeräts mit einer in der virtuellen Umgebung ange- zeigten Vorgabeposition in Deckung gebracht. Hierzu kann das reale Be- diengerät an eine Position im Simulationsraum gebracht werden, welche der virtuellen Vorgabeposition entspricht, so dass die Darstellung der er- fassten Position des realen Bediengeräts in der virtuellen Umgebung mit der Vorgabeposition übereinstimmt. Ferner kann das reale Bediengerät auch in eine entsprechende Vorgabelage gebracht werden.

In diesem Zusammenhang hat es sich als vorteilhaft erwiesen, wenn das virtuelle Bediengerät mit einer virtuellen Darstellung des Fahrzeug-Bedien- geräts in der virtuellen Umgebung übereinstimmend positioniert wird. Die virtuelle Darstellung des Fahrzeug-Bediengeräts kann ein virtuelles Modell des Fahrzeug-Bediengeräts sein. Eine der Position des Fahrzeug-Bedien- geräts im Fahrzeuginneren entsprechende Vorgabeposition kann auf einfa- che Weise vorgegeben werden. Mit der virtuellen Darstellung des Fahrzeug- Bediengeräts kann auf einfache Weise zugleich eine Vorgabelage vorgege- ben werden. Die Einrichtung des Simulationsraums kann auf diese Weise erleichtert werden, indem eine schnellere, positionsrichtige Nachbildung eines vorgebbaren Fahrzeuginneren ermöglicht wird.

Eine weitere Ausgestaltung sieht vor, dass aus der Position des realen Be- diengeräts eine zur Simulation verwendete Position einer virtuellen Darstel- lung des Fahrzeug-Bediengeräts ermittelt wird. In der virtuellen Umgebung kann während des Einrichtens an der Position des realen Bediengeräts eine virtuelle Darstellung des Fahrzeug-Bediengeräts erfolgen. Die virtuelle Um- gebung kann auf diese Weise an den Simulationsraum und insbesondere an die Position des realen Bediengeräts angepasst werden. Der Inhalt der vir- tuellen Umgebung wird aus der Position des realen Bediengeräts im Simu- lationsraum abgeleitet. Die Erprobung neuer Bediengeräte-Anordnungen und/oder Bedienelemente-Anordnungen im Fahrzeuginnen wird erleichtert. Ein Designen eines ergonomischen und/oder gut zugänglichen Fahrzeugin- neren kann ermöglicht werden, insbesondere eine Optimierung der Position und Lage des Fahrzeug-Bediengeräts. Das reale Bediengerät oder mehrere reale Bediengeräte können während des Designprozesses derart im Simula- tionsraum angeordnet werden, dass es bzw. sie beispielsweise ohne Ver- renkung oder Anstoßen zugänglich sind. Diese Anordnung des reale Bedien- geräts kann auf die virtuelle Umgebung übertragen werden und für ein Training oder für die Fertigung eines neu konzeptionierten oder weiter- entwickelten Fahrzeuginnenraums weiter genutzt werden. Ferner ist es vorteilhaft, wenn die virtuellen Darstellungen mehrere reale Bediengeräte, insbesondere Bediengeräte mit je nur einem Bedienelement, zu einer virtuellen Darstellung eines neuen Fahrzeug-Bediengeräts zusam- mengefasst werden. In der virtuellen Umgebung kann das neue Fahrzeug- Bediengerät zusammen mit dem haptischen Feedback durch die realen Be- diengeräte beim Einrichten erprobt werden. Aus den erkannten Positionen der realen Bediengeräte kann ein CAD-Modell zur Fertigung des neuen Fahr- zeug-Bediengeräts erstellt werden.

In diesem Zusammenhang hat es sich als vorteilhaft erwiesen, wenn die zur Simulation verwendete virtuelle Darstellung des Fahrzeug-Bediengeräts aus einer Modelldatenbank ausgewählt wird. Eine Modelldatenbank kann virtu- elle Darstellungen unterschiedlicher Fahrzeug-Bediengerätetypen umfas- sen, insbesondere deren CAD-Modelle. Die zur Simulation verwendete vir- tuelle Darstellung des Fahrzeug-Bediengeräts kann als virtuelles Bedienge- rät zur Darstellung der erfassten Position des realen Bediengeräts in der virtuellen Umgebung verwendet werden. Durch die Auswahlmöglichkeit der virtuellen Darstellung des Fahrzeug-Bediengeräts aus der Modelldatenbank kann das reale Bediengerät materialsparend zur Simulation verschiedener Fahrzeug-Bediengeräte eingesetzt werden. Die Auswahl erfolgt insbesonde- re aus einer Mehrzahl von Fahrzeug-Bediengerätetypen, deren Bedienele- mente in gleicher Weise angeordnet sind, wie die Bedienelemente des Be- diengeräts. Es kann eine breite Anwendungsvielfalt mit wenigen, unter- schiedlichen realen Bediengeräten ermöglicht werden. Alternativ kann je- dem realen Bediengerät ein Fahrzeug-Bediengerätetyp fest zugewiesen werden.

Es hat sich darüber hinaus als vorteilhaft erwiesen, wenn eine zur Simula- tion genutzte virtuelle Umgebung aus virtuellen Darstellungen, insbesonde- re hinterlegten virtuellen Modellen, aus mehreren Fahrzeug-Bediengeräten zusammengesetzt wird. Das Fahrzeuginnere kann mit den virtuellen Dar- Stellungen realitätsgetreu nachgebildet werden. Die virtuelle Umgebung kann dynamisch anpassbar sein, insbesondere können für die virtuelle Dar- stellung einzelner virtueller Modelle durch virtuelle Modelle eines Fahr-zeug-Bediengerätetyps auf einfache Weise ersetzt werden. Insbesondere bei der Erfassung mehrere realer Bediengeräte im Simulationsraum kann die virtuelle Umgebung an die Positionen der realen Bediengeräte ange- passt werden. Die virtuellen Modelle können in der Modelldatenbank hinter- legt sein.

Gemäß einer Ausgestaltung der Erfindung wird vorgeschlagen, dass das 3D- Sensorsystem das reale Bediengerät mit einer Tiefenkamera und/oder einer Farbkamera erfasst. Mit einer Tiefenkamera kann die Position und/oder die Lage des realen Bediengeräts auf einfache Weise auch in der Tiefe erfasst werden. Mit der Farbkamera kann ein farbiges Bild des realen Bediengeräts aufgenommen werden. Insbesondere kann das reale Bediengerät anhand seiner Farbe und/oder dem Kontrast zum Hintergrund in dem farbigen Bild erkannt und erfasst werden. Eine kombinierte Erfassung mit einer Tiefen- kamera und einer Farbkamera erlaubt eine Farbwertzuordnung zu jedem mit einer Tiefeninformation versehenen Bildpunkt des Bildes der Tiefen- kamera. Weiter vorteilhaft ist es, wenn mehrere, insbesondere drei, aufeinander kalibrierte 3D-Sensorsysteme verwendet werden. Zur besseren Vermeidung einer Verdeckung des realen Bediengeräts hat sich die Verwendung von zwei oder mehreren 3D-Sensorsystemen, insbesondere drei, vier oder fünf 3D-Sensorsystemen als vorteilhaft erwiesen. Die 3D-Sensorsysteme können miteinander in Verbindung stehen, insbesondere über eine Funkverbindung oder eine Kabelverbindung, wie ein Sync-Kabel. Die 3D-Sensorsysteme kön- nen aufeinander synchronisiert sein, so dass sie zeitgleich oder zeitlich ver- setzt zur Messung ausgelöst werden können, insbesondere über die Verbin- dung zwischen ihnen. Damit ein Punkt im Simulationsraum von allen 3D- Sensorsystemen als an der gleichen Position befindlich erkannt wird und es zu keiner zwischen den 3D-Sensorsystemen abweichenden Erfassung der Position und Lage des realen Bediengeräts kommt, sind die 3D-Sensor- systeme aufeinander kalibriert. Bei der Kalibration werden die Koordina- tensysteme der einzelnen 3D-Sensorsysteme auf ein gemeinsames Koordina- tenreferenzsystem kalibriert. Die Kalibrierung erfolgt insbesondere so, dass die kalibrierten 3D-Sensorsysteme einen gemeinsamen Koordinatenursprung aufweisen.

Die 3D-Sensorsysteme können von unterschiedlichen Positionen im Simu- lationsraum auf den Aktionsbereich gerichtet sein. Neben einem Über- Schulter-Blick können einzelne 3D-Sensorsystem von der Seite, von unten, direkt von obenauf oder aus anderen schrägen Blickwinkeln, wie von schräg unten, auf den Aktionsbereich blicken. Durch die unterschiedlichen Blick- winkel der 3D-Sensorsysteme kann ein Verdecken des realen Bediengeräts noch zuverlässiger vermieden werden, da das reale Bediengerät gleichzeitig von mehreren 3D-Sensorsystemen aus unterschiedlichen Blickwinkeln er- fasst werden kann.

Ferner ist es vorteilhaft, wenn die Position einzelner Punkte im Simula- tionsraum relativ zum 3D-Sensorsystem gemessen wird. Die Tiefeninforma- tionen des gesamten Simulationsraums können auf einfache Art und Weise erfasst werden. Zur Messung der Position eines Punktes kann insbesondere dessen Abstand und dessen Raumwinkel relativ zum 3D-Sensorsystem be- stimmt werden. Die Messung der Position einzelner Punkte kann vorteil- hafterweise mittels des 3D-Sensorsystems nach Art einer time-of-flight Ka- mera erfolgen. Bei den zu messenden Punkten kann es sich um markierte Punkte auf dem realen Bedienelement handeln, welche beispielsweise mit Markern oder farblich gekennzeichnet werden. Alternativ können die Punk- te auch durch ein regelmäßiges oder unregelmäßiges Abtast-Muster des 3D- Sensorsystems vorgegeben werden. Insbesondere kann das regelmäßige Ab- tast-Muster der Anordnung der Bildpunkte des 3D-Sensorsystems entspre- chen. Auf diese Weise kann die Position jeden Bildpunkts der Tiefenkamera im Simulationsraum bestimmt werden. Die Vorgabe der Punkte durch ein regelmäßiges oder unregelmäßiges Abtast-Muster des 3D-Sensorsystems kann den Vorteil bieten, dass auch andere Objekte erfasst werden können. Diese anderen Objekte können neben dem realen Bediengerät in der virtu- ellen Umgebung dargestellt werden. Bei diesen anderen Objekten kann es sich beispielsweise um ein Hindernis-Element handeln, welches die räum- lichen Gegebenheiten im realen Fahrzeuginneren simuliert. Auf diese Weise kann die Realitätsgetreue der Simulation gesteigert werden.

In einer vorteilhaften Weiterbildung wird die Position des realen Bedien - geräts, insbesondere einer Vielzahl einzelner Punkte auf dem realen Be- diengerät, zum 3D-Sensorsystem gemessen. Die Messung der Position bietet eine höhere Präzision und Genauigkeit, als dies bei einem rein auf die In- terpretation von Bildinformationen basierenden Verfahren möglich ist. Durch die Messung der Vielzahl einzelner Punkte auf dem realen Bedienge- rät lassen sich die Position und die Lage einzelner Bedienelemente genau erfassen. Die Betätigung des realen Bediengeräts lässt sich so über eine Veränderung, insbesondere der Stellung eines der Bedienelement des rea- len Bediengeräts, erfassen und in der virtuellen Umgebung entsprechend darstellen.

Vorzugsweise werden die gemessenen, insbesondere die mit dem realen Bediengerät korrespondierenden, Positionen zu Punktwolkendaten zusam- mengefasst und als Punktwolke in der virtuellen Umgebung dargestellt. Die Punktwolkendaten enthalten die Positionsinformationen der gemessenen Punkte. Zusammen mit den von der Farbkamera aufgenommenen Farbin- formationen können die einzelnen Punkte der Punktwolkendaten in einem Färb- und Positionsinformationen enthaltenen Format gespeichert werden. Bei der Verwendung eines einzigen 3D-Sensorsystems kann dieses Format beispielsweise den Abstand zu diesem 3D-Sensorsystem sowie die Farbwerte für Rot, Grün und Blau oder die Farbwerte für Gelb, Magenta, Cyan ent- halten. Alternativ kann das Format die Koordinaten des jeweiligen Punktes, bezogen auf ein Koordinatenreferenzsystem, insbesondere bei der Verwen- düng mehrerer 3D-Sensorsysteme, sowie die Farbwerte für Rot, Grün und Blau oder die Farbwerte für Gelb, Magenta, Cyan enthalten. Die Punkt- wolkendaten können auf einfache Weise an ein die virtuelle Umgebung er- zeugendes Rendersystem, insbesondere des Servers oder des Simulations- rechners, zur Darstellung weitergegeben werden. Durch die Darstellung der Punktwolkendaten als Punktwolke kann eine fehlertolerantere Darstellung der realen Umgebung und insbesondere der Hände in der virtuellen Umge- bung erzielt werden, als dies bei einer Darstellung mit einem recheninten- siveren, die Punktwolkendaten umfassenden und geschlossenen Polygon - Mesh möglich wäre. Auf eine fehleranfällige Umrechnung der Punktwolken- daten in ein Polygon-Mesh oder in eine Umformung eines hinterlegten ge- schlossenen Polygon-Meshs kann verzichtet werden. Weiterhin hat es sich als vorteilhaft erwiesen, wenn eine Hintergrundtie- fenaufnahme des Simulationsraums erstellt wird. In der Hintergrundtiefen- aufnahme kann der Simulationsraum leer sein, insbesondere hält sich wäh- rend der Aufnahme weder der Einrichter oder eine andere Person im Simu- lationsraum auf noch befindet sich das oder die Bediengeräte im Simula- tionsraum. Diese einmalig erstellte Hintergrundtiefenaufnahme kann zur Subtraktion des Hintergrundes nach Art eines „Background subtraction“- Verfahrens genutzt werden. Auf diese Weise werden Raumpunkte erkannt, die vor dieser Hintergrundtiefenaufnahme liegen. Hierdurch wird der Ein- richter, seine Hände und alles, was sich seit der Aufnahme der Hintergrund- tiefenaufnahme verändert hat, auf einfache Weise erkannt. Was vor der Hintergrundtiefenaufnahme liegt, wird innerhalb einer Toleranzschwelle bestimmt, welche ausreichend groß gewählt wird, um potentiell rauschen- de Sensordaten zuverlässig zu filtern. Da die Tiefeninformationen zusam- men mit den Farbinformationen die Punktwolkendaten bilden, kann eine Erkennung der sich im Simulationsraum verändernden Punkte erreicht wer- den, insbesondere der Punkte des Bediengeräts. Besonders vorteilhaft ist die sich ergebende Reduktion der Punktwolkendaten. Nur noch die sich ge- genüber der Hintergrundtiefenaufnahme veränderten Punkte werden pro- zessiert, übertragen und dargestellt.

Weitere Einzelheiten und Vorteile eines erfindungsgemäßen realen Bedien- geräts sowie eines Simulationssystems und des Verfahrens sollen nachfol- gend anhand der in den Figuren schematisch dargestellten Ausführungs- beispiele der Erfindung exemplarisch erläutert werden. Darin zeigt:

Fig. 1 eine schematische Darstellung eines Simulationsraums aus ei- ner Draufsicht und einer Seitenansicht sowie eine Draufsicht auf eine virtuelle Umgebung und einen Teil eines realen Fahr- zeugs, Fig. 2a ein Fahrzeugbediengerät,

Fig. 2b ein reales Bediengerät,

Fig. 3a, b zwei Ausführungsbeispiele eines realen Bediengeräts,

Fig. 4 eine Trägerplatte, Fig. 5a-d die Betätigung des realen Bediengeräts und die Anpassung ei- nes virtuellen Bediengeräts,

Fig. 6a, b ein erstes Ausführungsbeispiel des Einrichtungsverfahrens, Fig. 7a, b ein zweites Ausführungsbeispiel des Einrichtungsverfahrens,

Fig. 8a, b ein drittes Ausführungsbeispiel des Einrichtungsverfahrens,

Fig. 9a, b eine reales Bediengerät sowie eine Punktwolkendarstellung des realen Bediengeräts,

Fig. 10a, b zwei Ausführungsbeispiele eines 3D-Sensorsystems und

Fig. 11 eine Kalibrierung mehrerer 3D-Sensorsysteme aufeinander.

Fig. 1 zeigt einen Simulationsraum 200 mit einem darin befindlichen Ein- richter 100, welcher das Simulationssystem 1 in diesem einrichtet. Der Si- mulationsraum 200 befindet sich außerhalb des realen Fahrzeugs 1000 und kann insbesondere in einem Gebäude eines Trainingscenters oder einer De- signwerkstatt untergebracht sein. Der Einrichter 100 positioniert in dem Simulationsraum 200 bei der Einrichtung die zum Simulationssystem 1 gehö- rigen realen Bediengeräte 5, um so das Fahrzeuginnere 1100 und insbe- sondere ein Fahrzeug-Bediengerät 300 an einer Besatzungsposition im Fahr- zeuginneren 1100, wie Kommandant, Fahrer oder Richtschütze, zu simulie- ren. Bei dem Einrichten kann es sich um ein reines Nachbildungs-Einrichten, bei welchem der Einrichter 100 das reale Bediengerät 5 zur Nachbildung eines vorgegebenen Fahrzeuginneren im Simulationsraum 200 positioniert, oder ein Design-Einrichten handeln, bei welchem der Einrichter 100 als De- signer das simulierte Fahrzeuginnere im Rahmen eines zum Einrichten ge- hörigen Designprozesses um- oder neugestaltet und hierzu das reale Bedie- nelement 5 im Simulationsraum 200 positioniert.

Während des Einrichtens trägt der Einrichter 100 eine Anzeigevorrichtung 4, welche nach Art einer VR- Brille ausgebildet ist. Diese Anzeigevorrichtung 4 ist kopffest und im Sichtbereich des Einrichters 100 angeordnet, so dass dem Einrichter 100 über die Anzeigevorrichtung 4 eine rein virtuelle Umge- bung 2 dargestellt wird. Diese virtuelle Umgebung 2 kann ein einfacher, im Wesentlichen leerer Raum sein. Sie kann aber auch eine visuelle Simulation des Fahrzeuginneren 1100 eines realen Fahrzeugs 1000 sein. Diese virtuelle Umgebung kann beispielsweise bei einem Training mit dem Simulationssys- tem 1 einem Besatzungsmitglied des Fahrzeugs 1000 angezeigt werden. In diesem Fall enthält die virtuelle Umgebung 2 auch weitere Darstellungen von nicht real im Simulationsraum 200 vorhandenen Objekten und Gegen- ständen. In der gezeigten virtuellen Umgebung 2 kann sich der Einrichter 100 so beispielsweise in einem Panzerturm 2.1 wiederfinden. Gleichwohl kann die virtuelle Umgebung 2 auch nur für das Einrichten genutzt werden, während die Simulation, insbesondere zum Trainieren eines Besatzungsmit- glieds, ohne virtuelle Umgebung 2 und ohne Anzeigevorrichtung 4 durchge- führt werden kann. In der virtuellen Umgebung 2 können Objekte dargestellt sein, welche kein Pendant im Simulationsraum 200 haben, wie beispielsweise eine Waffe 2.2 des Panzerturms 2.1 . Andere Objekte in der virtuellen Umgebung 2 weisen hingen ein Pendant im Simulationsraum 200 auf, wie beispielsweise die vir- tuellen Bediengeräte 3, welche den realen Bediengeräten 5 zugeordnet sind. Zur Steigerung der Realitätsgetreue der Simulation geben die im Simu- lationsraum 200 angeordneten realen Bediengeräte 5 ein haptisches Feed- back bei der Bedienung des virtuellen Bediengeräts 3.

Die realen Bediengeräte 5 werden bei der Einrichtung des Simulationssys- tems 1 im Simulationsraum 200 derart angeordnet, dass ihre relative Posi- tion und Lage zur Anzeigevorrichtung 4 jener Position und Lage des virtuel- len Bediengeräts 3 zur Anzeigevorrichtung 4 in der virtuellen Umgebung 2 entsprechen. Das reale Bediengerät 5 soll sich beim eingerichteten Simula- tionssystem 1 somit an der gleichen Position im Simulationsraum 200 befin- den, wie das virtuelle Bediengerät 3, welches in der virtuellen Umgebung 2 dargestellt wird. Da über die Anzeigevorrichtung 4 visuell lediglich die vir- tuelle Umgebung 2 wahrnehmbar ist, ermöglicht das haptische Feedback des dem virtuellen Bediengerät 3 zugeordneten realen Bediengeräts 5 in der Wahrnehmung des Einrichters 100 oder eines Besatzungsmitglieds wäh- rend einer Trainings-Simulation, dieses virtuelle Bediengerät 3 zu ertasten.

Um dem Einrichter 100 ein Umsehen in der virtuellen Umgebung 2 zu er- möglichen, sind in dem Simulationsraum 200 zwei Signalgeber 18 angeord- net, welche zu einem VR- Anzeigesystem gehören. Über diese Signalgeber 18 kann die Position und Lage der ebenfalls zum VR- Anzeigesystem gehöri- gen Anzeigevorrichtung 4 und somit auch die Position und Lage des Einrich- ters 100 im Simulationsraum 200 bestimmt werden. Hierzu senden die orts- festen Signalgeber 18 Positionssignale in den Simulationsraum 200 aus, wel- che von der Anzeigevorrichtung 4 empfangen werden. Die Anzeigevorrich- tung 4 und die Signalgeber 18 sind derart aufeinander synchronisiert, dass aus der empfangenen Zeitdifferenz zwischen Aussenden der Positionssigna- le von einem der Signalgeber 18 bis zum Empfangen jenes Positionssignals durch die Anzeigevorrichtung 4 der Abstand zwischen den jeweiligen Sig- nalgebern 18 und der Anzeigevorrichtung 4 bestimmt werden kann. Über die bekannten Abstände zwischen den ortsfesten Signalgebern 18 und der Anzeigevorrichtung 4 wird anschließend eine Triangulation der Position der Anzeigevorrichtung 4 im Simulationsraum 200 durchgeführt. Die Anzeige- vorrichtung 4 verfügt hierüber hinaus über in der Figur nicht dargestellte Sensoren, insbesondere Lagesensoren, mit welchen auch die Bestimmung der Lage der Anzeigevorrichtung 4 im Simulationsraum 200 möglich ist. Auf diese Weise kann ein Verkippen oder Neigen der Anzeigevorrichtung 4, wel- che in einem entsprechenden Kippen oder Neigen des Kopfes des Einrich- ters 100 entspricht, detektiert und bei der Anzeige der virtuellen Umge- bung 2 auf der Anzeigevorrichtung 4 berücksichtigt werden.

Da der Einrichter 100 über die Anzeigevorrichtung 4 lediglich die virtuelle Umgebung 2 und nicht das Innere des realen Simulationsraums 200 sieht, kann der Einrichter 100 auch nicht die Position und Lage seiner eigenen Hände unmittelbar optisch wahrnehmen. Um die Hände des Einrichters 100 in der virtuellen Umgebung 2 darstellen zu können, sind in dem Simulati- onsraum 200 mehrere Sensoren zur Erkennung der Hände des Einrichters 100 angeordnet. In den hier dargestellten Ausführungsbeispielen handelt es sich bei den Sensoren um 3D-Sensorsysteme 7, welche insbesondere als 3D- Kamerasysteme ausgebildet sind. Diese 3D-Sensorsysteme 7 dienen zugleich auch der Erfassung des realen Bediengeräts 5 im Simulationsraum 200. Das Koordinatensystem des 3D-Sensorsystems 7 und ein Koordinatensystem des die Anzeigevorrichtung 4 umfassenden VR-Anzeigesystems des Simulati- onssystems 1 sind aufeinander kalibriert. Ein Raumpunkt P im Simulations- raum 200 wird nach der Kalibration durch das 3D-Sensorsystem 7 und das VR- Anzeigesystem als an der gleichen Position liegend erkannt. Positionen in der virtuellen Umgebung 2, welche über die Anzeigevorrichtung 4 im Ko- ordinatensystem des VR-Anzeigesystems dargestellt wird, sind auf diese Weise deckungsgleich mit entsprechenden Positionen im realen Simulati- onsraum 200.

Mit dem 3D-Sensorsystem 7 wird der Aktionsbereich 201 des Einrichters 100 im Simulationsraum 200 überwacht. Bei dem Aktionsbereich 201 handelt es sich um den Bereich des Simulationsraums 200, in welchem sich während der Simulation bei einem eingerichteten Simulationssystem 1 die Hände des Einrichters 100, des zu trainierenden Besatzungsmitglieds oder eines De- signers zur Betätigung des realen Bediengeräts 5 bewegen können.

Wie in Fig. 1 zu erkennen ist, ist eines der 3D-Sensorsysteme 7 im hinteren Bereich des Simulationsraums 200 und gegenüber dem Aktionsbereich 201 nach oben versetzt im Simulationsraum 200 angeordnet. Dieses 3D-Sensor- system 7 wirft hierbei einen Über-Schulter-Blick auf den Aktionsbereich 201 , so dass nach Möglichkeit eine Verdeckung oder Abschattung des realen

Bediengeräts 5 im Aktionsbereich 201 vermieden werden kann. Auch wenn der Einrichter 100 seine Hände zur Positionierung des realen Bediengeräts 5 weit in den Aktionsbereich 201 ausstreckt, ermöglicht dieser Über-Schulter- Blick eine weitgehend ungestörte Erfassung des realen Bediengeräts 5 in- nerhalb der Grenzen des Sensorbereichs 7.1 , ohne dass das reale Bedienge- rät 5, beispielsweise durch die Hände oder die Arme des Einrichters 100, verdeckt wird.

Da sich der Einrichter 100 im Simulationsraum 200 weitgehend frei bewe- gen kann, ist es trotz dieses Über-Schulter- Blicks nicht ausgeschlossen, dass es zu einem Verdecken des realen Bediengeräts 5 kommt, wenn der Ein- richter 100 beispielsweise eine andere als die in Fig. 1 dargestellte Position einnimmt. Um dennoch die Position und die Lage des realen Bediengeräts 5 erfassen zu können, ist in dem Simulationsraum 200 noch ein weiteres 3D- Sensorsystem 7 angeordnet. Dieses ist unterhalb des realen Bediengeräts 5 und vom Einrichter 100 zur Seite versetzt angeordnet, so dass es von schräg unten auf den Aktionsbereich 201 blickt. Eine solche Anordnung der 3D- Sensorsysteme 7 bringt den Vorteil mit sich, dass auch, wenn das reale Be- diengerät 5 im Aktionsbereich 201 aus Sicht eines der 3D-Sensorsysteme 7 verdeckt oder abgeschattet werden, die Position des realen Bediengeräts 5 gleichwohl durch das andere 3D-Sensorsystem 7 erfasst werden kann.

Wenngleich das hier dargestellte Ausführungsbeispiel lediglich mit zwei 3D- Sensorsystemen 7 dargestellt ist, so können in dem Simulationsraum 200 gleichwohl auch darüber hinaus weitere 3D-Sensorsysteme 7 angeordnet werden, wodurch die Wahrscheinlichkeit einer Verdeckung des realen Be- diengeräts 5 gegenüber sämtlichen 3D-Sensorsystemen 7 weiter verringert werden kann und die Zuverlässigkeit der Erfassung von Position und Lage des realen Bediengeräts 5 weiter gesteigert wird. Zudem sind in dem Simulationsraum 200 auch positionierbare Hindernis- Elemente 19 angeordnet. Aus Gründen der Übersichtlichkeit ist in Fig. 1 lediglich ein Hindernis-Element 19 dargestellt, wobei auch weitere in dem Simulationsraum 200 angeordnet sein können. Mit diesem Hindernis-Ele- ment 19 können die räumlichen Beschränkungen des Fahrzeuginneren 1100 des realen Fahrzeugs 1000 wiedergegeben werden. Diese räumlichen Be- schränkungen stimmen im eingerichteten Simulationsraum 200 mit den räumlichen Gegebenheiten überein, wie sie in der virtuellen Umgebung 2 vorhanden und dem Einrichter 100 über die Anzeigevorrichtung 4 darge- stellt werden. Bewegt sich der Einrichter 100 innerhalb des Simulations- raums 2 derart, dass dies zu einer Kollision mit weiteren Elementen im Fahrzeuginneren oder der Fahrzeugwand führen würde, so wird durch das Hindernis-Element 19 ein entsprechendes Feedback an den Einrichter 100 gegeben. Anders als bei anderen rein virtuellen Simulationen, bei welchen virtuelle Wände auf einfache Weise durchdrungen werden können, wird durch ein Anstoßen an das Hindernis- Element 19, welches sich an der glei- chen Position relativ zum Einrichter 100 im Simulationsraum 200, wie ein entsprechendes virtuelles Hindernis 2.3 in der virtuellen Umgebung 2 oder ein entsprechendes Hindernis 1003 im realen Fahrzeug 1000, befindet, ein Durchdringen eines solchen virtuellen Hindernisses realitätsgetreu verhin- dert. Diese Hindernis-Elemente 19 können auf die gleiche Weise während des Einrichtens im Simulationsraum 200 positioniert werden, wie dies un- tenstehend für die realen Bediengeräte 5 beschrieben wird.

Wie in der Fig. 1 dargestellt, bildet die Kombination aus Anzeigevorrichtung 4, realen Bedienelement 5, 3D-Sensorsysteme 7 und Signalgeber 18 ein kon- struktiv einfaches Simulationssystem 1 . Je nach Anwendungsfall kann das Simulationssystem 1 in unterschiedlichen Simulationsräumen 200 eingerich- tet werden. Auf diese Weise lässt sich beispielsweise ein ansonsten als Bü- roraum genutzter Raum in einen Simulationsraum 200 umfunktionieren. Die einzelnen Komponenten des Simulationssystems 1 können je nach zu simu- lierendem Fahrzeugtyp anders in dem Simulationsraum 200 eingerichtet werden und der Simulationsraum 200 auf diese Weise flexibel an eine durchzuführende Simulation angepasst werden. Das Simulationssystem 1 umfasst darüber hinaus noch weitere, nicht in der dargestellten Simulation zum Einsatz kommende Elemente, wie weitere reale Bediengeräte 5 oder Hindernis-Elemente 19, welche eine andere Form als das in Fig. 1 darge- stellte Hindernis-Element 19 aufweisen. Das Simulationssystem 1 ist auf diese Weise nach Art eines Baukastens ausgebildet, mit welchem variabel das Fahrzeuginnere 1100 verschiedener Fahrzeugtypen nachgebildet wer- den können.

In Fig. 2a ist ein Fahrzeug-Bediengerät 300 gezeigt, wie es in einem Fahr- zeug 1000 verbaut ist und welches mittels des Simulationssystems 1 simu- liert werden soll. Im realen Fahrzeug 1000 dient dieses Fahrzeug-Bedien- gerät 300 der Steuerung sowie der Anzeige von Fahrzeugfunktionen und Fahrzeugzuständen, beispielsweise die Steuerung der Fahrzeugbeleuchtung oder einer Waffe, die Anzeige der Einsatzbereitschaft einer Waffe oder der Bedienung eines Funkgerätes. Hierzu weist das Fahrzeug-Bediengerät 300 mindestens ein Fahrzeug-Bedienelement 301 auf, über welches das Be- satzungsmitglied durch Betätigung des Fahrzeug-Bedienelements 301 und damit Betätigung des Fahrzeug-Bediengeräts 300 eine entsprechende Be- dienungseingabe tätigen kann.

Bei dem dargestellten Fahrzeug-Bediengerät 300 sind insgesamt sechs Fahr- zeug-Bedienelemente 301 von insgesamt drei unterschiedlichen Typen vor- gesehen. Bei diesen Fahrzeug-Bedienelementen 301 handelt es sich zum einen um drei nebeneinander angeordnete Kippschalter 301a, von denen der rechte Kippschalter 301a in einer unteren und die beiden anderen Kipp- schalter 301a in einer oberen Kippstellung dargestellt sind. Hierunter ist ein Drehregler 301 b angeordnet, welcher in unterschiedliche Drehstellungen gebracht werden kann. Damit das Besatzungsmitglied im Fahrzeug diese Drehstellung des Drehreglers 301b erkennen kann, ist der Drehregler 301b mit einem Pfeil versehen, welcher es dem Besatzungsmitglied ermöglicht, auf einen ersten Blick die Drehstellung des Drehreglers 301b visuell wahr- zunehmen. Neben dem Drehregler 301b ist eine Taste 301c angeordnet, welche von dem Besatzungsmitglied durch Drücken betätigt werden kann. Unter dem Drehregler 301b und der Taste 301c ist ein Schlüsselschalter 301d angeordnet. In diesen Schlüsselschalter 301d wird zur Betätigung ein Schüssel 301e eingesteckt, welcher in Fig. 2a bereits eingesteckt darge- stellt ist. Durch den Schlüssel 301e wird eine Drehverriegelung des Schlüs- selschalters 301d freigegeben, so dass das Besatzungsmitglied über ein Dre- hen des Schlüssels 301e den Schlüsselschalter 301d betätigen kann.

Oberhalb der Fahrzeug-Bedienelemente 301 weist das dargestellte Fahr- zeug-Bediengerät 300 mehrere Fahrzeug-Anzeigeelemente 302 auf, welche nach Art von Lampen ausgebildet sind. Die einzelnen Fahrzeug-Anzeige- elemente 302 können unterschiedliche Funktionsstellungen der Fahrzeug- Bedienelemente 301 anzeigen und/oder zur Darstellung unterschiedlicher Fahrzeugzustände oder Zuständen von fahrzeugverbauten Geräten, wie Funkgeräten oder einem Waffensystem, dienen. Die sich zwischen den Fahrzeug-Bedienelementen 301 sowie den Fahrzeug-Anzeigeelementen 302 erstreckende Oberfläche 303 des Fahrzeug-Bediengeräts 300 kann weitere Anzeigen, wie beispielsweise feste Skalen für den Drehregler 301b oder Be- schriftungen, aufweisen. Darüber hinaus zeichnet sich die Oberfläche 303 durch ihre Struktur und Textur aus, welche das Besatzungsmitglied ertasten kann und so eine praktische Wahrnehmung des Fahrzeug-Bediengeräts 300 gestattet und zudem je nach Struktur der Oberfläche 303, d. h. deren Oberflächenverlauf im dreidimensionalen Raum, eine Bedienung des Fahr- zeug-Bediengeräts 300 erleichtern kann. Hierzu kann die Oberfläche 303, beispielsweise in Fig. 2a, nicht dargestellte Bereiche aufweisen, an wel- chen das Besatzungsmitglied seine Hand 101 zur präziseren Bedienung des Fahrzeug-Bediengeräts 300 abstützen kann.

Das in der Fig. 2a dargestellte Fahrzeug-Bediengerät 300 stellt lediglich ein exemplarisches Beispiel dar. Je nach Fahrzeugtyp und Besatzungsposition können auch andere Fahrzeug-Bediengeräte 300 mit hiervon abweichenden Abmessungen, anders angeordneten Fahrzeug-Bedienelementen 301 und Fahrzeug-Anzeigeelementen 302 oder mit anderen oder weiteren Fahrzeug- Bedienelementen 301 und Fahrzeug-Anzeigeelementen 302, auch eines an- deren Typs, vorgesehen sein. Beispielsweise kann es sich bei dem Fahrzeug- Bediengerät 300 auch um ein Lenkrad oder Pedale handeln. In Fig. 2b ist ein reales Bediengerät 5 dargestellt, wie es bei der Simulation erfindungsgemäß verwendet wird. Dieses reale Bediengerät 5 ist dem in Fig. 2a dargestellten Fahrzeug-Bediengerät 300 nachgebildet, wobei insbe- sondere die relative Position der realen Bedienelemente 5.1 jenen der Fahrzeug-Bedienelementen 301 entspricht. Wie auch bei den Fahrzeug- Bediengerät 300 weist das reale Bediengerät 5 insgesamt sechs reale Be- dienelemente 5.1 auf. Auch beim realen Bediengerät 5 sind dies drei ne- beneinander angeordnete Kippschalter 5.1a, wobei der linke Kippschalter 5.1a in einer unteren und die übrigen beiden Kippschalter 5.1a in einer oberen Kippstellung dargestellt sind, welche den Kippstellungen der Kipp- schalter 301a entsprechen.

Da die Anforderungen an das reale Bediengerät 5 geringer sind als jene an das Fahrzeug-Bediengerät 300, da dieses beispielsweise keinen Einsatz wäh- rend einer rauen Geländefahrt wie das Fahrzeug-Bediengerät 300 ohne Funktionseinschränkungen überstehen muss, kann ein anderes Kippschalter- fabrikat für die Kippschalter 5.1a verwendet werden als dies beim Kipp- schalter 301a des Fahrzeug-Bediengeräts 300 der Fall ist. Dieses einfachere Fabrikat eines Bedienelements 5.1 kann beispielsweise weniger robust aus- gebildet sein, so dass sich hierdurch Kosten in der Anschaffung des realen Bedienelements 5.1 einsparen lassen. Dieser Fabrikatunterschied ist in der Fig. 2b durch das Fehlen des schematischen Kastens, wie er in Fig. 2a um die Kippschalter 301a gezeigt ist, um den Kippschaltern 5.1a angedeutet.

Unter diesen Kippschaltern 5.1a angeordnet, weist das reale Bediengerät 5 einen Drehregler 5.1b auf, welcher durch ein Drehen in unterschiedlichen Stellungen gebracht werden kann. Im Unterschied zum Drehregler 301b ist dieser Drehregler 5.1b jedoch einfacher ausgestattet und weist beispiels- weise nicht den Pfeil des Drehreglers 301b auf. Neben dem Drehregler 5.1b ist eine Taste 5.1c in der gleichen relativen Position zu den übrigen realen Bedienelementen 5.1 angeordnet, wie die Taste 301c relativ zu den Fahr- zeug-Bedienelementen 301.

Im unteren Bereich weist das reale Bediengerät 5 einen Drehschalter 5.1 d auf, welcher an die Position des Schlüsselschalters 301b des Fahrzeug- Bedienelements 301 tritt. Auf diese Weise kann der komplizierte und einen Schlüssel 301e erfordernde Schlüsselschalter 301d des Fahrzeug-Bedien- geräts 300 auf einfachere Weise nachgebildet werden. Der Drehschalter 5.1d weist hierbei einen fest mit ihm verbundenen Griff 5.1e auf, welcher an die Stelle des Schlüssels 301e zur Betätigung tritt.

Anders als das Fahrzeug-Bediengerät 300 mit seinen Fahrzeug-Anzeigeele- menten 302 weist das reale Bediengerät 5 keine Anzeigeelemente auf. Der- artige Anzeigeelemente bei dem realen Bediengerät 5 vorzusehen, ist für das erfindungsgemäße Verfahren nicht erforderlich, da durch die Anzeige- vorrichtung 4 ohnehin lediglich die rein virtuelle Umgebung 2 und somit etwaige, an dem realen Bediengerät 5 vorhandene Anzeigevorrichtungen nicht visuell wahrnehmbar sind.

Das reale Bediengerät 5 weist in der in der Fig. 2b dargestellten Ausfüh- rungsform zusätzlich einen als Positionsmarkierung an ihm angebrachten Marker 14 auf, welcher hier nach Art eines QR-Codes ausgebildet ist. Über diesen Marker 14 kann das reale Bediengerät 5 bei der Durchführung des Verfahrens durch das 3D-Sensorsystem 7 erkannt werden. Durch die zwei- dimensionale Ausgestaltung des Markers 14 kann dieser zusätzlich auch eine Bestimmung der Position und Lage des realen Bediengeräts 5 im Simula- tionsraum 200 ermöglichen. Alternativ kann die Positionsmarkierung über eine farbliche Markierung des realen Bediengeräts 5 erfolgen, welche von dem 3D-Sensorsystem 7 erkennbar ist. So wird beispielsweise das reale Be- diengerät 5 flächig und einfarbig mit einer zuvor definierten Farbe bestri- chen oder aus Material der definierten Farbe gefertigt. In der einfachsten Ausgestaltung des realen Bediengeräts 5 weist dieses lediglich eine plane Oberfläche 21 auf, welche nicht der Oberfläche 303 des Fahrzeug-Bediengeräts 300 nachgebildet ist. Dies ermöglicht eine kon- struktiv einfache Nachbildung des Fahrzeug-Bediengeräts 300, indem ledig- lich die in erster Linie für die Simulation relevante relative Lage der Be- dienelemente 5.1 gemäß jenen Fahrzeug-Bedienelementen 301 nachgebil- det werden, welche durch die virtuellen Bediengeräte 3 simuliert werden. Hierbei können die realen Bedienelemente 5.1 und somit das gesamte reale Bediengerät 5 ein haptisches Feedback geben, welches jenem Feedback entspricht, welches bei einer Betätigung der Fahrzeug-Bedienelemente 301 im realen Fahrzeug 1000 erfahrbar ist. Gleichwohl kann das reale Bedien- gerät 5 auch weitere Merkmale des Fahrzeug-Bediengeräts 300 insbesonde- re dessen Oberfläche 303 nachbilden, wie dies im Zusammenhang mit den Fig. 3 nachfolgend näher beschrieben wird. Um das reale Bediengerät 5 im Simulationsraum 200 positionieren zu können, weist dieses Anbindungsele- mente 6 auf, welche im dargestellten Ausführungsbeispiel nach Art von ge- lochten Laschen ausgebildet sind. Über diese Anbindungselemente 6 kann beispielsweise eine Schraubverbindung hergestellt werden, mit welcher das reale Bediengerät 5 im Simulationsraum 200 angeordnet werden kann.

Die Fig. 3a zeigt eine einfache Ausgestaltung des realen Bediengeräts 5 in einer Seitenansicht. Wie zu erkennen ist, weist das reale Bediengerät 5 ei- nen Kippschalter 5.1a sowie einen Drehregler 5.1b auf. Diese beiden realen Bedienelemente sind auf einer Basisplatte 20 befestigt, bei welcher es sich beispielsweise um eine Holz- oder Metallplatte handeln kann und die eine einfache Befestigung der realen Bedienelemente 5.1 ermöglicht. Die realen Bedienelemente sind hierbei nicht elektrisch verbunden, so dass diese dem Einrichter 100 lediglich ein haptisches Feedback geben. Die einzelnen Be- dienelemente 5.1 können hierbei entweder mechanisch betätigbar sein, beispielsweise kann es sich hier um funktionstüchtige 3D-Ausdrucke nach Art eines rein haptischen Dummys oder auch elektrische funktionstüchtige Bedienelemente handeln, welche lediglich in keinem Schaltkreis eingebun- den sind. Alternativ kann es sich bei den realen Bedienelementen 5.1 auch um starre Nachbildungen der Fahrzeug-Bedienelemente 301 handeln, wel- che mechanisch nicht in ihrer Stellung veränderbar sind und als rein hapti- scher Dummy so lediglich ein passives haptisches Feedback hinsichtlich der Position und Lage des realen Bedienelements 5.1 liefern. Ein derartiges, auch mechanisch nicht funktionstüchtiges reales Bediengerät 5 ermöglicht jedoch kein Feedback hinsichtlich einer Betätigungsstellung des über die Anzeigevorrichtung 4 dargestellten virtuellen Bedienelements 3.1 des vir- tuellen Bediengeräts 3. Auf der den realen Bedienelementen 5.1 gegenüberliegenden Seite der Ba- sisplatte 20 sind zwei Anbindungselemente 6 nach Art von Steckstiften aus- gebildet, welche in korrespondierend ausgebildeten Anbindungsstellen im Simulationsraum 200 eingesteckt werden können, um so das reale Bedien- gerät 5 frei positionieren zu können.

In Fig. 3b ist ein aufwendigeres reales Bediengerät 5 gezeigt. Auch dieses weist Anbindungselemente 6 auf, welche zur Befestigung einer Basisplatte 20 im Simulationsraum 200 genutzt werden können. Wie auch das in Fig. 3a gezeigte einfache reale Bediengerät 5 weist auch dieses reale Bediengerät 5 reale Bedienelemente 5.1 auf, bei welchen es sich zum einen um einen

Kippschalter 5.1a und eine Taste 5.1c handelt. Anders als bei dem kon- struktiv einfachen Ausführungsbeispiel in Fig. 3a sind diese realen Be- dienelemente 5.1 nicht nur mechanisch, sondern auch elektrisch funktions- fähig. So wird von dem in Fig. 3b gezeigten realen Bediengerät 5 ein elekt- risches Signal bei Betätigung eines der realen Bedienelemente 5.1 erzeugt. Hierzu sind die realen Bedienelemente 5.1 über Schaltkreisbahnen 26 in einen Schaltkreis integriert. Von einer Energieversorgung 23 werden diese realen Bedienelemente 5.1 mit Energie versorgt. Durch Betätigung des rea- len Bedienelements 5.1, beispielsweise durch ein Umlegen des Kippschal- ters 5.1a, kann ein Stromkreis geschlossen und so ein elektrisches Signal erzeugt werden. Im dargestellten Ausführungsbeispiel wäre dies beispiels- weise ein Schließen des Stromkreises zwischen der Energieversorgung 23 und einem Mikrocontroller 25 über den Kippschalter 5.1a. In dem Mikrocontroller 25 können die einzelnen elektrischen Signale der realen Bedienelemente 5.1 zusammenlaufen und verarbeitet werden. An- schließend werden die Signale an ein WLAN-Modul 24 übermittelt, welche eine Datenübertragung von dem realen Bediengerät 5 zu einem hier nicht dargestellten Server oder Simulationsrechner ermöglicht. Über das elek- trische Signal wird auf diese Weise die Veränderung des realen Bedienge- räts 5 erfasst und zur Beeinflussung der virtuellen Umgebung 2 weiterver- wendet.

In Fig. 3b ist eine kabellose Umsetzung dargestellt, wobei gleichwohl auch eine kabelgebundene Umsetzung des realen Bediengeräts 5 möglich ist, bei welchem sowohl die Energieversorgung als auch die Datenübertragung nicht über die hier als kapazitives Element dargestellte Energieversorgung 23 und das WLAN-Modul 24, sondern je über ein in das reale Bediengerät 5 hinein- führendes Kabel erfolgt. Hierüber hinaus weist das reale Bediengerät 5 der Fig. 3b eine Oberfläche 21 auf, welcher der Oberfläche des Fahrzeug-Bediengeräts 300 nachgebil- det ist. Die Oberfläche 21 kann sowohl eine realitätsgetreue Auflage für eine Hand bei der Betätigung der einzelnen Bedienelemente 5.1 des realen Bediengeräts 5 bieten als auch eine Haptik bereitstellen, welche jener des Fahrzeug-Bediengeräts 300 entspricht. Die Oberfläche 21 kann insbesonde- re hinsichtlich ihrer Rauigkeit, Glätte, Festigkeit und sonstiger Struktur je- ner Oberfläche 303 des Fahrzeug-Bediengeräts 300 nachgebildet sein.

Wie auch das Hindernis-Element 19 kann das sowohl in Fig. 3a als auch in Fig. 3b gezeigte reale Bediengerät 5 aus leicht zu bearbeitenden Mate- rialien hergestellt sein, insbesondere aus Kunststoff. Insbesondere das in Fig. 3b dargestellte reale Bediengerät 5 kann mittels eines 3D-Druckverfah- rens hergestellt werden, ohne dass ein späteres Zusammensetzen erforder- lich ist. Bei diesem 3D-Druckverfahren können die elektrischen Schaltkreise von vornherein in das 3D-Druck-Stück während des Ausdruckens eingefügt werden. Insbesondere die realen Bedienelemente 5.1 können bei einem 3D- Druck-Stück mit mechanisch zusammenwirkenden und ineinandergreifenden beweglichen Teilen ohne die Notwendigkeit eines späteren Zusammenbaus ausgedruckt werden. In Fig. 4 ist eine Trägerplatte 12 gezeigt, auf welche das reale Bediengerät 5 positioniert werden kann. Bei der Trägerplatte 12 kann sich um eine ein- fache Holzplatte handeln, auf welche ein reales Bediengerät 5, wie in Fig. 2b dargestellt, über laschenförmige Anbindungselemente 6 verschraubt werden kann. Hierbei ist das reale Bediengerät frei auf der Trägerplatte 12 positionierbar, welche wiederum frei im Simulationsraum 200 positioniert werden kann. Die Ausgestaltung der Trägerplatte 12, wie sie in Fig. 4 dar- gestellt ist, weist hierüber hinaus zusätzlich Anbindungsstellen 12.1 auf. Diese Anbindungsstellen 12.1 sind in einem regelmäßigen Muster auf der Trägerplatte 12 angeordnet. In diesen Anbindungsstellen 12.1 können An- bindungselemente 6 der realen Bediengeräte 5 zur Befestigung und somit zur Positionierung im Simulationsraum 200 eingreifen. Wie in den Fig. 3 und 4 dargestellt, sind die Anbindungselemente 6 und die Anbindungsstellen 12.1 derart ausgestaltet, dass sie nach Art einer Steckverbindung Zusam- menwirken. Gleichwohl können sie auch nach Art von Rastverbindungen, Klemmverbindungen oder Nutenführungen zusammen wirkend ausgebildet sein.

In Fig. 5 ist die Betätigung des realen Bediengeräts 5 sowie die Anpassung des virtuellen Bediengeräts 3 hieran dargestellt. Der Aufbau des in Fig. 5 dargestellten realen Bediengeräts 5 entspricht jenen des in Fig. 2b darge- stellten realen Bediengeräts 5. Der mittlere Kippschalter 5.1a des realen Bediengeräts 5 befindet sich in Fig. 5a in seiner oberen Kippstellung. Über die Anzeigevorrichtung 4 wird nicht das reale Bediengerät 5, sondern das in Fig. 5b dargestellte virtuelle Bediengerät 3 während der Simulation wahr- genommen. Dieses virtuelle Bediengerät 3 ist eine virtuelle Nachbildung des in Fig. 2a dargestellten Fahrzeug-Bediengeräts 300. Neben virtuellen Bedienelemente 3.1 weist dieses virtuelle Bediengerät 3 auch virtuelle An- zeigeelemente 3.2 auf, welche als Art von Lampen dargestellt sind. Die Be- tätigungsstellungen der virtuellen Bedienelemente 3.1 entsprechend jenen Betätigungsstellungen des realen Bediengeräts 5.

Zur Betätigung streckt der Einrichter 100 oder das Besatzungsmitglied seine Hand aus, bis diese mit dem realen Bediengerät 5 in Kontakt kommt. Das reale Bediengerät 5 gibt auf diese Weise ein haptisches Feedback, so dass das real nicht vorhandene virtuelle Bediengerät 3 ertastet werden kann. Im hier dargestellten Beispiel erfolgt die Betätigung des realen Bediengeräts 5 durch das Umlegen des mittleren Kippschalters 5.1a von seiner oberen Kippstellung in eine untere Kippstellung, wie dies in Fig. 5c dargestellt ist. Diese Betätigung des realen Bediengeräts 5 führt zunächst lediglich zu einer Änderung des realen Bediengeräts 5, ohne dass dies visuell über die Anzei- gevorrichtung 4 dargestellt wird. Um eine visuelle Rückmeldung über die durchgeführte Betätigung zu geben, wird die Betätigung des realen Bedien- geräts 5 erfasst. Dies kann entweder über eine hier nicht dargestellte Ges- tenerkennung erfolgen, bei welcher die Hand bei der für die jeweilige Be- tätigung charakteristischen Bewegung verfolgt und als entsprechende Betä- tigung des realen Bediengeräts 5 erkannt wird. Alternativ oder zusätzlich kann die Erfassung der Betätigung des realen Bediengeräts 5 durch die Er- fassung der Veränderung des realen Bediengeräts 5 erfolgen. Die Betätigung kann über das 3D-Sensorsystem 7 erfasst werden, mit welchem eine Verän- derung des realen Bediengeräts 5 erkannt werden kann. Ebenso kann die Erfassung der Betätigung beispielsweise, wie im Zusammenhang mit Fig. 3b beschrieben, mittels eines elektrischen Signals erfolgen, welches bei der Betätigung des realen Bediengeräts 5 erzeugt wird.

Die erfasste Betätigung des realen Bediengeräts 5, welche von Fig. 5a zur Fig. 5c in der Veränderung der Kippstellung des Kippschalters 5.1a liegt, wird durch einen hier nicht dargestellten Server oder Simulationsrechner verarbeitet. Hieran anschließend wird abhängig von der erfassten Betäti- gung die virtuelle Umgebung 2 verändert. Diese Veränderung entspricht in der Fig. 5d der Anpassung des virtuellen Bedienelements 3.1 an die geän- derte Betätigungsstellung des realen Bedienelements 5.1a, so dass auch das als mittlerer Kippschalter dargestellte virtuelle Bedienelement 3.1 nun- mehr in einer unteren Kippstellung dargestellt wird. Hierüber hinaus erfolgt mit dem Aufleuchten des virtuellen Anzeigeelements 3.2 eine weitere Ver- änderung der virtuellen Umgebung 2, was einer Reaktion auf die Betätigung entspricht, wie sie auch in einem realen Fahrzeug bei Betätigung eines Fahrzeug-Bedienelements 301 eines Fahrzeug-Bediengeräts 300 erfolgen würde.

Fig. 6 zeigt die virtuelle Umgebung 2, wie sie sich dem Einrichter 100 wäh- rend eines ersten Ausführungsbeispiels des erfindungsgemäßen Einrich- tungsverfahrens zeigt. Die vom 3D-Sensorsystem 7 erfasste Position G des realen Bediengeräts 5 im Simulationsraum 200 wird dem Einrichter 100 in der hier gezeigten einfachen Darstellungsform als ein Kreuz in der virtuel- len Umgebung 2 dargestellt, kann gleichwohl aber auch durch andere For- men repräsentiert werden. Verändert der Einrichter 100 die Position des realen Bediengeräts 5 im Simulationsraum 200, so wird diese geänderte Po- sition von dem 3D-Sensorsystem 7 erfasst und die virtuelle Umgebung 2 ent- sprechend angepasst. Im dargestellten Ausführungsbeispiel würde sich so das Kreuz entsprechend der erfassten Bewegung des realen Bediengeräts 5 an die neue erkannte Position G bewegen.

Neben der erkannten Position G des realen Bediengeräts 5 wird dem Ein- richter 100 in der virtuellen Umgebung 2 eine Vorgabeposition V angezeigt. Die Vorgabeposition V wird in der virtuellen Umgebung 2 als eine Sphäre angezeigt. Diese Vorgabeposition V entspricht jener Position, an welcher das reale Bediengerät 5 zur Simulation des Fahrzeuginneren 1100 im Simu- lationsraum 200 positioniert werden soll, dargestellt in der virtuellen Um- gebung 2. Ziel dieser Vorgabeposition V ist es, dass das realen Bediengerät 5 im Simulationsraum 200 an der gleichen Position angeordnet werden kann, wie es der Position des Fahrzeug-Bediengeräts 300 im Fahrzeug- inneren 1100 entspricht.

Wie in Fig. 6a dargestellt, entspricht die erkannte Position G des realen Bediengeräts 5 in der Ausgangsstellung noch nicht der Vorgabeposition V.

Da jedem Raumpunkt im Simulationsraum 200 ein entsprechender Raum- punkt in der virtuellen Umgebung 2 eindeutig zugeordnet ist, kann der Ein- richter 100 auf einfache Weise erkennen, dass sich das reale Bediengerät 5 im Simulationsraum 200 noch nicht an der richtigen Position befindet. Der Einrichter 100 muss die Position des realen Bediengeräts 5 im Simulations- raum 200 daher verändern. Hierzu bewegt der Einrichter 100 das reale Bediengerät 5 derart, dass es eine Position im Simulationsraum 200 einnimmt, welche der virtuellen Vor- gabeposition V entspricht. Da der Einrichter 100 die Veränderung der dar- gestellten Position G des realen Bediengeräts 5 als Bewegung in der virtuel- len Umgebung 2 wahrnimmt, kann er das realen Bediengerät 5 auf natürli- che Weise umpositionieren, wie als ob er dieses tatsächlich und nicht nur dessen virtuell dargestellte Position G sehen könnte. Wie in Fig. 6b darge- stellt, stimmt die Darstellung der erfassten Position G des realen Bedien- geräts 5 in der virtuellen Umgebung 2 nach dem Umpositionieren mit der Vorgabeposition V überein. In der virtuellen Umgebung 2 bringt der Einrich- ter 100 somit die dargestellte Position G des realen Bediengeräts 5 mit der angezeigten Vorgabeposition V in Deckung. An dieser Position kann das rea- le Bediengerät 5 dann durch den Einrichter 100 nach einer der oben be- schriebenen Weisen fixiert werden. Der Einrichter 100 positioniert das reale Bediengerät 5 so zur Nachbildung eines vorgegebenen Fahrzeuginneren 1100 im Simulationsraum 200. Fig. 7 zeigt die virtuelle Umgebung 2, wie sie sich dem Einrichter 100 wäh- rend eines zweiten Ausführungsbeispiels des erfindungsgemäßen Einrich- tungsverfahrens zeigt. Die erfasste Position G des realen Bediengeräts 5 wird in diesem Ausführungsbeispiel nicht durch eine einfache Form dar- gestellt. Vielmehr wird an der erfassten Position G des realen Bediengeräts 5 in der virtuellen Umgebung 2 ein virtuelles Bediengerät 3 zur Visualisie- rung der erfassten Position G dargestellt. Bei der Darstellung des virtuellen Bediengeräts 3 handelt es sich um eine Punktwolke 13 mit mehreren die Position und die Umrisse des realen Bediengeräts darstellenden Punkten 13.2. Aus Gründen der Übersichtlichkeit sind die einzelnen Punkte 13.2 in

Fig. 7 nicht dargestellt und die Punktwolke 13 lediglich als gestrichelte Um- randung angedeutet.

In dem gezeigten Ausführungsbeispiel erfolgt die Vorgabe einer Vorgabe- position V nicht nach Art einer Sphäre, wie in Fig. 6. Vielmehr wird eine virtuelle Darstellung 400 des Fahrzeug-Bediengeräts 300 zur Vorgabe ge- nutzt. Bei dieser virtuellen Darstellung 400 handelt es sich um ein virtuelles Modell des Fahrzeug-Bediengeräts 300. Die Positionierung des realen Bediengeräts 5 erfolgt analog zu dem bereits im Zusammenhang mit Fig. 6 beschriebenen Weise. Jedoch wird in diesem Ausführungsbeispiel das virtuelle Bediengerät 3 mit einer virtuellen Darstel- lung 400 des Fahrzeug-Bediengeräts 300 in der virtuellen Umgebung 2 durch den Einrichter 100 zur Deckung gebracht, wie in Fig. 7b gezeigt.

Mit der virtuellen Darstellung 400 des Fahrzeug-Bediengeräts 300 kann auf einfache Weise zugleich eine Vorgabelage vorgegeben werden. Dem Ein- richter 100 ist es so nicht nur möglich, das reale Bediengerät 5 an der rich- tigen Position, sondern auch in der richtigen Lage innerhalb des Simulati- onsraums 200 auf einfache Weise zu positionieren und anschließen zu fixie- ren. Hierzu verändert der Einrichter 100 die Lage des realen Bediengeräts 5 im Simulationsraum 200 derart, dass das virtuelle Bediengerät 3 mit der virtuellen Darstellung 400 des Fahrzeug-Bediengeräts 300 in Position und Lage übereinstimmend in Deckung gebracht wird. Im Übergang zwischen Fig. 7a und Fig. 7b wird durch die Positions- und Lageäderung des realen Bediengeräts 5 das virtuelle Bediengerät 3 an die Position der virtuellen Darstellung 400 verschoben und durch ein Drehen um eine Achse in die gleiche Lage wie die virtuelle Darstellung 400 gebracht.

Fig. 8 zeigt den Simulationsraum 200 und die virtuelle Umgebung 2, wäh- rend des Einrichtens gemäß einem dritten Ausführungsbeispiel des erfin- dungsgemäßen Einrichtungsverfahrens. Diese Einrichtungsverfahren lässt sich insbesondere bei einem Design-Einrichten nutzen, bei welchem der Einrichter 100 als Designer das simulierte Fahrzeuginnere im Rahmen eines zum Einrichten gehörigen Designprozesses um- oder neugestaltet und hierzu das Bediengerät 5 im Simulationsraum 200 positioniert.

Der Einrichter 100 bringt das reale Bediengerät 5 in diesem Ausführungsbei- spiel in eine von ihm gewählte Position im Simulationsraum 200, an welcher er das reale Bediengerät 5 fixieren kann. Die erkannte Position G des realen Bediengeräts 5 wird ihm über die Anzeigevorrichtung 4 in der virtuellen Umgebung 2 wie in den zuvor beschriebenen Ausführungsbeispielen darge- stellt. In Fig. 8b ist die erkannte Position G beispielsweise wiederum als Kreuz in der virtuellen Umgebung 2 dargestellt. Im Unterschied zu den anderen beschriebenen Ausführungsbeispielen wird dem Einrichter 100 jedoch keine Vorgabeposition V vorgegeben. Vielmehr wird aus der erkannten Position G des realen Bediengeräts 5 eine zur Simu- lation verwendete Position einer virtuellen Darstellung 400 des Fahrzeug- Bediengeräts 300 ermittelt. Die virtuelle Umgebung 2 wird auf diese Weise an den Simulationsraum 300 und insbesondere die Position G des realen Bediengeräts 5 angepasst. Dem Einrichter 100 wird auf diese Weise eine dynamische Umgestaltung der virtuellen Umgebung 2 während der Laufzeit der Simulation ermöglicht.

Dies kann zur Erprobung neuer Bediengeräte-Anordnungen und/oder Bedie- nelemente-Anordnungen im Fahrzeuginnen 1100 genutzt werden. Während des Einrichtens kann der Einrichter 100 so bereits ein neues Design, bei- spielsweise auf seine Ergonomie und/oder die Zugänglichkeit des Bedien- elemente des Bediengeräts 3, testen und so die Position und Lage des das Fahrzeug-Bediengeräts 300 simulierenden realen Bediengeräts 5 optimie- ren.

Aus der auf diese Weise durch den Einrichter 100 erstellten virtuellen Um- gebung 2 des dann eingerichteten Simulationssystems 1 kann ein Modell des Fahrzeuginneren und/oder der Fahrzeug-Bediengeräte 300 ermittelt wer- den und für die Fertigung eines so neu konzeptionierten oder weiter- entwickelten Fahrzeuginnenraums 1100 genutzt werden.

In Fig. 9 ist eine mögliche Erfassung der Lage und Position des realen Bedi- engeräts 5 dargestellt. Fig. 9a zeigt hierbei das reale Bediengerät 5, wel- ches sich innerhalb der Grenzen des Sensorbereichs 7.1 des 3D-Sensor- systems 7 befindet. Das reale Bediengerät 5 weist in diesem Ausführungs- beispiel lediglich ein reales Bedienelement 5.1 auf, welches nach Art einer Taste 5.1c ausgestaltet ist. Um die Position und Lage des realen Bedienge- räts 5 zu erfassen, misst das 3D-Sensorsystem 7 die Position einer Vielzahl einzelner Punkte auf dem realen Bediengerät 5. Die einzelnen zu messen- den Punkte werden in der virtuellen Umgebung 2, wie in Fig. 9b gezeigt, als Punkte 13.1 einer Punktwolke 13 dargestellt. Wenngleich die einzelnen Punkte 13.1 in Fig. 9b in einem unregelmäßigen Muster angeordnet sind, können die Punkte 13.1 sowie die mit ihnen korrespondierenden Mess- punkte auf dem realen Bediengerät 5 auch in einem regelmäßigen Muster angeordnet sein. Die in der virtuellen Umgebung 2 dargestellte Punktwolke 13 ermöglicht es, das reale Bediengerät 5 in der virtuellen Umgebung 2 vi- suell wahrzunehmen, ohne diese unmittelbar zu sehen. Auf ein virtuelles Modell des Bediengeräts 5 kann zur Darstellung der Position des realen Be- diengeräts 5 in der virtuellen Umgebung 2 verzichtet werden. Mit den ge- messenen Punkten wird die erfasste Position des realen Bediengeräts 5 di- rekt in der virtuellen Umgebung 2 dargestellt.

Mit dem 3D-Sensorsystem 7 kann der gesamten Aktionsbereich 201 erfasst werden, so dass neben den mit dem realen Bediengerät 5 korrespondieren- den Messpunkten auch weitere Messpunkte erfasst werden. Die Punkt- wolkendaten 13.2 werden zur Erfassung der Position des realen Bedienge- räts 5 daher einer Filterung unterzogen und in solche Punkte unterteilt, welche dem realen Bediengerät 5 zugeordnet werden können, und jene Punkte, welche anderen Objekten im Aktionsbereich 201 oder die keinem Objekt zugeordnet werden können. Die Zuordnung der Punkte zum realen Bediengerät 5 kann beispielsweise über die Erkennung des in Fig. 2b darge- stellten Markes 14 erfolgen. Ausgehend von dem Marker 14 können die Ab- messungen und /oder die Relativpositionen des realen Bediengeräts 5 oder ein Positionsbereich im Aktionsbereich 201 definiert sein, welcher das reale Bediengerät 5 umfasst. Alle Punkte 13 in diesem Positionsbereich können dabei dem realen Bediengerät 5 zuzuordnen sein.

Alternativ kann ein Positionsbereich über eine farbliche Markierung des rea- len Bediengeräts 5 definiert werden, welche durch eine Farbkamera 9 des 3D-Sensorsystems 7 erkannt werden kann. So wird beispielsweise das reale Bediengerät 5 flächig und einfarbig mit einer zuvor definierten Farbe be- strichen oder aus Material einer definierten Farbe gefertigt. Während der Erfassung des realen Bediengeräts 5 und der Messung der einzelnen Punkte können dann sämtliche Punkte der Punktwolkendaten 13.2, welche einen dieser Farbe entsprechenden Farbwert aufweisen, als zu diesem Positions- bereich gehörend erkannt werden. Die in diesem Positionsbereich liegenden Punkte 13 gehören somit zum realen Bediengerät 5 und können als solche in der virtuellen Umgebung 2 dargestellt werden und/oder zur Positionsbe- stimmung der realen Bediengeräts 5 im Simulationsraum 200 genutzt wer- den.

Zwei mögliche Ausführungsformen des 3D-Sensorsystems 7 sowie die Be- stimmung der Position des realen Bediengeräts 5 mit diesen ist in Fig. 10a und Fig. 10b dargestellt. Mit den dargestellten 3D-Sensorsystemen 7 lässt sich hierbei nicht nur die Position und Lage des realen Bediengeräts 5 erfas- sen, sondern sie eignen sich auch vielmehr dazu, auch andere Objekte im Aktionsbereich 201, wie beispielsweise dessen Arme, Hände oder den ge- samten den Körper des Einrichters 100, zu erfassen.

Das in Fig. 10a dargestellte 3D-Sensorsystem 7 umfasst eine Farbkamera 9, welche zwischen zwei Teilkameras 8.1 einer stereo-optischen Tiefenkamera 8 angeordnet ist. Die Farbkamera 9 kann ein zweidimensionales Farbbild innerhalb der Grenzen des Sensorbereichs 7.1 erfassen. Mittels der Farb- kamera 9 kann den Punkten 13.1 der Punktwolke 13 ein jeweiliger Farbwert zugeordnet werden, welcher jenem Farbwert der korrespondierenden Punkte im Simulationsraum 200 entspricht.

Mit den beiden Teilkameras 8.1 der stereo-optischen Tiefenkamera 8 lässt sich der Abstand A des realen Bediengeräts 5 zu dem 3D-Sensorsystem 7 messen. Hierzu nimmt jede der Teilkameras 8.1 simultan ein eigenständi- ges Bild des realen Bediengeräts 5 auf. Da das reale Bediengerät 5 im Simu- lationsraum 200 von den beiden Teilkameras 8.1 jeweils in einem anderen Raumwinkel α, β relativ zu ihrer jeweiligen Geradeausrichtung R gesehen wird und der Abstand der beiden Teilkameras 8.1 zueinander konstruktiv bekannt ist, kann der Abstand A einzelner Punkte auf dem realen Bedien- gerät 5 und somit auch des gesamten realen Bediengeräts 5 durch Trian- gulation ermittelt werden. In Fig. 10b ist ein weiteres 3D-Sensorsystem 7 gezeigt, welches ebenfalls eine Farbkamera 9 aufweist, welche die gleiche Funktion wie die in Fig.

10a gezeigte Farbkamera 9 erfüllt. Hierüber hinaus weist das in Fig. 10b dargestellte 3D-Sensorsystem 7 eine Tiefenkamera 8 nach Art einer time-of- flight-Kamera mit einem Sende-Modul 8.2 und einem Empfangs-Modul 8.3 auf. Anders als bei einer stereo-optischen Kamera erfolgt die Bestimmung des Abstands A des realen Bediengeräts 5 zum 3D-Sensorsystem 7 nicht über eine Triangulation mit mehreren Aufnahmen, sondern über die Laufzeit ei- nes Lichtpulses 10. Hierbei emittiert das Sende-Modul 8.2 diesen Lichtpuls 10, welcher von dem realen Bediengerät 5 als reflektierter Puls 11 zurück- geworfen wird und auf einen Lichtsensor 8.4 des Empfangs-Moduls 8.3 trifft. Der vom Sende-Modul 8.2 emittierte Lichtpuls 10 kann als breitge- fächerter Puls emittiert werden, welcher insbesondere zwischen den Gren- zen des Sensorbereichs 7.1 liegenden Bereichs abdecken kann. Alternativ kann es sich bei dem Lichtpuls 10 um einen fokussierten Puls handeln, wel- chen das Sende-Modul 8.2 zur Abrasterung des sich zwischen den Grenzen des Sensorbereichs 7.1 erstreckenden Bereichs jeweils zeitlich versetzt ent- lang einer anderen Raumrichtung emittiert.

Um über die Laufzeit des Lichtpulses 10 und des reflektierten Pulses 11 den Abstand A der Hand von dem 3D-Sensorsystem 7 bestimmen zu können, sind das Sende-Modul 8.2 und das Empfangs-Modul 8.3 derart miteinander syn- chronisiert, dass die Zeit zwischen dem Emittieren des Lichtpulses 10 durch das Sende-Modul 8.2 und das Detektieren des reflektierten Pulses 11 durch den Lichtsensor 8.4 des Empfangs-Moduls 8.3 genau bestimmt werden kann. Aus dieser Zeitdifferenz sowie der bekannten Ausbreitungsgeschwindigkeit des Lichtpulses 10 sowie des reflektierten Pulses 11 lässt sich der Abstand A bestimmen. Hierbei werden insbesondere kurze Lichtpulse 10 im Bereich von wenigen Nanosekunden und darunter verwendet, welches vorzugsweise im Infrarotbereich liegen. Wie im Zusammenhang mit Fig. 1 beschrieben, werden zur Steigerung der Genauigkeit mehrere 3D-Sensorsysteme 7 verwendet. Um mit diesen 3D- Sensorsystemen 7 eine möglichst genaue Erfassung der Position und Lage des realen Bediengeräts 5 zu ermöglichen, werden die 3D-Sensorsysteme 7 vor dem Simulationsbeginn aufeinander kalibriert, wie dies in Fig. 11 dar- gestellt ist.

Im oberen Teil der Fig. 11 ist der Simulationsraum 200 mit zwei darin ange- ordneten 3D-Sensorsystemen 7 gezeigt. Jedes der 3D-Sensorsysteme 7 weist ein eigenes Koordinatensystem B1 , B2 auf, in welchem die Position eines durch das jeweilige 3D-Sensorsystem 7 gemessenen Raumpunktes P be- stimmt wird. Hierüber hinaus ist in dem Simulationsraum 200 auch ein Ko- ordinatenreferenzsystem B0 dargestellt, auf welches die 3D-Sensorsysteme 7 kalibriert werden sollen. Dieses Koordinaten referenzsystem B0 kann hier- bei ein Koordinatensystem eines dritten 3D-Sensorsystems 7 sein oder auch beispielsweise ein der Anzeigevorrichtung 4 zugeordnetes Koordinatensys- tem sein. Einem einzelnen sich im Simulationsraum 200 befindenden Raumpunkt P werden in jedem der Koordinatensysteme B1 , B2 sowie dem Koordinatenre- ferenzsystem B0 eigene, unterschiedliche Koordinaten zugewiesen. So trägt der Raumpunkt P in dem Koordinatensystem B1 die kartesischen Koordina- ten x₁, y₁ und z₁, in dem Koordinatensystem B2 die kartesischen Koordina- ten X₂, y₂ und Z₂ sowie im Koordinatenreferenzsystem B0 die kartesischen Koordinaten x₀, y₀, z₀. Damit diesem einzelnen Raumpunkt P für das wie- tere Verfahren von sämtlichen 3D-Sensorsystemen 7 die gleichen Koordina- ten zugewiesen werden, erfolgt eine Kalibrierung K auf das Koordinatenre- ferenzsystem B0. Bei dieser Kalibrierung K werden die Positionen und Lagen der 3D-Sensorsysteme 7 und somit ihrer jeweiligen Koordinatensysteme B1 und B2 relativ zu dem Koordinaten referenzsystem B0 bestimmt. Aus diesen relativen Lagen und Positionen wird nun jeweils eine Transformationsfunk- tion, insbesondere in Form einer Transformationsmatrix für jedes der Koor- dinatensysteme B1, B2 bestimmt und auf diese Koordinatensysteme B1, B2 angewandt. Nach erfolgreicher Kalibrierung K wird dem Raumpunkt P von beiden 3D-Sensorsystemen 7 jeweils die übereinstimmenden kartesischen Koordinaten x₀, y₀, z₀ zugewiesen, welche der Position des Raumpunktes P, ausgehend von dem Koordinaten referenzsystem BO, entsprechen. Wenn- gleich die vollständige Kalibrierung für ein kartesisches Koordinatensystem beschrieben wurde, kann eine derartige Kalibrierung aber auch in einem anderen Koordinatensystem, wie beispielsweise einem Kugelkoordinaten- system oder Zylinderkoordinatensystem erfolgen.

Die vor dem Einrichten des Simulationssystems 1 erfolgende Kalibrierung des 3D-Sensorsystems 7 und des Signalgebers 18 aufeinander erfolgt im We- sentlichen analog zu der Kalibrierung mehrerer 3D-Sensorsysteme 7, wie dies im Zusammenhang mit Fig. 11 obenstehend beschrieben ist.

Mit Hilfe des voranstehend beschriebenen realen Bediengeräts 5 sowie des Simulationssystems 1 und des Verfahrens kann die Übertragbarkeit des Er- gebnisses einer Simulation mit einem realen Bediengerät 5 verbessert wer- den.

Bezugszeichen:

1 Simulationssystem 2 virtuelle Umgebung

2.1 Panzerturm 2.2 Waffe 2.3 virtuelles Hindernis

3 virtuelles Bediengerät 3.1 virtuelles Bedienelement

3.2 virtuelles Anzeigeelement

4 Anzeigevorrichtung

5 reales Bediengerät

5.1 reales Bedienelement 5.1a Kippschalter

5.1b Drehregler 5.1c Taste

5.1d Drehschalter 5.1e Griff 6 Anbindungselement

7 3D-Sensorsystem

7.1 Grenzen des Sensorbereichs

8 Tiefenkamera

8.1 Teilkamera 8.2 Sende-Modul

8.3 Empfangs-Modul

8.4 Lichtsensor

9 Farbkamera

10 Lichtpuls 11 reflektierter Puls

12 Trägerplatte 12.1 Anbindungsstelle

13 Punktwolke

13.1 Punkt

13.2 Punktwolkendaten 14 Marker

18 Signalgeber

19 Hindernis- Element

20 Basisplatte 21 Oberfläche 23 Energieversorgung

24 WLAN-Modul

25 Mikrocontroller

26 Schaltkreisbahn 100 Einrichter

200 Simulationsraum

201 Aktionsbereich

300 Fahrzeug-Bediengerät

301 Fahrzeug-Bedienelement 301a Kippschalter

301b Drehregler

301c Taste

301d Schlüsselschalter

301e Schlüssel 302 Fahrzeug-Anzeigeelement

303 Oberfläche

400 virtuelle Darstellung (des Fahrzeug-Bediengeräts) 1000 reales Fahrzeug

1003 reales Hindernis 1100 Fahrzeuginnere A Abstand B0 Koordinatenreferenzsystem B1 Koordinatensystem B2 Koordinatensystem G Position K Kalibrierung P Raumpunkt R Geradeausrichtung V Vorgabeposition a, β Raumwinkel

Claims

Patentansprüche:

1. Reales Bediengerät zur Simulation eines Fahrzeug-Bediengeräts (300) eines Fahrzeuginneren (1100), insbesondere eines militärischen Fahr- zeugs (1000), in einem Simulationsraum (200), gekennzeichnet durch eine von einem 3 D- Sensorsystem (7) erfassbare Positionsmarkierung (14) zur Positionsbestimmung im Simulationsraum (200).

2. Reales Bediengerät nach Anspruch 1, dadurch gekennzeichnet, dass die Positionsmarkierung (14) ein, insbesondere zweidimensionaler, Marker (14) und/oder eine farbliche Markierung ist. 3. Reales Bediengerät nach einem der Ansprüche 1 oder 2, gekenn- zeichnet durch eine, insbesondere freie, Positionierbarkeit auf einer Trägerplatte (12) im Simulationsraum (200).

4. Reales Bediengerät nach einem der vorhergehenden Ansprüche, ge- kennzeichnet durch eine Ausgestaltung als Nachbildung des Fahr- zeug-Bediengeräts (300).

5. Reales Bediengerät nach einem der vorhergehenden Ansprüche, ge- kennzeichnet durch eine Ausgestaltung als rein haptischer Dummy.

6. Simulationssystem zur Simulation eines Fahrzeug-Bediengeräts (300) in einem Fahrzeuginneren (1100), insbesondere eines militärischen Fahrzeugs (1000), innerhalb eines Simulationsraums (200), gekennzeichnet durch ein reales Bediengerät (5) zur Simulation des Fahrzeug-Bediengeräts

(300) und ein 3D-Sensorsystem (7) zur Erfassung des realen Bedien- geräts (5).

7. Simulationssystem nach Anspruch 6, gekennzeichnet durch mehrere reale Bediengeräte (5) nach Art eines Baukastens zur Nachbildung des Fahrzeuginneren (1100) verschiedener Fahrzeugtypen.

8. Verfahren zur Einrichtung eines Simulationssystems (1 ) nach An- spruch 6 in dem Simulationsraum (200), d a d u r c h g e k e n n z e i c h n e t , dass die Position (G) des realen Bediengeräts (5) von dem 3D-

Sensorsystem (7) erfasst wird und wobei die erfasste Position (G) des realen Bediengeräts (5) einem Einrichter (100) mittels einer Anzeige- vorrichtung (4) in einer virtuellen Umgebung (2) dargestellt wird. 9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass an der erfassten Position (G) des realen Bediengeräts (5) in der virtuellen Umgebung (2) ein virtuelles Bediengerät (3) dargestellt wird.

10. Verfahren nach einem der Ansprüche 8 oder 9, dadurch gekennzeich- net, dass die in der virtuellen Umgebung (2) dargestellte Position (G) des realen Bediengeräts (5) mit einer in der virtuellen Umgebung (2) angezeigten Vorgabeposition (V) in Deckung gebracht wird.

11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass das vir- tuelle Bediengerät (3) mit einer virtuellen Darstellung (400) des

Fahrzeug-Bediengeräts (300) in der virtuellen Umgebung (2) überein- stimmend positioniert wird.

12. Verfahren nach einem der Ansprüche 8 oder 9, dadurch gekennzeich- net, dass das reale Bedienelement (5) zum Um- oder Neugestalten des simulierten Fahrzeuginneren (1100) im Rahmen eines zum Ein- richten gehörigen Designprozesses im Simulationsraum (200) positio- niert wird.

13. Verfahren nach einem der Ansprüche 8 bis 12, dadurch gekennzeich- net, dass aus der Position (G) des realen Bediengeräts (5) eine zur

Simulation verwendete Position einer virtuellen Darstellung (400) des Fahrzeug-Bediengeräts (300) ermittelt wird.

14. Verfahren nach einem der Ansprüche 8 bis 13, dadurch gekennzeich- net, dass die virtuelle Umgebung (2) an den Simulationsraum (300) und insbesondere die Position (G) des realen Bediengeräts (5) ange- passt wird.

15. Verfahren nach einem der Ansprüche 13 oder 14, dadurch gekenn- zeichnet, dass die virtuellen Darstellungen mehrerer realer Bedien- geräte (5), insbesondere Bediengeräte (5) mit je nur einem Bedien- element (5.1 ), zu einer virtuellen Darstellung (400) eines neuen Fahrzeug-Bediengeräts (300) zusammengefasst werden. 16. Verfahren nach einem der Ansprüche 13 bis 15, dadurch gekenn- zeichnet, dass die zur Simulation verwendete virtuelle Darstellung (400) des Fahrzeug-Bediengeräts (300) aus einer Modelldatenbank ausgewählt wird. 17. Verfahren nach einem der Ansprüche 8 bis 16, dadurch gekennzeich- net, dass die zur Simulation genutzte virtuelle Umgebung (2) aus hin- terlegten virtuellen Modellen mehrerer Fahrzeug-Bediengeräte (300) zusammengesetzt wird. 18. Verfahren nach einem der Ansprüche 8 bis 17, dadurch gekennzeich- net, dass das 3D-Sensorsystem (7) das reale Bediengerät (5) mit einer Tiefenkamera (8) und/oder eine Farbkamera (9) erfasst.

19. Verfahren nach einem der Ansprüche 8 bis 18, dadurch gekennzeich- net, dass mehrere, insbesondere drei, aufeinander kalibrierte 3D- Sensorsysteme (7) verwendet werden.

20. Verfahren nach Anspruch 19, dadurch gekennzeichnet, dass die 3D- Sensorsysteme (7) von unterschiedlichen Positionen im Simu- lationsraum (200) aus auf einen Aktionsbereich (201 ) gerichtet sind.

21 . Verfahren nach einem der Ansprüche 8 bis 20, dadurch gekennzeich- net, dass die Position einzelner Punkte (13.1 ) im Simulationsraum (200) relativ zum 3D-Sensorsystem (7) gemessen wird. 22. Verfahren nach Anspruch 21, dadurch gekennzeichnet, dass die Posi- tion (G) des realen Bediengeräts (5), insbesondere einer Vielzahl ein- zelner Punkte (13.1 ) auf dem realen Bediengerät (5), zum 3D- Sensorsystem (7) gemessen wird. 23. Verfahren nach einem der Ansprüche 21 oder 22, dadurch gekenn- zeichnet, dass die gemessenen, insbesondere die mit dem realen Be- diengerät (5) korrespondierenden, Positionen zu Punktwolkendaten (13.2) zusammengefasst und als Punktwolke (13) in der virtuellen Umgebung (2) dargestellt werden.

24. Verfahren nach einem der Ansprüche 8 bis 23, dadurch gekennzeich- net, dass eine Hintergrundtiefenaufnahme des Simulationsraums er- stellt wird.