WO2021104580A1

WO2021104580A1 - Virtuelles training mit einem realen bediengerät

Info

Publication number: WO2021104580A1
Application number: PCT/DE2020/101004
Authority: WO
Inventors: Manuel Pabst; Dr. Michael Haubner
Original assignee: Krauss-Maffei Wegmann Gmbh & Co. Kg
Priority date: 2019-11-28
Filing date: 2020-11-27
Publication date: 2021-06-03
Also published as: EP4066226A1

Abstract

Verfahren zum Training eines Besatzungsmitglieds (100) eines, insbesondere militärischen, Fahrzeugs in einem realen Trainingsraum (200), wobei eine rein virtuelle Umgebung (2) erzeugt wird, welche mindestens ein virtuelles Bediengerät (3) enthält, wobei das Besatzungsmitglied (100) eine kopffeste, im Sichtfeld des Besatzungsmitglieds (100) angeordnete Anzeigevorrichtung (4) trägt und wobei dem Besatzungsmitglied (100) die rein virtuelle Umgebung (2) auf der Anzeigevorrichtung (4) dargestellt wird, und wobei die Hände (101) des Besatzungsmitglieds (100) positions- und lagerichtig in der virtuellen Umgebung (2) dargestellt werden, wobei ein dem virtuellen Bediengerät (3) zugeordnetes reales Bediengerät (5) im Trainingsraum (200) ein haptisches Feedback bei der Bedienung des virtuellen Bediengeräts (3) gibt.

Description

Virtuelles Training mit einem realen Bediengerät

Die vorliegende Erfindung befasst sich mit einem Verfahren zum Training eines Besatzungsmitglieds eines, insbesondere militärischen, Fahrzeugs in einem realen Trainingsraum, wobei eine rein virtuelle Umgebung erzeugt wird, welche mindestens ein virtuelles Bediengerät enthält, das Besat zungsmitglied eine kopffeste, im Sichtfeld des Besatzungsmitglieds ange ordnete Anzeigevorrichtung trägt und dem Besatzungsmitglied die rein vir tuelle Umgebung auf der Anzeigevorrichtung dargestellt wird, sowie einem Trainingssystem zur Durchführung eines solchen Verfahrens.

Das Training von Besatzungsmitgliedern eines insbesondere militärischen Fahrzeugs, kann zur initialen Erstausbildung oder zur Auffrischung und wei- teren Einprägung bereits ausgebildeter Abläufe bei der Bedienung des Fahr zeugs dienen. Sie erfolgt zumeist in dem jeweiligen Fahrzeug selbst. Hier zu werden entweder aufwendige und kostspielige Übungsfahrten, Manöver oder die tatsächlichen Einsatzbedingungen nur entfernt wiedergebende und daher weniger effektive Trockenübungen durchgeführt.

Eine Alternative hierzu bildet der Einsatz von Simulator-Kabinen, welche einen einzelnen Fahrzeugtyp ganz oder teilweise real nachbilden und mit denen einzelne Trainingsszenarien realitätsgetreuer, d. h. nahe an dem realen Einsatz im realen Fahrzeug, durgeführt werden können. Derartige Simulator-Kabinen sind jedoch sehr kostspielig, aufwendig in der Produktion und benötigen viel Platz. Zudem kann es erforderlich sein, dass für jede Besatzungsposition im realen Fahrzeug, wie Kommandant, Fahrer oder Richtschütze, eine eigene Simulator-Kabinen angeschafft werden muss.

In den letzten Jahren halten daher vermehrt Trainingskonzepte unter Ein satz virtueller Realitäten (VR, Virtual Reality) Einzug. Bei diesen Trainings konzepten findet das Training des Besatzungsmitglieds in einem, verglichen mit dem Inneren einer Simulator-Kabine, einfach strukturierten realen Trainingsraum statt. Diese Trainingskonzepte lassen sich beispielsweise auch in einfachen Büro- oder Kasernenräumen umsetzen. Hierbei trägt das Besatzungsmitglied eine kopffeste, im Sichtfeld des Besatzungsmitglieds angeordnete Anzeigevorrichtung, wie beispielsweise eine kommerziell er hältliche VR-Brille. Eine rein virtuelle Umgebung, welche das Fahrzeug und die Fahrzeugumgebung nachbildet, wird auf dieser Anzeigevorrichtung dar gestellt.

Anders als Umgebungen einer erweiterten Realität (AR, Augmented Reali ty), wie sie beispielsweise aus der DE 102010016 113 A1 bekannt sind, in welcher eine Aufnahme des realen Fahrzeuginneren teilweise mit künstli chen Bildinformationen überdeckt wird, enthalten die reinen virtuellen Umgebungen keine Bildinformationen, welche durch eine mit der Anzeige vorrichtung verbundenen see-through-Kamera von der realen Umgebung im Trainingsraum aufgenommen wurden (Video-see-through). Die rein virtuel len Umgebungen liefern hierbei einen konsistenteren und realistischeren Gesamteindruck. So weist die virtuelle Umgebung keine Unterschiede in der graphischen Qualität auf, wie dies zwischen virtuellen und mit der see- through-Kamera aufgenommenen Teilen der Umgebung einer erweiterten Realität der Fall wäre. Auch könnte es in einer erweiterten Realität nicht zu einer Verdeckung realer Objekte im Trainingsraum durch Teile der er weiterten Umgebung kommen, was sich insoweit nicht mit der Realität deckt. Die in einer erweiterten Umgebung dargestellte und mit der see- through-Kamera aufgenommene Hand des Besatzungsmitglieds könnte bei spielsweise nicht hinter ein virtuelles Bediengerät greifend dargestellt wer den. Durch den Einsatz einer rein virtuellen Umgebung wird zudem eine Übelkeit bei dem Besatzungsmitglied vermieden, welche sich aufgrund des verschobenen Augpunkts, d. h. der nicht mit der Position der Augen des Besatzungsmitglieds übereinstimmenden Position der see-through-Kamera, insbesondere bei Kopfbewegungen einstellt.

Mit dieser rein virtuellen Umgebung kann das Besatzungsmitglied mittels eines Interaktionsgeräts, wie einer Maus, einer Tastatur, eines Gamepads oder eines VR-Controllers, interagieren und sich bewegen. Mit diesen Inter aktionsgeräten kann das Besatzungsmitglied ein in der virtuellen Umgebung befindliches virtuelles Bediengerät bedienen. Das virtuelle Bediengerät ist hierbei eine virtuelle Nachbildung eines Fahrzeug-Bediengeräts, wie es in dem realen Fahrzeug vorhanden ist. Solche Bediengeräte können ein oder mehrere Bedienelemente, wie Schalter, Tasten, Drehregler, Wählhebel, Pedale, Lenkräder umfassen, welche getrennt voneinander bedienbar sind. Die rein virtuelle Umgebung kann einfach an den Ablauf eines Trainings szenarios angepasst werden. Zudem lassen sich mit einem derartigen Sys tem Trainings für verschiedene Fahrzeugtypen durchführen, ohne dass je Fahrzeugtyp ein gesondertes System angeschafft werden muss, wie dies bei Simulator-Kabinen der Fall ist.

Nachteilig an den bisherigen Trainingskonzepten unter Einsatz virtueller Realitäten ist es, dass mit den Interaktionsgeräten Bewegungsabläufe ein trainiert werden, welche von den für die Bedienung des realen Fahrzeugs und dessen Fahrzeug-Bediengeräten erforderlichen Bewegungsabläufen ab weichen. So werden bei derartigen Trainingskonzepten beispielsweise Kipp schalter des virtuellen Bediengeräts durch Anvisieren mit dem VR-Con- troller und Betätigen einer entsprechenden Taste auf dem VR-Controller betätigt, während die Fahrzeug- Bediengeräte des realen Fahrzeugs ein An heben oder Herunterdrücken des entsprechenden Kipp-Schalters mit einem Finger erfordern. Dies führt zu einem Bruch der Übertragbarkeit des Trai nings auf den realen Einsatz.

Die A u f g a b e der vorliegenden Erfindung liegt daher darin, die Über tragbarkeit des Trainings in virtuellen Umgebungen auf den realen Einsatz zu verbessern.

Diese Aufgabe wird bei einer Vorrichtung der eingangs genannten Art da durch g e l ö s t , dass die Hände des Besatzungsmitglieds positions- und lagerichtig in der virtuellen Umgebung dargestellt werden, wobei ein dem virtuellen Bediengerät zugeordnetes reales Bediengerät im Trainingsraum ein haptisches Feedback bei der Bedienung des virtuellen Bediengeräts gibt.

Durch die positions- und lagerichtige Darstellung der Hände in der virtuel len Umgebung und das haptische Feedback durch das dem virtuellen Be diengerät zugeordnete reale Bediengerät kann das Besatzungsmitglied mit dem virtuellen Bediengerät realitätsgetreu, d. h. nahe an dem realen Ein satz im realen Fahrzeug, unter Einsatz seiner Hände trainiert werden. Das haptische Feedback des realen Bediengeräts kann neben einem aktiven Feedback, wie ein Vibrieren oder ein vom Bediengerät ausgeübter Druck, auch ein passives Feedback, wie eine erfühlbare Oberfläche oder Struktur, welche vom Benutzer mittels seines Tastsinns wahrgenommen werden kann, oder eine Kombination aus aktiven und passiven Feedbacks sein. Auf die Nutzung von Interaktionsgeräten, wie Mäusen, Tastaturen, Gamepads oder VR-Controllern, kann während des Trainings verzichtet werden. Das reale Bediengerät befindet sich nach Art einer physischen Manifestation des virtuellen Bediengeräts in dem Trainingsraum. Positions- und lagerichtig ist eine Darstellung der Hände, wenn sie die Lage und die Position der realen Hände des Besatzungsmitglieds im Trainingsraum als auch relativ zum Be satzungsmitglied richtig wiedergibt. Die Position der Hand ist dabei jener Ort, an welchem sich die Hand relativ zum Besatzungsmitglied befindet.

Die Position kann beispielsweise über Koordinaten in einem Koordinaten system angegeben werden. Die Lage der Hand entspricht hingegen ihrer Orientierung im Raum, d. h. jener räumlichen Ausrichtung, welche sie an ihrer Position einnimmt. Die positions- und lagerichtige Darstellung bein haltet auch die Handstellung, beispielsweise eine geballte Faust, eine ge krümmte Hand oder eine flach ausgestreckte Hand mit gespreizten oder zusammenliegenden Fingern. Insbesondere kann sich die positions- und la gerichtige Darstellung der Hand auch auf die Position und Lage einzelner Finger der Hand erstrecken, so dass auch eine Krümmung einzelner Finger der Hand positions- und lagerichtig dargestellt wird.

Insbesondere für militärische Fahrzeuge, in welchen zumeist komplexe Be diengeräte verbaut sind, kann eine einfache, präzise und dem realen Ein satz besser wiedergebende Bedienung während des Trainings ermöglicht werden. Beispielsweise kann die Betätigung eines von mehreren eng bei einanderliegenden Bedienelementen des Bediengeräts oder die gleichzeiti ge Betätigung mehrerer Bedienelemente trainiert werden. Das Verfahren kann auch zum Training mit mehreren virtuellen Bediengeräten durchge- führt werden, wobei jedem virtuellen Bediengerät jeweils ein reales Be diengerät zugeordnet ist.

In einer vorteilhaften Weiterbildung der Erfindung wird das reale Bedien- gerät im Trainingsraum in einer relativen Position und/oder Lage zum Be satzungsmitglied angeordnet, welche der relativen Position und/oder Lage des virtuellen Bediengeräts zum Besatzungsmitglied in der virtuellen Um gebung entspricht. Es hat sich als besonders vorteilhaft erwiesen, wenn die Bedienelemente des realen Bediengeräts und des virtuellen Bediengeräts zueinander deckungsgleich in ihren relativen Positionen und/oder Lagen sind. Da die Hand des Besatzungsmitglieds mit dem realen, für das Besat zungsmitglied in der virtuellen Umgebung nicht sichtbare Bediengerät in teragieren soll, sind hohe Anforderungen an die Präzision und die Genauig keit der positions- und lagerichtigen Darstellung der Hand zu stellen. Eine Abweichung zwischen der in der virtuellen Umgebung wiedergegebenen Position und Lage der Hand von ihrer tatsächlichen Position und Lage im Trainingsraum kann zu Verletzungen führen, beispielsweise wenn das Be satzungsmitglied ein zur Darstellung seiner Hand ferner liegendes virtuelles Bediengerät bedienen möchte, hierbei jedoch gegen das seiner Hand näher- liegende reale Bediengerät stößt.

Weiter vorteilhaft ist es, wenn das reale Bediengerät, insbesondere frei, auf einer Trägerplatte positioniert wird. Durch die Positionierung auf der Trägerplatte kann das reale Bediengerät auf einfache Weise an die relative Position des virtuellen Bediengeräts in der virtuellen Umgebung angepasst werden. Zusammen mit einem oder mehreren auf ihr positionierten Bedi engeräten kann die Trägerplatte beispielsweise ein Armaturenbrett oder ein Bedienpanel des realen Fahrzeugs zum Training nachbilden. Die Träger platte befindet sich hierzu im Trainingsraum und/oder ist Teil einer Innen- wand des Trainingsraums. Vorzugsweise ist das reale Bediengerät auf der Trägerplatte in seiner Lage ausrichtbar, beispielsweise um eine oder meh- rere Achsen drehbar oder kippbar. Durch die Ausrichtbarkeit kann die Lage des realen Bedienelements an die Lage des virtuellen Bediengeräts in der virtuellen Umgebung angepasst werden. Eine freie Positionierung und/oder Ausrichtung auf der Trägerplatte, bei welcher keine Positionen durch trä- gerplattenseitige Verbindungsmittel vorgegeben sind, hat sich als besonders vorteilhaft erwiesen. Eine solche freie Positionierung kann beispielsweise über Magnete, Nadeln, Schrauben oder Klebemittel auf der insbesondere hölzernen oder metallischen Trägerplatte, erfolgen. Alternativ kann eine Positionierung über Anbindungselemente erfolgen, insbesondere Rast-, Schraub- und/oder Steckelemente, welche mit Anbindungsstellen, insbe sondere nach Art von Nuten, Rast-, Schraub- und/oder Steckstellen, der Trägerplatte Zusammenwirken. Die Trägerplatte kann hierzu insbesondere nach Art einer Rasterplatte mit in einem regelmäßigen Muster angeordne ten Anbindungsstellen ausgebildet sein.

Die Trägerplatte kann zur Positionierung im Trainingsraum an einer ver stellbaren Schwanenhalshalterung, einem Magie-Arm, einem Gelenkarm oder einem Stativ, im Trainingsraum in ihrer Position und Lage verstellbar positioniert werden.

Das reale Bediengerät kann nach der Positionierung positions- und/oder lagerichtig im Trainingsraum fixiert werden, d. h. in seiner Position und/oder Lage im Trainingsraum fest, aber dennoch lösbar im Trainings raum angeordnet werden.

Die Positionierung des Bediengeräts kann mittels einer Schablone erfolgen. Diese kann die Position des Bediengeräts auf der Trägerplatte und bei der Verwendung mehrerer Bediengeräte auch die relativen Positionen der Bedi engeräte zueinander vorgeben. Die realen Bediengeräte können mit der Schablone auf schnelle und einfache Weise in den richtigen, d. h. die Posi tionen der virtuellen Bediengeräte wiedergebenden Positionen auf der Trä- gerplatte positioniert werden. Vorzugsweise könne für jeden Fahrzeugtyp, insbesondere für jede Besatzungsposition im Fahrzeug, fahrzeugspezifische Schablonen vorgehalten werden. Vorteilhafter Weise kann die Positionierung des Bediengeräts mittels der virtuellen Umgebung und einer erfassbaren Markierung des Bediengeräts oder einem initialen Einmessen, beispielsweise mit einem Eingabegerät ei nes VR-Anzeigesystems, erfolgen, zu welchem die Anzeigevorrichtung ge hört. Das Eingabegerät kann nach Art eines Controllers, insbesondere eines VR-Controllers, ausgebildet sein. In der virtuellen Umgebung kann die Posi tion des mit dem realen Bediengeräts in Berührung bringbaren Controllers zur Überprüfung der korrekten Position des realen Bediengeräts angezeigt werden. Die Erfassung mittels einer Markierung kann dabei in regelmäßigen zeitlichen Abständen zur Laufzeit des Trainings erfolgen, um eine Umposi- tionierung zu erlauben.

Hierzu kann vorzugsweise die Position der Markierung als Positionsmarkie rung des Bediengeräts von einem 3D-Sensorsystem im Trainingsraum erfasst werden. Über diese erfasste Position der Positionsmarkierung und deren bekannte Relativposition und/oder Relativlage relativ zum gesamten realen Bediengerät kann die Position des realen Bediengeräts im Trainingsraum bestimmt werden.

Mittels der Positionsmarkierung kann die Position des realen Bediengeräts überwacht und eine Umpositionierung des Bediengeräts zur Laufzeit des Trainings erkannt, insbesondere quantitativ erfasst, werden. Die virtuelle Umgebung kann an eine geänderte Position des realen Bediengeräts, insbe sondere während der Laufzeit des Trainings, angepasst werden. Alternativ oder zusätzlich kann bei einer erkannten Umpositionierung des Bedienge- räts das Training automatisch beendet, eine Warnmeldung ausgegeben und/oder eine Fehlermeldung ausgegeben werden. Die Positionsmarkierung kann ein, insbesondere zweidimensionaler, Marker und/oder eine farbliche Markierung sein. Die Positionsmarkierung kann als Marker und/oder als farbliche Markierung auf konstruktiv einfache Weise bereitgestellt werden. Der Marker kann nach Art eines QR-Codes ausgebil det sein. Eine als farbliche Markierung ausgebildete Positionsmarkierung kann einfarbig ausgestaltet sein. Die farbliche Markierung kann alternativ oder zusätzlich das gesamte reale Bediengerät, insbesondere allseitig, be decken, wodurch eine Erfassung des gesamten realen Bediengeräts durch ein 3 D- Sensorsystem auf einfache Art ermöglicht wird.

Weiter vorteilhaft ist es, wenn ein einem Fahrzeug- Bediengerät des Fahr zeugs nachgebildetes reales Bediengerät verwendet wird. Bedienelemente des realen Bediengeräts weisen die gleiche Anordnung zueinander auf, wie bei dem Fahrzeug-Bediengerät. Vorzugsweise werden reale Bedienelemente des gleichen Typs, z. B. Schalter, Tasten, Drehregler, Wählhebel, Pedale oder Lenkräder, wie sie bei dem Fahrzeug-Bediengerät zu finden sind, in der gleichen Anordnung verwendet. Das reale Bediengerät kann vorteilhaf terweise auch die, insbesondere zwischen den Bedienelementen liegende, Oberflächenstruktur des Fahrzeug-Bediengeräts nachbilden. Mit einem dem Fahrzeug- Bediengerät des Fahrzeugs, für welches das Training des Besat zungsmitglieds durchführt wird, nachgebildetes reales Bediengerät kann eine Kostenersparnis erzielt werden. Denn bei dem realen Bediengerät kann auf Funktionen verzichtet werden, wie sie bei dem in realen Fahr zeugen zum Einsatz kommenden Fahrzeug-Bediengerät anzutreffen sind. Beispielsweise kann das reale Bediengerät keine funktionstüchtigen Anzei geelemente, wie Lampen, Messinstrumente oder Displays, aufweisen. Diese können von dem Besatzungsmitglied in der virtuellen Umgebung nicht wahrgenommen werden, sondern können durch entsprechende virtuelle Anzeigeelemente oder Darstellungen in der virtuellen Umgebung ersetzt werden. Das virtuelle Bediengerät kann ein virtuelles Anzeigeelement um- fassen, ohne dass das reale Bediengerät ein reales Anzeigeelement auf weist. Gleichwohl kann das reale Bediengerät elektrisch und/oder mecha nisch funktionstüchtige Bedienelement aufweisen, wie sie insbesondere auch bei einem Fahrzeug-Bediengerät zum Einsatz kommen können. Diese funktionstüchtigen realen Bedienelement können fabrikatgleich zu den Be dienelementen des Fahrzeug- Bediengeräts oder kostengünstigere Fabrikate des gleichen Typs sein. Die Funktionstüchtigkeit der Bedienelemente im realen Bediengerät kann sich auf die mechanische Betätigbarkeit beschrän ken. Insbesondere können diese realen Bedienelemente nicht in einen Schaltkreis eingebracht sein, so dass bei Betätigung eines Bedienelements des realen Bediengeräts beispielsweise kein elektrisches Signal erzeugt wird. Zudem kann das reale Bediengerät auch grob gefertigt und /oder op tisch nicht sehr ansprechend ausgeführt sein, da das Besatzungsmitglied nur das virtuelle Bediengerät visuell wahrnimmt.

In besonders vorteilhafter Weise weist das reale Bediengerät keinen Schalt kreis auf. Durch den Verzicht auf Schaltkreise im Bediengerät kann die Her stellung des realen Bediengeräts vereinfacht werden.

Es ist möglich, dass das Bediengerät mechanische Funktionen aufweist, wie sie ein Fahrzeug-Bediengerät bereitstellt. Die mechanische Funktion kann eine Betätigungsfunktion, welche eine Betätigungsstellung des Betätigungs elements verändert, und/oder eine Anpassungsfunktion an das Besatzungs mitglied sein. Eine Betätigungsfunktion kann beispielsweise die Umlegbar- keit eines Schalters, die Drückbarkeit einer Taste oder eines Pedals, die Drehbarkeit eines Drehreglers oder eines Lenkrads oder die Verstellbarkeit eines Wahlhebels sein. Eine Anpassungsfunktion kann beispielsweise die Anpassung der Länge und/oder des Winkels einer Lenkradsäule an die Sta tur des Besatzungsmitglieds sein. Bevorzugt wird ein rein haptischer Dummy als reales Bediengerät verwen det. Ein solcher rein haptischer Dummy kann eine Nachbildung eines funk tionstüchtigen Bedienelements als reales Bedienelement aufweisen, wie beispielsweise die Nachbildung eines Schalters, einer Taste, eines Drehreg lers, eines Wahlhebels, eines Pedals oder eines Lenkrads. Dieses reale Be dienelement kann dem Besatzungsmitglied auf einfache Weise ein hapti sches Feedback über seine Position geben. Vorzugsweise kann das reale Bediengerät als rein haptischer Dummy mechanisch funktionslos sein, d. h. es stellt keine weiteren mechanischen Funktionen bereit, insbesondere ist es nicht betätigbar. Ein mechanisch funktionsloser, haptischer Dummy gibt hierbei ein passives haptisches Feedback. Solche ein mechanisch funktions loser Dummy lässt sich auf besonders einfache Art und Weise herstellen. In diesem Zusammenhang hat sich eine Herstellung des haptischen Dummys aus formbaren Kunststoffen, insbesondere einer thermisch aushärtendem Polymer-Modelliermasse oder einem Polymer-Lehm, nach Art einer Attrap pe eines Fahrzeug-Bediengeräts als vorteilhaft erwiesen.

Gemäß einem Ausführungsbeispiel der Erfindung wird eine Betätigung des realen Bediengeräts erfasst. Die Erfassung der Betätigung eines realen Be diengeräts, insbesondere eines realen Bedienelements, kann die Realitäts getreue des Trainings weiter verbessern. Abhängig von der erfassten Betä tigung des realen Bediengeräts, kann der weitere Verlauf des Trainings be stimmt werden, insbesondere hinsichtlich Auswirkungen der erfassten Betä tigung auf die virtuelle Umgebung. Die richtige und genaue Bedienung eines komplex bedienbaren Bediengeräts, welches beispielsweise einen Drehreg ler mit mehreren Regelstufen oder einem stufenlosen Regelbereich um fasst, kann realitätsgetreuer trainiert werden.

Ferner kann es vorteilhaft sein, wenn zur Erfassung der Betätigung eine Veränderung des realen Bediengeräts erfasst wird. Die Veränderung des realen Bediengeräts kann durch eine Überwachung der Betätigungsstellung des realen Bediengeräts erfasst werden. Beispielsweise kann ein Sensor in dem Bediengerät eine Änderung der Betätigungsstellung eines Bedienele ments erfassen, wie das Drehen eines Lenkrads, das Umlegen eines Schal ters oder das Drücken einer Taste. Die Erfassung kann durch außerhalb des Bediengeräts liegende Mittel erfolgen.

In diesem Zusammenhang hat es sich als vorteilhaft erwiesen, wenn durch die Betätigung des realen Bediengeräts mindestens ein elektrisches Signal vom realen Bediengerät erzeugt wird. Ein elektrisches Signal kann auf ein fache Weise durch Betätigung des realen Bediengeräts erzeugt werden. Auf besonders einfache Weise kann das elektrische Signal durch Schließen eines elektrischen Schaltkreises, beispielsweise durch Betätigung eines elektrisch funktionstüchtigen, realen Bedienelements, erzeugt werden. Das elektri sche Signal kann Informationen über die eingenommene Betätigungsstellung enthalten, insbesondere von Betätigungselementen mit mehr als zwei Betä tigungsstellungen. Von einem realen Bediengerät mit mehreren Bedienele menten können zugleich mehrere elektrische Signale erzeugt werden.

Das Bediengerät kann vorteilhafterweise berührungssensitive Elemente, wie Touch-Displays oder Folientaster, aufweisen. Durch berührungssensitive Elemente kann, ohne ein mechanisch funktionstüchtiges, reales Bedienele ment zu verwenden, eine Betätigung des realen Bediengeräts erkannt wer den. Insbesondere kann eine betätigende Berührung auf dem berührungs sensitiven Element ortsaufgelösten erkannt werde. Auf diese Weise lassen sich Fahrzeug-Bediengeräte mit berührungssensitiven Betätigungselemen ten, wie Touch -Displays, kostensparend nachbilden.

In vorteilhafter Weise wird das elektrische Signal kabelgebunden und/oder kabellos an einen Server übertragen. Der Server kann mit mehreren Bedi engeräten verbunden sein. Mit dem Server können weitere Bediengeräte auf einfache Weise zur Erweiterung eines Trainingssystems verbunden wer- den. Der Server kann das elektrische Signal des Bediengeräts selbst verar beiten und/oder an einen Trainingsrechner übermitteln. Abhängig von den elektrischen Signalen kann der Server direkt oder über den Trainingsrech ner die virtuelle Umgebung verändern. Zur kabellosen Übertragung weist das Betätigungsgerät vorzugsweise eine eigene Energieversorgung auf, ins besondere eine kapazitive Energieversorgung.

In einer weiteren Ausgestaltung erfolgt die Erfassung der Betätigung des realen Bediengeräts über eine Gestenerkennung. Durch Verwendung einer Gestenerkennung kann ein konstruktiv einfacherer Aufbau erzielt werden. Bei der Gestenerkennung können die durch Betätigung des realen Bedien geräts ausgeführten Handgesten erkannt und verarbeitet werden. Die Ges tenerkennung erfolgt vorteilhafter Weise auf dem Server oder dem Trai ningsrechner, insbesondere nach Art einer Subroutine oder eines eigen- ständigen Programms. Es können kostensparend schaltkreislose Bedien geräte verwendet werden.

Bevorzugt wird nach einer Betätigung des realen Bediengeräts die virtuelle Umgebung, insbesondere zur Anpassung an den Zustand des realen Bedien- geräts, verändert. Die Veränderung kann eine Aktualisierung des dargestell ten virtuellen Bediengeräts sein, welches die Betätigung des realen Bedien geräts reproduziert. Ein virtuelles Bedienelement kann an eine durch die Betätigung veränderte Betätigungsstellung eines zugeordneten realen Be dienelements angepasst werden. Beispielsweise kann nach einem Umlegen eines realen Schalters der zugeordnete virtuelle Schalter ebenfalls umge legt dargestellt werden. Alternativ oder zusätzlich kann ein virtuelles An zeigeelement, insbesondere ein nur in der virtuellen Umgebung und nicht im Trainingsraum vorhandenes Anzeigeelement, verändert werden. Die Veränderung des virtuellen Anzeigeelements kann zum Beispiel ein Auf- leuchten oder Blinken einer Lampe, die geänderte Darstellung eines Mess instruments, wie eine sich bewegende Tachonadel oder eine veränderte Anzeige auf einem virtuellen Display sein. Die Veränderung der virtuellen Umgebung kann die Auslösung einer virtuellen Aktion sein, wie ein Abfeu ern einer Waffe oder eine Änderung der virtuellen Bewegung des virtuellen Fahrzeugs.

In einer vorteilhaften Ausgestaltung der Erfindung wird die Position und die Lage der Hände des Besatzungsmitglieds in einem Aktionsbereich des Be satzungsmitglieds mit einem 3D-Sensorsystem erfasst. Zur Erfassung der Position und der Lage der Hände kann das 3D-Sensorsystem auf den Akti- onsbereich des Besatzungsmitglieds gerichtet sein, d. h. der Aktionsbereich befindet sich im Zentrum des Aufnahmebereichs des 3D-Sensorsystems. Bei dem Aktionsbereich des Besatzungsmitglieds handelt es sich um den Be reich des Trainingsraums, welcher sich von dem realen Bediengerät in Rich tung des Besatzungsmitglieds erstreckt und in welchem sich die Hände des Besatzungsmitglieds zur Betätigung des Bediengeräts bewegen. Durch die Ausrichtung auf den Aktionsbereich des Besatzungsmitglieds können die Hände zuverlässig bei der Betätigung des Bediengeräts erfasst werden.

In diesem Zusammenhang hat es sich als vorteilhaft erwiesen, wenn eine direkte Erfassung der Position und der Lage der Hände des Besatzungsmit glieds erfolgt. Auf die Verwendung von Sensorhandschuhen, Markierungs handschuhen und/oder eines Simulationsanzugs, welche die Erfassung des Besatzungsmitglieds und insbesondere der Position und der Lage der Hände erst ermöglichen, kann auf die Realitätsgetreue des Trainings verbessernde Weise verzichtet werden.

Bevorzugt wird die Position und die Lage der markierungslosen Hände des Besatzungsmitglieds in einem Aktionsbereich des Besatzungsmitglieds er fasst. Auf ein Anbringen von Markierungen oder Markern auf den Händen des Besatzungsmitglieds kann verzichtet werden. Als besonders vorteilhaft hat sich ein Über- Schulter-Blick des 3D-Sensor- systems auf den Aktionsbereich des Besatzungsmitglieds erwiesen. Bei ei nem Über-Schulter-Blick ist das 3 D- Sensorsystem in der initialen Ausgangs haltung des Besatzungsmitglieds zu Beginn des Trainings hinter dem Besat zungsmitglied, insbesondere relativ zum Kopf des Besatzungsmitglieds nach links oder rechts versetzt, und oberhalb seiner Schultern im Trainingsraum angeordnet. In bevorzugter Weise blickt das 3D-Sensorsystem über die Schulter des Besatzungsmitglieds schräg nach unten auf den Aktionsbe reich. Ein Verdeckungsproblem, bei welchem die Hände des Besatzungsmit glieds, beispielsweise durch die Arme des Besatzungsmitglieds, für das 3D- Sensorsystem verdeckt werden, kann durch den schräg nach unten verlau fenden Über-Schulter-Blick des 3D-Sensorsystems weitgehend vermieden werden. Ferner kann das 3D-Sensorsystem im Trainingsraum in seiner Posi tion und /oder Lage fixiert sein.

Die Abtastrate des 3D-Sensorsystems kann mit der Bildwiederholrate der Anzeigevorrichtung übereinstimmen, insbesondere kann diese 90 fps be tragen. Das Trainingssystem und insbesondere das 3D-Sensorsystem weist vorzugsweise eine niedrige Latenz auf, bevorzugt unterhalb von 200 ms, weiter bevorzugt unterhalb von 100 ms und insbesondere bevorzugt von unter 10 ms. In diesem Zusammenhang hat sich eine Latenz im Bereich vom 5 ms bis 10 ms als vorteilhaft erwiesen. Die Latenz beschreibt die Verzöge rung zwischen einer Änderung im Trainingsraum, insbesondere einer Ände rung der Position und/oder Lage der Hand, und deren Erfassung und visuel len Darstellung. Das Trainingssystem und insbesondere das 3D-Sensorsystem ist vorzugsweise möglichst verzögerungsfrei, d. h. latenzarm, um eine intu itive Bedienung zu ermöglichen. Bei einer hohen Latenz würde die Darstel lung in der virtuellen Umgebung hinter den realen Gegebenheiten im Trai ningsraum erheblich Zurückbleiben, was nur durch sehr langsam und reali tätsferne Bewegungsabläufe oder einem aktiven Abgleichen der tatsäch- liehen mit der dargestellten Handbewegung durch das Besatzungsmitglied kompensiert werden könnte.

Mit dem 3D-Sensorsystem können auf einfache Weise Handgesten erfasst und über eine Gestenerkennung zur Erfassung der Betätigung des realen Bediengeräts erkannt werden. Bei den Handgesten kann es sich vorteil hafterweise um die gleichen Handgesten handeln, wie sie bei einer Betäti gung des Fahrzeug-Bediengeräts im realen Fahrzeug durchgeführt werden.

Ferner kann das 3D-Sensorsystems alternativ oder zusätzlich als außerhalb des Bediengeräts liegendes Mittel zur Erfassung der Veränderung des realen Bediengeräts genutzt werden.

In einer vorteilhaften Ausgestaltung erfasst das 3D-Sensorsystem die Hände des Besatzungsmitglieds mit einer Tiefenkamera und/oder einer Farbkame ra. Das 3D-Sensorsystem kann auf diese Weise als 3D-Kamerasystem ausge bildet sein. Mit einer Tiefenkamera können die Position und die Lage der Hand des Besatzungsmitglieds auf einfache Weise auch in der Tiefe erfasst werden. Vorzugsweise liegt die Auflösung der Tiefenkamera unterhalb eines Millimeters. Die Tiefenkamera kann eine stereo-optische Kamera mit zwei zueinander versetzten Teilkameras sein. Bei einer stereo-optische Kamera ergibt sich die Tiefeninformation über die Position und die Lage der Hand aus dem Unterschied der von den beiden Teilkameras aufgenommenen Bil der, analog zum menschlichen Sehapparats. Alternativ kann die Tiefenka mera eine time-of-flight Kamera sein. Bei einer time-of-flight Kamera ergibt sich die Tiefeninformation über die Position und die Lage der Hand über das Laufzeitverfahren, bei welchem die Zeit zwischen dem Aussenden eines Lichtpulses und dem Auftreffen des von der Hand reflektierten Pulses auf einen Lichtsensor der Kamera gemessen wird. Die time-of-flight-Kamera kann hierzu ein Sende-Modul zur Aussendung eines Lichtpulses und ein Emp fangs-Modul zum Empfang des reflektierten Lichtpulses aufweisen. Weiter alternativ kann die Tiefenkamera eine Muster-Kamera sein, welche gemäß dem Projektionsverfahren arbeitet. Die Muster-Kamera kann hierzu ein Sende-Modul, welches nach Art eines Musterprojektors zeitlich versetzt un terschiedliche geometrische Muster in den Trainingsraum projiziert, und ein Empfangs-Modul, insbesondere eine Teilkamera, aufweisen. Das Empfangs- Modul kann die in den Trainingsraum projizierten geometrischen Muster aufnehmen, welche jedoch durch die sich im Trainingsraum befindlichen Objekte, wie die Hand des Besatzungsmitglieds, sowie den Trainingsraum selbst verzerrt werden. Aus diesen aufgenommenen und für jedes Muster unterschiedlichen Verzerrungen können Tiefeninformation gewonnen wer den. Mit der Farbkamera kann ein farbiges Bild der Hände aufgenommen werden. Insbesondere können die Hände anhand ihrer Farbe und/oder dem Kontrast zum Hintergrund in dem farbigen Bild erkannt und erfasst werden. Eine Kombination von Tiefenkamera und Farbkamera erlaubt eine Farb wertzuordnung zu jedem mit einer Tiefeninformation versehenen Bildpunkt des Bildes der Tiefenkamera.

Weiter vorteilhaft ist es, wenn mehrere, insbesondere drei, aufeinander kalibrierte 3D-Sensorsysteme verwendet werden. Zur besseren Vermeidung einer Verdeckung der Hände hat sich die Verwendung von zwei oder mehre ren 3D-Sensorsystemen, insbesondere drei, vier oder fünf 3D-Sensorsyste- men als vorteilhaft erwiesen. Die 3D-Sensorsysteme können miteinander in Verbindung stehen, insbesondere über eine Funkverbindung oder eine Ka belverbindung, wie ein Sync-Kabel. Die 3D-Sensorsysteme können aufeinan der synchronisiert sein, so dass sie zeitgleich oder zeitlich versetzt zur Mes sung ausgelöst werden können, insbesondere über die Verbindung zwischen ihnen. Damit ein Punkt im Trainingsraum von allen 3D-Sensorsystemen als an der gleichen Position befindlich erkannt wird und es zu keiner zwischen den 3D-Sensorsystemen abweichenden Erfassung der Position und Lage der Hände kommt, sind die 3D-Sensorsysteme aufeinander kalibriert. Bei der Kalibration werden die Koordinatensysteme der einzelnen 3D-Sensorsyste- me auf ein gemeinsames Koordinaten referenzsystem kalibriert. Die Kalib rierung erfolgt insbesondere so, dass die kalibrierten 3D-Sensorsysteme ei nen gemeinsamen Koordinatenursprung aufweisen.

Die 3D-Sensorsysteme können von unterschiedlichen Positionen im Trai ningsraum auf den Aktionsbereich des Besatzungsmitglieds gerichtet sein. Neben einem Über- Schulter-Blick können einzelne 3D-Sensorsysteme von der Seite, von unten, direkt von obenauf oder aus anderen schrägen Blick winkeln, wie von schräg unten, auf den Aktionsbereich blicken. Durch die unterschiedlichen Blickwinkel der 3D-Sensorsysteme kann ein Verdecken der Hände noch zuverlässiger vermieden werden, da die Hände gleichzeitig von mehreren 3D-Sensorsystemen aus unterschiedlichen Blickwinkeln er fasst werden können. Auch kann ein Verdecken von Teilen der Hand durch die Hand selbst, beispielsweise ein Verdecken der Fingerspitzen durch den Handrücken, durch die unterschiedlichen Blickwinkel der 3D-Sensorsysteme vermeiden werden.

Ferner ist es vorteilhaft, wenn die Position einzelner Punkte im Aktionsbe reich des Besatzungsmitglieds im Trainingsraum relativ zum 3D-Sensor- system gemessen wird. Die Tiefeninformationen des gesamten Aktionsbe reichs können auf einfache Art und Weise erfasst werden. Zur Messung der Position eines Punktes kann insbesondere dessen Abstand und dessen Raumwinkel relativ zum 3D-Sensorsystem bestimmt werden. Die Messung der Position einzelner Punkte kann vorteilhafterweise mittels des 3D- Sensorsystems nach Art einer time-of-flight Kamera erfolgen. Bei den zu messenden Punkten kann es sich um markierte Punkte auf den Händen und/oder dem realen Bedienelement handeln, welche beispielsweise mit Markern oder farblich gekennzeichnet werden. Alternativ können die Punk te auch durch ein regelmäßiges oder unregelmäßiges Abtast-Muster des 3D- Sensorsystems vorgegeben werden. Insbesondere kann das regelmäßige Ab- tast-Muster der Anordnung der Bildpunkte des 3D-Sensorsystems entspre- chen. Auf diese Weise kann die Position jeden Bildpunkts der Tiefenkamera im Trainingsraum bestimmt werden. Die Vorgabe der Punkte durch ein re gelmäßiges oder unregelmäßiges Abtast-Muster des 3D-Sensorsystems kann den Vorteil bieten, dass auch andere Objekte erfasst werden können. Diese anderen Objekte können neben den Händen des Besatzungsmitglieds zur Betätigung des realen Bediengeräts genutzt werden. Bei diesen anderen Objekten kann es sich beispielsweise um die Ellenbogen des Besatzungsmit glieds oder künstliche Objekte, wie einen Stift oder einen Touch-Pen, han deln. Durch ein Messen, Erfassen und Darstellen dieser anderen Objekte kann das Bediengerät ebenfalls mittels dieser anderen Objekte von dem Besatzungsmitglied absichtlich oder unabsichtlich bedient werden. Auf die se Weise kann die Realitätsgetreue des Trainings gesteigert werden. Bei dem Training kann ein versehentliches Betätigen, beispielsweise durch ein Anstoßen in einem beengten Fahrzeuginneren, realitätsgetreu wiedergege- ben werden.

In einer vorteilhaften Weiterbildung wird die Position der Hände, insbeson dere einer Vielzahl einzelner Punkte auf den Händen, zum 3D-Sensorsystem gemessen. Die Messung der Position der Hände, insbesondere deren Ab- stand zum 3D-Sensorsystem, bietet eine höhere Präzision und Genauigkeit, als dies bei einem rein auf Interpretation von Bildinformationen basieren den Verfahren möglich ist. Durch die Messung der Vielzahl einzelner Punkte auf den Händen lassen sich die Position und die Lage einzelner Finger der Hand, insbesondere auch ein leichtes Krümmen einzelner Finger, genau erfassen. Individuelle Merkmale der Hände des Besatzungsmitglieds, wie die genaue Handgroßen, die Längen der Finger oder ein Fehlen einzelner Fin gerglieder, können durch die Messung mehrerer Punkte auf der Hand er fasst, berücksichtigt und in der virtuellen Umgebung entsprechend darge stellt werden. In diesem Zusammenhang hat es sich als vorteilhaft erwiesen, dass neben den Händen auch die Position des Körpers des Besatzungsmitglieds, insbe sondere die Position der Arme und/oder der Beine, zum 3 D- Sensorsystem gemessen wird. Durch ein Messen des restlichen Körpers, insbesondere der Arme und/oder der Beine des Besatzungsmitglieds, relativ zum 3D-Sensor- system kann dieser positions- und lagerichtig in der virtuellen Umgebung dargestellt werden. Für das Besatzungsmitglied kann sich ein noch reali tätsgetreueres Trainingserlebnis einstellen, da dieses seinen Körper auch in der virtuellen Umgebung sieht.

Vorzugsweise werden die gemessenen, insbesondere die mit den Händen korrespondierenden, Positionen zu Punktwolkendaten zusammengefasst und als Punktwolke in der virtuellen Umgebung dargestellt. Die Punktwol kendaten enthalten die Positionsinformationen der gemessenen Punkte. Zusammen mit den von der Farbkamera aufgenommenen Farbinformationen können die einzelnen Punkte der Punktwolkendaten in einem Färb- und Po sitionsinformationen enthaltenen Format gespeichert werden. Bei der Ver wendung eines einzigen 3D-Sensorsystems kann dieses Format beispiels weise den Abstand zu diesem 3D-Sensorsystem sowie die Farbwerte für Rot, Grün und Blau oder die Farbwerte für Gelb, Magenta, Cyan enthalten. Al ternativ kann das Format die Koordinaten des jeweiligen Punktes bezogen auf ein Koordinaten referenzsystem, insbesondere bei der Verwendung meh rerer 3D-Sensorsysteme, sowie die Farbwerte für Rot, Grün und Blau oder die Farbwerte für Gelb, Magenta, Cyan enthalten. Die Punktwolkendaten können auf einfache Weise an eine die virtuelle Umgebung erzeugendes Rendersystem, insbesondere des Servers oder des Trainingsrechners, zur Darstellung weitergegeben werden. Durch die Darstellung der Punktwol kendaten als Punktwolke kann eine fehlertolerantere Darstellung der realen Umgebung und insbesondere der Hände in der virtuellen Umgebung erzielt werden, als dies bei einer Darstellung mit einem rechenintensiveren, die Punktwolkendaten umfassenden und geschlossenen Polygon-Mesh möglich wäre. Auf eine fehleranfällige Umrechnung der Punktwolkendaten in ein Polygon-Mesh oder in eine Umformung eines hinterlegten geschlossenen Polygon-Meshs kann verzichtet werden.

Die in der virtuellen Umgebung dargestellte Punktwolke kann es dem Be satzungsmitglied ermöglichen, seine Hand in der virtuellen Umgebung visu ell wahrzunehmen, ohne diese unmittelbar zu sehen. Insbesondere mittels Punktwolkendaten, welche auch Farbinformationen enthalten, kann eine Darstellung der Hand als farbige Punktwolke erfolgen, insbesondere in Echt farben. Durch die Darstellung als Punktwolle kann auf eine rechenintensive Modellierung einer Nachbildung der Hand des Besatzungsmitglieds, insbe sondere nach Art einer Grafikfigur, einer vereinfachten Handgeometrie, eines Avatars des gesamten Besatzungsmitglieds oder eines Teils eines sol chen Avatars, auf zeitsparende und rechenleistungssparende Weise verzich tet werden. Durch eine sich schnell einstellende Gewöhnung des Besat zungsmitglieds an die Darstellung seiner Hand in Form einer Punktwolke wird die Realitätsgetreue des Trainings nicht gemindert.

Die Punktwolke kann ein virtuelles Volumen in der virtuellen Umgebung einnehmen, welches der Lage, der Position, der Größe und/oder der Form der Hand des Besatzungsmitglieds im Aktionsbereich entspricht. Das Besat zungsmitglied kann auf diese Weise seine eigene Hand in der korrekten La ge, Position, Größe, Form und/oder Farbe in der virtuellen Umgebung wahrnehmen.

Die Punkte der Punktwolke können als virtuelle Objekte endlicher Ausdeh nung, insbesondere als 2D-Scheiben, 3D-Ellipsoide oder 3D-Sphären, darge stellt werden. Die sich an der Oberfläche der Punktwolke befindenden Punkte können durch ihre endliche Ausdehnung eine geschlossene oder be reichsweise geschlossene Oberfläche der Punktwolke bilden. Zur Bildung einer geschlossenen oder bereichsweise geschlossenen Oberfläche können einzelne Punkte aneinander angrenzen oder sich überlappen.

Die einzelnen gemessenen Punkte sowie die Punkte der Punktwolke können in einem unregelmäßigen Muster angeordnet sein. Gleichwohl können die einzelnen gemessenen Punkte sowie die Punkte der Punktwolke in einem regelmäßigen Muster angeordnet sein.

In diesem Zusammenhang hat es sich als vorteilhaft erwiesen, wenn die mit dem realen Bediengerät korrespondierenden Punkte der Punktwolke durch das virtuelle Bediengerät verdeckt werden. Die mit dem realen Bediengerät korrespondierenden Punkte der Punktwolke sind jene Punkte, deren Punkt wolkendaten auf Messungen von Punkten auf dem realen Bediengerät zu rückgehen. Indem die mit dem realen Bediengerät korrespondierenden Punkte der Punktwolke verdeckt werden, kommt es nicht zu einer opti schen Irritation des Besatzungsmitglieds, da es nicht zugleich das virtuelle Bediengerät und die mit dem realen Bediengerät korrespondierenden Punk te der Punktwolke sieht. Die Verdeckung kann vorteilhafterweise durch ei ne Darstellung des virtuellen Bediengeräts mit im Vergleich zum Fahrzeug- Bediengerät leicht größeren Abmessungen erfolgen. Die leicht größeren Abmessungen können vorzugsweise in einem für das Besatzungsmitglied nicht wahrnehmbaren Größenbereich liegen, insbesondere unterhalb des Millimeterbereichs und/oder im Bereich einzelner Bildpunkte der Anzeige vorrichtung.

In einer weiteren Ausführungsform der Erfindung werden die Punktwolken daten, insbesondere hinsichtlich den mit dem realen Bediengerät korres pondierenden Punkten, gefiltert. Vorzugsweise erfolgt die Filterung vor dem Darstellen der Punktwolke. Nach der Filterung können die Punkt wolkendaten bis auf die herausgefilterten Punkte oder nur die herausgefil terten Punkte als Punktwolke in der virtuellen Umgebung dargestellt wer- den. Eine Darstellung von Punkten in der virtuellen Umgebung, welche für das Besatzungsmitglied nicht sichtbar sind, kann rechen leistungssparend vermieden werden. Vorzugsweise kann in dem Server, dem Trainingsrech ner oder dem Rendersystem ein Aussonderungs- Bereich des Aktionsbereichs nach Art eines no-draw-Volumens festgelegt werden. Mit diesem Aussonde rungs-Bereich korrespondierende Punkte können herausgefiltert werden.

Die mit diesem Aussonderungs-Bereich korrespondierenden Punkte der Punktwolkendaten werden vorteilhafterweise nicht dargestellt. Zu diesem Aussonderungs-Bereich kann insbesondere das reale Bediengerät gehören. Bei der Filterung kann jeder Punkt der Punktwolkendaten darauf geprüft werden, ob er mit einem Punkt aus diesem Aussonderungs-Bereich korres pondiert. Vorteilhafterweise kann die Festlegung nach und/oder bei einem vorherigen Einmessen der Positionen des Bediengeräts erfolgen.

In vorteilhafter Weise wird eine Markierung auf dem realen Bediengerät erkannt und dem realen Bediengerät zugeordnete Punkte in der virtuellen Umgebung werden nicht dargestellt. Durch eine Markierung auf dem realen Bediengerät können mit dem realen Bediengerät korrespondierende Punkte einfach erkannt werden. Die Markierung kann vorteilhafterweise eine flä chige und/oder einfarbige Markierung sein. Insbesondere bei einer einfarbi gen Markierung kann eine besonders einfache und schnelle Filterung von Punktwolkendaten anhand der Farbinformationen der einzelnen Punkte er folgen.

In einer Ausführungsform wird der Aussonderungs-Bereich relativ zu einem erkennbaren Marker des realen Bediengeräts definiert. Mit dem erkennba ren Marker kann auf einfache Weise ein, insbesondere volumetrischer, Aus sonderungs-Bereich relativ zur Position und/oder Lage des Markers im Akti onsbereich definiert werden. In einer weiteren Ausführungsform wird der Aussonderungs-Bereich über eine farbliche Markierung des realen Bediengeräts definiert. Die farbliche Markierung kann insbesondere mittels einer Farbkamera erkannt werden. Beispielsweise kann das reale Bediengerät flächig und einfarbig mit einer zuvor definierten Farbe bestrichen oder aus einem Material einer definier ten Farbe gefertigt sein. Sämtliche Punkte der Punktwolkendaten, welche einen dieser Farbe entsprechenden Farbwert aufweisen, können auf einfa che Weise als zu diesem Aussonderungsbereich gehörend erkannt werden. In einer weiteren Ausgestaltung der Erfindung wird zur Erfassung der Positi on und der Lage der Hände des Besatzungsmitglieds ein Deep-Learning- Verfahren genutzt. Bei dem Deep-Learning-Verfahren wird ein künstliches neuronales Netz durch wiederholtes Versuchen einer Handerkennung auf die selbstständige Erkennung von Händen in Bildern geschult. Durch das Deep-Learning-Verfahren kann im laufenden Trainingsbetrieb eine Steige rung der Erkennungsgenauigkeit von Händen erzielt werden. Das Deep- Learning-Verfahren kann auf einfache Weise auf die Erkennung des restli chen Körpers des Besatzungsmitglieds erweitert werden. Vorzugsweise werden nur die durch das Deep-Learning-Verfahren erkannten und mit den Händen und/oder dem Körper des Besatzungsmitglieds korrespondierenden Punkte der Punktwolkendaten weiterverwendet, insbesondere zur Darstel lung in der virtuellen Umgebung und/oder zur Erkennung einer Betätigung des Bediengeräts. In diesem Zusammenhang hat es sich als vorteilhaft erwiesen, wenn bei dem Deep-Learning-Verfahren Bildbereiche mit den Händen des Besat zungsmitglieds in 2D-Bildern, insbesondere der Farbkamera, erkannt wer den. Eine Erkennung der Hände kann mit einer Analyse von Unterschieden zeitlich aufeinander folgender 2D-Bilder erfolgen. Nach dem Erkennen kön- nen die die Hände beinhaltende Bildbereiche in den 2D-Bildern für eine weitere Verarbeitung markiert werden. Weiter vorteilhaft hat es sich erwiesen, wenn den Bildbereichen mit den Händen des Besatzungsmitglieds korrespondierende Punkte der Punktwol kendaten zugeordnet werden. Durch die Zuordnung der Punkte der Punkt wolkendaten können die Position und die Lage der Hände einfach bestimmt werden. In der virtuellen Umgebung können diese Punkte der Punktwolken daten dargestellt werden, ohne dass es zu einer Irritation des Besatzungs mitglieds durch andere im Aktionsbereich gemessene und dargestellte Punkte kommt. Vorzugsweise erfolgt vor der Zuordnung der Bildbereiche eine intrinsische Kalibrierung des 3D-Sensorsystems, bei welchem eine Zu ordnung der Bildpunkte der Tiefenkamera zu den Bildpunkten der 2D- Kamera, insbesondere der Farbkamera, erfolgt. Ebenfalls vorteilhaft erfolgt vor der Zuordnung der Bildbereiche eine extrinsische Kalibrierung des 3D- Sensorsystems, bei welchem die Tiefenkamera hinsichtlich ihrer räumlichen Lage und Orientierung, insbesondere auf ein Koordinatenreferenzsystem, im Trainingsraum kalibriert wird.

Weiterhin hat es sich als vorteilhaft erwiesen, wenn eine Hintergrund tiefenaufnahme vom Trainingsraum und dem Bediengerät erstellt wird. In der Hintergrundtiefenaufnahme kann der Trainingsraum bis auf das oder die Bediengeräte ansonsten leer sein, insbesondere hält sich während der Auf nahme weder das Besatzungsmitglied noch eine andere Person im Trai ningsraum auf. Diese einmalig erstellte Hintergrundtiefenaufnahme kann zur Subtraktion des Hintergrundes nach Art eines „Background subtrac- tion“-Verfahrens genutzt werden. Auf diese Weise werden Raumpunkte er kannt, die vor dieser Hintergrundtiefenaufnahme liegen. Hierdurch wird das Besatzungsmitglied, seine Hände und alles, was sich seit der Aufnahme der Hintergrundtiefenaufnahme verändert hat, auf einfache Weise erkannt. Was vor der Hintergrundtiefenaufnahme liegt, wird innerhalb einer Tole ranzschwelle bestimmt, welche ausreichend groß gewählt wird, um poten tiell rauschende Sensordaten zuverlässig zu filtern. Da die Tiefeninforma- tionen zusammen mit den Farbinformationen, die Punktwolkendaten bil den, kann eine Darstellung ohne die Irritationen durch die Darstellung von Punkten des Bediengeräts erreicht werden. Besonders vorteilhaft ist die sich ergebende Reduktion der Punktwolkendaten. Nur noch die sich gegen über der Hintergrundtiefenaufnahme veränderten Punkte werden prozes siert, übertragen und dargestellt.

In einer weiteren vorteilhaften Ausgestaltung wird mindestens ein Signal geber als aktiver Signalgeber zur Positionsbestimmung der Anzeigevorrich tung im Trainingsraum genutzt. Durch den Signalgeber kann die Position der Anzeigevorrichtung im Trainingsraum auf einfache Art und Weise bestimmt werden. Der Signalgeber kann Positionssignale emittieren, welche von der Anzeigevorrichtung zur Positionsbestimmung aufgenommen werden können. Die Positionssignale können hierbei nach Art von Abtastpulsen, welche der Signalgeber in den Trainingsraum emittiert, ausgebildet sein. Vorzugsweise sind diese Abtastpulse mit der Anzeigevorrichtung synchronisiert, insbeson dere hinsichtlich einer gemeinsamen Zeit. Mittels der Zeitdifferenz zwi schen dem Aussenden des Positionssignals durch den Signalgeber und das Empfangen des Positionssignals durch die Anzeigevorrichtung kann die Posi tion der Anzeigevorrichtung relativ zum Signalgeber bestimmt werden. Der Signalgeber kann hierzu eine Abtastung des Trainingsraums mit zeitlich aufeinanderfolgenden Positionssignalen durchführen. Zusätzlich kann mit dem Signalgeber eine Lagebestimmung der Anzeigevorrichtung erfolgen. Insbesondere kann die Anzeigevorrichtung Sensoren, insbesondere ein Gyro skop und/oder einen Beschleunigungssensor, umfassen. Die Sensorwerte dieser Sensoren können zusammen mit dem Positionssignal zur Lagebe stimmung der Anzeigevorrichtung genutzt werden. Der aktive Signalgeber ist vorzugsweise positionsfest im Trainingsraum angeordnet.

Bei dem Signalgeber kann es sich um eine Laserquelle, insbesondere eine mehrachsige 120-Grad-Laserquelle handeln. Die Laserquelle kann das Posi- tionssignal räumlich fokussiert emittieren, wodurch eine hohe Präzisions genauigkeit bei der Positionsbestimmung erzielt werden kann.

Ein passiver Signalgeber kann Positionssignale nach Art eines passiven Posi tionserfassungssystems zur Positionsbestimmung der Anzeigevorrichtung bereitstellen. Der passive Signalgeber kann beispielsweise eine oder mehre re Positionskameras umfassen, deren Positionsaufnahmen als Positionssig nale zur Positionsbestimmung mittels einer Bilderkennung weitergeleitet oder vom Signalgeber verarbeitet werden. Über die Positionssignale kann mittels der Bilderkennung auf die Position und Lage der Anzeigevorrichtung im Trainingsraum geschlossen werden, beispielsweise über eine optische Markierung der Anzeigevorrichtung. Der passive Signalgeber kann positions fest im Trainingsraum und/oder an der Anzeigevorrichtung angeordnet oder in die Anzeigevorrichtung integriert sein. Der passive Signalgeber kann die Anzeigevorrichtung im Trainingsraum erfassen, insbesondere in einer Posi tionsaufnahme. Ebenso kann der passive Signalgeber einen VR-Controller des VR-Anzeigesystems erfassen. Alternativ kann der passive Signalgeber den Trainingsraum von der Position der Anzeigevorrichtung aus erfassen.

Das Koordinatensystem des VR-Anzeigesystems kann bei der Einrichtung des VR- Anzeigesystem als insbesondere trainingsraumfestes Koordinatensystem mit einem eindeutigen Koordinatenursprung festgelegt werden.

Die Anzeigevorrichtung kann Sensoren zur Lagebestimmung im Trainings raum umfassen, insbesondere ein Gyroskop und/oder Beschleunigungs sensoren.

Vorzugsweise werden mehrere Signalgeber, insbesondere zwei Signalgeber, zur Positionsbestimmung der Anzeigevorrichtung genutzt. Mit mehreren Signalgebern kann eine erhöhte Präzision bei der Positionsbestimmung der Anzeigevorrichtung im Trainingsraum erzielt werden. Die Signalgeber sind vorteilhafterweise an unterschiedlichen Positionen zueinander beabstandet im Trainingsraum angeordnet. Vor dem Trainingsbeginn werden der oder die Signalgeber sowie das 3D-Sensorsystem bzw. die 3D-Sensorsysteme vor zugsweise aufeinander kalibriert. Die Kalibrierung kann derart erfolgen, dass ein Koordinatensystem des Signalgebers und das Koordinatensystem des 3D-Sensorsystems auf ein gemeinsames Koordinatenreferenzsystem ka libriert werden. Auf diese Weise kann sichergestellt werden, dass ein Punkt im Trainingsraum sowohl relativ zum Signalgeber als auch relativ zum 3D- Sensorsystem als an der gleichen Position im Trainingsraum liegend erkannt wird.

Das 3D-Sensorsystem und das VR-Anzeigesystem, welches die Anzeigevor richtung und/oder den Signalgeber umfasst, sind vorteilhafterweise derart aufeinander kalibriert, dass sie den Trainingsraum im Wesentlichen de ckungsgleich erfassen, d. h. einen Raumpunkt im Trainingsraum wird von dem VR-Anzeigesystems und dem 3 D- Sensorsystem als an der gleichen Posi tion liegend erkannt.

Die Positionierung des realen Bediengeräts im Trainingsraum kann interak tiv über die virtuelle Darstellung des Fahrzeuginneren in der virtuellen Um gebung zusammen mit der eingeblendeten, insbesondere ungefilterten, Darstellung von Messpunkten als Punktwolke in der virtuellen Umgebung erfolgen. Hierbei kann das Bediengerät markierungslos sein, d. h. keine erfassbaren Markierungen aufweisen. Über die Anzeigevorrichtung kann die virtuelle Darstellung des Bediengeräts visuell wahrgenommen und das reale Bediengerät händisch an die Position, an der es mit dem Bediengerät der virtuellen Darstellung deckungsgleich ist, bewegt werden. Hierzu ist es vor teilhaft, wenn das reale Bediengerät leicht positionierbar und/oder fixier bar ist, insbesondere über Magnete, Nadeln, Schrauben oder Klebemittel oder über Anbindungselemente, wie Rast-, Schraub- und/oder Steckele mente, welche mit Anbindungsstellen, insbesondere nach Art von Nuten, Rast-, Schraub- und/oder Steckstellen, Zusammenwirken. Eine besonders einfache und schnelle Vorgabe einer virtuellen Darstellung, insbesondere eines CAD-Modells eines Fahrzeuginneren kann physisch korrekt abgebildet werden. Bevorzugt wird zur Positionierung an der erfassten Position des realen Be diengeräts in der virtuellen Umgebung ein virtuelles Bediengerät darge stellt. Die Darstellung des virtuellen Bediengeräts kann als virtuelles Modell des Bediengeräts, als virtuelles Modell des Fahrzeug-Bediengeräts oder als eine Punktwolke mit mehreren, die Position und die Umrisse des realen Be- diengeräts darstellenden Punkten ausgebildet sein. Die Lage des virtuellen Bediengeräts entspricht vorzugsweise der Lage der realen Bediengeräts im Trainingsraum. Zur Positionierung wird die in der virtuellen Umgebung dar gestellte Position des realen Bediengeräts mit einer in der virtuellen Umge bung angezeigten Vorgabeposition in Deckung gebracht. Hierzu kann das reale Bediengerät an eine Position im Trainingsraum gebracht werden, wel che der virtuellen Vorgabeposition entspricht, so dass die Darstellung der erfassten Position des realen Bediengeräts in der virtuellen Umgebung mit der Vorgabeposition übereinstimmt. Ferner kann das reale Bediengerät auch in eine entsprechende Vorgabelage gebracht werden.

Eine weitere erfindungsgemäße Ausgestaltung sieht vor, dass die räumli chen Beschränkungen des Fahrzeuginneren über positionierbare Hindernis- Elemente nachgebildet werden. Durch eine Nachbildung der räumlichen Beschränkung des Fahrzeuginneren kann die Realitätsgetreue des Trainings für das Besatzungsmitglied noch weiter gesteigert werden. Während des Trainings kann das Besatzungsmitglied auf diese Weise realitätsgetreu die Beschränkungen des Fahrzeuginneren jenes realen Fahrzeuges, für welches es trainiert wird, physisch wahrnehmen. Hierbei kann das Besatzungsmit glied entsprechend der räumlichen Beschränkung im Fahrzeuginneren den gleichen Einschränkungen in seiner Bewegungsfreiheit ausgesetzt sein, wie es das Besatzungsmitglied auch in realen Einsatzsituationen im realen Fahr- zeug wäre. Die Positionierbarkeit der Hindernis-Elemente kann eine einfa che Anpassung des Trainingsraums an unterschiedliche Fahrzeugtypen und/oder Besatzungspositionen, auf welchen das Besatzungsmitglied trai niert werden soll, ermöglichen.

Die Hindernis-Elemente können als plattenförmige Elemente ausgebildet sein. Derartige plattenförmige Elemente können eine hohe Flexibilität bei der Nachbildung des Fahrzeuginneren unterschiedlicher Fahrzeugtypen und/oder unterschiedlicher Besatzungspositionen ermöglichen. Gleichwohl können die Hindernis-Elemente eine komplexere Form und/oder Oberflä chenbeschaffenheit aufweisen, mit welchen das Fahrzeuginnere detail getreuer nachgebildet werden kann.

Die Hindernis- Elemente können insbesondere nach Art von Wandelementen ausgebildet sein. Wandelemente können im Trainingsraum selbstständig stehend ausgebildet sein.

Die einzelnen Hindernis-Elemente können zur Positionierung im Trainings raum an verstellbaren Schwanenhalshalterungen, Magie-Arms, Gelenkarmen oder Stativen, in ihrer Position und Lage verstellbar positioniert werden.

Die Positionierung der Hindernis- Elemente erfolgt vorzugsweise auf die gleiche Art und Weise wie die Positionierung der realen Bediengeräte. Ins besondere können die Hindernis- Elemente auch auf einer oder mehreren Trägerplatten positioniert werden, wie dies obenstehend für die realen Be- diengeräte beschrieben ist.

In einer bevorzugten Ausgestaltung wird nur ein Teil der räumlichen Be schränkungen des Fahrzeuginneren über die positionierbaren Hindernis- Elemente nachgebildet. Insbesondere kann die Nachbildung der räumlichen Beschränkung des Fahrzeuginneren auf jene Beschränkungen reduziert wer den, welche die Bewegungsfreiheit des Besatzungsmitglieds einschränken können. Auf diese Weise lassen sich die für das Training neuralgischen Stel len im Fahrzeuginneren nachbilden, ohne dass für das Training nicht rele vante räumliche Beschränkungen aufwendig nachgebildet werden müssten. Vorteilhafterweise kann die Positionierung des Hindernis-Elements mittels der virtuellen Umgebung und einer erfassbaren Markierung des Hindernis- Elements oder einem initialen Einmessen, beispielsweise mit einem Einga begerät eines VR- Anzeigesystems erfolgen, zu welchem die Anzeigevorrich tung gehört. Das Eingabegerät kann nach Art eines Controllers, insbesonde- re eines VR-Controllers, ausgebildet sein. In der virtuellen Umgebung kann die Position des mit dem Hindernis-Element in Berührung bringbaren Con trollers zur Überprüfung der korrekten Position des Hindernis-Elements an gezeigt werden. Die Erfassung mittels einer Markierung kann dabei in re gelmäßigen zeitlichen Abständen zur Laufzeit des Trainings erfolgen, um eine Umpositionierung zu erlauben.

Die Position und Lage der einzelnen Hindernis-Elemente im Trainingsraum kann durch darauf angebrachte Markierungen, insbesondere zur Laufzeit des Trainings und/oder in regelmäßigen zeitlichen Abständen, erfasst wer- den. Diese können optischer Art sein und/oder mit dem gleichen Erfas sungsprinzip erfasst werden, wie die Hände und/oder die realen Bedien elemente. Weiterhin kann die Erfassung der Position und der Lage eines Hindernis- Elements durch eine Messung mittels eines Controllers des VR- Systems erfolgen.

Analog zum Bediengerät kann das Hindernis-Element mit einer visuell pas senden, d. h. das Fahrzeuginnere wiedergebenden, Repräsentation in der virtuellen Umgebung zum Training genutzt werden, insbesondere bei aufei nander kalibrierten 3D-Sensorsystemen und VR-Anzeigesystemen. Beispiels- weise kann ein aus grauem Schaumstoff gefertigtes Hindernis-Element in der virtuellen Umgebung wie ein glänzendes Wellblech aussehen. Dies ist insbesondere vorteilhaft, wenn ein Fahrzeuginneres nicht unmittelbar vor gegeben ist.

Die Positionierung des realen Hindernis-Elements im Trainingsraum kann interaktiv über die virtuelle Darstellung des Fahrzeuginneren in der virtuel len Umgebung zusammen mit der eingeblendeten, insbesondere ungefilter ten, Darstellung von Messpunkten als Punktwolke in der virtuellen Umge bung erfolgen. Hierbei kann das Hindernis-Element markierungslos sein, d. h. keine erfassbaren Markierungen aufweisen. Über die Anzeigevorrich tung kann die virtuelle Darstellung des Fahrzeuginneren visuell wahrge nommen und das reale Hindernis-Element händisch an die Position, an der es mit dem gewünschten Teil der virtuellen Darstellung des Fahrzeuginne ren deckungsgleich ist, bewegt werden. Hierzu ist es vorteilhaft, wenn das Hindernis-Element leicht positionierbar und/oder fixierbar ist, insbesondere über Magnete, Nadeln, Schrauben oder Klebemittel oder über Anbindungs elemente, wie Rast-, Schraub- und/oder Steckelemente, welche mit Anbin dungsstellen, insbesondere nach Art von Nuten, Rast-, Schraub- und/oder Steckstellen, Zusammenwirken. Eine Vorgabe einer virtuellen Darstellung, insbesondere eines CAD-Modells, eines Fahrzeuginneren kann besonders einfach und schnell physisch korrekt nachgebildet werden.

Die oben genannte Aufgabe wird bei einem Trainingssystem zur Durchfüh rung des vorangehend beschriebenen Verfahrens durch ein reales Bedienge rät zur Erzielung eines haptischen Feedbacks und einen Sensor zum Erken nen der Hände des Besatzungsmitglieds g e l ö s t .

Bei diesem Trainingssystem ergeben sich die oben im Zusammenhang mit dem Verfahren beschriebenen Vorteile.

Die im Zusammenhang mit dem Verfahren beschriebenen Merkmale können einzeln oder in Kombination auch bei dem Trainingsverfahren zum Einsatz kommen. Es ergeben sich die gleichen Vorteile, welche bereits beschrieben wurden.

Bei dem zur Erkennung der Hände des Besatzungsmitglieds genutzten Sen sor kann es sich um ein 3D-Sensorsystem, ein Radarsensor, einen akusti schen Sensor oder eine andere Art eines Sensors handeln.

Auf konstruktive einfache Art und Weise kann das Bediengerät eine Basis platte aufweisen, auf welche reale Bedienelemente in einer dem virtuellen Bediengerät entsprechenden Anordnung angeordnet sind. Auf diese Weise kann kostengünstig und fertigungstechnisch einfach ein reales Bediengerät hergestellt werden. Die Anordnung einzelner Bedienelemente auf der Ba sisplatte kann beispielsweise über Magnete, Nadeln, Schrauben oder Kle bemittel auf der Basisplatte erfolgen. Bevorzugt kann es sich bei der Basis platte um eine hölzerne oder metallische Platte handeln. Auf einer hölzer nen Platte können die Bedienelemente auf einfache Art und Weise, bei spielsweise durch ein Verschrauben, zur Anordnung befestigt werden. Auf einer metallischen Basisplatte kann die Befestigung der Bedienelemente, beispielsweise magnetisch, erfolgen. Die Bedienelemente können insbeson dere frei auf der Basisplatte angeordnet werden. Alternativ kann die An ordnung über Anbindungselemente erfolgen, insbesondere Rast-, Schraub- und/oder Steckelemente, welche mit Anbindungsstellen, insbesondere nach Art von Nuten, Rast-, Schraub- und/oder Steckstellen, der Basisplatte Zusammenwirken. Die Basisplatte kann hierzu insbesondere nach Art einer Rasterplatte mit in einem regelmäßigen Muster angeordneten Anbindungs stellen ausgebildet sein. Die Basisplatte kann zusammen mit einem oder mehreren an ihr befestigten Bedienelementen, beispielsweise ein Bedien panel oder ein Armaturenbrett, des realen Fahrzeugs als reales Bediengerät im Trainingsraum nachbilden. Bei dem Bediengerät kann es sich vorteilhafterweise um eine Lenkrad- Konstruktion handeln. Eine Lenkrad-Konstruktion kann sowohl das eigentli che Lenkrad als auch eine Lenkrad-Säule aufweisen. In vorteilhafter weise kann die Lenkrad-Konstruktion einen austauschbaren Lenkrad -Aufsatz auf weisen. Mit einem austauschbaren Lenkrad -Aufsatz kann die Lenkrad- Konstruktion an den jeweils zu simulierenden Fahrzeugtyp auf einfache Art und Weise durch Austausch des Lenkrad-Aufsatzes angepasst werden. In besonders vorteilhafter weise kann der Lenkrad-Aufsatz durch ein 3D- Druckverfahren hergestellt werden. Ein 3D-gedruckter Lenkrad -Aufsatz kann eine schnelle Anpassung der Lenkrad- Konstruktion ermöglichen.

In einer vorteilhaften Ausgestaltung weist das Trainingssystem mehrere Be diengeräte und/oder Hindernis-Elemente nach Art eines Baukastens zur Nachbildung eines Fahrzeuginneren verschiedener Fahrzeugtypen auf. Das Trainingssystem kann durch eine Ausbildung nach Art eines Baukastens hochmodular ausgebildet sein. Abhängig von dem geplanten Training kann das Trainingssystem durch Auswahl und Positionierung der Bediengeräte und/oder Hindernis-Elemente ein Training für unterschiedliche Fahrzeug typen und/oder unterschiedliche Besatzungspositionen ermöglichen. Die Bediengeräte und/oder Hindernis-Elemente können hierbei in dem Trai ningsraum entsprechend dem geplanten Training positioniert und ausge richtet werden. Hierbei kann es vorgesehen sein, dass nicht sämtliche Be diengeräte und/oder Hindernis-Elemente des Trainingssystems zur Nach bildung des Fahrzeuginneren eines jeden Fahrzeugtyps verwendet werden. Im Unterschied zur bekannten Simulationskabine kann eine schnelle und flexible Anpassung an unterschiedliche Trainingssituationen ermöglicht werden.

In einer konstruktiv vorteilhaften Ausgestaltung der Erfindung sind die Be diengeräte und/oder die Hindernis-Elemente aus leicht zu bearbeitenden Materialien, insbesondere Styropor, Holz oder Kunststoff, hergestellt. Leicht zu bearbeitende Materialien können eine schnelle Anpassung an un terschiedliche Fahrzeuginnere verschiedener Fahrzeugtypen ermöglichen. Reale Bediengeräte aus leichter zu bearbeitenden Materialien können auf besonders einfache Art und Weise angepasst werden. Durch die Verwen dung von leicht zu bearbeitenden Materialien kann eine schnelle und keine Spezialmaschine erfordernde Herstellung der Bediengeräte, beispielsweise durch manuelles Bearbeiten oder CNC-Fräsen, erzielt werden. Die realen Bediengeräte können gänzlich aus den leicht zu bearbeitenden Materialien hergestellt sein. Alternativ können die realen Bedienelemente eine aus den leicht zu bearbeitenden Materialien hergestellte Grundkonstruktion, insbe sondere eine Basisplatte, aufweisen, auf welche reale Bedienelemente be festigt werden können. Durch die Herstellung aus leicht zu bearbeitenden Materialien kann die Befestigung der realen Bedienelemente besonders ein fach und schnell erfolgen. Die Bediengeräte und/oder Hindernis-Elemente können mehrere Materialien kombinieren. Auf diese Weise können unter schiedliche Oberflächenstrukturen zu einer Erzielung einer realitätsge treuen Haptik des realen Bediengeräts, welche die Haptik des realen Fahr zeug-Bediengeräts besser wiedergibt, beispielsweise durch eine Kombinati on flexibler und harter Materialien, erzielt werden.

In besonders vorteilhafter Art und Weise sind die realen Bediengeräte und/oder die Hindernis-Elemente als 3D- Druck-Stücke ausgebildet. 3D- Druck-Stücke lassen sich auf besonders einfache und schnelle Art und Weise mittels eines 3D- Druckverfahrens herstellen. 3D- Druck-Stücke ermöglichen eine sehr flexible Anpassung des Trainingssystems an eine geplante Trai ningssituation. Insbesondere lassen sich mittels 3D-Druck-Stücken anforde rungsabhängig Bediengeräte für ein Training herstellen. Auf eine umfang reiche Vorratshaltung einer Vielzahl von Bediengeräten für unterschiedliche Trainingssituationen kann verzichtet werden. Durch 3D-Druck-Stücke kön nen auch die Hindernis-Elemente anforderungsspezifisch zur Nachbildung eines Fahrzeuginneren eines vorgegebenen Fahrzeugtyps hergestellt wer- den. Kompliziertere Formen des Fahrzeuginneren können auf arbeitsspa rende Art und Weise erst dann hergestellt werden, wenn sie für ein Trai ning benötigt werden. Die 3D- Druck-Stücke können Bereiche mit unter schiedlichen haptischen Eindrücken aufweisen, beispielsweise glatt, rau, weich, hart oder flexibel. Als 3D-Druck-Stücke hergestellte reale Bedien geräte können mit funktionstüchtigen beweglichen Teilen hergestellt wer den. Auf ein Zusammenbauen nach dem 3D-Druck kann auf einfache Art und Weise verzichtet werden. Beispielsweise kann das reale Bediengerät während des 3D-Drucks bereits mit miteinander mechanisch zusammenwir kenden Komponenten, wie beispielsweise ein Getriebe mit Zahnrädern oder in Aufnahmen bewegliche Schalter, Hebel oder Knöpfe, hergestellt werden.

Weitere Einzelheiten und Vorteile eines erfindungsgemäßen Verfahrens so wie eines Trainingssystems sollen nachfolgend anhand der in den Figuren schematisch dargestellten Ausführungsbespiele der Erfindung exemplarisch erläutert werden. Darin zeigt:

Fig. 1 eine schematische Darstellung eines Trainingsraums aus einer

Draufsicht und einer Seitenansicht sowie eine Draufsicht auf eine virtuelle Umgebung,

Fig. 2a ein Fahrzeugbediengerät,

Fig. 2b ein reales Bediengerät,

Fig. 3a, b zwei Ausführungsbeispiele eines realen Bediengeräts,

Fig. 4 eine Trägerplatte,

Fig. 5a-d die Betätigung des realen Bediengeräts und die Anpassung eines virtuellen Bediengeräts, Fig. 6a, b eine Hand sowie eine Punktwolkendarstellung der Hand,

Fig. 7a, b zwei Ausführungsbeispiele eines 3D-Sensorsystems,

Fig. 8 eine Kalibrierung mehrerer 3D-Sensorsysteme aufeinander,

Fig. 9 erfindungsgemäße Verfahrensabläufe von einer Erfassung der Hände zu deren Darstellung in einer virtuellen Umgebung und

Fig. 10 eine Kalibrierung des 3D-Sensorsystems und des Signalgebers aufeinander.

Fig. 1 zeigt einen Trainingsraum 200 mit einem darin befindlichen Besat zungsmitglied 100, welches in der Bedienung eines realen Fahrzeugs und insbesondere dessen Fahrzeug-Bediengeräten trainiert werden sollen. Der Trainingsraum 200 befindet sich außerhalb des realen Fahrzeugs und kann insbesondere in einem Gebäude eines Trainingscenters untergebracht sein. Das Besatzungsmitglied 100 kann auf diese Weise trainiert werden, ohne dass das reale Fahrzeug selbst hierfür genutzt werden müsste.

Zum Durchführen des Trainings trägt das Besatzungsmitglied 100 eine An zeigevorrichtung 4, welche nach Art einer VR-Brille ausgebildet ist. Diese Anzeigevorrichtung 4 ist kopffest und im Sichtbereich des Besatzungsmit glieds 100 angeordnet, so dass dem Besatzungsmitglied 100 über die Anzei gevorrichtung 4 eine rein virtuelle Umgebung 2 dargestellt werden kann. Ohne dass das Besatzungsmitglied 100 den Trainingsraum 200 verlassen müsste, kann in der virtuellen Umgebung 2 ein Training hinsichtlich der Be dienung der Fahrzeug-Bediengeräte 300 erfolgen, welche als virtuelle Bedi engeräte 3 dargestellt werden. Hierüber hinaus enthält die virtuelle Umge bung 2 auch weitere Darstellungen von nicht real im Trainingsraum 200 vorhandenen Objekten und Gegenständen. In der gezeigten virtuellen Um gebung 2 kann sich das Besatzungsmitglied 100 so beispielsweise in einem Panzerturm 2.1 wiederfinden. Die virtuelle Umgebung 2 weist andere Ab messungen als der Trainingsraum 200 auf. Zwar ist die in Fig. 1 gezeigte virtuelle Umgebung 2 des Panzerturms 2.1 größer als der Trainingsraum 200, gleichwohl können die Abmessungen der virtuellen Umgebung 2 auch kleiner als der Trainingsraum 200 ausfallen. Zudem lassen sich auch andere Objekte, wie beispielsweise eine Waffe 2.2 des Panzerturms 2.1 , in dieser virtuellen Umgebung 2 darstellen.

Zur Steigerung der Realitätsgetreue des Trainings sind in dem Trainings raum 200 reale Bediengeräte 5 angeordnet, welche dem Besatzungsmitglied 100 ein haptisches Feedback bei der Bedienung des virtuellen Bediengeräts 3 geben. Die realen Bediengeräte 5 sind derart in dem Trainingsraum 200 angeordnet, so dass ihre relative Position und Lage zum Besatzungsmitglied 100 jener Position und Lage des virtuellen Bediengeräts 3 zum Besatzungs mitglied 100 in der virtuellen Umgebung 2 entsprechen. Das reale Bedien gerät 5 befindet sich somit im Trainingsraum 200 an der gleichen Position, wie das virtuelle Bediengerät 3, welches dem Besatzungsmitglied 100 in der virtuellen Umgebung 2 dargestellt wird. Da das Besatzungsmitglied 100 über die Anzeigevorrichtung 4 visuell lediglich die virtuelle Umgebung 2 wahrnimmt, ermöglicht das haptische Feedback des dem virtuellen Bedien gerät 3 zugeordneten realen Bediengeräts 5, in der Wahrnehmung des Be satzungsmitglieds 100 dieses virtuelle Bediengerät 3 zu ertasten. Das Besat zungsmitglied 100 streckt hierzu seine Hand 101 zur Betätigung des ihm in der virtuellen Umgebung 2 angezeigten virtuellen Bediengeräts 3 aus und kommt mit dem realen Bediengerät 5 in Kontakt, welches relativ zum Be satzungsmitglied 100 an der gleichen Position und Lage wie das virtuelle Bediengerät 3 angeordnet ist. Um dem Besatzungsmitglied 100 ein Umsehen in der virtuellen Umgebung 2 zu ermöglichen, sind in dem Trainingsraum 200 zwei Signalgeber 18 ange ordnet. Über diese Signalgeber 18 kann die Position und Lage der Anzeige vorrichtung 4 und somit auch die Position und Lage des Besatzungsmitglieds

100 im Trainingsraum 200 bestimmt werden. Hierzu senden die ortsfesten Signalgeber 18 Positionssignale in den Trainingsraum 200 aus, welche von der Anzeigevorrichtung 4 empfangen werden. Die Anzeigevorrichtung 4 und die Signalgeber 18 sind derart aufeinander synchronisiert, dass aus der empfangenen Zeitdifferenz zwischen dem Aussenden der Positionssignale von einem der Signalgeber 18 bis zum Empfangen jenes Positionssignals durch die Anzeigevorrichtung 4 der Abstand zwischen den jeweiligen Sig nalgebern 18 und der Anzeigevorrichtung 4 bestimmt werden kann. Über die bekannten Abstände zwischen den ortsfesten Signalgebern 18 und der Anzeigevorrichtung 4 wird anschließend eine Triangulation der Position der Anzeigevorrichtung 4 im Trainingsraum 200 durchgeführt. Die Anzeigevor richtung 4 verfügt hierüber hinaus über in der Figur nicht dargestellte Sen soren, insbesondere Lagesensoren, mit welchen auch die Bestimmung der Lage der Anzeigevorrichtung 4 im Trainingsraum 200 möglich ist. Auf diese Weise kann ein Verkippen oder Neigen der Anzeigevorrichtung 4, welche in einem entsprechenden Kippen oder Neigen des Kopfes des Besatzungsmit glieds 100 entspricht, detektiert und bei der Anzeige der virtuellen Umge bung 2 auf der Anzeigevorrichtung 4 berücksichtigt werden.

Da das Besatzungsmitglied 100 über die Anzeigevorrichtung 4 lediglich die virtuelle Umgebung 2 und nicht das Innere des realen Trainingsraums 200 sieht, kann das Besatzungsmitglied 100 auch nicht die Position und Lage seiner eigenen Hände 101 unmittelbar optisch wahrnehmen. Um die Hände

101 des Besatzungsmitglieds 100 in der virtuellen Umgebung 2 darstellen zu können, um so ein realitätsgetreueres Trainingserlebnis für das Besat zungsmitglied 100 bereitzustellen, sind in dem Trainingsraum 200 mehrere Sensoren zur Erkennung der Hände 101 des Besatzungsmitglieds 100 ange- ordnet. In den hier dargestellten Ausführungsbeispielen handelt es sich bei den Sensoren um 3D-Sensorsysteme 7, welche insbesondere als 3D-Kamera- systeme ausgebildet sind. Gleichwohl können für die Handerkennung auch andere Sensoren als die hier dargestellten 3D-Sensorsysteme 7 verwendet werden. Bei den nachfolgend weiter beschriebenen Ausführungsbeispielen kann das 3D-Sensorsystem 7 daher auch durch andere zur Handerkennung geeignete Sensoren ersetzt werden.

Mit dem 3D-Sensorsystem 7 wird der Aktionsbereich 201 des Besatzungsmit glieds 100 im Trainingsraum 200 überwacht. Bei dem Aktionsbereich 201 handelt es sich um den sich vom realen Bediengerät 5 aus in Richtung des Besatzungsmitglieds 100 erstreckenden Raumbereich innerhalb des Trai ningsraums 200. In diesem Aktionsbereich 201 bewegen sich die Hände 101 des Besatzungsmitglieds 100 zur Betätigung der realen Bediengeräte 5.

Wie in Fig. 1 zu erkennen ist, ist eines der 3D-Sensorsysteme 7 hinter dem Besatzungsmitglied 100 seitlich und nach oben versetzt im Trainingsraum

200 angeordnet. Dieses 3D-Sensorsystem 7 wirft hierbei einen Über- Schulter- Blick auf den Aktionsbereich 201 , so dass nach Möglichkeit eine Verdeckung oder Abschattung der Hände 101 im Aktionsbereich 201 ver mieden werden kann. Auch wenn das Besatzungsmitglied 100 seine Hände 101 zur Betätigung des realen Bediengeräts 5 weit in den Aktionsbereich

201 ausstreckt, ermöglicht dieser Über-Schulter-Blick eine weitgehend un gestörte Erfassung der Hände 101 des Besatzungsmitglieds 100 innerhalb der Grenzen des Sensorbereichs 7.1 , ohne dass die Hände 101 , beispiels weise durch die Arme des Besatzungsmitglieds 100, verdeckt werden.

Da sich das Besatzungsmitglied 100 im Trainingsraum 200 weitgehend frei bewegen kann, ist es trotz dieses Über- Schulter- Blicks nicht ausgeschlos sen, dass es zu einem Verdecken der Hände 101 des Besatzungsmitglieds 100 kommt, wenn dieses beispielsweise eine andere als die in Fig. 1 darge- stellte und der Ausgangsposition zum Beginn des Trainings entsprechende Position einnimmt. Um dennoch die Position und die Lage der Hände 101 des Besatzungsmitglieds 100 erfassen zu können, ist in dem Trainingsraum 200 noch ein weiteres 3D-Sensorsystem 7 angeordnet. Dieses ist unterhalb des realen Bediengeräts 5 und vom Besatzungsmitglied 100 zur Seite ver setzt angeordnet, so dass es von schräg unten auf den Aktionsbereich 201 blickt. Eine solche Anordnung der 3D-Sensorsysteme 7 bringt den Vorteil mit sich, dass auch, wenn die Hände 101 im Aktionsbereich 201 aus Sicht eines der 3D-Sensorsysteme 7 verdeckt oder abgeschattet werden, die Posi tion der Hände 101 gleichwohl durch das andere 3D-Sensorsystem 7 erfasst werden kann.

Wenngleich die hier dargestellten Ausführungen dieses Beispiels lediglich mit zwei 3D-Sensorsystemen 7 dargestellt sind, so können in dem Trainings raum 200 gleichwohl auch darüber hinaus weitere 3D-Sensorsysteme 7 an geordnet werden, wodurch die Wahrscheinlichkeit einer Verdeckung der Hände 101 gegenüber sämtlichen 3D-Sensorsystemen 7 weiter verringert werden kann und die Zuverlässigkeit der Erfassung von Position und Lage der Hände 101 weiter gesteigert wird.

Zudem sind in dem Trainingsraum 200 auch positionierbare Hindernis- Elemente 19 angeordnet. Aus Gründen der Übersichtlichkeit ist in Fig. 1 lediglich ein Hindernis-Element 19 dargestellt, wobei auch weitere Hinder nis-Elemente 19 in dem Trainingsraum 200 angeordnet sein können. Mit die sem Hindernis-Element 19 können die räumlichen Beschränkungen des Fahrzeuginneren eines realen Fahrzeugs wiedergegeben werden. Bei dem Training stimmen diese räumlichen Beschränkungen dabei mit den räumli chen Gegebenheiten überein, wie sie in der virtuellen Umgebung 2 vorhan den und dem Besatzungsmitglied 100 über die Anzeigevorrichtung 4 darge stellt werden. Bewegt sich das Besatzungsmitglied 100 innerhalb des Trai ningsraums 2 derart, dass dies zu einer Kollision mit weiteren Elementen im Fahrzeuginneren oder der Fahrzeugwand führen würde, so wird durch das Hindernis-Element 19 ein entsprechendes Feedback an das Besatzungsmit glied 100 gegeben. Anders als bei anderen rein virtuellen Simulationen, bei welchen virtuelle Wände auf einfache Weise durchdrungen werden können, wird durch ein Anstoßen an das Hindernis-Element 19, welches sich an der gleichen Position relativ zum Besatzungsmitglied 100 im Trainingsraum 200 wie ein entsprechendes virtuelles Hindernis 2.3 - hier ein Teil der Innen wand des Panzerturms 2.1 - in der virtuellen Umgebung 2 befindet, ein Durchdringen eines solchen virtuellen Hindernisses realitätsgetreu verhin dert.

Wie in der Fig. 1 dargestellt, bildet die Kombination aus Anzeigevorrichtung 4, realem Bedienelement 5, 3D-Sensorsystem 7 und Signalgeber 18 ein kon struktiv einfaches Trainingssystem 1. Je nach Anwendungsfall kann das Trainingssystem 1 in unterschiedlichen Trainingsräumen 200 eingerichtet werden. Auf diese Weise lässt sich beispielsweise ein ansonsten als Büro genutzter Raum zu einem Trainingsraum 200 für ein virtuelles Training um funktionieren. Die einzelnen Komponenten des Trainingssystems 1 können je nach zu simulierendem Fahrzeugtyp anders in dem Trainingsraum 200 eingerichtet werden und der Trainingsraum 200 auf diese Weise flexibel an ein durchzuführendes Training angepasst werden. Das Trainingssystem 1 umfasst darüber hinaus noch weitere, nicht in dem dargestellten Training zum Einsatz kommende Elemente, wie weitere reale Bediengeräte 5 oder Hindernis-Elemente 19, welche eine andere Form als das in Fig. 1 darge stellte Hindernis-Element 19 aufweisen. Das Trainingssystem 1 ist nach Art eines Baukastens ausgebildet, mit welchem variabel das Fahrzeuginnere verschiedener Fahrzeugtypen trainingsabhängig nachgebildet werden kön nen.

In Fig. 2a ist ein Fahrzeug-Bediengerät 300 gezeigt, wie es in einem Fahr zeug verbaut ist und für dessen Bedienung das Besatzungsmitglied 100 mit- tels des Trainingssystems 1 trainiert werden soll. Im realen Fahrzeug dient dieses Fahrzeug-Bediengerät 300 der Steuerung sowie der Anzeige von Fahrzeugfunktionen und Fahrzeugzuständen, beispielsweise die Steuerung der Fahrzeugbeleuchtung oder einer Waffe, die Anzeige der Einsatzbereit schaft einer Waffe oder der Bedienung eines Funkgerätes. Hierzu weist das Fahrzeug- Bediengerät 300 mindestens ein Fahrzeug-Bedienelement 301 auf, über welches das Besatzungsmitglied 100 durch Betätigung des Fahrzeug- Bedienelements 301 und damit durch Betätigung des Fahrzeug-Bediengeräts 300 eine entsprechende Bedienungseingabe tätigen kann.

Bei dem dargestellten Fahrzeug-Bediengerät 300 sind insgesamt sechs Fahr zeug-Bedienelemente 301 von insgesamt drei unterschiedlichen Typen vor gesehen. Bei diesen Fahrzeug-Bedienelementen 301 handelt es sich zum einen um drei nebeneinander angeordnete Kippschalter 301a, von denen der rechte Kippschalter 301a in einer unteren und die beiden anderen Kipp schalter 301a in einer oberen Kippstellung dargestellt sind. Hierunter ist ein Drehregler 301b angeordnet, welcher in unterschiedliche Drehstellungen gebracht werden kann. Damit das Besatzungsmitglied 100 im Fahrzeug die se Drehstellung des Drehreglers 301b erkennen kann, ist der Drehregler 301b mit einem Pfeil versehen, welcher es dem Besatzungsmitglied 100 er möglicht, auf einen ersten Blick die Drehstellung des Drehreglers 301b visu ell wahrzunehmen. Neben dem Drehregler 301b ist eine Taste 301c ange ordnet, welche von dem Besatzungsmitglied 100 durch Drücken betätigt werden kann. Unter dem Drehregler 301b und der Taste 301c ist ein Schlüs selschalter 301 d angeordnet. In diesen Schlüsselschalter 301 d wird zur Be tätigung ein Schüssel 301e eingesteckt, welcher in Fig. 2a bereits einge steckt dargestellt ist. Durch den Schlüssel 301 e wird eine Drehverriegelung des Schlüsselschalters 301 d freigegeben, so dass das Besatzungsmitglied 100 über ein Drehen des Schlüssels 301 e den Schlüsselschalter 301 d betäti gen kann. Oberhalb der Fahrzeug-Bedienelemente 301 weist das dargestellte Fahr zeug-Bediengerät 300 mehrere Fahrzeug-Anzeigeelemente 302 auf, welche nach Art von Lampen ausgebildet sind. Die einzelnen Fahrzeug-Anzeigeele mente 302 können unterschiedliche Funktionsstellungen der Fahrzeug- Bedienelemente 301 anzeigen und/oder zur Darstellung unterschiedlicher Fahrzeugzustände oder Zuständen von fahrzeugverbauten Geräten, wie Funkgeräten oder einem Waffensystem, dienen. Die sich zwischen den Fahrzeug- Bedienelementen 301 sowie den Fahrzeug-Anzeigeelementen 302 erstreckende Oberfläche 303 des Fahrzeug-Bediengeräts 300 kann weitere Anzeigen, wie beispielsweise feste Skalen für den Drehregler 301b oder Be schriftungen aufweisen. Darüber hinaus zeichnet sich die Oberfläche 303 durch ihre Struktur und Textur aus, welche das Besatzungsmitglied 100 er tasten kann und so eine praktische Wahrnehmung des Fahrzeug-Bedien geräts 300 gestattet und zudem je nach Struktur der Oberfläche 303, d. h. deren Oberflächenverlauf im dreidimensionalen Raum, eine Bedienung des Fahrzeug- Bediengeräts 300 erleichtern kann. Hierzu kann die Oberfläche 303 beispielsweise in Fig. 2a nicht dargestellte Bereiche aufweisen, an wel chen das Besatzungsmitglied 100 seine Hand 101 zur präziseren Bedienung des Fahrzeug-Bediengeräts 300 abstützen kann.

Das in der Fig. 2a dargestellte Fahrzeug-Bediengerät 300 stellt lediglich ein exemplarisches Beispiel dar. Je nach Fahrzeugtyp und Besatzungsposition können auch andere Fahrzeug-Bediengeräte 300 mit hiervon abweichenden Abmessungen, anders angeordneten Fahrzeug-Bedienelementen 301 und Fahrzeug-Anzeigeelementen 302 oder mit anderen oder weiteren Fahrzeug- Bedienelementen 301 und Fahrzeug-Anzeigeelementen 302, auch eines an deren Typs, vorgesehen sein. Beispielsweise kann es sich bei dem Fahrzeug- Bediengerät 300 auch um ein Lenkrad oder ein Pedal handeln. In Fig. 2b ist ein reales Bediengerät 5 dargestellt, wie es zum Training des Besatzungsmitglieds 100 erfindungsgemäß verwendet wird. Dieses reale Bediengerät 5 ist dem in Fig. 2a dargestellten Fahrzeug-Bediengerät 300 nachgebildet, wobei insbesondere die relative Position der realen Bedien elemente 5.1 jenen der Fahrzeug-Bedienelementen 301 entspricht. Wie auch bei den Fahrzeug-Bediengerät 300 weist das reale Bediengerät 5 ins gesamt sechs reale Bedienelemente 5.1 auf. Auch beim realen Bediengerät 5 sind dies drei nebeneinander angeordnete Kippschalter 5.1a, wobei der linke Kippschalter 5.1a in einer unteren und die übrigen beiden Kippschal ter 5.1a in einer oberen Kippstellung dargestellt sind, welche den Kipp stellungen der Kippschalter 301a entsprechen.

Da die Anforderungen an das reale Bediengerät 5 geringer sind als jene an das Fahrzeug-Bediengerät 300, da dieses beispielsweise keinen Einsatz wäh rend einer rauen Geländefahrt wie das Fahrzeug-Bediengerät 300 ohne Funktionseinschränkungen überstehen muss, kann ein anderes Kippschalter fabrikat für die Kippschalter 5.1a verwendet werden als dies beim Kipp schalter 301a des Fahrzeug-Bediengeräts 300 der Fall ist. Dieses einfachere Fabrikat eines Bedienelements 5.1 kann beispielsweise weniger robust aus gebildet sein, so dass sich hierdurch Kosten in der Anschaffung des realen Bedienelements 5.1 einsparen lassen. Dieser Fabrikatunterschied ist in der Fig. 2b durch das Fehlen des schematischen Kastens, wie er in Fig. 2a um die Kippschalter 301a gezeigt ist, um den Kippschaltern 5.1a angedeutet.

Unter diesen Kippschaltern 5.1a angeordnet, weist das reale Bediengerät 5 einen Drehregler 5.1b auf, welcher durch ein Drehen in unterschiedlichen Stellungen gebracht werden kann. Im Unterschied zum Drehregler 301b ist dieser Drehregler 5.1b jedoch einfacher ausgestattet und weist beispiels weise nicht den Pfeil des Drehreglers 301b auf. Neben dem Drehregler 5.1b ist eine Taste 5.1c in der gleichen relativen Position zu den übrigen realen Bedienelementen 5.1 angeordnet, wie die Taste 301c relativ zu den Fahr zeug-Bedienelementen 301. Im unteren Bereich weist das reale Bediengerät 5 einen Drehschalter 5.1 d auf, welcher an die Position des Schlüsselschalters 301b des Fahrzeug- Bedienelements 301 tritt. Auf diese Weise kann der komplizierte und einen Schlüssel 301 e erfordernde Schlüsselschalter 301 d des Fahrzeug-Bedien geräts 300 auf einfachere Weise nachgebildet werden. Der Drehschalter 5.1 d weist hierbei einen fest mit ihm verbundenen Griff 5.1e auf, welcher an die Stelle des Schlüssels 301 e zur Betätigung tritt.

Anders als das Fahrzeug- Bediengerät 300 mit seinen Fahrzeug-Anzeige- elementen 302 weist das reale Bediengerät 5 keine Anzeigeelemente auf. Derartige Anzeigeelemente bei dem realen Bediengerät 5 vorzusehen, ist für das erfindungsgemäße Verfahren nicht erforderlich, da das Besatzungs mitglied 100 durch die Anzeigevorrichtung 4 ohnehin lediglich die rein vir tuelle Umgebung 2 wahrnimmt und somit etwaig an dem realen Bedienge rät 5 vorhandene Anzeigevorrichtungen nicht wahrnehmen könnte.

Das reale Bediengerät 5 weist in der in der Fig. 2b dargestellten Ausfüh rungsform zusätzlich einen als Markierung an ihm angebrachten Marker 14 auf, welcher hier nach Art eines QR-Codes ausgebildet ist. Über diesen Marker 14 kann das reale Bediengerät 5 bei der Durchführung des Verfah rens erkannt werden. Durch die zweidimensionale Ausgestaltung des Mar kers 14 kann dieser zusätzlich auch eine Bestimmung der Position und Lage des realen Bediengeräts 5 im Trainingsraum 200 ermöglichen.

Alternativ kann die Positionsmarkierung über eine farbliche Markierung des realen Bediengeräts 5 erfolgen, welche von dem 3D-Sensorsystem 7 er kennbar ist. So wird beispielsweise das reale Bediengerät 5 flächig und ein farbig mit einer zuvor definierten Farbe bestrichen oder aus Material der definierten Farbe gefertigt. In der einfachsten Ausgestaltung des realen Bediengeräts 5 weist dieses lediglich eine plane Oberfläche 21 auf, welche nicht der Oberfläche 303 des Fahrzeug-Bediengeräts 300 nachgebildet ist. Die ermöglicht eine kon struktiv einfache Nachbildung des Fahrzeug-Bediengeräts 300, in dem ledig lich die in erster Linie für das Trainingsverfahren relevante relative Lage der Bedienelemente 5.1 gemäß jenen Fahrzeug-Bedienelementen 301 nach gebildet werden, welche durch die virtuellen Bediengeräte 3 simuliert wer den. Hierbei können die realen Bedienelemente 5.1 und somit das gesamte reale Bediengerät 5 dem Besatzungsmitglied 100 ein haptisches Feedback geben, welches jenem Feedback entspricht, welches das Besatzungsmit glied 100 bei einer Betätigung der Fahrzeug-Bedienelemente 301 im realen Fahrzeug erfahren würde. Gleichwohl kann das reale Bediengerät 5 auch weitere Merkmale des Fahrzeug-Bediengeräts 300 insbesondere dessen Oberfläche 303 nachbilden, wie dies im Zusammenhang mit den Fig. 3 nachfolgend näher beschrieben wird. Um das reale Bediengerät 5 im Trai ningsraum 200 positionieren zu können, weist dieses Anbindungselemente 6 auf, welche im dargestellten Ausführungsbeispiel nach Art von gelochten Laschen ausgebildet sind. Über diese Anbindungselemente 6 kann bei spielsweise eine Schraubverbindung hergestellt werden, mit welcher das reale Bediengerät 5 im Trainingsraum 200 angeordnet werden kann.

Die Fig. 3a zeigt eine einfache Ausgestaltung des realen Bediengeräts 5 in einer Seitenansicht. Wie zu erkennen ist, weist das reale Bediengerät 5 ei nen Kippschalter 5.1a sowie einen Drehregler 5.1b auf. Diese beiden realen Bedienelemente sind auf einer Basisplatte 20 befestigt, bei welcher es sich beispielsweise um eine Holz- oder Metallplatte handeln kann, und die eine einfache Befestigung der realen Bedienelemente 5.1 ermöglicht. Die realen Bedienelemente sind hierbei nicht elektrisch verbunden, so dass diese dem Besatzungsmitglied 100 lediglich ein haptisches Feedback geben. Die ein zelnen Bedienelemente 5.1 können hierbei entweder mechanisch betätig bar sein, beispielsweise kann es sich hier um funktionstüchtige 3D-Aus- drucke nach Art eines rein haptischen Dummys oder auch elektrische funk tionstüchtige Bedienelemente handeln, welche lediglich in keinem Schalt kreis eingebunden sind. Alternativ kann es sich bei den realen Bedienele menten 5.1 auch um starre Nachbildungen der Fahrzeug-Bedienelemente 301 handeln, welche mechanisch nicht in ihrer Stellung veränderbar sind und dem Besatzungsmitglied 100 so als rein haptischer Dummy ein passives haptisches Feedback lediglich hinsichtlich der Position und Lage des realen Bedienelements 5.1 liefert. Ein derartiges, auch mechanisch nicht funkti onstüchtiges reales Bediengerät 5 ermöglicht bei dem Training jedoch kein Feedback hinsichtlich einer Betätigungsstellung des dem Besatzungsmit glieds 100 dargestellten virtuellen Bedienelements 3.1 des virtuellen Be diengeräts 3.

Auf der den realen Bedienelementen 5.1 gegenüberliegenden Seite der Ba sisplatte 20 sind zwei Anbindungselemente 6 nach Art von Steckstiften aus gebildet, welche in korrespondierend ausgebildeten Anbindungsstellen im Trainingsraum 200 eingesteckt werden können, um so das reale Bediengerät 5 frei positionieren zu können.

In Fig. 3b ist ein aufwendigeres reales Bediengerät 5 gezeigt. Auch dieses weist Anbindungselemente 6 auf, welche zur Befestigung einer Basisplatte 20 im Trainingsraum 200 genutzt werden können. Wie auch das in Fig. 3a gezeigte einfache reale Bediengerät 5, weist auch dieses reale Bediengerät 5 reale Bedienelemente 5.1 auf, bei welchen es sich zum einen um einen Kippschalter 5.1a und eine Taste 5.1c handelt. Anders als bei dem kon struktiv einfachen Ausführungsbeispiel in Fig. 3a sind diese realen Bedien elemente 5.1 nicht nur mechanisch, sondern auch elektrisch funktionsfähig. So wird von dem in Fig. 3b gezeigten realen Bediengerät 5 ein elektrisches Signal bei Betätigung eines der realen Bedienelemente 5.1 erzeugt. Hierzu sind die realen Bedienelemente 5.1 über Schaltkreisbahnen 26 in einen Schaltkreis integriert. Von einer Energieversorgung 23 werden diese realen Bedienelemente 5.1 mit Energie versorgt. Durch Betätigung des realen Be dienelements 5.1, beispielsweise durch ein Umlegen des Kippschalters 5.1a, kann ein Stromkreis geschlossen und so ein elektrisches Signal erzeugt werden. Im dargestellten Ausführungsbeispiel wäre dies beispielsweise ein Schließen des Stromkreises zwischen der Energieversorgung 23 und einem Mikrocontroller 25 über den Kippschalter 5.1a.

In dem Mikrocontroller 25 können die einzelnen elektrischen Signale der realen Bedienelemente 5.1 zusammenlaufen und verarbeitet werden. An- schließend werden die Signale an ein WLAN-Modul 24 übermittelt, welche eine Datenübertragung von dem realen Bediengerät 5 zu einem hier nicht dargestellten Server oder Trainingsrechner ermöglicht. Über das elektrische Signal wird auf diese Weise die Veränderung des realen Bediengeräts 5 er fasst und zur Beeinflussung der virtuellen Umgebung 2 weiterverwendet.

In Fig. 3b ist eine kabellose Umsetzung dargestellt, wobei gleichwohl auch eine kabelgebundene Umsetzung des realen Bediengeräts 5 möglich ist, bei welchem sowohl die Energieversorgung als auch die Datenübertragung nicht über die hier als kapazitives Element dargestellte Energieversorgung 23 und das WLAN-Modul 24, sondern je über ein in das reale Bediengerät 5 hinein führendes Kabel erfolgt.

Hierüber hinaus weist das reale Bediengerät 5 der Fig. 3b eine Oberfläche 21 auf, welcher der Oberfläche des virtuellen Bediengeräts 3 nachgebildet ist. Da das virtuelle Bediengerät 3 selbst wiederum dem Fahrzeug-Bedien gerät 300 nachgebildet ist, stellt somit auch die Oberfläche 21 des realen Bediengeräts 5 eine Nachbildung der Oberfläche 303 des Fahrzeug-Bedien geräts 300 dar. Die Oberfläche 21 kann dem Besatzungsmitglied 100 sowohl eine realitätsgetreue Auflage für seine Hand 101 bei der Betätigung der einzelnen Bedienelemente 5.1 des realen Bediengeräts 5 bieten als auch eine Haptik bereitstellen, welche jener des Fahrzeug-Bediengeräts 300 ent- spricht. Die Oberfläche 21 kann insbesondere hinsichtlich ihrer Rauigkeit, Glätte, Festigkeit und sonstiger Struktur jener Oberfläche 303 des Fahr zeug-Bediengeräts 300 nachgebildet sein.

Wie auch das Hindernis-Element 19 kann das sowohl in Fig. 3a als auch in Fig. 3b gezeigte reale Bediengerät 5 aus leicht zu bearbeitenden Materia lien hergestellt sein, insbesondere aus Kunststoff. Insbesondere das in Fig. 3b dargestellte reale Bediengerät 5 kann mittels eines 3D-Druckverfahrens hergestellt werden, ohne dass ein späteres Zusammensetzen erforderlich ist. Bei diesem 3D- Druckverfahren können die elektrischen Schaltkreise von vornherein in das 3D-Druck-Stück während des Ausdruckens eingefügt wer den. Insbesondere die realen Bedienelemente 5.1 können bei einem 3D- Druck-Stück mit mechanisch zusammenwirkenden und ineinandergreifenden beweglichen Teilen ohne die Notwendigkeit eines späteren Zusammenbaus ausgedruckt werden.

In Fig. 4 ist eine Trägerplatte 12 gezeigt, auf welche das reale Bediengerät 5 positioniert werden kann. Bei der Trägerplatte 12 kann sich um eine ein fache Holzplatte handeln, auf welche ein reales Bediengerät 5, wie in Fig. 2b dargestellt, über laschenförmige Anbindungselemente 6 verschraubt werden kann. Hierbei ist das reale Bediengerät frei auf der Trägerplatte 12 positionierbar, welche wiederum frei im Trainingsraum 200 positioniert werden kann. Die Ausgestaltung der Trägerplatte 12, wie sie in Fig. 4 dar gestellt ist, weist hierüber hinaus zusätzlich Anbindungsstellen 12.1 auf. Diese Anbindungsstellen 12.1 sind in einem regelmäßigen Muster auf der Trägerplatte 12 angeordnet. In diesen Anbindungsstellen 12.1 können An bindungselemente 6 der realen Bediengeräte 5 zur Befestigung und somit zur Positionierung im Trainingsraum 200 eingreifen. Wie in den Fig. 3 und 4 dargestellt, sind die Anbindungselemente 6 und die Anbindungsstellen 12.1 derart ausgestaltet, dass sie nach Art einer Steckverbindung zusammenwir- ken. Gleichwohl können sie auch nach Art von Rastverbindungen, Klemm verbindungen oder Nutenführungen zusammenwirkend ausgebildet sein.

In Fig. 5 ist die Betätigung des realen Bediengeräts 5 sowie die Anpassung des virtuellen Bediengeräts 3 hieran dargestellt. Der Aufbau des in Fig. 5 dargestellten realen Bediengeräts 5 entspricht jenen des in Fig. 2b darge stellten realen Bediengeräts 5. Der mittlere Kippschalter 5.1a des realen Bediengeräts 5 befindet sich in Fig. 5a in seiner oberen Kippstellung. Wäh rend des Trainings sieht das Besatzungsmitglied 100 über die Anzeigevor- richtung 4 nicht das reale Bediengerät 5, sondern das in Fig. 5b dargestellte virtuelle Bediengerät 3. Dieses virtuelle Bediengerät 3 ist eine virtuelle Nachbildung des in Fig. 2a dargestellten Fahrzeug-Bediengeräts 300. Neben virtuellen Bedienelementen 3.1 weist dieses virtuelle Bediengerät 3 auch virtuelle Anzeigeelemente 3.2 auf, welche als Art von Lampen dargestellt sind. Die Betätigungsstellungen der virtuellen Bedienelemente 3.1 entspre chen jenen Betätigungsstellungen des realen Bediengeräts 5.

Will das Besatzungsmitglied 100 nun während des Trainings das virtuelle Bediengerät 3 betätigen, so streckt es seine Hand 101 aus, bis diese mit dem realen Bediengerät 5 in Kontakt kommt. Das reale Bediengerät 5 gibt dem Besatzungsmitglied 100 auf diese Weise ein haptisches Feedback, so dass dieser in seiner Wahrnehmung das real nicht vorhandene virtuelle Be diengerät 3 ertasten kann. Im hier dargestellten Beispiel erfolgt die Betäti gung des realen Bediengeräts 5 durch das Umlegen des mittleren Kippschal- ters 5.1a von seiner oberen Kippstellung in eine untere Kippstellung, wie dies in Fig. 5c dargestellt ist. Diese Betätigung des realen Bediengeräts 5 führt zunächst lediglich zu einer Änderung des realen Bediengeräts 5, ohne dass dies dem Besatzungsmitglied 100 visuell über die Anzeigevorrichtung 4 dargestellt wird. Um dem Besatzungsmitglied 100 auch eine visuelle Rück- meldung über die durchgeführte Betätigung zu geben, wird die Betätigung des realen Bediengeräts 5 erfasst. Dies kann entweder über eine hier nicht dargestellte Gestenerkennung erfolgen, bei welcher die Handbewegung des Besatzungsmitglieds 100 bei der für die jeweilige Betätigung charakteristi schen Bewegung verfolgt und als entsprechende Betätigung des realen Be diengeräts erkannt wird. Alternativ oder zusätzlich kann die Erfassung der Betätigung des realen Bediengeräts 5 durch die Erfassung der Veränderung des realen Bediengeräts 5 erfolgen. Dies kann beispielsweise, wie im Zu sammenhang mit Fig. 3b beschrieben, mittels eines elektrischen Signals erfolgen, welches bei der Betätigung des realen Bediengeräts 5 erzeugt wird.

Die erfasste Betätigung des realen Bediengeräts 5, welche von Fig. 5a zur Fig. 5c in der Veränderung der Kippstellung des Kippschalters 5.1a liegt, wird durch einen hier nicht dargestellten Server oder Trainingsrechner ver arbeitet. Hieran anschließend wird abhängig von der erfassten Betätigung die virtuelle Umgebung 2 verändert. Diese Veränderung entspricht in der Fig. 5d der Anpassung des virtuellen Bedienelements 3.1 an die geänderte Betätigungsstellung des realen Bedienelements 5.1a, so dass auch das als mittlerer Kippschalter dargestellte virtuelle Bedienelement 3.1 nunmehr in einer unteren Kippstellung dargestellt wird. Hierüber hinaus erfolgt mit dem Aufleuchten des virtuellen Anzeigeelements 3.2 eine weitere Verände rung der virtuellen Umgebung 2, was einer Reaktion auf die Betätigung ent spricht, wie sie auch in einem realen Fahrzeug bei Betätigung eines Fahr zeug-Bedienelements 301 eines Fahrzeug-Bediengeräts 300 erfolgen würde.

In Fig. 6 ist eine mögliche Erfassung der Lage und Position der Hand 101 des Besatzungsmitglieds 100 dargestellt. Fig. 6a zeigt hierbei die Hand 101 des Besatzungsmitglieds 100, welche sich innerhalb der Grenzen des Sensorbe reichs 7.1 des 3D-Sensorsystems 7 befindet. Um die Position und Lage der Hand 101 zu erfassen, misst das 3D-Sensorsystem 7 die Position einer Viel zahl einzelner Punkte auf der Hand 101. Die einzeln zu messenden Punkte werden in der virtuellen Umgebung 2, wie in Fig. 6b gezeigt, als Punkte 13.1 einer Punktwolke 13 dargestellt. Wenngleich die einzelnen Punkte 13.1 in Fig. 6b in einem unregelmäßigen Muster angeordnet sind, können die Punkte 13.1 sowie die mit ihnen korrespondierenden Messpunkte auf der Hand 101 des Besatzungsmitglieds 100 auch in einem regelmäßigen Muster angeordnet sein. Die in der virtuellen Umgebung 2 dargestellte Punktwolke 13 ermöglicht es, dem Besatzungsmitglied 100 seine Hand 101 in der virtuellen Umgebung 2 visuell wahrzunehmen, ohne diese unmittel bar zu sehen.

Auf gleiche Weise ist auch eine Erfassung der Lage und Position des realen Bediengeräts 5 möglich, insbesondere bei der interaktiven Positionierung des realen Bediengeräts 5 im Trainingsraum 200.

Bei der Positionierung im Trainingsraum 200 kann auf ein virtuelles Modell des Bediengeräts 5 zur Darstellung der Position des realen Bediengeräts 5 in der virtuellen Umgebung 2 verzichtet werden. Mit den gemessenen Punkten kann die erfasste Position des realen Bediengeräts 5 direkt in der virtuellen Umgebung 2 dargestellt werden.

Mit dem 3D-Sensorsystem 7 kann der gesamten Aktionsbereich 201 erfasst werden, so dass neben den mit dem realen Bediengerät 5 korrespondieren den Messpunkten auch weitere Messpunkte erfasst werden. Die Punkt wolkendaten 13.2 werden zur Erfassung der Position des realen Bedienge räts 5 daher einer Filterung unterzogen und in solche Punkte unterteilt, welche dem realen Bediengerät 5 zugeordnet werden können, und jene Punkte, welche anderen Objekten im Aktionsbereich 201 oder die keinem Objekt zugeordnet werden können. Die Zuordnung der Punkte zum realen Bediengerät 5 kann beispielsweise über die Erkennung des in Fig. 2b darge stellten Markes 14 erfolgen. Ausgehend von dem Marker 14 können die Ab messungen und /oder die Relativpositionen des realen Bediengeräts 5 oder ein Positionsbereich im Aktionsbereich 201 definiert sein, welcher das reale Bediengerät 5 umfasst. Alle Punkte 13 in diesem Positionsbereich können dabei dem realen Bediengerät 5 zuzuordnen werden.

Alternativ kann ein Positionsbereich über eine farbliche Markierung des rea- len Bediengeräts 5 definiert werden, welche durch eine Farbkamera 9 des 3D-Sensorsystems 7 erkannt werden kann. So wird beispielsweise das reale Bediengerät 5 flächig und einfarbig mit einer zuvor definierten Farbe be strichen oder aus Material einer definierten Farbe gefertigt. Während der Erfassung des realen Bediengeräts 5 und der Messung der einzelnen Punkte können dann sämtliche Punkte der Punktwolkendaten 13.2, welche einen dieser Farbe entsprechenden Farbwert aufweisen, als zu diesem Positions bereich gehörend erkannt werden. Die in diesem Positionsbereich liegenden Punkte 13 gehören somit zum realen Bediengerät 5 und können als solche in der virtuellen Umgebung 2 dargestellt werden und/oder zur Positionsbe- Stimmung der realen Bediengeräts 5 im Trainingsraum 200 genutzt werden.

Zwei mögliche Ausführungsformen des 3D-Sensorsystems 7 sowie die Be stimmung der Position der Hand 101 mit diesen ist in den Fig. 7a und 7b dargestellt. Mit den dargestellten 3D-Sensorsystemen 7 lässt sich hierbei nicht nur die Position und Lage der Hand 101 des Besatzungsmitglieds 100 erfassen, sondern sie eignen sich auch vielmehr dazu, auch andere Objekte im Aktionsbereich 201, wie beispielsweise dessen Arme 102 oder gesamten den Körper oder das reale Bediengerät 5, zu erfassen. Ebenso kann auch die Position und Lage des realen Bediengeräts 5 erfasst werden.

Das in Fig. 7a dargestellte 3D-Sensorsystem 7 umfasst eine Farbkamera 9, welche zwischen zwei Teilkameras 8.1 einer stereo-optischen Tiefenkamera 8 angeordnet ist. Die Farbkamera 9 kann ein zweidimensionales Farbbild innerhalb der Grenzen des Sensorbereichs 7.1 erfassen. Mittels der Farbka- mera 9 kann den Punkten 13.1 der Punktwolke 13 ein jeweiliger Farbwert zugeordnet werden, welcher jenem Farbwert der korrespondierenden Punkte im Trainingsraum 200 entspricht.

Mit den beiden Teilkameras 8.1 der stereo-optischen Tiefenkamera 8 lässt sich der Abstand A der Hand 101 zu dem 3D-Sensorsystem 7 messen. Hierzu nimmt jede der Teilkameras 8.1 simultan ein eigenständiges Bild der Hand 101 auf. Da die Hand 101 im Trainingsraum 200 von den beiden Teilkameras

8.1 jeweils in einem anderen Raumwinkel a, ß relativ zu ihrer jeweiligen Geradeausrichtung R gesehen wird und der Abstand der beiden Teilkameras

8.1 zueinander konstruktiv bekannt ist, kann der Abstand A einzelner Punk te auf der Hand 101 und somit auch der gesamten Hand 101 durch Triangu lation ermittelt werden.

In Fig. 7b ist ein weiteres 3D-Sensorsystem 7 gezeigt, welches ebenfalls eine Farbkamera 9 aufweist, welche die gleiche Funktion wie die in Fig. 7a gezeigte Farbkamera 9 erfüllt. Hierüber hinaus weist das in Fig. 7b darge stellte 3 D- Sensorsystem 7 eine Tiefenkamera 8 nach Art einer time-of- flight- Kamera mit einem Sende-Modul 8.2 und einem Empfangs-Modul 8.3 auf. Anders als bei einer stereo-optischen Kamera erfolgt die Bestimmung des Abstands A der Hand 101 zum 3D-Sensorsystem 7 nicht über eine Trian gulation mit mehreren Aufnahmen, sondern über die Laufzeit eines Licht pulses 10. Hierbei emittiert das Sende-Modul 8.2 diesen Lichtpuls 10, wel cher von der Hand 101 als reflektierter Puls 11 zurückgeworfen wird und auf einen Lichtsensor 8.4 des Empfangs-Moduls 8.3 trifft. Der vom Sende- Modul 8.2 emittierte Lichtpuls 10 kann als breitgefächerter Puls emittiert werden, welcher insbesondere zwischen den Grenzen des Sensorbereichs

7.1 liegenden Bereichs abdecken kann. Alternativ kann es sich bei dem Lichtpuls 10 um einen fokussierten Puls handeln, welchen das Sende-Modul

8.2 zur Abrasterung des sich zwischen den Grenzen des Sensorbereichs 7.1 erstreckenden Bereichs jeweils zeitlich versetzt entlang einer anderen Raumrichtung emittiert. Um über die Laufzeit des Lichtpulses 10 und des reflektierten Pulses 11 den Abstand A der Hand von dem 3D-Sensorsystem 7 bestimmen zu können, sind das Sende-Modul 8.2 und das Empfangs-Modul 8.3 derart miteinander syn chronisiert, dass die Zeit zwischen dem Emittieren des Lichtpulses 10 durch das Sende-Modul 8.2 und das Detektieren des reflektierten Pulses 11 durch den Lichtsensor 8.4 des Empfangs-Moduls 8.3 genau bestimmt werden kann. Aus dieser Zeitdifferenz sowie der bekannten Ausbreitungsgeschwindigkeit des Lichtpulses 10 sowie des reflektierten Pulses 11 lässt sich der Abstand A bestimmen. Hierbei werden insbesondere kurze Lichtpulse 10 im Bereich von wenigen Nanosekunden und darunter verwendet, welches vorzugsweise im Infrarotbereich liegen.

Wie im Zusammenhang mit Fig. 1 beschrieben, werden zur Steigerung der Genauigkeit mehrere 3D-Sensorsysteme 7 verwendet. Um mit diesen 3D- Sensorsystemen 7 eine möglichst genaue Erfassung der Position und Lage der Hände 101 des Besatzungsmitglieds 100 zu ermöglichen, werden die 3D- Sensorsysteme 7 vor dem Trainingsbeginn aufeinander kalibriert, wie dies in Fig. 8 dargestellt ist. Im oberen Teil der Fig. 8 ist der Trainingsraum 200 mit zwei darin angeordneten 3D-Sensorsystemen 7 gezeigt. Jedes der 3D- Sensorsysteme 7 weist ein eigenes Koordinatensystem B1 , B2 auf, in wel chem die Position eines durch das jeweilige 3D-Sensorsystem 7 gemessenen Raumpunktes P bestimmt wird. Hierüber hinaus ist in dem Trainingsraum 200 auch ein Koordinatenreferenzsystem B0 dargestellt, auf welches die 3D-Sensorsysteme 7 kalibriert werden sollen. Dieses Koordinatenreferenz system B0 kann hierbei ein Koordinatensystem eines dritten 3D-Sensor- systems 7 sein oder auch beispielsweise ein der Anzeigevorrichtung 4 zuge ordnetes Koordinatensystem sein.

Einem einzelnen sich im Trainingsraum 200 befindenden Raumpunkt P wer den in jedem der Koordinatensysteme B1 , B2 sowie dem Koordinaten refe- renzsystem BO eigene, unterschiedliche Koordinate zugewiesen. So trägt der Raumpunkt P in dem Koordinatensystem B1 die kartesischen Koordina ten xi, yi und zi, in dem Koordinatensystem B2 die kartesischen Koordina ten X2, y2 und Z2 sowie im Koordinatenreferenzsystem BO die kartesischen Koordinaten xo, yo, zo. Damit diesem einzelnen Raumpunkt P für das weite re Verfahren von sämtlichen 3D-Sensorsystemen 7 die gleichen Koordinaten zugewiesen werden, erfolgt eine Kalibrierung K auf das Koordinaten refe- renzsystem BO. Bei dieser Kalibrierung K werden die Positionen und Lagen der 3D-Sensorsysteme 7 und somit ihrer jeweiligen Koordinatensysteme B1 und B2 relativ zu dem Koordinatenreferenzsystem BO bestimmt. Aus diesen relativen Lagen und Positionen wird nun jeweils eine Transformationsfunk tion, insbesondere in Form einer Transformationsmatrix für jedes der Koor dinatensysteme B1 , B2 bestimmt und auf diese Koordinatensysteme B1 , B2 angewandt. Nach erfolgreicher Kalibrierung K wird dem Raumpunkt P von beiden 3D-Sensorsystemen 7 jeweils die übereinstimmenden kartesischen Koordinaten xo, yo, zo zugewiesen, welche der Position des Raumpunktes P, ausgehend von dem Koordinaten referenzsystem BO, entsprechen. Wenn gleich die vollständige Kalibrierung für ein kartesisches Koordinatensystem beschrieben wurde, kann eine derartige Kalibrierung aber auch in einem anderen Koordinatensystem, wie beispielsweise einem Kugelkoordinaten system oder Zylinderkoordinatensystem erfolgen.

In der Fig. 9 sind verschiedene erfindungsgemäße Verfahrensabläufe von der Erfassung der Hand 101 des Besatzungsmitglieds 100 bis hin zu ihrer Darstellung in der virtuellen Umgebung 2 gezeigt. Zunächst wird mit dem 3D-Sensorsystem 7 die in den Grenzen des Sensorbereichs 7.1 liegende Hand 101 sowie der Arm 102 und das reale Bediengerät 5 hinsichtlich ihrer Positionen im Trainingsraum 200 gemessen. Wie bereits voranstehend be schrieben, werden durch das 3D-Sensorsystem 7 hierzu die Positionen ein zelner Punkte gemessen. Die Positionen dieser gemessenen Punkte werden in einem nächsten Schritt zu Punktwolkendaten 13.2 zusammengefasst. Aus Gründen der Übersichtlichkeit der Fig. 9 werden die einzelnen Punkte 13.1 dieser Punktwolkendaten 13.2 nicht näher dargestellt, sondern lediglich die äußeren Konturen der sich aus den Punktwolkendaten 13.2 ergebenden Punktwolke 13 gestrichelt dargestellt.

Ausgehend von diesen Punktwolkendaten 13.2 kann in einem ersten, einfa chen Darstellungsverfahren die Punktwolke 13 mit sämtlichen Punkten 13.1 in der virtuellen Umgebung 2 dargestellt werden. Da es durch die mit dem realen Bediengerät 5 korrespondierenden Punkten 13.1 der Punktwolken- daten 13.2 zu Irritierungen des Besatzungsmitglieds 100 kommen kann, da diese mit dem realen Bediengerät 5 korrespondierenden Punkte 13.1 sich mit dem virtuellen Bediengerät 3 überlagern würden, ist das virtuelle Be diengerät 3 bei dieser Darstellungsvariante derart gestaltet, dass es die mit dem realen Bediengerät 5 korrespondierenden Punkte 13.1 der Punktwolke 13 verdeckt. Hierzu ist das virtuelle Bediengerät 3 in seinen Abmessungen leicht größer ausgebildet als das ihm zugeordnete reale Bediengerät 5. Dies ist in dem links in Fig. 9 dargestellten Verfahrensablauf dieser Darstellungs variante durch eine breitere Linienführung des virtuellen Bediengeräts 3 angedeutet.

Bei den beiden anderen Varianten der Darstellungsverfahren erfolgt zu nächst eine Filterung F der Punktwolkendaten 13.2.

Bei der in Fig. 9 mittig dargestellten Darstellungsvariante erfolgt zunächst eine Filterung F hinsichtlich mit dem realen Bediengerät 5 korrespondie renden gemessenen Punkten. Die Punktwolkendaten 13.2 werden bei dieser Filterung F unterteilt in Punktwolkendaten von Punkten 15, welche dem realen Bediengerät 5 zugeordnet werden können, und jenen Punkten 16, welche der Hand 101 und dem Arm 102 des Besatzungsmitglieds 100 zuge- ordnet werden können. Die Zuordnung der Punkte 15 zum realen Bedienge rät 5 kann hierbei beispielsweise über die Erkennung des in Fig. 2b darge- stellten Markers 14 erfolgen, relativ zu welchem ein Aussonderungsbereich im Aktionsbereich 201 definiert ist und welcher das reale Bediengerät 5 umfasst. Alternativ kann ein Aussonderungsbereich über eine farbliche Mar kierung des realen Bediengeräts 5 definiert werden, welche durch die Farb kamera 9 erkannt werden kann. So wird beispielsweise das reale Bedien gerät 5 flächig und einfarbig mit einer zuvor definierten Farbe bestrichen oder aus Material einer definierten Farbe gefertigt. Während des Darstel lungsverfahrens können dann sämtliche Punkte der Punktwolkendaten 13.2, welche einen dieser Farbe entsprechenden Farbwert aufweisen, als zu die sem Aussonderungsbereich gehörend erkannt werden. Dieser Aussonde rungsbereich kann nach Art eines no-draw- Volumens ausgebildet sein, wel ches angibt, dass sämtliche den in diesem Bereich liegenden Messpunkten zugeordneten Punkten 15 der Punktwolkendaten 13.2 nicht in der virtuellen Umgebung 2 dargestellt werden sollen.

Bei dieser zweiten Darstellungsvariante werden an die Filterung F anschlie ßend, die dem realen Bediengerät 5 zugeordneten Punkte 15 der Punktwol kendaten 13.2 in der virtuellen Umgebung 2 nicht dargestellt. Lediglich die den Händen 101 und Armen 102 des Besatzungsmitglieds 100 zugeordneten Punkte 16 der Punktwolkendaten 13.2 werden in der virtuellen Umgebung 2 als Punktwolke 13 dargestellt.

Auch in der dritten Darstellungsvariante, welche in Fig. 9 auf der rechten Seite dargestellt ist, erfolgt zunächst eine Filterung F der Punktwolkenda ten 13.2. Im Unterschied zur zweiten Darstellungsvariante erfolgt hierbei sowohl die Erfassung der Position und Lage der Hände 101 als auch die der Arme 102 des Besatzungsmitglieds 100 mittels eines Deep-Learning-Ver- fahrens 17. Das Deep-Learning-Verfahren 17 gestattet es, als selbstlernen des und sich selbst verbesserndes Verfahren die Erkennung der Hände 101 des Besatzungsmitglieds 100 in einem Bild. Hierbei wird das 2D-Bild der Farbkamera 9 verwendet, in welchem das Deep-Learning-Verfahren 17 jene Bildbereiche erkennt, welche die Hände 101 des Besatzungsmitglieds 100 enthalten. Anhand dieser Bildbereiche in dem 2D- Bild wird eine Maske 22 erstellt, welche die entsprechenden Bildbereiche mit den Händen 101 des Besatzungsmitglieds 100 umschließt. Mittels dieser Maske 22 werden die Punktwolkendaten 13.2 hinsichtlich der mit den Händen 101 des Besat zungsmitglieds 100 korrespondierenden Punkte gefiltert. Jene Punkte 16 der Punktwolkendaten 13.2, welche je einen sich innerhalb der Maske 22 liegendem Punkt entsprechen, werden der Hand 101 zugeordnet. Bei die sem Darstellungsverfahren werden lediglich diese den Händen 101 zugeord nete Punkte 16 der Punktwolkendaten 13.2 als Punktwolke 13 in der virtu ellen Umgebung 2 dargestellt.

In Fig. 10 ist die Kalibrierung eines 3D-Sensorsystems 7 und eines Signalge bers 18 aufeinander dargestellt. Das Kalibrierungsverfahren des 3D-Sensor- systems 7 und des Signalgebers 18 aufeinander erfolgt im Wesentlichen analog zu der Kalibrierung mehrerer 3D-Sensorsysteme 7, wie dies im Zu sammenhang mit Fig. 8 obenstehend beschrieben ist. Fig. 10a zeigt hierbei die Ausrichtung des Trainingsraums 200 sowie der hierin angeordneten rea len Bediengeräte 5, des 3D-Sensorsysteme 7, des Besatzungsmitglieds 100 sowie der vom Besatzungsmitglied 100 am Kopf getragenen Anzeigevorrich tung 4 im Koordinatensystem B3 des Signalgebers 18. In Fig. 10b ist der gleiche Trainingsraum 200 mit den realen Bediengeräten 5, dem Besat zungsmitglied 100 und dem Signalgeber 18 gezeigt, jedoch ausgehend vom Koordinatensystem B1 des 3D-Sensorsystems 7.

Beim Vergleich der Fig. 10a und 10b ist zu erkennen, dass sich die Ausrich tungsposition des Trainingsraum 200 sowie sämtlicher hierin angeordneter Elemente, wie die realen Bediengeräte 5, das Besatzungsmitglied 100, das 3D-Sensorsystem 7 und der Signalgeber 18, ausgehend vom jeweiligen Ko ordinatensystem B1 oder B3, voneinander unterscheidet. Um die Gegeben heiten im Trainingsraum 200 und der virtuellen Umgebung 2 jedoch mög- liehst zur Deckung zu bringen, insbesondere hinsichtlich der Position und Ausrichtung der den virtuellen Bediengeräten 3 zugeordneten realen Bedi engeräte 5, müssen die Koordinatensysteme B1 und B3 derart aufeinander kalibriert werden, dass ein und derselbe Punkt im Trainingsraum 200 so wohl vom 3 D- Sensorsystem 7 als auch vom Signalgeber 18 als an der glei chen Position und Lage liegend erkannt wird.

Hierzu erfolgt ebenfalls eine Kalibrierung auf ein Koordinaten referenzsys- tem B0, wie bereits im Zusammenhang mit Fig. 8 beschrieben. Dies ist in Fig. 10c dargestellt, wobei es sich bei dem Koordinaten referenzsystem B0 um ein festes Koordinatensystem im Trainingsraum 200 handeln kann, wie in Fig. 10c gezeigt, und/oder dies mit einem der Koordinatensysteme B1 oder B3 übereinstimmen kann. Im letzten Fall kann der Kalibrierungsauf wand reduziert werden, da beispielsweise, wenn das Koordinatenreferenz system B0 mit dem Koordinatensystem B1 des 3D-Sensorsystems 7 überein stimmt, eine Kalibrierung des 3D-Sensorsystems 7 auf dieses Koordinaten re ferenzsystem B0 entfallen würde und lediglich der Signalgeber 18 und des sen Koordinatensystem B3 auf das Koordinatenreferenzsystem B0 kalibriert werden müsste.

Mit Hilfe des voranstehend beschriebenen Verfahrens sowie des Trainings systems 1 kann die Übertragbarkeit des Trainings in der virtuellen Umge bung 2 auf den realen Einsatz verbessert werden.

Bezugszeichen:

1 Trainingssystem

2 virtuelle Umgebung

2.1 Panzerturm

2.2 Waffe

2.3 virtuelles Hindernis

3 virtuelles Bediengerät

3.1 virtuelles Bedienelement

3.2 virtuelles Anzeigeelement

4 Anzeigevorrichtung

5 reales Bediengerät

5.1 reales Bedienelement

5.1a Kippschalter

5.1b Drehregler

5.1c Taste

5.1 d Drehschalter

5.1e Griff

6 Anbindungselement

7 3D-Sensorsystem

7.1 Grenzen des Sensorbereichs

8 Tiefenkamera

8.1 Teilkamera

8.2 Sende-Modul

8.3 Empfangs-Modul

8.4 Lichtsensor

9 Farbkamera

10 Lichtpuls

11 reflektierter Puls

12 Trägerplatte 12.1 Anbindungsstelle

13 Punktwolke

13.1 Punkt

13.2 Punktwolkendaten

14 Marker

15 zugeordnete Punkte (zum Bediengerät)

16 zugeordnete Punkte (zur Hand)

17 Deep-Learning-Verfahren

18 Signalgeber

19 Hindernis- Element

20 Basisplatte

21 Oberfläche

22 Maske

23 Energieversorgung

24 WLAN-Modul

25 Mikrocontroller

26 Schaltkreisbahn

100 Besatzungsmitglied

101 Hand

102 Arm

200 Trainingsraum

201 Aktionsbereich

300 Fahrzeug-Bediengerät

301 Fahrzeug-Bedienelement

301a Kippschalter

301b Drehregler

301c Taste

301 d Schlüsselschalter

301 e Schlüssel

302 Fahrzeug-Anzeigeelement 303 Oberfläche

A Abstand

BO Koordinaten referenzsystem B1 Koordinatensystem

B2 Koordinatensystem

B3 Koordinatensystem

F Filterung

K Kalibrierung P Raumpunkt

R Geradeausrichtung a, ß Raumwinkel

Claims

Patentansprüche:

1. Verfahren zum Training eines Besatzungsmitglieds (100) eines, insbe sondere militärischen, Fahrzeugs in einem realen Trainingsraum (200), wobei eine rein virtuelle Umgebung (2) erzeugt wird, welche mindestens ein virtuelles Bediengerät (3) enthält, wobei das Besat zungsmitglied (100) eine kopffeste, im Sichtfeld des Besatzungsmit glieds (100) angeordnete Anzeigevorrichtung (4) trägt und wobei dem Besatzungsmitglied (100) die rein virtuelle Umgebung (2) auf der An zeigevorrichtung (4) dargestellt wird, d a d u rc h g e k e n n z e i c h n e t , dass die Hände (101 ) des Besatzungsmitglieds (100) positions- und la gerichtig in der virtuellen Umgebung (2) dargestellt werden, wobei ein dem virtuellen Bediengerät (3) zugeordnetes reales Bediengerät (5) im Trainingsraum (200) ein haptisches Feedback bei der Bedie nung des virtuellen Bediengeräts (3) gibt.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das reale Bediengerät (5) im Trainingsraum (200) in einer relativen Position und/oder Lage zum Besatzungsmitglied (100) angeordnet wird, wel che der relativen Position und/oder Lage des virtuellen Bediengeräts (3) zum Besatzungsmitglied (100) in der virtuellen Umgebung (2) ent spricht.

3. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeich net, dass das reale Bediengerät (5), insbesondere frei, auf einer Trä gerplatte (12) positioniert wird.

4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, dass ein rein haptischer Dummy als reales Bediengerät (5) verwendet wird.

5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, dass eine Betätigung des realen Bediengeräts (5) er fasst wird.

6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, dass die Position und die Lage der Hände (101 ) des Be satzungsmitglieds (100) in einem Aktionsbereich (201 ) des Besat zungsmitglieds (100) mit einem 3D-Sensorsystem (7) erfasst wird.

7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Positi on einzelner Punkte (13.1 ) im Aktionsbereich (201 ) des Besatzungs mitglieds (100) im Trainingsraum (200) relativ zum 3D-Sensorsystem (7) gemessen wird.

8. Verfahren nach einem der Ansprüche 6 oder 7, dadurch gekennzeich net, dass die Position der Hände (101 ), insbesondere einer Vielzahl einzelner Punkte (13.1 ) auf den Händen (101 ), zum 3 D- Sensorsystem (7) gemessen wird.

9. Verfahren nach einem der Ansprüche 7 oder 8, dadurch gekennzeich net, dass die gemessenen, insbesondere die mit den Händen (101 ) korrespondierenden, Positionen zu Punktwolkendaten (13.2) zusam mengefasst und als Punktwolke (13) in der virtuellen Umgebung (2) dargestellt werden.

10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass mit dem realen Bediengerät (5) korrespondierende Punkte der Punktwolke (13) durch das virtuelle Bediengerät (2) verdeckt werden.

11 . Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Punktwolkendaten (13.2), insbesondere hinsichtlich den mit dem realen Bediengerät (5) korrespondierenden Punkte (15), gefiltert werden.

12. Verfahren nach einem der Ansprüche 9 bis 11, dadurch gekennzeich net, dass eine Markierung auf dem realen Bediengerät (5) erkannt wird und dem realen Bediengerät (5) zugeordnete Punkte (15) in der virtuellen Umgebung (2) nicht dargestellt werden.

13. Verfahren nach einem der Ansprüche 6 bis 12, dadurch gekennzeich net, dass zur Erfassung der Position und der Lage der Hände (101 ) des Besatzungsmitglieds (100) ein Deep-Learning-Verfahren (17) ge nutzt wird.

14. Verfahren nach einem der vorangehenden Ansprüche, dadurch ge kennzeichnet, dass räumliche Beschränkungen des Fahrzeuginneren über positionierbare Hindernis-Elemente (19) nachgebildet werden.

15. Trainingssystem zur Durchführung eines Verfahrens nach Anspruch 1, g e k e n n z e i c h n e t d a d u r c h ein reales Bediengerät (5) zur Erzielung eines haptischen Feedbacks und einen Sensor (7, 8, 9) zum Erkennen der Hände (101 ) des Besat zungsmitglieds (100).

16. Trainingssystem nach Anspruch 15, gekennzeichnet durch mehrere reale Bediengeräte (5) und/oder Hindernis-Elemente (19) nach Art eines Baukastens zur Nachbildung eines Fahrzeuginneren verschiede ner Fahrzeugtypen.