WO2017140569A1 - Kraftfahrzeug-bedienvorrichtung und verfahren zum betreiben einer bedienvorrichtung, um eine wechselwirkung zwischen einer virtuellen darstellungsebene und einer hand zu bewirken - Google Patents

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben einer Bedienvorrichtung (1), um eine Wechselwirkung (21) zwischen graphischen Objekten (10) und einer Hand (16) eines Benutzers zu bewirken, wobei durch eine Erfassungseinrichtung (11) eine von der Hand (16) frei im Raum berührungslos durchgeführte, vorbestimmte Handgeste (17), durch welche die auf zumindest eines oder einige der Objekte (10) anzuwendende Wechselwirkung (21) festgelegt wird, erkannt wird; durch eine Steuereinrichtung (5) bei erkannter Handgeste (17) ein Auswahlmodus (A) aktiviert wird; durch die Erfassungseinrichtung (11) bei aktiviertem Auswahlmodus (A) von dem Benutzer eine Benutzerauswahl (10') zumindest eines der Objekte (10), auf welches die Handgeste (17) wirken soll, empfangen wird und eine die Benutzerauswahl (10') abschließende Bestätigungsgeste (20) erfasst wird und durch die Steuereinrichtung (5) die durch die erkannte Handgeste (17) festgelegte Wechselwirkung (21) auf das zumindest eine durch die Benutzerauswahl (10') ausgewählte Objekt (10) angewendet wird.

Description

Kraftfahrzeug-Bedienvorrichtung und Verfahren zum Betreiben einer Bedienvorrichtung, um eine Wechselwirkung zwischen einer virtuellen Darstellungsebene und einer Hand zu bewirken

BESCHREIBUNG:

Die Erfindung betrifft ein Verfahren zum Betreiben einer Bedienvorrichtung, um eine Wechselwirkung zwischen graphischen Objekten, die in einer virtuellen Darstellungsebene einer Anzeigeeinrichtung angezeigt werden, und einer außerhalb dieser Anzeigeeinrichtung befindlichen Hand eines Benutzers zu bewirken. Zu der Erfindung gehört auch eine Bedienvorrichtung zum Durchführen des erfindungsgemäßen Verfahrens. Die Bedienvorrichtung kann insbesondere in einem Kraftfahrzeug bereitgestellt werden, weshalb die Erfindung auch ein Kraftfahrzeug mit der erfindungsgemäßen Bedienvorrich- tung umfasst.

Im Bereich der Darstellung virtueller Objekte auf einer Anzeigevorrichtung ist es oftmals nötig, dass ein Benutzer mit einem solchen virtuellen Objekt inter- agieren, also beispielsweise das Objekt manipulieren kann. Hierzu kann zu- sammen mit dem graphischen Objekt in der virtuellen Darstellungsebene beispielsweise ein Mauszeiger oder eine andere Repräsentation dargestellt werden, die der Benutzer dann von außerhalb der virtuellen Darstellungsebene mittels eines realen Bedienelements, z.B. eines Joysticks, bewegen kann. Um direkt eine Bewegung einer Hand des Benutzers in der virtuellen Darstellungsebene umzusetzen, ist bekannt, hierzu eine dreidimensionale virtuelle Repräsentation der Hand in einer virtuellen Realität (VR - Virtual Reality) zu repräsentieren. Dies ist aber in der Implementierung aufwendig.

Aus der DE 10 2008 048 825 A1 ist bekannt, ein graphisches Objekt, das in einer virtuellen Darstellungsebene, beispielsweise einem virtuellen Desktop (Schreibtischoberfläche) dargestellt wird, an die Bewegung eines Fingers zu koppeln, indem ein Benutzer zunächst eine Aktivierungsgeste durch Annähern der Hand mit gespreizten Fingern ausführt und hierdurch ein Modifizierungsmodus für die graphischen Objekte in der virtuellen Ebene aktiviert wird. Nachteilig bei dieser Lösung ist, dass durch die Aktivierungsgeste lediglich ein einziger Modifiziermodus aktiviert werden kann, wobei dann nach Aktivieren dieses Modifiziermodus der Benutzer zusätzliche Eingaben machen muss, um anzuzeigen, was er eigentlich an den Objekten verändern möchte.

Aus der EP 2 930 603 A1 ist bekannt, gruppierte Objekte gruppenweise in einen anderen Anzeigezustand zu versetzen, wenn eine Annäherung einer Hand eines Benutzers an die Anzeigeeinrichtung erkannt wird. Der Benutzer kann dann diese Gruppe durch weitere Bedienschritte manipulieren. Auch hier muss zunächst nach dem Aktivieren der Gruppe abgewartet werden, welcher Befehl eigentlich an dieser Gruppe durchgeführt werden soll.

Aus der US 2007 0157089 A1 ist bekannt, in Abhängigkeit von einer vorbe- stimmten Nutzerhandlung an einem Touchscreen einen Rekonfigurations- prozess zu starten, in welchem der Benutzer dann graphische Objekte auf der Anzeigeeinrichtung des Touchscreens mit dem Finger verschieben kann. Hierbei ist nachteilig, dass der Benutzer mit dem Finger jedes einzelne Objekt behandeln muss, also beispielsweise einen Verschiebeprozess einzeln auf jedes Objekt anwenden muss, und somit keine gleichzeitige Verschiebung mehrerer Objekte möglich ist.

Wünschenswert wäre es, wenn ein Benutzer mit einer Hand frei im Raum beispielsweise eine Greifgeste ausführen könnte und dies so wirken würde, als würde er mit der Hand in die virtuelle Darstellungsebene hinein greifen und dort eine direkte Wechselwirkung seiner Hand mit den graphischen Objekten stattfinden. Dies ist zwar mit der virtuellen Realität (VR) möglich, erfordert dann aber einen hohen Implementierungsaufwand. Der Erfindung liegt die Aufgabe zugrunde, eine Wechselwirkung zwischen graphischen Objekten in einer virtuellen Darstellungsebene einer Anzeigeeinrichtung einerseits und einer außerhalb der Anzeigerichtung befindlichen Hand eines Benutzers andererseits zu bewirken. Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die Merkmale der abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren offenbart. Durch die Erfindung ist ein Verfahren zum Betreiben einer Bedienvorrichtung bereitgestellt. Die Bedienvorrichtung kann beispielsweise als ein Infotain- mentsystem (Informations-Unterhaltungssystem) eines Kraftfahrzeugs ausgestaltet sein. Die Bedienvorrichtung kann aber beispielsweise auch durch ein portables mobiles Endgerät, also beispielsweise ein Smartphone oder einen Tablet-PC, realisiert sein. Durch das Verfahren wird eine Wechselwirkung zwischen graphischen Objekten, die in einer virtuellen Darstellungsebene einer Anzeigeeinrichtung angezeigt werden, und einer außerhalb dieser Anzeigeeinrichtung befindlichen Hand des Benutzers bewirkt. Durch eine Erfassungseinrichtung wird eine außerhalb der Anzeigeeinrichtung von der Hand frei im Raum berührungslos ausgeführte, vorbestimmte Handgeste erkannt. Durch die Handgeste wird die auf eines oder mehrere der Objekte anzuwendende Wechselwirkung festgelegt. Beispielsweise kann der Benutzer mit seiner Hand eine Schiebegeste ausführen, als ob er frei im Raum schwebende Objekte von sich wegschieben oder zur Seite schieben würde. Durch eine Steuereinrichtung wird bei erkannter Handgeste ein Auswahlmodus in der virtuellen Darstellungsebene aktiviert. Die Steuereinrichtung wechselt also von einem Normalbetriebsmodus oder Bedienmodus in einen Auswahlmodus. Im Normalbetriebsmodus kann z.B. durch Berühren eine jeweiligen Objekts z.B. eine jeweils zugeordnete Bedienfunktion aktiviert werden, z.B. eine Klimaanlage eingestellt oder ein Navigationsgerät konfiguriert werden. Durch die Erfassungseinrichtung wird dann bei aktiviertem Auswahlmodus von dem Benutzer eine Benutzerauswahl zumindest eines der Objekte empfangen, auf welches die Handgeste wirken soll. Mit anderen Worten legt der Benutzer durch die Benutzerauswahl fest, welches oder welche der Objekte von der Wechselwirkung manipuliert werden soll, die durch die Handgeste repräsentiert oder festgelegt ist. Er legt also beispielsweise durch die Benutzerauswahl fest, welches der Objekte durch seine Verschiebegeste verschoben werden soll. Die Benutzerauswahl kann beispielsweise durch Antippen oder Berühren der Objekte an der Anzeigeeinrichtung erfolgen. Anders als im Normalbetriebsmodus wird hier also nicht die zugeordnete Bedienfunktion aktiviert.

Durch die Erfassungseinrichtung wird schließlich eine die Benutzerauswahl abschließende Bestätigungsgeste erfasst. Durch die Bestätigungsgeste ist abschließend festgelegt, welche der Objekte insgesamt von der Handgeste erfasst werden sollen. Durch die Steuereinrichtung wird dann die durch die Handgeste festgelegte Wechselwirkung auf das durch die Benutzerauswahl ausgewählte zumindest eine Objekt in der virtuellen Darstellungsebene ab- gewendet. In dem beschriebenen Beispiel werden dann also die ausgewählten Objekte verschoben. Mit anderen Worten legt der Benutzer durch die Handgeste eine Manipulationsfunktion fest, bestimmt durch die Benutzerauswahl die Objekte, auf weiche die Manipulationsfunktion angewendet wer- den soll, und die Steuereinrichtung wendet dann schließlich die ausgewählte Manipulationsfunktion auf die ausgewählten Objekte an.

Durch die Erfindung ergibt sich der Vorteil, dass der Benutzer mit einer Handgeste frei im Raum berührungslos festlegen kann, welche Wechselwir- kung er mit den Objekten wünscht, ob sie also beispielsweise verschoben oder gelöscht werden. Da der Benutzer nun nicht beispielsweise mit einer virtuellen Repräsentation seiner Hand direkt in die virtuelle Darstellungsebene eingreifen kann und die zu verändernden oder zu manipulierenden Objekte direkt greifen oder berühren kann, löst die Erfindung dieses Problem, in- dem nach Festlegen der Wechselwirkung in einem Auswahlmodus durch den Benutzer mittels der Benutzerauswahl noch festgelegt wird, auf welche der Objekte die Wechselwirkung wirken soll. Hierdurch spart man sich das aufwendige Repräsentieren der Benutzerhand durch eine virtuelle Hand in der virtuellen Darstellungsebene. Schließlich können dann die ausgewählten Ob- jekte tatsächlich gemäß der ausgewählten oder festgelegten Wechselwirkung manipuliert werden.

Zu der Erfindung gehören optionale Weiterbildungen, durch deren Merkmale sich zusätzliche Vorteile ergeben.

Gemäß einer Weiterbildung wird als die Handgeste eine Greifbewegung oder Auffanghaltung erkannt. Die Greifbewegung kann beispielsweise eine Bewegung der Hand mit geöffneten Fingern und ein anschließendes Schließen der Finger zur Faust sein. Die Auffanghaltung kann beispielsweise das Aufhalten der flachen oder gekrümmten Hand mit der Handfläche nach oben sein. Durch die Steuereinrichtung wird hierdurch als die Wechselwirkung ein Herausschieben oder Herausfallen des danach durch die Benutzerauswahl festgelegten zumindest einen Objekts aus der virtuellen Ebene umgesetzt. Damit wird ein Löschen dieser Objekte von der Anzeigeeinrichtung realisiert oder umgesetzt. Der Benutzer greift also nach Objekten oder hält die Hand in der Handgeste derart, als wolle er Objekte, die aus der Anzeigeeinrichtung herausfallen, mit der Auffanghaltung auffangen. Die Auffanghaltung wird insbesondere unterhalb der Anzeigeeinrichtung erkannt. Durch die Benutzerauswahl legt er fest, welche der Objekte dann aus der virtuellen Darstellungs- ebene herausgezogen oder aus der virtuellen Darstellungsebene herausfallen. Das Herausfallen kann durch eine entsprechende Animation der ausgewählten Objekte auf der Anzeigeeinrichtung visualisiert werden. Eine Weiterbildung sieht vor, dass die Benutzerauswahl als eine inverse Auswahl empfangen wird, indem alle Objekte bis auf solche, die durch den Benutzer markiert werden, von der Benutzerauswahl umfasst sind. Der Benutzer markiert also zunächst einige Objekte. Die Benutzerauswahl umfasst dann alle nicht-markierten Objekte. Hierdurch ergibt sich der Vorteil, dass die Auswahl einer Vielzahl von Objekten, nämlich insbesondere mehr als der Hälfte der Objekte, mit weniger Bedienschritten erfolgt.

Beim Empfangen der Benutzerauswahl gibt es die Möglichkeit, nach Auswahl eines der Objekte unmittelbar auf dieses die Wechselwirkung anzu- wenden, also dieses Objekt beispielsweise zu löschen oder zu verschieben. Eine Weiterbildung sieht dagegen vor, dass durch die Erkennungseinrichtung die Benutzerauswahl erst bei Erkennen der abschließenden Bestätigungsgeste beendet wird und durch die Steuereinrichtung erst anschließend die Wechselwirkung gleichzeitig auf jedes ausgewählte Objekt angewendet wird. Hierdurch ergibt sich der Vorteil, dass sich der Benutzer während der Benutzerauswahl, also vor deren Beendigung, noch umentscheiden kann und eine Auswahl beispielsweise rückgängig machen kann. Bei sofortiger Löschung eines Objekts wäre dies nicht möglich. Das Verfahren zum Betreiben der Bedienvorrichtung kann für unterschiedliche Anwendungsgebiete genutzt werden. Eine Weiterbildung sieht vor, dass hiermit eine Menü struktur oder ein Menüinhalt und ein Inhalt einer Desktop- Ansicht angepasst werden. Das Bedienmenü beziehungsweise der Desktop stellt in diesem Fall die virtuelle Darstellungsebene dar. Bei der Weiterbil- dung wird durch die Wechselwirkung ein Inhalt eines in der virtuellen Darstellungsebene für eine Aktivierung von Bedienfunktionen der Bedienvorrichtung bereitgestellten Bedienmenüs und/oder eine Sammlung von Icons (Bildsymbolen) angepasst. Beispielsweise kann der Benutzer also Menüeinträge des Bedienmenüs entfernen oder Icons entfernen. Es bleiben dann nur die vom Benutzer ausgewählten Menüeinträge beziehungsweise Icons übrig. Als Bedienfunktionen können durch die Bedienvorrichtung beispielsweise das Steuern einer Klimatisierungseinrichtung und/oder einer Medienwiedergabe (Radio oder MP3-Abspieleinrichtung) und/oder das Einstellen einer Sitzposi- tion in einem Kraftfahrzeug und/oder das Bedienen einer Navigationseinrichtung vorgesehen sein.

Eine Weiterbildung betrifft den Auswahlmodus. Bei dieser Weiterbildung werden durch die Steuereinrichtung bei aktiviertem Auswahlmodus die Objekte graphisch und/oder dynamisch, das heißt in ihrer Bewegung, anders dargestellt als bei inaktivem Auswahlmodus. Als graphische Änderung kann beispielsweise eine Farbe und/oder Form und/oder Markierung verändert werden. Als dynamische Änderung können beispielsweise eine stille oder bewegungslose Darstellung einerseits und beispielsweise eine pulsierende oder drehende Darstellung andererseits vorgesehen sein.

Um die Handgeste zuverlässig außerhalb der Anzeigeeinrichtung zu erfassen, sieht eine Weiterbildung vor, dass durch die Erfassungseinrichtung die Handgeste mittels einer Kamera erfasst wird. Mit der Kamera ist hierbei die eigentliche Bilderfassungseinrichtung sowie eine zugehörige Bildverarbeitungseinrichtung gemeint, durch welche in Bilddaten der Bilderfassungseinrichtung eine Hand erkannt und deren Lage im Raum erfasst wird. Insbesondere ist vorgesehen, dass eine Time-of-Flight-Kamera verwendet wird. Diese weist den Vorteil auf, dass unmittelbar anhand der 3D-Bilddaten der Time-of- Flight-Kamera eine relative Lage der Hand im Raum bezüglich der Kamera erfasst werden kann.

Um die Benutzerauswahl zu erfassen, sieht eine Weiterbildung vor, dass durch die Erfassungseinrichtung die Benutzerauswahl des zumindest einen Objekts jeweils mittels einer Sensormatrix an einer Anzeigefläche der Anzeigeeinrichtung als eine jeweilige Berührung des Objekts erfasst wird. Der Benutzer interagiert also direkt durch Berühren jedes Objekts mit diesem. Eine solche Sensormatrix kann beispielsweise mittels eines Berührungsbild- schirms (Touchscreen) realisiert sein, durch welchen sowohl die Anzeigefläche der Anzeigeeinrichtung als auch die berührungssensitive Sensormatrix bereitgestellt werden können.

Um das erfindungsgemäße Verfahren durchzuführen, ist durch die Erfindung auch eine Bedienvorrichtung bereitgestellt, die eine Anzeigeeinrichtung, eine Erfassungseinrichtung und eine Steuereinrichtung umfasst. Die Anzeigeeinrichtung ist dazu eingerichtet, graphische Objekte in einer virtuellen Darstellungsebene anzuzeigen. Die Erfassungseinrichtung ist dazu eingerichtet, außerhalb der Anzeigeeinrichtung eine Handgeste einer Hand eines Benut- zers zu erkennen, die dieser frei im Raum durchführt. Diese vorbestimmte Handgeste repräsentiert eine auf zumindest eines oder mehrere der Objekte anzuwendende Wechselwirkung, also beispielsweise eine Löschfunktion. Die Erfassungseinrichtung ist des Weiteren dazu eingerichtet, eine Benutzer- auswahl derjenigen der Objekte, auf welche die Handgeste wirken soll, von dem Benutzer zu empfangen. Die Steuereinrichtung ist dazu eingerichtet, einen Auswahlmodus zum Empfangen der Benutzerauswahl zu aktivieren und die durch die erkannte Handgeste festgelegte Wechselwirkung auf das zumindest eine durch die Benutzerauswahl ausgewählte Objekt in der virtuel- len Darstellungsebene umzusetzen oder anzuwenden. Hierbei ist vorgesehen, dass die erfindungsgemäße Bedienvorrichtung eine Ausführungsform des erfindungsgemäßen Verfahrens mittels ihrer Anzeigeeinrichtung, Erfassungseinrichtung und Steuereinrichtung durchführt. Die Anzeigeeinrichtung kann beispielsweise durch einen Bildschirm oder eine Kopf-oben-Anzeige (Head-up-Display) realisiert sein. Die Erfassungseinrichtung kann in der beschriebenen Weise eine Kamera, insbesondere eine Time-of-Flight-Kamera, und/oder eine Sensormatrix umfassen. Die Steuereinrichtung kann auf der Grundlage einer Prozessoreinrichtung, beispielsweise eines MikroControllers oder Mikroprozessors, realisiert sein. Die Steuereinrichtung weist dann ein entsprechendes Programmmodul auf, durch welches bei dessen Ausführung durch die Prozessoreinrichtung diejenigen Verfahrensschritte durchgeführt werden, welche die Steuereinrichtung betreffen.

Die Bedienvorrichtung kann in der beschriebenen Weise in einem portablen, mobilen Endgerät, beispielsweise einem Smartphone oder Tablet-PC, bereitgestellt sein. Insbesondere ist vorgesehen, dass die Bedienvorrichtung in einem Kraftfahrzeug realisiert ist. Entsprechend sieht die Erfindung auch ein Kraftfahrzeug mit einer Ausführungsform der erfindungsgemäßen Bedienvorrichtung vor. Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwa- gen, insbesondere als Personenkraftwagen oder Lastkraftwagen, ausgestaltet.

Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt:

Fig. 1 eine schematische Darstellung einer Ausführungsform der erfindungsgemäßen Bedienvorrichtung in einem Normalbetriebsmodus; Fig. 2 eine schematische Darstellung der Bedienvorrichtung von Fig. 1 bei Erkennen einer Handgeste eines Benutzers;

Fig. 3 eine schematische Darstellung der Bedienvorrichtung in einem von dem Normalbetriebsmodus verschiedenen Auswahlmodus;

Fig. 4 eine schematische Darstellung einer Hand des Benutzers beim Ausführen einer Bestätigungsgeste; und Fig. 5 eine schematische Darstellung der Bedienvorrichtung, nachdem sie aus dem Auswahlmodus in den Normalbetriebsmodus zurückgekehrt ist.

Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.

In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Be- zugszeichen versehen.

Fig. 1 zeigt eine Bedienvorrichtung 1 , die beispielsweise in einem Kraftfahrzeug 2 oder (nicht dargestellt) in einem portablen, mobilen Endgerät, beispielsweise einem Smartphone oder einem Tablet-PC, bereitgestellt sein kann. Die Bedienvorrichtung 1 kann eine Anzeigeeinrichtung 3 mit einer Anzeigefläche 4 aufweisen. Die Anzeigeeinrichtung 3 kann beispielsweise ein Bildschirm oder eine Kopf-oben-Anzeige (Head-up-Display) sein. Ein Anzeigeinhalt auf der Anzeigefläche 4 kann durch eine Steuereinrichtung 5 gesteuert sein, die beispielsweise auf der Grundlage eines MikroControllers o- der Mikroprozessors realisiert sein kann. Durch die Steuereinrichtung 5 können beispielsweise Gerätekomponenten 6, beispielsweise Fahrzeugkomponenten des Kraftfahrzeugs 2, durch ein entsprechendes Steuersignal 7 gesteuert werden. Die Gerätekomponenten 6 sind in der Fig. 1 lediglich durch ein einzelnes Element dargestellt. Für jede der Gerätekomponenten 6 kann durch die Steuereinrichtung 5 eine jeweilige Bedienfunktion 8 bereitgestellt sein, durch die beispielsweise eine graphische Benutzerschnittstelle zum Bedienen der jeweiligen Gerätekomponente oder eine Steuerfunktion zum Auslösen einer Gerätefunktion der jeweiligen Gerätekomponente realisiert sein kann. Durch die Steuereinrichtung 5 können durch entsprechende Graphikdaten 9 auf der Anzeigefläche 4 der Anzeigeeinrichtung 3 die Bedienfunktionen 8 jeweils durch ein graphisches Objekt 10, beispielsweise ein Icon oder einen Schriftzug, oder einen Menüeintrag, repräsentiert sein. Bei der Bedienvorrichtung 1 ist es ermöglicht, dass ein Benutzer nun gleichzeitig mehrere der graphischen Objekte 10 auswählt und hierdurch beispielsweise in einem Menü eine Auswahl der dem Benutzer auf der Anzeigefläche 4 anzubietenden Bedienfunktionen 8, das heißt eine Auswahl der nur noch anzuzeigenden graphischen Objekte 10, trifft. Es kann auch eine gleichzeitige Aktivierung mehrerer der Bedienfunktionen 8 durch eine entsprechende gleichzeitige Auswahl mehrerer der graphischen Objekte 10 realisiert sein. Zum Erkennen oder Erfassen der Benutzerauswahl kann die Bedienvorrichtung 1 eine Erfassungseinrichtung 1 1 aufweisen, die beispielsweise eine Kamera 12, insbesondere eine TOF-Kamera, und/oder eine nä- herungssensitive und/oder berührungssensitive Sensormatrix 13 umfassen kann. Die Sensormatrix 13 kann beispielsweise an der Anzeigefläche 4 bereitgestellt sein, das heißt die Anzeigeeinrichtung 3 ist in diesem Fall ein Touchscreen. Ein Erfassungsbereich 14 der Kamera 12 kann ebenfalls auf die Anzeigefläche 4 gerichtet sein.

Die graphischen Objekte 10 können beispielsweise Listeneinträge eines Bedienmenüs oder Icons eines Desktops sein. Entsprechend bildet eine Darstellungsebene 15, die auf der Anzeigefläche 4 dargestellt ist und auf welcher die Objekte 10 angeordnet sind, eine virtuelle Darstellungsebene, wie beispielsweise ein Bedienmenü oder ein Desktop. Dem Benutzer ist es nun ermöglicht auszuwählen, welche graphischen Objekte 10 er aus der Darstellungsebene 15 dargestellt bekommen möchte. Mit anderen Worten kann er also ein Bedienmenü oder ein Arrangement von Icons individualisieren. Durch die Bedienvorrichtung 1 ist es ihm hierbei ermöglicht, mittels Gesten- bedienung und an der Sensormatrix 13 der Anzeigeeinrichtung 3 das Löschen/Ausblenden von Menüinhalten/Elementen, das heißt der graphischen Objekte 10, vorzunehmen. Die in Fig. 1 dargestellte Anzeige von graphischen Objekten 10 kann beispielsweise eine Standardausrichtung der Menüanordnung einzelner Menüpunkte in Form der graphischen Objekte 10 darstellen. Jeder Menüpunkt kann beispielsweise eine der Bedienfunktionen 8 beispielsweise für Radio, Navigation, Klimatisierungsregelung, Sitzeinstellung repräsentieren.

Fig. 2 zeigt, wie der Benutzer nun festlegen kann, dass einige der graphischen Objekte von der Darstellungsebene 15 zu entfernen sind. Unterhalb der Anzeigeeinrichtung 3 führt der Benutzer mit seiner Hand 16 eine Bedien- geste 17 aus, welche den Wunsch eines Löschvorgangs beziehungsweise den Wunsch zur Ausblendung eines der graphischen Objekte 10 festlegt, also eine Wechselwirkung ankündigt, die der Benutzer mit der Hand 16 und den graphischen Objekten 10 bewirken möchte. Die Handgeste 17 kann beispielsweise eine Haltung der Hand 16 darstellen, bei welcher die Hand zum Auffangen der aus der virtuellen Darstellungsebene 15 und damit aus der Anzeigeeinrichtung 3 herausfallenden graphischen Objekte 10 repräsentiert, indem eine flache, nach oben gedrehte Handfläche oder eine gekrümmte, nach oben gedrehte Handfläche dargestellt wird. Durch die Kamera 12 wird die Hand 16 in der Handgeste 17 durch 3D-Bilddaten 18 abgebildet. Die Er- kennungseinrichtung 1 1 erkennt die Handgeste 17 und signalisiert sie an die Steuereinrichtung 5, welche daraufhin für die Darstellungsebene 15 einen Auswahlmodus A aktiviert, der ebenfalls in Fig. 2 dargestellt ist. Im Auswahlmodus A ist eine graphische und/oder dynamische Darstellung der Objekte 10 dahingehend verändert, dass die graphischen Objekte 10 beispiels- weise im Vergleich zum in Fig. 1 dargestellten Normalbetriebsmodus animiert dargestellt werden und/oder in einer anderen Form, Größe, Farbe und/oder in einer dynamisch veränderlichen Form, beispielsweise pulsierend größer und kleiner werdend. Es kann auch ein Wackeln oder Blinken vorgesehen sein.

Fig. 3 zeigt, wie durch die Erfassungseinrichtung 1 1 im Auswahlmodus A eine Auswahl der zu entfernenden graphischen Objekte 10 festgelegt wird. Hierbei findet eine direkte Auswahl statt, das heißt der Benutzer kann die zu entfernende Objekte 10 markieren. Hierzu kann beispielsweise die Benut- zerauswahl über die Sensormatrix 13 an der Anzeigefläche 4 erfasst werden. Der Benutzer kann beispielsweise mit einem Finger 19 der Hand 16 an der Anzeigefläche 4 die auszuwählenden Objekte 10 antippen oder berühren. Diese können dann auch graphisch als ausgewählt markiert werden. Die markierten oder ausgewählten Objekte 10 stellen eine Benutzerauswahl 10' dar.

Beispielhaft ist in Fig. 4 veranschaulicht, dass zum Beenden des Auswahl- modus A der Benutzer frei im Raum eine Bestätigungsgeste 20 ausführen kann, bei welcher der Benutzer beispielsweise eine Wischbewegung mit der Hand 16 in eine vorbestimmte Wischrichtung ausführt. Diese Bestätigungsgeste 20 kann wiederum mit der Kamera 12 erfasst und durch 3D-Bilddaten 18 repräsentiert werden, damit sie durch die Bilderkennungseinrichtung der Erfassungseinrichtung 1 1 als die Bestätigungsgeste 20 erkannt werden kann. Mit dem Signalisieren der Bestätigungsgeste 20 wird durch die Steuereinrichtung 5 die Benutzerauswahl dahingehend abgeschlossen, dass diejenige Wechselwirkung oder Manipulationsfunktion, die durch die Handgeste 17 festgelegt wurde, nun auf die ausgewählten Objekte 10 angewendet wird. Im dargestellten Beispiel kann also vorgesehen sein, dass die ausgewählten Objekte„aus der Anzeigeeinrichtung 15 fallen", indem sie beispielsweise, wie in Fig. 5 dargestellt, in einer Animation 21 auf der virtuellen Darstellungsebene 5 nach unten verschoben werden und dann aus der virtuellen Darstellungsebene 15, das heißt der Anzeigeeinrichtung 3 herausfallen oder ver- schwinden. Die Animation 21 repräsentiert somit das Herausfallen der ausgewählten Objekt 10 und damit die durch die Handgeste 17 festgelegte Wechselwirkung. Übrig bleiben dann die vom Benutzer gewünschten graphischen Objekte 10. Damit ist für den Benutzer ein Schnellzugriff oder Direktzugriff auf Bedienfunktionen 8 über die verbleibenden graphischen Objekte 10 möglich, ohne dass der Benutzer zunächst visuell die richtigen Objekte aus einer Vielzahl von ansonsten unbenötigten graphischen Objekten heraussuchen müsste. Insgesamt zeigt das Beispiel, wie durch die Erfindung eine Gestenbedienung zur Löschfunktion einer Bedienvorrichtung genutzt werden kann.

Claims

PATENTANSPRÜCHE:

Verfahren zum Betreiben einer Bedienvorrichtung (1 ), um eine Wechselwirkung (21 ) zwischen in einer virtuellen Darstellungsebene (15) einer Anzeigeeinrichtung (3) angezeigten graphischen Objekten (10) und einer außerhalb der Anzeigeeinrichtung (3) befindlichen Hand (16) eines Benutzers zu bewirken, wobei

- durch eine Erfassungseinrichtung (1 1 ) eine außerhalb der Anzeigeeinrichtung (3) von der Hand (16) frei im Raum berührungslos durchgeführte, vorbestimmte Handgeste (17), durch welche die auf eines oder mehrere der Objekte (10) anzuwendende Wechselwirkung (21 ) festgelegt wird, erkannt wird;

- durch eine Steuereinrichtung (5) bei erkannter Handgeste (17) ein Auswahlmodus (A) in der virtuellen Darstellungsebene (15) aktiviert wird;

- durch die Erfassungseinrichtung (1 1 ) bei aktiviertem Auswahlmodus (A) von dem Benutzer eine Benutzerauswahl (10') zumindest eines der Objekte (10), auf welches die Handgeste (17) wirken soll, empfangen wird und eine die Benutzerauswahl (10') abschließende Bestätigungsgeste (20) erfasst wird; und

- durch die Steuereinrichtung (5) die durch die erkannte Handgeste (17) festgelegte Wechselwirkung (21 ) auf das durch die Benutzerauswahl (10') ausgewählte zumindest eine Objekt (10) in der virtuellen Darstellungsebene (15) angewendet wird.

Verfahren nach Anspruch 1 , wobei als die Handgeste (17) eine Greifbewegung oder Auffanghaltung erkannt wird und hierdurch durch die Steuereinrichtung (5) als die Wechselwirkung (21 ) ein Herausschieben oder Herausfallen des durch die Benutzerauswahl (10') festgelegten zumindest einen Objekts (10) aus der virtuellen Ebene (15) und damit ein Löschen dieser Objekte (10) von der Anzeigeeinrichtung (3) umgesetzt wird.

Verfahren nach einem der vorhergehenden Ansprüche, wobei die Benutzerauswahl (10') als eine inverse Auswahl empfangen wird, indem alle Objekte (10) bis auf solche, die durch den Benutzer markiert werden, von der Benutzerauswahl (10') umfasst sind.

4. Verfahren nach einem der vorhergehenden Ansprüche, wobei durch die Erkennungseinrichtung (1 1 ) die Benutzerauswahl (10') bei Erkennen der abschließenden Bestätigungsgeste (20) beendet wird und durch die Steuereinrichtung (5) erst anschließend die Wechselwirkung (21 ) gleichzeitig auf jedes ausgewählte Objekt (10) angewendet wird.

Verfahren nach einem der vorhergehenden Ansprüche, wobei durch die Wechselwirkung (21 ) ein Inhalt eines in der virtuellen Darstellungsebene (15) für eine Aktivierung von Bedienfunktionen (8) der Bedienvorrichtung (3) bereitgestellten Bedienmenüs und/oder eine Sammlung von Icons an den Benutzer angepasst wird.

Verfahren nach einem der vorhergehenden Ansprüche, wobei durch die Steuereinrichtung (5) bei aktiviertem Auswahlmodus (A) die Objekte (10) graphisch und/oder dynamisch anders dargestellt werden als bei inaktivem Auswahlmodus.

Verfahren nach einem der vorhergehenden Ansprüche, wobei durch die Erfassungseinrichtung (1 1 ) die Handgeste (17) mittels einer Kamera (12), insbesondere einer Time-of-Flight-Kamera (12), erfasst wird.

Verfahren nach einem der vorhergehenden Ansprüche, wobei durch die Erfassungseinrichtung (1 1 1 ) die Benutzerauswahl (10') des zumindest einen Objekts (10) jeweils mittels einer Sensormatrix (13) an einer Anzeigefläche (4) der Anzeigeeinrichtung (3) als eine jeweilige Berührung des Objekts (10) erfasst wird.

Bedienvorrichtung (1 ), aufweisend:

- eine Anzeigeeinrichtung (3) zum Anzeigen von graphischen Objekten (10) in einer virtuellen Darstellungsebene (15);

- eine Erfassungseinrichtung (1 1 ) zum Erkennen einer außerhalb der Anzeigeeinrichtung (3) von einer Hand (16) eines Benutzers frei im Raum berührungslos durchgeführten, vorbestimmten Handgeste (17), durch welche eine auf eines oder mehrere der Objekte (10) anzuwendende Wechselwirkung (21 ) repräsentiert ist, und zum Empfangen einer Benutzerauswahl (10') zumindest eines der Objekte (10), auf welches die Handgeste (17) wirken soll, von dem Benutzer; und

- eine Steuereinrichtung (5) zum Aktivieren eines Auswahlmodus (A) zum Empfangen der Benutzerauswahl (10') und zum Umsetzen der durch die erkannte Handgeste (17) festgelegte Wechselwirkung (21 ) auf das zumindest eine durch die Benutzerauswahl (10') ausgewählte

Objekt (10) in der virtuellen Darstellungsebene (15);

wobei die Bedienvorrichtung (1 ) dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.

10. Kraftfahrzeug (2) mit einer Bedienvorrichtung (1 ) nach Anspruch 9.