WO2011054740A1

WO2011054740A1 - Verfahren zur dreidimensionalen unterstützung der manuellen bedienung von graphischen benutzeroberflächen

Info

Publication number: WO2011054740A1
Application number: PCT/EP2010/066396
Authority: WO
Inventors: Peter Brügger
Original assignee: Bruegger Peter
Priority date: 2009-11-04
Filing date: 2010-10-28
Publication date: 2011-05-12
Also published as: CH702146A1; EP2497006A1; US20120218217A1

Abstract

Die vorliegende Erfindung beschreibt die Bedienung eines Gerätes mit einer grafischen Anzeige, welches mit der Hand oder einem Stift bedient wird, dadurch gekennzeichnet, dass eine grafische Interaktion auf dieser Anzeige erzeugt wird, die in Analogie zur dreidimensionalen Position der Hand oder des Stiftes steht, sobald sich diese in der unmittelbaren Nähe dieser Anzeige befinden. Es geht um ein System, welches den Bediener bei der Manipulation von grafischen Benutzeroberflächen in einer dreidimensionalen Form unterstützt, dergestalt, dass auf der bestehenden graphischen Applikation bereits bei Annäherung des Bedieners eine optische Reaktion erfolgt, die eine analoge Funktion zur Position des Fingers oder des Bedienstiftes wiederspiegelt. Das Benutzerinterface reagiert an der Stelle, wo sich der Finger des Benutzers nähert, indem sich die Darstellung beispielsweise wie durch eine Kugel gesehen verkrümmt. Je näher der Finger kommt, desto stärker wird der Effekt, bis schliesslich die Berührung mit der Oberfläche die vorgesehene Aktion ausführt.

Description

Verfahren zur dreidimensionalen Unterstützung der manuellen Bedienung von graphischen Benutzeroberflächen

BESCHREIBUNG

Die Bedienung von Computersystemen, welche über graphische Benutzeroberflächen verfügen, erfolgt heute oftmals über sogenannte Touchscreens , welche bei Berührung des Bildschirmes mit dem Finger oder einem Stift eine an der betreffenden Position vorgesehene Interaktion auslösen. Solche Systme sind heute beispielsweise in der Industrie für die Bedienung von Steuerungen (Operator Panels) , aber auch auf portablen Geräten, z.B. im Mobilfunkbereich, breit im Einsatz .

Im Bereich der industriellen Anwendungen hat der Operateur häufig den Blick parallel auf die Maschine oder die Anlage gerichtet, um die reale Reaktion seiner Interaktionen zu beobachten. Es ist daher sehr wichtig, dass diese User- Interfaces sehr einfach und übersichtlich gehalten werden, um diese noch sicher bedienen zu können, wenn der Benutzer sich auch auf andere Objekte konzentrieren muss. Es ist aus diesem Blickwinkel betrachtet daher wünschenswert, wenn der Benutzer über möglichst viele Kanäle seiner Wahrnehmung und seiner Sinne einen Feedback über seine Aktionen bekommt, da er die Bedienung dadurch schneller und sicherer vornehmen kann. Im Unterschied zu einer bereits bekannten Technik zur

Bedienung über Gesten und Bewegungen des Benutzers geht es in diesen Fall um einen komplett anderen Ansatz. Es geht nicht darum, komplexere Bewegungsabläufe (Gestik) des Benutzers auf eine u.U. relativ grössere Entfernung zu interpretieren und diesen Gesten unterschiedlichen Funktionen zuzuordnen, sondern darum, Objekte, welche sich in den Nahbereich des Bildschirmes hinein bewegen, dreidimensional zu orten und darauf unmittelbar eine entsprechende Reaktion zu erzeugen, welche dazu dienen soll, dem Benutzer anzukündigen, was passieren wird, wenn er sich dem Bildschirm weiter nähert und diesen schliesslich berührt. Ganz im Sinne dieser Bedienphilosophie sind bereits bekannte Geräte zu verstehen, welche über haptische Rückmeldungen verfügen, die bei Berührung einer mit einer Funktion verknüpften Fläche des Bildschirmes eine Vibration des Gerätes auslösen, welche der Benutzer spüren kann.

In diese Richtung will die beschriebene Erfindung eine weitere Verbesserung der Benutzerfreundlichkeit erreichen, indem das Bediengefühl um die dritte Dimension erweitert wird . Der gewünschte Effekt kann zusätzlich noch durch akustische Signale unterstützt werden, welche ebenfalls analog zu einer Annäherung einen Toneffekt variieren. Der Toneffekt kann je nach der an der fraglichen Position hinterlegten Funktion anders gewählt sein, sodass der Benutzer schon rein akustisch unterscheiden kann, welche Funktion sein Tastendruck auslösen wird.

Wird der Touchscreen von der Seite her bedient, so wird es für den Bediener normalerweise schwieriger, die Position seines Fingers relativ zur Oberfläche abzuschätzen. Auch hier hilft dieses System, weil die Benutzeroberfläche kontinuierlich eine objektive optische Rückmeldung liefert, die die Position des Fingers zur gesuchten Funktion genau beschreibt .

Neben der vorgängig beschriebenen Funktion zur Unterstützung der Positionierung des Fingers sind auch weitere Funktionen möglich. Auf PC Programmen kennt man seit langem die sogenannten Tooltips, welche wie Schilder über einer Funktion aufklappen, wenn der Benutzer seinen Mauszeiger darüber bewegt. Auf Touchscreen Systemen ist diese Funktion kaum benutzt, weil keine sichere Unterscheidung gemacht werden kann zwischen den auf dem PC üblichen Mouse- Move bzw. Mouse-Up/Down Ereignissen. Um ein Mouse-Move zu machen, muss der Benutzer ja zuerst den Schirm berühren, was zwangsläufig einen Mouse-Down erzeugt. Mittels dieses dreidimensionalen Verfahrens können diese Events und damit verbundene Effekte jetzt problemlos auch bei Touchscreens eingesetzt werden.

Ein weiterer Aspekt und Vorteil des dreidimensionalen Verfahrens zur Bedienung besteht darin, dass auf Wunsch die heute gebräuchlichen Touch-Systeme , welche z.B. elektromechanisch oder kapazitiv funktionieren, ersetzt werden können. Viele dieser Verfahren benötigen eine weitere Folie über dem Display, was dessen Anzeigequalität nachteilig beeinflusst .

Ablauf

Abbildung 1 zeigt eine vorteilhafte Ausführung dieser Erfindung unter Verwendung von zwei Kameras (b) . Ein Bediener (e) interagiert mit einer grafischen Applikation (Mensch Maschine Interface) , welche mit einem Computer (d) auf einer grafischen Anzeige (a) dargestellt wird. Die Bedienung erfolgt z.B. mit einem Finger oder einem Bedienstift. Die Kameras (b) , die modulierbaren Leuchtquellen (c) sowie das Display (a) sind mit der Computer Applikation (d) verbunden und werden durch diese gesteuert. Nähert sich der Bediener (e) nun z.B. mit seinem Finger dem Display (a) , so wird dieser durch die Kameras (b) erfasst und dessen dreidimensionale Position in Relation zur Anzeige (a) wird durch die Computer Applikation (d) berechnet. Das durch die Computer Applikation dargestellte Bild wird nun in Relation zur Position des Bedieners verändert. Abbildung 2 zeigt schematisch eine mögliche grafische Anzeige. Nähert sich der Bediener (e) dieser Anzeige, so wird an dieser Stelle das Bild entsprechend verändert. Abbildung 3 zeigt eine mögliche optische Veränderung. Der Grad dieser Veränderung wird umso stärker, je näher der Bediener sich mit seinem Finger dem Display annähert. Die Veränderung bewegt sich horizontal und vertikal, parallel zur Bewegung des Benutzers.

Die dreidimensionale Analyse der Position des Fingers oder Bedienerstiftes erfogt in einer vorteilhaften Konfiguration mit zwei Kameras (b) , welche seitlich am Display angebracht werden können. Eine vorteilhafte Ausführung dieser Aufgabe erfolgt dergestalt, dass die Kameras (b) jeweils um 90 Grad versetzt an der Seite des Bildschirmes angebracht werden, also z.B. oben und rechts. Ausserdem kann dieses System durch in der Nähe der Kameras angebrachte, modulierbare Lichtquellen (c) unterstützt werden. Diese Lichtquellen können im Infrarot Bereich arbeiten, um den Bediener nicht zu stören. Die Lichtquellen (z.B. LED's) werden jeweils zyklisch für die Aufnahme eines Bildes ein- und beim nächsten Bild wieder ausgeschaltet. Dieses Verfahren ermöglicht eine einfache Extraktion von störenden Objekten im Blickfeld der Kamera, die weiter entfernt sind. Ein sich näherndes Objekt ist somit einmal sehr gut beleuchtet und in der nächsten Aufnahme nicht mehr beleuchtet, was die Bildanalyse stark vereinfacht. Die um 90 Grad versetzte Konfiguration der Kameras wiederum erlaubt den Einsatz von einfacheren Algorithmen zur dreidimesionalen Positionsbestimmung als dies bei einer Anordnung nebeneinander oder links/rechts vom Bildschirm notwendig wäre. Dies ist z.B von Bedeutung, um die Kosten für dieses System möglicht gering zu halten, weil durch die geringere Komplexität der Bildverarbeitung weniger hohe Anforderungen an die Rechenkapazität des entsprechenden Systemes gefordert werden und daurch eine einfachere Hardware verwendet werden kann .

Ein weiteres Anwendungsfeld von solchen kameragestützten Bediensensoren ist im Bereich von Bediengeräten zu sehen, welche komplett und möglichst gut geschützt hinter einer Glasscheibe angebracht werden. Diese werden eingesetzt in Bereichen, wo eine hohe Robustheit gefordert ist, z.B. gegen Vandalismus, oder auch in Bereichen, wo die Geräte leicht mit Chemikalien und mechanischen Hilfsmitteln (Wasser, Dampf, Hochdruck, etc.) gereinigt werden sollen (Bereich Food, Labor, Medizin), oder wo sehr viel Schmutz vorhanden ist. Die Kamera kann somit, zusammen mit dem Display, hinter dem schützenden Glas angebracht werden. Um Problemen vorzubeugen, die durch Verschmutzung auftreten können, können diese Kameras redundant ausgeführt werden. Es wird, wie bereits beschrieben, von zwei Seiten her beobachtet, jedoch können von jeder Seite her mehrere Kameras nebeneinander versetzt angebracht werden. Auf diese Weise ist es möglich, partielle Verschmutzungen an der Glasoberfläche herauszurechnen.

Zusammenfassung der Vorteile:

Bedieneroberflächen werden durch eine optische Reaktion bereits bei der Annäherung der Hand interaktiver und deshalb für den Benutzer leichter zu bedienen.

Es wird durch diese Technik auch einfacher, kleine Objekte auf dem Bildschirm zu bedienen bzw. auf kleinen, hochauflösenden Bildschirmen mehr Informationen darzustellen und diese zu bedienen.

Claims

Patentansprüche :

Verfahren zur Bedienung eines Gerätes mit einer grafischen Anzeige, welches mit der Hand oder einem Stift bedient wird, dadurch gekennzeichnet, dass eine grafische Interaktion auf dem Bedienbild dieser Anzeige erzeugt wird, die in Analogie zur dreidimensionalen Position der Hand oder des Stiftes steht, sobald sich diese in der unmittelbaren Nähe dieser Anzeige befinden

Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Auswertung dieser dreidimensionalen Position auch zur Erzeugung von Mouse-Move Ereignissen genutzt wird, ohne dass dazu eine Berührung des Bildschirmes erforderlich ist

Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die in Anspruch 1 beschriebenen graphischen Funktionen in analoger Weise durch Toneffekte unterstützt werden

Anordnung nach Anspruch 1, dadurch gekennzeichnet, dass die Anwendung der in 1 beschriebenen Ansprüche im Bereich von Maschinen- und Anlagenbedienung erfolgt

Verfahren und Anordnung nach Anspruch 1, dadurch gekennzeichnet, dass die Analyse dieser dreidimensionalen Position über zwei Kamerasysteme, welche sich in einer vorteilhaften Konfiguration jeweils um 90 Grad versetzt an der Seite des Bildschirmes befinden und vorzugsweise durch eine modulierbare Beleuchtung unterstützt werden Verfahren und Anordnung nach Anspruch 1, dadurch gekennzeichnet, dass die Analyse dieser dreidimensionalen Position über mehr als zwei Kamerasysteme erfolgt, um durch eine redundante Konfiguration Störungen, z.B. durch Verschmutzung der Optik, auszugleichen