WO2004070595A2 - Vorrichtung und verfahren zur interaktiven steuerung eines mauszeigers einer graphischen benutzerschnittstelle - Google Patents

Vorrichtung und verfahren zur interaktiven steuerung eines mauszeigers einer graphischen benutzerschnittstelle Download PDF

Info

Publication number
WO2004070595A2
WO2004070595A2 PCT/DE2003/000389 DE0300389W WO2004070595A2 WO 2004070595 A2 WO2004070595 A2 WO 2004070595A2 DE 0300389 W DE0300389 W DE 0300389W WO 2004070595 A2 WO2004070595 A2 WO 2004070595A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
display device
image display
auxiliary
mouse pointer
Prior art date
Application number
PCT/DE2003/000389
Other languages
English (en)
French (fr)
Other versions
WO2004070595A3 (de
Inventor
Christian KÜBLBECK
Bernhard FRÖBA
Kurt Neubauer
Constanze Rothe
Walter Zink
Original Assignee
Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. filed Critical Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Priority to AU2003213999A priority Critical patent/AU2003213999A1/en
Publication of WO2004070595A2 publication Critical patent/WO2004070595A2/de
Publication of WO2004070595A3 publication Critical patent/WO2004070595A3/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows

Definitions

  • Controlling the mouse pointer of a graphical user interface is an essential component in many interactive applications. Control of the mouse pointer solely by the movement of the hand of the user is desirable, particularly in places where there is not enough work space available. For example, it is known to use special data gloves whose position and movement are recorded electronically and evaluated in real time. The representation and movement of the mouse pointer in the image of an image display device then take place as a function of the respectively determined position and movement of the data glove. However, such techniques require exact calibration of the system. This is also suitable Technology only in places where the user has direct access to the corresponding input devices.
  • the object of the present invention is to provide a device and a method for the interactive gesture control of a mouse pointer of a graphical user interface in the image of an image display device, which do not require calibration. Furthermore, the device and the method should manage without special input devices to be guided by the user.
  • the present device for the interactive control of a mouse pointer of a graphical user interface in the image of an image display device comprises a video camera for generating an auxiliary image of a scene captured by the video camera and an image processing device connected to the video camera for processing image data of the auxiliary image.
  • the image processing device consists of an analysis unit
  • the mirror unit can, for example, also be a software module that rearranges the columns of the digital image using a simple algorithm in order to achieve the mirroring of the image.
  • the analysis unit is connected to a mouse control for displaying and moving the mouse pointer in the image of the image display device as a function of the respectively determined current position.
  • a mixing and / or cross-fading device with an input for the image data of the mirrored auxiliary image, an input for image data of a main image to be displayed by the image display device and an output for controlling the image display device is provided, which is connected to the mirror unit and for partially transparent superimposition of the Main image and the mirrored auxiliary image obtained from the mirror unit is formed in the image of the image display device.
  • the superimposition either the (partially) transparent main image is superimposed on the auxiliary image or, conversely, the (partially) transparent auxiliary image is superimposed on the main image.
  • the video camera captures an image of a user operating in front of a display area of the image display device as an auxiliary image.
  • the image data of the auxiliary image are searched in the analysis unit of the image processing device for a predetermined object in this scene.
  • a predetermined object For example, the hand of the user or a pointing element guided by hand can be detected as a predetermined object.
  • Suitable image analysis software usually based on techniques of pattern detection works, is known to the expert.
  • its current position is continuously determined in the auxiliary image.
  • the auxiliary image is mirrored by a mirror unit contained in the image processing device. The reflection can take place, for example, by calculation.
  • the position data determined by the image processing device are fed to a mouse controller connected to the analysis unit, which displays the mouse pointer in the image of the image display device as a function of the respectively determined current position or tracks it when this position changes. If the specified object moves, the mouse pointer also moves accordingly in the image of the image display device. In this way, the user can control the movement of the mouse pointer in the image by moving the object.
  • the supplied image data of the main image to be displayed by the image display device and of the mirrored auxiliary image received by the mirror unit are processed in such a way that an auxiliary image partially overlaid on the main image is displayed by the image display device - or vice versa - as an image becomes.
  • An essential feature of the present device and of the associated method is the mixing or blending of the main picture and the auxiliary picture, by means of which the user is provided with a feedback its control of the mouse pointer is given.
  • the user can thus recognize at any time whether his hand or an object guided with it - or also another part of the body such as the head - and the mouse pointer lie on one another in the image.
  • This optical feedback means that calibration of the present device can be dispensed with. If the corresponding overlay recognizable by the user is missing due to incorrect control, the user can grasp the mouse pointer again and move it according to his wishes.
  • the mouse pointer is of course to be understood here as any marking recognizable in the image, by means of which the user can carry out position-dependent entries via the graphical user interface.
  • the analysis unit of the present device preferably comprises a module for recognizing movement patterns or a specific posture of the hand of the user or of the guided object, by means of which corresponding predetermined control commands, for example a mouse click or releasing the mouse, are carried out.
  • corresponding predetermined control commands for example a mouse click or releasing the mouse.
  • the present device can be used particularly advantageously in areas in which the user has no direct access to the individual components of the present device or a computer connected to it.
  • An example this is the control of an application that is displayed on an image display device in a shop window.
  • the user can stand in front of the shop window and control the application with the mouse pointer.
  • the video camera is aimed at the area in front of the shop window so that every potential user is automatically detected.
  • Fig. 1 shows schematically an example of the
  • Fig. 2 shows an example of the use of
  • FIG. 3 shows an example of the use of the present device in a top view of the image display device.
  • FIG. 1 shows an example of the principle
  • the device for the interactive control of a mouse pointer of a graphical user interface in the image of an image display device.
  • the device comprises a video camera 1 with which an image 20 of a user acting in front of the image display device is generated.
  • the image data captured by the camera are sent to an image processing processing device consisting of an analysis unit 2 and a mirror unit 3.
  • the image data 20 recorded with the camera 1 are processed with the aid of image analysis software, with which a hand of the user can be detected and tracked.
  • the current position of the hand is passed on to a mouse controller 4, which in image 10 of the image display device represents or moves a mouse pointer depending on the analysis data obtained.
  • the image data 20 are processed to generate a mirrored image 20a and fed to a mixing and / or fading device 5, in which the mirrored image 20a is superimposed on the main image 30 of the application to be controlled, so that the image data of the superimposed image 10 be supplied to the image display device.
  • the mixing and / or cross-fading device 5 has in addition to the input for the data of the mirrored image 20a
  • Input for the image data of the main image 30 and an output for the control of the image display device are input for the image data of the main image 30 and an output for the control of the image display device.
  • a plasma screen can, for example, be used as the image display device.
  • image display devices for example based on an optical projection
  • other image display devices for example based on an optical projection
  • the main image of the currently running application or the current program which is to be controlled interactively with the graphical user interface, runs here on a computer that overflows with the image display device the present device is connected.
  • Individual components of the present device in particular the image processing device and the mixing or fading device and the mouse control, can run as individual program modules on this computer.
  • Figure 2 shows an example of the use of the present device.
  • a plasma screen is used as the image display device 6, on which the main image of a program to be controlled is displayed via the computer 16.
  • the camera 1 of the present device is arranged above the plasma screen and is aimed at the area in front of the display area.
  • the camera can of course also be arranged at other positions in which it enables detection of the area in front of the image area of the image display device, for example next to, below or behind the image display area, in the latter case at
  • the image processing device 2, 3, mouse control 4 and mixing and / or fading device 5 are implemented in the computer 16 and are therefore not shown separately.
  • the camera 1 is oriented in such a way that it captures at least the body part or object with which the mouse pointer is to be moved, in the present case the upper body with the two arms of a user 13 operating in front of the plasma display.
  • the image of the user captured by the camera 1 is mirrored in real time and on the plasma image screen superimposed on the normal program main image, so that the user can recognize his mirror image on the screen, as is shown schematically in FIG.
  • the hand 14 of the user is constantly tracked and the mouse pointer 11 in the image 10 shown is moved accordingly.
  • the user 13 can see at any time which program objects, such as buttons, selection boxes 15, etc., he is pointing to. With this feedback technique, calibration is not necessary.
  • User 13 always receives feedback on whether his hand 14 and the mouse pointer 11 lie on one another. If this is not the case, the user 13 can compensate for errors in the tracking algorithm of the analysis software by moving the hand 14 to the mouse pointer 11.
  • the main and auxiliary images are overlaid in such a way that the user 13 can recognize both images at any time.
  • the mirrored image 20a can be represented as a background image and the main image 30 as a partially transparent superimposed foreground image.
  • Mouse pointer 11 can, for example, only be done by starting the corresponding action when the mouse pointer 11 is overlaid with a corresponding selection button or selection field 15. Furthermore, all known techniques that are used in graphical user interfaces can of course be used. For example. can also be obtained by suitable evaluation of the image data of the auxiliary image 20 Recognize movements or postures of the user's hand 14 that trigger corresponding actions. Such gestures can consist, for example, of opening the hand 14 which triggers the release of the mouse pointer 11.
  • the user must first move his hand into the area of a mouse pointer already shown in the center of the image. Is the hand of the
  • the mouse pointer snaps into the position of the detected hand.
  • the detection can be limited to a predetermined area around the current position of the mouse pointer. After the hand of the user has been detected in this area, the mouse pointer is placed in this position and follows the hand movement, which is continuously determined anew by the analysis unit.
  • the detection of the hand and the determination of the position or movement of the hand can be carried out using known image analysis software which is based on pattern recognition.
  • An example of such an analysis technique is based on the Edge Orientation Matching (EOM), as is known in the field of image analysis.
  • Video camera Analysis unit Mirror unit Mouse control Mixing and / or fading device Image display device Image of the image display device Mouse pointer Object User Hand Selection field Computer auxiliary image Mirrored auxiliary image Main image

Abstract

Die vorliegende Erfindung betrifft eine Vor­richtung sowie ein Verfahren zur interaktiven Gestik­steuerung eines Mauszeigers (11) einer graphischen Benutzerschnittstelle im Bild (10) eines Bilddarstel­lungsgerätes (6). Die Vorrichtung umfasst eine Videokamera (1) zur Erzeugung eines Hilfsbildes (20), eine Bildverarbeitungseinrichtung (2, 3) zur Verarbei­tung von Bilddaten des Hilfsbildes (20), die eine Analyseeinheit (2) zur Detektion eines von der Videokamera (1) erfassten Objektes (12) und zum Ermitteln einer momentanen Position des detektierten Objektes (12) im Hilfsbild (20) sowie eine Spiegel­einheit (3) zur Spiegelung des Hilfsbildes (20) um­fasst, eine mit der Analyseeinheit (2) verbundene Maussteuerung (4) zur Darstellung und Bewegung des Mauszeigers (11) im Bild (10) des Bilddarstellungs­gerätes (6) in Abhängigkeit von der jeweils ermittelten momentanen Position und eine mit der Spiegeleinheit (3) verbundene Misch- und/oder Überblendeinrichtung (5), die zur teiltransparenten Überlagerung des Hauptbildes (30) und des von der Spiegeleinheit (3) erhaltenen gespiegelten Hilfsbildes (20a) im Bild (10) des Bilddarstellungsgerätes (6) ausgebildet ist. Die vorliegende Vorrichtung und das Verfahren ermöglichen die interaktive Gestiksteuerung des Maus­zeigers ohne vorherige Kalibrierung.

Description

Vorrichtung und Verfahren zur interaktiven Steuerung eines Mauszeigers einer graphischen
Benutzerschnittstelle
Technisches Anwendungsgebiet Die vorliegende Erfindung betrifft eine
Vorrichtung sowie ein Verfahren zur interaktiven Steuerung eines Mauszeigers einer graphischen Benutzerschnittstelle im Bild eines Bilddarstellungsgerätes, bei denen die Bewegung einer Extremität eines Benutzers oder eines vom Benutzer geführten Objektes erfasst und zur Steuerung des Mauszeigers im Bild des Bilddarstellungsgerätes eingesetzt wird.
Stand der Technik Die Steuerung des Mauszeigers einer graphischen Benutzerschnittstelle stellt eine wesentliche Komponente bei vielen interaktiven Applikationen dar. Gerade an Orten, an denen keine ausreichende Arbeitsfläche zur Verfügung steht, ist eine Steuerung des Mauszeigers alleine durch die Bewegung der Hand des Benutzers wünschenswert. So ist es bspw. bekannt, spezielle Datenhandschuhe einzusetzen, deren Position und Bewegung elektronisch erfasst und in Echtzeit ausgewertet wird. Die Darstellung und Bewegung des Mauszeigers im Bild eines Bilddarstellungsgerätes erfolgen dann in Abhängigkeit von der jeweils ermittelten Position und Bewegung des Datenhandschuhs. Derartige Techniken erfordern jedoch eine exakte Kalibrierung des Systems. Weiterhin eignet sich diese Technik nur an Orten, an denen der Benutzer direkten Zugang zu den entsprechenden Eingabegeräten hat.
Ausgehend von diesem Stand der Technik besteht die Aufgabe der vorliegenden Erfindung darin, eine Vorrichtung sowie ein Verfahren zur interaktiven Gestik- Steuerung eines Mauszeigers einer graphischen Benutzerschnittstelle im Bild eines Bilddarstellungsgerätes anzugeben, die keine Kalibrierung erfordern. Weiterhin sollen die Vorrichtung und das Verfahren ohne spezielle, vom Benutzer zu führende Eingabegeräte auskommen.
Darstellung der Erfindung Die Aufgabe wird mit der Vorrichtung und dem Verfahren der Patentansprüche 1 bzw. 6 gelöst. Vorteilhafte Ausgestaltungen der Vorrichtung sowie des Verfahrens sind Gegenstand der Unteransprüche oder lassen sich aus der nachfolgenden Beschreibung sowie den Ausführungsbeispielen entnehmen.
Die vorliegende Vorrichtung zur interaktiven Steuerung eines Mauszeigers einer graphischen Benutzerschnittstelle im Bild eines Bilddarstel- lungsgerätes umfasst eine Videokamera zur Erzeugung eines Hilfsbildes einer von der Videokamera erfassten Szene sowie eine mit der Videokamera verbundene Bildverarbeitungseinrichtung zur Verarbeitung von Bilddaten des Hilfsbildes. Die Bildverarbeitungs- einrichtung setzt sich aus einer Analyseeinheit zur
Detektion eines vorgegebenen Objektes in der erfassten Szene sowie zum Ermitteln einer momentanen Position des detektierten Objektes im Hilfsbild und einer Spiegel- einheit zur Spiegelung des Hilfsbildes zusammen. Die Spiegeleinheit kann bspw. auch ein Softwaremodul sein, das die Spalten des digitalen Bildes mit einem einfachen Algorithmus umsortiert, um die Spiegelung des Bildes zu erzielen. Die Analyseeinheit ist mit einer Maussteuerung zur Darstellung und Bewegung des Mauszeigers im Bild des Bilddarstellungsgerätes in Abhängigkeit von der jeweils ermittelten momentanen Position verbunden. Weiterhin ist eine Misch- und/oder Überblendeinrichtung mit einem Eingang für die Bilddaten des gespiegelten Hilfsbildes, einem Eingang für Bilddaten eines durch das Bilddarstellungsgerät darzustellenden Hauptbildes und einem Ausgang für die Ansteuerung des Bilddarstellungsgerätes vorgesehen, die mit der Spiegeleinheit verbunden ist und zur teiltransparenten Überlagerung des Hauptbildes und des von der Spiegeleinheit erhaltenen gespiegelten Hilfsbildes im Bild des Bilddarstellungsgerätes ausgebildet ist. Bei der Überlagerung findet entweder eine Überlagerung des (teil-) transparenten Hauptbildes über das Hilfsbild oder umgekehrt eine Überlagerung des (teil-) transparenten Hilfsbildes über das Hauptbild statt.
Beim Betrieb dieser Vorrichtung wird mit der Videokamera ein Bild eines vor einer Darstellungsfläche des Bilddarstellungsgerätes agierenden Benutzers als Hilfsbild erfasst. Die Bilddaten des Hilfsbildes werden in der Analyseeinheit der Bildverarbeitungseinrichtung nach einem vorgegebenen Objekt in dieser Szene abgesucht. Als vorgegebenes Objekt kann bspw. die Hand des Benutzers oder ein mit der Hand geführtes Zeigeelement detektiert werden. Geeignete Bild-Analyse- Software, die in der Regel auf Techniken der Muster- erkennung arbeitet, ist dem Fachmann bekannt. Neben der Detektion dieses vorgegebenen Objektes wird kontinuierlich dessen momentane Position im Hilfsbild ermittelt. Weiterhin wird das Hilfsbild durch eine in der Bild- Verarbeitungseinrichtung enthaltene Spiegeleinheit gespiegelt. Die Spiegelung kann dabei bspw. auf rechnerischem Wege erfolgen.
Die von der Bildverarbeitungseinrichtung ermit- telten Positionsdaten werden einer mit der Analyseeinheit verbundenen Maussteuerung zugeführt, die den Mauszeiger im Bild des Bilddarstellungsgerätes in Abhängigkeit von der jeweils ermittelten momentanen Position darstellt bzw. bei Veränderung dieser Position nachführt. Bewegt sich das vorgegebene Objekt, so bewegt sich auch der Mauszeiger im Bild des Bilddarstellungsgerätes entsprechend. Auf diese Weise kann der Benutzer durch Bewegung des Objektes die Bewegung des Mauszeigers im Bild steuern.
In der mit der Spiegeleinheit verbundenen Misch- und/oder Überblendeinrichtung werden die zugeführten Bilddaten des durch das Bilddarstellungsgerät darzustellenden Hauptbildes und des von der Spiegeleinheit erhaltenen gespiegelten Hilfsbild so aufbereitet, dass durch das Bilddarstellungsgerät ein dem Hauptbild teiltransparent überlagertes Hilfsbild - oder umgekehrt - als Bild dargestellt wird.
Ein wesentliches Merkmal der vorliegenden Vorrichtung sowie des zugehörigen Verfahrens ist das Mischen bzw. Überblenden des Hauptbildes und des Hilfsbildes, durch das dem Benutzer ein Feed-back über seine Steuerung des Mauszeigers gegeben wird. Der Benutzer kann damit jederzeit erkennen, ob seine Hand oder ein damit geführtes Objekt - oder auch ein anderes Körperteil wie bspw. der Kopf - und der Mauszeiger im Bild aufeinander liegen. Durch diese optische Rückkopplung kann auf eine Kalibrierung der vorliegenden Vorrichtung verzichtet werden. Fehlt die entsprechende durch den Benutzer erkennbare Überlagerung aufgrund einer FehlSteuerung, so kann dieser den Mauszeiger erneut fassen und entsprechend seinen Wünschen bewegen. Unter Mauszeiger ist hierbei selbstverständlich jede beliebige im Bild erkennbare Markierung zu verstehen, über die der Benutzer positionsabhängige Eingaben über die graphische Benutzerschnittstelle durchführen kann.
Vorzugsweise umfasst die Analyseeinheit der vorliegenden Vorrichtung ein Modul zur Erkennung von Bewegungsmustern oder einer bestimmten Haltung der Hand des Benutzers bzw. des geführten Objektes, durch die entsprechende vorgegebene Steuerbefehle, bspw. ein Mausklick oder das Loslassen der Maus, ausgeführt werden. Bei Erkennung eines entsprechenden Bewegungs- musters oder einer entsprechenden Haltung werden dann von der Maussteuerung die Befehle an den angeschlossenen Computer, auf dem die dargestellte Applikation läuft, gesendet.
Besonders vorteilhaft lässt sich die vorliegende Vorrichtung in Bereichen einsetzen, in denen der Benutzer keinen direkten Zugang zu den einzelnen Komponenten der vorliegenden Vorrichtung oder eines daran angeschlossenen Computers hat. Ein Beispiel hierfür ist die Steuerung einer Applikation, die auf einem Bilddarstellungsgerät in einem Schaufenster angezeigt wird. Der Benutzer kann hierbei vor dem Schaufenster stehen und die Applikation über den Mauszeiger steuern. Die Videokamera ist dabei auf den Bereich vor dem Schaufenster gerichtet, so dass jeder potentielle Benutzer automatisch erfasst wird.
Kurze Beschreibung der Zeichnungen Die vorliegende Vorrichtung sowie das zugehörige Verfahren werden nachfolgend anhand eines Ausführungsbeispiels in Verbindung mit den Zeichnungen nochmals näher erläutert. Hierbei zeigen:
Fig. 1 schematisch ein Beispiel für den
Aufbau der vorliegenden Vorrichtung;
Fig. 2 ein Beispiel für den Einsatz der
Vorrichtung mit einem Bilddarstellungsgerät in Seitenansicht; sowie Fig. 3 ein Beispiel für den Einsatz der vorliegenden Vorrichtung in Draufsicht auf das Bilddarstellungsgerät.
Wege zur Ausführung der Erfindung Figur 1 zeigt beispielhaft den prinzipiellen
Aufbau der vorliegenden Vorrichtung zur interaktiven Steuerung eines Mauszeigers einer graphischen Benutzerschnittstelle im Bild eines Bilddarstellungsgerätes. Die Vorrichtung umfasst eine Videokamera 1, mit der ein Bild 20 eines vor dem Bilddarstellungsgerät agierenden Benutzers erzeugt wird. Die von der Kamera erfassten Bilddaten werden an eine Bildverar- beitungseinrichtung bestehend aus einer Analyseeinheit 2 und einer Spiegeleinheit 3 weitergeleitet.
In der Analyseeinheit 2 werden die mit der Kamera 1 erfassten Bilddaten 20 mit Hilfe von Bild-Analyse- Software verarbeitet, mit der eine Hand des Benutzers detektiert und verfolgt werden kann. Die jeweilige momentane Position der Hand wird an eine Maussteuerung 4 weitergegeben, die im Bild 10 des Bilddarstellungs- gerätes einen Mauszeiger in Abhängigkeit von den erhaltenen Analysedaten darstellt bzw. bewegt. In der Spiegeleinheit 3 werden die Bilddaten 20 zur Erzeugung eines gespiegelten Bildes 20a verarbeitet und einer Misch- und/oder Überblendeinrichtung 5 zugeführt, in der das gespiegelte Bild 20a dem Hauptbild 30 der zu steuernden Applikation überlagert wird, so dass die Bilddaten des überlagerten Bildes 10 dem Bilddarstellungsgerät zugeführt werden. Die Misch- und/oder Überblendeinrichtung 5 verfügt dabei neben dem Eingang für die Daten des gespiegelten Bildes 20a über einen
Eingang für die Bilddaten des Hauptbildes 30 und einen Ausgang für die Ansteuerung des Bilddarstellungs- "gerätes .
Als Bilddarstellungsgerät kann bspw. ein Plasmabildschirm zum Einsatz kommen. Selbstverständlich sind jedoch auch andere bspw. auf einer optischen Projektion basierende Bilddarstellungsgeräte mit der vorliegenden Vorrichtung betreibbar. Das Hauptbild der jeweils laufenden Applikation bzw. des laufenden Programmes, das mit der graphischen Benutzerschnittstelle interaktiv gesteuert werden soll, läuft hierbei auf einem Computer, der mit dem Bilddarstellungsgerät über die vorliegende Vorrichtung verbunden ist. Einzelne Komponenten der vorliegenden Vorrichtung, insbesondere die Bildverarbeitungseinrichtung sowie die Misch- bzw. Überblendeinrichtung sowie die Maussteuerung können dabei als einzelne Programmmodule auf diesem Computer laufen.
Figur 2 zeigt ein Beispiel für den Einsatz der vorliegenden Vorrichtung. In diesem Beispiel wird ein Plasmabildschirm als Bilddarstellungsgerät 6 eingesetzt, auf dem über den Rechner 16 das Hauptbild eines zu steuernden Programmes dargestellt wird. Die Kamera 1 der vorliegenden Vorrichtung wird hierbei über dem Plasmabildschirm angeordnet und auf den Bereich vor der Anzeigefläche gerichtet. In alternativen Ausgestaltungen kann die Kamera selbstverständlich auch an anderen Positionen angeordnet sein, in denen sie eine Erfassung des Bereiches vor der Bildfläche des Bildanzeigegerätes ermöglicht, bspw. neben, unter oder hinter der Bildanzeigefläche, in letzterem Falle bei
Vorhandensein eines geeigneten Beobachtungsfensters in der Bildanzeigefläche.
Die Bildverarbeitungseinrichtung 2, 3, Maussteuerung 4 und Misch- und/oder Überblendeinrichtung 5 sind in den Rechner 16 implementiert und daher nicht gesondert dargestellt. Die Kamera 1 ist so ausgerichtet, dass sie zumindest das Körperteil oder Objekt erfasst, mit dem der Mausszeiger bewegt werden soll, im vorliegenden Fall den Oberkörper mit den beiden Armen eines vor dem Plasmadisplay agierenden Benutzers 13.
Das von der Kamera 1 erfasste Bild des Benutzers wird in Echtzeit gespiegelt und auf dem Plasmabild- schirm dem normalen Programm-Hauptbild überlagert, so dass der Benutzer sein Spiegelbild auf dem Bildschirm erkennen kann, wie dies in der Figur 3 schematisch dargestellt ist. Mit Hilfe der Analyse-Software wird die Hand 14 des Benutzers ständig verfolgt und der Mauszeiger 11 im dargestellten Bild 10 entsprechend bewegt. Der Benutzer 13 kann dabei selbst jederzeit erkennen, auf welche Programmobjekte, wie bspw. Knöpfe, Auswahlboxen 15 usw., er zeigt. Eine Kalibrierung ist durch diese Rückkopplungstechnik nicht nötig. Der
Benutzer 13 erhält jederzeit ein Feed-back darüber, ob seine Hand 14 und der Mauszeiger 11 aufeinander liegen. Ist dies nicht der Fall, so kann der Benutzer 13 durch Bewegung der Hand 14 zum Mauszeiger 11 Fehler des eingesetzten Trackingalgorithmus der Analyse-Software ausgleichen.
Selbstverständlich erfolgt die Überlagerung des Haupt- und des Hilfsbildes bei der vorliegenden Vorrichtung so, dass der Benutzer 13 jederzeit beide Bilder erkennen kann. Hierzu können bspw. das gespiegelte Bild 20a als Hintergrundbild und das Hauptbild 30 als teiltransparent überlagertes Vordergrundbild dargestellt werden. Die interaktive Steuerung des zugehörigen Progra mes durch den
Mauszeiger 11 kann bspw. allein dadurch erfolgen, dass bei Überlagerung des Mauszeigers 11 mit einem entsprechenden Auswahlknopf oder Auswahlfeld 15 die entsprechende Aktion gestartet wird. Weiterhin können selbstverständlich alle bekannten Techniken, die in graphischen Benutzerschnittstellen eingesetzt werden, zur Anwendung kommen. Bspw. lassen sich durch geeignete Auswertung der Bilddaten des Hilfsbildes 20 auch Bewegungsabläufe bzw. Haltungen der Hand 14 des Benutzers erkennen, die entsprechende Aktionen auslösen. Eine derartige Gestik kann bspw. im Öffnen der Hand 14 bestehen, die das Loslassen des Mauszeigers 11 auslöst.
In einer Ausgestaltung der vorliegenden Vorrichtung muss der Benutzer zunächst seine Hand in den Bereich eines in der Bildmitte bereits dargestellten Mauszeigers bewegen. Befindet sich die Hand des
Benutzers im dargestellten Bild ausreichend nahe an diesem Mauszeiger, so rastet der Mauszeiger auf die Position der detektierten Hand ein. Die Detektion kann sich hierbei auf einen vorgegebenen Bereich um die aktuelle Position des Mauszeigers beschränken. Nach dem Detektieren der Hand des Benutzers in diesem Bereich wird der Mauszeiger auf diese Position gelegt und folgt der Handbewegung, die durch die Analyseeinheit ständig neu ermittelt wird. Die Detektion der Hand sowie die Ermittlung der Position bzw. Bewegung der Hand können über bekannte Bild-Analyse-Software erfolgen, die auf Mustererkennung basiert. Ein Beispiel für eine derartige Analysetechnik basiert auf dem Kantenorientierungsvergleich (EOM: Edge Orientation Matching) , wie er auf dem Gebiet der Bildanalyse bekannt ist.
Ein Beispiel für die Vorgehensweise bei einer derartigen Bildanalyse zur Erkennung der Handbewegung kann aus der Veröffentlichung B. Fröba und C. Küblbeck, Proceedings of the Fifth IASTED International
Conference, Computer Graphics and Imaging, August 12- 14, 2002, Kauni, Hawaii, USA, Seiten 50-55 entnommen werden, deren Inhalt in die vorliegende Beschreibung einbezogen wird. In dieser Veröffentlichung wird eine Anwendung der vorliegenden Vorrichtung beschrieben, bei der die Bewegung des Mauszeigers zusätzlich zeitlich geglättet wird.
Mit der vorliegenden Vorrichtung und dem zugehörigen Verfahren wird durch die Einblendung bzw. Überlagerung eines Bildes des agierenden Benutzers eine optische Rückkopplung für eine gestikgesteuerte Mausbewegung geschaffen, durch die eine Kalibrierung der Vorrichtung entfallen kann.
Bezugszeichenliste
Videokamera Analyseeinheit Spiegeleinheit Maussteuerung Misch- und/oder Überblendeinrichtung Bilddarstellungsgerät Bild des Bilddarstellungsgerätes Mauszeiger Objekt Benutzer Hand Auswahlfeld Computer Hilfsbild gespiegeltes Hilfsbild Hauptbild

Claims

Patentansprüche
1. Vorrichtung zur interaktiven Steuerung eines Mauszeigers (11) einer graphischen Benutzerschnittstelle im Bild (10) eines Bilddarstellungs- gerätes (6) mit
- einer Videokamera (1) zur Erzeugung eines Hilfsbildes (20) einer von der Videokamera (1) erfassten Szene;
- einer mit der Videokamera (1) verbundenen Bildverarbeitungseinrichtung (2, 3) zur Verarbeitung von Bilddaten des Hilfsbildes (20) , die eine Analyseeinheit (2) zur Detektion eines vorgegebenen Objektes (12) in der erfassten Szene und zum Ermitteln einer momentanen Position des detektierten Objektes (12) im Hilfsbild (20) und eine Spiegeleinheit (3) zur Spiegelung des Hilfsbildes (20) umfasst;
- einer mit der Analyseeinheit (2) verbundenen Maussteuerung (4) zur Darstellung und Bewegung des Mauszeigers (11) im Bild (10) des Bilddarstellungsgerätes (6) in Abhängigkeit von der jeweils ermittelten momentanen Position; und
- einer mit der Spiegeleinheit (3) verbundenen Misch- und/oder Überblendeinrichtung (5) mit einem Eingang für Bilddaten des gespiegelten Hilfsbildes (20a) , einem Eingang für Bilddaten eines durch das Bilddarstellungsgerät (6) darzustellenden Hauptbildes (30) und einem Ausgang für die Ansteuerung des Bilddarstellungsgerätes (6), die zur teil- transparenten Überlagerung des Hauptbildes (30) und des von der Spiegeleinheit (3) erhaltenen gespiegelten Hilfsbildes (20a) im Bild (10) des Bilddarstellungsgerätes (6) ausgebildet ist.
2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Analyseeinheit (2) ein Modul zur Ermittlung der momentanen Position des vorgegebenen Objektes (12) mittels EOM enthält.
3. Vorrichtung nach Anspruch 1 oder 2 , dadurch gekennzeichnet, dass eine Filtereinrichtung zur Glättung der Bewegung des Mauszeigers (11) vorgesehen ist.
4. Vorrichtung nach einem der Ansprüche 1 bis 3 , dadurch gekennzeichnet, dass die Analyseeinheit (2) zur Detektion und zum Ermitteln der momentanen Position einer Hand (14) oder eines Fingers eines in der erfassten Szene befindlichen Benutzers (13) als vorgegebenem Objekt (12) ausgebildet ist.
5. Vorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Analyseeinheit (2) ein Modul zur Erkennung vorgegebener Bewegungsabläufe und/oder Haltungen des Objektes (12) aufweist und die Maussteuerung (4) in Abhängigkeit von den erkannten Bewegungsabläufen und/oder Haltungen und der ermittelten momentanen Position Befehle an einen mit dem Bilddarstellungsgerät (6) und der Maussteuerung (4) verbundenen Computer (16) sendet .
6. Verfahren zur interaktiven Steuerung eines Mauszeigers (11) einer graphischen BenutzerSchnittstelle im Bild (10) eines Bilddarstellungsgerätes (6) , bei dem - mit einer Videokamera (1) ein Hilfsbild (20) eines vor dem Bilddarstellungsgerät (6) befindlichen Benutzers (13) erfasst wird;
- eine Extremität des Benutzers (13) oder ein vom Benutzer (13) geführtes Objekt als vorgegebenes Objekt (12) im Hilfsbild (20) detektiert und eine momentane Position des detektierten Objektes (12) im Hilfsbild (20) ermittelt wird;
- das Hilfsbild (20) gespiegelt wird;
- ein Mauszeiger (11) im Bild (10) des Bild- darStellungsgerätes (6) in Abhängigkeit von der jeweils ermittelten momentanen Position dargestellt und bewegt wird; und
- ein auf dem Bilddarstellungsgerät (6) darzustellendes Hauptbild (30) und das gespiegelte Hilfsbild (20a) im Bild (10) des Bilddarstellungsgerätes (6) teiltransparent überlagert werden.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die momentane Position des vorgegebenen Objektes (12) mittels EOM ermittelt wird.
8. Verfahren nach Anspruch 6 oder 7 , dadurch gekennzeichnet, dass die momentane Position einer Hand (14) oder eines Fingers des Benutzers (13) als vorgegebenes Objekt (12) ermittelt wird. Verfahren nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass automatisch nach vorgegebenen Bewegungsabläufen und/oder Haltungen des Objektes (12) im Hilfsbild (20) gesucht und ein mit dem Bilddarstellungsgerät (6) verbundener Computer (16) in Abhängigkeit von erkannten Bewegungsabläufen und/oder Haltungen und der ermittelten momentanen Position angesteuert wird.
PCT/DE2003/000389 2003-01-21 2003-02-11 Vorrichtung und verfahren zur interaktiven steuerung eines mauszeigers einer graphischen benutzerschnittstelle WO2004070595A2 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
AU2003213999A AU2003213999A1 (en) 2003-01-21 2003-02-11 Device and method for interactively controlling a mouse pointer of a graphic user interface

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE20300882U DE20300882U1 (de) 2003-01-21 2003-01-21 Vorrichtung zur interaktiven Steuerung eines Mauszeigers einer graphischen Benutzerschnittstelle
DE20300882.0 2003-01-21

Publications (2)

Publication Number Publication Date
WO2004070595A2 true WO2004070595A2 (de) 2004-08-19
WO2004070595A3 WO2004070595A3 (de) 2004-10-28

Family

ID=7979272

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2003/000389 WO2004070595A2 (de) 2003-01-21 2003-02-11 Vorrichtung und verfahren zur interaktiven steuerung eines mauszeigers einer graphischen benutzerschnittstelle

Country Status (3)

Country Link
AU (1) AU2003213999A1 (de)
DE (1) DE20300882U1 (de)
WO (1) WO2004070595A2 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2474950A1 (de) 2011-01-05 2012-07-11 Softkinetic Software Auf natürlichen Gesten basierte Benutzerschnittstellenverfahren und Systeme
WO2012134583A2 (en) * 2011-03-29 2012-10-04 Intel Corporation Continued virtual links between gestures and user interface elements
CN102929436A (zh) * 2011-08-12 2013-02-13 东友科技股份有限公司 碰触感应操作系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6160899A (en) * 1997-07-22 2000-12-12 Lg Electronics Inc. Method of application menu selection and activation using image cognition
US6353450B1 (en) * 1999-02-16 2002-03-05 Intel Corporation Placing and monitoring transparent user interface elements in a live video stream as a method for user input
US20020097247A1 (en) * 2000-10-06 2002-07-25 Sony Computer Entertainment Inc. Image processor, image processing method, recording medium, computer program and semiconductor device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6160899A (en) * 1997-07-22 2000-12-12 Lg Electronics Inc. Method of application menu selection and activation using image cognition
US6353450B1 (en) * 1999-02-16 2002-03-05 Intel Corporation Placing and monitoring transparent user interface elements in a live video stream as a method for user input
US20020097247A1 (en) * 2000-10-06 2002-07-25 Sony Computer Entertainment Inc. Image processor, image processing method, recording medium, computer program and semiconductor device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FROBA B ET AL: "Rapid hand gesture detection for human computer interface" PROCEEDINGS OF THE FIFTH IASTED INTERNATIONAL CONFERENCE COMPUTER GRAPHICS AND IMAGING ACTA PRESS ANAHEIM, CA, USA, 14. August 2002 (2002-08-14), Seiten 50-55, XP008035130 ISBN: 0-88986-348-2 in der Anmeldung erw{hnt *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2474950A1 (de) 2011-01-05 2012-07-11 Softkinetic Software Auf natürlichen Gesten basierte Benutzerschnittstellenverfahren und Systeme
WO2012093147A1 (en) 2011-01-05 2012-07-12 Softkinetic Software Natural gesture based user interface methods and systems
WO2012134583A2 (en) * 2011-03-29 2012-10-04 Intel Corporation Continued virtual links between gestures and user interface elements
WO2012134583A3 (en) * 2011-03-29 2013-02-21 Intel Corporation Continued virtual links between gestures and user interface elements
CN102929436A (zh) * 2011-08-12 2013-02-13 东友科技股份有限公司 碰触感应操作系统及方法
CN102929436B (zh) * 2011-08-12 2015-07-01 东友科技股份有限公司 碰触感应操作系统及方法

Also Published As

Publication number Publication date
AU2003213999A1 (en) 2004-08-30
WO2004070595A3 (de) 2004-10-28
DE20300882U1 (de) 2003-03-13

Similar Documents

Publication Publication Date Title
DE112006002954B4 (de) Virtuelles Schnittstellensystem
DE102018109463B3 (de) Verfahren zur Benutzung einer mehrgliedrigen aktuierten Kinematik, vorzugsweise eines Roboters, besonders vorzugsweise eines Knickarmroboters, durch einen Benutzer mittels einer mobilen Anzeigevorrichtung
DE102009034413B4 (de) Erkennung zusammengesetzter Gesten
DE60127644T2 (de) Lehrvorrichtung für einen Roboter
DE60133386T2 (de) Vorrichtung und verfahren zur anzeige eines ziels mittels bildverarbeitung ohne drei dimensionales modellieren
DE102019002898A1 (de) Robotorsimulationsvorrichtung
DE102016102902A1 (de) Numerische Steuereinheit zur Steuerung einer Werkzeugmaschine
DE112016002373T5 (de) Tracking-support-vorrichtung, tracking-support-system und tracking-support-verfahren
DE102015103735A1 (de) Verfahren und Vorrichtung zum Testen eines in einem Luftfahrzeug zu bedienenden Geräts
DE102013217354B4 (de) Kantenmessungs-videowerkzeug und schnittstelle mit automatischen parametersatzalternativen
DE112013004801T5 (de) Multimodaler Berührungsbildschirmemulator
EP2406697B1 (de) Programm und system zum erkennen eines objektes in einer bildschirmdarstellung
DE3609469A1 (de) Anzeigesteuervorrichtung
DE102012020607A1 (de) Kraftwagen mit einer Gestensteuerungseinrichtung sowie Verfahren zum Steuern eines Auswahlelements
DE10215885A1 (de) Automatische Prozesskontrolle
WO2017054894A1 (de) Interaktives bediensystem und verfahren zum durchführen einer bedienhandlung bei einem interaktiven bediensystem
DE102014226553A1 (de) Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung, Kraftfahrzeug
WO2004070595A2 (de) Vorrichtung und verfahren zur interaktiven steuerung eines mauszeigers einer graphischen benutzerschnittstelle
DE102012008986B4 (de) Kamerasystem mit angepasster ROI, Kraftfahrzeug und entsprechendes Verfahren
EP2555097A1 (de) Methode und Vorrichtung zur Bestimmung eines Bildausschnitts und Auslösen einer Bilderfassung mittels einer einzigen berührungsbasierten Geste
WO2003078112A2 (de) Automatische prozesskontrolle
DE102020108972A1 (de) System und verfahren zur verfolgung der sich bewegenden objekte
DE102016214391B4 (de) Verfahren zum Steuern eines Betriebes eines Koordinatenmessgerätes und Koordinatenmessgerät mit Steuerung
DE102004027289B4 (de) Verfahren und Anordnung zur berührungslosen Navigation in einem Dokument
WO2015110331A1 (de) Verfahren zur erkennung einer bewegungsbahn mindestens eines bewegten objektes innerhalb eines erfassungsbereiches, verfahren zur gestikerkennung unter einsatz eines derartigen erkennungsverfahrens sowie vorrichtung zur durchführung eines derartigen erkennungsverfahrens

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AT AU CA JP US

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Country of ref document: JP