WO2004070595A2 - Device and method for interactively controlling a mouse pointer of a graphic user interface - Google Patents

Device and method for interactively controlling a mouse pointer of a graphic user interface Download PDF

Info

Publication number
WO2004070595A2
WO2004070595A2 PCT/DE2003/000389 DE0300389W WO2004070595A2 WO 2004070595 A2 WO2004070595 A2 WO 2004070595A2 DE 0300389 W DE0300389 W DE 0300389W WO 2004070595 A2 WO2004070595 A2 WO 2004070595A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
display device
image display
auxiliary
mouse pointer
Prior art date
Application number
PCT/DE2003/000389
Other languages
German (de)
French (fr)
Other versions
WO2004070595A3 (en
Inventor
Christian KÜBLBECK
Bernhard FRÖBA
Kurt Neubauer
Constanze Rothe
Walter Zink
Original Assignee
Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. filed Critical Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Priority to AU2003213999A priority Critical patent/AU2003213999A1/en
Publication of WO2004070595A2 publication Critical patent/WO2004070595A2/en
Publication of WO2004070595A3 publication Critical patent/WO2004070595A3/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows

Definitions

  • Controlling the mouse pointer of a graphical user interface is an essential component in many interactive applications. Control of the mouse pointer solely by the movement of the hand of the user is desirable, particularly in places where there is not enough work space available. For example, it is known to use special data gloves whose position and movement are recorded electronically and evaluated in real time. The representation and movement of the mouse pointer in the image of an image display device then take place as a function of the respectively determined position and movement of the data glove. However, such techniques require exact calibration of the system. This is also suitable Technology only in places where the user has direct access to the corresponding input devices.
  • the object of the present invention is to provide a device and a method for the interactive gesture control of a mouse pointer of a graphical user interface in the image of an image display device, which do not require calibration. Furthermore, the device and the method should manage without special input devices to be guided by the user.
  • the present device for the interactive control of a mouse pointer of a graphical user interface in the image of an image display device comprises a video camera for generating an auxiliary image of a scene captured by the video camera and an image processing device connected to the video camera for processing image data of the auxiliary image.
  • the image processing device consists of an analysis unit
  • the mirror unit can, for example, also be a software module that rearranges the columns of the digital image using a simple algorithm in order to achieve the mirroring of the image.
  • the analysis unit is connected to a mouse control for displaying and moving the mouse pointer in the image of the image display device as a function of the respectively determined current position.
  • a mixing and / or cross-fading device with an input for the image data of the mirrored auxiliary image, an input for image data of a main image to be displayed by the image display device and an output for controlling the image display device is provided, which is connected to the mirror unit and for partially transparent superimposition of the Main image and the mirrored auxiliary image obtained from the mirror unit is formed in the image of the image display device.
  • the superimposition either the (partially) transparent main image is superimposed on the auxiliary image or, conversely, the (partially) transparent auxiliary image is superimposed on the main image.
  • the video camera captures an image of a user operating in front of a display area of the image display device as an auxiliary image.
  • the image data of the auxiliary image are searched in the analysis unit of the image processing device for a predetermined object in this scene.
  • a predetermined object For example, the hand of the user or a pointing element guided by hand can be detected as a predetermined object.
  • Suitable image analysis software usually based on techniques of pattern detection works, is known to the expert.
  • its current position is continuously determined in the auxiliary image.
  • the auxiliary image is mirrored by a mirror unit contained in the image processing device. The reflection can take place, for example, by calculation.
  • the position data determined by the image processing device are fed to a mouse controller connected to the analysis unit, which displays the mouse pointer in the image of the image display device as a function of the respectively determined current position or tracks it when this position changes. If the specified object moves, the mouse pointer also moves accordingly in the image of the image display device. In this way, the user can control the movement of the mouse pointer in the image by moving the object.
  • the supplied image data of the main image to be displayed by the image display device and of the mirrored auxiliary image received by the mirror unit are processed in such a way that an auxiliary image partially overlaid on the main image is displayed by the image display device - or vice versa - as an image becomes.
  • An essential feature of the present device and of the associated method is the mixing or blending of the main picture and the auxiliary picture, by means of which the user is provided with a feedback its control of the mouse pointer is given.
  • the user can thus recognize at any time whether his hand or an object guided with it - or also another part of the body such as the head - and the mouse pointer lie on one another in the image.
  • This optical feedback means that calibration of the present device can be dispensed with. If the corresponding overlay recognizable by the user is missing due to incorrect control, the user can grasp the mouse pointer again and move it according to his wishes.
  • the mouse pointer is of course to be understood here as any marking recognizable in the image, by means of which the user can carry out position-dependent entries via the graphical user interface.
  • the analysis unit of the present device preferably comprises a module for recognizing movement patterns or a specific posture of the hand of the user or of the guided object, by means of which corresponding predetermined control commands, for example a mouse click or releasing the mouse, are carried out.
  • corresponding predetermined control commands for example a mouse click or releasing the mouse.
  • the present device can be used particularly advantageously in areas in which the user has no direct access to the individual components of the present device or a computer connected to it.
  • An example this is the control of an application that is displayed on an image display device in a shop window.
  • the user can stand in front of the shop window and control the application with the mouse pointer.
  • the video camera is aimed at the area in front of the shop window so that every potential user is automatically detected.
  • Fig. 1 shows schematically an example of the
  • Fig. 2 shows an example of the use of
  • FIG. 3 shows an example of the use of the present device in a top view of the image display device.
  • FIG. 1 shows an example of the principle
  • the device for the interactive control of a mouse pointer of a graphical user interface in the image of an image display device.
  • the device comprises a video camera 1 with which an image 20 of a user acting in front of the image display device is generated.
  • the image data captured by the camera are sent to an image processing processing device consisting of an analysis unit 2 and a mirror unit 3.
  • the image data 20 recorded with the camera 1 are processed with the aid of image analysis software, with which a hand of the user can be detected and tracked.
  • the current position of the hand is passed on to a mouse controller 4, which in image 10 of the image display device represents or moves a mouse pointer depending on the analysis data obtained.
  • the image data 20 are processed to generate a mirrored image 20a and fed to a mixing and / or fading device 5, in which the mirrored image 20a is superimposed on the main image 30 of the application to be controlled, so that the image data of the superimposed image 10 be supplied to the image display device.
  • the mixing and / or cross-fading device 5 has in addition to the input for the data of the mirrored image 20a
  • Input for the image data of the main image 30 and an output for the control of the image display device are input for the image data of the main image 30 and an output for the control of the image display device.
  • a plasma screen can, for example, be used as the image display device.
  • image display devices for example based on an optical projection
  • other image display devices for example based on an optical projection
  • the main image of the currently running application or the current program which is to be controlled interactively with the graphical user interface, runs here on a computer that overflows with the image display device the present device is connected.
  • Individual components of the present device in particular the image processing device and the mixing or fading device and the mouse control, can run as individual program modules on this computer.
  • Figure 2 shows an example of the use of the present device.
  • a plasma screen is used as the image display device 6, on which the main image of a program to be controlled is displayed via the computer 16.
  • the camera 1 of the present device is arranged above the plasma screen and is aimed at the area in front of the display area.
  • the camera can of course also be arranged at other positions in which it enables detection of the area in front of the image area of the image display device, for example next to, below or behind the image display area, in the latter case at
  • the image processing device 2, 3, mouse control 4 and mixing and / or fading device 5 are implemented in the computer 16 and are therefore not shown separately.
  • the camera 1 is oriented in such a way that it captures at least the body part or object with which the mouse pointer is to be moved, in the present case the upper body with the two arms of a user 13 operating in front of the plasma display.
  • the image of the user captured by the camera 1 is mirrored in real time and on the plasma image screen superimposed on the normal program main image, so that the user can recognize his mirror image on the screen, as is shown schematically in FIG.
  • the hand 14 of the user is constantly tracked and the mouse pointer 11 in the image 10 shown is moved accordingly.
  • the user 13 can see at any time which program objects, such as buttons, selection boxes 15, etc., he is pointing to. With this feedback technique, calibration is not necessary.
  • User 13 always receives feedback on whether his hand 14 and the mouse pointer 11 lie on one another. If this is not the case, the user 13 can compensate for errors in the tracking algorithm of the analysis software by moving the hand 14 to the mouse pointer 11.
  • the main and auxiliary images are overlaid in such a way that the user 13 can recognize both images at any time.
  • the mirrored image 20a can be represented as a background image and the main image 30 as a partially transparent superimposed foreground image.
  • Mouse pointer 11 can, for example, only be done by starting the corresponding action when the mouse pointer 11 is overlaid with a corresponding selection button or selection field 15. Furthermore, all known techniques that are used in graphical user interfaces can of course be used. For example. can also be obtained by suitable evaluation of the image data of the auxiliary image 20 Recognize movements or postures of the user's hand 14 that trigger corresponding actions. Such gestures can consist, for example, of opening the hand 14 which triggers the release of the mouse pointer 11.
  • the user must first move his hand into the area of a mouse pointer already shown in the center of the image. Is the hand of the
  • the mouse pointer snaps into the position of the detected hand.
  • the detection can be limited to a predetermined area around the current position of the mouse pointer. After the hand of the user has been detected in this area, the mouse pointer is placed in this position and follows the hand movement, which is continuously determined anew by the analysis unit.
  • the detection of the hand and the determination of the position or movement of the hand can be carried out using known image analysis software which is based on pattern recognition.
  • An example of such an analysis technique is based on the Edge Orientation Matching (EOM), as is known in the field of image analysis.
  • Video camera Analysis unit Mirror unit Mouse control Mixing and / or fading device Image display device Image of the image display device Mouse pointer Object User Hand Selection field Computer auxiliary image Mirrored auxiliary image Main image

Abstract

The invention relates to a device and a method for interactively controlling the gestures of a mouse pointer (11) of a graphic user interface in the image (10) of an image-representing apparatus (6). Said device comprises a video camera (1) for generating an auxiliary image (20), an image-processing device (2, 3) which processes image data of the auxiliary image (20) and is provided with a mirror unit (3) for mirroring the auxiliary image (20) and an analysis unit (2) for detecting an object (12) captured by the video camera (1) and determining a momentary position of the detected object (12) in the auxiliary image (20). The inventive device further comprises a mouse control mechanism (4) that is connected to the analysis unit (2) and represents and moves the mouse pointer (11) within the image (10) of the image-representing apparatus (6) according to the respective determined momentary position, and a mixing and/or cross-fading device (5) which is connected to the mirror unit (3) and is configured so as to superimpose the main image (30) and the mirrored auxiliary image (20a) obtained by the mirror unit (3) in a partially transparent manner in the image (10) of the image-representing apparatus (6). The inventive device and method make interactive gesture control of the mouse pointer possible without the need for prior calibration.

Description

Vorrichtung und Verfahren zur interaktiven Steuerung eines Mauszeigers einer graphischen Device and method for the interactive control of a mouse pointer of a graphic
BenutzerschnittstelleUser interface
Technisches Anwendungsgebiet Die vorliegende Erfindung betrifft eineTECHNICAL FIELD OF APPLICATION The present invention relates to a
Vorrichtung sowie ein Verfahren zur interaktiven Steuerung eines Mauszeigers einer graphischen Benutzerschnittstelle im Bild eines Bilddarstellungsgerätes, bei denen die Bewegung einer Extremität eines Benutzers oder eines vom Benutzer geführten Objektes erfasst und zur Steuerung des Mauszeigers im Bild des Bilddarstellungsgerätes eingesetzt wird.Device and a method for the interactive control of a mouse pointer of a graphical user interface in the image of an image display device, in which the movement of an extremity of a user or an object guided by the user is detected and used to control the mouse pointer in the image of the image display device.
Stand der Technik Die Steuerung des Mauszeigers einer graphischen Benutzerschnittstelle stellt eine wesentliche Komponente bei vielen interaktiven Applikationen dar. Gerade an Orten, an denen keine ausreichende Arbeitsfläche zur Verfügung steht, ist eine Steuerung des Mauszeigers alleine durch die Bewegung der Hand des Benutzers wünschenswert. So ist es bspw. bekannt, spezielle Datenhandschuhe einzusetzen, deren Position und Bewegung elektronisch erfasst und in Echtzeit ausgewertet wird. Die Darstellung und Bewegung des Mauszeigers im Bild eines Bilddarstellungsgerätes erfolgen dann in Abhängigkeit von der jeweils ermittelten Position und Bewegung des Datenhandschuhs. Derartige Techniken erfordern jedoch eine exakte Kalibrierung des Systems. Weiterhin eignet sich diese Technik nur an Orten, an denen der Benutzer direkten Zugang zu den entsprechenden Eingabegeräten hat.PRIOR ART Controlling the mouse pointer of a graphical user interface is an essential component in many interactive applications. Control of the mouse pointer solely by the movement of the hand of the user is desirable, particularly in places where there is not enough work space available. For example, it is known to use special data gloves whose position and movement are recorded electronically and evaluated in real time. The representation and movement of the mouse pointer in the image of an image display device then take place as a function of the respectively determined position and movement of the data glove. However, such techniques require exact calibration of the system. This is also suitable Technology only in places where the user has direct access to the corresponding input devices.
Ausgehend von diesem Stand der Technik besteht die Aufgabe der vorliegenden Erfindung darin, eine Vorrichtung sowie ein Verfahren zur interaktiven Gestik- Steuerung eines Mauszeigers einer graphischen Benutzerschnittstelle im Bild eines Bilddarstellungsgerätes anzugeben, die keine Kalibrierung erfordern. Weiterhin sollen die Vorrichtung und das Verfahren ohne spezielle, vom Benutzer zu führende Eingabegeräte auskommen.Starting from this prior art, the object of the present invention is to provide a device and a method for the interactive gesture control of a mouse pointer of a graphical user interface in the image of an image display device, which do not require calibration. Furthermore, the device and the method should manage without special input devices to be guided by the user.
Darstellung der Erfindung Die Aufgabe wird mit der Vorrichtung und dem Verfahren der Patentansprüche 1 bzw. 6 gelöst. Vorteilhafte Ausgestaltungen der Vorrichtung sowie des Verfahrens sind Gegenstand der Unteransprüche oder lassen sich aus der nachfolgenden Beschreibung sowie den Ausführungsbeispielen entnehmen.DESCRIPTION OF THE INVENTION The object is achieved with the device and the method of claims 1 and 6, respectively. Advantageous configurations of the device and of the method are the subject of the subclaims or can be found in the following description and the exemplary embodiments.
Die vorliegende Vorrichtung zur interaktiven Steuerung eines Mauszeigers einer graphischen Benutzerschnittstelle im Bild eines Bilddarstel- lungsgerätes umfasst eine Videokamera zur Erzeugung eines Hilfsbildes einer von der Videokamera erfassten Szene sowie eine mit der Videokamera verbundene Bildverarbeitungseinrichtung zur Verarbeitung von Bilddaten des Hilfsbildes. Die Bildverarbeitungs- einrichtung setzt sich aus einer Analyseeinheit zurThe present device for the interactive control of a mouse pointer of a graphical user interface in the image of an image display device comprises a video camera for generating an auxiliary image of a scene captured by the video camera and an image processing device connected to the video camera for processing image data of the auxiliary image. The image processing device consists of an analysis unit
Detektion eines vorgegebenen Objektes in der erfassten Szene sowie zum Ermitteln einer momentanen Position des detektierten Objektes im Hilfsbild und einer Spiegel- einheit zur Spiegelung des Hilfsbildes zusammen. Die Spiegeleinheit kann bspw. auch ein Softwaremodul sein, das die Spalten des digitalen Bildes mit einem einfachen Algorithmus umsortiert, um die Spiegelung des Bildes zu erzielen. Die Analyseeinheit ist mit einer Maussteuerung zur Darstellung und Bewegung des Mauszeigers im Bild des Bilddarstellungsgerätes in Abhängigkeit von der jeweils ermittelten momentanen Position verbunden. Weiterhin ist eine Misch- und/oder Überblendeinrichtung mit einem Eingang für die Bilddaten des gespiegelten Hilfsbildes, einem Eingang für Bilddaten eines durch das Bilddarstellungsgerät darzustellenden Hauptbildes und einem Ausgang für die Ansteuerung des Bilddarstellungsgerätes vorgesehen, die mit der Spiegeleinheit verbunden ist und zur teiltransparenten Überlagerung des Hauptbildes und des von der Spiegeleinheit erhaltenen gespiegelten Hilfsbildes im Bild des Bilddarstellungsgerätes ausgebildet ist. Bei der Überlagerung findet entweder eine Überlagerung des (teil-) transparenten Hauptbildes über das Hilfsbild oder umgekehrt eine Überlagerung des (teil-) transparenten Hilfsbildes über das Hauptbild statt.Detection of a given object in the captured scene and for determining a current position of the detected object in the auxiliary image and a mirror unit for mirroring the auxiliary image together. The mirror unit can, for example, also be a software module that rearranges the columns of the digital image using a simple algorithm in order to achieve the mirroring of the image. The analysis unit is connected to a mouse control for displaying and moving the mouse pointer in the image of the image display device as a function of the respectively determined current position. Furthermore, a mixing and / or cross-fading device with an input for the image data of the mirrored auxiliary image, an input for image data of a main image to be displayed by the image display device and an output for controlling the image display device is provided, which is connected to the mirror unit and for partially transparent superimposition of the Main image and the mirrored auxiliary image obtained from the mirror unit is formed in the image of the image display device. In the case of the superimposition, either the (partially) transparent main image is superimposed on the auxiliary image or, conversely, the (partially) transparent auxiliary image is superimposed on the main image.
Beim Betrieb dieser Vorrichtung wird mit der Videokamera ein Bild eines vor einer Darstellungsfläche des Bilddarstellungsgerätes agierenden Benutzers als Hilfsbild erfasst. Die Bilddaten des Hilfsbildes werden in der Analyseeinheit der Bildverarbeitungseinrichtung nach einem vorgegebenen Objekt in dieser Szene abgesucht. Als vorgegebenes Objekt kann bspw. die Hand des Benutzers oder ein mit der Hand geführtes Zeigeelement detektiert werden. Geeignete Bild-Analyse- Software, die in der Regel auf Techniken der Muster- erkennung arbeitet, ist dem Fachmann bekannt. Neben der Detektion dieses vorgegebenen Objektes wird kontinuierlich dessen momentane Position im Hilfsbild ermittelt. Weiterhin wird das Hilfsbild durch eine in der Bild- Verarbeitungseinrichtung enthaltene Spiegeleinheit gespiegelt. Die Spiegelung kann dabei bspw. auf rechnerischem Wege erfolgen.When this device is in operation, the video camera captures an image of a user operating in front of a display area of the image display device as an auxiliary image. The image data of the auxiliary image are searched in the analysis unit of the image processing device for a predetermined object in this scene. For example, the hand of the user or a pointing element guided by hand can be detected as a predetermined object. Suitable image analysis software, usually based on techniques of pattern detection works, is known to the expert. In addition to the detection of this specified object, its current position is continuously determined in the auxiliary image. Furthermore, the auxiliary image is mirrored by a mirror unit contained in the image processing device. The reflection can take place, for example, by calculation.
Die von der Bildverarbeitungseinrichtung ermit- telten Positionsdaten werden einer mit der Analyseeinheit verbundenen Maussteuerung zugeführt, die den Mauszeiger im Bild des Bilddarstellungsgerätes in Abhängigkeit von der jeweils ermittelten momentanen Position darstellt bzw. bei Veränderung dieser Position nachführt. Bewegt sich das vorgegebene Objekt, so bewegt sich auch der Mauszeiger im Bild des Bilddarstellungsgerätes entsprechend. Auf diese Weise kann der Benutzer durch Bewegung des Objektes die Bewegung des Mauszeigers im Bild steuern.The position data determined by the image processing device are fed to a mouse controller connected to the analysis unit, which displays the mouse pointer in the image of the image display device as a function of the respectively determined current position or tracks it when this position changes. If the specified object moves, the mouse pointer also moves accordingly in the image of the image display device. In this way, the user can control the movement of the mouse pointer in the image by moving the object.
In der mit der Spiegeleinheit verbundenen Misch- und/oder Überblendeinrichtung werden die zugeführten Bilddaten des durch das Bilddarstellungsgerät darzustellenden Hauptbildes und des von der Spiegeleinheit erhaltenen gespiegelten Hilfsbild so aufbereitet, dass durch das Bilddarstellungsgerät ein dem Hauptbild teiltransparent überlagertes Hilfsbild - oder umgekehrt - als Bild dargestellt wird.In the mixing and / or cross-fading device connected to the mirror unit, the supplied image data of the main image to be displayed by the image display device and of the mirrored auxiliary image received by the mirror unit are processed in such a way that an auxiliary image partially overlaid on the main image is displayed by the image display device - or vice versa - as an image becomes.
Ein wesentliches Merkmal der vorliegenden Vorrichtung sowie des zugehörigen Verfahrens ist das Mischen bzw. Überblenden des Hauptbildes und des Hilfsbildes, durch das dem Benutzer ein Feed-back über seine Steuerung des Mauszeigers gegeben wird. Der Benutzer kann damit jederzeit erkennen, ob seine Hand oder ein damit geführtes Objekt - oder auch ein anderes Körperteil wie bspw. der Kopf - und der Mauszeiger im Bild aufeinander liegen. Durch diese optische Rückkopplung kann auf eine Kalibrierung der vorliegenden Vorrichtung verzichtet werden. Fehlt die entsprechende durch den Benutzer erkennbare Überlagerung aufgrund einer FehlSteuerung, so kann dieser den Mauszeiger erneut fassen und entsprechend seinen Wünschen bewegen. Unter Mauszeiger ist hierbei selbstverständlich jede beliebige im Bild erkennbare Markierung zu verstehen, über die der Benutzer positionsabhängige Eingaben über die graphische Benutzerschnittstelle durchführen kann.An essential feature of the present device and of the associated method is the mixing or blending of the main picture and the auxiliary picture, by means of which the user is provided with a feedback its control of the mouse pointer is given. The user can thus recognize at any time whether his hand or an object guided with it - or also another part of the body such as the head - and the mouse pointer lie on one another in the image. This optical feedback means that calibration of the present device can be dispensed with. If the corresponding overlay recognizable by the user is missing due to incorrect control, the user can grasp the mouse pointer again and move it according to his wishes. The mouse pointer is of course to be understood here as any marking recognizable in the image, by means of which the user can carry out position-dependent entries via the graphical user interface.
Vorzugsweise umfasst die Analyseeinheit der vorliegenden Vorrichtung ein Modul zur Erkennung von Bewegungsmustern oder einer bestimmten Haltung der Hand des Benutzers bzw. des geführten Objektes, durch die entsprechende vorgegebene Steuerbefehle, bspw. ein Mausklick oder das Loslassen der Maus, ausgeführt werden. Bei Erkennung eines entsprechenden Bewegungs- musters oder einer entsprechenden Haltung werden dann von der Maussteuerung die Befehle an den angeschlossenen Computer, auf dem die dargestellte Applikation läuft, gesendet.The analysis unit of the present device preferably comprises a module for recognizing movement patterns or a specific posture of the hand of the user or of the guided object, by means of which corresponding predetermined control commands, for example a mouse click or releasing the mouse, are carried out. When a corresponding movement pattern or a corresponding posture is recognized, the commands are then sent from the mouse control to the connected computer on which the application shown is running.
Besonders vorteilhaft lässt sich die vorliegende Vorrichtung in Bereichen einsetzen, in denen der Benutzer keinen direkten Zugang zu den einzelnen Komponenten der vorliegenden Vorrichtung oder eines daran angeschlossenen Computers hat. Ein Beispiel hierfür ist die Steuerung einer Applikation, die auf einem Bilddarstellungsgerät in einem Schaufenster angezeigt wird. Der Benutzer kann hierbei vor dem Schaufenster stehen und die Applikation über den Mauszeiger steuern. Die Videokamera ist dabei auf den Bereich vor dem Schaufenster gerichtet, so dass jeder potentielle Benutzer automatisch erfasst wird.The present device can be used particularly advantageously in areas in which the user has no direct access to the individual components of the present device or a computer connected to it. An example this is the control of an application that is displayed on an image display device in a shop window. The user can stand in front of the shop window and control the application with the mouse pointer. The video camera is aimed at the area in front of the shop window so that every potential user is automatically detected.
Kurze Beschreibung der Zeichnungen Die vorliegende Vorrichtung sowie das zugehörige Verfahren werden nachfolgend anhand eines Ausführungsbeispiels in Verbindung mit den Zeichnungen nochmals näher erläutert. Hierbei zeigen:BRIEF DESCRIPTION OF THE DRAWINGS The present device and the associated method are explained in more detail below using an exemplary embodiment in conjunction with the drawings. Here show:
Fig. 1 schematisch ein Beispiel für denFig. 1 shows schematically an example of the
Aufbau der vorliegenden Vorrichtung;Structure of the present device;
Fig. 2 ein Beispiel für den Einsatz derFig. 2 shows an example of the use of
Vorrichtung mit einem Bilddarstellungsgerät in Seitenansicht; sowie Fig. 3 ein Beispiel für den Einsatz der vorliegenden Vorrichtung in Draufsicht auf das Bilddarstellungsgerät.Device with an image display device in side view; and FIG. 3 shows an example of the use of the present device in a top view of the image display device.
Wege zur Ausführung der Erfindung Figur 1 zeigt beispielhaft den prinzipiellenWAYS OF IMPLEMENTING THE INVENTION FIG. 1 shows an example of the principle
Aufbau der vorliegenden Vorrichtung zur interaktiven Steuerung eines Mauszeigers einer graphischen Benutzerschnittstelle im Bild eines Bilddarstellungsgerätes. Die Vorrichtung umfasst eine Videokamera 1, mit der ein Bild 20 eines vor dem Bilddarstellungsgerät agierenden Benutzers erzeugt wird. Die von der Kamera erfassten Bilddaten werden an eine Bildverar- beitungseinrichtung bestehend aus einer Analyseeinheit 2 und einer Spiegeleinheit 3 weitergeleitet.Structure of the present device for the interactive control of a mouse pointer of a graphical user interface in the image of an image display device. The device comprises a video camera 1 with which an image 20 of a user acting in front of the image display device is generated. The image data captured by the camera are sent to an image processing processing device consisting of an analysis unit 2 and a mirror unit 3.
In der Analyseeinheit 2 werden die mit der Kamera 1 erfassten Bilddaten 20 mit Hilfe von Bild-Analyse- Software verarbeitet, mit der eine Hand des Benutzers detektiert und verfolgt werden kann. Die jeweilige momentane Position der Hand wird an eine Maussteuerung 4 weitergegeben, die im Bild 10 des Bilddarstellungs- gerätes einen Mauszeiger in Abhängigkeit von den erhaltenen Analysedaten darstellt bzw. bewegt. In der Spiegeleinheit 3 werden die Bilddaten 20 zur Erzeugung eines gespiegelten Bildes 20a verarbeitet und einer Misch- und/oder Überblendeinrichtung 5 zugeführt, in der das gespiegelte Bild 20a dem Hauptbild 30 der zu steuernden Applikation überlagert wird, so dass die Bilddaten des überlagerten Bildes 10 dem Bilddarstellungsgerät zugeführt werden. Die Misch- und/oder Überblendeinrichtung 5 verfügt dabei neben dem Eingang für die Daten des gespiegelten Bildes 20a über einenIn the analysis unit 2, the image data 20 recorded with the camera 1 are processed with the aid of image analysis software, with which a hand of the user can be detected and tracked. The current position of the hand is passed on to a mouse controller 4, which in image 10 of the image display device represents or moves a mouse pointer depending on the analysis data obtained. In the mirror unit 3, the image data 20 are processed to generate a mirrored image 20a and fed to a mixing and / or fading device 5, in which the mirrored image 20a is superimposed on the main image 30 of the application to be controlled, so that the image data of the superimposed image 10 be supplied to the image display device. The mixing and / or cross-fading device 5 has in addition to the input for the data of the mirrored image 20a
Eingang für die Bilddaten des Hauptbildes 30 und einen Ausgang für die Ansteuerung des Bilddarstellungs- "gerätes .Input for the image data of the main image 30 and an output for the control of the image display device.
Als Bilddarstellungsgerät kann bspw. ein Plasmabildschirm zum Einsatz kommen. Selbstverständlich sind jedoch auch andere bspw. auf einer optischen Projektion basierende Bilddarstellungsgeräte mit der vorliegenden Vorrichtung betreibbar. Das Hauptbild der jeweils laufenden Applikation bzw. des laufenden Programmes, das mit der graphischen Benutzerschnittstelle interaktiv gesteuert werden soll, läuft hierbei auf einem Computer, der mit dem Bilddarstellungsgerät über die vorliegende Vorrichtung verbunden ist. Einzelne Komponenten der vorliegenden Vorrichtung, insbesondere die Bildverarbeitungseinrichtung sowie die Misch- bzw. Überblendeinrichtung sowie die Maussteuerung können dabei als einzelne Programmmodule auf diesem Computer laufen.A plasma screen can, for example, be used as the image display device. Of course, however, other image display devices, for example based on an optical projection, can also be operated with the present device. The main image of the currently running application or the current program, which is to be controlled interactively with the graphical user interface, runs here on a computer that overflows with the image display device the present device is connected. Individual components of the present device, in particular the image processing device and the mixing or fading device and the mouse control, can run as individual program modules on this computer.
Figur 2 zeigt ein Beispiel für den Einsatz der vorliegenden Vorrichtung. In diesem Beispiel wird ein Plasmabildschirm als Bilddarstellungsgerät 6 eingesetzt, auf dem über den Rechner 16 das Hauptbild eines zu steuernden Programmes dargestellt wird. Die Kamera 1 der vorliegenden Vorrichtung wird hierbei über dem Plasmabildschirm angeordnet und auf den Bereich vor der Anzeigefläche gerichtet. In alternativen Ausgestaltungen kann die Kamera selbstverständlich auch an anderen Positionen angeordnet sein, in denen sie eine Erfassung des Bereiches vor der Bildfläche des Bildanzeigegerätes ermöglicht, bspw. neben, unter oder hinter der Bildanzeigefläche, in letzterem Falle beiFigure 2 shows an example of the use of the present device. In this example, a plasma screen is used as the image display device 6, on which the main image of a program to be controlled is displayed via the computer 16. The camera 1 of the present device is arranged above the plasma screen and is aimed at the area in front of the display area. In alternative configurations, the camera can of course also be arranged at other positions in which it enables detection of the area in front of the image area of the image display device, for example next to, below or behind the image display area, in the latter case at
Vorhandensein eines geeigneten Beobachtungsfensters in der Bildanzeigefläche.Presence of a suitable observation window in the image display area.
Die Bildverarbeitungseinrichtung 2, 3, Maussteuerung 4 und Misch- und/oder Überblendeinrichtung 5 sind in den Rechner 16 implementiert und daher nicht gesondert dargestellt. Die Kamera 1 ist so ausgerichtet, dass sie zumindest das Körperteil oder Objekt erfasst, mit dem der Mausszeiger bewegt werden soll, im vorliegenden Fall den Oberkörper mit den beiden Armen eines vor dem Plasmadisplay agierenden Benutzers 13.The image processing device 2, 3, mouse control 4 and mixing and / or fading device 5 are implemented in the computer 16 and are therefore not shown separately. The camera 1 is oriented in such a way that it captures at least the body part or object with which the mouse pointer is to be moved, in the present case the upper body with the two arms of a user 13 operating in front of the plasma display.
Das von der Kamera 1 erfasste Bild des Benutzers wird in Echtzeit gespiegelt und auf dem Plasmabild- schirm dem normalen Programm-Hauptbild überlagert, so dass der Benutzer sein Spiegelbild auf dem Bildschirm erkennen kann, wie dies in der Figur 3 schematisch dargestellt ist. Mit Hilfe der Analyse-Software wird die Hand 14 des Benutzers ständig verfolgt und der Mauszeiger 11 im dargestellten Bild 10 entsprechend bewegt. Der Benutzer 13 kann dabei selbst jederzeit erkennen, auf welche Programmobjekte, wie bspw. Knöpfe, Auswahlboxen 15 usw., er zeigt. Eine Kalibrierung ist durch diese Rückkopplungstechnik nicht nötig. DerThe image of the user captured by the camera 1 is mirrored in real time and on the plasma image screen superimposed on the normal program main image, so that the user can recognize his mirror image on the screen, as is shown schematically in FIG. With the help of the analysis software, the hand 14 of the user is constantly tracked and the mouse pointer 11 in the image 10 shown is moved accordingly. The user 13 can see at any time which program objects, such as buttons, selection boxes 15, etc., he is pointing to. With this feedback technique, calibration is not necessary. The
Benutzer 13 erhält jederzeit ein Feed-back darüber, ob seine Hand 14 und der Mauszeiger 11 aufeinander liegen. Ist dies nicht der Fall, so kann der Benutzer 13 durch Bewegung der Hand 14 zum Mauszeiger 11 Fehler des eingesetzten Trackingalgorithmus der Analyse-Software ausgleichen.User 13 always receives feedback on whether his hand 14 and the mouse pointer 11 lie on one another. If this is not the case, the user 13 can compensate for errors in the tracking algorithm of the analysis software by moving the hand 14 to the mouse pointer 11.
Selbstverständlich erfolgt die Überlagerung des Haupt- und des Hilfsbildes bei der vorliegenden Vorrichtung so, dass der Benutzer 13 jederzeit beide Bilder erkennen kann. Hierzu können bspw. das gespiegelte Bild 20a als Hintergrundbild und das Hauptbild 30 als teiltransparent überlagertes Vordergrundbild dargestellt werden. Die interaktive Steuerung des zugehörigen Progra mes durch denOf course, in the present device, the main and auxiliary images are overlaid in such a way that the user 13 can recognize both images at any time. For this purpose, for example, the mirrored image 20a can be represented as a background image and the main image 30 as a partially transparent superimposed foreground image. The interactive control of the associated program by the
Mauszeiger 11 kann bspw. allein dadurch erfolgen, dass bei Überlagerung des Mauszeigers 11 mit einem entsprechenden Auswahlknopf oder Auswahlfeld 15 die entsprechende Aktion gestartet wird. Weiterhin können selbstverständlich alle bekannten Techniken, die in graphischen Benutzerschnittstellen eingesetzt werden, zur Anwendung kommen. Bspw. lassen sich durch geeignete Auswertung der Bilddaten des Hilfsbildes 20 auch Bewegungsabläufe bzw. Haltungen der Hand 14 des Benutzers erkennen, die entsprechende Aktionen auslösen. Eine derartige Gestik kann bspw. im Öffnen der Hand 14 bestehen, die das Loslassen des Mauszeigers 11 auslöst.Mouse pointer 11 can, for example, only be done by starting the corresponding action when the mouse pointer 11 is overlaid with a corresponding selection button or selection field 15. Furthermore, all known techniques that are used in graphical user interfaces can of course be used. For example. can also be obtained by suitable evaluation of the image data of the auxiliary image 20 Recognize movements or postures of the user's hand 14 that trigger corresponding actions. Such gestures can consist, for example, of opening the hand 14 which triggers the release of the mouse pointer 11.
In einer Ausgestaltung der vorliegenden Vorrichtung muss der Benutzer zunächst seine Hand in den Bereich eines in der Bildmitte bereits dargestellten Mauszeigers bewegen. Befindet sich die Hand desIn one embodiment of the present device, the user must first move his hand into the area of a mouse pointer already shown in the center of the image. Is the hand of the
Benutzers im dargestellten Bild ausreichend nahe an diesem Mauszeiger, so rastet der Mauszeiger auf die Position der detektierten Hand ein. Die Detektion kann sich hierbei auf einen vorgegebenen Bereich um die aktuelle Position des Mauszeigers beschränken. Nach dem Detektieren der Hand des Benutzers in diesem Bereich wird der Mauszeiger auf diese Position gelegt und folgt der Handbewegung, die durch die Analyseeinheit ständig neu ermittelt wird. Die Detektion der Hand sowie die Ermittlung der Position bzw. Bewegung der Hand können über bekannte Bild-Analyse-Software erfolgen, die auf Mustererkennung basiert. Ein Beispiel für eine derartige Analysetechnik basiert auf dem Kantenorientierungsvergleich (EOM: Edge Orientation Matching) , wie er auf dem Gebiet der Bildanalyse bekannt ist.If the user is sufficiently close to this mouse pointer in the displayed image, the mouse pointer snaps into the position of the detected hand. The detection can be limited to a predetermined area around the current position of the mouse pointer. After the hand of the user has been detected in this area, the mouse pointer is placed in this position and follows the hand movement, which is continuously determined anew by the analysis unit. The detection of the hand and the determination of the position or movement of the hand can be carried out using known image analysis software which is based on pattern recognition. An example of such an analysis technique is based on the Edge Orientation Matching (EOM), as is known in the field of image analysis.
Ein Beispiel für die Vorgehensweise bei einer derartigen Bildanalyse zur Erkennung der Handbewegung kann aus der Veröffentlichung B. Fröba und C. Küblbeck, Proceedings of the Fifth IASTED InternationalAn example of the procedure for such an image analysis to recognize the hand movement can be found in the publication B. Fröba and C. Küblbeck, Proceedings of the Fifth IASTED International
Conference, Computer Graphics and Imaging, August 12- 14, 2002, Kauni, Hawaii, USA, Seiten 50-55 entnommen werden, deren Inhalt in die vorliegende Beschreibung einbezogen wird. In dieser Veröffentlichung wird eine Anwendung der vorliegenden Vorrichtung beschrieben, bei der die Bewegung des Mauszeigers zusätzlich zeitlich geglättet wird.Conference, Computer Graphics and Imaging, August 12-14, 2002, Kauni, Hawaii, USA, pages 50-55, the contents of which are given in the present description is included. In this publication, an application of the present device is described in which the movement of the mouse pointer is additionally smoothed over time.
Mit der vorliegenden Vorrichtung und dem zugehörigen Verfahren wird durch die Einblendung bzw. Überlagerung eines Bildes des agierenden Benutzers eine optische Rückkopplung für eine gestikgesteuerte Mausbewegung geschaffen, durch die eine Kalibrierung der Vorrichtung entfallen kann. With the present device and the associated method, by fading in or superimposing an image of the acting user, an optical feedback for a gesture-controlled mouse movement is created, by means of which calibration of the device can be omitted.
BezugszeichenlisteLIST OF REFERENCE NUMBERS
Videokamera Analyseeinheit Spiegeleinheit Maussteuerung Misch- und/oder Überblendeinrichtung Bilddarstellungsgerät Bild des Bilddarstellungsgerätes Mauszeiger Objekt Benutzer Hand Auswahlfeld Computer Hilfsbild gespiegeltes Hilfsbild Hauptbild Video camera Analysis unit Mirror unit Mouse control Mixing and / or fading device Image display device Image of the image display device Mouse pointer Object User Hand Selection field Computer auxiliary image Mirrored auxiliary image Main image

Claims

Patentansprüche claims
1. Vorrichtung zur interaktiven Steuerung eines Mauszeigers (11) einer graphischen Benutzerschnittstelle im Bild (10) eines Bilddarstellungs- gerätes (6) mit1. Device for the interactive control of a mouse pointer (11) of a graphical user interface in the image (10) of an image display device (6) with
- einer Videokamera (1) zur Erzeugung eines Hilfsbildes (20) einer von der Videokamera (1) erfassten Szene;- a video camera (1) for generating an auxiliary image (20) of a scene captured by the video camera (1);
- einer mit der Videokamera (1) verbundenen Bildverarbeitungseinrichtung (2, 3) zur Verarbeitung von Bilddaten des Hilfsbildes (20) , die eine Analyseeinheit (2) zur Detektion eines vorgegebenen Objektes (12) in der erfassten Szene und zum Ermitteln einer momentanen Position des detektierten Objektes (12) im Hilfsbild (20) und eine Spiegeleinheit (3) zur Spiegelung des Hilfsbildes (20) umfasst;- An image processing device (2, 3) connected to the video camera (1) for processing image data of the auxiliary image (20), which has an analysis unit (2) for detecting a predetermined object (12) in the detected scene and for determining a current position of the detected object (12) in the auxiliary image (20) and a mirror unit (3) for reflecting the auxiliary image (20);
- einer mit der Analyseeinheit (2) verbundenen Maussteuerung (4) zur Darstellung und Bewegung des Mauszeigers (11) im Bild (10) des Bilddarstellungsgerätes (6) in Abhängigkeit von der jeweils ermittelten momentanen Position; und- A mouse control (4) connected to the analysis unit (2) for displaying and moving the mouse pointer (11) in the image (10) of the image display device (6) as a function of the respectively determined current position; and
- einer mit der Spiegeleinheit (3) verbundenen Misch- und/oder Überblendeinrichtung (5) mit einem Eingang für Bilddaten des gespiegelten Hilfsbildes (20a) , einem Eingang für Bilddaten eines durch das Bilddarstellungsgerät (6) darzustellenden Hauptbildes (30) und einem Ausgang für die Ansteuerung des Bilddarstellungsgerätes (6), die zur teil- transparenten Überlagerung des Hauptbildes (30) und des von der Spiegeleinheit (3) erhaltenen gespiegelten Hilfsbildes (20a) im Bild (10) des Bilddarstellungsgerätes (6) ausgebildet ist.- A mixing and / or cross-fading device (5) connected to the mirror unit (3) with an input for image data of the mirrored auxiliary image (20a), an input for image data of a main image (30) to be displayed by the image display device (6) and an output for the control of the image display device (6), which for the partially transparent superimposition of the main image (30) and the mirrored auxiliary image (20a) obtained from the mirror unit (3) in the image (10) of the Image display device (6) is formed.
2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Analyseeinheit (2) ein Modul zur Ermittlung der momentanen Position des vorgegebenen Objektes (12) mittels EOM enthält.2. Device according to claim 1, characterized in that the analysis unit (2) contains a module for determining the current position of the predetermined object (12) by means of EOM.
3. Vorrichtung nach Anspruch 1 oder 2 , dadurch gekennzeichnet, dass eine Filtereinrichtung zur Glättung der Bewegung des Mauszeigers (11) vorgesehen ist.3. Device according to claim 1 or 2, characterized in that a filter device for smoothing the movement of the mouse pointer (11) is provided.
4. Vorrichtung nach einem der Ansprüche 1 bis 3 , dadurch gekennzeichnet, dass die Analyseeinheit (2) zur Detektion und zum Ermitteln der momentanen Position einer Hand (14) oder eines Fingers eines in der erfassten Szene befindlichen Benutzers (13) als vorgegebenem Objekt (12) ausgebildet ist.4. Device according to one of claims 1 to 3, characterized in that the analysis unit (2) for detecting and determining the current position of a hand (14) or a finger of a user (13) located in the captured scene as a predetermined object ( 12) is formed.
5. Vorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Analyseeinheit (2) ein Modul zur Erkennung vorgegebener Bewegungsabläufe und/oder Haltungen des Objektes (12) aufweist und die Maussteuerung (4) in Abhängigkeit von den erkannten Bewegungsabläufen und/oder Haltungen und der ermittelten momentanen Position Befehle an einen mit dem Bilddarstellungsgerät (6) und der Maussteuerung (4) verbundenen Computer (16) sendet . 5. Device according to one of claims 1 to 4, characterized in that the analysis unit (2) has a module for recognizing predetermined movement sequences and / or postures of the object (12) and the mouse control (4) depending on the detected movement sequences and / or positions and the determined current position sends commands to a computer (16) connected to the image display device (6) and the mouse control (4).
6. Verfahren zur interaktiven Steuerung eines Mauszeigers (11) einer graphischen BenutzerSchnittstelle im Bild (10) eines Bilddarstellungsgerätes (6) , bei dem - mit einer Videokamera (1) ein Hilfsbild (20) eines vor dem Bilddarstellungsgerät (6) befindlichen Benutzers (13) erfasst wird;6. A method for the interactive control of a mouse pointer (11) of a graphic user interface in the image (10) of an image display device (6), in which - with a video camera (1) an auxiliary image (20) of a user (13) located in front of the image display device (6) ) is recorded;
- eine Extremität des Benutzers (13) oder ein vom Benutzer (13) geführtes Objekt als vorgegebenes Objekt (12) im Hilfsbild (20) detektiert und eine momentane Position des detektierten Objektes (12) im Hilfsbild (20) ermittelt wird;- an extremity of the user (13) or an object guided by the user (13) is detected as a predetermined object (12) in the auxiliary image (20) and a current position of the detected object (12) is determined in the auxiliary image (20);
- das Hilfsbild (20) gespiegelt wird;- The auxiliary image (20) is mirrored;
- ein Mauszeiger (11) im Bild (10) des Bild- darStellungsgerätes (6) in Abhängigkeit von der jeweils ermittelten momentanen Position dargestellt und bewegt wird; und- A mouse pointer (11) is shown and moved in the image (10) of the image display device (6) as a function of the respectively determined current position; and
- ein auf dem Bilddarstellungsgerät (6) darzustellendes Hauptbild (30) und das gespiegelte Hilfsbild (20a) im Bild (10) des Bilddarstellungsgerätes (6) teiltransparent überlagert werden.- A main image (30) to be displayed on the image display device (6) and the mirrored auxiliary image (20a) in the image (10) of the image display device (6) are partially transparent.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die momentane Position des vorgegebenen Objektes (12) mittels EOM ermittelt wird.7. The method according to claim 6, characterized in that the current position of the predetermined object (12) is determined by means of EOM.
8. Verfahren nach Anspruch 6 oder 7 , dadurch gekennzeichnet, dass die momentane Position einer Hand (14) oder eines Fingers des Benutzers (13) als vorgegebenes Objekt (12) ermittelt wird. Verfahren nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass automatisch nach vorgegebenen Bewegungsabläufen und/oder Haltungen des Objektes (12) im Hilfsbild (20) gesucht und ein mit dem Bilddarstellungsgerät (6) verbundener Computer (16) in Abhängigkeit von erkannten Bewegungsabläufen und/oder Haltungen und der ermittelten momentanen Position angesteuert wird. 8. The method according to claim 6 or 7, characterized in that the current position of a hand (14) or a finger of the user (13) is determined as a predetermined object (12). Method according to one of claims 6 to 8, characterized in that automatically searches for predetermined movements and / or postures of the object (12) in the auxiliary image (20) and a computer (16) connected to the image display device (6) as a function of detected movements and / or attitudes and the determined current position is controlled.
PCT/DE2003/000389 2003-01-21 2003-02-11 Device and method for interactively controlling a mouse pointer of a graphic user interface WO2004070595A2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
AU2003213999A AU2003213999A1 (en) 2003-01-21 2003-02-11 Device and method for interactively controlling a mouse pointer of a graphic user interface

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE20300882.0 2003-01-21
DE20300882U DE20300882U1 (en) 2003-01-21 2003-01-21 Device for the interactive control of a mouse pointer of a graphical user interface

Publications (2)

Publication Number Publication Date
WO2004070595A2 true WO2004070595A2 (en) 2004-08-19
WO2004070595A3 WO2004070595A3 (en) 2004-10-28

Family

ID=7979272

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2003/000389 WO2004070595A2 (en) 2003-01-21 2003-02-11 Device and method for interactively controlling a mouse pointer of a graphic user interface

Country Status (3)

Country Link
AU (1) AU2003213999A1 (en)
DE (1) DE20300882U1 (en)
WO (1) WO2004070595A2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2474950A1 (en) 2011-01-05 2012-07-11 Softkinetic Software Natural gesture based user interface methods and systems
WO2012134583A2 (en) * 2011-03-29 2012-10-04 Intel Corporation Continued virtual links between gestures and user interface elements
CN102929436A (en) * 2011-08-12 2013-02-13 东友科技股份有限公司 Touch induction operating system and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6160899A (en) * 1997-07-22 2000-12-12 Lg Electronics Inc. Method of application menu selection and activation using image cognition
US6353450B1 (en) * 1999-02-16 2002-03-05 Intel Corporation Placing and monitoring transparent user interface elements in a live video stream as a method for user input
US20020097247A1 (en) * 2000-10-06 2002-07-25 Sony Computer Entertainment Inc. Image processor, image processing method, recording medium, computer program and semiconductor device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6160899A (en) * 1997-07-22 2000-12-12 Lg Electronics Inc. Method of application menu selection and activation using image cognition
US6353450B1 (en) * 1999-02-16 2002-03-05 Intel Corporation Placing and monitoring transparent user interface elements in a live video stream as a method for user input
US20020097247A1 (en) * 2000-10-06 2002-07-25 Sony Computer Entertainment Inc. Image processor, image processing method, recording medium, computer program and semiconductor device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FROBA B ET AL: "Rapid hand gesture detection for human computer interface" PROCEEDINGS OF THE FIFTH IASTED INTERNATIONAL CONFERENCE COMPUTER GRAPHICS AND IMAGING ACTA PRESS ANAHEIM, CA, USA, 14. August 2002 (2002-08-14), Seiten 50-55, XP008035130 ISBN: 0-88986-348-2 in der Anmeldung erw{hnt *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2474950A1 (en) 2011-01-05 2012-07-11 Softkinetic Software Natural gesture based user interface methods and systems
WO2012093147A1 (en) 2011-01-05 2012-07-12 Softkinetic Software Natural gesture based user interface methods and systems
WO2012134583A2 (en) * 2011-03-29 2012-10-04 Intel Corporation Continued virtual links between gestures and user interface elements
WO2012134583A3 (en) * 2011-03-29 2013-02-21 Intel Corporation Continued virtual links between gestures and user interface elements
CN102929436A (en) * 2011-08-12 2013-02-13 东友科技股份有限公司 Touch induction operating system and method
CN102929436B (en) * 2011-08-12 2015-07-01 东友科技股份有限公司 Touch induction operating system and method

Also Published As

Publication number Publication date
AU2003213999A1 (en) 2004-08-30
WO2004070595A3 (en) 2004-10-28
DE20300882U1 (en) 2003-03-13

Similar Documents

Publication Publication Date Title
DE112006002954B4 (en) Virtual interface system
DE102018109463B3 (en) Method for using a multi-unit actuated kinematics, preferably a robot, particularly preferably an articulated robot, by a user by means of a mobile display device
DE102009034413B4 (en) Recognition of compound gestures
DE60127644T2 (en) Teaching device for a robot
DE60028894T2 (en) Presentation system with an interactive presentation
DE102019002898A1 (en) ROBOTORSIMULATIONSVORRICHTUNG
DE102016102902A1 (en) Numerical control unit for controlling a machine tool
DE112016002373T5 (en) TRACKING SUPPORT DEVICE, TRACKING SUPPORT SYSTEM AND TRACKING SUPPORT PROCESS
DE102013217354B4 (en) EDGE MEASUREMENT VIDEO TOOL AND INTERFACE WITH AUTOMATIC PARAMETER ALTERNATIVES
DE102012020607B4 (en) A motor vehicle with a gesture control device and method for controlling a selection element
DE112013004801T5 (en) Multimodal touch screen emulator
EP2406697B1 (en) Program and system for detecting an object on a display screen
DE3609469A1 (en) DISPLAY CONTROL DEVICE
DE10215885A1 (en) Automatic process control
WO2017054894A1 (en) Interactive operating system and method for carrying out an operational action in an interactive operating system
DE102014226553A1 (en) Method for operating an input device, input device, motor vehicle
WO2004070595A2 (en) Device and method for interactively controlling a mouse pointer of a graphic user interface
DE102012008986B4 (en) Camera system with adapted ROI, motor vehicle and corresponding method
EP2555097A1 (en) Method and device for determining a section of an image and triggering imaging using a single touch-based gesture
DE102014224599A1 (en) Method for operating an input device, input device
WO2003078112A2 (en) Automatic process control
DE102020214960A1 (en) I / O SIGNAL INFORMATION DISPLAY SYSTEM
DE102020108972A1 (en) SYSTEM AND METHOD OF TRACKING THE MOVING OBJECTS
DE102016214391B4 (en) Method for controlling an operation of a coordinate measuring machine and coordinate measuring machine with control
DE102004027289B4 (en) Method and arrangement for contactless navigation in a document

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AT AU CA JP US

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Country of ref document: JP