WO2010083820A1 - Verfahren zur ausführung einer eingabe mittels einer auf einem bildschirm dargestellten, virtuellen tastatur - Google Patents

Verfahren zur ausführung einer eingabe mittels einer auf einem bildschirm dargestellten, virtuellen tastatur Download PDF

Info

Publication number
WO2010083820A1
WO2010083820A1 PCT/DE2010/000073 DE2010000073W WO2010083820A1 WO 2010083820 A1 WO2010083820 A1 WO 2010083820A1 DE 2010000073 W DE2010000073 W DE 2010000073W WO 2010083820 A1 WO2010083820 A1 WO 2010083820A1
Authority
WO
WIPO (PCT)
Prior art keywords
screen
input
represented
plane
virtual keyboard
Prior art date
Application number
PCT/DE2010/000073
Other languages
English (en)
French (fr)
Other versions
WO2010083820A4 (de
Inventor
Alexander Gruber
Original Assignee
Alexander Gruber
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE200910006083 external-priority patent/DE102009006083A1/de
Priority claimed from DE102009006082A external-priority patent/DE102009006082A1/de
Application filed by Alexander Gruber filed Critical Alexander Gruber
Publication of WO2010083820A1 publication Critical patent/WO2010083820A1/de
Publication of WO2010083820A4 publication Critical patent/WO2010083820A4/de
Priority to US13/178,206 priority Critical patent/US20120005615A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Definitions

  • the invention relates to a method for executing an input by means of a virtual keyboard shown on a screen according to the preamble of claim 1.
  • the consumer electronic devices have been developed in recent years to powerful devices that are comparable in performance at least with early personal computers. In addition to the computing power, this also applies to the capabilities for displaying graphic elements as well as the possibilities of data storage in persistent and non-persistent memory elements. This technical advancement allows the use of operating systems and complex software to control the functionality of consumer electronic devices. An end to this development is not in sight.
  • consumer electronic devices are increasingly being used as a media archive, providing access to thousands of media files such as movies, music, photos, and the like.
  • novel services are offered with novel content that extends the classic information offerings and are also offered for the novel playback and / or recording devices. Mentioned here are so-called "video on demand" services, based on streaming or download, which can be played on television sets by means of suitable set-top boxes or by means of suitable, usually digital recorders.
  • Prerequisite for a meaningful use of a search function is an input of characters, such as letters, numbers and the like.
  • This virtual keyboard is controlled, for example, by arrow keys on the remote control.
  • the disadvantage of this is that the input takes place only slowly, since long distances must be covered between the individual letters representing keys shown on the screen.
  • the size of the input devices of a consumer electronic device is a critical element for the user. If an input device exceeds a certain size, it will not be accepted by the user.
  • An inventive method for executing an input or a remote input eg for entering commands or characters, characters, such as digits, letters and the like, by means of a virtual keyboard displayed on a screen, in which each key of the keyboard by a representing the screen represented, therefore, provides that the spatial position of at least one input object is monitored relative to a plane, the position of the input object parallel to the plane represents a selection point on the screen, a key of the virtual keyboard represented by an object is highlighted, enlarged, brightened or otherwise highlighted when the selection point is displayed in the screen within the screen Object, an approach of the input object to the plane is monitored, and - when the input object approaches below a predetermined distance to the plane and / or when approaching at a higher than a given approaching velocity, a highlighted object is selected and one of the through the displayed object represented button assigned function for
  • a highlighted object is preferably fixed when approaching at a higher than a predetermined approaching speed.
  • the fixation is preferably canceled when the approaching speed during the approach again falls below the predetermined approaching speed or below a predetermined lower value than the predetermined approaching speed.
  • a virtual keyboard key represented by an object is highlighted on the screen, magnified, brightened or otherwise highlighted as the selection point approaches the object.
  • a magnified, brightened or otherwise highlighted, highlighted representation of a represented by an object key of the virtual keyboard on the screen is canceled when the selection point of the object away,
  • an object is highlighted by being displayed on the screen preferably enlarged semitransparent.
  • An advantageous embodiment of the invention provides that when the plane is in contact with the input object, a highlighted object is selected and a function associated with the key belonging to the object of the virtual keyboard is used for input.
  • the input preferably takes place in an input field also represented on the screen.
  • the function associated with the virtual keyboard key represented by the object represented on the screen comprises a character, such as a letter or a number, and / or a command, such as an input command to be applied to the input field displayed on the screen, as in FIG -
  • a character such as a letter or a number
  • a command such as an input command to be applied to the input field displayed on the screen, as in FIG -
  • return or a capitalization to Ummix, UmlautSchreibung, technicallyzier, preferably the screen display or a selection of the on the Screen displayed changes according to the switching command.
  • a part of the characters associated with the keys of the keyboard representing objects are particularly preferably displayed on the screen, wherein the representation on the screen, for example, a second view with objec changes, which represent a different part of the keyboard assigned keys of the keyboard.
  • the plane can be formed, for example, by a pressure-sensitive touchpad or by a light-emitting diode array.
  • two or more input objects may be provided, whose positions are represented parallel to the plane in each case by its own selection point on the screen.
  • the input object may be at least one finger of at least one hand of a user.
  • selection point is represented by an example circular, preferably semi-transparent or semi-transparent selection object on the screen.
  • a function assigned to a key represented by a currently traveled object is preferably displayed on the screen for highlighting the key.
  • the selection object and preferably also the representation of the function assigned to a key represented by a currently traveled object, is preferably displayed on the screen the greater the further the input object is from the plane.
  • the virtual keyboard can be triggered by various triggers or activated or called. It is important to distinguish between contextual-content triggers and hardware-related or controlled triggers.
  • a call to the virtual keyboard can be made by a contextual-content impulse, which arises from the software application out. If the processing device requires an input in the form of letters, numbers of other characters, the virtual keyboard can be activated. This also leads to activation of the input device.
  • a contextual-content impulse can be created by selecting an input field, contact form or similar.
  • the virtual keyboard can also be activated by hardware impulses. This means, for example, pressing a button, flip a switch. It is also possible via sensors, the position of the input device in
  • Fig. 1 is a schematic representation of a virtual keyboard displayed on a screen.
  • FIG. 2 is a schematic representation of a plane relative to which the spatial position of at least one input object is monitored, in a plan view.
  • Fig. 3 shows the plane of Figure 2 in a side view.
  • FIG. 4 shows a schematic representation of a conversion of the position of an input object parallel to the plane onto the virtual keyboard on the screen.
  • FIG. 5 is a schematic illustration of highlighting a virtual keyboard key represented by an object on the screen based on the identified position of an input object.
  • FIG. 6 is a schematic representation of a monitoring of an approach of the input object to the plane.
  • FIG. 7 is a schematic representation of a selection of one of the functions associated with a key represented by a highlighted object.
  • Fig. 1 shows a virtual keyboard 01, which is displayed on a screen 02.
  • Each key of the keyboard 01 is repositioned by an object 10 shown on the screen 02. räsentiert.
  • the representation of the objects 10 on the screen 02 includes, for example, the function assigned to the keys of the virtual keyboard 01 represented by the objects 10, such as character 03, capitalization 04, commutation 05, input commands 06, deletion or backstep commands 07 and spaces 08.
  • the virtual keyboard 01 differs, for example, in the arrangement and division of their keys on the screen 02 from a standard keyboard, as it is known for example from personal computers from. This can be advantageous since, for example due to the resolution or number of pixels, it is not possible to display all elements of a keyboard in a view, for example on a screen 02 of a television set.
  • the objects 10 representing the keys are distributed within multiple views. Between the views, objects 10 representing particular keys provided for this purpose can be exchanged, for example by means of the objects 10 represented by the capitalization 04 and the numerical characters 05 switching commands.
  • a typical arrangement of the keys of the virtual keyboard 01 is a view of the letters in Qwerty / Qwertz or in alphabetic order.
  • This form of input is common in the use of keyboards on mobile phones and also in the field of operation of eg televisions.
  • word recognition systems such as T9, have proven to be useful to the user on the basis of suggested characters suggest possible words. This reduces the number of characters to be entered and increases the ease of use.
  • An input by means of the virtual keyboard 01 is preferably carried out in a ebenfals dargestelt on the screen 02 input field 09th
  • Fig. 2 shows in a plan view a plane 11 relative to which the spatial position of at least one input object 12, 12 ', for example one or more fingers 12, 12' of one or both hands of a user, a pen or the like, is monitored.
  • the level 11 is part of an input device for controlling the virtual keyboard 01. It is preferably an input device which is based on light-emitting diodes capable of simultaneously the position of one or more, generally as input objects 12, 12 'designated Objects, such as the fingers 12, 12 ', to be recognized in three-dimensional space.
  • the input device is preferably with the
  • the input device provides an X, Y, and Z value when detecting the spatial position of an input object 12, 12 'relative to a plane 11 ( Figure 3).
  • Fig. 3 shows the plane 11 of Fig. 2 in a side view.
  • Input objects 12 are detected that are above the surface of level 11.
  • the removal of an input object 12 to level 11 is indicated by the input device as a Z value.
  • Level 11 is indicated by the input device with an X and a Y value ( Figures 4 and 5).
  • the position of an input object 12 in a three-dimensional space is above the Level 11 is completely described by means of an X, Y and Z value.
  • the X, Y and Z values indicating a position of an input object 12 subsequently form input coordinates for the execution of an input by means of the virtual keyboard 01.
  • alternative systems for position detection in a three-dimensional space can also be used. These include pressure-sensitive touchpads, optical systems with camera support, as well as any system that is able to identify the position of an object, for example based on an X, Y and Z value in a room.
  • the data transmission between input device and the processing device can be done via wireless transmission paths, such as radio or infrared.
  • wireless transmission paths such as radio or infrared.
  • a wired transmission is also conceivable.
  • FIG. 4 shows the conversion of the input coordinates formed by X and Y values parallel to the plane 11 onto the virtual keyboard 01 on the screen 02.
  • Xi indicates the total width of the recognition region above the plane 11.
  • Xa2 (XaI * X 2 ) / Xl. Yi indicates the total depth of the detection area above level 11. This is represented on the screen 02 by the area Y 2 which preferably spans or covers the total height of the virtual keyboard 01. If the input device recognizes an input object 12 at the position y a i, the following formula calculates the corresponding value y a2 for display on the screen:
  • the position of the input object 12 parallel to the plane 11 is represented by a selection point on the screen 02.
  • the selection point is displayed on the screen 02 in the form of, for example, a circular, preferably semi- or semi-transparent selection object 13.
  • FIG. 5 shows the insertion of a selection object 13 on the basis of the identified position of an input object 12 parallel to the plane 11. If the input device recognizes an input object at a position (x a i / Yai) above the plane 11, the display shows 02, the selection object 13 is displayed at the position (x a 2 / Y a 2).
  • a key represented by an object 10 of the virtual keyboard 01 is shown highlighted on the screen 01, for example, by magnification, brightening or generally by high lights, if the preferred located by the selection object 13 selection point in the screen display within the object 10 and / or in its vicinity.
  • the function associated with that key of the virtual keyboard 01 such as a character or a command, for example, is represented within the selection object 13, which is represented by the object 10 currently being traveled by the selection object 13.
  • the currently traversed character of the virtual keyboard 01 is displayed within the selection object 13.
  • a highlighted object 10 is selected and one of the represented by the displayed object 10 function associated with Input in the input field 09 applied.
  • FIG. 6 schematically shows a monitoring of an approach of an input object 12 to the plane 11.
  • the distance of the input object 12 to the plane 11 indicated by the Z value is determined.
  • Z indicates the total measuring range of the height or distance.
  • the selection object 13 appears on the screen 02 as soon as an input object 12 is within the total measuring range Z.
  • the Z-value has an influence on the size of the representation of the selected object 13 on the Screen 02.
  • the size of the selection object 13 preferably changes dynamically with the Z value. In this case, the selection object 13 becomes smaller, for example, with a smaller Z value.
  • Figure 7 shows how a selection of characters on the virtual keyboard 01 is done by selecting functions associated with highlighted items 10, 10 '.
  • the operation of the virtual keyboard 01 is carried out with two input objects 12, 12 ', the positions of which are represented parallel to the plane 11 each by its own, each selected by a selection object 13, 13' selection point on the screen 02.
  • the selection of a character preferably takes place via a rapid reduction of the distance or distance of an input object 12, 12 'to the plane 11.
  • the Z value is reduced down to the value 0, for example.
  • a threshold value si is exceeded during the acceleration and / or approach speed of an input object 12, 12 ', then the X and Y values are stored, ie fixed, at this time. From this point on, the representation of the selection object 13 is fixed and no longer updated until the Z value has dropped to zero. This prevents inadvertent movement in the X and Y directions during the push process from affecting the keyboard character selection and thus not selecting the character desired by the user.
  • the virtual keyboard 01 view changes, typically switching between uppercase and lowercase views, numbers, and special keys.
  • An action button has been pressed. The action is executed. These are typically actions such as close keyboard, enter 06, delete character 07, etc. If a user chooses to cancel the spinning process before he has touched the plane 11, it is advantageous to cancel the fixation again.
  • a further threshold value S2 is preferably defined. If the approaching speed of an input object 12, 12 'falls below this threshold, the fixation is canceled again.
  • the control of the virtual keyboard 01 can be done via a blind control also called eyeless control. This means that a control of the input device is given without having to look at the input device itself. While the user's point of view is directed to the screen 02, it is possible for the user by the method according to the invention, for example with the fingers, to control the selection objects 13, 13 'which serve to control the virtual keyboard 01.
  • the use of the virtual keyboard 01 with the fingers 12 is similar to the use of a classical keyboard, as it is known for example from personal computers thanks to the inventive method.
  • a novelty of the operation of the virtual keyboard 01 with the help of a three-dimensional recognition system described by the method according to the invention is that the operation of the virtual keyboard 01 for the first time provides the user with a similar user experience as with a classical keyboard.
  • the user is able to aim a button represented by an object 10, 10 'on the virtual keyboard 01 with a finger 12, 12', without touching the plane 11.
  • the object 10, 10 ' is highlighted on the screen 02 as soon as it is within a selection object 13, 13'.
  • the displayed selection object 13, 13' focuses the highlighted object 10, 10 '.
  • the user may correct the position of the finger 12, 12 'to aim for the key represented by the highlighted object 10, 10' on the virtual keyboard 01. It is important to emphasize that the invention can be used with all input systems that recognize a position of an input object in a three-dimensional space.
  • the invention can be used with an input device which determines the position of one or more input objects in the room with the aid of an array of light-emitting diodes.
  • the invention can also be used with a pressure-sensitive touchpad, which can preferably detect two or more pressure stages.
  • the invention can also be used with an approach-sensitive field which uses technologies other than an array of light-emitting diodes.
  • the invention is also useful with camera-based methods that enable three-dimensional recognition of a position of one or more input objects.
  • the invention can be used in conjunction with any method that enables three-dimensional recognition of a position.
  • the invention makes it possible, by means of a virtual keyboard, to execute input of commands and characters by means of a system for three-dimensional recognition of the position of an input object.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Position Input By Displaying (AREA)

Abstract

Es wird ein Verfahren beschrieben zur Ausführung einer Eingabe mittels einer auf einem Bildschirm (02) dargestellten, virtuellen Tastatur (01), bei der jede Taste durch ein auf dem Bildschirm (02) dargestelltes Objekt (10, 10') repräsentiert wird, bei welchem Verfahren die räumliche Position mindestens eines Eingabeobjekts (12, 12') relativ zu einer Ebene (11) überwacht wird, die Position des Eingabeobjekts (12, 12') parallel zu der Ebene (11) einen Auswahlpunkt (13, 13') auf dem Bildschirm (02) repräsentiert, eine durch ein Objekt (10, 10') repräsentierte Taste der virtuellen Tastatur (01) auf dem Bildschirm (02) hervorgehoben dargestellt wird, wenn sich der Auswahlpunkt (13, 13') in der Bildschirmdarstellung innerhalb des Objekts (10, 10') befindet, eine Annäherung des Eingabeobjekts (12, 12') zu der Ebene (11) überwacht wird, sowie bei einer Annäherung des Eingabeobjekts (12, 12') bis unter eine vorgegebene Distanz zu der Ebene (11) und/oder bei einer Annäherung mit einer höheren als einer vorgegebenen Annäherungsgeschwindigkeit ein hervorgehobenes Objekt (10, 10') ausgewählt und eine der durch das dargestellte Objekt (10, 10') repräsentierten Taste zugeordnete Funktion (03, 04, 05, 06, 07, 08) zur Eingabe angewendet wird.

Description

Beschreibung
Verfahren zur Ausführung einer Eingabe mittels einer auf einem Bildschirm dargestellten, virtuellen Tastatur
Die Erfindung betrifft ein Verfahren zur Ausführung einer Eingabe mittels einer auf einem Bildschirm dargestellten, virtuellen Tastatur gemäß dem Oberbegriff des Anspruchs 1.
Es findet sich eine zunehmende Vielfalt von Unterhaltungselektronikgeräten in Haushalten, beispielsweise Fernsehgeräte mit oder ohne Aufnehmefunktion, Videorekorder, Wechselmedien- Abspielgeräte und/oder -rekorder, Festplattenrekorder, Set- Top-Boxen, Hifi-Verstärker, Spielkonsolen, Media Center PC und ähnliche Geräte, um nur einige wenige zu nennen.
Die Unterhaltungselektronikgeräte wurden in den vergangenen Jahren zu leistungsfähigen Geräten weiterentwickelt, die in ihrer Leistungsfähigkeit mindestens mit frühen Personalcompu- tern zu vergleichen sind. Dies betrifft neben der Rechenleistung auch die Fähigkeiten zur Darstellung von Grafikelementen sowie die Möglichkeiten der Datenspeicherung in persistenten und nicht-persistenten Speicherelementen. Diese technische Weiterentwicklung ermöglicht den Einsatz von Betriebsystemen und komplexer Software zur Steuerung der Funktionalität der Unterhaltungselektronikgeräte. Ein Ende dieser Entwicklung ist nicht in Sicht.
Durch diese Entwicklung werden Unterhaltungselektronikgeräte heute bereits zunehmend als Medienarchiv genutzt und gewähren so Zugriff auf Tausende von Mediendateien, wie Filme, Musik, Fotos, und ähnliches. Darüber hinaus werden neuartige Dienste mit neuartigen Inhalten angeboten, welche die klassischen Informationsangebote erweitern und für die ebenso neuartige Wiedergabe- und/oder Aufzeichnungsgeräte angeboten werden. Genannt seien hier so genannte „Video on Demand" Dienste, basierend auf Streaming oder Download, die mittels geeigneter Set-Top-Boxen oder mittels geeigneter, meist digitaler Rekorder auf Fernsehgeräten wiedergegeben werden können.
Auch im Bereich des Video-On-Demand gibt es Angebote und Dienste, die einem Benutzer eine große Bibliothek an Medien zum zeitlich unabhängigen Abruf bereitstellen. Hierbei stellt sich für den Benutzer die Herausforderung, aus der Gesamtheit des Angebotes, diejenigen Inhalte zu finden, die ihn persön- lieh ansprechen. Hierbei spielen Suchfunktionalitäten eine zentrale Rolle. So können Benutzer das Gesamtangebot nach ihren Vorgaben filtern lassen um die gewünschten Inhalte zu finden.
Voraussetzung für eine sinnvolle Nutzung einer Suchfunktion ist eine Eingabe von Schriftzeichen, wie etwa Buchstaben, Zahlen und dergleichen.
Dabei stellt sich die Problematik, dass die Eingabevorrich- tungen von Unterhaltungselektronikgeräten nur eingeschränkt geeignet sind, um die Eingabe von Schriftzeichen zu gewährleisten.
Mehrheitlich werden Unterhaltungselektronikgeräte durch Fern- bedienungen gesteuert. Diese bieten als Benutzerschnittstellen verschiedene Kombinationen aus Schaltern, Knöpfen, Drehrädern, Bewegungserfassungssensoren, Joysticks, etc. zur Steuerung an. Eine der größten Unzulänglichkeiten von heutigen Fernbedienungen ist die Tatsache, dass sie aufgrund ihres so genannten Formfaktors, d.h. ihren Abmessungen und den auf ihnen ange- ordneten Schaltern, Knöpfen, Drehrädern, Bewegungserfassungs- sensoren, Joysticks, etc. nicht geeignet sind, beispielsweise alle Zeichen beispielsweise des Alphabets darzustellen, um so z.B. eine Eingabe einer Buchstaben- und/oder Ziffernkombina- tion, z.B. eines Textes, an einem Unterhaitungselektronikge- rät zu ermöglichen. Aus diesem Grund wird derzeit hauptsächlich auf eine im Folgenden als virtuelle Tastatur bezeichnete Tastatureinblendung auf einem Bildschirm eines Unterhaltungselektronikgeräts zurückgegriffen, um eine Eingabe zu ermöglichen. Dabei wird jede Taste der virtuellen Tastatur durch ein auf dem Bildschirm dargestelltes Objekt repräsentiert.
Diese virtuelle Tastatur wird beispielsweise über Pfeiltasten auf der Fernbedienung gesteuert. Nachteilig hieran ist, dass die Eingabe nur langsam erfolgt, da zwischen den einzelne Buchstaben repräsentierenden, auf dem Bildschirm dargestellten Tasten lange Wege zurückgelegt werden müssen.
Wie bereits erwähnt schreitet die Konvergenz von unterhaltungselektronischen Geräten und Personalcomputern immer wei- ter voran und auch die Anwendungen, die auf ihnen genutzt werden sollen, gleichen sich im Bereich der Unterhaltung zunehmend an. So gibt es beispielsweise schon seit längerer Zeit Produkte, die das Nutzen typischer PC-Anwendungen beispielsweise auf dem Bildschirm eines Fernsehgeräts ermögli- chen sollen. Dies ermöglicht den Zugang zum Internet und
World Wide Web über Internet Browser, sowie die Nutzung von Kommunikationsanwendungen, wie Email und Instant Messaging am Fernsehgerät . Beispielsweise für diese Anwendungen ist eine schnelle und komfortable Eingabe von Tastaturzeichen unumgänglich. Aus diesem Grund ist hierzu bislang zumeist vorgesehen, eine klassische Tastatur als Eingabevorrichtung zu nutzen, die per Kabel oder drahtlos, beispielsweise via Funk- oder Infrarottechnologie, an das Fernsehgerät angeschlossen ist.
Es hat sich jedoch gezeigt, dass die Größe der Eingabevor- richtungen eines Unterhaltungselektronikgeräts, beispielsweise eines Fernsehgeräts oder eines an ein Fernsehgerät angeschlossenes Gerät, ein für den Benutzer kritisches Element ist. Überschreitet eine Eingabevorrichtung eine bestimmte Größe, wird sie vom Benutzer nicht akzeptiert.
Als eine Aufgabe der Erfindung kann es demnach angesehen werden, ein Verfahen zu entwickeln, welches unter Wahrung der Restriktionen bezüglich des akzeptierten Formfaktors eine schnelle und flüssige Eingabe zumindest von Schriftzeichen und Befehlen bzw. Kommandos auf einem entfernten Bildschirm ermöglicht .
Die Aufgabe wird gelöst mit den Merkmalen des Anspruchs 1.
Ein erfindungsgemäßes Verfahren zur Ausführung einer Eingabe bzw. einer Ferneingabe, z.B. zur Eingabe von Befehlen bzw. Kommandos, Schriftzeichen, wie beispielsweise Ziffern, Buchstaben und dergleichen, mittels einer auf einem Bildschirm dargestellten, virtuellen Tastatur, bei der jede Taste der Tastatur durch ein auf dem Bildschirm dargestelltes Objekt repräsentiert wird, sieht demnach vor, dass die räumliche Position mindestens eines Eingabeobjekts relativ zu einer Ebene überwacht wird, die Position des Eingabeobjekts parallel zu der Ebene einen Auswahlpunkt auf dem Bildschirm repräsentiert, eine durch ein Objekt repräsentierte Taste der virtuellen Tastatur auf dem Bildschirm hervorgehoben, ver- größert, aufgehellt oder sonst wie gehighlightet dargestellt wird, wenn sich der Auswahlpunkt in der Bildschirmdarstellung innerhalb des Objekts befindet, eine Annäherung des Eingabeobjekts zu der Ebene überwacht wird, sowie - bei einer Annäherung des Eingabeobjekts bis unter eine vorgegebene Distanz zu der Ebene und/oder bei einer Annäherung mit einer höheren als einer vorgegebenen Annäherungsgeschwindigkeit ein hervorgehobenes Objekt ausgewählt und eine der durch das dargestellte Objekt repräsentierten Taste zugeordnete Funktion zur
Eingabe angewendet wird.
Damit während der Annäherung ein hervorgehobenes Objekt, beispielsweise bei einer ungewollten Änderung der Position des Eingabeobjekts parallel zu der Ebene, beibehalten wird, wird vorzugsweise bei einer Annäherung mit einer höheren als einer vorgegebenen Annäherungsgeschwindigkeit ein hervorgehobenes Objekt fixiert.
Die Fixierung wird vorzugsweise wieder aufgehoben, wenn die Annäherungsgeschwindigkeit während der Annäherung wieder unter die vorgegebene Annäherungsgeschwindigkeit oder unter einen vorgegebenen, niedrigeren Wert, als die vorgegebene Annäherungsgeschwindigkeit fällt.
Vorzugsweise wird eine durch ein Objekt repräsentierte Taste der virtuellen Tastatur auf dem Bildschirm hervorgehoben, vergrößert, aufgehellt oder sonst wie gehighlightet dargestellt, wenn sich der Auswahlpunkt dem Objekt nähert.
Gemäß einer vorteilhaften Ausgestaltung der Erfindung wird eine beispielsweise vergrößerte, aufgehellte oder sonst wie gehighlightete, hervorgehobene Darstellung einer durch ein Objekt repräsentierten Taste der virtuellen Tastatur auf dem Bildschirm wieder aufgehoben, wenn sich der Auswahlpunkt von dem Objekt entfernt,
Besonders bevorzugt wird ein Objekt hervorgehoben, indem es auf dem Bildschirm vorzugsweise halbtransparent vergrößert dargestellt wird.
Eine vorteilhafte Ausgestaltung der Erfindung sieht vor, dass bei einer Berührung der Ebene mit dem Eingabeobjekt ein hervorgehobenes Objekt ausgewählt und eine der zu dem Objekt gehörenden Taste der virtuellen Tastatur zugeordnete Funktion zur Eingabe angewendet wird.
Die Eingabe erfolgt vorzugsweise in ein ebenfalls auf dem Bildschirm dargesteltes Eingabefeld.
Vorzugsweise umfasst die der durch das auf dem Bildschirm dargestellte Objekt repräsentierten Taste der virtuellen Tastatur zugeordnete Funktion ein Schriftzeichen, wie beispielsweise einen Buchstaben oder eine Zahl, und/oder einen Befehl, wie beispielsweise einen auf das auf dem Bildschirm dargestellte Eingabefeld anzuwendenden Eingabebefehl, wie bei- spielsweise Return, oder einen Umschaltbefehl zur Großschreibung, UmlautSchreibung, Zahlenschreibung, wobei sich vorzugsweise die Bildschirmdarstellung bzw. eine Auswahl der auf dem Bildschirm dargestellten Tasten entsprechend dem Umschaltbefehl ändert .
Besonders bevorzugt werden beispielsweise in einer ersten An- sieht nur ein Teil der Schriftzeichen zugeordneten Tasten der Tastatur repräsentierenden Objekte auf dem Bildschirm dargestellt, wobei bei Bedarf durch Auswahl eines vorzugsweise eigens hierfür vorgesehenen Objekts die Darstellung auf dem Bildschirm zu beispielsweise einer zweiten Ansicht mit Objek- ten wechselt, welche einen anderen Teil der Schriftzeichen zugeordneten Tasten der Tastatur repräsentieren.
Dabei wird vorteilhafterweise eine Aufteilung der gesamten Schriftzeichen in drei oder vier Ansichten vorgenommen. Dabei handelt es sich vorzugsweise um a) Kleinbuchstaben, b) Großbuchstaben, c) Zahlen und Sonderzeichen, d) weitere Sonderzeichen.
Die Ebene kann beispielsweise durch ein druckempfindliches Touchpad oder durch ein Leuchtdioden-Feld gebildet werden.
Gemäß einer besonders bevorzugten Ausgestaltung der Erfindung können zwei oder mehrere Eingabeobjekte vorgesehen sein, deren Positionen parallel zu der Ebene jeweils durch einen ei- genen Auswahlpunkt auf dem Bildschirm repräsentiert werden.
Das Eingabeobjekt kann mindestens ein Finger mindestens einer Hand eines Benutzers sein.
Eine vorteilhafte Ausgestaltung der Erfindung sieht vor, dass der Auswahlpunkt durch ein beispielsweise kreisförmiges, vorzugsweise halb- bzw. semi-transparentes Auswahlobjekt auf dem Bildschirm dargestellt wird. Innerhalb des Auswahlobjekts wird vorzugsweise eine einer durch ein aktuell überfahrenes Objekt repräsentierte Taste zugeordnete Funktion zur Hervorhebung der Taste auf dem BiId- schirm angezeigt.
Das Auswahlobjekt sowie vorzugsweise auch die Darstellung der einer durch ein aktuell überfahrenes Objekt repräsentierten Taste zugeordneten Funktion wird vorzugsweise um so größer auf dem Bildschirm dargestellt, je weiter das Eingabeobjekt von der Ebene entfernt ist.
Von Vorteil kann die virtuelle Tastatur durch verschiedene Auslöser getriggert bzw. aktiviert oder aufgerufen werden. Dabei ist zu unterscheiden zwischen kontextual-inhaltlichen Auslösern und Hardware-bedingten oder gesteuerten Auslösern.
Ein Aufruf der virtuellen Tastatur kann durch einen kontextual-inhaltlichen Impuls erfolgen, der aus der Software- Anwendung heraus entsteht. Benötigt das verarbeitende Gerät eine Eingabe in Form von Buchstaben, Zahlen sonstigen Zeichen, so kann die virtuelle Tastatur aktiviert werden. Dies führt ebenso zu einer Aktivierung des Eingabegerätes . Ein kontextual-inhaltlicher Impuls kann durch das Anwählen eines Eingabefeldes, Kontaktformulars oder ähnliches entstehen.
Die virtuelle Tastatur kann von Vorteil ebenso durch Hardware-Impulse aktiviert werden. Dies bezeichnet beispielsweise das Drücken eines Knopfes, umlegen eines Schalters. Ebenso ist es möglich über Sensoren die Lage des Eingabegerätes im
Raum zu identifizieren (beispielsweise durch Acceleratoren) und dadurch die virtuelle Tastatur zu aktivieren. Die Erfindung wird nachfolgend anhand von in den Zeichnungen dargestellten Ausführungsbeispielen näher erläutert. Es zeigen:
Fig. 1 eine schematische Darstellung einer auf einem Bildschirm angezeigten virtuellen Tastatur.
Fig. 2 eine schematische Darstellung einer Ebene, relativ zu der die räumliche Position mindestens eines Ein- gabeobjekts überwacht wird, in einer Draufsicht.
Fig. 3 die Ebene aus Figur 2 in einer Seitenansicht.
Fig. 4 eine schematische Darstellung einer Umsetzung der Position eines Eingabeobjekts parallel zu der Ebene auf die virtuelle Tastatur auf dem Bildschirm.
Fig. 5 eine schematische Darstellung einer Hervorhebung einer durch ein Objekt repräsentierten Taste der virtuellen Tastatur auf dem Bildschirm auf Grundlage der identifizierten Position eines Eingabeobjekts .
Fig. 6 eine schematische Darstellung einer Überwachung ei- ner Annäherung des Eingabeobjekts zu der Ebene.
Fig. 7 eine schematische Darstellung einer Auswahl einer der durch ein hervorgehobenes Objekt repräsentierten Taste zugeordneten Funktion.
Fig. 1 zeigt eine virtuelle Tastatur 01, welche auf einem Bildschirm 02 angezeigt wird. Jede Taste der Tastatur 01 wird durch ein auf dem Bildschirm 02 dargestelltes Objekt 10 rep- räsentiert. Die Darstellung der Objekte 10 auf dem Bildschirm 02 umfasst beispielsweise die den durch die Objekte 10 repräsentierten Tasten der virtuellen Tastatur 01 zugeordnete Funktion, wie beispielsweise Schriftzeichen 03, Umschaltbe- fehle zur Großschreibung 04, zur Zahlenschreibung 05, Eingabebefehle 06, Lösch- bzw. Rückschrittbefehle 07 und Leerzeichen 08. Die virtuelle Tastatur 01 weicht beispielsweise in der Anordnung und Aufteilung ihrer Tasten auf dem Bildschirm 02 von einer Standard-Tastatur, wie sie beispielsweise von Personalcomputern bekannt ist, ab. Dies kann vorteilhaft sein, da es beispielsweise bedingt durch die Auflösung bzw. Anzahl an Bildpunkten, nicht möglich ist, alle Elemente einer Tastatur in einer Ansicht beispielsweise auf einem Bildschirm 02 eines Fernsehgeräts anzuzeigen. Vorzugsweise werden die Tasten repräsentierenden Objekte 10 innerhalb mehrere Ansichten verteilt. Zwischen den Ansichten kann durch Auswahl eigens hiefür vorgesehene Tasten repräsentierende Objekte 10, beispielsweise durch die durch die Umschaltbefehle zur Großschreibung 04 und zur Zahlenschreibung 05 dargestellten Obek- te 10, gewechselt werden. Eine typische Anordnung der Tasten der virtuellen Tastatur 01 ist eine Ansicht der Buchstaben in Qwerty/Qwertz oder in alphabtischer Anordnung. Zusätzlich gibt es vorzugsweise getrennte Ansichten zur Eingabe von Zahlen, Sonderzeichen und von Großbuchstaben. Es ist ebenso eine Anzeige der virtuellen Tastatur als Nummernfeld möglich, welches sich der Zeicheneingabe per Mehrfachbelegung bedient. Hierbei ist jede Nummer, mit mehreren Buchstaben belegt, die durch mehrfaches Drücken einer Nummerntaste durchgeblättert werden. Diese Form der Eingabe ist bei der Benutzung von Tas- taturen auf Mobiltelefonen üblich und auch im Bereich der Bedienung von z.B. Fernsehgeräten verbreitet. Als Ergänzung dieser Form der Eingabe haben sich Worterkennungssysteme, wie bewispielsweise T9 erwiesen, welche dem Nutzer auf Basis der eingegebenen Zeichen mögliche Worte vorschlagen. Dies verringert die Anzahl der einzugebenden Zeichen und erhöht den Bedienkomfort .
Eine Eingabe mittels der virtuellen Tastatur 01 erfolgt vorzugsweise in ein ebenfals auf dem Bildschirm 02 dargesteltes Eingabefeld 09.
Fig. 2 zeigt in einer Draufsicht eine Ebene 11, relativ zu der die räumliche Position mindestens eines Eingabeobjekts 12, 12', beispielsweise eines oder mehrerer Finger 12, 12' einer oder beider Hände eines Benutzers, eines Stifts bzw. stiftartigen Zeigegeräts oder dergleichen, überwacht wird. Die Ebene 11 ist Bestandteil eines Eingabegeräts zur Steue- rung der virtuellen Tastatur 01. Es handelt sich dabei vorzugsweise um ein Eingabegerät, welches auf Basis von Leuchtdioden in der Lage ist, gleichzeitig die Position eines oder mehrerer, allgemein als Eingabeobjekte 12, 12' bezeichneter Gegenstände, wie den Fingern 12, 12', im dreidimensionalen Raum zu erkennen. Das Eingabegerät wird vorzugsweise mit den
Fingern 12, 12' bedient. Das Eingabegerät liefert bei der Erkennung der räumliche Position eines Eingabeobjekts 12, 12' relativ zu einer Ebene 11 einen X-, Y- und einen Z-Wert (Fig. 3) .
Fig. 3 zeigt die Ebene 11 aus Fig. 2 in einer Seitenansicht. Eingabeobjekte 12 werden erkannt, die sich über der Oberfläche der Ebene 11 befinden. Die Entfernung eines Eingabeobjekts 12 zur Ebene 11 wird von dem Eingabegerät als Z-Wert angegeben. Die Position des Eingabeobjekts 12 parallel zu der
Ebene 11 wird von dem Eingabegerät mit einem X- und mit einem Y-Wert angegeben (Fig. 4 und 5) . Somit ist die Position eines Eingabeobjekts 12 in einem dreidimensionalen Raum über der Ebene 11 mittels jeweils eines X-, Y- und Z-Werts vollständig beschrieben. Die eine Position eines Eingabeobjekts 12 angebenden X-, Y- und Z-Werte bilden nachfolgend Eingabekoordinaten für die Ausführung einer Eingabe mittels der virtuellen Tastatur 01.
Alternativ zu dem beschriebenen Eingabegerät, welches die Positionserkennung eines Eingabeobjekts 12 im Raum durch ein auch als Array bezeichnetes Feld von Leuchtdioden ermöglicht, können auch alternative Systeme zur Positionserkennung in einem dreidimensionalen Raum eingesetzt werden. Dazu zählen drucksensitive Touchpads, optische Systeme mit Kameraunterstützung, sowie jedes System, welches in der Lage ist die Position eines Objektes beispielsweise anhand eines X-, Y- und Z-Wertes in einem Raum zu identifizieren.
Die Datenübertragung zwischen Eingabegerät und dem verarbeitenden Gerät kann über drahtlose Übertragungswege erfolgen, wie beispielsweise Funk oder Infrarot. Eine kabelgebundene Übertragung ist ebenfalls denkbar.
Fig. 4 zeigt die Umsetzung der durch X- und Y-Werte gebildeten Eingabekoordinaten parallel zu der Ebene 11 auf die virtuelle Tastatur 01 auf dem Bildschirm 02. Xi gibt dabei die Gesamtbreite des Erkennungsbereichs oberhalb der Ebene 11 an.
Dieser wird auf dem Bildschirm 02 repräsentiert durch den vorzugsweise die Gesamtbreite der virtuellen Tastatur 01 überspannenden bzw. abdeckenden Bereich X2. Erkennt das Eingabegerät ein Eingabeobjekt 12 an der Position xai so wird mit folgender Formel daraus, der entsprechende Wert xa2 zur Darstellung auf dem Bildschirm 02 berechnet:
Xa2= (XaI * X2)/ Xl. Yi gibt dabei die Gesamttiefe des Erkennungsbereichs oberhalb der Ebene 11 an. Dieser wird auf dem Bildschirm 02 repräsentiert durch den vorzugsweise die Gesamthöhe der virtuellen Tastatur 01 überspannenden bzw. abdeckenden Bereich Y2. Erkennt das Eingabegerät ein Eingabeobjekt 12 an der Position yai so wird mit folgender Formel daraus, der entsprechende Wert ya2 zur Darstellung auf dem Bildschirm berechnet:
ya2= (Yai * Y2)/ Yi-
eine schematische Darstellung einer Hervorhebung einer durch ein Objekt repräsentierten Taste der virtuellen Tastatur auf dem Bildschirm auf Grundlage der identifizierten Position ei- nes Eingabeobjekts
Die Position des Eingabeobjekts 12 parallel zu der Ebene 11 wird durch einen Auswahlpunkt auf dem Bildschirm 02 repräsentiert. Der Auswahlpunkt wird auf dem Bildschirm 02 in Form eines beispielsweise kreisförmigen, vorzugsweise halb- bzw. semi-transparenten Auswahlobjekts 13 dargestellt. Zur Darstellung der Position des Auswahlobjekts 13 werden dadurch nur die X- und Y-Werte benötigt. Fig. 5 zeigt die Einblendung eines Auswahlobjekts 13 auf Basis der identifizierten Positi- on eines Eingabeobjekts 12 parallel zu der Ebene 11. Erkennt das Eingabegerät an einer Position (xai/Yai) oberhalb der Ebene 11 ein Eingabeobjekt, so wird auf dem Bildschirm 02 das Auswahlobjekt 13 an der Position (xa2/Ya2) angezeigt.
Eine durch ein Objekt 10 repräsentierte Taste der virtuellen Tastatur 01 wird auf dem Bildschirm 01 beispielsweise durch Vergrößerung, Aufhellung oder ganz allgemein durch Highligh- ten hervorgehoben dargestellt, wenn sich der vorzugsweise durch das Auswahlobjekt 13 dargestellte Auswahlpunkt in der Bildschirmdarstellung innerhalb des Objekts 10 und/oder in dessen Nähe befindet. Vorzugsweise wird zur Hervorhebung die derjenigen Taste der virtuellen Tastatur 01 zugeordnete Funk- tion, wie beispielsweise ein Schriftzeichen oder ein Befehl, innerhalb des AuswahlObjekts 13 dargestellt, welche durch das aktuell durch das Auswahlobjekt 13 überfahrene Objekt 10 repräsentiert wird. Vereinfacht ausgedrückt wird das aktuell überfahrene Zeichen der virtuellen Tastatur 01 innerhalb des Auswahlobjekts 13 angezeigt.
Bei einer Annäherung des Eingabeobjekts 12 bis unter eine vorgegebene Entfernung bzw. Distanz zu der Ebene 11 und/oder bei einer Annäherung mit einer höheren als einer vorgegebenen Annäherungsgeschwindigkeit wird ein hervorgehobenes Objekt 10 ausgewählt und eine der durch das dargestellte Objekt 10 repräsentierten Taste zugeordnete Funktion zur Eingabe in das Eingabefeld 09 angewendet.
Dies entspricht einem Tastendruck auf einer klassischen Tastatur.
Fig. 6 zeigt schematisch eine Überwachung einer Annäherung eines Eingabeobjekts 12 zu der Ebene 11. Hierzu wird die durch den Z-Wert angegebene Entfernung des Eingabeobjekts 12 zu der Ebene 11 bestimmt. Dabei gibt Z den Gesamtmessbereich der Höhe bzw. Entfernung an. Vorzugsweise erscheint das Auswahlobjekt 13 auf dem Bildschirm 02, sobald sich ein Eingabeobjekt 12 innerhalb des Gesamtmessbereichs Z befindet.
In Fig. 6 bezeichnet za den sich aus der Entfernung bzw. Distanz des Eingabeobjekts 12 zu der Ebene 11 ergebenden Z-Wert des Eingabeobjekts 12. Vorzugsweise hat der Z-Wert Einfluss auf die Größe der Darstellung des Auswahlobjekts 13 auf dem Bildschirm 02. Die Größe des Auswahlobjekts 13 ändert sich vorzugsweise dynamisch mit dem Z-Wert. Dabei wird das Auswahlobjekt 13 beispielsweise bei kleinerem Z-Wert kleiner.
Fig. 7 zeigt wie eine Auswahl von Zeichen auf der virtuellen Tastatur 01 durch Auswahl von durch hervorgehobene Objekte 10, 10' repräsentierten Tasten zugeordneten Funktionen erfolgt. Die Bedienung der virtuellen Tastatur 01 erfolgt dabei mit zwei Eingabeobjekten 12, 12', deren Positionen parallel zu der Ebene 11 jeweils durch einen eigenen, jeweils durch ein Auswahlobjekt 13, 13' dargestellten Auswahlpunkt auf dem Bildschirm 02 repräsentiert werden.
Die Auswahl eines Zeichens erfolgt vorzugsweise über eine schnelle Verkleinerung der Entfernung bzw. Distanz eines Ein- gabeobjekts 12, 12' zu der Ebene 11. Hierdurch wird der Z- Wert beispielsweise bis hin zum Wert 0 verkleinert. Dies bedeutet, das sich ein Eingabeobjekt 12, 12' schnell der Ebene 11 nähert und diese beispielsweise berührt. Die Berührung der Ebene 11 entspricht dabei beispielsweise einem Z-Wert von Z=O. Dies wird nachfolgend als Drückprozess benannt. Grundsätzlich ist ebenso denkbar, ein Zeichen bei einer Annäherung des Eingabeobjekts 12 bis unter eine vorgegebene Entfernung bzw. Distanz zu der Ebene 11 und/oder bei einer Annäherung mit einer höheren als einer vorgegebenen Annäherungsgeschwindigkeit auszuwählen. Wird beispielsweise bei der Beschleunigung und/oder Annäherungsgeschwindigkeit eines Eingabeobjekts 12, 12' ein Schwellenwert si überschritten, so wird der X- und Y-Wert zu diesem Zeitpunkt gespeichert d.h. fixiert. Ab diesem Zeitpunkt wird die Darstellung des Auswahlobjekts 13 fixiert und nicht mehr aktualisiert, bis der Z-Wert auf 0 gefallen ist. Dies verhindert, dass eine unabsichtliche Bewegung in X und Y Richtung während des Drückprozesses die Auswahl des Tastaturzeichens beeinflusst und so nicht das vom Benutzer gewünschte Zeichen gewählt wird.
Berührt ein Eingabeobjekt 12, 12' die Ebene 11 (Z=O) so wird das Zeichen ausgewählt, welches den X und Y Koordinaten zum Zeitpunkt Si entspricht, d.h. welches von den Auswahlobjekten 13, 13' zum Zeitpunkt Si überfahren wurde. Dies wird als ein virtueller Tastendruck bezeichnet. Dem Benutzer kann der virtuelle Tastendruck beispielsweise durch eine audiovisuelle Rückmeldung bestätigt werden. Ebenso ist eine taktile Rückmeldung möglich. Ein Tastendruck auf der virtuellen Tastatur 01 kann unterschiedliche Aktionen auslösen.
1. Ein Tastaturzeichen wurde gedrückt. Das Zeichen wird in das Eingabefeld 09 übertragen
2. Eine Umschalttaste wurde gedrückt. Die Ansicht der virtuellen Tastatur 01 ändert sich, typischerweise wird zwischen Ansichten von Gross- und Kleinschreibung, Zah- len und Sondertasten umgeschaltet.
3. Eine Aktionstaste wurde gedrückt. Die Aktion wird ausgeführt. Dabei handelt es sich typischerweise um Aktionen, wie Tastatur schließen, Eingabe 06, Zeichen löschen 07, etc . Entscheidet sich ein Benutzer zum Abbruch des Drückprozesses, bevor er die Ebene 11 berührt hat, so ist es vorteilhaft, die Fixierung wieder aufzuheben. Dazu wird vorzugsweise ein weiterer Schwellenwert S2 definiert. Fällt die Annäherungsgeschwindigkeit eines Eingabeobjekts 12, 12' unter diesen Schwellenwert, so wird die Fixierung wieder aufgehoben. Die Steuerung der virtuellen Tastatur 01 kann dabei über eine auch Eyeless Control genannte Blindsteuerung erfolgen. Dies bedeutet, dass eine Beherrschung des Eingabegerätes gegeben ist, ohne dass auf das Eingabegerät selber geschaut werden muss. Während der Blickwinkel des Benutzers auf den Bildschirm 02 gerichtet ist, ist es dem Benutzer durch das erfindungsgemäße Verfahren möglich, beispielsweise mit den Fingern die Auswahlobjekte 13, 13' zu kontrollieren, welche der Steuerung der virtuellen Tastatur 01 dienen.
Die Benutzung der virtuellen Tastatur 01 mit den Fingern 12 ähnelt dank des erfindungsgemäßen Verfahrens der Benutzung einer klassischen Tastatur, wie sie beispielsweise von Personalcomputern bekannt ist. Neuartig an der Bedienung der vir- tuellen Tastatur 01 mit Hilfe eines durch das erfindungsgemäße Verfahren beschriebenen dreidimensionalen ErkennungsSystems ist, dass die Bedienung der virtuellen Tastatur 01 dem Benutzer erstmals ein ähnliches Bedienerlebnis liefert wie bei einer klassischen Tastatur.
Durch die dreidimensionale Erkennung ist der Benutzer in der Lage, eine durch ein Objekt 10, 10' repräsentierte Taste auf der virtuellen Tastatur 01 mit einem Finger 12, 12' anzupeilen, ohne die Ebene 11 zu berühren. Das Objekt 10, 10' wird auf dem Bildschirm 02 hervorgehoben dargestellt, sobald es sich innerhalb eines Auswahlobjekts 13, 13' befindet. Während der Benutzer sich mit einem seiner Finger 12, 12' an die Ebene 11 annähert, fokussiert das angezeigte Auswahlobjekt 13, 13' das hervorgehobene Objekt 10, 10'. Der Benutzer kann die Position des Fingers 12, 12' korrigieren, um die durch das hervorgehobene Objekt 10, 10' repräsentierte Taste auf der virtuellen Tastatur 01 anzupeilen. Wichtig ist hervorzuheben, dass die Erfindung mit allen Eingabesystemen nutzbar ist, die eine Position eines Eingabeobjekts in einem dreidimensionalen Raum erkennen. So ist die Erfindung beispielsweise nutzbar mit einem Eingabegerät, wel- ches die Position eines oder mehrerer Eingabeobjekte im Raum mithilfe eines Arrays von Leuchtdioden bestimmt. Die Erfindung ist ebenso mit einem druckemfpindlichen Touchpad nutzbar, welches vorzugsweise zwei oder mehr Druckstufen erkennen kann. Die Erfindung ist ebenso nutzbar mit einem annäherungs- empfindlichen Feld, welches mit anderen Technologien arbeitet, als einem Array von Leuchtdioden. Die Erfindung ist ebenso nutzbar mit kamerabasierten Verfahren, welches eine dreidimensionale Erkennung einer Position eines oder mehrerer Eingabeobjekte ermöglicht. Zusammengefasst ist die Erfindung in Verbindung mit jedem Verfahren nutzbar, welches eine dreidimensionale Erkennung einer Position ermöglicht.
Die Erfindung ermöglicht es, mittels einer virtuellen Tastatur eine Eingabe von Kommandos und Zeichen mithilfe eines Systems zur dreidimensionalen Erkennung der Position eines Eingabeobjekts auszuführen.

Claims

Patentansprüche
1. Verfahren zur Ausführung einer Eingabe mittels einer auf einem Bildschirm (02) dargestellten, virtuellen Tastatur (01), bei der jede Taste durch ein auf dem Bildschirm (02) dargestelltes Objekt (10, 10') repräsentiert wird, dadurch gekennzeichnet, dass die räumliche Position mindestens eines Eingabeobjekts (12, 12') relativ zu einer Ebene (11) überwacht wird, die Position des Eingabeobjekts (12, 12') parallel zu der Ebene (11) einen Auswahlpunkt (13, 13') auf dem Bildschirm (02) repräsentiert, eine durch ein Objekt (10, 10') repräsentierte Taste der virtuellen Tastatur (01) auf dem Bildschirm (02) hervorgehoben dargestellt wird, wenn sich der Auswahlpunkt (13, 13') in der Bildschirmdarstellung innerhalb des Objekts (10, 10') befindet, eine Annäherung des Eingabeobjekts (12, 12') zu der Ebene (11) überwacht wird, sowie bei einer Annäherung des Eingabeobjekts (12, 12') bis unter eine vorgegebene Distanz zu der Ebene (11) und/oder bei einer Annäherung mit einer höheren als einer vorgegebenen Annäherungsgeschwindigkeit ein hervorgehobenes Objekt (10, 10') ausgewählt und eine der durch das dargestellte Objekt (10, 10') repräsentierten Taste zugeordnete Funktion (04, 05, 06, 07, 08) zur Eingabe angewendet wird.
2. Verfahren nach Anspruch 1, dadurch gekenzeichnet , dass bei einer Annäherung mit einer höheren als einer vorgegebenen Annäherungsgeschwindigkeit ein hervorgehobenes Objekt (10, 10') fixiert wird.
3. Verfahren nach Anspruch 2, dadurch gekenzeichnet , dass wenn die Annäherungsgeschwindigkeit während der Annäherung wieder unter die vorgegebene Annäherungsgeschwin- digkeit oder unter einen vorgegebenen, niedrigeren Wert, als die vorgegebene Annäherungsgeschwindigkeit fällt, die Fixierung wieder aufgehoben wird.
4. Verfahren nach Anspruch 1, 2 oder 3, dadurch gekenzeich- net, dass eine durch ein Objekt (10, 10') repräsentierte
Taste der virtuellen Tastatur (01) auf dem Bildschirm (02) hervorgehoben dargestellt wird, wenn sich der Auswahlpunkt (13, 13') dem Objekt (10, 10') nähert.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenzeichnet, dass eine hervorgehobene Darstellung einer durch ein Objekt (10, 10') repräsentierten Taste der virtuellen Tastatur (01) auf dem Bildschirm (02) wieder aufgehoben wird, wenn sich der Auswahlpunkt (13, 13') von dem Objekt (10, 10') entfernt,
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenzeichnet, dass ein Objekt (10, 10') hervorgehoben wird, indem es auf dem Bildschirm (02) vergrößert dargestellt wird.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenzeichnet, dass bei einer Berührung der Ebene (11) mit dem Eingabeobjekt (12, 12') ein hervorgehobenes Objekt (10, 10') ausgewählt und eine der zu dem Objekt
(10, 10') gehörenden Taste der virtuellen Tastatur zugeordnete Funktion (03, 04, 05, 06, 07, 08) zur Eingabe angewendet wird.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenzeichnet , dass die Eingabe in ein ebenfals auf dem Bildschirm (02) dargesteltes Eingabefeld (09) erfolgt.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenzeichnet, dass eine der durch das auf dem Bildschirm (02) dargestellte Objekt (10, 10') repräsen- tierten Taste zugeordnete Funktion ein Schriftzeichen
(03) und/oder einen Befehl (04, 05, 06, 07, 08) umfasst,
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenzeichnet, dass nur ein Teil der Schriftzei- chen zugeordneten Tasten der virtuellen Tastatur (01) repräsentierenden Objekte (10, 10') auf dem Bildschirm (02) dargestellt werden und bei Bedarf durch Auswahl eines hierfür vorgesehenen Objekts (04, 05, 10, 10') die Darstellung auf dem Bildschirm (02) zu Objekten (10) wechselt, welche einen anderen Teil der Schriftzeichen zugeordneten Tasten der virtuellen Tastatur (01) repräsentieren.
11. Verfahren nach einem der vorhergehenden Ansprüche, da- durch gekenzeichnet, dass die Ebene (11) durch ein druckempfindliches Touchpad gebildet wird.
12. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekenzeichnet, dass die Ebene (11) durch ein Leuchtdioden- Feld gebildet wird.
13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenzeichnet, dass zwei oder mehrere Eingabeob- jekte (12, 12') vorgesehen sind, welche jeweils durch einen Auswahlpunkt (13, 13') auf dem Bildschirm (02) repräsentiert werden.
14. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenzeichnet , dass das Eingabeobjekt (12, 12') mindestens ein Finger (12, 12') mindestens einer Hand eines Benutzers ist.
15. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenzeichnet, dass der Auswahlpunkt durch ein Auswahlobjekt (13, 13') auf dem Bildschirm (02) dargestellt wird.
16. Verfahren nach Anspruch 15, dadurch gekenzeichnet, dass, innerhalb des AuswahlObjekts (13, 13') eine einer durch ein aktuell überfahrenes Objekt (10, 10') repräsentierte Taste zugeordnete Funktion (03, 04, 05, 06, 07, 08) zur Hervorhebung der Taste angezeigt wird.
17. Verfahren nach Anspruch 15 oder 16, dadurch gekenzeichnet, dass das Auswahlobjekt (13, 13') um so größer auf dem Bildschirm (02) dargestellt wird, je weiter das Eingabeobjekt (12, 12') von der Ebene (11) entfernt ist.
PCT/DE2010/000073 2009-01-26 2010-01-26 Verfahren zur ausführung einer eingabe mittels einer auf einem bildschirm dargestellten, virtuellen tastatur WO2010083820A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/178,206 US20120005615A1 (en) 2009-01-26 2011-07-07 Method for executing an input by means of a virtual keyboard displayed on a screen

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102009006082.0 2009-01-26
DE200910006083 DE102009006083A1 (de) 2009-01-26 2009-01-26 Verfahren zur Ausführung einer Eingabe mittels einer auf einem Bildschirm dargestellten virtuellen Tastatur
DE102009006083.9 2009-01-26
DE102009006082A DE102009006082A1 (de) 2009-01-26 2009-01-26 Verfahren zur Steuerung eines auf einem Bildschirm dargestellten Auswahlobjekts

Publications (2)

Publication Number Publication Date
WO2010083820A1 true WO2010083820A1 (de) 2010-07-29
WO2010083820A4 WO2010083820A4 (de) 2010-10-14

Family

ID=42201010

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/DE2010/000073 WO2010083820A1 (de) 2009-01-26 2010-01-26 Verfahren zur ausführung einer eingabe mittels einer auf einem bildschirm dargestellten, virtuellen tastatur
PCT/DE2010/000074 WO2010083821A1 (de) 2009-01-26 2010-01-26 Verfahren zur steuerung eines auf einem bildschirm dargestellten auswahlobjekts

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/DE2010/000074 WO2010083821A1 (de) 2009-01-26 2010-01-26 Verfahren zur steuerung eines auf einem bildschirm dargestellten auswahlobjekts

Country Status (2)

Country Link
US (1) US20120005615A1 (de)
WO (2) WO2010083820A1 (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120105331A1 (en) * 2010-10-27 2012-05-03 Kyocera Corporation Portable electronic device
CN102681695A (zh) * 2012-04-25 2012-09-19 北京三星通信技术研究有限公司 光标控制方法及装置
EP2541383A1 (de) * 2011-06-29 2013-01-02 Sony Ericsson Mobile Communications AB Kommunikationsvorrichtung und -verfahren
EP2634680A1 (de) * 2012-02-29 2013-09-04 BlackBerry Limited Grafische Benutzerschnittstelleninteraktion auf eine berührungsempfindlichen Vorrichtung

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8856674B2 (en) * 2011-09-28 2014-10-07 Blackberry Limited Electronic device and method for character deletion
US20130257692A1 (en) * 2012-04-02 2013-10-03 Atheer, Inc. Method and apparatus for ego-centric 3d human computer interface
KR101527354B1 (ko) * 2014-05-20 2015-06-09 한국전자통신연구원 가상 키보드 상의 입력값을 생성하는 장치 및 그 방법
CN106537296B (zh) * 2015-03-26 2020-03-20 京瓷办公信息系统株式会社 显示输入装置及其控制方法和存储介质
WO2017055523A1 (en) * 2015-10-02 2017-04-06 Koninklijke Philips N.V. Apparatus for displaying data

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10310794A1 (de) * 2003-03-12 2004-09-23 Siemens Ag Bedieneinrichtung und Kommunikationsgerät
US20050141770A1 (en) * 2003-12-30 2005-06-30 Nokia Corporation Split on-screen keyboard
WO2006003586A2 (en) * 2004-06-29 2006-01-12 Koninklijke Philips Electronics, N.V. Zooming in 3-d touch interaction
JP2006103364A (ja) * 2004-09-30 2006-04-20 Mazda Motor Corp 車両用情報表示装置
GB2419994A (en) * 2004-11-08 2006-05-10 Honda Access Kk Remote-control switch
DE102007016408A1 (de) * 2007-03-26 2008-10-02 Ident Technology Ag Mobiles Kommunikationsgerät und Eingabeeinrichtung hierfür
US20080297487A1 (en) * 2007-01-03 2008-12-04 Apple Inc. Display integrated photodiode matrix

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1766502A2 (de) * 2004-06-29 2007-03-28 Koninklijke Philips Electronics N.V. Mehrschichtige anzeige einer graphischen benutzeroberfläche
GB0617400D0 (en) * 2006-09-06 2006-10-18 Sharan Santosh Computer display magnification for efficient data entry
US8564544B2 (en) * 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10310794A1 (de) * 2003-03-12 2004-09-23 Siemens Ag Bedieneinrichtung und Kommunikationsgerät
US20050141770A1 (en) * 2003-12-30 2005-06-30 Nokia Corporation Split on-screen keyboard
WO2006003586A2 (en) * 2004-06-29 2006-01-12 Koninklijke Philips Electronics, N.V. Zooming in 3-d touch interaction
JP2006103364A (ja) * 2004-09-30 2006-04-20 Mazda Motor Corp 車両用情報表示装置
GB2419994A (en) * 2004-11-08 2006-05-10 Honda Access Kk Remote-control switch
US20080297487A1 (en) * 2007-01-03 2008-12-04 Apple Inc. Display integrated photodiode matrix
DE102007016408A1 (de) * 2007-03-26 2008-10-02 Ident Technology Ag Mobiles Kommunikationsgerät und Eingabeeinrichtung hierfür

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120105331A1 (en) * 2010-10-27 2012-05-03 Kyocera Corporation Portable electronic device
JP2012094008A (ja) * 2010-10-27 2012-05-17 Kyocera Corp 携帯電子機器
EP2541383A1 (de) * 2011-06-29 2013-01-02 Sony Ericsson Mobile Communications AB Kommunikationsvorrichtung und -verfahren
US9223499B2 (en) 2011-06-29 2015-12-29 Sony Mobile Communications Ab Communication device having a user interaction arrangement
EP2634680A1 (de) * 2012-02-29 2013-09-04 BlackBerry Limited Grafische Benutzerschnittstelleninteraktion auf eine berührungsempfindlichen Vorrichtung
CN102681695A (zh) * 2012-04-25 2012-09-19 北京三星通信技术研究有限公司 光标控制方法及装置

Also Published As

Publication number Publication date
US20120005615A1 (en) 2012-01-05
WO2010083821A1 (de) 2010-07-29
WO2010083820A4 (de) 2010-10-14
WO2010083821A4 (de) 2010-10-14

Similar Documents

Publication Publication Date Title
WO2010083820A1 (de) Verfahren zur ausführung einer eingabe mittels einer auf einem bildschirm dargestellten, virtuellen tastatur
DE60022030T2 (de) Kommunikationssystem und -verfahren
DE602004013116T2 (de) Haptische tastengesteuerte Dateneingabe
EP3040816B1 (de) Verfahren und vorrichtung zur eingabe von daten mit zwei eingabearten und haptischer rückkopplung, insbesondere in einem kraftfahrzeug
EP2338106B1 (de) Multifunktionsanzeige- und bediensystem sowie verfahren zum steuern eines solchen systems mit optimierter grafischer bediendarstellung
DE102008063354B4 (de) Selektive Zurückweisung von Berührungskontakten in einem Kantenbereich einer Berührungsoberfläche
DE102008000001A1 (de) Integrierte Hardware- und Softwarebenutzerschnittstelle
EP3282352B1 (de) Verfahren und bedienvorrichtung zum bedienen einer einrichtung
DE102010036906A1 (de) Konfigurierbares Pie-Menü
DE102006017486A1 (de) Elektronische Vorrichtung und Verfahren zum Vereinfachen einer Texteingabe unter Verwendung einer Soft-Tastatur
WO2013037476A1 (de) Verfahren und vorrichtung zum anzeigen von informationen und zum bediene eines elektronischen geräts
WO2004027803A1 (de) Bedienelement für elektronische geräte zur betätigung von sensoren und ein verfahren zur auswahl von in einem elektronischen speicher enthaltenen funktionen und zur anzeige der ausgewählten funktion mittels eines cursors
WO2014056829A1 (de) Bedienelement für eine anzeigevorrichtung in einem kraftfahrzeug
DE102009059868A1 (de) Verfahren und Vorrichtung zum Bereitstellen einer Benutzerschnittstelle
DE102006055252B4 (de) Anordnung und Verfahren zur multimodalen Auswahl von Objekten in Telekommunikationsanwendungen
DE102009006083A1 (de) Verfahren zur Ausführung einer Eingabe mittels einer auf einem Bildschirm dargestellten virtuellen Tastatur
US5973622A (en) Keyboard with a two-dimensional actuator for generating direction signals
DE102008015273A1 (de) Eingeben von Informationen unter Verwendung einer Scroll-Taste
DE102011006733A1 (de) Bedienvorrichtung mit verbesserter taktiler Bedienbarkeit für eine tontechnische Anlage
WO2014108160A2 (de) Bedienschnittstelle zum berührungslosen auswählen einer gerätefunktion
DE102016014507A1 (de) Bedienanordnung für ein Kraftfahrzeug und Verfahren zur Auswahl eines Listenelements aus einer auf einem Display angezeigten Liste
DE102015206673B4 (de) Verfahren und System zum Erfassen von Benutzereingaben für eine mobile Einheit mittels einer Eingabeeinrichtung eines Fahrzeugs
WO2013029777A1 (de) Verfahren und vorrichtung zum bereitstellen einer nutzerschnittstelle
DE102006061743A1 (de) Erweiterungssystem für Touchpad eines elektronischen Gerätes
DE10121607A1 (de) Einrichtung zur Steuerung eines Cursors bzw. Mauszeigers über eine Eingabetastatur mit integrierter Maussteuerung und Verfahren zur Betätigung der Zeigersteuerung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10711989

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WD Withdrawal of designations after international publication

Designated state(s): DE

122 Ep: pct application non-entry in european phase

Ref document number: 10711989

Country of ref document: EP

Kind code of ref document: A1