WO2007104635A2 - Verfahren zur auswahl von funktionen mithilfe einer benutzerschnittstelle und benutzerschnittstelle - Google Patents

Verfahren zur auswahl von funktionen mithilfe einer benutzerschnittstelle und benutzerschnittstelle Download PDF

Info

Publication number
WO2007104635A2
WO2007104635A2 PCT/EP2007/051729 EP2007051729W WO2007104635A2 WO 2007104635 A2 WO2007104635 A2 WO 2007104635A2 EP 2007051729 W EP2007051729 W EP 2007051729W WO 2007104635 A2 WO2007104635 A2 WO 2007104635A2
Authority
WO
WIPO (PCT)
Prior art keywords
input
output mode
user interface
user
output
Prior art date
Application number
PCT/EP2007/051729
Other languages
English (en)
French (fr)
Other versions
WO2007104635A3 (de
Inventor
Thomas Hempel
Roman Vilimek
Original Assignee
Continental Automotive Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive Gmbh filed Critical Continental Automotive Gmbh
Priority to US12/282,362 priority Critical patent/US20090077493A1/en
Priority to EP07726487A priority patent/EP1996996A2/de
Publication of WO2007104635A2 publication Critical patent/WO2007104635A2/de
Publication of WO2007104635A3 publication Critical patent/WO2007104635A3/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • B60K35/10—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • B60K2360/143—
    • B60K2360/21—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Definitions

  • the invention relates to a method for selecting functions using a user interface.
  • Cut filters multimodal Benut ⁇ allow inputs to a technical system using different input devices or Eingabemodali- activities.
  • the technical system may be, for example, the on-board computer of a vehicle, a personal computer, an aircraft or a production facility.
  • mobile devices such as PDAs, mobile phones or gaming consoles multimodal user interface.
  • input modalities for example, manual input, voice input and input can be distinguished by gestures, head or eye movements. Keyboards, switches, touch screens, mice, graphics tablets, microphones for voice input, eye trackers, etc. are all suitable as input devices in practice. ⁇ ..
  • An example of a multimodal user interface is an interface that allows that both voice input and ma ⁇ Nuelle input.
  • the input of the user thus takes place by means of two different input modalities, and with it also different input devices.
  • the user interface is ⁇ turn information to the user. This may in turn have different Ausgabemoda ⁇ ltechniken done (visual output, audio output, haptic feedback, ).
  • Ausgabemoda ⁇ ltechniken done visual output, audio output, haptic feedback, .
  • the user selects functions of the respective technical system, which may also be executed the same.
  • the output gives the user feedback on his choices and the choices made by him.
  • a textual Göfrach- screen by representing the selectable functions with pictograms. This is going as before ⁇ known as graphical user interfaces of personal computers.
  • pictograms Due to the pictograms, the user does not know which terms he can use as a voice command since several terms or synonyms are possible.
  • today's speech recognition systems require as small a number of different terms as possible for a high recognition rate of speech input. For this reason, today's user interfaces providing voice input for selecting functions are designed according to the "say-you-you-see" principle. The selection of valid voice commands is displayed textually on a screen. This quickly leads to a textual overload, which is not desirable for manual input.
  • This object is functions by the method for selection of radio using a user interface and the user interface ⁇ and the vehicle cockpit and the Computerpro ⁇ program according to the independent claims. Further developments of the inventions are defined in the dependent claims.
  • a user selects using the Benut ⁇ cut imagine functions of a technical system. Infor ⁇ mation representing the functions and / or confirm their appointment.
  • the information is output in a first output mode in a first form optimized for a first input modality or a first input device. Furthermore, the information is displayed in a second mode output in a second occurrence, the op for a second input method or a second input device ⁇ is timiert.
  • the method offers the advantage that the first and the second output mode can be optimized according to the respective requirements of the input modalities or input devices. Thus, at any time for each input modality or for each input device maximum support of the user when performing the operation can be guaranteed.
  • the user interface changes from the first output mode to the second output mode as soon as it recognizes that the user wants to change from the first input modality to the second input modality or from the first input device to the second input device or has already done so.
  • the user interface recognizes the change because the user has pressed a "push-to-talk" key or spoken a keyword.
  • This development allows the user to easily switch from manual input to voice input.
  • the first input modality allows manual input and the second input modality allows input by eye movements.
  • the information is output in the first output mode as pictograms and in the second output mode as text on a screen.
  • the screen can be kept as clear as possible and as detailed as necessary at any time.
  • the information is optimized by the respective characteristics for the respective input modality.
  • the pictograms provide a clear and easy-to-read visual representation.
  • the pictograms are replaced by texts representing the keywords required by the speech input system.
  • the screen only has a high text load if the verbalization of the functions is actually needed. Input errors by the speech recognizer not known, synonymous to the language commands terms can be significantly minimized.
  • the icons that are displayed in the first output mode, reduced, or in the second Ausga ⁇ configuration mode is next to or below the text shown changed.
  • the information is output non-verbally in the first output mode and verbally audibly to the user in the second output mode.
  • the information is output as pictograms.
  • the distances or the dimensions of the pictograms here are greater in the second output mode than in the first output mode.
  • the user interface has means to the procedural ⁇ ren execute.
  • the vehicle cockpit has means to perform the procedure.
  • the computer program executes the procedure as soon as it is executed in a processor.
  • FIG. 1 shows a schematic representation of the input and output
  • FIG. 2 shows a screen output in a first output mode
  • FIG. 3 shows a screen output in a second output mode .
  • Figure 1 shows a schematic representation of the input and output ⁇ output according to a first embodiment.
  • a user 2 interacts with a user interface 1.
  • the Interakti ⁇ on via a first input device 11 and a second input device 12.
  • the first input device 11 may, for example, a mouse and the second input device 12 to a microphone for voice input used, act. Accordingly, the first input device 11 falls un ⁇ ter a first input modality 21, here the manual entranc ⁇ be, and the second input device 12 at a second input ⁇ modality 22, in this voice input.
  • the first input unit 11 and the second input device 12 may also belong to the same input modality and nevertheless have different characteristics so that a dynamic change of the output mode ben as described below is beneficial.
  • the user selects 2 functions of a technical system to which the user interface ⁇ 1 is connected.
  • the user interface 1 outputs information to these, which transmits the radio represent, present for selection or even confirm their choice.
  • the information may be arranged in any manner, such as windows, menus, buttons, icons and pictograms in the context of a graphical output via a screen or a projection display; they can also be output acoustically, as non-verbal signals or in the form of verbal speech output.
  • the information can also be transferred haptically to the body of the user. For example, as shown in Fig. 1, in a first output mode 41, pictograms are output as a first expression 31 of the information, whereas in a second output mode 42, a speech is output as a second expression 32 of the information.
  • FIG. 2 and FIG. 3 each show a first output mode and a second output mode according to a second exemplary embodiment.
  • a screen 3 is shown, on which the information output is shown.
  • the first output mode according to FIG. 2 is optimized for manual input.
  • the manual entry can be done by so-called "soft keys", turn-push button, switch, keyboard, mouse, graphics tablet o. ⁇ . be enabled.
  • the information in the first output mode shown in a first expression as shown in the figure ER- clearly by icons 51, 52, 53, 54, 55.
  • the Pikto ⁇ programs 51, 52, 53, 54, 55 allow the shortcut the manual input by the respective symbol an intuitive and easy-to-find representation of the respective function for the user.
  • the icon 51 contains the known symbol for playing a multimedia file.
  • the Pik ⁇ togramme 52 and 53 are known from the same context.
  • titles of multimedia contents are represented by texts 61, 62, 63, 64, 65.
  • a scroll bar 80 makes it possible to scroll down in the indicated list.
  • the control of the scroll bar 80 is effected by selecting the icons 54 and 55.
  • the aim of the first output mode shown in FIG. 2 is therefore to prevent a textual overload of the screen 3. avoid and allow the user an intuitive navigation through the functions of the respective technical system.
  • FIG. 4 shows a second output mode in the second embodiment.
  • the second output mode is for
  • the user interface changes from the first to the second output mode, for example, when the user wants to switch from manual input to voice input or has already done so.
  • the user interface detects this example by a spoken keyword, or pressing a "push-to-talk" button, or operating ei ⁇ ner other suitable means (eg. As by means of gestures, LOOK-, movement control).
  • the icons 51, 52, 53, 54, 55 are either completely blanked out, reduced or grayed out or moved into the background in some other way.
  • the second output mode is the in ⁇ formations in a second occurrence of which explicitly verbalized the voice commands and displays which may be known ER within the voice input through the user interface.
  • these are the voice commands 71, 72, 73, 74, 75 associated with the known functions of the respective icons 51, 52 53, 54, 55.
  • the texts 61, 62, 63, 64, 65 are in figure 3 fatty Darge ⁇ represents, whereby the user interface to the user linstrument signaled that the respective multimedia content on the per ⁇ ips text can be selected as a voice command.
  • texts which represent voice commands may also be changed by changing the color or font size or by underlining u. ⁇ . be highlighted.
  • the Benut ⁇ different cut point between manual input and an input by eye movements which are recorded by an eye-tracker. If you enter with eye movements, the icons are enlarged or displayed at longer intervals, as the user can not interact with the user interface as accurately as with a manual input device due to the lower resolution of the eye tracker.
  • the information is output not visually, but acoustically. Again, a distinction can be made between manual input and voice input. In case of manual input such as a nonverbal acoustic signal in the form of a click is sufficient to confirm a user's selection, whereas in voice input ⁇ be a verbal voice output is desirable to confirm the user's selection.
  • the user interface can visually output information in the first output mode, but acoustically or haptically in the second output mode. In this way, by suitable choice of the output modality of the respective input modality or the respective input device can be taken into account.

Abstract

Je nach aktuell verwendeter Eingabemodalität oder aktuell benutztem Eingabegerät wird die Ausgabe einer multimodalen Benutzerschnittstelle optimiert. So können etwa bei manueller Eingabe Piktogramme auf einem Bildschirm dargestellt werden, die bei einem Wechsel zur Spracheingabe durch Texte ersetzt werden, welche Sprachbefehle visualisieren. Die Ausgabe wird dadurch zu jedem Zeitpunkt so knapp wie möglich und detailliert wie nötig gehalten. Dies erhöht den Komfort für den Benutzer. Die multimodale Benutzerschnittstelle eignet sich für Fahrzeug-Cockpits, Personalcomputer und mobile Endgeräte aller Art.

Description

Beschreibung
Verfahren zur Auswahl von Funktionen mithilfe einer Benutzerschnittstelle und Benutzerschnittstelle
Die Erfindung betrifft ein Verfahren zur Auswahl von Funktionen mithilfe einer Benutzerschnittstelle. Multimodale Benut¬ zerschnittstellen erlauben Eingaben in ein technisches System mithilfe unterschiedlicher Eingabegeräte bzw. Eingabemodali- täten. Bei dem technischen System kann es sich etwa um den Bordcomputer eines Fahrzeugs, einen Personalcomputer, ein Flugzeug oder eine Produktionsanlage handeln. Weiterhin wei¬ sen auch mobile Endgeräte wie PDAs, Handys oder Spiele- Konsolen multimodale Benutzerschnittstellen auf. Unter den Eingabemodalitäten lassen sich etwa manuelle Eingabe, Spracheingabe und Eingabe durch Gesten, Kopf- oder Augenbewegungen unterscheiden. Als Eingabegeräte eignen sich in der Praxis etwa Tastaturen, Schalter, berührungsempfindliche Bildschirme (Touchscreen) , Mäuse, Grafiktabletts, Mikrofone zur Sprach- eingäbe, Eye-Tracker u. Ä..
Ein Beispiel für eine multimodale Benutzerschnittstelle ist eine Schnittstelle, welche sowohl Spracheingabe als auch ma¬ nuelle Eingabe erlaubt. Die Eingabe des Benutzers erfolgt so- mit durch zwei unterschiedliche Eingabemodalitäten, und damit verbunden auch unterschiedliche Eingabegeräte. Die Benutzer¬ schnittstelle gibt ihrerseits Informationen an den Benutzer aus. Dies kann seinerseits über unterschiedliche Ausgabemoda¬ litäten (visuelle Ausgabe, akustische Ausgabe, haptisches Feedback, ...) erfolgen. Über seine Eingaben wählt der Benutzer Funktionen des jeweiligen technischen Systems aus, die gegebenenfalls auch gleich ausgeführt werden. Die Ausgabe gibt dem Benutzer Rückmeldungen zu seinen Auswahlmöglichkeiten bzw. zu der von ihm getroffenen Auswahl. Bei der Konzeption von Benutzerschnittstellen müssen die Anforderungen der Benutzer und der verwendeten Technologien berücksichtigt werden. Beispielsweise ist es für manuelle Eingabegeräte aus Sicht des Benutzers wünschenswert, eine textuelle Überfrach- tung eines Bildschirms zu vermeiden, indem die auswählbaren Funktionen durch Piktogramme repräsentiert werden. Diese Vor¬ gehensweise ist etwa von graphischen Bedienoberflächen von Personalcomputern bekannt. Sie führt jedoch im Rahmen einer Spracheingabe bei den Benutzern interindividuell zu starken Streuungen im verwendeten Vokabular: Aufgrund der Piktogramme weiß der Benutzer nicht, welche Begriffe er als Sprachbefehl verwenden kann, da mehrere Begriffe bzw. Synonyme möglich sind. Heutige Spracherkennungssysteme benötigen für eine hohe Erkennungsrate von Spracheingaben allerdings eine möglichst kleine Anzahl unterschiedlicher Begriffe. Aus diesem Grund werden heutige Benutzerschnittstellen, welche Spracheingabe zur Auswahl von Funktionen bereitstellen, nach dem "Say-what- you-see"-Prinzip gestaltet. Die Auswahl gültiger Sprachbefeh- Ie wird textuell auf einem Bildschirm dargestellt. Dies führt schnell zu einer textuellen Überfrachtung, die bei manueller Eingabe nicht wünschenswert ist.
Es stellt sich somit die Aufgabe, ein Verfahren zur Auswahl von Funktionen mithilfe einer Benutzerschnittstelle und eine Benutzerschnittstelle anzugeben, welche die Interaktion eines Benutzers mit der Benutzerschnittstelle erleichtert.
Diese Aufgabe wird durch das Verfahren zur Auswahl von Funk- tionen mithilfe einer Benutzerschnittstelle und die Benutzer¬ schnittstelle sowie das Fahrzeug-Cockpit und das Computerpro¬ gramm gemäß den unabhängigen Ansprüchen gelöst. Weiterbildungen der Erfindungen sind in den abhängigen Ansprüchen definiert .
Bei dem Verfahren zur Auswahl von Funktionen mithilfe einer Benutzerschnittstelle wählt ein Benutzer mithilfe der Benut¬ zerschnittstelle Funktionen eines technischen Systems. Infor¬ mationen repräsentieren die Funktionen und/oder quittieren deren Wahl. Die Informationen werden in einem ersten Ausgabemodus in einer ersten Ausprägung ausgegeben, die für eine erste Eingabemodalität oder ein erstes Eingabegerät optimiert ist. Weiterhin werden die Informationen in einem zweiten Aus- gabemodus in einer zweiten Ausprägung ausgegeben, die für eine zweite Eingabemodalität oder ein zweites Eingabegerät op¬ timiert ist.
Das Verfahren bietet den Vorteil, dass der erste und der zweite Ausgabemodus nach den jeweiligen Anforderungen der Eingabemodalitäten oder Eingabegeräte optimiert werden kann. So kann zu jedem Zeitpunkt für jede Eingabemodalität bzw. für jedes Eingabegerät eine maximale Unterstützung des Benutzers bei der Durchführung der Bedienung gewährleistet werden.
Gemäß einer Weiterbildung wechselt die Benutzerschnittstelle vom ersten Ausgabemodus in den zweiten Ausgabemodus, sobald sie erkennt, dass der Benutzer von der ersten Eingabemodali- tat zur zweiten Eingabemodalität oder vom ersten Eingabegerät zum zweiten Eingabegerät wechseln möchte oder dies bereits getan hat.
Diese Weiterbildung ermöglicht eine dynamische Wahl des je- weils optimalen Ausgabemodus.
In einer besonderen Weiterbildung erkennt die Benutzerschnittstelle den Wechsel daran, dass der Benutzer eine "Push-To-Talk"-Taste gedrückt oder ein Schlüsselwort gespro- chen hat.
Diese Weiterbildung ermöglicht dem Benutzer, auf einfache Weise von manueller Eingabe zu Spracheingabe zu wechseln.
Gemäß einer Ausführungsform erlaubt die erste Eingabemodali¬ tät manuelle Eingabe und die zweite Eingabemodalität Sprach¬ eingabe .
In einer anderen Ausführungsform erlaubt die erste Eingabemo- dalität manuelle Eingabe und die zweite Eingabemodalität eine Eingabe durch Augenbewegungen. Gemäß einer Weiterbildung werden die Informationen im ersten Ausgabemodus als Piktogramme und im zweiten Ausgabemodus als Text auf einem Bildschirm ausgegeben.
Diese Weiterbildung bietet den Vorteil, dass der Bildschirm zu jedem Zeitpunkt so übersichtlich wie möglich und so detailliert wie nötig gehalten werden kann. Die Informationen werden durch die jeweiligen Ausprägungen für die jeweilige Eingabemodalität optimiert. Während der manuellen Eingabe er- möglichen die Piktogramme eine übersichtliche und schnell zu erfassende visuelle Darstellung. Während der Spracheingabe hingegen werden die Piktogramme durch Texte ersetzt, welche die vom Spracheingabesystem benötigten Schlüsselwörter darstellen. Als Folge weist der Bildschirm nur dann eine hohe Textlast auf, wenn die Verbalisierung der Funktionen auch tatsächlich benötigt wird. Eingabefehler durch dem Spracherkenner nicht bekannte, zu den Sprachbefehlen synonyme Begriffe, können so deutlich minimiert werden.
In einer besonderen Weiterbildung werden die Piktogramme, die im ersten Ausgabemodus dargestellt werden, im zweiten Ausga¬ bemodus neben oder unter dem Text verkleinert oder verändert dargestellt .
Dies bietet den Vorteil, dass die Piktogramme auch während der Spracheingabe noch als Ankerpunkte für die visuelle Suche durch den Benutzer dienen können.
Gemäß einer Ausführungsform werden die Informationen im ers- ten Ausgabemodus nonverbal und im zweiten Ausgabemodus verbal akustisch an den Benutzer ausgegeben.
Dies bedeutet, dass eine manuelle Anwahl einer Funktion durch den Benutzer etwa durch einen Klick, also ein nonverbales a- kustisches Signal, bestätigt werden kann. Der Klick bietet ausreichend Information, da der Benutzer während der manuel¬ len Eingabe in der Regel ohnehin eine visuelle Rückmeldung erhält, welche Funktion er gerade anwählt. Während der Spracheingabe wird die Anwahl einer Funktion durch den Benutzer hingegen durch eine verbale akustische Ausgabe quittiert. Dies ist etwa dann von Vorteil, wenn der Fahrer eines Fahrzeugs eine Funktion des Bordcomputers durch ein Sprachbefehl aktiviert und dabei seinen Blick auf die Fahrbahn gerichtet hält. Durch die verbale akustische Ausgabe bekommt er eine inhaltliche Rückmeldung über die gewählte Funktion. In beiden Eingabemodalitäten wird somit gewährleis- tet, dass die ausgegebene Information so knapp wie möglich und gleichzeitig so präzise wie nötig gehalten wird.
In einer besonderen Weiterbildung werden die Informationen als Piktogramme ausgegeben. Die Abstände oder die Abmessungen der Piktogramme sind hierbei im zweiten Ausgabemodus größer als im ersten Ausgabemodus.
Die Weiterbildung trägt dem Umstand Rechnung, dass bei manu¬ eller Eingabe etwa mit einer Maus oder einem Grafiktablett wesentlich kleinere Piktogramme, also Icons, Buttons etc. auch in geringem Abstand untereinander durch den Benutzer zielsicher angewählt werden können. Bei Verwendung von Eye- Tracking hingegen ist eine vergleichbar genaue Eingabe des Benutzers nicht möglich, weshalb die Abstände bzw. die Abmes- sungen der Piktogramme entsprechend größer gewählt werden müssen. Dabei kann berücksichtigt werden, dass die Auflösung des Eye-Trackers zum Rande des Bildschirms hin abnimmt, somit der Abstand zwischen den Piktogrammen zum Rande des Bildschirms hin zunehmen muss.
Die Benutzerschnittstelle verfügt über Mittel, um das Verfah¬ ren auszuführen. Das Fahrzeug-Cockpit verfügt über Mittel, um das Verfahren auszuführen. Das Computerprogramm führt das Verfahren aus, sobald es in einem Prozessor abgearbeitet wird. Im Folgenden wird die Erfindung anhand von Ausführungsbei¬ spielen näher erläutert, die in den Figuren schematisch dargestellt sind. Im Einzelnen zeigt:
Figur 1: eine schematische Darstellung der Ein- und Ausgabe,
Figur 2: eine Bildschirmausgabe in einem ersten Ausgabemo¬ dus,
Figur 3: eine Bildschirmausgabe in einem zweiten Ausgabemo¬ dus .
Figur 1 zeigt eine schematische Darstellung der Ein- und Aus¬ gabe gemäß einem ersten Ausführungsbeispiel. Ein Benutzer 2 interagiert mit einer Benutzerschnittstelle 1. Die Interakti¬ on erfolgt über ein erstes Eingabegerät 11 und ein zweites Eingabegerät 12. Bei dem ersten Eingabegerät 11 kann es sich beispielsweise um eine Maus und bei dem zweiten Eingabegerät 12 um ein Mikrofon, welches zur Spracheingabe verwendet wird, handeln. Dementsprechend fällt das erste Eingabegerät 11 un¬ ter eine erste Eingabemodalität 21, hier die manuelle Einga¬ be, und das zweite Eingabegerät 12 unter eine zweite Eingabe¬ modalität 22, hier die Spracheingabe. Wie bereits in der Ein¬ leitung angesprochen, sind alternativ oder ergänzend beliebi- ge andere Eingabegeräte und Eingabemodalitäten möglich. Ins¬ besondere können das erste Eingabegerät 11 und das zweite Eingabegerät 12 auch derselben Eingabemodalität angehören und dennoch so unterschiedliche Charakteristika aufweisen, dass ein dynamischer Wechsel des Ausgabemodus wie unten beschrie- ben vorteilhaft ist.
Mithilfe seiner Eingaben wählt der Benutzer 2 Funktionen eines technischen Systems aus, an welche die Benutzerschnitt¬ stelle 1 angeschlossen ist. Wie eingangs erwähnt, sind hier beliebige technische Systeme denkbar, vom Fahrzeug-Computer bis zur Multimedia-Konsole. Um die Auswahl der Funktionen durch den Benutzer 2 zu unterstützen, gibt die Benutzerschnittstelle 1 Informationen an diesen aus, welche die Funk- tionen repräsentieren, zur Auswahl präsentieren oder auch ihre Wahl quittieren können. Die Informationen können in beliebiger Art gestaltet sein, etwa als Fenster, Menüs, Buttons, Icons und Piktogramme im Kontext einer grafischen Ausgabe ü- ber einen Bildschirm oder ein Projektionsdisplay; sie können auch akustisch ausgegeben werden, als nonverbale Signale oder in Form von verbaler Sprachausgabe. Drittens können die Informationen auch haptisch auf den Körper des Benutzers übertragen werden. Beispielsweise werden, wie in Figur 1 gezeigt, in einem ersten Ausgabemodus 41 als eine erste Ausprägung 31 der Informationen Piktogramme ausgegeben, wogegen in einem zweiten Ausgabemodus 42 als eine zweite Ausprägung 32 der Informationen Sprache ausgegeben wird.
Figur 2 und Figur 3 zeigen jeweils einen ersten Ausgabemodus und einen zweiten Ausgabemodus gemäß einem zweiten Ausführungsbeispiel. Es ist jeweils ein Bildschirm 3 dargestellt, auf welchem die ausgegebenen Informationen dargestellt sind. Der erste Ausgabemodus gemäß Figur 2 ist hierbei für manuelle Eingabe optimiert. Die manuelle Eingabe kann hierbei etwa durch so genannte "Soft Keys", Dreh- Drücksteller, Schalter, Tastatur, Maus, Grafiktablett o. Ä. ermöglicht werden. Gemäß Figur 2 werden im ersten Ausgabemodus die Informationen in einer ersten Ausprägung dargestellt, wie aus der Figur er- sichtlich durch Piktogramme 51, 52, 53, 54, 55. Die Pikto¬ gramme 51, 52, 53, 54, 55 erlauben im Kontext der manuellen Eingabe durch das jeweilige Symbol eine intuitive und leicht aufzufindende Repräsentation der jeweiligen Funktion für den Benutzer. Beispielsweise enthält das Piktogramm 51 das be- kannte Symbol zum Abspielen einer Multimedia-Datei. Die Pik¬ togramme 52 und 53 sind aus dem gleichen Kontext bekannt. Weiterhin sind Titel von Multimedia-Inhalten durch Texte 61, 62, 63, 64, 65 dargestellt. Ein Rollbalken 80 ermöglicht es, in der angedeuteten Liste nach unten zu spulen. Die Steuerung des Rollbalkens 80 erfolgt durch Anwahl der Piktogramme 54 und 55. Ziel des in Figur 2 gezeigten ersten Ausgabemodus ist es somit, eine textuelle Überladung des Bildschirms 3 zu ver- meiden und dem Benutzer eine intuitive Navigation durch die Funktionen des jeweiligen technischen Systems zu ermöglichen.
Figur 4 zeigt einen zweiten Ausgabemodus im zweiten Ausfüh- rungsbeispiel . Der zweite Ausgabemodus ist hierbei für
Spracheingabe optimiert. Die Benutzerschnittstelle wechselt vom ersten in den zweiten Ausgabemodus etwa dann, wenn der Benutzer von manueller Eingabe zu Spracheingabe wechseln möchte oder dies bereits getan hat. Die Benutzerschnittstelle erkennt dies etwa durch ein gesprochenes Schlüsselwort oder das Drücken einer "Push-To-Talk"-Taste, oder das Bedienen ei¬ ner anderen geeigneten Einrichtung (z. B. mittels Gesten-, Blick-, Bewegungssteuerung) . Im zweiten Ausgabemodus werden die Piktogramme 51, 52, 53, 54, 55 entweder gänzlich ausge- blendet, verkleinert oder ausgegraut oder auf andere Art in den Hintergrund gerückt. Der zweite Ausgabemodus gibt die In¬ formationen in einer zweiten Ausprägung aus, welche die Sprachbefehle explizit verbalisiert und darstellt, welche im Rahmen der Spracheingabe durch die Benutzerschnittstelle er- kannt werden können. Im Einzelnen sind dies die Sprachbefehle 71, 72, 73, 74, 75, welche den bekannten Funktionen der jeweiligen Piktogramme 51, 52 53, 54, 55 zugeordnet sind. Auch die Texte 61, 62, 63, 64, 65 sind in Figur 3 fett darge¬ stellt, wodurch die Benutzerschnittstelle dem Benutzer signa- lisiert, dass die jeweiligen Multimedia-Inhalte über den je¬ weiligen Text als Sprachbefehl ausgewählt werden können. Alternativ können Texte, welche Sprachbefehle repräsentieren, auch durch Änderung der Farbe oder Schriftgröße oder durch Unterstreichung u. Ä. hervorgehoben werden.
In einem dritten Ausführungsbeispiel unterscheidet die Benut¬ zerschnittstelle zwischen manueller Eingabe und einer Eingabe durch Augenbewegungen, welche durch einen Eye-Tracker registriert werden. Bei Eingabe durch Augenbewegungen werden Pikto- gramme vergrößert oder auch in größeren Abständen dargestellt, da der Benutzer aufgrund der geringeren Auflösung des Eye-Trackers nicht so exakt mit der Benutzerschnittstelle in- teragieren kann wie mit einem manuellen Eingabegerät. In einem vierten Ausführungsbeispiel werden die Informationen nicht visuell, sondern akustisch ausgegeben. Auch hier kann wiederum zwischen manueller Eingabe und Spracheingabe unter- schieden werden. Bei manueller Eingabe genügt etwa ein nonverbales akustisches Signal in Form eines Klicks, um eine Auswahl des Benutzers zu bestätigen, wogegen bei Spracheinga¬ be eine verbale akustische Sprachausgabe wünschenswert ist, um die Auswahl des Benutzers zu bestätigen. Dies kann etwa darin begründet liegen, dass der Benutzer die Spracheingabe in einem Fahrzeug vornimmt und seinen Blick auf die Straße gerichtet halten möchte. Darum benötigt er eine inhaltliche Rückmeldung, welcher Sprachbefehl erkannt wurde. Im Fall der manuellen Eingabe kann hingegen davon ausgegangen werden, dass der Benutzer bereits visuell wahrgenommen hat, welche Funktion er ausgewählt hat, so dass als akustische Ausgabe ein Klick genügt.
Weiterhin ist es möglich, dass die Benutzerschnittstelle im ersten Ausgabemodus visuell Informationen ausgibt, im zweiten Ausgabemodus jedoch akustisch oder haptisch. Auf diese Art kann durch geeignete Wahl der Ausgabemodalität der jeweiligen Eingabemodalität oder dem jeweiligen Eingabegerät Rechnung getragen werden.

Claims

Patentansprüche
1. Verfahren zur Auswahl von Funktionen mithilfe einer Benutzerschnittstelle (1), - bei dem ein Benutzer (2) mithilfe der Benutzerschnittstelle (1) Funktionen eines technischen Systems wählt,
- bei dem Informationen die Funktionen repräsentieren und/oder ihre Wahl durch den Benutzer (2) quittieren,
- bei dem die Informationen in einem ersten Ausgabemodus (41) in einer ersten Ausprägung (31) ausgegeben werden, die für eine erste Eingabemodalität (21) oder ein erstes Eingabege¬ rät (11) optimiert ist,
- bei dem die Informationen in einem zweiten Ausgabemodus
(42) in einer zweiten Ausprägung (32) ausgegeben werden, die für eine zweite Eingabemodalität (22) oder ein zweites Eingabegerät (12) optimiert ist.
2. Verfahren nach Anspruch 1,
- bei dem die Benutzerschnittstelle (1) vom ersten Ausgabemo- dus (41) in den zweiten Ausgabemodus (42) wechselt, sobald sie erkennt, dass der Benutzer (2) von der ersten Eingabemodalität (21) zur zweiten Eingabemodalität (22) oder vom ersten Eingabegerät (11) zum zweiten Eingabegerät (12) wechseln möchte oder dies bereits getan hat.
3. Verfahren nach Anspruch 2,
- bei dem die Benutzerschnittstelle (1) den Wechsel daran er¬ kennt, dass der Benutzer (2) eine "Push-To-Talk"-Taste ge¬ drückt oder ein Schlüsselwort gesprochen hat.
4. Verfahren nach Anspruch 1,
- bei dem die erste Eingabemodalität (21) manuelle Eingabe und die zweite Eingabemodalität (22) Spracheingabe erlaubt.
5. Verfahren nach Anspruch 1,
- bei dem die erste Eingabemodalität (21) manuelle Eingabe und die zweite Eingabemodalität (22) eine Eingabe mit Hilfe von Augenbewegungen erlaubt.
6. Verfahren nach Anspruch 4,
- bei dem die Informationen im ersten Ausgabemodus (41) als Piktogramme und im zweiten Ausgabemodus (42) als Text auf einem Bildschirm (3) ausgegeben werden.
7. Verfahren nach Anspruch 6, bei dem die im ersten Ausgabemodus (41) dargestellten Piktogramme im zweiten Ausgabemodus (42) neben oder unter dem Text verkleinert oder verändert dargestellt werden.
8. Verfahren nach Anspruch 4, bei dem die Informationen im ersten Ausgabemodus (41) nonverbal und im zweiten Ausgabemodus (42) verbal akustisch an den Benutzer (2) ausgegeben werden.
9. Verfahren nach Anspruch 5,
- bei dem die Informationen als Piktogramme ausgegeben werden, - bei dem die Abstände zwischen den Piktogrammen oder deren
Abmessungen im zweiten Ausgabemodus (42) größer sind als im ersten Ausgabemodus (41).
10. Benutzerschnittstelle (1) mit Mitteln, um ein Verfahren nach einem der vorangegangenen Ansprüche auszuführen.
11. Fahrzeug-Cockpit mit Mitteln, um das Verfahren nach einem der Ansprüche 1 bis 9 auszuführen.
12. Computerprogramm, welches das Verfahren nach einem der
Ansprüche 1 bis 9 ausführt, sobald es in einem Prozessor ab¬ gearbeitet wird.
PCT/EP2007/051729 2006-03-10 2007-02-22 Verfahren zur auswahl von funktionen mithilfe einer benutzerschnittstelle und benutzerschnittstelle WO2007104635A2 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/282,362 US20090077493A1 (en) 2006-03-10 2007-02-22 Method for the Selection of Functions with the Aid of a User Interface, and User Interface
EP07726487A EP1996996A2 (de) 2006-03-10 2007-02-22 Verfahren zur auswahl von funktionen mithilfe einer benutzerschnittstelle und benutzerschnittstelle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102006011288.1 2006-03-10
DE102006011288A DE102006011288A1 (de) 2006-03-10 2006-03-10 Verfahren zur Auswahl von Funktionen mithilfe einer Benutzerschnittstelle und Benutzerschnittstelle

Publications (2)

Publication Number Publication Date
WO2007104635A2 true WO2007104635A2 (de) 2007-09-20
WO2007104635A3 WO2007104635A3 (de) 2009-02-19

Family

ID=38066709

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2007/051729 WO2007104635A2 (de) 2006-03-10 2007-02-22 Verfahren zur auswahl von funktionen mithilfe einer benutzerschnittstelle und benutzerschnittstelle

Country Status (5)

Country Link
US (1) US20090077493A1 (de)
EP (1) EP1996996A2 (de)
CN (1) CN101484866A (de)
DE (1) DE102006011288A1 (de)
WO (1) WO2007104635A2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102654818A (zh) * 2011-03-03 2012-09-05 汉王科技股份有限公司 一种触摸屏电子设备的键盘显示方法及装置

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9104294B2 (en) 2005-10-27 2015-08-11 Apple Inc. Linked widgets
US7752556B2 (en) 2005-10-27 2010-07-06 Apple Inc. Workflow widgets
US9436951B1 (en) 2007-08-22 2016-09-06 Amazon Technologies, Inc. Facilitating presentation by mobile device of additional content for a word or phrase upon utterance thereof
WO2007117626A2 (en) 2006-04-05 2007-10-18 Yap, Inc. Hosted voice recognition system for wireless devices
US8510109B2 (en) 2007-08-22 2013-08-13 Canyon Ip Holdings Llc Continuous speech transcription performance indication
US8869027B2 (en) 2006-08-04 2014-10-21 Apple Inc. Management and generation of dashboards
US9973450B2 (en) 2007-09-17 2018-05-15 Amazon Technologies, Inc. Methods and systems for dynamically updating web service profile information by parsing transcribed message strings
US8954871B2 (en) 2007-07-18 2015-02-10 Apple Inc. User-centric widgets and dashboards
US20090021486A1 (en) * 2007-07-19 2009-01-22 Apple Inc. Dashboard Surfaces
US8335829B1 (en) * 2007-08-22 2012-12-18 Canyon IP Holdings, LLC Facilitating presentation by mobile device of additional content for a word or phrase upon utterance thereof
US9053489B2 (en) 2007-08-22 2015-06-09 Canyon Ip Holdings Llc Facilitating presentation of ads relating to words of a message
DE102008009445A1 (de) * 2008-02-15 2009-08-20 Volkswagen Ag Verfahren zur Schrift- und Spracherkennung
DE102008025124A1 (de) * 2008-05-26 2009-12-03 Volkswagen Ag Anzeigesystem für ein Fahrzeug und Bedienverfahren für ein Anzeigesystem eines Fahrzeugs
US11487347B1 (en) * 2008-11-10 2022-11-01 Verint Americas Inc. Enhanced multi-modal communication
EP2362186A1 (de) * 2010-02-26 2011-08-31 Deutsche Telekom AG Bedieneinrichtung für elektronische Gerätefunktionen in einem Kraftfahrzeug
DE102011015693A1 (de) * 2011-03-31 2012-10-04 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bereitstellen einer Nutzerschnittstelle, insbesondere in einem Fahrzeug
KR102095765B1 (ko) 2012-10-19 2020-04-01 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9842511B2 (en) * 2012-12-20 2017-12-12 The United States Of America As Represented By The Secretary Of The Army Method and apparatus for facilitating attention to a task
US9934523B1 (en) 2013-03-05 2018-04-03 Square, Inc. On-device directory search
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
USD788152S1 (en) * 2013-03-15 2017-05-30 Square, Inc. Display screen or portion thereof with a graphical user interface
US10909590B2 (en) 2013-03-15 2021-02-02 Square, Inc. Merchant and item ratings
USD791144S1 (en) * 2014-08-21 2017-07-04 Mitsubishi Electric Corporation Display with graphical user interface

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5367315A (en) * 1990-11-15 1994-11-22 Eyetech Corporation Method and apparatus for controlling cursor movement
EP0949558A2 (de) * 1998-04-09 1999-10-13 International Business Machines Corporation Verfahren und System zum schnellen Zugriff von Toolbar- Ikonen durch Toolbar-Beschleuniger
DE19948794A1 (de) * 1999-10-07 2001-05-10 Rfi Elektronik Gmbh Vorrichtung zur Informationsverarbeitung in einem Kraftfahrzeug
US6643721B1 (en) * 2000-03-22 2003-11-04 Intel Corporation Input device-adaptive human-computer interface
US20040187139A1 (en) * 2003-03-21 2004-09-23 D'aurelio Ryan James Interface for determining the source of user input
WO2005096647A1 (en) * 2004-03-16 2005-10-13 Sony Ericsson Mobile Communications Ab Apparatus and method for voice activated communication

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000008547A1 (en) * 1998-08-05 2000-02-17 British Telecommunications Public Limited Company Multimodal user interface
DE19959702A1 (de) * 1999-12-10 2001-06-21 Daimler Chrysler Ag Anzeige- und Bedieneinheit
DE10062669A1 (de) * 2000-12-15 2002-06-20 Bsh Bosch Siemens Hausgeraete Eingabevorrichtung und Verfahren zur Eingabe von Informationen in eine Steuereinheit
DE10121392A1 (de) * 2001-05-02 2002-11-21 Bosch Gmbh Robert Vorrichtung zur Steuerung von Geräten mittels Blickrichtung
EP1408303B1 (de) * 2002-03-15 2011-12-21 Mitsubishi Denki Kabushiki Kaisha Fahrzeugnavigationsvorrichtung
EP1611504B1 (de) * 2003-04-07 2009-01-14 Nokia Corporation Verfahren und vorrichtung zur bereitstellung von sprachgesteuerter eingabe für eine elektronische vorrichtung mit einer benutzerschnittstelle
DE10339314B3 (de) * 2003-08-27 2005-04-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur Anzeigesteuerung von unterschiedlichen Informationen in einem Fahrzeug und optoakustische Informationseinheit
US20070011609A1 (en) * 2005-07-07 2007-01-11 Florida International University Board Of Trustees Configurable, multimodal human-computer interface system and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5367315A (en) * 1990-11-15 1994-11-22 Eyetech Corporation Method and apparatus for controlling cursor movement
EP0949558A2 (de) * 1998-04-09 1999-10-13 International Business Machines Corporation Verfahren und System zum schnellen Zugriff von Toolbar- Ikonen durch Toolbar-Beschleuniger
DE19948794A1 (de) * 1999-10-07 2001-05-10 Rfi Elektronik Gmbh Vorrichtung zur Informationsverarbeitung in einem Kraftfahrzeug
US6643721B1 (en) * 2000-03-22 2003-11-04 Intel Corporation Input device-adaptive human-computer interface
US20040187139A1 (en) * 2003-03-21 2004-09-23 D'aurelio Ryan James Interface for determining the source of user input
WO2005096647A1 (en) * 2004-03-16 2005-10-13 Sony Ericsson Mobile Communications Ab Apparatus and method for voice activated communication

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Human Factors (HF); Multimodal interaction, communication and navigation guidelines; ETSI EG 202 191" ETSI STANDARDS, LIS, SOPHIA ANTIPOLIS CEDEX, FRANCE, Bd. HF, Nr. V1.1.1, 1. August 2003 (2003-08-01), XP014015121 ISSN: 0000-0001 *
"Windows2000" 2000, MICROSOFT , XP002483542 screenshots des Dialogs Bildschirmeigenschaften Seiten 1,2 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102654818A (zh) * 2011-03-03 2012-09-05 汉王科技股份有限公司 一种触摸屏电子设备的键盘显示方法及装置

Also Published As

Publication number Publication date
WO2007104635A3 (de) 2009-02-19
US20090077493A1 (en) 2009-03-19
CN101484866A (zh) 2009-07-15
EP1996996A2 (de) 2008-12-03
DE102006011288A1 (de) 2007-09-13

Similar Documents

Publication Publication Date Title
EP1996996A2 (de) Verfahren zur auswahl von funktionen mithilfe einer benutzerschnittstelle und benutzerschnittstelle
WO2009062677A2 (de) Multimodale benutzerschnittstelle eines fahrerassistenzsystems zur eingabe und präsentation von informationen
DE202017104779U1 (de) Radarbasierte Gestenschnittstelle
EP2338106B1 (de) Multifunktionsanzeige- und bediensystem sowie verfahren zum steuern eines solchen systems mit optimierter grafischer bediendarstellung
DE102008008948A1 (de) Systemarchitektur und Verfahren zur multimodalen Informationseingabe
EP2756380B1 (de) Verfahren und vorrichtung zum anzeigen von informationen und zum bedienen eines elektronischen geräts
EP3508968A1 (de) Verfahren zum betreiben einer mensch-maschinen-schnittstelle sowie mensch-maschinen-schnittstelle
EP2924551A1 (de) Verfahren und Vorrichtung zum Bereitstellen einer graphischen Benutzerschnittstelle in einem Fahrzeug
EP3077892B1 (de) Kraftfahrzeug-bedienvorrichtung mit berührungssensitiver eingabefläche
EP2312429B1 (de) Verfahren zum Bereitstellen einer Benutzerschnittstelle und Bedienvorrichtung
DE102016010920A1 (de) Smart touch
DE102006055252B4 (de) Anordnung und Verfahren zur multimodalen Auswahl von Objekten in Telekommunikationsanwendungen
DE102005014774A1 (de) Verfahren zur Eingabevorschau und Benutzerschnittstelle mit Eingabevorschau
EP2030828B1 (de) Multimodales Bediensystem und Verfahren zum Bedienen von Komponenten und Funktionen in einem Kraftfahrzeug
EP3966063A1 (de) Verfahren und bediensystem zum erfassen einer nutzereingabe für eine einrichtung eines fahrzeugs
DE102013016196B4 (de) Kraftfahrzeugbedienung mittels kombinierter Eingabemodalitäten
WO2006003087A2 (de) Verfahren zur eingabe von schriftzeichen in ein mobiles kommunikationsgerät und für eine derartige eingabe ausgestaltetes mobiles kommunikationsgerät
EP2766210B1 (de) Verfahren zum bereitstellen einer bedienvorrichtung in einem fahrzeug und bedienvorrichtung
DE102008026030B4 (de) Informations- und Assistenzsystem sowie ein Verfahren zu dessen Steuerung
EP3108333B1 (de) Anwenderschnittstelle und verfahren zur unterstützung eines anwenders bei der bedienung einer anwenderschnittstelle
WO2021004682A1 (de) Verfahren zum betreiben eines bediensystems in einem fahrzeug und bediensystem in einem fahrzeug
DE102009033061A1 (de) Verfahren und Vorrichtung zum Steuern einer Benutzerschnittstelle
Felzer et al. Mouse mode of OnScreenDualScribe: Three types of keyboard-driven mouse replacement
DE102014111749A1 (de) Verfahren und Vorrichtung zum Steuern eines technischen Gerätes
WO2021004681A1 (de) Verfahren zum betreiben eines bediensystems und bediensystem

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200780008650.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07726487

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 2007726487

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12282362

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE