WO2003058419A2 - Virtueller assistent, der einem benutzer einer datenendeinrichtung hörbare informationen mittels mindestens zwei elektroakustischen wandlern ausgibt, und verfahren zur darbietung von hörbaren informationen eines virtuellen assistenten - Google Patents

Virtueller assistent, der einem benutzer einer datenendeinrichtung hörbare informationen mittels mindestens zwei elektroakustischen wandlern ausgibt, und verfahren zur darbietung von hörbaren informationen eines virtuellen assistenten Download PDF

Info

Publication number
WO2003058419A2
WO2003058419A2 PCT/DE2003/000078 DE0300078W WO03058419A2 WO 2003058419 A2 WO2003058419 A2 WO 2003058419A2 DE 0300078 W DE0300078 W DE 0300078W WO 03058419 A2 WO03058419 A2 WO 03058419A2
Authority
WO
WIPO (PCT)
Prior art keywords
virtual assistant
user
information
data terminal
terminal device
Prior art date
Application number
PCT/DE2003/000078
Other languages
English (en)
French (fr)
Other versions
WO2003058419A3 (de
Inventor
Roland Aubauer
Christoph Pörschmann
Frank Lorenz
Stefano Ambrosius Klinke
Michael Hülskemper
Christoph Euscher
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Priority to EP03706218A priority Critical patent/EP1472906A2/de
Priority to AU2003208256A priority patent/AU2003208256A1/en
Priority to US10/501,361 priority patent/US20050129250A1/en
Publication of WO2003058419A2 publication Critical patent/WO2003058419A2/de
Publication of WO2003058419A3 publication Critical patent/WO2003058419A3/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/6058—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
    • H04M1/6066—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone including a wireless connection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/26—Devices for calling a subscriber
    • H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/271—Devices whereby a plurality of signals may be stored simultaneously controlled by voice recognition

Definitions

  • Virtual assistant which outputs audible information to a user of a data terminal device by means of at least two electroacoustic transducers, and method for the presentation of audible information by a virtual assistant
  • the invention relates to a virtual assistant which outputs audible information to a user of a data terminal device by means of at least two electroacoustic transducers, and to a method for the presentation of audible information by a virtual assistant to a user of a data terminal device.
  • a virtual assistant i.e. a computer-based help (program) can be used, which supports the user in carrying out the steps necessary to carry out a task, or if the user wishes further explanations about the possibilities of the PC application program.
  • the user is made aware of incorrect entries and the virtual assistant makes input suggestions to the user.
  • the information provided by the virtual assistant is visually presented to the user, i.e. presented by means of a display unit.
  • This function of a virtual assistant which is helpful for the user, can in principle also be applied to mobile data terminal devices such as, for example, mobile telephones or those which are known under the name Personal Digital Assistants PDAs.
  • mobile data terminal devices such as, for example, mobile telephones or those which are known under the name Personal Digital Assistants PDAs.
  • PDAs Personal Digital Assistants
  • extensive information optically presented by a virtual assistant is difficult to process for the user of a data terminal device if the user must simultaneously concentrate on further visually presented information in the environment or acoustic information of a conversation partner. It makes sense here to carry out the information presented by the virtual assistant of a data terminal device to the user of the data terminal device by means of an acoustic presentation. In this way, the user of the data terminal device can better process the acoustically presented information and further information presented optically at the same time.
  • data terminal devices or methods are known in which additional information is acoustically presented to the user of the data terminal devices or the method.
  • an assistant in the ticket office uses acoustic information to guide the user of the ticket office through appropriate operating programs of the ticket office.
  • the listener can be given the subjective impression that the sound-generating source is rotating around him or is approaching him or is moving away from him by processing the audio information accordingly.
  • the sound-generating source can therefore be positioned anywhere in the room by means of signal processing of the hearing information.
  • a virtual assistant which outputs audible information to a user of a data terminal device by means of at least two electroacoustic transducers, can be positioned in the room by the user in order to improve the spatial acoustic separation between the information output by the electroacoustic transducers and further information obtained from at least one other sound source.
  • One advantage of the invention is the use of the spatial positioning of sound sources by means of signal processing of the hearing information of the virtual assistant of the data terminal or its localization by the user of the data terminal. This hearing information from the virtual assistant can be perceived better separated from ambient noise for the user of the data terminal device.
  • the user of the data terminal device can be given the hearing information of the virtual assistant specifically from one direction, while the user is talking to another conversation partner in the room at the same time.
  • a good spatial acoustic separation can be achieved between the hearing information which the virtual assistant and the conversation partner have on the user.
  • the user can thus record and process both the information from the virtual assistant and the information from the interlocutor. At the very least, it is easier for the user to record and process the information coming from both the virtual assistant and the conversation partner at the same time.
  • a further advantage arises if, in addition to the hearing information originating from the virtual assistant and that available from other information in the environment of the user
  • a pedestrian is on the road.
  • the pedestrian is loaded with heavy shopping bags.
  • the pedestrian would like to make a telephone call using his data terminal designed as a mobile phone.
  • the mobile phone is switched on, but stowed in one of its shopping bags and therefore not easy to find.
  • the pedestrian wears lightweight headphones with headsets.
  • Two electroacoustic transducers for outputting hearing information are integrated in the headphones with headsets.
  • the headphone with headset is equipped with a radio module, for example a Bluetooth radio module, for short-range data exchange between headphones with headset and mobile phone.
  • the pedestrian, user of the headphones with headset or the mobile phone activates the headphone with headset and thus enables data exchange between headphones with headset and mobile phone.
  • the user speaks the word "SELECT" in the headphones with headset, whereupon the virtual assistant of the mobile phone answers with "PLEASE NAME NAME".
  • the user gives the name of the person to be called. Since the user is in an environment with high noise levels, the mobile phone does not recognize the name of the person to be called with sufficient accuracy.
  • the mobile phone processes the name entered by the user and compares it with the names stored in the internal phone book of the mobile phone. The mobile phone recognizes the spoken name as "SCHMITZER" or "SCHNITZLER".
  • the user recognizes the two options offered by the virtual assistant despite the loud ambient noise, because the binaural technique is used when the audio information of the virtual assistant of the mobile phone is output by means of the electroacoustic transducer.
  • the binaural technique enables the targeted signal processing of the hearing information in the mobile phone.
  • the listening information is reproduced by the virtual assistant using the headset with a headset
  • the user of the mobile telephone can perceive a clear local assignment of the hearing information output by the virtual assistant.
  • the hearing information is processed in the mobile telephone in such a way that the user of the mobile telephone locates the hearing information presented by the virtual assistant as coming from the vicinity of the head.
  • the hearing information is "whispered" from behind the user's shoulder into his ear.
  • the position of the virtual assistant or the position from which the hearing information output by the virtual assistant is perceived can be changed as desired by the user of the mobile telephone, for example by means of an electro-mechanical input device known per se.
  • the electromechanical input device is, for example, a ball in a socket.
  • the ball rotations caused by the user are detected by sensors.
  • the virtual assistant is positioned in a manner known per se by means of voice commands or by means of inputs on a touch-sensitive display unit of the mobile telephone.
  • the mobile phone has a head position sensor that detects head movements of the user of the mobile phone, for example by means of a rotation rate sensor or a magnetic field sensor
  • the selected position of the virtual assistant can also be maintained if the head movements during the signal processing of the Listening information are taken into account.
  • the user can both operate the mobile phone in a simple manner using voice commands to set up an outgoing connection and also be able to perceive ambient noises such as loud calls or honking etc. ,
  • a teleconferencing situation is described.
  • a large number of people who largely speak or understand different languages take part in the teleconference.
  • the people are at individual tables are spread across the teleconference room, with each person having their own screen. If a participant answers, the data terminal designed as a teleconferencing system displays this participant on a large screen on a side wall of the teleconference room, so that the other participants can also observe the facial expressions and gestures of this participant.
  • his speech is broadcast on loudspeakers connected to the teleconference system and designed as electroacoustic transducers.
  • the contributions of the speaking participant are simultaneously translated into the languages of the other participants and the translation in the form of hearing information is made accessible to the participants via headphones with a headset, in which two electroacoustic transducers for outputting hearing information are integrated.
  • the simultaneous translation is audibly output by the teleconferencing system through a virtual assistant for the other participants.
  • the virtual assistant can be positioned anywhere in the room by any participant in the teleconference by entering appropriate key combinations in the teleconferencing system.
  • the positioning of the virtual assistant or the spatial acoustic perception of the hearing information output by the virtual assistant is achieved by the individual subscriber by means of signal processing of the hearing information in the teleconferencing system.
  • the participants position the virtual assistant so that the participants perceive the output of the hearing information by the virtual assistant as being from behind over the shoulder and coming from the vicinity of the head.
  • This positioning of the virtual assistant achieves a good spatial acoustic separation between the speech broadcast over the loudspeaker and the simultaneous translation of the speech, so that the participants can follow the speech broadcast over the loudspeaker as well as the simultaneous translation and the facial expressions and gestures of the speaking participant are still attentive can watch. This means that the participants can follow several information strands simultaneously with great attention.
  • this participant can cause the teleconferencing system to send him additional information acoustically via the virtual assistant, for example about the daily schedule, background information about the other participants or information about the participant's hotel allow.
  • Tour guides are mentioned here by way of example, the tour guide explaining certain exhibits of a museum to the visitors in the national language, with the visitors hearing a simultaneous translation of the explanations of the travel guide in good spatial acoustic separation by a virtual assistant via their UMTS mobile phone and, if necessary, further optical information with regard to them the exhibits on the display unit of their UMTS mobile phone can be followed closely at the same time.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

Die Erfindung betrifft einen virtuellen Assistenten, der einem Benutzer einer Datenendeinrichtung hörbare Informationen mittels mindestens zwei elektroakustischen Wandlern ausgibt, und ein Verfahren zur Darbietung von hörbaren Informationen eines virtuellen Assistenten für einen Benutzer einer Datenendeinrichtung.Um eine bessere räumlich akustische Trennung zwischen den von dem virtuellen Assistenten über die elektroakustischen Wandler ausgegebenen Informationen und von mindestens einer weiteren Schallquelle ausgegebenen weiteren Informationen zu erzielen, ist der virtuelle Assistent durch den Benutzer der Datenendeinrichtung im Raum positionierbar.Somit kann der Benutzer sowohl von dem virtuellen Assistenten als auch von der weiteren Schallquelle stammende Informationen aufnehmen und verarbeiten. Zumindest wird dem Benutzer jedoch die zeitgleiche Aufnahme und Verarbeitung sowohl der von dem virtuellen Assistenten als auch von der weiteren Schallquelle stammenden Informationen erleichtert.

Description

Beschreibung
Virtueller Assistent, der einem Benutzer einer Datenendeinrichtung hörbare Informationen mittels mindestens zwei elek- troakustischen Wandlern ausgibt, und Verfahren zur Darbietung von hörbaren Informationen eines virtuellen Assistenten
Die Erfindung betrifft einen virtuellen Assistenten, der einem Benutzer einer Datenendeinrichtung hörbare Informationen mittels mindestens zwei elektroakustischen Wandlern ausgibt, und ein Verfahren zur .Darbietung von hörbaren Informationen eines virtuellen Assistenten für einen Benutzer einer Datenendeinrichtung.
Bei der Benutzung von PC-Anwendungsprogrammen ist allgemein bekannt, daß der Benutzer auf einen virtuellen Assistenten d.h. eine computerbasierte Hilfe (Programm) zurückgreifen kann, welcher den Benutzer bei der Durchführung der, zur Ausführung einer Aufgabe, notwendigen Schritte unterstützt, oder wenn der Benutzer weitere Erklärungen über die Möglichkeiten des PC-Anwendungsprogramms wünscht. Andererseits wird der Benutzer bei Fehleingaben auf diese aufmerksam gemacht und es werden dem Benutzer vom virtuellen Assistenten Eingabevorschläge unterbreitet. Die Informationen durch den virtu- eilen Assistenten werden dem Benutzer optisch d.h. mittels einer Anzeigeeinheit dargeboten.
Diese für den Benutzer hilfreiche Funktion eines virtuellen Assistenten läßt sich prinzipiell auch auf mobile Datenend- einrichtungen wie beispielsweise Mobiltelefone oder solche, die unter dem Namen Personal Digital Assistents PDA' s geläufig sind, anwenden. Hierbei ist jedoch für den Benutzer von Nachteil, daß die vom virtuellen Assistenten dargebotenen umfangreichen Informationen auf einer kleinen Anzeigeeinheit der mobilen Datenendeinrichtung dargestellt werden müssen. Des weiteren sind optisch dargebotene umfangreiche Informationen eines virtuellen Assistenten dann für den Benutzer einer Datenendeinrichtung schwer verarbeitbar, wenn der Benutzer sich zugleich auf weitere optisch dargebotene Informationen in der Umgebung oder akustische Informationen eines Gesprächspartners konzentrieren muß. Hier bietet es sich an, die von dem virtuellen Assistenten einer Datenendeinrichtung für den Benutzer der Datenendeinrichtung dargebotenen Informationen mittels einer akustischen Präsentation durchzufüh- ren. Auf diese Weise kann der Benutzer der Datenendeinrichtung die akustisch dargebotenen Informationen und weitere zeitgleich optisch dargebotene Informationen besser verarbeiten.
Andererseits sind Datenendeinrichtungen oder Verfahren bekannt, bei denen dem Benutzer der Datenendeinrichtungen oder der Verfahren zusätzliche Informationen akustisch dargeboten werden. Beispielhaft führt ein Assistent im Fahrkartenschalter mittels akustischer Informationen den Benutzer des Fahr- kartenschalters durch entsprechende Bedienungsprogramme des Fahrkartenschalters .
Da diese Fahrkartenschalter häufig in einer lauten Umgebung aufgestellt sind, ist es für den Benutzer des Fahrkarten- Schalters mühevoll, den von dem Assistenten des Fahrkartenschalters ausgegebenen akustischen Informationen zu folgen. Noch mühevoller ist die Verfolgung von akustischen Informationen, die zeitgleich von zwei verschiedenen Signalquellen auf einen Benutzer einwirken.
Seit einiger Zeit wird an der sogenannten Binauraltechnik geforscht. Eine Einführung in die Binauraltechnik ist "beispielsweise unter dem Titel: „An introduction to binaural technology" ' von J. Blauert (1996) in Binaural and Spatial Hearing in Real and Virtual' Environments, edited by R. Gilkey & T. Anderson, Seiten 593 - 609, Lawrence Erlbaum, USA-Hill- dale NJ beschrieben. Mit Hilfe der Binauraltechnik unter Einsatz von signaltechnischer Verarbeitung der Hörinformationen kann der Hörer die schallerzeugende Quelle beliebigen Positionen des umgebenden Raumes zuordnen. Der Hörer bzw. die die akustische Information ausgebenden elektroakustischen Wandler bleiben dabei fest im Raum angeordnet. Dann kann beispielsweise durch eine entsprechende signaltechnische Verarbeitung der Hörinformationen für den Hörer der subjektive Eindruck erweckt werden, daß sich die schallerzeugende Quelle um ihn dreht oder auf ihn zukommt bzw. sich von ihm entfernt. Die schallerzeugende Quelle ist also mittels signaltechnischer Verarbeitung der Hörinformationen im Raum beliebig positionierbar.
Es ist daher die Aufgabe der vorliegenden Erfindung eine technische Lösung für den Benutzer einer Datenendeinrichtung zu entwickeln, bei der die von dem virtuellen Assistenten der Datenendeinrichtung ausgegebenen akustischen Informationen hinsichtlich der Wahrnehmung des Benutzers besser von weite- ren Schallquellen, die ebenfalls auf den Benutzer der Datenendeinrichtung einwirken, getrennt werden können.
Die Aufgabe wird ausgehend von dem im Oberbegriff des Patentanspruchs 1 definierten virtuellen Assistenten durch die im kennzeichnenden Teil des Patentanspruchs 1 angegebenen Merkmale und ausgehend von dem im Oberbegriff des Patentanspruchs 9 definierten Verfahrens durch die im kennzeichnenden Teil des Patentanspruchs 9 angegebenen Merkmale gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprü- chen angegeben.
Erfindungsgemäß ist ein virtueller Assistent, der einem Benutzer einer Datenendeinrichtung hörbare Informationen mittels mindestens zwei elektroakustischen Wandlern ausgibt, durch den Benutzer im Raum positionierbar, um eine bessere räumlich akustische Trennung zwischen der mittels den elektroakustischen Wandlern ausgegebenen Informationen und weite- ren Informationen, die von mindestens einer weiteren Schallquelle ausgegebenen werden, zu erzielen.
Ein Vorteil der Erfindung ist die Nutzung der räumlichen Po- sitionierung von Schallquellen mittels signaltechnischer Verarbeitung der Hörinformationen des virtuellen Assistenten der Datenendeinrichtung bzw. deren Lokalisation durch den Benutzer der Datenendeinrichtung. Diese Hörinformationen des virtuellen Assistenten können für den Benutzer der Datenendein- richtung von Umgebungsgeräuschen besser separiert wahrgenommen werden.
Des weiteren können dem Benutzer der Datenendeinrichtung die Hörinformationen des virtuellen Assistenten gezielt aus einer Richtung zugeführt werden, während der Benutzer sich zeitgleich mit einem weiteren Gesprächspartner im Raum unterhält. Auch hier läßt sich eine gute räumlich akustische Trennung zwischen der von dem virtuellen Assistenten und der von dem Gesprächspartner auf den Benutzer einwirkenden Hörinformatio- nen erreichen. Somit kann der Benutzer sowohl die von dem virtuellen Assistenten als auch die von dem Gesprächspartner stammenden Informationen aufnehmen und verarbeiten. Zumindest wird dem Benutzer jedoch die zeitgleiche Aufnahme und Verarbeitung sowohl der von dem virtuellen Assistenten als auch von dem Gesprächspartner stammenden Informationen erleichtert .
Ein weiterer Vorteil ergibt sich dann, wenn neben den von dem virtuellen Assistenten stammenden Hörinformationen und den von weiteren in der Umgebung des Benutzers vorhandenen
Schallquellen stammenden Umgebungsgeräuschen auch zeitgleich zusätzlich dargebotene optische Informationen auf den Benutzer der Datenendeinrichtung einwirken. Auch in diesem Fall kann der Benutzer der Datenendeinrichtung die aus den ver- schiedenen Quellen stammenden Informationen besser aufnehmen und verarbeiten. Weitere Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung, welche die Erfindung an Hand von zwei Ausführungsbeispielen erläutert.
Im ersten Ausführungsbeispiel befindet sich ein Fußgänger im Straßenverkehr. Der Fußgänger ist mit schweren Einkaufstüten beladen. Der Fußgänger möchte ein Telefongespräch mittels seiner als Mobiltelefon ausgebildeten Datenendeinrichtung führen. Das Mobiltelefon ist angeschaltet, jedoch in einer seiner Einkaufstaschen verstaut und deshalb nicht leicht auffindbar. Der Fußgänger trägt jedoch einen leichten Kopfhörer mit Sprechgarnitur. In den Kopfhörer mit Sprechgarnitur sind zwei elektroakustische Wandler zur Ausgabe von Hörinformationen integriert. Der Kopfhörer mit Sprechgarnitur ist ebenso wie das Mobiltelefon mit einem Funkmodul, beispielsweise einem Bluetooth-Funkmodul, zum kurzreichweitigen Datenaustausch zwischen Kopfhörer mit Sprechgarnitur und Mobiltelefon ausgerüstet .
Der Fußgänger, Benutzer des Kopfhörers mit Sprechgarnitur bzw. des Mobiltelefons, aktiviert den Kopfhörer mit Sprechgarnitur und ermöglicht somit den Datenaustausch zwischen Kopfhörer mit Sprechgarnitur und Mobiltelefon. Der Benutzer spricht das Wort „WÄHLEN" in den Kopfhörer mit Sprechgarni- tur, worauf sich der virtuelle Assistent des Mobiltelefons mit „BITTE NAME EINSPRECHEN" meldet. Der Benutzer nennt den Namen des Anzurufenden. Da sich der Benutzer in einer Umgebung mit hohem Lärmpegel bewegt, erkennt das Mobiltelefon den Namen des Anzurufenden nicht mit ausreichender Genauigkeit. Das Mobiltelefon verarbeitet den vom Benutzer eingegebenen Namen und vergleicht ihn mit im internen Telefonbuch des Mobiltelefons gespeicherten Namen. Das Mobiltelefon erkennt den eingesprochenen Namen als „SCHMITZER" oder „SCHNITZLER" . Eine Ausgabe der beiden Namen auf der Anzeigeeinheit des Mobilte- lefons und die anschließende Aufforderung an den Benutzer, eine Auswahl zwischen diesen Namen zu treffen, ist für den Benutzer wertlos. Das liegt daran, daß, wie bereits erwähnt, das Mobiltelefon des Benutzers schwer zugänglich in einer der Einkaufstaschen versteckt ist. Andererseits hat das Mobiltelefon den Betrieb des Mobiltelefons durch den Benutzer über den Kopfhörer mit Sprechgarnitur erkannt, so daß das Mobilte- lefon den virtuellen Assistenten des Mobiltelefons anweist, alle ähnlich klingenden Namen dem Benutzer über den virtuellen Assistenten mittels des Kopfhörers mit Sprechgarnitur auszugeben. Beispielsweise hört der Benutzer die folgenden Worte seines virtuellen Assistenten über den Kopfhörer mit Sprechgarnitur: „DER NAME WURDE NICHT EINDEUTIG ERKANNT". „WÄHLEN SIE BITTE AUS FOLGENDEN OPTIONEN AUS" . „SCHMITZER" oder nach erfolgter kleiner Pause „SCHNITZLER" .
Der Benutzer erkennt die beiden vom virtuellen Assistenten angebotenen Optionen trotz der lauten Umgebungsgeräusche, weil bei der Ausgabe der Hörinformation des virtuellen Assistenten des Mobiltelefons mittels der elektroakustischen Wandler die Binauraltechnik Anwendung findet. Die Binauraltechnik ermöglicht die gezielte signaltechnische Verarbeitung der Hörinformationen im Mobiltelefon. Bei der Wiedergabe der Hörinformationen durch den virtuellen Assistenten mittels des Kopfhörers mit Sprechgarnitur kann der Benutzer des Mobiltelefons eine klare örtliche Zuordnung der durch den virtuellen Assistenten ausgegebenen Hörinformation wahrnehmen. Im Mobil- telefon werden, gemäß einer durch den Benutzer vorgenommenen Voreinstellung, die Hörinformationen derart signaltechnisch verarbeitet, daß der Benutzer des Mobiltelefons die vom virtuellen Assistenten dargebotenen Hörinformationen als aus der Nähe des Kopfes stammend lokalisiert. Die Hörinformationen werden dem Benutzer von hinten über seine Schulter ins Ohr „geflüstert" .
Die Position des virtuellen Assistenten bzw. die Position, aus der die vom virtuellen Assistenten ausgegebenen Hörinfor- mationen wahrgenommen werden, ist durch den Benutzer des Mobiltelefons beispielsweise mittels einer an sich bekannten elektro echanischen Eingabeeinrichtung beliebig veränderbar. Die elektromechanische Eingabeeinrichtung ist beispielsweise eine Kugel in einer Fassung. Die durch den Benutzer hervorgerufenen Kugeldrehungen werden von Sensoren detektiert. Andererseits erfolgt die Positionierung des virtuellen Assisten- ten in an sich bekannter Weise mittels Sprachbefehlen oder mittels Eingaben auf einer berührungsempfindlichen Anzeigeeinheit des Mobiltelefons.
Des weiteren kann, wenn das Mobiltelefon über einen Kopfposi- tionssensor verfügt, der Kopfbewegungen des Benutzers des Mobiltelefons, beispielsweise durch einen Drehratensensor oder einen Magnetfeldsensor, detektiert, die gewählte Position des virtuellen Assistenten auch dann beibehalten werden, wenn die Kopfbewegungen bei der signaltechnischen Verarbeitung der Hörinformationen berücksichtigt werden.
Durch die voreingestellte Positionierung des virtuellen Assistenten bzw. die Möglichkeit der beliebigen Veränderung seiner Position durch den Benutzer kann der Benutzer sowohl das Mobiltelefon in einfacher Weise mittels Sprachbefehlen zum Aufbau einer abgehenden Verbindung bedienen als auch Umgebungsgeräusche, wie lautes Rufen oder Hupen etc., aufmerksam wahrnehmen.
Um die Auswahl der vom virtuellen Assistenten dargebotenen
Namen „SCHMITZER" oder „SCHNITZLER" im Hinblick auf den Aufbau einer abgehenden Verbindung abzuschließen, beantwortet der Benutzer den Namen „SCHMITZER" mit einem in den Kopfhörer mit Sprechgarnitur eingesprochenen „NEIN" und den Namen „SCHNITZLER" mit einem eingesprochenen „JA" . Das Mobiltelefon erkennt den Namen „SCHNITZLER" und baut einen abgehenden Ruf auf.
Im zweiten Ausführungsbeispiel wird eine Telekonferenzsitua- tion beschrieben. An der Telekonferenz nehmen eine Vielzahl von Personen teil, die größtenteils unterschiedliche Sprachen sprechen bzw. verstehen. Die Personen sind jeweils an einzel- nen Tischen über den Telekonferenzraum verteilt platziert, wobei jeder der Personen über einen eigenen Bildschirm verfügt. Meldet sich ein Teilnehmer zu Wort, so bildet die als Telekonferenzsystem ausgebildete Datenendeinrichtung diesen Teilnehmer auf einer Großleinwand an einer Seitenwand des Telekonferenzraums ab, so daß die anderen Teilnehmer auch Mimik und Gestik dieses Teilnehmers beobachten können.
Andererseits wird sein Redebeitrag über an das Telekonferenz- system angeschlossene als elektroakustische Wandler ausgebildete Lautsprecher abgestrahlt.
Gleichzeitig werden die Beiträge des sprechenden Teilnehmers in die Sprachen der anderen Teilnehmer simultan übersetzt und die Übersetzung in Form von Hörinformationen den Teilnehmern über einen Kopfhörer mit Sprechgarnitur, in den zwei elektroakustische Wandler zur Ausgabe von Hörinformationen integriert sind, zugänglich gemacht. Um den Teilnehmern sowohl die Möglichkeit anzubieten den Redebeitrag in der Sprache des sprechenden Teilnehmers als auch in der Sprache der Simultanübersetzung gleichzeitig aufmerksam zu verfolgen, wird die Simultanübersetzung vom Telekonferenzsystem durch einen virtuellen Assistenten für die anderen Teilnehmer hörbar ausgegeben. Der virtuelle Assistent kann von jedem Teilnehmer der Telekonferenz durch Eingabe von entsprechenden Tastenkombinationen in das Telekonferenzsystem beliebig im Raum positioniert werden.
Auch hier wird die Positionierung des virtuellen Assistenten bzw. die räumlich akustische Wahrnehmung der von dem virtuellen Assistenten ausgegebenen Hörinformationen durch den einzelnen Teilnehmer mittels signaltechnischer Verarbeitung der Hörinformationen im Telekonferenzsystem erreicht. Die Teilnehmer positionieren den virtuellen Assistenten so, daß die Teilnehmer die Ausgabe der Hörinformationen durch den virtuellen Assistenten als von hinten über die Schulter ausgesendet und aus der Nähe des Kopfes stammend wahrnehmen. Durch diese Positionierung des virtuellen Assistenten wird eine gute räumlich akustische Trennung zwischen dem über Lautsprecher abgestrahlten Redebeitrag und der Simultanübersetzung des Redebeitrages erreicht, so daß die Teilnehmer sowohl dem über Lautsprecher abgestrahlten Redebeitrag als auch der Simultanübersetzung gut folgen können und noch Mimik und Gestik des redenden Teilnehmers aufmerksam beobachten können. D.h. die Teilnehmer können mehreren Informationssträngen mit großer Aufmerksamkeit gleichzeitig folgen.
Ist einem Teilnehmer schon ein Redebeitrag seiner eigenen Delegation bekannt, so kann dieser Teilnehmer das Telekonferenzsystem dazu veranlassen, ihm über den virtuellen Assistenten weitere Informationen, beispielsweise über die Tages- planung, Hintergrundinformationen über die anderen Teilnehmer oder Informationen über das Hotel des Teilnehmers, akustisch zukommen zu lassen.
Die genannten Beispiele sind nicht erschöpfend. Das Konzept der räumlich akustischen Trennung von Hörinformationen, die über einen virtuellen Assistenten dem Benutzer einer Datenendeinrichtung ausgegeben werden und weiteren für den Benutzer wichtigen zeitgleich hörbaren und/oder sichtbaren Informationen ist auf weitere Beispiele, insbesondere beim Einsatz mobiler Kommunikationsendgeräte durch einen Benutzer, übertragbar. Beispielhaft sind hier Reiseführer genannt, wobei der Reiseführer in der Landessprache bestimmte Exponate eines Museums den Besuchern erläutert, wobei die Besucher über ihr UMTS-Mobiltelefon eine Simultanübersetzung der Erläuterungen des Reiseführers in guter räumlich akustischer Trennung durch einen virtuellen Assistenten hören und gegebenenfalls weitere optische Informationen hinsichtlich der Exponate auf der Anzeigeeinheit ihres UMTS-Mobiltelefons gleichzeitig aufmerksam verfolgen können.

Claims

Patentansprüche
1) Virtueller Assistent, der einem Benutzer einer Datenendeinrichtung hörbare Informationen mittels mindestens zwei elektroakustischen Wandlern ausgibt, dadurch gekennzeichnet, daß der virtuelle Assistent durch den Benutzer der Datenendeinrichtung im Raum positionierbar ist, um eine bessere räumlich akustische Trennung zwischen den mittels der elektro- akustischen Wandler ausgegebenen Informationen und weiteren Informationen zu erzielen, die von mindestens einer weiteren Schallquelle ausgegeben werden.
2) Virtueller Assistent nach Anspruch 1, dadurch gekennzeichnet, daß die Positionierung des virtuellen Assistenten im Raum durch eine gezielte signaltechnische Verarbeitung der Hörinformationen in der Datenendeinrichtung erreichbar ist.
3) Virtueller Assistent nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, daß der virtuelle Assistent so positionierbar ist, daß der virtuelle Assistent für den Benutzer der Datenendeinrichtung kopfnah und hinter einer der Schultern des Benutzers lokalisierbar ist.
4) Virtueller Assistent nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, daß die Positionierung des virtuellen Assistenten im Raum voreinstellbar ist.
5) Virtueller Assistent nach einem der vorangegangenen An- sprüche, dadurch gekennzeichnet, daß die Positionierung des virtuellen Assistenten mittels einer elektromechanischen Eingabeeinrichtung einstellbar ist.
6) Virtueller Assistent nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß die Positionierung des virtuellen Assistenten mittels Sprachbefehlen einstellbar ist.
7) Virtueller Assistent nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß die Positionierung des virtuellen Assistenten mittels Eingaben auf einer berührungsempfindlichen Anzeigeeinheit einstellbar ist.
8) Virtueller Assistent nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, daß der virtuelle Assistent in mobilen Datenendeinrichtungen einsetzbar ist.
9) Verfahren zur Darbietung von hörbaren Informationen eines virtuellen Assistenten für einen Benutzer einer Datenendeinrichtung, wobei die hörbaren Informationen des virtuellen Assistenten über mindestens zwei elektroakustischen Wandler ausgegeben werden, dadurch gekennzeichnet, daß zur Verbesserung der räumlich akustischen Trennung zwischen den von dem virtuellen Assistenten über die elektroakustischen Wandler ausgegebenen Informationen und von min- destens einer weiteren Schallquelle ausgegebenen weiteren
Informationen der virtuelle Assistent der Datenendeinrichtung im Raum positioniert wird.
10) Verfahren nach Anspruch 9, dadurch gekennzeichnet, daß die Datenendeinrichtung zusätzlich mit einem Kopfpositionssensor ausgestattet wird, der Kopfbewegungen des Benutzers der Datenendeinrichtung aufnimmt, wobei die Kopfbewegungen bei der signaltechnischen Verarbeitung der Hörinformationen derart berücksichtigt werden, daß die gewählte Position des virtuellen Assistenten im Raum auch bei Kopfbewegungen unver- ändert bleibt.
PCT/DE2003/000078 2002-01-14 2003-01-13 Virtueller assistent, der einem benutzer einer datenendeinrichtung hörbare informationen mittels mindestens zwei elektroakustischen wandlern ausgibt, und verfahren zur darbietung von hörbaren informationen eines virtuellen assistenten WO2003058419A2 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP03706218A EP1472906A2 (de) 2002-01-14 2003-01-13 Virtueller assistent, der einem benutzer einer datenendeinrichtung hörbare informationen mittels mindestens zwei elektroakustischen wandlern ausgibt, und verfahren zur darbietung von hörbaren informationen eines virtuellen assistenten
AU2003208256A AU2003208256A1 (en) 2002-01-14 2003-01-13 Virtual assistant, which outputs audible information to a user of a data terminal by means of at least two electroacoustic converters, and method for presenting audible information of a virtual assistant
US10/501,361 US20050129250A1 (en) 2002-01-14 2003-07-17 Virtual assistant and method for providing audible information to a user

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10201072.2 2002-01-14
DE10201072 2002-01-14

Publications (2)

Publication Number Publication Date
WO2003058419A2 true WO2003058419A2 (de) 2003-07-17
WO2003058419A3 WO2003058419A3 (de) 2004-09-02

Family

ID=7712057

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2003/000078 WO2003058419A2 (de) 2002-01-14 2003-01-13 Virtueller assistent, der einem benutzer einer datenendeinrichtung hörbare informationen mittels mindestens zwei elektroakustischen wandlern ausgibt, und verfahren zur darbietung von hörbaren informationen eines virtuellen assistenten

Country Status (5)

Country Link
US (1) US20050129250A1 (de)
EP (1) EP1472906A2 (de)
CN (1) CN1615671A (de)
AU (1) AU2003208256A1 (de)
WO (1) WO2003058419A2 (de)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7177413B2 (en) * 2003-04-30 2007-02-13 Cisco Technology, Inc. Head position based telephone conference system and associated method
US10079892B2 (en) * 2010-04-16 2018-09-18 Avaya Inc. System and method for suggesting automated assistants based on a similarity vector in a graphical user interface for managing communication sessions
US10721594B2 (en) 2014-06-26 2020-07-21 Microsoft Technology Licensing, Llc Location-based audio messaging
US11200026B2 (en) * 2016-08-26 2021-12-14 Bragi GmbH Wireless earpiece with a passive virtual assistant
US10051107B1 (en) 2017-03-16 2018-08-14 Microsoft Technology Licensing, Llc Opportunistic timing of device notifications
US11188721B2 (en) * 2018-10-22 2021-11-30 Andi D'oleo Headphones for a real time natural language machine interpretation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5751817A (en) * 1996-12-30 1998-05-12 Brungart; Douglas S. Simplified analog virtual externalization for stereophonic audio
EP0912076A2 (de) * 1994-02-25 1999-04-28 Henrik Moller Binaurale Synthese, kopfbezogene Übertragungsfunktion, und ihre Verwendung

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4088849A (en) * 1975-09-30 1978-05-09 Victor Company Of Japan, Limited Headphone unit incorporating microphones for binaural recording
US7012630B2 (en) * 1996-02-08 2006-03-14 Verizon Services Corp. Spatial sound conference system and apparatus
US6038330A (en) * 1998-02-20 2000-03-14 Meucci, Jr.; Robert James Virtual sound headset and method for simulating spatial sound
JP3689041B2 (ja) * 1999-10-28 2005-08-31 三菱電機株式会社 立体音場再生装置
JP4509450B2 (ja) * 1999-12-24 2010-07-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 一体化されたマイクロホンを有するヘッドホン
GB2360165A (en) * 2000-03-07 2001-09-12 Central Research Lab Ltd A method of improving the audibility of sound from a loudspeaker located close to an ear
AUPQ938000A0 (en) * 2000-08-14 2000-09-07 Moorthy, Surya Method and system for recording and reproduction of binaural sound
US6961439B2 (en) * 2001-09-26 2005-11-01 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for producing spatialized audio signals

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0912076A2 (de) * 1994-02-25 1999-04-28 Henrik Moller Binaurale Synthese, kopfbezogene Übertragungsfunktion, und ihre Verwendung
US5751817A (en) * 1996-12-30 1998-05-12 Brungart; Douglas S. Simplified analog virtual externalization for stereophonic audio

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ELIZABETH M. WENZEL: "Effect of increasingg system latency on localization of virtual sounds" AES 16TH INTERNATIONAL CONFERENCE 'SPATIAL SOUND REPRODUCTION', 1. April 1999 (1999-04-01), Seiten 42-50, XP002285027 USA *

Also Published As

Publication number Publication date
US20050129250A1 (en) 2005-06-16
WO2003058419A3 (de) 2004-09-02
AU2003208256A1 (en) 2003-07-24
AU2003208256A8 (en) 2003-07-24
CN1615671A (zh) 2005-05-11
EP1472906A2 (de) 2004-11-03

Similar Documents

Publication Publication Date Title
EP1912474B1 (de) Verfahren zum Betreiben einer Hörhilfe, sowie Hörhilfe
DE60209637T2 (de) Steuerung eines Konferenzgespräches
EP2084937B1 (de) Verfahren und vorrichtung zur aufnahme, übertragung und wiedergabe von schallereignissen für kommunikationsanwendungen
EP3430819B1 (de) Ohrhörer mit getrennten mikrofonen für binauralaufnahmen und zum telefonieren
DE102016103331A1 (de) Vorrichtung und Verfahren zur Wiedergabe von Audiosignalen in einem Kraftfahrzeug
EP1912472A1 (de) Verfahren zum Betreiben einer Hörhilfe, sowie Hörhilfe
DE2510731A1 (de) Elektrische schaltung fuer eine hoerhilfe
EP2047668A1 (de) Verfahren, sprachdialogsystem und telekommunikationsendgerät zur multilingualen sprachausgabe
WO2003058419A2 (de) Virtueller assistent, der einem benutzer einer datenendeinrichtung hörbare informationen mittels mindestens zwei elektroakustischen wandlern ausgibt, und verfahren zur darbietung von hörbaren informationen eines virtuellen assistenten
DE102020207482B4 (de) Verfahren zum Ausgaben von nutzerindividuellen akustischen Signalen mit einer Ausgabeeinheit, Computerprogrammprodukt und elektronisches Signalverarbeitungssystem
DE102019208742B4 (de) Sprachübersetzungssystem zum Bereitstellen einer Übersetzung eines Spracheingabesignals eines Sprechers in ein anderssprachiges Sprachausgabesignal für einen Hörer sowie Übersetzungsverfahren für ein derartiges Sprachübersetzungssystem
DE102014210760B4 (de) Betrieb einer Kommunikationsanlage
EP2156654B1 (de) Mobile telekommunikationseinrichtung zum übertragen und übersetzen von informationen
DE19818925C2 (de) Kommunikationsanordnung mit Gegenschall
DE102016114720B4 (de) Kommunikationsgerät zur sprachbasierten Kommunikation
DE3737873C2 (de) Verwendung von Hörsprechgarnituren zur Verbesserung der Sprachverständlichkeit in störschallerfüllter Umgebung
EP0856976A2 (de) Kommunikationssystem für Hörbehinderte, Telefon und Verfahren zum Telefonieren mit einem derartigen Kommunikationssystem
DE112019005697T5 (de) Verfahren zur Bereitstellung von Dienstleistungen unter Verwendung eines Ohrbügels
DE102005036867A1 (de) Sicherstellung der Privatsphäre bei Lautsprecherausgaben
EP1214800B1 (de) Personeninformationsanlage, insbesondere personenführungsanlage, zum drahtlosen übertragen von sprachinformationen
DE102005004974A1 (de) Verfahren und System zum Durchführen von Telefonkonferenzen
Gimm et al. 10 A Multichannel Spatial Hands-Free Application for In-Car Communication Systems
DE102018211129A1 (de) Audioeinrichtung für ein Fahrzeug und Verfahren zum Betrieb einer Audioeinrichtung für ein Fahrzeug
JP2005123959A (ja) 高臨場感通信会議装置
DE102007058586A1 (de) Vorrichtung und Verfahren zur Durchführung von Fernbesprechungen

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AU BR CA CN IN JP KR RU US

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LU MC NL PT SE SI SK TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2003706218

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10501361

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 20038022206

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 2003706218

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Country of ref document: JP

WWW Wipo information: withdrawn in national office

Ref document number: 2003706218

Country of ref document: EP