WO2003042802A2 - Eingabegerät, webcam und bildschirm mit spracheingabefunktion - Google Patents

Eingabegerät, webcam und bildschirm mit spracheingabefunktion Download PDF

Info

Publication number
WO2003042802A2
WO2003042802A2 PCT/EP2002/012918 EP0212918W WO03042802A2 WO 2003042802 A2 WO2003042802 A2 WO 2003042802A2 EP 0212918 W EP0212918 W EP 0212918W WO 03042802 A2 WO03042802 A2 WO 03042802A2
Authority
WO
WIPO (PCT)
Prior art keywords
input device
voice control
manual input
control signals
integrated
Prior art date
Application number
PCT/EP2002/012918
Other languages
English (en)
French (fr)
Other versions
WO2003042802A3 (de
Inventor
Bernd Gombert
Original Assignee
3Dconnexion Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3Dconnexion Gmbh filed Critical 3Dconnexion Gmbh
Priority to EP02787724A priority Critical patent/EP1444566A2/de
Priority to US10/450,088 priority patent/US20040080622A1/en
Priority to AU2002352051A priority patent/AU2002352051A1/en
Publication of WO2003042802A2 publication Critical patent/WO2003042802A2/de
Publication of WO2003042802A3 publication Critical patent/WO2003042802A3/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G06F1/1605—Multimedia displays, e.g. with integrated or attached speakers, cameras, microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G06F3/021—Arrangements integrating additional peripherals in a keyboard, e.g. card or barcode reader, optical scanner
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Definitions

  • Input device webcam and screen with voice input function
  • the present invention relates to a manual input device for generating control signals for real and / or virtual objects, a screen and an Internet camera attachment for a computing device.
  • keyboards, mice, trackballs and joysticks are widely used today. They are used to control cursors, mouse pointers etc., for example to navigate through a virtual scene or to move virtual objects that are graphically displayed on a screen. While keyboards and mice need a fixed storage space in order to be operated efficiently, using a touch screen or a touch panel is possible directly to point at objects shown on the screen with your finger without the need for additional space-consuming additional devices on the desk.
  • US-A-5,757,360 discloses an egg-shaped input device for computers which can be moved freely in space by a user's hand, determines its current positions, directions of movement, speeds and accelerations and transmits this kinematic data wirelessly to a computer.
  • An analog movement sequence in the form of a movement pattern is identified, from which movement commands are derived and converted into an animated graphic representation.
  • the movement patterns are then automatically recognized with the aid of a pattern recognition algorithm. Control commands are also generated.
  • the disadvantage of this method is that it cannot be freely specified, since the user's movement sequences, which are recorded by the input device in an analog manner, correspond to corresponding movement sequences of stored movement sequences of an animated graphic representation and can only be represented as such.
  • Input devices which have manually operated force / torque sensors are known, for example, from the patents DE 36 11 336 C2, DE 37 64 287 and EP 0 979 990 A2.
  • a conceivable solution would be the input of the numerical data by means of voice control signals (English: “Voice Control”).
  • voice Control the user must carry an attachment according to the prior art on his head that carries a microphone.
  • This attachment must be worn by the user (English: “headset”).
  • This solution also has ergonomic problems, since on the one hand the user now has to handle a total of four input devices, namely the force / moment sensor, the normal computer mouse, the keyboard and the microphone.
  • the number of connections for example on the back of the computer to which the four devices mentioned are to be connected, is not sufficient, or there are double assignments if at least two of the devices mentioned have the same connection type (e.g. USB, RS 232 C) are required.
  • a manual input device for generating control signals for real and / or virtual objects.
  • the manual input device can not only be used to control computers, but also to control robots. tern or other real objects.
  • a microphone for recording and converting acoustic voice control signals from a user into electrical signals is integrated in the housing of the manual input device.
  • This advantageous embodiment achieves two advantages by means of a single measure: on the one hand, the integration of the microphone into the housing of the manual input device relieves the user of handling an input device.
  • the interface of the input device can also be used for the transmission of acoustic voice control signals or their evaluation. This reduces the number of occupied interfaces on the computer. According to the invention, the avoidance of two disadvantages from the prior art is thus achieved by a single simple measure.
  • a processing unit e.g. an application-specific integrated semiconductor component (ASIC) can be provided, which subjects the output signals from the microphone to an algorithm for automatic speaker identification, speech recognition, analysis and / or interpretation. If a speech recognition algorithm that is independent of the voice of the respective speaker is implemented, the implementation of the automatic speaker identification can be omitted.
  • the manual input device not only transmits acoustically or electrically converted signals to the computing unit, but rather commands which can be processed directly by a computer are conveyed.
  • “voice control” also means the input of (for example numerical) values or texts. Voice control is therefore also to be understood in the sense of “voice input” (input of information and control commands).
  • the manual input device can be, for example, a conventional computer mouse, a force / moment sensor or a keyboard.
  • the voice control function ie the activation of the recording and implementation of acoustic voice control signals by the combination of input device and microphone, can be activated by actuating the manual input device (for example by means of a special key).
  • the manual input device can be operated together with driver software that automatically activates the voice control function (recording and converting acoustic voice control signals) as soon as the manual input device is connected to a connection provided on the computing unit. This is a particularly advantageous solution because, when the input device is connected, not only is it possible to enter the usual control commands (cursor or mouse pointer control, etc.) for the computing unit, but the speech recognition function is also provided at the same time.
  • the voice control activation function can be integrated directly into the driver software that is used to implement the other control signals (cursor or object control). This has the advantage that the user does not have to install two different software packages for the manual input device and the voice control, but rather the control signal function and the voice control function can be installed simultaneously by installing a single driver software.
  • interpreted and processed voice control. signals are transmitted together with the other control commands (for example for cursor control, etc.) to a computing unit via a common wired or wireless interface.
  • the other control commands for example for cursor control, etc.
  • Such an input device is particularly advantageous in the field of CAD, desktop publishing or the like.
  • an Internet camera attachment for a computing device.
  • Such camera attachments are often referred to as webcams.
  • a microphone is integrated in the housing of the Internet camera attachment.
  • a microphone can also be permanently connected to the housing of the webcam or attached to it.
  • the invention relates equally to microphones integrated into the display housing for voice input.
  • Fig. 1 shows a first embodiment in which a microphone for recording and converting acoustic voice control signals into electrical signals, an ASIC for automatic speaker identification, speech recognition, analysis and interpretation as well as a button for manual activation of the voice control function are integrated in the housing of a computer mouse .
  • FIG. 2 shows a second exemplary embodiment, in which a microphone for recording and converting acoustic speech signals into the housing of a computer keyboard.
  • Fig. 3 shows a third embodiment in which in the housing of an Internet
  • Camera attachment (“webcam”), a microphone for recording and converting acoustic voice control signals into electrical signals, an ASIC for automatic speaker identification, speech recognition, analysis and interpretation and a button for manual activation of the voice control function are integrated, and
  • Fig. 4 shows a fourth embodiment in which in the housing of a computer screen, a microphone for recording and converting acoustic voice control signals into electrical signals, an ASIC for automatic Speaker identification, speech recognition, analysis and interpretation and a button for manual activation of the voice control function are integrated.
  • FIGS. 1 to 4 The functions of the assemblies contained in four different exemplary embodiments of the present invention, as shown in FIGS. 1 to 4, are described in more detail below. The meaning of the symbols provided with reference symbols in FIGS. 1 to 4 can be found in the attached list of reference symbols.
  • a computer 7 with a screen 7a, a mouse or a force / moment sensor 1 and a keyboard 1 'as manual input devices for entering control commands and an Internet camera attachment 1 "(English:" webcam ") mapped.
  • This computer 7 represents only one example of an environment in which real and / or virtual objects can be controlled.
  • a CAD program can be installed on the computer 7.
  • the manual input devices 1, 1 'and / or the webcam 1 "are expanded in such a way that they each have an integrated microphone 3, as shown in FIGS. 1 to 4.
  • voice control signals of the user can be recorded , converted into electrical signals and converted into suitable commands for controlling the computer 7 by means of a processing unit 4 (microprocessor), for example an application-specific integrated semiconductor component (ASIC).
  • ASIC 4 subjects the output signals of the microphone 3 to an algorithm for automatic speaker identification (if a speech recognition algorithm that is independent of the voice of the respective speaker is implemented), speech recognition and analysis and interprets them as control signals for the connected computer.
  • the control signals are preferably such that they are related to the configuration / setting or the operation of the input device or the webcam.
  • Settings can be made by language (assignment of the degrees of freedom of the input device, etc.) or functions can be triggered.
  • the driver Software (usually on the computer) for the input device or the webcam a function that enables the evaluation of the voice-controlled control signals.
  • the processor 4 for the speech signal evaluation is preferably arranged in the housing of the input device or the webcam, usually as a separate component separate from the processors for the image signal evaluation or the evaluation of the signals from the input device.
  • the voice signal evaluation can preferably be stored as firmware.
  • the implemented and evaluated commands are then transmitted to the computer 7 via the same interface 8, which is also provided for the transmission of the other control commands via the mouse 1 or the keyboard 1 'for controlling the cursor or the mouse pointer.
  • the voice control function can be activated on the manual input device 1, 1 'by means of a special key - key 5 in the case of the mouse 1 or key 5' in the case of the keyboard 1 '.
  • the driver software for the input device automatically activates the voice control function as soon as the input device 1, 1 'or the webcam 1 "is connected to the corresponding port 6 (for example a USB port 6 or a serial RS 232 port). Interface etc.) of the computer 7.
  • the voice control function or the voice Control activation function can be integrated, which reduces the installation effort for the user. With the connection of the manual input device 1, 1 ', the voice control is also available at the same time.
  • wired interface 8 which serves for the joint transmission of the recognized, linguistically analyzed and interpreted voice control signals converted into electrical signals, together with the other control commands
  • wired interface 8 which serves for the joint transmission of the recognized, linguistically analyzed and interpreted voice control signals converted into electrical signals, together with the other control commands
  • An infrared interface or an interface according to the Bluetooth standard is suitable for this wireless interface.

Abstract

Bei der vorliegenden Erfindung handelt es sich um ein manuelles Eingabegerät (1, 1') zur Erzeugung von Ansteuerungssignalen für reale und/oder virtuelle Objekte. Erfin-dungsgemäss ist in das Gehäuse (2, 2') des manuellen Eingabegerätes ein Mikrofon (3) zur Aufnahme und Umsetzung von akustischen Sprachsteuersignalen eines Benutzers integriert. Auf diese Weise wird der Benutzer von der Handhabung eines Eingabegerä-tes (1, 1') entlastet. Die Schnittstelle (8) des Eingabegerätes (1, 1') zu einem Computer (7) kann dabei auch für die Übertragung von akustischen Sprachsteuersignalen bzw. deren Auswertung verwendet werden. Auf these Weise wird die Anzahl der belegten Anschlüsse (6) des Computers (7) verringert. In dem Gehäuse des manuellen Eingabegerätes (1, 1') kann weiterhin eine Verarbei-tungseinheit (4), wie beispielsweise ein ASIC, vorgesehen sein, der die Ausgangssig-nale des Mikrofons (3) einem Algorithmus zur automatischen Sprecheridentifikation, Spracherkennung, -analyse und/oder -interpretation unterzieht. In diesem Fall werden also von dem manuellen Eingabegerät (1, 1') nicht nur akustisch bzw. elektrisch umge-setzte Signale zu der Recheneinheit (7) hin übertragen, sondern vielmehr direkt von einem Computer (7) verarbeitbare Befehle vermittelt. Das manuelle Eingabegerät (1, 1') kann vorteilhaft zusammen mit einer Treibersoftware betrieben werden, welche eine Sprachsteuerungsfunktion (Aufnahme und Umsetzung von akustischen Sprachsteuersig-nalen) automatisch aktiviert, sobald das manuelle Eingabegerät (1, 1') an einem dazu vorgesehenen Anschluss (6) der Recheneinheit (7) angeschlossen wird. Die Sprachsteuerungs-Aktivierungsfunktion kann dabei direkt in die Treibersoftware integriert werden, welche zur Umsetzung der Ansteuersignale für die Cursor- oder Objektsteuerung vorge-sehen ist. Erfindungsgemäss können die umgesetzten und verarbeiteten Sprachsteuersignale zusammen mit den übrigen Ansteuerbefehlen über eine gemeinsame drahtgebunde-ne oder drahtlose Schnittstelle (8) zu der Recheneinheit (7) übertragen werden.

Description

Eingabegerät, Webcam und Bildschirm mit Spracheingabefunktion
Die vorliegende Erfindung bezieht sich auf ein manuelles Eingabegerät zur Erzeugung von Ansteuersignalen für reale und/oder virtuelle Objekte, einen Bildschirm sowie auf einen Internet-Kameraaufsatz für eine Recheneinrichtung.
KURZBESCHREIBUNG DES STANDES DER TECHNIK
Manuelle Eingabegeräte zur Eingabe von Informationen, wie etwa Tastaturen, Mäuse, Trackballs und Joysticks sind heute weit verbreitet.- Sie werden verwendet, um Positionsmarken (engl.: „Cursors"), Mauszeiger etc. zu steuern, um z.B. durch eine virtuelle Szene navigieren zu können oder virtuelle Objekte, die auf einem Bildschirm grafisch dargestellt werden, zu bewegen. Während Tastaturen und Mäuse eine feste Ablagefläche benötigen, um in effizienter Weise bedient werden zu können, ist es bei Verwendung eines Touchscreens bzw. eines Touch-Panels möglich, direkt auf Objekte, die auf dem Bildschirm abgebildet sind, mit dem Finger zu zeigen, ohne weitere platzraubende- Zusatzgeräte auf dem Schreibtisch zu benötigen.
Nach dem Stand der Technik sind heute verschiedene Lösungen für das Problem der Echtzeit-Bewegungssteuerung virtueller Objekte verfügbar, wobei jede dieser Lösungen für einen speziellen Anwendungszweck optimiert ist. Um einige der wichtigsten dieser Lösungen, welche für das Verständnis der vorliegenden Erfindung von Relevanz sind, ansatzweise erklären zu können, ist es notwendig, kurz auf ihre wichtigsten technischen Merkmale einzugehen.
Eine Möglichkeit zur Echtzeit-Bewegungssteuerung virtueller Objekte hat sich in letzter Zeit durch die Entwicklung von Eingabegeräten für Computer ergeben, die die gleichzeitige Eingabe von Ansteuersignalen mehrerer, voneinander unabhängiger Freiheitsgrade ermöglichen. Die dadurch geschaffenen Möglichkeiten übersteigen bei weitem diejenigen, die beispielsweise bei der Verwendung einer Maus bestehen, die lediglich zweidimensio- nal (z.B. auf der Ablagefläche eines Schreibtischs) gesteuert werden kann. Zwar ist es auch bekannt, eine Maus beispielsweise mit zusätzlichen Schaltern zu versehen, indessen haben diese Schalter den Nachteil, dass sie nicht die Eingabe von Analogdaten ermögli- chen, sondern vielmehr auf Binärdaten (Ein/ Aus) beschränkt sind.
Aus dem Stand der Technik sind auch verschiedene Eingabegeräte bekannt, die analoge Ansteuersignale mit verschiedenen, voneinander unabhängigen Freiheitsgraden erzeugen können, wobei jedes dieser Analogsignale somit als Parameterwert bei einer Steuerung virtueller Objekte verwendet werden kann. Derartige manuell steuerbare Eingabesysteme, die eine Navigation in drei Dimensionen erlauben, werden heute in einer Reihe der unterschiedlichsten technischen Anwendungsfelder erfolgreich eingesetzt.
Beispielsweise ist aus der Patentschrift US-A-5,757,360 ein eiförmiges Eingabegerät für Computer bekannt, das durch eine Hand des Benutzers frei im Raum bewegt werden kann, seine momentanen Positionen, Bewegungsrichtungen, Geschwindigkeiten und Beschleunigungen ermittelt und diese kinematischen Daten drahtlos zu einem Computer überträgt. Dabei wird ein analoger Bewegungsablauf in Form eines Bewegungsmusters identifiziert, woraus Bewegungsbefehle abgeleitet und in eine animierte Grafikdarstellung umgesetzt werden. Die Bewegungsmuster werden dann mit Hilfe eines- Mustererken- nungsalgorithmus automatisch erkannt. Überdies werden Steuerbefehle erzeugt. Der Nachteil dieses Verfahrens besteht darin, dass es nicht frei spezifizierbar ist, da Bewegungsabläufe des Benutzers, die durch das Eingabegerät analog erfasst werden, korrespondierenden Bewegungsabläufen von gespeicherten Bewegungssequenzen einer ani- mierten Grafikdarstellung zugeordnet werden und nur als solche dargestellt werden können.
Eingabegeräte, die über manuell zu betätigende Kraft-/Momenten-Sensoren verfügen, sind beispielsweise aus den Patentschriften DE 36 11 336 C2, DE 37 64 287 sowie EP 0 979 990 A2 bekannt.
Aus der zuletzt genannten europäischen Patentschrift EP 0 979 990 A2 ist bekannt, einen derartigen Kraft-/Momenten-Sensor zum Steuern von Bedienelementen eines realen oder virtuellen Misch- bzw. Steuerpults zu verwenden, beispielsweise um neuartige Färb-, Licht- und/oder Tonkompositionen zu kreieren und zu gestalten. Hierbei kann in vorteilhafter Weise die intuitive räumliche Steuerung in drei translatorischen sowie drei ro- tatorischen Freiheitsgraden auf ein stufenloses räumliches Mischen oder Steuern einer großen Anzahl von optischen und/oder akustischen Parametern übertragen werden. Zur Steuerung wird auf die Bedienoberfläche des Eingabegeräts ein Druck ausgeübt und dadurch ein Impuls erzeugt, der mit Hilfe des Kraft-/Momenten-Sensors erfasst und in ein aus einem Kraft- und einem Momentenvektor bestehendes Vektorpaar umgesetzt wird. Werden dabei bestimmte charakteristische Impulsvorgaben erfüllt, kann beispielsweise eine objektspezifische Steueroperation und/oder eine technische Funktion durch Schalten in einen Aktivierungszustand ausgelöst bzw. durch Schalten in einen Deakti- vierungszustand wieder beendet werden.
Aus dieser Druckschrift ist weiterhin bekannt, den besagten Kraft-/Momenten-Sensor als Bedienelement eines 3D-Eingabegeräts seitlich an einem Touchscreen anzubringen, so dass die Längsachse des Bedienelements parallel zu der Anzeige- und Bedienfläche des Touchscreens liegt. Damit ist jedoch der Nachteil verbunden, das die Blickrichtung auf den Touchscreen nicht mit der Längsachse des Bedienelements zusammenfällt. Das hat zur Folge, dass die Hand-Augen-Koordination des Benutzers erschwert wird, da die Richtungen von Steuerbewegungen des Bedienelements und angezeigten Objektbewegungen auf dem Bildschirm bei ungünstiger Achsenbelegung des Bedienelements nicht übereinstimmen.
Bei der Verwendung von dreidimensionalen Eingabegeräten, wie beispielsweise Kraft-/ Momentensensoren, im Bereich von CAD- Anwendungen (engl.: „Computer- Aided Design") ist die Arbeitsweise weit verbreitet, dass der Benutzer in der einen Hand das dreidimensionale Eingabegerät und mit der anderen Hand eine normale Computermaus (zweidimensionale Computermaus) bedient. Gleichzeitig ist es für die Ausführung von CAD-Tätigkeiten typisch, dass an bestimmten Stellen des bearbeiteten Objekts numeri- sehe Eingaben (Maßangaben etc.) getätigt werden müssen.
Bei der oben angesprochenen zweihändigen Arbeitsweise im CAD-Bereich tritt dann also das Problem auf, dass der Benutzer die Hand von einem der genannten Eingaberäte lösen muss, um beispielsweise mittels einer Tastatur die Eingabe numerischer Information oder von (Shortcut-)Befehlen auszuführen. Danach muss die Hand von der Tastatur wiederum zu dem Eingabegerät zurückgeführt werden. Es ist offensichtlich, dass dieser Wechsel der Handposition Störungen des Arbeitsablaufs mit sich bringt, insbesondere wenn man be- rücksichtigt, dass der Blick des Benutzers nach Möglichkeit nicht von der Bildschirmoberfläche abgelenkt werden soll.
Eine denkbare Lösung wäre die Eingabe der numerischen Daten mittels Sprachsteuersignalen (engl.: „Voice Control"). Hierzu muss der Benutzer gemäß dem Stand der Technik auf seinem Kopf einen Aufsatz tragen, der ein Mikrofon trägt. Dieser Aufsatz muss von dem Benutzer getragen werden (engl.: „Headset"). Auch diese Lösung weist ergonomi- sche Probleme auf, da einerseits nunmehr der Benutzer insgesamt vier Eingabegeräte, nämlich den Kraft-/Momentensensor, die normale Computermaus, die Tastatur und das Mikrofon handhaben muss. Darüber hinaus kann auch das Problem auftreten, dass die Anzahl der Anschlüsse beispielsweise auf der Rückseite des Computers, an dem die genannten vier Geräte angeschlossen werden sollen, nicht ausreichend sind, oder aber Doppelbelegungen vorkommen, falls wenigstens zwei der genannten Geräte den selben Anschlusstyp (z.B. USB, RS 232 C) benötigen.
AUFGABE DER VORLIEGENDEN ERFINDUNG ■ . ... .
Es ist daher Aufgabe der vorliegenden Erfindung, die obigen Probleme durch entsprechende konstruktive Änderungen seitens eines manuellen Eingabegerätes zu lösen.
Diese Aufgabe wird erfindungsgemäß durch die Merkmale der unabhängigen Ansprüchen gelöst. Die abhängigen Ansprüche bilden den zentralen Gedanken der Erfindung in besonders vorteilhafter Weise weiter.
ZUSAMMENFASSENDE DARSTELLUNG DER VORLIEGENDEN ERFINDUNG
Erfindungsgemäß ist ein manuelles Eingabegerät zur Erzeugung von Ansteuerungssigna- len für reale und/oder virtuelle Objekte vorgesehen. Das manuelle Eingabegerät kann somit nicht nur zur Ansteuerung von Computern, sondern auch zur Ansteuerung von Robo- tern oder anderen realen Objekten verwendet werden. Erfindungsgemäß ist in das Gehäuse des manuellen Eingabegerätes ein Mikrofon zur Aufnahme und Umsetzung von akustischen Sprachsteuersignalen eines Benutzers in elektrische Signale integriert. Durch diese vorteilhafte Ausfuhrungsform werden mittels einer einzigen Maßnahme zwei Vorteile er- zielt: Einerseits wird der Benutzer durch die Integration des Mikrofons in das Gehäuse des manuellen Eingabegerätes von der Handhabung eines Eingabegerätes entlastet. Andererseits kann die Schnittstelle des Eingabegerätes auch für die Übertragung von akustischen Sprachsteuersignalen bzw. deren Auswertung verwendet werden. Somit wird die Anzahl der belegten Schnittstellen des Computers verringert. Erfindungsgemäß wird so- mit also durch eine einzige einfache Maßnahme die Vermeidung zweier Nachteile aus dem Stand der Technik erreicht.
In dem Gehäuse des manuellen Eingabegerätes kann weiterhin eine Verarbeitungseinheit, z.B. ein anwendungsspezifischer integrierter Halbleiterbaustein (ASIC), vorgesehen sein, der die Ausgangssignale von dem Mikrofon einem Algorithmus zur automatischen Sprecheridentifikation, Spracherkennung, -analyse und/oder -interpretation unterzieht. Wird dabei ein von der Stimme des jeweiligen Sprechers unabhängiger Spracherkennungsalgo- rithmus realisiert, kann die Implementierung der automatischen Sprecheridentifikation entfallen. Von dem manuellen Eingabegerät werden also nicht nur akustisch bzw. elek- irisch umgesetzte Signale zu der Recheneinheit hin übertragen, sondern vielmehr direkt von einem Computer verarbeitbare Befehle vermittelt. Unter „Sprachsteuerung" ist im Übrigen auch die Eingabe von (beispielsweise numerischen) Werten oder Texten zu verstehen. Sprachsteuerung ist also auch im Sinne von „Spracheingabe" (Eingabe von Informationen und Steuerbefehlen) zu verstehen.
Das manuelle Eingabegerät kann beispielsweise eine herkömmliche Computermaus, ein Kraft-/Momentensensor oder eine Tastatur sein.
Die Sprachsteuerungsfunktion, d.h. die Aktivierung der Aufnahme und Umsetzung von akustischen Sprachsteuersignalen durch die Kombination aus Eingabegerät und Mikrofon kann dabei durch Betätigung des manuellen Eingabegerätes (z.B. mittels einer speziellen Taste) aktivierbar sein. Das manuelle Eingabegerät kann zusammen mit einer Treibersoftware betrieben werden, welche die Sprachsteuerungsfunktion (Aufnahme und Umsetzung von akustischen Sprachsteuersignalen) automatisch aktiviert, sobald das manuelle Eingabegerät an einem dafür vorgesehenen Anschluss der Recheneinheit angeschlossen wird. Dies stellt eine be- sonders vorteilhafte Lösung dar, weil zusammen mit dem Anschließen des Eingabegerätes nicht nur die Eingabe von üblichen AnSteuerbefehlen (Cursor- bzw. Mauszeigersteuerung etc.) für die Recheneinheit ermöglicht wird, sondern gleichzeitig auch die Spracherken- nungsfunktion bereitgestellt wird.
Die Sprachsteuerungs- Aktivierungsfunktion kann dabei direkt in die Treibersoftware integriert werden, die zur Umsetzung der übrigen Ansteuersignale (Cursor- oder Objektsteuerung) vorgesehen ist. Dies hat den Vorteil, dass der Benutzer nicht zwei verschiedene Softwarepakete für das manuelle Eingabegerät und die Sprachsteuerung installieren muss, sondern vielmehr durch die Installation einer einzigen Treibersoftware gleichzeitig die Ansteuersignalfunktion wie auch die Sprachsteuerungsfunktion installiert werden kann.
Erfindungsgemäß können die umgesetzten, interpretierten und verarbeiteten Sprachsteuer- . signale zusammen mit den übrigen AnSteuerbefehlen (beispielsweise für die Cursorsteue- rung, etc.) über eine gemeinsame drahtgebundene oder drahtlose Schnittstelle zu einer - Recheneinheit übertragen werden. Somit wird erfindungsgemäß nicht eine zusätzliche Schnittstelle für die Übertragung der aufgenommenen und in vom Computer ausführbare Befehle umgesetzten akustischen Sprachsteuersignale benötigt, wodurch, wie bereits oben ausgeführt, die Anzahl der Schnittstellen reduziert wird. Ein solches Eingabegerät ist ins- besondere im Bereich CAD, Desktop Publishing oder dergleichen vorteilhaft.
Gemäß einem noch weiteren Aspekt der vorliegenden Erfindung ist ein Internet-Kameraaufsatz für eine Recheneinrichtung vorgesehen. Derartige Kameraaufsätze werden oft auch als Webcams bezeichnet. Erfindungsgemäß ist in das Gehäuse des Internet- Kameraaufsatzes ein Mikrofon integriert. Alternativ kann auch ein Mikrofon fest mit dem Gehäuse der Webcam verbunden sein bzw. an diesem angebracht sein. Die Erfindung bezieht sich gleichermaßen auf in Bildschirmgehäuse integrierte Mikrofone zur Spracheingabe.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Weitere Eigenschaften, Merkmale, Vorteile und Zweckmäßigkeiten der zugrunde liegenden Erfindung ergeben sich aus den untergeordneten abhängigen Ansprüchen sowie aus der folgenden, detaillierten Beschreibung von vier verschiedenen Ausführungsbeispielen zur Erzeugung von Steuersignalen für die Echtzeit-Bewegungssteuerung von realen bzw. virtuellen Objekten, welche in den folgenden Zeichnungen abgebildet sind. Dabei zeigt
Fig. 1 ein erstes Ausführungsbeispiel, bei dem in das Gehäuse einer Computermaus ein Mikrofon zur Aufnahme und Umsetzung von akustischen Sprachsteuersignalen in elektrische Signale, ein ASIC zur automatischen Sprecheridentifikation, Spracherkennung, -analyse und -Interpretation sowie eine Taste zur manuellen Aktivierung der Sprachsteuerungsfunktion integriert sind,
Fig. 2 ein zweites Ausführungsbeispiel, bei dem in das Gehäuse einer Computertastatur ein Mikrofon zur Aufnahme und Umsetzung von akustischen Sprach-
■ ■ - • - ■ Steuersignalen in elektrische Signale, ein ASIC zur automatischen Sprecheri-- dentifikation, Spracherkennung, -analyse und -interpretation und eine Taste zur manuellen Aktivierung der Sprachsteuerungsfunktion integriert sind,
Fig. 3 ein drittes Ausführungsbeispiel, bei dem in das Gehäuse eines Internet-
Kameraaufsatzes (engl.: „Webcam") ein Mikrofon zur Aufnahme und Umsetzung von akustischen Sprachsteuersignalen in elektrische Signale, ein ASIC zur automatischen Sprecheridentifikation, Spracherkennung, -analyse und -interpretation und eine Taste zur manuellen Aktivierung der Sprachsteuerungsfunktion integriert sind, und
Fig. 4 ein viertes Ausführungsbeispiel, bei dem in das Gehäuse eines Computerbildschirms ein Mikrofon zur Aufnahme und Umsetzung von akustischen Sprachsteuersignalen in elektrische Signale, ein ASIC zur automatischen Sprecheridentifikation, Spracherkennung, -analyse und -interpretation und eine Taste zur manuellen Aktivierung der Sprachsteuerungsfunktion integriert sind.
DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
Im Folgenden werden die Funktionen der in vier verschiedenen Ausführungsbeispielen der vorliegenden Erfindung enthaltenen Baugruppen, wie in den Figuren 1 bis 4 abgebildet, näher beschrieben. Die Bedeutung der mit Bezugszeichen versehenen Symbole in den Figuren 1 bis 4 kann der beigefügten Bezugszeichenliste entnommen werden.
In Fig. 1 bis 4 ist ein Computer 7 mit einem Bildschirm 7a, einer Maus bzw. einem Kraft- /Momentensensor 1 sowie einer Tastatur 1' als manuellen Eingabegeräten zur Eingabe von Steuerbefehlen und einem Internet-Kameraaufsatz 1 " (engl.: „Webcam") abgebildet. Dieser Computer 7 stellt nur ein Beispiel für eine Umgebung dar, in der reale und/oder virtuelle Objekte angesteuert werden können. Zum Beispiel kann auf dem Computer 7 ein CAD-Programm installiert sein.
Erfindungsgemäß sind die manuellen Eingabegeräte 1, 1 ' und/oder die Webcam 1" dahingehend erweitert, das sie, wie in Fig. 1 bis 4 abgebildet, jeweils ein integriertes Mikro-' fon 3 aufweisen. Mittels dieses Mikrofons 3 können Sprachsteuersignale des Benutzers aufgenommen, in elektrische Signale umgesetzt und mittels einer Verarbeitungseinheit 4 (Mikroprozessor), z.B. einem anwendungsspezifischen integrierten Halbleiterbaustein (ASIC), in geeignete Befehle zur Ansteuerung des Computers 7 umgesetzt werden. Der ASIC 4 unterzieht die Ausgangssignale des Mikrofons 3 einem Algorithmus zur automatischen Sprecheridentifikation (sofern nicht ein von der Stimme des jeweiligen Sprechers unabhängiger Spracherkennungsalgorithmus implementiert ist), Spracherkennung und - analyse und interpretiert sie als Steuersignale für den angeschlossenen Rechner.
Vorzugsweise sind die Steuersignale derart, dass sie mit der Konfiguration/Einstellung oder dem Betrieb des Eingabegeräts oder der Webcam zusammenhängen. Es können also per Sprache Einstellungen (Belegung der Freiheitsgrade des Eingabegeräts etc.) vorge- nommen werden oder Funktionen ausgelöst werden. In diesem Fall hat die Treiber- Software (üblicherweise auf dem Rechner) für das Eingabegerät bzw. die Webcam eine Funktion, die die Auswertung der sprachgesteurten Steuersignale ermöglicht.
Der Prozessor 4 für die Sprachsignalauswertung ist dabei vorzugsweise in dem Gehäuse des Eingabegeräts bzw. der Webcam angeordnet, üblicherweise als eigener Baustein separat zu den Prozessoren für die Bildsignalauswertung bzw. die Auswertung der Signale von dem Eingabegerät. Vorzugsweise kann die Sprachsignalauswertung als Firmware hinterlegt sein.
Die umgesetzten und ausgewerteten Befehle werden dann über dieselbe Schnittstelle 8 zu dem Computer 7 hin übertragen, welche auch für die Übertragung der übrigen Ansteuer- befehle über die Maus 1 bzw. die Tastatur 1 ' zur Steuerung des Cursors bzw. des Mauszeigers vorgesehen ist.
Somit wird vorteilhafterweise für die Eingabe der Sprachsteuersignale und die Eingabe der übrigen Ansteuerbefehle nur ein einziger (bspw. USB-)Anschluss 6 des Computers 7 belegt. Die Umsetzung der Sprachsteuersignale in vom Computer 7 ausführbare Steuerbefehle kann natürlich auch im Computer 7 selbst erfolgen. In diesem Fall werden (digitalisierte) Sprachsignale über die Schnittstelle 8 übertragen. - ■ • •
Auf dem manuellen Eingabegerät 1, 1' kann die Sprachsteuerungsfunktion mittels einer speziellen Taste - Taste 5 im Falle der Maus 1 bzw. Taste 5' im Falle der Tastatur 1' - aktiviert werden.
Im übrigen ist es auch möglich, die Funktion der Maus 1 mittels Sprachbefehlen aktiv zu schalten („aufzuwecken"), was ein Beispiels dafür ist, wie Sprachbefehle für die Funktion eines Eingabegeräts spezifisch verwendet werden können
Im Übrigen ist es auch vorteilhaft, wenn die Treibersoftware für das Eingabegerät die Sprachsteuerungsfunktion automatisch aktiviert, sobald das Eingabegerät 1, 1 ' bzw. die Webcam 1" an den entsprechenden Anschluss 6 (z.B. einen USB-Anschluss 6 bzw. eine serielle RS 232-Schnittstelle etc.) des Computers 7 angeschlossen wird. Insbesondere kann in die Treibersoftware bereits die Sprachsteuerungsfunktion bzw. die Sprach- steue ngs-Aktivierungsfunktion integriert sein, was den Installationsaufwand für den Benutzer verringert. Mit dem Anschluss des manuellen Eingabegerätes 1, 1 ' steht dann gleichzeitig auch die Sprachsteuerung bereit.
Anstelle der in Fig. 1 bis 4 dargestellten, drahtgebundenen Schnittstelle 8, welche zur gemeinsamen Übertragung der in elektrische Signale umgesetzten, erkannten, sprachlich analysierten und interpretierten Sprachsteuersignale zusammen mit den übrigen Ansteuer- befehlen dient, kann selbstverständlich auch eine aus dem Stand der Technik bekannte drahtlose Schnittstelle verwendet werden. Für diese drahtlose Schnittstelle eignet sich u.a. eine Infrarot-Schnittstelle oder eine Schnittstelle nach dem Bluetooth-Standard.
3DConnexion GmbH P 26028 DE
Bezugszeichenliste
Figure imgf000013_0001
u \dokumente\DrufunαsvGrfahrfin\iihGrarbeιtetefremdanmeldunαen\D26028de eiπαabeαprat phramunrimnnitnrmit nrarhpiπ
Figure imgf000014_0001
Nr. | Technische Funktions- bzw. Systemkomponente
X dreidimensionale Ansicht des manuellen Eingabegeräts 1 und der Basisplatte lc mit einem 3 D-Koordinatensystem, in dem die sechs Freiheitsgrade
x, y, z [m] und φx, <py, φz [rad]
des manuellen Eingabegeräts 1 sowie deren erste und zweite zeitliche Ableitungen
x, y , z [ms1] und φx, φy, φz [rads1] sowie x, y, ϊ [m-s-2] und φx, φ φz [rad-s2]
eingezeichnet sind

Claims

Ansprüche
1. Manuelles Eingabegerät zur Erzeugung von Steuersignalen für die Echtzeit-Bewegungssteuerung von realen und/oder mit Hilfe einer Anzeigevorrichtung (7a) grafisch vi- sualisierten virtuellen Objekten, dadurch gekennzeichnet, dass in das Gehäuse (2, 2') des manuellen Eingabegeräts (1, 1') ein Mikrofon (3) zur Aufnahme und Umsetzung von akustischen Sprachsteuersignalen in elektrische Signale integriert ist.
2. Manuelles Eingabegerät nach Anspruch 1, dadurch gekennzeichnet, dass in das Gehäuse (2, 2') weiterhin eine Verarbeitungseinheit (4) integriert ist, die Ausgangssignale des Mikrofons (3) einem Algorithmus zur automatischen Sprecheridentifi- kation, Spracherkennung und -analyse unterzieht und als Steuersignale für die Echtzeit- Bewegung mindestens eines der grafisch visualisierten Objekte interpretiert.
3. Manuelles Eingabegerät nach Anspruch 2, dadurch gekennzeichnet, dass die Verarbeitungseinheit (4) als anwendungsspezifischer integrierter Halbleiterbaustein (ASIC) ausgeführt ist.
4. Manuelles Eingabegerät nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass es sich dabei um eine Computermaus bzw. einen Kraft- Momentensensor (1) oder um eine Tastatur (1') handelt.
5. Manuelles Eingabegerät nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Sprachsteuerungsfunktion durch Betätigung (5, 5') des manuellen Eingabegeräts
(1, 1 ') aktivierbar ist.
6. Manuelles Eingabegerät nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine Treibersoftware, welche die Sprachsteuerungsfunktion automatisch aktiviert, sobald das Eingabegerät (1, 1') an einem Anschluss (6) einer Recheneinheit (7) angeschlossen wird.
7. Manuelles Eingabegerät nach Anspruch 6, dadurch gekennzeichnet, dass die Funktion zur automatischen Aktivierung der Sprachsteuerungsfunktion in die Treibersoftware integriert ist, die zur Umsetzung der übrigen Ansteuersignale mittels Computermaus (1) und Tastatur (1 ') vorgesehen ist.
8. Manuelles Eingabegerät nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die in elektrische Signale umgesetzten, erkannten, sprachlich analysierten und inter- pretierten Sprachsteuersignale zusammen mit den übrigen AnSteuerbefehlen über eine gemeinsame drahtgebundene oder drahtlose Schnittstelle (8) zu einer Recheneinheit (7) übertragen werden.
9. Internet-Kameraaufsatz für eine Recheneinrichtung (7) zur Echtzeit-Bewegungssteue- rung von realen und/oder mit Hilfe einer Anzeigevorrichtung (7a) grafisch visualisierten virtuellen Objekten, dadurch gekennzeichnet, dass in das Gehäuse (2") des Internet-Kameraaufsatzes (1 ") zur Aufnahme und Umsetzung von akustischen Sprachsteuersignalen in elektrische Signale ein Mikrofon (3) inte- griert bzw. ein Mikrofon (3) fest an dem Gehäuse (2") angebracht ist.
10. Internet-Kameraaufsatz nach Anspruch 9, dadurch gekennzeichnet, dass in sein Gehäuse (2") weiterhin eine Verarbeitungseinheit (4) integriert ist, die Ausgangssignale des Mikrofons (3) einem Algorithmus zur automatischen Sprecheridentifikation, Spracherkennung und -analyse unterzieht und als Steuersignale für die Echtzeit- Bewegung mindestens eines der grafisch visualisierten Objekte interpretiert.
11. Internet-Kameraaufsatz nach Anspruch 10, dadurch gekennzeichnet, dass die Verarbeitungseinheit (4) als anwendungsspezifischer integrierter Halbleiterbaustein (ASIC) ausgeführt ist.
12. Internet-Kameraaufsatz nach einem der Ansprüche 9 bis 11, dadurch gekennzeichnet, dass die Sprachsteuerungsfunktion durch Betätigung einer im Gehäuse (2") des Internet- Kameraaufsatzes (1") integrierten Taste (5") aktivierbar ist.
13. Internet-Kameraaufsatz nach einem der Ansprüche 9 bis 12, gekennzeichnet durch eine Treibersoftware, welche die Sprachsteuerungsfunktion automatisch aktiviert, sobald der Internet-Kameraaufsatz (1 ") an einem Anschluss (6) der Recheneinheit (7) ange- schlössen wird. ••
14. Internet-Kameraaufsatz nach einem der Ansprüche 9 bis 13, dadurch gekennzeichnet, dass die Funktion zur automatischen Aktivierung der Sprachsteuerangsfunktion in die Treibersoftware integriert ist, die zur Umsetzung der übrigen Ansteuersignale vorgesehen ist.
15. Internet-Kameraaufsatz nach einem der Ansprüche 9 bis 14, dadurch gekennzeichnet, dass die in elektrische Signale umgesetzten, erkannten, sprachlich analysierten und interpretierten Sprachsteuersignale zusammen mit den übrigen AnSteuerbefehlen über eine gemeinsame drahtgebundene oder drahtlose Schnittstelle (8) zu der Recheneinheit (7) übertragen werden.
16. Anzeigevorrichtung für eine Recheneinrichtung (7) zur grafischen Visualisierung der Echtzeit-Bewegungssteuerung von realen und/oder virtuellen Objekten, dadurch gekennzeichnet, 5 dass in das Gehäuse (2'") der Anzeigevorrichtung (7a) ein Mikrofon (3) integriert bzw. ein Mikrofon (3) fest an ihrem Gehäuse (2'") angebracht ist.
17. Anzeigevorrichtung nach Anspruch 16, dadurch gekennzeichnet,
• 10 dass in ihr Gehäuse (2'") weiterhin eine Verarbeitungseinheit (4) integriert ist, die Ausgangssignale des Mikrofons (3) einem Algorithmus zur automatischen Sprecheridentifikation, Spracherkennung und -analyse unterzieht und als Steuersignale für die Echtzeit- Bewegung mindestens eines der grafisch visualisierten Objekte interpretiert.
15 18. Anzeigevorrichtung nach Anspruch 17, dadurch gekennzeichnet, dass die Verarbeitungseinheit (4) als anwendungsspezifischer integrierter Halbleiterbaustein (ASIC) ausgeführt ist.
20 19. Anzeigevorrichtung nach einem der Ansprüche 16 bis 18, dadurch gekennzeichnet, dass die Sprachsteuerungsfunktion durch Betätigung einer im Gehäuse (2'") der Anzeigevorrichtung (7a) integrierten Taste (5"') aktivierbar ist.
25 20. Anzeigevorrichtung nach einem der Ansprüche 16 bis 19, gekennzeichnet durch eine Treibersoftware, welche die Sprachsteuerungsfunktion automatisch aktiviert, sobald die Anzeigevorrichtung (7a) an einem Anschluss (6) einer Recheneinheit (7) angeschlossen wird.
30
21. Anzeigevorrichtung nach Anspruch 20, dadurch gekennzeichnet, dass die Funktion zur automatischen Aktivierung der Sprachsteuerungsfunktion in die Treibersoftware integriert ist, die zur Umsetzung der übrigen Ansteuersignale mittels Computermaus (1) und Tastatur (1 ') vorgesehen ist.
22. Anzeigevorrichtung nach einem der Ansprüche 16 bis 21, dadurch gekennzeichnet, dass die in elektrische Signale umgesetzten, erkannten, sprachlich analysierten und interpretierten Sprachsteuersignale zusammen mit den übrigen AnSteuerbefehlen über eine gemeinsame drahtgebundene oder drahtlose Schnittstelle (8) zu einer Recheneinheit (7) übertragen werden. ^
23. Verwendung eines manuellen Eingabegerätes (1, 1 ') nach einem der Ansprüche 1 bis 8 in Kombination mit einem CAD-Programm.
24. Verwendung eines manuellen Eingabegerätes (1 , 1 ') nach einem der Ansprüche 1 bis 8 in Kombination mit einem Desktop Publishing-Programm.
25. Verwendung eines Intemet-Kameraaufsatzes (1 ") nach einem der Ansprüche 9 bis 15 in Kombination mit einem CAD-Programm. . . .
26. Verwendung eines Intemet-Kameraaufsatzes (1") nach einem der Ansprüche 9 bis 15 in Kombination mit einem Desktop Publishing-Programm.
27. Verwendung einer Anzeigevorrichtung nach einem der Ansprüche 16 bis 22 in Kom- bination mit einem CAD-Programm.
28. Verwendung einer Anzeigevorrichtung nach einem der Ansprüche 16 bis 22 in Kombination mit einem Desktop Publishing-Programm.
PCT/EP2002/012918 2001-11-16 2002-11-18 Eingabegerät, webcam und bildschirm mit spracheingabefunktion WO2003042802A2 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP02787724A EP1444566A2 (de) 2001-11-16 2002-11-18 Eingabegerät, webcam und bildschirm mit spracheingabefunktion
US10/450,088 US20040080622A1 (en) 2001-11-16 2002-11-18 Input device, webcam and screen having a voice input function
AU2002352051A AU2002352051A1 (en) 2001-11-16 2002-11-18 Input device, webcam and screen having a voice input function

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10156457 2001-11-16
DE10156457.0 2001-11-16

Publications (2)

Publication Number Publication Date
WO2003042802A2 true WO2003042802A2 (de) 2003-05-22
WO2003042802A3 WO2003042802A3 (de) 2004-04-01

Family

ID=7706059

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2002/012918 WO2003042802A2 (de) 2001-11-16 2002-11-18 Eingabegerät, webcam und bildschirm mit spracheingabefunktion

Country Status (4)

Country Link
US (1) US20040080622A1 (de)
EP (1) EP1444566A2 (de)
AU (1) AU2002352051A1 (de)
WO (1) WO2003042802A2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107204188A (zh) * 2017-06-13 2017-09-26 大连东软信息学院 电脑语音助手装置及其工作方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070109410A1 (en) * 2005-11-15 2007-05-17 Creative Technology Ltd. Apparatus for audio reproduction and image capturing
US7949536B2 (en) * 2006-08-31 2011-05-24 Microsoft Corporation Intelligent speech recognition of incomplete phrases
KR101115467B1 (ko) * 2009-09-30 2012-02-24 주식회사 팬택 가상 키보드 제공 단말 및 그 방법
US9557828B2 (en) 2010-10-15 2017-01-31 Zuken Inc. Input information processing system, input information processing method, program and computer-readable recording medium
US10430212B1 (en) * 2016-07-13 2019-10-01 Screenshare Technology Ltd. Method for recording, editing and reproduction of computer session
CN110308747B (zh) * 2019-06-26 2022-05-31 西南民族大学 一种基于机器视觉的电子式全自动计算机操作装置
TWI812973B (zh) * 2021-07-02 2023-08-21 矽統科技股份有限公司 觸控系統及其感測方法與主動筆

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0538794A1 (de) * 1991-10-21 1993-04-28 Microsoft Corporation Rechnermaus- und Mikrofon-Kombination und Anwendungsverfahren
US5339095A (en) * 1991-12-05 1994-08-16 Tv Interactive Data Corporation Multi-media pointing device
EP0762751A2 (de) * 1995-08-24 1997-03-12 Hitachi, Ltd. Fernsehempfänger
EP0836324A2 (de) * 1996-10-09 1998-04-15 PictureTel Corporation Integrierte tragbare Videokonferenzvorrichtung
WO2000008593A2 (de) * 1998-08-07 2000-02-17 Thomas Teufel Kombi-maus
WO2001040893A2 (en) * 1999-12-03 2001-06-07 Cyberscan Technology, Inc. Method, system and apparatus for electronic face-to-face business and retail brokerage

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5757360A (en) * 1995-05-03 1998-05-26 Mitsubishi Electric Information Technology Center America, Inc. Hand held computer control device
US6026417A (en) * 1997-05-02 2000-02-15 Microsoft Corporation Desktop publishing software for automatically changing the layout of content-filled documents
US6489947B2 (en) * 1997-08-15 2002-12-03 Ergodevices Corp. Ergonomic dual-section computer-pointing device
FR2783625B1 (fr) * 1998-09-21 2000-10-13 Thomson Multimedia Sa Systeme comprenant un appareil telecommande et un dispositif de telecommande vocale de l'appareil
US6348912B1 (en) * 1999-05-25 2002-02-19 Micron Technology, Inc. Family mouse
US20010012998A1 (en) * 1999-12-17 2001-08-09 Pierrick Jouet Voice recognition process and device, associated remote control device
US6611725B1 (en) * 2000-02-03 2003-08-26 Solidworks Corporation Computer drawing system
US6859358B2 (en) * 2001-09-14 2005-02-22 International Business Machines Corporation Sub-notebook portable computer with integrated wireless mobile telephone

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0538794A1 (de) * 1991-10-21 1993-04-28 Microsoft Corporation Rechnermaus- und Mikrofon-Kombination und Anwendungsverfahren
US5339095A (en) * 1991-12-05 1994-08-16 Tv Interactive Data Corporation Multi-media pointing device
EP0762751A2 (de) * 1995-08-24 1997-03-12 Hitachi, Ltd. Fernsehempfänger
EP0836324A2 (de) * 1996-10-09 1998-04-15 PictureTel Corporation Integrierte tragbare Videokonferenzvorrichtung
WO2000008593A2 (de) * 1998-08-07 2000-02-17 Thomas Teufel Kombi-maus
WO2001040893A2 (en) * 1999-12-03 2001-06-07 Cyberscan Technology, Inc. Method, system and apparatus for electronic face-to-face business and retail brokerage

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"MOUSE WITH EARS" RESEARCH DISCLOSURE, KENNETH MASON PUBLICATIONS, HAMPSHIRE, GB, Nr. 332, 1. Dezember 1991 (1991-12-01), Seite 908, XP000274613 ISSN: 0374-4353 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107204188A (zh) * 2017-06-13 2017-09-26 大连东软信息学院 电脑语音助手装置及其工作方法

Also Published As

Publication number Publication date
US20040080622A1 (en) 2004-04-29
AU2002352051A1 (en) 2003-05-26
EP1444566A2 (de) 2004-08-11
WO2003042802A3 (de) 2004-04-01

Similar Documents

Publication Publication Date Title
EP1428110B1 (de) 3d-eingabegerät mit integriertem touchscreen
DE10004372B4 (de) Gestaltung von Kraftempfindungen für Computeranwendungen mit Geräuschen
EP2130109B1 (de) Mobiles kommunikationsgerät und eingabeeinrichtung hierfür
EP2761399B1 (de) Datenhandschuh mit taktiler rückinformation und verfahren
EP1362281B1 (de) Anwendergesteuerte verknüpfung von informationen innerhalb eines augmented-reality-systems
DE112017004677T5 (de) Berührungsempfindliche Tastatur
DE102008061039A1 (de) Verfahren zur optischen Multitouchsteuerung für grafische Benutzerschnittstelle
DE102009014555A1 (de) Verfahren zum Unterstützen der Steuerung der Bewegung eines Positionsanzeigers mittels eines Tastfelds
DE112012003889T5 (de) Verfahren, Vorrichtung und Computerprogramm, die zum Zeigen auf ein Objekt dienen
DE10056291A1 (de) Verfahren zur visuellen Darstellung und interaktiven Steuerung von virtuellen Objekten auf einem Ausgabe-Sichtfeld
WO2003023592A2 (de) Desktopmanager
DE102013216152A1 (de) Ultraschallkopf mit Steuerungseinrichtung sowie Verfahren zur Steuerung eines Ultraschallgeräts
EP1573502A2 (de) Schnell-eingabevorrichtung
WO2003042802A2 (de) Eingabegerät, webcam und bildschirm mit spracheingabefunktion
WO2017054894A1 (de) Interaktives bediensystem und verfahren zum durchführen einer bedienhandlung bei einem interaktiven bediensystem
DE102019118952A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Steuern einer Benutzeroberfläche
EP1256043B1 (de) Verfahren und datenverarbeitungssystem zur koordinierung von anwendungen einer computer-software
DE10155030A1 (de) Desktopmanager
EP0878754A2 (de) Verfahren zur Interaktion mit einem Rechner, Benutzungsoberfläche und Benutzungsschnittstelle
WO2015176707A1 (de) Eingabevorrichtung, rechner oder bedienanlage sowie fahrzeug
DE102019114752A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Erfassen einer Eingabe und Fahrzeug mit einer solchen Vorrichtung
DE202023001912U1 (de) Eingabegerät-Manipulator
EP1430283A2 (de) Kombinierter positions-/kraftmomentensensor
WO2021028274A1 (de) Bediensystem und verfahren zum betreiben des bediensystems
DE102011015063A1 (de) Bedienvorrichtung

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NO NZ OM PH PL PT RO RU SC SD SE SG SI SK SL TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LU MC NL PT SE SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 10450088

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2002787724

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2002787724

Country of ref document: EP

REG Reference to national code

Ref country code: DE

Ref legal event code: 8642

NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Country of ref document: JP

WWW Wipo information: withdrawn in national office

Ref document number: 2002787724

Country of ref document: EP