WO2009040322A1 - Method and apparatus for the contactless input of characters - Google Patents

Method and apparatus for the contactless input of characters Download PDF

Info

Publication number
WO2009040322A1
WO2009040322A1 PCT/EP2008/062581 EP2008062581W WO2009040322A1 WO 2009040322 A1 WO2009040322 A1 WO 2009040322A1 EP 2008062581 W EP2008062581 W EP 2008062581W WO 2009040322 A1 WO2009040322 A1 WO 2009040322A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
characters
sensors
position data
data
Prior art date
Application number
PCT/EP2008/062581
Other languages
German (de)
French (fr)
Inventor
Nhu Nguyen Thien
Original Assignee
Continental Automotive Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive Gmbh filed Critical Continental Automotive Gmbh
Publication of WO2009040322A1 publication Critical patent/WO2009040322A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Definitions

  • the invention relates to a method for the contactless input of characters, in particular of alphanumeric characters, as well as a method implementing the apparatus and their use.
  • the invention relates to a method and a device in which the characters are used as input for a user system installed in a vehicle, in particular navigation system, communication system, entertainment system, tachograph, in particular with electronic logbook, tachograph and / or comfort system, in particular for air conditioning or seat adjustment, transfers.
  • keyboards or keypads which are used as input devices for z.
  • computers are configured or in user devices such.
  • navigation devices and the like are integrated.
  • the known keyboards are often equipped with mechanical keys, but can also, for example, with a touch-sensitive input field (so-called
  • Touchpad be equipped. It is also known to design screens with touch-sensitive surfaces as so-called touch screens, in which the user can make the input on the screen itself. In addition to entering individual characters, you can also enter handwritten entries that are recognized and processed as graphic text.
  • such a device is described as a combined display and input device for motor vehicles.
  • This has a designed as a handwriting input screen area on which the user can make inputs, which are recognized by means of a handwriting recognition module as handwritten inputs and processed. Again, it is necessary for the user to touch the designed as a touch screen screen.
  • DE 102 11 307 Al a method and apparatus for opto-electronic detection of the movement or position of an object, for. As the finger of a hand, presented. Here is a button by opto-electrical
  • a device in the form of an electrical circuit arrangement for generating signal describes events that generates an input event or a switching signal via an input component, which detects non-contact field electrical interaction effects with a person's hand or finger via sensors and recognizes the position or movement of the hand or the finger without contact.
  • modulated signals may be transmitted to the input component via the subject's body, for example to identify the subject based on the modulated signal.
  • the solution described here is only for the user-side control of systems or devices such. As the seat, mirror and steering wheel configuration in a vehicle. About the input of characters, especially alphanumeric characters, nothing is described there.
  • a method in which by means of a plurality of spaced-apart sensors, the position and movement of a person's hand or finger are detected in the form of position data, in which by means of evaluation of the position data write track data for a writing track are calculated, which is used to move the hand or corresponds to the finger, and in which the write track data converted by means of a handwriting recognition in corresponding characters become.
  • Characters are also understood to mean characters and symbols that have been defined by the user and trained on the system.
  • the device proposed here has a sensor unit connected to a plurality of spaced-apart sensors, which detects the position and movement of a person's hand or finger in the form of position data, and which has an evaluation unit connected thereto, which calculates write track data from the position data, as well as one therewith connected recognition unit, the write track data by means of a
  • Handwriting recognition converts to corresponding characters. So it can be done a general as well as individual handwriting recognition.
  • the invention is also based on the finding that a combination of sensor systems equipped with a plurality of sensors with intelligent handwriting recognition, in particular in the form of such a device, can be used particularly well for non-contact input of characters.
  • a user system installed in a vehicle such as in a navigation system, communication system, entertainment system, tachograph, in particular with electronic logbook, tachograph and / or comfort system, in particular for air conditioning or seat adjustment.
  • a sensor system equipped with a plurality of spaced-apart sensors is advantageously combined with intelligent handwriting recognition, so that contactless input of characters can be realized in a very user-friendly manner.
  • the user only needs to guide his or her finger in the area of the sensor, so that it can be quasi easily and effortlessly written "in the air”.
  • the position data is continuously acquired to calculate the write track data, including the position Data are evaluated at least one position to assign all captured position data and / or the write track data to a virtual writing area and / or a person.
  • the sensors are used not only to continuously recognize the position or the actual tracking of the hand or the finger in order to obtain the desired write track data, but also to associate the write track data with a virtual write area and / or a person.
  • z. B. by means of at least two, preferably four sensors a sensor field defined, which is assigned to the virtual writing area and / or the person.
  • at least two different sensor fields can be defined for this purpose, which are each assigned to a virtual writing area and / or to a person.
  • the processing can be functionally related by z.
  • A. is recognized that the input was made in the vicinity of the display of the navigation system, so that the input automatically the corresponding functions such.
  • As the destination input can be assigned.
  • sensors for example, electro-optical, acoustic, inductive and / capacitive sensors can be used.
  • capacitive sensors a modulated signal is preferably transmitted via the body of the person to the hand or to the finger, which modifies or manipulates the electrical field strength prevailing there in the sensor field, this signal being detected by means of the capacitive sensors becomes.
  • a modulated information signal which, for example, reproduces information about the person himself.
  • the method and the device are preferably used for a user system installed in a vehicle, in particular in navigation systems, communication systems, entertainment systems, tachographs, in particular with an electronic logbook, tachographs and / or comfort systems, in particular for air conditioning or seat adjustment.
  • Fig. 1 is a block diagram of a device according to the invention.
  • Fig. 2 shows a breakdown of the sensor in different sensor fields
  • Fig. 3 illustrates an additional transmission of a modulated signal over the body of the person; 4 shows a flow chart for a method according to the invention.
  • FIG. 1 shows an arrangement with a device according to the invention, which has a sensor unit 20 for non-contact input of characters, which detects the position and movement of a hand 40 or a finger in the form of position data PD by means of a plurality of mutually spaced sensors 21.
  • the device further has an evaluation unit 50 connected to the sensor unit 20, which calculates from the position data PD write track data SD for a write track, which corresponds to the movement of the hand 40.
  • the device has a detection unit 31 connected to the evaluation unit 50, which converts the writing track data SD into corresponding characters (Z) by means of a handwriting recognition.
  • the recognition unit 31 is integrated in this example in an application system 30, which is designed here as a navigation system.
  • the navigation system 30 has, in particular, an application module 32, which receives the characters Z obtained from the handwriting recognition 31 and processes them as input data.
  • an application module 32 which receives the characters Z obtained from the handwriting recognition 31 and processes them as input data.
  • the hand or finger movement detected by the user handwriting borrowed and contactless input character Z can be detected, ie z.
  • the performed by means of the sensor circuit 20 detection of the position and movement of the hand 40 may, for. B. be carried out by known methods, which have already been mentioned at the outset.
  • the continuous detection of the changing position data PD takes place over a predefinable period of time in order to detect the movement of the hand and to detect a writing movement therefrom.
  • the calculation of the write track data SD in the recognition unit 50 can also be carried out by means of conventional methods, as mentioned in the beginning.
  • the recognition unit may also be implemented externally and separately from the application module, which then communicate with each other via a suitable interface.
  • the invention is based on the finding that a combination of sensor technology equipped with a plurality of sensors with intelligent handwriting recognition, in particular in the form of a device equipped in this way, can be used particularly well for non-contact input of characters.
  • a field of application are particularly suitable installed in a vehicle user systems, such as navigation systems, communication systems, entertainment systems, tachographs and / or tachographs and comfort systems.
  • an assignment of the write track data SD to a virtual writing surface or to a person is preferably also carried out.
  • modulated signals can be transmitted to the sensor unit 20 via the body of the person, in particular via the hand 40, in order to forward additional information to the application module 32.
  • the assemblies or components required for this purpose are shown in FIG. 1 in the form of a signal transmitter 11 and a signal receiver 22, wherein the signal transmitter 11 may be integrated, for example, in a vehicle seat 10.
  • FIG. 2 shows the arrangement of a plurality of sensors, which are arranged, for example, in a vehicle such that they form or define a first sensor field 23 'and a second sensor field 23 ".
  • the sensor system 23 comprises a total of six spatially spaced apart sensors 21A to 21F, the sensors 21A, 21B, 21D and 21E defining a rectangular first sensor field 23 '.
  • This first sensor field 23 ' is located on the left in a vehicle in the vicinity of a first person P', which is represented for example by the driver.
  • the second sensor field 23 " is spanned by the sensors 21B, 21C, 21E and 21F in the right-hand part of the vehicle and is assigned to a second person P" represented, for example, by the passenger. If a hand is now located on the left in the first sensor field 23 ', it is recognized as a hand belonging to the first person P'. A hand detected in the other, left sensor field 23 "is in turn assigned to the second person P".
  • a virtual writing surface 24 'or 24 can be defined in each sensor field 23' or 23", which in each case represents the range permissible for the input. Outside the writing surfaces, no entries are allowed.
  • the sensors can be arranged, for example, so that the corresponding writing surfaces 24 'and 24 "are aligned in the immediate vicinity of an operating device, in particular to a local display or display.
  • the respective virtual writing surface is located above a respective screen surface or operating device, whereby an input can be facilitated by displaying possible auxiliary symbols and the like. This allows a direct and contactless user guidance.
  • the sensor system 23 shown here in FIG. 2 preferably comprises electro-optical sensors 21A to 21F which are spatially distributed in the vehicle and have a plurality of sensor fields 23 ', 23 ",... Or a plurality of virtual writing surfaces 24', 24 '', ... define.
  • a sensor field can also have a plurality of virtual writing surfaces in order to allow further differentiation.
  • a first step 110 the sensors 21A, 21B, 21D and 21E detect that a hand is on the left virtual writing surface 24 '. Then, a continuous detection of the position of the hand or the finger is performed to continuously acquire the position data PD (see also Fig. 1).
  • the read position data SD corresponding to the movement of the hand or of the finger is calculated from the position data obtained. Then, in a later step 140, a conversion or conversion of the write track data into corresponding characters Z is performed by means of a handwriting recognition.
  • an assignment of the recognized write track data to the input person is preferably still carried out, ie. H. here to the first person P ', the z. B. is represented by the driver.
  • This assignment is carried out in a step 130, it being recognized by means of the position data, preferably the initial position data, that the hand is located on the left-hand virtual writing surface 24 'and thus to be associated with the person P'.
  • the handwriting recognition can be optimized in a person-related manner, wherein preferably data already trained by this person P 'or individual symbols and symbols are used.
  • the first virtual writing surface 24 ' is assigned to the driver position, so that inputs recognized there can also be recognized and permitted as driver-function-specific inputs.
  • This can be, for example, functions for querying and setting vehicle data, for example for engine management and the like, which should not be executable by other persons.
  • the other, right writing surface 24 '' is assigned the function of a rider, so that local inputs are enabled only for corresponding functions.
  • a function-specific differentiation of inputs can also be carried out in a simple manner.
  • FIG. 3 shows, as a further exemplary embodiment, the input of a person P on a device according to the invention with a sensor system 23, which has four spatially spaced-apart sensors 21.
  • the sensors 21 span a virtual writing surface 24, which can be operated without contact by means of the hand 40.
  • the person P is, for example, the driver of a vehicle, which carries out inputs for a navigation system via the sensor system 23 according to the invention and downstream electronics.
  • the driver P is located on the driver's seat 10, in which a conductive foil 11 'is integrated, which is connected to a signal generator 11 (see also Fig. 1).
  • the signal generator 11 now generates a modulated signal S, which is coupled via the film 11 'in the body of the person P and is transmitted via the hand 40 to the input device or sensor 23.
  • the sensors 21 are capacitive sensors which detect both the position of the hand itself and the signal S injected therein based on field-electrical interactions.
  • additional information about the person P can be recorded during the input and further processed later.
  • the proposed method and the invention for non-contact input of characters is particularly well suited for use in user systems that can be integrated in a vehicle, such as in navigation systems.
  • the spaced-apart sensors which are located on the writing surface or where the input is, detect the approach of the hand or the finger and recognize the position and movement, so that the user can perform handwritten inputs on a virtual writing surface without contact.
  • the detected position data calculated in the evaluation electronics reproduce the described lettering or the writing track and are used as input data for a handwriting recognition. This, in turn, performs a general or even individual handwriting recognition and supplies the searched characters for forwarding to the respective applications.
  • the sensors can be easily installed anywhere.
  • the problem of an optimal installation location for input or writing surfaces is thus solved. Due to the sensor technology and the virtual or imaginary writing surfaces created with it, mechanical input devices can be dispensed with. Due to the spatial assignment of several sensors to specific subareas, a personal and / or function-related assignment, in particular in the field of automotive applications, can be realized. Thus, for example, the ergonomic problem in right-hand / left-hand drive vehicles, right / left-handers or driver / front-passenger combinations can be modified by a versatile modification. zierbare installation of imaginary writing surfaces are solved in the vehicle interior. Examples of the arrangement of imaginary writing surfaces are the center console, the center armrest, the driver or passenger door, the area above the steering wheel, the glove box lid, etc.

Abstract

The invention proposes a method and an apparatus for the contactless input of characters, particularly alphanumeric symbols (Z), and also a use for the apparatus in a user system installed in a vehicle, particularly a navigation system, communication system, entertainment system or tachograph. To this end, the apparatus comprises a sensor unit (20) which is connected to a plurality of spaced-apart sensors (21) and which senses the position and movement of a hand (40) of a person (P) in the form of position data (PD), an evaluation unit (50) which is connected thereto and which takes the position data (PD) and calculates writing trace data (D) for a writing trace which corresponds to the movement of the hand (40), and also a recognition unit (31) which is connected thereto and which converts the writing trace data (SD) into corresponding characters (Z) using handwriting recognition. Preferably, the position data (PD) from at least one position are also evaluated in order to associate all the sensed position data (PD) and/or the writing trace data (SP) with a virtual writing area (24') and/or a person (P').

Description

Beschreibungdescription
Verfahren und Vorrichtung zur berührungslosen Eingabe von SchriftzeichenMethod and device for contactless input of characters
Die Erfindung betrifft ein Verfahren zur berührungslosen Eingabe von Schriftzeichen, insbesondere von alphanumerischen Zeichen, sowie eine das Verfahren ausführende Vorrichtung und ihre Verwendung.The invention relates to a method for the contactless input of characters, in particular of alphanumeric characters, as well as a method implementing the apparatus and their use.
Insbesondere betrifft die Erfindung ein Verfahren sowie eine Vorrichtung, bei denen die Schriftzeichen als Eingabe für ein in einem Fahrzeug installierten Nutzersystem, insbesondere Navigationssystem, Kommunikationssystem, Entertainmentsystem, Fahrtschreiber, insbesondere mit elektronischem Fahrtenbuch, Tachographen und/oder Komfortsystem, insbesondere für Klimaanlage oder Sitzverstellung, überträgt.In particular, the invention relates to a method and a device in which the characters are used as input for a user system installed in a vehicle, in particular navigation system, communication system, entertainment system, tachograph, in particular with electronic logbook, tachograph and / or comfort system, in particular for air conditioning or seat adjustment, transfers.
Üblicherweise erfolgt die Eingabe von Schriftzeichen manuell über Tastaturen bzw. Tastenfelder, die als Eingabevorrichtungen für z. B. Computer ausgestaltet sind oder in Benutzergeräten, wie z. B. Navigationsgeräten und dergleichen, integriert sind. Die bekannten Tastaturen sind häufig mit mechanischen Tasten ausgestattet, können aber auch beispielsweise mit einem berührungssensitiven Eingabefeld (sogenanntesUsually, the input of characters is done manually via keyboards or keypads, which are used as input devices for z. As computers are configured or in user devices such. As navigation devices and the like, are integrated. The known keyboards are often equipped with mechanical keys, but can also, for example, with a touch-sensitive input field (so-called
Touchpad) ausgestattet sein. Es ist auch bekannt, Bildschirme mit berührungsempfindlichen Oberflächen als sogenannte Touch- screens auszugestalten, bei denen der Benutzer auf dem Bildschirm selbst die Eingabe vornehmen kann. Neben der Eingabe von einzelnen Zeichen können hier auch handschriftliche Eingaben gemacht werden, die als grafischer Schriftzug erkannt und verarbeitet werden.Touchpad) be equipped. It is also known to design screens with touch-sensitive surfaces as so-called touch screens, in which the user can make the input on the screen itself. In addition to entering individual characters, you can also enter handwritten entries that are recognized and processed as graphic text.
Bei diesen bekannten Verfahren und Vorrichtungen erfolgt je- doch die Eingabe immer durch Berühren von entsprechenden Tasten bzw. sensitiven Berührungsflächen. Dies erfordert von dem Benutzer eine gewisse manuelle Geschicklichkeit und bringt Probleme, wie etwa Verschmutzung und mechanischen Verschleiß der Eingabevorrichtung mit sich. Außerdem besteht beim Hinschauen auf Tastatur oder Bedienfeld das Problem der Ablenkung des Benutzers, insbesondere während der Fahrt in einem Fahrzeug.In these known methods and devices, however, the input always takes place by touching corresponding keys or sensitive contact surfaces. This requires some manual skill from the user and brings Problems such as soiling and mechanical wear of the input device with it. In addition, when looking at the keyboard or control panel there is the problem of distraction of the user, especially while driving in a vehicle.
In der DE 103 12 812 A 1 wird beispielsweise eine solche Vorrichtung als kombinierte Anzeige- und Eingabeeinrichtung für Kraftfahrzeuge beschrieben. Diese verfügt über einen als Handschrifteingabefläche ausgebildeten Bildschirmbereich, auf dem der Benutzer Eingaben vornehmen kann, welche mittels eines Handschriftenerkennungsmoduls als handschriftlich vorgenommene Eingaben erkannt und verarbeitet werden. Auch hier ist es erforderlich, dass der Benutzer dazu den als Touch- screen ausgebildeten Bildschirm berührt.In DE 103 12 812 A 1, for example, such a device is described as a combined display and input device for motor vehicles. This has a designed as a handwriting input screen area on which the user can make inputs, which are recognized by means of a handwriting recognition module as handwritten inputs and processed. Again, it is necessary for the user to touch the designed as a touch screen screen.
In der DE 102 11 307 Al werden ein Verfahren und eine Vorrichtung zur opto-elektronischen Erkennung der Bewegung bzw. Position eines Objektes, z. B. des Fingers einer Hand, vorge- stellt. Hier wird jeweils eine Taste durch optoelektrischeIn DE 102 11 307 Al a method and apparatus for opto-electronic detection of the movement or position of an object, for. As the finger of a hand, presented. Here is a button by opto-electrical
Bauteile (Sendeelement und Empfangselement) so nachgebildet, dass die Betätigung der Taste berührungslos erfolgen kann. Somit wird eine optoelektrische Tastatur gebildet, die eine mechanische Tastatur ersetzen kann. Die dortige Lösung dient insbesondere zur berührungslosen Eingabe einzelner Zeichen. Dort wird auch die Möglichkeit einer Schriftenerkennung erwähnt, ohne jedoch näher hierauf einzugehen. Wünschenswert wäre es aber, eine Lösung für die berührungslose Eingabe von Schriftzeichen in beliebiger Form zu haben.Components (transmitting element and receiving element) replicated so that the operation of the button can be done without contact. Thus, an opto-electrical keyboard is formed which can replace a mechanical keyboard. The local solution is used in particular for non-contact input of individual characters. There is also the possibility of font recognition mentioned, but without going into detail here. It would be desirable, however, to have a solution for the contactless input of characters in any form.
Weitere bekannte Verfahren und Vorrichtungen zur berührungslosen Eingabe sind lediglich im Zusammenhang mit der Eingabe von Befehlen bzw. zur Detektion von Gesten (sogenannten „gestures") bekannt, um damit eine anwenderseitige Steuerung von Systemen und Geräten vorzunehmen. Beispielsweise wird in der DE 20 2006 001 037 Ul eine Vorrichtung in Gestalt einer elektrischen Schaltungsanordnung zur Generierung von Signal- ereignissen beschrieben, die zur Generierung eines Eingabeereignisses bzw. eines Schaltsignals über eine Eingabekomponente verfügt, welche über Sensoren berührungslos feldelektrische Wechselwirkungseffekte mit Hand oder Finger einer Person erfasst und daraus berührungslos die Position bzw. Bewegung der Hand bzw. des Fingers erkennt. Außerdem können modulierte Signale über den Körper der Person an die Eingabekomponente übertragen werden, um beispielsweise die Person anhand des modulierten Signals zu identifizieren. Die hier beschriebene Lösung dient jedoch lediglich zur anwenderseitig durchgeführten Steuerung von Systemen bzw. Geräten, wie z. B. der Sitz-, Spiegel- und Lenkradkonfiguration in einem Fahrzeug. Über die Eingabe von Schriftzeichen, insbesondere von alphanumerischen Zeichen, wird dort nichts beschrieben.Other known methods and devices for contactless input are known only in connection with the input of commands or for the detection of gestures (so-called "gestures") in order to carry out user-side control of systems and devices 037 Ul a device in the form of an electrical circuit arrangement for generating signal describes events that generates an input event or a switching signal via an input component, which detects non-contact field electrical interaction effects with a person's hand or finger via sensors and recognizes the position or movement of the hand or the finger without contact. In addition, modulated signals may be transmitted to the input component via the subject's body, for example to identify the subject based on the modulated signal. However, the solution described here is only for the user-side control of systems or devices such. As the seat, mirror and steering wheel configuration in a vehicle. About the input of characters, especially alphanumeric characters, nothing is described there.
Daher ist es Aufgabe der vorliegenden Erfindung, die Probleme der oben genannten bekannten Lösungen in vorteilhafter Weise zu überwinden. Insbesondere sollen ein Verfahren und eine Vorrichtung zur berührungslosen Eingabe von Schriftzeichen, insbesondere von alphanumerischen Zeichen, vorgeschlagen werden, die besonders benutzerfreundlich realisiert werden können. Außerdem sollen sehr praktische Verwendungen für die Vorrichtung vorgeschlagen werden.Therefore, it is an object of the present invention to overcome the problems of the above known solutions in an advantageous manner. In particular, a method and a device for the contactless input of characters, in particular of alphanumeric characters, are proposed, which can be realized in a particularly user-friendly manner. In addition, very practical uses for the device are to be proposed.
Gelöst wird die Aufgabe durch ein Verfahren mit den Merkmalen des Anspruchs 1 und durch eine danach arbeitende Vorrichtung mit den Merkmalen des nebengeordneten Anspruchs sowie durch ihre hier vorgeschlagene Verwendung.The object is achieved by a method having the features of claim 1 and by a device operating thereafter having the features of the independent claim and by their use proposed here.
Demnach wird ein Verfahren vorgeschlagen, bei dem mittels mehrerer zueinander beabstandeter Sensoren die Position und Bewegung von Hand oder Finger einer Person in Form von Positionsdaten erfasst werden, bei der mittels Auswertung der Positionsdaten Schreibspurdaten für eine Schreibspur berechnet werden, die zur Bewegung der Hand bzw. des Fingers korrespondiert, und bei dem die Schreibspurdaten mittels einer Handschriftenerkennung in entsprechende Schriftzeichen gewandelt werden. Unter Schriftzeichen werden hier auch Zeichen und Symbole verstanden, die vom Benutzer selbst definiert und dem System antrainiert worden sind. Die hier vorgeschlagene Vorrichtung weist dementsprechend eine mit mehreren zueinander beabstandeten Sensoren verbundene Sensoreinheit auf, die Position und Bewegung von Hand oder Finger einer Person in Form von Positionsdaten erfasst, und die eine damit verbundene Auswerteeinheit aufweist, die aus den Positionsdaten Schreibspurdaten berechnet, sowie eine damit verbundene Erkennungs- einheit aufweist, die die Schreibspurdaten mittels einerAccordingly, a method is proposed in which by means of a plurality of spaced-apart sensors, the position and movement of a person's hand or finger are detected in the form of position data, in which by means of evaluation of the position data write track data for a writing track are calculated, which is used to move the hand or corresponds to the finger, and in which the write track data converted by means of a handwriting recognition in corresponding characters become. Characters are also understood to mean characters and symbols that have been defined by the user and trained on the system. Accordingly, the device proposed here has a sensor unit connected to a plurality of spaced-apart sensors, which detects the position and movement of a person's hand or finger in the form of position data, and which has an evaluation unit connected thereto, which calculates write track data from the position data, as well as one therewith connected recognition unit, the write track data by means of a
Handschriftenerkennung in entsprechende Schriftzeichen wandelt. Es kann also eine allgemeine wie auch individuelle Handschriftenerkennung durchgeführt werden.Handwriting recognition converts to corresponding characters. So it can be done a general as well as individual handwriting recognition.
Insbesondere liegt der Erfindung auch die Erkenntnis zu Grunde, dass eine Kombination von einer mit mehreren Sensoren ausgestatteten Sensorik mit einer intelligenten Handschriftenerkennung, insbesondere in Gestalt einer solchen Vorrichtung, besonders gut zur berührungslosen Eingabe von Schrift- zeichen verwendet werden kann. Dies kann insbesondere in einem in einem Fahrzeug installierten Nutzersystem realisiert werden, wie etwa in einem Navigationssystem, Kommunikationssystem, Entertainmentsystem, Fahrtschreiber, insbesondere mit elektronischen Fahrtenbuch, Tachographen und/oder Komfortsys- tem, insbesondere für Klimaanlage oder Sitzverstellung.In particular, the invention is also based on the finding that a combination of sensor systems equipped with a plurality of sensors with intelligent handwriting recognition, in particular in the form of such a device, can be used particularly well for non-contact input of characters. This can be realized in particular in a user system installed in a vehicle, such as in a navigation system, communication system, entertainment system, tachograph, in particular with electronic logbook, tachograph and / or comfort system, in particular for air conditioning or seat adjustment.
Durch die Erfindung wird in vorteilhafter Weise eine mit mehreren zueinander beabstandeten Sensoren ausgestattete Sensorik mit einer intelligenten Handschriftenerkennung kombi- niert, sodass eine berührungslose Eingabe von Schriftzeichen in sehr anwenderfreundlicher Weise realisierbar ist. Für die Eingabe braucht der Anwender lediglich seine Hand bzw. den Finger im Bereich der Sensorik zu führen, so dass er quasi einfach und ohne Mühe „in der Luft" schreiben kann.By means of the invention, a sensor system equipped with a plurality of spaced-apart sensors is advantageously combined with intelligent handwriting recognition, so that contactless input of characters can be realized in a very user-friendly manner. For the input, the user only needs to guide his or her finger in the area of the sensor, so that it can be quasi easily and effortlessly written "in the air".
Bevorzugt werden die Positionsdaten fortlaufend erfasst, um die Schreibspurdaten zu berechnen, wobei auch die Positions- daten mindestens einer Position ausgewertet werden, um alle erfassten Positionsdaten und/oder die Schreibspurdaten einem virtuellen Schreibbereich und/oder einer Person zuzuordnen. Hierdurch erfolgt mittels der Sensorik nicht bloß eine fort- laufende Erkennung der Position bzw. die eigentliche Nachverfolgung der Hand bzw. des Fingers, um die gewünschten Schreibspurdaten zu erhalten, sondern auch eine Zuordnung der Schreibspurdaten zu einem virtuellen Schreibbereich und/oder einer Person. In diesem Zusammenhang wird z. B. mittels min- destens jeweils zwei, vorzugsweise vier, Sensoren ein Sensorfeld definiert, das dem virtuellen Schreibbereich und/oder der Person zugeordnet wird. Insbesondere können hierzu mindestens zwei verschiedene Sensorfelder definiert werden, die jeweils einen virtuellen Schreibbereich und/oder einer Person zugeordnet werden.Preferably, the position data is continuously acquired to calculate the write track data, including the position Data are evaluated at least one position to assign all captured position data and / or the write track data to a virtual writing area and / or a person. As a result, the sensors are used not only to continuously recognize the position or the actual tracking of the hand or the finger in order to obtain the desired write track data, but also to associate the write track data with a virtual write area and / or a person. In this context, z. B. by means of at least two, preferably four sensors a sensor field defined, which is assigned to the virtual writing area and / or the person. In particular, at least two different sensor fields can be defined for this purpose, which are each assigned to a virtual writing area and / or to a person.
Mit einer solchen Untergliederung der Sensorik in verschiedene Sensorfelder wird somit eine sehr einfach realisierbare Zuordnung der gewonnenen Schreibspurdaten erreicht, so dass diese Daten gezielt (z. B. bereichsbezogen, funktionsbezogen und/oder personenbezogen) weiter verarbeitet werden können. Werden die Sensoren beispielsweise in einem Fahrzeug installiert, so kann auf diese Weise sehr einfach erkannt werden, ob die handschriftliche berührungslose Eingabe etwa auf der Fahrerseite oder auf der Beifahrerseite erfolgt. Somit können die gewonnenen Schreibspurdaten dann sofort der in Frage kommenden Person, d. h. dem Fahrer oder dem Beifahrer, zugeordnet werden. Vorzugsweise werden dann die Schreibspurdaten mittels einer solchen Handschriftenerkennung verarbeitet, die auch auf diese Person hin trainiert worden sein könnte. Es können auch individuell definierte Zeichen und Symbole erkannt werden. Ebenso kann die Verarbeitung funktionsbezogen erfolgen, indem z. B. erkannt wird, dass die Eingabe in der Nähe der Anzeige des Navigationssystems erfolgte, so dass die Eingabe automatisch den entsprechenden Funktionen, wie z. B. der Zieleingabe, zugewiesen werden kann. Als Sensoren können z.B. elektro-optische, akustische, induktive und/kapazitive Sensoren verwendet werden. Bei der Verwendung von kapazitiven Sensoren wird vorzugsweise über den Körper der Person zur Hand bzw. zum Finger hin ein modulier- tes Signal übertragen, das die dort im Sensorfeld vorherrschende elektrische Feldstärke verändert bzw. manipuliert, wobei dieses Signal mittels der kapazitiven Sensoren detek- tiert wird. Somit ist es möglich, zusätzlich zur räumlichen Erkennung der Handposition bzw. -bewegung über die Sensorik auch ein moduliertes Informationssignal zu empfangen, das beispielsweise Informationen über die Person selbst wiedergibt.With such a subdivision of the sensor system into different sensor fields, a very easily realizable assignment of the acquired write track data is thus achieved, so that this data can be further processed in a targeted manner (eg, area-related, function-related and / or person-related). If the sensors are installed, for example, in a vehicle, it is very easy to detect in this way whether the handwritten non-contact input takes place approximately on the driver's side or on the passenger's side. Thus, the obtained write trace data can then be assigned immediately to the person in question, ie the driver or the passenger. Preferably, the write track data is then processed by means of such a handwriting recognition that could have been trained on this person. Individually defined characters and symbols can also be recognized. Likewise, the processing can be functionally related by z. B. is recognized that the input was made in the vicinity of the display of the navigation system, so that the input automatically the corresponding functions such. As the destination input can be assigned. As sensors, for example, electro-optical, acoustic, inductive and / capacitive sensors can be used. When using capacitive sensors, a modulated signal is preferably transmitted via the body of the person to the hand or to the finger, which modifies or manipulates the electrical field strength prevailing there in the sensor field, this signal being detected by means of the capacitive sensors becomes. Thus, in addition to the spatial recognition of the hand position or movement via the sensor system, it is also possible to receive a modulated information signal which, for example, reproduces information about the person himself.
Vorzugsweise werden das Verfahren und die Vorrichtung für ein in einem Fahrzeug installiertes Benutzersystem eingesetzt, insbesondere in Navigationssystemen, Kommunikationssystemen, Entertainmentsystemen, Fahrtschreibern, insbesondere mit e- lektronischen Fahrtenbuch, Tachographen und/oder Komfortsystemen, insbesondere für Klimaanlage oder Sitzverstellung.The method and the device are preferably used for a user system installed in a vehicle, in particular in navigation systems, communication systems, entertainment systems, tachographs, in particular with an electronic logbook, tachographs and / or comfort systems, in particular for air conditioning or seat adjustment.
Diese und weitere Vorteile ergeben sich auch aus den Unteransprüchen .These and other advantages will become apparent from the dependent claims.
Im folgenden wird die Erfindung im Detail anhand von Ausfüh- rungsbeispielen und unter Bezugnahme auf die beiliegenden Figuren beschrieben, wobei:In the following the invention will be described in detail by means of exemplary embodiments and with reference to the enclosed figures, wherein:
Fig. 1 ein Blockschaltbild einer erfindungsgemäßen Vorrichtung darstellt;Fig. 1 is a block diagram of a device according to the invention;
Fig. 2 eine Aufteilung der Sensorik in verschiedene Sensorfelder darstellt;Fig. 2 shows a breakdown of the sensor in different sensor fields;
Fig. 3 eine zusätzliche Übertragung eines modulierten Sig- nals über den Körper der Person darstellt; Fig. 4 ein Ablaufdiagramm für ein erfindungsgemäßes Verfahren darstellt.Fig. 3 illustrates an additional transmission of a modulated signal over the body of the person; 4 shows a flow chart for a method according to the invention.
Die Fig. 1 zeigt eine Anordnung mit einer erfindungsgemäßen Vorrichtung, die zur berührungslosen Eingabe von Schriftzeichen eine Sensoreinheit 20 aufweist, welche mittels mehrerer zueinander beabstandeter Sensoren 21 die Position und Bewegung einer Hand 40 bzw. eines Fingers in Form von Positionsdaten PD erfasst. Die Vorrichtung weist weiterhin eine mit der Sensoreinheit 20 verbundene Auswerteeinheit 50 auf, die aus den Positionsdaten PD Schreibspurdaten SD für eine Schreibspur berechnet, welche zur Bewegung der Hand 40 korrespondiert. Außerdem weist die Vorrichtung eine mit der Auswerteeinheit 50 verbundene Erkennungseinheit 31 auf, die die Schreibspurdaten SD mittels einer Handschriftenerkennung in entsprechende Schriftzeichen (Z) wandelt.1 shows an arrangement with a device according to the invention, which has a sensor unit 20 for non-contact input of characters, which detects the position and movement of a hand 40 or a finger in the form of position data PD by means of a plurality of mutually spaced sensors 21. The device further has an evaluation unit 50 connected to the sensor unit 20, which calculates from the position data PD write track data SD for a write track, which corresponds to the movement of the hand 40. In addition, the device has a detection unit 31 connected to the evaluation unit 50, which converts the writing track data SD into corresponding characters (Z) by means of a handwriting recognition.
Die Erkennungseinheit 31 ist in diesem Beispiel in ein Anwendungssystem 30 integriert, welches hier als Navigationssystem ausgebildet ist. Das Navigationssystem 30 hat insbesondere ein Anwendungsmodul 32, welches von der Handschriftenerkennung 31 die gewonnenen Schriftzeichen Z empfängt und als Eingabedaten verarbeitet. Somit können aus der detektierten Hand- oder Fingerbewegung die von dem Benutzer handschrift- lieh und berührungslos eingegebenen Schriftzeichen Z erkannt werden, also z. B. alphanumerische Zeichen A, B, C,... sowie Zahlen 0, 1, 2,... usw. Die mittels der Sensorschaltung 20 durchgeführte Detektion der Position und Bewegung der Hand 40 kann z. B. anhand bekannter Verfahren durchgeführt werden, die eingangs bereits genannt worden sind. Die fortlaufende Erfassung der sich ändernden Positionsdaten PD erfolgt über einen vorgebbaren Zeitraum hinweg, um die Bewegung der Hand zu erfassen und um daraus einen Schreibzug zu erkennen. Die in der Erkennungseinheit 50 erfolgende Berechnung der Schreibspurdaten SD kann ebenfalls mittels herkömmlicher Verfahren, wie eingangs genannt, erfolgen. Die Erkennungseinheit kann auch extern und getrennt vom Anwendungsmodul implementiert sein, wobei diese dann über eine geeignete Schnittstelle in Verbindung miteinander stehen.The recognition unit 31 is integrated in this example in an application system 30, which is designed here as a navigation system. The navigation system 30 has, in particular, an application module 32, which receives the characters Z obtained from the handwriting recognition 31 and processes them as input data. Thus, from the hand or finger movement detected by the user handwriting borrowed and contactless input character Z can be detected, ie z. As alphanumeric characters A, B, C, ... and numbers 0, 1, 2, ... etc. The performed by means of the sensor circuit 20 detection of the position and movement of the hand 40 may, for. B. be carried out by known methods, which have already been mentioned at the outset. The continuous detection of the changing position data PD takes place over a predefinable period of time in order to detect the movement of the hand and to detect a writing movement therefrom. The calculation of the write track data SD in the recognition unit 50 can also be carried out by means of conventional methods, as mentioned in the beginning. The recognition unit may also be implemented externally and separately from the application module, which then communicate with each other via a suitable interface.
Es liegt nun der Erfindung insbesondere auch die Erkenntnis zu Grunde, dass eine Kombination von einer mit mehreren Sensoren ausgestatteten Sensorik mit einer intelligenten Handschriftenerkennung, insbesondere in Gestalt derart ausgestatteten Vorrichtung, besonders gut zur berührungslosen Eingabe von Schriftzeichen verwendet werden kann. Als Verwendungsgebiet eignen sich insbesondere die in einem Fahrzeug installierten Nutzersysteme, wie etwa Navigationssysteme, Kommunikationssysteme, Entertainmentsysteme, Fahrtschreibern und/oder Tachographen sowie Komfortsystemen.In particular, the invention is based on the finding that a combination of sensor technology equipped with a plurality of sensors with intelligent handwriting recognition, in particular in the form of a device equipped in this way, can be used particularly well for non-contact input of characters. As a field of application are particularly suitable installed in a vehicle user systems, such as navigation systems, communication systems, entertainment systems, tachographs and / or tachographs and comfort systems.
Bevorzugt wird nun auch mittels der hier vorgestellten Vorrichtung eine Zuordnung der Schreibspurdaten SD zu einer virtuellen Schreibfläche bzw. zu einer Person durchgeführt. Dieses wird nachfolgend näher anhand der Fig. 2 bis 4 beschrie- ben . Außerdem wird nachfolgend noch näher beschrieben, dass über den Körper der Person, insbesondere über die Hand 40, modulierte Signale an die Sensoreinheit 20 übertragen werden können, um Zusatzinformationen an das Anwendungsmodul 32 weiterzuleiten. Die hierfür erforderlichen Baugruppen bzw. Kom- ponenten sind in der Fig. 1 in Form eines Signalgebers 11 und eines Signalempfängers 22 dargestellt, wobei der Signalgeber 11 beispielsweise in einem Fahrzeugsitz 10 integriert sein kann. Auch dieser und weitere Aspekte der Erfindung werden nachfolgend näher beschrieben.Now, by means of the device presented here, an assignment of the write track data SD to a virtual writing surface or to a person is preferably also carried out. This will be described in more detail below with reference to FIGS. 2 to 4. In addition, it will be described in more detail below that modulated signals can be transmitted to the sensor unit 20 via the body of the person, in particular via the hand 40, in order to forward additional information to the application module 32. The assemblies or components required for this purpose are shown in FIG. 1 in the form of a signal transmitter 11 and a signal receiver 22, wherein the signal transmitter 11 may be integrated, for example, in a vehicle seat 10. These and other aspects of the invention will be described in more detail below.
Die Fig. 2 zeigt die Anordnung von mehreren Sensoren, die beispielsweise in einem Fahrzeug derart angeordnet sind, dass sie ein erstes Sensorfeld 23' und ein zweites Sensorfeld 23'' bilden bzw. definieren. In dem dargestellten Beispiel umfasst die Sensorik 23 insgesamt sechs räumlich zueinander beabstan- dete Sensoren 21A bis 21F, wobei die Sensoren 21A, 21B, 21D und 21E ein rechteckiges erstes Sensorfeld 23' aufspannen. Dieses erste Sensorfeld 23' befindet sich links in einem Fahrzeug im Nahbereich einer ersten Person P' , die beispielsweise durch den Fahrer repräsentiert wird. Das zweite Sensorfeld 23'' wird durch die Sensoren 21B, 21C, 21E und 21F im rechten Teil des Fahrzeugs aufgespannt und ist einer zweiten Person P' ' zugeordnet, die beispielsweise durch den Beifahrer bzw. Passagier repräsentiert wird. Befindet sich nun eine Hand links in dem ersten Sensorfeld 23' , so wird diese als eine zur ersten Person P' gehörende Hand erkannt. Eine in dem anderen, linken Sensorfeld 23' ' detektierte Hand wird wiederum der zweiten Person P'' zugeordnet.FIG. 2 shows the arrangement of a plurality of sensors, which are arranged, for example, in a vehicle such that they form or define a first sensor field 23 'and a second sensor field 23 ". In the illustrated example, the sensor system 23 comprises a total of six spatially spaced apart sensors 21A to 21F, the sensors 21A, 21B, 21D and 21E defining a rectangular first sensor field 23 '. This first sensor field 23 'is located on the left in a vehicle in the vicinity of a first person P', which is represented for example by the driver. The second sensor field 23 "is spanned by the sensors 21B, 21C, 21E and 21F in the right-hand part of the vehicle and is assigned to a second person P" represented, for example, by the passenger. If a hand is now located on the left in the first sensor field 23 ', it is recognized as a hand belonging to the first person P'. A hand detected in the other, left sensor field 23 "is in turn assigned to the second person P".
Damit kann bereits durch die Sensorik 23 selbst eine Zuordnung bzw. Identifikation derjenigen Person durchgeführt wer- den, die die Eingabe macht. In jedem Sensorfeld 23' oder 23'' kann zudem eine virtuelle Schreibfläche 24' bzw. 24'' definiert werden, die jeweils den für die Eingabe zulässigen Bereich darstellt. Außerhalb der Schreibflächen werden keine Eingaben zugelassen. Die Sensoren können beispielsweise so angeordnet werden, dass sich die entsprechenden Schreibflächen 24' bzw. 24'' in unmittelbarer Nähe zu einem Bedienungsgerät, insbesondere zu einem dortigen Bildschirm bzw. Anzeige-Display, ausgerichtet sind. Somit befindet sich die jeweilige virtuelle Schreibfläche oberhalb einer jeweiligen BiId- schirmfläche oder Bedienvorrichtung, wodurch eine Eingabe durch Anzeige von möglichen Hilfssymbolen und dergleichen erleichtert werden kann. Dadurch ist eine direkte und berührungslose Benutzerführung möglich.Thus, an assignment or identification of the person making the input can be carried out by the sensor system 23 itself. In addition, a virtual writing surface 24 'or 24 "can be defined in each sensor field 23' or 23", which in each case represents the range permissible for the input. Outside the writing surfaces, no entries are allowed. The sensors can be arranged, for example, so that the corresponding writing surfaces 24 'and 24 "are aligned in the immediate vicinity of an operating device, in particular to a local display or display. Thus, the respective virtual writing surface is located above a respective screen surface or operating device, whereby an input can be facilitated by displaying possible auxiliary symbols and the like. This allows a direct and contactless user guidance.
Die hier in Fig. 2 dargestellte Sensorik 23 umfasst vorzugsweise elektro-optische Sensoren 21A bis 21F, die räumlich gezielt verteilt in dem Fahrzeug angeordnet sind und mehrere Sensorfelder 23', 23'',... bzw. mehrere virtuelle Schreibflächen 24', 24'',... definieren. Dabei kann ein Sensorfeld auch mehrere virtuelle Schreibflächen aufweisen, um eine weitere Differenzierung zu ermöglichen. Es wird nachfolgend ein Beispiel für ein Verfahren zur berührungslosen Eingabe beschrieben, das mit der in der Fig. 1 dargestellten Vorrichtung und in der Fig. 2 gezeigten Anordnung ausgeführt werden kann, wobei hier auch auf das Ablauf- diagramm nach Fig. 4 Bezug genommen wird:The sensor system 23 shown here in FIG. 2 preferably comprises electro-optical sensors 21A to 21F which are spatially distributed in the vehicle and have a plurality of sensor fields 23 ', 23 ",... Or a plurality of virtual writing surfaces 24', 24 '', ... define. In this case, a sensor field can also have a plurality of virtual writing surfaces in order to allow further differentiation. An example of a method for non-contact input which can be carried out with the device shown in FIG. 1 and in the arrangement shown in FIG. 2 will be described below, wherein reference is also made here to the flowchart of FIG. 4 :
Beispielsweise detektieren die Sensoren 21A, 21B, 21D und 21E in einem ersten Schritt 110, dass sich eine Hand auf der linken virtuellen Schreibfläche 24' befindet. Dann wird eine fortlaufende Detektion der Position bzw. Bewegung der Hand oder des Fingers durchgeführt, um fortlaufend die Positionsdaten PD (siehe auch Fig. 1) zu erfassen. In einem nachfolgenden Schritt 120 werden aus den gewonnenen Positionsdaten die Schreibspurdaten SD berechnet, welche zur Bewegung der Hand bzw. des Fingers korrespondieren. Dann wird in einem späteren Schritt 140 mittels einer Handschriftenerkennung eine Umwandlung bzw. Umsetzung der Schreibspurdaten in entsprechende Schriftzeichen Z durchgeführt.For example, in a first step 110, the sensors 21A, 21B, 21D and 21E detect that a hand is on the left virtual writing surface 24 '. Then, a continuous detection of the position of the hand or the finger is performed to continuously acquire the position data PD (see also Fig. 1). In a subsequent step 120, the read position data SD corresponding to the movement of the hand or of the finger is calculated from the position data obtained. Then, in a later step 140, a conversion or conversion of the write track data into corresponding characters Z is performed by means of a handwriting recognition.
Vor dem Schritt 140 erfolgt vorzugsweise noch eine Zuordnung der erkannten Schreibspurdaten zu der eingebenden Person, d. h. hier zu der ersten Person P', die z. B. durch den Fahrer repräsentiert wird. Diese Zuordnung wird in einem Schritt 130 durchgeführt, wobei mittels der Positionsdaten, vorzugsweise der Anfangs-Positionsdaten, erkannt wird, dass die Hand sich auf der linken virtuellen Schreibfläche 24' befindet und somit der Person P' zuzuordnen ist. Dann kann in dem weiteren Schritt 140 die Handschriftenerkennung personenbezogen optimiert werden, wobei vorzugsweise auf bereits durch diese Per- son P' trainierte Daten oder individuelle Symbole und Zeichen zurückgegriffen wird.Before the step 140, an assignment of the recognized write track data to the input person is preferably still carried out, ie. H. here to the first person P ', the z. B. is represented by the driver. This assignment is carried out in a step 130, it being recognized by means of the position data, preferably the initial position data, that the hand is located on the left-hand virtual writing surface 24 'and thus to be associated with the person P'. Then, in the further step 140, the handwriting recognition can be optimized in a person-related manner, wherein preferably data already trained by this person P 'or individual symbols and symbols are used.
Somit erfolgt nicht nur eine allgemeine Erfassung von Position und Bewegung der Hand, sondern auch eine Handschriftener- kennung und/oder Zuordnung zu einer virtuellen Schreibfläche. Neben der Möglichkeit, die erkannte Handschrift einer bestimmten Person zuordnen zu können, besteht durch die mittels der Sensorik 23 erreichten Zuordnung zu verschiedenen Schreibflächen auch die Möglichkeit, die erkannten bzw. berechneten Schreibspurdaten einer bestimmten Funktion zuzuordnen. Beispielsweise ist die erste virtuelle Schreibfläche 24' der Fahrerposition zugeordnet, so dass dort erkannte Eingaben auch als Fahrer-funktionsspezifische Eingaben erkannt und zugelassen werden können. Dies können beispielsweise Funktionen für die Abfrage und Einstellung von Fahrzeugdaten z.B. für das Motormanagement und dergleichen sein, welche nicht von anderen Personen ausführbar sein sollten. Die andere, rechte Schreibfläche 24'' wird hingegen der Funktion eines Mitfahrers zugeordnet, so dass dortige Eingaben nur für entsprechende Funktionen frei geschaltet werden. Somit kann auch in einfacher Art und Weise eine funktionsspezifische Differen- zierung von Eingaben durchgeführt werden.Thus, not only a general detection of position and movement of the hand, but also a handwriting recognition and / or assignment to a virtual writing surface. In addition to the ability to assign the recognized handwriting of a particular person, exists by means of The sensor 23 achieved assignment to different writing surfaces and the ability to assign the recognized or calculated trace data to a specific function. For example, the first virtual writing surface 24 'is assigned to the driver position, so that inputs recognized there can also be recognized and permitted as driver-function-specific inputs. This can be, for example, functions for querying and setting vehicle data, for example for engine management and the like, which should not be executable by other persons. The other, right writing surface 24 '', however, is assigned the function of a rider, so that local inputs are enabled only for corresponding functions. Thus, a function-specific differentiation of inputs can also be carried out in a simple manner.
Die Fig. 3 zeigt als weiteres Ausführungsbeispiel die Eingabe von einer Person P an einer erfindungsgemäßen Vorrichtung mit einer Sensorik 23, welche vier räumlich zueinander beabstan- dete Sensoren 21 aufweist. Die Sensoren 21 spannen eine virtuelle Schreibfläche 24 auf, die berührungslos mittels der Hand 40 bedient werden kann. Die Person P sei beispielsweise der Fahrer eines Fahrzeugs, welcher über die erfindungsgemäße Sensorik 23 und nachgeschalte Elektronik, Eingaben für ein Navigationssystem vornimmt. Der Fahrer P befindet sich auf dem Fahrersitz 10, in welchem eine leitende Folie 11' integriert ist, die mit einem Signalgeber 11 verbunden ist (siehe auch Fig . 1) .FIG. 3 shows, as a further exemplary embodiment, the input of a person P on a device according to the invention with a sensor system 23, which has four spatially spaced-apart sensors 21. The sensors 21 span a virtual writing surface 24, which can be operated without contact by means of the hand 40. The person P is, for example, the driver of a vehicle, which carries out inputs for a navigation system via the sensor system 23 according to the invention and downstream electronics. The driver P is located on the driver's seat 10, in which a conductive foil 11 'is integrated, which is connected to a signal generator 11 (see also Fig. 1).
Der Signalgeber 11 erzeugt nun ein moduliertes Signal S, welches über die Folie 11' in den Körper der Person P eingekoppelt wird und über die Hand 40 bis hin zur Eingabevorrichtung bzw. Sensorik 23 übertragen wird. Die Sensoren 21 sind in diesem Beispiel kapazitive Sensoren, welche sowohl die Posi- tion der Hand selbst wie auch das darin eingekoppelte Signal S anhand von feldelektrischen Wechselwirkungen erkennen. Es wird also die physikalische Erscheinung ausgenutzt, die auf- tretende Wechselwirkung auf das im Bereich der Sensorik 23 vorherrschende E-FeId mit einer Modulation von Daten bzw. Informationen zu beaufschlagen und diese über die Sensorik 23 zu empfangen. Somit können beispielsweise zusätzliche Infor- mationen über die Person P bei der Eingabe erfasst und später weiterverarbeitet werden.The signal generator 11 now generates a modulated signal S, which is coupled via the film 11 'in the body of the person P and is transmitted via the hand 40 to the input device or sensor 23. In this example, the sensors 21 are capacitive sensors which detect both the position of the hand itself and the signal S injected therein based on field-electrical interactions. Thus, the physical phenomenon which passing interaction on the prevailing in the field of sensors 23 E-FeId to apply a modulation of data or information and to receive them via the sensor 23. Thus, for example, additional information about the person P can be recorded during the input and further processed later.
Das vorgeschlagene Verfahren sowie die Erfindung zur berührungslosen Eingabe von Schriftzeichen ist besonders gut zum Einsatz in Benutzersystemen geeignet, welche in einem Fahrzeug integrierbar sind, wie beispielsweise in Navigationssystemen. Die zueinander beabstandeten Sensoren, welche sich an der Schreibfläche oder dort, wo die Eingabe erfolgt, befinden, detektieren die Annäherung der Hand bzw. des Fingers und erkennen die Position sowie Bewegung, so dass der Nutzer berührungslos auf einer virtuellen Schreibfläche handschriftliche Eingaben ausführen kann. Die erfassten und in der Auswerteelektronik berechneten Positionsdaten geben den beschriebenen Schriftzug bzw. die Schreibspur wieder und wer- den als Eingangsdaten für eine Handschriftenerkennung verwendet. Diese wiederum führt eine allgemeine oder gar individuelle Handschriftenerkennung aus und liefert die gesuchten Schriftzeichen zur Weiterleitung an die jeweiligen Anwendungen. Die Sensorik kann leicht an beliebigen Orten installiert werden.The proposed method and the invention for non-contact input of characters is particularly well suited for use in user systems that can be integrated in a vehicle, such as in navigation systems. The spaced-apart sensors, which are located on the writing surface or where the input is, detect the approach of the hand or the finger and recognize the position and movement, so that the user can perform handwritten inputs on a virtual writing surface without contact. The detected position data calculated in the evaluation electronics reproduce the described lettering or the writing track and are used as input data for a handwriting recognition. This, in turn, performs a general or even individual handwriting recognition and supplies the searched characters for forwarding to the respective applications. The sensors can be easily installed anywhere.
Mit der vorgeschlagenen Lösung wird somit auch das Problem eines optimalen Einbauortes für Eingabe- bzw. Schreibflächen gelöst. Auf mechanische Eingabevorrichtungen kann aufgrund der Sensorik und der damit geschaffenen virtuellen bzw. imaginären Schreibflächen verzichtet werden. Durch die räumliche Zuordnung mehrerer Sensoren zu bestimmten Teilbereichen kann eine personen- und/oder funktionsbezogene Zuordnung, insbesondere im Bereich von Automotive-Anwendungen, realisiert werden. So kann beispielsweise die ergonomische Problematik bei Rechts-/Linkslenkfahrzeugen, Rechts-/Linkshänder oder Fahrer-/Beifahrer-Kombinationen durch eine vielseitig modifi- zierbare Einbauweise von imaginären Schreibflächen im Fahrzeuginterieur gelöst werden. Beispiele für die Anordnung von imaginären Schreibflächen sind die Mittelkonsole, die Mittelarmlehne, die Fahrer- bzw. Beifahrertür, der Bereich oberhalb des Lenkrades, der Handschuhfachdeckel usw.With the proposed solution, the problem of an optimal installation location for input or writing surfaces is thus solved. Due to the sensor technology and the virtual or imaginary writing surfaces created with it, mechanical input devices can be dispensed with. Due to the spatial assignment of several sensors to specific subareas, a personal and / or function-related assignment, in particular in the field of automotive applications, can be realized. Thus, for example, the ergonomic problem in right-hand / left-hand drive vehicles, right / left-handers or driver / front-passenger combinations can be modified by a versatile modification. zierbare installation of imaginary writing surfaces are solved in the vehicle interior. Examples of the arrangement of imaginary writing surfaces are the center console, the center armrest, the driver or passenger door, the area above the steering wheel, the glove box lid, etc.
Dadurch, dass keine berührungs- bzw. drucksensitiven Eingabemedien benötigt werden, ergibt sich zudem ein Kostenvorteil. Auch sind keine konstruktiven Schutzmaßnahmen, z. B. gegen Spritzwasser, Staub oder dergleichen, erforderlich. Durch die zusätzliche Verwendung von Signalgebern und Signalempfängern ist eine weiterreichende Individualisierung der Eingabe, insbesondere eine Nutzerunterscheidung, möglich. Die mittels der Erfindung berechneten Eingabedaten bzw. Schriftzeichen können für vielerlei Anwendungen, wie beispielsweise zur Eingabe von Navigationszielen, Rufnummern und dergleichen verwendet werden. Die Erfindung ist jedoch auf die hier konkret beschriebenen Anwendungsbeispiele nicht beschränkt. The fact that no touch-sensitive or pressure-sensitive input media are needed, there is also a cost advantage. Also, no constructive protective measures, eg. B. against splashing water, dust or the like, required. Due to the additional use of signal transmitters and signal receivers, a more extensive individualization of the input, in particular a user distinction, is possible. The input data or characters calculated by the invention can be used for many applications, such as for entering navigation destinations, telephone numbers, and the like. However, the invention is not limited to the application examples specifically described here.

Claims

Patentansprüche claims
1. Verfahren (100) zur berührungslosen Eingabe von Schriftzeichen, insbesondere alphanumerischen Zeichen (Z), mit folgenden Schritten: mittels mehrerer zueinander beabstandeter Sensoren (21) werden Position und Bewegung einer Hand (40) oder Finger einer Person (P) in Form von Positionsdaten (PD) erfasst (Schritt 110); mittels Auswertung der Positionsdaten (PD) werden Schreibspurdaten (SD) für eine Schreibspur berechnet, die zur Bewegung der Hand (40) oder Finger korrespondiert (Schritt 120) , und die Schreibspurdaten (SD) werden mittels einer Handschriftenerkennung in entsprechende Schriftzeichen (Z) gewandelt (Schritt 140) .1. A method (100) for the contactless input of characters, in particular alphanumeric characters (Z), comprising the following steps: by means of a plurality of spaced sensors (21) position and movement of a hand (40) or fingers of a person (P) in the form of Position data (PD) detected (step 110); By means of evaluation of the position data (PD), write track data (SD) for a write track corresponding to the movement of the hand (40) or finger is calculated (step 120), and the write track data (SD) is converted into corresponding characters (Z) by means of a handwriting recognition (Step 140).
2. Verfahren (100) nach Anspruch 1, wobei die Positionsdaten (PD) fortlaufend erfasst werden, um die Schreibspurdaten (SD) zu berechnen, und die Positionsdaten (PD) mindestens einer Position ausgewertet werden, um alle erfassten Positionsdaten (PD) und/oder die Schreibspurdaten (SP) einem virtuellen Schreibbereich (24') und/oder einer Person (P') zuzuordnen (Schritt 130) .2. Method (100) according to claim 1, wherein the position data (PD) are continuously acquired in order to calculate the write track data (SD), and the position data (PD) of at least one position are evaluated in order to obtain all detected position data (PD) and / or associate the write track data (SP) with a virtual write area (24 ') and / or a person (P') (step 130).
3. Verfahren (100) nach Anspruch 1 oder 2, wobei mittels jeweils mindestens zwei, insbesondere vier, Sensoren (21A, 21B, 21D, 21E) ein Sensorfeld (23') definiert wird, dem ein virtueller Schreibbereich (24') und/oder eine Person (P') zugeordnet wird (Schritt 130) .3. Method (100) according to claim 1 or 2, wherein by means of at least two, in particular four, sensors (21A, 21B, 21D, 21E) a sensor field (23 ') is defined, to which a virtual writing area (24') and / or a person (P ') is assigned (step 130).
4. Verfahren (100) nach Anspruch 3, wobei mindestens zwei verschiedene Sensorfelder (23'; 23'') definiert werden, die jeweils einem virtuellen Schreibbereich (24'; 24'') und/oder einer Person (P' ; P' ' ) zugeordnet werden ( Schritt 130 ) .4. Method (100) according to claim 3, wherein at least two different sensor fields (23 ';23'') are defined, each of which is assigned to a virtual writing area (24'; 24 '') and / or a person (P ';P').' ) be assigned (Step 130).
5. Verfahren (100) nach einem der Ansprüche 2 bis 4, wobei die Schreibspurdaten (SD) mittels einer auf die Person (P' ) trainierten Handschriftenerkennung in entsprechende Schriftzeichen (Z) gewandelt werden (Schritt 140) .5. The method (100) as claimed in one of claims 2 to 4, wherein the write track data (SD) is converted into corresponding characters (Z) by means of a handwriting recognition trained on the person (P ') (step 140).
6. Verfahren (100) nach einem der vorhergehenden Ansprüche, wobei die von der Handschriftenerkennung erkennba- ren Schriftzeichen (Z) auch von der Person (P, P' ) definierte Zeichen und Symbole umfassen.6. Method (100) according to one of the preceding claims, wherein the characters (Z) recognizable by the handwriting recognition also comprise characters and symbols defined by the person (P, P ').
7. Verfahren (100) nach einem der vorhergehenden Ansprüche, wobei als Sensoren (21) elektro-optische, akusti- sehe, induktive und/oder kapazitive Sensoren verwendet werden .7. The method (100) according to any one of the preceding claims, wherein as sensors (21) electro-optical, acoustic see, inductive and / or capacitive sensors are used.
8. Verfahren (100) nach einem der vorhergehenden Ansprüche, wobei kapazitive Sensoren (21) verwendet werden und über den Körper der Person (P) zu der Hand (40) ein moduliertes Signal (S) übertragen wird, das die dort vorherrschende elektrische Feldstärke verändert, und wobei das Signal (S) mittels der kapazitiven Sensoren (21) detektiert wird.8. The method (100) according to any one of the preceding claims, wherein capacitive sensors (21) are used and over the body of the person (P) to the hand (40) a modulated signal (S) is transmitted, the prevailing there electric field strength changed, and wherein the signal (S) by means of the capacitive sensors (21) is detected.
9. Verfahren (100) nach einem der vorhergehenden Ansprüche, wobei die Schriftzeichen (Z) als Eingabe für ein in einem Fahrzeug installiertes Benutzersystem, insbesondere Navigationssystem, Kommunikationssystem, Enter- tainmentsystem, Fahrtschreiber, insbesondere mit elektronischem Fahrtenbuch, Tachographen und/oder Komfortsysteme, insbesondere für Klimaanlage oder Sitzverstellung, verwendet werden.9. Method (100) according to one of the preceding claims, wherein the characters (Z) are input for a user system installed in a vehicle, in particular navigation system, communication system, entertainment system, tachograph, in particular with electronic logbook, tachographs and / or comfort systems, especially for air conditioning or seat adjustment.
10. Vorrichtung zur berührungslosen Eingabe von Schriftzeichen, insbesondere alphanumerischen Zeichen (Z), mit: einer mit mehreren zueinander beabstandeter Sensoren (21) verbundenen Sensoreinheit (20), die Position und Bewegung einer Hand (40) einer Person (P) in Form von Positionsdaten (PD) erfasst; einer damit verbundenen Auswerteeinheit (50), die aus den Positionsdaten (PD) Schreibspurdaten (SD) für eine Schreibspur berechnet, die zur Bewegung der Hand (40) korrespondiert; und mit einer damit verbundenen Erkennungseinheit (31), die die Schreibspurdaten (SD) mittels einer Handschriftenerkennung in entsprechende Schriftzeichen (Z) wandelt.10. Device for non-contact input of characters, in particular alphanumeric characters (Z), with: a sensor unit (20) connected to a plurality of spaced-apart sensors (21), which detects the position and movement of a hand (40) of a person (P) in the form of position data (PD); an evaluation unit (50) connected thereto which calculates from the position data (PD) write track data (SD) for a write track corresponding to the movement of the hand (40); and with an associated recognition unit (31), which converts the write track data (SD) by means of a handwriting recognition in corresponding characters (Z).
11. Vorrichtung nach Anspruch 10, wobei die Auswerteeinheit (50) die Positionsdaten (PD) fortlaufend erfasst, um die Schreibspurdaten (SD) zu berechnen, und die Positionsdaten (PD) mindestens einer Position auswertet, um alle erfassten Positionsdaten (PD) und/oder die Schreibspurdaten (SP) einem virtuellen Schreibbereich (24') und/oder einer Person (P') zuzuordnen.11. Device according to claim 10, wherein the evaluation unit continuously acquires the position data in order to calculate the write track data, and evaluates the position data of at least one position to obtain all detected position data and / or. or to associate the write track data (SP) with a virtual write area (24 ') and / or a person (P').
12. Vorrichtung nach Anspruch 10 oder 11, wobei mindestens zwei, insbesondere vier, Sensoren (21A, 21B, 21D, 21 D) ein Sensorfeld (23' ) definieren, dem mindestens ein virtueller Schreibbereich (24') und/oder eine Person (P') zugeordnet ist.12. Device according to claim 10 or 11, wherein at least two, in particular four, sensors (21A, 21B, 21D, 21D) define a sensor field (23 ') to which at least one virtual writing area (24') and / or one person ( P ') is assigned.
13. Vorrichtung nach Anspruch 12, wobei mindestens zwei verschiedene Sensorfelder (23'; 23'') definiert sind, die jeweils einem virtuellen Schreibbereich (24'; 24'') und/oder einer Person (P'; P'') zugeordnet sind.13. Device according to claim 12, wherein at least two different sensor fields (23 ', 23' ') are defined, each associated with a virtual writing area (24', 24 '') and / or a person (P ', P' ') are.
14. Vorrichtung nach einem der Ansprüche 10 bis 13, wobei die Erkennungseinheit (31) die Schreibspurdaten (SD) mittels einer auf die Person (P' ) trainierten Handschriftenerkennung in entsprechende Schriftzeichen (Z) wandelt .14. Device according to one of claims 10 to 13, wherein the recognition unit (31) the write track data (SD) by means of a trained on the person (P ') handwriting recognition in corresponding characters (Z) converts.
15. Vorrichtung nach einem der Ansprüche 10 bis 14, wobei die Sensoren (21) elektro-optische, akustische, induk- tive und/oder kapazitive Sensoren sind.15. Device according to one of claims 10 to 14, wherein the sensors (21) are electro-optical, acoustic, inductive and / or capacitive sensors.
16. Vorrichtung nach einem der Ansprüche 10 bis 15, wobei die Sensoren kapazitive Sensoren (21) sind und wobei die Vorrichtung einen Signalempfänger (22) aufweist, der ein moduliertes Signal (S) empfängt, das über den Körper der Person (P) zu der Hand (40) übertragen wird und die dort vorherrschende elektrische Feldstärke verändert, wobei das Signal (S) mittels der kapazitiven Sensoren (21) detektiert wird.16. An apparatus according to any one of claims 10 to 15, wherein the sensors are capacitive sensors (21), and wherein the apparatus comprises a signal receiver (22) receiving a modulated signal (S) transmitted through the body of the person (P) the hand (40) is transmitted and changes the prevailing electric field strength there, wherein the signal (S) by means of the capacitive sensors (21) is detected.
17. Vorrichtung nach einem der Ansprüche 10 bis 16, wobei die Erkennungseinheit (31) die Schriftzeichen (Z) als Eingabe an ein in einem Fahrzeug installiertes Benutzersystem, insbesondere Navigationssystem, Kommunikati- onssystem, Entertainmentsystem, Fahrtschreiber, insbesondere mit elektronischem Fahrtenbuch, Tachographen und/oder Komfortsystem, insbesondere für Klimaanlage oder Sitzverstellung, überträgt.17. Device according to one of claims 10 to 16, wherein the recognition unit (31) the characters (Z) as input to a user system installed in a vehicle, in particular navigation system, communication system, entertainment system, tachograph, in particular with electronic logbook, tachographs and / or comfort system, in particular for air conditioning or seat adjustment transmits.
18. Vorrichtung nach einem der Ansprüche 10 bis 17, wobei die Erkennungseinheit getrennt zum Anwendungsmodul, insbesondere extern eines in einem Fahrzeug installierten Benutzersystems, angeordnet ist.18. Device according to one of claims 10 to 17, wherein the detection unit is arranged separately from the application module, in particular externally installed in a vehicle user system.
19. Verwendung einer Vorrichtung nach einem der Ansprüche 10 bis 18, wobei die Vorrichtung zur berührungslosen Eingabe von Schriftzeichen in einem in ein Fahrzeug installiertes Nutzersystem, insbesondere Navigationssystem, Kommunikationssystem, Entertainmentsystem, Fahrt- Schreiber, insbesondere mit elektronischem Fahrtenbuch, Tachographen und/oder Komfortsystem, insbesondere für Klimaanlage oder Sitzverstellung, verwendet wird. 19. Use of a device according to one of claims 10 to 18, wherein the device for non-contact input of characters in a vehicle installed in a user system, in particular navigation system, communication system, Entertainmentsystem, ride-writer, especially with electronic logbook, tachograph and / or comfort system , in particular for air conditioning or seat adjustment, is used.
PCT/EP2008/062581 2007-09-25 2008-09-19 Method and apparatus for the contactless input of characters WO2009040322A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE200710045967 DE102007045967A1 (en) 2007-09-25 2007-09-25 Method and device for contactless input of characters
DE102007045967.1 2007-09-25

Publications (1)

Publication Number Publication Date
WO2009040322A1 true WO2009040322A1 (en) 2009-04-02

Family

ID=40003076

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2008/062581 WO2009040322A1 (en) 2007-09-25 2008-09-19 Method and apparatus for the contactless input of characters

Country Status (2)

Country Link
DE (1) DE102007045967A1 (en)
WO (1) WO2009040322A1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102575943A (en) * 2009-08-28 2012-07-11 罗伯特·博世有限公司 Gesture-based information and command entry for motor vehicle
CN103577843A (en) * 2013-11-22 2014-02-12 中国科学院自动化研究所 Identification method for handwritten character strings in air
DE102012216195A1 (en) 2012-09-12 2014-05-28 Continental Automotive Gmbh input device
CN109344793A (en) * 2018-10-19 2019-02-15 北京百度网讯科技有限公司 Aerial hand-written method, apparatus, equipment and computer readable storage medium for identification
US10956016B1 (en) 2019-11-14 2021-03-23 Rockwell Collins, Inc. No look touchscreen panel / CDU
US11194151B2 (en) 2015-03-18 2021-12-07 Endochoice, Inc. Systems and methods for image magnification using relative movement between an image sensor and a lens assembly

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011121585B4 (en) * 2011-12-16 2019-08-29 Audi Ag motor vehicle
DE102013013697B4 (en) * 2013-08-16 2021-01-28 Audi Ag Apparatus and method for entering characters in free space
DE102014206443A1 (en) 2014-04-03 2015-10-08 Continental Automotive Gmbh Method and device for the non-contact input of characters
DE102014224618A1 (en) * 2014-12-02 2016-06-02 Robert Bosch Gmbh Method and device for operating an input device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1475693A2 (en) * 2003-03-21 2004-11-10 Siemens Aktiengesellschaft Combined display and input device for a vehicle
DE102004038965A1 (en) * 2003-08-11 2005-03-17 Mitsubishi Fuso Truck And Bus Corp. Automotive driver switch control system identifies driver hand signals using digital camera linked to control switches and visual display unit, e.g. for controlling air-conditioner or audio controls
WO2005121938A2 (en) * 2004-06-09 2005-12-22 Koninklijke Philips Electronics N.V. Input system
US20070130547A1 (en) * 2005-12-01 2007-06-07 Navisense, Llc Method and system for touchless user interface control

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10211307A1 (en) 2002-03-13 2003-11-20 Mechaless Systems Gmbh Device and method for optoelectronic detection of the movement and / or position of an object
DE10242890A1 (en) * 2002-09-16 2004-03-25 Technische Universität München Body motion detection device for recording motion in bodily parts controls technical equipment while referring a sequence of attributes to a comparison device to recognize the extent of the motion

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1475693A2 (en) * 2003-03-21 2004-11-10 Siemens Aktiengesellschaft Combined display and input device for a vehicle
DE102004038965A1 (en) * 2003-08-11 2005-03-17 Mitsubishi Fuso Truck And Bus Corp. Automotive driver switch control system identifies driver hand signals using digital camera linked to control switches and visual display unit, e.g. for controlling air-conditioner or audio controls
WO2005121938A2 (en) * 2004-06-09 2005-12-22 Koninklijke Philips Electronics N.V. Input system
US20070130547A1 (en) * 2005-12-01 2007-06-07 Navisense, Llc Method and system for touchless user interface control

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ALEJANDRO JAIMES ET AL: "Hotspot Components for Gesture-Based Interaction", HUMAN-COMPUTER INTERACTION - INTERACT 2005 LECTURE NOTES IN COMPUTER SCIENCE;;LNCS, SPRINGER, BERLIN, DE, vol. 3585, 1 January 2005 (2005-01-01), pages 1062 - 1066, XP019018949, ISBN: 978-3-540-28943-2 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102575943A (en) * 2009-08-28 2012-07-11 罗伯特·博世有限公司 Gesture-based information and command entry for motor vehicle
CN102575943B (en) * 2009-08-28 2016-03-23 罗伯特·博世有限公司 For the information based on gesture and the order input of motor vehicles
US9551590B2 (en) 2009-08-28 2017-01-24 Robert Bosch Gmbh Gesture-based information and command entry for motor vehicle
DE102012216195A1 (en) 2012-09-12 2014-05-28 Continental Automotive Gmbh input device
US9626101B2 (en) 2012-09-12 2017-04-18 Continental Automotive Gmbh Input device
CN103577843A (en) * 2013-11-22 2014-02-12 中国科学院自动化研究所 Identification method for handwritten character strings in air
CN103577843B (en) * 2013-11-22 2016-06-22 中国科学院自动化研究所 A kind of aerial hand-written character string recognition methods
US11194151B2 (en) 2015-03-18 2021-12-07 Endochoice, Inc. Systems and methods for image magnification using relative movement between an image sensor and a lens assembly
CN109344793A (en) * 2018-10-19 2019-02-15 北京百度网讯科技有限公司 Aerial hand-written method, apparatus, equipment and computer readable storage medium for identification
US10956016B1 (en) 2019-11-14 2021-03-23 Rockwell Collins, Inc. No look touchscreen panel / CDU

Also Published As

Publication number Publication date
DE102007045967A1 (en) 2009-04-02

Similar Documents

Publication Publication Date Title
WO2009040322A1 (en) Method and apparatus for the contactless input of characters
EP3040816B1 (en) Method and device for entering data with two types of input and haptic feedback, especially in a motor vehicle
DE4301160C2 (en) Device for controlling devices and systems provided with operating elements in a motor vehicle
EP2179346B1 (en) Display device and operator panel for a motor vehicle, comprising a multi-view display device
DE102012216195A1 (en) input device
DE102014019040B4 (en) Method for operating an operating device of a motor vehicle with multi-finger operation
DE102016106799A1 (en) Motion-based capacitive sensor system
DE102012005800A1 (en) input device
WO2008080465A1 (en) Contactless activated display- and operation device
DE102017128641A1 (en) VEHICLE USER INPUT CONTROL SYSTEM AND METHOD
EP3040817A1 (en) Device and method for inputting a text using virtual control elements with haptic feedback for simulating key haptics, especially in a motor vehicle
DE102012005084A1 (en) input device
DE102015205931A1 (en) Operating device and method for operating at least one function of a vehicle
EP2704634A1 (en) Multifunction operating device
DE102008061987A1 (en) Operating method and operating device
DE102007054310A1 (en) Multifunction display and control system and method for operating functions or vehicle systems with an assisted operating mode
EP3254172A1 (en) Determination of a position of a non-vehicle object in a vehicle
WO2018103984A1 (en) Operating device for an infotainment system of a motor vehicle, and a method for determining the location of an operator of such an operating element
DE102009037401A1 (en) Operating element for working an infotainment system in a vehicle, especially a car, makes multiple operator control actions possible like turning a wheel
DE102013105507A1 (en) Method and device for operating at least one screen in a vehicle
DE102008011442A1 (en) Operating device for e.g. navigation system, of motor vehicle, has input unit with operating elements provided with display, where different information are displayed with display for two viewing angles
DE102019206606A1 (en) Method for contactless interaction with a module, computer program product, module and motor vehicle
DE102012022362A1 (en) Input device for a motor vehicle
EP2030828A2 (en) Multimodal operating system and method to operate components and functions in a vehicle
DE102017206111A1 (en) OPERATING DEVICE, METHOD AND VEHICLE

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08804509

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 08804509

Country of ref document: EP

Kind code of ref document: A1