WO2017072307A1 - Verfahren und vorrichtung zur verbesserung der erkennungsgenauigkeit bei der handschriftlichen eingabe von alphanumerischen zeichen und gesten - Google Patents

Verfahren und vorrichtung zur verbesserung der erkennungsgenauigkeit bei der handschriftlichen eingabe von alphanumerischen zeichen und gesten Download PDF

Info

Publication number
WO2017072307A1
WO2017072307A1 PCT/EP2016/076102 EP2016076102W WO2017072307A1 WO 2017072307 A1 WO2017072307 A1 WO 2017072307A1 EP 2016076102 W EP2016076102 W EP 2016076102W WO 2017072307 A1 WO2017072307 A1 WO 2017072307A1
Authority
WO
WIPO (PCT)
Prior art keywords
recognition
input
screen
optical character
input field
Prior art date
Application number
PCT/EP2016/076102
Other languages
English (en)
French (fr)
Inventor
Bernhard Schild
Original Assignee
Continental Automotive Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive Gmbh filed Critical Continental Automotive Gmbh
Priority to CN201680054257.2A priority Critical patent/CN108027665A/zh
Priority to US15/771,972 priority patent/US10726250B2/en
Priority to EP16787900.6A priority patent/EP3368967A1/de
Publication of WO2017072307A1 publication Critical patent/WO2017072307A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/268—Lexical context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification
    • G06V30/387—Matching; Classification using human interaction, e.g. selection of the best displayed recognition candidate
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Definitions

  • the present invention relates to the field of user interfaces ⁇ Be, and in particular the handwritten A ⁇ administration of letters and numbers or gestures on a touch-sensitive screen, or remotely located from one screen touch input unit.
  • Modern motor vehicles are equipped with a variety of user ⁇ interfaces for the operation of different functions.
  • user interfaces found in a recent increase touch screens or touch-sensitive input devices, which are mounted in centra ⁇ ler location easily accessible for the driver of a motor vehicle.
  • alphanumeric characters may be displayed on a touch screen.
  • alphanumeric characters can also be input via handwriting recognition, where the user writes letters and numbers on the touch-sensitive screen or on a touch-sensitive input unit, also known as a touchpad, with a finger or a suitable object.
  • Detection via a touch-sensitive input unit or a touch screen of handwritten alphanumeric characters and gestures can be more reliable if only a limited selection of characters or gestures is allowed.
  • the characters or gestures permissible for a user input depend on the system or program to be operated or the application to be operated. Within a program or an application, different input fields may be provided, for which in turn an individual limited selection of characters or gestures is permitted.
  • ⁇ In order to provide a customized recognition algorithm for handwritten input alpha-numeric characters and gestures must ⁇ the about give-use system or program or to-use application corresponding information to the system part on ⁇ , which takes over the evaluation of the handwritten input.
  • the program routine which is responsible for the insertion of the virtual keyboard, passes a corresponding information.
  • the transfer of a corresponding information is known, for example from the HTML 5 standard (attribute "input type"). If the application or the Pro ⁇ program the required information is not there appears a standard keyboard, in any required signs not the first level are available, but only after switching to another level of the keyboard.
  • a method for automatically selecting one of a plurality of recognition algorithms for handwritten input of alphanumeric characters and / or gestures in a selected input field displayed on a screen via a touch-sensitive input device comprises performing an optical character recognition in a region of the screen. the at least the input field and the vicinity of the input field comprises.
  • speech recognition may be performed for a voice hint acoustically output after displaying the selected input field. It may be useful to perform the optical character recognition or speech recognition only after selecting one of several input fields on the screen.
  • the optical character recognition text components are detected in the detection area and can be fed to an analysis, which is looking for clues to the type of characters or gestures to be entered.
  • the type of characters or gestures to be entered depends on the type of input field. If any of the words “phone”, “phone number”, ei ne equivalent abbreviation thereof or a phone icon play as is shown on the screen in the area of the input field at ⁇ can assume who the that numbers or numbers are entered in the input field. If words such as "place” or "street” are found in the vicinity of the input field, it can be assumed that letters are to be entered in the input field.
  • the detection algorithm or an adapted for the detection of numbers or letters parameter set for a recognition algorithm for handwritten input can be ent ⁇ talking selected.
  • the evaluation of the screen content also includes the evaluation of a so-called speller, which specifies the next options when letters are entered consecutively.
  • a so-called speller specifies the next options when letters are entered consecutively.
  • An example is the entry of city names in a destination ⁇ input in a navigation, in which after entering a letter of value storage for a subsequent letter is often severely limited.
  • Speller is the Handschriftenerkenner the permissible value ⁇ , stock for the next character always current shares mitge ⁇ . If available, admissible sequences of several characters for the next input can also be announced.
  • At least one region of the screen which comprises at least the input field and the nearer surroundings of the input field is transmitted to an optical character recognition device or program routine for optical character recognition, which provides the result of the recognition.
  • the transmission can, for example directly from the graphics memory of asistedan horrungs- unit done, for example, as an RGB bitmap in which the screen content or the transmitted parts of the screen ⁇ content as a pixel representation.
  • functions are already provided which make it possible to create an image of the screen or a window on the screen, a so-called snapshot, and to pass them on to other programs or applications. These include, for example, operating systems that perform graphics output via a Wayland Display Server Protocol compositor.
  • the transmitted image of the image ⁇ screen content can then be examined relative to the input box on the screen, for example with a handelsübli ⁇ chen program for optical character recognition on textual content and location of the texts.
  • References to the field type or the type of text input are then stored in a database for the texts and, if appropriate, their position.
  • the size of the area enclosing the input field can be predetermined or adjustable by a user. It is also conceivable that the user circles the input field for selection on a touch-sensitive screen with his finger or a suitable object and thereby determines the range.
  • either a signal output through speakers analog electrical signal, a corresponding Popes digital elec ⁇ tric signal or a control signal for a text-to ⁇ language output unit to an apparatus or a pro ⁇ is for the following the acoustic speech Note speech recognition routines for speech recognition, which provides the result of the recognition.
  • a present in a vehicle anyway for the recognition of voice commands existing speech recognition system can be used in an advantageous manner. If a so-called speller is not specified by the application program concerned, whose respective current output is detected by analyzing the current screen content, etc., the handwriting input can also take into account the most recent input context
  • An apparatus for automatically selecting comprises one of a plurality of detection algorithms or parameter sets for a handwritten entry of alphanumeric characters and / or gestures of an image displayed on a display screen, selected one input field via a touch-sensitive Eingabevorrich ⁇ tung first means that are adapted to an optical character recognition in an area of the screen that includes at least the input field and the surrounding area of the input field.
  • the first means may be configured to perform a voice recognition for a voice hint acoustically output after displaying the selected input field.
  • the apparatus further comprises second means arranged to search for terms describing field types in the result of optical character recognition or speech recognition.
  • the device comprises third means, which are adapted to provide one for one in zuubahlen the result of the optical character recognition or voice recognition retrieved field type matched detection algorithm or set of parameters for the recognition algorithm ⁇ .
  • a fourth means which guides the handwriting input character by character, taking into account the input context. This leadership results in three variants:
  • a structure usually ver ⁇ turns, which can be either locally within the system or removed queried about in a coupled smart phone or a computer connected via the Internet cloud server.
  • one or more of the first, second, third and / or optional fourth means comprises one or more microprocessors and random access memory and non-volatile memory communicatively coupled to the one or more microprocessors.
  • the respective nonvolatile memories store computer program instructions which, when loaded and executed by the one or more microprocessors in the respective memory, cause the execution of portions of the method.
  • the first, second, and third remedies taken together eventually perform all the steps of the procedure.
  • the screen, the first, second, third and / or optional fourth means are arranged spatially separated from each other and connected to each other by means of egg ⁇ nes or more communication networks.
  • the communication between the individual components of the device can be effected in a conventional manner on one or several ⁇ ren communication networks.
  • the screen is signal ⁇ moderately connected to a control electronics.
  • the screen may for example be an intended for a navigation device screen, which is arranged in the dashboard of the motor vehicle, or a so-called head-up Dis ⁇ play, wherein the content of the screen in the viewing area of the Fah ⁇ RERS on the windshield or a front arranged transparent Pro etechnischsmedium is projected.
  • This also includes a holographic output, the z. B. is placed in front of the windshield.
  • a touch-sensitive input device which can be used with the method according to the invention or which can be connected to the device according to the invention comprises a touchpad arranged separately from a screen or a correspondingly marked area on a touch-sensitive screen.
  • the present inventive method and the OF INVENTION ⁇ -making device can be used in an advantageous manner in a motor vehicle, however, an appli ⁇ dung in other fields of technology, it is conceivable in which an input of characters and / or gestures takes place by hand.
  • Improved the selection of custom detection algorithms or custom parameters for a detection algorithm the handwritten input of alphanumeric characters and gestures and reduces, especially during operation of a motor vehicle, the probability that corrections must be made in the input. This reduces the overall distraction of the driver from the traffic.
  • Fig. 1 is a schematic representation of a dashboard in a motor vehicle
  • Fig. 2 is a schematic representation of a screen for
  • Fig. 3 is a schematic flow chart of the inventive method and ⁇ SEN
  • Fig. 4 is a schematic representation of a block diagram of a device according to the invention.
  • FIG. 1 shows a schematic representation of a dashboard 100 in a motor vehicle. Behind a steering wheel 104, an instrument cluster 106 is arranged. In the area of a center console 108, a screen 110 is arranged, as well as a touch-sensitive touchpad 116. In addition, a region is shown on a windshield 112, in which a head-up display 114 displays information. The can, as well as the screen 110 and the head-up display 114, a graphics-capable display matrix to hold ⁇ , so a display that represents complex graphical struc ⁇ ren by means of corresponding control of individual pixels in ⁇ strumentencluster 106th That is, input fields for user input may be displayed on each of the display devices.
  • the screen 110 is a touch-sensitive screen.
  • the user may enter the digits via the touchpad 116 or via the touchpad-labeled area 216 on the touch screen 110, where the input is converted to a digit by handwriting recognition.
  • the user has already entered the first three digits of the telephone number, "0", “1” and “2”, and is just finished entering the fourth digit, "3".
  • the user has, the number "3" (not shown) with a finger or another suitable input device on the touch pad 116 or drawn on the corresponding area 216 of the touch screen 110th
  • the last one ⁇ given digit is slightly enlarged compared to illustrated the previously ⁇ given digits.
  • the first region 206 is indicated by the dotted line.
  • the term "telephone number" is shown in the first area 206 to the left of the input field 202.
  • a second area 208 including the input field is shown, which is larger than the first area 206.
  • the second area 208 is indicated by the dashed line This area recognizes optical character recognition in addition to the
  • the occurrence of two to be input into the input box character descriptive terms in the second region 208 may improve the determination of the type of the input field and thus the ultimate recognition of the Constant ⁇ played in the input box character.
  • FIG. 3 shows a schematic flow diagram of the method of invention according 300.
  • a Step 302 a Step 302 a.
  • a Step 302 a.g., a so-called speller is searched for in the screen content, or a read connection to a database of the type concerned is established directly, locally or remotely, if possible. Alternatively, local or remote searches for possible structure rules for the input.
  • an adapted detection algorithm for the handwriting recognition or an adapted parameter set is selected for the recognition algorithm.
  • the selection of Be ⁇ kingdom, and the transfer of the evaluation by the optical Laneerken ⁇ voltage region to the character recognition function or device are not shown in the figure.
  • Figure 4 shows a schematic representation of a Blockdia ⁇ program of a device according to the invention.
  • First means 400 which are adapted to an optical character recognition in a region of the screen, including at least the input field and the surrounding area of the input field, souzuhold ⁇ ren are second means 402 which are adapted to field type descriptive terms in the Seek result of the optical character recognition, communicatively connected via one or more data buses 410.
  • second means 402 which are adapted to field type descriptive terms in the Seek result of the optical character recognition, communicatively connected via one or more data buses 410.
  • further first means 404 can be provided, which are set up to carry out a speech recognition for a speech hint that is acoustically emitted after the display of the input field.
  • the further first means 404 are also communicatively connected to the second means via the one or more data buses 410.
  • One or more screens 406 are also communicatively coupled to at least the first means 400 via the one or more data buses 410 to provide the first means 400 access to the area of the screen that includes at least the input field and the surrounding environment of the input field enable or transmit the image information to the first means 400.
  • third means 408 via the or the one or more data buses 410, at least communicatively coupled to the second means 402 on the basis of detected by the second means, field types, descriptive terms, one for the handwritten input by alphanu ⁇ preneurial characters and / or gestures matched Select a recognition algorithm or an adjusted parameter set for the recognition algorithm.
  • the third means include, for example, a database and a device or a A computer program which compares the found terms with the character or voice recognition with data stored in the database in case of a hit terms and selects a ent ⁇ speaking, adapted for a field type detection algorithm or an adjusted parameter set for the detection algorithm.
  • means 412 may still be present which dynamically control the input regarding a database, taking into account already existing contents, by restricting the inputs which are still to be expected. This can be done, for example, by using already provided by the appropriate application "Speller” functionalities, alternatively, by direct access to the appropriate database, local or remote, done, or there are structural rules for the input queried locally or remotely. These structure rules can, for. B. be country-dependent. This step is used to determine an extended parameter set for the Erkennungsal ⁇ gorithmus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Character Discrimination (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Verfahren und Vorrichtung zur Verbesserung der Erkennungsge- nauigkeit bei der handschriftlichen Eingabe von alphanumeri- schen Zeichen und Gesten Ein Verfahren zur automatischen Auswahl eines von mehreren Erkennungsalgorithmen für eine handschriftliche Eingabe von alphanumerischen Zeichen und/oder Gesten in ein auf einem Bildschirm angezeigtes, ausgewähltes Eingabefeld über eine berührungsempfindliche Eingabevorrichtung, umfasst das Durch- führen einer optischen Zeichenerkennung in einem Bereich des Bildschirms, der zumindest das Eingabefeld und die nähere Um- gebung des Eingabefelds umfasst, oder das Durchführen einer Spracherkennung für einen nach dem Anzeigen des ausgewählten Eingabefelds akustisch ausgegebenen Sprachhinweis. In dem Er- gebnis der optischen Zeichenerkennung oder der Spracherken- nung wird nach Feldtypen beschreibenden Begriffen gesucht, und ein für einen in dem Ergebnis der optischen Zeichenerken- nung oder der Spracherkennung aufgefundenen Feldtyp angepass- ter Erkennungsalgorithmus ausgewählt. Optional kann der zu- lässige Wertevorrat für die zu erkennenden Zeichen auch ab- hängig von der Eingabe dynamisch für das nächste oder die nächsten Zeichen bekannt gemacht werden, z. B. wenn die Ein- gabe ein Element in einer Datenbank bezeichnet und/oder ge- wissen Strukturregeln genügen muss.

Description

Beschreibung
Verfahren und Vorrichtung zur Verbesserung der Erkennungsgenauigkeit bei der handschriftlichen Eingabe von alphanumerischen Zeichen und Gesten
Gebiet der Technik
Die vorliegende Erfindung bezieht sich auf das Gebiet der Be¬ nutzerinterfaces, insbesondere auf die handschriftliche Ein¬ gabe von Buchstaben und Zahlen oder Gesten auf einem berührungsempfindlichen Bildschirm oder einer von einem Bildschirm separat angeordneten berührungsempfindlichen Eingabeeinheit.
Hintergrund
Moderne Kraftfahrzeuge sind mit einer Vielzahl von Benutzer¬ interfaces zur Bedienung der unterschiedlichsten Funktionen ausgestattet. Unter den Benutzerinterfaces finden sich in jüngster Zeit zunehmend berührungsempfindliche Bildschirme oder berührungsempfindliche Eingabeeinheiten, die in zentra¬ ler Lage gut erreichbar für den Fahrer eines Kraftfahrzeugs angebracht sind. Entsprechend sind in den modernen Kraftfahr¬ zeugen Computersysteme vorgesehen, die dazu eingerichtet sind, die für die Bedienung des Kraftfahrzeugs oder der in dem Kraftfahrzeug verbauten Systeme erforderlichen Benutzereingaben über die berührungsempfindlichen Bildschirme oder die berührungsempfindlichen Eingabeeinheiten zu erfassen.
Die Computersysteme in modernen Kraftfahrzeugen sind häufig leistungsfähig genug, um mit zusätzlichen Applikationen und Programmen erweitert zu werden und zusätzliche Funktionen be¬ reitzustellen. Diese zusätzlichen Applikationen und Programme benötigen in der Regel ebenfalls Benutzereingaben während der Aus führung .
Wenn die Eingabe alphanumerischer Zeichen erforderlich ist kann beispielsweise die Einblendung einer virtuellen Tastatur auf einem berührungsempfindlichen Bildschirm erfolgen. Die Eingabe alphanumerischer Zeichen kann jedoch auch über eine Handschrifterkennung erfolgen, bei der der Benutzer Buchstaben und Zahlen auf dem berührungsempfindlichen Bildschirm oder auf einer von dem Bildschirm separat angeordneten berührungsempfindlichen Eingabeeinheit, auch als Touchpad bekannt, mit einem Finger oder einem geeigneten Gegenstand schreibt .
Wegen der begrenzten Größe der in Kraftfahrzeugen angeordneten berührungsempfindlichen Bildschirme oder der berührungsempfindlichen Eingabeeinheiten ist eine direkte handschriftliche Eingabe alphanumerischer Zeichen in dafür vorgesehene Felder einer Eingabemaske nicht pragmatisch. Insbesondere er¬ fordert die aus der begrenzten Größe der Bildschirme resul¬ tierende geringe Größe der Eingabefelder eine Konzentration auf die handschriftliche Eingabe der Zeichen, die mit dem si¬ cheren Betrieb eines Kraftfahrzeugs im Straßenverkehr nicht vereinbar ist. Aus diesem Grund erfolgt die handschriftliche Eingabe alphanumerischer Zeichen üblicherweise als eine nacheinander erfolgende Eingabe einzelner Zeichen. Hierbei ist "nacheinander" im Sinne eines zeitlichen Ablaufs gemeint. Je nach Größe des 2-dimensionalen Eingabefeldes kann die Eingabe auf diesem Feld hintereinander oder auch übereinander erfolgen .
Die Erkennung über eine berührungsempfindliche Eingabeeinheit oder einen berührungsempfindlichen Bildschirm handschriftlich eingegebener alphanumerischer Zeichen und Gesten kann zuverlässiger erfolgen, wenn nur eine begrenzte Auswahl von Zeichen oder Gesten zugelassen ist. Die für eine Benutzereingabe jeweils zulässigen Zeichen oder Gesten sind dabei von dem zu bedienenden System oder Programm bzw. der zu bedienenden Applikation abhängig. Innerhalb eines Programms oder einer Applikation können unterschiedliche Eingabefelder vorgesehen sein, für welche wiederum eine individuelle begrenzte Auswahl von Zeichen oder Gesten zulässig ist. Um einen angepassten Erkennungsalgorithmus für die handschriftliche Eingabe alpha¬ numerischer Zeichen und Gesten bereitzustellen muss das zu bedienende System oder Programm bzw. die zu bedienende Applikation eine entsprechende Information an den Systemteil über¬ geben, der die Auswertung der handschriftlichen Eingabe übernimmt. Wenn diese Information nicht vorliegt muss ein allge¬ meiner Erkennungsalgorithmus verwendet werden, was zu einer weniger zuverlässigen Erkennung der handschriftlich eingegebenen Zeichen führen kann. So ist es beispielsweise sehr schwierig, zwischen der handschriftlichen Eingabe des Buchstaben „0" und der Ziffer „null" zu unterscheiden, wenn ein Eingabefeld nicht ausschließlich für Buchstaben oder ausschließlich für Zahlen vorgesehen ist, und diese Information der Handschrift-Erkennungsvorrichtung zur Verfügung steht.
An diesem Beispiel wird klar, dass eine Mustererkennung allein anhand der geometrischen Analyse der Trajektorien allein nicht zum Ziel führt. Hier kann nur eine Berücksichtigung des Anwendungskontextes weiterhelfen. Ferner kann auch die Kennt¬ nis von Datenbank-Inhalten weiterhelfen, falls sich die Eingabe hierauf bezieht, oder aber auch die Kenntnis von Struk¬ turregeln wie z. B. Regeln für den Aufbau von gültigen Telefonnummern, die von Land zu Land unterschiedlich sein können. Ansonsten kann die Handschriftenerkennung die Kontextinformation nutzen um die Handschrifteingaben unter Verwendung von mit Häufigkeitsangaben versehenen, kontextspezifischen Wörterbüchern unter Berücksichtigung von generellen statistischen Sprachinformationen wie z. B. Bigramm- und Trigramm- Häufigkeiten usw. zu verbessern.
Die Bereitstellung angepasster virtueller Tastaturen für bestimmte Eingabefelder ist von Tablet-Computern und Mobiltelefonen mit berührungsempfindlichen Bildschirmen bekannt. So kann beispielsweise die Platzierung des Cursors in einem Ein¬ gabefeld für eine E-Mail-Adresse dazu führen, dass die einge¬ blendete virtuelle Tastatur Tasten für spezielle Zeichen zeigt, die üblicherweise in E-Mail-Adressen verwendet werden, beispielsweise ein „@"-Zeichen . Wenn der Cursor in einem Ein- gabefeld für eine Telefonnummer platziert ist kann die einge¬ blendete virtuelle Tastatur aus einem Ziffernblock bestehen.
Die Bereitstellung angepasster virtueller Tastaturen erfolgt jedoch nur dann, wenn die jeweilige Applikation bzw. das jeweilige Programm, bei dessen Bedienung eine Eingabe erforderlich ist, der Programmroutine, die für die Einblendung der virtuellen Tastatur verantwortlich ist, eine entsprechende Information übergibt. Die Übergabe einer entsprechenden In- formation ist beispielsweise aus dem HTML 5-Standard bekannt (Attribut „input type") . Wenn die Applikation bzw. das Pro¬ gramm die erforderliche Information nicht übergibt wird eine Standardtastatur eingeblendet, bei der eventuell benötigte Zeichen nicht auf der ersten Ebene verfügbar sind, sondern erst nach einem Umschalten in eine andere Ebene der Tastatur.
Eine automatische Anpassung oder Auswahl von Erkennungsalgo¬ rithmen für die optische Zeichenerkennung (Optical Character Recognition, OCR) für eine begrenzte Auswahl von Zeichen ohne die Bereitstellung einer entsprechenden Information durch ein System oder Programm bzw. eine Applikation ist aus der
US 7,489,415 B2 bekannt. Bei dem bekannten System erfolgt die Einstellung anhand der Koordinaten eines Eingabeorts auf ei¬ nem zuvor ausgefüllten Formular. Dabei ist für jeden Eingabe- ort eines jeden Formulars in dem System eine Feldtype hinter¬ legt .
Eine andere Art der automatischen Anpassung oder Auswahl von Erkennungsalgorithmen für die optische Zeichenerkennung für eine begrenzte Auswahl von Zeichen, die in unterschiedliche Felder von Formularen eingegeben sind, ist aus der
US 2014/0201102 AI bekannt. Hierbei wird die Feldtype eines jeweiligen Eingabefelds durch optische Zeichenerkennung des Formulars bestimmt, und erst danach der handschriftlich aus- gefüllte Teil des jeweiligen Felds mit dem angepassten oder ausgewählten Erkennungsalgorithmus ausgewertet. Die bekannten Arten der automatischen Anpassung oder Auswahl von Erkennungsalgorithmen sind jedoch nicht für eine noch bevorstehende handschriftliche Eingabe von Zeichen oder Gesten auf einem berührungsempfindlichen Bildschirm oder einer be- rührungsempfindlichen Eingabeeinheit geeignet, weil hier kei¬ ne optische Erfassung eines Formulars und entsprechende Aus¬ wertung von Eingabeorten oder Namen von Formularfeidern möglich ist . Zusammenfassung der Erfindung
Technische Aufgabe
Es ist eine Aufgabe der Erfindung, ein Verfahren und eine Vorrichtung zur automatischen Auswahl oder Anpassung von Erkennungsalgorithmen für eine handschriftliche Eingabe von Zeichen oder Gesten auf einem berührungsempfindlichen Bildschirm oder einer berührungsempfindlichen Eingabeeinheit anzugeben, die nicht auf von zu dem jeweiligen bedienenden Sys- tem oder Programm bzw. der zu Bedienenden Applikation gelieferte Informationen zu Feldtypen angewiesen sind.
Technische Lösung Diese Aufgabe wird gelöst durch das in Anspruch 1 angegebene Verfahren und die in Anspruch 7 angegebene Vorrichtung. Vorteilhafte Weiterentwicklungen und Ausgestaltungen des Verfahrens und der Vorrichtung sind in den jeweiligen abhängigen Ansprüchen angegeben.
Ein erfindungsgemäßes Verfahren zur automatischen Auswahl eines von mehreren Erkennungsalgorithmen für eine handschriftliche Eingabe von alphanumerischen Zeichen und/oder Gesten in ein auf einem Bildschirm angezeigtes, ausgewähltes Eingabe- feld über eine berührungsempfindliche Eingabevorrichtung um- fasst das Durchführen einer optischen Zeichenerkennung in einem Bereich des Bildschirms, der zumindest das Eingabefeld und die nähere Umgebung des Eingabefelds umfasst. Alternativ kann eine Spracherkennung für einen nach dem Anzeigen des ausgewählten Eingabefelds akustisch ausgegebenen Sprachhinweis erfolgen. Dabei kann es sinnvoll sein, die optische Zei chenerkennung oder die Spracherkennung erst nach dem Auswählen eines von mehreren Eingabefeldern auf dem Bildschirm durchzuführen .
Dabei sind 2 Fälle zu unterscheiden. Wenn der Sprachhinweis lokal im gleichen System erstellt wurde, sind i. A. schon ge eignete Kontext Information lokal in diesem System vorhanden In anderen Fällen, z. B. wenn der Sprachhinweis von z. B. ei nem Cloud-Server erhalten wird, ist ein Spracherkenner zu verwenden, der lokal oder wiederum in einem anderen Cloudser ver zur Verfügung gestellt wird, um die notwendigen Kontextinformationen zu bestimmen. Alternativ zu einem Cloudserver kann auch ein geeignetes Smartphone verwendet werden, dass z. B. lokal an das System gekoppelt ist.
Durch die optische Zeichenerkennung werden Textbestandteile in dem Erkennungsbereich erkannt und können einer Analyse zu geführt werden, mit der nach Hinweisen auf die Art der einzu gebenden Zeichen oder Gesten gesucht wird. Die Art der einzu gebenden Zeichen oder Gesten ist dabei von dem Typ des Einga befelds abhängig. Wenn in der Umgebung des Eingabefelds bei¬ spielsweise eines der Worte „Rufnummer", „Telefonnummer", ei ne entsprechende Abkürzung davon oder ein Telefonsymbol auf dem Bildschirm wiedergegeben ist, kann davon ausgegangen wer den, dass Zahlen oder Ziffern in das Eingabefeld einzugeben sind. Wenn in der Umgebung des Eingabefelds Worte wie „Ort" oder „Straße" gefunden werden, kann davon ausgegangen werden dass Buchstaben in das Eingabefeld einzugeben sind. Der Erkennungsalgorithmus bzw. ein für die Erkennung von Zahlen oder Buchstaben angepasster Parametersatz für einen Erkennungsalgorithmus für die handschriftliche Eingabe kann ent¬ sprechend ausgewählt werden. Gleiches gilt entsprechend für einen mit dem Anzeigen des Eingabefelds akustisch ausgegebe- nen Sprachhinweis: Wenn beim Einblenden oder Auswählen des Eingabefelds ein Sprachhinweis wie zum Beispiel „Bitte geben Sie eine Telefonnummer ein" erfolgt, kann durch Analyse des mittels Spracherkennung in Text umgesetzten Sprachhinweises darauf geschlossen werden, dass Zahlen oder Ziffern in das Eingabefeld einzugeben sind.
Selbstverständlich ist es möglich, bei der Analyse und Suche nach Feldtypen beschreibenden Begriffen auch Begriffe in un- terschiedlichen Sprachen zu berücksichtigen. Eine Erweiterung der entsprechenden Datenbank stellt nur geringfügig höhere Anforderungen an den benötigten Speicherplatz und ist einfach zu implementieren. Es ist auch vorstellbar, bevorzugt zunächst Begriffe in der Sprache zu erkennen, die für das Mensch-Maschine-Interface von dem Benutzer ausgewählt wurde, und erst danach eine Erkennung für andere Sprachen durchzuführen .
Die Auswertung des Bildschirminhaltes umfasst auch die Aus- wertung eines sogenannten Spellers, der bei fortlaufender Eingabe von Buchstaben die nächsten Möglichkeiten vorgibt. Ein Beispiel ist die Eingabe von Städtenamen bei einer Ziel¬ eingabe bei einer Navigation, bei der nach vorheriger Eingabe eines Buchstabens der Wertevorrat für einen Folgebuchstaben oftmals erheblich eingeschränkt wird. Bei Erkennen eines
Spellers wird dem Handschriftenerkenner der zulässige Werte¬ vorrat für das nächste Schriftzeichen immer aktuell mitge¬ teilt. Falls vorhanden, können auch zulässige Folgen von mehreren Zeichen für die nächste Eingaben bekannt gegeben wer- den.
Bei einer Ausgestaltung der Erfindung wird für die optische Zeichenerkennung zumindest ein Bereich des Bildschirms, der zumindest das Eingabefeld und die nähere Umgebung des Einga- befelds umfasst, an eine Vorrichtung oder Programmroutine zur optischen Zeichenerkennung übertragen, die das Ergebnis der Erkennung bereitstellt. Die Übertragung kann beispielsweise direkt aus dem Grafik-Speicher einer Bildschirmansteuerungs- einheit erfolgen, beispielsweise als RGB Bitmap, bei der der Bildschirminhalt oder die übertragenen Teile des Bildschirm¬ inhalts als Pixel-Darstellung vorliegen. Bei einigen Betriebssystemen sind bereits Funktionen vorgesehen, die es ermöglichen, ein Abbild des Bildschirms oder eines Fensters auf dem Bildschirm, einen sogenannten Snapshot, zu erstellen und an andere Programme oder Applikationen zu übergeben. Hierzu gehören beispielsweise Betriebssysteme, die die Grafikausgabe über einen nach dem Wayland Display Server Protocol arbeitenden Compositor durchführen. Das übertragene Abbild des Bild¬ schirminhalts kann dann beispielsweise mit einem handelsübli¬ chen Programm zur optischen Zeichenerkennung auf Textinhalte und die Position der Texte relativ zu dem Eingabefeld auf dem Bildschirm untersucht werden. Zu den Texten und gegebenenfalls zu deren Position sind dann in einer Datenbank Verweise auf den Feldtyp bzw. die Art der Texteingabe abgelegt. Die Größe des das Eingabefeld einschließenden Bereichs kann dabei vorgegeben oder von einem Benutzer einstellbar sein. Es ist auch vorstellbar, dass der Benutzer das Eingabefeld zur Auswahl auf einem berührungsempfindlichen Bildschirm mit dem Finger oder einem geeigneten Gegenstand umkreist und dadurch den Bereich festlegt.
Bei einer anderen Ausgestaltung der Erfindung wird für die auf den akustischen Sprachhinweis folgende Spracherkennung entweder ein über Lautsprecher ausgegebenes analoges elektrisches Signal, ein entsprechend vorliegendes digitales elek¬ trisches Signal oder ein Steuersignal für eine Text-zu¬ Sprache Ausgabeeinheit an eine Vorrichtung oder eine Pro¬ grammroutine zur Spracherkennung geleitet, die das Ergebnis der Erkennung bereitstellt. Bei dieser Ausgestaltung der Erfindung kann ein in einem Fahrzeug ohnehin zur Erkennung von Sprachbefehlen vorhandenes Spracherkennungs System in vorteilhafter Weise genutzt werden. Falls nicht von dem betroffenen Anwendungsprogramm ein sogenannter Speller vorgegeben wird, dessen jeweilige aktuelle Ausgabe durch Analyse des aktuellen Bildschirminhalts usw. erfasst wird, kann die Handschrifteingabe unter Berücksichti- gung des aktuellsten Eingabekontextes auch
- anhand von Datenbankinhalten,
- anhand von Strukturregeln
gesteuert werden. Dabei kann der Zugriff auf die entsprechenden Datenbankinhalten, z. B. auf die abgespeicherten Städte, unabhängig von den damit verbundenen Applikationen, z. B. von der Navigation, direkt z. B. lokal erfolgen. Es ist aber auch möglich, solche Datenbankinhalten von extern, z. B. von einem gekoppelten Smartphone oder einem über Internet verbundenen Cloudserver zu erhalten. Genauso können Strukturregeln lokal im System vorhanden, oder von extern, etwa einem Smartphone oder Cloudserver abgefragt werden. Es können dem Handschrif- tenerkenner jeweils der für die nächste Eingabe zulässige Wertebereich der Zeichen als auch die nächsten zulässigen Zeichenfolgen bzgl . der Eingabe bekannt gegeben werden.
Eine Vorrichtung zur automatischen Auswahl eines von mehreren Erkennungsalgorithmen oder Parametersätzen für eine handschriftliche Eingabe von alphanumerischen Zeichen und/oder Gesten in ein auf einem Bildschirm angezeigtes, ausgewähltes Eingabefeld über eine berührungsempfindliche Eingabevorrich¬ tung umfasst erste Mittel, die dazu eingerichtet sind, eine optische Zeichenerkennung in einem Bereich des Bildschirms, der zumindest das Eingabefeld und die nähere Umgebung des Eingabefelds einschließt, durchzuführen. Alternativ können die ersten Mittel dazu eingerichtet sein, eine Spracherken¬ nung für einen nach dem Anzeigen des ausgewählten Eingabefelds akustisch ausgegebenen Sprachhinweis durchzuführen. Die Vorrichtung umfasst darüber hinaus zweite Mittel, die dazu eingerichtet sind, nach Feldtypen beschreibenden Begriffen in dem Ergebnis der optischen Zeichenerkennung oder der Spracherkennung zu suchen. Schließlich umfasst die Vorrichtung dritte Mittel, die dazu eingerichtet sind, einen für einen in dem Ergebnis der optischen Zeichenerkennung oder der Spracherkennung aufgefundenen Feldtyp angepassten Erkennungsalgorithmus oder Parametersatz für den Erkennungsalgorithmus aus¬ zuwählen .
Optional wird ein viertes Mittel bereitgestellt, das die Handschrifteingabe Zeichen für Zeichen unter Berücksichtigung des Eingabekontextes führt. Diese Führung ergibt sich in drei Ausprägungen :
- es wird die Bildschirmausgabe des von der die Eingabe er¬ wartenden Applikation bereitgestellte sog. "Spellers" durch Analyse des jeweils aktuellsten Bildschirminhaltes verwen¬ det,
- es wird abhängig vom Eingabekontextes undabhängig von der betroffenen Applikation auf die betroffenen Datenbankinhalte Zugriffen und selber die Funktionalität" eines "Spel¬ lers" bereitgestellt, wobei ein Zugriff auf eine lokale im System vorhandenen Datenbank wie auch auf eine entfernte, z. B. in einem gekoppelten Smartphone oder in einem über Internet zu erreichenden Cloud-Server erfolgen kann,
- es wird abhängig vom Eingabekontext eine Strukturregel ver¬ wendet, die entweder lokal im System oder entfernt etwa in einem gekoppelten Smartphone oder einem über Internet verbundenen Cloudserver abgefragt werden kann.
Bei einer Ausgestaltung der Vorrichtung weisen eines oder mehrere der ersten, zweiten, dritten und/oder optionalen vierten Mittel einen oder mehrere Mikroprozessoren und mit den einen oder mehreren Mikroprozessoren in kommunikativer Verbindung stehenden Arbeitsspeicher und nicht-flüchtigen Speicher auf. Die jeweiligen nicht-flüchtigen Speicher speichern Computer-Programminstruktionen welche, wenn sie von den ein oder mehreren Mikroprozessoren in den jeweiligen Arbeitsspeicher geladen und ausgeführt werden, die Ausführung von Teilen des Verfahrens bewirken. Die ersten, zweiten und dritten Mittel zusammengenommen führen schließlich alle Schritte des Verfahrens aus . Bei einer Ausgestaltung der Vorrichtung sind der Bildschirm, die ersten, zweiten, dritten und/oder optionalen vierten Mittel räumlich voneinander getrennt angeordnet und mittels ei¬ nes oder mehrerer Kommunikationsnetze miteinander verbunden. Die Kommunikation zwischen den einzelnen Komponenten der Vorrichtung kann auf herkömmliche Weise über die ein oder mehre¬ ren Kommunikationsnetze erfolgen. Der Bildschirm ist signal¬ mäßig mit einer Ansteuerelektronik verbunden. Der Bildschirm kann beispielsweise ein für eine Navigationseinrichtung vorgesehener Bildschirm sein, der im Armaturenbrett des Kraftfahrzeugs angeordnet ist, oder ein sogenanntes Head-Up Dis¬ play, bei dem der Bildschirminhalt im Sichtbereich des Fah¬ rers auf die Windschutzscheibe oder ein davor angeordnetes transparentes Pro ektionsmedium projiziert wird. Das schließt auch eine holographische Ausgabe mit ein, die z. B. vor der Windschutzscheibe platziert wird.
Eine berührungsempfindliche Eingabevorrichtung, welche mit dem erfindungsgemäßen Verfahren verwendet werden kann bzw. welche mit der erfindungsgemäßen Vorrichtung verbunden sein kann umfasst ein separat von einem Bildschirm angeordnetes Touchpad oder einen entsprechend markierten Bereich auf einem berührungsempfindlichen Bildschirm .
Unterschiedliche Ausgestaltungen, die aus Gründen der Klar- heit vorstehend isoliert beschrieben wurden, sind miteinander kombinierbar, beispielsweise um eine zuverlässigere Erkennung von Feldtypen zu erreichen.
Das vorliegende erfindungsgemäße Verfahren und die erfin¬ dungsgemäße Vorrichtung können in vorteilhafter Weise in einem Kraftfahrzeug genutzt werden, jedoch ist auch eine Anwen¬ dung in anderen Bereichen der Technik denkbar, in denen eine Eingabe von Zeichen und/oder Gesten handschriftlich erfolgt. Die Auswahl von angepassten Erkennungsalgorithmen oder ange- passter Parameter für einen Erkennungsalgorithmus verbessert die handschriftliche Eingabe von alphanumerischen Zeichen und Gesten und verringert insbesondere während des Betriebs eines Kraftfahrzeugs die Wahrscheinlichkeit, dass bei der Eingabe Korrekturen vorgenommen werden müssen. Dadurch wird insgesamt die Ablenkung des Fahrers vom Verkehrsgeschehen reduziert.
Im Folgenden wird die Erfindung anhand der Figuren der Zeichnung beschrieben. In der Zeichnung zeigt
Fig. 1 eine schematische Darstellung eines Armaturenbretts in einem Kraftfahrzeug;
Fig. 2 eine schematische Darstellung eines Bildschirms zur
Erläuterung des erfindungsgemäßen Verfahrens;
Fig. 3 ein schematisches Flussdiagramm des erfindungsgemä¬ ßen Verfahrens und
Fig. 4 eine schematische Darstellung eines Blockdiagramms einer erfindungsgemäßen Vorrichtung.
In den Figuren sind gleiche oder ähnliche Elemente mit den¬ selben Referenzzeichen bezeichnet.
Figur 1 zeigt eine schematische Darstellung eines Armaturenbretts 100 in einem Kraftfahrzeug. Hinter einem Lenkrad 104 ist ein Instrumentencluster 106 angeordnet. Im Bereich einer Mittelkonsole 108 ist ein Bildschirm 110 angeordnet, sowie ein berührungsempfindliches Touchpad 116. Außerdem ist auf einer Windschutzscheibe 112 ein Bereich dargestellt, in den ein Head-up Display 114 Informationen eingeblendet. Der In¬ strumentencluster 106 kann, ebenso wie der Bildschirm 110 und das Head-up Display 114, ein grafikfähiges Matrixdisplay um¬ fassen, also ein Display, welches komplexe grafische Struktu¬ ren mittels entsprechender Ansteuerung einzelner Bildpunkte darstellt. Das heißt, Eingabefelder für Benutzereingaben können auf jeder der Anzeigevorrichtungen eingeblendet sein. Un- abhängig davon, auf welcher Anzeigevorrichtung ein Eingabefeld eingeblendet ist, kann ein Benutzer eine handschriftli¬ che Eingabe über das berührungsempfindliche Touchpad 116 oder über einen entsprechend markierten Bereich auf dem Bildschirm 110 vornehmen. Nicht in der Figur gezeigt sind eine optionale holographische Darstellung visueller Inhalte sowie eine opti¬ onale Verbindung zu z. B. einem gekoppelten Smartphone oder zu einem Cloudserver über eine Internetverbindung. Figur 2 zeigt die schematische Darstellung des Bildschirms 110 aus Figur 1 zur Erläuterung des erfindungsgemäßen Verfahrens. Die Ausgangslage ist die, dass ein Benutzer eine Te¬ lefonnummer in ein dafür vorgesehenes Eingabefeld 202 einge¬ ben möchte. Ihm stehen dafür mehrere Optionen zur Verfügung. Der Benutzer kann die Ziffern durch Berühren der entsprechenden virtuellen Zifferntasten des auf dem Bildschirm 110 dargestellten Ziffernblocks 204 eingeben. Es ist dazu anzumerken, dass der Bildschirm 110 ein berührungsempfindlicher Bildschirm ist. Alternativ kann der Benutzer die Ziffern über das Touchpad 116 oder über den ein Touchpad darstellenden markierten Bereich 216 auf dem berührungsempfindlichen Bildschirm 110 eingeben, wobei die Eingabe mittels Handschrifterkennung in eine Ziffer umgesetzt wird. In der Figur 2 hat der Benutzer bereits die ersten drei Ziffern der Telefonnummer, „0", „1" und „2", eingegeben und ist gerade fertig damit, die vierte Ziffer, „3", einzugeben. Der Benutzer hat dazu die Ziffer „3" mit dem Finger oder einem anderen geeigneten Eingabegerät auf dem Touchpad 116 (nicht dargestellt) oder auf dem entsprechenden Bereich 216 des berührungsempfindlichen Bildschirms 110 gezeichnet. In der Figur ist die zuletzt ein¬ gegebene Ziffer leicht vergrößert gegenüber den zuvor einge¬ gebenen Ziffern dargestellt. Dies kann dazu genutzt werden, um den Abschluss der Erkennung anzuzeigen. Um den Erkennungsalgorithmus für die Handschrifterkennung für die Eingabe von Ziffern anzupassen wurden um das Eingabefeld 202 liegende Bereiche des Bildschirms 110 einer optischen Zeichenerkennung unterworfen. Beispielsweise wird ein erster Bereich 206 nach einer optischen Zeichenerkennung auf Begriffe untersucht, die auf die Art der in das Eingabefeld 202 einzugebenden Zeichen oder Gesten schließen lassen. Der erste Bereich 206 ist durch die strichpunktierte Linie angedeutet. In diesem Fall ist in dem ersten Bereich 206 links neben dem Eingabefeld 202 der Begriff „Rufnummer" dargestellt. Durch einen Vergleich mit entsprechenden Begriffen in einer Datenbank kann gefolgert werden, dass nur eine begrenzte Auswahl an alphanumerischen Zeichen eingegeben werden können. Für eine Telefonnummer sind dies beispielsweise die Ziffern 0-9, die Sterntaste und die Rautetaste. In der Figur ist ein zweiter, das Eingabefeld einschließender Bereich 208 dargestellt, der größer ist als der erste Bereich 206. Der zweite Bereich 208 ist durch die gestrichelte Linie angedeutet. Eine in diesem Bereich ausge- führte optische Zeichenerkennung erkennt zusätzlich zu dem
Begriff „Rufnummer" noch den Begriff „Telefon", der ebenfalls auf die Art der einzugebenden alphanumerischen Zeichen schließen lässt. Das Vorkommen zweier die in das Eingabefeld einzugebenden Zeichen beschreibender Begriffe in dem zweiten Bereich 208 kann die Bestimmung des Typs des Eingabefelds und damit die letztlich Erkennung der in das Eingabefeld einzuge¬ benden Zeichen verbessern.
Figur 3 zeigt ein schematisches Flussdiagramm des erfindungs- gemäßen Verfahrens 300. In Schritt 302 wird eine Zeichener¬ kennung oder eine Spracherkennung zumindest eines Bereichs des Bildschirms durchgeführt, der ein ausgewähltes oder akti¬ ves Eingabefeld einschließt. Das Ergebnis der Zeichenerken¬ nung oder Spracherkennung wird in Schritt 304 zur Bestimmung eines Typs des Eingabefelds verwendet. Im optionalen Schritt 308 wird abhängig vom Typ des Eingabefeldes nach einem sog. Speller im Bildschirminhalt gesucht oder direkt, lokal oder remote, eine Leseverbindung zu einer Datenbank des betroffenen Typs aufgebaut, falls möglich. Alternativ wird lokal oder remote nach möglichen Strukturregeln für die Eingabe gesucht. In Abhängigkeit von dem Ergebnis der Bestimmung des Typs des Eingabefelds wird ein angepasster Erkennungsalgorithmus für die Handschrifterkennung oder ein angepasster Parametersatz für den Erkennungsalgorithmus ausgewählt. Die Auswahl des Be¬ reichs und die Übergabe des durch die optische Zeichenerken¬ nung auszuwertenden Bereichs an die Zeichenerkennungsfunktion oder -Vorrichtung sind in der Figur nicht dargestellt .
Figur 4 zeigt eine schematische Darstellung eines Blockdia¬ gramms einer erfindungsgemäßen Vorrichtung. Erste Mittel 400, die dazu eingerichtet sind, eine optische Zeichenerkennung in einem Bereich des Bildschirms, der zumindest das Eingabefeld und die nähere Umgebung des Eingabefelds umfasst, durchzufüh¬ ren sind mit zweiten Mitteln 402, die dazu eingerichtet sind, nach Feldtypen beschreibenden Begriffen in dem Ergebnis der optischen Zeichenerkennung zu suchen, über ein oder mehrere Datenbusse 410 kommunikativ miteinander verbunden. Anstelle oder zusätzlich zu den ersten Mitteln 400 für die optische Zeichenerkennung können weitere erste Mittel 404 vorgesehen sein, die dazu eingerichtet sind, eine Spracherkennung für einen nach dem Anzeigen des Eingabefelds akustisch ausgegebe- nen Sprachhinweis durchzuführen. Die weiteren ersten Mittel 404 sind mit den zweiten Mitteln ebenfalls über den oder die ein oder mehreren Datenbusse 410 kommunikativ verbunden. Ein oder mehrere Bildschirme 406 sind ebenfalls über den oder die ein oder mehreren Datenbusse 410 zumindest mit den ersten Mitteln 400 kommunikativ verbunden, um den ersten Mitteln 400 Zugriff auf den Bereich des Bildschirms, der zumindest das Eingabefeld und die nähere Umgebung des Eingabefelds umfasst, zu ermöglichen, bzw. die Bildinformation an die ersten Mittel 400 zu übertragen. Schließlich sind dritte Mittel 408 über den oder die ein oder mehreren Datenbusse 410 zumindest mit den zweiten Mitteln 402 kommunikativ verbunden, um anhand der von den zweiten Mitteln gefundenen, Feldtypen beschreibenden Begriffen einen für die handschriftliche Eingabe von alphanu¬ merischen Zeichen und/oder Gesten angepassten Erkennungsalgo- rithmus oder einen angepassten Parametersatz für den Erkennungsalgorithmus auszuwählen. Die dritten Mittel umfassen beispielsweise eine Datenbank und eine Vorrichtung oder ein Computerprogramm, das die mit der Zeichen- oder Spracherkennung gefundenen Begriffe mit in der Datenbank gespeicherten Begriffen vergleicht und im Falle eines Treffers einen ent¬ sprechenden, für einen Feldtyp angepassten Erkennungsalgorithmus bzw. einen angepassten Parametersatz für den Erkennungsalgorithmus auswählt .
Optional können noch Mittel 412 vorhanden sein, die die Eingabe bzgl. einer Datenbank unter Berücksichtigung schon vorhandener Inhalte dynamisch durch Einschränkung der noch zu erwartenden Eingaben steuern. Dies kann bspw. unter Verwendung von schon von der entsprechenden Applikation vorgesehener "Speller" Funktionalitäten erfolgen, alternativ auch per direktem Zugriff auf die entsprechende Datenbasis, lokal oder remote, erfolgen, oder es werden Strukturregeln für die Eingabe lokal oder remote abgefragt. Diese Strukturregeln können z. B. länderabhängig sein. Dieser Schritt dient zum Bestimmung eines erweiterten Parametersatzes für den Erkennungsal¬ gorithmus .

Claims

Patentansprüche
1. Verfahren zur automatischen Auswahl eines von mehreren
Erkennungsalgorithmen oder eines von mehreren Parameter- Sätzen für einen Erkennungsalgorithmus für eine hand¬ schriftliche Eingabe von alphanumerischen Zeichen und/oder Gesten in ein auf einem Bildschirm angezeigtes, ausgewähltes Eingabefeld über eine berührungsempfindli¬ che Eingabevorrichtung, umfassend:
- Durchführen einer optischen Zeichenerkennung in einem
Bereich des Bildschirms, der zumindest das Eingabefeld und die nähere Umgebung des Eingabefelds einschließt, oder Durchführen einer Spracherkennung für einen nach dem Anzeigen des ausgewählten Eingabefelds akustisch ausgegebenen Sprachhinweis,
- Suchen von Feldtypen beschreibenden Begriffen in dem Ergebnis der optischen Zeichenerkennung oder der Spracherkennung, und
- Auswahl eines für einen in dem Ergebnis der optischen Zeichenerkennung oder der Spracherkennung aufgefundenen Feldtyp angepassten Erkennungsalgorithmus oder Pa¬ rametersatzes für den Erkennungsalgorithmus.
2. Verfahren nach Anspruch 1, wobei die optische Zeichener- kennung umfasst:
- Übertragen zumindest des Bereichs des Bildschirms, der zumindest das Eingabefeld und die nähere Umgebung des Eingabefelds einschließt, an eine Vorrichtung oder ein Computerprogramm zur optischen Zeichenerkennung, und - Empfangen des Ergebnisses der optischen Zeichenerkennung .
3. Verfahren nach Anspruch 1, wobei die Spracherkennung umfasst :
- Aufzeichnen des akustisch ausgegebenen Sprachhinweises oder Empfangen eines den akustischen Sprachhinweis repräsentierenden Signals, und - Empfangen des Ergebnisses der Spracherkennung.
Verfahren nach Anspruch 3, wobei das den akustischen Sprachhinweis repräsentierende Signal eine digitale oder analoge Repräsentation von über einen oder mehrere Lautsprecher ausgegebene elektrische Signale oder ein Steu¬ ersignal für eine Text-zu-Sprache Ausgabeeinheit ist.
Verfahren nach Anspruch 1, wobei die optische Zeichenerkennung oder die Spracherkennung nach dem Auswählen eines von mehreren Eingabefeldern auf dem Bildschirm erfolgt .
Vorrichtung zur automatischen Auswahl eines von mehreren Erkennungsalgorithmen für eine handschriftliche Eingabe von alphanumerischen Zeichen und/oder Gesten in ein auf einem Bildschirm angezeigtes, ausgewähltes Eingabefeld über eine berührungsempfindliche Eingabevorrichtung, um¬ fassend:
- erste Mittel, die dazu eingerichtet sind, eine opti¬ sche Zeichenerkennung in einem Bereich des Bildschirms, der zumindest das Eingabefeld und die nähere Umgebung des Eingabefelds einschließt, durchzuführen, oder die dazu eingerichtet sind, eine Spracherkennung für einen nach dem Anzeigen des ausgewählten Eingabefelds akustisch ausgegebenen Sprachhinweis durchzuführen ;
- zweite Mittel, die dazu eingerichtet sind, nach Feld¬ typen beschreibenden Begriffen in dem Ergebnis der optischen Zeichenerkennung oder der Spracherkennung zu suchen, und
- dritte Mittel, die dazu eingerichtet sind, einen für einen in dem Ergebnis der optischen Zeichenerkennung oder der Spracherkennung aufgefundenen Feldtyp ange- passten Erkennungsalgorithmus oder Parametersatz für den Erkennungsalgorithmus auszuwählen. Vorrichtung nach Anspruch 6, ferner umfassend ein viertes Mittel, das dazu eingerichtet ist, einen Erkennungs¬ algorithmus oder Parametersatz für den Erkennungsalgo¬ rithmus in Abhängigkeit von möglichen einzugebenden Zeichen oder Gesten auszuwählen, wobei die möglichen einzugebenden Zeichen oder Gesten aus vorhergehenden Eingaben bestimmt werden, und wobei die Bestimmung nach sprachlichen Regeln oder mittels Abgleich von in einer Datenbank gespeicherten Worten erfolgt.
Vorrichtung nach Anspruch 6 oder 7, wobei eines oder mehrere der ersten, zweiten, dritten und/oder vierten Mittel einen oder mehrere Mikroprozessoren und mit den einen oder mehreren Mikroprozessoren in kommunikativer Verbindung stehenden Arbeitsspeicher und nicht-flüchtigen Speicher aufweisen, wobei jeweilige nicht-flüchtige Speicher Computer-Programminstruktionen speichern die, wenn sie von den ein oder mehreren Mikroprozessoren in den jeweiligen Arbeitsspeicher geladen und ausgeführt werden, die Ausführung jeweilige Schritte des Verfahrens nach einem oder mehreren der Ansprüche 1 bis 6 bewirken, wobei die ersten, zweiten und dritten Mittel zusammenge¬ nommen alle Schritte des Verfahrens ausführen.
Vorrichtung nach einem der Ansprüche 6 bis 8, wobei der Bildschirm, die ersten, zweiten, dritten und/oder vierten Mittel räumlich voneinander getrennt angeordnet und mittels eines oder mehrerer Kommunikationsnetze mitein¬ ander verbunden sind.
Kraftfahrzeug mit einer Vorrichtung nach einem oder mehreren der Ansprüche 6 bis 9.
PCT/EP2016/076102 2015-10-30 2016-10-28 Verfahren und vorrichtung zur verbesserung der erkennungsgenauigkeit bei der handschriftlichen eingabe von alphanumerischen zeichen und gesten WO2017072307A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680054257.2A CN108027665A (zh) 2015-10-30 2016-10-28 改善字母数字字符和手势的手写输入识别精度的方法和设备
US15/771,972 US10726250B2 (en) 2015-10-30 2016-10-28 Method and apparatus for improving recognition accuracy for the handwritten input of alphanumeric characters and gestures
EP16787900.6A EP3368967A1 (de) 2015-10-30 2016-10-28 Verfahren und vorrichtung zur verbesserung der erkennungsgenauigkeit bei der handschriftlichen eingabe von alphanumerischen zeichen und gesten

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015221304.8 2015-10-30
DE102015221304.8A DE102015221304A1 (de) 2015-10-30 2015-10-30 Verfahren und Vorrichtung zur Verbesserung der Erkennungsgenauigkeit bei der handschriftlichen Eingabe von alphanumerischen Zeichen und Gesten

Publications (1)

Publication Number Publication Date
WO2017072307A1 true WO2017072307A1 (de) 2017-05-04

Family

ID=57208315

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2016/076102 WO2017072307A1 (de) 2015-10-30 2016-10-28 Verfahren und vorrichtung zur verbesserung der erkennungsgenauigkeit bei der handschriftlichen eingabe von alphanumerischen zeichen und gesten

Country Status (5)

Country Link
US (1) US10726250B2 (de)
EP (1) EP3368967A1 (de)
CN (1) CN108027665A (de)
DE (1) DE102015221304A1 (de)
WO (1) WO2017072307A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7247496B2 (ja) * 2018-09-14 2023-03-29 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
CN111324213A (zh) * 2018-12-13 2020-06-23 青岛海信移动通信技术股份有限公司 终端的信息输入方法和终端
KR20210016739A (ko) * 2019-08-05 2021-02-17 삼성전자주식회사 전자 장치 및 전자 장치의 입력 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7489415B2 (en) 2003-07-16 2009-02-10 Ricoh Company, Ltd. Document processing system
US20090125224A1 (en) * 2005-07-06 2009-05-14 Siemens Vdo Automotive Ag Method for Selecting a Designation
EP2088536A1 (de) * 2008-02-08 2009-08-12 ExB Asset Management GmbH Texteingabesystem und -verfahren mit fingerbasierter Handschrifterkennung und Wörtervorhersage
US20130157727A1 (en) * 2010-08-27 2013-06-20 Kyocera Corporation Character input device, character input method, and character input program
US20140201102A1 (en) 2013-01-15 2014-07-17 Xerox Corporation Methods and systems for automatic form filling and validation

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850480A (en) * 1996-05-30 1998-12-15 Scan-Optics, Inc. OCR error correction methods and apparatus utilizing contextual comparison
JP4119004B2 (ja) * 1998-05-19 2008-07-16 株式会社東芝 データ入力システム
AU2001280929A1 (en) 2000-07-28 2002-02-13 Raf Technology, Inc. Orthogonal technology for multi-line character recognition
US20030004991A1 (en) 2001-06-29 2003-01-02 Keskar Dhananjay V. Correlating handwritten annotations to a document
JP3950357B2 (ja) * 2002-04-15 2007-08-01 富士通株式会社 手書き文字認識装置及び方法
US8849031B2 (en) 2005-10-20 2014-09-30 Xerox Corporation Document analysis systems and methods
US20080210474A1 (en) * 2006-10-31 2008-09-04 Volkswagen Of America, Inc. Motor vehicle having a touch screen
US20080126075A1 (en) * 2006-11-27 2008-05-29 Sony Ericsson Mobile Communications Ab Input prediction
CN101458583B (zh) * 2007-12-11 2011-11-30 中国银联股份有限公司 一种识别手写输入的方法及识别手写输入的电子笔记本
KR101639074B1 (ko) * 2009-07-31 2016-07-12 삼성전자주식회사 터치스크린을 이용한 문자 인식 및 문자 입력 장치 및 그 방법
US8560300B2 (en) 2009-09-09 2013-10-15 International Business Machines Corporation Error correction using fact repositories
JP5234160B2 (ja) * 2011-03-23 2013-07-10 株式会社デンソー 車両用装置および情報表示システム
US20120242587A1 (en) * 2011-03-25 2012-09-27 GM Global Technology Operations LLC Character recognition system
CN103488982A (zh) * 2012-06-11 2014-01-01 富泰华工业（深圳）有限公司 文字识别系统及方法
KR20140008985A (ko) * 2012-07-13 2014-01-22 삼성전자주식회사 사용자 단말에서 사용자 인터페이스 장치 및 방법
DE102012213609B4 (de) * 2012-08-01 2014-06-05 Continental Automotive Gmbh Verfahren zur Ausgabe von Informationen mit synthetischer Sprache
KR102129374B1 (ko) * 2012-08-27 2020-07-02 삼성전자주식회사 사용자 인터페이스 제공 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말
DE102012216195A1 (de) * 2012-09-12 2014-05-28 Continental Automotive Gmbh Eingabeeinrichtung
US20140111438A1 (en) * 2012-10-18 2014-04-24 Paul Savage System, method and apparatus for the transcription of data using human optical character matching (hocm)
DE102012020610A1 (de) * 2012-10-19 2014-04-24 Audi Ag Kraftwagen mit einem Handschrifterkennungssystem
DE102012020608B4 (de) * 2012-10-19 2018-10-25 Audi Ag Kraftwagen mit einer Eingabevorrichtung zur Handschrifterkennung
US20140156272A1 (en) * 2012-11-29 2014-06-05 Insurance Auto Auctions, Inc. Voice entry vin method and apparatus
CN103885743A (zh) * 2012-12-24 2014-06-25 大陆汽车投资（上海）有限公司 结合注视跟踪技术的语音文本输入方法和系统
DE102013009580B4 (de) * 2013-06-07 2016-02-18 Audi Ag Kraftwagen mit einem Infotainmentsystem sowie Anzeigeeinheit
US20150006362A1 (en) * 2013-06-28 2015-01-01 Google Inc. Extracting card data using card art
KR101474856B1 (ko) * 2013-09-24 2014-12-30 주식회사 디오텍 음성인식을 통해 이벤트를 발생시키기 위한 장치 및 방법
KR101611205B1 (ko) * 2013-11-11 2016-04-11 현대자동차주식회사 디스플레이 장치, 디스플레이 장치가 설치된 차량 및 디스플레이 장치의 제어 방법
US9639767B2 (en) * 2014-07-10 2017-05-02 Lenovo (Singapore) Pte. Ltd. Context-aware handwriting recognition for application input fields
US9460358B2 (en) * 2014-07-15 2016-10-04 Google Inc. Extracting card identification data
CN104503679B (zh) * 2014-12-30 2017-04-12 北京奇虎科技有限公司 一种基于终端界面触控操作进行搜索的方法及装置
US10080111B2 (en) * 2015-03-19 2018-09-18 Facebook, Inc. Techniques for communication using audio stickers

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7489415B2 (en) 2003-07-16 2009-02-10 Ricoh Company, Ltd. Document processing system
US20090125224A1 (en) * 2005-07-06 2009-05-14 Siemens Vdo Automotive Ag Method for Selecting a Designation
EP2088536A1 (de) * 2008-02-08 2009-08-12 ExB Asset Management GmbH Texteingabesystem und -verfahren mit fingerbasierter Handschrifterkennung und Wörtervorhersage
US20130157727A1 (en) * 2010-08-27 2013-06-20 Kyocera Corporation Character input device, character input method, and character input program
US20140201102A1 (en) 2013-01-15 2014-07-17 Xerox Corporation Methods and systems for automatic form filling and validation

Also Published As

Publication number Publication date
US10726250B2 (en) 2020-07-28
US20180225507A1 (en) 2018-08-09
DE102015221304A1 (de) 2017-05-04
EP3368967A1 (de) 2018-09-05
CN108027665A (zh) 2018-05-11

Similar Documents

Publication Publication Date Title
EP2909584B1 (de) Kraftwagen mit einer eingabevorrichtung zur handschrifterkennung
EP1793371B1 (de) Verfahren zur Spracherkennung
EP2567194B1 (de) Verfahren und vorrichtung zum betreiben einer nutzerschnittstelle
DE60122352T2 (de) Augenverfolgung für kontextabhängige spracherkennung
DE102020205786A1 (de) Spracherkennung unter verwendung von nlu (natural language understanding)-bezogenem wissen über tiefe vorwärtsgerichtete neuronale netze
DE202017104779U1 (de) Radarbasierte Gestenschnittstelle
DE102008008948A1 (de) Systemarchitektur und Verfahren zur multimodalen Informationseingabe
DE10330274A1 (de) Sprachgesteuertes System
EP2939086B1 (de) Verfahren zum eingeben und erkennen einer zeichenkette
EP2951663B1 (de) Systeminitiierte hilfefunktion für die bedienung von einer, einem fahrzeug zugeordneten vorrichtung - eingabe von leerzeichen
WO2017072307A1 (de) Verfahren und vorrichtung zur verbesserung der erkennungsgenauigkeit bei der handschriftlichen eingabe von alphanumerischen zeichen und gesten
WO2015082202A1 (de) Kraftfahrzeug-bedienvorrichtung mit berührungssensitiver eingabefläche
EP1899898A1 (de) Verfahren zur auswahl einer bezeichnung
DE102004010406B3 (de) Informations- oder Unterhaltungssystem eines Kraftfahrzeuges und Verfahren zur Auswahl eines Listeneintrags
DE112015003357B4 (de) Verfahren und System zum Erkennen einer eine Wortabfolge enthaltenden Sprachansage
DE102011017261A1 (de) Verfahren und Vorrichtung zum Bereitstellen einer Nutzerschnittstelle, insbesondere in einem Fahrzeug
EP2909789B1 (de) Kraftwagen mit einem handschrifterkennungssystem
WO2006003087A2 (de) Verfahren zur eingabe von schriftzeichen in ein mobiles kommunikationsgerät und für eine derartige eingabe ausgestaltetes mobiles kommunikationsgerät
DE102009030263A1 (de) Bedienverfahren für ein menübasiertes Bedien- und Informationssystem eines Fahrzeugs
WO2019057580A1 (de) Kraftfahrzeug
EP2339297A2 (de) Verfahren zum Anzeigen einer Mehrzahl auswählbarer Elemente und Vorrichtung zum Durchführen des Verfahrens
DE102023112331A1 (de) Verfahren zur steuerung von prozessen mittels einer sprachbefehlseingabe
DE102020129604A1 (de) Verfahren zur sprachsteuerung von technischen geräten
DE102023112333A1 (de) Verfahren zur sprachsteuerung von technischen geräten
WO2023017189A1 (de) Verfahren und vorrichtung zur eingabe einer zeichenfolge

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16787900

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15771972

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016787900

Country of ref document: EP