Beschreibungdescription
Verfahren und Vorrichtung zur automatischen ZeichenerkennungMethod and device for automatic character recognition
Die Erfindung betrifft ein Verfahren zur automatischen Zeichenerkennung nach dem Oberbegriff des Anspruchs 1 und eine Vorrichtung zur automatischen Zeichenerkennung nach dem Oberbegriff des Anspruchs 20.The invention relates to a method for automatic character recognition according to the preamble of claim 1 and a device for automatic character recognition according to the preamble of claim 20.
Bei bekannten Verfahren beziehungsweise Vorrichtungen zur automatischen Zeichenerkennung wird in der Regel vor dem eigentlichen Kennungsprozess eine Trennung zwischen Nutz- und Störinformation durchgeführt. Dabei wird eine die zu erkennenden Zeichen umfassende Bildfläche in eine Vielzahl von zeilen- und spaltenweise angeordneten Pixeln unterteilt und jedes Pixel entweder einer den zu erkennenden Zeichen zuzurechnenden Nutzinformation oder einer zu unterdrückenden Störinformation zugeordnet. Auf diese Weise wird etwa eine dunkle Schrift von einem hellen Hintergrund separiert, was im einfachsten Fall durch eine Binarisie- rung geschieht. Die Entscheidung, ob ein Pixel unterdrückt oder beibehalten, das heißt der den zu erkennenden Zeichen zuzurechnenden Nutzinformation zugeordnet werden soll, wird aufgrund der Farbe des Pixels entschieden, wobei bei jeder Zuordnung jeweils nur ein Bildpunkt betrachtet wird.In known methods or devices for automatic character recognition, a separation between useful information and interference information is generally carried out before the actual identification process. In this case, an image area comprising the characters to be recognized is subdivided into a plurality of pixels arranged in rows and columns and each pixel is assigned either to useful information to be attributed to the characters to be recognized or to interference information to be suppressed. In this way, a dark font is separated from a light background, which in the simplest case is done by binarization. The decision as to whether a pixel is to be suppressed or retained, that is to say to be associated with the useful information to be assigned to the characters to be recognized, is decided on the basis of the color of the pixel, with only one pixel being considered in each assignment.
Bei den bekannten Verfahren beziehungsweise Vorrichtungen ergeben sich jedoch Probleme, wenn der Hintergrund der zu erkennenden Zeichen farbig bedruckt ist. Bei Formularen sind zum Beispiel Ausfüllhinweise häufig farbig bedruckt und der auszufüllende Bereich durch einen farbigen Rahmen markiert. Die Farbe, die zum Ausfüllen der Formulare verwendet wird, ist in der Regel nicht definiert. Eine Tren- nung von Schrift und Hintergrund durch eine einfache Bina-
risierung ist dann nicht möglich. Handelt es sich bei der Bildfläche zum Beispiel um einen grün gefärbten Hintergrund mit grauen Schriftzeichen, so müssen die vorhandenen grünen Pixel des Hintergrundes aufgrund ihrer Farbe der Störinformation zugeordnet werden. Damit diese Farbfilterung auch auf verschiedenen Druckqualitäten des Formulars funktioniert, uss unter Berücksichtigung der Schwankungen der Druckqualität und Papierfarbe ein entsprechender Toleranzbereich in den Farbfilter eingerechnet werden, so dass der Bereich der zu filternden Farben um diesen Toleranzbereich vergrößert werden muss. Teilweise ergeben sich jedoch exakt die gleichen Farben durch Farbmischung der grauen Bedruckung mit der grünen Hintergrundfarbe, so dass zwangsläufig Bildpunkte, die zu den grauen Schriftzeichen gehören, dem Hintergrund zugeordnet werden.In the known methods or devices, however, problems arise if the background of the characters to be recognized is printed in color. For example, forms are often printed in color and the area to be filled is marked with a colored frame. The color used to fill out the forms is usually not defined. A separation of writing and background by means of a simple binary It is then not possible to do this. If the image area is, for example, a green colored background with gray characters, the existing green pixels of the background must be assigned to the interference information based on their color. So that this color filtering also works on different print qualities of the form, a corresponding tolerance range must be included in the color filter, taking into account the fluctuations in the print quality and paper color, so that the range of the colors to be filtered must be increased by this tolerance range. In some cases, however, the exact same colors result from color mixing of the gray printing with the green background color, so that pixels that belong to the gray characters are inevitably assigned to the background.
Zur Verdeutlichung ist in Fig. 7 das Original einer Bildfläche mit auf einem Hintergrund angeordneten Schriftzeichen dargestellt, wobei angenommen werden soll, dass der Hintergrund eine andere Färbung als die Schriftzeichen besitzt. Fig. 8 zeigt das Ergebnis der bekannten Farbfilterung nach einer Binarisierung. Obwohl nicht einmal alle Pixel des Hintergrundes unterdrückt wurden, ergibt sich bereits eine starke Ausdünnung der Schriftzeichen.For clarification, the original of an image area with characters arranged on a background is shown in FIG. 7, it being assumed that the background has a different color than the characters. 8 shows the result of the known color filtering after binarization. Although not all pixels of the background have been suppressed, the characters are already thinned out considerably.
Ein weiteres Beispiel ist in den Figuren 9 und 10 dargestellt. Fig. 10 zeigt das Ergebnis der bekannten Farbfilterung nach einer Binarisierung, welche auf die in Fig. 9 gezeigte Bildfläche angewandt wurde. Auch hier zeigt sich, dass eine saubere Trennung von Vorder- und Hintergrund mittels der bekannten Verfahren bzw. Vorrichtungen nicht möglich ist.Another example is shown in FIGS. 9 and 10. FIG. 10 shows the result of the known color filtering after binarization, which was applied to the image area shown in FIG. 9. It also shows here that a clean separation of foreground and background is not possible using the known methods or devices.
Die EP-A-0 449 380 beschreibt ein Verfahren zur automati- sehen Zeichenerkennung, wobei jedes Pixel innerhalb einer
Bildfläche daraufhin untersucht wird, ob es einer Nutzinformation oder einer Störinformation zugeordnet werden kann. In die Untersuchung werden die ein zentrales Pixel umgebenden benachbarten Pixel mit einbezogen.EP-A-0 449 380 describes a method for automatic character recognition, with each pixel within one Image area is then examined whether it can be assigned useful information or interference information. The neighboring pixels surrounding a central pixel are included in the investigation.
Aus der DE-A-198 28 396 ist ein Verfahren zum' Verarbeiten von Bilddaten bekannt, bei dem ein Bildbereich eines Formulars rasterartig abgetastet wird. Für jeden Bildpunkt werden die Größen Farbton, Sättigung und Helligkeit ermit- telt. Mithilfe der Fuzzy-Technik werden Zugehörigkeiten der Bildpunkte zu Farbklassen ermittelt und dem jeweiligen Bildpunkt ein Grauwert zugeordnet.DE-A-198 28 396 discloses a method for processing image data in which an image area of a form is scanned in a grid-like manner. The hue, saturation and brightness are determined for each pixel. With the help of the fuzzy technique, the pixels are assigned to color classes and a gray value is assigned to the respective pixel.
Die DE-A-44 45 386 und die DE-A-195 17 178 betreffen Ver- fahren zur Bereinigung von Hintergrundinformationen bei elektronisch abgetasteten Bildern. Bei der Beurteilung, ob ein Bildelement einer Nutzinformation oder einer Hintergrundinformation zuzuordnen ist, werden auch benachbarte Bildelemente ausgewertet.DE-A-44 45 386 and DE-A-195 17 178 relate to methods for cleaning up background information in electronically scanned images. When assessing whether a picture element is to be assigned useful information or background information, neighboring picture elements are also evaluated.
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zur automatischen Zeichenerkennung nach dem Oberbegriff des Anspruchs 1 und eine Vorrichtung zur automatischen Zeichenerkennung nach dem Oberbegriff des Anspruchs 20 zu schaffen, mittels derer die Trennung der zu erkennenden Zeichen von einem Hintergrund verbessert wird.The object of the present invention is to create a method for automatic character recognition according to the preamble of claim 1 and a device for automatic character recognition according to the preamble of claim 20, by means of which the separation of the characters to be recognized from a background is improved.
Zur Lösung dieser Aufgabe ist ein Verfahren zur automatischen Zeichenerkennung, wobei eine die zu erkennenden Zei- chen umfassende Bildfläche in einer Vielzahl zeilen- und spaltenweise angeordneter Pixel unterteilt und jedes Pixel entweder einer den zu erkennenden Zeichen zuzurechnenden Nutzinformation oder einer zu unterdrückenden Störinformation zugeordnet wird, dadurch gekennzeichnet, dass die Zu- Ordnung für jedes Pixel basierend auf den in einem Umge-
bungsbereich vorbestimmter Große zu diesem angeordneten Pixeln vorgenommen wird.To solve this problem there is a method for automatic character recognition, in which an image area comprising the characters to be recognized is subdivided into a plurality of pixels arranged in rows and columns and each pixel is assigned either to useful information to be attributed to the characters to be recognized or to interference information to be suppressed, characterized in that the assignment for each pixel is based on the Exercise range of predetermined size is arranged for this arranged pixels.
Dadurch dass die Zuordnung der jeweiligen Pixel zu Nutz- oder Storinformation nicht nur aufgrund der Farbe des Pixels sondern basierend auf einem definierten Umfeld des jeweiligen Pixels vorgenommen wird, kann auch dann noch eine saubere Trennung von Vorder- und Hintergrund erfolgen, wenn teilweise die gleichen Mischfarben bei den zu erkennenden Schriftzeichen und der Hmtergrundbedruckung auftreten. Infolgedessen wird eine optimale Unterdrückung des Hintergrundes erreicht und gleichzeitig eine Ausdünnung der zu erkennenden Schriftzeichen vermieden, so dass die Qualltat der automatischen Zeichenerkennung verbessert wird.Because the assignment of the respective pixels to useful information or store information is carried out not only on the basis of the color of the pixel but based on a defined environment of the respective pixel, the foreground and background can also be cleanly separated if the same mixed colors are used in some cases occur with the characters to be recognized and the background printing. As a result, an optimal suppression of the background is achieved and at the same time a thinning out of the characters to be recognized is avoided, so that the quality of the automatic character recognition is improved.
Eine vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens ist dadurch gekennzeichnet, dass als Umgebungsbereich eine quadratische Suchmatrix mit ungerader Zeilen- und Spaltenzahl gewählt wird, wobei sich bei jeder Zuordnung das jeweils zuzuordnende Pixel im Zentrum der Suchmatrix befindet. Eine solche Suchmatrix laßt sich schrittweise in Zeilen- und Spaltenrichtung über die zu betrachtende Bildflache fuhren, wobei jedes Pixel einmal zum Mit- telpunkt des durch die Suchmatrix gebildeten Abtastfensters wird.An advantageous embodiment of the method according to the invention is characterized in that a square search matrix with an odd number of rows and columns is selected as the surrounding area, the pixel to be assigned being located in the center of the search matrix for each assignment. Such a search matrix can be carried out step by step in the row and column direction over the image area to be viewed, each pixel once becoming the center of the scanning window formed by the search matrix.
Eine vorteilhafte Ausgestaltung des erfmdungsgemaßen Verfahrens ist dadurch gekennzeichnet, dass die Zeilen- und Spaltenzahl der Suchmatrix ein m Bezug auf die Zeilen- und Spaltenzahl der Bildflache gewählt wird, wodurch die Verarbeitungsgeschwindigkeit bei der Untersuchung der innerhalb der Suchmatrix angeordneten Pixel erhöht wird.
Eine vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens ist dadurch gekennzeichnet, dass bei jeder Zuordnung jedes der innerhalb der Suchmatrix angeordneten Pixel einem Hintergrundbereich, einem Toleranzbereich oder einem Zeichenbereich zugeteilt werden, wobei die Bereiche durch Unterteilung eines vorbestimmten Farbraums erhalten werden. Auf diese Weise wird eine differenzierte Bewertung der Pixel hinsichtlich ihrer Zugehörigkeit zum Hintergrund der Bildflache ermöglicht, wobei die genauen Kriterien für die Zuordnung je nach Problemstellung definiert werden können.An advantageous embodiment of the method according to the invention is characterized in that the number of rows and columns of the search matrix is chosen in relation to the number of rows and columns of the image area, which increases the processing speed when examining the pixels arranged within the search matrix. An advantageous embodiment of the method according to the invention is characterized in that each assignment of each of the pixels arranged within the search matrix is assigned to a background area, a tolerance area or a drawing area, the areas being obtained by subdivision of a predetermined color space. In this way, a differentiated evaluation of the pixels with regard to their belonging to the background of the image area is made possible, whereby the exact criteria for the assignment can be defined depending on the problem.
Eine vorteilhafte Ausgestaltung des erfindungsgemaßen Verfahrens ist dadurch gekennzeichnet, dass bei jeder Zuord- nung jedes der innerhalb der Suchmatrix angeordneten Pixel einen Hintergrundbereich, einen Toleranzbereich, einen Zeichenbereich oder einen Vordergrundbereich zugeteilt werden, wobei die Bereiche durch Unterteilung eines vorbe- stimmten Farbraums erhalten werden. Die zusatzliche Bil- düng eines Vordergrundbereichs in dem vorbestimmten Farbraum ermöglicht neben der Unterdrückung des Hintergrundes zusatzlich ein direktes Herauslosen des Vordergrundes, das heißt der zu erkennenden Zeichen, aus der betrachteten Bildflache.An advantageous embodiment of the method according to the invention is characterized in that with each assignment of each of the pixels arranged within the search matrix, a background area, a tolerance area, a drawing area or a foreground area are allocated, the areas being obtained by subdivision of a predetermined color space. In addition to suppressing the background, the additional formation of a foreground area in the predetermined color space also enables the foreground, ie the characters to be recognized, to be directly extracted from the viewed image area.
Eine vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens ist dadurch gekennzeichnet, dass dem Hintergrundbereich solche Farben zugeteilt werden, die keine Mischfarben zu einer in den zu erkennenden Zeichen enthaltenen Farbe darstellen. Auf diese Weise lassen sich solche Pixel einordnen, die mit Sicherheit zum Hintergrund der Bildflache gehören.An advantageous embodiment of the method according to the invention is characterized in that the background area is assigned colors which do not represent mixed colors with a color contained in the characters to be recognized. In this way, pixels can be classified that are definitely part of the background of the image area.
Eine vorteilhafte Ausgestaltung des erfindungsgemaßen Ver- fahrens ist dadurch gekennzeichnet, dass dem Toleranzbe-
reich solche Farben zugeteilt werden, dessen Sättigungsund Helligkeitswerte in einem vorbestimmten Schwankungsbereich um den Hintergrundbereich liegen. Hierdurch läßt sich bei der Untersuchung der innerhalb der Suchmatrix befindlichen Pixel eine gegenüber einer losen Binarisierung differenziertere, je nach Problemstellung definierbare Einteilung der Pixel vornehmen. Der Toleranzbereich kann beispielsweise Sättigungsschwankungen um ±10% und Helligkeitsschwankungen um ±5% umfassen.An advantageous embodiment of the method according to the invention is characterized in that the tolerance such colors are richly assigned whose saturation and brightness values lie in a predetermined fluctuation range around the background area. In this way, when examining the pixels within the search matrix, a division of the pixels that is more differentiated from loose binarization and that can be defined depending on the problem can be made. The tolerance range can include, for example, fluctuations in saturation by ± 10% and fluctuations in brightness by ± 5%.
Eine vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens ist dadurch gekennzeichnet, dass dem Zeichenbereich solche Farben zugeteilt werden, die weder dem Hintergrundbereich noch dem Toleranzbereich angehören. Hier- durch lassen sich solche Pixel einstellen, die außerhalb der den Toleranzbereich definierenden Sättigungs- und Helligkeitsschwankungen liegen.An advantageous embodiment of the method according to the invention is characterized in that colors are assigned to the drawing area that do not belong to the background area or the tolerance area. In this way, pixels can be set that lie outside the saturation and brightness fluctuations that define the tolerance range.
Eine vorteilhafte Ausgestaltung des erfindungsgemäßen Ver- fahrens ist dadurch gekennzeichnet, dass dem Vordergrundbereich solche Farben zugeteilt werden, die nur in den zu erkennenden Zeichen enthalten sind. Auf diese Weise lassen sich solche Pixel einteilen, die mit Sicherheit nicht zum Hintergrund gehören, wodurch ein direktes Herauslösen sol- eher Farben in den zu erkennenden Zeichen ermöglicht wird.An advantageous embodiment of the method according to the invention is characterized in that the foreground area is assigned those colors which are only contained in the characters to be recognized. In this way, those pixels can be classified that certainly do not belong to the background, which enables colors to be directly extracted from the characters to be recognized.
Eine vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens ist dadurch gekennzeichnet, dass bei jeder Zuordnung das jeweils im Zentrum der Suchmatrix befindliche Pi- xel der Störinformation zugeordnet wird, wenn entweder das Pixel dem Hintergrundbereich zugeteilt wurde, das Pixel dem Toleranzbereich und wenigstens eines seiner unmittelbaren Nachbarpixel dem Hintergrundbereich zugeteilt wurden, oder wenn
das Pixel dem Toleranzbereich und wenigstens eines der innerhalb der Suchmatrix befindlichen Pixel dem Hintergrundbereich zugeteilt wurden und sämtliche auf wenigstens einer vorbestimmten Verbindungslinie zwischen diesen Pixeln angeordnete Pixel entweder dem Hintergrundbereich oder dem Tolerahzbereich zugeteilt wurden. Hierdurch wird eine möglichst effektive Analyse der jeweils innerhalb der Suchmatrix befindlichen Pixel und damit eine möglichst zuverlässige Zuordnung des im Zentrum der Suchmatrix befindlichen Pixels zur Störinformation oder zur Nutzinformation erreicht.An advantageous embodiment of the method according to the invention is characterized in that with each assignment the pixel located in the center of the search matrix is assigned to the interference information if either the pixel has been assigned to the background area, the pixel to the tolerance area and at least one of its immediate neighboring pixels to the background area were allocated, or if the pixel has been assigned to the tolerance range and at least one of the pixels within the search matrix has been assigned to the background range and all pixels arranged on at least one predetermined connecting line between these pixels have been assigned to either the background range or the tolerance range. As a result, the most effective possible analysis of the pixels located within the search matrix and thus the most reliable possible assignment of the pixels located in the center of the search matrix to interference information or useful information is achieved.
Eine vorteilhafte Ausgestaltung des erfindungsgemäßen Ver- fahrens ist dadurch gekennzeichnet, dass bei jeder Zuordnung das jeweils im Zentrum der Suchmatrix befindliche Pixel der Nutzinformation zugerechnet wird, wenn das Pixel dem Vordergrundbereich zugeteilt wurde. Hierdurch lassen sich solche Pixel unmittelbar herauslösen, die mit Sicher- heit nicht zum Hintergrund gehören. Auf diese Weise wird insbesondere bei relative dunklem Hintergrund und vergleichsweise schwachem Aufdruck der zu erkennenden Zeichen eine Ausdünnung der Zeichen weitgehend vermieden.An advantageous embodiment of the method according to the invention is characterized in that with each assignment the pixel located in the center of the search matrix is assigned to the useful information if the pixel was assigned to the foreground area. In this way, those pixels can be removed immediately that are definitely not part of the background. In this way, thinning of the characters is largely avoided, particularly in the case of a relatively dark background and comparatively weak printing of the characters to be recognized.
Eine vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens ist dadurch gekennzeichnet, dass die Zuordnung eines Pixels zur Nutzinformation vorrangig zu einer Zuordnung zur Störinformation erfolgt. Auf diese Weise kann ein Schriftschutzmechanismus erreicht werden.An advantageous embodiment of the method according to the invention is characterized in that the assignment of a pixel to the useful information takes place primarily to an assignment to the interference information. In this way, a font protection mechanism can be achieved.
Eine vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens ist dadurch gekennzeichnet, dass zu Beginn der Zeichenerkennung die Form und Länge der Verbindungslinien sowie die Größe der Suchmatrix festgelegt werden. Bei die-
ser Festlegung werden vielfältige Anpassungen an die jeweilige Problemstellung ermöglicht.An advantageous embodiment of the method according to the invention is characterized in that the shape and length of the connecting lines and the size of the search matrix are defined at the beginning of the character recognition. With this- This definition enables a wide range of adaptations to the respective problem.
Eine vorteilhafte Ausgestaltung des erfindungsgemäßen Ver- fahrens ist dadurch gekennzeichnet, dass durch logischeAn advantageous embodiment of the method according to the invention is characterized in that logical
Verknüpfungen festgestellt wird, ob die auf der wenigstens einer vorbestimmten Verbindungslinie angeordneten Pixel dem Hintergrundbereich oder dem Toleranzbereich zugeteilt werden. Eine solche Ausgestaltung ist besonders einfach und kostengünstig realisierbar.Links is determined whether the pixels arranged on the at least one predetermined connecting line are allocated to the background area or the tolerance area. Such an embodiment is particularly simple and inexpensive to implement.
Eine vorteilhafte Ausgestaltung des erfindungsgemaßen Verfahrens ist dadurch gekennzeichnet, dass sämtliche zulässigen Verbindungslinien gleichzeitig überprüft werden. Das Prüfen aller zulässigen Verbindungslinien kann jedoch auch innerhalb eines Schiebetaktes erfolgen. Hierdurch läßt sich bei Verwendung moderner programmierbarer Bauelemente oder ASICs kostengünstig eine Verarbeitungsgeschwindigkeit bis in den Bereich von mehr als 100 MPixel/s erreichen.An advantageous embodiment of the method according to the invention is characterized in that all permissible connecting lines are checked simultaneously. However, all permissible connecting lines can also be checked within one shift cycle. As a result, when using modern programmable components or ASICs, a processing speed in the range of more than 100 MPixel / s can be achieved inexpensively.
Eine vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens ist dadurch gekennzeichnet, dass jedes der Störinformation zugeordnete Pixel durch einen bekannten Hintergrundwert ersetzt wird. Auf diese Weise kann das erfin- dungsgemäße Verfahren als Vorverarbeitungsstufe zu einem Binarisierungsalgorithmus eingesetzt werden.An advantageous embodiment of the method according to the invention is characterized in that each pixel assigned to the interference information is replaced by a known background value. In this way, the method according to the invention can be used as a preprocessing stage for a binarization algorithm.
Eine vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens ist dadurch gekennzeichnet, dass anhand der Zuord- nung eines Pixels zu Nutz- oder Störinformation unmittelbar eine Binarisierung vorgenommen wird. Dies ermöglicht eine unmittelbare Ausnutzung des dem erfindungsgemäßen Verfahren zugrundeliegenden Klassifikationsmechanismus.
Die erfindungsgemäße Vorrichtung zur automatischen Zeichenerkennung mit einer Einrichtung zur Unterteilung einer die zu erkennenden Zeichen umfassenden Bildflache in einer Vielzahl zeilen- und spaltenweise angeordneter Pixel, wo- bei jedes Pixel entweder einer den zu erkennenden Zeichen zuzurechnenden Nutzinformation oder einer zu unterdruckenden Storinformation zuteilbar st, ist dadurch gekennzeichnet, dass die Zuteilung für jedes Pixel, basierend auf den m einem Umgebungsbereich vorbestimmter Große zu diesem angeordneten Pixeln, vornehmbar ist.An advantageous embodiment of the method according to the invention is characterized in that a binarization is carried out directly on the basis of the assignment of a pixel to useful information or interference information. This enables the classification mechanism on which the method according to the invention is based to be used directly. The device according to the invention for automatic character recognition with a device for dividing an image area comprising the characters to be recognized into a plurality of pixels arranged in rows and columns, wherein each pixel can be assigned either useful information to be assigned to the characters to be recognized or storage information to be suppressed characterized in that the allocation can be made for each pixel based on the size of a surrounding area predetermined pixels arranged for this.
Die Erfindung wird nachstehend anhand von m den beigefugten Abbildungen dargestellten Ausfuhrungsbeispielen naher erläutert. Es zeigen:The invention is explained in more detail below with reference to the exemplary embodiments shown in the attached figures. Show it:
Fig. 1 ein Flussdiagramm eines erfindungsgemaßen Verfahrens zur automatischen Zeichenerkennung;1 shows a flowchart of an inventive method for automatic character recognition;
Fig. 2 eine auf einer Bildflache positionierte Suchmatrix mit unterschiedlichen Bereichen zugeteilten Pixeln;2 shows a search matrix positioned on an image surface with pixels allocated to different areas;
Fig. 3 eine Suchmatrix mit einer Auswahl möglicher Verbindungslinien;3 shows a search matrix with a selection of possible connecting lines;
Fig. 4 eine Bildflache nach Anwendung einer ersten Ausfuhrungsform des erfindungsgemaßen Verfahrens vor der Binarisierung;4 shows an image area after application of a first embodiment of the method according to the invention prior to binarization;
Fig. 5 die Bildflache aus Fig. 4 nach der Binarisierung;5 shows the image area from FIG. 4 after binarization;
Fig. 6 eine Bildflache nach Anwendung einer zweiten Ausfuhrungsform des erfindungsgemaßen Verfahrens nach der Binarisierung;
Fig. 7 ein Original einer mehrere Schriftzeichen umfassenden Bildfläche;6 shows an image surface after application of a second embodiment of the method according to the invention after binarization; 7 shows an original of an image area comprising several characters;
Fig. 8 die Bildfläche aus Fig. 7 nach Anwendung eines be- kannten Verfahrens zur automatischen Zeichenerkennung;FIG. 8 shows the image area from FIG. 7 after using a known method for automatic character recognition;
Fig. 9 ein Original einer weiteren verschiedene Schriftzeichen umfassenden Bildfläche;9 shows an original of a further image area comprising various characters;
Fig. 10 die Bildfläche aus Fig. 9 nach Anwendung eines bekannten Verfahrens zur automatischen Zeichenerkennung.10 shows the image area from FIG. 9 after using a known method for automatic character recognition.
Gemäß Fig. 1 beginnt das erfindungsgemäße Verfahren zur automatischen Zeichenerkennung in einem ersten Schritt 10 mit einer Unterteilung einer die zu erkennenden Zeichen umfassenden Bildfläche in eine Vielzahl von zeilen- und spaltenweise angeordneter Pixel. Jedes dieser Pixel wird im Laufe des Verfahrens entweder einer den zu erkennenden Zeichen zuzurechnenden Nutzinformation oder einer zu un- terdrückenden Störinformation zugeordnet.1, the method for automatic character recognition according to the invention begins in a first step 10 with a division of an image area comprising the characters to be recognized into a plurality of pixels arranged in rows and columns. In the course of the method, each of these pixels is assigned either useful information to be assigned to the characters to be recognized or interference information to be suppressed.
Anschließend wird in einem Schritt 20 die Größe einer Suchmatrix festgelegt, welcher im Laufe des erfindungsgemäßen Verfahrens schrittweise in Zeilen- und Spaltenrich- tung über den zu betrachtenden Bildbereich geführt wird. Bei der Suchmatrix handelt es sich um ein matrixartig aufgebautes Abtastfenster mit einer vorzugsweise zur Bildgröße vergleichsweise geringen Spalten- und Zeilenzahl, wodurch eine Optimierung der Verarbeitungsgeschwindigkeit der jeweils innerhalb der Suchmatrix angeordneten Pixel erreicht wird.The size of a search matrix is then defined in a step 20, which is carried out step by step in the row and column direction over the image area to be viewed in the course of the method according to the invention. The search matrix is a scanning window constructed in the form of a matrix, with a preferably small number of columns and lines relative to the image size, thereby optimizing the processing speed of the pixels arranged within the search matrix.
Anschließend wird in einem Schritt 30 ein beliebiger Farbraum (z. B. grau, RGB, HLS, YCRCB, LAB, YIQ, CMYK,...) einem von drei Bereichen zugeteilt. Hierbei werden einem
ersten sogenannten Hintergrundbereich solche Farben zugeteilt, die mit Sicherheit zum Hintergrund und damit nicht zu den zu erkennenden Schriftzeichen der zu verarbeitenden Bildfläche zählen. Hierbei sind folglich solche Farben auszuschließen, die Mischfarben zwischen der Farbe desThen, in a step 30, any color space (e.g. gray, RGB, HLS, YCRCB, LAB, YIQ, CMYK, ...) is assigned to one of three areas. Here one The first so-called background area is assigned such colors that are certainly part of the background and therefore not one of the characters to be recognized on the image area to be processed. It is therefore necessary to exclude such colors here, the mixed colors between the color of the
Hintergrundes und der Farbe der zu erkennenden Schriftzeichen darstellen.Represent background and the color of the characters to be recognized.
Einem sogenannten Toleranzbereich werden solche Farben zu- geteilt, die in Bezug auf ihre Helligkeits- und Sättigungswerte innerhalb eines vorgegebenen Schwankungsbe- reichs um die Farben des Hintergrundes liegen. Beispielsweise können solche Farben dem Toleranzbereich zugeordnet werden, deren Sättigungswerte um nicht mehr als 10% und der Helligkeitswerte um nicht mehr als 5% von den Farben des Hintergrundbereichs abweichen.A so-called tolerance range is assigned to those colors which, with regard to their brightness and saturation values, lie within a predetermined fluctuation range around the colors of the background. For example, those colors can be assigned to the tolerance range whose saturation values do not deviate from the colors of the background area by more than 10% and the brightness values by not more than 5%.
Farben, die weder dem Hintergrund- noch dem Toleranzbereich zugeteilt wurden, werden dem sogenannten Zeichenbe- reich zugeteilt.Colors that have not been assigned to the background or tolerance range are assigned to the so-called drawing range.
Je nach Zugehörigkeit der Pixel der Bildfläche zu den genannten drei Bereichen erfolgt anschließend in den Schritten 40 bis 100 des erfindungsgemäßen Verfahrens nach vor- gegebenen Regeln, während die einzelnen Pixel der Bildfläche zeilen- und spaltenweise nacheinander im Zentrum der Suchmatrix positioniert werden, eine Zuordnung der einzelnen Pixel zur Nutz- oder Störinformation. Zur besseren Verdeutlichung ist in Fig. 2 und 3 ein Beispiel einer zu verarbeitenden Bildfläche sowie eine auf dieser positionierten Suchmatrix gezeigt, wobei die einzelnen Pixel gemäß Fig. 2 den genannten drei Bereichen zugeteilt wurden.Depending on the affiliation of the pixels of the image area to the three areas mentioned, steps 40 to 100 of the method according to the invention are then carried out according to predetermined rules, while the individual pixels of the image area are positioned row by row and column by row in the center of the search matrix individual pixels for useful or interference information. For better clarity, an example of an image area to be processed and a search matrix positioned on it are shown in FIGS. 2 and 3, the individual pixels according to FIG. 2 being assigned to the three areas mentioned.
Zunächst werden in einem Schritt 40 zulässige Verbindungs- linien festgelegt, die bei der nachfolgenden Anwendung der
Regeln für die Zuordnung der Pixel zu Nutz- oder Störinformation verwendet werden, wie im Folgenden näher erläutert werden wird. Eine Auswahl möglicher Verbindungslinien am Beispiel einer 5x5 Suchmatrix ist in Fig. 3 darge- stellt. Es können jedoch je nach Problemstellung beliebige andere Verbindungslinien definiert werden.First, permissible connecting lines are defined in a step 40, which are to be used in the subsequent application of the Rules for assigning the pixels to useful information or interference information are used, as will be explained in more detail below. A selection of possible connecting lines using the example of a 5x5 search matrix is shown in FIG. 3. However, any other connecting lines can be defined depending on the problem.
In einem nachfolgenden Schritt 50 wird zunächst ein Pixel der Bildfläche im Zentrum der Suchmatrix positioniert. In dem in Fig. 2 dargestellten Beispiel ist eine Suchmatrix mit einer Zeilen- bzw. Spaltenlänge von 5 Pixeln auf der Bildfläche positioniert, wobei dem Hintergrundbereich zugeteilte Pixel schraffiert, dem Toleranzbereich zugeteilte Pixel weiß und dem falschen Bereich zugeteilte Pixel schwarz dargestellt sind. Ferner sind mit einer durchgezogenen bzw. einer punktierten Linie zwei zulässige Verbindungslinien eingezeichnet. Jedesmal, wenn im Schritt 50 ein neues Pixel im Zentrum der Suchmatrix positioniert wird, wird dieses Pixel anhand der in den Schritten 60, 70 und 80 vorgesehenen Regeln entweder der zu unterdrückenden Störinformation in einem Schritt 90 oder der den zu erkennenden Zeichen zuzurechnenden Nutzinformation in einem Schritt 100 gemäß Fig. 1 zugeordnet, woraufhin zeilen- und spaltenweise das nächste Pixel im Zentrum der Suchmatrix positioniert wird.In a subsequent step 50, a pixel of the image area is first positioned in the center of the search matrix. In the example shown in FIG. 2, a search matrix with a row or column length of 5 pixels is positioned on the image surface, hatched pixels assigned to the background area, pixels assigned to the tolerance area being shown in white, and pixels assigned to the wrong area being shown in black. Furthermore, two permissible connecting lines are drawn with a solid or a dotted line. Each time a new pixel is positioned in the center of the search matrix in step 50, this pixel is based on the rules provided in steps 60, 70 and 80 either the interference information to be suppressed in a step 90 or the useful information to be attributed to the characters to be recognized in one Assigned to step 100 according to FIG. 1, whereupon the next pixel is positioned in rows and columns in the center of the search matrix.
Die Zuordnung des im Zentrum der Suchmatrix positionierten Pixels, im Folgenden Mittelpunktpixel genannt, erfolgt gemäß Fig. 1 folgendermaßen:The assignment of the pixel positioned in the center of the search matrix, hereinafter referred to as the center point pixel, is carried out according to FIG. 1 as follows:
Zunächst wird in Schritt 60 abgefragt, ob das Mittelpunktpixel dem Hintergrundbereich angehört. Ist dies der Fall, so wird das Mittelpunktpixel als Hintergrund interpretiert, und folglich unmittelbar der zu unterdrückenden Störinformation zugeordnet.
Gehört das Mittelpunktpixel jedoch nicht dem Hintergrundbereich an, wird in Schritt 70 abgefragt, ob das Mittelpunktpixel dem Toleranzbereich angehört und ob außerdem wenigstens eines der unmittelbar benachbarten Pixel, von denen es insgesamt 8 gibt, dem Hintergrundbereich angehört. Wird dies bejaht, wird das Mittelpunktpixel ebenfalls der zu unterdrückenden Störinformation zugeordnet.First, step 60 queries whether the midpoint pixel belongs to the background area. If this is the case, the center point pixel is interpreted as the background and is consequently assigned directly to the interference information to be suppressed. However, if the midpoint pixel does not belong to the background area, a query is made in step 70 as to whether the midpoint pixel belongs to the tolerance range and whether at least one of the immediately adjacent pixels, of which there are 8 in total, belongs to the background area. If this is affirmed, the center point pixel is also assigned to the interference information to be suppressed.
Ist dies jedoch nicht der Fall, sondern gehört das Mittelpunktpixel zwar zum Toleranzbereich, jedoch keines der unmittelbaren Nachbarpixel zum Hintergrundbereich, wie in dem in Fig. 2 dargestellten Ausführungsbeispiel der Fall ist, so wird mit Schritt 80 fortgefahren. In diesem Schritt wird abgefragt, ob das Mittelpunktpixel dem Toleranzbereich und wenigstens eines der innerhalb der Suchmatrix befindlichen Pixel dem Hintergrundbereich angehören. Letzteres ist bei dem in Fig. 2 dargestellten Beispiel für zwei Pixel der Fall, die Im Folgenden Zielpixel genannt werden. In diesem Falle werden für alle zulässigen Verbindungslinien, die in Schritt 40 festgelegt wurden, die auf der Verbindungslinie zwischen Mittelpunktpixel und dem jeweiligen Zielpixel angeordneten Pixel daraufhin überprüft, ob sie dem Hintergrundbereich oder dem Toleranzbereich an- gehören. Existiert wenigstens eine zulässige Verbindungslinie, bei der sämtliche Pixel zwischen Mittelpunktpixel und Zielpixel dem Hintergrundbereich oder dem Toleranzbereich zugehören, was sich durch einfache logische Verknüpfungen überprüfen läßt, dann wird das Mittelpunktpixel ebenfalls in Schritt 90 der zu unterdrückenden Störinformation zugeordnet. Ist dies jedoch nicht der Fall, wird das Mittelpunktpixel der den zu erkennenden Zeichen zuzurechnenden Nutzinformation in Schritt 100 zugeordnet. In beiden Fällen wird anschließend das nächste Pixel der
Bildfläche im Zentrum der Suchmatrix positioniert und nach den gleichen Regeln der Schritte 60, 70 und 80 zugeordnet.If this is not the case, but the center point pixel belongs to the tolerance range, but none of the immediate neighboring pixels belongs to the background area, as is the case in the exemplary embodiment shown in FIG. 2, the process continues with step 80. In this step it is queried whether the center point pixel belongs to the tolerance range and at least one of the pixels located in the search matrix belongs to the background area. The latter is the case for the example shown in FIG. 2 for two pixels, which are referred to below as target pixels. In this case, for all permissible connecting lines that were defined in step 40, the pixels arranged on the connecting line between the center point pixel and the respective target pixel are checked to determine whether they belong to the background area or the tolerance area. If there is at least one permissible connecting line in which all the pixels between the center point pixel and the target pixel belong to the background area or the tolerance area, which can be checked by simple logic operations, then the center point pixel is also assigned in step 90 to the interference information to be suppressed. If this is not the case, however, the center point pixel is assigned to the useful information attributable to the characters to be recognized in step 100. In both cases, the next pixel is then the Image area positioned in the center of the search matrix and assigned according to the same rules of steps 60, 70 and 80.
Dadurch, dass sich die maximale Länge und die Form der zu- lässigen Verbindungslinien sowie die Größe der Suchmatrix individuell festlegen lassen, sind vielfältige Anpassungen an die jeweilige Problemstellung möglich.The fact that the maximum length and shape of the permissible connecting lines as well as the size of the search matrix can be individually defined means that various adaptations to the respective problem are possible.
Die der zu unterdrückenden Störinformation zugeordneten Pixel können jeweils durch einen bekannten Hintergrundwert ersetzt werden, so dass das erfindungsgemäße Verfahren als Vorverarbeitungsstufe zu einem Binarisierungsalgorithmus einsetzbar ist. Das erfindungsgemäße Verfahren eignet sich jedoch durch seinen Klassifikationsmechanismus hinsicht- lieh der Trennung von Vordergrund und Hintergrund auch direkt zu einer Binarisierung auf farbigen Bildflächen.The pixels assigned to the interference information to be suppressed can each be replaced by a known background value, so that the method according to the invention can be used as a preprocessing stage for a binarization algorithm. However, due to its classification mechanism, the method according to the invention is also suitable for binarization on colored image areas with regard to the separation of foreground and background.
In Fig. 4 ist das Ergebnis des erfindungsgemäßen Verfahrens dargestellt, welches auf die in Fig. 7 gezeigte Bild- fläche angewandt wurde. Infolge der durch das erfindungsgemäße Verfahren erreichten umfeldbezogenen Trennung von Vorder- und Hintergrund wird eine Ausdünnung der zu erkennenden Schriftzeichen wirksam vermieden, wobei der gesamte Hintergrund unterdrückt wird. Infolge der differenzierten Einteilung der Pixel in die genannten drei Bereiche wird auch dann eine saubere Trennung von Vorder- und Hintergrund erreicht, wenn teilweise die gleichen Mischfarben bei dem Hintergrund einerseits und den zu erkennenden Schriftzeichen andererseits auftreten. Wie in Fig. 5 ge- zeigt ist, führt eine nachfolgenden Binarisierung zu einer korrekten Wiedergabe der zu erkennenden Schriftzeichen.FIG. 4 shows the result of the method according to the invention, which was applied to the image area shown in FIG. 7. As a result of the environment-related separation of foreground and background achieved by the method according to the invention, thinning out of the characters to be recognized is effectively avoided, the entire background being suppressed. As a result of the differentiated division of the pixels into the three areas mentioned, a clean separation of foreground and background is achieved even if the same mixed colors occur in part on the one hand and the characters to be recognized on the other hand. As shown in FIG. 5, a subsequent binarization leads to a correct reproduction of the characters to be recognized.
Das erfindungsgemäße Verfahren wurde in dem oben beschriebenen Ausführungsbeispiel zur Unterdrückung des Hinter- grundes eingesetzt, kann jedoch alternativ auch zum direk-
ten Herauslosen der zu erkennenden Zeichen oder zur Kombination von Unterdrückung des Hintergrunds und Herauslosen der zu erkennenden Zeichen eingesetzt werden, wie nachfolgend erläuterte wird.The method according to the invention was used in the exemplary embodiment described above to suppress the background, but can alternatively also be used for direct extraction of the characters to be recognized or combination of suppression of the background and extraction of the characters to be recognized, as will be explained below.
In diesem Fall wird der Farbraum in Schritt 30 des m Fig. 1 dargestellten Flussdiagramms in vier statt in drei Bereiche aufgeteilt, wobei der vierte Bereich, der sogenannte Vordergrundbereich, solche Farben umfasst, die nur in den zu erkenenden Zeichen enthalten sind, also mit Sicherheit nicht zum Hintergrund gehören. Werden Pixel diesem Vordergrundbereich zugeteilt, so lassen sich diese Pixel unmittelbar entsprechend Schritt 100 der Nutzinformation zuordnen. Eine solche Zuordnungsregel laßt sich zu- satzlich zu den Zuordnungsregeln m den Schritten 60, 70 und 80 m das Verfahren einbeziehen, um ein Unterdrucken des Hintergrundes der Bildflache mit einem direkten Herauslosen des Vordergrundes zu verknüpfen. Eine solche Kombination ist insbesondere dann angebracht, wenn bei schwach gedruckten Schriftzeichen auf relativ dunklem Hintergrund eine starke Ausdünnung der Schriftzeichen verhindert werden soll.In this case, the color space in step 30 of the flow chart shown in FIG. 1 is divided into four instead of three areas, the fourth area, the so-called foreground area, comprising those colors that are only contained in the characters to be recognized, that is to say with certainty do not belong to the background. If pixels are assigned to this foreground area, these pixels can be assigned to the useful information immediately in accordance with step 100. Such an assignment rule can be used in addition to the assignment rules in steps 60, 70 and 80 m of the method in order to link the underprinting of the background of the image area with a direct removal of the foreground. Such a combination is particularly appropriate if, in the case of weakly printed characters on a relatively dark background, severe thinning of the characters is to be prevented.
Die Zuordnung zum Vordergrundbereich zwecks Herauslosen der Schriftzeichen kann jedoch auch gegenüber der Unter- druckung des Hintergrundes vorrangig behandelt werden, wodurch sich ein Schπftschutzmechanismus erreichen laßt.The assignment to the foreground area for the purpose of extracting the characters can, however, also be given priority over suppressing the background, which means that a protection mechanism can be achieved.
In Fig. 6 ist das Ergebnis einer Anwendung des erfindungs- gemäßen Verfahrens auf die m Fig. 9 dargestellte Bildflache gezeigt, wobei wie oben beschrieben, eine Herauslosung des Vordergrundes und anschließend eine Binarisierung durchgeführt wurde. Auch hier zeigt sich eine saubere Trennung von Vorder- und Hintergrund infolge der erfin- dungsgemaßen, umfeldbezogenen Zeichenerkennung.
Das erfindungsgemäße Verfahren setzt sich sehr einfach und kostengünstig in einer Vorrichtung zur automatischen Zeichenerkennung realisieren. Für jede mögliche Farbe des Farbraums genügt ein zweibitbreiter Eintrag für die Klassifizierung im Hintergrundbereich, Toleranzbereich und Zeichenbereich. Die erforderliche Suchmatrix hat ebenfalls eine Tiefe von zwei Bit. Das Prüfen aller zulässigen Verbindungslinien kann gleichzeitig oder innerhalb eines Schiebetaktes erfolgen. Bei Verwendung moderner programmierbarer Bauelemente oder ASICs läßt sich hiermit eine Verarbeitungsgeschwindigkeit bis in den Bereich von mehr als 100 Mpixel/S erreichen. Mittels einfacher logischer Verknüpfungen läßt sich prüfen, ob eine zulässige zusam- menhängende Verbindungslinie zwischen einem Mittelpunktpixel und einem Zielpixel die Voraussetzung für die Zuordnung zur Nutzinformation oder zu der zu unterdrückenden Störinformation erfüllt.
FIG. 6 shows the result of applying the method according to the invention to the image area shown in FIG. 9, wherein, as described above, the foreground was extracted and then binarized. Here, too, there is a clean separation of foreground and background as a result of the environment-related character recognition according to the invention. The method according to the invention is very simple and inexpensive to implement in a device for automatic character recognition. For each possible color in the color space, a two-bit-wide entry is sufficient for the classification in the background area, tolerance area and drawing area. The required search matrix is also two bits deep. All permissible connecting lines can be checked simultaneously or within one shift cycle. When using modern programmable components or ASICs, a processing speed of up to more than 100 Mpixel / S can be achieved. Using simple logical links, it can be checked whether a permissible connected connecting line between a center point pixel and a target pixel fulfills the prerequisite for the assignment to the useful information or to the interference information to be suppressed.