WO2019101358A1 - Extraction of identification data - Google Patents

Extraction of identification data Download PDF

Info

Publication number
WO2019101358A1
WO2019101358A1 PCT/EP2018/000528 EP2018000528W WO2019101358A1 WO 2019101358 A1 WO2019101358 A1 WO 2019101358A1 EP 2018000528 W EP2018000528 W EP 2018000528W WO 2019101358 A1 WO2019101358 A1 WO 2019101358A1
Authority
WO
WIPO (PCT)
Prior art keywords
document
image
numeric characters
identification
alpha
Prior art date
Application number
PCT/EP2018/000528
Other languages
German (de)
French (fr)
Inventor
Curd Wallhäusser
René Kugler
Stephan HACKENBERG
Original Assignee
Giesecke+Devrient Mobile Security Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Giesecke+Devrient Mobile Security Gmbh filed Critical Giesecke+Devrient Mobile Security Gmbh
Priority to EP18812056.2A priority Critical patent/EP3714379A1/en
Publication of WO2019101358A1 publication Critical patent/WO2019101358A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/416—Extracting the logical structure, e.g. chapters, sections or page numbers; Identifying elements of the document, e.g. authors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Definitions

  • the present invention is directed to a method for automatic and remote extraction of ID data, as used for example in a so-called video-Ident method. According to the invention, it is possible to read out information from a badge document fully automatically, even if the identity document is provided by means of a video stream. In further method steps, the information provided can then be verified.
  • the present invention is also directed to a suitably configured system arrangement as well as to a computer program product having control instructions that implement the method and system arrangement, respectively.
  • US 2008/0091713 A1 shows a reading of characters from a video menu using text recognition, also known as Optical Character Recognition, OCR.
  • No. 7,689,613 B2 shows a readout of metadata from a picture frame, whereby an OCR algorithm is likewise used.
  • No. 7,639,387 B2 shows the preparation of metadata in the context of multimedia data.
  • telebanking is known, in the course of which a so-called video-ident method is known.
  • the bank customer should be made possible that he does not have to search for a branch, but rather he can initiate a verification by means of a video transmission.
  • at least the bank customer and optionally the bank branch uses a webcam, in which the bank customer shows a pass.
  • a video stream ie a moving picture, of authorization documents transmitted to the bank and the bank can then a certain Service if the bank customer has been positively verified. It must be ensured that the ID document can be safely checked even if the video quality varies.
  • such verification is typically performed by a human user monitoring the image stream, ie the video, on the bank side and manually accepting identity data of the bank customer.
  • This is not only labor-intensive, but it is also prone to error, as due to a delayed and unclear video transmission a falsification of the ID data is possible.
  • individual picture frames are typically segmented and, if necessary, these segments are not transmitted synchronously.
  • Certain video algorithms do not provide a segment that encompasses the entire image, but carry only that information of the video image that is changing.
  • segments are not synchronized at the same time and thus, for example, a string is displayed incorrectly. While this is not noticeable in the case of video streaming in the entertainment sector, in the case of security-relevant applications, data can be corrupted.
  • a method for automatically and remotely extracting badge data from an identity document comprising providing a moving image of the badge of a document of identification. user, wherein a provision of a ID card specification together with at least one format specification of the ID document and recognition of alphanumeric characters of the ID document depending on the provided identification specification such that based on the For matetermgabe only those areas of the ID document are analyzed, which according to the provided ID card specification have alpha numeric characters.
  • the proposed method can be carried out fully automatically, with only a human user providing his identity document by means of a video stream.
  • a video stream is transmitted in the form of moving pictures, wherein a plurality of so-called frames are provided.
  • a moving picture includes a plurality of individual pictures.
  • a black background is present in a first frame and an identification document is in the foreground, the black background can not be retransmitted when the identification document is moved, and only the changing image information is retransmitted.
  • a moving picture refers to a video which preferably is transmitted by means of a communication network or is streamed. While in the context of the present invention a stream is preferred, a locally stored video can also be analyzed in a time-translated manner. Remote extraction is based on the fact that the moving images are transmitted by telecommunications technology and preferably transmitted by means of buffered data communication.
  • the moving images of the badge document are provided by means of a data communication interface, and preferably the moving image is provided by means of video streaming.
  • the moving image may thus be a computer-implemented method which uses a data interface to receive the moving image of the identification document.
  • an identity card for example, an identity card, a passport or even an identity document issued by a company can be used as an identity document. All these identity documents typically have in common that they can be described by means of a Ausweispezifikati on.
  • relevant information is always in the same place, such as name and date of birth.
  • a badge specification can describe either an identity card or a passport.
  • relevant information is contained in an identity card at a location other than a passport.
  • a passport specification is created provided which describes the identification document.
  • the ID card specification provides information about where to provide certain information and if so how to interpret it.
  • the badge specification may be provided such that the service provider specifies which identity card to use and, for example, requires that only one passport be accepted. Then just just a ID card specification is provided, which describes the passport or short the passport. Optionally, it is also possible for the customer or the user to decide which identity document he would like to use. In this case, known methods, such as, for example, pattern matching, can be used which automatically detect whether the identity document is an identity card or a passport. Thus, the respective ID card specification can be selected automatically and the ID document can be flexibly analyzed. It is also possible for a company to issue its own identity document and thus also provide the ID card specification. Thus, it is possible for the company to design the ID card according to its own specifications and to specify by means of the ID card specification which information is to be provided at which position on the ID card.
  • the format specification describes specifications of the badge document and not only describes where which information is specified according to specification, but rather optionally can also specify how the individual pieces of information are to be interpreted.
  • formats are already known which indicate how to interpret a certain string. For example, different semantic information is ranked against each other, and a reader is arranged to extract and interpret these different pieces of information from the string.
  • Such a format specification can provide that a name is always given in a first line and always a date of birth in a second line.
  • the format specification can be used so that if only one name is to be read, only that portion of the identification document that has the name is analyzed. If, for example, a date of birth is always stated in the middle of an identity document, the format specification can also specify this, and only the center of the identity document must be analyzed and non-relevant segments of the identity document need not be analyzed.
  • the disadvantage is overcome that an entire image must always be analyzed, although information can only be expected at a certain point.
  • computing capacity is saved and the error rate is minimized.
  • a human intervention is excluded, which would also be error prone.
  • Known methods can therefore not be transferred to the extraction of ID data, since in this case it is typically not relevant that the transmitted information withstands a security check.
  • the proposed method is specially geared to ID data, taking into account that ID documents always conform to a predetermined format.
  • alpha-numeric characters can be letters, characters, or a combination of both.
  • a specific character set can be taken into account, which, for example, pretends that the alpha-numeric characters may also include umlauts. This makes it possible to extract the badge data and to extract metadata from the received image data. Thus, who the ID data made a review available and are then available as a string.
  • Recognition of alpha-numeric characters can include algorithms that are also used in the context of OCR methods. For example, it is possible to perform so-called pattern matching such that the character set exists as images of the individual characters and these images are compared with the analyzed moving pictures. In this way, if there is sufficient agreement, it can be recognized that a moving picture or a frame thereof has an alpha-numeric character.
  • a validity information is provided and by means of comparing the validity information with the recognized alpha-numeric characters, a validity check of the identification document is performed.
  • This has the advantage that as soon as the alpha-numeric characters are recognized, a user's authorization can take place. It can be specified here that the validity information specifies what the name of a user to be authorized is and can be used with the recognized characters. be the same. If the validity information is found on the identity document, the validity is positively verified. On the other hand, an expiration date of the identification document can also be read out and, if this is specified as a validity criterion, the identification document can be negatively verified because it has expired.
  • identity document does not have to be specified in advance, but rather the user can select whether he now holds his identity card or his passport. Since images of identity documents can be stored beforehand, it is now possible to determine automatically which identity card type is involved and, accordingly, to load the corresponding identity card specification. Thus, it is therefore recognized which identity document is kept, and it can also be recognized at which point or at which area an information must be on the identity document. It can be dynamically selected at runtime a de passport specification depending on the provided Ausweisdo document.
  • the specification provides an indication of a machine-readable area.
  • This has the advantage that it can be identified, which information is to be provided and thus only the relevant area of the ID card. must be analyzed. Background data or data of the exit document, which are not relevant, can thus be hidden and are not analyzed. It is ensured that computing capacity is not overly stressed. This also means that existing computing capacities can be focused on relevant areas.
  • the provided moving picture can be analyzed at a higher frame rate.
  • the frame rate also referred to as frame rate, indicates how many frames are provided or analyzed per second. According to the invention, this can be a particularly large number of frames, as a subset of the provided moving image is analyzed in focus.
  • a machine-readable area may be present as a so-called Machine Readable Zone, MRZ.
  • MRZ Machine Readable Zone
  • standards can be used which specify exactly where on a data medium, for example on a travel document, certain information must be located. If deviations are detected on the provided identification document, the corresponding identification document can be negatively verified.
  • the disclosure specification is provided in accordance with document 9303 of the International Civil Aviation Organization.
  • Document 9303 is also a standard, and predetermined badge specifications can be provided which are standard.
  • Document 9303 may be the standard of the International Civil Aviation Organization (ICAO) editor in the seventh edition, with ISBN 978-92-9249-790-3, but it is also possible that other standards Find application.
  • the selection specification provides an indication of a character set of the identification data of the identification document. This has the advantage that it can be specified in advance which alpha-numeric characters are to be expected at all, and thus the recognition of such characters can be optimized. For example, you can specify whether umlauts are to be expected or not. This increases the overall hit rate of character recognition.
  • the validity information provides an indication of a valid checksum, a date, a character set, a value range, a data structure, a data coding and / or a validity criterion of the identity document.
  • This has the advantage that the authenticity of the identity document can be checked, for which checksums are used, for example.
  • it can be specified by means of the date specification whether the identity document is still valid or whether it has already expired. If there are unknown fonts, it can also be determined that it is a fake.
  • the data coding it can be specified at which place a semantic information is to be located. Thus, it can be specified that one text field must be a name, and another text field must be an address.
  • the identity document can also be analyzed semantically and information can be provided in advance as to what information is expected so that an identity document is positively identified.
  • the badge data is interpreted based on the badge specification.
  • This has the advantage that not only character strings are compared, but much more information is considered in such a way that their semantic content can be evaluated. This is possible by specifying at what point which information is to be located, and this can ensure that a string in a name field is actually a name. Thus, certain lines or columns can be taken into account and it is determined that a date is either a date of birth or an expiration date. This makes it possible to verify the genuineness of the certificate document, and not just to compare strings.
  • the moving image has a plurality of image frames, and the recognition of alpha-numeric characters is performed for a plurality of image frames.
  • the number of image frames to be analyzed is selected as a function of a frame rate of the motion picture. This has the advantage that, if several image frames are available as needed, corresponding redundant Jardinrah men can be sorted out. On the other hand, if the frame rate is particularly slow, it may be possible that all transmitted image frames are necessary for the analysis. If, for example, the moving picture is transmitted at 30 frames per second, ie 30 frames per second, it may be necessary to analyze every second frame picture, wherein a lower rate is selected from a frame rate of 60 picture frames. Thus, the computational intensity can also be scaled.
  • the moving image has a plurality of image frames, and with reference to an image portion of the identification document, orientation, exposure, focus, and / or other image parameters, a suitable image frame is selected for recognizing the alpha-numeric characters.
  • a suitable image frame is selected for recognizing the alpha-numeric characters.
  • the moving image is too dark or too little illuminated, then it can be decided that the image frame is not suitable and thus another image frame is used to recognize the alpha numeric characters.
  • the person skilled in the art knows corresponding threshold values which indicate whether a picture frame is suitable for analysis or not.
  • optical security features are recognized in addition to alpha-numeric characters. This has the advantage that also image data can be included in the analysis and thus it can be ensured that in fact the card holder can be recognized on the moving image.
  • a system arrangement for automatic rule and remote extraction of ID data from a ID document comprising a telecommunications interface, configured to provide a moving image of the ID document of a user, wherein a memory unit configured to provide a Ausweispe cification together with at least one format specification of the ID document and a recognition unit configured to recognize alpha
  • the object is also achieved by a computer program product with control commands which execute the proposed method or operate the proposed system arrangement.
  • the method provides procedural steps, which can also be provided by means of structural features of the system arrangement.
  • the system design includes structural features whose functionality can also be mapped as method steps. The method is suitable for operating the proposed system arrangement and the system arrangement is set up accordingly to carry out the method.
  • FIG. 1 is a schematic flow diagram of a conventional method for analyzing a video stream
  • FIG. 2 is a schematic flowchart of a method for automatically and remotely extracting badge data in accordance with an aspect of the present invention.
  • FIG. 3 shows a further schematic flowchart of the method according to the invention for extracting ID data.
  • a validity check is carried out by means of human intervention.
  • a video stream is evaluated by a human, whether or not it contains an image that is accessible to OCR treatment is. If necessary, then follows a manual feedback. Overall, this requires a lot of human attention and is error-prone.
  • a generic OCR ie no specialized OCR method as proposed according to the invention, is used, which does not use additional information about the text to be captured. This is very compute-intensive and therefore costly. So then in step 12, the validity of the Ausweisda th th.
  • a video stream (or camera viewfinder window) is observed by a human operator and judged whether to include an image suitable for capturing (that is, matching picture, orientation, exposure, focus, etc.). If so, the operator triggers a capture of the current image.
  • the captured image is z.
  • Fig. 2 shows a flow chart according to the proposed invention and He provides in step 20, that a continuous Erfas solution of an image from a video stream is carried out. Then carried out in procedural step 21, a specialized OCR recognition method, which can be carried out on the one hand, although fast, but still relatively little computing intensive. In this case, a priori knowledge about MRZ field contents is used on the basis of a character position, ie a row or a column. In a subsequent method step 22, an automated gül tmaschines phenomenon. In this case, it is possible, after the execution of the procedural step 22, to move back to the method step 20 iteratively and to analyze another image frame. Analogously, the method can also terminate and the validity check is completed.
  • FIG. 3 also shows a schematic flow diagram of another aspect of the present invention.
  • FIG. 3 shows a method for automatically and remotely extracting badge data from an identity document, comprising providing a moving image of a user's badge 100, providing 101 a selection specification including at least one format specification of the badge document, and recognizing 102 numerical characters of the Ausisdi documents in dependence on the provided selection specification such that are based on the format default only those areas of the identification document to be analyzed, which according to the prepared ten selection specification alpha-numeric characters have.
  • a validity information can be provided 101A and by means of a comparison 103 of the validity information with the recognized 102 al pha-numeric characters carried out a validity check of the identity document.
  • Images of an optically readable data field are continuously taken from a video stream and processed with a special OCR algorithm.
  • the OCR algorithm works so fast that many detection cycles are done per second.
  • the constraints known for the data eg. Checksums, validity of dates, defined structure of the field of parameters, etc.
  • the special OCR algorithm is supposed to work very fast, it must have a relatively low recognition capability, since false attempts are very likely to be recognized due to the automatic checking of the secondary conditions.
  • the special OCR algorithm uses as much as possible a priori knowledge about the content of the data fields (eg restrictions in the character set, validity of checksums, validity of dates). If the OCR

Abstract

The invention relates to a method for the automatic and remote extraction of identification data, which method is used, for example, in what is referred to as a video identification process. According to the invention, information can be fully automatically read from an identification document, even if the identification document is provided by means of a video stream. In further method steps, the provided information can then be verified. The invention further relates to a correspondingly designed system assembly and to a computer program product having control commands that implement the method or operate the system assembly.

Description

Extrahieren von Ausweisdaten  Extract badge data
Die vorliegende Erfindung ist gerichtet auf ein Verfahren zum automati schen und entfernten Extrahieren von Ausweisdaten, wie es beispielsweise bei einem sogenannten Video-Ident-Verfahren Einsatz findet. Erfindungs gemäß ist es möglich, vollautomatisch Informationen aus einem Ausweisdo kument auszulesen, auch wenn das Ausweisdokument mittels eines Video- streams bereitgestellt wird. In weiteren Verfahrensschritten kann die bereit gestellte Information dann verifiziert werden. Die vorliegende Erfindung ist ebenfalls gerichtet auf eine entsprechend eingerichtete Systemanordnung sowie auf ein Computerprogrammprodukt mit Steuerbefehlen, welche das Verfahren implementieren bzw. die Systemanordnung betreiben. The present invention is directed to a method for automatic and remote extraction of ID data, as used for example in a so-called video-Ident method. According to the invention, it is possible to read out information from a badge document fully automatically, even if the identity document is provided by means of a video stream. In further method steps, the information provided can then be verified. The present invention is also directed to a suitably configured system arrangement as well as to a computer program product having control instructions that implement the method and system arrangement, respectively.
US 2008/0091713 Al zeigt ein Auslesen von Zeichen aus einem Videorah men unter Verwendung von Texterkennung, auch Optical Character Recog- nition, OCR, genannt. US 2008/0091713 A1 shows a reading of characters from a video menu using text recognition, also known as Optical Character Recognition, OCR.
US 7,689,613 B2 zeigt ein Auslesen von Metadaten aus einem Bildrahmen, wobei ebenfalls ein OCR- Algorithmus Verwendung findet. No. 7,689,613 B2 shows a readout of metadata from a picture frame, whereby an OCR algorithm is likewise used.
US 7,639,387 B2 zeigt die Aufbereitung von Metadaten im Kontext von Mul timediadaten. No. 7,639,387 B2 shows the preparation of metadata in the context of multimedia data.
Gemäß herkömmlicher Verfahren ist das Telebanking bekannt, im Rahmen dessen auch ein sogenanntes Video-Ident-Verfahren bekannt ist. Dabei soll dem Bankkunden ermöglicht werden, dass er keine Filiale auf suchen muss, sondern vielmehr kann er mittels einer Videoübertragung eine Verifikation veranlassen. Hierzu verwendet mindestens der Bankkunde und optional die Bankfiliale eine Webcam, in welche der Bankkunde einen Ausweis zeigt. Somit wird ein Videostream, also ein Bewegtbild, von Autorisierungsdoku- menten an die Bank übertragen und die Bank kann daraufhin eine bestimmte Dienstleistung freischalten, falls der Bankkunde positiv verifiziert wurde. Es muss sichergestellt werden, dass das Ausweisdokument auch dann sicher überprüft werden kann, falls die Videoqualität variiert. According to conventional methods, telebanking is known, in the course of which a so-called video-ident method is known. In this case, the bank customer should be made possible that he does not have to search for a branch, but rather he can initiate a verification by means of a video transmission. For this purpose, at least the bank customer and optionally the bank branch uses a webcam, in which the bank customer shows a pass. Thus, a video stream, ie a moving picture, of authorization documents transmitted to the bank and the bank can then a certain Service if the bank customer has been positively verified. It must be ensured that the ID document can be safely checked even if the video quality varies.
Ein weiteres Problem bei einem solchen entfernten Autorisieren ist es, dass bestimmte Sicherheitsmerkmale eines Ausweisdokuments nicht mehr aus dem Bildstrom erkennbar sind. Beispielsweise umfassen Wertdokumente bzw. Ausweisdokumente Sicherheitsmerkmale, welche ein Hologramm oder ein Wasserzeichen aufweisen. Auch können bestimmte Kippeffekte nicht nachvollzogen werden, bei denen sich je nach Betrachtungswinkel des Aus- weisdokuments unterschiedliche Bilder ergeben. Ferner sind diffraktive Elemente bekannt, welche typischer weise ebenfalls nicht mittels eines Video- streams übertragbar sind. Da solche herkömmlichen Sicherheitsmerkmale bei einem entfernen Autorisieren nicht verwendet werden können, besteht ein Bedarf an neuartigen Verfahren, welche zuverlässig Ausweisdaten auch dann auslesen können, falls diese entfernt mittels einer Videoübertragung bereitgestellt werden. Another problem with such remote authorization is that certain security features of a badge document are no longer recognizable from the image stream. For example, value documents or identity documents comprise security features which have a hologram or a watermark. Also, certain tilting effects can not be reproduced, which result in different images depending on the viewing angle of the document of alienation. Furthermore, diffractive elements are known which typically can not be transmitted by means of a video stream either. Since such conventional security features can not be used in remote authorization, there is a need for novel methods which can reliably read out identification data even if provided remotely by means of a video transmission.
Gemäß herkömmlicher Verfahren erfolgt ein solches Verifizieren typischerweise durch einen menschlichen Benutzer, welcher auf Seiten der Bank den Bildstrom, also das Video, überwacht und hierbei manuell Ausweisdaten des Bankkunden entgegennimmt. Dies ist nicht nur arbeitsaufwendig, sondern vielmehr ist dies auch fehleranfällig, da aufgrund einer verzögerten und un klaren Videoübertragung eine Verfälschung der Ausweisdaten möglich ist.In accordance with conventional methods, such verification is typically performed by a human user monitoring the image stream, ie the video, on the bank side and manually accepting identity data of the bank customer. This is not only labor-intensive, but it is also prone to error, as due to a delayed and unclear video transmission a falsification of the ID data is possible.
So werden einzelne Bildrahmen typischerweise segmentiert und ggf. werden diese Segmente nicht synchron übertragen. Bestimmte Videoalgorithmen liefern nicht ein Segment, welches das gesamte Bild umfasst, sondern über tragen nur diejenige Information des Videobilds, welche sich ändert. Hier durch ist es möglich, dass Segmente nicht gleichzeitig synchronisiert werden und somit beispielsweise eine Zeichenkette falsch angezeigt wird. Während dies bei einem Videostreaming im Entertainmentbereich nicht auf fällt, kann es hingegen bei sicherheitsrelevanten Anwendungen zur Verfälschung von Daten kommen. Thus, individual picture frames are typically segmented and, if necessary, these segments are not transmitted synchronously. Certain video algorithms do not provide a segment that encompasses the entire image, but carry only that information of the video image that is changing. Hereby it is possible that segments are not synchronized at the same time and thus, for example, a string is displayed incorrectly. While this is not noticeable in the case of video streaming in the entertainment sector, in the case of security-relevant applications, data can be corrupted.
Somit bestehen gerade im Anwendungsszenario der Verifikation von Aus- weisdokumenten besondere Anforderungen und bestehende Verfahren des Videostreamings können nicht einfach übertragen werden. Hierbei ist es nachteilig, dass bekannte Verfahren, welche beispielsweise einen OCR- Algorithmus auf Bilddaten anwenden, nicht derart zuverlässig sind, dass diese im Rahmen einer Sicherheitsprüfung Einsatz finden können. Thus, especially in the application scenario, the verification of ID documents has special requirements, and existing video streaming methods can not simply be transmitted. In this case, it is disadvantageous that known methods, which for example apply an OCR algorithm to image data, are not so reliable that they can be used as part of a safety test.
Es ist somit eine Aufgabe der vorliegenden Erfindung, ein Verfahren zum automatischen und entfernten Extrahieren von Ausweisdaten bereitzustel- len, welches sowohl sicher verifizierbare Daten liefert und darüber hinaus ein menschliches Zutun derart ausschließt, dass das Verfahren vollautömati- siert ausgeführt werden kann und hierdurch menschliche Fehler vermieden werden. Es ist ferner eine Aufgabe der vorliegenden Erfindung, eine entspre chend eingerichtete Systemanordnung vorzuschlagen, sowie ein Computer programmprodukt mit Steuerbefehlen, welche das Verfahren implementie ren bzw. die Systemanordnung betreiben. It is thus an object of the present invention to provide a method for automatically and remotely extracting ID data which provides both securely verifiable data and moreover excludes human intervention such that the method can be performed fully automated and thereby human error be avoided. It is a further object of the present invention to propose a system arrangement accordingly set up, as well as a computer program product with control commands which implement the method or operate the system arrangement.
Die Aufgabe wird gelöst mit den Merkmalen der unabhängigen Patentan sprüche. Weitere vorteilhafte Ausgestaltungen werden in den abhängigen Ansprüchen angegeben. The object is achieved with the features of the independent patent claims. Further advantageous embodiments are specified in the dependent claims.
Demgemäß wird ein Verfahren zum automatischen und entfernten Extrahieren von Ausweisdaten aus einem Ausweisdokument vorgeschlagen, umfas send ein Bereitstellen eines Bewegtbildes des Ausweisdokuments eines Be- nutzers, wobei ein Bereitstellen einer Ausweisspezifikation mitsamt mindes tens einer Formatvorgabe des Ausweisdokuments und ein Erkennen von alpha-numerischen Zeichen des Ausweisdokuments in Abhängigkeit der bereitgestellten Ausweisspezifikation derart erfolgt, dass anhand der For matvorgabe lediglich diejenigen Bereiche des Ausweisdokuments analysiert werden, welche gemäß der bereitgestellten Ausweispezifikation alpha numerische Zeichen aufweisen. Accordingly, a method for automatically and remotely extracting badge data from an identity document is proposed, comprising providing a moving image of the badge of a document of identification. user, wherein a provision of a ID card specification together with at least one format specification of the ID document and recognition of alphanumeric characters of the ID document depending on the provided identification specification such that based on the For matetermgabe only those areas of the ID document are analyzed, which according to the provided ID card specification have alpha numeric characters.
Das vorgeschlagene Verfahren kann vollautomatisiert ausgeführt werden, wobei lediglich ein menschlicher Benutzer sein Ausweisdokument mittels eines Videostreams bereitstellt. Somit wird nicht lediglich ein einzelnes Bild des Ausweisdokuments bereitgestellt, sondern typischerweise wird ein Vi- deostream in Form von Bewegtbildern übertragen, wobei mehrere sogenann te Rahmen bzw. Frames vorgesehen sind. Somit umfasst ein Bewegtbild eine Vielzahl von einzelnen Bildern. Diese einzelnen Bilder ergeben in ihrer Ge samtheit ein Bewegtbild bzw. einen Videostream. Hierbei ist es nicht not wendig, dass die einzelnen Rahmen bzw. Frames des Bewegtbilds einzeln übertragen werden, sondern vielmehr können diese auch derart übertragen werden, dass lediglich einzelne Segmente des Gesamtbilds übertragen wer den. The proposed method can be carried out fully automatically, with only a human user providing his identity document by means of a video stream. Thus, not only is a single image of the identification document provided, but typically a video stream is transmitted in the form of moving pictures, wherein a plurality of so-called frames are provided. Thus, a moving picture includes a plurality of individual pictures. These individual images in their entirety result in a moving picture or a video stream. In this case, it is not necessary that the individual frames or frames of the moving image are transmitted individually, but rather, they can also be transmitted in such a way that only individual segments of the overall image are transmitted to the person.
Ist beispielsweise in einem ersten Rahmen ein schwarzer Hintergrund vor handen und in einem Vordergrund befindet sich ein Ausweisdokument, so kann bei einem Bewegen des Ausweisdokuments der schwarze Hintergrund nicht neu übermittelt werden und lediglich die sich ändernden Bildinforma tionen werden neu übertragen. Wie die Bewegtbilder genau übertragen wer den’, unterliegt dem jeweils gewählten Algorithmus bzw. der gewählten Bildcodierung. Vorliegend bezieht sich ein Bewegtbild auf ein Video, wel ches vorzugsweise mittels eines Kommunikationsnetzwerks übertragen bzw. gestreamt wird. Während im Kontext der vorliegenden Erfindung ein Strea- men bevorzugt ist, lässt sich auch ein lokal abgespeichertes Video zeitver setzt analysieren. Ein entferntes Extrahieren stellt darauf ab, dass die Bewegtbilder telekommunikationstechnisch übermittelt werden und vorzugsweise mittels einer gepufferten Datenkommunikation übertragen werden. Somit erfolgt also kein Extrahieren von Ausweisdaten derart, dass ein Benutzer sein Ausweis dokument vorhält und dieses in der Gegenwart des Benutzers bzw. des phy- sischen Vorliegens des Ausweisdokuments analysiert wird. Vielmehr ist es ein Aspekt der vorliegenden Erfindung, dass die Bewegtbilder des Ausweis dokuments mittels einer Datenkommunikationsschnittstelle bereitgestellt werden und vorzugsweise wird das Bewegtbild mittels Videostreamings bereitgestellt. Somit kann es sich also um ein computerimplementiertes Ver- fahren handeln, welches eine Datenschnittstelle verwendet, um das Bewegt bild des Ausweisdokuments entgegenzunehmen. If, for example, a black background is present in a first frame and an identification document is in the foreground, the black background can not be retransmitted when the identification document is moved, and only the changing image information is retransmitted. How the moving pictures are transmitted accurately depends on the selected algorithm or the selected picture coding. In the present case, a moving picture refers to a video which preferably is transmitted by means of a communication network or is streamed. While in the context of the present invention a stream is preferred, a locally stored video can also be analyzed in a time-translated manner. Remote extraction is based on the fact that the moving images are transmitted by telecommunications technology and preferably transmitted by means of buffered data communication. Thus, there is no extraction of ID data such that a user holds his ID document and this is analyzed in the presence of the user or the physical presence of the ID document. Rather, it is an aspect of the present invention that the moving images of the badge document are provided by means of a data communication interface, and preferably the moving image is provided by means of video streaming. Thus, it may thus be a computer-implemented method which uses a data interface to receive the moving image of the identification document.
Als ein Ausweisdokument kann beispielsweise ein Personalausweis, ein Passport oder aber auch ein von einem Unternehmen ausgegebenes Aus- weisdokument Verwendung finden. Alle diese Ausweisdokumente haben es typischerweise gemeinsam, dass sich diese mittels einer Ausweisspezifikati on beschreiben lassen. Beispielsweise befinden sich in einem Personalaus weis stets an der gleichen Stelle relevante Informationen wie Name und Ge burtsdatum. Generell können also unterschiedliche Typen von Ausweisdo- kumenten verwendet werden, welche jedoch untereinander jeweils gleich sind. So kann eine Ausweisspezifikation entweder einen Personalausweis oder einen Passport beschreiben. Generell befinden sich relevante Informati onen in einem Personalausweis an einer anderen Stelle als in einem Passport. Um dies vorab berücksichtigen zu können, wird eine Ausweisspezifikation bereitgestellt, welche das Ausweisdokument beschreibt. Somit liefert die Ausweisspezifikation Informationen darüber, wo bestimmte Informationen vorzusehen sind und ggf. wie diese zu interpretieren sind. For example, an identity card, a passport or even an identity document issued by a company can be used as an identity document. All these identity documents typically have in common that they can be described by means of a Ausweispezifikati on. For example, in a staff ID, relevant information is always in the same place, such as name and date of birth. In general, therefore, different types of identity documents can be used, which, however, are identical to one another. Thus, a badge specification can describe either an identity card or a passport. In general, relevant information is contained in an identity card at a location other than a passport. In order to be able to consider this in advance, a passport specification is created provided which describes the identification document. Thus, the ID card specification provides information about where to provide certain information and if so how to interpret it.
Die Ausweisspezifikation kann derart bereitgestellt werden, dass der Diens- tanbieter vorgibt, welches Ausweisdokument Verwendung finden soll und beispielsweise verlangen, dass nur ein Passport akzeptiert wird. Dann wird eben auch nur eine Ausweisspezifikation bereitgestellt, die den Passport bzw. kurz den Pass, beschreibt. Optional ist es auch möglich, dem Kunden bzw. dem Benutzer die Entscheidung zu überlassen, welches Ausweisdoku ment er verwenden möchte. Hierbei können bekannte Verfahren, wie bei- spielsweise ein Pattern Matching, verwendet werden, die selbsttätig erken nen, ob es sich bei dem Ausweisdokument um einen Personalausweis oder aber um einen Pass handelt. Somit kann automatisiert die jeweilige Ausweis spezifikation gewählt werden und das Ausweisdokument kann flexibel ana lysiert werden. Ferner ist es möglich, dass ein Unternehmen ein eigenes Ausweisdokument vergibt und somit auch die Ausweisspezifikation liefert. Somit ist es dem Unternehmen möglich, das Ausweisdokument nach eigenen Vorgaben zu gestalten und mittels der Ausweisspezifikation anzugeben, welche Information an welcher Stelle auf dem Ausweisdokument vorzuse hen ist. The badge specification may be provided such that the service provider specifies which identity card to use and, for example, requires that only one passport be accepted. Then just just a ID card specification is provided, which describes the passport or short the passport. Optionally, it is also possible for the customer or the user to decide which identity document he would like to use. In this case, known methods, such as, for example, pattern matching, can be used which automatically detect whether the identity document is an identity card or a passport. Thus, the respective ID card specification can be selected automatically and the ID document can be flexibly analyzed. It is also possible for a company to issue its own identity document and thus also provide the ID card specification. Thus, it is possible for the company to design the ID card according to its own specifications and to specify by means of the ID card specification which information is to be provided at which position on the ID card.
Folglich beschreibt die Formatvorgabe Spezifikationen des Ausweisdoku ments und beschreibt nicht lediglich, wo sich welche Information spezifikati onsgemäß befindet, sondern vielmehr können optional auch Vorgaben ge macht werden, wie die einzelnen Informationen zu interpretieren sind. So sind bereits Formate bekannt, die angeben, wie eine gewisse Zeichenfolge zu interpretieren ist. Beispielsweise werden unterschiedlich semantische Informationen aneinan dergereiht, und ein Lesegerät ist eingerichtet, diese unterschiedlichen Infor mationen aus der Zeichenkette zu entnehmen und zu interpretieren. Eine solche Formatvorgabe kann vorsehen, dass in einer ersten Zeile stets ein Name angegeben wird und in einer zweiten Zeile stets ein Geburtsdatum. Somit kann beispielsweise die Formatvorgabe dazu verwendet werden, dass, falls lediglich ein Name auszulesen ist, auch nur derjenige Bereich des Ausweisdokuments analysiert wird, der den Namen auf weist. Ist beispielsweise auf einem Ausweisdokument ein Geburtsdatum stets in der Mitte angege- ben, so kann die Formatvorgabe auch dies spezifizieren, und es ist eben nur die Mitte des Ausweisdokuments zu analysieren und nicht-relevante Seg mente des Ausweisdokuments müssen nicht analysiert werden. Thus, the format specification describes specifications of the badge document and not only describes where which information is specified according to specification, but rather optionally can also specify how the individual pieces of information are to be interpreted. Thus formats are already known which indicate how to interpret a certain string. For example, different semantic information is ranked against each other, and a reader is arranged to extract and interpret these different pieces of information from the string. Such a format specification can provide that a name is always given in a first line and always a date of birth in a second line. Thus, for example, the format specification can be used so that if only one name is to be read, only that portion of the identification document that has the name is analyzed. If, for example, a date of birth is always stated in the middle of an identity document, the format specification can also specify this, and only the center of the identity document must be analyzed and non-relevant segments of the identity document need not be analyzed.
Hierdurch wird technischen Überlegungen Sorge getragen, welche berück- sichtigen, dass ein Analysieren eines Ausweisdokuments typischer weise re chenintensiv ist und oftmals insofern ungenau ist, dass es sich bei einem ent fernten Extrahieren nicht sicherstellen lässt, dass die Bildqualität einer ge wünschten Bildqualität entspricht. Somit wird erfindungsgemäß der Nachteil überwunden, dass stets ein gesamtes Bild analysiert werden muss, obwohl lediglich an einer bestimmten Stelle eine Information zu erwarten ist. Somit wird Rechenkapazität eingespart und die Fehlerquote minimiert. Insbeson dere wird ein menschliches Zutun ausgeschlossen, welches ebenfalls fehleranfällig wäre. Bekannte Verfahren lassen sich deshalb nicht auf das Extrahie ren von Ausweisdaten übertragen, da es hierbei typischerweise nicht rele- vant ist, dass die übertragene Information einer Sicherheitsüberprüfung standhält. So ist es besonders vorteilhaft, dass das vorgeschlagene Verfahren speziell auf Ausweisdaten abstellt und hierbei berücksichtigt, dass Ausweis dokumente stets einem vorgegebenen Format entsprechen. Da mittels der Ausweisspezifikation beschrieben wird, wo sich welche In formation zu befinden hat, ist es nunmehr auch möglich, ein Erkennen von alpha-numerischen Zeichen durchzuführen. Dies kann vorteilhafterweise derart erfolgen, dass lediglich derjenige Bereich des Ausweisdokuments ana- lysiert wird, an dem gemäß der Spezifikation die gewünschten alpha numerischen Zeichen vorhanden sind. Bei alpha-numerischen Zeichen kann es sich um Buchstaben, Zeichen oder einer Kombination aus beiden handeln. Hierbei kann auch ein bestimmter Zeichensatz berücksichtigt werden, der beispielsweise vorgibt, dass die alpha-numerischen Zeichen auch Umlaute umfassen dürfen. Hierdurch ist es möglich, die Ausweisdaten zu extrahieren und von den empfangenen Bilddaten Metadaten zu extrahieren. Somit wer den die Ausweisdaten einer Überprüfung zugänglich gemacht und liegen sodann als Zeichenketten vor. Ein Erkennen von alpha-numerischen Zeichen kann Algorithmen umfassen, welche auch im Rahmen von OCR-Verfahren Verwendung finden. Beispielsweise ist es möglich, ein sogenanntes Pattern Matching derart durchzuführen, dass der Zeichensatz als Bilder der einzel nen Zeichen vorliegt und diese Bilder mit den analysierten Bewegtbildern verglichen werden. Auf diese Art kann bei einer ausreichenden Überein stimmung erkannt werden, dass ein Bewegtbild bzw. ein Rahmen davon, ein alpha-numerisches Zeichen aufweist. Hereby, technical considerations are taken into account, which take into account that analyzing an identity document is typically computer-intensive and often inaccurate in that it is not possible to ensure that the image quality corresponds to a desired image quality in the case of remote extraction. Thus, according to the invention, the disadvantage is overcome that an entire image must always be analyzed, although information can only be expected at a certain point. Thus, computing capacity is saved and the error rate is minimized. In particular, a human intervention is excluded, which would also be error prone. Known methods can therefore not be transferred to the extraction of ID data, since in this case it is typically not relevant that the transmitted information withstands a security check. Thus, it is particularly advantageous that the proposed method is specially geared to ID data, taking into account that ID documents always conform to a predetermined format. Since it is described by means of the ID specification, where to find what information, it is now also possible to perform a recognition of alpha-numeric characters. This can advantageously be done in such a way that only that area of the identity document is analyzed at which the desired alpha numeric characters are present according to the specification. Alphanumeric characters can be letters, characters, or a combination of both. In this case, a specific character set can be taken into account, which, for example, pretends that the alpha-numeric characters may also include umlauts. This makes it possible to extract the badge data and to extract metadata from the received image data. Thus, who the ID data made a review available and are then available as a string. Recognition of alpha-numeric characters can include algorithms that are also used in the context of OCR methods. For example, it is possible to perform so-called pattern matching such that the character set exists as images of the individual characters and these images are compared with the analyzed moving pictures. In this way, if there is sufficient agreement, it can be recognized that a moving picture or a frame thereof has an alpha-numeric character.
Gemäß einem Aspekt der vorliegenden Erfindung wird eine Gültigkeitsin formation bereitgestellt und mittels eines Vergleichens der Gültigkeitsinfor mation mit den erkannten alpha-numerischen Zeichen wird eine Gültig- keitsprüfung des Ausweisdokuments durchgeführt. Dies hat den Vorteil, dass, sobald die alpha-numerischen Zeichen erkannt wurden, auch eine Au- torisierung eines Benutzers stattfinden kann. Hierbei kann spezifiziert wer den, dass die Gültigkeitsinformation angibt, wie der Name eines zu autori sierenden Benutzers lautet und dieser kann mit den erkannten Zeichen ver- glichen werden. Findet sich die Gültigkeitsinformation auf dem Ausweisdo- kument wieder, so wird die Gültigkeit positiv verifiziert. Hingegen kann auch ein Ablaufdatum des Ausweisdokuments ausgelesen werden und falls dies als Gültigkeitskriterium spezifiziert wird, kann das Ausweisdokument negativ verifiziert werden, da es abgelaufen ist. Hierdurch ist es möglich, auch mittels eines entfernten Bereitstellens eines Bewegtbildes von Ausweis- dokumenten sicherzustellen, dass der Ausweis tatsächlich seine Gültigkeit hat. Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird mittels ei nes Vergleichens von abgespeicherten Ausweisspezifikationen mit dem Be wegtbild des Ausweisdokuments automatisiert erkannt, welcher Ausweis spezifikation das Ausweisdokument entspricht. Dies hat den Vorteil, dass das Ausweisdokument vorab nicht spezifiziert werden muss, sondern viel- mehr kann der Benutzer auswählen, ob er nunmehr seinen Personalausweis oder seinen Pass vorhält. Da vorab Bilder von Ausweisdokumenten hinter- legt werden können, kann nunmehr automatisiert festgestellt werden, um welchen Ausweistyp es sich handelt und demgemäß die entsprechende Ausweisspezifikation geladen werden. Somit wird also erkannt, welches Ausweisdokument vorgehalten wird, und es kann ferner erkannt werden, an welcher Stelle bzw. an welchem Bereich sich eine Information auf dem Ausweisdokument befinden muss. Es kann dynamisch zur Laufzeit eine passen de Ausweisspezifikation in Abhängigkeit des bereitgestellten Ausweisdo kument gewählt werden. According to one aspect of the present invention, a validity information is provided and by means of comparing the validity information with the recognized alpha-numeric characters, a validity check of the identification document is performed. This has the advantage that as soon as the alpha-numeric characters are recognized, a user's authorization can take place. It can be specified here that the validity information specifies what the name of a user to be authorized is and can be used with the recognized characters. be the same. If the validity information is found on the identity document, the validity is positively verified. On the other hand, an expiration date of the identification document can also be read out and, if this is specified as a validity criterion, the identification document can be negatively verified because it has expired. This makes it possible to ensure, even by means of a remote provision of a moving image of identity documents, that the card is actually valid. According to a further aspect of the present invention, by means of a comparison of stored identification information with the presence of the identity document, it is automatically detected which identity card specification corresponds to the identity document. This has the advantage that the identity document does not have to be specified in advance, but rather the user can select whether he now holds his identity card or his passport. Since images of identity documents can be stored beforehand, it is now possible to determine automatically which identity card type is involved and, accordingly, to load the corresponding identity card specification. Thus, it is therefore recognized which identity document is kept, and it can also be recognized at which point or at which area an information must be on the identity document. It can be dynamically selected at runtime a de passport specification depending on the provided Ausweisdo document.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung stellt die Aus weisspezifikation einen Hinweis auf einen maschinenlesbaren Bereich bereit. Dies hat den Vorteil, dass identifiziert werden kann, wo welche Information bereitzustellen ist und somit lediglich der relevante Bereich des Ausweisdo- kuments analysiert werden muss. Hintergrunddaten bzw. Daten des Aus weisdokuments, welche nicht relevant sind, können somit ausgeblendet werden und werden nicht analysiert. Es wird sichergestellt, dass nicht über die Maßen Rechenkapazitäten beansprucht werden. Dies führt zudem dazu, dass die vorhandenen Rechenkapazitäten fokussiert auf relevante Bereiche angesetzt werden können. Somit kann das bereitgestellte Bewegtbild mit ei ner höheren Rahmenrate analysiert werden. Die Rahmenrate, auch als Frame Rate bezeichnet, gibt an, wie viele Rahmen pro Sekunde bereitgestellt bzw. analysiert werden. Erfindungsgemäß können das besonders viele Rahmen sein, da fokussiert ein Teilbereich des bereitgestellten Bewegtbildes analy siert wird. Ferner kann ein maschinenlesbarer Bereich als eine sogenannte Machine Readable Zone, MRZ, vorliegen. Hierzu können Standards ver wendet werden, die genau angeben, wo sich auf einem Datenträger, bei spielsweise auf einem Reisedokument, bestimmte Informationen zu befinden haben. Werden auf dem bereitgestellten Ausweisdokument Abweichungen erkannt, so kann das entsprechende Ausweisdokument negativ verifiziert werden. In accordance with another aspect of the present invention, the specification provides an indication of a machine-readable area. This has the advantage that it can be identified, which information is to be provided and thus only the relevant area of the ID card. must be analyzed. Background data or data of the exit document, which are not relevant, can thus be hidden and are not analyzed. It is ensured that computing capacity is not overly stressed. This also means that existing computing capacities can be focused on relevant areas. Thus, the provided moving picture can be analyzed at a higher frame rate. The frame rate, also referred to as frame rate, indicates how many frames are provided or analyzed per second. According to the invention, this can be a particularly large number of frames, as a subset of the provided moving image is analyzed in focus. Furthermore, a machine-readable area may be present as a so-called Machine Readable Zone, MRZ. For this purpose, standards can be used which specify exactly where on a data medium, for example on a travel document, certain information must be located. If deviations are detected on the provided identification document, the corresponding identification document can be negatively verified.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird die Aus- weisspezifikation gemäß Dokument 9303 der International Civil Aviation Organization bereitgestellt. Hierbei handelt es sich ebenfalls um einen Stan dard, und es können vorbestimmte Ausweisspezifikationen bereitgestellt werden, welche standardgemäß sind. Somit kann u. a. auch eine Fälschung eines Ausweisdokuments erkannt werden. Bei dem Dokument 9303 kann es sich um den Standard des Herausgebers„International Civil Aviation Orga nization ICAO" in der 7. Auflage handeln, mit ISBN 978-92-9249-790-3. Hier bei ist es jedoch auch möglich, dass andere Standards Anwendung finden. Gemäß einem weiteren Aspekt der vorliegenden Erfindung stellt die Aus- wahlspezifikation einen Hinweis auf einen Zeichensatz der Ausweisdaten des Ausweisdokuments bereit. Dies hat den Vorteil, dass vorab spezifiziert werden kann, welche alpha-numerischen Zeichen überhaupt zu erwarten sind, und somit kann die Erkennung solcher Zeichen optimiert werden. Beispielsweise kann angegeben werden, ob Umlaute zu erwarten sind oder nicht. Dies erhöht insgesamt die Trefferquote der Zeichenerkennung. In accordance with another aspect of the present invention, the disclosure specification is provided in accordance with document 9303 of the International Civil Aviation Organization. This is also a standard, and predetermined badge specifications can be provided which are standard. Thus, inter alia, a falsification of an identity document can be detected. Document 9303 may be the standard of the International Civil Aviation Organization (ICAO) editor in the seventh edition, with ISBN 978-92-9249-790-3, but it is also possible that other standards Find application. According to a further aspect of the present invention, the selection specification provides an indication of a character set of the identification data of the identification document. This has the advantage that it can be specified in advance which alpha-numeric characters are to be expected at all, and thus the recognition of such characters can be optimized. For example, you can specify whether umlauts are to be expected or not. This increases the overall hit rate of character recognition.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung stellt die Gültig keitsinformation einen Hinweis auf eine gültige Prüfsumme, eine Da tumsangabe, einen Zeichensatz, einen Wertebereich, eine Datenstruktur, eine Datencodierung und/ oder ein Gültigkeitskriterium des Ausweisdokuments bereit. Dies hat den Vorteil, dass die Echtheit des Ausweisdokuments geprüft werden kann, wozu beispielsweise Prüfsummen verwendet werden. Ferner kann mittels der Datumsangabe spezifiziert werden, ob das Ausweisdoku ment noch valide ist oder ob es bereits abgelaufen ist. Liegen unbekannte Zeichensätze vor, so kann ebenfalls festgestellt werden, dass es sich um eine Fälschung handelt. Bei der Datencodierung kann angegeben werden, an wel cher Stelle sich eine semantische Information zu befinden hat. So kann spezi fiziert werden, dass es sich bei einem Textfeld um einen Namen handeln muss, und bei einem weiteren Textfeld es sich um eine Adresse handeln muss. In dieser Weise lässt sich das Ausweisdokument auch semantisch ana lysieren und es kann vorab eine Information bereitgestellt werden, welche Information erwartet wird, damit ein Ausweisdokument als positiv verifi ziert wird. According to a further aspect of the present invention, the validity information provides an indication of a valid checksum, a date, a character set, a value range, a data structure, a data coding and / or a validity criterion of the identity document. This has the advantage that the authenticity of the identity document can be checked, for which checksums are used, for example. Furthermore, it can be specified by means of the date specification whether the identity document is still valid or whether it has already expired. If there are unknown fonts, it can also be determined that it is a fake. In the data coding, it can be specified at which place a semantic information is to be located. Thus, it can be specified that one text field must be a name, and another text field must be an address. In this way, the identity document can also be analyzed semantically and information can be provided in advance as to what information is expected so that an identity document is positively identified.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung erfolgt das Er kennen von alpha-numerischen Zeichen unter Verwendung eines OCR- Algorithmus. Dies hat den Vorteil, dass bekannte Implementierungen ver- wendet werden können und insbesondere kann ein Pattern Matching ver- wendet werden, das auf bereits bekannte Verfahren abstellt. Dies bietet ins gesamt den Vorteil, dass bereits erprobte Algorithmen in einem anderen Anwendungsszenario spezialisiert verwendet werden können. According to a further aspect of the present invention, he knows of alphanumeric characters using an OCR algorithm. This has the advantage that known implementations In particular, a pattern matching can be used which is based on already known methods. This offers the overall advantage that already proven algorithms can be used in a special way in another application scenario.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung werden die Ausweisdaten anhand der Ausweisspezifikation interpretiert. Dies hat den Vorteil, dass nicht lediglich Zeichenketten verglichen werden, sondern viel mehr werden Informationen derart berücksichtigt, dass deren semantischer Gehalt ausgewertet werden kann. Dies wird dadurch möglich, dass angege ben wird, an welcher Stelle sich welche Information zu befinden hat, und hierdurch kann sichergestellt werden, dass es sich bei einer Zeichenkette in einem Namensfeld tatsächlich um einen Namen handelt. Somit können be stimmte Zeilen bzw. Spalten berücksichtigt werden und es wird festgestellt, dass es sich bei einem Datum entweder um ein Geburtsdatum handelt ober aber auch um ein Ablaufdatum. Dies ermöglicht es, die Echtheit des Aus weisdokuments zu verifizieren, und nicht lediglich Zeichenketten verglei chen zu müssen. Gemäß einem weiteren Aspekt der vorliegenden Erfindung weist das Be wegtbild mehrere Bildrahmen auf und das Erkennen von alpha-numerischen Zeichen erfolgt für mehrere Bildrahmen. Dies hat den Vorteil, dass das Be wegtbild in einzelne Rahmen segmentiert werden kann und eine identifizier te Information anhand von weiteren Bildrahmen überprüft werden kann. Da stets das gleiche Ausweisdokument vorgehalten wird, ist anzunehmen, dass alle Bildrahmen den gleichen Namen aufweisen. Wird beispielsweise ein Bildrahmen fehlinterpretiert und ein Buchstabe falsch erkannt, so kann an hand der weiteren Bildrahmen erkannt werden, dass der einzelne Bildrah men falsch interpretiert wurde. Würden beispielsweise 100 Bildrahmen ana- lysiert und eine Zeichenkette wird in 99 Bildrahmen erkannt und eine andere Zeichenkette wird in einem Bildrahmen erkannt, so kann festgestellt werden, dass die Zeichenkette der 99 Bildrahmen korrekt interpretiert wurde und ein Bildrahmen falsch ausgewertet wurde. According to another aspect of the present invention, the badge data is interpreted based on the badge specification. This has the advantage that not only character strings are compared, but much more information is considered in such a way that their semantic content can be evaluated. This is possible by specifying at what point which information is to be located, and this can ensure that a string in a name field is actually a name. Thus, certain lines or columns can be taken into account and it is determined that a date is either a date of birth or an expiration date. This makes it possible to verify the genuineness of the certificate document, and not just to compare strings. According to another aspect of the present invention, the moving image has a plurality of image frames, and the recognition of alpha-numeric characters is performed for a plurality of image frames. This has the advantage that the moving image can be segmented into individual frames and an identified information can be checked on the basis of further image frames. Since the same ID document is always maintained, it can be assumed that all image frames have the same name. If, for example, a picture frame is misinterpreted and a letter misrecognized, it can be recognized from the other picture frames that the individual picture frame was misinterpreted. For example, would 100 image frames be lysed and a string is recognized in 99 picture frames and another string is recognized in a picture frame, it can be determined that the string of the 99 picture frames has been correctly interpreted and a picture frame has been mis-evaluated.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird die Anzahl der zu analysierenden Bildrahmen in Abhängigkeit einer Bildrate des Be- wegtbildes gewählt. Dies hat den Vorteil, dass, falls mehrere Bildrahmen zur Verfügung stehen als benötigt werden, entsprechende redundante Bildrah men aussortiert werden können. Ist die Bildrate hingegen besonders lang sam, so kann es möglich sein, dass alle übertragenen Bildrahmen zur Analy se notwendig sind. Wird beispielsweise das Bewegtbild mit 30 Rahmen pro Sekunde, also 30 Frames per Second, übertragen, so kann es notwendig sein, jedes zweite Rahmenbild zu analysieren, wobei aus einer Frame Rate von 60 Bildrahmen eine geringere Quote gewählt wird. Somit kann auch die Re chenintensität skaliert werden. According to a further aspect of the present invention, the number of image frames to be analyzed is selected as a function of a frame rate of the motion picture. This has the advantage that, if several image frames are available as needed, corresponding redundant Bildrah men can be sorted out. On the other hand, if the frame rate is particularly slow, it may be possible that all transmitted image frames are necessary for the analysis. If, for example, the moving picture is transmitted at 30 frames per second, ie 30 frames per second, it may be necessary to analyze every second frame picture, wherein a lower rate is selected from a frame rate of 60 picture frames. Thus, the computational intensity can also be scaled.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung weist das Be wegtbild mehrere Bildrahmen auf und mit Bezug auf einen Bildausschnitt des Ausweisdokuments, einer Orientierung, einer Belichtung, einer Fokus sierung und/ oder weiterer Bildparameter wird ein geeigneter Bildrahmen zum Erkennen der alpha-numerischen Zeichen ausgewählt. Dies hat den Vorteil, dass die einzelnen Bildrahmen des Bewegtbilds analysiert werden können und festgestellt werden kann, ob sich diese zum Extrahieren von Ausweisdaten eignen. So kann sichergestellt werden, dass in dem bewegten Bild ein korrekter Bildausschnitt des Ausweisdokuments vorhanden ist und das Ausweisdokument auch gerade ausgerichtet ist. Ferner kann die Belichtung oder die Fokussierung analysiert werden und somit kann abgeschätzt werden, ob sich mit hoher Wahrscheinlichkeit ein Zeichen erkennen lässt. Somit ist ein Bildrahmen stets genau dann geeignet, falls mit hoher Treffsi cherheit ein Zeichen extrahiert werden kann. Ist beispielsweise das Bewegt bild zu dunkel bzw. zu wenig beleuchtet, so kann entschieden werden, dass der Bildrahmen nicht geeignet ist und somit zum Erkennen der alpha numerischen Zeichen ein anderer Bildrahmen verwendet wird. Hierzu kennt der Fachmann entsprechende Schwellwerte, die angeben, ob ein Bildrahmen zur Analyse geeignet ist oder auch nicht. According to another aspect of the present invention, the moving image has a plurality of image frames, and with reference to an image portion of the identification document, orientation, exposure, focus, and / or other image parameters, a suitable image frame is selected for recognizing the alpha-numeric characters. This has the advantage that the individual image frames of the moving image can be analyzed and it can be determined whether they are suitable for extracting ID data. Thus it can be ensured that a correct image section of the identification document is present in the moving image and the identification document is also aligned. Furthermore, the exposure or focusing can be analyzed, and thus it can be estimated whether a character is likely to be recognized. Thus, a picture frame is always appropriate if it can be extracted with high accuracy Treffsi a character. If, for example, the moving image is too dark or too little illuminated, then it can be decided that the image frame is not suitable and thus another image frame is used to recognize the alpha numeric characters. For this purpose, the person skilled in the art knows corresponding threshold values which indicate whether a picture frame is suitable for analysis or not.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung werden zusätz lich zu alpha-numerischen Zeichen weitere optische Sicherheitsmerkmale erkannt. Dies hat den Vorteil, dass auch Bilddaten in die Analyse einbezogen werden und somit sichergestellt werden kann, dass tatsächlich der Ausweis- inhaber auf dem Bewegtbild zu erkennen ist. According to another aspect of the present invention, further optical security features are recognized in addition to alpha-numeric characters. This has the advantage that also image data can be included in the analysis and thus it can be ensured that in fact the card holder can be recognized on the moving image.
Die Aufgabe wird auch gelöst durch eine Systemanordnung zum automati schen und entfernten Extrahieren von Ausweisdaten aus einem Ausweisdo kument, umfassend eine Telekommunikationsschnittstelle, eingerichtet zum Bereitstellen eines Bewegtbildes des Ausweisdokuments eines Benutzers, wobei eine Speichereinheit eingerichtet zum Bereitstellen einer Ausweisspe zifikation mitsamt mindestens einer Formatvorgabe des Ausweisdokuments und eine Erkennungseinheit eingerichtet zum Erkennen von alpha The object is also achieved by a system arrangement for automatic rule and remote extraction of ID data from a ID document, comprising a telecommunications interface, configured to provide a moving image of the ID document of a user, wherein a memory unit configured to provide a Ausweispe cification together with at least one format specification of the ID document and a recognition unit configured to recognize alpha
numerischen Zeichen des Ausweisdokuments in Abhängigkeit der bereitge stellten Ausweisspezifikation derart vorgesehen ist, dass anhand der For matvorgabe lediglich diejenigen Bereiche des Ausweisdokuments analysiert werden, welche gemäß der bereitgestellten Ausweisspezifikation alpha numerische Zeichen aufweisen. Die Aufgabe wird auch gelöst durch ein Computerprogrammprodukt mit Steuerbefehlen, welche das vorgeschlagene Verfahren ausführen bzw. die vorgeschlagene Systemanordnung betreiben. Erfindungsgemäß ist es besonders vorteilhaft, dass das Verfahren Verfah rensschritte vorsieht, welche auch mittels struktureller Merkmale der Systemanordnung bereitgestellt werden können. Ferner umfasst die Systemano rdnung strukturelle Merkmale, deren Funktionalität auch als Verfahrens schritte abgebildet werden kann. Das Verfahren ist geeignet, die vorgeschla- gene Systemanordnung zu betreiben und die Systemanordnung ist entspre chend eingerichtet, das Verfahren auszuführen. numerical character of the identity document is provided in dependence on the prepared Ausweispezifikation such that using the For matvorgabe only those areas of the identity document are analyzed, which have according to the provided Ausweispezifikation alpha numeric characters. The object is also achieved by a computer program product with control commands which execute the proposed method or operate the proposed system arrangement. According to the invention, it is particularly advantageous that the method provides procedural steps, which can also be provided by means of structural features of the system arrangement. Furthermore, the system design includes structural features whose functionality can also be mapped as method steps. The method is suitable for operating the proposed system arrangement and the system arrangement is set up accordingly to carry out the method.
Weitere vorteilhafte Ausgestaltungen werden anhand der beigefügten Figu ren näher erläutert. Es zeigen: Further advantageous embodiments are explained in more detail with reference to the accompanying Figu ren. Show it:
Fig. 1: ein schematisches Ablaufdiagramm eines herkömmlichen Verfah rens zur Analyse eines Videostreams; FIG. 1 is a schematic flow diagram of a conventional method for analyzing a video stream; FIG.
Fig. 2: ein schematisches Ablauf diagramm eines Verfahrens zum automa tischen und entfernten Extrahieren von Ausweisdaten gemäß einem Aspekt der vorliegenden Erfindung; und 2 is a schematic flowchart of a method for automatically and remotely extracting badge data in accordance with an aspect of the present invention; and
Fig. 3: ein weiteres schematisches Ablaufdiagramm des erfindungsgemä ßen Verfahrens zum Extrahieren von Ausweisdaten. 3 shows a further schematic flowchart of the method according to the invention for extracting ID data.
Fig. 1 zeigt ein Verfahren gemäß dem Stand der Technik, bei dem mittels menschlichem Zutuns eine Gültigkeitsprüfung erfolgt. Hierbei erfolgt in einem ersten Verfahrensschritt 10 ein Beurteilen eines Videostreams durch ei nen Menschen, ob er ein Bild enthält, das einer OCR-Behandlung zugänglich ist. Gegebenenfalls folgt sodann eine manuelle Rückmeldung. Dies benötigt insgesamt eine hohe menschliche Aufmerksamkeit und ist fehleranfällig. In einem darauffolgenden Verfahrensschritt 11 wird ein generisches OCR, also kein spezialisiertes OCR-Verfahren wie es erfindungsgemäß vorgeschlagen wird, verwendet, welches keine Zusatzinformationen über den zu erfassen den Text benutzt. Dies ist sehr rechenintensiv und somit kostenintensiv. So dann erfolgt in Verfahrensschritt 12 die Gültigkeitsprüfung der Ausweisda ten. 1 shows a method according to the prior art in which a validity check is carried out by means of human intervention. In this case, in a first method step 10, a video stream is evaluated by a human, whether or not it contains an image that is accessible to OCR treatment is. If necessary, then follows a manual feedback. Overall, this requires a lot of human attention and is error-prone. In a subsequent method step 11, a generic OCR, ie no specialized OCR method as proposed according to the invention, is used, which does not use additional information about the text to be captured. This is very compute-intensive and therefore costly. So then in step 12, the validity of the Ausweisda th th.
Ein Video-Stream (oder Kamera-Sucherfenster) wird von einem menschli chen Bediener beobachtet und beurteilt ob darin ein für die Erfassung geeig netes Bild (d. h. mit passender/ m Bildausschnitt, Orientierung, Belichtung, Fokussierung etc.) enthalten ist. Falls das zutrifft, löst der Bediener eine Er fassung des aktuellen Bildes aus. Das erfasste Bild wird z. B. mittels generi schem OCR weiterverarbeitet und anschließend automatisch bzgl. bekannter Nebenbedingungen (z. B. Checksummen, Gültigkeit von Datumsangaben, definierter Struktur des Namensfeldes, etc.) geprüft. Auch andere Verarbei tungsschritte, wie z. B. Überprüfen von optischen Sicherheitsmerkmalen ei nes Ausweisdokuments, sind denkbar. Falls die Prüfung nicht erfolgreich war, muss der Vorgang vom Bediener wiederholt werden. A video stream (or camera viewfinder window) is observed by a human operator and judged whether to include an image suitable for capturing (that is, matching picture, orientation, exposure, focus, etc.). If so, the operator triggers a capture of the current image. The captured image is z. B. further processed by means of generic OCR and then automatically with respect to known constraints (eg., Checksums, validity of dates, defined structure of the name field, etc.) checked. Other processing steps, such. B. Checking optical security features ei Nes identification document, are conceivable. If the test was unsuccessful, the operation must be repeated by the operator.
Fig. 2 zeigt hingegen ein Ablaufdiagramm gemäß der vorgeschlagenen Er findung und sieht in Verfahrensschritt 20 vor, dass eine fortlaufende Erfas sung eines Bildes aus einem Videostream erfolgt. Sodann erfolgt in Verfah rensschritt 21 ein spezialisiertes OCR-Erkennungsverfahren, welches auf der einen Seite zwar schnell ausgeführt werden kann, aber dennoch relativ we nig rechenintensiv ist. Hierbei wird A-priori-Wissen über MRZ-Feld-Inhalte anhand einer Zeichenposition, also einer Zeile bzw. Spalte, verwendet. In einem darauffolgenden Verfahrensschritt 22 erfolgt eine automatisierte Gül- tigkeitsprüfung. Hierbei ist es möglich, nach der Ausführung des Verfah rensschritts 22 wieder in den Verfahrensschritt 20 iterativ überzugehen und einen weiteren Bildrahmen zu analysieren. Analog kann das Verfahren aber auch terminieren und die Gültigkeitsprüfung ist abgeschlossen. Fig. 2, however, shows a flow chart according to the proposed invention and He provides in step 20, that a continuous Erfas solution of an image from a video stream is carried out. Then carried out in procedural step 21, a specialized OCR recognition method, which can be carried out on the one hand, although fast, but still relatively little computing intensive. In this case, a priori knowledge about MRZ field contents is used on the basis of a character position, ie a row or a column. In a subsequent method step 22, an automated gül tigkeitsprüfung. In this case, it is possible, after the execution of the procedural step 22, to move back to the method step 20 iteratively and to analyze another image frame. Analogously, the method can also terminate and the validity check is completed.
Fig. 3 zeigt ebenfalls ein schematisches Ablaufdiagramm eines weiteren As pekts der vorliegenden Erfindung. Insbesondere zeigt Fig. 3 ein Verfahren zum automatischen und entfernten Extrahieren von Ausweisdaten aus einem Ausweisdokument, umfassend ein Bereitstellen 100 eines Bewegtbildes des Ausweisdokuments eines Benutzers, wobei ein Bereitstellen 101 einer Aus wahlspezifikation mitsamt mindestens einer Formatvorgabe des Ausweisdo kuments und ein Erkennen 102 von alpha-numerischen Zeichen des Aus weisdokuments in Abhängigkeit der bereitgestellten Auswahlspezifikation derart erfolgt, dass anhand der Formatvorgabe lediglich diejenigen Bereiche des Ausweisdokuments analysiert werden, welche gemäß der bereitgestell ten Auswahlspezifikation alpha-numerische Zeichen aufweisen. Optional kann eine Gültigkeitsinformation bereitgestellt werden 101A und mittels eines Vergleichens 103 der Gültigkeitsinformation mit den erkannten 102 al pha-numerischen Zeichen eine Gültigkeitsprüfung des Ausweisdokuments erfolgen. Fig. 3 also shows a schematic flow diagram of another aspect of the present invention. In particular, FIG. 3 shows a method for automatically and remotely extracting badge data from an identity document, comprising providing a moving image of a user's badge 100, providing 101 a selection specification including at least one format specification of the badge document, and recognizing 102 numerical characters of the Ausisdi documents in dependence on the provided selection specification such that are based on the format default only those areas of the identification document to be analyzed, which according to the prepared ten selection specification alpha-numeric characters have. Optionally, a validity information can be provided 101A and by means of a comparison 103 of the validity information with the recognized 102 al pha-numeric characters carried out a validity check of the identity document.
Der Fachmann erkennt hierbei, dass die vorgenannten Verfahrensschritte iterativ und/ oder in anderer Reihenfolge ausgeführt werden können. Einem Video-Stream werden fortlaufend Bilder eines optisch lesbaren Daten feldes (z. B, MRZ-Bereich eines Personalausweises oder Reisepasses) ent nommen und mit einem speziellen OCR- Algorithmus verarbeitet. Idealer weise arbeitet der OCR- Algorithmus so schnell, dass viele Erkennungszyklen pro Sekunde erfolgen. Die für die Daten bekannten Nebenbedingungen (z. B. Checksummen, Gültigkeit von Datumsangaben, definierte Struktur des Na mensfeldes, etc.) werden verwendet, um automatisch den fortlaufenden Er kennungsvorgang zu beenden und die mit hoher Wahrscheinlichkeit korrekt erkannten Datenfelder zu übernehmen. Der spezielle OCR- Algorithmus soll zwar sehr schnell arbeiten, darf aber eine relativ niedrige Erkennungsfähigkeit aufweisen, da Fehlversuche mit hoher Wahrscheinlichkeit aufgrund der automatischen Überprüfung der Nebenbedingungen erkannt werden. Der spezielle OCR- Algorithmus verwendet möglichst viel a-priori Wissen über den Inhalt der Datenfelder (z. B. Beschränkungen im Zeichensatz, Gültigkeit von Checksummen, Gültigkeit von Datumsangaben). Wenn die OCR-The person skilled in the art recognizes that the aforementioned method steps can be carried out iteratively and / or in a different order. Images of an optically readable data field (eg, MRZ area of an identity card or passport) are continuously taken from a video stream and processed with a special OCR algorithm. Ideally, the OCR algorithm works so fast that many detection cycles are done per second. The constraints known for the data (eg. Checksums, validity of dates, defined structure of the field of parameters, etc.) are used to automatically terminate the continuous identification process and to take over the data fields that are most likely recognized correctly. Although the special OCR algorithm is supposed to work very fast, it must have a relatively low recognition capability, since false attempts are very likely to be recognized due to the automatic checking of the secondary conditions. The special OCR algorithm uses as much as possible a priori knowledge about the content of the data fields (eg restrictions in the character set, validity of checksums, validity of dates). If the OCR
Erfassung nach Überprüfung der Nebenbedingungen erfolgreich war, kann mit hoher Wahrscheinlichkeit davon ausgegangen werden, dass das gesamte Bild "gut" ist (d. h. es ist ein passender Bildausschnitt, Orientierung, Belichtung, Fokussierung etc. gegeben), so dass davon auszugeben ist, dass es auch für andere Verarbeitungsschritte (z. B. Überprüfung optischer Sicherheits merkmale) geeignet ist. Capture after checking the constraints was successful, it can be assumed with high probability that the entire image is "good" (ie there is a matching image detail, orientation, exposure, focus, etc.), so it is to be stated that it is also suitable for other processing steps (eg checking optical security features).

Claims

P a t e n t a n s p r ü c h e Patent claims
1. Verfahren zum automatischen und entfernten Extrahieren von Aus weisdaten aus einem Ausweisdokument, umfassend: A method for automatically and remotely extracting badge data from an identification document, comprising:
Bereitstellen (100) eines Bewegtbildes des Ausweisdokuments ei nes Benutzers, dadurch gekennzeichnet, dass  Providing (100) a moving image of the identification document of a user, characterized in that
- ein Bereitstellen (101) einer Ausweisspezifikation mitsamt mindestens einer Formatvorgabe des Ausweisdokuments; und  - providing (101) a badge specification including at least one format specification of the badge document; and
ein Erkennen (102) von alpha-numerischen Zeichen des Ausweis dokuments in Abhängigkeit der bereitgestellten Ausweisspezifika tion derart erfolgt, dass anhand der Formatvorgabe lediglich dieje nigen Bereiche des Ausweisdokuments analysiert werden, welche gemäß der bereitgestellten Ausweisspezifikation alpha-numerische Zeichen aufweisen.  a recognition (102) of alpha-numeric characters of the identity document is carried out in such a way that only those areas of the identity document are analyzed on the basis of the format specification, which have alpha-numeric characters in accordance with the provided identification.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine Gül tigkeitsinformation bereitgestellt (101A) wird und mittels eines Ver gleichens (103) der Gültigkeitsinformation mit den erkannten (102) al pha-numerischen Zeichen eine Gültigkeitsprüfung des Ausweisdo kuments erfolgt. 2. The method according to claim 1, characterized in that a Gül activity information provided (101A) and by means of a Ver (103) of the validity information with the recognized (102) al pha-numeric characters a validity check of Ausweisdo document takes place.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass mit- tels eines Vergleichens von abgespeicherten Ausweisspezifikationen mit dem Bewegtbild des Ausweisdokuments automatisiert erkannt wird, welcher Ausweisspezifikation das Ausweisdokument ent spricht. 3. The method according to claim 1 or 2, characterized in that by means of a comparison of stored Ausweispezifikationen with the moving image of the identity document is automatically detected which Ausweispezifikation the identity document ent speaks.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, dass die Ausweisspezifikation einen Hinweis auf einen maschinenlesbarer Bereich bereitstellt. 4. The method according to any one of the preceding claims, characterized in that the ID card specification provides an indication of a machine-readable area.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, dass die Ausweisspezifikation gemäß Dokument 9303 der International Civil Aviation Organization bereitgestellt wird. 5. The method according to any one of the preceding claims, characterized in that the ID card specification according to document 9303 of the International Civil Aviation Organization is provided.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge- kennzeichnet, dass die Ausweisspezifikation einen Hinweis auf einen6. The method according to any one of the preceding claims, character- ized in that the ID card specification an indication of a
Zeichensatz der Ausweisdaten des Ausweisdokuments bereitstellt. Provides a character set of the ID data of the ID document.
7. Verfahren nach einem der Ansprüche 2 bis 6, dadurch gekennzeich net, dass die Gültigkeitsinformation einen Hinweis auf eine gültige Prüfsumme, eine Datumsangabe, einen Zeichensatz, einen Wertebereich, eine Datenstruktur, eine Datencodierung und/ oder ein Gültig keitskriterium des Ausweisdokuments bereitstellt. 7. The method according to any one of claims 2 to 6, characterized in that the validity information provides an indication of a valid checksum, a date, a character set, a range of values, a data structure, a data encoding and / or a validity criterion of the identity document.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, dass das Erkennen (102) von alpha-numerischen Zei- chen unter Verwendung eines OCR-Algorithmus erfolgt. 8. The method according to any one of the preceding claims, characterized in that the recognition (102) of alpha-numeric characters Chen using an OCR algorithm.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, dass die Ausweisdaten anhand der Ausweisspezifikati on interpretiert werden. 9. The method according to any one of the preceding claims, characterized in that the badge data are interpreted on the basis Ausweispezifikati on.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, dass das Bewegtbild mehrere Bildrahmen aufweist und das Erkennen (102) von alpha-numerischen Zeichen für mehrere Bild rahmen erfolgt. 10. The method according to any one of the preceding claims, characterized in that the moving image has a plurality of image frames and recognizing (102) alpha-numeric characters for multiple picture frames.
11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass die An zahl der zu analysierenden Bildrahmen in Abhängigkeit einer Bildrate des Bewegtbildes gewählt wird. 11. Method according to claim 10, characterized in that the number of image frames to be analyzed is selected as a function of a frame rate of the moving image.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, dass das Bewegtbild mehrere Bildrahmen aufweist und mit Bezug auf einen Bildausschnitt des Ausweisdokuments, eine Ori entierung, eine Belichtung, eine Fokussierung und/ oder weitere Bild parameter ein geeigneter Bildrahmen zum Erkennen (102) der alpha numerischen Zeichen verwendet wird. 12. The method according to any one of the preceding claims, characterized in that the moving image has a plurality of image frames and with respect to an image section of the identity document, a Ori entierung, an exposure, a focusing and / or further image parameters a suitable image frame for detecting (102 ) of the alpha numeric characters.
13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, dass zusätzlich zu alpha-numerischen Zeichen weitere optische Sicherheitsmerkmale erkannt werden. 13. The method according to any one of the preceding claims, characterized in that in addition to alpha-numeric characters further optical security features are detected.
14. Systemanordnung zum automatischen und entfernten Extrahieren von Ausweisdaten aus einem Ausweisdokument, umfassend: 14. A system arrangement for automatically and remotely extracting badge data from a badge document, comprising:
eine Telekommunikationsschnittstelle eingerichtet zum Bereitstel len (100) eines Bewegtbildes des Ausweisdokuments eines Benut zers, dadurch gekennzeichnet, dass  a telecommunication interface configured to provide (100) a moving image of the identification document of a user, characterized in that
eine Speichereinheit eingerichtet zum Bereitstellen (101) einer Ausweisspezifikation mitsamt mindestens einer Formatvorgabe des Ausweisdokuments; und  a storage unit configured to provide (101) a passport specification including at least one format specification of the passport document; and
eine Erkennungseinheit eingerichtet zum Erkennen (102) von al pha-numerischen Zeichen des Ausweisdokuments in Abhängigkeit der bereitgestellten Ausweisspezifikation derart vorgesehen ist, dass anhand der Formatvorgabe lediglich diejenigen Bereiche des Ausweisdokuments analysiert werden, welche gemäß der bereit gestellten Ausweisspezifikation alpha-numerische Zeichen aufweisen. a recognition unit is provided for recognizing (102) al pha-numeric characters of the identity document in dependence on the provided identification specification such that on the basis of the format specification, only those areas of the identity document are analyzed which have alpha-numeric characters in accordance with the provided identification of the identification.
15. Computerprogrammprodukt mit Steuerbefehlen, welche das Verfah ren gemäß einem der Ansprüche 1 bis 13 ausführen, wenn sie auf ei nem Computer zur Ausführung gebracht werden. 15. A computer program product having control instructions that perform the method according to any one of claims 1 to 13 when executed on a computer.
PCT/EP2018/000528 2017-11-24 2018-11-22 Extraction of identification data WO2019101358A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP18812056.2A EP3714379A1 (en) 2017-11-24 2018-11-22 Extraction of identification data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017010920.6 2017-11-24
DE102017010920.6A DE102017010920A1 (en) 2017-11-24 2017-11-24 Extract badge data

Publications (1)

Publication Number Publication Date
WO2019101358A1 true WO2019101358A1 (en) 2019-05-31

Family

ID=64572283

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/000528 WO2019101358A1 (en) 2017-11-24 2018-11-22 Extraction of identification data

Country Status (3)

Country Link
EP (1) EP3714379A1 (en)
DE (1) DE102017010920A1 (en)
WO (1) WO2019101358A1 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080091713A1 (en) 2006-10-16 2008-04-17 Candelore Brant L Capture of television metadata via OCR
DE102007007990A1 (en) * 2007-02-17 2008-09-04 Eurodelta Gmbh Administration terminal for reading, processing or testing of identification documents, has write or read unit, which is brought in access position relative to identification document
US7639387B2 (en) 2005-08-23 2009-12-29 Ricoh Co., Ltd. Authoring tools using a mixed media environment
US7689613B2 (en) 2006-10-23 2010-03-30 Sony Corporation OCR input to search engine
US20110075939A1 (en) * 2009-09-25 2011-03-31 Getac Technology Corporation Data processing device using image as data source and data imput method through capturing image
US20130236111A1 (en) * 2012-03-09 2013-09-12 Ancora Software, Inc. Method and System for Commercial Document Image Classification
US9043355B1 (en) * 2009-10-16 2015-05-26 Iqor U.S. Inc. Apparatuses, methods and systems for a journal entry automator
US20170116494A1 (en) * 2015-10-22 2017-04-27 Abbyy Development Llc Video capture in data capture scenario

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5963966A (en) * 1995-11-08 1999-10-05 Cybernet Systems Corporation Automated capture of technical documents for electronic review and distribution
US6400845B1 (en) * 1999-04-23 2002-06-04 Computer Services, Inc. System and method for data extraction from digital images
US7142713B1 (en) * 2002-10-24 2006-11-28 Foundationip, Llc Automated docketing system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7639387B2 (en) 2005-08-23 2009-12-29 Ricoh Co., Ltd. Authoring tools using a mixed media environment
US20080091713A1 (en) 2006-10-16 2008-04-17 Candelore Brant L Capture of television metadata via OCR
US7689613B2 (en) 2006-10-23 2010-03-30 Sony Corporation OCR input to search engine
DE102007007990A1 (en) * 2007-02-17 2008-09-04 Eurodelta Gmbh Administration terminal for reading, processing or testing of identification documents, has write or read unit, which is brought in access position relative to identification document
US20110075939A1 (en) * 2009-09-25 2011-03-31 Getac Technology Corporation Data processing device using image as data source and data imput method through capturing image
US9043355B1 (en) * 2009-10-16 2015-05-26 Iqor U.S. Inc. Apparatuses, methods and systems for a journal entry automator
US20130236111A1 (en) * 2012-03-09 2013-09-12 Ancora Software, Inc. Method and System for Commercial Document Image Classification
US20170116494A1 (en) * 2015-10-22 2017-04-27 Abbyy Development Llc Video capture in data capture scenario

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"International Civil Aviation Organization ICAO"

Also Published As

Publication number Publication date
EP3714379A1 (en) 2020-09-30
DE102017010920A1 (en) 2019-05-29

Similar Documents

Publication Publication Date Title
DE10342594B4 (en) Method and system for collecting data from a plurality of machine readable documents
EP3428834B1 (en) Optoelectronic code reader and method for reading optical codes
DE102017220896A1 (en) Method and device for security control
DE102018119682A1 (en) Image processing device, image processing method and non-temporary computer readable memory
EP2203900A1 (en) System for screening people and method for carrying out a screening process
CN110178139A (en) Use the system and method for the character recognition of the full convolutional neural networks with attention mechanism
EP2208170A1 (en) Method for image analysis, especially for mobile stations
DE19511470C1 (en) Reference character evaluation on basis of identical patterns
DE102008041944A1 (en) Data processing method for generation of data file and for testing authenticity of e.g. passport, involves inputting value set and associated information to learning module, and outputting classifier by learning module
DE102014113817A1 (en) Device and method for recognizing an object in an image
EP3123393B1 (en) Method for the optical detection of symbols
CH717006B1 (en) Procedure for user identification.
WO2019101358A1 (en) Extraction of identification data
BE1029610B1 (en) Systems and methods for improving the performance of a trainable optical character recognition (OCR)
DE102009031872A1 (en) Method and device for automatically searching for documents in a data memory
WO2021148392A1 (en) Method and device for object identification on the basis of sensor data
DE69928320T2 (en) Method and device for recognizing a pattern on a presented object
EP2315159A2 (en) Method and device for recognising and classifying sections of a document which can be accessed on a computer by means of step-by-step learning during training sessions
EP0618544B1 (en) Method and apparatus for automatically acquiring and recognizing writings
EP2338130B1 (en) Method for automatic optical character recognition, computer program product, data processing system, and scanner
WO2017194474A1 (en) Device and method for validating an identification document
WO2022167345A1 (en) Ascertaining an evaluation of a data set
DE202022105143U1 (en) An attendance control system with multiple authentication levels
DE102022203067A1 (en) Method for recognizing objects in image data
DE202023105423U1 (en) System for processing handwritten mathematical expressions from video feeds

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18812056

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018812056

Country of ref document: EP

Effective date: 20200624