JP6755926B2 - Form information recognition device and form information recognition method - Google Patents
Form information recognition device and form information recognition method Download PDFInfo
- Publication number
- JP6755926B2 JP6755926B2 JP2018222605A JP2018222605A JP6755926B2 JP 6755926 B2 JP6755926 B2 JP 6755926B2 JP 2018222605 A JP2018222605 A JP 2018222605A JP 2018222605 A JP2018222605 A JP 2018222605A JP 6755926 B2 JP6755926 B2 JP 6755926B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- character recognition
- form image
- model
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Character Input (AREA)
- Character Discrimination (AREA)
Description
本発明の実施形態は、帳票に記載された情報のうち、必要な情報を文字認識する帳票情報認識装置および帳票情報認識方法に関する。 An embodiment of the present invention relates to a form information recognition device and a form information recognition method for character-recognizing necessary information among the information described in a form.
従来、帳票に記載されている文字や数字を文字認識する帳票情報認識装置および帳票情報認識方法が知られている。 Conventionally, a form information recognition device and a form information recognition method for recognizing characters and numbers written on a form have been known.
この種の帳票情報認識装置および帳票情報認識方法によって、帳票に記載されている文字や数字のうち、その後のデータエントリ処理のために必要な文字や数字が文字認識され、例えばテキストデータのような電子データへ変換されている。 With this type of form information recognition device and form information recognition method, among the characters and numbers described in the form, the characters and numbers necessary for the subsequent data entry processing are recognized, for example, text data. It has been converted to electronic data.
例えば帳票が振込用紙である場合、振込用紙に記載されている文字や数字のうち、日付（数字）、振込人の名称（文字）、振込金額（数字）が文字認識され、テキストデータへ変換されるものの、項目や、注意書きといった定型的な文字やそれに含まれる数字は、その後のデータエントリ処理のために使用されないので、文字認識されないという具合である。 For example, when the form is a transfer form, the date (number), the name of the transferor (character), and the transfer amount (number) are recognized and converted into text data among the characters and numbers written on the transfer form. However, standard characters such as items and notes and numbers contained in them are not used for subsequent data entry processing, so the characters are not recognized.
このように、帳票情報認識装置および帳票情報認識方法では、必要な情報が選択的に文字認識されている。これを実現するため、文字認識すべき情報が帳票におけるどの位置に記載されているのかが、帳票種類毎に定義されたモデル情報が予め定義され、保存されている。 As described above, in the form information recognition device and the form information recognition method, necessary information is selectively recognized as characters. In order to realize this, the model information defined for each form type is defined and stored in advance as to where the information to be recognized as characters is described in the form.
そして、帳票に記載された文字や数字の文字認識処理を行う場合には、先ず、当該帳票の帳票種類が把握され、次に、把握された帳票種類のために定義されたモデル情報が参照されることによって、どの位置の情報を文字認識すべきであるかが把握され、把握された位置に記載されている情報が文字認識される。これによって、その後のデータエントリ処理のために必要な文字や数字のみが文字認識され、テキストデータのような電子データへ変換されている。 Then, when performing character recognition processing of the characters and numbers described in the form, first, the form type of the form is grasped, and then the model information defined for the grasped form type is referred to. By doing so, it is possible to grasp which position information should be recognized as characters, and the information described in the grasped position is recognized as characters. As a result, only the characters and numbers necessary for the subsequent data entry processing are recognized and converted into electronic data such as text data.
このように帳票種類毎に定義されたモデル情報を使用することによって、帳票内において文字認識すべき位置を決定するためには、先ず、帳票種類毎のモデル情報を事前に準備しておく必要がある。次に、当該帳票が、どのモデル情報に対応するのかを決定するために、文字認識処理を行う前に帳票種類を把握する必要がある。 In order to determine the position where characters should be recognized in the form by using the model information defined for each form type in this way, it is first necessary to prepare the model information for each form type in advance. is there. Next, in order to determine which model information the form corresponds to, it is necessary to grasp the form type before performing the character recognition process.
帳票種類を把握するための一例では、帳票内に印字された帳票固有の文字列が、帳票種類を識別するための識別キーとして使用されている。このためには、帳票用紙において、識別キーが記載されている位置が、モデル情報に定義されている必要がある。 In an example for grasping the form type, the form-specific character string printed in the form is used as an identification key for identifying the form type. For this purpose, the position where the identification key is described on the form must be defined in the model information.
そして、帳票に対する文字認識処理を行う場合には、当該帳票の識別キーが認識され、次に、識別キーの位置に基づいて、対応するモデル情報が把握され、このモデル情報が参照されることによって、当該帳票におけるどの位置の情報を、文字認識すべきであるかが決定される。 Then, when character recognition processing is performed on the form, the identification key of the form is recognized, then the corresponding model information is grasped based on the position of the identification key, and this model information is referred to. , Which position information in the form should be recognized as characters is determined.
なお、識別キーとなり得る文字列は、帳票内の一般的な文字認識対象（たとえば、帳票が請求書である場合、請求先、日付、金額等）と一致するとは必ずしも限らない。 The character string that can be the identification key does not always match the general character recognition target in the form (for example, when the form is an invoice, the billing address, date, amount, etc.).
しかしながら、上述したような従来の技術では、モデル情報を帳票種類毎に事前に準備しておく必要があるため、対象とする帳票が少量多種の場合や、頻繁にフォーマットが変更され得る帳票については、モデルの作成や変更に要するコストが大きい。 However, in the conventional technology as described above, since it is necessary to prepare model information in advance for each form type, it is necessary to prepare a small amount of various forms or a form whose format can be changed frequently. , The cost of creating and modifying the model is high.
これに対処すべく、特許文献１には、画像処理技術によって、帳票内から識別キーとなり得る箇所が部分画像として自動的に抽出され、更に、抽出された部分画像の一覧から、識別キーとして適切な箇所が、ユーザによって選択されることによって、帳票種類が識別される技術が開示されている。 In order to deal with this, in Patent Document 1, a portion that can be an identification key is automatically extracted as a partial image from the form by the image processing technology, and further, it is appropriate as an identification key from the list of the extracted partial images. A technique for identifying a form type by selecting a suitable part by a user is disclosed.
この技術によれば、識別キーが無く、モデル情報の定義が困難な帳票であっても、必要な情報の識別を可能にし、またモデル情報の定義に要するコストを削減することも可能となる。 According to this technique, it is possible to identify necessary information even for a form in which it is difficult to define model information without an identification key, and it is also possible to reduce the cost required for defining model information.
しかしながら、ユーザが識別キーとする箇所を選択する必要があるために、ユーザは、ある程度の専門知識を要求される。また、モデル情報の定義に要するコストが削減されるとはいえ、その代わりに、ユーザが帳票毎にモデル情報を定義することが必要となり、ユーザの負担が増加してしまう。 However, the user is required to have some expertise because it is necessary for the user to select a part to be used as an identification key. Further, although the cost required for defining the model information is reduced, instead, the user needs to define the model information for each form, which increases the burden on the user.
本発明が解決しようとする課題は、帳票において文字認識されるべき情報の位置を定義したモデル情報を、ユーザの負担を増やすことなく作成し、作成したモデル情報に基づいて、必要な情報を文字認識することを繰り返すことによって、自動文字認識効率を高めるように自己学習する帳票情報認識装置および帳票情報認識方法を提供することである。 The problem to be solved by the present invention is to create model information that defines the position of information to be recognized as characters in a form without increasing the burden on the user, and to characterize necessary information based on the created model information. It is an object of the present invention to provide a form information recognition device and a form information recognition method for self-learning so as to improve automatic character recognition efficiency by repeating recognition.
実施形態の帳票情報認識装置によれば、帳票に記載された情報を文字認識するための帳票情報認識装置は、取得部、抽出部、保存部、認識部、およびモデル作成部を備える。取得部は、帳票から帳票イメージを取得する。抽出部は、帳票イメージにおいて文字認識対象部分の位置情報を抽出する。保存部は、位置情報を帳票種類毎に定義したモデル情報を保存する。認識部は、抽出部によって抽出された位置情報に一致する位置情報が定義されたモデル情報が保存部に保存されている場合、このモデル情報に定義されている位置情報に対応する文字認識対象部分の文字認識処理を行い、保存されていない場合、帳票イメージにおいて、操作入力によって指定された文字認識対象部分の文字認識処理を行う。モデル作成部は、指定された文字認識対象部分の文字認識処理がなされた場合、指定された文字認識対象部分の帳票イメージにおける位置情報を用いて、帳票イメージに対応する帳票のためのモデル情報を作成し、このモデル情報を、保存部に保存させる。 According to the form information recognition device of the embodiment, the form information recognition device for recognizing characters of the information described in the form includes an acquisition unit, an extraction unit, a storage unit, a recognition unit, and a model creation unit. The acquisition unit acquires the form image from the form. The extraction unit extracts the position information of the character recognition target portion in the form image. The storage unit stores model information in which location information is defined for each form type. When the model information in which the position information matching the position information extracted by the extraction unit is defined is saved in the storage unit, the recognition unit is the character recognition target part corresponding to the position information defined in this model information. If the character recognition process is performed and the form image is not saved, the character recognition process of the character recognition target part specified by the operation input is performed in the form image. When the character recognition process of the specified character recognition target part is performed, the model creation unit uses the position information in the form image of the specified character recognition target part to obtain the model information for the form corresponding to the form image. Create and save this model information in the storage unit.
以下に、本発明の実施形態を、図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図１は、本発明の実施形態の帳票情報認識方法が適用された帳票情報認識装置１０の構成例を示すブロック図である。 FIG. 1 is a block diagram showing a configuration example of a form information recognition device 10 to which the form information recognition method of the embodiment of the present invention is applied.
帳票情報認識装置１０は、帳票イメージ取得部１１、ユーザ入力受付部１２、対象抽出部１４、帳票イメージ表示部１６、文字認識結果表示部１８、文字認識結果出力部２０、モデル保存部２２、文字認識部２４、およびモデル作成部２６を備え、図２Ａおよび図２Ｂのフローチャートに示すように動作する。 The form information recognition device 10 includes a form image acquisition unit 11, a user input reception unit 12, a target extraction unit 14, a form image display unit 16, a character recognition result display unit 18, a character recognition result output unit 20, a model storage unit 22, and characters. It includes a recognition unit 24 and a model creation unit 26, and operates as shown in the flowcharts of FIGS. 2A and 2B.
帳票イメージ取得部１１は、例えばＯＣＲスキャナや、複合機を用いることができ、帳票Ａを読み込んで帳票イメージａを生成する。 The form image acquisition unit 11 can use, for example, an OCR scanner or a multifunction device to read the form A and generate the form image a.
ユーザ入力受付部１２、対象抽出部１４、帳票イメージ表示部１６、文字認識結果表示部１８、文字認識結果出力部２０、文字認識部２４、およびモデル作成部２６は、例えばＦＰＧＡ（field-programmable gate array）もしくはＣＰＵ（Central Processing Unit）もしくはこれらの組合せおよびプログラムメモリ（例えばＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）等の随時書き込みおよび読み出しが可能な不揮発性メモリ）を有するコンピュータによって実現され、本実施形態を実施するために必要な制御機能を実現する。これら制御機能はいずれも上記プログラムメモリに格納されたプログラムを上記ＦＰＧＡやＣＰＵに実行させることにより実現される。モデル保存部２２は、プログラムメモリ（例えばＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）等の随時書き込みおよび読み出しが可能な不揮発性メモリ）により実現される。 The user input reception unit 12, the target extraction unit 14, the form image display unit 16, the character recognition result display unit 18, the character recognition result output unit 20, the character recognition unit 24, and the model creation unit 26 are, for example, FPGA (field-programmable gate). It is realized by a computer having array) or CPU (Central Processing Unit) or a combination thereof and program memory (for example, non-volatile memory such as SSD (Solid State Drive) and HDD (Hard Disk Drive) that can be written and read at any time). , Realize the control function required to implement this embodiment. All of these control functions are realized by causing the FPGA or CPU to execute the program stored in the program memory. The model storage unit 22 is realized by a program memory (for example, a non-volatile memory such as an SSD (Solid State Drive) or an HDD (Hard Disk Drive) that can be written and read at any time).
以下、帳票情報認識装置１０の各部の構成を、図２Ａおよび図２Ｂにおけるステップ番号に従って説明する。 Hereinafter, the configuration of each part of the form information recognition device 10 will be described according to the step numbers in FIGS. 2A and 2B.
前述したように、帳票イメージ取得部１１は、帳票Ａを読み込んで帳票イメージａを生成する（Ｓ１）。 As described above, the form image acquisition unit 11 reads the form A and generates the form image a (S1).
対象抽出部１４は、帳票イメージ取得部１１から帳票イメージａを受け取り、帳票イメージａから、文字認識対象部分を抽出する。文字認識対象部分とは、例えば、日付や金額等の文字認識対象文字列ｃである。文字認識対象文字列ｃは、帳票イメージａの全面にＯＣＲ処理が実施されることによって、事前定義されたフォーマットで文字列が並んでいる箇所の位置情報（Ｘ、Ｙ座標値）ｄとともに抽出される（Ｓ２）。 The target extraction unit 14 receives the form image a from the form image acquisition unit 11, and extracts the character recognition target portion from the form image a. The character recognition target portion is, for example, a character recognition target character string c such as a date or an amount. The character recognition target character string c is extracted together with the position information (X, Y coordinate values) d of the places where the character strings are lined up in a predefined format by performing OCR processing on the entire surface of the form image a. (S2).
対象抽出部１４はさらに、モデル保存部２２からモデル情報Ｂを取得する（Ｓ３）。 The target extraction unit 14 further acquires model information B from the model storage unit 22 (S3).
図３は、モデル情報Ｂの一例を示すデータ構造図である。モデル情報Ｂは、文字認識対象文字列Ｃの項目名（氏名、住所、生年月日、金額）と、その位置情報（Ｘ、Ｙ座標値）Ｄとを含む。 FIG. 3 is a data structure diagram showing an example of model information B. The model information B includes an item name (name, address, date of birth, amount of money) of the character recognition target character string C and its position information (X, Y coordinate values) D.
モデル保存部２２は、このようなモデル情報Ｂを、帳票Ａの種類毎に予め保存している。また、後述するように、新たな種類の帳票Ａが帳票情報認識装置１０によって処理される毎に、新たな種類の帳票Ａに対応する新たなモデル情報Ｂが生成されると、新たなモデル情報Ｂが、モデル作成部２６から出力されて来る。このようにしてモデル保存部２２には、帳票Ａの種類毎に、モデル情報Ｂを蓄積して行く。 The model storage unit 22 stores such model information B in advance for each type of form A. Further, as will be described later, each time a new type of form A is processed by the form information recognition device 10, when new model information B corresponding to the new type of form A is generated, new model information is generated. B is output from the model creation unit 26. In this way, the model information B is accumulated in the model storage unit 22 for each type of the form A.
図４は、帳票イメージａにおける文字認識対象文字列ｃおよびその位置情報ｄと、モデル情報Ｂにおける文字認識対象文字列Ｃおよびその位置情報Ｄとの対応関係を示す図である。 FIG. 4 is a diagram showing a correspondence relationship between the character recognition target character string c and its position information d in the form image a and the character recognition target character string C and its position information D in the model information B.
対象抽出部１４は、図４に示すように、ステップＳ２で抽出された位置情報ｄと、モデル情報Ｂに定義された文字認識対象文字列Ｃの位置情報Ｄとを照合する。対象抽出部１４は、この照合処理を、モデル保存部２２に保存されたすべてのモデル情報Ｂを対象に実行する（Ｓ３）。 As shown in FIG. 4, the target extraction unit 14 collates the position information d extracted in step S2 with the position information D of the character recognition target character string C defined in the model information B. The target extraction unit 14 executes this collation process for all the model information B stored in the model storage unit 22 (S3).
対象抽出部１４は、ステップＳ３の位置情報ｄと位置情報Ｄとの照合処理の結果、帳票イメージａに対応するモデル情報Ｂが、モデル保存部２２に保存されているか否かを判定する（Ｓ４）。 The target extraction unit 14 determines whether or not the model information B corresponding to the form image a is stored in the model storage unit 22 as a result of the collation process between the position information d and the position information D in step S3 (S4). ).
判定の結果、保存されていない場合、すなわち、位置情報ｄに一致する位置情報Ｄを有するモデル情報Ｂがモデル保存部２２に保存されていない（存在しない）場合には、後述するステップＳ５に進む。一方、位置情報ｄに一致する位置情報Ｄを有するモデル情報Ｂが保存されている（存在する）場合には、後述するステップＳ７に進む。 As a result of the determination, if it is not saved, that is, if the model information B having the position information D that matches the position information d is not saved (does not exist) in the model storage unit 22, the process proceeds to step S5 described later. .. On the other hand, when the model information B having the position information D matching the position information d is stored (exists), the process proceeds to step S7 described later.
ステップＳ５では、帳票イメージ表示部１６が、帳票イメージ取得部１１から帳票イメージａを受け取り、ユーザが確認できるように、図５に示すように、帳票イメージａを、ブランクの文字認識処理用テーブルＥとともに表示する（Ｓ５）。この表示を参照しながら、ユーザは、ユーザ入力受付部１２を操作することによって、帳票イメージａにおける各文字認識対象文字列ｃを文字認識処理するために、文字認識処理用テーブルＥにおける対応する欄を指定する。例えば、図５に示す帳票イメージａの部分拡大図である図６に示すように、帳票イメージａ内の「山田太郎」という文字認識対象文字列ｃは、「氏名」に該当するので、ユーザは、ユーザ入力受付部１２のマウス等を操作することによって、「山田太郎」と記載されている文字認識対象文字列ｃを、ドラッグ等によって文字認識処理用テーブルＥの「氏名」欄に指定する。 In step S5, as shown in FIG. 5, the form image display unit 16 receives the form image a from the form image acquisition unit 11 and allows the user to confirm the form image a in the blank character recognition processing table E. Is displayed together with (S5). While referring to this display, the user operates the user input reception unit 12 to perform character recognition processing on each character recognition target character string c in the form image a, so that the user can perform character recognition processing on the corresponding column in the character recognition processing table E. To specify. For example, as shown in FIG. 6, which is a partially enlarged view of the form image a shown in FIG. 5, the character recognition target character string c “Taro Yamada” in the form image a corresponds to the “name”, so that the user can use it. By operating the mouse or the like of the user input reception unit 12, the character recognition target character string c described as "Taro Yamada" is designated in the "name" field of the character recognition processing table E by dragging or the like.
このようにステップＳ５のようなユーザ操作による文字認識対象文字列ｃの指定は、どのようなフォーマットの帳票に対しても対応可能であるので、高い柔軟性を備えている。 As described above, the designation of the character recognition target character string c by the user operation as in step S5 is highly flexible because it can correspond to the form of any format.
次に、文字認識部２４は、図５に示す文字認識処理用テーブルＥの部分拡大図である図７に示すように、文字認識処理用テーブルＥの各欄にドラッグされた文字認識対象文字列ｃに対する文字認識を行い、例えばテキストデータである文字認識結果ｆ（例えば、「山田太郎」）を、文字認識処理用テーブルＥの所定の欄に書き込む（Ｓ６）。 Next, the character recognition unit 24 is a character recognition target character string dragged into each column of the character recognition processing table E as shown in FIG. 7, which is a partially enlarged view of the character recognition processing table E shown in FIG. Character recognition is performed for c, and for example, the character recognition result f (for example, "Taro Yamada"), which is text data, is written in a predetermined column of the character recognition processing table E (S6).
ユーザはさらに、ユーザ入力受付部１２のマウス等を操作することによって、図６に示すように、「東京都〜」と記載されている文字認識対象文字列ｃをドラッグ等によって文字認識処理用テーブルＥの「住所」欄に指定し、「昭和５６年１月１２日」と記載されている文字認識対象文字列ｃをドラッグ等によって文字認識処理用テーブルＥの「生年月日」欄に指定し、「３００，０００」と記載されている文字認識対象文字列ｃをドラッグ等によって文字認識処理用テーブルＥの「金額」欄に指定する。これによって、文字認識部２４は、これら文字認識対象文字列ｃに対する文字認識を行う。 Further, by operating the mouse or the like of the user input reception unit 12, the user further drags the character recognition target character string c described as “Tokyo” or the like as shown in FIG. 6, and the character recognition processing table. Specify in the "Address" field of E, and specify the character recognition target character string c described as "January 12, 1981" in the "Date of birth" field of the character recognition processing table E by dragging or the like. , The character recognition target character string c described as "300,000" is designated in the "amount" column of the character recognition processing table E by dragging or the like. As a result, the character recognition unit 24 performs character recognition for these character recognition target character strings c.
同様に、ユーザはさらに、次のレコード（図５に示す例では「田中花子」）についても、ユーザ入力受付部１２のマウス等を操作することによって、文字認識対象文字列ｃをドラッグ等によって文字認識処理用テーブルＥの所定の欄に指定し、これに応じて、文字認識部２４は、文字認識対象文字列ｃに対する文字認識を行う。 Similarly, for the next record (“Hanako Tanaka” in the example shown in FIG. 5), the user further operates the mouse or the like of the user input reception unit 12 to drag the character recognition target character string c to a character. It is specified in a predetermined column of the recognition processing table E, and the character recognition unit 24 performs character recognition for the character recognition target character string c accordingly.
このような処理によって、文字認識部２４は、ユーザによって指定された文字認識対象文字列ｃに対する文字認識を行うとともに、対応する帳票Ａの帳票イメージａにおける文字認識対象文字列ｃの項目名（例えば、氏名、住所、生年月日、金額）と、各項目に対応する、帳票Ａの帳票イメージａ内における位置情報（Ｘ、Ｙ座標値）ｄを把握する。 By such processing, the character recognition unit 24 recognizes the character recognition target character string c specified by the user, and at the same time, the item name of the character recognition target character string c in the form image a of the corresponding form A (for example, , Name, address, date of birth, amount of money) and position information (X, Y coordinate values) d in the form image a of form A corresponding to each item.
なお、図５の示すような文字認識処理用テーブルＥのフォーマットは一例であって、他のフォーマットであっても良く、モデル保存部２２に、代表的ないくつかのフォーマットの文字認識処理用テーブルＥを予め保存しておき、それらの中から適切な文字認識処理用テーブルＥをユーザが選択できるように、帳票イメージ表示部１６が表示するようにしても良い。一般に、データエントリ処理で使用されるデータの項目は類似している場合が多いので、仮に多くの帳票が存在していたとしても、文字認識処理用テーブルＥのフォーマットは、何種類かのパターンに集約される。 The format of the character recognition processing table E as shown in FIG. 5 is an example and may be another format, and the model storage unit 22 has a character recognition processing table of some typical formats. E may be saved in advance, and the form image display unit 16 may display the table E for character recognition processing so that the user can select an appropriate table E from them. In general, the data items used in the data entry processing are often similar, so even if there are many forms, the format of the character recognition processing table E can be in several patterns. To be aggregated.
また、文字認識処理用テーブルＥは、文字認識対象文字列Ｃの項目毎に属性を定義していても良い。たとえば、「氏名」や「住所」の属性は文字であり、「生年月日」や「金額」の属性は数字であると定義していても良い。 Further, in the character recognition processing table E, attributes may be defined for each item of the character recognition target character string C. For example, it may be defined that the attributes of "name" and "address" are characters, and the attributes of "date of birth" and "amount" are numbers.
ステップＳ７では、文字認識部２４が、モデル情報Ｂにおいて定義されたすべての位置情報Ｄに一致する位置情報ｄにおける文字認識対象文字列ｃに対して、文字認識処理を実行し、文字認識結果ｆを、文字認識結果表示部１８へ出力する（Ｓ７）。 In step S7, the character recognition unit 24 executes character recognition processing on the character recognition target character string c in the position information d that matches all the position information D defined in the model information B, and the character recognition result f. Is output to the character recognition result display unit 18 (S7).
ステップＳ６およびステップＳ７の後、文字認識結果表示部１８は、文字認識結果ｆが書き込まれた文字認識処理用テーブルＥを表示する（Ｓ８）。 After step S6 and step S7, the character recognition result display unit 18 displays the character recognition processing table E in which the character recognition result f is written (S8).
これによって、ユーザは、文字認識結果ｆを確認できるようになる。そして、ユーザは、文字認識結果ｆに誤りがあることを発見すると、ユーザ入力受付部１２の例えばキーボードから修正情報ｇを入力することによって、文字認識結果ｆの誤りを修正する（Ｓ９）。 As a result, the user can confirm the character recognition result f. Then, when the user discovers that the character recognition result f has an error, the user corrects the error in the character recognition result f by inputting the correction information g from, for example, the keyboard of the user input receiving unit 12 (S9).
図８は、このような修正処理の一例を示す図であり、帳票イメージａに「田中花子」と記載されているものの、文字認識部２４によって、「田中花了」と誤認識された文字認識結果ｆの例を示している。このような場合、ユーザは、ユーザ入力受付部１２のキーボードから修正情報ｇを入力することによって、「田中花了」の「了」を「子」に修正する。 FIG. 8 is a diagram showing an example of such correction processing, and although "Hanako Tanaka" is described in the form image a, character recognition erroneously recognized as "Hanako Tanaka" by the character recognition unit 24. An example of the result f is shown. In such a case, the user corrects the "end" of "Tanaka Hanari" to a "child" by inputting the correction information g from the keyboard of the user input reception unit 12.
あるいは、文字認識結果表示部１８は、文字認識対象文字列Ｃの項目毎に定義されている属性と一致していない文字認識結果ｆがある場合、その文字認識結果ｆを強調表示しても良い。例えば、「氏名」の属性が文字として定義されているにも関わらず、「氏名」欄において変換された文字認識結果ｆがすべて数字であったり、「金額」の属性が数字として定義されているにも関わらず、「金額」欄において変換された文字認識結果ｆに文字が含まれているように、定義されている属性と一致していない文字認識結果ｆについては、強調表示する。これによって、ユーザが、文字認識結果ｆの誤りを容易に発見できるようにしている。 Alternatively, the character recognition result display unit 18 may highlight the character recognition result f when there is a character recognition result f that does not match the attributes defined for each item of the character recognition target character string C. .. For example, even though the attribute of "name" is defined as a character, the character recognition result f converted in the "name" field is all numbers, or the attribute of "amount" is defined as a number. Nevertheless, as the converted character recognition result f in the "amount" column contains characters, the character recognition result f that does not match the defined attribute is highlighted. This makes it possible for the user to easily find an error in the character recognition result f.
ユーザは、必要な修正を行い、すべての文字認識結果ｆが正しく表示されたことを確認すると、ユーザ入力受付部１２から修正終了指示ｈを入力する。ユーザ入力受付部１２は、修正終了指示ｈを、文字認識結果表示部１８へ出力する。これによって、文字認識結果ｆが確定され、文字認識結果表示部１８は、確定済文字認識結果Ｆを生成し、文字認識結果出力部２０へ出力する（Ｓ１０）。 When the user makes necessary corrections and confirms that all the character recognition results f are correctly displayed, the user inputs the correction end instruction h from the user input reception unit 12. The user input reception unit 12 outputs the correction end instruction h to the character recognition result display unit 18. As a result, the character recognition result f is determined, and the character recognition result display unit 18 generates the confirmed character recognition result F and outputs it to the character recognition result output unit 20 (S10).
ステップＳ１０の後の処理は、ステップＳ４の処理結果に応じて、ステップＳ１１またはステップＳ１２に進む。 The processing after step S10 proceeds to step S11 or step S12 depending on the processing result of step S4.
すなわち、ステップＳ４において、位置情報ｄに一致する位置情報Ｄを有するモデル情報Ｂがモデル保存部２２に保存されていない（存在しない）場合には、後述するステップＳ１１へ進み、その後、ステップＳ１２へ進む。一方、ステップＳ４において、位置情報ｄに一致する位置情報Ｄを有するモデル情報Ｂがモデル保存部２２に保存されている（存在する）場合には、ステップＳ１２へ進む。 That is, in step S4, if the model information B having the position information D matching the position information d is not stored (does not exist) in the model storage unit 22, the process proceeds to step S11 described later, and then to step S12. move on. On the other hand, in step S4, if the model information B having the position information D matching the position information d is stored (exists) in the model storage unit 22, the process proceeds to step S12.
ステップＳ１１では、文字認識結果出力部２０が、確定済文字認識結果Ｆが属する文字認識対象文字列ｃの項目名（例えば、氏名、住所、生年月日、金額）を、帳票Ａの帳票イメージａ内における位置情報（Ｘ、Ｙ座標値）ｄとともにモデル作成部２６へ出力する。モデル作成部２６は、文字認識結果出力部２０から出力された文字認識対象文字列ｃの項目名（例えば、氏名、住所、生年月日、金額）および位置情報（Ｘ、Ｙ座標値）ｄに基づいて、新たなモデル情報Ｂを作成し、モデル保存部２２に保存する（Ｓ１１）。このようにして、モデル作成部２６は、モデル保存部２２にモデル情報Ｂが保存されていなかった帳票Ａのためのモデル情報Ｂを生成し、モデル保存部２２に蓄積させて行く。その後、ステップＳ１２に進む。 In step S11, the character recognition result output unit 20 sets the item name (for example, name, address, date of birth, amount of money) of the character recognition target character string c to which the confirmed character recognition result F belongs in the form image a of the form A. It is output to the model creation unit 26 together with the position information (X, Y coordinate values) d in the inside. The model creation unit 26 uses the item name (for example, name, address, date of birth, amount of money) and position information (X, Y coordinate values) d of the character recognition target character string c output from the character recognition result output unit 20. Based on this, new model information B is created and stored in the model storage unit 22 (S11). In this way, the model creation unit 26 generates the model information B for the form A in which the model information B is not stored in the model storage unit 22, and stores the model information B in the model storage unit 22. After that, the process proceeds to step S12.
ステップＳ１２では、文字認識結果出力部２０が、確定済文字認識結果Ｆを出力する（Ｓ１２）。これは、文字認識結果出力ファイルＧとして電子データまたは紙媒体として出力されることも可能である。 In step S12, the character recognition result output unit 20 outputs the confirmed character recognition result F (S12). This can also be output as electronic data or a paper medium as the character recognition result output file G.
次に、以上のように構成した本実施形態の帳票情報認識装置１０の動作について図２Ａおよび図２Ｂのフローチャートを用いて説明する。 Next, the operation of the form information recognition device 10 of the present embodiment configured as described above will be described with reference to the flowcharts of FIGS. 2A and 2B.
本実施形態の帳票情報認識装置１０によって帳票Ａの文字認識処理を行うためには、先ず、帳票イメージ取得部１１によって帳票Ａが読み込まれ、帳票イメージａが生成される（Ｓ１）。 In order to perform the character recognition processing of the form A by the form information recognition device 10 of the present embodiment, first, the form A is read by the form image acquisition unit 11 and the form image a is generated (S1).
帳票イメージａは、帳票イメージ取得部１１から対象抽出部１４へ送られ、対象抽出部１４では、帳票イメージａから、文字認識対象部分が抽出される。文字認識対象部分とは、例えば、日付や金額等の文字認識対象文字列ｃである。文字認識対象文字列ｃは、帳票イメージａの全面にＯＣＲ処理が実施されることによって、事前定義されたフォーマットで文字列が並んでいる箇所の位置情報（Ｘ、Ｙ座標値）ｄとともに抽出される（Ｓ２）。 The form image a is sent from the form image acquisition unit 11 to the target extraction unit 14, and the target extraction unit 14 extracts the character recognition target portion from the form image a. The character recognition target portion is, for example, a character recognition target character string c such as a date or an amount. The character recognition target character string c is extracted together with the position information (X, Y coordinate values) d of the places where the character strings are lined up in a predefined format by performing OCR processing on the entire surface of the form image a. (S2).
対象抽出部１４ではさらに、モデル保存部２２からモデル情報Ｂが取得される（Ｓ３）。 The target extraction unit 14 further acquires model information B from the model storage unit 22 (S3).
対象抽出部１４では、図４に示すように、ステップＳ２で抽出された位置情報ｄと、モデル情報Ｂに定義された文字認識対象文字列Ｃの位置情報Ｄとが照合される。対象抽出部１４では、この照合処理が、モデル保存部２２に保存されたすべてのモデル情報Ｂを対象に実行される（Ｓ３）。 As shown in FIG. 4, the target extraction unit 14 collates the position information d extracted in step S2 with the position information D of the character recognition target character string C defined in the model information B. In the target extraction unit 14, this collation process is executed for all the model information B stored in the model storage unit 22 (S3).
対象抽出部１４では、ステップＳ３の位置情報ｄと位置情報Ｄとの照合処理の結果、帳票イメージａに対応するモデル情報Ｂが、モデル保存部２２に保存されているか否かが判定される（Ｓ４）。 As a result of the collation process between the position information d and the position information D in step S3, the target extraction unit 14 determines whether or not the model information B corresponding to the form image a is stored in the model storage unit 22 ( S4).
判定の結果、保存されていない場合には、ステップＳ５に進み、保存されている場合には、ステップＳ７に進む。 As a result of the determination, if it is not saved, the process proceeds to step S5, and if it is saved, the process proceeds to step S7.
ステップＳ５では、帳票イメージ表示部１６において、帳票イメージ取得部１１から帳票イメージａが受け取られ、ユーザが確認できるように、図５に示すように、帳票イメージａが、ブランクの文字認識処理用テーブルＥとともに表示される（Ｓ５）。この表示を参照しながら、ユーザが、ユーザ入力受付部１２を操作することによって、帳票イメージａにおける各文字認識対象文字列ｃを文字認識処理するために、文字認識処理用テーブルＥにおける対応する欄が指定される。 In step S5, as shown in FIG. 5, the form image a is a blank character recognition processing table so that the form image display unit 16 receives the form image a from the form image acquisition unit 11 and allows the user to confirm it. It is displayed together with E (S5). In order to perform character recognition processing for each character recognition target character string c in the form image a by the user operating the user input reception unit 12 while referring to this display, the corresponding column in the character recognition processing table E Is specified.
このようなステップＳ５のようなユーザ操作による文字認識対象文字列ｃの指定は、どのようなフォーマットの帳票に対しても対応可能であるので、高い柔軟性を備えている。 The designation of the character recognition target character string c by the user operation as in step S5 is highly flexible because it can handle forms of any format.
次に、文字認識部２４では、図７に示すように、文字認識処理用テーブルＥの各欄にドラッグされた文字認識対象文字列ｃに対する文字認識が行われ、例えばテキストデータである文字認識結果ｆ（例えば、「山田太郎」）が、文字認識処理用テーブルＥの所定の欄に書き込まれる（Ｓ６）。 Next, as shown in FIG. 7, the character recognition unit 24 performs character recognition on the character recognition target character string c dragged into each column of the character recognition processing table E, for example, a character recognition result which is text data. f (for example, “Taro Yamada”) is written in a predetermined column of the character recognition processing table E (S6).
このような処理によって、文字認識部２４では、ユーザによって指定された文字認識対象文字列ｃに対する文字認識が行われるとともに、対応する帳票Ａの帳票イメージaにおける文字認識対象文字列ｃの項目名（例えば、氏名、住所、生年月日、金額）と、各項目に対応する、帳票Ａのイメージa内における位置情報（Ｘ、Ｙ座標値）ｄとが把握される。 By such processing, the character recognition unit 24 performs character recognition for the character recognition target character string c specified by the user, and at the same time, the item name of the character recognition target character string c in the form image a of the corresponding form A ( For example, the name, address, date of birth, amount of money) and the position information (X, Y coordinate values) d in the image a of the form A corresponding to each item are grasped.
ステップＳ７では、文字認識部２４において、モデル情報Ｂにおいて定義されたすべての位置情報Ｄに一致する位置情報ｄに対応する文字認識対象文字列ｃに対して、文字認識処理が実行され、文字認識結果ｆが、文字認識結果表示部１８へ出力される（Ｓ７）。 In step S7, the character recognition unit 24 executes character recognition processing on the character recognition target character string c corresponding to the position information d that matches all the position information D defined in the model information B, and character recognition is performed. The result f is output to the character recognition result display unit 18 (S7).
ステップＳ６およびステップＳ７の後、文字認識結果表示部１８では、文字認識結果ｆが書き込まれた文字認識処理用テーブルＥが表示される（Ｓ８）。 After step S6 and step S7, the character recognition result display unit 18 displays the character recognition processing table E in which the character recognition result f is written (S8).
これによって、ユーザは、文字認識結果ｆを確認できるようになる。そして、ユーザは、文字認識結果ｆに誤りがあることを発見すると、ユーザ入力受付部１２の例えばキーボードから修正情報ｇを入力する。これによって、文字認識結果ｆの誤りが修正される（Ｓ９）。 As a result, the user can confirm the character recognition result f. Then, when the user discovers that the character recognition result f is incorrect, the user inputs the correction information g from, for example, the keyboard of the user input reception unit 12. As a result, the error of the character recognition result f is corrected (S9).
必要な修正がなされ、すべての文字認識結果ｆが正しく表示されたことがユーザによって確認されると、ユーザによって、ユーザ入力受付部１２へ修正終了指示ｈが入力される。修正終了指示ｈは、ユーザ入力受付部１２から、文字認識結果表示部１８へ出力される。これによって、文字認識結果ｆが確定され、文字認識結果表示部１８では、確定済文字認識結果Ｆが生成され、文字認識結果出力部２０へ出力される（Ｓ１０）。 When the user confirms that the necessary corrections have been made and that all the character recognition results f have been correctly displayed, the user inputs the correction end instruction h to the user input reception unit 12. The correction end instruction h is output from the user input reception unit 12 to the character recognition result display unit 18. As a result, the character recognition result f is determined, and the character recognition result display unit 18 generates the confirmed character recognition result F and outputs it to the character recognition result output unit 20 (S10).
ステップＳ１０の後の処理は、ステップＳ４の処理結果に応じて、ステップＳ１１またはステップＳ１２に進む。 The processing after step S10 proceeds to step S11 or step S12 depending on the processing result of step S4.
すなわち、ステップＳ４において、保存されていないと判定された場合には、ステップＳ１１へ進み、その後、ステップＳ１２へ進む一方、保存されていると判定された場合には、ステップＳ１２へ進む。 That is, in step S4, if it is determined that the data has not been saved, the process proceeds to step S11, and then the process proceeds to step S12, while if it is determined that the data has been saved, the process proceeds to step S12.
ステップＳ１１では、文字認識結果出力部２０によって、確定済文字認識結果Ｆが属する文字認識対象文字列ｃの項目名（例えば、氏名、住所、生年月日、金額）が、帳票Ａの帳票イメージa内における位置情報（Ｘ、Ｙ座標値）ｄとともにモデル作成部２６へ出力される。さらに、モデル作成部２６では、文字認識結果出力部２０から出力された文字認識対象文字列ｃの項目名（例えば、氏名、住所、生年月日、金額）および位置情報（Ｘ、Ｙ座標値）ｄに基づいて、新たなモデル情報Ｂが作成され、モデル保存部２２に保存される（Ｓ１１）。このようにして、モデル作成部２６では、モデル保存部２２にモデル情報Ｂが保存されていなかった帳票Ａのためのモデル情報Ｂが生成され、モデル保存部２２に蓄積されて行く。その後、ステップＳ１２に進む。 In step S11, the character recognition result output unit 20 sets the item name (for example, name, address, date of birth, amount of money) of the character recognition target character string c to which the confirmed character recognition result F belongs to the form image a of the form A. It is output to the model creation unit 26 together with the position information (X, Y coordinate values) d in the inside. Further, in the model creation unit 26, the item name (for example, name, address, date of birth, amount of money) and position information (X, Y coordinate values) of the character recognition target character string c output from the character recognition result output unit 20. Based on d, new model information B is created and stored in the model storage unit 22 (S11). In this way, in the model creation unit 26, the model information B for the form A in which the model information B is not stored in the model storage unit 22 is generated and accumulated in the model storage unit 22. After that, the process proceeds to step S12.
ステップＳ１２では、文字認識結果出力部２０によって、電子データまたは紙媒体等として文字認識結果出力ファイルＧが出力される（Ｓ１２）。 In step S12, the character recognition result output unit 20 outputs the character recognition result output file G as electronic data, a paper medium, or the like (S12).
上述したように、本実施形態の帳票情報認識装置１０によれば、上記のような作用により、モデル保存部２２にモデル情報Ｂが保存されている帳票Ａについては、モデル保存部２２からの対応するモデル情報Ｂの抽出、モデル情報Ｂに基づく文字認識対象文字列の文字認識といった一連の処理を自動的に行うことが可能となる。 As described above, according to the form information recognition device 10 of the present embodiment, the model storage unit 22 responds to the form A in which the model information B is stored in the model storage unit 22 due to the above-mentioned action. It is possible to automatically perform a series of processes such as extraction of model information B to be performed and character recognition of a character recognition target character string based on model information B.
また、モデル保存部２２にモデル情報Ｂが保存されていない帳票Ａについては、ユーザ操作によって指定された文字認識対象文字列ｃと、その位置情報ｄに基づいて、モデル情報Ｂを生成することが可能となる。このようなユーザ操作に基づく文字認識対象文字列ｃおよび位置情報ｄの指定は、どのようなフォーマットの帳票Ａに対しても実施可能であるので、モデル情報Ｂの生成に関する柔軟性および容易性を高めることが可能となる。 Further, for the form A in which the model information B is not stored in the model storage unit 22, the model information B can be generated based on the character recognition target character string c specified by the user operation and the position information d thereof. It will be possible. Since the character recognition target character string c and the position information d can be specified for the form A in any format based on the user operation, the flexibility and ease of generating the model information B can be improved. It becomes possible to increase.
これによって、新たなモデル情報を自動的に作成し、蓄積することができるので、モデル情報の作成に関するユーザの負担およびコストの削減が可能となる。さらには、モデル情報の作成が容易になることから、少量多種の帳票や、頻繁にフォーマットが変更される帳票であっても、モデル定義に要するコストを削減することが可能となる。 As a result, new model information can be automatically created and accumulated, so that the burden on the user and the cost related to the creation of the model information can be reduced. Furthermore, since it is easy to create model information, it is possible to reduce the cost required for model definition even for a small amount of various forms or a form whose format is frequently changed.
そして、このようにモデル情報Ｂがモデル保存部２２に保存されると、以降は、モデル保存部２２からの対応するモデル情報Ｂの抽出、モデル情報Ｂに基づく文字認識対象文字列の文字認識といった一連の処理が自動的に行われるようになる。 Then, when the model information B is stored in the model storage unit 22 in this way, thereafter, the corresponding model information B is extracted from the model storage unit 22, and the character recognition of the character recognition target character string based on the model information B is performed. A series of processes will be performed automatically.
このように、本実施形態の帳票情報文字認識装置１０によれば、モデル情報Ｂを、ユーザの負担を増やすことなく作成し、作成したモデル情報Ｂに基づいて、文字認識対象文字列の文字認識を繰り返すことによって、自動文字認識効率を高めるように自己学習することが可能となる。 As described above, according to the form information character recognition device 10 of the present embodiment, the model information B is created without increasing the burden on the user, and the character recognition of the character recognition target character string is performed based on the created model information B. By repeating the above, it becomes possible to self-learn so as to improve the automatic character recognition efficiency.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
本願は、特願２０１７−１８０８６１を原出願とする分割出願である。以下、分割直前の原出願の明細書に付記された発明（原出願の出願当初の特許請求の範囲に記載された発明）である。
［Ｃ１］
帳票に記載された情報を文字認識するための帳票情報認識装置であって、
前記帳票から帳票イメージを取得する取得部と、
前記帳票イメージにおいて文字認識対象部分の位置情報を抽出する抽出部と、
前記位置情報を帳票種類毎に定義したモデル情報を保存する保存部と、
前記抽出部によって抽出された位置情報に一致する位置情報が定義されたモデル情報が前記保存部に保存されている場合、このモデル情報に定義されている位置情報に対応する前記文字認識対象部分の文字認識処理を行い、保存されていない場合、前記帳票イメージにおいて、操作入力によって指定された文字認識対象部分の文字認識処理を行う文字認識部と、
前記指定された文字認識対象部分の文字認識処理がなされた場合、前記指定された文字認識対象部分の前記帳票イメージにおける位置情報を用いて、前記帳票イメージに対応する帳票のためのモデル情報を作成し、このモデル情報を、前記保存部に保存させるモデル作成部と、
を備えた帳票情報認識装置。
［Ｃ２］
前記モデル情報が前記保存部に既に保存されている帳票については、前記文字認識部によって、前記操作入力なしで自動的に前記文字認識処理がなされるような、自己学習機能を実現する、［Ｃ１］に記載の帳票情報認識装置。
［Ｃ３］
前記文字認識部によってなされた文字認識処理の結果を表示する表示部と、
前記表示部に表示された文字認識処理の結果を修正するための操作入力を受け付ける入力受付部と、をさらに備える［Ｃ１］または［Ｃ２］に記載の帳票情報認識装置。
［Ｃ４］
前記モデル情報は、前記文字認識対象部分の各々の属性を定義しており、
前記表示部は、前記文字認識処理された文字認識対象部分の属性が、前記モデル情報で定義された属性とは異なる場合、当該文字認識対象部分の文字認識処理の結果を強調表示する、［Ｃ３］に記載の帳票情報認識装置。
［Ｃ５］
帳票に記載された情報を文字認識するための帳票情報認識方法であって、
帳票読取装置によって前記帳票から帳票イメージを取得し、
前記帳票イメージにおいて文字認識対象部分の位置情報を抽出し、
前記抽出された位置情報に一致する位置情報が定義されたモデル情報が記憶装置に保存されている場合、このモデル情報に定義されている位置情報に対応する前記文字認識対象部分の文字認識処理を行い、
前記抽出された位置情報に一致する位置情報が定義されたモデル情報が前記記憶装置に保存されていない場合、前記帳票イメージにおいて、操作入力によって指定された文字認識対象部分の文字認識処理を行い、
前記操作入力によって指定された文字認識対象部分の文字認識処理がなされた場合、前記指定された文字認識対象部分の前記帳票イメージにおける位置情報を用いて、前記帳票イメージに対応する帳票のためのモデル情報を作成し、このモデル情報を、前記記憶装置に保存することによって、前記モデル情報が前記記憶装置に既に保存されている帳票については、前記操作入力なしで自動的に前記文字認識処理がなされるような、自己学習機能を実現する、帳票情報認識方法。
Although some embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, as well as in the scope of the invention described in the claims and the equivalent scope thereof.
This application is a divisional application based on Japanese Patent Application No. 2017-180861. Hereinafter, the inventions added to the specification of the original application immediately before the division (inventions described in the claims at the time of filing the original application).
[C1]
It is a form information recognition device for character recognition of the information written on the form.
The acquisition unit that acquires the form image from the form and
An extraction unit that extracts the position information of the character recognition target part in the form image,
A storage unit that stores model information that defines the location information for each form type,
When model information in which position information matching the position information extracted by the extraction unit is defined is stored in the storage unit, the character recognition target portion corresponding to the position information defined in the model information When character recognition processing is performed and it is not saved, the character recognition unit that performs character recognition processing of the character recognition target part specified by the operation input in the form image and
When the character recognition process of the designated character recognition target portion is performed, the model information for the form corresponding to the form image is created by using the position information of the designated character recognition target portion in the form image. Then, the model creation unit that stores this model information in the storage unit and
Form information recognition device equipped with.
[C2]
For a form in which the model information is already stored in the storage unit, the character recognition unit realizes a self-learning function such that the character recognition process is automatically performed without the operation input [C1]. ] The form information recognition device described in.
[C3]
A display unit that displays the result of the character recognition process performed by the character recognition unit,
The form information recognition device according to [C1] or [C2], further comprising an input reception unit that receives an operation input for correcting the result of the character recognition process displayed on the display unit.
[C4]
The model information defines each attribute of the character recognition target portion.
When the attribute of the character recognition target portion subjected to the character recognition processing is different from the attribute defined in the model information, the display unit highlights the result of the character recognition processing of the character recognition target portion [C3. ] The form information recognition device described in.
[C5]
It is a form information recognition method for character recognition of the information described in the form.
A form image is acquired from the form by the form reading device, and
The position information of the character recognition target part is extracted from the form image, and
When the model information in which the position information matching the extracted position information is defined is stored in the storage device, the character recognition process of the character recognition target portion corresponding to the position information defined in the model information is performed. Do,
When the model information in which the position information matching the extracted position information is defined is not stored in the storage device, the character recognition process of the character recognition target portion specified by the operation input is performed in the form image.
When the character recognition process of the character recognition target part specified by the operation input is performed, the model for the form corresponding to the form image is used by using the position information of the designated character recognition target part in the form image. By creating the information and storing the model information in the storage device, the character recognition process is automatically performed on the form in which the model information is already stored in the storage device without the operation input. A form information recognition method that realizes a self-learning function.
１０ 帳票情報認識装置、１１ 帳票イメージ取得部、１２ ユーザ入力受付部、１４ 対象抽出部、１６ 帳票イメージ表示部、１８ 文字認識結果表示部、２０ 文字認識結果出力部、２２ モデル保存部、２４ 文字認識部、２６ モデル作成部。 10 form information recognition device, 11 form image acquisition unit, 12 user input reception unit, 14 target extraction unit, 16 form image display unit, 18 character recognition result display unit, 20 character recognition result output unit, 22 model storage unit, 24 characters Recognition unit, 26 model creation unit.
Claims (13)
前記帳票の帳票イメージを取得する帳票イメージ取得部と、
この帳票イメージから、文字認識対象部分の位置情報を抽出する対象抽出部と、
前記位置情報が定義されたモデル情報が保存されていると判断された場合、前記位置情報に対応する前記文字認識対象部分の文字認識処理を行い、前記位置情報が定義されたモデル情報が保存されていないと判断された場合、操作により指定された文字認識対象部分の文字認識処理を行う文字認識部と、
前記指定された文字認識対象部分の前記帳票イメージにおける前記位置情報を用いて、前記帳票イメージに対応する帳票のためのモデル情報を自動的に作成出来るモデル作成部と、
このモデル作成部で作成されたモデル情報を蓄積するモデル保存部と
を備えた帳票情報認識装置。 It is a form information recognition device for character recognition of the information written on the form.
The form image acquisition unit that acquires the form image of the form, and
A target extraction unit that extracts the position information of the character recognition target part from this form image,
When it is determined that the model information in which the position information is defined is saved, the character recognition process of the character recognition target portion corresponding to the position information is performed, and the model information in which the position information is defined is saved. If it is determined that it is not, the character recognition unit that performs character recognition processing of the character recognition target part specified by the operation, and
Using said position information in said form image of said specified character recognition target portion, and a modeling unit which automatically can create a model information for the form corresponding to the form image,
A form information recognition device including a model storage unit that stores model information created by this model creation unit.
前記帳票イメージ取得部が取得した帳票イメージが、前記モデル保存部に保存されていない場合は、前記モデル作成部は新たなモデル情報を作成し、前記モデル保存部に新たなモデル情報を蓄積することを特徴とする帳票情報認識装置。 In the form information recognition device according to claim 1,
If the form image acquired by the form image acquisition unit is not stored in the model storage unit, the model creation unit creates new model information and stores the new model information in the model storage unit. A form information recognition device characterized by.
前記モデル情報には、帳票のフォーマット情報を含むことを特徴とする帳票情報認識装置。 In the form information recognition device according to claim 1 or 2.
A form information recognition device characterized in that the model information includes form information of a form.
帳票イメージを表示する帳票イメージ表示部を有し、
この帳票イメージ表示部は、前記帳票イメージと、帳票の項目情報を有する文字認識処理テーブルを並べて表示出来ることを特徴とする帳票情報認識装置。 In the form information recognition device according to claim 1 or 2.
It has a form image display unit that displays the form image.
The form image display unit is a form information recognition device capable of displaying the form image and a character recognition processing table having item information of the form side by side.
帳票イメージを表示する帳票イメージ表示部を有し、
この帳票イメージ表示部は、前記帳票イメージと、帳票の項目情報を有する文字認識処理テーブルを並べて表示し、文字認識結果に誤りがある場合は、ユーザ入力受付部より修正情報を入力し、修正すべき文字を修正出来ることを特徴とする帳票情報認識装置。 In the form information recognition device according to claim 1 or 2.
It has a form image display unit that displays the form image.
This form image display unit displays the form image and the character recognition processing table having the item information of the form side by side, and if there is an error in the character recognition result, input the correction information from the user input reception unit and correct it. A form information recognition device characterized by being able to correct characters to be written.
前記操作とは、文字認識対象文字列を、ドラッグ処理により文字認識処理テーブルの所定の欄に紐付けて指定することが出来ることを特徴とする帳票情報認識装置。 In the form information recognition device according to claim 1,
The operation is a form information recognition device characterized in that a character recognition target character string can be specified by associating it with a predetermined column of a character recognition processing table by drag processing.
前記ドラッグ処理はマウスにより行われることを特徴とする帳票情報認識装置。 In the form information recognition device according to claim 6,
A form information recognition device characterized in that the drag processing is performed by a mouse.
前記帳票から、帳票イメージ取得部により帳票イメージを取得し、
この帳票イメージから、文字認識対象部分の位置情報を抽出し、
前記位置情報が定義されたモデル情報が保存されていると判断された場合、前記位置情報に対応する前記文字認識対象部分の文字認識処理を行い、前記位置情報が定義されたモデル情報が保存されていないと判断された場合、操作者の操作により指定された文字認識対象部分の文字認識処理を行い、
前記指定された文字認識対象部分の前記帳票イメージにおける前記位置情報を用いて、前記帳票イメージに対応する帳票のためのモデル情報を自動的に作成し、
このモデル情報をコンピュータシステムの記憶部に保存する
ステップを有することを特徴とする帳票情報認識方法。 Using a form image acquisition unit that can acquire a form image, a storage unit that can store at least data or programs, and a computer system that has at least a semiconductor chip including a CPU, the information described in the form can be obtained. It is a form information recognition method for character recognition.
From the above form, the form image acquisition unit acquires the form image,
From this form image, the position information of the character recognition target part is extracted and
When it is determined that the model information in which the position information is defined is saved, the character recognition process of the character recognition target portion corresponding to the position information is performed, and the model information in which the position information is defined is saved. If it is determined that it is not, the character recognition process of the character recognition target part specified by the operator's operation is performed.
Using said position information in said form image of said specified character recognition target portion, automatically create the model information for the form corresponding to the form image,
A form information recognition method characterized by having a step of storing this model information in a storage unit of a computer system.
前記帳票イメージ取得部が取得した帳票イメージが、前記記憶部にモデル情報として保存されていない場合、前記半導体チップを使用し新たなモデル情報を作成し、前記記憶部に新たなモデル情報を保存することを特徴とする帳票情報認識方法。 In the form information recognition method according to claim 8,
When the form image acquired by the form image acquisition unit is not stored as model information in the storage unit, new model information is created using the semiconductor chip and the new model information is stored in the storage unit. Form information recognition method characterized by this.
前記コンピュータシステムの表示部に帳票イメージを表示することが出来、前記帳票イメージと、帳票の項目情報を有する文字認識処理テーブルが並べて表示出来ることを特徴とする帳票情報認識方法。 In the form information recognition method according to claim 8 or claim 9,
A form information recognition method characterized in that a form image can be displayed on a display unit of the computer system, and the form image and a character recognition processing table having item information of the form can be displayed side by side.
前記コンピュータシステムの表示部に帳票イメージを表示することが出来、前記帳票イメージと、帳票の項目情報を有する文字認識処理テーブルが並べて表示出来、文字認識結果に誤りがある場合は、ユーザ入力受付部より修正情報を入力し、修正すべき文字を修正出来ることを特徴とする帳票情報認識方法。 In the form information recognition method according to claim 8 or claim 9,
The form image can be displayed on the display unit of the computer system, and the form image and the character recognition processing table having the item information of the form can be displayed side by side. If there is an error in the character recognition result, the user input reception unit A form information recognition method characterized in that more correction information can be input and characters to be corrected can be corrected.
前記帳票から帳票イメージを取得し、
この帳票イメージから、文字認識対象部分の位置情報を抽出し、
この帳票イメージ内であって、前記位置情報が定義されたモデル情報が保存されていると判断された場合、前記位置情報に対応する前記文字認識対象部分の文字認識処理を行い、前記位置情報が定義されたモデル情報が保存されていないと判断された場合、操作により指定された部分の文字認識処理を行い、
前記指定された部分の前記帳票イメージにおける前記位置情報を用いて、前記帳票イメージに対応する帳票のためのモデル情報を自動的に作成し、このモデル情報を装置の記憶部に蓄積する処理をコンピュータに実行させるプログラムを記憶した記憶媒体。 It is a program for character recognition of the information written on the form.
Obtain the form image from the above form and
From this form image, the position information of the character recognition target part is extracted and
When it is determined that the model information in which the position information is defined is stored in this form image, the character recognition process of the character recognition target portion corresponding to the position information is performed, and the position information is stored. If it is determined that the defined model information is not saved , the character recognition process of the part specified by the operation is performed.
Using said position information in said form image of said designated portion, the document image automatically create the model information for the corresponding form, the processing for storing the model information in the storage unit of the apparatus a computer A storage medium that stores a program to be executed by a computer.
前記帳票イメージが、前記記憶部にモデル情報として保存されていない場合、新たなモデル情報を作成し、前記記憶部に新たなモデル情報を保存する処理をコンピュータに実行させるプログラムを記憶した記憶媒体。 In the storage medium of claim 1 2, wherein,
A storage medium that stores a program that creates new model information when the form image is not stored as model information in the storage unit and causes a computer to execute a process of storing the new model information in the storage unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018222605A JP6755926B2 (en) | 2018-11-28 | 2018-11-28 | Form information recognition device and form information recognition method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018222605A JP6755926B2 (en) | 2018-11-28 | 2018-11-28 | Form information recognition device and form information recognition method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017180861A Division JP6445645B1 (en) | 2017-09-21 | 2017-09-21 | Form information recognition apparatus and form information recognition method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019057311A JP2019057311A (en) | 2019-04-11 |
| JP6755926B2 true JP6755926B2 (en) | 2020-09-16 |
Family
ID=66107691
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018222605A Active JP6755926B2 (en) | 2018-11-28 | 2018-11-28 | Form information recognition device and form information recognition method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6755926B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7376275B2 (en) * | 2019-08-08 | 2023-11-08 | 株式会社三菱Ｕｆｊ銀行 | Message sorting device, method, program, and system |
| KR102364100B1 (en) * | 2020-05-14 | 2022-02-21 | 지의소프트 주식회사 | Table data storing system and method on the electronic document |
| CN112329708A (en) * | 2020-11-24 | 2021-02-05 | 北京百度网讯科技有限公司 | Bill identification method and device |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3383491B2 (en) * | 1995-09-06 | 2003-03-04 | 沖電気工業株式会社 | Form recognition and classification system |
| JPH09204422A (en) * | 1996-01-26 | 1997-08-05 | Casio Comput Co Ltd | Read data processor |
| JPH11306281A (en) * | 1998-04-27 | 1999-11-05 | Nec Corp | Recognizing condition specifying system, its method, and recording medium in which program to generate recognizing condition specifying function on computer is recorded |
| JP2000315209A (en) * | 1999-04-30 | 2000-11-14 | Ricoh Co Ltd | Image filing device, image filing method and recording medium readable by computer in which program to make computer execute the method is recorded |
| JP2002298081A (en) * | 2001-03-30 | 2002-10-11 | Toshiba Corp | Optical character recognition device and field definition method of document reading definition body |
| JP2011248669A (en) * | 2010-05-27 | 2011-12-08 | Ricoh Co Ltd | Document management program, storage medium, information processor, and document management method |
| JP2016192223A (en) * | 2016-06-17 | 2016-11-10 | 弘明 小野 | Accounting information reading system and program |
-
2018
- 2018-11-28 JP JP2018222605A patent/JP6755926B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019057311A (en) | 2019-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6881990B2 (en) | Image processing device, its control method, and program | |
| JP6755926B2 (en) | Form information recognition device and form information recognition method | |
| US8418050B2 (en) | Computer readable recording medium on which form data extracting program is recorded, form data extracting apparatus, and form data extracting method | |
| JP4183527B2 (en) | Form definition data creation method and form processing apparatus | |
| JP2010510563A (en) | Automatic generation of form definitions from hardcopy forms | |
| US20090049375A1 (en) | Selective processing of information from a digital copy of a document for data entry | |
| JP2005173730A (en) | Business form ocr program, method, and device | |
| JP2008145611A (en) | Information processor and program | |
| US20210227083A1 (en) | Image processing system that computerizes document, control method thereof, and storage medium | |
| JP2021043775A (en) | Information processing device and program | |
| JP6445645B1 (en) | Form information recognition apparatus and form information recognition method | |
| US8200009B2 (en) | Control of optical character recognition (OCR) processes to generate user controllable final output documents | |
| JP4983464B2 (en) | Form image processing apparatus and form image processing program | |
| JP7439435B2 (en) | Information processing device and program | |
| JP7379987B2 (en) | Information processing device and program | |
| JP2007052615A (en) | Document processor, rule data generation method and program | |
| JP4518212B2 (en) | Image processing apparatus and program | |
| JP7408340B2 (en) | Image processing device control method, program, and image processing device | |
| US11170211B2 (en) | Information processing apparatus for extracting portions filled with characters from completed document without user intervention and non-transitory computer readable medium | |
| JP4347675B2 (en) | Form OCR program, method and apparatus | |
| JP4517822B2 (en) | Image processing apparatus and program | |
| JP6965657B2 (en) | Form management device and program | |
| JP6190549B1 (en) | Document processing system | |
| JP2021152696A (en) | Information processor and program | |
| US20180024807A1 (en) | System and Method of Document and Signature Management |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181214 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191111 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200728 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200826 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6755926 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |