JP5357711B2 - Document processing device - Google Patents
Document processing device Download PDFInfo
- Publication number
- JP5357711B2 JP5357711B2 JP2009262114A JP2009262114A JP5357711B2 JP 5357711 B2 JP5357711 B2 JP 5357711B2 JP 2009262114 A JP2009262114 A JP 2009262114A JP 2009262114 A JP2009262114 A JP 2009262114A JP 5357711 B2 JP5357711 B2 JP 5357711B2
- Authority
- JP
- Japan
- Prior art keywords
- character string
- ocr
- word
- data
- misrecognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Character Discrimination (AREA)
Description
本発明は、業務文書処理装置に関し、例えば紙文書にOCRを適用した際に発生する文字の誤認識パターンを自動収集するための技術に関する。 The present invention relates to a business document processing apparatus and, for example, relates to a technique for automatically collecting character recognition patterns generated when OCR is applied to a paper document.
近年、組織内に蓄積された膨大な紙の業務文書に対して、スキャン及びOCRによる文字認識を行い、文書データを文書管理システムで管理することで、検索性向上、紙文書の安全な保管、知識の共有を図ろうとする動きがある。 In recent years, a large number of paper business documents accumulated in an organization are recognized by scanning and OCR, and the document data is managed by a document management system, thereby improving searchability and safe storage of paper documents. There is a movement to share knowledge.
OCR(Optical Character Reader)の認識精度は、技術の向上に伴い高まっているが、それでも誤認識を完全に無くすことは不可能である。そのため、誤認識に対する様々な対応策が考案されている。その中の一つに、置換辞書を使用する方法がある。これは、誤認識が起きやすい文字列に対して、正解文字列と誤認識文字列のペアを辞書登録しておき、OCRの対象となる文書中に辞書登録された誤認識文字列が含まれていた場合に、正解文字列に置換するというものである。この方法は、OCR対象文書の誤認識パターンが既知で、かつ網羅的に辞書登録されている場合には有効である。置換辞書を採用している製品には、例えば非特許文献1〜4の製品があり、置換辞書はOCRによる文字認識の際に用いられる一般的な機能である。
Although the recognition accuracy of OCR (Optical Character Reader) has been increasing with the improvement of technology, it is still impossible to completely eliminate misrecognition. Therefore, various countermeasures against misrecognition have been devised. One of them is a method using a replacement dictionary. This is because the correct character string and the misrecognized character string pair are registered in the dictionary for the character string that is likely to be erroneously recognized, and the misrecognized character string registered in the dictionary is included in the OCR target document. If so, it is replaced with the correct character string. This method is effective when the erroneous recognition pattern of the OCR target document is known and the dictionary is comprehensively registered. For example,
しかしながら、誤認識パターンを置換辞書へ登録する作業は、ユーザが経験に基づいて行うのが一般的である。そのため、誤認識パターンをユーザが逐次登録作業を行うことになり、作業量が膨大になる。また、ユーザの技量により登録される誤認識パターンの質にぶれが生じるため、発生頻度が高い誤認識パターンの登録漏れや、発生頻度が低い誤認識パターンの過学習が発生するという問題がある。誤認識パターンの登録漏れによりOCR処理後の文書中に誤認識文字列がそのまま残ることになり、過学習により文書中の正しい文字列まで置換を行ってしまうことになり、どちらの場合もOCRの認識精度の低下を招く。 However, it is common for a user to register an erroneous recognition pattern in a replacement dictionary based on experience. For this reason, the user must sequentially register the erroneous recognition pattern, and the amount of work becomes enormous. Moreover, since the quality of the misrecognition pattern registered according to the skill of the user is fluctuated, there is a problem in that registration of a misrecognition pattern having a high occurrence frequency or over-learning of an erroneous recognition pattern having a low occurrence frequency occurs. Misrecognition pattern registration omissions cause misrecognized character strings to remain in the document after OCR processing, and over-learning results in replacement of the correct character strings in the document. The recognition accuracy is reduced.
本発明はこのような状況に鑑みてなされたものであり、OCR誤認識を補正する際に使用する置換辞書に登録する誤認識パターンを自動的に収集し、さらに収集した誤認識パターンを選別することが可能となる技術を適用するものである。 The present invention has been made in view of such a situation, and automatically collects misrecognition patterns registered in a replacement dictionary used when correcting OCR misrecognition, and further selects the collected misrecognition patterns. Applying technology that makes it possible.
上記課題を解決するために、本発明による文書処理装置は、OCR誤認識文字列を補正するための置換辞書を自動生成する文書処理装置であって、業務文書を画像化したサンプル電子文書データから切り分けた正解文字列と、前記サンプル電子文書データに対してOCRを行った結果得られるOCR後サンプル文書データから切り分けたOCR後文字列と、を比較単位とし、誤認識の判定を行うマッチング処理部と、前記正解文字列を所定の単語単位に切り分け、該切り分けた単語のうち前記マッチング処理部で誤認識と判定された文字を含む単語を誤認識パターン候補として登録する解析処理部と、記憶装置に格納された日本語の単語が登録された日本語辞書データ及び業務で使用される単語が登録された業務単語辞書データに含まれる単語と部分一致または完全一致する単語を前記誤認識パターン候補から削除してフィルタリングし、該フィルタリング後の誤認識パターン候補を誤認識パターンとして前記記憶装置へ格納するフィルタリング処理部と、を備える。 In order to solve the above problems, a document processing apparatus according to the present invention is a document processing apparatus that automatically generates a replacement dictionary for correcting an OCR misrecognized character string, from sample electronic document data obtained by imaging a business document. A matching processing unit that performs misrecognition determination using a segmented correct character string and a post-OCR character string segmented from the post-OCR sample document data obtained as a result of performing OCR on the sample electronic document data. And an analysis processing unit that divides the correct character string into predetermined word units, registers a word including characters determined to be erroneously recognized by the matching processing unit among the divided words, and a storage device. Japanese words stored in the Japanese dictionary data registered with Japanese words and business word dictionary data registered with words used in business And delete the partial or exact matching words from the erroneous recognition pattern candidate filtering comprises a filtering section for storing into said storage device as a mis-recognition pattern misrecognition pattern candidates after the filtering, the.
さらなる本発明の特徴は、以下本発明を実施するための最良の形態および添付図面によって明らかになるものである。 Further features of the present invention will become apparent from the best mode for carrying out the present invention and the accompanying drawings.
本発明によれば、文書にOCRを適用した際に発生する誤認識を補正するための置換辞書を作成する際に、必要な誤認識パターンを自動収集できる。これにより、ユーザの作業量を大幅に削減でき、誤認識パターンの置換辞書への登録漏れを防止できる。 According to the present invention, it is possible to automatically collect necessary misrecognition patterns when creating a replacement dictionary for correcting misrecognition that occurs when OCR is applied to a document. Thereby, a user's work amount can be reduced significantly and omission of registration to the replacement dictionary of a misrecognition pattern can be prevented.
また、収集した誤認識パターンをフィルタリングすることで、正しい文字列まで置換を行ってしまうという過学習を防止できる。 Moreover, it is possible to prevent overlearning that a correct character string is replaced by filtering the collected erroneous recognition patterns.
これらの結果として、ユーザの技量に依らず均質な置換辞書を作成することが可能となる。 As a result, it is possible to create a uniform replacement dictionary regardless of the skill of the user.
以下、添付図面を参照しながら、本発明の誤認識パターン収集装置を実施するための形態を詳細に説明する。図1〜図11は、本発明の実施形態を例示する図である。これらの図において、同一の符号を付した部分は同一物を表し、基本的な構成及び動作は同様であるものとする。尚、本発明の実施形態において、使用される機器、手法等は一例であり、本発明はこれらに限定されるものではないことは勿論である。 Hereinafter, an embodiment for carrying out an erroneous recognition pattern collection apparatus of the present invention will be described in detail with reference to the accompanying drawings. 1 to 11 are diagrams illustrating an embodiment of the present invention. In these drawings, parts denoted by the same reference numerals represent the same items, and the basic configuration and operation are the same. In addition, in embodiment of this invention, the apparatus, method, etc. which are used are examples, and of course, this invention is not limited to these.
<誤認識パターン収集装置の構成>
図1は、本発明の実施形態による誤認識パターン収集装置の概略構成を示す機能ブロック図である。この誤認識パターン収集装置は、記憶装置50と、データの入出力を行うための入出力装置30と、必要な演算処理及び制御処理等を行う中央処理装置10と、中央処理装置10での処理に必要なプログラムを格納するプログラムメモリ40と、中央処理装置10での処理に必要なデータを格納するデータメモリ20と、を備えている。
<Configuration of error recognition pattern collection device>
FIG. 1 is a functional block diagram showing a schematic configuration of a misrecognition pattern collection apparatus according to an embodiment of the present invention. This misrecognition pattern collection device includes a
記憶装置50は、OCR対象とする業務文書と同様の構成を持つように作成したWindows(登録商標) wordファイルなどのサンプル電子文書データ51と、サンプル電子文書データ51に対して、印刷、スキャン、OCRを行った結果得られるOCR後サンプル文書データ52と、本発明により最終的に出力される誤認識パターンデータ53と、一般的な日本語の単語が多数登録された日本語辞書データ54と、業務等で使用する文書で使用される単語が多数登録された業務単語辞書データ55と、OCR後サンプル文書データ52に対して誤認識パターンデータ53を用いて誤認識を訂正した結果得られる訂正後電子文書データ56と、を記憶している。
The
入出力装置30は、データを表示するための表示装置32やプリンタ(図示せず)等で構成される出力部と、表示されたデータに対してメニューを選択するなどの操作を行うためのキーボード31、マウスなどのポインティングデバイス33や文書を取り込むためのスキャナ34等で構成される入力部と、を有している。
The input /
プログラムメモリ40は、サンプル電子文書データ51上の文字とOCR後サンプル文書データ52における対応する文字に対して比較処理を行うマッチング処理部41と、マッチング処理部によって出力された結果を元に、誤認識パターン候補を出力する解析処理部42と、解析処理部によって出力された誤認識パターン候補の中から、誤った補正の原因となる不要なパターンを削除するフィルタリング処理部43と、を含んでいる。なお、各処理部は、プログラムコードとしてプログラムメモリ40に格納されており、中央処理装置10が各プログラムコードを実行することによって各処理部が実現される。
The program memory 40 includes a
データメモリ20は、サンプル電子文書データ51とOCR後サンプル文書データ52とから得られる文字列比較データ21と、文字列比較データ21から導出される誤認識パターン候補データ22を含んでいる。
The
図2は、記憶装置50に記憶されているサンプル電子文書データ51を、印刷、スキャンすることで得られる画像例を示す図である。文書内に、一連の文字列が3つ含まれている。このサンプル電子文書データ51をスキャンした画像(図2)に対してOCRによる文字認識を行い、基のサンプル電子データ51と比較することで、OCR処理後に発生する誤認識文字を把握するのが目的である(図7)。
FIG. 2 is a diagram illustrating an example of an image obtained by printing and scanning the sample
図3は、記憶装置50に含まれるOCR後サンプル文書データ52の例を示す図である。図2の画像に対してOCRが適用された結果を示している。一部の文字には誤認識が発生している。
FIG. 3 is a diagram illustrating an example of the post-OCR sample document data 52 included in the
図4は、記憶装置50に含まれる日本語辞書データ54の例を示す図である。一般的に使用される日本語の単語が多数登録されている。品詞、自立語・付属語の種別、基本形、読み方、活用の種類等の情報が含まれる。これらの情報は、後述の解析処理で用いる。具体的には、解析時に、日本語辞書データ内の活用形も含めていずれかの単語と、OCR後文字列が、部分的に一致するか否かで、誤認識パターンに登録するか否かを決定するために用いる。活用の種類等の情報を登録することで、活用パターンのいずれかとOCR後文字列が一致した場合であっても、誤認識パターンに登録することを可能とするためである。
FIG. 4 is a diagram illustrating an example of
図5は、記憶装置50に含まれる業務単語辞書データ55の例を示す図である。業務等で使用される単語(名詞)が多数登録されている。ただし、登録する単語は名詞に限らず、また、品詞、自立語・付属語の種別、基本形、読み方、活用の種類等の情報を含ませても良い。
FIG. 5 is a diagram illustrating an example of the business
図7は、データメモリ20に含まれる文字列比較データ21の例を示す図であり、サンプル電子データ51及びOCR後サンプル文書データ52から切り分けた文字列を比較した結果を表している。文字列を構成する文字を比較した結果、同一文字であった場合には誤認識フラグが「0」に設定され、異なった文字であった場合には誤認識フラグが「1」に設定されている。
FIG. 7 is a diagram illustrating an example of the character
図9は、データメモリ20に含まれる誤認識パターン候補データ22の例を示す図であり、図2及び図3のデータについての誤認識パターンの出力結果を表している。図中の正解文字列は、サンプル電子文書データ51から切り分けた文字列である。また、誤認識文字列は、OCR後サンプル文書データ52から切り分けた、正解文字列に対応する文字列である。OCR後サンプル文書データ内の誤認識パターンはまとまった意味を表す単位ごとに誤認識文字列として出力され、誤認識文字列に対応する文字列はサンプル電子文書データ51から正解文字列として出力される。
FIG. 9 is a diagram illustrating an example of the erroneous recognition pattern candidate data 22 included in the
<誤認識パターン収集装置における処理>
次に、上述の構成を有する誤認識パターン収集装置内の中央処理装置10において行われる処理の概要について説明する。
<Processing in wrong recognition pattern collection device>
Next, an outline of processing performed in the
まず、マッチング処理部41は、サンプル電子文書データ51とOCR後サンプル文書データ52を読みこみ、それぞれのデータにおける対応する文字の認識と、当該文字の誤認識の判定を行う。その結果を文字列比較データ21としてデータメモリ20に格納する。
First, the matching
次に解析処理部42は、サンプル電子文書データ51と単語辞書データ54を読み込み、サンプル電子文書データ51内に、単語辞書データ54に登録されている単語が含まれていれば、当該単語の単位に文字列を区切る。次に、文字列比較データ21を読みこみ、区切られた単語単位に誤認識パターンを算出し、誤認識パターン候補データ22としてデータメモリ20に格納する。
Next, the
次にフィルタリング処理部43は、誤認識パターン候補データ22を読み込み、不要な誤認識パターンを削除する。そして誤認識パターンデータ53として記憶装置50に格納する。
それぞれの処理について、以下詳細に説明する。
Next, the
Each process will be described in detail below.
<マッチング処理>
ここでは、サンプル電子文書データ51とOCR後サンプル文書データ52とから文字列を切り分け、切り分けたそれぞれの文字列同士を比較単位とし、文字列を構成する文字ごとに誤認識の判定を行う。
<Matching process>
Here, a character string is cut out from the sample
図6は、マッチング処理の概要を示すフローチャートである。
まず、マッチング処理部41は、サンプル電子文書データ51と、OCR後サンプル文書データ52を読み込み、対応する文書のペアについて以下の処理を行う(ステップ601)。
FIG. 6 is a flowchart showing an outline of the matching process.
First, the matching
選択したサンプル電子文書データ51とOCR後サンプル文書データのペアについて、まずまとまった文字列単位に切り分ける(ステップ602)。図2及び図3の例では、「日△ソフトウェア株式会社殿」と「目△ソフトウア秩式会社殿」、「納品書」と「糸内晶書」、「平成21年6月25日」と「平成21年6月25日」がそれぞれまとまった文字列として対応している。文字列の対応付けは、例えば文字の座標情報を利用することで可能である。
The pair of the selected sample
次に、サンプル電子文書データ51から切り分けた文字列を正解文字列として、すべての正解文字列に含まれる全文字に対して、以下の処理を行う(ステップ603、604)。
Next, the following processing is performed on all the characters included in all the correct character strings using the character strings cut out from the sample
正解文字列を、OCR後サンプル文書データの対応する文字列(OCR後文字列)と比較する(ステップ605)。比較は、正解文字列を構成する個々の文字ごとに、OCR後文字列を構成する個々の文字が正しく対応しているか、整合性を確認する。尚、文字の対応付けはDPマッチング(Dynamic Programming Matching)等の一般的な文字列マッチング手法により可能である。図7は、比較結果を示している。 The correct character string is compared with the corresponding character string (character string after OCR) of the sample document data after OCR (step 605). In the comparison, for each individual character constituting the correct character string, consistency is confirmed as to whether the individual characters constituting the post-OCR character string correspond correctly. Characters can be associated by a general character string matching method such as DP matching (Dynamic Programming Matching). FIG. 7 shows the comparison results.
比較の結果、同一文字であった場合には誤認識フラグが「0」に設定され(ステップ607)、異なった文字であった場合には誤認識フラグが「1」に設定される(ステップ608)。なお、正解文字列に含まれる文字が、OCR後文字列内に存在しない場合(例えば図7の「ェ」)は、当該正解文字の誤認識フラグを「1」に設定する。また、正解文字に対応するOCR後文字が複数であった場合(例えば図7の「ネ土」)は、当該正解文字一つにつき誤認識フラグを「1」に設定する。このような処理を、全文字に対して行う。 As a result of comparison, if the characters are the same, the misrecognition flag is set to “0” (step 607). If the characters are different, the misrecognition flag is set to “1” (step 608). ). If the character included in the correct character string does not exist in the character string after OCR (for example, “e” in FIG. 7), the erroneous recognition flag of the correct character is set to “1”. Further, when there are a plurality of post-OCR characters corresponding to the correct character (for example, “Ne” in FIG. 7), the erroneous recognition flag is set to “1” for each correct character. Such processing is performed for all characters.
最終的に得られたデータを、文字列比較データ21としてデータメモリ20に格納する(ステップ609)。
The finally obtained data is stored in the
<解析処理>
ここでは、正解文字列を所定の単語単位に切り分け、切り分けた単語のうち上述のマッチング処理で誤認識フラグが1と判定された文字を含む単語を誤認識パターン候補として登録する。
<Analysis processing>
Here, the correct character string is segmented into predetermined word units, and among the segmented words, words including characters whose erroneous recognition flag is determined to be 1 by the above-described matching processing are registered as erroneous recognition pattern candidates.
図8は、解析処理の概要を示すフローチャートである。 FIG. 8 is a flowchart showing an outline of the analysis process.
解析処理部42は、マッチング処理部で得られた文字列比較データを読み込み、すべての文字列比較データについて以下の処理を行う(ステップ801)。
The
まず、正解文字列を所定の単語単位に切り分ける(ステップ802)。具体的には、正解文字列内に、日本語辞書データあるいは業務単語辞書データに登録された単語が含まれていれば、その単語単位に切り分ける。切り分けた単語に、さらに辞書登録単語が存在する場合は、全単語を別々に切り分ける。例えば、図2の正解文字列である「納品書」は、「納品書」にも切り分けられるし、さらに「納品」にも切り分けられる。 First, the correct character string is cut into predetermined word units (step 802). Specifically, if a word registered in the Japanese dictionary data or the business word dictionary data is included in the correct character string, the correct character string is divided into the word units. If there are more dictionary registered words in the cut words, all the words are cut separately. For example, the “delivery note” which is the correct character string in FIG. 2 is divided into “delivery note” and further “delivery”.
次に、切り分けた全単語に対して次の処理を行う(ステップ803)。文字列比較データを参照し、切り分けた単語中に誤認識フラグが「1」と判定された文字が含まれていれば、その単語を正解文字列の該当する単語と共に誤認識パターン候補としてデータメモリ20に登録する。例えば、図7において「納品書」に含まれる単語「納品」と「納品書」は、いずれも誤認識フラグが「1」を含む。したがって、「納品」と「糸内品」、「納品書」と「糸内品書」をそれぞれ誤認識パターン候補として登録する。このようにして、全単語についてステップ804の処理を行う。図9は、図2及び図3のデータに対して、得られた誤認識パターン候補の例を示す図である。
Next, the following processing is performed on all the cut words (step 803). If a character whose error recognition flag is determined to be “1” is included in the segmented word with reference to the character string comparison data, the word is used as a misrecognition pattern candidate along with the corresponding word in the correct character string. 20 to register. For example, in FIG. 7, the words “delivery” and “delivery note” included in “delivery note” both include the erroneous recognition flag “1”. Accordingly, “delivery” and “in-yarn product”, “delivery note” and “in-yarn product” are registered as erroneous recognition pattern candidates. In this way, the process of
<フィルタリング処理部>
ここでは、日本語辞書データ及び業務辞書データに登録された別の単語と部分一致または完全一致する単語は、誤認識パターン候補から削除される。
<Filtering processing part>
Here, a word that partially or completely matches another word registered in the Japanese dictionary data and the business dictionary data is deleted from the erroneous recognition pattern candidate.
図10は、フィルタリング処理部の概要を示すフローチャートである。フィルタリング処理部43は、解析処理部で得られた誤認識パターン候補データを読み込み、すべての誤認識パターン候補について以下の処理を行う(ステップ1001)。
FIG. 10 is a flowchart showing an outline of the filtering processing unit. The
上述の解析処理により登録された誤認識パターン候補の誤認識文字列を、日本語辞書データ及び業務辞書データの各単語と比較し、部分一致または完全一致するか否かを判定する(ステップ1002)。例えば、「目立」という文字列は、日本語の「目立つ」という単語と部分一致する。このような別の単語と部分一致または完全一致する単語は、誤認識パターンとして登録してはならない。なぜならば、このような単語を誤認識パターンとして登録してしまうと、誤認識された単語のみならず、正しく認識された別の単語までも誤認識と判断され、誤変換の原因となるからである。このような理由により、別の単語と部分一致または完全一致する単語は、誤認識パターン候補から削除する(ステップ1003)。例えばある文書内において、「目立」を「日立」に一律変換してしまうと、「目立つ」のような文字列が「日立つ」という文字列に誤変換されてしまう。フィルタリング処理により、不要なパターンを削除することによりこのような誤変換を防ぐことができる。このようにして、登録されているすべての誤認識パターン候補についてフィルタリング処理を行う。図9の例では、「目立」が、日本語辞書データ及び業務辞書データに登録された「目立つ」と部分一致するため、「目立」と「日立」のペアは誤認識パターン候補から削除される。なお、「日△ソフトウア」は「日△ソフトウェア」と部分一致しない。ここで言う部分一致とは、日本語辞書データ及び業務辞書データ内の単語の中に、誤認パターン候補の文字列が完全に含まれることを意味する。「日△ソフトウェア」内に「日△ソフトウア」は完全には含まれていないので、「日△ソフトウア」は誤認パターン候補から削除されない。「糸内晶書」と「納品書」についても同様である。逆に、「目立つ」の中に「目立」は完全に含まれているので、「目立」は誤認パターン候補から削除する。 The misrecognized character string of the misrecognized pattern candidate registered by the above-described analysis processing is compared with each word of the Japanese dictionary data and the business dictionary data to determine whether or not a partial match or a complete match (step 1002). . For example, a character string “conspicuous” partially matches a Japanese word “conspicuous”. Such a word that partially or completely matches another word must not be registered as a misrecognition pattern. This is because if such a word is registered as a misrecognition pattern, not only a misrecognized word but also another correctly recognized word is judged to be misrecognized, which causes misconversion. is there. For this reason, a word that partially matches or completely matches another word is deleted from the erroneous recognition pattern candidate (step 1003). For example, in a document, if “conspicuous” is uniformly converted to “Hitachi”, a character string such as “conspicuous” is erroneously converted to a character string “conspicuous”. Such erroneous conversion can be prevented by deleting unnecessary patterns by filtering. In this way, the filtering process is performed for all registered erroneous recognition pattern candidates. In the example of FIG. 9, “conspicuous” partially matches “conspicuous” registered in the Japanese dictionary data and business dictionary data, so the pair of “conspicuous” and “Hitachi” is deleted from the erroneous recognition pattern candidates. Is done. “Date / Software” does not partially match “Date / Software”. The partial match mentioned here means that the character string of the misidentification pattern candidate is completely included in the words in the Japanese dictionary data and the business dictionary data. Since “date Δ software” is not completely included in “date Δ software”, “date Δ software” is not deleted from the misidentification pattern candidates. The same applies to “Intra-Inner Crystal” and “Invoice”. On the contrary, since “conspicuous” is completely included in “conspicuous”, “conspicuous” is deleted from the misidentified pattern candidates.
次に、フィルタリング後の誤認識パターン候補の確認画面が表示される(ステップ1004)。図11は、確認画面の例を示す図である。誤認識文字列と正解文字列のペア、識別番号、登録するか否かを指定するチェックボックスが、誤認識パターン候補毎に含まれる。ユーザは最終的に登録する誤認識パターンを、チェックボックスにチェックするか否かによって選択できる。登録すべき誤認識パターンをすべて選択後、「OK」ボタンを押下することで、該当する誤認識パターン候補データが、誤認識パターンデータ53として記憶装置50に格納される。ユーザの了承が得られなかった場合は、「キャンセル」を押下することで処理をキャンセルすることができる。
Next, a confirmation screen for erroneous recognition pattern candidates after filtering is displayed (step 1004). FIG. 11 is a diagram illustrating an example of a confirmation screen. A misrecognition character string / correct answer character string pair, an identification number, and a check box for specifying whether to register are included for each misrecognition pattern candidate. The user can select the erroneous recognition pattern to be finally registered depending on whether or not the check box is checked. After selecting all the erroneous recognition patterns to be registered, the corresponding OK recognition pattern candidate data is stored in the
<まとめ>
本実施形態では、サンプル電子文書データ51とOCR後サンプル文書データ52に含まれる文字列を切り分け、それぞれから切り分けた正解文字列とOCR後文字列とを比較単位とし、誤認識の判定を行う。次に、正解文字列を所定の単語単位に切り分け、切り分けた単語のうち上述のマッチング処理で誤認識フラグが1と判定された文字を含む単語を誤認識パターン候補として登録する。最後に、日本語辞書データ及び業務辞書データに登録された別の単語と部分一致または完全一致する単語は、誤認識パターン候補から削除する。
<Summary>
In the present embodiment, character strings included in the sample
このような処理を実行することにより、OCR適用時の誤認識パターンを自動的に収集することができる。また、収集した誤認識パターンをフィルタリングすることで、正しい文字列まで置換を行ってしまうという過学習を防止できる。これらの結果として、ユーザの技量に依らず均質な置換辞書を作成することが可能となり、ユーザによる置換辞書作成コストを大幅に削減することができる。 By executing such processing, it is possible to automatically collect misrecognition patterns when OCR is applied. Moreover, it is possible to prevent overlearning that a correct character string is replaced by filtering the collected erroneous recognition patterns. As a result, a uniform replacement dictionary can be created regardless of the skill of the user, and the cost of creating a replacement dictionary by the user can be greatly reduced.
また、本実施形態では、マッチング処理部は、正解文字列を構成する文字ごとに、OCR後文字列を対比させて誤認識フラグを設定することで、誤認識の判定を行う。 Moreover, in this embodiment, a matching process part performs misrecognition determination by setting the misrecognition flag for each character which comprises a correct character string by contrasting the character string after OCR.
さらに、マッチング処理部は、正解文字列を構成する文字がOCR後文字列内に存在しない場合は、正解文字列を構成する文字の誤認識フラグを「1」に設定し、正解文字に対応するOCR後文字が複数ある場合は、正解文字列を構成する文字一つの誤認識フラグを「1」に設定する。 Further, when the character constituting the correct character string does not exist in the character string after OCR, the matching processing unit sets the erroneous recognition flag of the character constituting the correct character string to “1” to correspond to the correct character. If there are a plurality of characters after OCR, the misrecognition flag of one character constituting the correct character string is set to “1”.
その後、解析処理部は、記憶装置に格納された日本語の単語が登録された日本語辞書データ及び業務で使用される単語が登録された業務単語辞書データに含まれる単語単位に、正解文字列を切り分け、誤認識パターン候補から削除する。 Thereafter, the analysis processing unit corrects the correct character string in units of words included in the Japanese dictionary data in which the Japanese words stored in the storage device are registered and the business word dictionary data in which the words used in the business are registered. Are removed from the erroneous recognition pattern candidates.
このような処理を実行することにより、単語単位で置換辞書へ登録ができ、しかも過学習の起きる可能性のある単語が置換辞書へ登録されることを防止できる。文字単位で置換辞書へ登録すると過学習が頻発するため、一部の文字を除き、原則として文字単位では置換辞書へ登録することができない。たとえば、「日」が「目」として誤認識されるからといって置換辞書へ登録すれば、「目」を含む単語全てが「日」に置換されてしまうからである。 By executing such processing, it is possible to register in the replacement dictionary in units of words and to prevent registration of words that may cause overlearning in the replacement dictionary. Since overlearning frequently occurs when registering in the replacement dictionary in units of characters, in principle, it is impossible to register in the replacement dictionary in units of characters except for some characters. For example, if “day” is misrecognized as “eyes” and it is registered in the replacement dictionary, all the words including “eyes” are replaced with “days”.
本実施形態では、誤認識された文字を含む単語単位で誤認識パターンを把握し、該誤認識パターンを置換辞書へ登録するため、過学習を抑制することができる。しかも、把握された誤認識パターンの中でも、別の単語への過学習が起きる可能性のある誤認識パターンは削除され、置換辞書への登録が防止されるため、より過学習を抑制することができる。 In this embodiment, since the misrecognition pattern is grasped in units of words including the misrecognized character and the misrecognition pattern is registered in the replacement dictionary, overlearning can be suppressed. Moreover, among the recognized misrecognition patterns, misrecognition patterns that may cause overlearning to other words are deleted, and registration to the replacement dictionary is prevented, so that overlearning can be further suppressed. it can.
なお、本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、CD−ROM、DVD−ROM、ハードディスク、光ディスク、光磁気ディスク、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどが用いられる。 The present invention can also be realized by a program code of software that realizes the functions of the embodiments. In this case, a storage medium in which the program code is recorded is provided to the system or apparatus, and the computer (or CPU or MPU) of the system or apparatus reads the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the program code itself and the storage medium storing the program code constitute the present invention. As a storage medium for supplying such program code, for example, a flexible disk, CD-ROM, DVD-ROM, hard disk, optical disk, magneto-optical disk, CD-R, magnetic tape, nonvolatile memory card, ROM Etc. are used.
また、プログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのCPUなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。 Also, based on the instruction of the program code, an OS (operating system) running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing. May be. Further, after the program code read from the storage medium is written in the memory on the computer, the computer CPU or the like performs part or all of the actual processing based on the instruction of the program code. Thus, the functions of the above-described embodiments may be realized.
また、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はCD-RW、CD-R等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ(又はCPUやMPU)が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。 Also, by distributing the program code of the software that realizes the functions of the embodiment via a network, the program code is stored in a storage means such as a hard disk or memory of a system or apparatus, or a storage medium such as a CD-RW or CD-R And the computer of the system or apparatus (or CPU or MPU) may read and execute the program code stored in the storage means or the storage medium when used.
10・・・中央処理装置
20・・・データメモリ
21・・・文字列比較データ
22・・・誤認識パターン候補データ
30・・・入出力装置
31・・・キーボード
32・・・表示装置
33・・・ポインティングデバイス
34・・・スキャナ
40・・・誤認識パターン収集プログラム
41・・・マッチング処理部
42・・・解析処理部
50・・・記憶装置
51・・・サンプル電子文書データ
52・・・OCR後サンプル文書データ
53・・・誤認識パターンデータ
54・・・日本語辞書データ
55・・・業務単語辞書データ
56・・・訂正後電子文書データ
DESCRIPTION OF
Claims (4)
業務文書を画像化したサンプル電子文書データから切り分けた正解文字列と、前記サンプル電子文書データに対してOCRを行った結果得られるOCR後サンプル文書データから切り分けたOCR後文字列と、を比較単位とし、誤認識の判定を行うマッチング処理部と、
前記正解文字列を所定の単語単位に切り分け、該切り分けた単語のうち前記マッチング処理部で誤認識と判定された文字を含む単語を誤認識パターン候補として登録する解析処理部と、
記憶装置に格納された日本語の単語が登録された日本語辞書データ及び業務で使用される単語が登録された業務単語辞書データに含まれる単語と部分一致または完全一致する単語を前記誤認識パターン候補から削除してフィルタリングし、該フィルタリング後の誤認識パターン候補を誤認識パターンとして前記記憶装置へ格納するフィルタリング処理部と、
を備えることを特徴とする文書処理装置。 A document processing apparatus that automatically generates a replacement dictionary for correcting an OCR misrecognized character string,
A correct character string cut out from sample electronic document data obtained by imaging a business document and a post-OCR character string cut out from post-OCR sample document data obtained as a result of performing OCR on the sample electronic document data And a matching processing unit for determining misrecognition,
An analysis processing unit that divides the correct character string into predetermined word units and registers a word including a character that is determined to be erroneously recognized by the matching processing unit among the divided words as an erroneous recognition pattern candidate;
A word that partially or completely matches a word included in Japanese dictionary data in which a Japanese word stored in a storage device is registered and a business word dictionary data in which a word used in a business is registered Filtering by deleting from the candidate, filtering, and storing the erroneous recognition pattern candidate after the filtering in the storage device as an erroneous recognition pattern;
A document processing apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009262114A JP5357711B2 (en) | 2009-11-17 | 2009-11-17 | Document processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009262114A JP5357711B2 (en) | 2009-11-17 | 2009-11-17 | Document processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011107966A JP2011107966A (en) | 2011-06-02 |
JP5357711B2 true JP5357711B2 (en) | 2013-12-04 |
Family
ID=44231363
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009262114A Expired - Fee Related JP5357711B2 (en) | 2009-11-17 | 2009-11-17 | Document processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5357711B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7271987B2 (en) * | 2019-02-14 | 2023-05-12 | 富士フイルムビジネスイノベーション株式会社 | Information processing device and program |
JP7268389B2 (en) * | 2019-02-15 | 2023-05-08 | 富士フイルムビジネスイノベーション株式会社 | Information processing device and program |
JP7287659B2 (en) * | 2019-05-17 | 2023-06-06 | Necソリューションイノベータ株式会社 | Matching support device, matching support method, program, and recording medium |
JP7387363B2 (en) * | 2019-09-30 | 2023-11-28 | キヤノン株式会社 | Data input support device, data input support method and program |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09208647A (en) * | 1996-02-05 | 1997-08-12 | Toagosei Co Ltd | Paper coating agent |
JP3349699B2 (en) * | 2001-01-31 | 2002-11-25 | 株式会社アジャスト | Document reading device and document reading processing program |
JP4750476B2 (en) * | 2005-06-07 | 2011-08-17 | キヤノン株式会社 | Document retrieval apparatus and method, and storage medium |
JP2008225695A (en) * | 2007-03-09 | 2008-09-25 | Fuji Xerox Co Ltd | Character recognition error correction device and program |
JP5060334B2 (en) * | 2008-02-15 | 2012-10-31 | 日本放送協会 | Character recognition device, character recognition program, and character learning method and character recognition method in character recognition device |
-
2009
- 2009-11-17 JP JP2009262114A patent/JP5357711B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011107966A (en) | 2011-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8908971B2 (en) | Devices, systems and methods for transcription suggestions and completions | |
JP4347677B2 (en) | Form OCR program, method and apparatus | |
US20110280481A1 (en) | User correction of errors arising in a textual document undergoing optical character recognition (ocr) process | |
JP2010157107A (en) | Business document processor | |
JP2011065370A (en) | Pattern recognition method, character recognition method, pattern recognition program, character recognition program, pattern recognition apparatus and character recognition apparatus | |
JP5357711B2 (en) | Document processing device | |
JP5154886B2 (en) | Music score recognition apparatus and computer program | |
KR101016544B1 (en) | Word recognition method and recording medium | |
JP5669041B2 (en) | Document processing apparatus and document processing method | |
JP7021496B2 (en) | Information processing equipment and programs | |
CN108875570B (en) | Information processing apparatus, storage medium, and information processing method | |
US20220207900A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP4518212B2 (en) | Image processing apparatus and program | |
JP4347675B2 (en) | Form OCR program, method and apparatus | |
US11972208B2 (en) | Information processing device and information processing method | |
JP7271987B2 (en) | Information processing device and program | |
JP4517822B2 (en) | Image processing apparatus and program | |
JP6768750B2 (en) | Learning method, error judgment method, learning system, error judgment system, and program | |
JP3930466B2 (en) | Character recognition device, character recognition program | |
JP6260350B2 (en) | Image processing apparatus and image processing program | |
JP2020047031A (en) | Document retrieval device, document retrieval system and program | |
JP2015032239A (en) | Information processor and information processing program | |
JP3954247B2 (en) | Document input method, recording medium recording document input program, and document input device | |
JP2005004395A (en) | Business form, method and program for form processing, recording medium where form processing program is recorded, and form processing apparatus | |
JP2007066098A (en) | Form recognition device, method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120720 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130813 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130830 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |