JP4299977B2 - Recognition result correcting apparatus, recognition result correcting method, and recording medium - Google Patents
Recognition result correcting apparatus, recognition result correcting method, and recording medium Download PDFInfo
- Publication number
- JP4299977B2 JP4299977B2 JP2001077278A JP2001077278A JP4299977B2 JP 4299977 B2 JP4299977 B2 JP 4299977B2 JP 2001077278 A JP2001077278 A JP 2001077278A JP 2001077278 A JP2001077278 A JP 2001077278A JP 4299977 B2 JP4299977 B2 JP 4299977B2
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- item
- representative value
- order
- recognition result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Character Discrimination (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、文字認識処理結果に対する認識結果修正装置、認識結果修正方法および記録媒体に関し、特に、大量の文書を文字認識したとき、その認識結果の修正に関する。
【0002】
【従来の技術】
一般に、文書などの画像イメージを文字認識すると、認識できない文字があったり、文字を誤認識したりする。このため、文字認識処理システムでは、読み取った画像イメージと認識結果とをディスプレイ等の表示装置に対応表示させて、1枚1枚認識結果を確認しながら作業を行うことも少量の原稿の場合には可能だが、大量の原稿を入力する場合には、認識が終了する度に1枚1枚認識結果を確認するのでは、非常に作業効率が悪い。
従って、その場合は、バッチ処理的に認識だけを先に行い、後でまとめて認識結果を修正する方法がとられる。このように、後でまとめて認識結果を修正する場合、作業効率を向上させるために、認識結果とその文字の画像上の位置(座標値)を画像と関連付けて、認識結果の文字コード単位に記憶させる方法を採用することにより、認識結果修正時の誤認文字の発見と修正を容易にすることが可能になる。
【0003】
【発明が解決しようとする課題】
このような問題点を解決するために、特開平6−162253号公報の技術では、誤認識された文字や認識できなかった文字の数が予め設定されている設定値より大きいか否かを判定し、誤認識された文字や認識できなかった文字の数が予め設定されている設定値より小さい場合は、誤認識された文字や認識できなかった文字のイメージデータを表示して修正させ、設定値より大きい場合は、誤認識された文字や認識できなかった文字が記入されている帳票のイメージデータを表示して認識結果を修正させている。
しかしながら、このような修正方法では、結局、入力した全ての原稿をチェックする必要が出てくる。例えば、大量の帳票(N枚とする)の文字認識を処理した場合を想定し、更に、3枚目と途中のn枚目と最後のN枚目に誤認識が含まれているとすると、ユーザーは、どこの認識結果に誤認識が含まれているのかが分からないので、結局、1枚目から最後のN枚目までを対象として認識結果を確認することになる。
帳票単位で90%以上の認識率が得られていると仮定すると、この場合は、飛び飛びに散らばっている10%の誤認識を含む認識結果のために、残りの90%の誤認識を含まない認識結果を確認しなければならないことになる。
従って、どこに誤認識が含まれているのか分からないことが、ユーザーを不安にさせ、作業効率を低下させることになる。
本発明は、このような問題を解決するためのものであり、文字認識処理において、大量の帳票のような文書を一度に文字認識するとき、その認識結果を修正する作業効率を向上させる認識結果修正装置、認識結果修正方法および記録媒体を提供することを目的とする。
【0004】
【課題を解決するための手段】
上記の問題を解決するために、本発明の請求項1は、1つ以上の認識項目を含む帳票を画像データとして複数枚入力した画像の前記各帳票内の各認識項目中の文字の認識結果と確からしさの情報を求める文字認識装置において、前記認識結果の確からしさの情報から前記各帳票内の各認識項目の代表値を求める代表値計算手段と、前記帳票内の各認識項目の認識結果を修正する優先順位を指示する優先順位指示手段と、該優先順位指示手段で指示された優先順位にしたがって、前記代表値計算手段で求められた各認識項目の代表値をもとに、認識結果を修正する帳票の順番を決定する修正順序決定手段と、を備え、前記修正順序決定手段は、前記優先順位指示手段で指示された認識項目の優先順位をソートキーの優先順位とし、当該認識項目の代表値でソートすることによって修正する帳票の順番を決定し、同じ値の代表値が複数存在する場合は、同じ代表値を持つ帳票について、次の優先順位の認識項目の代表値でソートすることによって、修正する帳票の順番を決定するようにしたことを特徴とする。
また、本発明の請求項2は、1つ以上の認識項目を含む帳票を画像データとして複数枚入力した画像の前記各帳票内の各認識項目中の文字の認識結果と確からしさの情報を求める文字認識装置において、前記認識結果の確からしさの情報から前記各帳票内の各認識項目の代表値を求める代表値計算手段と、前記帳票内の各認識項目の認識結果を修正する優先順位を指示する優先順位指示手段と、該優先順位指示手段で指示された優先順位にしたがって、前記代表値計算手段で求められた各認識項目の代表値をもとに、認識結果を修正する帳票の順番を決定する修正順序決定手段と、を備え、前記修正順序決定手段は、前記優先順位指示手段で指示された認識項目の優先順位をソートキーの優先順位とし、当該認識項目の代表値でソートすることによって修正する帳票の順番を決定し、同じ値の代表値が複数存在する場合は、同じ代表値を持つ帳票について、前記認識項目の他の代表値でソートすることによって、修正する帳票の順番を決定するようにしたこと特徴とする。
【0005】
また、本発明の請求項3は、請求項1又は2に記載の認識結果修正装置において、前記代表値計算手段は、前記認識項目内の各文字の確からしさ情報の最小値および/または平均値を代表値として計算するようにしたことを特徴とする。
また、本発明の請求項4は、請求項1乃至3の何れか一項に記載の認識結果修正装置において、修正対象となる認識項目の代表値の推移と現在修正している帳票との関係を表示する状態表示手段を備えることを特徴とする。
また、本発明の請求項5は、1つ以上の認識項目を含む帳票を画像データとして複数枚入力した画像の前記各帳票内の各認識項目中の文字の認識結果と確からしさの情報を求める文字認識方法において、前記認識結果の確からしさの情報から前記各帳票内の各認識項目の代表値を求め、前記帳票内の各認識項目の認識結果を修正する優先順位を指示し、指示された優先順位をソートキーの優先順位とし、該認識項目の代表値をソートすることによって修正する帳票の順番を決定し、同じ値の代表値が複数存在する場合は、同じ代表値を持つ帳票について、次の優先順位の認識項目の代表値でソートすることによって、修正する帳票の順番を決定するようにしたことを特徴とする認識結果修正方法。
【0006】
また、本発明の請求項6は、1つ以上の認識項目を含む帳票を画像データとして複数枚入力した画像の前記各帳票内の各認識項目中の文字の認識結果と確からしさの情報を求める文字認識方法において、前記認識結果の確からしさの情報から前記各帳票内の各認識項目の代表値を求め、前記帳票内の各認識項目の認識結果を修正する優先順位を指示し、指示された優先順位をソートキーの優先順位とし、該認識項目の代表値をソートすることによって修正する帳票の順番を決定し、同じ値の代表値が複数存在する場合は、同じ代表値を持つ帳票について、前記認識項目の他の代表値でソートすることによって、修正する帳票の順番を決定するようにした認識結果修正方法を特徴とする。
また、本発明の請求項7は、請求項5又6に記載の認識結果修正方法において、前記認識結果修正装置は、状態表示手段を備え、前記状態表示手段が、修正対象となる認識項目の代表値の推移と現在修正している帳票との関係を表示するステップを有することを特徴とする。
また、本発明の請求項8は、請求項1乃至4の何れか一項に記載の認識結果修正装置の機能を実現させるためのプログラムを記録したことを特徴とするコンピュータで読み込み可能な記録媒体を特徴とする。
【0007】
【発明の実施の形態】
以下に、図面を用いて本発明の実施例の構成および動作を詳細に述べる。
<実施例>
(1)構成
図1は、本発明の一実施例である文字認識装置の構成をあらわすブロック図である。
実施例の文字認識装置は、制御手段10、項目設定手段20、画像入力手段30、文字認識手段40、代表値計算手段50、優先順位指示手段60、修正順位決定手段70、状況表示手段80項目設定記憶手段25、結果記憶手段45から構成されている。
制御手段10は、文書(帳票)に設定された認識項目の領域の指示、その領域に対して文書画像の入力から文字認識結果の修正までの全体の機能手段を制御する。
項目設定手段20は、以後に読み込まれる大量の文書(帳票)上の認識項目がどこに設定されているかを、帳票の雛型をスキャナー等の画像入力装置で読み込み、これをディスプレイ等の表示装置へ表示させ、ユーザーにマウス等でその領域を指定させる。この指定された領域は、認識項目ごとに項目設定記憶手段25へ登録される。
【0008】
項目設定記憶手段25は、図2に示すように、ユーザーが指定した帳票の雛型に設定された認識項目ごとに、認識項目名、その領域の位置座標、高さ、幅、優先順位を保持する。
その他の項目としては、その項目に関する領域の属性(入力される文字タイプ、フォント、色、セキュリティ)が考えられる。
画像入力手段30は、大量の文書(帳票)をスキャナー、複写機等の画像入力装置から画像データとして直接読み込む。
または、文書を画像入力装置から読み込んでファイルとして記憶装置へ書き込んでおき、このファイルから読み込むようにしてもよい。
文字認識手段40は、画像入力手段30で得た1枚ごとの画像データより、項目設定記憶手段25に設定された認識領域ごとに個々の文字画像が切り出され、大きさが正規化され、この正規化された文字画像の特徴量を抽出し、この特徴量と認識辞書との比較を行ない、認識の確からしさとしての確信度が大きい順に一定個数の候補文字を求め、候補文字とその確信度とを認識結果として、結果記憶手段45に登録する。
尚、各文字の確からしさを求める方法は、特開平4−211883号公報の技術によって求められる。
【0009】
結果記憶手段45は、図3に示すように、帳票ヘッダー、代表値表、候補文字表からなっている。
帳票ヘッダーは、1つの帳票に対して1つのエントリを持っており、その1つのエントリは次の項目を有している。
(A)番号
帳票が入力され、帳票の文字認識が開始されるときにカウントアップされ、ここに設定される。
(B)順序
認識された各帳票の候補文字列を修正するとき、どの帳票から修正するのかを示す順序を示し、修正順位決定手段70によって設定される。
(C)画像データへのポインタ
画像入力手段30で入力された画像イメージを格納するファイルへのポインタであって、文字認識手段40および文字認識結果を修正するときの元情報として表示される。
(D)代表値表へのポインタ
帳票中の認識項目に関する代表値等の情報を保持する代表値表へのポインタであり、代表値に関しては代表値計算手段50によって設定される。
【0010】
代表値表は、1つの帳票中の認識項目ごとに、次の項目を有するエントリを持っている。
(A)代表値1
この認識項目における文字列中の各文字の確信度のうち最小の値である。
(B)代表値2
この認識項目における文字列中の各文字の確信度の平均値である。
(C)文字数
この認識項目における文字列の文字数である。文字認識手段40で設定される。
(D)候補文字へのポインタ
認識項目の画像領域の認識結果を表す候補文字へのポインタであって、文字認識手段40で、認識された候補文字を登録するときに作成される。
候補文字表は、この領域中の各文字画像に対して、認識結果の候補文字(文字コード)とその確信度とを確信度の大きい方から10位までを保持する。この候補文字表は、文字認識手段40で設定される。
【0011】
代表値計算手段50は、各帳票ごとに、各認識項目の代表値を次のように計算して、結果記憶手段45へ登録する(図3参照)。
(A)認識項目内の各文字の1位の候補文字の確信度(確からしさ)の最小値とする。
1項目に存在する全文字の中で、最小の確信度を代表値とする。この代表値は確信度が低い程、認識結果が信頼できず、確信度が高い程、認識結果を信頼できることを示している。
例えば、図2を参照すると、帳票中の認識項目AからFに対して、それらの含まれている各文字に対する認識候補文字の確信度の最小値を代表値とする。この例では、認識項目Aに対して6文字が認識され、それらの各文字の確信度を見ると、4文字目の確信度20が最小値である。従って、認識項目Aの代表値を20とする。
(B)認識項目内の各文字の1位の候補文字の確信度(確からしさ)の平均値とする。
1項目に存在する全文字の確信度の平均値とする。
例えば、図3を参照すると、帳票中の認識項目AからFに対して、それらの含まれている各文字に対する認識候補文字の確信度の平均値を代表値とする。この例では、認識項目Aに対して6文字が認識され、それらの各文字の確信度の平均をとると、71である。従って、認識項目Aの代表値を71とする。
優先順位指示手段60は、帳票中の認識項目の内、どの項目が重要なものであるかの優先順位を指示する。これは項目設定記憶手段25に登録されている認識項目の項目名、領域位置等を表示させて、ユーザーが指示し、その順番を項目設定記憶手段20へ登録する。
例えば、通常、帳票内には幾つかの認識項目(例えば、帳票ID、金額欄、氏名、ふりがな、備考欄等)があり、それぞれ求められる認識精度が異なっている。
帳票ID等のように検索時のキーワードとなる項目や金額欄等のような重要な項目は、高い認識精度が要求されるが、備考欄等のような項目は、それほど高い認識精度は要求されない。従って、どのような順番で各認識項目を修正するべきか、その優先順位をユーザーに指定させる。
【0012】
この優先順位は、修正順位決定手段70で代表値をソートするとき、どの帳票の認識結果から修正したらよいかを決めるときのソートキーの優先順位と一致する。
例えば、認識項目にA,B,C,D,Eの5つがあり、それらの優先順位が4,2,3,1,5であったとき、
1次キー:D、2次キー:B、3次キー:C、4次キーA、5次キー:E
として5つのキーで各帳票の代表値をソートする。
また、この優先順位指示手段60は、項目設定手段20と一緒に動作させるように構成してもよい。
修正順位決定手段70は、優先順位指示手段60で指定された優先順位をソートの優先キーとみなして、認識項目の代表値(例えば、最小値を示す代表値1であっても、平均値を示す代表値2のいずれであってもよい)の小さい順にソートする。
このソート結果は、結果記憶手段45の帳票ヘッダーの項目「順序」に格納される。
【0013】
このソートにおいて、代表値(代表値1または代表値2)に同じ値が存在するときに以下のような処理をする。
(A)次の優先順位の認識項目の代表値で順番を決定する。
このときの代表値も同種のものでも、異種のもののいずれであってもよい。
(B)同じ値を示した認識項目に対する他の代表値で大小で順番を決定する。
はじめに代表値1でソートしていたときには、代表値2を使ってソートするという具合である。
(C)代表値1(最小値)も代表値2(平均値)も同じであれば、次のような別の基準によってソートする。
・入力した文書(帳票)の順番
画像入力装置から読み取った文書の順番で、この順番は文書の順番が時系列(日付等)で並んでいる可能性が高いと思われるからである。
・認識項目の文字数
この場合は、認識対象文書の内容に依存する可能性が大きいと思われるので、文字数が多い方を優先するか、または、少ない方を優先するのかをユーザーが設定できるようにする。
【0014】
状況表示手段80は、文字認識された結果の候補文字を確定する修正作業時に、現在処理している帳票に関する作業状況をディスプレイ等の表示装置へ表示させる。例えば、図6に示すように、ある認識項目について次のような項目を数値やグラフを用いて表示し、ユーザーに現在どのあたりを修正しているかの情報を提供する。
(A)この認識項目の代表値が帳票全体では、どのように推移しているかを示す推移状況をグラフで表示する。
(B)現在修正している帳票の最初からの枚数を数値やグラフ上の位置で表示する。
(C)その帳票のこの認識項目に関する代表値の値を数値とグラフで表示する。(D)同じ値の代表値を持つ帳票の枚数を数値で表示する。
このような表示をすることにより、現在の修正処理が、全体の中のどの程度処理したのか、どのあたりを処理しているのか、その後どの程度修正すればよいのかを把握することができる。このような表示は、常に表示させるようにしても良いし、メニュー等で指定したときのみ表示するようにしてもよい。
修正順位決定手段70でソートした結果、図7に示すように、各認識項目の代表値(確信度)が低い、即ち、誤認識文字を含む確率の高いものから順番に並ぶために、認識結果の修正作業が最初の方に集中し、代表値が高くなるにつれて、修正作業の負荷が下降していき、やがて、まったく修正する必要がなくなってくる。
ユーザーは、この図7のようなカーブを頭に描きながら、且つ、現在、修正している認識結果の代表値を知ることで、全体のカーブのどのあたりを修正しているのか把握しながら作業ができる。
その後、まったく修正する必要がない認識結果がある程度続いたとき(図7の影で表示されたα枚分)、残りの認識結果は誤変換がないとユーザーは判断し、修正作業を途中で終了することができる。
【0015】
このような構成において、実施例の文字認識装置は次のように動作する。
先ず、処理制御手段10は、文字認識する帳票の認識項目がどこにあるかをユーザーに指定させるために項目設定手段20を呼び出す。
この項目設定手段20は、帳票の雛型をスキャナー等の画像入力装置で読み込み、これをディスプレイ等の表示装置へ表示させ、ユーザーにマウス等によってその領域を指定させ、この指定された領域は、認識項目ごとに項目設定記憶手段25へ登録される。
次に、制御手段10は、帳票1枚ごとに画像入力手段30、文字認識手段と続けてを呼び出し、帳票がなくなるまで繰り返す。
画像入力手段30は、文書(帳票)をスキャナー、複写機等の画像入力装置から画像データとして直接読み込むか、または、文書を画像入力装置から読み込んでファイルとして記憶装置へ書き込んでおき、このファイルから読み込むようにしてもよい。
1枚の帳票を読み込むと、その帳票に対して文字認識手段40が呼び出され、この帳票上にある認識項目の画像領域に対して文字認識処理が行われる。1枚ごとの画像データから、項目設定記憶手段25に設定された認識領域ごとに個々の文字画像が切り出され、大きさが正規化され、この正規化された文字画像の特徴量を抽出し、この特徴量と認識辞書との比較を行ない、認識の確からしさとしての確信度が大きい順に一定個数の候補文字を求め、候補文字とその確信度とを認識結果として、結果記憶手段45に登録する。
結果記憶手段45へ登録するとき、帳票の入力順番号(認識処理されるときに帳票番号はカウントアップされる)、帳票の画像データのファイルへのポインタ、その帳票にある認識項目に対応している代表値表へのポインタからなる帳票ヘッダーを作成する。また、代表値表へは、各認識項目の中にあった文字列の文字数、候補文字表へのポインタを作成する。
候補文字表へは、この領域にあった画像文字列にある各文字画像に対して、認識結果の候補文字(文字コード)とその確信度とを確信度の大きい方から10位までを登録する。
【0016】
制御手段10は、文字認識の対象となった文書(帳票)の入力が終わると、認識結果を修正するために、先ず、代表値計算手段50を呼び出す。
代表値計算手段50は、結果記憶手段45に登録されている各帳票ごとに、各認識項目の代表値を次のようにして計算して、結果記憶手段45へ追加登録する。
(A)認識項目内の各文字の1位の候補文字の確信度の最小値とする。
(B)認識項目内の各文字の1位の候補文字の確信度の平均値とする。
次に、制御手段10は優先順位指示手段60を呼び出す。
優先順位指示手段60は、項目設定記憶手段25に登録されている認識項目の項目名、領域位置等を表示させて、その内のどの項目が重要なものであって、どの項目を優先的に修正しなければならないかの優先順位をユーザーに指示させ、その順番を項目設定記憶手段20へ追加登録する。
また、この優先順位指示手段60は、項目設定手段20と一緒に動作させるように構成してもよい。
次いで、制御手段10は、認識結果の修正をどのような順番で行えば、効率よく修正できるかの順番を決めるために修正順位決定手段70を呼び出す。
修正順位決定手段70は、項目設定記憶手段25に記憶された認識項目の優先順位をソートの優先キーとみなして、認識項目の代表値の小さい順にソートする。
【0017】
このソート結果は、結果記憶手段45の帳票ヘッダーの項目「順序」に格納される。このソートにおいて、代表値に同じ値が存在するときには、以下のいずれかの処理をする。
(A)次の優先順位の認識項目の代表値で順番を決定する。
(B)同じ値を示した認識項目に対する他の代表値で大小で順番を決定する。
(C)上記いずれでも決まらないときには、入力した文書(帳票)の順番や認識項目の文字数のような別の基準を使って、順番を決定する。
このような準備を行った後、ユーザーが文字認識された結果の候補文字を確定する修正作業時に作業状況を示すために制御手段10は、状況表示手段80を呼び出す。この呼び出しによる状況表示は、常に表示させるようにしても良いし、メニュー等で指定したときのみ表示するようにしてもよい。
このときの作業状況は、ある認識項目について次のような内容を数値やグラフを用いてディスプレイ等の表示装置へ表示し、ユーザーに現在どのあたりを修正しているかの情報を提供する。
(A)その項目の代表値が帳票全体でどのように推移状況(グラフ)
(B)現在修正している帳票の最初からの枚数(数値とグラフ上の位置)
(C)その帳票のこの項目に関する代表値の値(数値とグラフ)
(D)同じ値の代表値を持つ帳票の枚数(数値)
上記のような構成にすることにより、帳票のような定型の書式に作成された大量の文書(帳票)を読み込んで、文字認識した後の候補文字の修正を行う作業において、ユーザーは現在の修正処理が、どの程度の処理量があるのか、どの程度処理したのか、どの程度残っているのかを把握することができるので、まったく修正する必要がない認識結果がある程度続いたとき、残りを修正するべきかどうかを判断して、作業を途中で終了することができる。
【0018】
この終了の判断はユーザーが行うため、自由にこの判断基準を変更することができことから、柔軟なシステム運用ができることになる。例えば、重要な項目には厳しくチェックし、重要ではない項目は、早めに修正作業を打ち切ることも可能となってくる。
従って、文書(帳票)が少量の時の効果よりも、大量の時の方が短い修正作業時間で、品質の高い認識結果を得るという修正作業の向上とともに、労力削減効果が大きくなる。
【0019】
(2)処理の流れ
図8は、本実施例の文字認識装置の処理の流れを説明するためのフローチャートである。
帳票の雛型をスキャナー等の画像入力装置で読み込み、これをディスプレイ等の表示装置へ表示させ、ユーザーにマウス等によって、文字認識する帳票の認識項目の領域がどこにあるかを指定させる(ステップS100)。
この指定された領域は、認識項目ごとに項目設定記憶手段25へ登録される。1枚の文書(帳票)をスキャナー、複写機等の画像入力装置から画像データとして直接読み込む(ステップS110)。または、文書を画像入力装置から読み込んでファイルとして記憶装置へ書き込んでおき、このファイルから1画像データとして読み込むようにしてもよい。
1枚の画像データから、項目設定記憶手段25に設定された認識領域ごとに個々の文字画像が切り出され、大きさが正規化され、この正規化された文字画像の特徴量を抽出し、この特徴量と認識辞書との比較を行ない、認識の確からしさとしての確信度が大きい順に一定個数の候補文字を求め、候補文字とその確信度とを認識結果として、結果記憶手段45に登録する(ステップS120)。
文字認識の対象となった文書(帳票)の入力が終わったかどうかを検査し(ステップS130)、終わっていなければ次の文書(帳票)を読み込むためにステップS110へ戻る。
結果記憶手段45に登録されている各帳票ごとに、各認識項目の代表値を次のようにして計算して、結果記憶手段45へ追加登録する(ステップS140)。
(A)認識項目内の各文字の1位の候補文字の確信度の最小値とする。
(B)認識項目内の各文字の1位の候補文字の確信度の平均値とする。
項目設定記憶手段25に登録されている認識項目の項目名、領域位置等を表示させて、その内のどの項目が重要なものであって、どの項目を優先的に修正しなければならないかの優先順位をユーザーに指示させ、その順番を項目設定記憶手段20へ追加登録する(ステップS150)。
認識結果の修正をどのような順番で行えば、効率よく修正できるかの順番を決め、その修正する帳票の順序を結果記憶手段45の帳票ヘッダーの項目「順序」に格納する(ステップS160)。
これは、項目設定記憶手段25に記憶された認識項目の優先順位をソートの優先キーとみなして、認識項目の代表値の小さい順にソートする。
【0020】
このソートにおいて、代表値に同じ値が存在するときには、以下のいずれかの処理をする。
(A)次の優先順位の認識項目の代表値で順番を決定する。
(B)同じ値を示した認識項目に対する他の代表値で大小で順番を決定する。
(C)上記いずれでも決まらないときには、入力した文書(帳票)の順番や認識項目の文字数のような別の基準を使って順番を決定する。
このような準備を行った後、ユーザーは文字認識された結果の候補文字を確定する修正作業を行う(ステップS170)。確定作業は、下位の候補文字の中から選択するか新たにユーザーが入力して、1位の候補文字と置き換えて結果記憶手段45が修正される。
このとき作業状況を示すために、ユーザーはメニュー等で指定して以下のようなある認識項目についの作業状況をディスプレイ等の表示装置へ表示させる。また、このような作業状況は、修正作業に入ったとき常に表示させておいてもよい。
(A)その項目の代表値が帳票全体でどのように推移状況(グラフ)
(B)現在修正している帳票の最初からの枚数(数値とグラフ上の位置)
(C)その帳票のこの項目に関する代表値の値(数値とグラフ)
(D)同じ値の代表値を持つ帳票の枚数(数値)
修正作業が終わった時には、結果記憶手段45の各認識項目に対する1位の候補文字が文字認識処理の結果となっている。
【0021】
<コンピュータによる実施例>
さらに、本発明は上記の実施の形態のみに限定されたものではない。例えば、図1の文字認識装置は、図9に示したようなコンピュータ装置の構成によっても実現が可能である。
図9のコンピュータ装置は、入力装置1、出力装置2、CPU(Central Processing Unit;中央処理装置)3、メモリ4、記憶装置5、媒体駆動装置6およびネットワーク接続装置7を備え、それらはバス8により互いに接続されている。
入力装置1は、キーボード、マウス、タッチパネル、スキャナ等により構成され、テキストや画像の情報を入力するのに使用される。
出力装置2は、種々の出力情報や入力装置1からの入力された情報などを出力させるものであって、ディスプレイ装置やプリンタ装置である。
CPU3は、種々のプログラムを動作させる。
メモリ4は、プログラム自身を保持し、またそのプログラムがCPU3によって実行されるときに一時的に作成される情報等を保持する。
記憶装置5は、本発明の文字認識装置で扱う項目設定記憶手段25、結果記憶手段45や文字認識用の辞書、読み込んだ画像データおよびプログラムやプログラム実行時の一時的な情報等を保持する。
媒体駆動装置6は、プログラムやデータ等を記憶した記録媒体を装着してそれらを読み込み、メモリ4または記憶装置5へ格納するのに用いられる。また、直接データの入出力やプログラム実行するのに使ってもよい。
【0022】
尚、記録媒体としては半導体媒体(例えば、ROM、ICメモリカード等)、光媒体(例えば、DVD、MO、MD、CD−R等)、磁気媒体(例えば、磁気テープ、フレキシブルディスク等)のいずれであってもよい。
図1に示した文字認識装置を構成する各機能をそれぞれプログラム化し、予めCD−ROM等の記録媒体に書き込んでおき、このCD−ROMをCD−ROMドライブのような媒体駆動装置6を搭載したコンピュータに装着して、これらのプログラムをそれぞれのコンピュータ装置のメモリ4あるいは記憶装置5に格納し、それを実行することによって、上述した実施の形態と同様な機能を実現することができる。
また、ロードしたプログラムを実行することにより前述した実施の形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステム等が実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれる。
また、上述した実施の形態を実現するプログラムがROM等のような半導体の記録媒体である場合には、媒体駆動装置6からではなく、直接、メモリ4へロードして実行される。
さらに、上述した実施の形態の機能を実現するプログラムが、機能拡張ボードや機能拡張ユニットに備わるメモリにロードされ、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって、上述した実施の形態の機能が実現される場合も含まれる。
【0023】
<本発明のネットワーク環境での運用>
図10は、本発明をネットワーク接続して運用する形態の構成を示している。この場合、ユーザーの端末110およびサーバー120は、図9に示した汎用のコンピュータ装置で構成され、ネットワーク9に接続するためのネットワーク接続装置7をそれぞれ備えるようにする。
また、このネットワーク9は、これらのユーザーの端末110とサーバー120とを結合するための伝送路であって、一般には、ケーブルで実現され、通信プロトコルにはTCP/IPが使われる。但し、伝送路としてはケーブルだけではなく、それらの間の通信プロトコルが一致するものであれば無線LANや放送波を使ったものであってもよい。
サーバー120には、磁気ディスク等の記憶装置に本発明の機能を実現する文字認識プログラムを格納しておく。
ユーザーの端末110では、サーバー120からその文字認識プログラムを受信して、画像を入力し、受信した文字認識プログラムを端末110で実行させ、その実行結果を出力するようにする。
このようにすることで、文字認識プログラムが常に最新のものを使え、認識辞書はユーザー固有のものとすることができるという利点がある。
また、サーバー120から端末110とをネットワーク9で接続し、ダウンロード等の形式で頒布することも可能である。
さらに、本発明の機能を実現するプログラムを放送波によって配布することで提供するようにしてもよい。
【0024】
【発明の効果】
以上説明したように、本発明によれば、大量の原稿(帳票)が入力された場合であっても、文字認識結果を効率よく修正する作業が行える。
【図面の簡単な説明】
【図1】本発明の一実施例である文字認識装置の構成を示すブロック図である。
【図2】項目設定記憶手段のデータ構造を説明するための図である。
【図3】結果記憶手段のデータ構造を説明するための図である。
【図4】代表値(最小値)の計算方法を説明するための図である。
【図5】代表値(平均値)の計算方法を説明するための図である。
【図6】状況表示手段で表示される画面例を示す図である。
【図7】状況表示されたときの作業の負荷状況を説明するための図である。
【図8】実施例の文字認識装置の処理を説明するためのフローチャートである。
【図9】本発明の文字認識装置をコンピュータで実現するときのハードウェアの構成を示す図である。
【図10】本発明をネットワークで運用する形態の構成を示す図である。
【符号の説明】
1 入力装置
2 出力装置
3 CPU
4 メモリ
5 記憶装置
6 媒体駆動装置
7 ネットワーク接続装置
8 バス
9 ネットワーク
10 制御手段
20 項目設定手段
25 項目設定記憶手段
30 画像入力手段
40 文字認識手段
45 結果記憶手段
50 代表値計算手段
60 優先順位指示手段
70 修正順位決定手段
80 状況表示手段
110 端末
120 サーバー[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a recognition result correction apparatus, a recognition result correction method, and a recording medium for character recognition processing results, and more particularly to correction of recognition results when a large number of documents are recognized.
[0002]
[Prior art]
Generally, when character recognition is performed on an image image of a document or the like, there are characters that cannot be recognized or characters are recognized incorrectly. For this reason, in the character recognition processing system, the read image image and the recognition result are displayed on a display device such as a display so as to confirm the recognition result one by one. However, when inputting a large amount of documents, it is very inefficient to check the recognition result one by one every time recognition is completed.
Therefore, in this case, a method is adopted in which only recognition is performed first in batch processing, and the recognition result is corrected collectively later. As described above, when correcting the recognition result collectively later, in order to improve work efficiency, the recognition result and the position (coordinate value) of the character on the image are associated with the image, and the character code unit of the recognition result is used. By adopting the method of storing, it becomes possible to easily find and correct misidentified characters when correcting the recognition result.
[0003]
[Problems to be solved by the invention]
In order to solve such a problem, the technique disclosed in Japanese Patent Laid-Open No. 6-162253 determines whether the number of characters that have been misrecognized or unrecognized is greater than a preset value. If the number of misrecognized or unrecognized characters is smaller than the preset value, display the image data of the misrecognized or unrecognized characters, correct them, and set When the value is larger than the value, the image data of the form in which the misrecognized character or the unrecognizable character is entered is displayed to correct the recognition result.
However, with such a correction method, it is eventually necessary to check all input documents. For example, assuming that character recognition of a large number of forms (assumed to be N) is processed, and further, erroneous recognition is included in the third sheet, the nth sheet in the middle, and the last N sheet, Since the user does not know where the recognition result includes the misrecognition, the user eventually confirms the recognition result from the first sheet to the last N sheets.
Assuming that a recognition rate of 90% or more is obtained in the form unit, in this case, the remaining 90% misrecognition is not included because of the recognition result including 10% misrecognition scattered in a scattered manner. The recognition result must be confirmed.
Therefore, not knowing where the misrecognition is included makes the user uneasy and reduces the work efficiency.
The present invention is for solving such problems, and in character recognition processing, when a document such as a large number of forms is recognized at a time, the recognition result improves the work efficiency of correcting the recognition result. An object is to provide a correction device, a recognition result correction method, and a recording medium.
[0004]
[Means for Solving the Problems]
In order to solve the above problem, claim 1 of the present invention provides: In a character recognition apparatus that obtains information on the recognition result and the probability of characters in each recognition item in each form of an image in which a plurality of forms including one or more recognition items are input as image data, the recognition result is confirmed. Representative value calculation means for obtaining a representative value of each recognition item in each form from the information of the likelihood, priority order instruction means for instructing a priority for correcting the recognition result of each recognition item in the form, and the priority order Correction order determining means for determining the order of the form for correcting the recognition result based on the representative value of each recognition item obtained by the representative value calculating means in accordance with the priority order designated by the instruction means. The correction order determining means sets the priority order of the recognized items specified by the priority order specifying means as the priority order of the sort key, and the order of the forms to be corrected by sorting the representative values of the recognized items. To determine, When there are multiple representative values of the same value, the order of the forms to be corrected is determined by sorting the forms with the same representative value by the representative value of the recognition item of the next priority. And
Further,
[0005]
Further, claim 3 of the present invention is the claim. 1 or 2 In the recognition result correcting apparatus described in (1), the representative value calculating means calculates the minimum value and / or average value of the probability information of each character in the recognition item as a representative value.
Further, claim 4 of the present invention provides The recognition result correction apparatus according to any one of claims 1 to 3, further comprising state display means for displaying a relationship between a transition of a representative value of a recognition item to be corrected and a form that is currently corrected. It is characterized by that.
Further, the claims of the present invention 5 Is In a character recognition method for obtaining information on the recognition result and the accuracy of characters in each recognition item in each form of an image obtained by inputting a plurality of forms including one or more recognition items as image data, the recognition result is confirmed. The representative value of each recognition item in each form is obtained from the information of the likelihood, the priority order for correcting the recognition result of each recognition item in the form is instructed, the instructed priority order is set as the sort key priority order, By sorting the representative values of the recognition items, the order of the forms to be corrected is determined. When there are multiple representative values of the same value, the order of the forms to be corrected is determined by sorting the forms with the same representative value by the representative value of the next priority recognition item. The recognition result correction method.
[0006]
Further, the claims of the present invention 6 Is In a character recognition method for obtaining information on the recognition result and the accuracy of characters in each recognition item in each form of an image obtained by inputting a plurality of forms including one or more recognition items as image data, the recognition result is confirmed. The representative value of each recognition item in each form is obtained from the information of the likelihood, the priority order for correcting the recognition result of each recognition item in the form is instructed, the instructed priority order is set as the sort key priority, By sorting the representative values of the recognition items, the order of the forms to be corrected is determined. If there are multiple representative values for the same value, Above A recognition result correction method is characterized in that the order of the forms to be corrected is determined by sorting by other representative values of the recognition items.
Further, the claims of the present invention 7 Claim 5 or 6 In the recognition result correction method described above, the recognition result correction device includes a state display unit, and the state display unit displays a relationship between a transition of a representative value of a recognition item to be corrected and a form that is currently being corrected. It has the step to perform.
Further, the claims of the
[0007]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the configuration and operation of the embodiment of the present invention will be described in detail with reference to the drawings.
<Example>
(1) Configuration
FIG. 1 is a block diagram showing a configuration of a character recognition apparatus according to an embodiment of the present invention.
The character recognition apparatus according to the embodiment includes a control means 10, an item setting means 20, an image input means 30, a character recognition means 40, a representative value calculation means 50, a priority order instruction means 60, a correction order determination means 70, and status display means 80 items. It comprises a setting storage means 25 and a result storage means 45.
The control means 10 controls the entire functional means from the input of the document image to the correction of the character recognition result for the area, indicating the area of the recognition item set in the document (form).
The
[0008]
As shown in FIG. 2, the item setting storage means 25 holds the recognition item name, the position coordinates of the area, the height, the width, and the priority for each recognition item set in the template of the form designated by the user. To do.
As other items, attributes of the area related to the item (input character type, font, color, security) can be considered.
The image input means 30 directly reads a large amount of documents (forms) as image data from an image input device such as a scanner or a copying machine.
Alternatively, the document may be read from the image input device, written as a file to the storage device, and read from this file.
The character recognition means 40 cuts out individual character images for each recognition area set in the item setting storage means 25 from each piece of image data obtained by the image input means 30, and normalizes the size. The feature value of the normalized character image is extracted, and the feature value is compared with the recognition dictionary to obtain a certain number of candidate characters in descending order of the certainty as the probability of recognition. Is registered in the result storage means 45 as a recognition result.
A method for obtaining the accuracy of each character is obtained by the technique disclosed in Japanese Patent Laid-Open No. 4-211883.
[0009]
As shown in FIG. 3, the result storage means 45 includes a form header, a representative value table, and a candidate character table.
The form header has one entry for one form, and the one entry has the following items.
(A) Number
When a form is input and character recognition of the form is started, it is counted up and set here.
(B) Order
When the recognized candidate character string of each form is corrected, an order indicating which form is to be corrected is shown, and is set by the correction order determination means 70.
(C) Pointer to image data
This is a pointer to a file that stores the image image input by the image input means 30, and is displayed as original information when the character recognition means 40 and the character recognition result are corrected.
(D) Pointer to representative value table
This is a pointer to a representative value table that holds information such as representative values relating to the recognition items in the form, and the representative values are set by the representative value calculation means 50.
[0010]
The representative value table has an entry having the following items for each recognized item in one form.
(A) Representative value 1
This is the minimum value of the certainty factor of each character in the character string in this recognition item.
(B)
It is the average value of the certainty factor of each character in the character string in this recognition item.
(C) Number of characters
This is the number of characters in the character string in this recognition item. It is set by the character recognition means 40.
(D) Pointer to candidate character
This is a pointer to a candidate character that represents the recognition result of the image area of the recognition item, and is created when the character recognition means 40 registers the recognized candidate character.
The candidate character table holds the recognition result candidate characters (character codes) and the certainty of each character image in this region from the one with the highest certainty. This candidate character table is set by the character recognition means 40.
[0011]
The representative value calculation means 50 calculates the representative value of each recognition item for each form as follows and registers it in the result storage means 45 (see FIG. 3).
(A) The minimum value of the certainty factor (probability) of the first candidate character of each character in the recognition item.
Among all characters existing in one item, the minimum certainty factor is used as a representative value. This representative value indicates that the lower the certainty factor, the less reliable the recognition result, and the higher the certainty factor, the more reliable the recognition result.
For example, referring to FIG. 2, for the recognition items A to F in the form, the minimum value of the certainty of the recognition candidate character for each of the included characters is used as the representative value. In this example, six characters are recognized for the recognition item A, and the
(B) The average value of the certainty (probability) of the first candidate character of each character in the recognition item.
Let it be the average value of the certainty factor of all characters existing in one item.
For example, referring to FIG. 3, for recognition items A to F in the form, the average value of the certainty of recognition candidate characters for each of the included characters is used as a representative value. In this example, six characters are recognized for the recognition item A, and the average of the certainty factors of these characters is 71. Therefore, the representative value of the recognition item A is 71.
The priority order instructing means 60 instructs the priority order of which items are important among the recognized items in the form. This is done by displaying the item name, region position, etc. of the recognition items registered in the item setting storage means 25 and instructing the user to register the order in the item setting storage means 20.
For example, there are usually some recognition items (for example, a form ID, a money amount column, a name, a furigana, a remarks column, etc.) in the form, and the required recognition accuracy is different.
For items such as form IDs and other important items such as keywords and amount fields, high recognition accuracy is required, but items such as remarks columns do not require high recognition accuracy. . Therefore, the user is allowed to specify the priority order in which order each recognition item should be corrected.
[0012]
This priority order matches the priority order of the sort keys used to determine which form should be corrected when the representative values are sorted by the correction order determination means 70.
For example, when there are five recognition items A, B, C, D, and E, and their priorities are 4, 2, 3, 1, and 5,
Primary key: D, secondary key: B, tertiary key: C, quaternary key A, quinary key: E
Sort the representative values of each form with five keys.
Further, the priority order instruction means 60 may be configured to operate together with the item setting means 20.
The correction order determination means 70 regards the priority specified by the priority order instruction means 60 as the sort priority key, and calculates the average value even if the representative value of the recognition item (for example, the representative value 1 indicating the minimum value). Sorted in ascending order (which may be any of representative values 2).
This sort result is stored in the item “order” of the form header of the result storage means 45.
[0013]
In this sort, when the same value exists in the representative value (representative value 1 or representative value 2), the following processing is performed.
(A) The order is determined by the representative value of the next priority recognition item.
The representative value at this time may be the same or different.
(B) The order is determined by the size of other representative values for the recognition items showing the same value.
For example, when sorting is performed using the representative value 1 first, the sorting is performed using the
(C) If the representative value 1 (minimum value) and the representative value 2 (average value) are the same, sorting is performed according to another criterion as follows.
-Order of entered documents (forms)
This is because the order of the documents read from the image input device is considered to be highly likely to be in time series (dates, etc.).
・ Number of characters in the recognition item
In this case, since there is a high possibility that it depends on the contents of the recognition target document, the user can set whether to give priority to the one with a larger number of characters or the one with a smaller number.
[0014]
The status display means 80 displays a work status related to the currently processed form on a display device such as a display at the time of correction work for determining candidate characters as a result of character recognition. For example, as shown in FIG. 6, the following items are displayed with respect to a certain recognition item using numerical values and graphs, and information on which area is currently corrected is provided to the user.
(A) A transition state indicating how the representative value of the recognition item is changing in the entire form is displayed in a graph.
(B) The number of sheets from the beginning of the currently corrected form is displayed as a numerical value or a position on the graph.
(C) The value of the representative value related to this recognition item of the form is displayed as a numerical value and a graph. (D) The number of forms having the same representative value is displayed numerically.
By displaying in this way, it is possible to grasp how much of the current correction process has been processed, what part is being processed, and how much correction should be performed thereafter. Such a display may be always displayed, or may be displayed only when designated by a menu or the like.
As a result of the sorting by the correction
The user works while drawing the curve as shown in FIG. 7 and knowing which part of the entire curve is being corrected by knowing the representative value of the recognition result currently being corrected. Can do.
After that, when recognition results that do not need to be corrected at all continue to some extent (α images displayed in the shadow of FIG. 7), the user determines that the remaining recognition results are not erroneously converted, and the correction operation is terminated halfway. can do.
[0015]
In such a configuration, the character recognition device of the embodiment operates as follows.
First, the process control means 10 calls the item setting means 20 in order to allow the user to specify where the recognition item of the form for character recognition is located.
This item setting means 20 reads a template of a form with an image input device such as a scanner, displays it on a display device such as a display, and allows the user to specify the area with a mouse or the like. Each recognized item is registered in the item setting storage means 25.
Next, the control means 10 calls the image input means 30 and the character recognition means successively for each form, and repeats until there is no form.
The image input means 30 reads a document (form) directly as image data from an image input device such as a scanner or a copying machine, or reads a document from the image input device and writes it as a file to a storage device. You may make it read.
When one form is read, the character recognition means 40 is called for the form, and the character recognition process is performed on the image area of the recognition item on the form. Individual character images are cut out for each recognition area set in the item setting storage means 25 from each piece of image data, the size is normalized, and the feature amount of the normalized character image is extracted. This feature amount is compared with the recognition dictionary, a certain number of candidate characters are obtained in descending order of certainty as the probability of recognition, and the candidate characters and their certainty are registered in the result storage means 45 as recognition results. .
When registering in the result storage means 45, the input order number of the form (the form number is counted up during recognition processing), the pointer to the file of the image data of the form, and the recognition item in the form Create a form header consisting of a pointer to a representative value table. In the representative value table, the number of characters in the character string in each recognition item and a pointer to the candidate character table are created.
In the candidate character table, for each character image in the image character string in this area, the candidate character (character code) of the recognition result and its certainty are registered from the one with the highest certainty to the tenth place. .
[0016]
When the input of the document (form) targeted for character recognition is completed, the control means 10 first calls the representative value calculation means 50 in order to correct the recognition result.
The representative value calculation means 50 calculates the representative value of each recognition item for each form registered in the result storage means 45 as follows, and additionally registers it in the result storage means 45.
(A) The minimum certainty factor of the first candidate character of each character in the recognition item.
(B) It is set as the average value of the certainty factor of the 1st candidate character of each character in a recognition item.
Next, the control unit 10 calls the priority
The priority order instructing means 60 displays the item name, area position, etc. of the recognized items registered in the item setting storage means 25, and which items are important and which are prioritized. The user is instructed in order of priority regarding whether or not correction is necessary, and the order is additionally registered in the item setting storage means 20.
Further, the priority order instruction means 60 may be configured to operate together with the item setting means 20.
Next, the control means 10 calls the correction order determination means 70 in order to determine the order in which the recognition results should be corrected in order of efficient correction.
The correction order determination means 70 regards the recognition item priority stored in the item setting storage means 25 as a sort priority key, and sorts the recognition items in ascending order of representative values.
[0017]
This sort result is stored in the item “order” of the form header of the result storage means 45. In this sort, when the same value exists in the representative value, one of the following processes is performed.
(A) The order is determined by the representative value of the next priority recognition item.
(B) The order is determined by the size of other representative values for the recognition items showing the same value.
(C) If neither of the above is determined, the order is determined using another criterion such as the order of the input document (form) or the number of characters in the recognition item.
After making such preparation, the control means 10 calls the status display means 80 in order to indicate the work status during the correction work in which the user confirms the candidate character as a result of character recognition. The status display by this call may be always displayed, or may be displayed only when designated by a menu or the like.
The work status at this time displays the following contents for a certain recognition item on a display device such as a display using numerical values and graphs, and provides the user with information on which area is currently being corrected.
(A) How the representative value of the item changes in the entire form (graph)
(B) Number of sheets that are currently being revised (numbers and positions on the graph)
(C) Representative value (number and graph) for this item in the form
(D) Number of forms having the same representative value (numerical value)
With the above configuration, the user corrects the current character in the task of correcting a candidate character after reading a large amount of documents (form) created in a standard format such as a form and recognizing the character. Since it is possible to grasp how much processing amount the processing has, how much processing has been performed, and how much remains, correct the rest when recognition results that do not need to be corrected at all continue to some extent It can be determined whether or not it should be done, and the work can be terminated halfway.
[0018]
Since the determination of the end is performed by the user, the determination criteria can be freely changed, so that a flexible system operation can be performed. For example, it is possible to strictly check important items and to cancel correction work for non-important items early.
Accordingly, the effect of reducing the labor is increased, as well as the improvement of the correction work for obtaining a high-quality recognition result in a shorter correction work time when the number of documents (forms) is large than when the quantity is large.
[0019]
(2) Process flow
FIG. 8 is a flowchart for explaining the processing flow of the character recognition apparatus of this embodiment.
The template of the form is read by an image input device such as a scanner and displayed on a display device such as a display, and the user is made to specify where the recognition item area of the form for character recognition is located by using a mouse or the like (step S100). ).
This designated area is registered in the item setting storage means 25 for each recognition item. One document (form) is directly read as image data from an image input device such as a scanner or a copying machine (step S110). Alternatively, the document may be read from the image input device and written to the storage device as a file, and read from the file as one image data.
From one piece of image data, each character image is cut out for each recognition region set in the item setting storage means 25, the size is normalized, and the feature amount of the normalized character image is extracted. The feature quantity is compared with the recognition dictionary, a certain number of candidate characters are obtained in descending order of certainty as the probability of recognition, and the candidate characters and their certainty are registered in the result storage means 45 as recognition results ( Step S120).
It is checked whether or not the input of the document (form) subject to character recognition has been completed (step S130), and if not completed, the process returns to step S110 to read the next document (form).
For each form registered in the result storage unit 45, the representative value of each recognition item is calculated as follows and additionally registered in the result storage unit 45 (step S140).
(A) The minimum certainty factor of the first candidate character of each character in the recognition item.
(B) It is set as the average value of the certainty factor of the 1st candidate character of each character in a recognition item.
The item name, area position, etc. of the recognition item registered in the item setting storage means 25 are displayed, which item is important and which item should be corrected with priority. The user is instructed the priority order, and the order is additionally registered in the item setting storage means 20 (step S150).
In what order the correction of the recognition results is performed, the order of efficient correction is determined, and the order of the forms to be corrected is stored in the item “order” of the form header of the result storage means 45 (step S160).
In this case, the priority order of the recognition items stored in the item setting storage means 25 is regarded as a priority key for sorting, and the recognition items are sorted in ascending order of representative values.
[0020]
In this sort, when the same value exists in the representative value, one of the following processes is performed.
(A) The order is determined by the representative value of the next priority recognition item.
(B) The order is determined by the size of other representative values for the recognition items showing the same value.
(C) If neither of the above is determined, the order is determined using another criterion such as the order of the input document (form) or the number of characters in the recognition item.
After making such a preparation, the user performs a correction operation for determining candidate characters as a result of character recognition (step S170). The confirmation work is selected from the lower candidate characters or newly input by the user and replaced with the first candidate character, and the result storage means 45 is corrected.
At this time, in order to indicate the work status, the user designates it with a menu or the like, and causes the display device such as a display to display the work status for a certain recognition item as follows. Further, such a work situation may be always displayed when the correction work is started.
(A) How the representative value of the item changes in the entire form (graph)
(B) Number of sheets that are currently being revised (numbers and positions on the graph)
(C) Representative value (number and graph) for this item in the form
(D) Number of forms having the same representative value (numerical value)
When the correction work is finished, the first candidate character for each recognition item in the result storage means 45 is the result of the character recognition process.
[0021]
<Example by computer>
Furthermore, the present invention is not limited only to the above-described embodiment. For example, the character recognition device of FIG. 1 can be realized by the configuration of the computer device as shown in FIG.
The computer apparatus of FIG. 9 includes an input device 1, an
The input device 1 includes a keyboard, a mouse, a touch panel, a scanner, and the like, and is used to input text and image information.
The
The CPU 3 operates various programs.
The memory 4 holds the program itself, and holds information that is temporarily created when the program is executed by the CPU 3.
The storage device 5 holds item setting storage means 25, result storage means 45, a character recognition dictionary, read image data, a program, temporary information at the time of program execution, and the like handled by the character recognition device of the present invention.
The medium driving device 6 is used to load a recording medium storing programs, data, and the like, read them, and store them in the memory 4 or the storage device 5. It may also be used for direct data input / output and program execution.
[0022]
As a recording medium, any of a semiconductor medium (for example, ROM, IC memory card, etc.), an optical medium (for example, DVD, MO, MD, CD-R, etc.), and a magnetic medium (for example, magnetic tape, flexible disk, etc.) It may be.
Each function constituting the character recognition device shown in FIG. 1 is programmed and written in a recording medium such as a CD-ROM in advance, and this CD-ROM is equipped with a medium driving device 6 such as a CD-ROM drive. A function similar to that of the above-described embodiment can be realized by mounting the program on the computer, storing these programs in the memory 4 or the storage device 5 of each computer device, and executing them.
Moreover, not only the functions of the above-described embodiments are realized by executing the loaded program, but the operating system or the like performs part or all of the actual processing based on the instructions of the program, The case where the functions of the above-described embodiment are realized is also included.
When the program for realizing the above-described embodiment is a semiconductor recording medium such as a ROM, the program is loaded directly into the memory 4 and executed instead of from the medium driving device 6.
Furthermore, a program for realizing the functions of the above-described embodiment is loaded into a memory provided in the function expansion board or function expansion unit, and the CPU provided in the function expansion board or function expansion unit is actually installed based on the instructions of the program. This includes the case where the functions of the above-described embodiment are realized by performing part or all of the process.
[0023]
<Operation in Network Environment of the Present Invention>
FIG. 10 shows a configuration of a mode for operating the present invention by connecting to a network. In this case, the
The
The
The
This has the advantage that the latest character recognition program can be used and the recognition dictionary can be user-specific.
It is also possible to connect the
Furthermore, a program that implements the functions of the present invention may be provided by distributing it via broadcast waves.
[0024]
【The invention's effect】
As described above, according to the present invention, even when a large amount of documents (forms) are input, an operation for efficiently correcting the character recognition result can be performed.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a character recognition apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram for explaining a data structure of an item setting storage unit;
FIG. 3 is a diagram for explaining a data structure of a result storage unit;
FIG. 4 is a diagram for explaining a method of calculating a representative value (minimum value).
FIG. 5 is a diagram for explaining a method of calculating a representative value (average value).
FIG. 6 is a diagram showing an example of a screen displayed by status display means.
FIG. 7 is a diagram for explaining a work load situation when a situation is displayed;
FIG. 8 is a flowchart for explaining processing of the character recognition device according to the embodiment.
FIG. 9 is a diagram showing a hardware configuration when the character recognition apparatus of the present invention is realized by a computer.
FIG. 10 is a diagram showing a configuration of a mode in which the present invention is operated in a network.
[Explanation of symbols]
1 Input device
2 Output device
3 CPU
4 memory
5 storage devices
6 Medium drive device
7 Network connection device
8 Bus
9 Network
10 Control means
20 Item setting means
25 Item setting storage means
30 Image input means
40 character recognition means
45 Result storage means
50 Representative value calculation means
60 Priority level indication means
70 Correction order determination means
80 Status display means
110 terminals
120 servers
Claims (8)
前記認識結果の確からしさの情報から前記各帳票内の各認識項目の代表値を求める代表値計算手段と、
前記帳票内の各認識項目の認識結果を修正する優先順位を指示する優先順位指示手段と、
該優先順位指示手段で指示された優先順位にしたがって、前記代表値計算手段で求められた各認識項目の代表値をもとに、認識結果を修正する帳票の順番を決定する修正順序決定手段と、を備え、
前記修正順序決定手段は、前記優先順位指示手段で指示された認識項目の優先順位をソートキーの優先順位とし、当該認識項目の代表値でソートすることによって修正する帳票の順番を決定し、同じ値の代表値が複数存在する場合は、同じ代表値を持つ帳票について、次の優先順位の認識項目の代表値でソートすることによって、修正する帳票の順番を決定するようにしたことを特徴とする認識結果修正装置。 In a character recognition device for obtaining information on the recognition result and the probability of characters in each recognition item in each of the forms of an image obtained by inputting a plurality of forms including one or more recognition items as image data,
Representative value calculation means for obtaining a representative value of each recognition item in each form from information on the probability of the recognition result;
Priority order indicating means for instructing a priority order for correcting the recognition result of each recognition item in the form;
A correction order determining means for determining the order of the form for correcting the recognition result based on the representative value of each recognition item obtained by the representative value calculating means in accordance with the priority order instructed by the priority order instructing means; With
The correction order determining means determines the order of the forms to be corrected by sorting with the representative values of the recognized items, using the priority of the recognized items specified by the priority indicating means as the priority of the sort key, and the same value When there are a plurality of representative values, the order of the forms to be corrected is determined by sorting the forms having the same representative value by the representative values of the recognition items of the next priority. Recognition result correction device.
前記認識結果の確からしさの情報から前記各帳票内の各認識項目の代表値を求める代表値計算手段と、
前記帳票内の各認識項目の認識結果を修正する優先順位を指示する優先順位指示手段と、
該優先順位指示手段で指示された優先順位にしたがって、前記代表値計算手段で求められた各認識項目の代表値をもとに、認識結果を修正する帳票の順番を決定する修正順序決定手段と、を備え、
前記修正順序決定手段は、前記優先順位指示手段で指示された認識項目の優先順位をソートキーの優先順位とし、当該認識項目の代表値でソートすることによって修正する帳票の順番を決定し、同じ値の代表値が複数存在する場合は、同じ代表値を持つ帳票について、前記認識項目の他の代表値でソートすることによって、修正する帳票の順番を決定するようにしたことを特徴とする認識結果修正装置。 In a character recognition device for obtaining information on the recognition result and the probability of characters in each recognition item in each of the forms of an image obtained by inputting a plurality of forms including one or more recognition items as image data,
Representative value calculation means for obtaining a representative value of each recognition item in each form from information on the probability of the recognition result;
Priority order indicating means for instructing a priority order for correcting the recognition result of each recognition item in the form;
A correction order determining means for determining the order of the form for correcting the recognition result based on the representative value of each recognition item obtained by the representative value calculating means in accordance with the priority order instructed by the priority order instructing means; With
The correction order determining means determines the order of the forms to be corrected by sorting with the representative values of the recognized items, using the priority of the recognized items specified by the priority indicating means as the priority of the sort key, and the same value If the representative value of there are a plurality, for form with the same representative value, the by sorting in other representative value of recognition items, the recognition result, characterized in that so as to determine the order of the form to be modified Correction device.
前記代表値計算手段は、前記認識項目内の各文字の確からしさ情報の最小値および/または平均値を代表値として計算することを特徴とする認識結果修正装置。In the recognition result correction apparatus according to claim 1 or 2 ,
The said representative value calculation means calculates the minimum value and / or average value of the probability information of each character in the said recognition item as a representative value, The recognition result correction apparatus characterized by the above-mentioned.
前記認識結果の確からしさの情報から前記各帳票内の各認識項目の代表値を求め、前記帳票内の各認識項目の認識結果を修正する優先順位を指示し、指示された優先順位をソートキーの優先順位とし、該認識項目の代表値をソートすることによって修正する帳票の順番を決定し、
同じ値の代表値が複数存在する場合は、同じ代表値を持つ帳票について、次の優先順位の認識項目の代表値でソートすることによって、修正する帳票の順番を決定するようにしたことを特徴とする認識結果修正方法。 In the character recognition method for obtaining information on the recognition result and the probability of the character in each recognition item in each of the forms of an image obtained by inputting a plurality of forms including one or more recognition items as image data,
The representative value of each recognition item in each form is obtained from the information on the certainty of the recognition result, the priority order for correcting the recognition result of each recognition item in the form is designated, and the designated priority order is assigned to the sort key. Determine the order of the forms to be corrected by sorting the representative values of the recognition items as priorities,
If the representative value of the same value there are a plurality, for form with the same representative value, by sorting the representative values of the recognition item of the next priority, that it has to determine the order of form to be corrected A recognition result correction method as a feature.
前記認識結果の確からしさの情報から前記各帳票内の各認識項目の代表値を求め、前記帳票内の各認識項目の認識結果を修正する優先順位を指示し、指示された優先順位をソートキーの優先順位とし、該認識項目の代表値をソートすることによって修正する帳票の順番を決定し、
同じ値の代表値が複数存在する場合は、同じ代表値を持つ帳票について、前記認識項目の他の代表値でソートすることによって、修正する帳票の順番を決定するようにしたことを特徴とする認識結果修正方法。 In the character recognition method for obtaining information on the recognition result and the probability of the character in each recognition item in each of the forms of an image obtained by inputting a plurality of forms including one or more recognition items as image data,
The representative value of each recognition item in each form is obtained from the information on the certainty of the recognition result, the priority order for correcting the recognition result of each recognition item in the form is designated, and the designated priority order is assigned to the sort key. Determine the order of the forms to be corrected by sorting the representative values of the recognition items as priorities,
If the representative value of the same value there are a plurality, for form with the same representative value, by sorting in other representative value of the recognition items, and characterized in that so as to determine the order of the form to be modified Recognition result correction method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001077278A JP4299977B2 (en) | 2001-03-16 | 2001-03-16 | Recognition result correcting apparatus, recognition result correcting method, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001077278A JP4299977B2 (en) | 2001-03-16 | 2001-03-16 | Recognition result correcting apparatus, recognition result correcting method, and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002279343A JP2002279343A (en) | 2002-09-27 |
JP4299977B2 true JP4299977B2 (en) | 2009-07-22 |
Family
ID=18934059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001077278A Expired - Fee Related JP4299977B2 (en) | 2001-03-16 | 2001-03-16 | Recognition result correcting apparatus, recognition result correcting method, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4299977B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12073645B2 (en) | 2020-12-09 | 2024-08-27 | Fujifilm Business Innovation Corp. | Information processing apparatus, information processing system, and non-transitory computer readable medium for recognizing and correcting characters in forms |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010204806A (en) * | 2009-03-02 | 2010-09-16 | Oki Electric Ind Co Ltd | Information processor, document processing system, and document processing method |
US10152654B2 (en) * | 2014-02-20 | 2018-12-11 | Kla-Tencor Corporation | Signal response metrology for image based overlay measurements |
JP7268311B2 (en) * | 2018-09-06 | 2023-05-08 | 富士フイルムビジネスイノベーション株式会社 | Information processing device and program |
-
2001
- 2001-03-16 JP JP2001077278A patent/JP4299977B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12073645B2 (en) | 2020-12-09 | 2024-08-27 | Fujifilm Business Innovation Corp. | Information processing apparatus, information processing system, and non-transitory computer readable medium for recognizing and correcting characters in forms |
Also Published As
Publication number | Publication date |
---|---|
JP2002279343A (en) | 2002-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7013182B2 (en) | Information processing equipment, information processing methods and programs | |
US5717794A (en) | Document recognition method and system | |
JP4661921B2 (en) | Document processing apparatus and program | |
US11836442B2 (en) | Information processing apparatus, method, and storage medium for associating metadata with image data | |
JP4299977B2 (en) | Recognition result correcting apparatus, recognition result correcting method, and recording medium | |
CN113449732A (en) | Information processing apparatus, image reading apparatus, recording medium, and information processing method | |
JP2020087112A (en) | Document processing apparatus and document processing method | |
JP4651876B2 (en) | PATTERN IDENTIFICATION DEVICE, PATTERN IDENTIFICATION METHOD, AND PATTERN IDENTIFICATION PROGRAM | |
JP4490937B2 (en) | Input correction method and input correction support system | |
JP4791641B2 (en) | Candidate character output device, candidate character output method, program, and computer-readable recording medium | |
JP3917322B2 (en) | Character recognition device | |
JP2022101136A (en) | Information processing apparatus, information processing method, and program | |
JP2000305687A (en) | Interactive display device | |
US20220197957A1 (en) | Information processing system and non-transitory computer readable medium storing program | |
JP2004152115A (en) | Input correction method and input correction support system | |
JP2001243422A (en) | Character recognition device and method | |
JP2002279352A (en) | Character recognition device and method, and recording medium | |
US20240203148A1 (en) | Workflow approval system, approval order setting method, and non-transitory computer-readable storage medium | |
JP3037727B2 (en) | OCR system | |
JP6571825B1 (en) | FAX number acquisition method, computer and program | |
JP6441715B2 (en) | Address recognition device | |
JP2004318383A (en) | Fingerprint collation system and fingerprint database updating method | |
JP2001266066A (en) | Device and method for recognizing character | |
JP2000132635A (en) | Recognizing data confirming method | |
JP2003308478A (en) | Form recognizing device, storage medium and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060327 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060427 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090305 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090407 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090420 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120424 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130424 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140424 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |