JP4299977B2

JP4299977B2 - Recognition result correcting apparatus, recognition result correcting method, and recording medium

Info

Publication number: JP4299977B2
Application number: JP2001077278A
Authority: JP
Inventors: 啓嗣小島
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2001-03-16
Filing date: 2001-03-16
Publication date: 2009-07-22
Anticipated expiration: 2021-03-16
Also published as: JP2002279343A

Description

【０００１】
【発明の属する技術分野】
本発明は、文字認識処理結果に対する認識結果修正装置、認識結果修正方法および記録媒体に関し、特に、大量の文書を文字認識したとき、その認識結果の修正に関する。
【０００２】
【従来の技術】
一般に、文書などの画像イメージを文字認識すると、認識できない文字があったり、文字を誤認識したりする。このため、文字認識処理システムでは、読み取った画像イメージと認識結果とをディスプレイ等の表示装置に対応表示させて、１枚１枚認識結果を確認しながら作業を行うことも少量の原稿の場合には可能だが、大量の原稿を入力する場合には、認識が終了する度に１枚１枚認識結果を確認するのでは、非常に作業効率が悪い。
従って、その場合は、バッチ処理的に認識だけを先に行い、後でまとめて認識結果を修正する方法がとられる。このように、後でまとめて認識結果を修正する場合、作業効率を向上させるために、認識結果とその文字の画像上の位置（座標値）を画像と関連付けて、認識結果の文字コード単位に記憶させる方法を採用することにより、認識結果修正時の誤認文字の発見と修正を容易にすることが可能になる。
【０００３】
【発明が解決しようとする課題】
このような問題点を解決するために、特開平６−１６２２５３号公報の技術では、誤認識された文字や認識できなかった文字の数が予め設定されている設定値より大きいか否かを判定し、誤認識された文字や認識できなかった文字の数が予め設定されている設定値より小さい場合は、誤認識された文字や認識できなかった文字のイメージデータを表示して修正させ、設定値より大きい場合は、誤認識された文字や認識できなかった文字が記入されている帳票のイメージデータを表示して認識結果を修正させている。
しかしながら、このような修正方法では、結局、入力した全ての原稿をチェックする必要が出てくる。例えば、大量の帳票（Ｎ枚とする）の文字認識を処理した場合を想定し、更に、３枚目と途中のｎ枚目と最後のＮ枚目に誤認識が含まれているとすると、ユーザーは、どこの認識結果に誤認識が含まれているのかが分からないので、結局、1枚目から最後のＮ枚目までを対象として認識結果を確認することになる。
帳票単位で９０％以上の認識率が得られていると仮定すると、この場合は、飛び飛びに散らばっている１０％の誤認識を含む認識結果のために、残りの９０％の誤認識を含まない認識結果を確認しなければならないことになる。
従って、どこに誤認識が含まれているのか分からないことが、ユーザーを不安にさせ、作業効率を低下させることになる。
本発明は、このような問題を解決するためのものであり、文字認識処理において、大量の帳票のような文書を一度に文字認識するとき、その認識結果を修正する作業効率を向上させる認識結果修正装置、認識結果修正方法および記録媒体を提供することを目的とする。
【０００４】
【課題を解決するための手段】
上記の問題を解決するために、本発明の請求項１は、１つ以上の認識項目を含む帳票を画像データとして複数枚入力した画像の前記各帳票内の各認識項目中の文字の認識結果と確からしさの情報を求める文字認識装置において、前記認識結果の確からしさの情報から前記各帳票内の各認識項目の代表値を求める代表値計算手段と、前記帳票内の各認識項目の認識結果を修正する優先順位を指示する優先順位指示手段と、該優先順位指示手段で指示された優先順位にしたがって、前記代表値計算手段で求められた各認識項目の代表値をもとに、認識結果を修正する帳票の順番を決定する修正順序決定手段と、を備え、前記修正順序決定手段は、前記優先順位指示手段で指示された認識項目の優先順位をソートキーの優先順位とし、当該認識項目の代表値でソートすることによって修正する帳票の順番を決定し、同じ値の代表値が複数存在する場合は、同じ代表値を持つ帳票について、次の優先順位の認識項目の代表値でソートすることによって、修正する帳票の順番を決定するようにしたことを特徴とする。
また、本発明の請求項２は、１つ以上の認識項目を含む帳票を画像データとして複数枚入力した画像の前記各帳票内の各認識項目中の文字の認識結果と確からしさの情報を求める文字認識装置において、前記認識結果の確からしさの情報から前記各帳票内の各認識項目の代表値を求める代表値計算手段と、前記帳票内の各認識項目の認識結果を修正する優先順位を指示する優先順位指示手段と、該優先順位指示手段で指示された優先順位にしたがって、前記代表値計算手段で求められた各認識項目の代表値をもとに、認識結果を修正する帳票の順番を決定する修正順序決定手段と、を備え、前記修正順序決定手段は、前記優先順位指示手段で指示された認識項目の優先順位をソートキーの優先順位とし、当該認識項目の代表値でソートすることによって修正する帳票の順番を決定し、同じ値の代表値が複数存在する場合は、同じ代表値を持つ帳票について、前記認識項目の他の代表値でソートすることによって、修正する帳票の順番を決定するようにしたこと特徴とする。
【０００５】
また、本発明の請求項３は、請求項１又は２に記載の認識結果修正装置において、前記代表値計算手段は、前記認識項目内の各文字の確からしさ情報の最小値および／または平均値を代表値として計算するようにしたことを特徴とする。
また、本発明の請求項４は、請求項１乃至３の何れか一項に記載の認識結果修正装置において、修正対象となる認識項目の代表値の推移と現在修正している帳票との関係を表示する状態表示手段を備えることを特徴とする。
また、本発明の請求項５は、１つ以上の認識項目を含む帳票を画像データとして複数枚入力した画像の前記各帳票内の各認識項目中の文字の認識結果と確からしさの情報を求める文字認識方法において、前記認識結果の確からしさの情報から前記各帳票内の各認識項目の代表値を求め、前記帳票内の各認識項目の認識結果を修正する優先順位を指示し、指示された優先順位をソートキーの優先順位とし、該認識項目の代表値をソートすることによって修正する帳票の順番を決定し、同じ値の代表値が複数存在する場合は、同じ代表値を持つ帳票について、次の優先順位の認識項目の代表値でソートすることによって、修正する帳票の順番を決定するようにしたことを特徴とする認識結果修正方法。
【０００６】
また、本発明の請求項６は、１つ以上の認識項目を含む帳票を画像データとして複数枚入力した画像の前記各帳票内の各認識項目中の文字の認識結果と確からしさの情報を求める文字認識方法において、前記認識結果の確からしさの情報から前記各帳票内の各認識項目の代表値を求め、前記帳票内の各認識項目の認識結果を修正する優先順位を指示し、指示された優先順位をソートキーの優先順位とし、該認識項目の代表値をソートすることによって修正する帳票の順番を決定し、同じ値の代表値が複数存在する場合は、同じ代表値を持つ帳票について、前記認識項目の他の代表値でソートすることによって、修正する帳票の順番を決定するようにした認識結果修正方法を特徴とする。
また、本発明の請求項７は、請求項５又６に記載の認識結果修正方法において、前記認識結果修正装置は、状態表示手段を備え、前記状態表示手段が、修正対象となる認識項目の代表値の推移と現在修正している帳票との関係を表示するステップを有することを特徴とする。
また、本発明の請求項８は、請求項１乃至４の何れか一項に記載の認識結果修正装置の機能を実現させるためのプログラムを記録したことを特徴とするコンピュータで読み込み可能な記録媒体を特徴とする。
【０００７】
【発明の実施の形態】
以下に、図面を用いて本発明の実施例の構成および動作を詳細に述べる。
＜実施例＞
（１）構成
図１は、本発明の一実施例である文字認識装置の構成をあらわすブロック図である。
実施例の文字認識装置は、制御手段１０、項目設定手段２０、画像入力手段３０、文字認識手段４０、代表値計算手段５０、優先順位指示手段６０、修正順位決定手段７０、状況表示手段８０項目設定記憶手段２５、結果記憶手段４５から構成されている。
制御手段１０は、文書（帳票）に設定された認識項目の領域の指示、その領域に対して文書画像の入力から文字認識結果の修正までの全体の機能手段を制御する。
項目設定手段２０は、以後に読み込まれる大量の文書（帳票）上の認識項目がどこに設定されているかを、帳票の雛型をスキャナー等の画像入力装置で読み込み、これをディスプレイ等の表示装置へ表示させ、ユーザーにマウス等でその領域を指定させる。この指定された領域は、認識項目ごとに項目設定記憶手段２５へ登録される。
【０００８】
項目設定記憶手段２５は、図２に示すように、ユーザーが指定した帳票の雛型に設定された認識項目ごとに、認識項目名、その領域の位置座標、高さ、幅、優先順位を保持する。
その他の項目としては、その項目に関する領域の属性（入力される文字タイプ、フォント、色、セキュリティ）が考えられる。
画像入力手段３０は、大量の文書（帳票）をスキャナー、複写機等の画像入力装置から画像データとして直接読み込む。
または、文書を画像入力装置から読み込んでファイルとして記憶装置へ書き込んでおき、このファイルから読み込むようにしてもよい。
文字認識手段４０は、画像入力手段３０で得た１枚ごとの画像データより、項目設定記憶手段２５に設定された認識領域ごとに個々の文字画像が切り出され、大きさが正規化され、この正規化された文字画像の特徴量を抽出し、この特徴量と認識辞書との比較を行ない、認識の確からしさとしての確信度が大きい順に一定個数の候補文字を求め、候補文字とその確信度とを認識結果として、結果記憶手段４５に登録する。
尚、各文字の確からしさを求める方法は、特開平４−２１１８８３号公報の技術によって求められる。
【０００９】
結果記憶手段４５は、図３に示すように、帳票ヘッダー、代表値表、候補文字表からなっている。
帳票ヘッダーは、１つの帳票に対して１つのエントリを持っており、その１つのエントリは次の項目を有している。
（Ａ）番号
帳票が入力され、帳票の文字認識が開始されるときにカウントアップされ、ここに設定される。
（Ｂ）順序
認識された各帳票の候補文字列を修正するとき、どの帳票から修正するのかを示す順序を示し、修正順位決定手段７０によって設定される。
（Ｃ）画像データへのポインタ
画像入力手段３０で入力された画像イメージを格納するファイルへのポインタであって、文字認識手段４０および文字認識結果を修正するときの元情報として表示される。
（Ｄ）代表値表へのポインタ
帳票中の認識項目に関する代表値等の情報を保持する代表値表へのポインタであり、代表値に関しては代表値計算手段５０によって設定される。
【００１０】
代表値表は、１つの帳票中の認識項目ごとに、次の項目を有するエントリを持っている。
（Ａ）代表値１
この認識項目における文字列中の各文字の確信度のうち最小の値である。
（Ｂ）代表値２
この認識項目における文字列中の各文字の確信度の平均値である。
（Ｃ）文字数
この認識項目における文字列の文字数である。文字認識手段４０で設定される。
（Ｄ）候補文字へのポインタ
認識項目の画像領域の認識結果を表す候補文字へのポインタであって、文字認識手段４０で、認識された候補文字を登録するときに作成される。
候補文字表は、この領域中の各文字画像に対して、認識結果の候補文字（文字コード）とその確信度とを確信度の大きい方から１０位までを保持する。この候補文字表は、文字認識手段４０で設定される。
【００１１】
代表値計算手段５０は、各帳票ごとに、各認識項目の代表値を次のように計算して、結果記憶手段４５へ登録する（図３参照）。
（Ａ）認識項目内の各文字の１位の候補文字の確信度（確からしさ）の最小値とする。
１項目に存在する全文字の中で、最小の確信度を代表値とする。この代表値は確信度が低い程、認識結果が信頼できず、確信度が高い程、認識結果を信頼できることを示している。
例えば、図２を参照すると、帳票中の認識項目ＡからＦに対して、それらの含まれている各文字に対する認識候補文字の確信度の最小値を代表値とする。この例では、認識項目Ａに対して６文字が認識され、それらの各文字の確信度を見ると、４文字目の確信度２０が最小値である。従って、認識項目Ａの代表値を２０とする。
（Ｂ）認識項目内の各文字の１位の候補文字の確信度（確からしさ）の平均値とする。
１項目に存在する全文字の確信度の平均値とする。
例えば、図３を参照すると、帳票中の認識項目ＡからＦに対して、それらの含まれている各文字に対する認識候補文字の確信度の平均値を代表値とする。この例では、認識項目Ａに対して６文字が認識され、それらの各文字の確信度の平均をとると、７１である。従って、認識項目Ａの代表値を７１とする。
優先順位指示手段６０は、帳票中の認識項目の内、どの項目が重要なものであるかの優先順位を指示する。これは項目設定記憶手段２５に登録されている認識項目の項目名、領域位置等を表示させて、ユーザーが指示し、その順番を項目設定記憶手段２０へ登録する。
例えば、通常、帳票内には幾つかの認識項目（例えば、帳票ＩＤ、金額欄、氏名、ふりがな、備考欄等）があり、それぞれ求められる認識精度が異なっている。
帳票ＩＤ等のように検索時のキーワードとなる項目や金額欄等のような重要な項目は、高い認識精度が要求されるが、備考欄等のような項目は、それほど高い認識精度は要求されない。従って、どのような順番で各認識項目を修正するべきか、その優先順位をユーザーに指定させる。
【００１２】
この優先順位は、修正順位決定手段７０で代表値をソートするとき、どの帳票の認識結果から修正したらよいかを決めるときのソートキーの優先順位と一致する。
例えば、認識項目にＡ，Ｂ，Ｃ，Ｄ，Ｅの５つがあり、それらの優先順位が４，２，３，１，５であったとき、
１次キー：Ｄ、２次キー：Ｂ、３次キー：Ｃ、４次キーＡ、５次キー：Ｅ
として５つのキーで各帳票の代表値をソートする。
また、この優先順位指示手段６０は、項目設定手段２０と一緒に動作させるように構成してもよい。
修正順位決定手段７０は、優先順位指示手段６０で指定された優先順位をソートの優先キーとみなして、認識項目の代表値（例えば、最小値を示す代表値１であっても、平均値を示す代表値２のいずれであってもよい）の小さい順にソートする。
このソート結果は、結果記憶手段４５の帳票ヘッダーの項目「順序」に格納される。
【００１３】
このソートにおいて、代表値（代表値１または代表値２）に同じ値が存在するときに以下のような処理をする。
（Ａ）次の優先順位の認識項目の代表値で順番を決定する。
このときの代表値も同種のものでも、異種のもののいずれであってもよい。
（Ｂ）同じ値を示した認識項目に対する他の代表値で大小で順番を決定する。
はじめに代表値１でソートしていたときには、代表値２を使ってソートするという具合である。
（Ｃ）代表値１（最小値）も代表値２（平均値）も同じであれば、次のような別の基準によってソートする。
・入力した文書（帳票）の順番
画像入力装置から読み取った文書の順番で、この順番は文書の順番が時系列（日付等）で並んでいる可能性が高いと思われるからである。
・認識項目の文字数
この場合は、認識対象文書の内容に依存する可能性が大きいと思われるので、文字数が多い方を優先するか、または、少ない方を優先するのかをユーザーが設定できるようにする。
【００１４】
状況表示手段８０は、文字認識された結果の候補文字を確定する修正作業時に、現在処理している帳票に関する作業状況をディスプレイ等の表示装置へ表示させる。例えば、図６に示すように、ある認識項目について次のような項目を数値やグラフを用いて表示し、ユーザーに現在どのあたりを修正しているかの情報を提供する。
（Ａ）この認識項目の代表値が帳票全体では、どのように推移しているかを示す推移状況をグラフで表示する。
（Ｂ）現在修正している帳票の最初からの枚数を数値やグラフ上の位置で表示する。
（Ｃ）その帳票のこの認識項目に関する代表値の値を数値とグラフで表示する。（Ｄ）同じ値の代表値を持つ帳票の枚数を数値で表示する。
このような表示をすることにより、現在の修正処理が、全体の中のどの程度処理したのか、どのあたりを処理しているのか、その後どの程度修正すればよいのかを把握することができる。このような表示は、常に表示させるようにしても良いし、メニュー等で指定したときのみ表示するようにしてもよい。
修正順位決定手段７０でソートした結果、図７に示すように、各認識項目の代表値（確信度）が低い、即ち、誤認識文字を含む確率の高いものから順番に並ぶために、認識結果の修正作業が最初の方に集中し、代表値が高くなるにつれて、修正作業の負荷が下降していき、やがて、まったく修正する必要がなくなってくる。
ユーザーは、この図７のようなカーブを頭に描きながら、且つ、現在、修正している認識結果の代表値を知ることで、全体のカーブのどのあたりを修正しているのか把握しながら作業ができる。
その後、まったく修正する必要がない認識結果がある程度続いたとき（図７の影で表示されたα枚分）、残りの認識結果は誤変換がないとユーザーは判断し、修正作業を途中で終了することができる。
【００１５】
このような構成において、実施例の文字認識装置は次のように動作する。
先ず、処理制御手段１０は、文字認識する帳票の認識項目がどこにあるかをユーザーに指定させるために項目設定手段２０を呼び出す。
この項目設定手段２０は、帳票の雛型をスキャナー等の画像入力装置で読み込み、これをディスプレイ等の表示装置へ表示させ、ユーザーにマウス等によってその領域を指定させ、この指定された領域は、認識項目ごとに項目設定記憶手段２５へ登録される。
次に、制御手段１０は、帳票１枚ごとに画像入力手段３０、文字認識手段と続けてを呼び出し、帳票がなくなるまで繰り返す。
画像入力手段３０は、文書（帳票）をスキャナー、複写機等の画像入力装置から画像データとして直接読み込むか、または、文書を画像入力装置から読み込んでファイルとして記憶装置へ書き込んでおき、このファイルから読み込むようにしてもよい。
１枚の帳票を読み込むと、その帳票に対して文字認識手段４０が呼び出され、この帳票上にある認識項目の画像領域に対して文字認識処理が行われる。１枚ごとの画像データから、項目設定記憶手段２５に設定された認識領域ごとに個々の文字画像が切り出され、大きさが正規化され、この正規化された文字画像の特徴量を抽出し、この特徴量と認識辞書との比較を行ない、認識の確からしさとしての確信度が大きい順に一定個数の候補文字を求め、候補文字とその確信度とを認識結果として、結果記憶手段４５に登録する。
結果記憶手段４５へ登録するとき、帳票の入力順番号（認識処理されるときに帳票番号はカウントアップされる）、帳票の画像データのファイルへのポインタ、その帳票にある認識項目に対応している代表値表へのポインタからなる帳票ヘッダーを作成する。また、代表値表へは、各認識項目の中にあった文字列の文字数、候補文字表へのポインタを作成する。
候補文字表へは、この領域にあった画像文字列にある各文字画像に対して、認識結果の候補文字（文字コード）とその確信度とを確信度の大きい方から１０位までを登録する。
【００１６】
制御手段１０は、文字認識の対象となった文書（帳票）の入力が終わると、認識結果を修正するために、先ず、代表値計算手段５０を呼び出す。
代表値計算手段５０は、結果記憶手段４５に登録されている各帳票ごとに、各認識項目の代表値を次のようにして計算して、結果記憶手段４５へ追加登録する。
（Ａ）認識項目内の各文字の１位の候補文字の確信度の最小値とする。
（Ｂ）認識項目内の各文字の１位の候補文字の確信度の平均値とする。
次に、制御手段１０は優先順位指示手段６０を呼び出す。
優先順位指示手段６０は、項目設定記憶手段２５に登録されている認識項目の項目名、領域位置等を表示させて、その内のどの項目が重要なものであって、どの項目を優先的に修正しなければならないかの優先順位をユーザーに指示させ、その順番を項目設定記憶手段２０へ追加登録する。
また、この優先順位指示手段６０は、項目設定手段２０と一緒に動作させるように構成してもよい。
次いで、制御手段１０は、認識結果の修正をどのような順番で行えば、効率よく修正できるかの順番を決めるために修正順位決定手段７０を呼び出す。
修正順位決定手段７０は、項目設定記憶手段２５に記憶された認識項目の優先順位をソートの優先キーとみなして、認識項目の代表値の小さい順にソートする。
【００１７】
このソート結果は、結果記憶手段４５の帳票ヘッダーの項目「順序」に格納される。このソートにおいて、代表値に同じ値が存在するときには、以下のいずれかの処理をする。
（Ａ）次の優先順位の認識項目の代表値で順番を決定する。
（Ｂ）同じ値を示した認識項目に対する他の代表値で大小で順番を決定する。
（Ｃ）上記いずれでも決まらないときには、入力した文書（帳票）の順番や認識項目の文字数のような別の基準を使って、順番を決定する。
このような準備を行った後、ユーザーが文字認識された結果の候補文字を確定する修正作業時に作業状況を示すために制御手段１０は、状況表示手段８０を呼び出す。この呼び出しによる状況表示は、常に表示させるようにしても良いし、メニュー等で指定したときのみ表示するようにしてもよい。
このときの作業状況は、ある認識項目について次のような内容を数値やグラフを用いてディスプレイ等の表示装置へ表示し、ユーザーに現在どのあたりを修正しているかの情報を提供する。
（Ａ）その項目の代表値が帳票全体でどのように推移状況（グラフ）
（Ｂ）現在修正している帳票の最初からの枚数（数値とグラフ上の位置）
（Ｃ）その帳票のこの項目に関する代表値の値（数値とグラフ）
（Ｄ）同じ値の代表値を持つ帳票の枚数（数値）
上記のような構成にすることにより、帳票のような定型の書式に作成された大量の文書（帳票）を読み込んで、文字認識した後の候補文字の修正を行う作業において、ユーザーは現在の修正処理が、どの程度の処理量があるのか、どの程度処理したのか、どの程度残っているのかを把握することができるので、まったく修正する必要がない認識結果がある程度続いたとき、残りを修正するべきかどうかを判断して、作業を途中で終了することができる。
【００１８】
この終了の判断はユーザーが行うため、自由にこの判断基準を変更することができことから、柔軟なシステム運用ができることになる。例えば、重要な項目には厳しくチェックし、重要ではない項目は、早めに修正作業を打ち切ることも可能となってくる。
従って、文書（帳票）が少量の時の効果よりも、大量の時の方が短い修正作業時間で、品質の高い認識結果を得るという修正作業の向上とともに、労力削減効果が大きくなる。
【００１９】
（２）処理の流れ
図８は、本実施例の文字認識装置の処理の流れを説明するためのフローチャートである。
帳票の雛型をスキャナー等の画像入力装置で読み込み、これをディスプレイ等の表示装置へ表示させ、ユーザーにマウス等によって、文字認識する帳票の認識項目の領域がどこにあるかを指定させる（ステップＳ１００）。
この指定された領域は、認識項目ごとに項目設定記憶手段２５へ登録される。１枚の文書（帳票）をスキャナー、複写機等の画像入力装置から画像データとして直接読み込む（ステップＳ１１０）。または、文書を画像入力装置から読み込んでファイルとして記憶装置へ書き込んでおき、このファイルから１画像データとして読み込むようにしてもよい。
１枚の画像データから、項目設定記憶手段２５に設定された認識領域ごとに個々の文字画像が切り出され、大きさが正規化され、この正規化された文字画像の特徴量を抽出し、この特徴量と認識辞書との比較を行ない、認識の確からしさとしての確信度が大きい順に一定個数の候補文字を求め、候補文字とその確信度とを認識結果として、結果記憶手段４５に登録する（ステップＳ１２０）。
文字認識の対象となった文書（帳票）の入力が終わったかどうかを検査し（ステップＳ１３０）、終わっていなければ次の文書（帳票）を読み込むためにステップＳ１１０へ戻る。
結果記憶手段４５に登録されている各帳票ごとに、各認識項目の代表値を次のようにして計算して、結果記憶手段４５へ追加登録する（ステップＳ１４０）。
（Ａ）認識項目内の各文字の１位の候補文字の確信度の最小値とする。
（Ｂ）認識項目内の各文字の１位の候補文字の確信度の平均値とする。
項目設定記憶手段２５に登録されている認識項目の項目名、領域位置等を表示させて、その内のどの項目が重要なものであって、どの項目を優先的に修正しなければならないかの優先順位をユーザーに指示させ、その順番を項目設定記憶手段２０へ追加登録する（ステップＳ１５０）。
認識結果の修正をどのような順番で行えば、効率よく修正できるかの順番を決め、その修正する帳票の順序を結果記憶手段４５の帳票ヘッダーの項目「順序」に格納する（ステップＳ１６０）。
これは、項目設定記憶手段２５に記憶された認識項目の優先順位をソートの優先キーとみなして、認識項目の代表値の小さい順にソートする。
【００２０】
このソートにおいて、代表値に同じ値が存在するときには、以下のいずれかの処理をする。
（Ａ）次の優先順位の認識項目の代表値で順番を決定する。
（Ｂ）同じ値を示した認識項目に対する他の代表値で大小で順番を決定する。
（Ｃ）上記いずれでも決まらないときには、入力した文書（帳票）の順番や認識項目の文字数のような別の基準を使って順番を決定する。
このような準備を行った後、ユーザーは文字認識された結果の候補文字を確定する修正作業を行う（ステップＳ１７０）。確定作業は、下位の候補文字の中から選択するか新たにユーザーが入力して、１位の候補文字と置き換えて結果記憶手段４５が修正される。
このとき作業状況を示すために、ユーザーはメニュー等で指定して以下のようなある認識項目についの作業状況をディスプレイ等の表示装置へ表示させる。また、このような作業状況は、修正作業に入ったとき常に表示させておいてもよい。
（Ａ）その項目の代表値が帳票全体でどのように推移状況（グラフ）
（Ｂ）現在修正している帳票の最初からの枚数（数値とグラフ上の位置）
（Ｃ）その帳票のこの項目に関する代表値の値（数値とグラフ）
（Ｄ）同じ値の代表値を持つ帳票の枚数（数値）
修正作業が終わった時には、結果記憶手段４５の各認識項目に対する１位の候補文字が文字認識処理の結果となっている。
【００２１】
＜コンピュータによる実施例＞
さらに、本発明は上記の実施の形態のみに限定されたものではない。例えば、図１の文字認識装置は、図９に示したようなコンピュータ装置の構成によっても実現が可能である。
図９のコンピュータ装置は、入力装置１、出力装置２、ＣＰＵ（Central Processing Unit；中央処理装置）３、メモリ４、記憶装置５、媒体駆動装置６およびネットワーク接続装置７を備え、それらはバス８により互いに接続されている。
入力装置１は、キーボード、マウス、タッチパネル、スキャナ等により構成され、テキストや画像の情報を入力するのに使用される。
出力装置２は、種々の出力情報や入力装置１からの入力された情報などを出力させるものであって、ディスプレイ装置やプリンタ装置である。
ＣＰＵ３は、種々のプログラムを動作させる。
メモリ４は、プログラム自身を保持し、またそのプログラムがＣＰＵ３によって実行されるときに一時的に作成される情報等を保持する。
記憶装置５は、本発明の文字認識装置で扱う項目設定記憶手段２５、結果記憶手段４５や文字認識用の辞書、読み込んだ画像データおよびプログラムやプログラム実行時の一時的な情報等を保持する。
媒体駆動装置６は、プログラムやデータ等を記憶した記録媒体を装着してそれらを読み込み、メモリ４または記憶装置５へ格納するのに用いられる。また、直接データの入出力やプログラム実行するのに使ってもよい。
【００２２】
尚、記録媒体としては半導体媒体（例えば、ＲＯＭ、ＩＣメモリカード等）、光媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ−Ｒ等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク等）のいずれであってもよい。
図１に示した文字認識装置を構成する各機能をそれぞれプログラム化し、予めＣＤ−ＲＯＭ等の記録媒体に書き込んでおき、このＣＤ−ＲＯＭをＣＤ−ＲＯＭドライブのような媒体駆動装置６を搭載したコンピュータに装着して、これらのプログラムをそれぞれのコンピュータ装置のメモリ４あるいは記憶装置５に格納し、それを実行することによって、上述した実施の形態と同様な機能を実現することができる。
また、ロードしたプログラムを実行することにより前述した実施の形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステム等が実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれる。
また、上述した実施の形態を実現するプログラムがＲＯＭ等のような半導体の記録媒体である場合には、媒体駆動装置６からではなく、直接、メモリ４へロードして実行される。
さらに、上述した実施の形態の機能を実現するプログラムが、機能拡張ボードや機能拡張ユニットに備わるメモリにロードされ、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって、上述した実施の形態の機能が実現される場合も含まれる。
【００２３】
＜本発明のネットワーク環境での運用＞
図１０は、本発明をネットワーク接続して運用する形態の構成を示している。この場合、ユーザーの端末１１０およびサーバー１２０は、図９に示した汎用のコンピュータ装置で構成され、ネットワーク９に接続するためのネットワーク接続装置７をそれぞれ備えるようにする。
また、このネットワーク９は、これらのユーザーの端末１１０とサーバー１２０とを結合するための伝送路であって、一般には、ケーブルで実現され、通信プロトコルにはＴＣＰ／ＩＰが使われる。但し、伝送路としてはケーブルだけではなく、それらの間の通信プロトコルが一致するものであれば無線ＬＡＮや放送波を使ったものであってもよい。
サーバー１２０には、磁気ディスク等の記憶装置に本発明の機能を実現する文字認識プログラムを格納しておく。
ユーザーの端末１１０では、サーバー１２０からその文字認識プログラムを受信して、画像を入力し、受信した文字認識プログラムを端末１１０で実行させ、その実行結果を出力するようにする。
このようにすることで、文字認識プログラムが常に最新のものを使え、認識辞書はユーザー固有のものとすることができるという利点がある。
また、サーバー１２０から端末１１０とをネットワーク９で接続し、ダウンロード等の形式で頒布することも可能である。
さらに、本発明の機能を実現するプログラムを放送波によって配布することで提供するようにしてもよい。
【００２４】
【発明の効果】
以上説明したように、本発明によれば、大量の原稿（帳票）が入力された場合であっても、文字認識結果を効率よく修正する作業が行える。
【図面の簡単な説明】
【図１】本発明の一実施例である文字認識装置の構成を示すブロック図である。
【図２】項目設定記憶手段のデータ構造を説明するための図である。
【図３】結果記憶手段のデータ構造を説明するための図である。
【図４】代表値（最小値）の計算方法を説明するための図である。
【図５】代表値（平均値）の計算方法を説明するための図である。
【図６】状況表示手段で表示される画面例を示す図である。
【図７】状況表示されたときの作業の負荷状況を説明するための図である。
【図８】実施例の文字認識装置の処理を説明するためのフローチャートである。
【図９】本発明の文字認識装置をコンピュータで実現するときのハードウェアの構成を示す図である。
【図１０】本発明をネットワークで運用する形態の構成を示す図である。
【符号の説明】
１入力装置
２出力装置
３ＣＰＵ
４メモリ
５記憶装置
６媒体駆動装置
７ネットワーク接続装置
８バス
９ネットワーク
１０制御手段
２０項目設定手段
２５項目設定記憶手段
３０画像入力手段
４０文字認識手段
４５結果記憶手段
５０代表値計算手段
６０優先順位指示手段
７０修正順位決定手段
８０状況表示手段
１１０端末
１２０サーバー[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a recognition result correction apparatus, a recognition result correction method, and a recording medium for character recognition processing results, and more particularly to correction of recognition results when a large number of documents are recognized.
[0002]
[Prior art]
Generally, when character recognition is performed on an image image of a document or the like, there are characters that cannot be recognized or characters are recognized incorrectly. For this reason, in the character recognition processing system, the read image image and the recognition result are displayed on a display device such as a display so as to confirm the recognition result one by one. However, when inputting a large amount of documents, it is very inefficient to check the recognition result one by one every time recognition is completed.
Therefore, in this case, a method is adopted in which only recognition is performed first in batch processing, and the recognition result is corrected collectively later. As described above, when correcting the recognition result collectively later, in order to improve work efficiency, the recognition result and the position (coordinate value) of the character on the image are associated with the image, and the character code unit of the recognition result is used. By adopting the method of storing, it becomes possible to easily find and correct misidentified characters when correcting the recognition result.
[0003]
[Problems to be solved by the invention]
In order to solve such a problem, the technique disclosed in Japanese Patent Laid-Open No. 6-162253 determines whether the number of characters that have been misrecognized or unrecognized is greater than a preset value. If the number of misrecognized or unrecognized characters is smaller than the preset value, display the image data of the misrecognized or unrecognized characters, correct them, and set When the value is larger than the value, the image data of the form in which the misrecognized character or the unrecognizable character is entered is displayed to correct the recognition result.
However, with such a correction method, it is eventually necessary to check all input documents. For example, assuming that character recognition of a large number of forms (assumed to be N) is processed, and further, erroneous recognition is included in the third sheet, the nth sheet in the middle, and the last N sheet, Since the user does not know where the recognition result includes the misrecognition, the user eventually confirms the recognition result from the first sheet to the last N sheets.
Assuming that a recognition rate of 90% or more is obtained in the form unit, in this case, the remaining 90% misrecognition is not included because of the recognition result including 10% misrecognition scattered in a scattered manner. The recognition result must be confirmed.
Therefore, not knowing where the misrecognition is included makes the user uneasy and reduces the work efficiency.
The present invention is for solving such problems, and in character recognition processing, when a document such as a large number of forms is recognized at a time, the recognition result improves the work efficiency of correcting the recognition result. An object is to provide a correction device, a recognition result correction method, and a recording medium.
[0004]
[Means for Solving the Problems]
In order to solve the above problem, claim 1 of the present invention provides: In a character recognition apparatus that obtains information on the recognition result and the probability of characters in each recognition item in each form of an image in which a plurality of forms including one or more recognition items are input as image data, the recognition result is confirmed. Representative value calculation means for obtaining a representative value of each recognition item in each form from the information of the likelihood, priority order instruction means for instructing a priority for correcting the recognition result of each recognition item in the form, and the priority order Correction order determining means for determining the order of the form for correcting the recognition result based on the representative value of each recognition item obtained by the representative value calculating means in accordance with the priority order designated by the instruction means. The correction order determining means sets the priority order of the recognized items specified by the priority order specifying means as the priority order of the sort key, and the order of the forms to be corrected by sorting the representative values of the recognized items. To determine, When there are multiple representative values of the same value, the order of the forms to be corrected is determined by sorting the forms with the same representative value by the representative value of the recognition item of the next priority. And
Further, claim 2 of the present invention provides In a character recognition apparatus that obtains information on the recognition result and the probability of characters in each recognition item in each form of an image in which a plurality of forms including one or more recognition items are input as image data, the recognition result is confirmed. Representative value calculation means for obtaining a representative value of each recognition item in each form from the information of the likelihood, priority order instruction means for instructing a priority for correcting the recognition result of each recognition item in the form, and the priority order Correction order determining means for determining the order of the form for correcting the recognition result based on the representative value of each recognition item obtained by the representative value calculating means in accordance with the priority order designated by the instruction means. The correction order determining means sets the priority order of the recognized items specified by the priority order specifying means as the priority order of the sort key, and the order of the forms to be corrected by sorting the representative values of the recognized items. To determine, If there are multiple representative values with the same value, Above The order of the forms to be corrected is determined by sorting by other representative values of the recognition items.
[0005]
Further, claim 3 of the present invention is the claim. 1 or 2 In the recognition result correcting apparatus described in (1), the representative value calculating means calculates the minimum value and / or average value of the probability information of each character in the recognition item as a representative value.
Further, claim 4 of the present invention provides The recognition result correction apparatus according to any one of claims 1 to 3, further comprising state display means for displaying a relationship between a transition of a representative value of a recognition item to be corrected and a form that is currently corrected. It is characterized by that.
Further, the claims of the present invention 5 Is In a character recognition method for obtaining information on the recognition result and the accuracy of characters in each recognition item in each form of an image obtained by inputting a plurality of forms including one or more recognition items as image data, the recognition result is confirmed. The representative value of each recognition item in each form is obtained from the information of the likelihood, the priority order for correcting the recognition result of each recognition item in the form is instructed, the instructed priority order is set as the sort key priority order, By sorting the representative values of the recognition items, the order of the forms to be corrected is determined. When there are multiple representative values of the same value, the order of the forms to be corrected is determined by sorting the forms with the same representative value by the representative value of the next priority recognition item. The recognition result correction method.
[0006]
Further, the claims of the present invention 6 Is In a character recognition method for obtaining information on the recognition result and the accuracy of characters in each recognition item in each form of an image obtained by inputting a plurality of forms including one or more recognition items as image data, the recognition result is confirmed. The representative value of each recognition item in each form is obtained from the information of the likelihood, the priority order for correcting the recognition result of each recognition item in the form is instructed, the instructed priority order is set as the sort key priority, By sorting the representative values of the recognition items, the order of the forms to be corrected is determined. If there are multiple representative values for the same value, Above A recognition result correction method is characterized in that the order of the forms to be corrected is determined by sorting by other representative values of the recognition items.
Further, the claims of the present invention 7 Claim 5 or 6 In the recognition result correction method described above, the recognition result correction device includes a state display unit, and the state display unit displays a relationship between a transition of a representative value of a recognition item to be corrected and a form that is currently being corrected. It has the step to perform.
Further, the claims of the present invention 8 Are claims 1 to Any one of 4 A computer-readable recording medium characterized by recording a program for realizing the function of the recognition result correcting apparatus described in 1).
[0007]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the configuration and operation of the embodiment of the present invention will be described in detail with reference to the drawings.
<Example>
(1) Configuration
FIG. 1 is a block diagram showing a configuration of a character recognition apparatus according to an embodiment of the present invention.
The character recognition apparatus according to the embodiment includes a control means 10, an item setting means 20, an image input means 30, a character recognition means 40, a representative value calculation means 50, a priority order instruction means 60, a correction order determination means 70, and status display means 80 items. It comprises a setting storage means 25 and a result storage means 45.
The control means 10 controls the entire functional means from the input of the document image to the correction of the character recognition result for the area, indicating the area of the recognition item set in the document (form).
The item setting unit 20 reads the template of the form with an image input device such as a scanner, where the recognition items on a large number of documents (forms) to be read later are set, and supplies this to a display device such as a display. Display and let the user specify the area with the mouse. This designated area is registered in the item setting storage means 25 for each recognition item.
[0008]
As shown in FIG. 2, the item setting storage means 25 holds the recognition item name, the position coordinates of the area, the height, the width, and the priority for each recognition item set in the template of the form designated by the user. To do.
As other items, attributes of the area related to the item (input character type, font, color, security) can be considered.
The image input means 30 directly reads a large amount of documents (forms) as image data from an image input device such as a scanner or a copying machine.
Alternatively, the document may be read from the image input device, written as a file to the storage device, and read from this file.
The character recognition means 40 cuts out individual character images for each recognition area set in the item setting storage means 25 from each piece of image data obtained by the image input means 30, and normalizes the size. The feature value of the normalized character image is extracted, and the feature value is compared with the recognition dictionary to obtain a certain number of candidate characters in descending order of the certainty as the probability of recognition. Is registered in the result storage means 45 as a recognition result.
A method for obtaining the accuracy of each character is obtained by the technique disclosed in Japanese Patent Laid-Open No. 4-211883.
[0009]
As shown in FIG. 3, the result storage means 45 includes a form header, a representative value table, and a candidate character table.
The form header has one entry for one form, and the one entry has the following items.
(A) Number
When a form is input and character recognition of the form is started, it is counted up and set here.
(B) Order
When the recognized candidate character string of each form is corrected, an order indicating which form is to be corrected is shown, and is set by the correction order determination means 70.
(C) Pointer to image data
This is a pointer to a file that stores the image image input by the image input means 30, and is displayed as original information when the character recognition means 40 and the character recognition result are corrected.
(D) Pointer to representative value table
This is a pointer to a representative value table that holds information such as representative values relating to the recognition items in the form, and the representative values are set by the representative value calculation means 50.
[0010]
The representative value table has an entry having the following items for each recognized item in one form.
(A) Representative value 1
This is the minimum value of the certainty factor of each character in the character string in this recognition item.
(B) Representative value 2
It is the average value of the certainty factor of each character in the character string in this recognition item.
(C) Number of characters
This is the number of characters in the character string in this recognition item. It is set by the character recognition means 40.
(D) Pointer to candidate character
This is a pointer to a candidate character that represents the recognition result of the image area of the recognition item, and is created when the character recognition means 40 registers the recognized candidate character.
The candidate character table holds the recognition result candidate characters (character codes) and the certainty of each character image in this region from the one with the highest certainty. This candidate character table is set by the character recognition means 40.
[0011]
The representative value calculation means 50 calculates the representative value of each recognition item for each form as follows and registers it in the result storage means 45 (see FIG. 3).
(A) The minimum value of the certainty factor (probability) of the first candidate character of each character in the recognition item.
Among all characters existing in one item, the minimum certainty factor is used as a representative value. This representative value indicates that the lower the certainty factor, the less reliable the recognition result, and the higher the certainty factor, the more reliable the recognition result.
For example, referring to FIG. 2, for the recognition items A to F in the form, the minimum value of the certainty of the recognition candidate character for each of the included characters is used as the representative value. In this example, six characters are recognized for the recognition item A, and the certainty factor 20 of the fourth character is the minimum value when the certainty factor of each character is seen. Therefore, the representative value of the recognition item A is set to 20.
(B) The average value of the certainty (probability) of the first candidate character of each character in the recognition item.
Let it be the average value of the certainty factor of all characters existing in one item.
For example, referring to FIG. 3, for recognition items A to F in the form, the average value of the certainty of recognition candidate characters for each of the included characters is used as a representative value. In this example, six characters are recognized for the recognition item A, and the average of the certainty factors of these characters is 71. Therefore, the representative value of the recognition item A is 71.
The priority order instructing means 60 instructs the priority order of which items are important among the recognized items in the form. This is done by displaying the item name, region position, etc. of the recognition items registered in the item setting storage means 25 and instructing the user to register the order in the item setting storage means 20.
For example, there are usually some recognition items (for example, a form ID, a money amount column, a name, a furigana, a remarks column, etc.) in the form, and the required recognition accuracy is different.
For items such as form IDs and other important items such as keywords and amount fields, high recognition accuracy is required, but items such as remarks columns do not require high recognition accuracy. . Therefore, the user is allowed to specify the priority order in which order each recognition item should be corrected.
[0012]
This priority order matches the priority order of the sort keys used to determine which form should be corrected when the representative values are sorted by the correction order determination means 70.
For example, when there are five recognition items A, B, C, D, and E, and their priorities are 4, 2, 3, 1, and 5,
Primary key: D, secondary key: B, tertiary key: C, quaternary key A, quinary key: E
Sort the representative values of each form with five keys.
Further, the priority order instruction means 60 may be configured to operate together with the item setting means 20.
The correction order determination means 70 regards the priority specified by the priority order instruction means 60 as the sort priority key, and calculates the average value even if the representative value of the recognition item (for example, the representative value 1 indicating the minimum value). Sorted in ascending order (which may be any of representative values 2).
This sort result is stored in the item “order” of the form header of the result storage means 45.
[0013]
In this sort, when the same value exists in the representative value (representative value 1 or representative value 2), the following processing is performed.
(A) The order is determined by the representative value of the next priority recognition item.
The representative value at this time may be the same or different.
(B) The order is determined by the size of other representative values for the recognition items showing the same value.
For example, when sorting is performed using the representative value 1 first, the sorting is performed using the representative value 2.
(C) If the representative value 1 (minimum value) and the representative value 2 (average value) are the same, sorting is performed according to another criterion as follows.
-Order of entered documents (forms)
This is because the order of the documents read from the image input device is considered to be highly likely to be in time series (dates, etc.).
・ Number of characters in the recognition item
In this case, since there is a high possibility that it depends on the contents of the recognition target document, the user can set whether to give priority to the one with a larger number of characters or the one with a smaller number.
[0014]
The status display means 80 displays a work status related to the currently processed form on a display device such as a display at the time of correction work for determining candidate characters as a result of character recognition. For example, as shown in FIG. 6, the following items are displayed with respect to a certain recognition item using numerical values and graphs, and information on which area is currently corrected is provided to the user.
(A) A transition state indicating how the representative value of the recognition item is changing in the entire form is displayed in a graph.
(B) The number of sheets from the beginning of the currently corrected form is displayed as a numerical value or a position on the graph.
(C) The value of the representative value related to this recognition item of the form is displayed as a numerical value and a graph. (D) The number of forms having the same representative value is displayed numerically.
By displaying in this way, it is possible to grasp how much of the current correction process has been processed, what part is being processed, and how much correction should be performed thereafter. Such a display may be always displayed, or may be displayed only when designated by a menu or the like.
As a result of the sorting by the correction order determining means 70, as shown in FIG. 7, the recognition results are arranged in order from the lowest representative value (confidence level) of each recognition item, that is, from the highest probability of including erroneously recognized characters. As the correction work concentrates on the first stage and the representative value increases, the load of the correction work decreases, and eventually, there is no need to make any correction.
The user works while drawing the curve as shown in FIG. 7 and knowing which part of the entire curve is being corrected by knowing the representative value of the recognition result currently being corrected. Can do.
After that, when recognition results that do not need to be corrected at all continue to some extent (α images displayed in the shadow of FIG. 7), the user determines that the remaining recognition results are not erroneously converted, and the correction operation is terminated halfway. can do.
[0015]
In such a configuration, the character recognition device of the embodiment operates as follows.
First, the process control means 10 calls the item setting means 20 in order to allow the user to specify where the recognition item of the form for character recognition is located.
This item setting means 20 reads a template of a form with an image input device such as a scanner, displays it on a display device such as a display, and allows the user to specify the area with a mouse or the like. Each recognized item is registered in the item setting storage means 25.
Next, the control means 10 calls the image input means 30 and the character recognition means successively for each form, and repeats until there is no form.
The image input means 30 reads a document (form) directly as image data from an image input device such as a scanner or a copying machine, or reads a document from the image input device and writes it as a file to a storage device. You may make it read.
When one form is read, the character recognition means 40 is called for the form, and the character recognition process is performed on the image area of the recognition item on the form. Individual character images are cut out for each recognition area set in the item setting storage means 25 from each piece of image data, the size is normalized, and the feature amount of the normalized character image is extracted. This feature amount is compared with the recognition dictionary, a certain number of candidate characters are obtained in descending order of certainty as the probability of recognition, and the candidate characters and their certainty are registered in the result storage means 45 as recognition results. .
When registering in the result storage means 45, the input order number of the form (the form number is counted up during recognition processing), the pointer to the file of the image data of the form, and the recognition item in the form Create a form header consisting of a pointer to a representative value table. In the representative value table, the number of characters in the character string in each recognition item and a pointer to the candidate character table are created.
In the candidate character table, for each character image in the image character string in this area, the candidate character (character code) of the recognition result and its certainty are registered from the one with the highest certainty to the tenth place. .
[0016]
When the input of the document (form) targeted for character recognition is completed, the control means 10 first calls the representative value calculation means 50 in order to correct the recognition result.
The representative value calculation means 50 calculates the representative value of each recognition item for each form registered in the result storage means 45 as follows, and additionally registers it in the result storage means 45.
(A) The minimum certainty factor of the first candidate character of each character in the recognition item.
(B) It is set as the average value of the certainty factor of the 1st candidate character of each character in a recognition item.
Next, the control unit 10 calls the priority order instruction unit 60.
The priority order instructing means 60 displays the item name, area position, etc. of the recognized items registered in the item setting storage means 25, and which items are important and which are prioritized. The user is instructed in order of priority regarding whether or not correction is necessary, and the order is additionally registered in the item setting storage means 20.
Further, the priority order instruction means 60 may be configured to operate together with the item setting means 20.
Next, the control means 10 calls the correction order determination means 70 in order to determine the order in which the recognition results should be corrected in order of efficient correction.
The correction order determination means 70 regards the recognition item priority stored in the item setting storage means 25 as a sort priority key, and sorts the recognition items in ascending order of representative values.
[0017]
This sort result is stored in the item “order” of the form header of the result storage means 45. In this sort, when the same value exists in the representative value, one of the following processes is performed.
(A) The order is determined by the representative value of the next priority recognition item.
(B) The order is determined by the size of other representative values for the recognition items showing the same value.
(C) If neither of the above is determined, the order is determined using another criterion such as the order of the input document (form) or the number of characters in the recognition item.
After making such preparation, the control means 10 calls the status display means 80 in order to indicate the work status during the correction work in which the user confirms the candidate character as a result of character recognition. The status display by this call may be always displayed, or may be displayed only when designated by a menu or the like.
The work status at this time displays the following contents for a certain recognition item on a display device such as a display using numerical values and graphs, and provides the user with information on which area is currently being corrected.
(A) How the representative value of the item changes in the entire form (graph)
(B) Number of sheets that are currently being revised (numbers and positions on the graph)
(C) Representative value (number and graph) for this item in the form
(D) Number of forms having the same representative value (numerical value)
With the above configuration, the user corrects the current character in the task of correcting a candidate character after reading a large amount of documents (form) created in a standard format such as a form and recognizing the character. Since it is possible to grasp how much processing amount the processing has, how much processing has been performed, and how much remains, correct the rest when recognition results that do not need to be corrected at all continue to some extent It can be determined whether or not it should be done, and the work can be terminated halfway.
[0018]
Since the determination of the end is performed by the user, the determination criteria can be freely changed, so that a flexible system operation can be performed. For example, it is possible to strictly check important items and to cancel correction work for non-important items early.
Accordingly, the effect of reducing the labor is increased, as well as the improvement of the correction work for obtaining a high-quality recognition result in a shorter correction work time when the number of documents (forms) is large than when the quantity is large.
[0019]
(2) Process flow
FIG. 8 is a flowchart for explaining the processing flow of the character recognition apparatus of this embodiment.
The template of the form is read by an image input device such as a scanner and displayed on a display device such as a display, and the user is made to specify where the recognition item area of the form for character recognition is located by using a mouse or the like (step S100). ).
This designated area is registered in the item setting storage means 25 for each recognition item. One document (form) is directly read as image data from an image input device such as a scanner or a copying machine (step S110). Alternatively, the document may be read from the image input device and written to the storage device as a file, and read from the file as one image data.
From one piece of image data, each character image is cut out for each recognition region set in the item setting storage means 25, the size is normalized, and the feature amount of the normalized character image is extracted. The feature quantity is compared with the recognition dictionary, a certain number of candidate characters are obtained in descending order of certainty as the probability of recognition, and the candidate characters and their certainty are registered in the result storage means 45 as recognition results ( Step S120).
It is checked whether or not the input of the document (form) subject to character recognition has been completed (step S130), and if not completed, the process returns to step S110 to read the next document (form).
For each form registered in the result storage unit 45, the representative value of each recognition item is calculated as follows and additionally registered in the result storage unit 45 (step S140).
(A) The minimum certainty factor of the first candidate character of each character in the recognition item.
(B) It is set as the average value of the certainty factor of the 1st candidate character of each character in a recognition item.
The item name, area position, etc. of the recognition item registered in the item setting storage means 25 are displayed, which item is important and which item should be corrected with priority. The user is instructed the priority order, and the order is additionally registered in the item setting storage means 20 (step S150).
In what order the correction of the recognition results is performed, the order of efficient correction is determined, and the order of the forms to be corrected is stored in the item “order” of the form header of the result storage means 45 (step S160).
In this case, the priority order of the recognition items stored in the item setting storage means 25 is regarded as a priority key for sorting, and the recognition items are sorted in ascending order of representative values.
[0020]
In this sort, when the same value exists in the representative value, one of the following processes is performed.
(A) The order is determined by the representative value of the next priority recognition item.
(B) The order is determined by the size of other representative values for the recognition items showing the same value.
(C) If neither of the above is determined, the order is determined using another criterion such as the order of the input document (form) or the number of characters in the recognition item.
After making such a preparation, the user performs a correction operation for determining candidate characters as a result of character recognition (step S170). The confirmation work is selected from the lower candidate characters or newly input by the user and replaced with the first candidate character, and the result storage means 45 is corrected.
At this time, in order to indicate the work status, the user designates it with a menu or the like, and causes the display device such as a display to display the work status for a certain recognition item as follows. Further, such a work situation may be always displayed when the correction work is started.
(A) How the representative value of the item changes in the entire form (graph)
(B) Number of sheets that are currently being revised (numbers and positions on the graph)
(C) Representative value (number and graph) for this item in the form
(D) Number of forms having the same representative value (numerical value)
When the correction work is finished, the first candidate character for each recognition item in the result storage means 45 is the result of the character recognition process.
[0021]
<Example by computer>
Furthermore, the present invention is not limited only to the above-described embodiment. For example, the character recognition device of FIG. 1 can be realized by the configuration of the computer device as shown in FIG.
The computer apparatus of FIG. 9 includes an input device 1, an output device 2, a CPU (Central Processing Unit) 3, a memory 4, a storage device 5, a medium drive device 6, and a network connection device 7, which are a bus 8. Are connected to each other.
The input device 1 includes a keyboard, a mouse, a touch panel, a scanner, and the like, and is used to input text and image information.
The output device 2 outputs various output information and information input from the input device 1 and is a display device or a printer device.
The CPU 3 operates various programs.
The memory 4 holds the program itself, and holds information that is temporarily created when the program is executed by the CPU 3.
The storage device 5 holds item setting storage means 25, result storage means 45, a character recognition dictionary, read image data, a program, temporary information at the time of program execution, and the like handled by the character recognition device of the present invention.
The medium driving device 6 is used to load a recording medium storing programs, data, and the like, read them, and store them in the memory 4 or the storage device 5. It may also be used for direct data input / output and program execution.
[0022]
As a recording medium, any of a semiconductor medium (for example, ROM, IC memory card, etc.), an optical medium (for example, DVD, MO, MD, CD-R, etc.), and a magnetic medium (for example, magnetic tape, flexible disk, etc.) It may be.
Each function constituting the character recognition device shown in FIG. 1 is programmed and written in a recording medium such as a CD-ROM in advance, and this CD-ROM is equipped with a medium driving device 6 such as a CD-ROM drive. A function similar to that of the above-described embodiment can be realized by mounting the program on the computer, storing these programs in the memory 4 or the storage device 5 of each computer device, and executing them.
Moreover, not only the functions of the above-described embodiments are realized by executing the loaded program, but the operating system or the like performs part or all of the actual processing based on the instructions of the program, The case where the functions of the above-described embodiment are realized is also included.
When the program for realizing the above-described embodiment is a semiconductor recording medium such as a ROM, the program is loaded directly into the memory 4 and executed instead of from the medium driving device 6.
Furthermore, a program for realizing the functions of the above-described embodiment is loaded into a memory provided in the function expansion board or function expansion unit, and the CPU provided in the function expansion board or function expansion unit is actually installed based on the instructions of the program. This includes the case where the functions of the above-described embodiment are realized by performing part or all of the process.
[0023]
<Operation in Network Environment of the Present Invention>
FIG. 10 shows a configuration of a mode for operating the present invention by connecting to a network. In this case, the user terminal 110 and the server 120 are configured by the general-purpose computer apparatus shown in FIG. 9 and are each provided with a network connection device 7 for connecting to the network 9.
The network 9 is a transmission path for connecting the user terminal 110 and the server 120, and is generally realized by a cable, and TCP / IP is used as a communication protocol. However, the transmission path is not limited to a cable, but may be a wireless LAN or a broadcast wave as long as the communication protocol between them matches.
The server 120 stores a character recognition program for realizing the functions of the present invention in a storage device such as a magnetic disk.
The user terminal 110 receives the character recognition program from the server 120, inputs an image, causes the terminal 110 to execute the received character recognition program, and outputs the execution result.
This has the advantage that the latest character recognition program can be used and the recognition dictionary can be user-specific.
It is also possible to connect the server 110 to the terminal 110 via the network 9 and distribute it in the form of download or the like.
Furthermore, a program that implements the functions of the present invention may be provided by distributing it via broadcast waves.
[0024]
【The invention's effect】
As described above, according to the present invention, even when a large amount of documents (forms) are input, an operation for efficiently correcting the character recognition result can be performed.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a character recognition apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram for explaining a data structure of an item setting storage unit;
FIG. 3 is a diagram for explaining a data structure of a result storage unit;
FIG. 4 is a diagram for explaining a method of calculating a representative value (minimum value).
FIG. 5 is a diagram for explaining a method of calculating a representative value (average value).
FIG. 6 is a diagram showing an example of a screen displayed by status display means.
FIG. 7 is a diagram for explaining a work load situation when a situation is displayed;
FIG. 8 is a flowchart for explaining processing of the character recognition device according to the embodiment.
FIG. 9 is a diagram showing a hardware configuration when the character recognition apparatus of the present invention is realized by a computer.
FIG. 10 is a diagram showing a configuration of a mode in which the present invention is operated in a network.
[Explanation of symbols]
1 Input device
2 Output device
3 CPU
4 memory
5 storage devices
6 Medium drive device
7 Network connection device
8 Bus
9 Network
10 Control means
20 Item setting means
25 Item setting storage means
30 Image input means
40 character recognition means
45 Result storage means
50 Representative value calculation means
60 Priority level indication means
70 Correction order determination means
80 Status display means
110 terminals
120 servers

Claims

In a character recognition device for obtaining information on the recognition result and the probability of characters in each recognition item in each of the forms of an image obtained by inputting a plurality of forms including one or more recognition items as image data,
Representative value calculation means for obtaining a representative value of each recognition item in each form from information on the probability of the recognition result;
Priority order indicating means for instructing a priority order for correcting the recognition result of each recognition item in the form;
A correction order determining means for determining the order of the form for correcting the recognition result based on the representative value of each recognition item obtained by the representative value calculating means in accordance with the priority order instructed by the priority order instructing means; With
The correction order determining means determines the order of the forms to be corrected by sorting with the representative values of the recognized items, using the priority of the recognized items specified by the priority indicating means as the priority of the sort key, and the same value When there are a plurality of representative values, the order of the forms to be corrected is determined by sorting the forms having the same representative value by the representative values of the recognition items of the next priority. Recognition result correction device.

In a character recognition device for obtaining information on the recognition result and the probability of characters in each recognition item in each of the forms of an image obtained by inputting a plurality of forms including one or more recognition items as image data,
Representative value calculation means for obtaining a representative value of each recognition item in each form from information on the probability of the recognition result;
Priority order indicating means for instructing a priority order for correcting the recognition result of each recognition item in the form;
A correction order determining means for determining the order of the form for correcting the recognition result based on the representative value of each recognition item obtained by the representative value calculating means in accordance with the priority order instructed by the priority order instructing means; With
The correction order determining means determines the order of the forms to be corrected by sorting with the representative values of the recognized items, using the priority of the recognized items specified by the priority indicating means as the priority of the sort key, and the same value If the representative value of there are a plurality, for form with the same representative value, the by sorting in other representative value of recognition items, the recognition result, characterized in that so as to determine the order of the form to be modified Correction device.

In the recognition result correction apparatus according to claim 1 or 2 ,
The said representative value calculation means calculates the minimum value and / or average value of the probability information of each character in the said recognition item as a representative value, The recognition result correction apparatus characterized by the above-mentioned.

The recognition result correction apparatus according to any one of claims 1 to 3, further comprising state display means for displaying a relationship between a transition of a representative value of a recognition item to be corrected and a form that is currently corrected. A recognition result correcting device as a feature.

In the character recognition method for obtaining information on the recognition result and the probability of the character in each recognition item in each of the forms of an image obtained by inputting a plurality of forms including one or more recognition items as image data,
The representative value of each recognition item in each form is obtained from the information on the certainty of the recognition result, the priority order for correcting the recognition result of each recognition item in the form is designated, and the designated priority order is assigned to the sort key. Determine the order of the forms to be corrected by sorting the representative values of the recognition items as priorities,
If the representative value of the same value there are a plurality, for form with the same representative value, by sorting the representative values of the recognition item of the next priority, that it has to determine the order of form to be corrected A recognition result correction method as a feature.

In the character recognition method for obtaining information on the recognition result and the probability of the character in each recognition item in each of the forms of an image obtained by inputting a plurality of forms including one or more recognition items as image data,
The representative value of each recognition item in each form is obtained from the information on the certainty of the recognition result, the priority order for correcting the recognition result of each recognition item in the form is designated, and the designated priority order is assigned to the sort key. Determine the order of the forms to be corrected by sorting the representative values of the recognition items as priorities,
If the representative value of the same value there are a plurality, for form with the same representative value, by sorting in other representative value of the recognition items, and characterized in that so as to determine the order of the form to be modified Recognition result correction method.

The recognition result correction method according to claim 5 or 6, wherein a relationship between a transition of a representative value of a recognition item to be corrected and a currently corrected form is displayed, and a current correction state is displayed. The recognition result correction method.

A computer-readable recording medium having recorded thereon a program for realizing the function of the recognition result correcting apparatus according to any one of claims 1 to 4 .