JP6903966B2

JP6903966B2 - 情報処理装置、情報処理システム及びプログラム

Info

Publication number: JP6903966B2
Application number: JP2017051773A
Authority: JP
Inventors: 久保田　聡; 聡久保田; 木村　俊一; 俊一木村
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2017-03-16
Filing date: 2017-03-16
Publication date: 2021-07-14
Anticipated expiration: 2037-03-16
Also published as: US20180268212A1; JP2018156308A; US10796143B2

Description

本発明は、情報処理装置、情報処理システム及びプログラムに関する。

従来、帳票に記入された氏名、住所等のデータを入力する業務においては、人が帳票画像を見ながらキー入力したり、帳票画像に対してＯＣＲ（Optical Character Recognition光学文字認識）を用いた結果を人手により確認・修正して入力することが行われている。このとき、データを正しく入力するために、ＯＣＲによる認識結果を判定・修正する様々な工夫がなされている。

例えば、記入文字が記入枠に重なることによるＯＣＲの誤認識をより正確に補正する情報処理装置が提案されている（例えば、特許文献１参照）。

特許文献１に開示された情報処理装置は、認識文字が矩形枠と所定の位置で重なっている場合に、記入枠との重なり状態に基づいて、読み取った文字を置き換えるか否かを判定し、置き換えると判定された文字を予め記憶している他の文字に置き換えるようにしている。

また例えば、処理コストが小さく、かつ誤認識を抑制することのできる帳票文字認識装置が提案されている（例えば、特許文献２参照）。

特許文献２に記載された帳票文字認識装置は、認識結果の信頼度の値を元に認識結果の棄却判定を行う信頼度による棄却判定部と、非文字枠画像に接触している文字枠線が所定の閾値を越える場合に、文字枠線に対応した文字の認識結果を棄却する罫線接触棄却判定部とを有し、どちらかの結果が棄却であった場合は、最終的に出力する文字認識結果を棄却するようにしている。

特開２０１５−９７０６７号公報特許第５６７７１３９号公報

本発明の目的は、データ入力作業における文字の認識確度を用いる方法のみ、又は文字記入枠との接触判定を用いる方法のみを用いる方法に比べて、人手によるチェックにかかる工数を削減する情報処理装置、情報処理システム及びプログラムを提供することにある。

［１］入力画像中の文字記入枠の位置を抽出する第１の抽出手段と、
前記文字記入枠内に記入された文字列を認識する認識手段と、
前記認識手段の前記文字列の各文字に対する認識確度を算出する算出手段と、
前記認識確度に基づく値が予め設定された閾値以上であることを検出する第１の検出手段と、
前記文字列の各文字の外接矩形の前記入力画像中における位置を抽出する第２の抽出手段と、
前記外接矩形が前記文字記入枠と接触することを検出する第２の検出手段と、
前記第１の検出手段及び前記第２の検出手段の検出結果に基づいて、修正対象の前記文字列を表示する表示手段と、を備え、
前記第１の検出手段により前記認識確度に基づく値が前記閾値以上であることが検出されている場合において、前記第２の検出手段により前記文字列中のいずれかの文字について前記外接矩形が前記文字記入枠と接触することが検出されていないときは、前記表示手段は、修正対象の前記文字列を表示せずに、前記第２の検出手段により前記文字列中のいずれかの文字について前記外接矩形が前記文字記入枠と接触することが検出されたときは、前記表示手段は、修正対象の前記文字列を表示する情報処理装置。
［２］前記第１の検出手段及び前記第２の検出手段は、前記各検出を前記文字列中の各一文字毎に順番に行い、前記文字についての認識確度が前記閾値以上であることが検出されなかった場合には、前記表示手段は、修正対象の前記文字列を表示する前記［１］に記載の情報処理装置。
［３］前記第２の検出手段により、前記文字列中のいずれかの文字について前記外接矩形が前記文字記入枠と接触することが検出されたか否かに拘わらず、前記第１の検出手段により前記認識確度に基づく値が前記閾値以上であることが検出されなかった場合には、
前記表示手段は、修正対象の前記文字列を表示する前記［１］に記載の情報処理装置。
［４］前記［１］〜［３］のいずれかに記載の情報処理装置と、前記入力画像中の文字列から前記情報処理装置で生成されたデータを登録するデータベースと、を備えた情報処理システム。
［５］コンピュータを、入力画像中の文字記入枠の位置を抽出する第１の抽出手段と、
前記文字記入枠内に記入された文字列を認識する認識手段と、
前記認識手段の前記文字列の各文字に対する認識確度を算出する算出手段と、
前記認識確度に基づく値が予め設定された閾値以上であることを検出する第１の検出手段と、
前記文字列の各文字の外接矩形の前記入力画像中における位置を抽出する第２の抽出手段と、
前記外接矩形が前記文字記入枠と接触することを検出する第２の検出手段と、
前記第１の検出手段及び前記第２の検出手段の検出結果に基づいて、修正対象の前記文字列を表示する表示手段として、機能させるプログラムであって、
前記第１の検出手段により前記認識確度に基づく値が前記閾値以上であることが検出されている場合において、前記第２の検出手段により前記文字列中のいずれかの文字について前記外接矩形が前記文字記入枠と接触することが検出されていないときは、前記表示手段は、修正対象の前記文字列を表示せずに、前記第２の検出手段により前記文字列中のいずれかの文字について前記外接矩形が前記文字記入枠と接触することが検出されたときは、前記表示手段は、修正対象の前記文字列を表示するプログラム。

請求項１、４及び５に係る発明によれば、データ入力作業における文字の認識確度を用いる方法のみ又は文字記入枠との接触判定を用いる方法のみを用いる方法に比べて人手によるチェックにかかる工数を削減することができ、また、認識確度が高い場合でも、文字列と記入枠との接触が検出された場合には修正対象の文字列の表示を行うことができる。
請求項２に係る発明によれば、一文字毎に認識確度及び記入枠との接触を判定することにより、確認修正が必要な文字列を速やかに検出する。
請求項３に係る発明によれば、文字列が記入枠と接触していない場合でも、認識確度が低い場合には修正対象の文字列を表示することで、確認修正が必要なデータを高精度に判定することができる。

図１は、本発明の第１の実施の形態に係る情報処理システムの概略を示す構成図である。図２は、第１の実施の形態に係る情報処理装置の概略構成を示す構成図である。図３は、第１の実施の形態の情報処理装置の動作の一例を示すフローチャートである。図４は、帳票画像中の文字が記入された文字記入枠の一例を示す説明図である。図５は、帳票定義情報の一例を示す説明図である。図６は、枠の位置情報の座標系の一例を示す説明図である。図７は、本発明の第２の実施の形態に係る情報処理装置の動作の一例を示すフローチャートである。図８は、本発明の第３の実施の形態に係る情報処理装置の動作の一例を示すフローチャートである。

［実施の形態の要約］
本発明の実施の形態は、入力画像中の文字記入枠の位置を抽出する第１の抽出手段と、前記文字記入枠内に記入された文字列を認識する認識手段と、前記認識手段の前記文字列の各文字に対する認識確度を算出する算出手段と、前記認識確度に基づく値が予め設定された閾値以上であることを検出する第１の検出手段と、前記文字列の各文字の外接矩形の前記入力画像中における位置を抽出する第２の抽出手段と、前記外接矩形が前記文字記入枠と接触することを検出する第２の検出手段と、前記第１の検出手段及び前記第２の検出手段の検出結果に基づいて、修正対象の前記文字列を表示する表示手段とを備え、文字列の認識確度が所定の閾値以上の場合に、文字列の各文字の外接矩形と文字記入枠との接触が検出された場合には、人手による確認・修正を行うために認識結果を表示するものである。

なお、本明細書において、「認識確度」とは、認識手段が入力画像から文字を認識する確信度をいう。また、「外接矩形」とは、入力画像における座標軸に平行な辺を持ち、その文字を内部に含む最小の矩形のことをいうものとする。これらの算出方法については、明細書の中で詳細に説明する。

［第１の実施の形態］
以下、本発明の実施の形態について図面を参照して詳細に説明する。

（情報処理システムの構成）
図１は、本発明の第１の実施の形態に係る情報処理システムの概略を示す構成図である。

図１に示すように、本実施の形態に係る情報処理システム１は、情報処理装置２と、情報処理装置２によって処理されたデータが登録されるデータベース３とが回線４によって接続されて構成されている。ここで回線４は、有線あるいは無線を問わず、また情報処理装置２とデータベース３とを直接接続するものには限定されず、ＬＡＮ（Local Area Network）等のネットワークであってもよい。

情報処理装置２は、詳細は後述するが、データ入力作業者（操作者）が操作するパーソナルコンピューター（ＰＣ）でもよいし、いろいろな部署からデータ入力を受け付けてまとめて処理を行うサーバのようなものであってもよい。

データベース３は、大容量記憶装置で構成され、情報処理装置２で処理されて出力されたデータを登録するものである。

（情報処理装置の構成）
図２は、本実施の形態に係る情報処理装置２の概略構成を示す構成図である。

図２に示すように、情報処理装置２は、制御部２０、記憶部２２、入力部２４、表示部２６及び外部Ｉ／Ｆ２８を含んで構成される。

制御部２０は、ＣＰＵ等から構成され、各部を制御するとともに各種のプログラムを実行する。

制御部２０は、記入枠位置抽出手段２００、文字認識手段２０１、認識確度算出手段２０２、認識確度判定手段２０３、外接矩形抽出手段２０４、文字接触判定手段２０５、認識結果修正手段２０６及び結果統合手段２０７を含んで構成される。

記憶部２２は、ハードディスクやフラッシュメモリ等の記録媒体から構成され、情報を記憶する。

記憶部２２は、情報処理プログラム２２０、帳票定義情報記憶部２２１、住所データベース２２２及び結果格納部２２３を含んで構成される。

記入枠位置抽出手段２００は、入力された帳票画像中における文字記入枠の位置を抽出するものである。記入枠位置抽出手段２００は、第１の抽出手段に相当する。ここで入力される帳票画像とは、例えば、氏名や住所等が手書きで記載された帳票をスキャナ等で読み取った画像データを指すが、スキャナで読み取られた画像に限定されるものではなく、デジタルカメラで撮影したものやファックスで受信したものであってもよい。また、帳票画像の入力にあたっては、入力される帳票中のどの位置に何が記載されているかの情報を予め記した情報である帳票定義情報が入力される。

記入枠位置抽出手段２００は、入力された帳票画像と帳票定義情報とから、入力帳票中の認識対象文字列が記入されている実際の記入枠位置を抽出する。例えば、帳票定義情報により予め設定された枠位置情報から実際に入力される帳票画像の相対的なずれ量を算出し、これを記入枠位置として抽出する。なお、帳票定義情報や文字記入枠位置の抽出については後で詳しく述べる。

文字認識手段２０１は、帳票画像の文字記入枠内の文字列を認識するものである。文字認識手段２０１としては、例えば光学文字認識（ＯＣＲ；Optical Character Recognition）が好適に用いられる。

文字記入枠は１文字枠でも複数文字枠（文字列枠）でもよい。文字認識手段２０１は、文字記入枠が複数文字枠の場合には文字列を１文字候補に切り出し、各１文字候補それぞれを認識する。なお、複数文字枠の場合でも、枠が一文字毎に区切られておらず、大きな一つの枠の中に複数文字を記入するようになっていてもよい。また文字列は、普通は複数文字から成るが、特別な場合として一文字からなる場合も含むものとする。

認識確度算出手段２０２は、文字認識手段２０１で認識された１文字あるいは複数の文字からなる文字列の認識確度を算出する。１文字の場合には、文字認識手段２０１の認識結果に対する確信度をそのまま認識確度とする。

認識確度算出手段２０２としては、特に限定されるものではないが、例えば、特開２０１１−１１３１２５号公報あるいは特開２０１３−０６９１３２号公報に記載された認識装置の出力値を認識確度として用いるようにしてもよい。

例えば、特開２０１１−１１３１２５号公報に記載された認識装置の出力値の算出方法について以下簡単に説明する。入力された対象データ（画像データ）に対してまずフィルタリング処理を行い、フィルタリング処理の結果の各画素に対して非線形関数処理を行う。この非線形関数としては、例えばロジスティック関数や双曲線正接関数等のシグモイド関数が利用されるが、所定の条件を満たすものであればこれ以外のものでもよい。

次に、各画素に対して縮小処理を行い、これに対して再度非線形関数処理を行う。各画素に対して重み付けをして、すべての画素について総和をとり、これにバイアスを加える。その結果に対して非線形関数による演算を行う。これらの非線形関数も上記のものと同等のものでよい。こうして得られた画像に対して、所定の強調関数による演算を行い、さらに正規化したものを最終出力とする。

本実施の形態では、この最終出力値を認識確度の一例として用いるが、認識確度の算出方法はこれに限定されるものではなく、他の算出方法を用いてもよいのはもちろんである。

認識確度判定手段２０３は、算出された認識確度を予め設定された閾値と比較して、認識確度が閾値以上であることを検出するものである。すなわち、認識確度判定手段２０３は、第１の検出手段に相当する。なお、認識確度が閾値未満の場合には、誤認識の可能性が考えられるので、操作者の確認・修正に供するために、認識結果を表示部２６に表示する。

外接矩形抽出手段２０４は、帳票画像中における文字記入枠内に記入された各文字の外接矩形の位置を抽出するものである。外接矩形抽出手段２０４は、第２の抽出手段に相当する。

文字接触判定手段２０５は、上で抽出された記入枠位置と外接矩形の位置とに基づいて、各文字が文字記入枠と接触していることを検出するものである。すなわち、文字接触判定手段２０５は、第２の検出手段に相当する。なお、文字列と文字記入枠との接触の検出については、例えば、文字列に含まれる文字が１文字でも文字記入枠と接触した場合に接触を検出してもよいし、所定文字数より多く接触した場合に接触を検出するようにしてもよい。

認識結果修正手段２０６は、表示部２６に表示された認識結果を見て操作者が入力部２４から正しいデータを入力したとき、そのデータに基づいて認識結果のデータを正しいデータに修正するものである。

結果統合手段２０７は、認識結果修正手段２０６の修正結果と、文字認識手段２０１の認識結果とを統合するものである。結果統合手段２０７の出力が情報処理装置２の出力データの内容となる。

記憶部２２に記憶された情報処理プログラム２２０は、制御部２０を上述した各手段として機能させるものである。帳票定義情報記憶部２２１は、帳票画像とともに入力部２４から入力された帳票定義情報を記憶しておくものである。住所データベース２２２は、住所のデータを格納したものであり、認識結果を確認する際の参考として用いられる。また、結果格納部２２３は、結果統合手段２０７で統合された出力用のデータを格納しておくためのものである。

なお、入力部２４としては、キーボード、マウス又はタッチパネル等を適宜選択して用いることができる。また、表示部２６は、文字や画像等を表示するものでディスプレイ装置等で構成される。また、外部Ｉ／Ｆ２８は、情報処理装置２を、回線４等を通じて外部のデータベース３やその他のシステム機器と接続させるものである。

（第１の実施の形態の動作）
次に、本発明の第１の実施の形態の情報処理装置２の動作を図３を参照して説明する。図３は、第１の実施の形態の情報処理装置２の動作の一例を示すフローチャートである。

まず、入力部２４から帳票画像が入力される（Ｓ１００）。このとき、帳票定義情報も一緒に入力される。図４に帳票画像中の文字が記入された文字記入枠の一例を示し、図５に帳票定義情報の一例を示す。

図４に示すように、文字記入枠３０の中には、文字列３１（３１ａ〜３１ｆ）が手書きで記入されている。図４に示す例では、文字記入枠３０は大きな一つの枠からなり、その中に「横」３１ａ、「浜」３１ｂ、「市」３１ｃ、「百」３１ｄ、「合」３１ｅ、「丘」３１ｆの６文字が手書きで記入され、この６文字で一つの文字列３１（この場合には住所（ここでは例として架空の住所）を示す）が構成されている。

帳票定義情報は、入力される帳票中のどの位置に何が記載されているかを示す情報を予め記した情報であり、例えば図５に示すように、枠の名称、枠の種類、枠の上端、下端、左端、右端を示す枠の位置情報などで構成されている。

また、枠の位置情報の座標系の一例を図６に示す。図６に示すように、枠の位置情報の座標系は、例えば帳票画像中において、左上に座標原点（０，０）をとり、横軸をｘ軸、縦軸をｙ軸とし、枠４０の上端のｙ座標、下端のｙ座標、左端のｘ座標、右端のｘ座標を与えることで枠の位置を定義している。

なお、帳票定義情報は、入力される帳票に変更がなければ、帳票画像と一緒に毎回入力する必要はなく、例えばＣＳＶ（Comma Separated Value）ファイル等のテキスト情報として予め保存されていてもよい。この帳票定義情報は記憶部２２の帳票定義情報記憶部２２１に記憶される。

次に、記入枠位置抽出手段２００は、入力された帳票画像と帳票定義情報の枠位置情報から、実際に入力された帳票画像の相対的なずれ量を算出して、帳票画像中の認識対象である入力文字列が記入されている実際の記入枠位置を抽出する（Ｓ１０１）。図４に示す例では、帳票画像中に設定された座標系に関する、矩形状の文字記入枠３０の４つの頂点の座標を抽出する。

次に、文字認識手段２０１は、文字記入枠３０内の文字列を認識する（Ｓ１０２）。これは例えば、入力された帳票画像の文字記入枠３０からＯＣＲにより一文字ずつ文字を認識して文字列を切り出す。このとき文字記入枠３０の内側で枠にぎりぎりのところで切り出すため、例えば図４の文字「百」３１ｄのように上の横線が文字記入枠３０と重なっているとすると、この上の横線も切り取られてしまい、入力された「百」という文字が、「白」と認識されたてしまう可能性がある。また、文字「丘」３１ｆのように下の横線が文字記入枠３０と重なっていると、この下の横線が切り取られてしまい、入力された「丘」という文字が「斤」と認識されてしまう可能性がある。このため、後述するように文字と文字記入枠３０との接触を検出することが必要となる。

そこで、外接矩形抽出手段２０４により、文字記入枠３０内の認識対象である各文字の外接矩形が抽出される（Ｓ１０３）。例えば、図４に示す例では、文字「横」３１ａに対しては外接矩形３２ａが抽出される。以下、各文字「浜」３１ｂ、「市」３１ｃ、「百」３１ｄ、「合」３１ｅ、「丘」３１ｆに対してそれぞれの外接矩形３２ｂ、３２ｃ、３２ｄ、３２ｅ、３２ｆが抽出される。

次に、認識確度算出手段２０２は、文字認識手段２０１で認識された一文字あるいは文字列の認識確度Ｓを算出する（Ｓ１０４）。一文字の場合には、文字認識手段２０１の認識結果に対する確信度をそのまま認識確度Ｓとする。この確信度は、上述したように、例えば特開２０１１−１１３１２５号公報に記載された認識装置の出力値として算出される。

また文字列の場合には、例えば、文字列に含まれる各文字の認識確度の最小値をその文字列の認識確度として算出する。あるいは、文字列に含まれる各文字の認識確度の最大値をその文字列の認識確度としてもよいし、文字列に含まれる各文字の認識確度の平均値をその文字列の認識確度としてもよい。

例えば、図４に示す例で、各文字「横」３１ａ、「浜」３１ｂ、「市」３１ｃ、「百」３１ｄ、「合」３１ｅ、「丘」３１ｆの認識確度がそれぞれ０．６、０．８、１．０、０．６、０．９、０．８であったとする。今例えば、各文字の認識確度の最小値をその文字列の認識確度とすると、「横」３１ａの認識確度が０．６で最小であり、これが文字列「横浜市百合丘」の認識確度となる。

次に認識確度判定手段２０３は、算出された文字列の認識確度Ｓを予め設定された閾値Ｔと比較して、認識確度Ｓが閾値Ｔ以上であることを検出する（Ｓ１０５）。

今例えば、閾値Ｔが０．８であるとすると、図４の例で文字列の認識確度を各文字の認識確度の最小値とした場合には、文字列「横浜市百合丘」の認識確度Ｓは０．６であるから、認識確度Ｓは閾値Ｔ未満となり、閾値以上であることは検出されない。また、例えば文字列の認識確度として各文字の認識確度の平均値をとった場合には、図４の例の文字列「横浜市百合丘」の認識確度Ｓは、（０．６＋０．８＋１．０＋０．６＋０．９＋０．８）÷６において小数第２位で四捨五入すると０．８となる。よってこの場合には認識確度Ｓは閾値Ｔ以上となり、認識確度Ｓが閾値Ｔ以上であることが検出される。

認識確度判定手段２０３によって認識確度Ｓが閾値Ｔ以上であることが検出された場合には（Ｓ１０５；Ｙｅｓ）、認識結果が誤認識である可能性が低いと考えられるが、次に文字接触判定手段２０５によって文字と文字記入枠３０との接触を検出する（Ｓ１０６）。

文字接触判定手段２０５によって、文字と文字記入枠３０との接触が検出された場合には（Ｓ１０６；Ｙｅｓ）、誤認識している可能性があるので、確認・修正のために認識結果が表示部２６に表示される（Ｓ１０７）。このとき、誤認識している可能性があることを示すために、例えば、認識文字列にハッチングを掛けて表示したり、あるいは色を変えて表示したりする等の工夫をするようにしてもよい。

操作者は、表示された認識結果を確認し、必要であれば認識文字列を修正し、正しい文字列を入力部２４から入力する。認識結果修正手段２０６は、操作者の修正入力を受けて認識文字列のデータを修正する（Ｓ１０８）。なお、認識文字列が住所を表している場合には、認識文字列の確認・修正を行う際、例えば、記憶部２２の住所データベース２２２を用いて正しいデータを確認するようにしてもよい。

また、認識確度Ｓが閾値Ｔ未満で、認識確度判定手段２０３によって認識確度Ｓが閾値Ｔ以上であることが検出されなかった場合には（Ｓ１０５；Ｎｏ）、認識結果が誤認識である可能性が高いので、この場合にも認識結果の確認・修正のために認識結果を表示部２６に表示する（Ｓ１０７）。

また、文字接触判定手段２０５によって文字と文字記入枠３０との接触が検出されなかった場合（Ｓ１０６；Ｎｏ）、及び上で認識結果の確認・修正が行われた場合には、認識結果修正手段２０６による修正結果及び文字認識手段２０１の認識結果が結果統合手段２０７で統合される（Ｓ１０９）。統合されたデータは、記憶部２２の結果格納部２２３に格納される。

最後に統合されたデータは外部Ｉ／Ｆ２８から回線４を介してデータベース３に出力される（Ｓ１１０）。このデータ出力は、その都度出力してもよいし、結果格納部２２３に格納されたデータをまとめて出力するようにしてもよい。

このように本実施形態では、文字列の認識確度が所定の閾値以上であることの検出と、文字が文字記入枠３０と接触することの検出とを組み合わせることにより、認識文字列を、人手による確認修正作業が必要なデータと、人手による確認修正作業が不要なデータとに分割することで、データ入力作業における人手入力工数の削減を図っている。

［第２の実施の形態］
本発明の第２の実施の形態は、まず入力された帳票画像の文字記入枠３０内の文字の外接矩形と文字記入枠３０との接触を検出し、接触することが検出された場合には認識結果を表示して人手による確認・修正を行い、また、接触することが検出されなかった場合には、認識確度を算出して所定の閾値と比較し、認識確度が閾値以上であることが検出された場合には、そのままデータをシステムに入力するものである。

第２の実施形態の情報処理装置の構成は、図２に示す第１の実施の形態の情報処理装置２と同様である。すなわち、第２の実施の形態は、第１の実施の形態と同じ装置構成を用いているが、その動作において異なっているものである。

（第２の実施の形態の動作）
本発明の第２の実施の形態の情報処理装置２の動作を図７を参照して説明する。図７は、第２の実施の形態の情報処理装置２の動作の一例を示すフローチャートである。

まず、入力部２４から帳票画像及び帳票定義情報が入力される（Ｓ２００）。次に、記入枠位置抽出手段２００は、帳票画像中の認識対象である入力文字列が記入されている実際の記入枠位置を抽出する（Ｓ２０１）。そして、文字認識手段２０１は、文字記入枠３０内の文字列を認識する（Ｓ２０２）。次に外接矩形抽出手段２０４は、文字記入枠３０内の認識対象である各文字の外接矩形を抽出する（Ｓ２０３）。ここまでは前述した第１の実施の形態と同様である。

本実施の形態では、次に、文字接触判定手段２０５により、文字と文字記入枠３０との接触を検出する（Ｓ２０４）。

文字接触判定手段２０５によって文字と文字記入枠３０との接触が検出された場合には（Ｓ２０４；Ｙｅｓ）、誤認識している可能性があるので、確認・修正のために認識結果が表示部２６に表示される（Ｓ２０５）。操作者は、表示された認識結果を確認し、必要であれば認識文字列を修正するために、正しい文字列を入力部２４から入力する。認識結果修正手段２０６は、操作者の修正入力を受けて認識文字列のデータを修正する（Ｓ２０６）。

また、文字接触判定手段２０５によって文字と文字記入枠３０との接触が検出されなかった場合には（Ｓ２０４；Ｎｏ）、認識確度算出手段２０２は、文字認識手段２０１で認識された一文字あるいは文字列の認識確度Ｓを算出する（Ｓ２０７）。この認識確度の算出も前述した第１の実施の形態と同様である。

次に、算出された認識確度を所定の閾値と比較して、認識確度が所定の閾値以上であることを検出する（Ｓ２０８）。認識確度が閾値未満であり、閾値以上であることが検出されなかった場合には（Ｓ２０８；Ｎｏ）、誤認識である可能性が高いので、確認・修正のために認識結果が表示部２６に表示される（Ｓ２０５）。そして認識結果の確認・修正が行われる（Ｓ２０６）。修正結果は、結果統合手段２０７において認識結果と統合される（Ｓ２０９）。

一方、認識確度が閾値以上であることが検出された場合には（Ｓ２０８；Ｙｅｓ）、結果統合手段２０７で結果を統合する（Ｓ２０９）。統合された結果は結果格納部２２３に格納される。そして最後に統合されたデータは外部Ｉ／Ｆ２８を介して出力され、データベース３に登録される（Ｓ２１０）。

このように第２の実施の形態によれば、先に各文字の外接矩形を抽出して文字記入枠３０との接触を検出し、接触していない場合にのみ認識確度を算出するようにすることで、認識文字列を、人手による確認修正作業が必要なデータと、人手による確認修正作業が不要なデータとに分割する作業をより効率的に行うことができる。

［第３の実施の形態］
本発明の第３の実施の形態は、前述した第１の実施の形態における認識確度と閾値との大小検出と、文字と文字記入枠３０との接触の検出の処理を入力文字列の各一文字毎に行うようにするものである。

第３の実施の形態の情報処理装置の構成も前述した第１の実施の形態の情報処理装置２と同様である。ただ、本実施の形態では、情報処理装置２の各手段の動作の順序が第１の実施の形態と異なる。

（第３の実施の形態の動作）
本発明の第３の実施の形態の情報処理装置２の動作を図８を参照して説明する。図８は、第３の実施の形態の情報処理装置２の動作の一例を示すフローチャートである。

まず、入力部２４から帳票画像及び帳票定義情報が入力される（Ｓ３００）。次に、記入枠位置抽出手段２００は、帳票画像中の認識対象である入力文字列が記入されている実際の記入枠位置を抽出する（Ｓ３０１）。そして、文字認識手段２０１は、文字記入枠３０内の文字列を認識する（Ｓ３０２）。次に外接矩形抽出手段２０４は、文字記入枠３０内の認識対象である各文字の外接矩形を抽出する（Ｓ３０３）。ここまでは前述した第１の実施の形態と同様である。

この後、認識確度算出及び認識確度と閾値との大小検出と、文字と文字記入枠３０との接触の検出の処理を入力文字列の各一文字毎に行う。

まず、文字列の最初の文字について認識確度を算出する（Ｓ３０４）。文字列の最初の文字とは、文字記入枠３０内に最初に記入された文字であり、例えば図４に示す例では、文字記入枠３０の一番左に記入された文字「横」３１ａがこれにあたる。

この文字について認識確度を算出したら、認識確度判定手段２０３は、この算出された認識確度が所定の閾値以上であるかどうかを検出する（Ｓ３０５）。

ここで認識確度が閾値未満であり、閾値以上であることが検出されなかった場合には（Ｓ３０５；Ｎｏ）、この文字について誤認識である可能性が高いので、表示部２６に認識結果を表示する（Ｓ３０７）。

一方、認識確度が閾値以上であることが検出された場合には（Ｓ３０５；Ｙｅｓ）、次に文字接触判定手段２０５は、この文字と文字記入枠３０との接触を検出する（Ｓ３０６）。

この文字が文字記入枠３０と接触していることが検出された場合には（Ｓ３０６；Ｙｅｓ）、この文字を含む文字列について誤認識の可能性が高いので、表示部２６に認識結果を表示する（Ｓ３０７）。

また、この文字が文字記入枠３０と接触していることが検出されなかった場合には（Ｓ３０６；Ｎｏ）、文字列内の次の文字の処理に進む。すなわち、認識された文字列内のすべての文字についての処理が終了したか否か判断する（Ｓ３０９）。

認識された文字列のすべての文字についての上記処理がまだ終了していない場合には（Ｓ３０９；Ｎｏ）、文字列の次の文字（例えば図４に示す例では、文字「横」３１ａの次の文字は「浜」３１ｂとなる。）について認識確度を算出し（Ｓ３０４）、以下上記の処理を繰り返す。

一方、認識確度が閾値以上であることが検出されなかった場合、あるいは認識確度が閾値以上であることが検出されても外接矩形が文字記入枠３０と接触していることが検出された場合に、表示部２６に認識結果が表示されている場合には、認識結果の確認・修正が行われる（Ｓ３０８）。

このように、認識結果の確認・修正を行う際、ある文字について誤認識の可能性があることが検出された場合には、その文字以降の文字列内の文字について認識確度の判定あるいは文字記入枠３０との接触判定は行われない。結局、少なくとも文字列中のある文字について誤認識が検出された認識文字列が表示部２６に表示されるので、操作者はこれを見て確認及び修正を行う。

そして、認識文字列について確認・修正を行った場合、及び文字列内のすべての文字について処理が終了した場合、いずれの場合においても、次に結果統合手段２０７で結果を統合する（Ｓ３１０）。

統合された結果は結果格納部２２３に格納される。そして、統合結果は、外部Ｉ／Ｆ２８を介してデータべース３に出力され登録される（Ｓ３１１）。

このように第３の実施の形態では、文字列の各文字について一文字毎に認識確度と閾値との大小検出及び文字と文字記入枠との接触の検出の処理を行うようにしている。これにより、文字列内のある文字について、認識確度が閾値未満であったり、文字が文字記入枠に接触している場合には、その文字以降については上記認識確度及び文字記入枠についての検出処理を行う必要がないので、データ入力作業をより効率的に行うことができる。

以上、本発明の実施の形態を説明して来たが、本発明は上記実施の形態には限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。例えば、上記実施の形態では、情報処理プログラム２２０をＣＤ−ＲＯＭ等の記録媒体に記憶して提供するようにしてもよい。

また、制御部２０を構成する各部は、それぞれ一部又は全部を再構成可能回路（ＦＰＧＡ：Field Programmable Gate Array）、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）等のハードウェア回路によって構成してもよい。

１…情報処理システム、２…情報処理装置、３…データベース、４…回線、２０…制御部、
２２…記憶部、２４…入力部、２６…表示部、２８…外部Ｉ／Ｆ、３０…文字記入枠、
３１、３１ａ〜３１ｆ…文字列、
３２ｂ、３２ｃ、３２ｄ、３２ｅ、３２ｆ…外接矩形、４０…枠、
２００…記入枠位置抽出手段、２０１…文字認識手段、２０２…認識確度算出手段、
２０３…認識確度判定手段、２０４…外接矩形抽出手段、２０５…文字接触判定手段、
２０６…認識結果修正手段、２０７…結果統合手段、２２０…情報処理プログラム、
２２１…帳票定義情報記憶部、２２２…住所データベース、２２３…結果格納部、

Claims

入力画像中の文字記入枠の位置を抽出する第１の抽出手段と、
前記文字記入枠内に記入された文字列を認識する認識手段と、
前記認識手段の前記文字列の各文字に対する認識確度を算出する算出手段と、
前記認識確度に基づく値が予め設定された閾値以上であることを検出する第１の検出手段と、
前記文字列の各文字の外接矩形の前記入力画像中における位置を抽出する第２の抽出手段と、
前記外接矩形が前記文字記入枠と接触することを検出する第２の検出手段と、
前記第１の検出手段及び前記第２の検出手段の検出結果に基づいて、修正対象の前記文字列を表示する表示手段と、を備え、
前記第１の検出手段により前記認識確度に基づく値が前記閾値以上であることが検出されている場合において、前記第２の検出手段により前記文字列中のいずれかの文字について前記外接矩形が前記文字記入枠と接触することが検出されていないときは、前記表示手段は、修正対象の前記文字列を表示せずに、前記第２の検出手段により前記文字列中のいずれかの文字について前記外接矩形が前記文字記入枠と接触することが検出されたときは、前記表示手段は、修正対象の前記文字列を表示する情報処理装置。
前記第１の検出手段及び前記第２の検出手段は、前記各検出を前記文字列中の各一文字毎に順番に行い、前記文字についての認識確度が前記閾値以上であることが検出されなかった場合には、前記表示手段は、修正対象の前記文字列を表示する請求項１に記載の情報処理装置。
前記第２の検出手段により、前記文字列中のいずれかの文字について前記外接矩形が前記文字記入枠と接触することが検出されたか否かに拘わらず、前記第１の検出手段により前記認識確度に基づく値が前記閾値以上であることが検出されなかった場合には、
前記表示手段は、修正対象の前記文字列を表示する請求項１に記載の情報処理装置。
請求項１〜３のいずれか１項に記載の情報処理装置と、
前記入力画像中の文字列から前記情報処理装置で生成されたデータを登録するデータベースと、
を備えた情報処理システム。
コンピュータを、
入力画像中の文字記入枠の位置を抽出する第１の抽出手段と、
前記文字記入枠内に記入された文字列を認識する認識手段と、
前記認識手段の前記文字列の各文字に対する認識確度を算出する算出手段と、
前記認識確度に基づく値が予め設定された閾値以上であることを検出する第１の検出手段と、
前記文字列の各文字の外接矩形の前記入力画像中における位置を抽出する第２の抽出手段と、
前記外接矩形が前記文字記入枠と接触することを検出する第２の検出手段と、
前記第１の検出手段及び前記第２の検出手段の検出結果に基づいて、修正対象の前記文字列を表示する表示手段として、機能させるプログラムであって、
前記第１の検出手段により前記認識確度に基づく値が前記閾値以上であることが検出されている場合において、前記第２の検出手段により前記文字列中のいずれかの文字について前記外接矩形が前記文字記入枠と接触することが検出されていないときは、前記表示手段は、修正対象の前記文字列を表示せずに、前記第２の検出手段により前記文字列中のいずれかの文字について前記外接矩形が前記文字記入枠と接触することが検出されたときは、前記表示手段は、修正対象の前記文字列を表示するプログラム。