JP5657401B2 - 文書処理装置、及び文書処理プログラム - Google Patents

Description

本発明は、文書処理装置、及文書処理プログラムに関し、例えば、文書のスキャンおよびＯＣＲ（Optical Character Reader）による文字認識を一括で確認と修正を行うための技術に関するものである。

現在、帳票上の文字情報を電子化するために、帳票の文字認識にＯＣＲが利用されている。その文字認識に伴い、認識した文字に対してオペレーターの目視により、誤認識の確認と修正が行われている。

近年のＯＣＲでは高い精度での文字認識が可能となったが、誤認識は避けられず目視確認が前提となっている。数値のみの認識に関しては非特許文献１で提案されるチェックデジットにより誤認識率を大きく下げることが出来るが、ごく稀に誤認識が発生する可能性があるため、自治体の課税業務における住民税算出用文書など、誤りが許されない帳票の文字認識において目視確認を必要としている。

最近では、目視確認の効率向上のため、修正対象となる文字と、それに対応する画像部（画像上の一部の領域）を連動させた表示を行う技術の発明が多数ある。例えば特許文献１では、文字認識により認識された文字ごとに分類して、その文字の認識対象となる画像部から文字の形状に関する特徴量を求める。その特徴量からクラスタリング処理を行い、クラスタごとに画像部を表示する技術によって、文字認識結果の確認と修正を行う作業効率を向上させている。

また、確認と修正の作業時に個人情報漏えいを防止するため、認識された文字に対応する画像部以外の領域の情報をマスキングするマスク処理の技術を使用することで、確認と修正を外部に委託したコストの削減が行われている。

特許第４１７２５８４号公報

http://it.jeita.or.jp/document/ocr_scanner/sakuin/honmon/ocr8360.html

しかしながら、チェックデジットが適用できない文字を対象とする場合、大量件数の各文字に対して目視確認する必要がある。目視確認する際には列挙された画像部分を連続的に網羅しなければならないことから、作業工数が非常に大きくなる。また、例えば、ＯＣＲ処理による文字列の認識の精度が９０％であったとすると、１００００枚の帳票のうち１０００枚に誤認識がある可能性がある。ところが、どの書類に認識ミスがあった文字が存在するのかを特定することが非常に困難である。従って、誤認識された１０００枚を特定するために、結局１００００枚全ての書類をチェックしなければならないこととなり、目視確認の作業工数が大きくなる。ユーザ自身の工数を小さくするために、作業専門のオペレーターの配置や外部委託をすることなども可能であるが、コストが過大となる可能性もある。

また、確認と修正を外部委託する場合でも、対象とする画像の増分だけ作業工数が線形に比例してコストが増加する。特に、機密情報を含んだ認識文字の確認は外部へ委託することが困難となる。

本発明はこのような状況に鑑みてなされたものであり、ＯＣＲ認識結果の目視確認の効率化と、対象とする画像の増加から影響を受ける確認工数の削減を実現する文書処理技術を提供するものである。

上記課題を解決するために、本発明による文書処理装置は、取り込んだ複数の文書画像を格納する記憶装置と、取り込んだ文書画像に対するＯＣＲ処理の認識結果を表示装置の画面上に表示するプロセッサと、を有している。当該プロセッサは、複数の文書画像に対して重ね合わせ処理を実行して重ね合わせ画像を生成し、重ね合わせ処理の対象に対応するＯＣＲ処理の認識結果と、重ね合わせ画像を画面上に表示する。より具体的には、記憶装置は、複数の文書画像として、それぞれの文書画像が複数の項目を含む所定フォーマットで構成される複数の文書画像を格納している。この場合、プロセッサは、複数の文書画像に含まれる同一項目の画像に対して重ね合わせ処理を実行して重ね合わせ画像（例えば、ＡＮＤ画像とＯＲ画像）を生成し、重ね合わせ処理の対象の項目に対応するＯＣＲ処理の認識結果と、重ね合わせ画像を画面上に表示する。

本発明の文書処理装置によれば、取り込んだ帳票のＯＣＲ認識結果を目視確認する作業の効率化と、対象とする画像の増加から影響を受ける確認工数の削減を利用者に提供することができる。

本発明の一実施の形態例を示す文書処理システムの概略構成を示す図である。 記憶装置に格納されている画像データの構成例を示す図である。 画像の一例を示す図である。 記憶装置に格納されているメタデータの構成例を示す図である。 記憶装置に格納されている帳票形式データの構成例を示す図である。 データメモリに格納されている二値化画像データの構成例を示す図である。 データメモリに格納されている合成座標データの構成例を示す図である。 文書処理（メタデータ一括確認修正処理）の全体概要を説明するためのフローチャートである 図８のステップ８０４で行われる処理の詳細を説明するためのフローチャートである。 ステップ９０６で行われる処理の詳細を説明するためのフローチャートである。 画像データ分類部処理の詳細を説明するためのフローチャートである。 画像データ分類処理（図１１）によって得られたクラスタＷのデータ構造例を示す図である。 確認修正文字列選択画面の構成例を示すである。 分類処理対象の画像例を示す図である。 画像切出し処理の詳細を説明するためのフローチャートである。 画像切出し処理の概念を説明するための図である。 照合処理の詳細を説明するためのフローチャートである。 図１７の照合処理の概要を概念的に示す図である。 照合結果分類処理により生成されたクラスタＲのデータ構造を示す図である。 分類結果選択画面の構成例を示す図である。 画像合成処理の詳細を説明するためのフローチャートである。 画像合成処理で生成される合成画像の一例を示す図である。 確認修正画面の構成例を示す図である。 画像合成処理で生成される合成画像の例を示す図である。 アルファベットの画像を重ね合わせて合成を行った合成画像の例を示す図である。 メタデータ修正処理の詳細を説明するためのフローチャートである。 画素値分類処理の詳細を説明するためのフローチャートである 画素値分類処理の概念を説明するための図である。 分類結果選択画面の更新後の構成例を示す図である。

以下、添付図面を参照しながら、本発明の文書処理装置を実施するための形態を詳細に説明する。図１〜図２９は、本発明の実施形態を例示する図である。これらの図において、同一の符号を付した部分は同一物を表し、基本的な構成及び動作は同様であるものとする。尚、本発明の実施形態において、使用される機器、手法等は一例であり、本発明はこれらに限定されるものではないことは勿論である。

なお、以後の説明では「テーブル」構造を用いて本発明の情報について説明するが、これら情報は必ずしもテーブルによるデータ構造で表現されていなくても良く、リスト、ＤＢ、キュー等のデータ構造やそれ以外で表現されていても良い。そのため、データ構造に依存しないことを示すために「テーブル」、「リスト」、「ＤＢ」、「キュー」等について単に「情報」と呼ぶことがある。

また、各情報の内容を説明する際に、「識別情報」、「識別子」、「名」、「名前」、「ＩＤ」という表現を用いることが可能であり、これらについてはお互いに置換が可能である。

以後の説明では、各種処理において、「画像データ分類部」「画像切出し部」「照合部」等を主語として説明を行うが、これらの処理部は、プロセッサ（中央処理装置）によって実行されることで定められた処理をメモリ及び通信ポート（通信制御装置）を用いながら行うため、プロセッサを主語とした説明としてもよい。また、各処理部は各プログラムと読み替えることが可能（画像データ分類部→画像データ分類プログラム）である。また、プログラムの一部または全ては専用ハードウェアで実現してもよく、また、モジュール化されていても良い。各種プログラムはプログラム配布サーバや記憶メディアによって各計算機にインストールされてもよい。

＜文書処理装置の構成＞
図１は、本発明の実施形態による文書処理装置の概略構成を示す機能ブロック図である。この文書処理装置は、確認と修正の処理を行う対象データが保存された記憶装置１００と、データの入出力を行うための入出力装置１０４と、必要な演算処理及び制御処理等を行う中央処理装置（ＣＰＵ）１０８と、中央処理装置１０８での処理に必要なプログラムを格納するプログラムメモリ１０９と、中央処理装置１０８での処理に必要なデータを格納するデータメモリ１０５と、を備えている。

記憶装置１００は、スキャナなどで取り込まれた業務文書のスキャン画像である画像データ１０１と、スキャン画像からＯＣＲによる文字認識で取得した文字列と座標であるメタデータ１０２と、帳票形式を定義したデータである帳票形式データ１０３と、を有している。

入出力装置１０４は、データを表示するためのディスプレイやプリンタ等で構成される表示装置（図示せず）と、表示されたデータに対してメニューを選択するなどの操作を行うためのキーボード、マウスなどのポインティングデバイスや文書を取り込むためのスキャナ等で構成される入力装置（図示せず）と、を有している。

プログラムメモリ１０９は、画面表示やユーザの入力操作を受け付けるインターフェースである画面表示部１１０と、画像の分類（ＯＣＲで認識した文字列と座標の観点で分類）を行うための画像データ分類部１１１と、画像上の文字領域の切出しと二値化を行うための画像切出し部１１２と、切出した文字部分の画像を照合して類似度の算出を行うための照合部１１３と、算出した類似度を分類軸として画像の分類を行うための照合結果分類部１１４と、画像の合成処理を行うための画像合成部１１５と、メタデータ１０２の修正を行うためのメタデータ修正部１１６と、画像の画素値を分類軸として画像の分類を行うための画素値分類部１１７を含んでいる。なお、各処理部は、プログラムコードとしてプログラムメモリ１０９に格納されており、中央処理装置１０８が各プログラムコードを実行することによって各処理部が実現されている。各処理部（１１０乃至１１７）はプログラムで構成され、中央処理装置１０８によって実行され、各機能が実現される。

データメモリ１０５は、画像切出し部１１２の処理結果から得られる二値化画像データ１０６と、照合部１１３の処理で得られる合成座標データ１０７と、を格納する。合成座標データ１０７は画像合成部１１５の処理で必要となる座標の情報を含む。

＜画像データの構成＞
図２は、記憶装置１００に含まれる画像データ１０１の構成例を示す図である。画像データ１０１は、画像識別ＩＤ２００と、帳票画像２０１と、を構成項目として有している。帳票画像２０１の欄には、図３に示されるような、ファイル形式のデータである画像（例えば、ビットマップ形式）が保持されている。

＜画像データの例＞
図３は、帳票画像２０１に格納された画像データの例を示す図である。この帳票は、顧客名・担当者名等が記載された表が含まれており、タイトル３００と、発行元３０１と、顧客名３０２と、表３０３等で構成されている。図３の例では、業務帳票の一つである検収通知書である。タイトルが「検収通知書」、発行元が「情報ソリューション株式会社」、顧客名が「ＯＣＲソフト株式会社」等、各メンバの値となっている。

また、表３０３は、貴社名３０４と、納品日３０５と、注文番号３０６と、ご担当者名３０７と、貴社電話番号３０８と、備考３０９と、などの構成項目を含んでいる。各項目に対応して入力された値は、貴社名が「ＯＣＲソフト株式会社」、納品日が「２０１０年４月１日」、注文番号が「３００１０４５−２１−３６８１」、ご担当者名が「大田 太郎」、貴社電話番号が「０１−１２３４−５６７８」、備考は入力なし、となっている。

＜メタデータの構成例＞
図４は、記憶装置１００に含まれるメタデータ１０２の構成例を示す図である。図４Ａに示すメタデータは、画像データ１０１に保存された画像のＯＣＲ認識結果の一部である。メタデータは、画像ＩＤ４００と、認識文字列４０１と、文字切り分け条件４０２と、を構成項目として含んでいる。画像ＩＤ４００は、ＯＣＲ処理を行った画像の識別ＩＤを保持する。認識文字列４０１は、ＯＣＲの文字認識結果を保持する。文字切り分け条件４０２は、４０３〜４０６に示す文字データを配列で保持する。図４Ａの例では、画像識別ＩＤが「１」の画像のＯＣＲによる文字認識結果の一つが「ＯＣＲソフト株式会社」であり、各文字の情報が文字データで保持されている関係を示す。

図４Ｂに示す文字データは、認識文字列４０１の各文字の座標や大きさ等の情報として、文字４０３と、座標４０４（画像上端からの距離）と、高さ４０５（画像上での文字列の高さ）と、幅４０６（画像上での文字列の幅）と、を有している。図４Ｂの例では、認識文字列４０１に含まれる文字「Ｏ」の座標が「（３５４，３９１）」、高さが「９」、そして幅が「１１」であることを示している。

図４の例では、画像ＩＤが「１」のメタデータに、「Ｏ」「Ｃ」「Ｒ」「ソ」「フ」「ト」「株」「式」「会」「社」の各文字データが対応付けられていることが分かる。

＜帳票形式データの構成例＞
図５は、記憶装置１００に含まれる帳票形式データ１０３の構成例を示す図である。帳票形式データは、項目名５００と、座標５０１と、幅５０２と、高さ５０３と、を構成項目として有している。また、帳票形式データは、情報５００乃至５０３を１セットとして帳票項目数分の情報を有している。この帳票形式データは、記憶装置１００に保持されている帳票画像２０１の帳票形式を定義している。

項目名５００は、帳票中の項目名を保持する。座標５０１は、項目名５００が示す項目に対応する入力欄の領域の左上座標を示す情報である。幅５０２は入力欄の幅、高さ５０３は入力欄の高さを保持する。図５の例では、帳票の項目の一つである「貴社名」が「ＯＣＲ株式会社」に対応する入力欄の左上の座標が「（１５０，２３０）」、幅が「２７」、そして高さが「９」である定義が保持されている関係を示す。

＜二値化画像データの構成例＞
図６は、データメモリ１０５に含まれる二値化画像データ１０６の構成例を示す図である。図６Ａは二値化画像データを示しており、画像ＩＤ６００と、検索対象用画像６０１と、テンプレート用画像６０２と、を構成項目として含んでいる。

検索対象用画像６０１とテンプレート用画像６０２は画像切り出し部１１２の処理で取得される二値の画像である。これらは照合部１１３のテンプレートマッチングによる類似度算出処理で参照されるデータで、テンプレートマッチングのための検索対象用の画像（検索対象用画像６０１：テンプレートマッチングのベースとなる文字列画像）とテンプレート用の画像（テンプレート用画像６０２：検索対象用画像の上に重ねて走査させる画像（文字ごとに区切った画像））となる。テンプレート用画像については、６０３〜６０４に示す文字画像データで保持される。また、検索対象用画像については、６０５〜６０７に示す画像構成データを配列で保持される。

図６Ａの例では、記憶装置１００のある画像データの画像識別ＩＤに対応する画像ＩＤが「１」であり、その画像識別ＩＤに対応する画像から切出した２つの画像である検索対象用画像とテンプレート用画像が保持されているという関係を示す。

図６Ｂに示される文字画像データは、文字情報６０３と文字画像６０４を含んでいる。文字画像については、６０５〜６０７に示す画像構成データが配列で保持されている。図６Ｂの例では、例えば、文字列「大田太郎」の文字情報の値とする「大」に対応した画像構成データが配列で保持されている関係が示されている。

図６Ｃに示される画像構成データは、Ｘ座標６０５と、Ｙ座標６０６と、画素値６０７を含んでいる。図６Ｃの例では、横軸の座標が「０」、縦軸の座標が「０」、の位置にある画素の値が「２５５」で保持されているという関係を示す。なお、画像構成データで保持される画像は二値の画像のみとなり、画素値６０７は「０」または「２５５」の二つのみである。

例えば、検索対象用画像が「大田太郎」の場合、文字画像データ（図６Ｂ）は４セット存在し、画像構成データ（図６Ｃ）は「４セット（各文字のデータ）＋１セット（「大田太郎」の文字列のデータ）＝５セット」存在することとなる。

＜合成座標データの構成例＞
図７は、データメモリ１０５に含まれる合成座標データ１０７の構成例を示す図である。合成座標データは、どの画像とどの画像を比較したかを示しており、検索対象画像ＩＤ７００と、テンプレート画像ＩＤ７０１と、文字７０２と、Ｘ座標７０３と、Ｙ座標７０４と、を構成項目として含んでいる。

図７の例の合成画像データでは、検索対象とする画像データの画像識別ＩＤが「１」（図２の画像識別ＩＤ＝１の画像データ）、テンプレートとして使用する画像データの画像識別ＩＤが「２」（図２の画像識別ＩＤ＝２の画像データ）である。そして、走査させたテンプレートの文字が「大」であり、走査結果の中でもっとも評価値が高かった座標が「（１２６，２７４）」であったことが示されている。

＜文書管理装置における処理＞
次に、上述の構成を有する文書処理装置において行われる処理について説明する。図８乃至図１０は文書処理装置において行われる処理の概要を示すフローチャートである。これらのフローチャートにおける処理の主体は中央処理装置１０８とする。また、文書処理装置において実現する確認と修正の対象は、帳票の項目に対応した入力欄に入力された文字であり、帳票形式データ１０３で定義された領域のＯＣＲ認識結果の文字列となる。

（１）文書処理の全体像
図８は、文書処理の全体概要を説明するためのフローチャートである。まず、中央処理装置１０８は、画像データ分類部１１１を用いて、記憶装置１００の画像データ１０１の分類を行う（ステップ８００）。この分類によって生成されたクラスタをクラスタＷとする。１度の処理で扱う画像の帳票形式は、すべて同一であるとする。この処理により、同じ文字列かつ同じ位置（帳票の同じ項目欄）にある認識文字列に対して、まとめて確認と修正の処理をステップ８０４の処理において行うことが可能となる。なお、画像データの分類処理は、メタデータを使ってどの画像のどの文字列を重ね合わせるかを判断するために行われる。例えば、貴社名が「ＯＣＲソフト株式会社」の帳票画像を集めてクラスタとする。そして、同じような文字列を有する帳票を振り分ける。当該実施形態では、固定帳票を用いており、フォーマットが決まっているが、図３における３０２の貴社名と３０４の貴社名のフォントサイズが異なる可能性がある。フォントサイズが異なると文字を重ねることができない。そこで、これらを正確に分類できるようにするために、各文字列の座標値も分類のための判断指標としている。この画像データ分類処理の詳細については、図１１を用いて後述する。

次に、中央処理装置１０８は、画像表示部１１０を用いて、分類結果である各クラスタＷを入出力装置１０４に表示する（ステップ８０１）。ここで表示される画面は、確認修正文字列選択画面（図１３参照）とする。

ステップ８０１の処理が終了すると、中央処理装置１０８は、ユーザからの処理命令の待機を行う（ステップ８０２）。ユーザは表示された確認修正文字列選択画面からクラスタＷの選択を行い、中央処理装置１０８に処理命令を行う。ここでの画面の詳細と操作については、確認修正文字列選択画面（図１３）を用いて後述する。

続いて、中央処理装置１０８は、ユーザから処理命令を受ける（ステップ８０３）。処理命令を受けたとき、ユーザによる「クラスタの選択が無かった」場合は処理を終了する。

クラスタの選択があった場合、中央処理装置１０８は、クラスタの分類軸である文字列の確認と修正の処理を行う（ステップ８０４）。この処理は、同じ文字列の画像を重ね合わせて合成を行い、ユーザがＯＣＲの認識結果を合成画像と比較して、一括で確認と修正を行うことを実現するものである。ステップ８０４の詳細は、図９を用いて後述する。

ステップ８０４の処理が終了すると、ステップ８０３の処理が再度実行される。ステップ８０４の最後の処理にはユーザからの処理命令の待機があるため、ステップ８０３とステップ８０４の処理を繰り返して行うことが可能となる。

（２）ステップ８０４の詳細
図９は、ステップ８０４で行われる処理の詳細を説明するためのフローチャートである。この処理の対象とするデータは、図８におけるステップ８０１で表示した画面からユーザが選択したクラスタＷとする。

まず、中央処理装置１０８は、画像切出し部１１２を用いて、クラスタＷ内の各画像から、分類軸となった文字列に対応する画像領域の切出し処理を行う（ステップ９００）。切出された画像は、例えば、図６に示される形式で管理される。当該画像切出し処理については、画像切出し処理（図１５参照）の節で後述する。

次に、中央処理装置１０８は、照合部１１３を用いて、切出した画像の照合を行い、類似度を算出する（ステップ９０１）。つまり、検索対象用画像の上にテンプレート用画像を乗せてテンプレートマッチングにより照合処理を実行する。この照合結果分類処理は、クラスタＷの中で類似度を分類軸として画像データの分類を行う。画像データ分類処理による位置と文字列に基づく分類と、その分類結果のクラスタに対して、画像の類似性に基づく分類を行っている。これにより、ＯＣＲの認識結果が同じであっても、文字の形状が相違している可能性がある画像を分類する。すると、後述するステップ９０６において、画像合成処理で生成される画像が表す文字の劣化を抑えることが可能となる。ここでの処理については、照合処理の節で後述する（図１７参照）。

そして、中央処理装置１０８は、照合結果分類部１１４を用いて、算出した類似度の分類処理を行う（ステップ９０２）。ここでの処理については、照合結果分類処理の節で後述する。この分類によって生成されたクラスタをクラスタＲとする。

次に、中層処理装置１０８は、画面表示部１１０を用いて、分類結果であるクラスタＲを入出力装置１０４に表示する（ステップ９０３）。ここで表示される画面を分類結果選択画面（図２０参照）とする。この画面は確認修正文字列選択画面（図１３）におけるリスト内容の追加更新した画面となる。

ステップ９０３の処理が終了すると、中央処理装置１０８は、ユーザから処理命令の待機を行う（ステップ９０４）。ユーザは表示された画面上から分類結果のクラスタを選択して中央処理装置１０８に処理命令を行う。ここでの画面の詳細と操作については、分類結果選択画面（図２０）を用いて後述する。

続いて、中央処理装置１０８は、ユーザから処理命令を受ける（ステップ９０５）。ユーザからの処理命令を受けたとき、ユーザによる「クラスタの選択が無かった」場合、処理は終了する。

クラスタＲの選択があった場合、中央処理装置１０８は、選択されたクラスタ内の画像の合成を行い、合成された画像の画面表示やメタデータ１０２の修正などの処理を行う（ステップ９０６）。例えば、図２０における２００１乃至２００３がクラスタＲ１乃至Ｒ３となる。なお、ここでのクラスタＲの選択とは照合結果分類処理で生成されたクラスタの選択であり、それ以外の処理で生成されたクラスタの選択については、「クラスタの選択がなかった」と判定される。ステップ９０６の詳細は、図１０を用いて後述する。

ステップ９０６の処理が終了すると、ステップ９０５の処理が再度実行される。ステップ９０６の最後の処理にはユーザからの処理命令の待機があるため、ステップ９０５とステップ９０６の処理を繰り返して行うことが可能となる。

（３）ステップ９０６の詳細
図１０は、ステップ９０６で行われる処理の詳細を説明するためのフローチャートである。

まず、中央処理装置１０８は、ユーザによって選択されたクラスタＲを格納したリストＣを作成する（ステップ１０００）。

次に、中央処理装置１０８は、画像合成処理部１１５を用いて、選択されたクラスタＲに含まれる各画像に対して合成処理を実行する（ステップ１００１）。合成画像は、選択されたクラスタＲの分類軸である文字列と対応した画像領域を重ね合わせて合成した画像である。当該合成処理の詳細については、図２１を用いて後述する。

また、中央処理装置１０８は、画面表示部１１０を用いて、入出力装置１０４に確認修正画面を表示する（ステップ１００２）。この画面では、ステップ１００１において生成された合成画像と選択されたクラスタの分類軸である文字列が表示される。ユーザは、表示された合成画像と認識文字列を見ることで、ＯＣＲによって誤認識された画像の分類や認識文字列の修正を行うことができる。ここでの画面の詳細と操作については、確認修正画面（図２３）を用いて後述する。

ステップ１００２の処理が終了すると、中央処理装置１０８は、ユーザからの処理命令の入力を待機する（ステップ１００３）。ユーザは、表示された合成画像上から１つの画素の選択（例えば、ＡＮＤ合成画像２３０２やＯＲ合成画像２３０３上の画素の選択）、メタデータ修正入力フォームに修正文字列の入力（修正ボタン２３０７の押下）、及びリターン（戻る）ボタン２３０８の押下（ボタン２３０８の押下により図２０や図２９の画面に戻る）のいずれかで中央処理装置１０８に処理命令を行う。また、確認ボタン２３０６が押下されると、図２０の対応する文字列が処理済（「未」が「済」に変更される）となる。

ユーザから処理命令を受けたとき、中央処理装置１０８は、ユーザによる合成画像上の画素をマウスでクリックされたか判定を行う（ステップ１００４）。

画素のクリックではなかった場合、すなわち、修正文字列の入力、又はリターン（終了）命令の場合（ステップ１００４でＮｏの場合）、中央処理装置１０８は、メタデータ修正部１１６を用いて、選択されたクラスタの分類軸となった文字列に対応するメタデータの修正処理を行う（ステップ１００５）。当該メタデータ修正処理の詳細については、図２６を用いて後述する。なお、確認修正画面上のＡＮＤ合成画像２３０２、ＯＲ合成画像２３０３、及び確認文字列２３０４が全て同じ文字列になっているとユーザが確認できた場合には、図２６の処理が実行される。

ステップ１００５の処理が終了すると、中央処理装置１０８は、表示されている確認修正画面（図２３）を閉じる（ステップ１００６）。このとき、確認修正画面の他に表示されている画面は、図９のステップ９０３で表示された分類結果選択画面（図２０参照）である。

一方、画素の選択があった場合（ステップ１００４でＹｅｓの場合）、中央処理装置１０８は、表示していた確認修正画面（図２３）を閉じる（ステップ１０１０）。

そして、中央処理装置１０８は、選択された画素の座標にある画素値の分類処理を行う（ステップ１０１１）。この処理では、合成画像の生成時に重ね合わせた画像の中から、異なる文字の画像の分類を可能とする。ここでの処理については、画素値分類処理として、図２７を用いて後述する。

次に、中央処理装置１０８は、ステップ１０１１の画素分類処理の分類結果である各クラスタを、リストＣに追加する（ステップ１０１２）。

ステップ１００６あるいはステップ１０１２のどちらかの処理が終了すると、中央処理装置１０８は、表示されている分類結果選択画面で表示されているリストの更新を行う（ステップ１００７）。この更新では、リストＣに格納されて各クラスタを参照して行う。ここでの処理については、図２９を用いて分類結果選択画面更新処理として後述する。

画面の更新が終了すると、中央処理装置１０８は、ユーザから処理命令の入力を待機する（ステップ１００８）。ユーザは、表示された更新された分類結果選択画面（図２９参照）からクラスタの選択を行う。

中央処理装置１０８は、ユーザから処理命令を受けると、ユーザによるクラスタの選択があったか判定を行う（ステップ１００９）。

クラスタの選択が無かった場合（ステップ１００９でＮｏの場合）、中央処理装置１０８は、図１０のフローチャートが示す処理、すなわち図９におけるステップ９０６の処理を終了する。

クラスタの選択があった場合（ステップ１００９でＹｅｓの場合）、中央処理装置１０８は、再度ステップ１００１から処理を繰り返す。このようにしてステップ１０１１の分類結果をリストＣへ格納して、各クラスタに対してステップ１００１から処理を行う。これにより、ユーザが合成画像の文字を識別できない場合、画素の分類を繰り返し行い、誤認識された画像の特定と修正を行うことが可能となる。

＜画像データ分類処理＞
図１１は、画像データ分類部処理の詳細を説明するための示すフローチャートである。この処理は、中央処理装置１０８と画像データ分類部１１１が協働して実行する処理であり、記憶装置１００の画像データ１０１の分類を行う処理である。以下では、画像データ分類部１１１を動作主体として説明するが、中央処理装置１０８と読み替えることも可能である。

まず、データ画像分類部１１１は、記憶装置１００の画像データ１０１とメタデータ１０２を取得し（ステップ１１００）、さらに、帳票形式データ１０３から帳票の各項目に対応する入力欄の座標や大きさなどを取得する（ステップ１１０１）。入力欄の座標は、帳票上で確認と修正の対象となる文字列が入力されている座標である。

次に、データ画像分類部１１１は、帳票形式データで定義された入力欄の領域内に入力された認識文字列（ＯＣＲの認識結果の文字列（文字コード））を持つ画像データを、入力欄の座標を分類軸として分類を行う（ステップ１１０２）。すなわち、同じ入力欄に認識文字列が入力されている画像データを、同じクラスタに分類する。例えば、図３の帳票の例で、項目３００〜３０２と項目３０４〜３０９が当該帳票の構成項目であるが、これらの項目に対応する入力欄の座標が帳票形式データで定義されているとする。すると、項目３００に対応する入力欄の領域に認識文字列を持つ画像データを同じクラスタに分類を行う。同様にして、項目３０１、３０２、及び３０４〜３０９に対しても同様に処理を行う。なお、画像のスキャン時の座標のずれやゆがみ等が発生する可能性があるが、認識文字列の文字列位置に対して重み付きユークリッド距離法等の既存のクラスタリング技術によって、帳票形式データで定義した位置相当にあたる座標を分類軸とする。

次に、データ画像分類部１１１は、分類されたそれぞれのクラスタ内で、認識文字列（ＯＣＲの認識結果の文字列（文字コード））の値を分類軸として画像データの分類を行う（ステップ１１０３）。すなわち、認識文字列が同じ画像データを、同じクラスタに分類する。例えば、図３の帳票の項目３０４に対応する入力欄に認識文字列を持つ画像データを含むクラスタがあるとする。そのクラスタ内において、各画像データの認識文字列の値が「ＯＣＲソフト株式会社」、「ＯＣＲソリューション株式会社」のどちらかであるとする。すると、分類結果として、「ＯＣＲソフト株式会社」が値である認識文字列を持つ画像データを含むクラスタと、「ＯＣＲソリューション株式会社」が値である認識文字列を持つ画像データを含むクラスタの２つが生成される。これらの処理により、帳票上で同じ入力欄にあり、かつ同じ認識文字列を持つ画像データを同じクラスタに分類することが可能となる。この分類によって生成れたクラスタをクラスタＷとする。

＜クラスタＷのデータ構造例＞
図１２は、画像データ分類処理（図１１）によって得られたクラスタＷのデータ構造例を示す図である。クラスタＷは、入力欄分類条件１２００と、認識文字列分類条件１２０１と、クラスタ１２０２と、を構成項目として有している。 図１２では、１つの表データが１つのクラスタに対応している。

入力欄分類条件１２００は、ステップ１１０２において分類軸となった入力欄の座標が保持されている帳票形式データを示す。また、認識文字列分類条件１２０１は、ステップ１１０３において分類軸となった文字列を示す。クラスタ１２０２は図２における画像データの配列を示す。

＜確認修正文字列選択画面＞
図１３は、確認修正文字列選択画面の構成例を示す図である。図１３においては、画像データ分類処理（図１１）で生成されたクラスタＷの認識文字列分類条件の値が、リスト１３００として表示される。

確認修正文字列選択画面において、リスト１３００は、ラジオボタン１３０１と、文字列１３０３と、数（件数）１３０４と、済（処理済か否かを示すフラグ）１３０５と、を構成目として有している。

文字列１３０３は、各クラスタＷの分類軸となった文字列を示す。なお、リストの中に同じ文字列が重複して現れるのは、分類軸となった認識文字列が同じであっても、帳票の入力欄が別であるクラスタがあるからである。このような結果をもたらす画像データの例を図１４に示す。図１４で示される帳票は、文字列が同じで帳票の入力項目が異なる入力欄がある帳票である（符号１４０１参照）。このような帳票があることで、リスト１３００に「ＯＣＲソフト株式会社」が２つ現れることになる。

数１３０４の列は各クラスタＷ内の画像データ数を表し、済１３０５の列は各クラスタＷが確認、あるいは修正が完了済みであるかを表している。

リスト１３００は、画像データ分類処理や後述する照合結果分類処理等、分類処理が行われると更新される。更新時に、表示する各クラスタＷが確認と修正の処理が行われているか確認処理を行う。

「終了」ボタン１３０６は、プログラムの終了ボタンとなる。また、ユーザは、表示されたリスト中からラジオボタン１３０１によってクラスタＷを１つ選択して「確認」ボタン１３０２を押すことで、中央処理装置１０８に処理実行の命令を行うことができる。なお、終了ボタン１３０６を押すことにより中央処理装置１０８に処理実行の命令を行うことが可能であるが、この場合、「クラスタの選択はされていない」という条件の命令として中央処理装置１０８が受けることとなる。

＜画像切出し処理＞
図１５は、画像切出し処理の詳細を説明するためのフローチャートである。処理の対象は、図１３の画面において、ユーザによって選択されたクラスタＷ内の画像データとする。この処理は、照合部１１３のテンプレートマッチングで使用するための２種類の画像の切出しを行う。画像から切出す領域は、クラスタＷの分類軸である認識文字列の領域とする。以下では、画像切出し部１１２を動作主体として説明するが、中央処理装置１０８と読み替えることも可能である。

まず、画像切出し部１１２は、記憶装置１００のメタデータ１０２を参照することにより、検索対象用画像を生成する（ステップ１５００）。

次に、画像切出し部１１２は、テンプレート用画像を生成する（ステップ１５０１）。図１６は、２種類の画像の生成処理の概念を説明するための図である。検索対象用画像生成（ステップ１５００）では、メタデータで示す文字の領域より広い範囲で画像を切出して画像が生成される。広い範囲で切出しを行うのは、後述する照合処理（図１７参照）において、テンプレートマッチングを行う際の検索対象の画像とテンプレートの画像の大きさが相違したときに起こる問題を回避するためである。ＯＣＲを行う際の環境などで、実際の画像では文字の大きさは同じであるが、認識した領域が異なる場合がある。このとき、テンプレートとなる画像の高さや幅が検索対象の画像より大きくなった場合、画像外の参照を行い、適切な評価値が取得できない問題が発生する。この問題を回避するために、検索対象用画像は本来の領域より大きく（広く）切出す必要がある。また、テンプレート用画像は、切出しを行う領域内の文字列を、文字ごとに切り出すことにより生成される。文字ごとの切出し範囲は、記憶装置１００のメタデータ１０２にある単語ごとの座標データを参照することにより取得される。

続いて、画像切出し部１１２は、切出した画像に対して二値化処理を行い、画像を白と黒の二値のデータに変換する（ステップ１５０２）。二値化の閾値は判別分析法等の既存技術によって決定することが可能である。本発明の文書処理装置で扱う帳票は、背景が白に対して文字が黒である一般的な業務文書であるため、文字の劣化が少ない閾値を決定し易い。

＜照合処理＞
図１７は、照合処理の詳細を説明するためのフローチャートである。処理対象は、画像切出し処理において生成された検索対象用画像とテンプレート用画像の２つとする。この処理は、クラスタＷの分類軸である認識文字列の画像領域の類似度（各画像間のピクセルパターンの相関の強さ）の算出を行う。以下では、照合部１１３を動作主体として説明するが、中央処理装置１０８と読み替えることも可能である。

まず、照合部１１３は、クラスタＷ内の二値化画像データを登録したリストＬを作成する（ステップ１７００）。

次に、照合部１１３は、リストＬから二値化画像データを１つ取り出す（ステップ１７０１）。

そして、照合部１１３は、取り出した二値化画像データに対して、リストＬに残ったすべての二値化画像データの類似度を算出する（ステップ１７０２）。類似度算出の処理は、テンプレートマッチングを用いて実行される。検索対象の画像は、取り出した二値化画像データの検索対象用画像とする。テンプレートとして検索対象の画像上を走査させる画像は、リストＬにある各二値化画像データのテンプレート用画像となる。検索対象の画像の各文字の周辺に対して、同じ単語となるテンプレート用画像の画像を走査させる。走査を行う際には、正規化相互相関などの二信号の評価値（二信号間のパターンの相関係数）を求める既存技術が適用可能である。走査した中で最も高い評価値をその単語の類似度として、また、そのときの座標をデータメモリ１０５に合成座標データ１０７として保存する。保存した座標データは画像を合成する処理の際に、重ね合わせる座標として使用する。このようにして、検索対象用画像の文字すべてに対して類似度と座標を求める。

続いて、照合部１１３は、リストＬ内に二値化画像データが２つ以上あるか確認する（ステップ１７０３）。二値化画像データが１つ以下であった場合、処理は終了する。

二値化画像データが２つ以上あった場合、照合部１１３は、リストＬの二値化画像データが１つになるまでステップ１７０１とステップ１７０２を繰り返し実行する。

図１８は、図１７の処理の概要を概念的に示す図である。図１８のようにしてテンプレートマッチングを逐一実行していくことにより、クラスタＷ内のすべての画像間で類似度を求めることができるようになる。

＜照合結果分類処理＞
照合結果分類処理は、照合結果分類部１１４によって実行される処理であり、これによって、クラスタＷ内の画像データが、照合処理で求めた類似度を参照して分類される。当該照合結果分類処理によって、クラスタ内において文字の形状が異なる画像を分類することが可能である。

例えば、画像データ分類部１１１の分類によって文字列が「大田 太郎」かつ帳票上の入力項目がご担当者名の値のクラスタＷが生成されたとする。「太田 太郎」に対して「大田 太郎」とＯＣＲが誤認識した画像がある場合、入力値が同じであれば生成されたクラスタＷに含まれる。このクラスタＷ内で類似度を算出した場合、「大」と「太」の類似度が「大」と「大」の類似度より低くなることが見込まれる。そして、クラスタＷ内で相対的に低い類似度であるものを照合結果分類処理で分類することでＯＣＲが誤認識した画像をクラスタＷから分類することが出来る。これにより、形状が異なる文字の画像の分類を行い、画像合成部１１５の画像合成処理で生成する画像の歪みを抑えることが可能となる。

なお、分類の閾値はクラスタＷ内の類似度の標準偏差から求める方法やあらかじめ決定した定量値等で定める。

図１９は、当該照合結果分類処理により生成されたクラスタＲのデータ構造を示す図である。クラスタＲのデータ構造は、クラスタ１９００と、確認修正済みフラグ１９０１と、を構成項目として有している。

クラスタ１９００は、分類された画像データの配列であり、確認修正済みフラグ１９０１はクラスタ１９００内のすべての画像の確認、又は修正が完了しているかを示す値である。確認修正済み条件１９０１の値は、「true」または「false」のどちらかである。「true」の場合は確認、又は修正が完了していることを意味し、「false」は確認、又は修正が完了していないことを意味している。

＜分類結果選択画面＞
図２０は、分類結果選択画面の構成例を示す図であり、上述の照合結果分類処理によって生成されたクラスタＲをリスト２０００で表示している。図２０では、照合結果分類処理で生成されたクラスタＲを、図１３のリスト１３００の更新を行い、文字列２００１〜２００３で表示している例が示されている。文字列２００１〜２００３をクラスタＲ１〜Ｒ３とすると、例えば、分類の閾値を０．８（上述の照合結果分類処理におけるクラスタＷ内において、各画像間の類似度（ピクセルパターンの相関係数）が０．８）とした場合、クラスタＲ１が各画像の類似度が閾値以上の関係をもつグループ、クラスタＲ２とクラスタＲ３も同様に前記相関関係（類似度が閾値以上の関係）をもつグループとすることができる。つまり各クラスタは、閾値以上の相関の強さの関係をもつ文字列を含むグループとすることができる。このように同じ内容の文字列であるにも拘わらず異なるクラスタに分類されるのは、例えば、各文字列において、フォント、サイズや文字飾りの有無等が異なる場合には類似度が異なってくるからである。

確認修正文字列選択画面（図１３参照）と同様に、ユーザは表示されたクラスタＲのリスト中からラジオボタンによって生成されたクラスタＲを１つ選択して「確認」ボタンを押すことで、中央処理装置１０８に対して処理実行の命令を入力することができる。

また、リストの構成項目や終了ボタンについても、確認修正文字列選択画面と同様とする。

＜画像合成処理＞
図２１は、画像合成処理の詳細を説明するためのフローチャートである。以下では、画像合成部１１５を動作主体として説明するが、中央処理装置１０８と読み替えることも可能である。

まず、画像合成部１１５は、クラスタ内の画像データに対応する二値化画像データをデータメモリ１０５から取得して登録したリストＤ（例えば、図２０における文字列２０００のクラスタに含まれる６件のデータのリスト）の作成を行う（ステップ２１００）。なお、ここで扱うクラスタのデータ構造は、図１９で示したものである。

次に、画像合成部１１５は、リストＤの中から１つの二値化画像データを取り出し（ステップ２１０１）、この取り出した二値化画像データから検索対象用画像（前述のように、文字列の画像）を取得する（ステップ２１０２）。この取得した画像を合成画像のベースとする。

そして、画像合成部１１５は、リストＤの各二値化画像データからテンプレート用画像（前述のように、文字ごとの画像）を取得する（ステップ２１０３）。この各テンプレート用画像は、取り出した検索対象用画像上にすべて重ね合わせて合成処理を行うための画像である。

また、画像合成部１１５は、データメモリ１０５からは、取得した検索対象用画像と各テンプレート用画像の組み合わせに対応した合成座標データを取得する（ステップ２１０４）。つまり、画像として一番マッチングが取れた場所の座標データが取得される。

さらに、画像合成部１１５は、検索対象用画像、各テンプレート用画像、及び合成座標データを参照して合成を行う（ステップ２１０５）。

ここで、合成方法としては、検索対象用画像上の単語に、同じテンプレート用画像の単語を重ね合わせる方法がある。重ね合わせる座標は、取得した合成座標データで保存されている座標とする。合成座標データの位置で重ね合わせることは、画像として類似している評価値が最も高い位置で重ね合わせることに相当する。これにより、ＯＣＲの文字位置の認識にずれがあった場合でも、最も画像が重なる位置に補正することができる。そして、重ね合わせた画像を後述する演算処理で合成を行う。合成された画像に対して、他の重ね合わせていないテンプレート用画像を重ね合わせて合成を繰り返す。重ね合わせの組合せの算出は、プリム法やクラスカル法などの既存技術の応用により、クラスタから最大全域木（辺の重みの総和が最大となる全域木）を求めることで可能となる。これにより、クラスタ内のすべての画像を合成することが可能となる。このように、重ね合わせにより生成される画像は、ＡＮＤ合成画像、ＯＲ合成画像、及び全体合成画像の３つである。

図２２Ａは、ＡＮＤ合成画像とＯＲ合成画像を生成する処理の例を示す図である。なお、ＡＮＤ合成画像とＯＲ合成画像の２つの画像を生成する際に使用する画像は、すべて２値の画像とし、各画素の画素値は「０」あるいは「２５５」とする。画素値の「０」はレンダリングされるときの色が「黒」、「２５５」は「白」となる。

まず、１つ目の処理は、画像が重なる部分の画素値のＡＮＤ演算を行い、ＡＮＤ合成画像を生成する処理である。ここでのＡＮＤ演算では、どちらか一方の、あるいは両方の画素の色が「白」の場合、演算結果は「白」となり、どちらとも「黒」の場合は演算結果が「黒」となる。

２つ目の処理は、ＯＲ演算によってＯＲ合成画像を生成する処理である。ここでの演算処理では、どちらか一方の、あるいは両方の画素の色が「黒」の場合、演算結果は「黒」となり、両方が「白」の場合は演算結果が「白」となる。３つはクラスタの画像データを記憶装置１００から取得して、合成する文字列の先頭文字の合成座標データの参照を行い、その位置で重ね合わせる。合成方法としては既存技術であるアルファブレンド等で全体合成画像を生成する。さらに、合成処理が終了した全体合成画像の認識文字列の文字列領域の外枠に線を描画してバウンディングボックスの生成を行う処理をする。このとき参照する座標は合成のベースとなった画像データに対応するメタデータの認識文字列の座標となる。これにより後述の確認修正画面において、表示される全体合成画像をユーザが見たとき、帳票上のどの領域の文字列を目視確認しているか確認することが可能となる。例えば、図２３の２３００で表示されている画像が全体合成画像であり、２３０１がバウンディングボックスである。

以上の画像合成処理で合成される画像は、画像データ分類処理と照合結果分類処理の２つの分類によって、同じフォント形式の文字列の画像であると考えられるため、歪みの少ない合成画像が生成することが可能である。また、適切に分類されなかった画像がある場合でも、ＡＮＤ演算による合成画像とＯＲ演算による合成画像の文字列が、異なる歪み方をするため、目視で確認することができる。さらに、後述する確認修正画面（図２３）において、適切に分類されなかった画像を分類することができる。

また、画素値の演算処理による合成パターンは、前述したＡＮＤ演算、ＯＲ演算、及びアルファブレンドに限らない。例えば、画像を重ね合わせて、各座標において、画素値が「黒」の値である画像を数える。そして、各座標で求めた画像の数によって、輝度や色を異なるものにして画像を生成する。生成された画像の例が図２２Ｂに示されている。この例では、「大田」を表す複数の画像の中に「太田」を表す画像が一つ混在したクラスタの合成結果である。モノクロ８ビットの画像であり、各画素において「黒」の値である画像数が少なくなるほど輝度値は高くなり、画像数が多くなるほど輝度値は低くなる。

＜確認修正画面＞
図２３は、確認修正画面の構成例を示す図である。確認修正画面は、合成画像２３００と、バウンディングボックス２３０１、ＡＮＤ合成画像２３０２と、ＯＲ合成画像２３０３と、確認文字列２３０４と、修正文字列入力フォーム２３０５と、確認ボタン２３０６と、修正ボタン２３０７と、戻るボタン２３０８と、を構成項目として有する画面である。

図２３における画面例では、合成処理によって生成された全体合成画像が合成画像２３００として、ＡＮＤ合成画像がＡＮＤ合成画像２３０２として、そしてＯＲ合成画像がＯＲ合成画像２３０３として表示されている。また、ＡＮＤ合成画像やＯＲ合成画像におけるＯＣＲの文字認識結果は、認識文字列２３０４として表示されている。

ユーザは、当該確認修正画面において、２３００で表示された画像のバウンディングボックスを見ることで、帳票上のどの部分の文字列を確認修正対象としているかが確認できる。これは、２３０１のバウンディングボックス内の文字列の確認と修正が可能であるということを意味している。

また、ユーザは、画像２３０２と画像２３０３を比較することで、合成された画像（クラスタ内の各画像データが含む画像）内に、ＯＣＲで誤認識されて、画像照合結果分類処理によって適切に分類されなかった画像が混在しているか否か確認できる。

図２３の例では、ＡＮＤ合成画像２３０２は「大田 太郎」と表示されているが、ＯＲ合成画像２３０３は「太田 太郎」と表示されている。つまり、合成した画像の中に文字として異なる画像が混在していることがわかる。そこで、ユーザは、明らかに異なる文字であると判断できる画像領域の画素の選択を、ＡＮＤ合成画像２３０２、又はＯＲ合成画像２３０３から行う。この選択を行う例が図２４に示されている。

図２４Ａ及びＢにおいて、画像２４０１はＡＮＤ合成画像を、画像２４０２はＯＲ合成画像を、領域２４０３は「文字が異なる」と認識できる画像領域を示している。また、図２４Ｂは、「文字が同じ」と認識できる画像におけるＡＮＤ合成画像２４０１とＯＲ合成画像２４０２の例を示している。

図２４Ａにおける各画像は、「大」と「太」の２つの画像が混在した複数の画像を重ね合わせて合成処理を行った例である。ＡＮＤ合成画像では「大」と表示され、ＯＲ合成画像では「太」と表示されている画像を比較する。すると、この２つの文字が明らかに異なると認識できるのは、図２４Ａで示す２つの画像の相違部分となる。この相違した部分において、画素が「黒」で表示された部分の選択をユーザが行う。

ユーザが画素を選択すると、中央処理装置に処理命令が入力される。この命令を受けて、後述する画素値分類処理（図２７参照）が行われる。

画素値分類処理が終了すると、ユーザのクラスタの選択を経て、再度確認修正画面（図２３）が表示される。ユーザによる画素の選択と画素値分類処理により、類似した文字の画像や合成画像のノイズの原因となる画像の分類が可能となる。合成画像のノイズの原因となる画像とは、照合処理において、文字として適切に重ならない位置の評価値が類似度と認識されてしまった画像等を示す。適切に分類された場合は、図２４Ｂの例で示すように、２つの画像で表す文字列が同じであることが認識できる。この文字列に対してＯＣＲの認識結果である確認文字列２３０４を比較することで、合成された画像すべてに対して確認と修正を実現することが可能となる。

なお、合成を行う文字についてはアルファベットや平仮名など、例で示した漢字に限らない。例として図２５にアルファベットの画像の合成画像を示す。例で示すのは、文字「Ｃ」の画像を４つ重ね合わせて合成処理を行った場合の（図２５Ａ）と、文字「Ｃ」の画像を３つと文字「Ｏ」の画像が１つを重ね合わせて合成処理を行った場合の（図２５Ｂ）を示す。

図２５Ａの場合、ＡＮＤ合成画像とＯＲ合成画像ともに文字「Ｃ」と認識できる文字であり、２つの合成画像を確認することで文字「Ｃ」以外の文字の画像が混在していないことが分かる。

一方、図２５Ｂの場合、ＡＮＤ合成画像で認識できる文字は「Ｃ」であるが、ＯＲ合成画像では文字「Ｃ」以外の形をしている。よって、異なる文字の画像が混在していることが確認できる。このようにアルファベットの場合でも、合成画像の差分の比較を行うことで異なる文字の混在を識別することが可能となる。

＜文字列修正処理＞
次に、図２３の確認修正画面上で文字列を修正する場合、ユーザは、修正文字列入力２３０５の入力フォームに修正文字列を入力する。

次に、ユーザが修正ボタン２３０７を押下すると、中央処理装置１０８は、文字列修正の処理命令を受けて、後述するメタデータ修正処理によるメタデータ１０２の修正を行う。

また、合成画像２３０２及び２３０３で表示された画像の文字列が、確認文字列２３０４で表示された文字列と同様の場合、ＯＣＲの文字認識結果は正常とみなせるので修正の必要はない。この場合、ユーザが確認ボタン２３０６を押下すると、中央処理装置１０８は確認処理命令を受け取り、後述するメタデータ修正処理を実行する。これにより、合成された画像に関しては確認済みとされる。

さらに、確認、又は修正を行わない場合、ユーザがリターン（戻る）ボタン２３０８を押下することで、中央処理装置は終了命令を受け取り、メタデータ修正処理を実行する。

＜メタデータ修正処理＞
図２６は、メタデータ修正処理の詳細を説明するためのフローチャートである。以下では、メタデータ修正部１１６を動作主体として説明するが、中央処理装置１０８と読み替えることも可能である。

まず、メタデータ修正部１１６は、ユーザの処理命令が終了命令かどうか判定を行う（ステップ２６００）。なお、ここで判定する命令は、図２３において、修正ボタン２３０７、確認ボタン２３０６、およびリターン（戻る）ボタン２３０８のいずれかをユーザが押下した際に、中央処理装置１０８が受け取る処理命令である。

終了命令であった場合、メタデータ修正部１１６は、メタデータ修正処理を終了する。終了命令でなかった場合、メタデータ修正部１１６は、さらに、当該命令が確認処理命令であるか判定する（ステップ２６０１）。

確認処理命令であった場合（ステップ２６０１でＹｅｓの場合）、メタデータ修正部１１６は、ステップ２６０６の処理によってクラスタ内の画像データを確認済みとし、処理を終了する。

確認処理命令でなかった場合（ステップ２６０１でＮｏの場合）、メタデータ修正部１１６は、図２３の入力フォーム２３０５に入力された値を取得する（ステップ２６０２）。この入力された値がメタデータの更新する値となる。

次に、メタデータ修正部１１６は、クラスタ内の各画像データに対応するメタデータを取得する（ステップ２６０３）。なお、ここで扱うクラスタのデータ構造は図１９で示したものである。

また、メタデータ修正部１１６は、ステップ２６０３で取得したメタデータの認識文字列を、ユーザによって入力された値に書き換える（ステップ２６０４）。

さらに、メタデータ修正部１１６は、記憶装置のメタデータ１０２を書き換えたメタデータで更新する（ステップ２６０５）。

ステップ２６０５が終了すると、メタデータ修正部１１６は、処理対象としているクラスタを構成するメンバの、確認修正済みフラグの値を「true」に設定する。

以上のメタデータ修正処理により、クラスタ内の全ての画像に対してまとめてＯＣＲの認識文字列の修正処理を行うことが可能となる。

＜画素値分類処理＞
図２７は、画素値分類処理の詳細を説明するためのフローチャートである。以下では、画素値分類部１１７を動作主体として説明するが、中央処理装置１０８と読み替えることも可能である。

まず、画素値分類部１１７は、図２３における確認修正画面でユーザが選択した画素の座標Ｘを取得する（ステップ２７００）。

次に、画素値分類部１１７は、クラスタ内の画像データを取得する（ステップ２７０１）。なお、ここで扱うクラスタのデータ構造は図１９で示したものである。

また、画素値分類部１１７は、各画像データから検索対象用画像を取得する（ステップ２７０２）。

そして、画素値分類部１１７は、取得した検索対象用画像の座標Ｘにあたる画素値を分類軸として、クラスタ内の画像データの分類を行う（ステップ２７０３）。この分類で処理対象とする検索対象用画像は二値の画像であるので、画素値が「０」あるいは「２５５」のどちらかに検索対象の画像に対応する画像データを分類する。

当該画素分類処理の概念について、図２８を用いて説明する。確認修正画面（図２３）において、ＯＲ合成画像からユーザによって選択された座標（２３，４１）であるとすると、ユーザの選択に応答してその座標値が取得される。また、クラスタ内の画像データが取得され、各画像データから検索対象用画像が取得される。さらに、取得した検索対象用画像の座標（２３，４１）にある画素値を分類軸として、画像データの分類が行われる。この処理によって、クラスタ内に混在している「大田」と「太田」の画像を含んだ画像データを分類することが可能となる。なお、ＡＮＤ合成画像及びＯＲ合成画像の生成時の単語の画像の重ね合わせの際に、画像として最も重なる位置に補正が行われる場合がある（図２１参照）。その場合、補正分を考慮した座標に修正を行う必要がある。以上の処理を行うことで、クラスタ内の画像データの分類を行い、クラスタを生成する。ここで生成されるクラスタのデータ構造は図１９で示すものとなり、照合結果分類処理の節で説明を行ったクラスタＲの構造と同じである。

＜分類結果選択画面更新処理＞
分類結果選択画面更新処理では、図２０で示す分類結果選択画面において表示されているリスト２０００の更新処理が行われる。この処理の動作主体は中央処理装置１０８であるとして以下説明する。

この更新処理では、中央処理装置１０８は、図１０におけるリストＣに格納されているクラスタをリストに追加する。ただし、リストＣに格納されているクラスタが既にリストで表示されている場合、そのクラスタの追加は行われない。なお、ここで扱うクラスタのデータ構造は図１９で示したものである。

中央処理装置１０８は、クラスタの追加を行った後、リスト２０００で表示される各クラスタのデータの１つである確認修正済みフラグの値を参照する。参照した値が「true」の場合、リスト２０００において参照を行ったクラスタが表示されている行の「済」列の文字を「済」にする。参照した値が「false」の場合、何も行わない。

図２９は、更新された分類結果選択画面の構成例を示している。更新時に追加されたクラスタが符号２９００及び２９０１で示されている。この表示された画面の構成については確認修正文字列選択画面（図１３）と同様とする。

なお、本明細書では、帳票のＯＣＲによる文字認識結果の確認と修正を行う例を述べたが、このほかにも、書籍のＯＣＲによる文字認識結果の確認と修正を行っても良い。書籍のＯＣＲによる文字認識結果の確認と修正を行う場合は、前記画像データ分類処理において、文字列の位置に基づく分類を行わない。なぜなら、書籍には帳票のような項目の入力欄がなく、各ページの同じ座標に同じ文字列があることは稀であるため、位置に基づく分類は意味を成さない。すると、ここでの画像データ分類処理は、図１１のステップ１１０１とステップ１１０２を取り除いた処理となる。この画像データ分類処理以外は、本明細書で記述と同様となる。以上により、書籍におけるＯＣＲの文字認識結果の確認と修正を実現することが可能となる。

＜まとめ＞
本発明の実施形態による文書処理装置では、例えば、各帳票から「ご担当者名」の欄の画像（図３では「大田太郎」）を分類し、同じグループに分類された画像を重ね合わせて合成処理を行い（図２２参照）、ＡＮＤ画像とＯＲ画像を生成する。このＡＮＤ画像とＯＲ画像及びＯＣＲ認識結果からの文字列を比較することで誤認識したものが含まれているかユーザが判断できるようにするものである。このようにすることにより、取り込んだ帳票のＯＣＲ認識結果を目視確認する作業の効率化と、対象とする画像の増加から影響を受ける確認工数の削減を利用者に提供することができる。なお、処理対象の文書は帳票形式の文書に限らず、いかなる種類の文書であっても良い。ただし、帳票出力の場合には座標情報によって各項目の画像データは特定できるため、他の種類の文書の場合にも、比較対象の少なくとも文書の部分画像を特定できるようにする必要がある。

また、合成画像としてＡＮＤ画像とＯＲ画像を生成するようにしているが、ＡＮＤ演算、ＯＲ演算、及びアルファブレンドに限られず、図２２Ｂに示されるように、比較対象の画像の各ピクセルを重ね合わせ、重なる度合いが強い箇所と重なる度合いが弱い箇所の輝度値を変化させて表示するようにしても良い。つまり、各画素において「黒」の値である画像数が少なくなるほど輝度値は高くなり、画像数が多くなるほど輝度値は低くなるようにする。

さらに、図２３のバウンディングボックス２３０１で示されるように、重ね合わせ処理の対象の項目を有する文書画像全体の合成画像と、重ね合わせ処理の対象となっている項目が何であるかを示す情報を併せて画面上に表示するようにしても良い。このようにすることにより、ユーザは、比較対象の項目を容易に確認することが可能となる。

本実施形態では、記憶装置は、複数の文書画像に対応する文書における各項目の位置を示す座標情報と、当該各項目におけるＯＣＲ認識文字列情報を格納している。そして、複数の文書画像を、座標情報とＯＣＲ認識文字列情報を基準にして複数のクラスタに分類し、同一クラスタに含まれる項目の画像に対して重ね合わせ処理を実行するようにする。このようにすることにより、同一項目であって、ＯＣＲ認識文字列が同一或いは類似の文字列についてまとめて認識の正誤を確認することができ、処理の効率化を図ることが可能となる。

また、ユーザが、ＡＮＤ画像とＯＲ画像に相違点が存在する場合、相違点に対応する画素の選択を選択すると、その選択された画素の値を分類軸として重ね合わせ処理に用いた項目の画像をさらにクラスタ分類する。そして、同一クラスタに含まれる画像に対して重ね合わせ処理をさらに実行してＡＮＤ画像とＯＲ画像を生成し、当該合成画像と、ＯＣＲ処理の認識結果と、を比較表示する。このようにすることにより、より細かく分類された結果に対してユーザは確認作業をすることができるので、ＯＣＲ認識結果の確認を効率よく実行することが可能となる。

本実施形態の文書処理装置では、ユーザは、適宜、ＯＣＲ処理の認識結果を一括して修正し、或いは、ＯＣＲ処理の認識結果を一括して確定することができるインターフェースが提供される。これにより、さらなる処理の効率化を図ることができるようになる。

また、複数のクラスタの情報を前記画面上に一覧表示されると共に、各クラスタにおける前記ＯＣＲ処理の認識結果が確認済、修正済、或いは未処理であることを示す処理種別情報が表示される。これにより、ユーザは、処理済か否か容易に確認することが可能となる。

なお、本発明は、実施形態そのままに限定されるものではなく、実施段階では、その要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

また、実施形態で示された各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現しても良い。また、上記各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現しても良い。各機能等を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ（Solid State Drive）等の記録或いは記憶装置、またはＩＣカード、ＳＤカード、ＤＶＤ等の記録或いは記憶媒体に格納することができる。

さらに、上述の実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていても良い。

１００・・・記憶装置
１０１・・・画像データ
１０２・・・メタデータ
１０３・・・帳票形式データ
１０４・・・入出力装置
１０５・・・データメモリ
１０６・・・二値化画像データ
１０７・・・合成座標データ
１０８・・・中央処理装置
１０９・・・プログラムメモリ
１１０・・・画面表示部
１１１・・・画像データ分類部
１１２・・・画像切出し部
１１３・・・照合部
１１４・・・照合結果分類部
１１５・・・画像合成部
１１６・・・メタデータ修正部
１１７・・・画素値分類部

Claims (9)

1. 複数の文書画像を取り込んで、ＯＣＲ処理の認識結果の確認を可能にする文書処理装置であって、
   前記複数の文書画像を格納する記憶装置と、
   前記文書画像に対する前記ＯＣＲ処理の認識結果を表示装置の画面上に表示するプロセッサと、を有し、
   前記記憶装置は、前記複数の文書画像として、それぞれの文書画像が複数の項目を含む所定フォーマットで構成される複数の文書画像を格納し、
   前記プロセッサは、前記複数の文書画像に含まれる同一項目の画像に対して重ね合わせ処理を実行して重ね合わせ画像を生成し、前記重ね合わせ処理の対象の項目に対応する前記ＯＣＲ処理の認識結果と、前記重ね合わせ画像を前記画面上に表示することを特徴とする文書処理装置。
2. 請求項１において、
   前記プロセッサは、前記重ね合わせ処理によって、前記同一項目のＡＮＤ画像とＯＲ画像を生成し、前記ＯＣＲ処理の認識結果と、前記ＡＮＤ画像及び前記ＯＲ画像を前記画面上に表示することを特徴とする文書処理装置。
3. 請求項１において、
   前記プロセッサは、前記重ね合わせ処理の対象の項目を有する前記文書画像全体の合成画像と、前記重ね合わせ処理の対象となっている項目が何であるかを示す情報を併せて前記画面上に表示することを特徴とする文書処理装置。
4. 請求項１において、
   前記記憶装置は、さらに、前記複数の文書画像に対応する文書における各項目の位置を示す座標情報と、当該各項目におけるＯＣＲ認識文字列情報を格納し、
   前記プロセッサは、前記複数の文書画像を、前記座標情報と前記ＯＣＲ認識文字列情報を基準にして複数のクラスタに分類し、同一クラスタに含まれる項目の画像に対して前記重ね合わせ処理を実行することを特徴とする文書処理装置。
5. 請求項２において、
   前記ＡＮＤ画像と前記ＯＲ画像に相違点が存在する場合、前記プロセッサは、ユーザによる前記相違点に対応する画素の選択を検知すると、当該選択された画素の値を分類軸として前記重ね合わせ処理に用いた項目の画像をさらにクラスタ分類し、同一クラスタに含まれる画像に対して前記重ね合わせ処理を再実行してＡＮＤ画像とＯＲ画像を生成し、前記ＯＣＲ処理の認識結果と、前記重ね合わせ処理の再実行結果である前記ＡＮＤ画像及び前記ＯＲ画像を前記画面上に表示することを特徴とする文書処理装置。
6. 請求項４において、
   前記プロセッサは、ユーザの修正要求に応答して前記画面上に表示された前記ＯＣＲ処理の認識結果を一括して修正し、或いは、前記ユーザの確認入力に応答して前記ＯＣＲ処理の認識結果を一括して確定することを特徴とする文書処理装置。
7. 請求項６において、
   前記プロセッサは、さらに、前記複数のクラスタの情報を前記画面上に一覧表示すると共に、各クラスタにおける前記ＯＣＲ処理の認識結果が確認済、修正済、或いは未処理であることを示す処理種別情報を表示することを特徴とする文書処理装置。
8. 請求項１において、
   前記プロセッサは、前記重ね合わせ処理によって、対象の文書画像を重ね合わせ、当該文書画像の各座標において画素値が同じである画素数をカウントし、当該画素数に従って前記重ね合わせ画像の各画素の表示態様を変化させて、前記重ね合わせ画像を前記画面上に表示することを特徴とする文書処理装置。
9. 取り込んだ複数の文書画像に対するＯＣＲ処理の認識結果の正誤確認を可能にする文書処理プログラムであって、
   前記複数の文書画像のそれぞれが複数の項目を含む所定フォーマットで構成される複数の文書画像を格納する記憶装置から、処理対象の複数の文書画像を読み出させる機能と、
   前記読み出した複数の文書画像に含まれる同一項目の画像に対して重ね合わせ処理を実行して重ね合わせ画像を生成させる機能と、
   前記重ね合わせ処理の対象の項目に対応する前記ＯＣＲ処理の認識結果と、前記重ね合わせ画像を表示装置の画面上に表示させる機能と、
   を実現させる文書処理プログラム。

Images