JP5623574B2 - 帳票識別装置および帳票識別方法 - Google Patents

Description

本発明の実施形態は、帳票識別装置および帳票識別方法に関する。

文字認識の応用として、帳票画像に文字認識処理を行うことで、帳票に記入された内容、例えば振り込み処理における振込先と金額などを読み取る技術がある。このような技術において、様々な帳票の文字認識をするために、入力された帳票の種類を特定する帳票識別技術が必須である。

従来、帳票識別を行う際に、特定位置に存在する文字列、例えば帳票の表題などを識別のためのキー（以下識別キーという）として扱うことで、専用の識別キーを印字しなくても帳票識別を可能にする技術が知られている。具体的には、特定の位置にある文字列を認識し、結果が既知帳票データベースに登録された帳票画像のうちのある帳票画像の識別キーと一致すれば、入力された帳票画像の種類を一致する既知帳票画像の種類であると特定する。

しかしながら、上述のような帳票識別技術は、例えば装飾文字やロゴマークなどの文字認識できない文字や画像を識別キーとして扱うことが困難である。したがって、例えば表題が装飾文字で書かれている場合などは、そのままでは帳票識別が困難であるといった問題がある。

この問題に対処する方法として、帳票画像の一部の画像である部分画像を識別キーとして扱い、文字認識の代わりに画像照合を行う手法がある。

しかしながら、この方法は帳票に変形がないことを仮定しており、例えばコピーされた帳票やユーザがダウンロードして印刷した帳票といったような、帳票のサイズや位置が変動することが想定される場合には、正しく識別することができない。

これに対し、あらかじめ帳票画像に複数の識別キーを設定しておき、許容される変動の範囲内で各々の識別キーの探索を行い、その結果を元に変形の推定と帳票識別を行う方法がある。このような方法を取る場合、どのような識別キーを用いるかが重要な問題となる。一例として、キーとして文字認識を用いる場合で考える。このような場合、ある帳票内に頻出する語を当該帳票における識別キーとして用いてしまうと、帳票上にキーが多数検出されてしまう。このような場合には、どの検出位置が指定された識別キーの位置に正しく対応する検出位置であるかの特定が困難となり、この結果残りの識別キーの対応がうまく取れず、識別に失敗することがあるという問題がある。また、多くの帳票で同じような位置に出現する部分画像を識別キーとして用いると、正しい識別結果となる帳票以外でも設定された識別キーが検出される例が多発し、処理時間がかかるという問題もある。

特開２００８−８３７６０号公報

本発明が解決しようとする課題は、帳票識別を高速かつ安定に行うことのできる識別キーの選択を行うことができる帳票識別装置の提供である。

本実施形態の帳票識別装置は、複数のモデル帳票画像およびモデル帳票画像の識別キーを記憶する記憶部と、モデル帳票画像を入力する画像入力部と、当該モデル帳票画像から複数の部分領域を抽出する抽出部と、複数の部分領域から、他の部分領域と類似しない部分領域を検索する帳票内検索部と、検索結果の部分領域から、モデルデータベースに記憶された他のモデル帳票画像の部分領域と類似しない部分領域を検索する帳票間検索部と、帳票間検索部による検索結果の部分領域に基づいて識別キーを決定するキー選択部と、を備える。

第１の実施形態にかかる帳票識別装置のハードウェア構成の一例を示す図。 第１の実施形態にかかる帳票識別装置の機能構成の一例を示す図。 第１の実施形態にかかる帳票識別装置のモデル帳票画像の一例を示す図。 第１の実施形態にかかる帳票識別装置の動作の一例を示すフローチャート。 第１の実施形態にかかる帳票識別装置のモデル帳票画像の一例を示す図。 第１の実施形態にかかる帳票識別装置のモデル帳票画像の一例を示す図。 第１の実施形態にかかる帳票識別装置の帳票内検索処理の一例を示すフローチャート。 第１の実施形態にかかる帳票識別装置の帳票内検索処理の概念図。 第１の実施形態にかかる帳票識別装置の帳票間検索処理の一例を示すフローチャート。 第１の実施形態にかかる帳票識別装置の帳票間検索処理の概念図。 第１の実施形態にかかる帳票識別装置の識別キー選択処理の一例を示すフローチャート。 第２の実施形態にかかる帳票識別装置の帳票識別装置の機能構成の一例を示す図。 第２の実施形態にかかる帳票識別装置の動作の一例を示すフローチャート。 第２の実施形態にかかる帳票識別装置の帳票内スコア算出処理の一例を示すフローチャート。 第２の実施形態にかかる帳票識別装置の帳票識別装置の帳票間スコア算出処理の一例を示すフローチャート。 第２の実施形態にかかる帳票識別装置の識別キー選択処理の一例を示すフローチャート。 第２の実施形態にかかる帳票識別装置の識別キー選択画面の一例を示す図。 第２の実施形態にかかる帳票識別装置の識別キー選択画面の一例を示す図。 第３の実施形態にかかる帳票識別装置の帳票識別装置の機能構成の一例を示す図。 第３の実施形態にかかる帳票識別装置の動作の一例を示すフローチャート。 第３の実施形態にかかる帳票識別装置の帳票識別装置の帳票間スコア算出処理の一例を示すフローチャート。 第３の実施形態にかかる帳票識別装置の識別キー選択処理の一例を示すフローチャート。

以下、実施形態の帳票識別装置について図面を参照して説明する。なお、以下の装置は、ハードウェア構成、又はハードウェア資源とソフトウェアとの組合せ構成のいずれでも実施可能となっている。組合せ構成のソフトウェアとしては、予めネットワーク又は記憶媒体から対応する装置のコンピュータにインストールされ、対応する装置の機能を実現させるためのプログラムが用いられる。

（第１の実施形態）
図１乃至図１１を参照して、本実施形態の帳票識別装置について説明する。

図１は、本実施形態の帳票識別装置１０のハードウェア構成の一例を示す図である。この帳票識別装置１０は、記憶装置１１、スキャナ１２、マウス１３、中央演算装置１４およびディスプレイ装置１５を備えている。なお、帳票識別装置１０は例えば、本実施形態に係る帳票識別プログラムが適用された計算機によって実現される。

記憶装置１１は、中央演算装置１４から読出／書込み可能な記憶装置であり、例えばＲＡＭである。記憶装置１１は、あらかじめ本実施形態の帳票識別装置１０の機能を実現するためのプログラムが記憶されている。

スキャナ１２およびマウス１３は、入力装置である。例えばスキャナ１２は入力された帳票をスキャンして帳票画像を生成し、中央演算装置１４に入力する。また、マウス１３は、操作者の操作により、データ又は命令からなる各種情報を中央演算装置１４に入力する。

中央演算装置１４は、通常のＣＰＵであり、例えば、記憶装置１１に記憶された帳票識別プログラムを実行する機能と、スキャナ１２又はマウス１３から入力される情報に基づいて各プログラムの実行を制御する機能と、実行結果等をディスプレイ装置１５に出力する機能をもつ。

ディスプレイ装置１５は、通常の表示装置であり、例えば、中央演算装置１４から出力された情報を表示する機能をもっている。

図２を参照して、帳票識別装置１０の機能構成の一例について説明する。図２に示すように、帳票識別装置１０は、モデルデータベース（以下、モデルＤＢと記載する）２０と、画像入力部３０と、候補抽出部４０と、帳票内検索部５０と、帳票間検索部６０と、識別キー選択部７０とを備え、帳票識別処理で用いる識別キーを選択する処理を行う。

モデルＤＢ２０は、帳票識別装置１０が、入力された帳票画像に対して種類を識別する処理（以下、帳票識別処理という）を行う場合に参照されるモデル帳票画像を記憶する記憶部である。以下、モデルＤＢ２０に記憶されたモデル帳票画像を登録モデル帳票画像（第１のモデル帳票画像）という。すなわち、登録モデル帳票画像は、帳票識別装置１０が帳票識別処理を行う対象の帳票画像であるといえる。

図３に、モデルＤＢ２０に登録されている登録モデル帳票画像の一例を示す。

本実施形態では３つの登録モデル帳票画像２０１、２１１、２２１がモデルＤＢ２０に登録されているとする。なお、登録モデル帳票画像２０１、２１１、２２１は同一のサイズであるとする。

図３に示した登録モデル帳票画像２０１は、２０１０年度の東京都民税に関する帳票画像であり、帳票領域２０２と背景領域２０３が存在する。背景領域２０３は、例えば帳票がコピーされた帳票画像において帳票外の領域がコピーの対象となった場合などに発生するもので、取得された帳票画像内に存在する帳票外の領域をさす。同様に、登録モデル帳票画像２１１は、２０１０年度の埼玉県民税に関する帳票画像であり、帳票領域２１２と背景領域２１３が存在し、登録モデル帳票画像２２１は、２０１１年度の埼玉県民税に関する帳票画像であり、帳票領域２２２と背景領域２２３が存在する。

また、図３に示すように各登録モデル帳票画像には、それぞれ識別キーが設定されており、登録モデル帳票画像２０１の識別キーは長鎖線で囲まれた部分領域２０４と部分領域２０５である。なお、識別キーは、長鎖線で囲まれた部分領域の画像における各画素の座標と画素値とを備えるデータである。各画素の座標は、各登録モデル帳票画像の左上角を（０，０）とし、左辺下向きをｙ軸正方向、上辺右向きをｘ軸正方向とする）。

同様に、登録モデル帳票画像２１１の識別キーは長鎖線で囲まれた部分領域２１４と部分領域２１５、登録モデル帳票画像２２１の識別キーは長鎖線で囲まれた部分領域２２４と部分領域２２５である。

画像入力部３０は、スキャナ１２やカメラ（図示しない）などによって実現され、モデル帳票画像などの画像データを入力する。すなわち、画像入力部３０は、モデル帳票画像をスキャンし、画像データを取得する。取得したモデル帳票画像は、モデルＤＢ２０に記憶される。

候補抽出部４０は、画像入力部３０によって入力されたモデル帳票画像から、識別キーの候補となる部分領域群を抽出する。部分領域は例えば、帳票画像に含まれる文字の領域や画像の領域である。この部分領域は、具体的には、領域内の画像や文字の画素値と各画素の位置（座標）で表される。なお、抽出する部分領域は、モデル帳票画像と、当該モデル帳票画像内における部分領域の座標の組としてもよいし、モデル帳票画像から切り出された部分領域画像と当該モデル帳票画像内における部分領域の座標との組としてもよい。

帳票内検索部５０は、入力された処理対象のモデル帳票画像において、候補抽出部４０によって抽出された当該モデル帳票画像の部分領域群の各々に対して識別キーとして適当であるか否かの判定を行う。

帳票間検索部６０は、入力された識別キー選択対象のモデル帳票画像と、モデルＤＢ２０に登録された登録モデル帳票画像群とに基づいて、候補抽出部４０によって抽出された部分領域群の各々が識別キーとして適当であるか否かの判定を行う。

識別キー選択部７０は、帳票内検索部５０、および帳票間検索部６０の判定結果に基づき、候補抽出部４０によって抽出された部分領域群の中から、帳票識別処理において識別キーとして利用する部分領域を選択する。

すなわち、帳票識別装置１０は、上述の構成により、入力されたモデル帳票において当該モデル帳票を識別するための識別キーを選択し、モデル帳票と選択された識別キーとを対応づけてモデルＤＢ２０に登録する帳票識別キー登録処理を行う。

図４を参照して、本実施形態の帳票識別装置１０の帳票識別キー登録処理の一例について説明する。

まず、ユーザは、画像入力部３０を用いて、モデル帳票画像を入力する（ステップＳ１０）。具体的には、ユーザが、画像入力部３０を用いて、モデルＤＢ２０に登録したい帳票のブランク帳票をスキャンする。

図５にスキャンして得られたモデル帳票画像の一例を示す。図５に示したモデル帳票画像３０１は、２０１１年度の東京都民税に関する帳票画像であり、帳票領域３０２背景領域３０３が存在する。背景領域３０３は、例えばモデル帳票画像３０１が帳票のコピーである場合に発生する。

本実施形態においてはブランク帳票をスキャンしているが、これに限らず、例えばスキャンした画像をオペレータに提示して記入部分を消去させてもよい。また、多数の同種の帳票画像を入力して重ねあわせを行い、記入部分を特定して消去するなどしてもよい。

候補抽出部４０は、ステップＳ１０で入力されたモデル帳票画像３０１から識別キーの候補となる部分領域群を抽出する候補抽出処理を行う（ステップＳ２０）。具体的には、候補抽出部４０は、モデル帳票画像３０１に対してレイアウト解析を行い、結果として得られた行領域、画像領域、表領域それぞれを部分領域とする。レイアウト解析は、例えばラベリングや領域分割などが用いられる。

以下、候補抽出部４０によって抽出された識別キーの候補となる部分領域の集合を部分領域群Ｐ（Ｐｉ＝Ｐ１、…、Ｐｎ：ｎは候補抽出部４０によって抽出された部分領域の数）とする。図６に、モデル帳票画像３０１において、候補抽出部４０が抽出した部分領域群Ｐの一例を示す。図６に示す、破線で囲まれたドット領域が部分領域であり、ここではｎ＝８である。モデル帳票画像３０１において、「部分領域Ｐ１：東京都民税」、「部分領域Ｐ２：２０１１年度」、「部分領域Ｐ３：氏名」、「部分領域Ｐ４：金額」、「部分領域Ｐ５：延滞金」、「部分領域Ｐ６：あり」、「部分領域Ｐ７：なし」、「部分領域Ｐ８：金額」である。

続いて、帳票内検索部５０は、候補抽出部４０によって抽出された各部分領域が識別キーとして適当であるか否かを判定する帳票内検索処理を行う（ステップＳ３０）。

ここで、図７を参照して、図４のステップＳ３０における帳票内検索部５０による帳票内検索処理について説明する。

帳票内検索部５０は、候補抽出部４０から識別キー候補となる部分領域群Ｐを受信すると（ステップＳ３１）、受信した部分領域群Ｐに含まれるすべての部分領域Ｐ１〜Ｐｎに対して帳票内検索処理のステップＳ３３の処理が終了しているか否かを判定する（ステップＳ３２）。

受信した部分領域群Ｐに帳票内検索処理のステップＳ３３が終了していない部分領域が存在する場合（ステップＳ３２がＮｏ）、帳票内検索部５０は、部分領域群Ｐの帳票内検索処理が終了していない部分領域から部分領域を１つ選択する（ステップＳ３３）。以下、ステップＳ３３において帳票内検索部５０が選択する部分領域を部分領域Ａと記載する。

帳票内検索部５０は、選択した部分領域Ａと、受信した部分領域群Ｐに含まれる部分領域Ａ以外の部分領域とを比較する（ステップＳ３４）。

比較の結果、部分領域Ａと一致する部分領域Ｐｉが、部分領域Ａを除いた部分領域群Ｐに含まれている場合（ステップＳ３５がＹｅｓ）、帳票内検索部５０は、当該部分領域Ａおよび、部分領域Ａと一致する部分領域Ｐｉを識別キーとして不適当であると判定する（ステップＳ３６）。言い換えると、帳票内検索部５０は、部分領域Ａ、および部分領域Ａと一致しない部分領域Ｐｉを識別キーとして適当であると判定する。

本実施形態においては、部分領域同士が一致するかの判定方法として、部分領域に対して文字認識を行って認識結果を比較する。このとき、部分領域のモデル帳票画像における位置は考慮しない。なお、例えばいずれかの部分領域に対する文字認識の類似度が事前に定める一定の閾値以下である場合には文字認識の結果が誤っている可能性が高く、さらにもし正しい場合でも実際の識別処理において文字認識をした場合にモデル帳票画像と一致する結果が得られない可能性が高いため、一致しないと判定してもよい。

図８に、帳票内検索部５０による部分領域比較の概念図を示す。図８の矢印の左側に部分領域Ａとして選択された部分領域が示され、矢印の右側に、部分領域Ａを除く部分領域群Ｐが示されるとする。なお、本実施形態では、帳票内検索部５０は部分領域Ｐ１から順に選択して比較したとし、部分領域のペアが以前前に比較されたペアと同一の場合は比較を行なっていない。例えば、部分領域ＡがＰ２の場合、Ｐ１との比較は以前に行なわれているため省略する。

本実施形態では、図８に示すように、部分領域Ｐ４：金額と部分領域Ｐ８：金額とが一致するため、帳票内検索部５０はこれら２つの部分領域をステップＳ３６において不適当と判定する。

ステップＳ３６の判定後、帳票内検索部５０はステップＳ３２に進み、処理を繰り返す。

受信した部分領域群Ｐに含まれる部分領域全てにステップＳ３３の処理が終了している場合（ステップＳ３２がＹｅｓ）、帳票内検索部５０は、帳票内検索処理を終了する。

図４の説明に戻る。

帳票内検索処理が終了すると、帳票間検索部６０は、帳票間検索処理を行う（ステップＳ４０）。図９を参照して、帳票間検索部６０による帳票間検索処理の一例について説明する。

まず、帳票間検索部６０は、候補抽出部４０が抽出した部分領域群Ｐのうち、帳票内検索部５０によってキー候補として不適当と判定された部分領域以外の部分領域群Ｑ（Ｑ＝Ｑ１、…、Ｑｍ：ｍは帳票内検索部５０によってキー候補として適当であると判定された部分領域の数）を取得する（ステップＳ４１）。本実施形態においては、ｍ＝６である。すなわち、部分領域群Ｑは部分領域群Ｐから帳票内検索処理によってキー候補として不適当と判定された「部分領域Ｐ４：金額」と、「部分領域Ｐ８：金額」を削除したものであり、「部分領域Ｑ１：東京都民税」、「部分領域Ｑ２：２０１１年度」、「部分領域Ｑ３：氏名」、「部分領域Ｑ４：延滞金」、「部分領域Ｑ５：あり」、「部分領域Ｑ６：なし」である。

帳票間検索部６０は、部分領域群Ｑに含まれる部分領域に、ステップＳ４３の処理が終了していない部分領域が存在する場合（ステップＳ４２がＮｏ）、部分領域群Ｑから未選択の部分領域Ｂを１つ選択する（ステップＳ４３）。
次に、帳票間検索部６０はモデルＤＢ２０から登録モデル帳票画像を取得する（ステップＳ４４）。

続いて、帳票間検索部６０は、モデルＤＢ２０の登録モデル帳票画像における探索範囲内に存在する部分領域と、部分領域Ｂとを比較する（ステップＳ４５）。なお、探索範囲とは、各登録モデル帳票画像において、部分領域Ｂと一致する部分領域が存在するかを探索する範囲のことである。

図１０を参照して、ステップＳ４３においてモデル帳票画像３０１の「部分領域Ｑ５：あり」を部分領域Ｂとして選択した場合を例に、登録モデル帳票画像２０１における探索範囲について説明する。

図１０は、ステップＳ４３でモデル帳票画像３０１の部分領域Ｂとして「部分領域Ｑ５：あり」が選択された場合の各登録モデル帳票画像２０１、２１１、２２１における探索範囲３１０、３１１、３１２の一例である。

図１０には、各登録モデル帳票画像２０１、２１１、２２１と、モデル帳票画像３０１の中心が揃うように配置した場合の各登録モデル帳票画像上の「部分領域Ｑ５：あり」の位置が、ドットの領域で示されている。探索範囲３１０、３１１、３１２は各登録モデル帳票画像上の「部分領域Ｑ５：あり」の位置を基準とした一定の範囲の領域である。

ここで、モデル帳票画像３０１上の「部分領域Ｑ５：あり」の位置は、左上座標（ｘ１，ｙ１）と右下座標（ｘ２，ｙ２）で示されるとする。この場合、探索範囲３１０、３１１、３１２は、ｘ１，ｙ１それぞれから所定数ｄを引いた左上座標（ｘ１−ｄ，ｙ１−ｄ）と、ｘ２，ｙ２それぞれに所定数ｄを加えた右下座標（ｘ２＋ｄ，ｙ２＋ｄ）で定められる範囲とする。所定数ｄはあらかじめ設定されており、ｘ１−ｄもしくはｙ１−ｄが負の値になる場合は「０」とする。また、モデル帳票画像の幅がＷ、高さがＨとすると、ｘ２＋ｄ≧ｗとなる場合は、ｘ２＋ｄ＝Ｗ−１とし、ｙ２＋ｄ≧Ｈとなる場合はｙ２＋ｄ＝Ｈ−１とする。なお、探索範囲３１０、３１１、３１２は、基準とする部分領域Ｑ５の幅と高さをそれぞれ所定の割合増加した範囲としてもよい。なお、範囲決定の際の帳票画像の揃え方はこれに限らず、例えば左上が揃うようにしてもよい。

ここで、帳票間検索部６０は、モデルＤＢ２０の登録モデル帳票画像内に、以下のステップＳ４４の処理を行っていない登録モデル帳票画像が存在するか否かを判定する（ステップＳ４６）。ステップＳ４４の処理を行っていない登録モデル帳票画像が存在する場合（ステップＳ４６がＮｏ）、帳票間検索部６０は、ステップＳ４４に戻り処理を繰り返す。

ステップＳ４４の処理をモデルＤＢ２０に登録された全ての登録モデル帳票画に行った場合（ステップＳ４６がＹｅｓ）、帳票間検索部６０は、ステップＳ４５における比較の結果、部分領域Ｂと一致する部分領域が、登録モデル帳票画像２０１、２１１、２２１の探索範囲のうちに含まれているか否かを判定する（ステップＳ４７）。

部分領域Ｂと一致する部分領域が、登録モデル帳票画像２０１、２１１、２２１の探索範囲のうちのいずれにも含まれていない場合（ステップＳ４７がＮｏ）、帳票間検索部６０は、当該部分領域Ｂをキー候補として適当である、すなわち第１キー候補であると判定する（ステップＳ４７１）。その後、帳票間検索部６０はステップＳ４２に戻って処理を繰り返す。モデル帳票画像３０１において、第１キー候補と判定される部分領域の数は０である。

ステップＳ４６における比較の結果、部分領域Ｂと一致する部分領域が、登録モデル帳票画像２０１、２１１、２２１の探索範囲のうち少なくとも１つに含まれている場合（ステップＳ４７がＹｅｓ）、帳票間検索部６０は、当該部分領域Ｂは、登録モデル帳票画像２０１、２１１、２２１の探索範囲すべてに含まれているか判定する（ステップＳ４８）。

登録モデル帳票画像２０１、２１１、２２１の探索範囲のうちに当該部分領域Ｂが含まれていないものがある場合（ステップＳ４８がＮｏ）、帳票間検索部６０は、当該部分領域Ｂをキー候補として必ずしも不適当であるとはいえない、すなわち第２キー候補であると判定する（ステップＳ４８１）。その後、帳票間検索部６０はステップＳ４２に戻って処理を繰り返す。モデル帳票画像３０１において、第２キー候補と判定される部分領域の数は２であり、部分領域Ｑ１：東京都民税と、部分領域Ｑ２：２０１１年度、である。

当該部分領域Ｂは、登録モデル帳票画像２０１、２１１、２２１の探索範囲すべてに含まれている場合（ステップＳ４８がＹｅｓ）、帳票間検索部６０は、当該部分領域Ｂをキー候補として不適当であると判定する（ステップＳ４９）。その後、帳票間検索部６０はステップＳ４２に戻って処理を繰り返す。モデル帳票画像３０１において、識別キーとして不適当と判定される部分領域の数は４であり、「部分領域Ｑ３：氏名」、「部分領域Ｑ４：延滞金」、「部分領域Ｑ５：あり」、「部分領域Ｑ６：なし」である
図１１に示すように、モデル帳票画像３０１の「部分領域Ｑ５：あり」は、全ての登録モデル帳票画像２０１、２１１、２２１の探索領域に同一の部分領域が含まれるため、帳票間検索部６０は、キー候補として不適当であると判定する。

また、部分領域Ｂと一致する部分領域が、登録モデル帳票画像の探索範囲に含まれていない場合（ステップＳ４７がＮｏ）、帳票間検索部６０はステップＳ４８〜ステップＳ４９の処理を行わず、ステップＳ４２に戻って処理を繰り返す。すなわち、当該部分領域Ｂは識別キー候補として適当であると判定されたといえる。

モデルＤＢ２０の登録モデル帳票画像すべてに、以下のステップＳ４５〜ステップＳ４９の処理を行っている場合（ステップＳ４４がＹｅｓ）、帳票間検索部６０は、ステップＳ４２に戻って処理を繰り返す。

部分領域群Ｑに含まれる部分領域すべてに、ステップＳ４３の処理が終了している場合（ステップＳ４２がＹｅｓ）、帳票間検索部６０は、帳票間検索処理を終了する。

なお、モデルＤＢに既に登録されたモデル帳票がない場合、帳票間検索部６０は全ての部分領域を識別キー候補として適当であると判定してもよい。

図４の説明に戻る。

帳票間検索処理が終了すると、識別キー選択部７０は、識別キーとして用いる部分領域を選択する識別キー選択処理を行う（ステップＳ５０）。

図１１を参照して、識別キー選択部７０によるキー選択処理の一例について説明する。

まず、識別キー選択部７０は、帳票内検索部５０と帳票間検索部６０による判定結果の第１キー候補と第２キー候補を取得する（ステップＳ５１）。

識別キー選択部７０は、あらかじめ定めた個数Ｚになるまで、第１キー候補から部分領域を選択する（ステップＳ５２）。本実施形態の例では、Ｚ＝２とし、選択基準はモデル帳票画像３０１の中央に近い順とする。これは、中央に近い識別キーのほうが、コピーなどによる帳票部分の位置ずれがある帳票画像においても画像内からはみ出しにくく、比較的安定に検出できるためである。なお、選択基準はこれに限らず、例えば文字認識した結果の類似度が高い順や認識候補の１位と２位の類似度差が大きい順、すなわち文字認識の結果が安定して得られる順などにしてもよい。

ここで、識別キー選択部７０が選択する識別キーの個数Ｚが第１キー候補数より大きい場合（ステップＳ５３がＹｅｓ）、識別キー選択部７０は、第１キー候補と同様の選択基準を用いて、第２キー候補から不足分の識別キーを選択する（ステップＳ５４）。

本実施形態では、第１キー候補数は「０」、識別キー選択数Ｚは「２」であるため、ステップＳ５３の判定はＹｅｓとなり、識別キー選択部７０は第２キー候補から２つの識別キーを選択する。ここでは、第２キー候補から識別キーとして「部分領域Ｑ１：東京都民税」、「部分領域Ｑ２：２０１１年度」が選択される。

識別キー選択部７０が選択する識別キーの個数Ｚが第１キー候補数より小さい場合（ステップＳ５３がＮｏ）、すなわち、第１キー候補から必要な個数の識別キーを選択できた場合は、識別キー選択部７０は、ステップＳ５４の処理を行わずにステップＳ５５に進む。

識別キー選択部７０は、モデル帳票画像３０１と、選択結果の複数の識別キーとを対応付けてモデルＤＢ２０に登録し（ステップＳ５５）、識別キー選択処理を終了する。

なお、図示しないが、帳票識別装置１０は、選択した識別キーとモデル帳票画像３０１とを関連付けてモデルＤＢ２０に登録するモデル帳票画像登録部を備えてもよい。また、帳票識別装置１０は、識別キー選択部７０が識別キーとして選択した部分領域をディスプレイ１５によってユーザに提示し、ユーザは表示された部分領域から識別キーを決定してもよい。

上述のように、本実施形態の帳票識別装置１０によると、帳票内検索部５０の帳票内検索処理によって、モデル帳票画像内に一致する部分領域が存在する部分領域を識別キーから除外することが可能となる。これにより、例えばコピーによる位置ずれや拡大縮小によって、同一の帳票画像であっても部分領域の位置がずれてしまう場合であっても、安定かつ高速に帳票識別を行うことが可能な識別キーが選択できる。

なぜなら、モデル帳票画像上の複数の場所に同一の部分領域が存在する部分領域のうちの１か所を識別キーとして利用した場合、例えばコピーなどによって帳票の位置がずれている帳票画像を識別する際に、当該帳票画像の識別キーがコピーによってずれ得る範囲内に識別キーと同一の部分領域が複数あるような場合、これら複数の部分領域に対して１つの識別キーが検出されてしまう例がある。このような場合、例えば検出された部分領域と識別キーとの類似度が高い部分領域の方を選択するなどしてどれかに決定することは可能だが、識別キーの位置関係が崩れ、正しく帳票識別することが困難となる場合が多い。

このとき、検出された複数の位置にある部分領域から１つの部分領域を選択し、選択した部分領域を識別キーであると仮定して他の識別キーの検索処理を行うことは可能である。しかしながら、検出された複数の部分領域全てに対して他の識別キーを検索するため、必要な検索処理が多くなって処理にかかる時間が増大してしまうという問題がある。また、最終的に識別キー候補をひとつに絞れない可能性があるといった問題もある。一方で、帳票識別装置１０によると同一の帳票内に識別キーと同一の部分領域が存在しないため、そのようなことはおこらない。

また、本実施形態の帳票識別装置１０の帳票識別処理では、モデルＤＢ２０に登録された各登録モデル帳票画像において、対応する識別キー全てを入力された識別対象の帳票画像上で検索し、全ての識別キーが一致すると判定された場合に、入力された帳票画像の種類が、当該登録モデル帳票画像であると判定する。このような場合、従来では１つでも識別キーが一致しない場合にはその時点で処理を打ち切る。なお、一定個数の識別キーで検出失敗を許容する場合であっても個数は変化するものの同様のことが行える。つまり、複数の登録モデル帳票画像において類似した識別キーを利用することにした場合、異なる登録モデル帳票画像でも当該識別キーが発見されるため、そのような登録モデル帳票画像の探索打ち切りまでにかかる時間が長くなり、結果としてより帳票識別処理に時間がかかる。

しかしながら、本実施形態の帳票識別装置１０の帳票間検索部６０の帳票間検索処理によって、複数の登録モデル帳票画像において類似した識別キーを利用することを防ぐことができる。これにより帳票識別装置１０は、帳票識別の高速化を可能とする。

（第２の実施形態）
図１２乃至図１８を参照して、第２の実施形態における帳票識別装置について説明する。なお、第１の実施形態と同様の構成には同一の符号を付与し、説明は省略する。

図１２は本実施形態の帳票識別装置１００の機能構成の一例を示すブロック図である。なお、帳票識別装置１００のハードウェア構成は第１の実施形態と同一である。

図１２に示すように、帳票識別装置１００は、モデルＤＢ２０と、画像入力部３０と、候補抽出部４０と、帳票内スコア算出部５１と、帳票間スコア算出部６１と、識別キー選択部７１とを備える。

帳票内スコア算出部５１は、入力された識別キー選択対象のモデル帳票画像において、候補抽出部４０によって抽出された当該モデル帳票画像の部分領域群Ｐの各々に対して識別キーとして適当であるか否かを示す帳票内スコアを算出する。また、帳票内スコア算出部５１は、算出した帳票内スコアに基づいて各部分領域が識別キーとして適当であるか否かを判定する。なお、本実施形態では、図５に示したモデル帳票画像３０１が識別キー選択対象である。

帳票内スコアは、入力された識別キー選択対象のモデル帳票画像に含まれる部分領域間の類似度を示すスコアであり、本実施形態では類似する部分領域が当該モデル帳票画像内に多い部分領域ほど低いスコアとなり、識別キーとして不適当であると判定される。

帳票間スコア算出部６１は、モデルＤＢ２０に登録された登録モデル帳票画像群、および各登録モデル帳票画像に対応する識別キー群の情報を用いて、識別キー選択対象のモデル帳票画像において候補抽出部４０に抽出された部分領域群の各々に対して、識別キーとして適当であるか否かを示す帳票間スコアを算出する。また、帳票間スコア算出部６１は、算出した帳票間スコアに基づいて各部分領域が識別キーとして適当であるか否かを判定する。

帳票間スコアは、入力された識別キー選択対象のモデル帳票画像に含まれる部分領域と、登録モデル帳票画像に含まれる部分領域との類似度を示すスコアであり、類似する部分領域が登録モデル帳票画像内に多い部分領域ほど低いスコアとなり、識別キーとして不適当であると判定される。

識別キー選択部７１は、表示部７２と入力部７３を備え、帳票内スコア算出部５１と帳票間スコア算出部６１との算出結果に基づいて、識別キー選択対象のモデル帳票画像における部分領域から識別キーを選択する。

表示部７２は、例えばディスプレイ１５であり、識別キー選択部７１が帳票内スコア算出部５１と帳票間スコア算出部６１との算出結果に基づいて選択した識別キー候補を表示する。

ユーザは表示部７２に表示された識別キー候補から、入力部７３を操作して識別キーを選択する。入力部７３は例えばマウス１３やキーボード（図示しない）である。

以下、図１３を参照して本実施形態の帳票識別装置１００による識別キー登録処理の一例について説明する。なお、第１の実施形態における識別キー登録処理と同様の処理には同一の符号を付与し、説明は省略する。

帳票識別装置は１００、第１の実施形態と同様に画像入力処理（ステップＳ１０）と候補抽出処理（ステップＳ２０）とを行う。

次に、帳票識別装置１００の帳票内スコア算出部５１は、帳票内スコア算出処理を行う（ステップＳ３００）。

ここで、図１４を参照して本実施形態の帳票内スコア算出部５１による帳票内スコア算出処理の一例について説明する。

図１４に示すように、帳票内スコア算出部５１は、ステップＳ３１〜ステップＳ３３までは第１の実施形態における帳票内検索部５０と同様の処理を行う。

帳票内スコア算出部５１は、ステップＳ３０１において、部分領域Ａと、部分領域群Ｐに含まれる部分領域Ａ以外の全ての部分領域Ｐｉ（Ｐｉ＝Ｐ１、…、Ｐｎ：ｎは候補抽出部４０によって抽出された部分領域の数）とを用いて帳票内スコアを算出する（ステップＳ３０１）。例えば部分領域Ａの部分領域Ｐｉに対する帳票内スコアは「Ｔａｉ」とし、部分領域Ｂの部分領域Ｐｉに対する帳票内スコアは「Ｔｂｉ」とする。

本実施形態における、帳票内スコアＴａｉの算出について説明する。

まず、帳票内スコア算出部５１は、部分領域Ａおよび類似度の比較対象となる部分領域Ｐｉをモデル帳票画像３０１から画像として切り出す。次に、帳票内スコア算出部５１は、部分領域Ｐｉを部分領域Ａと同じ大きさに正規化する。帳票内スコア算出部５１は、これら２つの画像において同じ位置にある画素同士の画素値の差分値の二乗和Ｋａｉ（Ｋａｉ＝Ｋａ１、…Ｋａｎ：ｎは候補抽出部４０によって抽出された部分領域の数）を求める。なお、Ｋａｉは領域同士が異なっているほど大きな値となる。

帳票内スコア算出部５１は、計算した全てのＫａｉ、部分領域Ａの幅（画素数）Ｗａおよび高さ（画素数）Ｈａ、および所定の１画素における差分値の最大値（例えば入力が２値画像であれば、画素値は最大１最小０であるので差分値の最大値は１となる）の二乗Ｄ、およびスコアにかかる係数Ｃに基づいて、後述する計算式（１）によって部分領域Ａの部分領域Ｐｉに対する帳票内スコアＴａｉを算出する。なお、所定の１画素における差分値の最大値は、処理対象のモデル帳票画像によって一意に決まる。

本実施形態の帳票内スコアの計算式（１）は、「Ｔａｉ＝（Ｋａｉ×Ｃ）／（Ｗａ×Ｈａ×Ｄ）」・・・（１）である。計算式（１）によって得られる値は、ある部分領域Ａと、同一帳票内で部分領域Ａと最も類似した部分領域との相違度である。部分領域Ａと比較対象の部分領域とが異なるほど大きな値となり０〜Ｃの値を取る。

続いて、帳票内スコア算出部５１は、算出した帳票内スコアＴａｉの最小値Ｔａｉ＿ｍｉｎがあらかじめ設定した閾値以下か否かを判定する（ステップＳ３０２）。すなわち、ある部分領域Ａと、当該部分領域に最も類似した部分領域との相違度が低いか否か、言い換えればある部分領域Ａと、部分領域Ａに最も類似した部分領域は類似していると判断できるか否かを判定する。

部分領域Ａと部分領域Ｐｉに対する帳票内スコアＴａｉの最小値Ｔａｉ＿ｍｉｎがあらかじめ設定した閾値以下である場合（ステップＳ３０２がＹｅｓ）、すなわち部分領域Ａと部分領域Ｐｉが類似していると判定できる場合、帳票内スコア算出部５１は、部分領域Ａはキー候補として不適当であると判定する（ステップＳ３０３）。その後、帳票内スコア算出部５１は、ステップＳ３２に戻り処理を繰り返す。

算出したＴａｉの最小値Ｔａｉ＿ｍｉｎがあらかじめ設定した閾値より大である場合（ステップＳ３０２がＮｏ）、すなわち部分領域Ａと部分領域Ｐｉが異なっていると判定できる場合、帳票内スコア算出部５１は、ステップＳ３０３の処理を行わず、ステップＳ３２に戻り処理を繰り返す。すなわち、帳票内スコア算出部５１は、部分領域Ａはキー候補として適当であると判定する。

ステップＳ３２において、全部分領域にステップＳ３３の処理が終了したと判定された場合（ステップＳ３２がＹｅｓ）、帳票内スコア算出部５１は処理を終了する。

すなわち、部分領域Ａに対して帳票内スコア算出部５１が算出した帳票内スコアの最小値Ｔａｉ＿ｍｉｎは、モデル帳票画像３０１において部分領域Ａに最も類似した部分領域Ｐｉとの相違度であり、このスコアが大きければモデル帳票画像３０１内に部分領域Ａと類似した部分領域がないことを示す。

以下、第１の実施形態と同様に、同一モデル帳票画像内に同一の部分領域が存在し、識別キー候補として不適当であると判断された部分領域以外の、部分領域群Ｐに含まれる部分領域群をＱ（Ｑｉ＝Ｑ１、…、Ｑｍ：ｍは適当であると判断された部分領域の数）とする。

図１３の説明に戻る。帳票内スコア算出部５１が算出した帳票内スコアに基づいて識別キー候補として不適当な部分領域を判定した後、帳票間スコア算出部６１は、帳票間スコア算出処理を行う（ステップＳ４００）。

図１５を参照して、帳票間スコア算出部６１が行う帳票間スコア算出処理の一例について説明する。

図１５に示すように帳票間スコア算出部６１は、まず、第１の実施形態における帳票間検索処理のステップＳ４１〜ステップＳ４３と同一の処理を行う。すなわち、帳票間スコア算出部６１は、帳票内スコア算出部５１によってキー候補として不適当と判定された部分領域以外の部分領域群Ｑから、未選択の部分領域Ｂを１つ選択する（ステップＳ４３）。
続いて、帳票間スコア算出部６１は、ステップＳ４３で選択した部分領域Ｂに変形処理を行い、帳票間スコア算出対象画像群Ｓを作成する（ステップＳ４０１）。

変形処理では、例えば、選択した部分領域Ｂに対して、例えばコピー時の拡大・縮小を想定し、元の部分領域Ｂの画像に対して５％拡大処理した変形画像Ｃ、および５％縮小処理した部変形画像Ｄを作成し、画像Ｂ、変形画像Ｃ、変形画像Ｄを合わせて帳票間スコア算出対象の変形画像群Ｓとする。なお、これ以外にも、例えば傾きを考慮して回転させた画像や、コピー時のかすれや潰れを考慮して鮮鋭化やぼかしなどのフィルタリング処理を施した部分領域などを追加してもよい。

ここで、帳票間スコア算出部６１は、第１の実施形態における帳票間検索処理のステップＳ４６とステップＳ４４の処理を行う。ステップＳ４４で取得したモデル帳票画像に対して、帳票間スコア算出部６１は、変形画像群Ｓに含まれる全ての変形画像に、以下のステップＳ４０３の処理を行ったか否かを判定する（ステップＳ４０２）。

変形画像群Ｓに含まれる画像に、以下のステップＳ４０３の処理を行っていない画像がある場合（ステップＳ４０２がＮｏ）、帳票間スコア算出部６１は、登録モデル帳票画像における探索範囲内の部分領域全ての画像と変形画像群Ｓとに基づいて帳票間スコアを算出する（ステップＳ４０３）。なお、探索範囲の設定は第１の実施形態と同様に行う。

ここで、帳票間スコアの算出について説明する。

帳票間スコアの算出では、例えば、帳票間スコア算出部６１は、部分領域Ａの位置を基準として、登録モデル帳票上において変形画像群Ｓとの比較対象となる部分領域の存在し得る範囲を求め、この範囲を変形画像群Ｓに対する探索範囲として設定する。

次に、画像群Ｓからスコア算出対象の画像Ｖを選択する。次に、探索範囲の内部から画像Ｖとの比較を行う部分領域の画像Ｐｖ（Ｐｖｉ＝Ｐｖ１、…Ｐｖｎ：ｎは探索範囲内の部分領域の数）を画像として切り出す。比較対象となる部分領域の画像Ｐｖｉは、画像Ｖと同程度の大きさのものとする。具体的には、縦横各々の長さの違いが５％以内に収まっているものを対象とする。すなわち、帳票間スコア算出部６１は、画像Ｖと画像Ｐｖｉの帳票間スコア「Ｔｖｉ」を算出する。

続いて帳票間スコア算出部６１は、比較対象となる画像Ｐｖｉを画像Ｖと同じ大きさに正規化する。次に、これらの同じ位置にある画素どうしの値の差分値の二乗和Ｋｖｉを求める。次に、上記で計算したＫｖｉ、画像Ｖの幅（画素数）Ｗｖｉ及び部分領域の高さ（画素数）Ｈｖｉ、ある画素における差分値の最大値の二乗Ｄ、スコアの係数Ｃから、画像Ｖと画像Ｐｖｉに対する帳票間スコアＴｖｉを後述する計算式（２）を用いて求める。

本実施形態においては、計算式（２）を「Ｔｖｉ＝（Ｋｖｉ×Ｃ）／（Ｗｖｉ×Ｈｖｉ×Ｄ）」・・・（２）とする。すなわち、帳票間スコアＴｖｉは０〜Ｃの値を取る、画像Ｖと画像Ｐｖｉとの相違度であり、大きな値を取るほど相違度が高いことを示す。なお、比較対象とならなかった部分領域に対するスコアはＴｖｉの最大値であるＣとする。これを変形画像群Ｓに含まれる全ての部分領域について繰り返す。

帳票間スコア算出部６１は、変形画像群Ｓ内の全ての画像における帳票間スコアＴｖｉを算出すると、帳票間スコアＴｖｉの最小値であるＴｖｉ＿ｍｉｎがあらかじめ設定された閾値以下か否かを判定する（ステップＳ４０４）。

帳票間スコアＴｖｉの最小値であるＴｖｉ＿ｍｉｎがあらかじめ設定された閾値以下である場合（ステップＳ４０４がＹｅｓ）、帳票間スコア算出部６１は、当該部分領域Ｂは識別キー候補として不適当であると判定する（ステップＳ４０５）。その後帳票間スコア算出部６１は、ステップＳ４２に戻り処理を繰り返す。

帳票間スコアＴｖｉの最小値であるＴｖｉ＿ｍｉｎがあらかじめ設定された閾値より大である場合（ステップＳ４０４がＮｏ）、帳票間スコア算出部６１は、ステップＳ４０５の処理を行わず、ステップＳ４２に戻り処理を繰り返す。

変形画像群Ｓに含まれる全ての変形画像Ｖに、以下のステップＳ４０３の処理を行っている場合（ステップＳ４０２がＹｅｓ）、帳票間スコア算出部６１は、ステップＳ４２に戻り処理を繰り返す。

ステップＳ４２において、全部分領域にステップＳ４３の処理が終了したと判定された場合（ステップＳ４２がＹｅｓ）、帳票間スコア算出部６１は処理を終了する。

図１３の説明に戻る。

帳票間スコア算出部６１による帳票間スコア算出処理が終了すると、識別キー選択部７１は、算出結果の帳票内スコアＴａｉと帳票間スコアＴｖｉに基づいて、部分領域群Ｐから識別キーを選択する識別キー選択処理を行う（ステップＳ５００）。このとき、部分領域群Ｐでなく、部分領域Ｑを対象として識別キー選択処理を行ってもよい。ステップＳ５００の識別キー選択処理が終了すると、帳票識別装置１００は処理を終了する。

ここで、図１６を参照して本実施形態の識別キー選択処理の一例について説明する。

図１６に示すように、識別キー選択部７１は、まず、部分領域群Ｐの各部分領域について帳票内スコアの最小値Ｔａｉ＿ｍｉｎと帳票間スコアの最小値Ｔｖｉ＿ｍｉｎを取得する（ステップＳ５０１）。

ここで、識別キー選択部７１は、部分領域群Ｐに含まれる各部分領域に、ステップＳ５０３の処理が終了していない部分領域が存在する場合（ステップＳ５０２がＮｏ）、部分領域群Ｐに含まれる各部分領域について、帳票内スコアの最小値Ｔａｉ＿ｍｉｎと帳票間スコアの最小値Ｔｖｉ＿ｍｉｎに基づいてトータルスコアＬを算出する。

トータルスコアＬは、例えば後述する計算式（３）に基づいて算出する。計算式（３）は、「Ｌ＝Ｔａｉ×Ｃ＋Ｔｖｉ」・・・（３）とする。なお、Ｃは、計算式（１）及び計算式（２）における係数である。なお、ここでは係数として共通のＣを用いているが、計算式（１）と（２）において異なる値を用いてもよい。その場合、（３）におけるＣとしては（２）において用いた値を用いる。

この計算式（３）によれば、帳票内スコアＴａｉが高い部分領域Ａ、すなわち帳票内においてユニークな部分領域Ａのスコアが高くなる。また、同様に帳票間においてユニークであればスコアＴｖｉ＿ｍｉｎが高い部分領域、すなわち登録モデル帳票画像において近傍に類似領域がない部分領域のスコアが高くなる。したがって、識別において有効なキーとなり得る部分領域に対して高いスコアを与えることができる。なお、トータルスコアＬの算出方法はこれに限らずに設定してもよい。例えばスコアＴｖｉ＿ｍｉｎを与えた部分領域と部分領域Ｂとの間の距離Ｄを用いて「Ｌ＝Ｔａｉ×Ｃ＋Ｔｖｉ＋Ｄ／Ｆ」のようにすることもできる。なお、Ｆはあらかじめ定める定数であり、距離をどの程度考慮するかを示す。この式によれば、同じ程度の類似領域がある部分領域から選択する必要がある場合には、距離Ｄが離れている方の部分領域が優先されるため、類似領域の影響を低減することが可能となる。

なお、これらの式では、帳票内においてユニークな部分領域である方が、帳票間においてユニークであるよりもスコアがより高くなるよう値が定められている。これは、帳票内においてユニークである部分領域を検出できれば、他の部分領域の位置も特定しやすくなり、高速に識別を行うことができるためであるが、実際にはこれに限らず、Ｌ＝Ｔａｉ＋Ｔｖｉのように単純に加算するなどしてもよい。

トータルスコアＬを算出すると、識別キー選択部７１は、部分領域群ＰからトータルスコアＬが大きい順にあらかじめ設定された複数個の部分領域を選択する（ステップＳ５０４）。

識別キー選択部７１の表示部７２は、選択した複数の部分領域と各部分領域のトータルスコアＬとを表示する識別キー候補表示画面をユーザに提示する（ステップＳ５０５）。

ここで、図１７および図１８を参照して識別キー候補表示画面の一例について説明する。

図１７に示す識別キー候補表示画面７０１は、識別キー選択対象のモデル帳票画像３０１が表示され、モデル帳票画像３０１に含まれる部分領域群Ｐのうち、トータルスコアが高い順に３つの部分領域（ドット領域）が強調表示されている。ここでは、「２０１１年度」がトータルスコア：９００、「東京都民税」がトータルスコア：８００、「延滞金」がトータルスコア：７００である。

また、図１８に示すような識別キー候補表示画面７０２をユーザに提示してもよい。

図１８の識別キー候補表示画面７０２では、ユーザが、入力部７３を操作して表示されたモデル帳票画像３０１の部分領域上に矢印をのせると、当該部分領域においてトータルスコアが最小値である部分領域が表示される。ここでは、モデル帳票画像３０１の「東京都民税」上に矢印をのせると、トータルスコアが最小値である「埼玉県民税」が近傍に表示されている。

ユーザは、識別キー候補表示画面７０１に表示されたモデル帳票画像３０１の部分領域から、識別キー選択部７１の入力部７３を用いてあらかじめ設定された個数の部分領域を選択して選択完了ボタン７１１をクリックすると、識別キー選択部７１は選択された部分領域を識別キーとする（ステップＳ５０６）。すなわち、ユーザは表示されたトータルスコアを参照して識別キーを選択することが可能となる。

識別キー選択部７１はステップＳ５０７で決定した識別キーと、モデル帳票画像３０１とを対応付けてモデルＤＢ２０に登録する（ステップＳ５０７）。その後、識別キー選択部７１はステップＳ５０２に戻り処理を繰り返す。

ステップＳ５０３の処理が終了していない部分領域が存在しない場合（ステップＳ５０２がＹｅｓ）、識別キー選択部７１は処理を終了する。

なお、ステップＳ５０５〜Ｓ５０６の処理を省略し、ステップＳ５０４でキー選択部が選択した部分領域をステップＳ５０７で登録するようにしてもよい。

上述のように、本実施形態の帳票識別装置１００によると、帳票の位置や大きさが異なる場合であっても、安定かつ高速に帳票識別を行うことができる識別キーが選択できる。

（第３の実施形態）
図１９乃至図２２を参照して、第３の実施形態における帳票識別装置について説明する。なお、第２の実施形態と同様の構成には同一の符号を付与し、説明は省略する。

帳票識別装置１０１は、モデルＤＢ２１と、画像入力部３０と、候補抽出部４０と、帳票内スコア算出部５１と、帳票間スコア算出部６２と、識別キー選択部８１とを備える。

モデルＤＢ２１は、帳票識別装置１０１が、入力された帳票画像に対して種類を識別する処理（以下、帳票識別処理という）を行う場合に参照されるモデル帳票画像を記憶する。モデルＤＢ２１は、登録モデル帳票画像、および登録モデル帳票画像に含まれる部分領域のうち、帳票内スコア算出部５１によって識別キー候補として不適当であると判定された部分領域を除いた部分領域Ｑに関する情報、および当該部分領域Ｑの帳票内スコアを対応付けて保持する。

帳票間スコア算出部６２は、第２の実施形態と同様に、モデルＤＢ２１に登録された登録モデル帳票画像、および各登録モデル帳票画像に対応する識別キーの情報を用いて、識別キー選択対象のモデル帳票画像において候補抽出部４０に抽出された部分領域群の各々に対して、識別キーとして適当であるか否かを示す帳票間スコアを算出する。

さらに、帳票間スコア算出部６２は、モデルＤＢ２１に登録された、識別キー選択対象のモデル帳票画像以外の登録モデル帳票画像に対しても帳票間スコアを算出する。すなわち、帳票間スコア算出部６２が帳票間スコアを算出する対象のモデル帳票画像群（以下、対象モデル帳票画像群という）Ｔは、画像入力部３０によって入力されたモデル帳票画像と、登録モデル帳票画像とを合わせた帳票画像群である。

つまり、帳票間スコア算出部６２による帳票間スコアの計算の際には、帳票間スコアの計算対象として選択された帳票画像を識別キー選択対象のモデル帳票画像として扱い、対象モデル帳票画像群Ｔから、当該計算対象として選択された帳票画像を除いた帳票画像群Ｕを登録モデル帳票画像群として扱い、第２の実施形態と同様にして計算を行う。

また、帳票間スコア算出部６２は、算出した帳票間スコアに基づいて各部分領域が識別キーとして適当であるか否かを判定する。

なお、帳票間スコアを算出する対象モデル帳票画像群Ｔは、識別キー選択対象のモデル帳票画像と、登録モデル帳票画像から選択された帳票画像を合わせた帳票画像群としてもよい。

この場合、登録モデル帳票画像から対象モデル帳票画像Ｔに加える帳票画像の選択方法は、例えば識別キー選択対象のモデル帳票画像に含まれる部分領域と類似すると判定された部分領域を含む登録モデル帳票画像を選択するなどしてもよい。

すなわち、本実施形態においては、登録モデル帳票画像から対象モデル帳票画像群Ｔに加える帳票画像の選択基準として、全画像を選択する。また、帳票間スコア算出部６２による帳票間スコアの計算の際には、帳票間スコア計算の対象として選択された帳票画像を識別キー選択対象のモデル帳票画像として扱い、対象モデル帳票画像群Ｔから、当該計算対象として選択されたモデル帳票画像を除いた帳票画像群Ｕを登録モデル帳票画像群として扱い、第２の実施形態と同様にして計算を行う。

上述のように、本実施形態においては、入力されたモデル帳票画像および登録モデル帳票画像を合わせた対象モデル帳票画像群Ｔに含まれるすべてのモデル帳票画像に対し、第２の実施形態と同様にして各モデル帳票画像から抽出された部分領域の帳票間スコアを計算する。計算される帳票間スコアは、モデル帳票画像が新規にモデルＤＢ２１に登録された後の時点における登録モデル帳票画像群内での各部分領域の類似度を示すスコアであり、類似する部分領域が多い部分領域ほど低いスコアとなり、識別キーとして不適当であると判定される。

識別キー選択部８１は、表示部８２と入力部８３を備え、帳票内スコア算出部５１の算出結果もしくはモデルＤＢ２１に記憶された帳票間スコアと、帳票間スコア算出部６２との算出結果に基づいて、対象モデル帳票画像群Ｔの各モデル帳票画像において、部分領域から識別キーを選択する。

表示部８２は、識別キー選択部８１が選択した識別キー候補を表示する。なお、表示部８２には識別キー選択対象である帳票画像１枚ごとに表示され、当該帳票画像に対して入力部８３による入力が終了したら次の画像に切り替えられる。なお、複数の帳票画像を同時に表示してもよい。また、例えば識別キー選択対象の部分領域に類似した部分領域を含む対象モデル帳票画像群Ｔ内の画像のサムネイルを表示してもよい。もしくは、帳票画像の全体ではなく帳票画像内の部分領域近傍を表示するようにしてもよい。

ユーザは表示部８２に表示された識別キー候補から、入力部８３を操作して識別キーを選択する。データの入力は表示部８２に表示されている画像に対して行われ、入力の方法は第２の実施形態における入力部７３と同様である。

上述の構成により、本の実施形態では、画像入力部３０から新たに入力された、識別キー未選択のモデル帳票画像のみではなく、既に識別キーが選択された登録モデル帳票画像において識別キーの再設定を行うことが可能となる。したがって、本実施形態では、モデルＤＢ２１にモデル帳票画像を新たに登録することにより、既にモデルＤＢ２１に登録された所定の登録モデル帳票画像の識別キーが適当でなくなるような場合、すなわち他の登録モデル帳票の部分領域と類似した部分領域であると判定される部分領域が識別キーとして設定されている登録モデル帳票画像が存在する場合に、当該モデル帳票画像の識別キーを別の適当な識別キーに変更することが可能となる。これにより、登録モデル帳票画像の全てにおいて識別キーが適当である状態を保つことができる。

以下、図２０乃至図２２を参照して本実施形態の帳票識別装置１０１による識別キー登録処理の一例について説明する。なお、第２の実施形態における識別キー登録処理と同様の処理には同一の符号を付与し、説明は省略する。

帳票識別装置１０１は、第２の実施形態と同様に画像入力処理（ステップＳ１０）と候補抽出処理（ステップＳ２０）と帳票内スコア算出処理（ステップＳ３００）とを行う。 次に、帳票識別装置１０１の帳票間スコア算出部６２は、帳票間スコア算出処理を行う（ステップＳ４０１）。

図２１を参照して、帳票間スコア算出部６２が行う帳票間スコア算出処理の一例について説明する。

帳票間スコア算出部６２は、まず、対象モデル帳票画像群Ｔに含まれるすべての帳票画像に対して、後述するステップＳ４００２の処理が行われたかどうかを判定する（ステップＳ４００１）。

対象モデル帳票画像群Ｔに、ステップＳ４００２の処理が行われていない帳票画像がある場合（ステップＳ４００１がＮｏ）、帳票間スコア算出部６２は、画像入力部３０から入力された、識別キー未選択のモデル帳票画像と、モデルＤＢ２１に登録され、識別キーが対応づけられた登録モデル帳票画像を合わせた対象モデル帳票画像群Ｔから、帳票間スコア計算処理の対象となる帳票画像Ｒを選択する（ステップＳ４００２）。

続いて、帳票間スコア算出部６２は、帳票内スコア算出部５１またはモデルＤＢ２１から、選択された帳票画像Ｒの部分領域群Ｑを受信する（ステップＳ４００３）。帳票画像Ｒが識別キー未選択のモデル帳票画像である場合は、帳票内スコア算出部５１から部分領域群Ｑが選択され、帳票画像Ｒが、識別キーを対応付けられた登録モデル帳票画像である場合は、モデルＤＢ２１から部分領域群Ｑが選択される。

次に、第２の実施形態と同様に、部分領域群Ｑから対象となる部分領域Ｂを選択し（ステップＳ４３）、選択した部分領域Ｂに変形処理を行って帳票間スコア算出対象の変形画像群Ｓを作成する（ステップＳ４０１）。

次に、帳票間スコア算出部６２は、全対象モデル帳票画像に対してステップＳ４００５が終了しているかを判定する（ステップＳ４００４）。全対象モデル帳票画像群ＴにステップＳ４００５の処理が終了している場合（ステップＳ４００４がＹｅｓ）、帳票間スコア算出部６２は、ステップＳ４２に戻る。

対象モデル帳票画像群ＴにステップＳ４００５の処理が終了していない画像がある場合（ステップＳ４００４がＮｏ）、帳票間スコア算出部６２は、対象モデル帳票画像群Ｔから、スコア計算の対象とするＲではない帳票画像群Ｕを選択する（ステップＳ４００５）。なお、図示しないが、登録モデル帳票が存在せずＵが選択できない場合、すなわちモデル帳票画像が登録される最初のモデル帳票である場合には、ステップＳ４５に進み、部分領域Ｂをキー候補として適当であると判定する。

次に、帳票間スコア算出部６２は、ステップＳ４０１で生成した変形画像群Ｓと、ステップＳ４００５で選択した帳票画像群Ｕとを用いて帳票間スコアＴｖｉを計算する（ステップＳ４００６）。帳票間スコアＴｖｉの算出は、対象帳票画像群Ｔから選択された帳票画像Ｒを除いた帳票画像群Ｕを登録モデル帳票画像群として扱い、第２の実施形態のステップＳ４０３と同様の方法で行われる。

帳票間スコアＴｖｉの最小値があらかじめ定める閾値以下である場合（ステップＳ４０４がＹｅｓ）、部分領域Ｂは識別キー候補として不適当と判定される（ステップＳ４０５）。そうでなければ、部分領域Ｂは識別キーとして適当と判定される（ステップＳ４００７）。

対象モデル帳票画像群Ｔに含まれるすべての画像に、ステップＳ４００２の処理が行われている場合（ステップＳ４００１がＹｅｓ）、帳票間スコア算出部６２は、帳票間スコア算出処理を終了する。

すなわち、本実施形態の帳票間スコア算出部６２によって算出された各帳票画像Ｒの帳票間スコアは、第２の実施形態において、識別キー候補選択対象のモデル帳票画像をＲ、登録モデル帳票画像をＵとした場合の値と同じものであり、画像入力部３０から新たに入力されたモデル帳票画像、及び既にモデルＤＢ２１に登録された全ての登録モデル帳票画像に含まれる部分領域に対し、帳票間スコアが計算される。

なお、部分領域群Ｑの各々に対する識別キーとして不適当かどうかの判定結果は第２の実施形態においてモデル帳票画像をＲ、登録モデル帳票画像をＵとした場合と同じ結果となる。

ここで、図２０の説明に戻る。ステップＳ４０１の帳票間スコア算出処理が終了すると、識別キー選択部８１が、対象モデル帳票画像群Ｔに含まれるすべての画像に対して、識別キーとして用いる部分領域を選択する識別キー選択処理を行う（ステップＳ５１０）
図２２を参照して、本実施形態の識別キー選択処理について説明する。

まず、識別キー選択部８１は、対象モデル帳票画像群Ｔに含まれるすべての画像に後述するステップＳ５００２の処理が行われたかどうか判定する（ステップＳ５００１）。

対象モデル帳票画像群ＴにステップＳ５００２の処理が行われていない画像が含まれる場合（ステップＳ５００１がＮｏ）、識別キー選択部８１は、当該画像から識別キー選択対象の帳票画像Ｒを選択する（ステップＳ５００２）。

識別キー選択部８１は、選択して帳票画像Ｒに対して、第２の実施形態におけるステップＳ５０１〜Ｓ５０７の処理を行う。なお、Ｓ５０１において、識別キー選択対象の帳票画像Ｒが識別キー未選択のモデル帳票画像である場合、帳票内スコアＴａｉの最小値は、ステップＳ３００で算出された帳票内スコアの最小値を取得する。帳票画像Ｒが識別キーが選択されたモデル帳票画像である場合、帳票内スコアＴａｉの最小値は、モデルＤＢ２１から取得する。

対象モデル帳票画像群Ｔに含まれるすべての画像に後述するステップＳ５００２の処理が行われた場合（ステップＳ５００１がＹｅｓ）、識別キー選択部８１は識別キー選択処理を終了する。

上述のように、本実施形態の帳票識別装置１０１によると画像入力部３０から新たに入力されたモデル帳票に適切な識別キーが選択されるだけでなく、既にモデルＤＢ２１に登録された登録モデル帳票画像の識別キーを最新の状態に更新することが可能となる。

なお、本実施形態では新たなモデル帳票画像をモデルＤＢ２１に登録する例を用いて説明したが、モデルＤＢ２１から任意の登録モデル帳票画像を削除する場合に、識別キーを更新することも可能である。この場合、モデルＤＢ２１から削除されずに残った登録モデル帳票画像を処理対象とし、同様の識別キー登録処理を行う。

このとき、すでに識別キー候補として不適当であると判定されている部分領域の中にも登録モデル帳票画像削除後の残った登録モデル帳票画像において、現在の識別キーよりも高いスコアとなり、識別キーとして適当であると判定される部分領域が存在しえるため、より高いスコアの識別キーを設定することが可能になる。

なお、この場合、モデルＤＢ２１に登録モデル帳票画像、および登録モデル帳票画像に含まれるすべての部分領域Ｐに関する情報、および当該部分領域Ｐの帳票内スコアを対応付けて保持する。これにより、登録モデル帳票画像の削除を行った場合でも、識別キーを最良の状態に保つことができる。すなわち、本実施形態の帳票識別装置１０１は、モデル帳票の削除を行っても、登録モデル帳票画像の識別キーを最新の状態に更新することが可能である。

以上、本発明のいくつかの実施形態を説明したが、これら実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、部分領域Ｂが一致すると判定された部分領域を持つ登録モデル帳票画像の割合や個数が全登録モデル帳票画像においてあらかじめ定めた一定の値を超える場合、部分領域Ｂを識別キーとして不適当であると判定してもよい。

また、上述の実施形態では登録モデル帳票画像の探索範囲内で部分領域Ｂと一致する領域を探索しているが、登録モデル帳票画像の全範囲で行ってもよい。

また、上述の実施形態では部分領域群Ｑに対して帳票間検索処理を行っているが、部分領域群Ｐに対して帳票間検索処理を行ってもよい。

また、モデルＤＢ２０に登録された登録モデル帳票画像は、識別キーが未設定で登録されてもよい。この場合、上述の実施形態における帳票識別装置は、画像入力部３０が、モデルＤＢ２０に登録された、識別キー未設定の登録モデル帳票画像を取得して、識別キーを設定してもよい。

また、本実施形態において、比較の対象となる部分領域としてはあらかじめ抽出された部分領域群を用いているが、対象をモデル帳票画像から切り出し得る部分領域Ａと同じサイズや縦横比などの画像全てなどとしてもよい。そのような場合、モデル帳票画像から切り出した部分領域との比較は、例えば画像の左上端から１画素ずつずらしながら部分領域を切り出していき、それら切り出した部分領域と部分領域Ａを比較するなどの手段によって実現できる。また、部分領域Ａと部分領域Ｐｉの大きさが大きく異なる場合、例えば幅または高さが５％以上異なる場合などには、計算式（１）におけるＫａｉをスコアの最大値Ｃなどの十分に大きな値としてもよい。これは、大きさが十分に異なる場合、その時点で十分に異なっていると扱ってよいことを意味している。

なお、選択の方法はこれに限らず、例えば識別キーとして用いない領域を選択するようにしてもよい。この場合には、（選択可能な部分領域の個数Ｙ−選択する識別キーの個数Ｚ）個の選択が行われた時点で、選択されていない部分領域を識別キーとして登録を行う。

また、モデルＤＢ２１は、登録モデル帳票画像と、当該登録モデル帳票に含まれるすべての部分領域と、各部分領域について帳票内スコア算出部５１が算出した帳票内スコアと、を記憶してもよい。

１０、１００、１０１…帳票識別装置、２０、２１…モデルデータベース、３０…画像入力部、４０…候補抽出部、５０…帳票内検索部、５１…帳票内スコア算出部、６０…帳票間検索部、６１、６２…帳票間スコア算出部、７０、７１、８…識別キー選択部

Claims (9)

1. 複数のモデル帳票画像および前記モデル帳票画像の識別キーを記憶する記憶部を備え、前記識別キーに基づいて帳票識別を行う帳票識別装置の帳票識別方法であって、
   モデル帳票画像を入力するステップと、
   当該モデル帳票画像から複数の部分領域を抽出するステップと、
   前記複数の部分領域から他の部分領域と類似しない部分領域を検索するステップと、
   検索結果の前記部分領域から、前記記憶部に記憶された他のモデル帳票画像の部分領域と類似しない部分領域を検索するステップと、
   当該検索結果に基づいて、識別キーを決定するステップと、
   を備える帳票識別方法。
2. 複数のモデル帳票画像および前記モデル帳票画像の識別キーを記憶する記憶部を備え、前記識別キーに基づいて帳票識別を行う帳票識別装置であって、
   モデル帳票画像を入力する画像入力部と、
   当該モデル帳票画像から複数の部分領域を抽出する抽出部と、
   前記複数の部分領域から、他の部分領域と類似しない部分領域を検索する帳票内検索部と、
   検索結果の前記部分領域から、前記記憶部に記憶された他のモデル帳票画像の部分領域と類似しない部分領域を検索する帳票間検索部と、
   前記帳票間検索部による検索結果の部分領域に基づいて識別キーを決定するキー選択部と、を備える帳票識別装置。
3. 前記帳票内検索部は、検索する範囲を、前記部分領域の位置を基準としてあらかじめ定める範囲として設定し、当該検索範囲内に類似する部分領域が存在するか否かを検索する請求項２に記載の帳票識別装置。
4. 前記帳票内検索部は、検索対象の前記モデル帳票画像内の部分領域を変形する変形処理を行い、変形処理結果の前記部分領域の位置を基準として前記検索する範囲を決定する請求項３に記載の帳票識別装置。
5. 前記帳票間検索部は、前記モデル帳票画像内の部分領域が、前記記憶部に記憶された他のモデル帳票画像に存在するか検索する範囲を、前記部分領域の位置を基準としてあらかじめ定める範囲と決定し、当該検索範囲内に類似する部分領域が存在するか否かを検索する請求項２乃至請求項４のいずれか１項に記載の帳票識別装置。
6. 前記帳票間検索部による検索結果の部分領域に基づいて、ユーザが識別キーを選択するための画面を表示する表示部を備え、
   前記キー選択部は、ユーザの選択結果に基づいて識別キーを決定する請求項２乃至請求項５のいずれか１項に記載の帳票識別装置。
7. 複数のモデル帳票画像および前記モデル帳票画像の識別キーを記憶する記憶部を備え、前記識別キーに基づいて帳票識別を行う帳票識別装置であって、
   モデル帳票画像を入力する画像入力部と、
   当該モデル帳票画像に含まれる複数の部分領域から１つの部分領域を選択し、前記選択した部分領域と、前記選択した部分領域以外の前記複数の部分領域との類似度を示す第１のスコアを算出する帳票内スコア算出部と、
   前記複数の部分領域と、前記モデル帳票画像以外の前記記憶部に記憶されたモデル帳票画像に含まれる部分領域とに基づいて、前記画像入力部から入力されたモデル帳票画像の部分領域と前記記憶部に記憶されたモデル帳票画像の部分領域の類似度を示す第２のスコアを算出する帳票間スコア算出部と、
   算出された前記第１のスコアと第２のスコアとに基づいて識別キーを決定するキー選択部と、を備える帳票識別装置。
8. 前記記憶部は、前記複数のモデル帳票画像と、前記各モデル帳票画像に含まれる前記部分領域と、前記部分領域の前記第１のスコアとを対応づけて記憶し、
   前記帳票間スコア算出部は、前記第２のスコアを算出するのに代えて、前記入力された モデル帳票画像および前記記憶部に登録された登録モデル帳票画像を合わせた対象モデル 帳票画像群に含まれるすべてのモデル帳票画像から、帳票間スコア算出処理の対象となる 帳票画像を順次選択し、当該選択した帳票画像から抽出した部分領域と前記対象モデル帳 票画像群中の前記選択した帳票画像以外の各帳票画像から抽出した部分領域との類似度を示す第３のスコアを算出し、
   前記キー選択部は、前記第１のスコアと前記第３のスコアとに基づいて識別キーを決定する請求項７に記載の帳票識別装置。
9. 複数のモデル帳票画像および前記モデル帳票画像の識別キーを記憶する記憶部を備え、前記識別キーに基づいて帳票識別を行う帳票識別装置の帳票識別方法であって、
   モデル帳票画像を入力するステップと、
   当該モデル帳票画像に含まれる複数の部分領域から１つの部分領域を選択するステップと、前記選択した部分領域と前記選択した部分領域以外の前記複数の部分領域との類似度を示す第１のスコアを算出するステップと、
   前記複数の部分領域と、前記モデル帳票画像以外の前記記憶部に記憶されたモデル帳票画像に含まれる部分領域とに基づいて、前記画像入力部から入力されたモデル帳票画像の部分領域と前記記憶部に記憶されたモデル帳票画像の部分領域の類似度を示す第２のスコアを算出するステップと、
   算出された前記第１のスコアと第２のスコアとに基づいて識別キーを決定するステップと、を備える帳票識別方法。
   
   

Images